proxmox 의 multi write storage (witn VM복구 감사인사)
며칠 전에 Vmware ESXi 6.5로 4년넘게 잘 쓰다가 ESXi 파일 오류로 부팅에 실패했습니다. ㅠ
그런데 달소님 덕분에 새 1 테라 새 ssd 를 사서 ESXI 6.7 을 재설치 성공한 이후에 기존에 있던
총 102개 VM을 import완료했습니다. 여기 안엔 업무용으로 사용하는 여러 DBMS 가 구성된 터라,
필요할 때 개인적으로 올려서 테스트를 하는 거라 아끼고 있었는데요. 덕분에 살렸습니다.
물론 thick 으로 포멧팅된 Multi Write가 활성화된 디스크가 모두 Thin으로 나오는 문제 때문에,
어쩔 수 없이 vmkfstools 로 eagerzeroedthick 으로 마이그레이션을 하고 있습죠.
Ex> vmkfstools -i asmdg.vmdk -d eagerzeroedthick asmdg-thick.vmdk
뭐 그래도 새로 깔려면 정말 한달이상 걸릴 지 모르기에 다행이라 생각 합니다. ㅎ
이번 기회에 8테라 SSD도 2테라 디스크 빼서 교체하고 공간 여유가 생겼네요.
# 정말 아끼는 홈랩서버 입니다. 120와트 정도로 저전력 소비를 해서 한달내내켜도 30~40킬로와트 밖에 안나오죠.
디스크는 10개 데이터스토어에 40테라(20테라는 백업용 NAS용 HDD) 였는데,
이번에 2테라 SSD빼고 8테라 늘려서 46테라, M2 nvme도 1->2Tb로 교체했네요.
* 디스크를 더 꼽고 싶지만 메인보드가 8개 SATA + 2 개 NVME가 최대이네요. 추가용 eSata도 인식 실패, M.2 컨트롤로도 인식 실패.ㅠ
그런데 vsphere ESXi 말고 한 대 더 홈랩 서버를 구성할 까 하는데요. ESXi 7.0 부터는 홈랩서버가 어려워설..ㅠ
본래는 openstack KVM + helm + masakari 스터디용이긴 했는데요.
여기서 보니 proxmox를 많이 쓰시네요.
그런데 proxmox ve는 shared disk가 vmware ESXi 처럼 multi write 기능이 있는걸까요?
multi write가 가능해야, Oracle RAC(Real Application Clusters)를 설치할 수 있거든요.
여기저기 찾아봐도 명확한 옵션 이야기가 안나오는군요.ㅠ
다들 너무 감사합니다. ㅎ
1등 multi writer는 덕분에 처음알았습니다.
ESXi에서 Multi-Writer VMFS (Virtual Machine File System) 기능을 사용하면 다수의 가상 머신에서 하나의 VMDK 파일을 동시에 쓸 수 있습니다. 이를 통해 여러 가상 머신에서 동일한 디스크를 공유하고 데이터를 동시에 업데이트할 수 있습니다.
Multi-Writer VMFS는 여러 가상 머신에서 하나의 공유 디스크에 동시에 쓰기를 지원하며, 이 기능은 VMware 클러스터에서 고가용성 및 가상 머신 이동 기능을 제공하는데 사용됩니다. Multi-Writer VMFS는 일부 VMware 제품 및 기능에서만 지원되며, 지원되는 경우에도 모든 스토리지 및 하드웨어 구성에서 사용할 수 있는 것은 아닙니다.
gpt에 Proxmox에서도 사용가능한지 물어봤는데 ceph을 사용하라고하네요.
아래있는 NFS가 가장 구현하기 쉬울것같은데 NFS로는ㅇ ㅓ려우시려나요?
Proxmox VE는 기본적으로 KVM 가상화 기술을 사용하기 때문에, ESXi의 Multi-Writer VMFS와는 약간 다른 방식으로 가상 디스크 공유를 처리합니다.
Proxmox VE에서는 Ceph와 같은 분산 파일 시스템을 사용하여 여러 노드에서 가상 머신 디스크를 동시에 공유하고 업데이트할 수 있습니다. 이를 통해 고가용성 및 가상 머신 이동 기능을 지원할 수 있습니다.
또한, Proxmox VE에서는 VMWare ESXi와 마찬가지로 NFS 공유를 사용하여 가상 머신 디스크를 공유할 수 있습니다. NFS는 여러 클라이언트에서 동시에 디스크를 공유하는 데 사용되는 네트워크 파일 시스템입니다.
iscsi device로는 Oracle RAC 설치가 가능하죠. 다른 서버에 iscsi device를 붙이고하는 거요. 그런데 iscsi로 구성해 본 적도 많기는 한데 개인 용도로는 번거롭긴 합니다. 사내에서는 iscsi device 몇백기가는 붙여서 테스트 하고 떼어내긴 쉽지만요.ㅠ
여튼 vmware ESXi 의 multi write 기능 덕분에 여러 개의 노드애서 공유 디스크에 Write 할 수 있어서 Oracle RAC 설치가 가능 합니다.
그리고 Oracle Virtual Box 도 공유디스크 기능이 있네요. 다만, vmware workstation의 경우엔 disk locking을 풀어야 공유가 되었습니다.
여튼 VM 환경 만드는 거에 시간을 많이 못쓰는 DBA들은 multi write 가 가능한 구성이 끌리긴 합니다.
그래서 Oracle DBA 몇몇은 vmware ESXI를 쓰고, 대부분은 vmware workstation, virtualbox 를 이용합니다.
그런데 정작 Multi-Write는 Oracle 또는 pacemaker과 같은 HA 솔루션(pacemaker) 같은 걸 쓸 때에나 쓰고,
쉐도우 이미지로 확장하는 MariaDB Xpand, SingleStore, CockroachDB 같은 건 디스크 공유가 필요없죠.
SQL Server도 Failover Cluster Instance(single-instance failover cluster)로 HA로 넘기는 방식에선,
multi-write device로 설정해도 윈도우 서버에서 인식을 못합니다. 결국 이러한 HA구성의 SQL Server는
iscsi device를 붙여야 인식이 되어서 HA 로 Falover 시킬 수는 있습니다.
반면에, SQL Server AlwaysON(Availability Group)이나 Oracle Data Guard는, 쉐도우 이미지나 공유디스크가 아닌
별도의 스토리지 복제본을 복구하는 방식이라, 공유디스크는 불필요 하네요.
현직 DBA분의 설명 감사드립니다 !
감사합니다. 그런데 문제가 생겼어요. 그 버젼이 저에게는 치명적인 버그가 있네요. 제가 6.7 U3B 링크를 달았는데요. ㅠㅠ
혹시 바쁘시면 방법을 알려주시면 제가 2019120 으로 만들어보겠습니다. ㅠ
아님 이미지 만드는 방법 좀 갈켜 주십시오..ㅎㅎ
정말 답변 감사합니다. ^^
cmt alert
신고
"님의 댓글"
이 댓글을 신고하시겠습니까?
