• 돌아가기
  • 아래로
  • 위로
  • 목록
  • 댓글
Proxmox

사내 개발서버 가상화 및 1G망에서 Ceph 적용해봤습니다.

eyeball 1192

0

5

이번에 사내 개발환경 구축을 하면서 Proxmox를 이용해 가상화 클러스터 구성을 해봤습니다.

 

사용장비

(16 x Intel(R) Xeon(R) Silver 4309Y CPU, 256GB, 1TB SSD x 2 Raid1, 4TB HDD x 2, 1G NIC x6) x 3

(8 x Intel(R) Xeon(R) E-2334 CPU, 32GB, 512 SSD x 2 Raid1, 1G NIC x 2) x 2

 

총 5대를 클러스터로 묶고 그 중 8코어 256GB 장비는 메인 서비스용, 4코어 32GB 장비는 CI/CD 서버 용도입니다.

메인장비엔 개발한 어플리케이션의 VM들이 올라가고 보조장비는 GitLab, Jenkins나 DNS, 사내메신저 등이 올라갑니다.

 

여기까지는 특별할 것 없지만 이번에 실험적으로 적용해본 것은 바로 1G 망에서 Ceph 클러스터 사용하기!

적용 목적은 HDD 자원의 효율적인 사용입니다.

VM마다 데이터 볼륨이 필요한데 로컬스토리지에서 쓰면 어느 노드는 메모리는 남는데 스토리지가 부족하고 어딘 또 반대고 하는 상황이 생기고 개발서버다보니 날리고 다시 시작하고 하는 일이 비일비재해서 예측을 하기가 어렵습니다.

그렇다고 그때마다 노드 이리저리 옮기는 것도 손이가고 1G망이라 마이그레이션도 느려서 결국은 공유볼륨을 적용해보았습니다.

관건은 과연 1G망에서도 쓸만한가겠네요.

 

일단 메인장비 3대에 있는 6개의 4TB HDD를 OSD로 구성, 권장은 12개 이상이지만 6개라도 안정성의 문제이지 돌아는 갑니다.

여기에 1G NIC 4개를 본딩으로 묶어 클러스터넷으로 쓰고, 2개는 묶어서 서비스넷으로 씁니다.

보조장비 2대는 NIC 2개를 묶어서 클러스터넷으로 쓰고 서비스도 클러스터넷에서 게이트웨이를 통해 연결되도록 했습니다.

 

이렇게 해서 노드 3개는 4G 대역폭에 Ceph 클러스터, 노드 2대는 2G 대역폭에 Ceph 스토리지를 사용만 하는 구성이 되었습니다.

 

ceph.png.jpg

 

이 구성에서 OS는 로컬 SSD 스토리지에, 데이터영역은 Ceph 스토리지에 마운팅 후 기본성능을 확인하기 위해 캐시를 끈 채 측정해봤습니다.

 

ap_nocache_single.png.jpg

로컬 HDD 성능과 비슷하긴 하지만 랜덤쓰기 성능이 반토막 났습니다.

 

ap_nocache_triple.png.jpg

3개노드 동시부하입니다. 이대로는 DBA한테 혼납니다.

하지만 실 운영시에는 디스크캐시를 사용하기 때문에 캐시를 적용해봅니다.

disk.png.jpg

쓰기캐시에 Write back을 적용후 테스트해봤습니다. 이 구성이 실 사용환경입니다.

 

ap_cache_single.png.jpg

전반적으로 성능이 증가했습니다. 특히 쓰기성능이 대폭 상승했네요.

 

ap_cache_triple.png.jpg

편차가 있긴 하지만 3개노드 동시부하 역시 전반적으로 성능상승이 있었고 특히 랜덤쓰기 성능이 쓸만해졌습니다.

 

실 사용에서는 개발서버이므로 이렇게 동시에 고부하가 발생하는 일이 드물고, 발생하더라도 개발서버니까 좀 느려져도 그러려니 하고 넘어갈 수 있습니다.

게다가 어차피 DB와 서비스에서도 읽기부분은 자체적으로 캐싱을 하기 때문에 서비스상에서 느끼는 성능저하는 거의 없었습니다.

 

그리고 이 작업은 개발자와 특히 DBA 모르게 진행되었는데 뭐가 바뀌었는지 모릅니다 ㅋㅋ

듣고보니 풀스캔 쿼리성능이 미묘하게 느려진거 같기도 하고 아닌거 같기도 하다 정도의 반응이네요.

 

물론 프로덕션환경에서 이런 스펙은 쓰면 안됍니다. 어디까지나 개발환경의 자원활용 최적화를 위한 작업일 뿐입니다.

그리고 우려했던 1G 환경 제약은 4회선 본딩으로 HDD 수준은 커버할 수 있었습니다. SSD풀을 생성해서 테스트 해보니 순차 230MB/s 정도 나오네요.

 

그리고 1G 2회선 본딩인 보조장비에서는 순차 읽기/쓰기 110MB/s 정도 나오는 것 외엔 나머지 스펙은 동일했습니다.

 

10G 이더넷이랑 스위치좀 사달라고 해도 무슨 돈으로 개발서버에 그런 사치를 부리냐는 소리만 들어서 있는 자원 가지고 영혼까지 끌어모아봤습니다.

 

이제 OSD가 깨지지 않기를 기도해야겠네요...

신고공유스크랩
5
1등
동도리군 2023.01.02. 15:42
ㄷㄷㄷ
시간되실때 구축방법 강의 한번 올려주세요~
개인 개발자지만 작업실에다가 한번 만들어보고 싶네요 ㅎㅎㅎ
일단 4테라 하드 6개 있고
ssd도 1테라 10개 정도 있으니...
이것저것 잡다한 테스트 컴퓨터가 좀 남아서 하드 공유로 한번 만들어보고
태양광 프로그램 테스트 할때 시뮬레이터 데이터 돌리면 맨날 VM 데이터 용량 모질라서 힘들었었는데
이런방법도 있군요
eyeball 글쓴이 2023.01.02. 15:55
동도리군

Ceph는 최소한 3대의 PVE 노드가 필요하고 데이터 보장도 미러링 기반이기 때문에 가용 용량 효율이 좋지 않습니다. 분산 클러스터기 때문에 네트워크 대역폭 효율도 떨어지구요.
개인환경에서 소규모 수준에는 ceph보단 남는 HDD와 SSD를 긁어모아 TrueNAS나 OMV5 깔고 레이드5로 묶고 ZFS over iSCSI가 효율이 좋습니다. ZFS가 어렵다면 공간효율은 떨어지지만 ext4에 NFS도 괜찮습니다.
네트워크는 2.5G 5포트 스위치 신품도 10만원 이하로 구할 수 있고 랜카드도 저렴하죠

profile image 2등
달소 2023.01.03. 10:48
캬... ceph 구축이라니 대단하시네요 저도 이론쪽을 보고 관심있게 보긴했지만..
노드 3개에서 GG쳤습니다 ㅠ 동일한사양의 노드 3대가 쉬운게아니니까요...
덕분에 성능이나 구성기 아주 잘봤습니다 감사합니다!
eyeball 글쓴이 2023.01.03. 15:51
달소
노드 1개도 작동은 합니다. 장애보장이 3개노드부터 작동해서 최소 3개 노드라고 적어놨을거에요.
그리고 서버에 구축 전에 PC 가지고 이런저런 실험해본 결과 꼭 동일 사양에 동일 디스크 조건이 아니라도 됩니다.
이런 클러스터 구성이 대부분 그렇듯 가장 저사양에 맞춰 하향평준화 되거나 저사양 노드 CPU 로드율 같은것이 다른 노드보다 높게 나오는 것 뿐이지요
디스크 성능도 용량도 다른 ODS를 혼합 구성해도 알아서 클래스 구분을 해서 풀 구성시 SSD나 HDD만 묶을 수도 있고 해서 꼭 동일사양 동일구성 노드 3개가 아니라도 이것저것 장난해보는건 가능합니다 ㅎㅎ

댓글 쓰기 권한이 없습니다. 로그인

취소 댓글 등록

cmt alert

신고

"님의 댓글"

이 댓글을 신고하시겠습니까?

댓글 삭제

"님의 댓글"

삭제하시겠습니까?


목록

공유

facebooktwitterpinterestbandkakao story

본 게시판은 서버구축 게시판과 통합되었습니다.

서버구축 게시판 이동하기
분류 제목 글쓴이 날짜 조회 추천
공지 서버OS(ESXi/Linux/Router 등) 게시판 이용안내. 달소 21.11.16.17:43 581 +1
ESXi 공지 ESXi 관련 추천글 모음 5 달소 21.04.23.12:19 3692 +6
ESXi USB LAN으로 ESXi8 설치하기.(Feat. Realtek LAN) 15 달소 23.01.01.18:51 2115 +2
Assistant OS 당신이 알아야할 새로운 스탠다드 Matter란 무엇인가 5 DarkAcid 22.12.30.02:38 723 +1
Proxmox 인텔 igpu는 gvt-g를 이용해 두개 이상의 가상머신에 패스스루 해줄 수 있네요. 13 니즛 22.12.23.02:19 1342 +1
질문
normal
초코코알라 23.05.06.18:14 632 0
Proxmox
image
굿럭 23.01.05.12:59 1382 0
Linux
image
달소 23.01.05.10:23 355 0
질문
image
swift89 23.01.04.14:05 372 0
질문
image
DarkAcid 23.01.04.12:34 430 0
Linux
image
콜라 23.01.03.23:07 596 0
질문
normal
ENTJ도플랜 23.01.03.13:15 302 0
Proxmox
image
eyeball 23.01.02.14:42 1192 0
ESXi
image
달소 23.01.01.18:51 2115 +2
질문
normal
누구냐 23.01.01.00:06 443 0