사내 개발서버 가상화 및 1G망에서 Ceph 적용해봤습니다.

이번에 사내 개발환경 구축을 하면서 Proxmox를 이용해 가상화 클러스터 구성을 해봤습니다.

사용장비

(16 x Intel(R) Xeon(R) Silver 4309Y CPU, 256GB, 1TB SSD x 2 Raid1, 4TB HDD x 2, 1G NIC x6) x 3

(8 x Intel(R) Xeon(R) E-2334 CPU, 32GB, 512 SSD x 2 Raid1, 1G NIC x 2) x 2

총 5대를 클러스터로 묶고 그 중 8코어 256GB 장비는 메인 서비스용, 4코어 32GB 장비는 CI/CD 서버 용도입니다.

메인장비엔 개발한 어플리케이션의 VM들이 올라가고 보조장비는 GitLab, Jenkins나 DNS, 사내메신저 등이 올라갑니다.

여기까지는 특별할 것 없지만 이번에 실험적으로 적용해본 것은 바로 1G 망에서 Ceph 클러스터 사용하기!

적용 목적은 HDD 자원의 효율적인 사용입니다.

VM마다 데이터 볼륨이 필요한데 로컬스토리지에서 쓰면 어느 노드는 메모리는 남는데 스토리지가 부족하고 어딘 또 반대고 하는 상황이 생기고 개발서버다보니 날리고 다시 시작하고 하는 일이 비일비재해서 예측을 하기가 어렵습니다.

그렇다고 그때마다 노드 이리저리 옮기는 것도 손이가고 1G망이라 마이그레이션도 느려서 결국은 공유볼륨을 적용해보았습니다.

관건은 과연 1G망에서도 쓸만한가겠네요.

일단 메인장비 3대에 있는 6개의 4TB HDD를 OSD로 구성, 권장은 12개 이상이지만 6개라도 안정성의 문제이지 돌아는 갑니다.

여기에 1G NIC 4개를 본딩으로 묶어 클러스터넷으로 쓰고, 2개는 묶어서 서비스넷으로 씁니다.

보조장비 2대는 NIC 2개를 묶어서 클러스터넷으로 쓰고 서비스도 클러스터넷에서 게이트웨이를 통해 연결되도록 했습니다.

이렇게 해서 노드 3개는 4G 대역폭에 Ceph 클러스터, 노드 2대는 2G 대역폭에 Ceph 스토리지를 사용만 하는 구성이 되었습니다.

이 구성에서 OS는 로컬 SSD 스토리지에, 데이터영역은 Ceph 스토리지에 마운팅 후 기본성능을 확인하기 위해 캐시를 끈 채 측정해봤습니다.

로컬 HDD 성능과 비슷하긴 하지만 랜덤쓰기 성능이 반토막 났습니다.

3개노드 동시부하입니다. 이대로는 DBA한테 혼납니다.

하지만 실 운영시에는 디스크캐시를 사용하기 때문에 캐시를 적용해봅니다.

쓰기캐시에 Write back을 적용후 테스트해봤습니다. 이 구성이 실 사용환경입니다.

전반적으로 성능이 증가했습니다. 특히 쓰기성능이 대폭 상승했네요.

편차가 있긴 하지만 3개노드 동시부하 역시 전반적으로 성능상승이 있었고 특히 랜덤쓰기 성능이 쓸만해졌습니다.

실 사용에서는 개발서버이므로 이렇게 동시에 고부하가 발생하는 일이 드물고, 발생하더라도 개발서버니까 좀 느려져도 그러려니 하고 넘어갈 수 있습니다.

게다가 어차피 DB와 서비스에서도 읽기부분은 자체적으로 캐싱을 하기 때문에 서비스상에서 느끼는 성능저하는 거의 없었습니다.

그리고 이 작업은 개발자와 특히 DBA 모르게 진행되었는데 뭐가 바뀌었는지 모릅니다 ㅋㅋ

듣고보니 풀스캔 쿼리성능이 미묘하게 느려진거 같기도 하고 아닌거 같기도 하다 정도의 반응이네요.

물론 프로덕션환경에서 이런 스펙은 쓰면 안됍니다. 어디까지나 개발환경의 자원활용 최적화를 위한 작업일 뿐입니다.

그리고 우려했던 1G 환경 제약은 4회선 본딩으로 HDD 수준은 커버할 수 있었습니다. SSD풀을 생성해서 테스트 해보니 순차 230MB/s 정도 나오네요.

그리고 1G 2회선 본딩인 보조장비에서는 순차 읽기/쓰기 110MB/s 정도 나오는 것 외엔 나머지 스펙은 동일했습니다.

10G 이더넷이랑 스위치좀 사달라고 해도 무슨 돈으로 개발서버에 그런 사치를 부리냐는 소리만 들어서 있는 자원 가지고 영혼까지 끌어모아봤습니다.

이제 OSD가 깨지지 않기를 기도해야겠네요...