SuperServer 4028GR-TRT2 간단 사용기

안녕하세요. Expbox입니다.

오늘은 좀 큰거 가져왔어요. 다들 아시는 그 장터에서 뜨자마자 바로 문의 쪽지 보내고도 불안해서 문자까지 드렸더니 시간 좀 지난 뒤에 가능하다고 답장이 왔습니다. 다른 매물 HPE ML350 Gen9라던가.. 제가 올렸던 구매글을 보시고 연락주시는 분들이 제법 있었으나 최종적으로는 파워도 빵빵하고 그래픽카드 8개 + PCIE 슬롯 4개 추가지원되는 걸 보자마자 홀린듯이 구입했습니다. 수령 장소가 자차로 1시간 30분쯤 걸려서 마음 단단히 먹고 출발하였고 무사히 수령했습니다.

수령 이후 집에서 테스트하는 과정에서 나름 심각한 문제가 있었으나 열심히 점검하고 테스트를 거친 결과 현재는 완벽하게 작동하는 것 같습니다. 주말동안 정말 고생 많이했어요.. 덤으로 이 기기랑 같은 계열의 기기를 사용하신 분께서 주말이랑 밤 늦은 시간에도 계속 문자드려서 너무 죄송스러웠는데 흔쾌히 대답해주시고 문제 해결에 힘써주셨습니다. ㅠㅠ 이 부분은 나중에 기회가 된다면 이야기해보고 싶네요.(이렇게 줄인 이야기만 수십가지 되는 것 같은데..) 지금은 간단 사용기니까요.

현재 기기의 모습입니다.

대략적인 스펙은 아래의 슈퍼마이크로 제품 상세페이지를 확인하시면 됩니다.

스펙

CPU: Intel Xeon E5 2630 v4 2.20GHz (10C / 20T) * 2 (전체 20C 40T)

MEMORY: MICRON DDR4-2666 32GB ECC/REG * 8 (전체 256GB)

SSD: 테스트용 SAMSUNG Evo 860 SATA SSD 250GB

GPU0: 이엠텍 RTX 3090 BLACK EDITION OC D6X 24GB

GPU1: NVIDIA RTX A4000 D6 16GB 리더스 정품

GPU2: 채굴용 그래픽카드 P102-100 메모리 10GB 개조판

GPU3: 채굴용 그래픽카드 P102-100 메모리 10GB 개조판

드라이버 설치 이후 nvidia-smi입니다. 모든 그래픽카드가 정상적으로 잘 잡히네요. 순서가 nvidia-smi에서는 이상하게 보이는데 파이토치에서는 위의 스펙대로 따라갑니다. 텐서플로우는 잘 모르겠네요. 스샷은 드라이버 버전이 구버전인데 P102-100 때문에 레거시중 최신 버전으로 설치했는데 CUDA랑 CUDNN 설치하다보니 완전 최신 버전으로 올라갔습니다. 그래도 인식 잘되더군요. 괜한 걱정이었나봅니다.

처음 켤때 POST 과정을 거치게 되는데 이때가 고비입니다. 정말 시끄럽습니다. 팬이 어마어마하게 빠르게 도는데 기기가 패시브 쿨러 달린 그래픽카드 식히라고 나온 팬들이라 바람 세기가 정말 상상을 초월합니다. 따로 사진은 없고 정확하게 측정한 값은 아니지만 핸드폰 어플로 측정했을 때 최대 83 데시벨, 평균적으로 79 데시벨 정도가 측정되었습니다.

이렇게 팬이 돌아가는데 위에 아무것도 안 덮어두니까 바람이 사방으로 튀고 소음도 좀 큰데 아직은 괜찮습니다. 테스트로 잠깐 돌릴 뿐이니까요. 하지만 계속 사용하려면 아무래도 위가 막혀있는 것이 소음 방지와 쿨링에도 도움이 되니까 위를 막아야할 것 같은데.. 지금은 사진에서 보는 것처럼 그래픽카드 크기와 PCIE 핀 때문에 서버와 같이왔던 뚜껑은 닫히질 않으니 아크릴로 제작해야하는데 어떻게 할지는 아직 고민중입니다.(이 부분도 먼저 사용하고 계시는 분께서 조언해주셨습니다.) 그래서 업체를 찾아보는 중인데 서버를 사용할 날이 아직 멀어서 천천히 준비하려고 합니다. 아크릴 주문 제작이 생각보다 비싸더군요. ㅠ

일단 테스트할 때는 이렇게 모니터 박스가 적당히 맞아서 올려놓고 사용했습니다. 적절히 바람도 흩어지지 않고 작업용 책상같은 느낌으로 사용할 수 있었습니다. 위에 노트북이랑 이것저것 올려서 사용했습니다. 실제로 박스 안에 모니터가 들어가있어서 무게감이 있습니다.

팬이 저렇게 도는데는 그만큼 발열이 심하다는건데 발열이 심하단건 전기 사용량이 정말 어마어마하다는 뜻을 말합니다. 그도 그럴게 파워부터가 2,000W 짜리 4개가 리던던트로 들어가니 어마어마한 전기를 사용할거라는 예고장을 이미 스펙으로 날린 셈이죠. 시험삼아 Stable Diffusion WebUI를 3090과 P102-100에 두 개 켜서 동시에 돌려봤더니 1,000W 조금 안되는 900W 정도를 시스템에서 소비했습니다. 파워가 든든하니 이 정도는 그냥 우습게 사용하는 것 같습니다. 거의 에어컨 뺨치는 정도라서 잘못하면 두꺼비집 내려가겠더군요. 정말 조심히 사용해야할 것 같습니다. 저 위에 그래픽카드 전부 쓴다면.. 생각만해도 전기세 때문에 두려워집니다. 가능하면 그래픽카드 언더볼팅이나 전력제한 먹여서 써야할 것 같아요. 

전기도 많이 먹고 시끄러운 이걸 왜 이걸 샀냐고 물어보실 수 있습니다. 전부터 계속 이상한거 사는 사람이라고 생각할 수 있는데 틀린 말은 아닙니다. 이런 특수한 서버 좋아하니까 샀다! 는 어느 정도 맞지만 전부터 GPU 서버로 사용할 PCIE 슬롯이 많은 서버/메인보드를 계속 찾았습니다. X99랑 X299를 보긴 했는데 IPMI가 지원되거나 지원되는 메인보드가 극히 적은 수준이라 아쉽게도 사용하기 어려웠습니다. 그런데 서버 메인보드도 나름 최신으로 가야 PCIE 레인이 많아져서 그 돈 주고 사기에는 상당한 각오가 필요하죠. 그랬더니 이 장비가 갑자기 등장한겁니다.

이제 A4000은 처분각이고 3090 하나 더 구해서 NVLink로 서로 연결해서 나름 커다란 AI 모델 추론/학습하는게 목표입니다. 여유가 좀 되면 A5000으로 할거구요. 어떻게 마무리를 해야할까 싶은데 일단 간단하게 사용해본거고 제대로 사용한 후 후기를 남길 수 있으면 남기겠습니다. 아마 이번년도 말쯤이 되지 않을까 싶은데 어떻게 될지는 아직 모르겠습니다. 지금은 아직 준비해야할것도 좀 있고 메모리도 더 확장하고 싶어서요.

이렇게 간단하게 사용해본 소감이었습니다. 읽어주셔서 감사합니다.