뉴비 proxmox 서버 구축했습니다. 다 여러분들 덕분입니다! (feat. 케이스 추천, gpu 패스스루)

안녕하세요. 이번에 헤놀 설치하려다 흘러들어온 뉴비입니다.

그동안 DS218+로 가볍게 쓰다가 용량이 부족해지면서 4베이 이상급의 필요성이 느껴져서 DS918+ 같은 걸 알아보는데 너무 비싸더라고요;

제가 컴퓨터 조립/DIY가 취미라 이참에 헤놀 한번 올려보자는 생각이 들어 열심히 자료조사하던 차에 이곳을 알게 되었습니다. 원래는 "그냥 DSM만 올리면 되는 거 아닌가" 라고 생각했었는데 여기서 찾다보니 proxmox 기반 가상화로 관리하는 걸 다들 추천하시더라고요. 그래서 한번 도전해봤습니다.

저는 리눅스는 알못이라 정보글들을 소화하는 게 쉽지는 않았습니다. 그래서 조립하고도 며칠 동안 방치됐었는데;; 결국 어찌저찌 잘 조합해서 gpu 패스스루까지 성공했네요. 어떻게 적용했는지도 기록을 위해 남겨놓을려고 합니다.

일단 제 시스템 사양은 이렇습니다.

i3-8100

Biostar H310MHD-PRO

DDR4-2400 8*2

GT1030

500W 싼마이 파워

SSD 128GB, 480GB 하나씩

HDD 12TB(Basic), 8TB*2(RAID 1)

케이스 Daven V200+알리발 사제 HDD베이

SATA 2포트 pcie 확장 카드

Proxmox 8.1.3

VM: Windows 11, DSM 7.2.x(설치예정)

기본적으로 4베이 이상급이면서도 가능한 작은 부피를 원했고, 거기에 TV 뒷편에 두고 어머님 쓰실 컴퓨터 역할도 수행시키기 위해 이런 조합을 택했습니다. 사실 전력 문제도 있고 해서 내장그래픽으로 퉁치려 했는데 TV가 4k고 메인보드 HDMI 버전이 1.4라 어쩔 수 없이 GT1030을 달았네요.

이렇게 다 해서 저장장치 빼고 23만원 정도 나왔습니다 ㄷㄷ

제가 처음 노렸던 DS918+ 중고도 30만원 훨씬 넘는데 확실히 헤놀은 신이네요 ㅎㅎ

제 시스템 모습입니다. 아직 하드는 구성하지 않았습니다.

사실 케이스 선정도 심혈을 기울였는데, m-atx 보드, atx 파워 모두 받으면서 HDD 4베이 공간이 나오는 최대한 작은 시스템으로 구성하기 위해 제품 사진과 하드 베이만 몇날 며칠을 찾았는지 모르겠습니다;; 원래는 각노루(m-cube)로 하려 그랬는데 약간 길쭉하기도 하고 또 의외로 쿨러나 파워 간섭 등 하드 쌓기에 어려운 점이 있어 사무용 미니타워로 눈을 돌려 알아보다가 결국 이걸로 택했습니다. 

일단 하단에는 최대 3베이 가능하고요(하드와 보드 사이에 어느 정도 공간이 있어 선정리 가능하긴 합니다)

측면에도 최대 3베이 가능합니다(하단괴 동일하게 공간이 있어 보드 24핀 전원선만 잘 처리하면 충분히 가능합니다).

다만 제 경우는 그래픽카드가 위치해서 하단에 최대 두 개까지만 가능했습니다. 이마저도 그래픽이 1슬롯짜리여야 가능한 거고 2슬롯 이상일 경우 하단에는 1개가 최선입니다.

그래서 저는 그래픽 팬을 떼어버렸습니다 ㄷㄷ 어차피 게임 돌릴 건 아니니 괜찮을 거라고 생각합니다 ㅋ

덕분에 사타 확장 카드와도 간섭이 없는 모습입니다.

HDD 브라켓은 이걸로 했습니다. 이게 공간 차지가 가장 적고 금속으로 튼튼해서 좋더군요.

여러모로 이 케이스 추천합니다. 사제 브라켓이 요구되긴 하지만 어쨌든 하드 공간이 많고 그러면서도 호환성이 좋고 작아서(16.2L) 좋은 것 같습니다.

무엇보다도 가격이 혜자입니다. 저는 딱 2만원에 샀습니다 ㅋㅋ

이렇게 구축하고 일단 윈도우 사용성을 보기 위해 Proxmox를 깔고 윈도우 vm을 설정했습니다.

제가 원하는 환경은 가상화로 윈도우를 돌리면서도 GT1030의 HDMI를 통해 티비에 화면이 출력되게 하는 것이었습니다. 그래서 생소한 Proxmox와 패스스루를 알아보기 시작했고, 결론적으로 성공했습니다.

https://forum.proxmox.com/threads/pci-gpu-passthrough-on-proxmox-ve-8-installation-and-configuration.130218/

https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_pci_passthrough

제가 참고한 글입니다. 이게 제가 본 가이드 중에서는 가장 직관적이고 최신 버전에 적합하더라고요.

   바이오스: VT-d 켜기, CSM 해제, Above 4G Decoding 해제, 기본 디스플레이 IGFX(내장)

가이드 상으로도 그렇고 제 생각엔 VT-d만 켜도 무방해 보입니다. 다른 항목은 다른 여러 가이드에서 언급되던 부분이라 혹시 몰라 설정해 둔 겁니다.

제가 본 가이드 중 IOMMU(VT-d) 지원 칩셋 목록도 있었는데, 제 보드는 목록에 없었지만 됐습니다.

핵심은 IOMMU(VT-d) 설정 항목이 있느냐고, 그게 바이오스에 있는지만 확인하시면 될 것 같습니다(+시퓨도 지원하는지).

수행 단계(위 링크 참고)

1. 부팅 방법 확인(grub인지 systemd-boot인지): 저는 grub이었습니다
2. IOMMU 설정: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
   • 다른 항목은 넣지 않았습니다. 딱 저 문구만 넣었습니다.
   • 가이드를 보시면 아시겠지만 IOMMU group이 잘 맞다면 다른 항목을 더 넣을 필요가 없습니다.
3. vfio 모듈 로드: vfio, vfio_iommu_type1, vfio_pci
   • vfio_virqhd는 Proxmox 8 이상부턴 추가할 필요 없다네요.
4. remapping 확인: 저는 insecure interrupts 설정할 필요 없었습니다.
5. GPU 장치 분리 및 드라이버 블랙리스트
   • modprobe.d/vfio.conf에 해당 장치 등록하는 것만 진행했습니다. 이때 GPU와 GPU의 오디오 출력단까지 함께 추가했습니다.
   • 드라이버 블랙리스트는 하지 않았습니다.

이렇게 하니까 바로 PCI 장치 추가가 가능해졌습니다. 예전 자료들은 이전 버전 기준이라 그런지 안 맞는 부분도 있고 일부 arguments에 대해 설명이 생략된 경우도 있어서 다소 혼란스럽기도 했고, 그거대로 시도하다 실패한 적도 있었는데 이 자료들은 현재 버전 기준이라 잘 적용되었습니다.

   VM 설정

   machine type: q35

   bios: OVMF

   cpu: host

   pci 장치: GPU만 추가(All function 설정, Primary GPU 해제, PCI-Express 설정)

   display: none 또는 Virtio(콘솔을 통한 원격 접속을 원할 때에만 이걸로 설정하세요. 출력 디스플레이의 프레임이 끊기더군요)

이렇게 하고 윈도우 설치한 뒤, 기존 그래픽 드라이버 제거 후 재설치하시면 됩니다.

아직 헤놀로지는 안 깔아봤지만 이것만으로도 뭔가 큰 산을 넘긴 것 같은 느낌이네요 ㅎㅎ

저같은 알못 분들도 잘 해내셨으면 하는 마음으로 제 경험을 적어봤습니다.

여기 서버포럼의 좋은 자료들이 아니었으면 시도도 못 해 볼 경험이었네요. 정보 올려주신 분들 모두 감사합니다!