싱글랜으로 공유기까지 올인원 노트북 서버 정착기 (IDLE 15W)

   벌써 서버를 운영한지 어언 10년이 넘어가네요.

대단한 서버를 운영하는 것은 아니고, 개인적인 자료를 소장하는 목적이 대부분입니다.

처음에는 xpenology(DSM 4.0)로 시작했다가 시놀로지도 거치고 OMV freenas nas4free 등등

정말 많이도 바꿨습니다. 그러다가 시놀로지에 정착했는데, 최근에는 또 다른 길을 걷게 되었네요.

그래도 역시 순정 시놀로지가 최고 아닐까 지금도 생각합니다.

   기존에 잘 사용하던 시놀로지를 처분하고, 시놀로지를 탈출하겠다고 결심을 하게 된 계기가 있었습니다

바로 "계획적 구식화"입니다.

"소니 타이머"라고 들어보셨나요?

소니 보증기간 1년이 지나면, 귀신같이 고장난다고 해서 붙여진 별명입니다.

기존의 시놀로지도 사용하는데 전혀 문제가 없고, 오히려 건드리면 고장날 수 있는 우려가 있어서 손을 대지 않으려고 했습니다.

하지만 점차 새로운 제품들이 나오고 기존 제품에 대한 지원은 끊어버리는 모습을 지켜보니, 이제는 변화가 필요하다고 생각했습니다.

사실 시놀로지가 가격을 이렇게 올려버리지만 않았어도 시놀로지로 교체를 했을탠데, 앞으로의 가격전망도 밝아보이진 않습니다.

   시놀로지 탈출 결심의 가장 큰 이유는 "Silent Data Corruption" 입니다.

짧게 설명하자면 보관하고 있는 데이터들이 모종의 이유로 손상된다는 내용인데, 실제로 제 서버의 데이터에도 그런 흔적이 있었습니다.

JPEG파일이 깨져있다거나, 파일명이 손상되어 알아볼 수 없는 문제를 가진 파일들이 존재합니다.

사실 SDC문제가 아니라, OS - 하드웨어를 바꿔가면서 발생한 오류로 발생했을 가능성도 충분히 있습니다.

서버 운영 초기에는 파워 계산을 잘못해서 다운 되는 경우도 존재했으니까요 ㅎㅎ,,

그렇지만, 이제 10년 넘은 데이터들도 보관하다보니 그런 문제들을 고려하지 않을 수가 없더라고요...

   처음에 떠올렸던건 시놀로지의 Btrfs 파일 시스템이었습니다.

Btrfs 파일 시스템을 적용하면 데이터 무결성을 보장해줄 수 있다고 들었습니다.

하지만 기존의 Ext4를 대체할 수 있을 정도로 안정성이 높은지 의문이 들었고, 외국 사례를 봐도 살짝 애매하다는 판단이 들었습니다.

실제로 Btrfs를 써봤을 때, 가장 실망했던 점은 "디스크 조각모음"을 수동으로 해줘야 하는 점이었습니다.

또한 에러 발견시 실시간 교정을 시도하는 ZFS와 다르게 Data Scrub으로만 진행되는 Btrfs를 굳이 고집할 필요가 없다고 결론을 내렸습니다.

   ZFS 파일 시스템을 구축하기로 마음을 먹고 처음 선택했던 OS는 truenas였습니다.

Scale, Core를 둘다 사용해봤는데 결론적으로는 둘다 저에게 맞지 않았습니다.

   Core는 파일 서버 목적의 운영체제다보니 이외의 편의는 거의 제공하지 못합니다.

그나마 vm을 가동할 수 있었지만, BSD기반 가상화다보니 성능이 좋지 못했습니다.

또한, ZFS cache가 과도하게 형성되는 버그가 있어서 포기했습니다.

   Scale은 데비안 기반으로 확장성이 좋고 Docker도 지원한다고 하여 시도해봤지만, 사실상 제약이 많았습니다.

우분투에서 docker-compose하는 것처럼 docker를 운영하기도 쉽지 않았습니다.

그래서 포기하고 vm위에 docker - npm을 운영했는데, vm을 재부팅했다가 꼬이면 외부에서 접근할 수 없어서 불편했습니다.

   다음으로 선택했던 OS는 proxmox 입니다.

하이퍼바이저 운영체제로써 경량 리눅스를 가동함과 동시에 다른 운영체제를 가상화할 수 있다는 점이 매력적으로 다가왔습니다.

초기에는 proxmox vm으로 truenas 운영했는데, 디스크 컨트롤러를 패스스루 하지 않고 사용하니 안정성이 떨어졌습니다.

따로 후술하겠지만, 이때 N5105 사용 시기와 겹쳐서 발생했던 문제로 추정됩니다.

   이제는 truenas 포기하고 proxmox - xpenology 체제로 결론 내렸습니다.

기존에 xpenology를 바로 적용하지 않았던 이유는 과거의 제 경험에 있습니다.

만약 여러 분들께서 사용하던 서버가 어느 날 갑자기 "볼륨1 - 충돌함" 메시지를 보낸다면 시놀로지를 찾을 수 밖에 없게 되실겁니다.

그때의 경험때문에 xpenology는 이용하지 않으려고 했는데, 역시 돌고 돌아서 다시 선택하게 되었습니다.

그때와 다른 점이 있다면, proxmox에서 지원하는 스냅샷 기능을 꼽을 수 있겠습니다.

업데이트 전에 스냅샷을 찍은 뒤 시도하고, 오류가 나면 롤백할 수 있는 점이 저를 안심시켰습니다.

   서버 하드웨어도 많은 변화의 과정을 거쳐갔습니다.

처음에는 집에 남은 삼성 컴퓨터로 서버를 구축했지만, 본래 용도가 있다보니 소비전력이 제가 만족할 만한 수준이 아니었습니다.

이후에 J1900 보드로 서버를 구성했지만, proxmox - xpenology 구성은 samba 전송속도가 50~70mb/s로 I/O 병목이 있는듯 보였습니다.

다음으로는 알리 N5105 보드를 구입해서 사용했는데 성능과 소비전력은 마음에 들었지만, 안정성이 받혀주지 못해서 변경했습니다.

수많은 시행착오와 수많은 하드웨어를 거쳐간 끝에 노트북에 정착했습니다.

CPU: i5-6300HQ

iGPU: Intel HD 630

RAM: DDR4 24GB (16+8)

SSD: m.2 nvme 4tb 1개, sata 3.84tb 2개

HDD: sata 500gb

최근 SSD 가격 하락이 이번 노트북 서버 구성에 많은 영향을 주었습니다.

m.2 4tb는 3.84tb로 파티션을 나눠서 ZFS RAIDZ(RAID5)로 구성해서 사용하고 있고, 남은 파티션은 lvm 스토리지로 사용 중입니다.

다음은 홈네트워크 구성도와 VM 목록입니다.

구성하고 돌아보니 정말 마음에 듭니다.

IDLE 13~17W 정도 유지되고, data scrubbing 등으로 풀로드시에는 35W까지 소비합니다.

   진정한 의미의 올인원 서버는 UPS 탑재가 아닐까 싶습니다.

보통 서버를 구성하면, 서버 하드웨어 자체도 중요하지만 또 역시 빼놓을 수 없는게 UPS라고 생각합니다.

기존에 UPS를 사용하긴 했지만, 납축전지의 수명 저하로 생각보다 자주 교체해줘야 하는 상황이 거슬렸습니다.

그런데 노트북에는 이미 훌륭한 UPS 시스템인 리튬이온 배터리가 탑재되어 있습니다.

우연하게 전원 어댑터를 연결하지 않았는데, 2시간 넘게 서버가 유지되는 상황을 보고 깜짝 놀랐을 정도입니다.

또한 오프라인 proxmox console 접근이 필요할 때, 외장모니터 필요없이 바로 노트북 화면으로 가능하니 만족스러웠습니다.

   사실 이번 서버 구성하는 과정도 정말 우여곡절이 많았습니다.

제 노트북은 m.2 1개, sata3 2.5디스크 1개, ODD 1개를 장착할 수 있도록 구성되어 있습니다.

그래서 ODD는 멀티부스트로 SSD를 장착해서 서버를 구성하겠다고 마음을 먹었는데, 문제가 발생했습니다.

멀티부스트에 장착한 SSD에 UDMA CRC Error가 증가하는 순간을 목격했습니다.

힘든 검증 끝에 내린 결론은, ODD는 sata2 포트인데, 멀티부스트로 sata3 장치를 장착한게 원인으로 판단합니다.

HDD는 sata2의 최대 대역폭을 넘길 일이 거의 없는데, SSD는 최대 대역폭을 넘어서 비트 소실(?) 된 것으로 보고 있습니다.

그래서 결국 제가 가장 피하고 싶었던 방법인 USB로 마지막 SSD를 구성하고, 멀티부스트에는 HDD를 장착했습니다.

   분명 랜포트는 1개인데 어떻게 내부, 외부망을 분리해서 구성할 수 있을까요?

특정 L3 스위치에는 VLAN 기능이 탑재되어 있습니다. 구성을 하면 싱글랜으로 N개의 랜을 장착한 효과를 볼 수 있습니다.

물론 기가비트의 대역폭을 나눠쓰는 구조여서, 풀로드시에 속도가 하락하긴 합니다.

하지만 외부랜이 500mbps급이고, 기가비트 Full-duplex 대역폭을 전부 사용할 상황이 거의 없어서 괜찮습니다.

추가적으로 알리에서 2.5G USB 랜을 주문했기에, 앞으로 메인 컴퓨터와 직결하여 2.5G망을 구성할 예정입니다.

   요즘에는 네트워크를 공부하는게 정말 재밌습니다.

네트워크 대역을 나누고, 특정 트래픽을 특정 게이트웨이로 라우팅하게 설정할 수 있습니다.

예를 들자면 WIFI 공유기는 1대인데, 와이파이 SSID를 2개 구성하고 VLAN으로 망을 분리합니다.

그러면 세컨 와이파이는 내부망 접근이 불가능하고 VPN서버로만 통신하도록 구성됩니다.

이렇게 구성해서 샤오미 기기들 와이파이를 연결해주고 있습니다.

중국 제품들이 가성비가 좋긴 하지만, 네트워크 통신하는 장비들은 100% 신뢰할 수 없으니까 이렇게하면 조금이나마 안심이 됩니다.

   올인원 서버의 유지보수는 역시 쉽게 생각할 문제가 아닌거 같습니다.

외부에서 관리할 때 OPNsense vm에 문제가 생겼는데, 게이트웨이를 담당하고 있다보니 외부에서 접근할 수가 없었습니다.

집에 와서도 DHCP 서버인 OPNsense가 제대로 가동되지 않으니, static ip로 변경하고 proxmox 접속할 수 밖에 없더라고요...

이런 불편함이 있지만, 그럼에도 불구하고 이 시스템을 계속 유지할 거 같습니다.

다른 장비를 둘 수도 있지만, 그럼 점점 늘어나는 소비전력을 제가 용납하지 못할 것 같다는게 주된 이유 입니다 ㅎㅎ

이렇게 긴 글을 읽어주신 모든 분들께 감사드립니다.