10기가 환경 구축

시작하기 전에

10g 네트워크 구축에 비용이 많이 들었지만 중국산과 오래된 서버에서 나오는 중고 제품으로 이제 비용이 많이 줄어들었습니다.
그래도 만만찮은 비용이 들기 때문에 10g로 가기 전에 2.5g 네트워크도 사전에 고려해보는것이 좋습니다. 왜냐면 10g 속도를 제대로 내기 위해서 선결조건이 많아서죠.
단일 HDD 혹은 4장 이하의 HDD raid라면 2.5g도 괜찮습니다. 2.5g는 스위치 (알리에서 8포트짜리가 $50 미만으로 구매 가능), 랜카드(요즘은 2.5g 내장랜도 많습니다.), 케이블(기존의 rj45 케이블 쓰면 되고, 속도가 안나오면 cat6정도면 잘 동작함) 등 비용이 아주 저렴하기 때문이죠.
그래도 10g로의 여정을 계속하실 거라면 다음 내용을 고려해야 합니다.

• 케이블 단자 선택 : RJ45(10gBASE-T) 혹은 SFP+
• 스위치 : 허브, 스위치는 어떤것으로 할까
• NIC : 저렴하고 신뢰성 있는 랜카드는 어떤것?
• 케이블 : 다양한 케이블이 있습니다. 가성비 좋은 케이블은 어느것?

케이블 단자

10g 연결을 위해서 RJ45 (10g base T)와 SFP+ 단자를 이용할 수 있습니다. RJ45용으로 10g 랜카드를 인텔쪽으로 선택하면 저렴하게 구매가 가능합니다. SFP+ 는 케이블을 새로 사야 하지만 어느정도 감당할 만한 가격으로 구할수 있습니다. 케이블은 케이블 이야기에서 자세히 다루도록 하고, 결론적으로 스위치 때문에 sfp+로 가는것이 좋습니다.
아래 사진은 SFP+ 단자를 갖는 DAC 케이블입니다.

스위치

10g 장비를 두대만 연결한다면 10g 랜카드 (두대분) 및 케이블(한개) 만 쓰면 됩니다. 그런데 장비가 한대가 아니라 NAS 서버 + client 여러대 혹은 백업 서버를 10g로 연결한다고 가정하면 스위치를 도입하는게 좋습니다.

10g 스위치는 가격이 엄청나게 비쌌었는데, 중국의 활약으로 저렴한 10g 스위치가 많이 나와 있습니다.
아래의 TP-link 스위치는 20만원 미만대에서 8개의 sfp+ 10g 포트를 이용할 수 있습니다. (알리 구매시)

이전에는 미크로틱 4 port switch가 30만원대에서 인기가 있었는데 중국산 8포트 스위치가 더 저렴하게 나오고 있습니다.

10gBASE-T 스위치는 TP link것도 50만원 이상으로 나와서 아직 추천하기 어렵습니다.

케이블

RJ45 (10gBASE-T) 케이블의 경우, 기존의 랜케이블과 동일한 케이블 중에서 cat 6이나 cat7을 이용하면 됩니다. 새로 사도 얼마 안하고, 홈넷 랜 길이에 비해서는 크게 문제가 안됩니다.
sfp+ 케이블은 예전에는 광케이블 + gbic을 이용했습니다. 이것은 광케이블 + gbic 두개 가격이 붙으니까 비용이 높습니다.
저렴하게 가려면 다음 케이블을 이용합니다.

• DAC 케이블 : sfp+ 단자를 양끝에 달려있고 연결은 구리선으로 되어 있습니다. 연결선이 굵고 상당히 두껍습니다. 장점은 전력소모가 낮다는 것이고 단점은 원거리에서는 사용이 힘들고 10m 이상으로 하려면 전선이 매우 굵어지게 됩니다. 홈넷에서는 크게 문제가 없습니다.
• AOC 케이블 : 광케이블+gbic을 선 하나로 통합해서 제공합니다. 케이블과 gbic을 따로 사지 않아도 되어서 간편합니다. 5m 이상사용시에는 얇은 선으로 정리가 가능하고 광케이블 사용시와 동일하게 원거리 사용도 가능합니다. 가격도 동일 길이 대비 알리에서는 dac과 비슷합니다
  광신호를 전기신호로 바꾸는데 열이 나고 전력소모가 높다고 하는데 저는 잘 못느꼈습니다.
• 광케이블 +gbic(광모듈)은 아래 사진에 나오는 구성입니다.
  

  

  청색플러그가 광케이블(두가닥), 케이블과 sfp 단자를 연결하는 광트랜시버(gbic) 그리고 sfp+ 단자를 보여주네요. 비용이 많이 들어서 집에서는 이구성으로는 쓰지 않았습니다.

NIC

랜카드도 저렴한것이 많이 나와 있습니다. 10gBASE-T를 쓸것이냐 SFP+를 쓸것인가만 고려하면 됩니다.
추천하는 랜카드는 Mellanox connectx-2 와 인텔 x520-da입니다. 가격은 connectx2가 저렴하지만 최신 windows 11의 uefi secure boot시에 문제가 발생한다는 보고가 있습니다. 이때는 x520을 쓰시면 될것 같습니다.
사용시 문제점은 다음과 같은 문제점이 있습니다.

• PCI-ex 8x 슬롯이 있어야 장착할 수 있습니다. (보통 개인사용자용 메인보드는 8x 슬롯이 없음. pciex 16 슬롯 2개인 보드를 써야함)
• 구형 보드라 최신 OS와의 호환성을 확인해야 함
  사진은 하나의 sfp+ 포트를 갖는 connectx-2 카드입니다. 알리에서 약10불정도면 구매가 가능합니다.

 인텔 x520 (82599)는 약간 가격이 더 높네요(알리에서 33천원)

• 주의사항 열이 많이 나서 통풍이 안되는 케이스에서 이용시에는 작은 팬(40mm 정도가 적당)을 달아주는것이 좋습니다.

메인보드

메인보드가 왜 문제인가 말씀드리면, 보통 10g NIC는 PCI Ex-8x 슬롯용 카드로 나옵니다. 보통 PC에는 pci8x 슬롯이 없고 대부분 16배속 슬롯과 1배속 슬롯이 몇개 달려 나옵니다.
이들 네트워크카드는 pciex-2 8배속 슬롯으로 나옵니다. 대역폭은 5g x 8 = 40GB인데, 우리가 저렴하게 구할 수 있는 16배속 슬롯 두개 있는 메인보드는 두번째 슬롯은 4배속으로 동작합니다. (그러니까 5G x 4 =20G)
당연히 이런 보드에서 사용시에 10g포트 두개까지는 제 성능이 나옵니다.
물론 그래픽카드를 안넣고 그래픽카드 자리, 16배속 정상으로 나오는 슬롯에 넣어도 됩니다. 속도 차이는 없습니다.

OS

Connectx-2의 경우 windows 10, linux 계열 최신 os설치시 추가로 드라이버 설치 없이 인식이 됩니다. 인텔 x520도 리눅스에서는 드라이버 설치가 필요하지 않았습니다.

실제 성능

10g 네트워크 속도를 full로 내기가 쉽지 않습니다. 10g 속도가 다 나오는 경우는

1. nvme에서 8drive raid 6에 복제
   1. 작은 파일을 복사하면 속도가 수십메가/s 밖에 안나옵니다.
   2. 수기가 이상 용량의 데이터를 전송시에 1000M (10g) 속도가 나옵니다.
2. raid 볼륨에서 다른 장비로 복사
   1. 두 장비가 raid나 nvme인 경우에만 가능
   2. 8drive nvme에서 rsync로 5drive nvme복사시 최고 5~6GB /s

전송대역폭 대비 지연시간이 1g에 비해 더 낮기 때문에 작은 파일을 복제해도 성능향상과 빠릿함은 느낄 수 있습니다.