[40G 구축기] 0. 하드웨어 선택

1. 내부망 40G를 계획하게 된 계기?

내부망 40G를 처음부터 계획한 것은 아닙니다. OPNsense와 24포트 1G 스위치 그리고 DS1821+의 1G 네트워크 카드의 본딩을 통해서 나름 여러 장비에서 DS1821+의 데이터를 잘 송/수신 하고 있었습니다. 그런데 10G의 성공 사례가 쌓이고 랙서버 두대를 추가로 구입하고나니 1G로는 네트워크가 감당이 안되겠다는 생각이 들었습니다. 그리고 결정적으로 유튜버 잇섭 님의 10G 영상을 보고나니 이 정도면 저도 내부망 10G에 도전할 수 있지 않을까 생각이 들었습니다.

https://gigglehd.com/gg/hard/13606471

https://gigglehd.com/gg/bbs/13617798

타 커뮤니티이긴한데 제가 10G 네트워크에 대한 정보를 물어보는 글입니다.

그렇게 정보를 찾고 커뮤니티에 물어보고나니 10G는 기존의 랜선 그러니까 RJ45 규격을 사용하면 발열이 심하기 때문에 가급적이면 SFP+ 단자를 사용하라고 하더군요. 이게 칩셋 발열도 그렇고 단자쪽도 그렇고 10G를 사용하기에는 문제가 좀 있나봅니다. 물론 최신 제품이라면 다르겠지만 저는 가급적 비용을 줄이기 위해 구세대의 저렴한 제품을 구해서 쓸거였어서 어느 정도 해당되는 문제였습니다. 결국 SFP+ 단자를 사용하는 것으로 결정을 내렸습니다.

2. 어떤 칩셋을 사용해야하는가?

고민이 컸습니다. 10G에 대해서 SFP+ 단자를 사용하는 칩셋을 찾다보니 멜라녹스 제품군으로 엔비디아(그래픽카드 칩셋 제조사)의 네트워크 칩셋이 있더군요. 인텔도 있을거라 생각했으나 최근 2.5G 칩셋 i225-V / i226-V 에 대한 여러가지 이슈가 있어 멜라녹스로 구성하는 것으로 잠정적으로 결정했습니다. 그러던 중 아래의 글을 발견하게 되었습니다.

https://www.clien.net/service/board/cm_nas/16982530

내부망 10G를 멜라녹스 ConnectX-3 CX311A SFP+ 제품으로 구성한 글입니다.

저 글을 보고 레퍼런스도 있겠다 싶어서 이래저래 매물을 검색하다보니 제 눈에 들어온건 멜라녹스 ConnectX-3 CX314A QSFP+(편의상 MCX314A로 합니다.) 제품이었습니다. 가격적으로 그리 차이가 나지는 않지만 10G가 아닌 40G까지 지원하는 것을 보고 이거다 싶었습니다. 그러다가 포트가 두개인 멜라녹스 ConnectX-3 CX354A QSFP+(편의상 MCX354A로 합니다.)를 발견하게 되었고 계획은 시놀로지와 다른 컴퓨터에 끼울거 해서 MCX314A 4대, OPNsense용 MCX354A 2대를 구입하기로 확정했습니다.

나중의 이야기이지만 어느날 매물을 찾다가 MCX354A가 너무 저렴한 가격에 나오는 바람에 7개를 구입해버렸지만요.

3. 뜻밖의 복병?

하지만 여기에도 뜻밖의 문제가 있습니다. 위의 클리앙 글에서는 멜라녹스 ConnectX-3 CX311A SFP+ 로 엄밀하게 따지자면 다른 칩셋으로 시놀로지에서 정상적으로 드라이버를 불러올 수 있을지, 호환은 되는지가 문제였습니다. 그렇게 정보를 찾다보니 DS1621+/DS1821+에 대한 네트워크 칩셋 호환에 대한 글을 발견하게 되었습니다.

https://blog.naver.com/spiniron/222655186354

이 글을 알려준 원 글을 찾기가 힘들어 최종 글의 링크를 올립니다.

제가 사용할 CX354A가 있었습니다. 이 글을 보고 다른 해외 포럼에서도 추가적으로 확인하면서 호환 드라이버가 존재한다는 것을 확인했습니다. 따로 설정해줄 것도 없이 바로 끼워서 쓰면 된다고 했습니다. 저는 환호했습니다. 끼워서 되면 드라이버를 추가로 받거나 설정을 안해도 되는거니까 훨씬 일이 간소화 될 것이라 생각했었죠.

그러나 추가적인 복병이 숨어있던게 시놀로지 DS1821+는 PCIE 레인이 4레인입니다. 맨 위의 기글하드웨어 글에서 어떤분께서 시놀로지의 PCIE 슬롯은 3.0버전 4레인이라 40G 풀 스피드로 사용하긴 힘들거라고 하시더군요. 그래서 데이터시트를 보니..

진짜입니다. 8레인의 탈을 쓴 4레인이라 뒤통수를 맞았지만 뭐 그래도 20G까지는 쓸 수 있고 이 정도만해도 SATA SSD 단일 대역폭으로 도달하기 힘들고 레이드 몇 개를 묶어야할 수준이라 크게 저에게는 상관이 없을거라 생각했습니다. 어짜피 레이드 5로 묶인 하드 4개라서 여기서 8베이인 DS1821+에 하드를 더 추가한다고 해봤자 저 대역폭까지 도달할 일이 없을거라 생각합니다.(만 요새 SATA SSD 1/2TB 가격 떨어지는게 심상치 않네요.)

4. 케이블은요..?

SFP 단자는 모듈(대부분 지빅이라고 부릅니다.)과 케이블(대부분 광케이블)로 서로간의 통신을 합니다. 하지만 저는 거기까지 호환성을 따지기에는 너무나도 어렵다고 생각했고 어짜피 원거리통신(100m이상급)이 아니다보니 이래저래 또 정보를 찾았습니다. 근거리(5m이내)로는 모듈과 구리선을 합쳐놓은 DAC 케이블을 사용하는게 호환성과 가격적으로도 메리트가 있다고 하더군요.(모듈과 광 케이블을 합쳐놓은건 AOC라고 합니다.) 그래서 DAC 케이블을 찾아보니 MCX354A는 일반 SFP가 아닌 QSFP+ 단자를 쓴다고 하더군요. 그쪽으로 매물을 찾아보고 연락드려보니 수량을 어느 정도 맞춰서 구매했다보니 네고를 제가 요청한 것도 아닌데 해주시더라구요. 정말 감사했습니다.

아무튼 이래저래 하드웨어 선택과 탐색 그리고 구입에만 2주 정도를 날려보내며 내부망 40G에 대한 삽질이 시작되었습니다. 여기서 앞선 MCX354A를 7개 구입했다는 취소선의 글을 잠깐 설명해드리자면 두머리동네에서 매물을 찾아 구매글도 적어보고 잠복해서 며칠간 살펴본 결과 가격적으로 제가 감당하기가 조금 힘들더라구요.(취미 그거 다 돈이에요) 그래서 조금 더 잠복해있었는데 어떤 좋으신 분께서 자기 장비 정리하신다고 엄청 글을 올리시더구요? 그래서 저는 그 물살에 뛰어들었고 네고 요청도 조심스럽게 드렸는데 흔쾌히 받아주셔서 정말 저렴한 가격으로 구입할 수 있었습니다. MCX314A를 섞어서 구매하는 것 보다 더 저렴하게 구입했으니..

이렇게 40G에 대한 0번째인 하드웨어 선택을 이렇게 마치고 본격적으로 들어가게 되었습니다. 삽질 과정 반복한 과정은 굳이 넣지는 않으려고 하는데 맥락상 넣을 수도 있습니다. 뭔가 대장정이 될 것 같은데 저의 삽질기 끝까지 봐주시면 감사하겠습니다.