대충 해결한 것 같습니다.(OPNsense - Mellanox ConnectX3)

새벽에 이런 글을 올린 적이 있었습니다. OPNsense에 Mellanox ConnectX3 MCX354A가 인식이 안되는 문제였습니다.

https://svrforum.com/svr/670299

일단 여러가지로 해봤는데 VM BIOS가 아닌 하드웨어(X10DRI)에서 BIOS 설정을 PCIE ROM을 Legacy가 아닌 EFI로 변경했는데 이게 작용을 한건지는 잘 모르겠습니다. 하지만 몇 가지 실험으로 알아낸 것은 커넥터(QFSP+)가 끼워져있지 않으면(반대쪽도 전원이 켜진채로 연결되어야함) 칩셋 자체가 인식이 되질 않는 것 같습니다. 따라서 만약 커넥터를 끼우게 된 이후 브릿지 설정해야하는 것으로 생각됩니다.

3개의 MCX354A를 장착하고 처음으로 OPNsense를 확인했을 때 DS1821+와 연결된 것 빼고는 안보이는게 이렇게 복선을 회수하네요.. 아무튼 이제는 OPNsense를 재부팅해도 연결된 포트들만 브릿지 해두었으니 나중에 추가로 연결할 때 인터페이스 생성하고 브릿지에 넣어두면 될 것 같습니다.

-----

iperf3에도 문제가 있었는데 1Gpbs밖에 안된다는 것이었습니다. 이건 조금 검색을 해보니 -P 옵션을 추가로 넣으면 해결이 가능하다고 하더라구요. 그래서

iperf3 -c [ip] -p [port] -P 10

으로 했습니다.

결과값이 썩 마음에 들지는 않지만 1Gbps에서 벗어났다는 것에 만족하고 있습니다. 아마 VM의 한계치 때문에 그런 것 같아요. iperf3 측정 시 CPU 사용량이 순식간에 100%를 찍더라구요. CPU 처리속도의 한계 때문에 그런 것 같습니다. 시놀로지쪽은 CPU 사용량이 그리 높지 않은데... ㅠ

일단 시놀로지 상으로는 네트워크 상태가 40G가 찍혀있는데 왜 속도가 저렇게 밖에 안나오는지는 조금 더 연구를 해봐야할 것 같습니다. 물론 위에서 이야기한 것과 같이 CPU 처리 속도 한계 때문인건 맞는 것 같습니다. 다만.. PCIE 3.0 4레인이면 32기가비트라서 제 생각으로는 적어도 20Gpbs 정도는 나와줄거라 생각했는데 아쉽습니다. 참고로 -P 옵션을 20/50/100 으로 잡았는데도 저정도에서 벗어나지 못하는걸 봐서는 이미 답이 나온 것과 같은 느낌입니다.

참고로 MTU 9000으로해도(OPNsense 인터페이스, 시놀로지 네트워크 설정 전부) 비슷한 속도로 나오네요.

이렇게 되면 서버 하나 할당해서 OPNsense만 올려서 써야할지도 모르겠습니다. ㅠ