스위칭 허브며 PC며 NAS며 망 전체를 1기가하고 10기가하고 이중화 했는데

NAS쪽에서 생각보다 10기가 망 스피드를 제대로 쓰질 못하는거 같아서

램도 추가하고 SSD 캐시도 넣어보려고 진짜 별의 별 궁리를 하고 있었는데..

엊그제 시퀀셜 IO 캐시설정을 적용한 상태에서도 NVMe SSD캐시 속도가 너무 속도가 오락가락 해서 

대체 뭐가 문제인지 하나씩 바꿔가면서 문제를 찾아봤는데

NVMe SSD를 스토리지 풀로 잡아도 같은 문제가 일어나길래 대대적으로 하나씩 다 뜯어봤습니다.

인텔 X520-DA2 카드에서 NVMe SSD 스토리지 풀에 저장시 

결국 범인은 인텔 X520-DA2 카드였는데

다른 PC나 환경에서 카드 자체는 문제가 없는데 유독 시놀(헤놀)과의 조합인 경우만 

쓰기속도가 너무 오락가락하며 불안정해진다는게 결론이었죠 (읽기 속도는 문제없고 원인도 불명입니다)

대책으로 X520-DA2카드를 들어내고 멜라녹스 ConnectX-3 Pro카드로 바꿨는데

이제야 뭔가 제대로 되었다는 느낌이...

멜라녹스 MCX312B 카드에서 NVMe SSD 스토리지 풀에 저장시

그래서 NVMe SSD를 스토리지에서 캐시로 다시 돌리고

대용량 파일 저장시에도 Nvme캐시를 거쳐서 NVMe 저장속도로 저장되도록 시퀄셜IO 설정하니

일반 하드디스크 스토리지풀에 큰 파일을 저장할때도 10기가 속도가 다 나오는것을 확인하고 

모든게 다 해결되어 끝난줄 알았는데...

그럼 X520조합에서 SHR(RAID5)로 잡힌 하드디스크 풀도 속도가 제대로 나오지 못한게 아닐까? 하고...

설정했던 NVMe 캐시 드라이브를 다 제거한 뒤에

RAID5로 잡힌 하드디스크 풀에 40기가 정도되는 파일의 저장속도를 측정해 봤습니다.....

그 결과...  

 멜라녹스 MCX312B 카드에서 SHR(Raid5) HDD 스토리지 풀에 저장시

SHR(Raid5) HDD 스토리지 풀 저장시에도 10기가 한계에 부딛히는 빠른 저장 속도......

NVMe SSD에 저장하나 RAID5로 묶인 하드디스크에 저장하나

모두 10기가 벽에 막혀서 더 이상 속도가 나지 않는 상태였네요........

오히려 용량이 작은 NVMe  SSD로 테스트 할때는 NVMe의 SLC캐시구간(22G정도?)를 지나면

NVMe에 쓰는 속도가 반 이하로 떨어져서 

파일이 크면 클수록 Raid5 HDD에 저장할 때보다도 더 느린 결과가 나오더군요

결국 NVMe SSD를 쓰는 이유는 랜덤 액세스 읽기 캐시라면 좀 의미가 있을지 모르나

쓰기 캐시, 특히 시퀀셜IO가 필요한 대형 파일은 진짜 아무런 쓸데 없는 삽질이었다는 결론이네요...

(캐시 설정에 시퀀셜 IO 설정이 사라진 이유가 납득이 갑니다)

Raid1 미러링 때문에 쓰기 캐시에 쓰려고 같은 용량 같은 모델로 2개씩 사둔 SSD가 다 쓸모없어져버렸네요..

그냥 SSD 1개만 추가해서 랜덤 액세스 대비 읽기 전용 캐시로 쓰던지 해야 겠네요

결론은 SHR(Raid5) 짱짱맨......

Raid5가 패리티 계산때문에 저장속도가 느리다곤 해도 하드 디스크 여러개를 스트라이핑 하기때문에

쓰기속도가 10기가 랜카드를 커버할 정도의 속도는 쉽게 나오는 모양입니다

 시간나면 40기가 Lan카드로 Raid5 저장속도의 한계가 어느정도인지 재 보고 싶네요...

참고로 Raid5 스토리지풀은 시게이트 8TB x7대 로 묶여있습니다 (베이 하나는 스페어용)

하드웨어는 QNAP TVS-871(구 NVR기기)입니다.. (NVR에 헤놀설치한 후기글....)