Truenas scale on proxmox로 zfs raidz를 쓰다가, proxmox에서 zfs를 생성이전해서 쓰고 있습니다.

문제점은 treunas도 초기 부팅시에는 서비스 메모리(arc 캐쉬메모리 제외)가 적다가 scrub이 돌거나 rsync를 하고 며칠 운영하면 이게 수십기가까지 증가합니다.

ps등으로 프로세스를 살펴봐도 특별히 메모리가 증가한 사용자 프로세스가 보이지 않아요.

그래서 proxmox에서 돌리면 어떨까 해서 써봐도 똑같이 가용메모리가 감소합니다. 

원인은 커널메모리인 slab이 메모리를 엄청먹고 있더군요( /proc/meminfo에 보면 SUnreclaim 메모리가 수십기가 이상)

slab 메모리에서 회수불가능 영역이라 scrub 돌리고 나면 가용메모리가 엄청 줄어있습니다.

캐쉬 드랍 명령

echo 3 > /proc/sys/vm/drop_caches

을 실행해야 메모리를 확보할 수 있습니다.

zfs 풀의 데이터를 arc 캐쉬 외에 linux filesystem 캐쉬도 같이 동작하나 봅니다. (그런데 free에 보면 캐쉬로 할당된 메모리가 아닙니다.) 위 명령을 수행하면 회수불가능이라는 SUnreclaim도 몇기가 수준으로 확 줄어듭니다.

위 명령 수행후 arc도 약간 줄어들고, 성능은 별 차이가 없었습니다.

혹시 리눅스 기반 시스템에서 zfs를 쓰시는 분 들 중에 커널메모리가 증가하는 현상을 갖는 분은 참조 바랍니다.