• 돌아가기
  • 아래로
  • 위로
  • 목록
  • 댓글
잡담

트루나스 스케일 갱장해오

콜라 907

0

18

애플리케이션 풀을 설정하면 그곳에 쿠버가 설치됩니다.

독커 실행하듯이 실행하면 롤백, 업그레이드, 다운그레이드, 스케일링 다 되요..!

 

어제 스토리지 리플레이스, 온/오프라인 같은것도 찾았습니다.

 

독커 컴포즈가 안된다는것과

트루 나스 스케일이 설치된 스토리지를 다른 용도로 사용할수 없다는 것만 빼면 완벽하네요..ㅠㅠ

 

컴포즈가 안되면 지금 나스에 있는 독커 옮기는것도 귀찬은 일이 되죠.

컴포즈가 되면 독커 설치된 폴더 통채로 복사해서 각 파일마다 dcupd -f *.yml 하면 되는건데, 이게 안되면 일일히 볼륨, 두소 설정해줘야하는..ㅠ

신고공유스크랩
18
profile image 1등
달소 2022.09.06. 11:27

헉..컴포즈가 안되다니..

뭐 그건 vm에서 하면되긴하니까요 ㅎㅎ

쿠버네티스는 신기하네요

콜라 글쓴이 2022.09.06. 13:41
달소

vm 놓고 독커하면 뭔가.. 자원 낭비인 느낌..ㅋㅋ

근데 zfs 관리가 너무 잘되니..

음.. 쿠버네티스 설정들을 내보내고 불러오는 기능만 있어도, 평생 트루나스만 쓰면 될텐데..

 

근데 쿠버네티스가 정상 작동을 안하네요..

아무 오류 없이 재시작합니다.ㅠㅠ

로그에도 없고, 쿠버 이벤트에도 아무 내용 없네요.

심지어 쿠버 이벤트에는 다시시작 되었다고 뜨지도 않아요.ㅠㅠ

 

 

---------------------------------

로그에 같은 내용이 반복되서 재시작인줄 알았습니다.

로그 시간을 보니 재시작한게 아니고 단순히 같은 로그가 반복되어 표시되는거네요.

1초 로그

1초 로그

3초 로그

1초로그

2초 로그

3초 로그

 

이렇게 같은 내용이 반복 표시 되었을 뿐, 재시작 된것은 아니었습니다 

로그 뷰어에 버그가 있던걸로..

 

 

그럼.. 왜 접속이 안되지..??ㅋㅋㅋㅋ 

profile image
달소 2022.09.06. 13:47
콜라

ㅎㅎ.. vm 놓고하면,, 백업,복구가 확실히 수월하기는 하더라구요.

Proxmox에 Truenas코어만 사용할까,, 고민입니다

콜라 글쓴이 2022.09.06. 14:10
달소

넵.. 로그에는 아무런 문제 없이, started라고 나오는게 문제랄까요.ㅠㅠ

k3s connection refused.png.jpg

refused..ㅠㅠ

 

위에 나오는 pod의 ip(172.16.0.12)로 curl하면 정상적으로 출력되는 걸 봐선 팟은 잘 실행 되었는데..

nodeport 서비스가 제대로 안되는 것 같습니다.

콜라 글쓴이 2022.09.06. 14:50
콜라

왓치 타워 없이 업데이트 확인도 해주고, 쿠버네티스 답게 롤링 업데이트도 해줍니다.

새로운 버전의 컨테이너 생성하고 구버전 컨테이너 삭제..

 

그래서 왜 연결이 안되는걸까요...ㅠㅠ

컨테이너 ip로는 접속이 되는데 왜

노드 포트 ip는 refused가 될까요..

그리고 172.17.209.89(node port 서비스의 ip)로 핑도 가고, 심지어 9200 아닌 포트는 timeout이 됩니다.

그러니까 9200이랑 다른 나머지 포트가 다른 반응을 하는 걸 봐서 9200에 뭔가 세팅을 했다는 것은 확실한데..

음...

truenas를 빼고, k3s nodeport connection refused라고 검색해보면 iptables 문제라는 글도 보이던데.. 

어렵네요..

profile image 2등
greymin 2022.09.06. 11:51

안그래도 compose 방식으로 도커 사용할수 있게 해달라는 얘기들이 꽤 있었죠.

쿠버네티스 방식을 선택한게 아쉬우면서도 또 나름의 차별화가 필요하기도 했을거구.

 

구글링 해보니까 Portainer 설치해서 기존방식으로 사용하는 방법들도 있긴 하더라구요.

 

지금은 코어를 사용하지만 처음엔 스케일을 썼는데 GUI로 하나하나 클릭하는게 귀찮아서

달소님 얘기처럼 VM 우분투 하나 띄워서 사용했었어요.

그러다 좀 익숙해지니까 쿠버방식도 꽤나 괜찮더라구요. traefik을 제대로 사용하는게 어려웠는데

traefik 설치하면 다른 앱들 설치할때 GUI로 바로 도메인 정해줄수 있고 authelia 까지 전체적으로

연동해서 사용할수 있게 되어있더라구요.

콜라 글쓴이 2022.09.06. 13:43
greymin

zfs scale의 스토리지 관리만 떼오고 싶어요..ㅋㅋㅋㅋㅋ

쿠버가 기능은 많은데, 홈에서 사용하기엔 설정할게 너무 많죠.

아무것도 안하면 독커처럼 기본으로 세팅해주기만 해줘도 좋은데..

ㅠㅠ

 

물론 지금 트루나스 스케일에 독커 컴포즈를 전부 쿠버로 옮기는 것을 고려하고 있긴합니다.

솔직히 컴포즈가 편하긴 한데 zfs 관리가 엄청나더라구요.ㅎㅎ

profile image
greymin 2022.09.06. 14:49
콜라

스케일의 스토리지 관리만 ^^ 저도 그 생각했었어요~

그래서 전 어차피 메인서버가 Proxmox 기반이라 코어로 옮겼어요.

Proxmox에 올리면 트루나스용 부팅디스크도 따로 필요없구요.

 

코어는 ZFS 스토리지 서버로만 사용하고 vm, lxc로 도커 사용하고 하니까

딱 좋더라구요.

콜라 글쓴이 2022.09.06. 15:26
greymin

그러면 프록스목스의 가상 디스크로 truenas core를 부팅하고, 다른 디스크들은 bypass로 트루나스에 넣으시는건가요?

아니면 vm이랑 lxc가 설치된 공간은 truenas로 제어하지 않는다는 의미신가요?

profile image
달소 2022.09.06. 15:28
콜라

아마 TrueNAS에서 NFS 구동하고 Proxmox에 붙이셨을겁니다.

저도 그렇게 사용할까 고민중이거든요 ㅎㅎ

콜라 글쓴이 2022.09.06. 15:30
달소

아하.. 그리고 proxmox에서는 가상머신의 디스크를 nfs 볼륨에서 부팅하겠군요?

그러니까 트루나스의 zfs 볼륨으로 하는 것이죠?

arc를 사용하려면 truenas 머신에 메모리를 좀 많이 할당해야겠군요..?

profile image
greymin 2022.09.06. 15:46
콜라

메인쪽은 Proxmox 의 NVME 를 VM용으로 쓰고 있고 NVME를 32기가 할당해서 코어 부팅용으로 쓰고 있어요.

H310 it 카드를 VM 트루나스 코어에 PCIE 패스쓰루 해서 스토리지를 꾸렸구요.

 

다른 VM이나 LXC 중에 스토리지가 필요한 경우 VM, LXC <-> 코어 인 경우는 NFS로 연결했고

윈도우 데스크톱도 함께 사용하는 경우는 VM, LXC<->코어<->윈도우 는 SAMBA 로 연결했어요.

NFS. SAMBA가 같은 폴더(?)에서 사용될때 문제가 생길수 있어서요.

NFS를 읽기전용으로 해도 되지만 그냥 심플하게 리눅스끼리는 NFS, 윈도우도 함꼐이면 SAMBA .

이렇게 해두고 쓰고 있어요.

 

백업서버는 G4560 램16기가로 Native로 코어만 설치했구요. 

시놀처럼 전원예약(온/오프)가 따로 있지 않지만 바이오스에서 +9시간 해서 자동 on 되게

트루나스 GUI Cron Jobs 에서 2시간 후 Shutdown 되게 해서 2시간동안 Replication 으로 백업되게 해뒀어요.

profile image
greymin 2022.09.06. 15:55
콜라

ARC에 대해 조금 오해가 있는게 내부망이 10기가 정도 된다면 ARC 캐시 메모리가 꽤 필요하겠지만

저처럼 내부 1기가에선 램16기가면 VM이든 네이티브 이든 풀속도 다 뽑아주더군요.

물론 코어나 스케일에서 도커나 Jail 같은 다른 서비스 사용없이 스토리지 서버로만 사용할때요.

 

16기가 램이어도 Proxmox 내부 VM들끼리 자료이동이나 복사할때 최소 1기가~ 최대 5기가 사이에서 왔다갔다 

할 정도로  속도도 잘나오구요.

 

근데 Proxmox 램이 좀 놀고있어서 지금은 32G 할당해줬어요. 

콜라 글쓴이 2022.09.06. 16:02
greymin

우와.. 자세한 설명 감사드립니다.

사실 나스용도로 파일복사하는데는 arc가 효과가 없긴 합니다만, 부팅 디스크가 램에 있는 것과 디스크에 있는건 차이가 약간 있긴 하지요.

하지만 뭐.. nvme보다 빨라봐야 얼마나 빠르겠어요.ㅎㅎ

어차피 cpu 때문에 부팅이 늦는것일텐데요.

 

다만 스토리지가 하드면 좀 체감 많이 될거라 생각합니다..ㅎㅎ

 

너무 자세하고 긴 설명 너무 감사드립니다.

한번 가상으로 해봐야겠어요

profile image
greymin 2022.09.06. 16:12
콜라

^^불과 몇달전만 해도 Esxi 코어 개념과 Proxmox 스토리지에 대한 초보질문들을 했었어요.

아.. 지금도 찐초보구요. 어쨌든 그때 달소님, stone92, 펜타네스트님께서 자세하게 많이 알려주셔서

알려주신 내용으로 몇달동안 열심히 구글링하며 필요한거 하나씩 해결해 나가고 있는거죠.

 

우분투나 FreeBSD는 오래썼지만 나스OS는 편의성 최고인 시놀리지가 처음이다보니 트루나스는

뭔가 불편, 어려움 이었는데 조금 쓰다보니 스토리지 서버로 딱 필요한 기능들도 채워져 있어서 ^^

 

다들 zfs의 스냅샷이나 send/receive를 엄지척~ 하는데 전 무엇보다 레이드 빌딩할때 몇초면 되는게

제일 좋더라구요. 우분투나 시놀, 헤놀 쓸땐 2~3일 기다리고 있었는데~

콜라 글쓴이 2022.09.06. 16:40
greymin

저도 zfs라는 걸 사용해보면서 자작을 알아보기 시작했습니다

기존에는 라즈베리파이에 zfs 기반 우분투 설치해서 사용했습니다.

이 때는 cockpit의 zfs 플러그인으로 zfs 관리하면서 사용하던 도중..

send, receive를 web에서 할 수 있다는 것을 보고 트루나스 알아보기 시작했어요.

확실히 큐냅이나 시놀보다 불편하긴 한데, zfs를 사용할 수 있다는 점이..ㅎㅎㅎ

 

zfs 때문에 quts hero도 고민했었죠..

많이 배워가고 있습니다.

여러가지 테스트해보고 실제 사용 가능하다고 판단되면 부품 사려구요.

아직은 컴퓨터에 가상 머신 만들고 테스트 해보고 있습니다.

저도 greymin님처럼 되도록 노력하겠습니다.ㅎㅎ

profile image
greymin 2022.09.06. 17:39
콜라

그게 맞죠. 저도 원래 G4560 램 16기가로 우분투 서버만 돌렸는데 Esxi, Proxmox 에 대해 필요성을 느껴

먼저 G4560으로 한동안 이것저것 해보며 필요한지, 할수 있는지 먼저 알아봤어요.

저도 ZFS 아니였으면 트루나스로 안갔을것 같아요.^^ 시놀의 편의성을 ㅋ

 

근데 Proxmox에 스토리지 서버로 트루나스, 나머진 vm,lxc로 하니까

공부는 필요해도 이젠 오히려 커스텀이 무한히 가능한 이 조합이 더 좋아졌어요.

 

저처럼 말구요~ 저한테 많이 알려주시길 기대합니다^^

고생하십쇼~~~ ㅎㅎㅎㅎ(고생 많이 했어요 ㅠㅠ)

 

댓글 쓰기 권한이 없습니다. 로그인

취소 댓글 등록

cmt alert

신고

"님의 댓글"

이 댓글을 신고하시겠습니까?

댓글 삭제

"님의 댓글"

삭제하시겠습니까?


목록

공유

facebooktwitterpinterestbandkakao story
번호 분류 제목 글쓴이 날짜 조회 추천
오픈소스 Hoarder 소개 📦 - AI 기반 태깅 기능을 갖춘 오픈 소스 Bookmark-Everything 앱(mymind 오픈 소스 대안) 6 달소 1일 전22:53 198 +1
정보 Proxmox) VMware ESXi 기반 가상 머신 마이그레이션에 사용할 수 있는 새로운 가져오기 마법사 5 달소 1일 전22:48 101 +1
정보 안녕하세요! 새로 가입했습니다. 6 Razorbacks 1일 전18:06 92 +1
383 잡담
normal
kmw_ 9시간 전13:43 248 0
382 잡담
image
주차장 3일 전17:47 512 +1
381 잡담
normal
아나나나나다 24.03.21.12:58 386 0
380 잡담
image
빨간물약 24.03.20.14:09 288 0
379 잡담
image
bass9030 24.03.18.18:16 410 0
378 잡담
image
purndal 24.03.16.15:15 222 +1
377 잡담
image
purndal 24.03.15.10:49 184 +3
376 잡담
image
달소 24.03.14.22:23 200 +2
375 잡담
image
달소 24.03.11.23:27 147 0
374 잡담
image
달소 24.03.08.16:56 373 0
373 잡담
normal
달소 24.03.08.16:51 163 0
372 잡담
image
eyeball 24.03.04.10:47 486 +2
371 잡담
image
짝퉁교보 24.03.03.03:26 669 0
370 잡담
image
ljr10 24.02.29.16:48 368 0
369 잡담
image
서하 24.02.27.21:53 620 +2
368 잡담
image
kmw_ 24.02.26.19:24 274 +1
367 잡담
normal
서맹 24.02.25.22:10 184 0
366 잡담
image
달소 24.02.25.00:38 309 0
365 잡담
image
kmw_ 24.02.22.21:35 185 0
364 잡담
image
달소 24.02.19.22:45 471 +1