ceph 망했어요..ㅠ

2망을 사용하고 있습니다.

2.5G랑 20G 사용하고 있습니다.

2.5G는 10.0.0.0/8

20G는 192.168.10.0/24 (인터넷 불가)

ceph를 많이 써봤지만, 이렇게 여러 네트워크에 해본적이 없었습니다.

public network랑 cluster network라는 것이 있더군요.

cluster network는 20G, public은 2.5G 망에 줬습니다.

1. public IP 추가 시도.

그랬더니 vm에서 192 대역의 IP(20G)로는 연결이 안되더군요.

public에 추가를 해줘도.. 안됩니다.

public_network에 ip를 추가해주지 않았을 때는 아예 connection refused였는데, 추가해준 이후에는 다음과 같은 에러가 나타납니다.

[Thu Mar  9 10:04:02 2023] libceph: mon1 192.168.10.21:6801 wrong peer at address  
[Thu Mar  9 10:04:02 2023] libceph: wrong peer, want 192.168.10.21:6801/-223958753, got 10.1.23.21:6801/-453143347
  

그렇다고 node 하나에 mon을 두개씩 올릴수도 없고, mon1에 두개의 ip를 줄수도 없습니다.

2. public network ip 변경

그래서 public network를 바꾸기로 하였습니다.

https://forum.proxmox.com/threads/ceph-changing-public-network.119116/

이걸 보고 따라 했습니다.

/etc/ceph/ceph.conf에서 publicnetwork를 바꾸고

순서대로 하나씩 재시작을 했죠.

이제는 이런 에러가 나옵니다..ㅠㅠ

libceph: another match of type 1 in addrvec
libceph: problem decoding monmap, -22

 # cephfs만 재설치

ceph rbd는 잘되기에 cephfs만 지우고 새로 생성했습니다.

개같이 똑같은 오류가 나오네요..

proxmox 새로 구성하는게 빠를까요.ㅠㅠ