proxmox 내부망에서 인터넷 접속이 안됩니다 ㅜㅜ
안녕하세요 서버포럼에서 선생님들께 양질의 도움을 받으면서 성장하고 있는 초보입니다..
이번에 내부망을 구성하게 됐는데요, 이게 내부망에서 외부 인터넷으로 연결이 안되는 문제가 있습니다 ㅜㅜ
현재 KT 공유기 사용하고있습니다!
vmbr0이 proxmox 기본 네트워크고 172.30.1.254 (KT 공유기)로 연결됩니다.
vmbr1은 내부네트워크를 위해 구성했습니다. 참고했던 블로그는 다음과 같습니다..
이거 참고해서 interface 파일 수정했습니다. NAT설정은 다음과같습니다.
참고로 여기서 10.10.10.2는 nginx proxy manager를 도커로 띄운 lxc입니다. 80 및 443 포트로 오는 것들 다 npm에서 받게하려고 했습니다.
vmbr0 에 연결된 proxmox 호스트에서 NAT설정해주었고 리부팅도 해주었습니다.
forward=1도 잘 적용된 상태입니다.
npm 올린 lxc는 네트워크 구성이 다음과같습니다
이상태에서 현재 npm 올린 lxc(10.10.10.2)에서 핑은 172.30.1.15 및 10.10.10.1 정도로는 보내지는데 나머지는 하나도 안됩니다 ㅜ
반대로 proxmox 호스트 쉘에서는 핑이 외부로도 잘가지고 10.10.10.2, 10.10.10.1 등 다 잘갑니다..
참고로 방화벽은 기본적으로 다 on인 상태인데 172.30.1.0/24 및 10.10.10.0/24 는 in의 경우 모두 허용되어있고
아웃바운드는 기본적으로 다 열려있습니다. 방화벽 규칙은 아웃-인-인 순으로 열려있습니다. (일부러 일단 크게열어놨습니다..)
방화벽 다 꺼도 똑같은 증상입니다 ㅠ
내부망 사용하는 npm lxc 10.10.10.2 에서 외부네트워크로 연결이 되게 하려면 어떻게 해야할까요..?ㅠㅜ
Opnsense 많이 사용하시는거같아서 해볼까하다가 일단은 최대한 해결해보고 나중에 공부해보고 넘어가려고합니다..
1등 
svr님.😊좋은답변을 받기위해서는 좋은 질문이 필요합니다.
유의할점⚠️
- 예의를 지켜주세요. 답변자는 답변을 할 의무는 없습니다.
- 질문에 대한 대부분의 답은 검색으로 찾아보실 수 있습니다.
- 답변자가 답변을 하면서 대개 많은 경우는 다시 질문을 하는 경우가 많이 있습니다.
- (질문의 대한 정보가 부족합니다. ~일 경우 결과물이 어떻게 됩니까? 등등)
질문방법🙏
자신의 상황을 최대한 자세히 설명해주세요.
상황이 정확하고 많을 수록 답변의 정확도가 올라갑니다.
ex) ex) 헤놀로지라면 메인보드 모델 칩셋정보, CPU, 사용한 DSM 버전, 모델, 부수적인 추가 컨트롤러 나 랜카드 등과 어떠한 로더의 이미지를 사용했는지.(arpl-i18n, mshell), 어떤 버전을 사용했는지, 문제가있다면 어떠한것인지 스크린샷을 동반하고 에러의 경우 에러로그를 출력해서 주시면 좋습니다.
*가능하면 최신버전 OS/SW를 이용해주세요
답변에대한 피드백을 주세요.
정보가 질문에 모두 담겨있지않다면 대부분의 답변이 다른정보를 요구합니다.
이러한 답변에 대해 명확한 피드백을 주시면 도움이 됩니다.
vmbr1의 설정을 vmbr0 으로 브릿지를 열어주지 않으면 통신을 할 수 없을 것 같네요.
외부망 인터넷 선 연결 안하고 내부망만 설치를 한 다음 왜... 인터넷 안되지?.. 같은 느낌인가... 음.. 암튼 그래요. ㅎ.
네트워크 디바이스는 단 한개뿐이네요 ... 이미 점유중이라 vmbr1의 브릿지를 여기로 연결은 안되는데 ㅠㅠ 방법없을까요... 블로그글이랑 알려주신내용이 달라서 혼란스럽네요..
172.30.1.15:80 으로 접속하면 안열리나요?..
172.30.1.15:80 / 443 -> 10.10.10.2:80 / 443 이런 느낌이네요.. 음..
npm 81 포트 열어준다면.. 연결하려면 81 포트 역시 설정해야지 연결될 듯?.. 해보이긴 한데..
전문가님... 어디 없어요~ .. ㅎ.
네트워크 참 어렵네요.. 에휴..
개인적으로는 proxmox 인터페이스에서 브릿지1에 대한 마스터 게이트웨이 (0.0.0.0/0)에 대한 라우팅 정보가 누락된 것으로 추측됩니다.
가능하시다면
1. 10.10.10.2 LXC의 콘솔에서 ip route list 명령어 결과를 부탁드립니다.
2. interfaces에서 vmbr1에 대 gateway를 172.30.1.15로 적용하여 테스트도 부탁드립니다.
gui상에서는 지정이불가능하다고 나왔습니다. 일단 그래서 콘솔에서 interface를 바꾸고 재부팅해서 적용도했구요 gui 네트워크 상에서도 적용되었습니다.
이렇게 지정했습니다.
그럼에도 불구하고 여전히 외부로는 핑이안나가네요 ㅜㅜ
수정한 이후에도 api route list의 결과는 같습니다ㅠ
혹시나해서 vmbr1 게이트웨이를 vmbr0과 동일하게 KT 공유기 Ip로 해봤지만 역시안되네요...
이상태에서 interface 의 vmbr1에서 매스커레이드 를 주석처리했는데도 동일하게 redirect만계속하네요..
172.30.1.254로도 핑이 나가지 않습니다...
헉 죄송합니다;; 172.30.1.254로 적어야 하는데 혼란을 드렸네요...
혹시 172.30.1.254가 입력된 상태에서 ip route list 결과도 확인할 수 있을까요?
그리고 pve에서 방화벽을 따로 설정하셨는지도 궁금합니다.
현재 254인 상태이고 동일하게 나오는 것 같습니다 ㅜㅜ
방화벽은 현재 모두 해제했습니다.
다시 마스커레이드 되게끔했는데도 이렇게나오네요.. 254로는 이렇게하니까 잘가는데 외부로 안가는 ㅜㅜ
참고로 이건 호스트 Ip route list 결과입니다
masquerade 설정 후 공유기(phy gw)로는 핑이 넘어가는데 8.8.8.8은 안되어 조금 혼란스럽네요.
아무래도 놓친게 없을지 단계마다 짚어봐야 될 것 같습니다.
일단 interfaces에 입력한 vmbr1의 게이트웨이 정보는 삭제하시고, 가능하시다면
1. LXC에서 ip route replace default via 172.30.1.254 dev eth0 입력 후 ping 가능 여부
2. interfaces에 따라서 vmbr1이 up이면 포워드가 되어야 하는게 맞는데 혹시 모르니 PVE에서 cat /proc/sys/net/ipv4/ip_forward가 1이 맞는지와 iptables -L --line 결과도 부탁드립니다.
vmbr1 게이트웨이 삭제했습니다.
root@npm:~# ip route replace default via 172.30.1.254 dev eth0
Error: Nexthop has invalid gateway.
root@npm:~#
이건 지정이 안된다고 나오네요 ㅜㅜ 게이트웨이가 10.10.10.1이거든요 (npm lxc)
root@home:~# cat /proc/sys/net/ipv4/ip_forward 이 결과는 1이 확실합니다ㅠㅠ
iptables -L --line 여기서 뭐확인해야할까요..? 맥주소같은게 하도많이떠서 ...
KT 공유기사용중인데 기기문제일수도 있나요..? 궁금합니다 ㅜㅜ
opnsense 사용하면 해결이될까요.. ovm인가 가상으로 지정해야한다는걸 어디서본거같아가지고 ㅜㅜ
죄송합니다ㅜㅜ LXC 현재 상태에서 다음 홉 정보가 필요한 주소를 기본 게이트웨어로 지정할 수 없는데 다른 스크린샷과 혼동하고 잘못된 정보를 드린 것 같습니다.
혹시 iptables -L 결과에서 reject나 drop에 대한 icmp 관련 룰이 있는지 확인 가능하실까요?
그리고 방화벽이 비활성화 되어있다고 하지만, 혹시 모르니 interfaces에서 vmbr1에 대해
post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1 post-down iptables -t raw -D PREROUTING -i fwbr+ -j CT --zone 1
추가하여 테스트도 부탁드립니다.
데이터센터에서의 Firewall 해제를 안했었나보네요 죄송합니다 ㅜㅜㅜㅜㅜㅜㅜ
데이터센터 방화벽을 해제하니 lxc에서도 외부로 핑이 잘나갑니다.
데이터센터에서 방화벽규칙은 이거하나에요
rule에 이거 하나 놓고 다시 키면 안되네요...
방화벽 설정을 위해 alias설정을 몇개 해놨습니다.
아래 이미지들의 pve-network 는 172.30.1.0/24
local-network는 10.10.10.0/24 입니다.
현재 방화벽은 다음과같습니다.
[데이터센터]
[pve]
[lxc] (pve와 같습니다)
해결하셨다니 다행입니다!!
DC 방화벽은 global 형태로 적용되기 때문에 활성화될 경우 노드 방화벽보다 우선 적용되는데,
기본적으로 데이터센터 방화벽-옵션에 Input Policy가 DROP으로 설정되어 ICMP에 대한 ACCEPT 룰이 누락된 상태로 방화벽 활성화시 ICMP 리플을 받을 수 없습니다.
다만 기본적으로 DC 방화벽은 비활성되어 전체 노드 정책을 설정하는게 아닌 상황이라 간과하고, 클러스터 방화벽에만 집중하여 라우팅 문제로 잘못 추측한 것 같습니다.
DC의 firewall에서 IN, OUT에 특정한 조건을 걸지않고 전체 다 ACCEPT로 두어도
lxc에서 외부로 핑이가지않습니다. 이런 경우는 이유가 뭘까요..?ㅠㅠ
데이터센터의 방화벽을 풀어버리면 그냥 외부에서도 전체접근이 가능한 문제가있어서요..
IN/OUT 모두 허용된 상태에서 통신이 안된다면 이상합니다. 다른 원인이 있을지도 모르겠네요..
기본적으로 DC 방화벽 옵션의 IN 또는 OUT 정책이 DROP이나 REJECT 일 경우 사전 정의된 일부 패킷을 제외한 나머지는 별도 정책을 정의해야만 통과할 수 있습니다.
방화벽 활성화시 ICMP 타입3 처럼 트래픽 패킷은 통과되지만 (이 때문에 Ping 결과가 Destination Unreachable로 나와서 라우팅 문제로 확신했습니다ㅠㅠ) 일반 ICMP 패킷은 차단되므로 별도로 정책을 정의해주셔야 합니다.
웹 콘솔에서 설정하실 경우 DC 방화벽의 Add Rule에서
1. in / ACCEPT에 Macro를 Ping으로 하나 만드시고,
2. out / ACCEPT에 동일한 매크로로 맞춰서 생성해주면 됩니다.
경험상 인터페이스는 vmbr0으로 해주시면 문제 없을 것으로 보이며, 이렇게 테스트하셔서 문제가 없으면 도착지에 특정 VM/LXC 주소로 바꿔주시면 됩니다.
꼭 성공하시길 바랍니다...!
cmt alert
신고
"님의 댓글"
이 댓글을 신고하시겠습니까?
