2022/12/16 새벽 장애 및 파일업로드 버그 해결 완료안내.(01:53~02:02)
안녕하세요. 관리자 입니다.
금일 새벽 01:53 ~ 02:02분간 발생한 장애 관련 안내입니다.
장애는 약 10분동안 발생하였고 원인은 아래와같습니다.
1. php 세션파일 과부하로 인한 파일시스템 이상현상
서버포럼의 경우 docker 컨테이너로 각 서비스별로 구동해서 돌아가고있으나 host는 linux 파일시스템입니다.
최근 파일 업로드 시 type 4 에러가 나는경우가 있어서 서버에서 정밀하게 로그를 감사했습니다.
로그 감사중 아래와같이 커널단에서 에러가 출력되는걸 확인했고 syslog에서도 동일한 로그가 나왔습니다.
inode같은경우에도 약 60%나 사용할 정도로 어마어마했습니다.
조치를 위해서 도커 컨테이너를 재시작하는데 기존 파일이 너무많아서 제대로 삭제되지않아서 장애타임이 조금 길어졌습니다.
조치
세션관련해서 파일로 쌓는것이 아닌 redis 메모리에 쌓도록 변경하였습니다.
redis 메모리는 정기적으로 비워지는걸로 알고있어서.. 아마 정상적으로 해소된다면 문제없으라생각합니다.
뭐 또 문제생기면.. 트러블 슈팅으로 돌아오겠습니다...
서비스 장애로 불편을 드려 죄송의 말씀드리며..
아무쪼록 연말 마무리 잘하시고 행복한 하루되시기 바랍니다.
감사합니다.
관리자 드림.
달소
세션을 파일로 쌓으면 계속 쌓이나보군요.. ㄷㄷ
저도 처음알았습니다 ㅎㅎ..
세션은 종료되지만 파일은 남는다고하더군요..
워드프레스에서는 저혼자만 로그인해서 별로 안남아있는건지.. 뭔가 궁금하긴하지만.. 뭐 해결은했습니다 ㅠ
2등 수고 하셨습니다
천재입니까 ㄷㄷㄷ
천재였으면 장애를 내지않습니다!!
ㄷㄷ
대단하십니다 직접 다 하시고.....
궁금한 게 지금 사이트 서버는 시스템을 직접 구성해서 운영하시나요?
아니면 호스트는 애저나 아마존같은 IDC를 대여해서 운영하시는 건가요
사이트는 직접 시스템을 구성해서 운영중입니다.
이것저것 시행착오를 겪다보니 점점 노하우가 생기는 느낌입니다 ㅎㅎ
그래서 일반적으로 상용 서비스 운영 시에는 파일로 로그가 보관되는 로그가 파일 갯수가 많을경우 주기적으로 압축해서 보관하는 방법을 쓰고 있죵 -0-;;
다들 알고 계시는데 사족인가 싶긴 하네요 --;;
php 특성상 세션이 파일로 저장되는데 쌓이면서 문제가있어서 아예 redis타입으로 바꿔버렸습니다
세션이 destory되면 파일안에 내용은 삭제되지만 파일자체는 남게되어서 문제가 됐던것같습니다
https://americanopeople.tistory.com/172
자동적으로 메모리 정리가 되는지는 좀 찾아봐야겠지만 파일 삭제를 주기적으로 한다는건 어쨌든 자동화가 필요한건 아닌가 싶네용 -0-;;;
php 에서도 세션 파일 삭제 관련 내용도 있긴하네요..
https://dreamaz.tistory.com/9
결과적으로는 redis 메모리를 사용하더라도 주기적으로 삭제하는 루틴을 만들어야 하는게 아닌가 싶네요.
php 세션을 파일 -> redis로 변경후에는 세션파일 자체가 쌓이지않기때문에 별도로 삭제하는 루틴을 만들필요는 없을것같습니다.
적용하고 약 2주정도시간이 지났는데 아직까지는 특이사항 없이 잘 굴러가고있네요 ㅎㅎ
나중에 이슈가 생기면 또 확인해보는걸로...
(기존 문제는 도커로 서비스를 구축하면서 권한문제로 발생했을거라 유추정도만하고있습니다..ㅎ)
이런 CMS툴을쓰면 유지보수측면이나 기능개발쪽에서 의뢰(?)를 통해서 개발능력이없더라도 원하는 기능들을 넣을수있다는 장점이있긴합니다.
특히, 보안패치같은경우 개인이 일일이찾기어려운 반면 CMS의경우 플랫폼 자체에서 어느정도 제보가들어오는것들에 대해 바로바로 보안패치를 내줘서 참 고맙지요..
아무쪼록 차근차근한번해보시면 홈페이지는 금방만드실겁니다!
cmt alert
신고
"님의 댓글"
이 댓글을 신고하시겠습니까?
