낯가림 비디오 - 영상 자동 모자이크 개발 현황?

낯가림 게시글에 댓글로 영상 모자이크에 관한 의견을 주신 분이 계셔서

영상 자동 모자이크 앱을 만들어 보고 있습니다

앱 특성상 웹 앱으로는 좀 힘들 거 같기도 하고

웹뷰 방식의 데스크탑 앱으로 만들어보고 있는데요

요런 식으로 자동 감지 후 그 얼굴들이 유지되는 곳 까지 전 후로 객체 추적을 통해 마스킹을 하는 구조 입니다

시작 부분 종료 부분 지정해서 내보내기를 하면

이런 결과물이 나오는 거죠

업로드 하려면 작업 영상 녹화를 짧게 해야해서 수정을 못했는데

키프레임 형식으로 모자이크 위치나 블러나 완전 가림등으로 변경도 가능하고

프레임별 마스킹 범위나 시간 조절도 가능합니다

그 외에도 이런저런 기능들이 있긴 합니다만

아직 갈 길이 멀긴 하네요 

웹뷰 방식의 특성상 긴 영상이나 av1코덱 4k 영상 같은 건 끊기기도 하고

av1 코덱 같은 건 프록시 생성해서 편집을 해봐도 미리보기나 프레임이동이 끊기고

마스크 추적이 제대로 안되서 손보고 있는 중입니다

거기에 CCTV 같이 사람이 많이 나오고 얼굴이 작을 경우 추적 성능도 아직은 문제가 있고

지금은 그냥 맥은 애플 비전, 윈도우는 openCV를 사용하는 방향인데 원하는 퍼포먼스가 안나온다면

앱 크기가 커지긴 하겠지만 특화 AI 모델을 내장하고 웹뷰 방식이 아닌 네이티브 방식으로 변경해봐야 겠습니다

사실 일반적인 사용 환경에서는 사용할 일이 별로 없을 거 같은 앱이긴 합니다

요즘 파컷이나 프리미어 프로 같은 곳에서 객체 추적 진짜 잘 되거든요

그래도 가볍게 객체 추적 모자이크 기능만 있는 앱이라는 컨셉으로 한 번 만들어 보고 있습니다 

당분간은 이거 붙잡고 놀아봐야겠습니다