RAG 서비스 소개

RAG (Retrievel Augmented Generation)
사내 정보시스템으로 LLM 과 조합됩니다.
사내에 있는 수천~수만개의 pdf, xls, doc, ppt 등의 문서파일에서 '답변' 을 추출해줍니다.

현재 기본 얼개는 갖춰졌는데, 하드웨어가 좀 받쳐줘야 합니다.
하지만 고가의 gpu 까지는 필요없고 맥미니 M4 32GB 정도면 필요충분합니다.

RAG 에서 부하가 크게 걸리는 부위는 아래와 같습니다

** Ingestion 단계 (문서를 vector 화하는 작업)
  -- Marker 모듈 (여기서 문서 레이아웃 분석 & OCR 작업을 all-in-one 으로 해줍니다)
    ## cpu 로는 20page 문서 하나 작업에 8 vcpu 준 상태에서 2시간 넘게 걸립니다
  -- Figure/Image/Schematic 인식 & 캡션 : cpu 로는 불가능하다 보심 됩니다.
  -- GraphRAG : 각 문장, 키워들간에 '관계' 를 추출해서 별도로 저장합니다. cpu 로 불가

** Search 단계 (사용자의 query 를 바탕으로 vector / graph db 에서 검색후 답변 생성)
  -- HyDE : 사용자의 '모호한 query' 를 LLM 을 통해 가상답변을 만들고 이를 검색 query 로 활용하여 답변품질 up
  -- 답변생성 : 12B 급 모델정도면 기본적인 reasoning 은 됩니다. (cpu 로 돌리는 4B 급 에서도 기본논리는 갖춰주더라구요)
  -- SelfRAG : 사용자의 최초 query 와 위의 '답변' 을 비교후 제대로 된 답변인지 2차 검토 (by LLM)

위 과정들을 보시면 아시겠지만 DL 모델들 범벅, LLM 범벅입니다.

구축하실분들 참조하실 수 있게 guide MD 문서 2개 올립니다.

<< guide_ingestion.md >>

<< guide_rag_search.md >>