Document Intelligence

RAG-ready Ingestion for Messy Enterprise Documents

HWP/HWPX, PDF, Office, 이미지, 표처럼 형식이 섞인 실무 문서를 검색 가능한 RAG 자산으로 변환하는 인제스천 구조입니다.

An ingestion architecture for converting mixed-format enterprise documents into searchable RAG assets.

OCR QAChunkingAtomic commitQuarantine
RAG-ready document ingestion architecture

문제

Problem

기업 문서는 포맷이 섞이고 표, 이미지, 스캔 문서, 변환 실패가 흔합니다. 단순 텍스트 추출만으로는 검색 품질과 운영 안정성을 보장하기 어렵습니다.

Enterprise documents mix formats, tables, images, scans, and conversion failures. Plain text extraction alone cannot guarantee retrieval quality or operational reliability.

설계

Design

  • 파일 변환, OCR, 구조 보존 청킹, 임베딩, 인덱싱을 단계별 파이프라인으로 분리했습니다.
  • Separated conversion, OCR, structure-preserving chunking, embedding, and indexing into explicit stages.
  • 성공 파일만 단일 트랜잭션으로 반영하고 실패는 재시도 가능/종료 실패로 구분했습니다.
  • Committed complete outputs atomically and separated retryable failures from terminal failures.
  • 반복 토큰, 스크립트 혼입, 레이아웃 붕괴를 감지하는 OCR 품질 검사를 포함했습니다.
  • Included OCR QA checks for repeated tokens, script contamination, and layout collapse.

기여

Contribution

RAG 품질을 모델 호출 이전의 데이터 준비 문제로 보고, 실패 격리와 품질 검사를 포함한 운영 가능한 인제스천 아키텍처로 정리했습니다.

Treated RAG quality as a data-readiness problem before model calls, then shaped it into an operable ingestion architecture with failure isolation and QA.