청킹 정책

청킹 정책은 업로드된 문서를 벡터 검색에 적합한 크기의 텍스트 조각으로 분할하는 규칙을 정의합니다. 적절한 청킹 전략은 RAG 검색 품질에 직접적인 영향을 미칩니다.
주요 기능
- 정책 기반 청킹: 문서 유형이나 용도에 따라 서로 다른 청킹 전략을 적용할 수 있습니다
- 청크 크기/오버랩 설정: 청크의 최대 크기와 인접 청크 간 오버랩 비율을 조절합니다
- 다중 정책 관리: 여러 청킹 정책을 생성하여 문서별로 적절한 정책을 선택합니다
청킹 설정 항목
| 항목 | 설명 | 기본값 |
|---|---|---|
| 청크 크기 | 텍스트 조각의 최대 토큰/문자 수 | 512 |
| 오버랩 | 인접 청크 간 겹치는 영역 크기 | 50 |
| 분할 기준 | 문단, 문장, 고정 길이 등 | 문단 |
| 메타데이터 포함 | 파일명, 페이지 번호 등 메타데이터 첨부 여부 | 활성 |
:::caution 이 화면은 사이드바에 없습니다
아래 절차의 화면은 /ingestion/legacy 입니다. 사이드바 데이터 엔지니어링 > 파일·문서 수집
(/ingestion) 은 신형 수집 허브(파이프라인·실행·문서 탭)로 교체되었고, 파일 업로드와
청킹 정책 UI 는 아직 구 화면에만 있습니다. 주소를 직접 입력해 접근하세요
(#3310 — IA 정리 예정).
:::
사용 방법
/ingestion/legacy의 정책 탭에서 새 정책 버튼을 클릭합니다- 정책 이름과 설명을 입력합니다
- 청크 크기, 오버랩, 분할 기준을 설정합니다
- 저장 버튼을 클릭합니다
- 파일 업로드 시 해당 정책을 선택하여 적용합니다
API 엔드포인트
| Method | Path | Description |
|---|---|---|
| POST | /api/v1/ingestion/policies | 청킹 정책 생성 |
| GET | /api/v1/ingestion/policies | 청킹 정책 목록 조회 |
| PUT | /api/v1/ingestion/policies/{policy_id} | 청킹 정책 수정 |
| DELETE | /api/v1/ingestion/policies/{policy_id} | 청킹 정책 삭제 |