실행 상태 확인 여정 — 내 실행은 어디에?
"실행을 눌렀는데 어디서 확인하지?" — GenD 의 실행(run) 모니터링 뷰는 작업 종류에 따라 3곳으로 나뉩니다. 이 가이드는 어떤 작업이 어느 뷰에 나타나는지, 실패했을 때 어디서 무엇을 하는지를 정리합니다.
3개 실행 뷰 — 역할 구분
| 뷰 | 경로 | 무엇의 실행인가 |
|---|---|---|
| 파일·문서 수집 → 실행 탭 | 사이드바 → 데이터 엔지니어링 → 파일·문서 수집 (/ingestion?tab=runs) | 문서 수집 파이프라인 실행 — 수집→파싱→청킹→임베딩→적재의 단계 진행률과 파일(항목)별 성공/실패 |
| 파이프라인 모니터링 | 사이드바 → 데이터 엔지니어링 → 파이프라인 모니터링 (/pipelines) | Dagster 잡·자산 — 정기 Silver 적재, ELT, 데이터 마트 새로고침 등 플랫폼 정기 작업 관제 |
| 파이프라인 스튜디오 → 실행 탭 | 사이드바 → 데이터 엔지니어링 → 파이프라인 스튜디오 (/pipeline-studio) → 파이프라인 열기 → 실행 탭 | 직접 조립 파이프라인 실행 — 노드별 상태 + 적재 결과 패널(Bronze 적재/중복 스킵/MCP 도구) |
상호 링크 (#2569): 세 화면의 실행 목록 상단에는 "다른 실행 뷰:" 링크가 있어 나머지 두 뷰로 1클릭 이동할 수 있습니다 (파일·문서 수집 실행 · Dagster 파이프라인 · 파이프라인 스튜디오). 엉뚱한 뷰에 들어왔더라도 링크로 바로 건너가세요.
어떤 작업이 어느 뷰에 나타나나
| 내가 실행한 것 | 확인할 뷰 | 비고 |
|---|---|---|
| 파일·문서 수집 허브에서 만든 수집 파이프라인 ([실행] 버튼 / 스케줄) | 파일·문서 수집 → 실행 탭 | 문서 탭·AI 검색 반영 전 상태 확인 |
| 수동 파일 업로드 후 적재 | 파일·문서 수집 → 실행 탭 + 문서 탭 | 데이터 인제스천 |
| 파이프라인 스튜디오에서 조립한 파이프라인 (실행 버튼 / cron / 폴더 감시) | 파이프라인 스튜디오 → 해당 파이프라인 → 실행 탭 | 폴더 감시는 파일당 run 1개, 카드에 파일명 표시 |
| 데이터 마트 새로고침 (스케줄/수동) | 파이프라인 모니터링 | Dagster 잡으로 실행됨 |
| 정기 Silver 적재 (시세·공시 등 intel 자산) | 파이프라인 모니터링 | Dagster 센서·자산. 소스별 최근 상태는 ⚙ 관리 콘솔 → 공용 수집기 (관리형)의 "마지막 상태" 컬럼 (admin) |
| 공용 수집기 (관리형) 소스의 ▶ 실행 (admin) | 공용 수집기 목록의 마지막 상태/실행 + 파이프라인 모니터링 | 실행 토스트에 records/errors 즉시 표시 |
| CSV/Excel → Iceberg 적재 | 파이프라인 모니터링 | CSV 적재 가이드 |
| ML 학습·서빙·드리프트 | ML 허브 → 모니터링 스테이지 | 실행 3뷰 밖 — 이 가이드 범위 아님 |
뷰별 사용법 + 실패 시 조치
1. 파일·문서 수집 → 실행 탭
- 상단 드롭다운으로 특정 파이프라인만 필터링. 컬럼: 트리거(수동/스케줄/재시도) · 진행률(parse / chunk / embed / vector / graph 단계 롤업) · 상태(대기/실행중/완료/완료(일부실패)/실패/취소) · 실패 항목 수.
- Run 클릭 → 상세 패널: 파일별 상태·실패 단계·에러 메시지 확인.
- 실패 시: 상세 패널에서 실패 항목만 재시도. 연결 오류면 파이프라인 편집에서 [연결 테스트] 재검증. 자세한 흐름은 인제스천 파이프라인 가이드.
2. 파이프라인 모니터링 (Dagster)
- 플랫폼 정기 잡·자산의 실행 이력(Run ID·상태·시작/소요 시간)을 관제합니다.
- 실패 시: 실행 행에서 에러 요약·로그를 확인합니다. 정기 자산이 계속 실패하거나 센서가 멈춘 것으로 보이면(적재는 됐는데 Silver 미반영 등) 플랫폼 관리자에게 해당 잡/센서 이름과 실행 시각을 전달하세요 — 재실행·센서 기동은 Dagster 운영 권한이 필요합니다.
3. 파이프라인 스튜디오 → 실행 탭
- 파이프라인 목록에서 해당 파이프라인을 열고 실행 탭: run 별 노드 단위 성공/실패, 실행을 펼치면 적재 결과 패널(Bronze N행 적재 / "신규 없음 — 전부 중복 스킵" / 샘플 payload / MCP 도구 배지).
- 실패 시: 실패 노드의 에러를 확인하고 수정 후 부분 재실행(실패 지점부터) 또는 전체 재실행. 증분(커서) 파이프라인은 부분 실패 시 실행 전체가 실패하고 워터마크가 전진하지 않으므로 다음 실행이 같은 구간을 재시도합니다 — 셀프서비스 수집 가이드 참조.
- 실행이 아예 안 생기면: 저장/배포 여부, 스케줄 설정(작업 메뉴 → 스케줄), 워크스페이스 소속을 순서로 확인하세요.
빠른 진단 순서
1. 내가 실행한 게 "무엇"인지 확인 (수집 파이프라인? 직접 조립? 플랫폼 정기 잡?)
2. 위 매핑 표의 뷰로 이동 — 잘못 들어왔으면 상단 "다른 실행 뷰:" 링크로 건너가기
3. Run 상세에서 실패 단계·에러 메시지 확인
4. 조치: 항목 재시도(수집) / 부분 재실행(스튜디오) / 관리자 문의(Dagster 정기 잡)
다음 단계
- 데이터 수집, 어떤 기능으로? — 실행 전, 애초에 어느 기능으로 들여올지 결정
- 파일·문서 수집 시작하기 — 수집 파이프라인 등록·실행
- 외부 API를 MCP 도구로 만들기 (셀프서비스) — 직접 조립 파이프라인 실행·적재 결과
- 파이프라인 관리 — 파이프라인 모니터링 화면 개요