파이프라인 모니터링

GenD의 파이프라인 모니터링은 Dagster, Flink, 인제스천 파이프라인의 실행 상태를 통합 대시보드에서 확인할 수 있는 기능입니다.

주요 기능

• 통합 모니터링 요약: 모든 파이프라인 엔진의 상태를 하나의 요약 화면에서 조회합니다
• Dagster 모니터링: 배치 파이프라인의 실행 상태, 성공/실패 통계를 확인합니다
• Flink 모니터링: 스트리밍 파이프라인의 실행 상태와 처리량을 확인합니다
• 인제스천 모니터링: 파일/문서 수집 파이프라인의 처리 현황을 확인합니다
• 실행 이력: 개별 파이프라인 run의 상세 이력을 조회합니다

모니터링 대시보드

섹션	표시 항목
전체 요약	총 실행 수, 성공/실패/진행 중 건수
Dagster	배치 job 상태, asset 현황
Flink	스트리밍 job 상태, 처리 레코드 수
인제스천	수집 파일 수, 처리 대기 건수

사용 방법

1. 파이프라인 모니터링 > 모니터링 탭을 선택합니다
2. 상단 요약 카드에서 전체 파이프라인 상태를 확인합니다
3. 각 엔진별 탭에서 상세 모니터링 정보를 조회합니다
4. 개별 실행(run)을 클릭하여 로그와 상세 상태를 확인합니다

API 엔드포인트

Method	Path	Description
GET	/api/v1/pipelines/monitor/summary	통합 모니터링 요약
GET	/api/v1/pipelines/monitor/dagster	Dagster 모니터링
GET	/api/v1/pipelines/monitor/flink	Flink 모니터링
GET	/api/v1/pipelines/monitor/ingestion	인제스천 모니터링
GET	/api/v1/pipelines/runs	실행 이력 조회

관련 문서

• 파이프라인 개요
• Dagster 통합