엔드투엔드 데이터 파이프라인
외부 데이터 소스 연결 → 파이프라인 실행 → 데이터 마트 생성 → SQL 조회 → 리니지 확인 → 스키마 그래프까지, GenD의 데이터 파이프라인 전체 흐름을 한 번에 따라합니다.
사전 준비
- 관리자 권한으로 로그인
- 샘플 데이터가 적재되어 있어야 합니다 (
make seed-demo)
전체 흐름
1. 커넥터 확인 → 외부 데이터 소스 연결 상태 확인
2. 파이프라인 확인 → Pipeline Studio 제작·실행 경로 확인
3. 실행 이력 확인 → 파이프라인 모니터링에서 실행 상태 관제
4. 데이터 마트 확인 → 집계 마트 상태 확인
5. SQL 조회 → 변환된 데이터를 직접 쿼리
6. 리니지 확인 → 데이터 흐름 추적
7. 스키마 그래프 → 테이블 간 FK 관계 시각화
1단계: 커넥터 확인
사이드바 → 데이터 엔지니어링 → DB 연결 메뉴(/connectors)를 클릭합니다.
등록된 커넥터의 연결 상태를 확인합니다. GenD는 이미 tpch(벤치마크), sourcedb(PostgreSQL) 등의 카탈로그가 기본으로 연결되어 있습니다.
Tip: 새 데이터 소스를 등록하려면 [+ 소스 추가] 버튼을 클릭하세요. 자세한 내용은 데이터 소스 연결 튜토리얼을 참조합니다.
2단계: 파이프라인 확인 (Pipeline Studio)
파이프라인 제작·실행은 파이프라인 스튜디오에서 합니다 — 좌측 사이드바 데이터 엔지니어링 > 파이프라인 스튜디오 메뉴를 클릭하고, 노드 조립·배포·실행 절차는 PS 빌더 가이드 를 따릅니다.
구 템플릿 기반 파이프라인 실행은 제거되었습니다 (#2480). 플랫폼 전체 실행 상태는 파이프라인 모니터링 메뉴에서 관제합니다.
3단계: 실행 이력 확인
데이터 엔지니어링 > 파이프라인 모니터링 메뉴에서 레거시 실행 이력과 Dagster 실행 요약을 확인합니다.
| 컬럼 | 설명 |
|---|---|
| Run ID | 실행 식별자 |
| 상태 | running → succeeded / failed |
| 시작 시간 | 실행 시작 시각 |
| 소요 시간 | 전체 실행 시간 |
| 처리 행수 | 변환된 레코드 수 |
| 오류 | 실패 시 오류 메시지 |
실행이 succeeded 상태가 되면 다음 단계로 진행합니다.
4단계: 데이터 마트 확인
좌측 사이드바 데이터 엔지니어링 > 데이터 마트 메뉴를 클릭합니다.
파이프라인이 생성한 마트와 직접 정의한 마트가 목록에 표시됩니다:
| 마트 | 유형 | 대상 테이블 |
|---|---|---|
| customer_segments | view | iceberg.marts.customer_segments |
| monthly_orders | view | iceberg.marts.monthly_orders |
5단계: SQL 에디터에서 결과 조회
좌측 사이드바 SQL > SQL 편집기 메뉴를 클릭합니다.
파이프라인/마트를 통해 생성된 데이터를 직접 쿼리합니다:
SELECT custkey, name, mktsegment, nationkey
FROM tpch.tiny.customer
LIMIT 10
[Run all] 버튼을 클릭하면 결과 테이블이 하단에 표시됩니다.
10건의 고객 데이터가 표시됩니다 — custkey, name, mktsegment(시장 세그먼트), nationkey(국가 코드).
Federation SQL 활용
커넥터로 연결된 여러 카탈로그를 조인하여 교차 쿼리도 가능합니다:
-- sourcedb 고객 + tpch 주문 조인
SELECT
c.name AS customer_name,
COUNT(o.orderkey) AS order_count,
SUM(o.totalprice) AS total_amount
FROM tpch.tiny.customer c
JOIN tpch.tiny.orders o ON c.custkey = o.custkey
GROUP BY c.name
ORDER BY total_amount DESC
LIMIT 5
6단계: 데이터 리니지 확인
사이드바 → 데이터 관측 → 데이터 리니지 메뉴를 클릭합니다.
파이프라인을 통해 데이터가 어디서 왔고 어디로 흘러가는지 시각적으로 확인합니다. 소스 테이블 → 변환 → 대상 마트까지의 데이터 흐름이 그래프로 표시됩니다.
7단계: 스키마 그래프 — FK 관계 확인
사이드바 → 지식 & 시맨틱 → 스키마 그래프 메뉴를 클릭합니다.
tpch 카탈로그의 테이블 간 FK 관계가 시각화됩니다:
- customer ← custkey → orders (고객-주문 관계)
- orders ← orderkey → lineitem (주문-항목 관계)
- customer ← nationkey → nation (고객-국가 관계)
- supplier ← suppkey → lineitem (공급자-항목 관계)
Tip: FK 관계는 스키마 동기화 시 컬럼명 패턴(
custkey→ customer,_id→ 테이블명)으로 자동 추론됩니다. [동기화] 버튼을 클릭하면 최신 스키마를 반영합니다.
전체 흐름 요약
커넥터(데이터 소스)
↓ 연결
파이프라인(Pipeline Studio 조립·실행)
↓ 관제(파이프라인 모니터링)
데이터 마트(집계 뷰)
↓ 조회
SQL 에디터(Federation SQL)
↓ 추적
리니지(데이터 흐름)
↓ 시각화
스키마 그래프(FK 관계)
이 흐름을 통해 외부 데이터 소스 → 변환 → 분석 → 거버넌스까지 GenD 플랫폼의 핵심 데이터 파이프라인을 경험했습니다.
다음 단계
- 데이터 소스 연결 — 새 커넥터 등록 상세
- 파이프라인 모니터링 — 실행 이력·상태 관제
- 데이터 마트 생성 — SQL 기반 마트 정의
- 데이터 품질 — 마트에 4축 품질 규칙 적용
- 관리 워크플로우 — 정책, 승인, 감사 통합 관리