데이터 계보
GenD의 데이터 계보(Lineage) 기능을 사용하여 데이터의 출처와 변환 이력을 추적하는 방법을 안내합니다.
사전 준비
- GenD에 로그인되어 있어야 합니다
- 샘플 데이터가 적재되어 있어야 합니다
계보란?
데이터 계보는 데이터가 어디에서 생성되어 어떤 변환을 거쳐 최종 소비 지점에 도달했는지를 추적합니다. GenD는 테이블 수준과 컬럼 수준의 계보를 모두 지원합니다.
1단계: 계보 페이지 열기
사이드바 → 데이터 관측 → 데이터 리니지 메뉴를 클릭합니다. 테이블 간 데이터 흐름이 그래프로 시각화됩니다.
UI 가 호출하는 backend endpoint (ui/src/lib/api.ts):
| API | 용도 |
|---|---|
GET /api/v1/lineage/{catalog}/{schema}/{table}?depth=N | 특정 테이블의 upstream/downstream 그래프 |
GET /api/v1/lineage/{catalog}/{schema}/{table}/impact | 영향도 분석 |
외부 통합용 read-only endpoint (PR #792, UI 미사용 — SDK / API client 향):
| API | 용도 |
|---|---|
GET /api/v1/lineage/tables?limit=200 | lineage edge 등록된 unique table 목록 (data_lineage edge 의 tables collection 만 필터, AQL DB-level LIMIT). 외부 도구가 그래프 시작점 selector 로 사용. |
2단계: 테이블 계보 확인
특정 테이블을 선택하면 해당 테이블의 업스트림(데이터 소스)과 다운스트림(소비처)이 표시됩니다.
예: transactions 테이블
- 업스트림: 원본 거래 데이터 소스
- 다운스트림: fraud_labels (사기 탐지), 분석 쿼리, Data Mart
3단계: 컬럼 수준 계보
테이블을 펼쳐 컬럼별 계보를 확인합니다. 특정 컬럼이 어디에서 파생되었는지 추적할 수 있습니다.
예: transactions.customer_id → customers.customer_id (FK 관계)
4단계: 영향 분석
특정 테이블이나 컬럼을 변경하면 어떤 다운스트림에 영향을 미치는지 확인합니다.
시나리오: customers 테이블의 credit_score 컬럼을 변경하면?
- 영향받는 테이블: credit_assessments
- 영향받는 쿼리: 고객 세그먼트 분석, 신용 기반 필터링
- 영향받는 Data Mart: 고객 세그먼트 마트
5단계: 스키마 변경과 연계
사이드바 → 데이터 관측 → 스키마 변경 메뉴에서 스키마 변경 이력을 확인하고, 계보와 연계하여 변경의 영향 범위를 파악합니다.
6단계: Time Travel 활용
Iceberg 테이블의 과거 시점 데이터를 계보와 함께 추적합니다. 특정 시점의 스냅샷을 조회하여 데이터 변화를 확인할 수 있습니다.
-- Iceberg 스냅샷 이력 조회
SELECT * FROM iceberg.card."transactions$snapshots"
ORDER BY committed_at DESC
LIMIT 10;
AI Agent Chat으로 수행하기
위의 모든 단계를 AI Agent Chat에서 자연어로 수행할 수 있습니다. 각 페이지 상단의 AI에게 요청 버튼을 클릭하면 현재 화면을 유지하면서 우측에 AI 채팅 패널이 열립니다.
대화 예시
사용자: "orders 테이블의 데이터 리니지 보여줘"
AI: [get_lineage 호출] → orders 테이블의 계보를 조회합니다. 업스트림: 원본 주문 데이터(sourcedb), 다운스트림: 분석 마트, 매출 리포트.
사용자: "이 테이블의 upstream 데이터 소스 알려줘"
AI: [get_lineage 호출] → orders의 업스트림 소스 2개: sourcedb.public.orders(원본 DB), iceberg.card.transactions(거래 데이터). customer_id 컬럼으로 연결됩니다.
사용자: "리니지 영향도 분석해줘"
AI: [get_lineage_impact 호출] → orders 테이블 변경 시 영향받는 다운스트림: 3개 Data Mart, 5개 저장 쿼리, 1개 대시보드. 가장 큰 영향: 매출 분석 마트.
AI Agent Chat은 44개 플랫폼 도구를 활용하여 데이터 탐색, SQL 생성, 거버넌스 조회 등을 자동으로 수행합니다. 자세한 내용은 AI Agent Chat 가이드를 참조하세요.