GenD는 여러 수준과 유형의 데이터 계보를 지원합니다. 테이블 수준의 계보부터 컬럼 수준의 세밀한 추적까지 다양한 관점에서 데이터 흐름을 파악할 수 있습니다.
계보 수준
테이블 수준 계보
- 테이블 간의 데이터 흐름을 추적합니다
- ETL/ELT 작업에 의한 테이블 의존성을 표현합니다
- 예:
raw_orders → stg_orders → mart_daily_sales
컬럼 수준 계보
- 개별 컬럼 간의 변환 관계를 추적합니다
- 특정 컬럼이 어디에서 파생되었는지 정확히 파악합니다
- 예:
mart_daily_sales.total_amount ← stg_orders.amount의 SUM
엣지 유형
| 유형 | 설명 | 예시 |
|---|
| transform | ETL 변환에 의한 흐름 | SQL 기반 변환 |
| derive | 파생 테이블 생성 | 데이터 마트 |
| copy | 단순 복제 | CDC 복제 |
| aggregate | 집계 | GROUP BY 집계 |
| 방향 | 설명 |
|---|
| upstream | 현재 테이블의 소스 방향 (데이터 원천) |
| downstream | 현재 테이블을 참조하는 방향 (소비자) |
계보 생성 방식
- 자동 수집: SQL 파싱을 통해 쿼리에 포함된 테이블 참조를 자동으로 추출합니다
- 수동 등록: API를 통해 테이블 간 관계를 수동으로 등록합니다
- CDC 연동: Debezium CDC를 통해 실시간 데이터 흐름을 추적합니다
API 엔드포인트
| Method | Path | Description |
|---|
| GET | /api/v1/lineage/{catalog}/{schema}/{table}/graph | 계보 그래프 조회 |
| POST | /api/v1/lineage/edges | 계보 엣지 수동 등록 |
관련 문서