본문으로 건너뛰기

거버넌스

거버넌스 모듈은 데이터의 흐름을 추적하고, 스키마 변경을 탐지하며, 데이터 품질을 정량적으로 측정하여 조직의 데이터 신뢰성을 확보합니다. Data Lineage, Schema Changes, Data Quality 세 가지 핵심 기능으로 구성됩니다.

거버넌스 컨트롤 맵​

Data Lineage​

Data Lineage

Data Lineage는 데이터가 원본 소스에서 최종 소비 지점까지 어떤 경로를 거쳐 변환되는지 시각적으로 추적합니다.

계보 그래프 구성​

요소설명
소스 노드데이터의 원천 (외부 데이터 소스, 파일 업로드 등)
변환 노드데이터 가공 단계 (ETL 파이프라인, SQL 변환 등)
대상 노드최종 데이터 저장 위치 (Iceberg 테이블, Data Mart 등)
연결선노드 간 데이터 흐름 방향

활용 시나리오​

  • 영향 분석 — 소스 테이블 변경 시 영향 받는 하위 테이블 즉시 파악
  • 근본 원인 추적 — 데이터 품질 이슈 발생 시 원천까지 역추적
  • 규정 준수 — 개인정보 데이터의 흐름 경로를 감사 증빙으로 활용

Schema Changes​

Schema Changes

Schema Changes는 카탈로그에 등록된 테이블의 스키마 변경을 자동으로 탐지하고 기록합니다.

탐지 대상​

변경 유형설명위험도
컬럼 추가새로운 컬럼이 테이블에 추가됨낮음
컬럼 삭제기존 컬럼이 제거됨높음
타입 변경컬럼의 데이터 타입이 변경됨중간
이름 변경컬럼 또는 테이블 이름이 변경됨중간
제약 조건 변경NOT NULL, 기본값 등 제약 조건 변경중간

변경 이력 관리​

각 스키마 변경은 다음 정보와 함께 기록됩니다.

  • 변경 시각 — 탐지된 시점의 타임스탬프
  • 변경 내용 — 이전 값과 이후 값의 비교 (diff)
  • 대상 테이블 — 변경이 발생한 카탈로그.스키마.테이블
  • 영향 범위 — Lineage를 통해 파악된 하위 의존 테이블 수

Data Quality​

Data Quality

Data Quality는 4축(Four-Axis) 스코어링 모델을 사용하여 데이터 품질을 정량적으로 측정합니다.

4축 품질 스코어​

축설명측정 기준
Completeness데이터 완전성NULL이 아닌 값의 비율 (%)
Uniqueness데이터 고유성중복 행이 없는 비율 (%)
Freshness데이터 신선도마지막 업데이트로부터 경과 시간
Consistency데이터 일관성정의된 규칙을 준수하는 행의 비율 (%)

종합 점수 (Composite Score)​

4축 점수를 가중 평균하여 0~100점의 종합 품질 점수를 산출합니다.

Composite Score = (Completeness x 0.3) + (Uniqueness x 0.25)
               + (Freshness x 0.2) + (Consistency x 0.25)

품질 등급​

등급점수 범위배지 색상
Excellent90 ~ 100녹색
Good70 ~ 89파란색
Fair50 ~ 69노란색
Poor0 ~ 49빨간색

액세스​

액세스 워크플로

액세스는 권한 요청부터 검토, 부여된 권한까지 데이터 액세스 워크플로 전체를 한 곳에서 관리합니다. 이전에 분리되어 있던 /portal/permissions, /admin/approvals, /admin/grants 3개 메뉴를 단일 /governance/access 페이지의 요청 / 검토 / 부여된 권한 3개 탭으로 통합했습니다.

주요 기능​

  • 데이터 계보 추적 — 소스부터 소비까지 전체 데이터 흐름 시각화
  • 스키마 변경 탐지 — 컬럼 추가/삭제/타입 변경을 자동으로 감지하고 알림
  • 4축 품질 스코어링 — Completeness, Uniqueness, Freshness, Consistency 정량 측정
  • 영향 분석 — 변경 사항이 하위 파이프라인에 미치는 영향을 Lineage로 파악
  • 이력 관리 — 모든 스키마 변경과 품질 점수를 시계열로 기록
  • 액세스 워크플로 — 권한 요청 ↔ 검토 ↔ 부여된 권한을 3개 탭으로 일원화

샘플 데이터 예시​

Data Quality 스코어 예시입니다.

테이블                          Completeness  Uniqueness  Freshness  Consistency  종합
───────────────────────────────────────────────────────────────────────────────────────
iceberg.raw.customer_events     98.2%         95.1%       2h ago     97.8%        97.1
iceberg.raw.order_transactions  94.5%         99.8%       30m ago    92.3%        95.4
sourcedb.public.user_profiles   87.3%         88.2%       3d ago     85.6%        85.9

관련 링크​