DQ 결함 목록
샘플 데이터에는 데이터 품질(DQ) 검증 기능을 시연하기 위해 의도적으로 결함이 삽입되어 있습니다.
customers 테이블
| 결함 유형 | 비율 | 설명 | DQ 축 |
|---|---|---|---|
| NULL email | 2% | 이메일 필드가 NULL | completeness |
| 잘못된 전화번호 형식 | 1% | 010-0000 (자릿수 부족) | consistency |
| NULL gender | 0.5% | 성별 필드가 NULL | completeness |
| 미래 생년월일 | 0.1% | birth_date가 현재 이후 날짜 | consistency |
transactions 테이블
| 결함 유형 | 비율 | 설명 | DQ 축 |
|---|---|---|---|
| 고아 customer_id | 0.1% | customers에 존재하지 않는 FK | consistency |
| 음수 금액 | 0.05% | amount가 음수 | consistency |
| 미래 거래일시 | 0.01% | txn_datetime이 현재 이후 | freshness |
| NULL mcc_code | 0.5% | MCC 코드가 NULL | completeness |
merchants 테이블
| 결함 유형 | 비율 | 설명 | DQ 축 |
|---|---|---|---|
| 잘린 사업자번호 | 2% | business_number가 5자리로 절단 | consistency |
consultations 테이블
| 결함 유형 | 비율 | 설명 | DQ 축 |
|---|---|---|---|
| NULL summary | 8% | 상담 요약이 NULL | completeness |
| 부조화 감정 분석 | 11.5% | fraud_report인데 sentiment가 positive | consistency |
DQ 4축 요약
- Completeness: NULL 필드 비율로 측정. customers.email(2%), consultations.summary(8%), transactions.mcc_code(0.5%)
- Uniqueness: 중복 레코드 여부. 샘플 데이터에서는 UUID PK로 보장
- Freshness: 미래 날짜 결함. transactions.txn_datetime(0.01%), customers.birth_date(0.1%)
- Consistency: 형식 오류, FK 불일치, 논리적 부조화. 전화번호(1%), 사업자번호(2%), 고아 FK(0.1%)
팁
이 결함들은 GenD의 데이터 품질 기능으로 탐지하고 점수화할 수 있습니다.