1장 마무리: 데이터 품질을 QA 판단으로 바꾸기¶
데이터 품질 확인은 모델 평가를 시작할 수 있는지 판단하는 첫 번째 관문입니다. 1장은 기준 데이터의 라벨 분포, 필수 컬럼, 결측치, 범위 오류를 확인해 이후 장에서 사용할 기준선을 만들었습니다.
1장의 결론은 운영 이상 원인의 확정이 아니라 기준 데이터의 평가 가능성 판단입니다. 기준 데이터에서는 허용되지 않은 라벨과 라벨 결측이 0건이고, 주요 특성 범위 오류도 0건이므로 모델 평가를 시작할 전제는 충족합니다.
이 문서를 읽을 때는 다음 기준을 중심으로 1장을 정리합니다.
- 기준선 정리:
data/vital_signs_evaluation_baseline.csv의 행 수, 라벨 분포, 결측치, 범위 오류 - Lab 산출물:
artifacts/reports/chapter_01_quality_report.md의 데이터 품질 리포트 - QA 판단:
평가 가능,조건부 평가,평가 보류중 어떤 표현이 적절한지 결정 - 남은 질문: 데이터 조건이 흔들릴 때 모델 지표(metric)가 어떻게 바뀌는가
1. 1장에서 확인한 판단 흐름¶
1장의 핵심은 데이터 품질 문제를 모델 평가 전 판단 근거로 바꾸는 것입니다. 데이터 탐색은 그 자체가 목적이 아닙니다. 데이터 탐색 결과를 바탕으로 “현재 데이터로 모델 평가를 진행할 수 있는가”를 설명할 수 있어야 합니다.
1장의 기준 데이터는 이후 비교의 출발점입니다. 라벨 분포가 한쪽으로 극단적으로 치우치지 않았고, 명백한 라벨/범위 오류도 확인되지 않았으므로 관심 클래스 표본 수 부족은 현재 기준 데이터에서 강한 제한 사항이 아닙니다.
1장에서 확인한 흐름은 다음과 같습니다.
| 단계 | 확인한 내용 | 근거 | QA 판단 |
|---|---|---|---|
| 기준 데이터 구조 확인 | 20002행, 17컬럼 | 1-4 Pandas Lab 출력 | 평가 대상 규모와 구조 확인 가능 |
| 라벨 기준 확인 | high_risk 10416건, low_risk 9586건 |
label support 출력 | 관심 클래스 표본 수 부족 가능성 낮음 |
| 데이터 품질 후보 확인 | 허용되지 않은 라벨 0건, 라벨 결측 0건, 범위 오류 0건 | 품질 리포트 범위 검증 결과 | 명백한 기준 데이터 오류 가능성 낮음 |
| 모델 평가 전 판단 | 리포트 값을 평가 가능, 조건부 평가, 평가 보류로 해석 |
1-5 판단 기준과 QA 코멘트 | 기준 데이터는 모델 평가 시작 가능 |
이 표는 1장을 요약하는 동시에 2장으로 넘어가기 위한 전제입니다. 데이터 품질 리포트에서 필수 컬럼, 라벨, 관심 클래스 표본 수(Positive support), 범위 검증 결과가 설명 가능해야 뒤에서 모델 지표를 계산해도 그 결과를 해석할 수 있습니다.
1장에서 반드시 가져가야 할 핵심 판단 기준은 다음과 같습니다.
| 핵심 판단 기준 | 의미 |
|---|---|
| 기능 정상과 품질 정상의 구분 | API가 성공해도 예측 분포나 데이터 조건은 달라질 수 있음 |
| 모델 평가의 전제인 데이터 품질 | 데이터 조건이 흔들리면 모델 지표 해석도 흔들림 |
| 평가의 정답 기준인 라벨 | 라벨이 누락되거나 라벨 값 표준화 기준이 잘못되면 지표를 신뢰하기 어려움 |
| 관심 클래스(Positive class) 평가 근거인 관심 클래스 표본 수 | high_risk 표본 수가 부족하면 관심 클래스 평가가 불안정함 |
| 판단 근거로 쓰는 데이터 품질 리포트 | 출력값을 복사하는 것이 아니라 모델 평가 전제를 설명해야 함 |
이 기준은 암기용 문장이 아니라 1장 Lab 결과를 해석할 때 사용하는 판단 기준입니다. 앞으로 모델 지표, 서빙 API, 운영 로그를 볼 때도 같은 방식으로 “값이 무엇을 의미하는가”를 먼저 확인해야 합니다.
2. 최종 QA 코멘트 작성¶
최종 QA 코멘트는 리포트 출력값을 평가 전 판단으로 바꾼 문장입니다. 리포트에 있는 값을 그대로 복사하는 것만으로는 충분하지 않습니다. 필수 컬럼, 라벨, 관심 클래스 표본 수, 범위 검증 결과가 모델 지표 해석에 어떤 의미를 갖는지 함께 적어야 합니다.
1-4 Lab의 리포트는 실습 기준 데이터의 조건을 보여줍니다. 평가 대상 행(row)은 20002개이고, 필수 컬럼 누락은 없습니다. 라벨 값은 high_risk와 low_risk로 정리되어 있으며, high_risk 표본 수는 10416, low_risk 표본 수는 9586입니다. 허용되지 않은 라벨과 라벨 결측은 없고, 범위 검증에서도 허용 범위 초과 값은 확인되지 않았습니다.
이 결과를 판단으로 바꾸면 다음과 같습니다.
| 확인 항목 | 실습 결과 | QA 판단 |
|---|---|---|
| 데이터 규모 | 20002행, 17컬럼 |
평가 대상 데이터 규모 확인 가능 |
| 필수 컬럼 | 누락 없음 | 모델 입력과 라벨 비교 가능 |
| 라벨 기준 | high_risk, low_risk |
이진 분류(binary classification) 평가 기준 확인 |
| 모델 입력 기준 | configs/validation/model_features.yaml 기준 특성 사용 |
지표를 해석할 입력 조건 확인 |
| 관심 클래스 표본 수 | 10416 |
관심 클래스 평가 표본 충분 |
| 라벨 오류 | 허용되지 않은 라벨 0건, 라벨 결측 0건 | 정답 기준 결측이나 허용되지 않은 값 없음 |
| 범위 검증 | 모든 항목 0.00% |
명백한 허용 범위 초과 값 없음 |
위 결과를 바탕으로 최종 QA 코멘트는 다음 형식으로 작성할 수 있습니다.
data/vital_signs_evaluation_baseline.csv는 필수 특성과 라벨 컬럼을 포함하고 있으며,
라벨 값은 `high_risk`와 `low_risk`로 정리되어 있습니다.
모델 입력 특성의 결측치와 허용 범위 초과 값은 확인되지 않았고,
모델 입력 특성은 `configs/validation/model_features.yaml` 기준으로 구분되어 있으며,
관심 클래스 표본 수도 관심 클래스를 평가하는 데 충분합니다.
QA 판단: 평가 가능
판단 근거: 데이터 구조, 라벨 기준, 관심 클래스 표본 수, 범위 검증 결과가 모델 평가 전제 조건을 충족합니다.
후속 조치: 모델 지표를 계산하고, 지표 해석 시 현재 데이터 조건을 함께 보고합니다.
이 코멘트는 모델 품질이 좋다는 뜻이 아닙니다. 현재 데이터 조건에서 모델 평가를 시작할 수 있다는 뜻입니다. 이 전제를 출발점으로 삼아 라벨과 예측을 비교하고, 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), PR-AUC(AUPRC)를 함께 해석합니다.
1장 보고서에서 멈춰야 하는 경계도 함께 적습니다. 현재 단계에서 쓸 수 있는 문장은 “기준 데이터는 평가 가능하다”입니다. 아직 쓰면 안 되는 문장은 “운영 high_risk 비율 0.4583의 원인은 모델 문제다”, “이 증거만으로 배포 승인 또는 보류를 권고한다”입니다. 이 결론은 2장 이후 현재 운영 입력 샘플의 검증 실패, 품질 저하 validation 데이터셋의 모델 지표, threshold, API 응답, 운영 로그를 확인한 뒤에만 좁힐 수 있습니다.
조건부 평가나 평가 보류가 필요한 상황에서는 같은 형식을 유지하되 판단 근거를 바꿉니다.
| 판단 | 사용할 상황 | 코멘트에 반드시 남길 내용 |
|---|---|---|
평가 가능 |
필수 컬럼, 라벨, 관심 클래스 표본 수, 범위 검증이 기본 조건을 충족 | 모델 평가를 시작할 수 있는 근거 |
조건부 평가 |
일부 결측치, 이상치, 클래스 비율 변화가 있지만 설명 가능 | 모델 평가 결과 해석 시 제한 사항 |
평가 보류 |
라벨 오류, 필수 특성 누락, 관심 클래스 표본 수 부족 | 먼저 보완해야 할 데이터 문제 |
중요한 것은 “문제가 있음”이라고만 쓰지 않는 것입니다. 어떤 문제가 있고, 그 문제가 모델 평가 결과 해석에 어떤 제한을 만들며, 다음 조치가 무엇인지 함께 적어야 합니다.
3. 2장으로 넘길 질문¶
1장이 끝나면 데이터 조건을 전제로 모델 지표를 해석할 준비가 됩니다. 2장은 데이터 검증 자동화와 모델 품질 평가를 다룹니다. 여기서는 1장에서 수동으로 확인한 데이터 조건을 검증 규칙(rule)과 모델 지표 해석으로 확장합니다.
1장을 마친 뒤에는 다음 질문에 답할 수 있어야 합니다. 이 질문은 검증 규칙(validation rule), 모델 지표, 오류 유형을 해석하는 기준이 됩니다.
| 질문 | 답할 수 있어야 하는 근거 |
|---|---|
| 지금 데이터로 모델 평가를 진행해도 되는가? | 필수 컬럼, 라벨, 결측치, 이상치, 관심 클래스 표본 수 확인 결과 |
| 평가 결과에 제한 사항을 붙여야 하는가? | 특정 특성이나 클래스에 집중된 품질 이슈 여부 |
| 예측 분포 변화가 데이터 때문일 가능성이 있는가? | 결측치 위치, 이상치 행, 클래스 비율 변화 |
| 모델 지표를 계산할 준비가 되었는가? | 데이터 품질 리포트와 QA 판단 코멘트 |
| 모델 평가에서 먼저 확인할 것은 무엇인가? | 데이터 조건을 전제로 한 모델 지표와 오류 유형 |
데이터 품질 리포트는 다음 비교의 기준입니다. 2장에서는 이 기준을 자동 검증 규칙(rule)으로 반복 적용하고, 현재 운영 입력 샘플의 실패 양상을 validation 기준에서 재현한 vital_signs_valid_degraded.csv에서 발생한 결측과 범위 오류가 모델 지표를 어떻게 흔드는지 확인합니다.
1장: 기준 데이터는 모델 평가를 시작할 수 있는 상태입니다.
2장: 품질 저하 평가 데이터셋에서 검증 실패와 모델 지표 변화를 비교합니다.
3장: 평가 기준이 API 응답과 배포 설정에서도 유지되는지 확인합니다.
4장: 운영 로그와 대시보드(dashboard)에서 품질 신호 변화를 관측합니다.
5장: 입력 분포 변화와 승인 기준으로 조건부 보류와 재평가 조건을 판단합니다.
따라서 데이터 품질 확인은 단순 전처리 절차가 아닙니다. 모델 평가를 시작할 수 있는지 판단하고, 이후 모델 지표를 해석할 때 필요한 조건을 남기는 QA 활동입니다.