2. 공통 운영 시나리오¶
이 문서는 과정 전체에서 반복해서 참조하는 운영 사건을 정의합니다. 각 장은 이 사건을 같은 결론으로 반복 설명하지 않고, 서로 다른 증거로 원인 후보를 좁혀 갑니다.
2-1. 시나리오 개요¶
공통 시나리오는 기능 테스트를 통과했지만 AI 품질 신호가 달라진 상황입니다. 생체신호 기반 위험 알림 API는 정상 응답을 반환합니다. 그러나 운영 관측값에서는 high_risk 예측 비율과 평균 점수가 함께 상승했습니다.
이 사건의 ID는 high_risk_prediction_shift입니다. 이후 문서에서 이 ID를 보면 같은 운영 사건을 가리킨다고 보면 됩니다. 중요한 점은 이 변화가 원인이 아니라 조사해야 할 신호라는 것입니다.
수강생은 이 사건을 모델 문제로 바로 단정하지 않습니다. 데이터 조건, 모델 지표, API 응답, 운영 로그, 승인 기준을 차례로 확인하면서 “무엇은 약해졌고, 무엇은 아직 남은 원인 후보인가”를 보고서로 남깁니다.
2-2. 관측값¶
운영에서 처음 보이는 변화는 두 가지입니다. high_risk 예측 비율이 증가했고, 평균 점수도 함께 상승했습니다.
| 항목 | 기준선 | 현재 운영 입력 샘플 |
|---|---|---|
high_risk 예측 비율 |
0.2167 | 0.4583 |
| 평균 점수 | 0.5020 | 0.6402 |
이 표는 원인 분석의 출발점입니다. 예측 비율만 증가했다면 threshold나 집계 기준을 먼저 의심할 수 있고, 평균 점수도 함께 상승했다면 입력 분포나 모델 버전 같은 점수 생성 조건을 함께 확인해야 합니다.
2-3. 아직 결론으로 쓰지 않는 것¶
이 시점에서 쓸 수 있는 문장은 “품질 신호가 기준선과 달라졌다”입니다. 아직 “모델이 잘못됐다”, “데이터 수집이 원인이다”, “배포를 보류한다”라고 쓰면 근거가 부족합니다.
아래 항목은 각 장의 증거를 확인하기 전까지 결론으로 쓰지 않습니다.
- 모델 자체 결함
- 데이터 수집 오류
- threshold 변경
- 모델 버전 변경
- 입력 구성 변화
- 배포 승인 또는 보류 결론
이 경계는 초보자에게 특히 중요합니다. AI 품질 판단은 한 숫자를 보고 바로 결론을 내리는 일이 아니라, 같은 사건을 여러 자료에서 다시 확인해 원인 후보를 줄이는 일입니다.
2-4. 장별 확인 역할¶
각 장은 같은 사건을 다른 자료로 확인합니다. 1장과 2장은 운영 로그를 직접 분석하는 단계가 아니라, 운영 사건을 해석하기 위한 데이터 조건과 모델 지표 기준을 준비하는 단계입니다. 3장은 운영에서 추적할 필드를 확인하고, 4장과 5장은 실제 운영 관측과 판단 기준으로 후보를 좁힙니다.
| 장 | 확인 자료 | 판단 범위 | 후보 상태 |
|---|---|---|---|
| 1장 | evaluation_baseline_data |
모델 평가 전 데이터 조건 | 기준 데이터 구조 문제를 약화하고, 운영 입력 변화는 남김 |
| 2장 | vital_signs_valid_degraded.csv, 평가 artifact |
데이터 조건 변화와 지표 변화 | 입력 품질 저하 후보를 강화하되, 실제 운영 원인은 확정하지 않음 |
| 3장 | /predict 응답과 로그 필드 |
추적 가능성 | API 응답에서 추적 불가 후보를 약화하고, 운영 로그 확인으로 넘김 |
| 4장 | 운영 로그와 메트릭 | 운영 관측 기반 후보 축소 | model_version과 threshold 변경 후보를 약화하고, 입력 구성 변화와 검증 실패 후보를 유지 |
| 5장 | quality_issue_trace.md, release_approval.md |
조건부 보류와 재평가 조건 | 단순 승인 후보를 약화하고, owner별 후속 확인과 재평가 조건을 남김 |
이 표를 읽을 때는 각 장의 판단 범위를 분리해야 합니다. 1장 기준 데이터가 정상이라고 해서 운영 원인이 해결된 것은 아니고, 2장 재현용 평가 데이터의 지표 변화가 실제 운영 원인으로 확정되는 것도 아닙니다.
2-5. 문서에서 인용하는 방식¶
각 장에서는 이 시나리오를 원인 확정 근거처럼 쓰지 않습니다. “공통 운영 시나리오의 관측값을 이 장의 증거로 다시 확인한다”는 방식으로 참조합니다.
문서에서 인용할 때는 다음 문장 형태를 사용합니다.
| 사용 위치 | 문장 형태 |
|---|---|
| 1장 | high_risk_prediction_shift의 원인을 확정하기 전에 기준 데이터 조건을 확인합니다. |
| 2장 | high_risk_prediction_shift를 해석하기 위해 데이터 조건 변화가 모델 지표를 흔드는지 확인합니다. |
| 3장 | high_risk_prediction_shift를 운영에서 추적하려면 API 응답과 로그에 추적 필드가 남아야 합니다. |
| 4장 | high_risk_prediction_shift를 운영 로그와 메트릭으로 다시 확인합니다. |
| 5장 | high_risk_prediction_shift의 증거를 승인, 조건부 보류, 추가 확인 판단으로 정리합니다. |
이 인용 방식은 과잉 결론을 막기 위한 장치입니다. 각 장은 같은 사건을 다루지만, 그 장에서 확인한 증거 범위 안에서만 보고서 문장을 작성해야 합니다.