5장 마무리: 배포 판단 보고서¶
5장의 최종 산출물은 후보 모델 배포 판단 보고서입니다. 이 보고서는 모델이 좋아 보인다는 의견이 아니라, 어떤 기준을 통과했고 어떤 기준에서 실패했으며, 보류한다면 누가 무엇을 확인해야 하는지 남기는 문서입니다.
1. 산출물 연결 기준¶
최종 보고서는 2장부터 4장까지의 산출물을 함께 사용합니다. 한 장의 결과만으로 배포나 보류를 결정하지 않습니다.
| 근거 | 경로 | 최종 보고서 사용 |
|---|---|---|
| 데이터 검증 | artifacts/great_expectations/chapter_02_validation_summary.md |
평가 데이터 조건과 해석 제한 |
| MLflow/평가 기록 | artifacts/experiments/chapter_02/model_test_eval.json |
후보 모델 metric과 threshold 조건 |
| GitOps 배포 파일 | demos/ch03_docker_kubernetes/argocd/application.yaml |
Argo CD source/path/destination |
| KServe manifest | demos/ch03_docker_kubernetes/gitops/base/inferenceservice.yaml |
runtime, storageUri, model alias |
| 운영 관측 | artifacts/metrics/chapter_04_anomaly.prom |
error, latency, validation failure, prediction shift |
| 배포 판단 | artifacts/reports/release_approval.md |
승인 여부와 실패 기준 |
| 다음 조치 | artifacts/reports/quality_issue_trace.md |
owner, 확인 결과 path, 재평가 조건 |
2. 최종 판단¶
현재 예시의 최종 판단은 조건부 보류입니다. Precision은 기준을 통과하지만 Recall과 error rate가 실패하고, live Argo CD/KServe 확인 결과가 없는 환경에서는 운영 전환 완료로 쓸 수 없습니다.
| 기준 | 상태 | 근거 |
|---|---|---|
| Data validation | 조건부 통과 | 검증 산출물은 있으나 일부 입력 품질 risk 기록 |
| MLflow lineage | 통과 | 후보 모델 URI와 평가 기록 존재 |
| Metric | 실패 | Recall 0.5926 < 0.6000, error rate 0.0667 > 0.0500 |
| GitOps | 환경 의존 | Argo CD live sync 미실행 시 미검증 |
| KServe readiness | 환경 의존 | InferenceService Ready 미확인 시 미검증 |
| Observability | 조건부 통과 | prepared telemetry는 있으나 live 수집은 별도 확인 |
| 되돌림 | 보강 필요 | trigger와 이전 revision을 report에 명시해야 함 |
이 판단은 “배포하지 말자”로 끝나지 않습니다. 보류는 next action과 재평가 조건을 동반해야 합니다.
3. 보고서 문장¶
최종 보고서 문장은 다음 형태가 적절합니다.
risk-classifier@candidate는 MLflow lineage와 GitOps manifest가 확인되어 배포 후보로 추적 가능합니다.
그러나 모델 지표 기준에서 Recall 0.5926이 기준 0.6000에 미달했고, error rate 0.0667이 기준 0.0500을 초과했습니다.
prepared 운영 확인 결과에서는 latency와 validation failure를 확인했지만, live Argo CD sync revision, KServe readiness, endpoint response 확인 결과가 없으면 운영 전환 완료로 판단할 수 없습니다.
따라서 운영 alias 승격은 보류하고, metric 실패 원인 확인, live sync/smoke 확인 결과 확보, 되돌림 trigger 명시 후 같은 기준으로 재평가합니다.
실제 클러스터에서 Argo CD sync와 KServe readiness를 확인했다면 세 번째 문장을 바꿉니다.
Argo CD sync revision `<revision>`과 KServe `InferenceService` Ready 상태는 확인했지만, metric 기준 실패가 남아 있으므로 배포는 보류합니다.
4. 완료 기준¶
이 과정의 완료 기준은 수강생이 다음 날 현장에서 배포 판단 보고서를 쓸 수 있는지입니다. 도구 이름을 나열하는 것이 아니라, 확인 결과와 판단을 연결해야 합니다.
| 완료 기준 | 확인 질문 |
|---|---|
| 산출물 연결 | 데이터 검증, MLflow, GitOps, KServe, observability가 같은 후보 모델을 설명하는가 |
| 과잉 결론 방지 | 실행하지 않은 live sync나 endpoint smoke를 실행한 것처럼 쓰지 않았는가 |
| 기준 판단 | 배포/보류/되돌림 중 하나를 기준과 함께 설명하는가 |
| owner 지정 | 실패 항목의 owner와 next action이 있는가 |
| 재평가 조건 | 어떤 확인 결과가 보강되면 다시 판단할지 명확한가 |
이 기준을 만족하면 2일차의 마지막 산출물은 단순 체크리스트가 아니라 audit 가능한 배포 판단 보고서가 됩니다.