콘텐츠로 이동

4장 마무리: 운영 확인 결과 정리

4장의 결론은 대시보드를 봤다는 사실이 아니라 후보 모델 endpoint의 운영 상태를 설명할 근거를 만들었다는 점입니다. 3장에서 Argo CD와 KServe 배포 경로를 확인했다면, 4장에서는 그 endpoint가 요청 처리 중 어떤 로그, 메트릭, trace, dashboard 값을 남겨야 하는지 확인했습니다.

기존 observability 자산은 그대로 사용합니다. chapter_04_anomaly_events.jsonl, Prometheus text, Grafana dashboard JSON, trace payload는 유지하되 해석의 중심을 “도구 화면 확인”에서 “배포 판단에 필요한 운영 값 확인”으로 좁힙니다.

1. 4장에서 남길 확인 결과

4장에서 남겨야 할 확인 결과는 request 단위와 집계 단위를 함께 포함해야 합니다. request 단위 로그가 없으면 대표 실패를 추적하기 어렵고, metric이 없으면 시간 흐름과 비율을 설명하기 어렵습니다. dashboard는 둘을 함께 비교하는 화면입니다.

확인 결과 경로 사용 방식
request log artifacts/logs/chapter_04_anomaly_events.jsonl 대표 요청의 request_id, model_version, score, prediction, validation_failure 확인
metric artifacts/metrics/chapter_04_anomaly.prom error rate, latency, validation failure, prediction ratio 확인
dashboard artifacts/grafana/ai_quality_overview_dashboard.json 여러 신호를 한 화면에서 비교
trace artifacts/traces/chapter_04_tempo_payload.json latency가 어느 처리 구간에서 생겼는지 확인
issue trace artifacts/reports/quality_issue_trace.md 5장 owner와 next action의 입력

이 확인 결과가 모두 있어도 배포가 자동 승인되는 것은 아닙니다. 4장은 운영 관측이 가능한지 보여 주고, 5장은 그 값을 기준에 대입해 배포, 보류, 되돌림 필요 여부를 판단합니다.

2. 5장으로 넘기는 판단

5장으로 넘길 판단은 “observability 정상” 같은 단순 문장이 아닙니다. 어떤 신호는 기준을 통과했고, 어떤 신호는 추가 확인이 필요하며, 어떤 확인은 아직 실행되지 않았는지 분리해야 합니다.

4장 결과 5장 기준에서의 의미
model_versionthreshold가 로그에 있음 후보 모델과 기준 모델 혼선 가능성을 줄임
validation failure가 늘어남 input/API contract owner 확인 필요
latency 평균은 기준 안이나 여유 감소 배포 후 관측 조건으로 남김
score/prediction 분포가 기준과 다름 모델 지표와 함께 해석 필요
live telemetry가 없고 prepared artifact만 있음 실제 운영 확인은 미검증으로 기록

보고서 문장은 다음처럼 씁니다.

4장 운영 확인 결과에서는 후보 모델 endpoint 판단에 필요한 `request_id`, `model_version`, `score`, `threshold`, `prediction`, `latency_ms`, `validation_failure` 필드를 확인했습니다. prepared artifact 기준으로 validation failure와 prediction 분포 변화가 남아 있으므로, 5장 배포 판단에서 배포 여부를 모델 지표와 live 확인 상태로 다시 판단합니다.