상세 과정 안내¶
수강생은 이 과정에서 AI 서비스 품질/운영 담당자 역할로 품질 판단 근거를 만듭니다. 상세 과정 안내는 공통 운영 시나리오에서 시작해 기준 데이터, 품질 저하 평가 데이터셋, MLflow candidate, Argo CD GitOps 배포, KServe endpoint, 운영 로그, 입력 구성 변화 리포트, 조건부 보류와 재평가 조건으로 이어지는 실습 사건을 먼저 잡기 위한 출발점입니다.
최종 목표는 모델을 새로 만드는 것이 아니라 후보 모델을 운영으로 배포할지, 보류할지, 되돌림 조건을 붙일지 설명하는 것입니다. 운영 로그에서 high_risk 비율이 크게 증가했을 때, 이 변화가 데이터 조건, 모델 지표(metric), GitOps 배포 상태, KServe readiness, 운영 관측 신호에서 어떻게 설명되는지 확인합니다. 로컬에서 실행하는 실습 코드는 tta-aiqa 저장소를 기준으로 하며, 이 교재 저장소는 문서와 슬라이드의 기준을 관리합니다.
1. 먼저 이해할 흐름¶
품질 판단은 정상 응답 여부가 아니라 증거의 연결로 완성됩니다. API가 정상 응답을 반환하더라도 high_risk 예측(prediction) 비율이 크게 바뀌면, 기능 테스트만으로는 품질을 설명할 수 없습니다. 데이터 조건, 모델 지표, 임계값(threshold), API 응답, 로그와 대시보드를 순서대로 확인해야 원인 후보를 좁힐 수 있습니다.
기준 데이터 확인
→ 현재 운영 입력 샘플의 검증 실패 확인
→ 품질 저하 평가 데이터셋으로 모델 지표 변화 해석
→ MLflow candidate와 GitOps 배포 근거 확인
→ KServe endpoint 응답과 설정 확인
→ 운영 로그와 대시보드 확인
→ 조건부 보류와 재평가 조건 판단
각 장은 이 흐름의 한 구간을 맡습니다. 1장은 데이터 조건, 2장은 모델 지표와 MLflow 기록, 3장은 Argo CD와 KServe 배포 근거, 4장은 운영 관측, 5장은 최종 배포 판단을 다룹니다. 마지막 산출물에는 현재 판단뿐 아니라 근거, 리스크, 담당 owner, 다음 확인 항목, 같은 기준으로 재평가할 조건이 함께 남아야 합니다.
2. 이 안내에서 확인할 것¶
처음 학습할 때는 역할, 데이터, 운영 방식을 먼저 잡아야 합니다. 과정 한눈에 보기에서 전체 역할과 목표를 잡고, 실습 데이터셋과 평가 흐름에서 Kaggle 원본이 어떤 기준 데이터, train, validation, test, 운영 보류out 샘플로 나뉘는지 확인한 뒤, 레벨 체계와 수업 운영으로 강의 중 다룰 깊이를 파악하는 순서가 좋습니다.
| 순서 | 문서 | 먼저 확인할 질문 |
|---|---|---|
| 1 | 과정 한눈에 보기 | 내가 어떤 역할로 어떤 품질 판단을 해야 하는가 |
| 2 | 공통 운영 시나리오 | 과정 전체에서 반복해서 추적할 사건은 무엇인가 |
| 3 | 교재 저장소와 실습 코드 저장소 구분 | 문서는 어디에서 읽고, 실행 코드는 어디에서 실행하는가 |
| 4 | 실습 데이터셋과 평가 흐름 | 원본 데이터는 왜 나누며, 각 데이터는 어느 장에서 어떤 판단에 쓰이는가 |
| 5 | 도구와 확인 결과 지도 | 각 도구가 어떤 확인 결과를 만들고 어떤 QA 질문에 답하는가 |
| 6 | 레벨 체계와 수업 운영 | Core, Lab, Demo, Mention, Appendix는 수업에서 어떤 깊이로 다루는가 |
| 7 | 상세 목차 | 각 장과 챕터가 어떤 사건과 산출물로 이어지는가 |
| 8 | 전체 참고문헌 | 본문 설명의 근거와 추가 학습 자료는 어디에서 확인하는가 |
이 표는 링크 모음이 아니라 맥락을 잡는 읽기 순서입니다. 처음에는 위 순서대로 읽고, 강의 중에는 필요한 문서로 바로 이동하면 됩니다.
3. 장별로 맡게 될 판단¶
각 장은 같은 서비스를 다른 증거로 다시 봅니다. 장이 바뀔 때마다 주제가 바뀌는 것이 아니라, 품질 이상을 설명하기 위해 확인하는 근거가 바뀝니다.
| 장 | 확인하는 증거 | 판단 산출물 |
|---|---|---|
| 1장 데이터 품질 | 기준 데이터의 라벨, 결측치, 범위 조건 | 모델 평가 전 판단과 데이터 품질 QA 코멘트 |
| 2장 모델 품질 평가 | 검증 리포트, 모델 지표, FP/FN, PR-AUC(AUPRC) | 모델 지표 해석과 원인 후보 정리 |
| 3장 모델 서빙 | MLflow candidate, Argo CD Application, KServe InferenceService, model_version, threshold, request_id |
GitOps serving 확인 결과 |
| 4장 운영 관측 | 구조화 로그, 메트릭(metric), 대시보드, 분포 변화 | 운영 품질 관측 리포트 |
| 5장 배포 판단과 되돌림 판단 | 입력 구성 변화, 회귀 테스트, GitOps 확인 결과, 승인 기준 | 배포, 보류, 되돌림 판단과 최종 확인 결과 |
상세 과정 안내를 읽은 뒤에는 “지금 어떤 증거로 어떤 판단을 만들고 있는가”를 기준으로 보면 됩니다. 바로 학습을 시작하려면 1장 데이터 품질로 이동합니다.