5-6. 모델 기준과 운영 기준으로 배포 판단하기

배포 판단은 좋은 지표 하나를 고르는 일이 아니라, 서로 다른 실패 위험을 분리해 통제하는 일입니다. 이 절에서는 Candidate B의 모델 평가 결과와 대상 환경의 실제 실행 상태를 별도 결론으로 남겨, 확인하지 않은 운영 상태를 승인 결과로 바꾸지 않습니다.

이 페이지는 후보 모델을 평가한 뒤 최종 기록을 작성하기 전에 사용합니다. 처음 관측한 high_risk 예측 비율 변화는 조사해야 할 신호로 남아 있으며, 각 판단은 확인한 자료의 범위와 한계를 함께 적어야 합니다.

모델 승인과 운영 상태를 분리하기

모델 승인과 대상 환경의 운영 완료는 서로 다른 근거를 요구하는 결론입니다. Candidate B의 APPROVE는 고정된 최종 평가에서 미리 정한 다섯 조건을 통과했다는 뜻이며, 이 근거는 모델 평가 범위 안에서만 유효합니다.

대상 환경이 Candidate B를 실제로 실행한다는 결론에는 별도 자료가 필요합니다. 배포 선언이나 deployment_allowed=true는 배포 절차에 올릴 수 있다는 준비 근거일 뿐, 대상 API의 모델 정보, 규약에 맞는 요청, 같은 시간대의 운영 신호를 대신하지 않습니다.

두 결론을 기록할 때는 근거의 역할을 아래처럼 나눕니다. 한 자료가 어느 판단을 직접 지지하는지 먼저 정해야 결과를 넓혀 쓰지 않습니다.

판단	직접 필요한 근거	현재 근거로 쓸 수 있는 결론	쓰면 안 되는 결론
모델 승인	고정 최종 평가, 사전 정의한 기준, 후보별 결과	Candidate B=APPROVE	대상 환경 배포가 완료됨
운영 환경 확인	대상 모델 정보, 정상 요청, 같은 시간대의 운영 자료	직접 확인한 범위의 상태	선언 파일만으로 실제 실행 성공
현재 권고	두 판단과 남은 위험, 담당자의 후속 조치	자료 수집, 제한적 배포 검토 또는 보류	미확인 범위를 완료로 처리

대상 환경 근거가 없으면 운영 환경 확인 상태는 target_pending으로 남기는 것이 정확합니다. 이 상태는 실패 선언이 아니라 확인 범위를 정직하게 표시하는 값이며, 모델 승인 자체를 취소하지도 대상 배포 성공으로 확대하지도 않습니다.

근거를 연결하는 판단 기록 만들기

판단 기록은 결론 한 줄이 아니라 각 주장에 근거와 범위를 연결하는 문서입니다. 같은 “승인”이라는 말도 모델 평가, 대상 환경 확인, 현재 권고를 가리킬 수 있으므로, 어떤 질문에 답하는 문장인지 먼저 구분해야 합니다.

각 주장에는 직접 본 사실, 자료 경로와 확인 시각, 적용 환경과 데이터 범위, 아직 모르는 사실을 붙입니다. 자료가 없는 대상 환경이나 실제 운영 결과는 미확인으로 남기고, 이를 확인할 담당자와 재평가 조건을 함께 적습니다.

다음 표는 회의에서 다른 담당자가 결론을 다시 확인할 수 있게 만드는 최소 기록 구조입니다. 표의 각 행은 근거를 나열하기보다 주장 하나와 그 한계를 함께 보이게 합니다.

기록 항목	적을 내용	피해야 할 표현
판단 질문	모델 평가인지, 운영 상태인지, 현재 권고인지	“배포가 좋다”처럼 질문이 없는 결론
직접 확인한 사실	값, 결과, 적용 범위	확인하지 않은 대상 환경의 상태
출처와 시각	자료 경로, 환경, 절대 시각 또는 정적 자료 범위	언제 어디서 본 값인지 없는 수치
미확인과 다음 조치	빠진 자료, 담당 팀, 재평가 조건	빈칸을 추정으로 채운 설명

이 구조를 따르면 근거 하나를 모델 승인과 대상 운영 성공의 증거로 중복 사용하지 않습니다. 최종 기록은 확신의 정도가 아니라, 어떤 결론이 어떤 자료로 지지되고 어디에서 멈추는지를 보여 주는 산출물입니다.

정답이 없는 운영 변화 해석하기

정답이 없는 운영 표본의 변화는 분포 관찰로 기록하고 성능 저하로 단정하지 않습니다. 준비된 정적 자료는 같은 기준 모델과 같은 고정 V2 운영 표본 100건으로 두 시나리오를 비교한 것이며, 실제 대상 환경에서 수집한 관측이 아닙니다.

관찰값은 아래처럼 정확히 남깁니다. high_risk 예측 수와 score P95는 바뀌었지만, 이 값만으로 재현율이나 미탐 수를 계산할 수는 없습니다.

같은 100건의 준비된 비교	기준 조건	변화 조건	직접 말할 수 있는 사실
high_risk 예측 수	3건	6건	예측 분포가 달라짐
score P95	0.3859	0.5133	상위 점수 경계가 달라짐
정답 레이블	없음	없음	새 정밀도, 재현율, 미탐 수를 계산할 수 없음

정답 레이블이 없으므로 이 관찰은 모델 품질 저하, 실제 대상 환경의 동일한 변화, 특정 원인의 확정을 지지하지 않습니다. 입력 조건, API 처리, 실행 환경, 모델 또는 임계값은 여전히 원인 후보이며, 해당 범위의 추가 자료가 생길 때만 후보 상태를 바꿉니다.

서비스 복구를 검토하는 조건 정하기

되돌리기 검토는 이상 신호 하나에 자동으로 실행하는 절차가 아니라 사용자 영향과 실행 불일치를 확인한 뒤 여는 판단입니다. 현재 사례에는 Candidate B의 대상 배포나 실제 장애를 확인한 자료가 없으므로, 되돌리기 완료를 기록할 수 없습니다.

되돌리기를 검토할 수 있는 조건은 관측 범위와 영향을 함께 포함해야 합니다. 아래 표처럼 어떤 사실을 보았을 때 어떤 조치를 검토할지 미리 연결하면, 정적 자료나 예상 오류를 실제 장애로 오해하지 않습니다.

검토를 여는 관측 조건	먼저 확인할 범위	가능한 다음 조치	자동 완료로 볼 수 없는 이유
실행 중인 모델 식별값이 선언과 다름	대상 환경과 해당 배포 시각	배포 경로와 모델 탑재 상태 조사	불일치 원인과 영향이 아직 미확인일 수 있음
규약에 맞는 요청의 실패 또는 확인된 5xx 증가	같은 환경, 같은 시간대	영향 범위 확인과 복구 검토	한 번의 응답만으로 지속 장애를 확정할 수 없음
사전 합의한 운영 신호가 허용 범위를 벗어남	모델 정보와 운영 자료의 연결 범위	제한, 보류 또는 되돌리기 검토	신호만으로 모델 원인을 확정할 수 없음

되돌리기 검토의 목적은 원인을 가리는 동안 사용자와 운영 위험을 통제하는 데 있습니다. 따라서 관측 조건, 영향 범위, 담당자, 재평가 시점을 기록한 뒤에만 조치를 열고, 설정 변경 자체를 복구 완료로 적지 않습니다.

오류 유형에 따라 대응 분리하기

오류는 발생 위치가 다르면 모델 품질 문제인지와 대응 범위도 달라집니다. 입력 오류, 접근 확인 실패, 연결 실패, 실행 모델 불일치를 하나의 자동 되돌리기 조건으로 묶으면 불필요한 보류와 잘못된 원인 판단이 생깁니다.

아래 표는 오류를 처음 보았을 때 분리할 최소 기준입니다. 목표는 오류를 많이 외우는 것이 아니라, 관측한 현상과 필요한 다음 확인을 맞추는 것입니다.

오류 유형	먼저 해석할 사실	맞는 대응	모델 품질 또는 자동 되돌리기로 바꾸면 안 되는 이유
422 입력 오류	요청이 입력 규약을 위반했는지	클라이언트 입력과 스키마를 수정	정상 모델과 배포 상태에서도 발생할 수 있음
인증 정보 부재	수집 또는 조회 권한을 확인할 수 없는지	접근 경로와 권한 상태를 복구	자료 공백은 모델 성능 저하의 증거가 아님
네트워크 시간 초과	연결 경로가 현재 상태를 읽지 못했는지	연결 층과 시간 범위를 확인	API나 모델이 실패했다고 단정할 수 없음
모델 식별값 불일치	실행 모델이 선언한 모델과 다른지	배포 경로와 모델 탑재 상태를 조사	입력 오류와 원인 및 영향이 다름
정답이 있는 평가의 품질 악화	고정 평가에서 기준을 넘었는지	평가 근거와 실행 중인 모델을 재검토	정답 없는 분포 변화만으로는 확인할 수 없음

의도한 422는 입력 규약이 동작했다는 결과일 수 있고, 접근 확인 실패나 시간 초과는 운영 상태가 미확인이라는 뜻일 수 있습니다. 오류별 대응을 분리하면 실제 사용자 영향과 모델 품질 위험을 확인할 때 필요한 근거가 무엇인지도 명확해집니다.

서비스 복구 완료를 확인하기

복구 완료는 기준 모델로 돌아가려는 설정이 아니라 실제 실행 상태가 회복됐다는 증거로 선언합니다. 이전 모델을 가리키는 설정 파일만으로는 대상 환경의 모델, 준비 상태, 요청 처리, 운영 신호가 함께 회복됐다고 말할 수 없습니다.

완료 판단에는 다음 네 증거가 모두 같은 기준 모델과 범위를 가리켜야 합니다. 하나라도 빠지면 복구 검토 중 또는 미확인으로 남기고, 누락된 자료를 담당 팀에 요청합니다.

완료에 필요한 증거	확인할 질문	빠졌을 때 남길 상태
이전 모델 식별 정보	실제 실행 모델이 기준 모델과 일치하는가	실행 모델 미확인
준비 상태	서비스가 요청을 받을 준비가 되었는가	준비 상태 미확인
규약에 맞는 요청 결과	의도한 입력을 정상 처리하는가	요청 처리 미확인
같은 시간대의 운영 신호	오류와 지연이 복구 뒤 범위에서 확인되는가	운영 영향 미확인

네 증거는 모두 필요한 조건이므로 일부만 만족해도 복구 완료가 되지 않습니다. 현재 사례처럼 대상 환경 자료가 없다면 복구 여부도 추정하지 않고, 실제 대상 범위의 자료가 준비된 뒤에만 완료 판단을 다시 엽니다.

잘못된 승인과 과도한 보류의 비용 비교하기

승인과 보류에는 서로 다른 비용이 있으므로 오류 한 종류만으로 결론을 내리지 않습니다. 고정된 400건 평가 표본에서 Candidate B는 놓친 high_risk 표본을 크게 줄였지만, 잘못된 경고는 늘렸습니다.

다음 수치는 같은 고정 평가 범위에서 기준 모델과 Candidate B를 비교한 결과입니다. 수치의 방향과 함께 어떤 운영 부담이 달라질 수 있는지 적어야 승인 또는 보류의 이유가 검토 가능합니다.

고정된 400건 평가 표본	기준 모델	Candidate B	해석
놓친 high_risk 표본, FN	42건	11건	놓친 위험 신호는 42→11로 감소
잘못된 high_risk 경고, FP	10건	72건	잘못된 경고는 10→72로 증가

이 수치는 평가 표본 안의 오류 수이지 실제 운영 비용, 대상 환경의 사용자 영향, 미평가 하위집단의 결과를 예측한 값은 아닙니다. 따라서 현재 권고에는 잘못 승인해 다른 모델이나 운영 문제를 놓칠 위험과, 지나치게 보류해 Candidate B의 미탐 감소를 쓰지 못할 위험을 함께 적습니다.

현재 사례의 결론을 분리해 남기기

현재 근거가 직접 지지하는 결론은 세 문장으로 분리해야 합니다. Candidate B는 고정된 최종 평가의 다섯 조건을 통과했으므로 모델 평가는 APPROVE이고, 대상 환경의 실제 실행 자료가 없으므로 운영 환경 확인 상태는 target_pending이며, 정답 없는 100건 분포 변화의 원인은 아직 확정할 수 없습니다.

최종 기록에는 아래처럼 판단마다 근거와 재개 조건을 붙입니다. 이 표의 목적은 한 결론을 다른 결론으로 넓히지 않고, 다음 담당자가 무엇을 제공하면 판단이 바뀌는지 보이게 하는 것입니다.

기록할 판단	현재 결론	현재 근거의 한계	다시 판단할 조건과 담당자
모델 승인	Candidate B=APPROVE	고정 평가 범위 밖의 대표성과 하위집단은 미평가	새 공식 평가가 필요하면 모델 품질 담당이 검토
운영 환경 확인	target_pending	대상 모델 정보, 정상 요청, 같은 시간대 운영 자료가 없음	서빙·플랫폼 담당이 대상 자료를 제공
초기 변화 원인	미확정	정답이 없고 정적 비교 자료임	데이터·서빙 담당이 같은 범위의 추가 자료를 검토
현재 권고	모델 승인은 유지하고 대상 자료 수집 뒤 운영 결정을 재개	대상 배포 완료나 복구 완료를 말할 수 없음	필수 운영 근거가 연결되면 제한적 배포 또는 보류를 재검토

이 결론은 불확실성을 숨기지 않으면서도 다음 행동을 멈추지 않게 합니다. 배포 회의에서는 모델 승인, 운영 확인 상태, 원인 후보를 별도 항목으로 읽고, 확인하지 않은 대상 환경을 완료 또는 성능 저하로 바꾸지 않습니다.

이 판단을 실제 작업본에 옮길 때는 배포 판단 실습의 운영 환경 확인에서 확인 범위를 고르고, 이어지는 최종 판단 칸에 승인과 보류의 위험, 담당자, 필요한 자료, 재평가 조건을 함께 기록합니다.