집계 성능과 하위집단 위험을 구분하기¶
Candidate B의 APPROVE는 현재 공식 평가 데이터 전체에서 사전에 정한 보호
기준을 통과했다는 뜻입니다. 모든 연령대·성별·중환자실 유형에서 같은
성능을 보였거나 임상적으로 안전하다는 뜻은 아닙니다.
현재 canonical-benchmark.json에는 전체 평가 집합의 정밀도·재현율·PR-AUC와
오류 건수만 있습니다. 연령대, 성별, 중환자실 유형별 표본 수·재현율·오탐·
미탐·불확실성은 공식 승인 기준에 들어 있지 않습니다.
현재 과정에서 확정하지 않는 것
- 하위집단 사이의 성능 차이가 허용 범위 안이라는 결론
- Set A가 실제 적용 대상 인구를 대표한다는 결론
- 교육용 모델이 임상 판단에 사용할 수 있다는 결론
없는 근거를 승인으로 바꾸지 않기¶
하위집단 분석이 없다는 사실만으로 현재 집계 평가를 다시 계산하거나
Candidate B의 집계 결과를 임의로 HOLD로 바꾸지 않습니다. 대신 승인 범위를
좁히고 미평가 위험을 별도로 남깁니다.
| 현재 확인한 것 | 아직 확인하지 못한 것 | 기록할 판단 |
|---|---|---|
| 전체 평가 집합에서 Candidate B가 집계 보호 기준을 통과함 | 하위집단별 표본 수와 오류율 | model_approval=APPROVE의 범위를 집계 평가로 제한 |
| 원천 자료가 PhysioNet Challenge 2012 Set A임 | 현재 적용 대상과의 대표성·시간적 변화 | 일반화 가능 범위를 미확인 위험으로 기록 |
| 교육용·비임상 실습임 | 임상적 유효성·안전성 | 임상 사용 근거로 해석하지 않음 |
다음 평가에 필요한 근거¶
실제 사용 범위를 검토하려면 목적과 위험에 맞는 하위집단을 먼저 정의하고, 각 집단에서 다음을 같은 기준으로 확인해야 합니다.
- 표본 수와 양성 사례 수
- 재현율·정밀도·미탐·오탐
- 표본 수가 작을 때의 불확실성
- 전체 결과와 차이가 생긴 원인 후보
- 차이가 허용 가능한지 결정할 책임자와 기준
집단을 결과를 본 뒤 유리하게 다시 나누지 않습니다. 민감한 특성을 수집·분석할 권한과 보호 절차도 별도로 확인해야 합니다.
배포 판단 기록에 남길 문장¶
근거 목록의 E-03 미확인과 최종 판단의 미평가 위험에는 다음 구조로 적습니다.
Candidate B는 현재 전체 평가 집합의 집계 보호 기준을 통과했습니다. 하위집단별 성능과 적용 대상 대표성은 이번 공식 평가에 포함되지 않았으므로 그 범위의 안전성은 확인하지 못했습니다. 모델 담당자와 데이터 책임자가 [필요한 집단·지표·최소 표본 기준]을 확인하기 전에는 승인 범위를 [교육용 검토 범위] 밖으로 넓히지 않습니다.
이 문장은 집계 평가를 무효화하지 않으면서도, 평가하지 않은 위험을 “문제가 없었다”로 바꾸지 않습니다.