0.91 아래에서 깃발이 올랐다. 그러나 사람은 모든 줄을 다시 봐야 했다.

2026년 8월 7일 영국 정부의 알고리즘 투명성 기록 한 장에 소수점 문턱이 공개됐다. 0.91. 영국 공공후견청, OPG의 조사 보조 도구는 은행 거래 한 줄의 앞선 AI 분류가 맞을 가능성을 0과 1 사이 점수로 계산한다. 0.91보다 낮으면 사람에게 깃발을 올린다.

그 거래는 보통의 추천 목록이 아니다. OPG는 잉글랜드와 웨일스에서 스스로 재산 결정을 하기 어려울 수 있는 사람을 대신하도록 지정된 변호권자나 법원 선임 대리인의 행동에 우려가 제기되면 조사할 수 있다. 도구가 읽도록 설계된 입력은 그 조사 과정에서 받은 은행거래를 옮긴 엑셀 표와 제한된 사건 메타데이터다.

첫 분류는 Azure에서 동작하는 GPT-4o가 거래 설명을 공과금, 연금, 돌봄비, 현금인출 같은 범주로 나누는 흐름에서 나온다. text-embedding-3-large가 문장의 수치 표현을 만들고, 기관 내부에서 실행되는 LightGBM 모형이 387개 수치·불리언 특징을 받아 앞선 분류가 맞을 신뢰도를 다시 매긴다. 마지막 모형은 외부 API를 호출하지 않고 자동 재학습도 하지 않는다.

여기서 0.91은 자동 통과와 자동 혐의의 경계가 아니다. 낮은 점수는 조사관이 특히 확인할 줄을 표시하지만, 공식 기록은 조사관이 높은 점수를 받은 줄까지 모든 AI 출력을 검토하고 고치며 승인한다고 세 번 선을 긋는다. 도구가 만든 것은 예측 범주와 신뢰도 깃발이 붙은 새 엑셀 표이지, 학대·횡령·범죄의 판정문이 아니다.

문턱을 만든 재료도 한 덩어리가 아니다. OPG와 법무부는 처음에 Copilot으로 만든 완전 합성 거래 약 900건을 손으로 다듬었다. 이어 실제 사건에서 익명화한 약 8,000건과 14,000건을 두 차례 Microsoft에 제공했다. Microsoft는 공개 거래 예시를 수집하고 AI 합성 거래를 더해 맞음과 틀림이 표시된 약 54,000건의 학습·검증·보정 묶음을 만들었다.

익명화 과정에서는 이름·국민보험번호·계좌번호·분류코드·사건 식별자를 지우거나 합성값으로 바꿨다. 그러나 기관 기록은 거래 패턴이 간접 대리변수로 작동할 수 있다고 남겼고, 자료가 영국 인구 전체를 통계적으로 대표한다고 주장하지 않는다. 흔하지 않은 범주를 따로 보강했지만 개선할 일이 남았다는 문장도 잠겼다.

내부 평가의 ‘golden’ 자료에서는 거래 약 23%가 사람 검토 깃발을 받았고, 깃발을 받지 않은 나머지 가운데 약 98.6%가 올바르게 분류됐다고 기관은 적었다. 이 수치는 모든 거래의 정확도도, 실제 조사 결론의 정확도도 아니다. 제3자 시험은 없었고 평가는 OPG와 JusticeAI Unit 사업팀이 수행했다.

도구가 등장한 배경에는 느린 달력이 있다. OPG의 2025–2026 연차보고서에서 접수된 우려는 전년보다 17% 늘었고 조사를 마치는 평균 시간은 198근무일이었다. 목표는 70근무일이었다. 기관은 반복 행정을 줄이기 위해 AI 도구를 도입한다고 설명하지만, 이 격차가 AI 부재 하나 때문에 생겼다거나 도구가 격차를 해소했다는 증거는 아직 없다.

초기 시험에서 거래 분류 시간은 거의 절반으로 줄었다고 기록됐지만 그것도 배치 완료 성과가 아니다. 투명성 기록의 단계 표시는 ‘pre-deployment’이고, 기관은 통제된 실사용 pilot에서 시간 절감과 품질을 다시 검증하겠다고 했다. 사용 규모와 실제 사건의 오류·수정률은 아직 공개되지 않았다.

Microsoft는 Azure 구성과 문서 처리·거래 분류 흐름 개발을 지원했다. 기관은 회사가 OPG의 운영 데이터에는 접근하지 않는다고 적었다. 다만 개발 단계의 익명화 자료 약 2만2천건은 승인 절차 아래 Microsoft와 공유됐고, 증강된 개발 자료는 회사의 통제된 개발 환경에 저장된다고 별도로 공개했다. 운영 통제와 최종 판단 책임은 OPG에 남는다.

이의제기 문도 알고리즘 점수에 직접 달려 있지 않다. 공식 기록상 도구는 결정을 내리지 않으므로 시민은 AI 출력 자체가 아니라 OPG의 결정과 서비스에 기존 절차로 이의를 제기한다. 사건은 원증거를 보는 조사관의 재검토, 기관 민원 절차, 경우에 따라 보호법원의 증거 심사를 거칠 수 있다.

확인된 구조는 민감한 금융거래를 AI가 먼저 분류하고 또 다른 모형이 낮은 신뢰도에 깃발을 붙이며, 사람이 모든 줄을 검토하는 사전배치 흐름이다. 입증되지 않은 것은 0.91이 공정한 최적값이라는 주장, 높은 점수 영역의 오류가 사람 검토에서 늘 잡힌다는 보장, 이 도구가 특정 개인을 범죄자로 표시하거나 실제 조사기간을 단축했다는 결론이다.

제목의 소수점은 그래서 판결선이 아니라 주의 배분선이다. 0.91 아래에서 깃발은 올라가지만, 그 위의 줄도 사람의 눈을 건너뛰지 못한다. 이 시스템이 안전한지는 숫자 하나가 아니라 어떤 오류가 깃발 없이 지나갔고 사람이 그것을 얼마나 자주 고쳤는지를 실사용 기록이 보여 줄 때 비로소 답할 수 있다.