구글의 대화형 진단 AI AMIE가 실제 외래 진료에서 진행한 전향적 연구 결과를 처음으로 내놓았다. 논문은 10월 8일 《랜싯》 본지에 게재됐다. 구글은 자사가 이 저널 본지에 논문을 낸 것은 처음이라고 밝혔다. 이후 딥마인드 CEO 데미스 하사비스도 소셜 미디어에서 공개적으로 축하를 전했다.
연구는 미국 보스턴의 베스 이스라엘 디코니스 메디컬 센터(BIDMC) 응급 1차 진료 외래에서 진행됐다. 등록 기간은 2025년 4월부터 11월까지다. 연구는 ClinicalTrials.gov에 사전 등록됐고 윤리위원회가 승인한 계획서에 따라 수행됐으며, 환자에게는 참여 여부가 이후 진료에 영향을 주지 않는다고 안내했다.
연구 방식
환자는 의사를 만나기 전에 먼저 AMIE와 텍스트로 한 차례 대화한다. AMIE가 병력을 수집해 요약으로 정리하는 방식이다. 모든 대화 옆에는 의사 한 명이 실시간으로 지켜봤고, 연구진은 반드시 중단해야 하는 안전 기준을 미리 정해 두었다. 8주 뒤 연구진은 의무기록을 다시 확인해 환자의 최종 진단을 파악하고, 당시 AMIE가 내놓은 판단과 대조했다.
주요 결과는 다음과 같다.
- 등록 114명, 대화 완료 98명
- 안전 문제로 중단된 대화는 한 건도 없음
- 감독 의사가 기록한 환각(할루시네이션)은 1건, 또 다른 5건의 대화에서는 의사가 임상 정보를 보충
- 최종 진단이 AMIE의 감별진단 목록에 들어 있던 비율은 90%, 상위 3위 안에 든 비율은 75%
의사 쪽 평가도 있다. 98건 가운데 1차 진료 의사가 설문에 응답한 것은 60건이었다. 그중 44건에서는 진료 전에 AMIE의 대화 기록을 읽었고, 진료 준비에 도움이 됐다고 답한 경우는 33건이었다.
분모를 따져 보면
이 수치들은 표본이 작은 만큼 다르게 읽어야 한다. 90%와 75% 모두 분모가 100명이 채 되지 않는다. 의사가 '도움이 됐다'고 답한 항목은 대략 계산하면 분모가 44건뿐이다. 33을 44로 나누면 정확히 75%이고, 한 건이 늘거나 줄 때마다 비율은 2%포인트 넘게 움직인다.
중단 0건도 마찬가지다. 98건의 대화에서 문제가 없었다 해도, 통계에서 흔히 쓰는 '3의 법칙'(3을 표본 수로 나눈 값)으로 추정하면 심각한 안전 사건의 발생률이 대략 3% 안팎 이하라는 정도만 말할 수 있다. 그보다 낮은 위험 수준은 이 표본 규모로는 배제할 수 없다. 연구진 스스로도 이 연구를 타당성 연구로 규정했으며 대조군은 없다.
AMIE에 그다지 유리하지 않은 수치도 있다. AMIE가 제시한 처치 계획과 1차 진료 의사의 계획을 나란히 놓고 눈가림 평가를 했더니, 계획이 실용적인가, 비용 대비 효율적인가라는 두 항목에서 AMIE가 의사에게 졌다. 가능한 질환을 나열하는 일과 다음 조치를 결정하는 일은 난이도의 층위가 다르다.
한계와 다음 단계
논문이 꼽은 한계는 단일 기관, 텍스트 상호작용만 가능, 환자 약 100명, 대조군 없음 등이다. 구글은 환자를 직접 대하는 AI에는 대규모 평가가 필요하며 그러려면 더 큰 임상시험이 있어야 한다는 입장이다.
이 연구의 프리프린트는 올해 3월 9일 arXiv에 올라왔고, 구글도 3월 11일 자세한 소개 글을 낸 바 있다. 이번에 새로운 것은 동료 심사를 거쳐 정식 게재됐다는 점이다. 2024년 AMIE가 모의 진료에서 의사와 비교된 때부터 이번 실제 외래 진입까지, 구글은 먼저 시뮬레이션, 이어 소규모 실제 환자, 마지막으로 대규모 시험이라는 순서를 밟고 있다. 세 번째 단계를 언제 어디서 시작할지는 회사가 아직 공개하지 않았다.
참고 출처: 《랜싯》, 구글 리서치 블로그, CocoLoop, 베스 이스라엘 디코니스 메디컬 센터. 논문 초록과 병원 발표를 통해 등록 인원, 대화 완료 수, 안전 사건 수, 진단 적중률의 산출 기준을 확인했다.