올봄 미군은 중동에서 중국 화물선에 대한 승선 검색을 마지막 단계에서 중단했다. 무장 병력은 이미 배치를 마쳤고 군용기도 이미 이륙한 상태였지만, 작전은 최종 단계에서 취소됐다. 이유는 이 승선 작전의 근거가 된 정보 보고서를 관계자들이 다시 들여다본 결과, 그 보고서가 인공지능의 도움으로 작성됐고 보고서가 지목한 화물 자체가 존재하지 않는다는 사실이 드러났기 때문이다.
CNN은 9월 18일 사정을 아는 복수의 관계자를 인용해 이 사건을 보도했다. 다른 매체들도 뒤이어 보도했고, 핵심 사실관계는 일치했다. AI가 관여한 정보 산출물이 초안 작성부터 실제 의사결정까지 전 과정을 그대로 통과했다는 점이다.
두 번의 AI 활용, 하나의 보고서
이 보고서는 하와이에 본부를 둔 미 태평양특수작전사령부 소속 분석관이 작성했다. 이 분석관은 먼저 챗봇을 이용해 해당 선박의 화물 목록을 확인했는데, 이 도구는 공개 출처 정보와 기밀 정보 데이터베이스의 항목을 뒤섞어 결론을 내놓았다. 이어 분석관은 다시 AI를 이용해 정형화된 정보 보고서를 작성했다. 두 단계가 겹치면서, 최종적으로 의사결정 라인에 올라간 문서에는 배에 이란 핵개발 계획과 관련된 부품이 실려 있다고 적혀 있었다.
이 보고서는 미국과 이란이 교전 중이던 시기에 유통됐다. 통상적인 절차에 따르면 이런 정보는 해상 나포, 즉 무장 병력을 승선시켜 검사하는 조치로 이어진다. 항공기는 이미 상공을 선회하고 있었다. 한 군 소식통은 CNN에 이 보고서가 "entirely false, but almost started a war(완전히 거짓이었지만 하마터면 전쟁을 일으킬 뻔했다)"고 말했다.
"entirely false, but almost started a war"
완전히 거짓이었지만 하마터면 전쟁을 일으킬 뻔했다.
결국 작전은 실행되지 않았다. 계획이 실행에 옮겨지기 직전 관계자들이 한 번 더 정밀하게 재검토한 끝에, 보고서의 AI 출처와 도구의 화물 오판이 드러났다. CNN 보도는 이 배가 실제로 무엇을 싣고 있었는지, 어디로 향하고 있었는지, 분석관이 어떤 챗봇을 사용했는지는 밝히지 않았다. 미 중부사령부는 논평 요청에 응하지 않았다.
도구는 어느 단계에 끼어들었나
이번 사건에는 탈옥(재일브레이크)도, 적대적 공격도, 해커도 없었다. 문제는 아주 평범한 사용 방식에서 비롯됐다. 범용 챗봇으로 정보를 취합한 것이다. 이 도구는 공개 정보와 기밀 데이터베이스의 항목을 이어 붙여 겉보기에 완결되고 형식도 표준적인 판단을 만들어냈고, 이 판단은 이후 단계에서 이미 검증된 사실처럼 취급됐다. AI가 초안을 작성하는 두 번째 단계는 여기에 신뢰할 만한 외피를 한 겹 더 씌웠다. 사람이 쓴 것처럼 읽히고 규정 형식에도 맞는 정보 산출물이 된 것이다.
정보 처리 과정에는 원래 여러 단계의 사람에 의한 결재 절차가 있다. 이번 나포 작전이 실행되지 않은 것은 작전 직전 임시로 이뤄진 정밀 검토 덕분이지, 절차에 미리 내장된 심사 관문 덕분이 아니다. 만약 그 재검토가 이뤄지지 않았거나 조금 더 허술하게 이뤄졌다면, 이 문서는 그대로 통과됐을 것이다.
이 오판의 대가는 누가 지나
표적이 된 것은 중국 선박이었다. 만약 승선 검색이 실제로 이뤄졌다면, 그 결과는 선원과 선주, 그리고 양국의 위기관리 체계가 떠안았을 것이다. 보고서를 작성한 분석관이나 도구를 제공한 업체가 아니다. 기술적 위험은 미국 쪽 절차 내부에서 발생했지만, 그 대가는 절차 밖에서 나타나는 구조다. 중국 측은 현재까지 이 사건에 대해 공개적으로 입장을 밝히지 않았고, 보도에서도 중국 측에 사전 통보가 있었다는 기록은 나오지 않는다.
중동 항로를 운항하는 중국 해운업체 입장에서는 "미군이 무슨 근거로 우리 배를 문제 삼았나"라는 질문에 대한 답의 성격이 바뀌고 있다. 사람이 직접 내린 정보 판단에서, 두 차례 AI를 거쳤을 수도 있는 문서로 말이다. 어느 단계에서 이의를 제기할 수 있는지, 오류가 있을 경우 누가 바로잡는지에 대해서는 아직 공개된 절차가 없다.
제언은 제언에 머물러 있다
AI를 정보 분석과 표적 판정, 병참 절차에 도입하는 흐름 자체는 이번 사건으로 멈추지 않았다. 공개 보도에서 전문가들이 제시한 제언은 크게 두 가지다. 핵 관련 시스템에는 AI가 관여할 수 없는 선을 긋는 것, 그리고 핵 핫라인과 비슷한 형태로 강대국 간 AI 사고 통보 채널을 만드는 것이다. 두 제언 모두 아직 제안 단계에 머물러 있으며, 구속력 있는 문서에는 반영되지 않았다.
공개된 정보로 볼 때, 현재까지 어느 단계도 공식적으로 바뀐 것은 없다. 미 중부사령부는 분석관의 범용 AI 도구 사용에 관한 규정을 손봤는지, 그리고 이 보고서 외에도 같은 경로를 거친 문서가 얼마나 더 있는지에 대해 밝히지 않았다.
참고 출처: CNN Politics, Gizmodo, CocoLoop, Taipei Times. 관련 사령부, 두 차례 AI 활용의 순서, "entirely false" 인용문은 여러 영어권 매체의 보도 내용을 대조해 확인했다.