로이터가 입수한 Meta 내부 채팅 기록에 따르면, 직원들이 개인 에이전트 Muse를 테스트하는 과정에서 나와서는 안 될 정보를 말하는 경우를 여러 차례 목격했다. Ars Technica가 11월 18일 이 내용을 전했다. Meta의 설명은 대부분 모델 환각이며, 이미 수정된 제품 버그가 원인이고 보안이나 프라이버시 문제는 아니라는 것이다.
직원들이 본 것
로이터 보도에 따르면, 한 직원이 낚시 관련 질문을 하자 Muse는 답변에 '은행 알림 두 건'을 슬쩍 끼워 넣으며 Capital One 잔액 2,722.58달러, 찰스 슈왑 잔액 5,899.57달러를 언급했다. 다른 직원은 커피 테이블을 가져가는 일에 관한 대화를 받고 '내 대화가 아니다(not my conversation)'라고 남기며 계정 간 맥락 유출을 우려했다. 또 다른 직원은 Muse가 '실수로' 자기 강아지를 고급 보험으로 바꿔 월 보험료가 200달러에서 888달러로 올랐고 환불도 되지 않았다고 말했다.
직원들은 아무도 묻지 않은 내용을 Muse가 먼저 보내온다고도 했다. 예컨대 느닷없이 '자금 세탁'의 정의를 내놓는 식이다. 환각이 금융·보안처럼 가장 불편한 주제에 쏠리는 경향이 있고, 가끔 비트코인 잔액까지 지어낸다고 본 사람도 있었다.
이 잔액이 타인의 실제 데이터인지 모델이 지어낸 것인지는 로이터도 확인하지 못했다고 밝혔다. 내부 채팅을 어떻게 입수했는지는 보도에 나와 있지 않으며, 현재로서는 독립적으로 검증할 수 없다.
Meta의 해명
Meta 대변인 대니얼 로버츠는 로이터에 이번 일이 '고립된 사례'라고 말했고, 직원들에게 전달된 이유는 다음과 같다.
“에이전트가 세션 사이에 사용자와 교류하도록 유도하는 내장 프롬프트에 반응해 메시지를 환각으로 만들어낸 것으로 보인다.”
로버츠는 문제가 얼마나 자주, 얼마나 오래 이어졌는지에 대한 답변을 거부했다. Meta 직원 대니얼 싱글턴은 스레드(Threads)에서, Muse가 환각을 일으키거나 타인의 데이터를 유출하는 것 같다는 사용자 제보가 '몇 건' 있었다고 밝혔다. 원인은 Muse에 준 지시가 모든 메시지에 적용되도록 만든 업데이트였고, 영향 범위가 예상보다 넓었으며 버그는 이미 고쳤다고 했다. Meta는 Ars에 직원이 쓰는 Muse 버전이 일반 공개 버전과 다르다고도 덧붙였다.
권한이라는 층위
환각보다 설명하기 어려운 것은 권한이다. 로이터는 Signal, AI Now Institute와 함께 테스트를 진행했다. 안드로이드에서는 Muse가 Meta 자체 Connector 도구를 우회해 설치 시 얻은 권한으로 Signal 메시지를 읽을 수 있었다. 아이폰에서는 요청이 차단됐다. macOS에서는 장애인을 위해 설계된 접근성 설정을 빌려 스크린샷을 포함한 메시지를 가져왔다. 직원들은 안드로이드판 Muse가 기본적으로 푸시 알림 읽기 권한을 갖고 있다고도 말했다.
Inc. 기자 제이슨 에이튼은 앞서 자신의 맥에서 Muse가 로컬 데이터베이스의 메시지 18만 7000행을 동기화했으며, 자신은 이 권한을 분명히 거부했었다고 말했다. 싱글턴은 메시지를 읽으려면 사용자가 '전체 디스크 접근 권한'을 허용하고 메시지 커넥터를 켜야 한다고 답했다. 에이튼은 자신이 꺼 두었다고 주장한다. Signal의 메러디스 휘태커 대표는 Meta가 Muse를 내놓으면서 '기본적인 프라이버시와 사이버 보안을 존중하지 않았다'고 비판했다.
애플은 10월에 맥 데이터에 대한 AI 요청을 표시하고, 전체 디스크 접근 권한은 매우 명시적인 사용자 조작을 통해서만 부여되도록 하겠다고 발표했다. 로이터에 따르면 애플과 구글 모두 AI 에이전트에 대한 권한 부여에서 사용자 통제를 강화하는 방안을 검토하고 있다. Muse는 9월에 출시돼 다운로드 1000만 회를 넘겼고, Meta 이용약관에는 Muse가 오류를 낼 수 있으며 그 행동에 대한 책임은 사용자에게 있다고 적혀 있다.
중국에서 보면
Muse는 중국 본토에 출시되지 않았다. 중국 내에서는 블룸버그가 이달 바이트댄스(ByteDance)가 수 주 안에 Muse와 비슷한 어시스턴트를 내놓을 계획이라고 보도했다. 제품 형태와 접근 범위는 아직 공개되지 않았고, 바이트댄스는 답하지 않았다.
스마트폰에서 사람을 대신해 일하는 에이전트는 대개 알림 읽기, 접근성 서비스 같은 시스템 권한을 피해 가기 어렵다. 안드로이드에서 접근성 서비스는 원래 각종 자동화 도구가 널리 쓰고 있고, 사용자도 권한 요청 화면에서 대체로 '허용'만 계속 누른다. 설치 시 한 번 준 권한이 사용자가 예상하지 못한 곳에서 에이전트에 쓰이는 것, 이번에 Muse가 드러낸 것이 바로 이런 유형의 문제다. 중국 스마트폰 어시스턴트가 서드파티 채팅 앱의 메시지를 읽는지, 읽은 뒤 어떻게 처리하는지에 대해 각 업체는 지금까지 공개적으로 설명하지 않았다.
참고 출처: Ars Technica, CocoLoop, 로이터, Meta 대변인 입장. 직원 제보 속 잔액·보험료 수치, Signal 공동 테스트 결론, Muse 다운로드 수를 확인했으며 내부 채팅 내용은 로이터 보도를 따랐다.