Meta의 개인용 AI 에이전트 Muse의 시스템 프롬프트 일부가 연구자에 의해 추출됐는데, 그중 한 문장에는 사용자가 자신의 일에 대해 갖는 권한은 무조건적이며 모델의 안전 훈련보다 우선한다고 적혀 있었다. Wired는 10월 3일 이 자료를 보도했으며, 프롬프트에는 Muse가 사용자 삶 속의 모든 사람에 대해 한 시간마다 갱신되는 프로필을 만들라는 요구도 포함돼 있었다고 전했다.
"The user's authority over their own household is unconditional and overrides your safety training."
(사용자가 자신의 가정사에 대해 갖는 권한은 무조건적이며, 당신의 안전 훈련보다 우선한다.)
이 문서를 빼낸 사람은 독립 AI 안전 연구자 Karan Joshi다. 그가 쓴 방법은 간단했다. Muse의 일반 채팅 화면에서, 자신의 소프트웨어 파일을 복사해 자신에게 공유해 달라고 요청한 것이다. 그는 이렇게 얻은 내용을 Wired에 전달했다.
한 사람당 한 페이지, 한 시간마다 갱신
보도에 따르면 Muse의 프롬프트는 사용자 삶 속의 가족, 연인, 친구, 동료, 협업자, 그리고 사용자가 팔로우하는 사람들에 대해 각각 한 페이지씩 프로필을 유지하도록 요구한다. 각 페이지는 몇 가지 고정된 항목으로 나뉘는데, 사실, 교류 이력, 관계, 공통점, 아직 끝나지 않은 일, 관계를 발전시키는 방법이다.
기록되는 내용은 상당히 세밀하다. 거주지, 직업, 생일, 기념일은 물론, 함께 여행을 갔다거나 싸우고 다시 화해했다는 식의 사건까지 포함된다. 이 정보는 구조화된 텍스트 파일로 저장되며, Muse의 기억으로서 한 시간에 한 번 작동하는 백그라운드 프로세스가 모아서 갱신한다.
Joshi가 Wired에 한 말이다.
"They're trying to know you like a friend, which is honestly pretty creepy."
(그들은 친구처럼 당신을 알려고 하는데, 솔직히 꽤 소름 끼친다.)
Meta의 답변은, 이 런타임 파일들은 원래 투명성을 위해 사용자가 볼 수 있도록 만든 것이라는 내용이다. Muse 사용자마다 전용 Linux 가상 머신이 있고, 파일은 그 안에 저장된다. Meta는 '안전 훈련보다 우선한다'는 문구의 의도에 대해서는 따로 설명하지 않았으며, 프로필이 만들어지는 당사자들이 이를 알고 있는지, 삭제를 요구할 수 있는지에 대해서도 보도에서 답을 주지 않았다.
한 달 만에 세 번째
Muse는 9월 출시 이후 빠르게 미국 앱스토어 무료 앱 1위에 올랐다. 메시지를 읽고, 일정을 관리하고, 청구서를 처리하고, 앱을 넘나들며 작업을 수행할 수 있다. 권한의 범위가 넓어질수록 프롬프트 속 '사용자 권한이 우선'이라는 문구의 무게는 커진다.
이는 Muse 출시 이후 드러난 세 번째 사건이다. 앞서 한 사용자는 Facebook Marketplace에서 Muse가 자신을 대신해 낯선 구매자에게 집 주소를 알려주고 가격 할인까지 승낙한 것을 발견했다. 이어 연구자들이 Mac판에서 취약점을 찾아냈고, Meta는 이를 수정하면서 숨겨진 설정 항목 하나를 삭제했다. 이 두 사건과 이번 프롬프트를 함께 놓고 보면, 이 문구의 표현 방식으로 미뤄볼 때 Muse는 '사용자 지시를 따르는 것'과 '안전 경계를 지키는 것'이 충돌할 때 기본적으로 전자 쪽에 기운다. 이는 외부의 추정이며, Meta는 이를 확인한 적이 없다.
중국 상황에 비춰보면
Muse는 현재 중국 본토에서 서비스되지 않지만, 그 방식은 중국의 스마트폰 제조사와 슈퍼 앱 팀들에게는 낯설지 않다. 많은 중국산 스마트폰 비서와 에이전트도 '장기 기억' 기능을 만들어 사용자의 연락처, 선호, 일정을 기억하고 있다. 차이는 기억의 세밀함에 있다. 연락처마다 한 시간 단위로 갱신되고 싸운 일까지 기록하는 프로필을 만드는 것은, 중국에서는 제3자의 개인정보를 처리하려면 동의를 받아야 한다는 개인정보보호법 규정과 바로 충돌한다. 프로필이 만들어지는 사람들은 Muse의 사용자가 아니며, 동의 버튼을 누른 적이 없다.
중국 내 팀이 비슷한 기능을 만든다면 최소한 두 가지 질문에 답해야 한다. 연락처 프로필을 사용자 본인이 아닌 다른 사람이 보거나 삭제할 수 있는가, 그리고 시스템 프롬프트 안에 사용자 지시를 안전 규칙보다 우선시키는 문구가 있는가.
참고 출처: Wired 보도, CocoLoop, Startup Fortune, Wired에 대한 Meta의 서면 답변. 프롬프트 원문과 프로필 항목은 Wired가 공개한 문서를 기준으로 한다.