ロイターが入手したMetaの社内チャット記録によると、社員が個人向けエージェント「Muse」を試す中で、本来出るはずのない情報を口にする場面が何度もあった。Ars Technicaが11月18日にその内容を伝えた。Metaの説明は、大半はモデルの幻覚で、すでに修正された製品バグが原因であり、セキュリティやプライバシーの問題ではないというものだ。
社員が見たもの
ロイターの報道によれば、ある社員が釣りに関する質問をしたところ、Museは返信の中で「銀行からの2件の通知」に触れ、Capital Oneの残高2,722.58ドル、チャールズ・シュワブの残高5,899.57ドルを挙げた。別の社員にはコーヒーテーブルの引き取りに関する会話が届き、「自分の会話ではない」とコメントして、アカウントをまたいだコンテキスト漏えいを懸念した。さらに、Museが「誤って」自分の犬を高級保険に切り替え、月額が200ドルから888ドルになり、取り消せなかったと話す社員もいた。
社員からは、誰も尋ねていない内容をMuseが自発的に送ってくるとの声もあった。たとえば、唐突に「マネーロンダリング」の定義を示すといった具合だ。幻覚は金融やセキュリティといった最も落ち着かない話題に偏り、ビットコインの残高をでっち上げることもあるという観察もあった。
これらの残高が他人の実データなのか、モデルが作り出したものなのか、ロイター自身も確認できないとしている。社内チャットの入手経路は報道では説明されておらず、現時点で独立した検証はできない。
Metaの説明
Metaの広報担当ダニエル・ロバーツ氏はロイターに対し、これらは「単発の事象」だと述べた。社員に伝えられた理由は次のとおりだ。
「エージェントが、セッションの合間にユーザーへ働きかけるよう促す組み込みプロンプトに反応して、メッセージを幻覚的に生成していたとみられる」
ロバーツ氏は、問題がどのくらいの頻度で起き、どのくらい続いたかについては回答を拒んだ。Meta社員のダニエル・シングルトン氏はThreadsで、Museがハルシネーションしているのではないか、あるいは他人のデータを漏らしているのではないかというユーザーからの報告が「数件」あったと明かした。原因は、Museへの指示をすべてのメッセージに適用してしまう更新で、影響が想定以上に広がったが、バグは修正済みという。MetaはArsに対し、社員が使うMuseは一般公開版とは異なるバージョンだとも補足した。
権限という層
幻覚よりも説明が難しいのは権限だ。ロイターはSignalおよびAI Now Instituteと共同でテストを行った。Androidでは、MuseはMeta自身のConnectorツールを迂回し、インストール時に得た権限を使ってSignalのメッセージを読み取れた。iPhoneではリクエストがブロックされた。macOSでは、障害のある人のために設計されたアクセシビリティ設定を借りる形で、スクリーンショットを含むメッセージを取得した。社員からは、Android版Museはプッシュ通知の読み取り権限を最初から持っているという指摘もあった。
Inc.の記者ジェイソン・エイテン氏は先に、自分のMacでMuseがローカルデータベースから18万7000行のメッセージを同期したと述べている。本人はこの権限を明確に拒否していたという。シングルトン氏は、メッセージを読むにはユーザーが「フルディスクアクセス」を許可し、メッセージコネクターをオンにする必要があると反論した。エイテン氏は、自分はオフにしていたと主張している。Signalのメレディス・ウィテカー代表は、Metaが「基本的なプライバシーとサイバーセキュリティへの敬意を欠いたまま」Museを出したと批判した。
アップルは10月、MacのデータへのAIのリクエストにフラグを付け、フルディスクアクセスはきわめて明確なユーザー操作でしか付与できないようにすると発表している。ロイターによれば、アップルとグーグルはいずれも、AIエージェントへの権限付与についてユーザーの管理権を強める方向を検討している。Museは9月に公開され、ダウンロード数は1000万回を超えた。Metaの利用規約には、Museは誤りを犯すことがあり、その行動についてユーザーが責任を負うと書かれている。
中国から見ると
Museは中国本土では提供されていない。中国国内では、ブルームバーグが今月、バイトダンス(ByteDance)が数週間以内にMuseに似たアシスタントを投入する計画だと報じた。製品の形態やアクセス範囲はまだ公表されておらず、同社はコメントしていない。
スマートフォン上でユーザーに代わって動くエージェントは、通知の読み取りやアクセシビリティサービスといったシステム権限を避けて通れないことが多い。Androidでは、アクセシビリティサービスはもともと各種の自動化ツールが広く使っており、ユーザーも権限の確認画面で「許可」を押し続けるのが普通だ。インストール時に一度与えた権限が、ユーザーの想定しない場面でエージェントに使われる。今回Museが露呈したのは、まさにこの種の問題である。中国メーカーのスマホアシスタントがサードパーティのチャットアプリのメッセージを読むのか、読んだ後にどう扱うのかについて、各社は現時点で公表していない。
参考資料: Ars Technica、CocoLoop、ロイター、Meta広報の回答。社員の声にある残高・保険料の数字、Signalとの共同テストの結論、Museのダウンロード数を確認済み。社内チャットの内容はロイターの報道に準拠。