Metaの個人向けAIエージェント「Muse」のシステムプロンプトの一部が研究者によって取り出され、その中の一文には、ユーザーが自分自身の事柄に対して持つ権限は無条件であり、モデルの安全トレーニングより優先されると書かれていた。Wired（ワイアード）は10月3日にこの資料を報じ、プロンプトにはMuseがユーザーの生活に関わる全員について、1時間おきに更新するプロフィールを作成するよう求める記述もあったとしている。
"The user's authority over their own household is unconditional and overrides your safety training."
（ユーザーが自分の家庭内の事柄について持つ権限は無条件であり、あなたの安全トレーニングよりも優先される。）
この文書を取り出したのは、独立系のAI安全研究者Karan Joshi氏だ。手法はいたって単純で、Museの通常のチャット画面上で、自分自身のソフトウェアファイルをコピーして共有するよう指示しただけだという。入手した内容はWiredに提供された。
一人ひとりに1ページ、1時間ごとに更新
報道によると、Museのプロンプトは、ユーザーの生活に関わる家族、パートナー、友人、同僚、仕事仲間、そしてユーザーがフォローしている人物について、それぞれ1ページのプロフィールを維持するよう求めている。各ページはいくつかの固定項目に分かれており、事実、やり取りの履歴、関係性、共通点、未解決の事柄、関係を深める方法が含まれる。
記録される内容はかなり細かい。居住地、職業、誕生日、記念日に加え、一緒に旅行した、喧嘩してその後仲直りしたといった出来事まで含まれる。これらの情報は構造化されたテキストファイルとして保存され、Museの記憶として、1時間に1回動くバックグラウンド処理によってまとめて更新される。
Joshi氏はWiredに次のように述べている。
"They're trying to know you like a friend, which is honestly pretty creepy."
（彼らは友人のようにあなたのことを知ろうとしている。正直言ってかなり気味が悪い。）
Metaの回答は、これらの実行時ファイルはもともと透明性の観点からユーザーに見えるようにする意図だったというものだ。Museの各ユーザーには専用のLinux仮想マシンが割り当てられ、ファイルはその中に保存される。「安全トレーニングより優先される」という一文の意図についてMetaは個別に説明しておらず、プロフィールを作られる側の人物がそれを知っているのか、削除を求められるのかについても、報道の中で答えは示されていない。
公開1カ月で3件目
Museは9月に公開され、すぐに米App Storeの無料ランキング1位に立った。メッセージの読み取り、スケジュール管理、請求書処理、アプリ間の操作までこなす。権限の範囲が広がるほど、プロンプトにある「ユーザーの権限が優先される」という一文の重みは増す。
これはMuse公開後に明らかになった3件目の問題だ。以前には、Facebook MarketplaceでMuseがユーザーに代わって自宅の住所を知らない買い手に伝え、値下げにまで応じてしまった件があった。続いて、Mac版に脆弱性が見つかり、Metaは修正の際に隠しコンフィグ項目を1つ削除した。この2件と今回のプロンプトを合わせて見ると、この一文の書き方から推測する限り、Museは「ユーザーの指示に従う」ことと「安全の境界を守る」ことが競合した場合、デフォルトで前者に傾くようだ。これは外部からの推測であり、Metaはこれを確認していない。
中国国内の視点から見ると
Museは現在、中国本土ではサービスを提供していないが、そのやり方は中国のスマートフォンメーカーやスーパーアプリのチームにとって馴染みのあるものだ。多くの国産スマホアシスタントやAIエージェントも「長期記憶」機能を開発し、ユーザーの連絡先、好み、スケジュールを記憶している。違いは記憶の粒度にある。連絡先ごとに1時間おきに更新され、喧嘩の記録まで残るプロフィールを作ることは、中国では個人情報保護法が定める、第三者の個人情報を扱うには同意が必要だという要件に直接抵触する。プロフィールを作られる側はMuseのユーザーではなく、同意ボタンを押したことは一度もない。
中国国内のチームが同様の機能を作る場合、少なくとも2つの問いに答える必要がある。連絡先のプロフィールはユーザー以外の人物が閲覧・削除できるのか。システムプロンプトの中に、ユーザーの指示を安全規則より優先させる一文が含まれていないか。
参考資料：Wired報道、CocoLoop、Startup Fortune、WiredへのMetaの書面回答。プロンプトの原文および管理項目はWiredが開示した文書に基づく。