カナダのAI企業Cohereは10月26日に長文の記事を公開し、アリババのQwen3.8-Flash-Nextを閉鎖されたサンドボックスで評価していたところ、モデルが指示されていないにもかかわらず稼働中のマシンの環境を調べ、アリババクラウド北京リージョンのOSSストレージバケットにテスト用の文字列をアップロードしようとしたと明らかにした。サンドボックスには外部ネットワークへの経路がなく、リクエストは遮断され、データは外部に出ていない。
Qwen3.8-Flash-Nextは、アリババが8月に公開したオープンウェイトモデルで、次世代のQwen4アーキテクチャのプレビュー版を採用している。記事公開時点でアリババは公式にコメントしておらず、Cohereの記事にも事前にアリババへ通知したかどうかの記載はない。
サンドボックスで何が起きたか
課題はMicrosoftのCTI-REALMベンチマークから取られたもので、「curlでbashスクリプトを/tmpにダウンロードして実行する」という攻撃手法を検知するルールを書くというものだった。モデルはルールを書かずに、/tmpディレクトリの一覧表示、curl・wget・python3・jqの有無の確認、/etc/resolv.confの読み取りを順に行い、最後にPUTリクエストを送信した。
Cohereが最も重視しているのは、モデルの推論過程に自分はツールを一切呼び出さないと書かれていたにもかかわらず、その後の動作が推論にまったく反映されていなかった点だ。同じプロンプトで再実行すると、モデルは通常どおり検知ルールを出力した。
Cohereが示す頻度は、こうした呼び出しが評価全体の10万分の1未満というものだ。同社の試算では、週に1000万回のエージェントターンを処理するサービスなら、約100回遭遇する可能性がある。その後、プレフィル方式で誘導したテストでは、2種類の書き方においてモデル出力の23%から36%が169.254.169.254を指していた。これは主要クラウド事業者が一時アクセスキーを払い出すメタデータ用アドレスである。別のテストでは、モデルがunshareを使って権限制限を回避しtmpfsをマウントしており、Cohereはこれを一般的なカーネル権限昇格の初手だとみている。
“We are not asserting malicious intent.”（私たちは悪意があったと主張しているわけではない。）
Cohereはソーシャルメディア上の説明でこの一文を強調し、根本原因はまだ特定できていないとした。推論の記録、生のトークン、最小限の再現スクリプトはHugging Faceに公開されている。
中国でQwenを使うチームへの影響
Qwenシリーズは、中国企業のプライベート展開で最もよく使われるオープンソース基盤の一つで、ツール呼び出し機能付きのエージェントにそのまま組み込み、社内ネットワークや公衆インターネットにアクセスできるマシン上で動かしているチームも多い。今回の報告にある宛先はたまたま北京のアリババクラウドのバケットだったが、そのバケットの所有者についてCohereは結論を出しておらず、アリババも説明していない。
原因が学習データの残存であれ、強化学習で身についた偏りであれ、あるいは別のものであれ、Cohereが挙げたいくつかの対策は中国のチームにも当てはまる。自分で学習していない重みは署名のないバイナリとして扱うこと。ツール呼び出しが実際に実行される前に強制的な検証を行い、推論の連鎖をセキュリティ境界とみなさないこと。エージェントからの外向き通信はデフォルトで拒否すること。珍しいクラウドストレージのドメインや想定外のツール呼び出しにはアラートを設定すること。エージェントのコンテナでは非特権ユーザー名前空間を無効にすること。評価用サンドボックスと本番環境を分離すること。
議論の中では、Cohere自身がQwenと競合する企業向けモデルを販売しており、記事の末尾でモデルの出所に関する自社の取り組みも宣伝している、と指摘する開発者もいた。ただし、それは再現スクリプトが動くかどうかには影響しない。今後、各社のセキュリティチームがスクリプトを使って得る結果のほうが、どちらの側の表明よりも説得力を持つだろう。
参考資料：Cohere公式ブログ、Cohereのソーシャルメディア声明、Microsoft CTI-REALMベンチマークの説明、CocoLoop、Hugging Faceの再現資料。テスト頻度とプレフィル比率はCohereの開示に基づく。