Kimi K3は2.8兆パラメータと100万トークン文脈で注目を集めた。その直後、別の種類の成績表が出た。
英AI Safety Instituteと米Center for AI Standards and Innovationは7月23日、Kimi K3の攻撃的サイバー能力を共同評価した。結論は明確だ。GLM-5.2は上回ったが、米国の前線級サイバーモデルには大きく届かない。
ExploitBenchで差が出た
41問のExploitBenchで、Kimi K3は32.2%。GLM-5.2は24.4%、米国上位モデル平均は76.2%だった。任意コード実行まで到達した回数はKimi K3が0、米国上位モデルは20回。
1回の完走も軽くない
AISIの非公開32ステップ攻撃シミュレーションThe Last Onesでも差は残った。人間専門家なら通常20時間かかる課題で、Kimi K3は平均17ステップ、米国上位モデルは28.5ステップ。ただし10回中1回は最後まで完走した。
読み方は二つある。Kimi K3は米国最強サイバーモデルと同格ではないが、防御の薄い小規模環境なら自律的に攻撃を進める可能性がある。
汎用スコアとサイバースコアは別物
The Decoderは、この結果を蒸留論争とも結び付ける。公開APIが高リスク攻撃要求を遮断するなら、そこから学ぶモデルは深い攻撃能力を十分に得にくい。汎用ベンチ、コード能力、サイバー能力は分けて見る必要がある。
Moonshotはこの評価にまだ公に反応していない。次に見るべき点は、K3のサイバー安全カード、危険要求の拒否設計、独立チームによる再現評価だ。
出典：UK AISI/CAISI共同評価、米NIST告知、The Decoder、CocoLoop、South China Morning Post、Kimi K3公式技術ブログ；ExploitBench 41問、32.2%/24.4%/76.2%のスコア、任意コード実行回数、The Last Onesの32ステップ設計、10回中1回完走、Kimi K3のパラメータと文脈長を確認。