中国製オープンモデル6本にBlackwellの痕跡、研究報告

新たに公開された研究報告によると、DeepSeek、Moonshot AI、MiniMax、Ant Group(アント・グループ)が今年公開した6つのオープンウェイトモデルの重みに、NVIDIAのBlackwell系GPUによる初期化の痕跡が残っているという。報告をまとめたのは、非営利の研究組織Unemployment Labsを率いるWill DePue氏で、TechCrunchは同氏を元OpenAIの研究者と紹介している。Blackwellは、米国が中国向けの輸出を禁じているチップに含まれる。

Illustration: a chip, magnifier and pattern cards symbolize fingerprint comparisons to infer AI chip generations

指紋はどこから来るのか

この手法が着目するのは、学習が始まる前の段階、つまりランダム初期化だ。PyTorchがGPU上で初期重みを生成する際にはPhiloxという乱数アルゴリズムを使い、各数値がどの位置に入るかは、GPUのストリーミングマルチプロセッサ(SM)の数とスレッド数で決まる。世代ごとに構成は異なり、B200/B300は148 SM・303,104スレッド、GB200/GB300は152 SM・311,296スレッド、一世代前のHopperは132 SMである。

著者は約6兆通りの「シード+レイアウト」の組み合わせを探索し、探索に使っていない重みで検証した。学習によって大半の重みは書き換えられるが、一部の行には必ず初期値が残る。報告によれば、改変なしのPyTorchをH100で動かすとDeepSeek-V3のそれらの行を再現でき、B300ではDeepSeek-V4-Flashを再現できる。両者を入れ替えると一致しない。レンタルしたGB200でも、Kimi K3に残っていた行が再現できたという。

6モデルと、はっきりした境目

報告が挙げる6モデルは、DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3、そしてAnt GroupのLing-3.1-flashである。統計的有意性は49〜1,385シグマで、著者が示すランダムな基準線は約8シグマだ。

各社のリリース順に並べると、境目はかなりきれいに出る。DeepSeek-V3、Kimi K2.5、MiniMax-M2.7、Ling-3.0-flashといった前世代のモデルはいずれもHopperと読み取れ、2026年4月以降に相次いで公開された新世代ではBlackwellの指紋に変わる。Kimi K2.7-Codeは両者の中間で結果が混在しており、集計には含めていない。

他社の状況は異なる。Qwen(通義千問)、Zhipu AIのGLM、Tencent、Xiaomi、StepFunのモデルは、報告ではなおHopperと測定された。MeituanのLongCat-2.0はGPUの指紋が検出されず、Meituanはこれまで「AI ASICスーパーノード」で学習したと説明している。報告の対象範囲では、Blackwellの痕跡は4社に集中しており、中国のオープンソース勢全体に及ぶわけではない。

報告は、最終学習ラウンドのGPU規模も試算している。Kimi K3は最良推定で約4,500基、DeepSeek-V4-Proは約3,000基、残りは1,500基前後で、合計は約1万2,000基。1基あたり約7万ドルとして計算すると、最大のクラスターは2億〜3億ドルに相当する。著者はこの試算に自信がないと明言している。算出は稼働率、学習トークン数、学習期間などの仮定に左右され、初版の数字は公開当日に一度修正されたという。

報告自身が引いた境界線

この研究で言えることは限られており、著者は制約を細かく列挙している。指紋が示すのは、初期重みをどの種類のチップで生成したかだけで、モデルはある環境で初期化し、別の環境で学習することも十分にできる。AMDのMI300Xも理論上は同じレイアウトを模倣できる。著者が数値的に除外したのはDeepSeek-V4-Flashのみで、残る5モデルについては「極めて可能性が低い」との判断にとどまる。

さらに微妙なのは、チップの所有者も設置場所も、この手法では分からない点だ。Blackwellのサーバーは中国国外のデータセンターで借りることができ、報告の言葉どおりなら、この証拠はチップが中国に密輸されたことも、輸出規制に違反する行為があったことも証明できない。学習段階についても、報告は含みを持たせた書き方をしている。

“supports, without proving, the inference that Blackwell also performed the training”
(Blackwellが学習も担ったという推論を、証明はしないが裏付ける。)

この手法は重みが公開されているモデルにしか使えず、クローズドなモデルは検証できない。TechCrunchの記事には、中国側の各社やNVIDIAのコメントは載っておらず、米商務省もこの研究について見解を示していない。関連する主張は、現時点では当事者から確認できない。

報告が出たのと同じ週に、米商務省が、中国のAI企業が海外のデータセンター経由で先端チップをリモート利用することを制限する規則を詰めていると報じられた。規則が実現すれば、海外でBlackwellを借りるルートが真っ先に影響を受ける。今回の研究は、内部情報に頼らず公開された重みだけでできる検証方法を示した。次の世代のオープンモデルが重みを公開するときには、同じ検査が再び行われる可能性が高い。

参考資料:TechCrunch、CocoLoop、Unemployment Labsの研究報告Checkpoint Forensics。報告本文で、6モデルの一覧、SM数とスレッド数、シグマの範囲、GPU規模の試算方法を確認した。