Anthropicは9月17日、Claudeに30種類以上のオープンソース生体分子モデルの推論を最適化させ、4週間足らずで実行速度を平均約4倍に高速化したとする研究レポートを公開した。精度の低下はわずかだという。精度をまったく落とさない条件では、平均の高速化幅は約1.6倍にとどまる。コードはすべてGitHubのanthropics/uplifting-biomolecular-modelingリポジトリで公開されている。
対象となったモデルは、構造予測、タンパク質設計、タンパク質言語モデル、ゲノミクスモデルの4分野にまたがる。レポートが名指ししているのはAlphaFold3、OpenFold3、Boltz-2、ColabFold 1.6.3で、設計分野には幻覚的設計（ハルシネーション設計）、構造生成、逆フォールディングが含まれ、拡散モデル、フローマッチング、グラフニューラルネットワークなど異なるアーキテクチャが土台になっている。残りのモデルについてレポートは個別に列挙していない。
担当は2人、実作業はモデル1つ
プロジェクトを見ていたのはAnthropicのエンジニア2人だけだった。レポートは2人の経歴をわざわざ説明しており、生体分子モデリングには詳しいものの、推論最適化の経験もGPUカーネルを書いた経験もなかったという。実際の作業はClaude Science環境内のClaudeが担当し、検証に使われたモデルのバージョンはMythos 5.1、Mythos 5、Opus 5だった。
高速化の手法は2層に分かれる。1つは汎用的な手法で、Claudeはこれらのモデルの中で最も計算負荷が高いPairformerモジュール向けに、FlashPairformerという名のカスタムカーネルを書き、三角注意機構（triangle attention）を2.7〜2.9倍、三角乗算（triangle multiplication）を1.7〜3.2倍高速化した。もう1つはモデルごとの個別対応で、重複計算のキャッシュや使われない分岐の削除などが含まれる。
精度の「わずかな低下」をどう判定したかについて、レポートは基準を示している。界面予測にはDockQスコアを用い、0.23を超えれば許容範囲とした。設計結果にはipSAEを使い、これはウェット実験での結合成功率と相関がある計算スコアだという。
どこまで大きな構造を折り畳めるか
速度だけでなく、より目を引くのは規模の変化だ。AlphaFold3が従来予測できた上限は7663トークンだったが、最適化後はNVIDIA B300ノード1台で7万トークンを超えるまでになり、ウイルスカプシド全体やタンパク質区画のような大型複合体も対象にできるようになった。
"These are among the largest structures ever folded accurately using structure prediction models."
レポートは限界にも触れている。7万トークンを超える範囲でのウイルスカプシド予測は精度が出ないという。ハードウェアの要求も厳しく、大規模な構造にはB300ノードが必要で、通常のタスクでもH200クラスのGPUが要る。
先月のタンパク質設計と合わせて見ると
8月中旬、Anthropicはタンパク質結合体をゼロから設計する実験を公表し、15のターゲットのうち14で使えるレベルの設計が得られたとしていた（当サイトも当時報じている）。あの回では複数のサブエージェントと大量のプロンプトを使い、Modalのクラウド上で実行しており、今回のレポートによれば1ターゲットあたり約1万ドルのコストがかかっていた。
今回は最適化後のモデル一式でタンパク質設計をやり直し、16ターゲットのテストで、H200を1枚使って24時間の実時間で、GPUとトークンを合わせて約150ドルに収まった。Anthropicはコストが約2桁下がったとしている。ただし両回のターゲットは完全には一致しておらず、今回の設計結果についてはウェット実験での検証データも示されていないため、直接比較できるのはコストと所要時間だけで、成功率については今後の結果を待つ必要がある。
8月から9月にかけてのAnthropicの動きの順序ははっきりしている。まずモデルが実験室で有効性を確認できる分子を設計できることを示し、その後で設計に使うツール自体の改良に取り組むという流れだ。後者は学術系の研究室にとってより直接的な意味を持つ可能性がある。多くの研究室が手にするGPUはわずか数枚で、これまで折り畳めなかった大型構造体にも、オープンソースの高速版を試せる道ができたことになる。
参考資料：Anthropic研究レポート、CocoLoop、anthropics/uplifting-biomolecular-modelingコードリポジトリ。平均高速化倍率、FlashPairformer各項目の高速化幅、7663および7万トークンという上限、ターゲット単価の算出根拠はレポート原文で確認のこと。