テンセント、推論高速化フレームワークを公開

Tencent Hunyuan は 7 月 29 日、AngelSpec をオープンソース化した。対象は一般向けチャットではなく、大規模モデルの推論を速くする speculative decoding の訓練基盤だ。

何を公開したのか

第一財経は、Hy3-A21B 向けの MTP と DFly drafter 重み、訓練コードも同時に公開されたと伝えた。GitHub では AngelSpec v0.1.0 が MTP と block-parallel speculative decoding training を支援すると説明されている。

論文は “We release the AngelSpec framework to support training and extending these speculative-decoding methods.” と書く。つまり、drafter を単発の実験ではなく、設定を替えて訓練・評価できる道具にしたということだ。

数字の条件

arXiv 報告では、Hy3-A21B 上で DFly が平均受理長を約 30% 引き上げ、並行数 4 から 64 の範囲で最高平均スループットを示した。自回帰デコード比の端末間加速は 1.98 から 2.40 倍、DFlash 比のスループット向上は 10.5% から 11.8% とされる。

GitHub の benchmark は、オフライン計測を HY3-295B-A21B、TP=8、temperature 1、各セル 3 本の 120 秒窓と明記する。ライブ D-cut 負荷は 8x H20、並行数 2 から 64 だ。

競争は運用側へ

Agent、コード生成、長文コンテキストでは、モデル能力だけでなく待ち時間と GPU 利用率が効く。第三者が同じ効果を再現できれば、中国の大規模モデル競争はランキングから推論システムへ一段移る。

参考資料:第一財経、Tencent AngelSpec GitHub、arXiv:2607.25852、CocoLoop、Hugging Face;公開範囲、Hy3-A21B TP=8 オフラインスループット、8x H20 ライブ負荷、並行数 4-64、drafter 重みと Apache 2.0 ライセンスを確認。