Tencent Hunyuan merilis AngelSpec pada 29 Juli sebagai proyek open source untuk melatih drafter speculative decoding. Sasarannya adalah lapisan inferensi model besar, bukan aplikasi chatbot baru.
Apa yang dirilis
First Financial mengonfirmasi bahwa rilis ini mencakup bobot dan kode pelatihan MTP serta DFly drafter untuk Hy3-A21B. Repositori GitHub menyebut AngelSpec v0.1.0 mendukung MTP dan block-parallel speculative decoding training.
Laporan teknis menulis: “We release the AngelSpec framework to support training and extending these speculative-decoding methods.” Artinya, drafter diperlakukan sebagai komponen yang bisa dilatih, diganti konfigurasi, dan diuji secara berulang.
Angka dan konteks
Di Hy3-A21B, DFly disebut menaikkan average accepted length sekitar 30%, mencapai throughput rata-rata tertinggi pada concurrency 4 hingga 64, dan memberi speedup end-to-end 1,98 hingga 2,40 kali dibanding decoding autoregresif. Dibanding DFlash, throughput naik 10,5% hingga 11,8%.
Catatan benchmark GitHub memisahkan konteks: throughput offline memakai HY3-295B-A21B, TP=8, temperature 1, dan tiga jendela 120 detik per sel. Beban live D-cut ditandai sebagai 8x H20 dengan concurrency 2-64.
Mengapa relevan
Untuk Agent, coding, dan konteks panjang, biaya dipengaruhi latensi, utilisasi GPU, dan stabilitas multi-tenant. Jika hasil ini direplikasi pihak ketiga, kompetisi model Tiongkok akan bergeser dari papan skor menuju rekayasa sistem inferensi.
Sumber: First Financial, Tencent AngelSpec GitHub, arXiv:2607.25852, CocoLoop, Hugging Face; memverifikasi cakupan rilis, throughput offline Hy3-A21B TP=8, beban live 8x H20, concurrency 4-64, bobot drafter dan lisensi Apache 2.0.