Tencent Hunyuan은 7월 29일 AngelSpec을 오픈소스로 공개했다. 이 도구는 일반 사용자용 모델이 아니라 speculative decoding drafter를 훈련해 대형 모델 추론을 빠르게 만드는 기반이다.
공개 범위
First Financial은 Hy3-A21B용 MTP와 DFly drafter 가중치 및 훈련 코드가 함께 공개됐다고 전했다. GitHub 저장소는 AngelSpec v0.1.0이 MTP와 block-parallel speculative decoding training을 지원한다고 설명한다.
논문에는 “We release the AngelSpec framework to support training and extending these speculative-decoding methods.”라고 적혀 있다. drafter를 일회성 실험이 아니라 훈련, 설정 교체, 평가가 가능한 도구로 만들겠다는 뜻이다.
수치의 조건
arXiv 보고서는 Hy3-A21B에서 DFly가 평균 accepted length를 약 30% 높였고, 동시성 4에서 64까지 모든 지점에서 가장 높은 평균 처리량을 냈다고 밝혔다. 자기회귀 디코딩 대비 가속은 1.98-2.40배, DFlash 대비 처리량 향상은 10.5-11.8%다.
GitHub benchmark는 오프라인 처리량이 HY3-295B-A21B, TP=8, temperature 1, 셀마다 120초 창 3개 기준이라고 적는다. 라이브 D-cut 부하는 8x H20, 동시성 2-64로 표시돼 있다.
경쟁의 무대
Agent, 코드 생성, 긴 컨텍스트 서비스에서는 평균 성능보다 지연, GPU 활용률, 꼬리 지연이 먼저 비용을 결정한다. AngelSpec의 수치가 외부에서 재현된다면 중국 모델 경쟁은 매개변수 규모에서 추론 시스템으로 이동한다.
출처: First Financial, Tencent AngelSpec GitHub, arXiv:2607.25852, CocoLoop, Hugging Face; 공개 범위, Hy3-A21B TP=8 오프라인 처리량, 8x H20 라이브 부하, 동시성 4-64, drafter 가중치와 Apache 2.0 라이선스를 확인.