텐센트가 8월 28일 훈위안(Hunyuan) Hy4 preview를 공개하고 오픈소스로 풀었다. 총 파라미터는 770B, 토큰당 활성화 파라미터는 49B이며 네이티브 컨텍스트 윈도우는 1,048,576토큰에 달한다. 모델 가중치는 Apache 2.0 라이선스로 Hugging Face, ModelScope, GitCode 등에 공개됐고, 동시에 Tencent Cloud의 TokenHub와 OpenRouter, 그리고 텐센트 자체 서비스인 WorkBuddy/CodeBuddy, 위안바오(Yuanbao), ima에도 탑재됐다. 텐센트는 이를 "Hy4 이터레이션의 초기 버전 중 하나"로 규정하며, 공식적으로는 "오픈소스 모델 1군에 확실히 자리 잡았다"고 밝혔다.
모델 카드를 보면 Hy4 preview는 전형적인 고희소성 MoE 구조다. 78개 레이어 중 밀집(dense) FFN 레이어는 단 1개뿐이고, 나머지 77개 레이어는 전문가 라우팅 방식을 따른다. 레이어마다 256개의 라우팅 전문가와 1개의 공유 전문가가 배치되며, 토큰마다 8개의 라우팅 전문가를 선택한다. 히든 레이어 폭은 6144, 어휘 수는 120832다. 어텐션 부분은 IndexCache를 갖춘 게이티드 스파스 어텐션을 채택해 쿼리를 2048차원, 키-밸류를 512차원으로 압축하고 4개의 iHC 잔차 스트림과 결합했다. 배포 측면에서는 vLLM과 SGLang을 지원하며 MTP 추측 디코딩이 기본으로 켜져 있다.
활성화율 6.4%에 담긴 연산 비용 셈법
49B를 770B로 나누면 활성화율은 약 6.4%다. 이 수치는 모델 가격 정책을 이해하는 출발점이다. 전체 파라미터 수는 메모리와 로딩 비용을 좌우하고, 활성화 파라미터 수는 토큰당 실제 연산량을 좌우한다. 텐센트는 이 둘의 격차를 15배 이상 벌려놓았고, 그 결과로 그리 비싸지 않은 가격표를 내놨다. 입력은 100만 토큰당 6위안(약 0.834달러), 출력은 18위안(약 2.501달러), 캐시 히트 시에는 0.3위안이다.
이 가격대는 중국 오픈소스 진영에서 중간급에 속한다. 같은 주에 공개된 GLM-5.3-Flash는 입력 가격이 100만 토큰당 0.075달러까지 낮아 Hy4 preview의 11분의 1 수준이지만, 이는 활성화 파라미터 18B짜리 경량급이다. Hy4 preview가 겨냥하는 건 파일을 넘나들며 코드를 읽고 문서를 넘나들며 분석하는 무거운 작업이다. 둘은 같은 체급이 아니어서 단순 가격 비교는 별 의미가 없다.
진짜 비용 변수는 100만 토큰 컨텍스트에 숨어 있다. 100만 토큰 입력을 한 번 채우면 정가 기준으로 약 6위안, 캐시 히트 후에는 0.3위안까지 떨어진다. 캐시 가격은 정가의 20분의 1에 불과하다. 이 정도 할인폭은 개발자에게 "긴 컨텍스트를 상주 작업공간처럼 쓰고, 매번 다시 보내지 말라"는 메시지나 다름없다.
0.07점 차이, 어떻게 읽어야 할까
텐센트가 제시한 블라인드 테스트 결과는 이렇다. 내부 전문가 163명이 203개 엔지니어링 작업을 평가했고, Hy4 preview는 평균 2.99점(만점 4점), GLM-5.3은 2.92점, Kimi K3는 2.94점을 받았다.
점수 차는 작지만 승패 분포가 오히려 더 많은 정보를 담고 있다. GLM-5.3을 상대로 Hy4 preview는 승률 46.8%, 무승부 12.8%, 패배 40.4%를 기록했다. Kimi K3를 상대로는 승률 51.2%, 무승부 7.9%, 패배 40.9%였다. 두 대결 모두 패배 비율이 40% 안팎으로, 개별 작업의 절반 가까이에서는 상대가 더 잘했다는 뜻이다. 세 모델 모두 근소한 차이로 뒤엉켜 있을 뿐, 어느 쪽도 확실히 앞서 나가지 못했다.
빼놓을 수 없는 제한 조건이 두 가지 있다. 심사위원은 텐센트 내부 전문가이고 작업 세트 역시 텐센트가 선정했다는 점에서, 이런 식의 자체 주관 블라인드 평가에는 본질적으로 홈그라운드 이점이 작용한다. 또한 203개라는 표본 크기에서 0.05~0.07점 차이는 통계적 의미가 상당히 제한적이다.
공개 벤치마크 수치는 좀 더 수평 비교가 가능하다. SWE-bench Multilingual 82.9, SWE-bench Pro 65.7, Terminal-Bench 2.1에서 85.4, GPQA Diamond 92.3, 도구를 사용한 HLE 55.4를 기록했다. SWE-bench Pro는 각 사 모델이 가장 크게 점수를 깎이는 항목으로 꼽혀 왔는데, 65.7은 현재 오픈소스 모델 중에서도 최상위권에 속한다.
장기 과제에 거는 승부수
텐센트는 이 모델이 겨냥하는 방향을 분명히 밝혔다. 장기간 이어지는 소프트웨어 엔지니어링, 파일을 넘나드는 업무 분석, 게임 개발, 과학 연구다. 모델은 high와 no_think 두 가지 추론 모드를 제공하는데, 전자는 긴 사고 체인이 필요한 상황용이고 후자는 토큰을 아끼기 위한 것이다.
공식이 제시한 사례 중 하나는 3차원 블라슈케-르베그(Blaschke–Lebesgue) 문제다. 모델은 부피 하한값을 0.380799에서 0.41104까지 끌어올렸는데, 마이스너 사면체 추측의 0.41986에는 아직 약 2% 못 미친다. 이런 사례의 설득력에는 한계가 있다. 공들여 고른 쇼케이스이기 때문이다. 그러나 방향성만큼은 분명하다. 텐센트는 Hy4 preview를 채팅창 안에 머물게 하지 않고 연구 워크플로우 속으로 끌어들이려 한다.
중국 국내 개발자 입장에서 실질적인 영향은 선택지가 하나 더 늘었다는 것이다. GLM-5.3, Kimi K3, DeepSeek-V4-Pro가 이미 오픈소스 장문 컨텍스트 시장을 꽉 채워놓은 가운데, Hy4 preview는 관대한 Apache 2.0 라이선스와 Tencent Cloud의 기성 추론 서비스를 앞세워 비집고 들어왔다. 특히 라이선스 대목이 중요하다. 적지 않은 중국산 오픈소스 모델이 상업적 이용 제한 조항을 붙이는 것과 달리, Apache 2.0은 기업이 별도 라이선스 협상 없이 그대로 수정하고 배포하고 판매할 수 있다는 뜻이다.
프리뷰는 어디까지나 프리뷰다. 텐센트는 정식판 Hy4의 출시 일정을 밝히지 않았고, 프리뷰판과 정식판이 얼마나 다를지에 대해서도 언급하지 않았다.
참고 출처: 텐센트 훈위안 기술 블로그, Hugging Face 모델 카드, IT之家, CocoLoop, DataLearner. 모델 파라미터, 블라인드 테스트 기준, API 가격은 공식 모델 카드 및 가격 페이지를 기준으로 검증했으며, 가격 환산은 정가 기준 대략적인 계산이다.