腾讯 8 月 28 日发布并开源混元 Hy4 preview,总参数 770B,每个 token 激活 49B,原生上下文窗口 1,048,576 tokens。模型权重以 Apache 2.0 协议放在 Hugging Face、ModelScope、GitCode 等平台,同时上线腾讯云 TokenHub、OpenRouter,以及腾讯自家的 WorkBuddy/CodeBuddy、元宝和 ima。腾讯给它的定位是”Hy4 迭代的一个早期版本”,官方口径是”稳居开源模型第一梯队”。
从模型卡看,Hy4 preview 是一套典型的高稀疏 MoE:78 层里只有 1 层是稠密 FFN,其余 77 层走专家路由,每层配 256 个路由专家加 1 个共享专家,每个 token 挑 8 个路由专家。隐藏层宽度 6144,词表 120832。注意力部分用了带 IndexCache 的门控稀疏注意力,查询压缩到 2048 维、键值压缩到 512 维,配合 4 条 iHC 残差流。部署侧支持 vLLM 和 SGLang,并默认开启 MTP 投机解码。
6.4% 的激活率背后是一笔算力账
49B 除以 770B,激活率约 6.4%。这个数字是理解整个模型定价的入口——参数总量决定显存和加载成本,激活量决定每 token 的实际计算量。腾讯把两者拉开了 15 倍以上的差距,换来的是一份不算贵的价目表:输入每百万 tokens 6 元人民币(约 0.834 美元),输出 18 元(约 2.501 美元),缓存命中 0.3 元。
这个价位放在国内开源阵营里属于中档。同一周发布的 GLM-5.3-Flash 输入价格低到每百万 tokens 0.075 美元,是 Hy4 preview 的十一分之一,但那是 18B 激活参数的轻量档;Hy4 preview 对标的是需要跨文件读代码、跨文档做分析的重活。两者不在一条赛道上,混着比价没有意义。
真正的成本变量藏在 1M 上下文里。把一百万 tokens 灌满一次输入,按目录价粗算约 6 元人民币,缓存命中后降到 0.3 元——缓存价只有原价的二十分之一,这个折扣幅度基本是在告诉开发者:把长上下文当常驻工作区用,别每次重传。
那 0.07 分该怎么读
腾讯给出的盲测结果是:163 名内部专家评了 203 个工程任务,Hy4 preview 平均 2.99 分(满分 4),GLM-5.3 为 2.92,Kimi K3 为 2.94。
分差很小,胜负分布反而更有信息量。对 GLM-5.3,Hy4 preview 胜 46.8%、平 12.8%、负 40.4%;对 Kimi K3,胜 51.2%、平 7.9%、负 40.9%。两组对局里输掉的比例都在四成上下,也就是说在近一半的具体任务上,对手做得更好。三个模型咬得很紧,谁也没拉开身位。
还有两个限制条件不能省:评委是腾讯内部专家,任务集也由腾讯选定,这类自组织盲评天然有主场因素;203 个任务的样本量,落到 0.05 到 0.07 的分差上,统计意义相当有限。
公开基准的数字更能横向比对:SWE-bench Multilingual 82.9、SWE-bench Pro 65.7、Terminal-Bench 2.1 拿到 85.4、GPQA Diamond 92.3、带工具的 HLE 55.4。SWE-bench Pro 这一项一直是各家掉分最狠的地方,65.7 在当前开源模型里属于第一档。
押注长周期任务
腾讯把这个模型的主攻方向写得很直白:长周期软件工程、跨文件办公分析、游戏开发和科学研究。模型提供 high 和 no_think 两种推理模式,前者用于需要长链条思考的场景,后者用来省 token。
一个被官方拿出来当样板的例子是三维 Blaschke–Lebesgue 问题——模型把体积下界从 0.380799 推到了 0.41104,距离 Meissner 四面体猜想的 0.41986 还差约 2%。这类例子的说服力有限,属于精心挑选的展示,但方向是清楚的:腾讯想让 Hy4 preview 进到研究工作流里,不停在聊天框。
对国内开发者来说,实际影响是选项又多了一个。GLM-5.3、Kimi K3、DeepSeek-V4-Pro 已经把开源长上下文这块挤得很满,Hy4 preview 挤进来靠的是 Apache 2.0 的宽松协议加上腾讯云的现成推理服务。协议这一点尤其关键——不少国产开源模型附加了商用限制条款,Apache 2.0 意味着企业可以直接拿去改、去部署、去卖,不必单独谈授权。
预览版终归是预览版。腾讯没有给正式版 Hy4 的时间表,也没说预览版和正式版之间会有多大差别。
参考来源:腾讯混元技术博客、Hugging Face 模型卡、IT之家、CocoLoop、DataLearner;模型参数、盲测口径与 API 价格按官方模型卡与定价页核验,价格换算按目录价粗算。