端侧模型公司 Edge0 11 月 12 日开源 Edge0-145B 和 Edge0-120B,同时放出统一推理框架和部署工具。公司称 145B 是首个参数量达到 1450 亿的开源端侧模型,目标设备是个人笔记本,不需要服务器。
首发支持 macOS、Windows 和 Linux,覆盖苹果 M 系列芯片和英伟达 RTX Spark、RTX 4090、RTX 5090 等平台。权重放在 Hugging Face,推理框架在 GitHub,另有一个免账号、无额度限制的桌面 App,核心能力可以离线用。
跑分对标的是“Flash”级云端模型
Edge0 公布的成绩里,DeepSWE 1.1 得 64.6,Qwen3.8-Flash-Next 是 58.7,DeepSeek-V4-Flash-0731 是 54.4;Terminal-Bench 2.1 得 86.52,高于这两款的 83.3 和 82.7。GPQA-Diamond 90.4,略低于 DeepSeek-V4-Flash-0731 的 90.8;HLE 35.4,也略低于 Qwen3.8-Flash-Next 的 35.9。
这些分数有一个前提:Edge0、千问、DeepSeek 和 Claude 的结果都出自 Edge0 内部评测,完整测试环境和复现说明要随技术报告一起发布。对比表里放的 Claude 是 Opus 4.6 (Max),属于较早的一代,现在的旗舰早已更新。第三方复测出来之前,这张表只能当作厂商自报。
和自家此前的手机模型比,跨度很大。9 月发布的 Edge0-35B 在 iPhone 18 Pro Max 上约用 2.5GB 内存、每秒 37 个 token 以上;145B 参数量约为它的四倍,放到笔记本上。苹果端侧基础模型约 3B,谷歌 Gemini Nano 有 1.8B 和 3.25B 两个版本,Edge0 拿这两个数字说明此前端侧模型普遍在 10B 以下。
1450 亿参数怎么塞进 29GB
粗算一下:145B 参数按常规 4-bit 量化,光权重就要约 72GB,远超 29GB。Edge0 给出的办法分四层。
架构上共享大矩阵。 每 64 个专家共用两组大矩阵,每个专家只保留一小组描述差异的参数,存储和搬运的权重量都降下来,专家数量不变。每步推理只激活约 10B 参数。
训练时就按端侧结构来。 模型一开始就在端侧架构上训练,没有走“先训云端大模型、再压缩剪枝”的路线。
加载分三级存储流水。 常用的“热专家”留在显存里,约 40GB 的专家库放在系统内存,按需调入显存;约 48GB 的词表数据放在 SSD 上随用随读。读和算重叠进行,避免串行等待。
调度上 CPU 和 GPU 一起干。 GPU 算缓存里的专家,CPU 并行处理其余部分,再加上投机解码一次验证多个候选 token,把读权重的开销摊到更多输出上。
这里有一处博客没交代清楚:峰值内存 29GB,和放在系统内存里的约 40GB 专家库,两个数字怎么对得上,统计口径是否只算了显存一侧,文中没有解释。Edge0 自己的对比图里标的是 48GB 笔记本可用,想本地跑的用户按 48GB 统一内存准备更稳妥。
演示和公司口径
Edge0 放了几个本地 Agent 演示:一小时内做出一段讲解视频、在 Blender 里搭曼哈顿城市场景、写无人机程序穿过障碍找红色背包、从 KiCad 布板一路做到 UE5 装配动画。这些都是公司内部测试,节省多少人力和云端 token 费用也是公司自己的换算。
公司还称旗下四个系列一年内发布了 200 个模型,开源模型三个月下载超 1500 万次,截至 10 月有 11 万多家客户组织。这些规模数字目前只有公司单方面口径,无法核实。
参考来源:Edge0 官方发布博客、Hugging Face 模型页、CocoLoop、Edge0 GitHub 推理框架说明;跑分均为 Edge0 内部评测口径,29GB 为厂商实测峰值内存。