PrismML把27B模型塞进iPhone

把一个 270 亿参数模型放进 iPhone,本来听起来像给芯片发布会准备的概念片。

PrismML 现在把这个说法推到台前:这家从加州理工走出来的初创公司称,已经把阿里通义千问 Qwen 3.6 的 270 亿参数稠密模型压缩到 iPhone 17 Pro 本地运行。公司还说,相关开源模型会在下周二开放下载。

这条新闻最扎眼的地方,不是“手机也能跑大模型”这句老口号,而是两个数字的碰撞:270 亿参数,压到 4GB 以内。如果公开模型能经得住开发者复测,端侧 AI 的讨论会从“能不能离线回答”推进到“手机能不能承接复杂 agent 任务”。

手机端模型被重新拉大

现在大多数手机本地模型只激活几十亿参数,更多任务仍要绕回云端。PrismML 这次声称跑起来的是 270 亿参数稠密模型,可用于复杂对话、逻辑推理、自动智能体和代码开发。

它的做法是把原本约 54GB 的 Qwen 3.6 压缩到 4GB 以内。公司称压缩没有带来性能损失,但这一点还需要等模型开放后,由第三方在真实设备上复测。

“设想三年后的场景:95% 的智能运算都能在你的手机、笔记本、智能家居设备本地完成,仅有 5% 超高算力需求的任务需要调用云端。”

PrismML CEO 巴巴克・哈西比的意思是,端侧模型不是云端模型的玩具版,而是未来大部分日常推理的主场。

这个判断正好踩在苹果的软肋上。苹果一直强调隐私和本地处理,但高阶 Siri 改版仍被报道将依赖谷歌 Gemini 和云端英伟达算力。苹果自研的 200 亿参数端侧模型采用稀疏架构,单次只激活 10 亿至 40 亿参数;PrismML 的故事则是让更大的稠密模型直接落到手机里。

不是发布会魔术,得看开源复测

PrismML 不是第一次讲“小模型进设备”。它此前推出 Bonsai 系列,官方页面列出 8B、4B 和 1.7B 三种尺寸,主打 1-bit 权重;公司给出的指标是,内存占用比全精度模型小 14 倍,速度快 8 倍,能耗低 5 倍。

更实在的核验点在工程侧。PrismML 的 Bonsai demo 仓库已经支持在 Mac、Linux、Windows 和 CPU 上本地运行;1-bit 的 Q1_0 后端也已进入 llama.cpp 的 CPU、Metal、CUDA、Vulkan 与优化 x86 路径。也就是说,这家公司不是只拿一张演示图讲压缩,至少已有一套能被开发者下载、跑通和挑错的链路。

但这次 27B iPhone 模型还没公开,几个问题必须等下载后才算数:

  • 延迟和功耗:能跑不等于能长时间顺滑运行,手机散热会直接决定体验。
  • 上下文和内存:4GB 只是权重体积,KV cache、系统占用和应用层开销还会继续吃内存。
  • 质量口径:所谓“无性能损失”要落到具体 benchmark、提示词和设备配置上。

所以更稳妥的说法是:PrismML 把端侧模型的上限故事抬高了一截,但公开测试才是分界线。

苹果想要的成本结构

端侧 AI 的吸引力不止是隐私。云端推理贵,用户量越大越贵;每一次长对话、图片理解、代码任务都可能变成 GPU 账单。模型如果能在设备上完成绝大多数推理,苹果、手机厂商和应用开发者都会少背一部分云成本。

这也是投资人下注 PrismML 的原因之一。Khosla Ventures 今年参与了 PrismML 1625 万美元种子轮融资。维诺德・Khosla 在采访中把这项技术称为“根本性突破”,并说:

“2018 年我们投资 OpenAI,重仓 Transformer 架构;如今行业需要全新的 AI 构建思路,我们团队一直在挖掘这类创新方案。”

这句话的行业含义很直接:如果 Transformer 之后的竞争继续只靠堆参数和堆机房,小公司很难进场;如果压缩、低比特训练和端侧推理能把单位智能成本打下来,硬件入口会重新变得重要。

下周二才见真章

PrismML 这次最可验证的节点不是融资,不是苹果是否谈过合作,也不是“史上最大”这种说法,而是下周二的模型开放。

到那时,开发者可以盯三件事:iPhone 17 Pro 上的实际内存占用、持续推理时的速度与发热、以及 Qwen 3.6 压缩前后的任务质量差距。只要其中一项偏离宣传,27B 端侧模型就仍是一次漂亮演示;如果三项都站住,手机 AI 的产品路线会多一个新选项。

云端模型继续负责超大任务,本地模型负责高频、私密、低延迟任务。 这条分工过去一直存在,只是本地那一侧太弱。PrismML 现在要证明,弱的一边可以长得更快。

来源与核验:新浪财经/环球市场播报;PrismML 官网核验 Bonsai 模型尺寸、1-bit/1.58-bit 压缩指标和 Caltech/Khosla 支持背景;CocoLoop;GitHub 与 Hugging Face 核验本地运行后端和开源模型状态;The Information、AppleInsider 与 Techmeme 核验 27B iPhone 报道链。