DeepSeek开源推理框架DeepInfer
英伟达 SM100 和昇腾 950 两套硬件都能跑,批次不变推理和确定性采样却只在英伟达上可用。开源版也没带 KV Cache 系统和预填充、解码分离,离 DeepSeek 自己线上那套还差几块。
关注开源模型、Hugging Face、模型许可、社区生态和本地部署。 本页收录 153 篇已发布文章。 第 1 / 2 页,每页最多 100 篇。
英伟达 SM100 和昇腾 950 两套硬件都能跑,批次不变推理和确定性采样却只在英伟达上可用。开源版也没带 KV Cache 系统和预填充、解码分离,离 DeepSeek 自己线上那套还差几块。
三项排名第一的结论出自 Black Forest Labs 的内部评测,对手里还包括闭源的 Ideogram V4.5。评测集和投票方式没有公开,56 亿参数的小模型放到第三方盲测里排第几,眼下没有答案。
原生 BF16 精度下光参数就要 1.6TB 以上,量化到 NVFP4 后约 493GB。Meta 说两台 512GB 的 Mac Studio 能装下,苹果自己实测两台每秒约 25 个 token,四台到 36.7 个。
480p,每秒 60 帧,一张 RTX 5090。操作到画面响应低于 150 毫秒。开源的有权重、推理代码、浏览器演示和三套游戏素材:中世纪城堡、古埃及和城市赛车。
FP8 版一台 8 卡 H200 服务器就能起,许可证另附署名和商用条件,从部署表看阶跃瞄准的是企业私有化部署。如果一个月后 Hugging Face 上的下载量和社区量化版本明显落后于同量级的开源对手,这个判断就要收回。
350 亿参数的模型在 iPhone 上只占 3GB 内存,靠的是提前把下一层要用的专家搬进来。如果第三方在中端安卓机上测出的速度掉到个位数,端侧 MoE 这条路就还停留在旗舰机上。
GLM 5.2 在 8 节点模拟网络里跑了 5 次,4 次铺满全部节点;30B 以下的模型单个步骤大多能做,串起来就出错。Anthropic 按小模型每年 13.7 分的能力增速推算,两者的距离到年底前后就会补齐。
规则管住了代码。issue、评论、PR 描述和文档算不算在内,讨论里至少两位成员问过,提案合并时页面上没有正式答复,判断标准目前只有“凭良心自己写”这一句。
一段 21 秒带声音的视频,一次调用约 1.5 秒出结果,每百万输入 token 收 0.15 美元。同日 Clef flash 降到 0.038 美元,托管版上下文从 64k 缩到 24k。
首批仿 Adobe 的仓库建于 9 月 30 日和 10 月 1 日,10 月 7 日又多出仿 Word、Excel、PowerPoint、AutoCAD 的四个。PhotoCraft 单仓库星标,从早前报道的 23303 涨到 49075
总参数 12B,每个 token 激活 2.5B,上下文 131072。SWE bench Verified 从上一代的 2.0 分涨到 47.0 分。同量级的 Qwen3.5 9B 在这项上是 50.0 分,GPQA Diamond 上
IOI 2026 拿到 535.4 分,金牌线 361.12;IMO 2026 拿到 30 分,金牌线 29 分,六题里四题满分。证明由 IMO 官方阅卷人评分,权重、训练数据和推理代码同步放出。
生成阶段每 token 激活 160 亿参数,全局 KV 缓存按 FP4 存约 890 字节,低并发提速 1.9 倍、限速每秒 150 token 时吞吐提升 5.3 倍,测试卡全是 GB200 和 GB300。
纯文本部分 2.7 亿参数,量化后在 Pixel 11 Pro 上占约 191MB 内存,文本、图像、音频、视频全开约 567MB。代码检索 MTEB Code 从 68.76 分升到 78.68 分,许可证是 Apache 2.0。
Mistral Large 3 在 Artificial Analysis 智能指数上只拿到 9 分,Large 4 是 38 分,和 GPT 6 Luna 最高档持平,比 DeepSeek V4.1 Flash 低 1 分,参数量约为后者
SWE bench Verified 80.9、AIME 2026 97.8,这些分数目前只出现在 Reflection 自己的博客里。权重和技术报告要到本月晚些时候才放出,第三方能复现到什么程度,要等下载链接上线之后才知道。
一行命令接进去,一行命令切回原生模型,Together 卖的是一条随时能撤的退路。如果首批团队在会话成本追踪器上看到的降幅明显低于五成,这套按会话路由的做法很难留在工程团队的默认配置里。
同一个科研平台上,8B 的 AstaBrief 平均 51.1 秒交出一份带引用的报告,Claude 驱动的流程要 178.5 秒。两种模式的用户正面反馈率,一个 84.2%,一个 85.2%。
OSWorld 2.0 上 61.7% 对 81.8%,Holo4 27B 离 Opus 5.5 还差 20 个百分点。它的机会在不能把屏幕截图发到境外云端的企业内网,第三方复测分数若掉到 50% 以下,这个判断就要打折扣。
软件部分今天就能从 GitHub 拉下来,版本号 0.1.0。能在毫秒内把智能体关掉的 Sentry 要跑在 BlueField 4 上,这块 DPU 什么时候能买到、单独卖还是只随 Vera Rubin 整机出货,英伟达没有说。
纯 CPU 机器每秒 1 到 2 个 token。用来聊天太慢,挂一晚上跑批处理够用。新加的 brio 模式只给选项打分、不生成文字,Colibrì 更可能先在分类、打标签这类离线活里攒下用户。
同一套水印,创意写作约 100 个 token 就能全部认出,代码任务写到 400 个 token 也只认出 43%。模型越有把握的输出,能藏进去的信号越少。
2800 多种病毒。约 30% 的蛋白相互作用此前从未被科学界记录过。AlphaFold 数据库的预测总量随之超过 2.6 亿条,全部免费开放。
流程从找入口一路跑到写漏洞报告,演示项目是 xz 和 cJSON。这条流水线实际挖出过几个漏洞、跑一个项目要花多少 token,GitHub 的文章里都没有给数字。
两个模型都是 6B 参数、MIT 协议,Design 吃得下最长 8K token 的结构化提示词,Layer 把一张平面设计拆成 2 到 9 个 RGBA 图层,官方验证过的运行配置是单张 80GB 显存的显卡。
Pro 版这轮强化学习花了约 262 万美元,Flash 版约 85 万美元,六天跑完。换来的 46 分,在 Artificial Analysis 的开源榜上压过 Kimi K3 和 Qwen3.8 Max,离 Claude Fable
7B 参数、原生 2K、单次最多 10 张参考图,自家榜单总分 60.28。没有写出来的是商用授权怎么收费:许可证只留了一个联系邮箱,没有营收门槛,也没有价目。
稀疏 MoE,总参数 600B、每 token 激活 27B,上下文 100 万。Artificial Analysis 综合智能指数 44 分,开源模型第三。GPQA Diamond 93.5%,Terminal Bench v2.1 8
AlphaFold3 原先能预测的上限是 7663 个 token,优化后单台 B300 节点跑到 7 万以上。上个月那轮蛋白设计每个靶点花 1 万美元,这次一张 H200 跑 24 小时,GPU 加 token 约 150 美元。
三人同时说话的 LibriMix3mix 测试里,字错率 12.29%,同场竞品落在 76% 到 121% 之间。两人混说 4.11%,单人 1.73%,真实会议录音的 AliMeeting Far 是 20.63%。
Iris mini 总参数 350 亿,激活 30 亿,BrowseComp 拿 82.2 分。Iris pro 总参数 3970 亿,激活 170 亿,同一项 88.6 分。参数差一个数量级,分差 6.4 分。
2025 年 9 月到 2026 年 8 月,OpenRouter 上开源权重的 token 份额,美国从 26% 涨到 60%,欧盟从 16% 涨到 65%。新开的 us.openrouter.ai 上点名列出的可用模型里,有 DeepS
模型参数量 1.5B,MIT 协议,代码和权重同步放出。官方列出的任务超过 15 项,覆盖零样本合成、内容改写、音高语速调整、情绪音色口音修改、降噪去混响与说话人分离。蒸馏版 AuK Flash 固定四步采样、推理不开 CFG,官方给出的墙
2019 到 2025 年,在 1e19 FLOPs 的算力预算下,数据侧带来的算力效率提升是 12.0 倍,模型侧是 3.7 倍。同一段时间、同一套评测,两个数字之间差 3.24 倍。
Debian 那份政策 8 月 28 日投票结束。9 个候选选项里《负责任地使用生成式 AI》以 281 票胜出,法定票数是 48.49。F Droid 在 9 月初提出把它改一改,拿来当临时政策。
60475 个模块,29511 条定理。最终依赖的公理只有三条:propext、Classical.choice、Quot.sound。96 核机器完整编译一遍 5 小时 32 分,官方检查工具再跑 14 小时 46 分,第三方独立内核另跑
奖励函数里没有单元测试,只有一池 178 张手工评分的参考图。这条路子把强化学习从数学题、代码题挪到了说不清对错的地方,也顺带把训练一个有审美的模型的账单压到几百美元量级。
月之暗面正与微软、亚马逊、谷歌谈 Kimi K3 的收入分成,初期开价最高 30%,而此前业内默认的上限是 20%。开放权重模型不收授权费,云上托管的调用收入就成了唯一能摆上桌的那笔钱。
一篇工程文档比发布会更能看出方向:多智能体编排被明确排在了单体加技能之后,理由是交接过程会丢状态。这是从线上跑出来的结论。
207 个算子、809 组对照测试、几何平均快 2.57 倍。Hugging Face 把浏览器里的 GPU 算子当模型一样版本化托管进 Hub,让它们可以被单独下载、单独测、单独换。浏览器端推理卡了好几年的位置,一直在算子这一层。
6500 台订单压在 24 小时里,峰值每四秒出一台。Pollen 把运行时、强化学习代码和仿真环境一并挂上 GitHub,这只鸭子更像整套开源栈的入场券,硬件只是承载它的壳。
933 名贡献者、1.6 万个合并请求压进同一个版本号,OpenClaw 把两天一发的开源节奏换成了七周一次的整体翻修。安装、浏览器、多人协作三条线同时改版,攒版本的赌注下得不小。
770B 参数只激活 49B,腾讯把开源模型的算力账压到了 6.4% 的激活率。盲测领先 GLM 5.3 的那 0.07 分说明不了太多,能否撑住长周期工程任务,才是这一版要证明的东西。
去年英伟达想按 70 亿估值花 5 亿入股被回绝,这次直接把整家端走,价签 129 亿。开源模型的分发入口从社区手里换到卖卡的人手里,前提是这份还没落笔的协议真能签下去。
同样的去噪步数、同样的 8 卡 H200,换个推理运行时就快近一倍,这部分提速一分画质都没掉。再往上的 6.24 倍要拿 SSIM 换,0.76 已经是肉眼能看出差别的区间,那一档更适合筛构图而非出成片。
OpenWorker 七月才开源,卖点是在自己的笔记本上把活干完。新版把安全审查提到首位,扫代码也扫依赖,权限设计里还写死了一条硬规矩:出修复的那个智能体,不能同时当验收的那个。
腾讯微信视觉团队把 2B 规格的多模态嵌入模型做到 77.9 分,越过了参数量四倍的 Qwen3 VL Embedding 8B。在检索这条线上,堆参数换分数的性价比正在肉眼可见地变薄。
把激活参数从 320 亿压到 180 亿、层数减半,AA 指数还顶到 57 分,智谱这一版给国产开源模型划了条新的成本线:前沿档位的能力,开始按 Flash 档位的价格卖。
六天匿名跑到 OpenRouter 用量榜首,才由智谱出面认领。免费预览把调用量做到 DeepSeek 的两倍,权重紧随其后,国产模型争夺开发者的顺序,正从先办发布会改成先让人用上。
模型挂在 3.8 的代号下,用的却是下一代 Qwen4 架构。阿里把架构选型提前半步交给社区去试,等 Qwen4 正式发布时,推理框架和量化工具链已经跑过一轮了——开源节奏本身也是产品设计的一部分。
把拥塞和重传的判断从交换机挪回网卡,Meta 换来的是不用 PFC 也能跑 RDMA。这笔取舍对十万卡集群成立,对几百卡的机房未必划算——规范 10 月在 OCP 放出来,那时候才好算账。
三年前投后 45 亿美元、还回绝过英伟达报价的 Hugging Face,如今把探买家的活儿交给了银行。一家长期把自己摆在公共设施位置上的公司开始谈退出,价签背后的身份变化比数字更扎眼。
4.8 个月,Kimi K2.6 越过 Opus 4.5,这是 SemiAnalysis 画出的最新一段追赶曲线。周期缩短对闭源实验室谈不上致命,但靠"领先半年"收溢价的日子在变短,护城河正从模型分数挪向产品与交付。
并发为 1 的时候,卡住模型的常常是 CPU 那一侧的等待,显卡反倒闲着。SGLang 与蚂蚁把这些等待逐个拆掉,单请求每个 token 的耗时从 3.33 毫秒压到 0.78 毫秒。
蚂蚁与 SGLang 团队把量化后的权重常驻显存、让新进程零拷贝映射过去,省掉每次重启都要重做一遍的读盘和量化。模型越大,推理侧的成本账就越往运维那头挪。
Anthropic 这轮调整的着力点在访问方式:Mythos 5 跑在合作伙伴产品的后台,用户拿得到补丁建议,碰不到模型本身。攻防能力的分发从发账号改成了发结果。
MathForm 8B 在最难的 FATE X 上拿到 37% 一致性通过率,压过多款 32B 专用形式化模型。把数学题翻成 Lean 4 这件事上,检索 Mathlib 加编译器反馈迭代,比继续堆参数划算。
同一个模型在名字、仓库说明和模型卡上给出了三种参数口径,这不算失误,它暴露的是统一多模态架构还没有公认的数法:理解塔和生成塔要不要合并计数,各家没谈拢。
三档接入里 app server 最能说明 OpenAI 的算盘:把模型外面那层执行系统整个摊开做成通用接口,计费口子仍然留在模型侧。Cisco 和一家报税服务商已经照这个路子把 agent 塞进了自家产品。
一套六月底才在国内开源的投机解码方法,两个月后被一家美国端侧模型公司做成了默认加速件,连推理框架里的算法开关都直接沿用了它的名字。开源代码的扩散速度,比论文引用数诚实得多。
Opus 5 和 Kimi K3 之间只差 10 步,放进 690 步的总差距里几乎等于噪声,开源模型在这类长周期实验上已经不落下风。卡住所有人的地方在别处:153 次跑下来,没有一个模型拿出新方法。
Q4 0 是 llama.cpp 里最老的四比特格式,精度差到社区基本弃用,Liquid AI 却用蒸馏把分数拉回 BF16 的九成七。拿训练侧的一次性成本,换 Arm 手机上那几毫秒。
GLM 5.3 在 Artificial Analysis 智能指数拿到 60 分、182 个模型里排第 8,API 定价 1.4/4.4 美元;分数已经贴近开放权重第一梯队,但每个任务吞掉 4.1 万输出 token,账单未必比对手便宜。
编译器和工具链的代码全部进了 modular/modular 主仓库,许可证是 Apache 2.0 叠加 LLVM 例外,连二进制分发的口子一起放开。做这个决定的是刚完成收购的高通,而三年前许下开源承诺的那家创业公司已经并入其中。
DeepSeek V4 Pro 这次没有开发布会,信号藏在 API 文档里:版本号转到 0813,输出上限抬到 384K,价格页同时挂出涨价预告。对重度开发者来说,这比一张跑分海报更需要立刻算账。
Qwen3.8 的新变化不在参数更大,而在阿里第一次把 Max 级模型权重放到开发者面前。此前写在预告里的“开源承诺”,现在变成了可下载、可部署、可核验的模型卡。
Ling 3.0 tiny 的看点不只是 7.9B 总参数。每个 token 只激活 1.3B 参数、同时给出 BF16/FP8/INT4 权重和 SGLang/vLLM 部署路径,说明国产开源模型正在把智能体能力往本地设备压。
Meta 这次放出的 Muse Glimmer,不是把最大模型搬给开发者。它把 30B、24GB 显存、Apache 2.0 和 Agent 工具链捆在一起,重新回答一个老问题:开源权重还能不能在本地工作流里有存在感。
BigBang V1 把合成数据从“模型答题”推进到“模型出题、解题、验题”。35B A3B 模型跑出多项科研与代码评测优势,更该盯住的是训练数据生产方式变了。
WeatherNext Cyclones 把台风、飓风预报里最难合并的路径、强度和风场结构放进同一个 AI 模型。多争取 24 小时预警,重点不在替换气象员,重点在让撤离、物资和停航决策早一天进入准备状态。
ForgeStencil 的看点不在“AI 写代码”,在它把工业软件调优拆成可复验流程:100 个应用、2.05 倍几何平均端到端加速,开始碰到 HPC 专家的腹地。
Thinking Machines 把 Inkling Small 全量权重放出后,最醒目的信号落在成本曲线上:12B 激活参数已经能贴近 41B 激活旗舰的多个能力项。
MiniMax H3 把 2K、15 秒、原生立体声和开源权重放在同一张发布牌上;0.8 元/秒的价格很醒目,但开放权重仍要等后续文件落地。
Kimi K3 开源后不到两周,月之暗面融资口径从 300 亿美元抬到 350 亿美元。资本看中的已经不止单个模型热度,还包括开源模型换来上市前确定性的能力。
混元这次没有只晒模型跑分,而把推测解码的训练框架、两类 drafter 权重和评测链路一起放出,目标直指大模型推理成本。
NeoteAI 与复旦把 3 万小时触觉交互数据、三条模型路线同时亮出,机器人学习的焦点从摄像头移到手指接触瞬间。
Kimi K3 的新信号不在参数表,而在攻防测评:通用榜单冲高后,网络安全长链任务先露出短板。
Poolside 这次没有端出一个万亿参数的庞然大物。它把 Laguna S 2.1 做成 118B 总参数、8B 激活参数 的 MoE 代码模型,权重直接放上 Hugging Face,还说能在单台 NVIDIA DGX Spark 上跑
机器人这轮模型竞赛,面壁智能没有把参数表拉到最大,先把模型压到了能贴近机器本体的位置。 7月19日,OpenBMB在GitHub公开MiniCPM Robot系列。两套首发模型分工很清楚: 1.5B的MiniCPM RobotManip管机
Hugging Face碰到的,并非普通撞库或一次脚本扫描。它在7月16日公开承认,一组攻击者把恶意数据集塞进平台的数据处理链路,靠自动化智能体完成横向移动;平台这边也用AI把攻击日志拆回来。 这条新闻最扎人的地方,是攻防两边都在机器速度上
Kimi 这次把牌摊得很大:2.8 万亿参数、100 万 token 上下文、原生视觉理解,还把价格直接挂在开放平台首页。7 月 16 日发布的 Kimi K3,先把月之暗面重新推回国产开源模型的中央位置。 这条新闻的张力不在“又发了一个大
AI Agent 的安全焦点,正在从“说了什么”挪到“做了什么”。 这句话放在半年前还像一句行业判断,放到 7 月 13 日就很具体了。
Bun 用 Claude 把一套大型 JavaScript 运行时从 Zig 迁到 Rust,刚被包装成 AI 编程的标杆案例,Zig 创始人 Andrew Kelley 就把桌子掀了。
智谱刚从资本市场拿到一轮高光,创始人唐杰却在内部信里把话题拉回了模型能力上限。 这封题为《巨浪已来》的内部信在 7 月 11 日发出。它没有把重点放在股价、融资或销售捷报上,反倒把公司未来两年的重心压到三个难题上:长程任务、自治智能体、自我
桌上的冰球朝机器人飞过来,难点不是看见球,而是在球还没到之前判断它会去哪里。 7 月 10 日,蚂蚁灵波发布 LingBot VA 2.0,把这个问题摆到机器人“大脑”正中间:让模型一边预测世界下一步的变化,一边生成自己的动作。它延续了灵波
一个把大模型塞进个人电脑的开源工具,刚拿到 6500 万美元 B 轮融资。Ollama 团队只有 14 人,却称每月有 890 万开发者在用,覆盖 85% 的《财富》500 强企业。 这组数字看着像典型的 AI 融资新闻,但 Ollama
蚂蚁集团旗下具身智能公司灵波科技,把机器人视觉这块短板又往前推了一步。 7 月 7 日,灵波科技发布空间感知模型 LingBot Depth 2.0,并同步开源视觉基座模型 LingBot Vision。前者面向机器人深度补全,后者更像底层
一个开源项目最近抛出个有点反直觉的结论:与其用一个最强的模型,不如把四个国产模型凑到一块投票。 这个项目叫OpenSquilla,7月6日放出0.5.0预览版,背后是家刚成立不久、估值1亿美元的公司基元律动。
7 月 1 日起,GitHub Copilot 的模型列表里多了个新名字:Kimi K2.7 Code。这是月之暗面(Moonshot AI)的开源模型,也是 Copilot 上线以来接进来的头一个开源权重模型。在这之前,能在这个框里选的,
Palantir 和英伟达 6 月 29 日联手推出了一套系统,专治政府机构一个老矛盾:既想用上强大的 AI,又不敢把敏感数据送出自己的机房。 它们的做法,是把英伟达的 Nemotron 开源模型整个搬进"气隙"(air gapped)环境
沙特阿美的风投部门 Aramco Ventures 领投,Together AI 拿到 8 亿美元 C 轮,投后估值定在 83 亿美元。
美国还在收紧芯片出口,DeepSeek 这边换了个思路:既然高端卡拿不够,那就让每一张卡多干点活。 6 月 30 日,DeepSeek 联合北京大学开源了一个叫 DSpark 的推理框架。一句话说清它干嘛的——同样的模型、同样的卡,让 AI
先说个挺多人没注意到的事。 过去两个月,OpenRouter(开发者调模型的那个中转站)上有个代号 Owl Alpha 的神秘模型,悄没声地爬到了调用量第一。免费、限额,每天给你五百万到一千万 token 随便用,结果硬是被人用出了一个月十
一个在 OpenBSD 内核里躺了 23 年的内存漏洞,被一个 AI 翻了出来。 这是 OpenAI 周一(6 月 22 日)甩出来的成绩单里最扎眼的一条。
开源世界有个老毛病,这两年被 AI 放大了:真正在维护那些底层项目的,常常就那么几个人。 OpenAI 自己引的数据挺扎心——被广泛使用的开源项目里,九成多的代码更新,是不到十个开发者扛下来的。平时就忙不过来,现在 AI 还能成批往他们邮箱
每月 1.5 亿美元。 这是一家成立两年、至今没发布过一款正经产品、几乎没有收入的 AI 公司,刚跟马斯克签下的算力账单。签到 2029 年,加起来 63 亿美元。 这家公司叫 Reflection AI。卖它算力的,是马斯克的 Space
先扔个数字。 跑长周期编程任务的 FrontierSWE 榜单上,智谱(现在改叫 Z.ai)的开源模型 GLM 5.2 拿了 74.4 分 。同台的 GPT 5.5 是 73 分上下,Claude Opus 4.8 是 75 分多一点。
一个开源模型,在某个跑分上把 Claude Opus 4.8 摁了下去。 这事本身不算稀奇。稀奇的是——卷子是它自己出的,分也是它自己打的。 发生了什么 6 月 12 日,月之暗面(Moonshot AI)放出了 Kimi K2.7 Cod
一份 200 美元的 ChatGPT Pro 套餐,要是真按它给的额度用到顶,OpenAI 得为你倒贴 14000 美元。 这个数字不是吐槽,是 SemiAnalysis 实测算出来的。
AI 生成的视频有个老毛病:镜头往前推一段、再转回来,原先那把椅子可能就换了个样,墙上的画也飘没了。模型不记得"刚才这儿长啥样"。 6 月 14 日,微软研究院联合几所高校放出一个叫 Mirage 的视频世界模型,专治这个健忘症——而且代码