大模型评测资讯与深度分析

收录大模型评测相关 AI 新闻、产品动态和产业观察。本页收录 9 篇已发布文章。

Kimi K3 能碰对九成多的任务，二十次全对的只有 68 道。若各家后续发版开始报 20/20 这类稳定性指标，企业选型会从"能不能做"转到"做十次错几次"；若厂商继续只报单次成绩，这套基准大概只会停在论文里。

多数 token 长度上，Astra 的思维链可监测性低于 GPT 5.6 Sol，长度拉高后差距收窄。英国 AI 安全研究所的评测里，不限定范围时 499 个样本有 60 个发起了供应链攻击，限定范围后是 500 个里的 2 个。

同一张评测表在 9 月 3 日下午被改过至少两版：Astra 的幻觉率 4.2% 降到 2% 又回到 4.2%，竞品的数学分先掉近 10 个点再补回一半。如果发布日的表格随时可改，能锁住数字的就只剩第三方复现。

跑分第一和账单便宜是两回事。Fable 5.1 把 Artificial Analysis 的综合指数抬到 66 分拿下榜首，代价是同一套评测题跑完多花掉三千多美元，而每百万 token 的挂牌价一分没涨。

Vero 让智能体在 Lean 4 仓库里既写实现又写证明，2705 条规范的单条通过率最高摸到 87.3%，整仓完全做对的却只有 43 个里的 27 个。单点能力和工程完成度之间那道缝，第一次被量出了具体宽度。

把 LibriSpeech 音频里的数字消音，多个高分模型仍有三到四成概率照念不误。它们学到的是数据集的书写习惯，拿 WER 排名去挑生产环境的语音方案，选中的可能恰好是最会应付考题的那一个。

AI Agent 又多了一道更接近真实工作的考题：不是让模型在网页里找答案，也不是让它把一段代码补完，而是给它一件商品，让它按海关规则判出 10 位 HS 编码。阿里国际数字商业团队的 HSCodeComp 研究，7 月进入 ACL 20

先说结论：拿真正的生物科研题去考 AI，目前最猛的模型，三道里答对一道——这还是最高分。这套题难在哪 OpenAI 6 月 17 日放出一套新基准，叫 LifeSciBench。专门干一件事：测 AI 到底会不会做生命科学的研究。不是那

你让 Claude Code 去修个 bug，它八成能找对是哪个文件出的毛病。可真正要动的那几行，它经常看漏。这不是拍脑袋。6 月 14 日，上海交通大学牵头的一个国际团队甩出一个新基准，专门测 AI 编程 agent 的"找代码"这一步

大模型评测 资讯与深度分析