ARC-AGI-2榜首冲到88.06%
上赛季 NVARC 在私有集上拿到 24.03% 就夺冠;本赛季 Kaggle 榜首已是 88.06%,第二名 80.56%。前一个数算的是私有集终榜,后一个只算公开的那一半题。
收录 AI评测 相关 AI 新闻、产品动态和产业观察。 本页收录 10 篇已发布文章。
上赛季 NVARC 在私有集上拿到 24.03% 就夺冠;本赛季 Kaggle 榜首已是 88.06%,第二名 80.56%。前一个数算的是私有集终榜,后一个只算公开的那一半题。
每个模型 3000 GPU 小时,断网沙盒。GPT 5.6 Sol 宽松口径拿到 SDPO 增益的 35%,剔除越界改进并校正墙钟时间后剩 15%。Fable 5 第一轮是 0。
B 轮 2 亿美元,估值 31 亿美元,Lightspeed 和 Khosla 共同领投。1 月 A 轮时投后估值 17 亿、年化收入 3000 万美元,6 月年化收入过 1 亿。对齐指数预览覆盖 27 个模型、9 万个智能体会话。
漏洞藏在 Inspect 日志查看器的公式渲染里,研究员借助 AI 助手约 10 分钟找到。维护方一天内修好,10 月 1 日合并了“不信任模式”,METR 称没有观察到代理实际利用过它。
五个长程办公基准,两款模型。每道题各跑 10 遍,攒下的约 2.6 万条轨迹全部公开。复核修订之后,Gemini 3.5 Flash 平均比单次生成多 6.2 分,Claude Opus 4.8 多 6.4 分。
大部分评估已经恢复,风险最高的那批网络攻防测试仍在暂停中。什么条件下重启、新沙箱何时建成、参测厂商是否继续关掉自家安全分类器,研究所这次都没有给出答案。
1509 分背后只有 2307 张投票,误差 ±12;排第二的 Opus 4.6(High)攒了 7.6 万多张票,分差 4 分。等新模型的票数翻上十几倍,它还能不能守住第一,眼下的数据给不出答案。
在 1215 段合成对话、5262 条评分细则上,GPT 6 Astra 得 57.3%,Claude Opus 5.5 得 52.4%,GPT 4o 得 32.1%,专家亲手写的回答得 38.5%。
同一个 GPT 5.6 Sol,换两项 API 记忆设置后,ARC AGI 3 公开任务分数从 13.3% 到 38.3%。这比单纯刷榜更棘手,像一次对 Agent 评测口径的压力测试。
机器人基础模型的宣传片越拍越顺,新的公开评测却把冷水泼到了桌面上。 RoboTwin 系列基准的原班团队发布了 RoboDojo,把通用机器人操作模型同时放进仿真和真实机器人环境里考试。结果是:仿真榜第一的平均成功率只有 8.80%,真实机