五大模型集体考崩 GPT-4o 准确率跌至 15%

先看一组数字。

给 GPT-4o 一张 5 个词的单子,让它说出每个词是什么颜色,它能做对 91%。单子加到 10 个词,掉到 57%。加到 40 个词——15%。

考的不是什么硬核难题。就是个幼儿园小朋友都会的颜色识别。

6 月 10 日,一篇登在 PNAS Nexus 上的论文把这事捅了出来,标题叫《Deficient executive control in transformer attention》——直译过来:Transformer 的注意力,缺了”管住自己”的那块能力。

这个测试叫”色字干扰”

研究用的是心理学里一个用了快一百年的经典实验:Stroop 测试。

玩法很简单。给你看一串颜色词——“红""蓝""绿”,但故意用别的颜色印出来。比如”红”字用蓝墨水印。然后问你:这个字是什么颜色?

人脑碰到这种”字和颜色对不上”的情况会卡一下,因为读字是本能,得使劲压住”读字”的冲动,才能去报颜色。但正常人再怎么卡,单子再长,准确率也稳得住。

AI 不行。

单子越长,它越只会念字

被拉来测的有五个,全是当下最能打的:GPT-4o、GPT-5、Claude 3.5 Sonnet、Claude Opus 4.1、Gemini 2.5。

结果出奇地一致。短单子都没问题,可单子一拉长,准确率就开始跳水:

模型短单子长单子(40 词)
GPT-4o5 词 91%15%
Claude 3.5 Sonnet20 词内都稳24%

碰到”字和颜色对不上”那些刁钻的题,有些模型干脆掉到接近 0。

论文作者 Suketu Patel 这么解释:

“the systems appeared unable to consistently suppress the response they had been most heavily trained to produce”

讲人话就是——模型管不住自己。它被训练得最熟的本事就是”读字”,越往后越憋不住,明明让它报颜色,它却忍不住把字念了出来。

这不是 bug,是娘胎里带的

最扎心的一句结论是这个:模型其实”知道”题目要它干嘛——它能把规则复述得头头是道。但知道规则,和真能压住本能去执行,是两码事。

研究里有句话点得很准:光是认得出任务的结构,不足以让模型真去做”排除干扰”这件事。

这也是人脑和 Transformer 最根本的区别。人有一套”执行控制”机制,能在一长串干扰里始终咬住目标。Transformer 没有这块——它的注意力是另一套逻辑,序列一长就顾此失彼。

往大了说,这事给天天喊 AGI 的人泼了盆冷水。一个连幼儿园颜色题都扛不住长度的系统,离”通用智能”差的不是参数量,是一种更底层的东西。

往实里说,更值得琢磨。自动驾驶、医疗诊断这些活儿,要的恰恰是长时间盯着一件事、顶住各种干扰不分神。要是大模型在”持续专注”这一关上天生有短板,那把它们塞进这些场景之前,真得多想想。

模型能模仿人,这没错。但它”专注”的方式,跟人压根不是一回事。

参考来源:A classic brain test exposed AI's biggest weakness(ScienceDaily);AI fails classic attention test,CocoLoop、 with longer word lists triggering dramatic accuracy collapse(TechXplore);Deficient executive control in transformer attention, PNAS Nexus(2026)