OpenAI 出生物题,GPT-5.6 仅得 31.5 分

OpenAI 6 月 30 日放出一套新测试,叫 GeneBench-Pro,专门考 AI 能不能顶替计算生物学家干活。第一批成绩出来,最能打的是它自家的 GPT-5.6 Sol Pro——129 道题,过了 31.5%。

这套题刁钻在数据上。每道题给一份”脏”数据集:测量误差、选择偏差、混杂因素、没过质控的样本,全都原样留着,再配一个最终要落到具体决策上的目标。AI 得自己拿主意:这份数据到底能回答什么问题、中途冒出来的异常信号要不要改分析思路、手上这个结论什么时候算得上能拿去做决定。

OpenAI 给这种能力起了个名字,research taste。官方说法是一连串判断:哪些问题这份数据撑得住、早期的警告信号该怎么修正你的模型、什么时候你一开始定的方案就得整个推翻。

成绩单摊开来看,梯队很清楚:GPT-5.6 Sol Pro 31.5%,稍弱一档的 Sol 28.7%,非 OpenAI 阵营里最高的是 Anthropic 的 Claude Opus 4.8,16.0%。也就是说,眼下最强的模型碰上真实的生物数据分析,过关率还不到三分之一。

为什么专门做这么一套。过去测 AI 生物能力的题,多是有标准答案的选择题或封闭问答,模型刷到高分不难,可那考的是记住了多少,不是会不会分析。GeneBench-Pro 把重点挪到了后者:统计和群体遗传、调控组学、蛋白质组和生物标志物,都是生物信息岗位上每天要碰的活。对药企和做新药发现的团队,这是头一份用确定性打分算出来的账,写明白了 AI 离”自己独立跑完一套科研分析”还隔着多远。

这条线 OpenAI 一直在铺。它前不久刚给生物实验室单独造过模型 GPT-Rosalind,把算基因的活往 AI 上搬。GeneBench-Pro 更像是给这条路立根标尺:能力到没到,别自说自话,拿分数说话。GPT-5.6 系列眼下还在政府批准的小范围预览里,全量放开要等到 7 月中旬。

参考来源:CocoLoop、Introducing GeneBench-Pro(OpenAI);OpenAI's GeneBench-Pro Exposes That Top AI Fails Real Biology 70% of the Time(AlphaSignal);OpenAI Introduces GeneBench-Pro, Benchmarking AI in Genomics and Biology(Silicon Report)