阿里用海关编码测出Agent短板
AI Agent 又多了一道更接近真实工作的考题:不是让模型在网页里找答案,也不是让它把一段代码补完,而是给它一件商品,让它按海关规则判出 10 位 HS 编码。 阿里国际数字商业团队的 HSCodeComp 研究,7 月进入 ACL 20
收录 大模型评测 相关 AI 新闻、产品动态和产业观察。 本页收录 3 篇已发布文章。
AI Agent 又多了一道更接近真实工作的考题:不是让模型在网页里找答案,也不是让它把一段代码补完,而是给它一件商品,让它按海关规则判出 10 位 HS 编码。 阿里国际数字商业团队的 HSCodeComp 研究,7 月进入 ACL 20
先说结论:拿真正的生物科研题去考 AI,目前最猛的模型,三道里答对一道——这还是最高分。 这套题难在哪 OpenAI 6 月 17 日放出一套新基准,叫 LifeSciBench。专门干一件事:测 AI 到底会不会做生命科学的研究。 不是那
你让 Claude Code 去修个 bug,它八成能找对是哪个文件出的毛病。可真正要动的那几行,它经常看漏。 这不是拍脑袋。6 月 14 日,上海交通大学牵头的一个国际团队甩出一个新基准,专门测 AI 编程 agent 的"找代码"这一步