AI Agent 又多了一道更接近真实工作的考题:不是让模型在网页里找答案,也不是让它把一段代码补完,而是给它一件商品,让它按海关规则判出 10 位 HS 编码。
阿里国际数字商业团队的 HSCodeComp 研究,7 月进入 ACL 2026 主会论文集。量子位 7 月 8 日援引阿里云信息称,这项工作获评 ACL 2026 最佳资源论文奖。比获奖更值得看的,是研究团队把它放在 Deep Research Agent 的能力边界上重新审视:Agent 能不能处理一套有层级、有例外、有模糊边界的专业规则。
答案并不轻松。论文给出的结果是,当前最好的 Agent 系统在 10 位编码上的准确率为 46.8%,人类关务专家为 95.0%。阿里基于 Qwen 和工具调用设计的 Marco Agent,在同一基准上做到 65.0%,排在 AI 系统第一,但离专家仍有明显距离。
这不是一道冷门海关题。HS Code 是国际贸易里给商品归类的标准编码,影响关税、清关、监管和跨境履约。一个耳机、一件衣服、一台带电池的小设备,描述往往不完整,属性也可能混在图片、标题和卖点里。关务人员要把这些模糊信息放进一套严格规则中,逐级排除,再落到具体编码。
HSCodeComp 的设计就卡在这里。ACL Anthology 页面显示,这个基准包含 632 个真实感商品条目,覆盖 32 个类别,商品信息包含标题、属性和图片。研究团队还让 26 名关税专家按官方规则和经验知识库标注答案,并把代码、数据和规则材料开源。
论文把这类能力称为层级规则应用。它和很多 Agent 排行榜常测的能力不一样:开放域问答考的是找资料,结构化数据任务考的是查表和数据库,HSCodeComp 则要求模型一边查规则,一边理解规则之间的包含、例外和边界。规则本身是自然语言写的,不像程序那样直接可执行。
研究团队共评测了 23 个 LLM、VLM 和 Agent 系统,包括 14 个基础模型、6 个开源 Agent 系统和 3 个闭源 Agent 系统。结果显示,单纯让模型多想一会儿并不解决问题。论文认为,推理步数拉长后,Agent 反而容易在中途偏离正确路径;领域知识不足会造成规则误用;到最后还可能生成缺少事实支撑的分类判断。
这解释了为什么 46.8% 和 95.0% 之间的差距不能简单归因于模型不够大。很多企业现在把 Agent 当成“会查资料的实习生”,给它接浏览器、接表格、接内部系统,再让它自己跑流程。但海关编码这类任务提醒了另一面:真实业务里的规则不是一张静态表,而是一套会互相牵连的判断链。
ACL 评审委员会给出的评价很直接,称这个基准切中了“高度重要挑战”。这句话放到产业里看,意思是今天的 Agent 评测还缺少足够多的硬业务题。代码、数学、问答可以证明模型会不会推理,却很难说明它能否在合规、医疗、税务、保险、供应链这些场景里稳定落地。
阿里把 HSCodeComp 放在跨境电商里,也有现实意味。电商平台每天要处理大量非标准商品描述,商品归类一旦出错,轻则影响履约效率,重则带来关税和合规风险。用 Agent 做辅助,不只是省人工,更要让错误率降到业务能接受的范围内。65.0% 的系统第一名说明工具化框架有用,但还远不到可放手自动决策的水平。
这项研究对国内模型厂商还有一个提醒:Agent 竞争的下一步,不只是谁会写更长的规划、谁能接更多工具,而是谁能把专业规则压进可验证流程。一个通用大模型要进入企业核心流程,必须让判断有出处、推理可追溯、失败能复盘。否则,Agent 做得越主动,业务方越不敢把关键环节交出去。
从这个角度看,HSCodeComp 的价值不在于海关编码本身,而在于它把一个常被忽略的问题摆到了台面上:Agent 是否真的理解规则,还是只是在规则附近生成一个看起来合理的答案。现在的答案是,差距还很大。
来源与核验:CocoLoop、量子位 7 月 8 日报道;ACL Anthology 2026.acl-long.937 论文页;arXiv 2510.19631;AIDC-AI/Marco-DeepResearch GitHub 项目。核验对象包括发布时间、632 个商品条目、32 个类别、26 名专家、23 个系统、46.8%/95.0%/65.0% 准确率等关键数据。