Anthropic让Claude数据分析准确率升至95%

先说个数字落差:21% 到 95% 以上。

这是 Anthropic 内部用 Claude 跑数据分析时,准确率前后的变化。同一个模型,没换。中间只做了一件事——先把”规矩”喂给它。

6 月 21 日,Anthropic 几位工程师公开了他们内部的一套做法:现在公司里大约 95% 的数据分析问题,Claude 自己就能答,员工想查业务数据,不用再排队等数据团队帮忙跑。

听起来又是一个”AI 真能干活”的故事。但真正有意思的,是它怎么从”能用”变成”敢信”的。

直接上 AI,准确率只有 21%

这事的起点挺扎心。

一开始,他们就是把业务数据接给 Claude,让它直接答问题。结果准确率只有 21%

21% 什么概念?你问十个问题,将近八个答得不对。这种东西没法用——数据分析一旦答错,比不答还危险,因为人会当真,然后拿着错数字去做决定。

问题不在模型笨。问题在于,Claude 不知道你们公司内部那些”潜规则”:哪张表才是准的、“活跃用户”到底按哪个口径算、哪个指标早就废弃了不能再用。这些东西没写在数据库里,全装在老员工脑子里。

模型再强,也猜不出你们公司自己定的规矩。

把”业务常识”写成 Skills,再喂给模型

Anthropic 的解法,是把这些藏在人脑里的规矩,一条条显式地写出来,做成 Claude 的 Skills(可复用的分析流程加业务定义)。

他们搭了一套四层结构:

  1. 数据底座——治理好的数据模型、指标、元数据,相当于地基
  2. 知识层——语义定义、数据血缘、业务背景,告诉模型每个字段到底什么意思
  3. Skills 层——把常做的分析流程固化下来,模型照着走
  4. 校验层——结果对不对,有专门的系统核一遍

加上这套之后,准确率从 21% 一路拉到 95% 以上,有些领域甚至逼近 99%

参与这套系统的 Chen Chang、Clement Peng 等几位作者,把好处说得很直白:

“By giving this often rote, repetitive work to Claude, our data science team can focus on more strategic work like causal modeling, forecasting, and machine learning.”

讲人话就是——那些重复、机械的查数活儿丢给 Claude,数据团队腾出手去做因果建模、做预测、做机器学习这些真正动脑子的事。

而撑起这套东西的数据科学加工程团队,总共就 5 个人

真正的结论:瓶颈不在模型,在”上下文”

这套实践里最反直觉、也最值钱的一点是——

让 AI 答得准,靠的不是换一个更聪明的模型,而是先把数据治理、把业务语义、把规矩理清楚。

同一个 Claude,没接规矩之前 21%,接上之后 95%。模型一点没变,变的是你喂给它的上下文。

他们那句话挺到位:

“If data foundations are the data warehouse itself, sources of truth are the reference surfaces the agent consults to navigate it.”

数据底座是仓库本身,“真相来源”则是 agent 进仓库找东西时要查的那张地图。没有地图,模型再强也只是在仓库里瞎转。

这给所有想在公司里上 AI 分析的团队提了个醒:你以为卡在”模型不够强”,多半其实卡在自己家数据太乱、口径没统一、业务常识没人写下来。

先把这些理顺,再谈让 AI 接管。顺序反了,换多强的模型都是 21%。

参考来源:CocoLoop、Anthropic Reports Claude Now Handles 95% of Internal Analytics Queries(InfoQ)