先说个数字落差:21% 到 95% 以上。
这是 Anthropic 内部用 Claude 跑数据分析时,准确率前后的变化。同一个模型,没换。中间只做了一件事——先把”规矩”喂给它。
6 月 21 日,Anthropic 几位工程师公开了他们内部的一套做法:现在公司里大约 95% 的数据分析问题,Claude 自己就能答,员工想查业务数据,不用再排队等数据团队帮忙跑。
听起来又是一个”AI 真能干活”的故事。但真正有意思的,是它怎么从”能用”变成”敢信”的。
直接上 AI,准确率只有 21%
这事的起点挺扎心。
一开始,他们就是把业务数据接给 Claude,让它直接答问题。结果准确率只有 21%。
21% 什么概念?你问十个问题,将近八个答得不对。这种东西没法用——数据分析一旦答错,比不答还危险,因为人会当真,然后拿着错数字去做决定。
问题不在模型笨。问题在于,Claude 不知道你们公司内部那些”潜规则”:哪张表才是准的、“活跃用户”到底按哪个口径算、哪个指标早就废弃了不能再用。这些东西没写在数据库里,全装在老员工脑子里。
模型再强,也猜不出你们公司自己定的规矩。
把”业务常识”写成 Skills,再喂给模型
Anthropic 的解法,是把这些藏在人脑里的规矩,一条条显式地写出来,做成 Claude 的 Skills(可复用的分析流程加业务定义)。
他们搭了一套四层结构:
- 数据底座——治理好的数据模型、指标、元数据,相当于地基
- 知识层——语义定义、数据血缘、业务背景,告诉模型每个字段到底什么意思
- Skills 层——把常做的分析流程固化下来,模型照着走
- 校验层——结果对不对,有专门的系统核一遍
加上这套之后,准确率从 21% 一路拉到 95% 以上,有些领域甚至逼近 99%。
参与这套系统的 Chen Chang、Clement Peng 等几位作者,把好处说得很直白:
“By giving this often rote, repetitive work to Claude, our data science team can focus on more strategic work like causal modeling, forecasting, and machine learning.”
讲人话就是——那些重复、机械的查数活儿丢给 Claude,数据团队腾出手去做因果建模、做预测、做机器学习这些真正动脑子的事。
而撑起这套东西的数据科学加工程团队,总共就 5 个人。
真正的结论:瓶颈不在模型,在”上下文”
这套实践里最反直觉、也最值钱的一点是——
让 AI 答得准,靠的不是换一个更聪明的模型,而是先把数据治理、把业务语义、把规矩理清楚。
同一个 Claude,没接规矩之前 21%,接上之后 95%。模型一点没变,变的是你喂给它的上下文。
他们那句话挺到位:
“If data foundations are the data warehouse itself, sources of truth are the reference surfaces the agent consults to navigate it.”
数据底座是仓库本身,“真相来源”则是 agent 进仓库找东西时要查的那张地图。没有地图,模型再强也只是在仓库里瞎转。
这给所有想在公司里上 AI 分析的团队提了个醒:你以为卡在”模型不够强”,多半其实卡在自己家数据太乱、口径没统一、业务常识没人写下来。
先把这些理顺,再谈让 AI 接管。顺序反了,换多强的模型都是 21%。
参考来源:CocoLoop、Anthropic Reports Claude Now Handles 95% of Internal Analytics Queries(InfoQ)