英伟达公开10万亿训练数据

训练智能体这件事,最近被英伟达拆到了模型权重之外。

Hugging Face 上新的一篇 NVIDIA 文章没有再讲“又一个更大的模型”,而是把注意力放在数据:一个能调用工具、执行流程、遇到失败还能恢复的 agent,缺的不只是参数,还是一套可检查、可复用、能解释来源的数据层。

这听起来像工程细节,实际是智能体商业化绕不开的门槛。企业愿意让 AI 读文档、查系统、跑工作流,但很少愿意把自己的流程、客户习惯和内部知识直接拿出来公开训练。英伟达给出的解法,是把真实组织里的“秘密”抽象成合成数据、数据卡和可视化地图。

“every company is built around a secret”

这句话的意思很直白:每家公司都有不能随便交出去的流程、语料或客户模式。

模型权重之后,轮到数据卡上桌

NVIDIA/Hugging Face 这次公开的重点,是 Nemotron 开放数据产品。

文章给出的总盘子很大:超过 10 万亿 pre-training tokens,以及数百万 post-training samples。配套的 Nemotron Post-Training v3 Prompt Atlas 更像一张交互式提示词地图,每个点对应一个 prompt 样本,并按数据混合比例抽样展示。

开发者可以按数据集、流水线阶段、领域和工具使用来过滤这些点。相近语义会聚在一起,放大后能看到编码算法、安全、数学、agentic behavior 等区域。它解决的是另一类问题:让团队看清模型到底吃过哪些任务形状。

NVIDIA 自家博客也给了外部参照:ICML 2026 上,NVIDIA 有 74 篇论文被接收,约 2000 篇接收论文引用 NVIDIA GPU,另有 145 篇引用 Nemotron 模型和数据集。机器人世界模型、生命科学、强化学习、agent 训练和合成数据,都是这批引用里的高频方向。

合成数据不是省钱版人工标注

这件事容易被误读成“用 AI 造数据,少雇标注员”。英伟达想表达的更窄。

智能体训练需要的是失败路径、工具调用轨迹、检索过程、用户模拟、工作流执行和恢复策略。真实公司最有价值的数据,往往正好在这些地方:客服怎样转单,工程团队怎样排障,财务流程怎样卡权限,销售如何根据上下文改话术。

这些数据不能裸奔。

所以合成数据在这里的用途,是把组织里的信号转成可共享、可审计的训练材料,同时保留数据谱系、生成方式和适用边界。Hugging Face 数据卡里,一个 Nemotron 预训练集合列出的总量是 6585.8B tokens;其中包括 3359.8B English Common Crawl、1257.3B English Synthetic CC、692.9B Diverse QA、558.2B Translated Diverse QA、206.2B Math,以及 174.9B Synthetic Code。另有 747.4B tokens 的代码元数据用于复现筛选。

这些数字的价值不在“大”,而在口径被摊开:哪些来自网页,哪些是合成,哪些面向数学、代码或 SFT,哪些模型参与了生成。对要把 agent 放进生产系统的团队来说,可追溯比跑分更有用。

国内团队该看哪一层

国内这半年也在密集发 agent、工作流平台和行业智能体。发布会里常见的数字是“任务成功率提升多少”“平均耗时下降多少”“成本降低多少”。这些当然重要,但很少有人把背后的训练数据形状讲清楚。

Nemotron 这一轮给了一个可对照的方向:如果智能体要进入企业流程,数据说明至少要回答三件事。

  • 工具调用和失败恢复样本从哪里来;
  • 合成数据占比、生成模型和过滤方式是什么;
  • 评测任务是否覆盖真实工作流里的长尾错误。

没有这三层,智能体很容易只在演示里顺滑。一进入复杂组织,权限、表单、历史上下文、异常分支都会把成功率打回现实。

开放数据也有边界

英伟达没有把合成数据讲成万能解。文章末尾有一句判断很重:

“The scarce resource in AI is not tokens. It is trust between organizations.”

稀缺的不是 token,而是组织之间的信任。

这句话放在当下很贴切。模型公司想要更多真实任务数据,企业客户怕泄露业务资产;研究者想复现结果,数据持有者不愿交出原始流程;监管希望看到来源和风险,开发团队又嫌合规拖慢迭代。

合成数据、Prompt Atlas 和数据卡,像是在这几股力量之间搭一层中间材料。它不会替代真实反馈,也不能免掉人工审查,但至少让“智能体为什么会这样做”有了可追的训练线索。

从模型权重走向数据层,英伟达也在重新定义自己的位置。它卖 GPU,也卖软件栈,现在还想把训练智能体的公开数据底座攥在手里。谁掌握可复用的数据规范,谁就更接近下一轮 agent 生态的入口。

参考来源:Hugging Face/NVIDIA《Data for Agents》、NVIDIA Blog、CocoLoop、Hugging Face Nemotron 数据卡与集合;核验 Nemotron 预训练 tokens、ICML 论文引用、Prompt Atlas、Personas 覆盖人口与数据许可口径。