中央网信办通报了”清朗·整治 AI 应用乱象”专项行动第二阶段的工作情况。这一阶段累计清理违法违规信息 561 万余条,查处账号 4.9 万余个,处置违规网站、应用程序等 2400 余个,各平台合计发布治理公告 46 期。北京、上海、浙江、广东等地网信部门参与了具体执法。
第二阶段瞄准的问题和第一阶段完全不同:利用 AI 制作发布虚假信息、散播暴力低俗等不良信息、假冒仿冒他人、侵害未成年人权益、从事网络水军活动,以及 AI 产品自身的违规内容输出。
从关产品到清账号
这场专项行动从今年四月底部署,为期四个月,分两个阶段,聚焦 14 类突出问题。把两阶段的战果并排放,重心的位移一目了然。
第一阶段的通报里,处置违规 AI 产品 1.4 万余款、下架违规 AI 产品 1300 余款、下架违规开源数据集 9 个,管的是技术源头:大模型有没有按规定备案登记、平台的安全审核过滤能力够不够、训练语料有没有被投毒、生成合成内容标识有没有落地。打击对象是产品本身。
第二阶段的产品处置量降到 2400 个,账号处置量从 2.6 万个跳到 4.9 万个,接近翻倍。清理的信息条数两阶段大体持平(600 万余条对 561 万余条),但同样的内容量,背后牵出的账号多了将近一倍。粗略推算,第一阶段平均每个被处置账号关联约 230 条违规信息,第二阶段降到 115 条左右。单个账号的产量在下降,参与的账号数在上升。这是典型的”工具普及之后”的形态:AI 生成门槛降低,批量造号铺内容的成本跟着降低,治理的颗粒度只能跟着往下沉。
平台侧交出的作业
内容平台这一侧,抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝的动作集中在识别能力上:优化多模态识别模型,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统。人脸和声纹被单拎出来,指向的是这一阶段最难缠的一类问题——假冒仿冒他人,也就是俗称的换脸和拟声。
AI 产品这一侧,豆包、元宝、千问、文心一言被点名要求严把原始语料内容审核关,严格限制违规内容输出,强化 AI 生成合成内容标识要求的落地。监管把生成端和分发端一起纳入了考核:模型不生成是第一道闸,平台识别得出是第二道闸,两道闸都要有记录可查。
分发链条的最上游也没放过。几家主流手机厂商的应用商店被要求制定严格的开发者准入规范和上架要求,对在架 APP 进行抽检复测,把违规应用拦在入库环节。开发者备案、应用上架、内容生成、内容分发、账号运营,五个环节这一轮都有对应的处置口径。
合规的重心在哪一头
对国内做 AI 应用的团队来说,两个阶段的差别落到实处,是合规成本的科目变了。
第一阶段要过的是准入关:模型备案、语料来源、内容标识,属于一次性投入,做完能管一段时间。第二阶段考的是运营关:产品上线之后,谁在用、生成了什么、有没有被拿去批量刷号,这些都算到平台头上。46 期治理公告和 4.9 万个被查处的账号说明,这一关不靠一份材料交差,靠的是持续跑起来的审核系统和处置流水线。
内容标识那条线尤其要留意。它在第一阶段是”有没有做”的合规项,到第二阶段变成了追责链路的起点:一条被举报的虚假信息,标识齐全就能顺着标识回溯到生成端,标识缺失则整条链路的责任要平台自己解释。真金白银的投入会往审核系统和溯源能力上倾斜,而不再只是备案材料本身。
参考来源:中央网信办通报、新华网、CocoLoop、中新网;两个阶段的清理信息条数、查处账号数与违规产品处置量均按官方公告口径逐项核对,账号均量为按公开数字粗算。