網信辦AI整治二階段查處帳號逾4.9萬個

中國中央網路安全和資訊化委員會辦公室(網信辦)公布了「清朗.整治AI應用亂象」專項行動第二階段的執行情況。這個階段累計清理違法違規資訊561萬餘則,查處帳號4.9萬餘個,處置違規網站、應用程式等2400餘個,各平台合計發布治理公告46期。北京、上海、浙江、廣東等地網信部門參與了具體執法。

第二階段鎖定的問題,和第一階段完全不同:利用AI製作發布不實資訊、散布暴力低俗等不良內容、假冒仿冒他人、侵害未成年人權益、從事網路帶風向(俗稱「網軍」)活動,以及AI產品本身輸出的違規內容。

從盯產品到清帳號

這場專項行動從今年四月底展開,為期四個月,分兩個階段,聚焦14類突出問題。把兩階段的成果並排放,重心的位移一目了然。

第一階段的公告顯示,處置違規AI產品1.4萬餘款、下架違規AI產品1300餘款、下架違規開源資料集9個,管的是技術源頭:大型模型有沒有依規定備案登記、平台的安全審核過濾能力夠不夠、訓練語料有沒有被汙染、生成合成內容標示有沒有落實。打擊的對象是產品本身。

第二階段的產品處置量降到2400個,帳號處置量卻從2.6萬個跳到4.9萬個,將近翻倍。清理的資訊則數兩階段大致持平(600萬餘則對561萬餘則),但同樣的內容量,背後牽出的帳號數卻多了將近一倍。粗略換算,第一階段平均每個被處置帳號關聯約230則違規資訊,第二階段降到115則左右。單一帳號的產出量在下滑,涉入的帳號數卻在上升。這是典型的「工具普及之後」的樣態:AI生成的門檻降低,批量造帳號灌內容的成本跟著降低,治理的顆粒度也只能跟著往下沉。

平台端交出的作業

內容平台這一端,抖音、快手、微博、騰訊、百度、嗶哩嗶哩、小紅書、知乎、豆瓣、淘寶的動作集中在辨識能力上:優化多模態辨識模型,動態擴充人臉庫、聲紋庫和違規樣本庫,上線人臉即時治理系統。人臉和聲紋被特別點出來,指向的正是這個階段最棘手的問題——假冒仿冒他人,也就是俗稱的換臉和模仿聲音。

AI產品這一端,豆包、元寶、通義千問、文心一言被點名,要求嚴把原始語料的內容審核關,嚴格限制違規內容輸出,強化AI生成合成內容標示要求的落實。監管把生成端和發布端一起納入考核:模型不生成違規內容是第一道關卡,平台能辨識得出來是第二道關卡,兩道關卡都要留有紀錄可查。

發布鏈的最上游也沒被放過。幾家主流手機廠商的應用程式商店被要求訂定嚴格的開發者准入規範與上架要求,對架上APP進行抽查複測,把違規應用程式攔在入庫環節。開發者備案、App上架、內容生成、內容發布、帳號經營,五個環節這一輪都有對應的處置口徑。

合規的重心落在哪一端

對國內從事AI應用開發的團隊來說,兩階段的差異落到實務上,就是合規成本的科目變了。

第一階段要過的是准入關:模型備案、語料來源、內容標示,屬於一次性投入,做完能撐一段時間。第二階段考的是營運關:產品上線之後,是誰在用、生成了什麼、有沒有被拿去批量刷帳號,這些都算到平台頭上。46期治理公告和4.9萬個被查處的帳號說明,這一關不是靠一份資料交差就能過,靠的是持續運作的審核系統與處置流程。

內容標示這條線尤其值得留意。它在第一階段是「有沒有做」的合規項目,到第二階段變成了追責鏈路的起點:一則被檢舉的不實資訊,標示齊全就能順著標示回溯到生成端,標示缺失則整條鏈路的責任要平台自己說明。真金白銀的投入會往審核系統和溯源能力上傾斜,而不再只是備案資料本身。

參考來源:中央網信辦通報、新華網、CocoLoop、中新網;兩階段的清理資訊則數、查處帳號數與違規產品處置量均按官方公告口徑逐項核對,帳號均量為依公開數字概算。