史丹佛:加州起訴狀逾三分之一有AI痕跡

AI policy illustration: scales on a circuit base with a red weight

史丹佛 RegLab 於 11 月 19 日發布研究,統計美國四個郡級法院起訴狀中的 AI 輔助寫作痕跡。加州聖塔克拉拉郡與舊金山郡 2026 年的非債務催收類起訴狀中,帶有 AI 訊號的比例分別為 38% 和 36%;奧克拉荷馬州的塔爾薩郡與奧克拉荷馬郡則分別是 17% 和 16%。

聖塔克拉拉郡這項指標在 2022 年還接近零。成長最快的是沒有委任律師、自行提告的當事人,從 2024 年的 19% 升到 2026 年的 72%;律師提交的文書則從 5% 升到 34%。依案件類型來看,加州的勞資與商業糾紛比例最高,債務催收起訴狀幾乎看不到 AI 跡象,這類起訴狀在部分法院占了近一半。AI 訊號多出現在事實陳述和訴因兩個部分。

拿幻覺案例當標準答案

難處在於如何證明。研究團隊以 Damien Charlotin 維護的資料庫為基礎,這個資料庫自 2025 年 4 月起收錄法官指控或訓誡當事人使用虛假引用的案例,美國已記錄 1,500 多件。這些文書中的錯誤明顯到足以確定使用了 AI,很適合當作真值。

研究者把它與一組精心挑選的對照樣本合成新基準 PhantomDocket,並提出一種稱為 ScoreMix 的校準方法,用來估計有多少起訴狀比較像這些幻覺文書,而不像 ChatGPT 出現之前的文書。現成的檢測器 Pangram 和 EditLens 直接拿來用效果不佳,不是測不出來,就是需要大量調參。Pangram Labs 為研究提供了存取權限,研究團隊表示該公司並未參與研究設計與分析。

"AI detection is most reliable for estimating population prevalence, not pinpointing which specific filings used AI."

(AI 檢測最可靠的用途是估算整體比例,而不是認定具體哪份文書用了 AI。)

法律寫作用詞狹窄、套話多,留給檢測器的訊號本來就少,商用檢測器的訓練資料裡也未必有法律文本。即使是最好的檢測器,誤報率與漏報率也不低。研究公告並未公布 PhantomDocket 的樣本規模與檢測器準確率表格,這部分要看論文全文。團隊的政策建議是,法院應推行 AI 使用揭露制度,讓日後的統計與究責有所依據。

放到中國法院來看

中國對應的文件是最高人民法院 2022 年 12 月發布的《關於規範和加強人工智慧司法應用的意見》。它主要規範法院自身如何運用 AI 輔助辦案,並明確 AI 不得取代法官裁判。至於當事人和律師提交的起訴狀、代理詞若使用了生成式 AI,是否需要聲明,公開條文中沒有專門規定。

美國已有一些聯邦法官要求律師以書面說明是否使用生成式 AI,並親自核對引用。史丹佛這份研究給出的提醒是,在沒有揭露要求的地方,外界只能靠檢測器去估算一個整體比例,而且誤差不小。對於中國越來越多以大型語言模型起草訴狀的當事人與律師事務所而言,虛假引用的風險是一樣的,被法官發現之後的後果,目前要看各地法院的個案處理。

參考來源:史丹佛 HAI、史丹佛 RegLab 論文、CocoLoop、中國最高人民法院;核實四個郡級法院的 AI 訊號比例、本人起訴與律師文書的變化、幻覺案例資料庫規模與檢測結果區間。