スタンフォード調査、加州の訴状の3分の1超にAI痕跡

AI policy illustration: scales on a circuit base with a red weight

スタンフォード大学のRegLabは11月19日、米国の4つの郡裁判所に提出された訴状について、AI支援による執筆の痕跡を調べた研究を公表した。2026年の債権回収以外の訴状でAIの兆候が見られた割合は、カリフォルニア州のサンタクララ郡で38%、サンフランシスコ郡で36%。オクラホマ州ではタルサ郡が17%、オクラホマ郡が16%だった。

サンタクララ郡でこの指標は、2022年にはほぼゼロだった。最も伸びが大きいのは、弁護士を立てず自分で提訴した当事者で、2024年の19%から2026年には72%に上昇した。弁護士が提出した書面も5%から34%に増えている。事件類型別では、カリフォルニア州の雇用紛争と商事紛争で割合が最も高かった。一部の裁判所で訴状の半数近くを占める債権回収の訴状には、AIの形跡がほとんど見られなかった。AIの兆候は、事実の記述と請求原因の部分に多く現れていた。

ハルシネーション事例を「正解データ」に

難しいのは、それをどう証明するかだ。研究チームは、Damien Charlotin氏が管理するデータベースを土台にした。このデータベースは2025年4月から、裁判官が当事者に架空の引用を指摘・戒告した事例を収録しており、米国では1,500件超が記録されている。これらの書面は誤りが明白で、AIの使用を確定できるため、正解データとして使いやすい。

研究者らはこれを、慎重に選んだ対照サンプルと組み合わせて新しいベンチマークPhantomDocketを作成。さらにScoreMixと呼ぶ補正手法を提案し、ChatGPT登場前の書面よりも、こうしたハルシネーションを含む書面に近い訴状がどれだけあるかを推定した。既存の検出器PangramとEditLensは、そのまま使うと性能が十分でなく、検出できないか、大幅な調整が必要だった。Pangram Labsは研究にアクセス権を提供したが、研究チームによれば、同社は研究の設計や分析には関与していない。

"AI detection is most reliable for estimating population prevalence, not pinpointing which specific filings used AI."

(AI検出が最も信頼できるのは全体の割合を推定する用途であり、特定の書面がAIを使ったと断定する用途ではない。)

法律文書は使う語彙が限られ、定型表現も多いため、検出器が拾える信号がもともと少ない。商用検出器の学習データに法律文書が含まれているとも限らない。最良の検出器でも、誤検出率と見逃し率は低くない。研究の発表資料には、PhantomDocketのサンプル規模や検出器の精度表は示されておらず、論文本文を確認する必要がある。チームの政策提言は、裁判所がAI使用の開示制度を導入し、今後の統計や責任追及に根拠を持たせるべきというものだ。

中国の裁判所に置き換えると

中国で対応する文書は、最高人民法院が2022年12月に公表した「人工知能の司法応用の規範化と強化に関する意見」だ。主に裁判所自身がAIで事件処理を補助する際のルールを定めたもので、AIが裁判官に代わって裁判してはならないと明記している。当事者や弁護士が提出する訴状や代理意見書に生成AIを使った場合に申告が必要かどうかは、公開されている条文には特段の規定がない。

米国では、弁護士に生成AIの使用有無を書面で説明させ、引用を自ら確認するよう求める連邦判事がすでにいる。スタンフォードの研究が示す教訓は、開示義務のない場所では、外部から検出器で全体の割合を推定するしかなく、その誤差も小さくないということだ。大規模言語モデルで訴状を起草する当事者や法律事務所が増えている中国でも、架空の引用というリスクは同じで、裁判官に見つかった後の扱いは、当面は各地の裁判所の個別判断に委ねられる。

参考資料:スタンフォードHAI、スタンフォードRegLabの論文、CocoLoop、中国最高人民法院。確認事項:4つの郡裁判所のAI兆候の割合、本人提訴と弁護士提出書面の変化、ハルシネーション事例データベースの規模、検出結果の幅。