ピュー研究所のデータラボが、Webページの抽出調査レポートを公表した。2021年1月から2026年7月までのCommon Crawlのスナップショット49回分から、それぞれ1万件ずつ英語ページを抽出し、合計49万ページに対してAI執筆検出を1件ずつ実行したという。サンプル全体では10%のページに明確なAI関与の痕跡が見られた。ChatGPT登場以前の古いページを除外すると、この割合は35%まで跳ね上がる。
10%と35%は別物の数字
この2つの数字はしばしば混同して引用されるが、意味する範囲はまったく違う。10%はサンプル全体を対象とした数字で、その中には大規模にAIが文章を書けるようになる前の2021年・2022年の既存ページが大量に含まれており、分母が薄められている。一方の35%は2022年11月以降に初めて出現したページだけを対象としており、「新規コンテンツのうちどれだけにAIの手が入っているか」という問いに答えるのはこちらの数字だ。ピュー自身も、AIが普及する前の年については検出モデルの誤検出率が高くなると注意を促しており、2021〜2022年部分の推移はそのまま鵜呑みにできないとしている。
判定しきい値は0.2
検出には、Pangramがオープンソースで公開しているeditlens_Llama-3.2-3Bを使用した。出力されるのは0から1のスコアで、0は完全に人間による執筆、1は完全にAI生成を意味する。ピューは0.2を境界線とし、これを超えると「意味のあるAI関与」と判定した。このしきい値はかなり緩く、人間が書いた原稿をAIに文法だけ手直ししてもらった場合でも、おそらく境界線を超えてしまう。つまりこの調査が測っているのは「AIがどれだけ書いたか」というより「AIがどれだけ手を加えたか」に近い。
オープンソースモデルの信頼性を確認するため、ピューは62,370ページをPangramの商用版3.3にも同時にかけている。両者の判定は96%が一致した一方、テストサンプルにおけるCohenのカッパ係数は0.61にとどまり、一致度は「中程度」にすぎない。1ページ単位の判定を証拠として扱うことはできず、信頼できるのはあくまで全体の推移だという。
ダッシュ、オックスフォードカンマ、そして「delve」
レポートは文体面の指標もいくつか集計している。2023年1月から2026年1月にかけて、1万語あたりのダッシュ(em dash)の使用回数は5.79回から11.19回へとほぼ倍増した。オックスフォードカンマは34.04回から55.51回へと63%増加。「delve」「interplay」「testament」といった単語の出現頻度も2倍以上に伸びた。さらに、ある表現をいったん否定してから別の表現を提示する「否定型対句」の使用は0.87回から2.36回へと、ほぼ3倍に増えている。
この結果は書き手にとって決して良いニュースではない。ダッシュやオックスフォードカンマはもともと英語の正当な句読法の一つに過ぎないが、AIモデルがあまりに多用するせいで、いまや疑わしい証拠として扱われるようになった。検出ツールが普及するほど、人間の書き手は自分自身の文体の「潔白」を証明しなければならなくなる。
.comと.govでは10倍の差
ドメイン別に見ると、2026年のサンプルでは.comページの約1割にAIの痕跡が見られたのに対し、.orgは4.6%、.eduと.govはいずれも1%前後にとどまった。この差は、それぞれのサイトが置かれているコンテンツ生産のプレッシャーとおおむね一致する。商業サイトは更新頻度によってトラフィックを稼ぐ必要があるのに対し、学術機関や政府機関のサイトにはそうした評価軸がない。
今回の調査対象は英語ページに限られ、ログイン制限や課金コンテンツの裏側は対象外となっている。したがってこれは、あくまで公開されている英語圏インターネットの一断面にすぎない。中国語圏ではまだ同じ手法での定量調査は行われていないが、コンテンツファームの工業化の進み具合を考えれば、割合はむしろこれより高くなると見られる。さらにやっかいなのは、こうしたページ群が次世代モデルの学習データになりつつあるという点で、判定しきい値0.2のラインも今後さらに引き上げが必要になる可能性が高い。
参考資料：ピュー研究所データラボのレポートおよび方法論ページ、CocoLoop、The Independent、TechCrunch。49万件のサンプル数、0.2の判定しきい値、ドメイン別の割合、1万語あたりの句読点頻度は、いずれもピューの方法論ページの記載に基づく。