AI安全研究機関METRが実施した実験は、多くの人にとって意外な結論をもたらした。経験豊富な開発者がAIコーディングツールを使用すると、タスク完了速度がむしろ19%低下したのである。
実験設計
METRは経験豊富なソフトウェア開発者を集め、同一のプログラミングタスクを2つの条件下で完了させた。
- 実験グループ：AIコーディングツールを自由に使用可能
- 対照グループ：AIツールを使用しない
タスクはバグ修正、機能開発、コードリファクタリングなど、一般的な開発シナリオを網羅した。
なぜ遅くなったのか
研究では主に以下の要因が特定された。
1. レビューコスト
AIが生成したコードを盲目的に受け入れることはできず、1行ずつのレビューが必要となる。経験豊富な開発者はコード品質への要求が高く、レビューと検証に費やす時間が、AIが節約した記述時間を上回った。
2. コンテキストスイッチング
自身で考えることとAIの出力をレビューすることの間で頻繁に切り替わることで、開発者のフロー状態が中断された。
3. 過度な依存傾向
一部の開発者は、AIが提案を行った後、直接コードを書く代わりにAIを「調教」することに時間を費やしていることに気づいた。直接書く方がしばしば速いにもかかわらずである。
重要な制約条件
この研究にはいくつかの重要な限界がある。
- サンプルサイズが小さい
- タスクの種類が限られている
- 使用されたAIツールは最新または最強のバージョンではない可能性がある
- 「経験豊富な」開発者はそもそも作業が速く、改善の余地が小さい
ジュニア開発者にとっては、AIツールによる効率への影響はまったく異なる可能性がある。METRの研究は「経験豊富な」集団に焦点を当てたものであり、その結果をすべての開発者に一般化することはできない。
どう理解すべきか
この研究はAIコーディングツールが役に立たないと言っているのではない。むしろ、効率向上は自動的にはもたらされないことを示している。正しい使用方法を学び、適切なシナリオでツールを適用し、効果的な人間とAIの協働フローを確立する必要がある。
最高の開発者とは「AIを最も多く使う人」ではなく、いつ使うべきか、いつ使うべきでないかを知っている人である。
出典：CocoLoop、METR研究報告書