AI安全研究組織METR進行了一項實驗，結論讓不少人大跌眼鏡：有經驗的開發者使用AI程式設計工具後，完成任務的速度反而下降了19%。
實驗設計
METR找了一批有經驗的軟體開發者，讓他們在兩種條件下完成相同的程式設計任務：
- 實驗組：可以自由使用AI程式設計工具
- 對照組：不使用AI工具
任務涵蓋了錯誤修復、功能開發、程式碼重構等常見開發場景。
為什麼會更慢
研究發現主要有幾個原因：
1. 審查成本
AI生成的程式碼不能盲目接受，需要逐行審查。有經驗的開發者對程式碼品質要求高，花在審查和驗證上的時間超過了AI節省的編寫時間。
2. 上下文切換
在自己思考和審查AI輸出之間頻繁切換，打斷了開發者的思考流（flow state）。
3. 過度依賴傾向
一些開發者發現自己在AI給出建議後，會花時間「調教」AI而不是自己直接寫——而直接寫往往更快。
關鍵限制條件
這個研究有幾個重要的限制：
- 樣本量不大
- 任務類型有限
- 使用的AI工具可能不是最新最強的版本
- 「有經驗」的開發者本身就很快，提升空間小
對於初級開發者，AI工具的效率提升可能完全不同。METR的研究針對的是「有經驗」這個群體，不能直接推廣到所有開發者。
怎麼理解
這個研究不是說AI程式設計工具沒用，而是說效率提升不是自動的。需要學習正確的使用方式、在合適的場景下使用、建立有效的人機協作流程。
最好的開發者不是「使用AI最多」的人，而是知道什麼時候該用、什麼時候不該用的人。
參考來源：CocoLoop、METR研究報告