注目★★★★★Lobsters
LLMコーディングアシスタントのコード審査論は破綻している
30秒で把握
- 1LLM コーディングアシスタントは実証研究から生産性向上を裏付ける根拠が不十分で、審査工数が実際の制約になる可能性が高い
- 2コード審査は 1 時間上限・400 LOC/時間上限という経験的制限があり、LLM 出力全審査は現実的なスケールでない
- 3LLM 生成コード審査は人間コード審査より欠陥検出精度が低い初期証拠が示唆され、導入前に実測評価が重要
要約
Thomas Depierre は LLM コーディングアシスタントの有効性を科学的根拠に基づいて批判している。LLM が生成したコードを「インターンと同じように審査すればいい」という擁護論が業界で繰り返されるが、実証的な研究では審査は 1 時間を超えると効率が落ち、1 時間あたり 400 LOC が上限とされている。この制約から、LLM コーディングアシスタント利用者は 1 日数千 LOC が上限となり、実質的な生産性向上は期待できないと指摘する。さらに、LLM 生成コードのレビューは人間のコードレビューより欠陥検出の精度が低いという初期的証拠もあり、「審査すれば大丈夫」という主張は現実的でないと論じた。
あなたへの影響
生産性向上を期待して LLM コーディングアシスタントの導入を検討する開発組織は、審査工数の実際的な負担と欠陥検出効率の低下につながり得るため。
推奨：導入前に小規模なパイロット評価を実施して実際の生産性変化を測定すべき。