注目★★★★★Hacker News
「AIが書いたコード率」は行数カウントの焼き直し——成果指標の消滅を問う
30秒で把握
- 1「AIコード率」は行数指標の焼き直しで成果と無関係と著者が批判
- 2METR調査が錯綜・6,000社調査で約9割が生産性向上を測定できず
- 3AnthropicのRCTはコード理解17%低下・有意な生産性向上なしを報告
要約
業界各社が「コードの75%をAIが生成」などの量的指標を競って喧伝しているが、これらはかつて無意味とされた「コード行数」と本質的に同じ虚栄指標だと著者は批判する。数年前はGitHub Copilotの「タスク完了55%高速化」のような成果ベースの主張が主流だったが、研究結果が複雑化するにつれ量的指標に置き換わった。METR調査では熟練開発者がAI使用時に19%遅化したとの結果が出た一方、後続調査では速度向上に転じるなど知見が錯綜し、組織レベルでは約6,000社の調査で約9割が生産性向上を測定できていない。AnthropicはRCT研究でAI支援開発者がコード理解スコアで17%低下し、有意な生産性向上も見られなかったと報告する一方で「8倍のコード出荷」と宣伝しており、こうした数字が人員削減の根拠として実際に使われている点に著者は警鐘を鳴らす。
あなたへの影響
採用・人員計画にAI生産性指標を活用しているチームは、量的指標（生成コード率・PR数）ではなく出荷サイクルタイム・インシデント率・コード理解度など成果指標での評価基準を今四半期中に整備すべき。
推奨：AI指標を根拠にした組織判断が実態と乖離すれば、誤った人員削減や過剰な自動化投資につながり得る。