注目★★★★★Hacker News
arXiv 論文の 3 分の 1 が AI 作成か、測定方法と限界を公開
30秒で把握
- 1arXiv 論文 12,750 本分析で 2026 年上半期の新規論文約 32% が AI 作成特性を示唆
- 2計算機科学 65% vs 数学 0.7%・分野別ばらつき大きい・誤検知 0.4% で基準化
- 3検出器は生成モデル被覆不完全・軽編集と完全生成の区別不可・報告値は採用下限扱い
要約
研究チームが 12,750 本の arXiv 論文を分析し、2026 年上半期の新規論文の約 32% が機械生成の特性を示すと判明した。ChatGPT 登場前 (2021-2022) の論文を基準に検出器の誤検知率を 0.4% に固定し、それ以上の上昇を計測する手法を採用した。計算機科学で 65% に達する一方、数学は 0.7% で、分野ごとに大きなばらつきがある。検出器は生成モデルの完全な被覆には及ばず、軽度の AI 補助編集を区別できないため、報告値は採用下限と位置付けられている。
あなたへの影響
学術コミュニティが AI 論文増加に直面する中、単純な「X% が AI」という見出しの落とし穴を回避した誠実な計測として参考価値がある。
推奨：ただし検出器が特定の生成モデルに最適化され分野依存性も大きいため、数値の過度な一般化は避け、記事内の限界セクションを含めて理解すべき。