注目★★★★★Lobsters
git.kernel.org、AIクローラーにCPUの20%を奪われ機能制限へ
30秒で把握
- 1git.kernel.orgでAIスクレイパーがCPU容量の約20%を常時占有
- 21日600万件の要求にAnubisを適用し66%を遮断
- 3正規トラフィックは約2%・匿名アクセス機能を削減
要約
git.kernel.org は、AIクローラーが正規利用を大きく上回るCPU資源を消費していると報告した。5拠点・計90コアのうち14〜16コアが、スクレイパー向けのGitコミットHTML生成に常時使われ、全容量の約20%を占有する。1日約600万件のランダムなコミット要求があり、Anubisのチャレンジで66%を遮断しても33%は計算を突破する。正規リクエストは多く見積もっても全トラフィックの約2%で、運営側はクロール可能なURLや匿名アクセス機能を削減する。
あなたへの影響
git.kernel.orgを自動取得する日本の開発・CI運用者は、匿名アクセスや大量URL巡回への依存を見直し、必要なデータはミラーまたは一括ダウンロードで取得してください。
推奨：AIクローラー対策の強化により、匿名利用時の機能制限が発生する可能性があります。