150 万ページのサイトを襲うスクレイパー、トラフィックの 99% がボット

要約

ウェブサイト運営者が 1 年間にわたってスクレイパー対策と戦った実体験を記録した。総トラフィックの 99% がボットによるスクレイパーアクセスであり、正規ユーザーは 1% に満たないことが判明した。運営者は複数のボット対策手段 (IP ブロック、User-Agent フィルタリング、レート制限等) を導入し、段階的にスクレイパーを排除していった。現在も新たなボット手法の出現に対して継続的な検出・遮断が必要な状況が続いており、スケール運営サイトの保全コストが著しく増加している。