注目★★★★★Cloudflare
Cloudflare、robots.txt を自動同期する Bot Preference Sync 発表
30秒で把握
- 1Cloudflare、Search / Agent / Training カテゴリ別 AI ボット設定を robots.txt に自動同期する Bot Preference Sync を全ティアで提供
- 2Training を Disallow した場合、robots.txt 尊重と URL 単位の利用開示を約束するボットのみアクセス許可・検索順位低下なし
- 3既存 robots.txt は上書きされず先頭に設定を追加・新規ユーザはデフォルト有効・既存ユーザは移行時に設定を確認
要約
Cloudflare は Bot Preference Sync を全ティアで提供開始し、AI ボット ポリシー (Search / Agent / Training) と robots.txt を自動同期する機能を導入した。サイト管理者が Cloudflare のダッシュボードで設定した AI ボットの許可・ブロック設定が、robots.txt に自動的に反映されるため、静的ファイルの手動管理が不要になる。Training 機能では Disallow 設定を選ぶと、透明性基準を満たす協力的なボット (robots.txt の "no training" 指示を尊重し URL レベルの利用状況を開示するボット) に限りコンテンツへのアクセスを許可しつつ検索インデックスに残す仕組みで、サイト管理者はボットの実際の利用状況を直接検証できる。既存顧客は旧マネージド robots.txt から新機能への移行を促され、新規顧客は Bot Preference Sync がデフォルトで有効になる。
あなたへの影響
AWS や Google が自動要約・引用に向けた robots.txt ルール策定の圧力を高める中、Cloudflare がポリシー・実施・ファイル内容の 3 者を自動で整合させる仕組みを用意したことで、実装を単純化しつつ透明性基準 (robots.txt 尊重 + URL 単位の開示) を満たすボットだけに権利を付与する方針をハードコーディングできるようになった。
推奨：ウェブサイト運用チームは既存の robots.txt を上書きされない形で設定を反映できるため、導入リスクが低く、4Q 中の評価・導入検討の価値がある。