Cloudflare推出Bot Preference Sync同步AI爬虫偏好

Cloudflare推出Bot Preference Sync，用于将网站AI bot配置中的访问偏好同步到robots.txt。

Cloudflare表示，Bot Preference Sync面向Free至Enterprise全部客户开放，可按Search、Agent和Training等AI流量类别设置偏好，并将对应规则写入robots.txt。功能可以随时开启或关闭，网站无需维护针对单一用途的静态文件。

该机制用于让网站声明的抓取偏好与Cloudflare AI bot配置保持一致，适用于希望区分搜索收录、代理访问和模型训练流量的网站。实际拦截效果仍由Bot Management等执行规则以及爬虫对robots.txt的遵循情况决定。

来源：Cloudflare Blog，发布时间：2026年8月21日。