Cloudflare推出Bot Preference Sync同步AI爬虫偏好

Cloudflare推出Bot Preference Sync，用于将网站AI bot配置中的访问偏好同步到robots.txt。

Cloudflare表示，Bot Preference Sync面向Free至Enterprise全部客户开放，可按Search、Agent和Training等AI流量类别设置偏好，并将对应规则写入robots.txt。功能可以随时开启或关闭，网站无需维护针对单一用途的静态文件。

该机制用于让网站声明的抓取偏好与Cloudflare AI bot配置保持一致，适用于希望区分搜索收录、代理访问和模型训练流量的网站。实际拦截效果仍由Bot Management等执行规则以及爬虫对robots.txt的遵循情况决定。

偏好声明不等于访问控制

启用后，站长仍应查看实际生成的 robots.txt，确认不同类别对应的规则与预期一致，并检查网站其他层的访问策略。robots.txt 是供爬虫读取的偏好声明，不是身份验证或网络层拦截机制；不能把它当作保护私密页面、阻止所有抓取或执行版权授权管理的唯一手段。

如果目标是减少特定自动化流量，应先明确希望允许搜索索引、代理访问还是训练用途，再用站点日志观察规则变更前后的请求来源与流量变化。对不遵循声明的客户端，还需要结合站点现有的 bot 管理或访问控制措施处理。这样可以把“配置已同步”和“请求确实受到控制”作为两件事分别核验。

来源：Cloudflare Blog，发布时间：2026年8月21日。