智能体
dev.to ·
@Ali Farhat
Cloudflare 将 AI 训练与搜索流量分开控制,但 Googlebot 规则需仔细核查
Cloudflare 已用 Search、Agent 和 Training 三类独立控制取代此前一键式 AI 机器人拦截方案,于 2026 年 9 月 15 日部署。该变化让网站所有者能更细粒度地决定 AI 系统如何访问内容,但也带来运营问题:兼具搜索和 AI 训练用途的爬虫可能受 Training 规则影响,包括在 Cloudflare 合并爬虫行为下的 Googlebot。依赖自然搜索流量的企业需核查所选设置是否影响多用途爬虫。
AI推荐理由 Cloudflare 于 2026 年 9 月 15 日上线新系统,将原先一键式 AI 机器人拦截拆分为 Search、Agent 和 Training 三类独立控制。文章指出,兼具搜索与 AI 训练用途的爬虫(如 Googlebot)可能受 Training 规则影响,网站运营者需仔细核查设置。该变化对依赖自然搜索流量的网站有实际运营影响,但文章为第三方解读,需结合 Cloudflare 官方公告核实。
66
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。