Cloudflare 可能在拦截 Googlebot，而 robots.txt 不会告诉你

文章称 Cloudflare 于 2026-09-15 改变了 AI 流量的“拦截”定义：新域名、现有账户下的新站点以及未修改该设置的自由套餐账户，默认禁止 AI Training 爬虫并在含广告页面拦截 AI Agents。由于 Googlebot 被归类为混合用途爬虫，按最严格规则处理，Training 被禁时其在广告支持页面的抓取与 sitemap 请求会收到 403，Bingbot 和 Applebot 同理，而 robots.txt 仍显示 Allow，Search Console 会报告抓取失败。

AI推荐理由 指出 Cloudflare 2026-09-15 调整 AI 流量拦截语义后，混合用途爬虫（Googlebot、Bingbot、Applebot）在广告页面上可能被按最严格规则处理而返回 403，且 robots.txt 仍显示 Allow，对站点运营与 AI 抓取策略有实际排查价值；但属第三方转述，未附官方公告链接或复现数据。