最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
智能体 dev.to · @Ali Farhat

Cloudflare 将 AI 训练与搜索流量分开控制,但 Googlebot 规则需仔细核查

原文 我的收藏

Cloudflare 已用 Search、Agent 和 Training 三类独立控制取代此前一键式 AI 机器人拦截方案,于 2026 年 9 月 15 日部署。该变化让网站所有者能更细粒度地决定 AI 系统如何访问内容,但也带来运营问题:兼具搜索和 AI 训练用途的爬虫可能受 Training 规则影响,包括在 Cloudflare 合并爬虫行为下的 Googlebot。依赖自然搜索流量的企业需核查所选设置是否影响多用途爬虫。

AI推荐理由 Cloudflare 于 2026 年 9 月 15 日上线新系统,将原先一键式 AI 机器人拦截拆分为 Search、Agent 和 Training 三类独立控制。文章指出,兼具搜索与 AI 训练用途的爬虫(如 Googlebot)可能受 Training 规则影响,网站运营者需仔细核查设置。该变化对依赖自然搜索流量的网站有实际运营影响,但文章为第三方解读,需结合 Cloudflare 官方公告核实。

66

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容