261 个头部网站屏蔽了哪些 AI 爬虫？研究数据

作者检查了 285 个高访问量网站的 robots.txt，其中 261 个返回可读文件。统计显示：59 个站点（22.6%）禁止 GPTBot，35% 的站点至少屏蔽一个训练爬虫，21% 至少屏蔽一个搜索爬虫。CCBot（Common Crawl）和 Bytespider（字节跳动）被屏蔽比例最高，均为 28.7%；ChatGPT 搜索背后的 OAI-SearchBot 最低，为 11.5%。整个样本中只有 Reddit 屏蔽 Googlebot。样本包含 48 个新闻站点，其中 27 个屏蔽 GPTBot，接近全部 GPTBot 屏蔽者的一半，新闻网站是屏蔽主力。完整报告与原始数据在文末链接。

AI推荐理由 基于 285 个高访问量网站 robots.txt 的实测统计，给出 GPTBot 被 22.6% 站点禁止、CCBot 与 Bytespider 各 28.7%、OAI-SearchBot 最低 11.5%、Reddit 是唯一屏蔽 Googlebot 的站点等具体数据，并区分训练爬虫与搜索爬虫，对 AI 数据获取与内容生态有参考价值；样本为 261 个可读文件，结论限于该样本。