智能体
dev.to ·
@Growth Radar
如何检查 AI 爬虫是否真能读取你的网站
文章介绍约五分钟内可完成的检查方法，指出拦截可能发生在 robots.txt 和主机/CDN/防火墙两处，并强调训练索引类爬虫与用户提问时抓取页面的爬虫属于不同 user agent 和 robots.txt 分组，需分别检查。
AI推荐理由 提供可操作的检查思路：区分训练/索引爬虫（GPTBot、ClaudeBot、PerplexityBot）与问答抓取爬虫（ChatGPT-User 等），并提醒 robots.txt 之外还有 CDN/防火墙拦截。属开发者实用内容，但为个人博客教程，无实测数据。
62
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。