AI 爬虫不执行你的 JavaScript

文章指出 ChatGPT、Claude、Perplexity 背后的主要 AI 爬虫只下载 HTML、不执行 JavaScript，因此前端渲染的页面在 AI 搜索中呈现为空壳；Googlebot 会执行 JS，导致该问题长期被忽视。文中引用 Vercel 2024 年 12 月对 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Meta-ExternalAgent、Bytespider、PerplexityBot 的爬虫流量研究，并附浏览器与无 JS 爬虫的对比演示。

AI推荐理由 指出一个对 AI 搜索可见性有实际影响的技术事实：ChatGPT、Claude、Perplexity 等主要 AI 爬虫不执行 JavaScript，仅抓取 HTML，因此依赖前端渲染的页面在 AI 搜索中近乎不存在；并引用 Vercel 2024 年 12 月对 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Meta-ExternalAgent、Bytespider、PerplexityBot 的爬虫流量研究作为依据。对做 SEO/AEO 与内容分发的开发者有直接用途；局限是核心证据来自第三方研究且摘要未给出完整数据，结论需结合自身站点验证。