我抓取了 3,014 个休斯顿企业网站，看 AI 爬虫实际能看到什么

作者从 OpenStreetMap 提取休斯顿都会区所有登记网站的企业，按域名去重后得到 3,014 个站点，其中跨 3 个及以上地点共用域名的视为连锁，剩余 2,474 家独立站点。爬虫对每个站点各抓取一次 robots.txt、llms.txt 和首页，使用自有 user agent 标识，并跳过 robots.txt 禁止访问的站点；运行在 Cloudflare Worker 上，用 HTMLRewriter 流式解析 HTML，单页上限 1.5MB。作者称初步发现是几乎没有企业屏蔽 AI，问题在于网站结构本身不利于 AI 读取，并称完整数据集公开。

AI推荐理由 基于对休斯顿地区 3,014 个企业网站的实测抓取，考察 robots.txt、llms.txt 与首页对 AI 爬虫的可读性，方法（Cloudflare Worker + HTMLRewriter、自报 UA、遵守 robots.txt、1.5MB 上限）描述具体，并称数据集公开，对 AI 爬虫与站点可发现性有实证参考；但结论细节与数据集链接未在输入中给出，无法独立复核。