马来西亚百大网站中有多少屏蔽 AI 爬虫？我实测了 100 个

作者称于 2026 年 10 月 20 日读取 100 个马来西亚主要网站（覆盖银行、电信、新闻、政府、购物、高校等十个领域）的 robots.txt，检查 17 种 AI 爬虫的屏蔽规则。结果：13 个站点至少屏蔽一种 AI 爬虫，无一屏蔽全部，也无一屏蔽 Google 搜索爬虫；新闻类屏蔽比例最高（15 个中 5 个），GPTBot 被 9 个站点屏蔽；74 个站点对所有 AI 爬虫放行，13 个站点无法读取 robots.txt。文章附站点清单与检查方法。

AI推荐理由 作者自述于 2026 年 10 月 20 日读取 100 个马来西亚主要网站的 robots.txt，统计 17 种 AI 爬虫的屏蔽情况：13 个站点至少屏蔽一种，新闻类最多（15 个中 5 个），GPTBot 被 9 个站点屏蔽，74 个站点全部放行，13 个站点无法读取。方法透明、口径明确，属可复现的小样本实测，对 AI 数据获取与内容授权议题有参考价值；局限是样本仅限马来西亚、单次快照，且为个人博客来源，未经同行复核。