为 LLM Agent 构建搜索与抓取层：Python 中的缓存、正文清洗与成本控制

作者分享为内部项目重写 Agent 搜索/抓取层的经验：不让 Agent 直接调用 HTTP，而是统一封装抓取层，遵守 robots.txt、提取干净正文以节省 token，并加入缓存和预算限制。文中以 DeepSeek 搜索/抓取 API 定价和 Meta 抓取条款争议为背景，说明该层已成为有真实成本与合规责任的基础设施。

AI推荐理由 面向 LLM Agent 的 search/fetch 层工程实践，涉及 robots.txt 合规、正文清洗省 token、缓存与预算上限，对 Agent 开发有直接参考价值；但正文为个人项目经验，DeepSeek 定价与 Meta 抓取条款争议仅作背景转述，未提供可验证数据。