智能体
dev.to ·
@Rayen Mlayeh
jevcrawl：爬取循环中不调用 LLM 的 AI agent 网页爬虫
作者发布开源（Apache-2.0）MCP server 与 CLI 工具 jevcrawl，由小型评分模型驱动爬取，爬取循环内不调用 LLM。用户给定问题和起始 URL 后，它尽量少抓页面并逐字返回带来源链接的答案段落。作者称在自建基准上，让 LLM 逐步选链接的方案每问题约 0.19 美元、耗时约一分钟，而 jevcrawl 在 Python 文档示例中抓取 6 页即完成。基准为作者自测。
AI推荐理由 开源 Apache-2.0 的 MCP server 与 CLI，用小型评分模型驱动爬取、不在爬取循环中调用 LLM，作者给出每问题约 0.19 美元、耗时约一分钟的对比基准，并称示例中仅抓取 6 页；数据为作者自测，需独立复现。
66
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。