行业动态
dev.to ·
@Jackson Kramer
用纯 Python 标准库把文档站转为 RAG 可用的干净 Markdown
文章给出一个仅依赖 Python 标准库的脚本，抓取文档页面后保留 main 区域，丢弃 nav、header、footer、aside、script 及 ARIA 导航地标，将标题、段落、列表、行内代码和代码块转换为 Markdown，便于 RAG 分块与嵌入。针对网页中导航、页脚、Cookie 横幅污染嵌入内容的常见问题，方案简单可复现。
AI推荐理由 仅用 Python 标准库把文档站转成干净 Markdown，保留标题、代码块与列表，剔除导航页脚脚本，直接服务 RAG 分块质量；实用且可复现，但属基础脚本，创新度有限。
60
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。