用 CPT 与 RAG 训练本地 LLM（含评测）

作者分享通过持续预训练（CPT）让本地 LLM 学习新领域的系列实验，分四个阶段：第一阶段讨论如何选择泛化性好的训练集；第二阶段比较 CPT 内化知识与 RAG 注入内容在推理上的表现；第三阶段将 CPT 知识与 RAG 结合而非视为竞争方案；最后介绍完整评测策略，包括对 CPT 模型做 SFT 微调，使其按严格 schema 而非自然语言输出，以简化评测检查。

AI推荐理由 Reddit 帖子记录了用持续预训练（CPT）让本地 LLM 学习新领域的四阶段实验，比较 CPT 内化知识与 RAG 注入内容在推理上的表现，并给出结合两者的方案与评测策略，还涉及用 SFT 让模型按严格 schema 输出以便评测；对本地模型训练与评测有实操参考，但为个人实验，缺少可复现的量化结论。