本地 LLM 工具调用能力取决于运行时的解析器

Towards AI 的 Local Agent Lab 系列第一部分称，作者阅读了 Ollama、llama.cpp、vLLM 和 SGLang 四个本地推理运行时的源码，统计其具名 tool-call parser：四者合计 136 个（vLLM 53、SGLang 42、Ollama 25），41 个模型家族至少在一个运行时中有专用解析器，但仅 8 个在四个运行时中全部具备；Llama 只在两个运行时中有，Phi 只有一个。文章还指出文档滞后于代码，vLLM 的 53 个解析器中有 18 个未出现在其文档中。

AI推荐理由 作者称阅读了 Ollama、llama.cpp、vLLM、SGLang 四个本地推理运行时源码，给出具体统计：共 136 个具名 tool-call parser（vLLM 53、SGLang 42、Ollama 25），41 个模型家族至少在一个运行时中有专用解析器，仅 8 个在四个运行时中都有，Llama 仅两个、Phi 仅一个，且 vLLM 53 个解析器中 18 个未见于文档。这是对本地 Agent 工具调用可用性的具体、可核查的工程信息，对开发者有直接参考价值；局限是数据基于作者自述的源码阅读，未提供可复现脚本，且属系列文章第一部分。