LLM JSON 输出：一个采样设置让合法 JSON 从 75% 降到 4%

作者在浏览器环境中对三个小模型发起 432 次 JSON 请求，发现 Llama 3.2 1B 在贪心解码下 schema 合法率为 75%，启用 no_repeat_ngram_size=3 后跌至 4%，全部聊天采样设置开启时为 0/24。建议结构化调用关闭 no_repeat_ngram_size、保持 repetition_penalty=1.0，在提示中给出精确 schema，并优先使用约束解码（OpenAI Structured Outputs、llama.cpp GBNF、Outlines）。

AI推荐理由 给出具体实验设置与数字：在 Chrome 标签页中对三个小模型请求 JSON 共 432 次，Llama 3.2 1B 在贪心解码下 schema 合法率为 75%，开启 no_repeat_ngram_size=3 后降至 4%，全开聊天设置时为 0/24。对结构化输出实践有直接参考价值；但为个人博客实验，样本与模型范围有限，结论需谨慎外推。