别轻信 99% 可用性承诺：我们遇到的 LLM API 中转故障与稳定性测试方法

Folkbench 博客作者描述了 LLM API 中转站的实际故障：上游池耗尽（429/401）、网关超时（504）或节点崩溃时，部分中转仍返回 200 OK，并在流中静默插入 [DONE]，或把 {"error": "rate limit exceeded"} 当作模型回答。作者因此从凭直觉购买转向在付费或集成前运行自动化检查，并介绍了其稳定性测试方法。

AI推荐理由 文章来自 Folkbench 博客，作者分享了 LLM API 中转站的实际故障案例：上游池耗尽、网关超时或节点崩溃时仍返回 200 OK，并在流中静默插入 [DONE] 或把限流错误当作模型回答。作者据此提出在付费或集成前进行自动化稳定性检查的方法。内容对开发者选择 LLM API 中转服务有具体参考价值，但属于单一团队经验，未提供可复现的完整测试数据。