大模型
dev.to ·
@uehara
我善意添加的健康检查,把健康的 AI 服务器踢下线了
作者在自建 LLM 推理基础设施上改用主动健康检查(让模型实际生成一个字符来判断节点可用性),但把超时设为 10 秒,而正常推理耗时约 31.8 秒,结果 4 个健康节点中有 3 个被移出轮换。结论:当健康检查超时短于正常推理时间时,无法区分“慢但正常”和“卡死”,最终仍需靠真实用户请求来发现“状态返回 200 但推理停滞”的问题。
AI推荐理由 作者给出具体数字:正常推理约 31.8 秒,却设置了 10 秒超时,导致 4 个健康节点中 3 个被移出轮换;结论是主动健康检查短于正常响应时间时无法区分“慢但正常”与“卡死”,最终仍需依赖真实用户请求发现问题。对自建 LLM 推理运维有直接参考价值。
68
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。