凌晨 2 点值班记录：llama-swap 模型重载撞上 30 秒超时墙

作者复盘生产网关在 APAC 高峰出现 502 的故障：经 llama-swap 触发的模型切换（deepseek-coder-v2 → qwen2.5-coder）耗时 29.4 秒，nginx 已提前断开客户端连接。文中指出在 A10G 上以 --max-model-len 16384、--gpu-memory-utilization 0.95 服务 34B 模型时，卸载 KV cache 并加载新权重需 25–35 秒，而 README 示例未提示该延迟。

AI推荐理由 一线运维复盘：llama-swap 在 vLLM 后端切换 34B 模型时，卸载 KV cache 与加载权重耗时 25–35 秒（A10G），超过 nginx 默认超时导致 502。含具体日志时间戳、参数配置与故障链路，对自建推理网关的开发者有直接参考价值；属单环境案例，未给出通用修复方案验证。