NeMo Guardrails 与 Guardrails AI：一次未能诚实完成的生产延迟基准测试

文章讨论运行时护栏在生产环境中的权衡：每增加一条策略检查都可能拦截事故，但也可能增加模型调用、网络依赖、超时路径和误拒合法请求的风险。文中给出的事实核查延迟数据为：gpt-3.5-turbo-instruct Self-Check 188.8ms，AlignScore base（内存内）23.0ms，AlignScore large（内存内）46.0ms。作者指出内存内 AlignScore 平均值远低于 LLM 自检平均值，但不含 REST 网络开销，且为任务特定平均值而非生产 p50/p95。作者原本想回答两个问题：各框架在相同请求路径上增加多少 p50/p95 延迟，以及各配置多频繁地拦截被标注为安全的提示词，但表示该基准测试无法诚实完成。

AI推荐理由 作者尝试对 NeMo Guardrails 与 Guardrails AI 做生产环境延迟基准测试，并给出 gpt-3.5-turbo-instruct Self-Check 188.8ms、AlignScore base 23.0ms、AlignScore large 46.0ms 等具体数字，同时明确说明这些是任务特定平均值、不含 REST 网络开销、并非 p50/p95，且基准测试未能完成。信息密度较高、局限披露诚实，对评估运行时护栏的延迟与误拦截成本有实际参考价值；但来源为个人博客，样本与测试条件不完整，结论不可直接外推。