你的 LLM 应用返回 200 OK，但结果仍是错的——Datadog 的 Marina Petzel

Datadog的GenAI倡导者Marina Petzel指出，延迟、错误、流量和饱和度只能说明应用在线，无法判断生成式AI输出是否正确。她提出在传统黄金信号之外补充三类监控：成本监控（token creep、模型漂移、未缓存调用、成本归因标签）、安全监控（提示注入、PII泄露、毒性、越狱）和质量监控（幻觉率、相关性、用户满意度、完整性、RAG检索质量），并给出四级标签策略和阈值目标。

AI推荐理由 Datadog的GenAI倡导者Marina Petzel在演讲中系统指出传统黄金信号（延迟、错误、流量、饱和度）不足以判断生成式AI应用是否正确，并给出可操作的补充指标：成本监控（token creep、模型漂移、未缓存调用、成本归因标签）、安全监控（提示注入、PII泄露、毒性、越狱）和质量监控（幻觉率、相关性、用户满意度、完整性、RAG检索质量），还提到四级标签策略和阈值目标。内容具体、面向开发者实践，对AI应用可观测性有实际价值。局限是来自厂商演讲，未提供实测数据或开源工具细节。