智能体
www.infoq.com ·
@Susan Chang
演讲：为 Agentic AI 产品构建可复用的评估框架
Elastic 的 Susan Chang 介绍团队如何从各自为政的临时性 AI Agent 评估，转向统一的生产级评估框架。内容涵盖 LLM-as-a-judge 与确定性规则的平衡、打通 Python 数据科学评估与 TypeScript 生产代码，以及通过深度追踪在复杂 RAG 与网络安全负载中捕捉回归，同时保留领域上下文。
AI推荐理由 Elastic 工程师分享从零散评估到统一生产级 Agent 评估框架的实践，涉及 LLM-as-a-judge 与确定性规则结合、Python 评估与 TypeScript 生产代码打通、深度追踪 RAG 与安全负载回归。属于可复用的工程经验，对做 Agent 评估的开发者有直接参考价值；但为会议演讲摘要，缺少具体指标与代码细节。
72
正文
Susan Chang explains how Elastic transitioned from siloed, ad-hoc AI agent evaluations to a unified, production-grade framework. She discusses balancing LLM-as-a-judge with deterministic rules, bridging Python data science evals with TypeScript production code, and implementing deep tracing to catch regressions across complex RAG and cybersecurity workloads while preserving domain context. By Susan Chang