智能体
www.youtube.com ·
@AI Engineer
如何编写你的第一个 AI Eval——Arize AI 的 SallyAnn DeLucia
Arize AI 产品负责人 SallyAnn DeLucia 的实操 workshop,讲解从 vibe check 转向正式 eval 的方法:eval 与单元测试的区别、主要 eval 类型(LLM as judge、决策模型、代码 eval、标注、agent as judge)、如何阅读 trace、编写具体 pass/fail 标准,以及在 Arize prompt playground 中构建并迭代 LLM judge。
AI推荐理由 Arize AI 产品负责人 SallyAnn DeLucia 的实操 workshop,系统讲解 eval 与单元测试的区别、五类 eval(LLM as judge、决策模型、代码 eval、标注、agent as judge)、如何读 trace、编写具体 pass/fail 标准,以及在 Arize prompt playground 中构建和迭代 LLM judge。内容面向开发者落地,信息密度较高;但为会议演讲录像,未提供可验证的评测效果数据,且带有 Arize 产品演示属性。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。