评判裁判：用 GEPA 构建真正有效的 LLM 评估器——Mahmoud Mabrouk（Agenta AI）

演讲讨论如何解决 LLM-as-a-judge 与人类判断不一致的问题：先定义评估维度，准备带人工标注理由的真实对话案例，再用 GEPA 提示词优化算法迭代调整裁判提示词，最后用新案例检验与人类判断的一致性。作者强调该方法依赖高质量数据、需多次调参，并需考虑计算成本，并非开箱即用。

AI推荐理由 内容为一场技术演讲的转述，主题是用 GEPA 提示词优化算法校准 LLM-as-a-judge 评估器，给出了定义标准、准备人工标注案例、迭代优化提示词、用新案例验证的流程，并提醒需高质量数据、多次调参和计算成本。对做 Agent 评估的开发者有实操参考价值；但属于二手转述，未提供实验数据、对比基线或可复现细节，GEPA 的实际效果无法从文中验证。