智能体
infoq.com ·
@Aditya Mulik
生产级 LLM 的平台工程实践手册
InfoQ 文章作者 Aditya Mulik 分享其在库存推荐系统中遭遇 AI agent 幻觉的经验，主张将 LLM 栈视为平台基础设施而非单一应用问题，并提出共享 LLM 平台应具备 prompt 注册与版本管理、schema 强制校验、按请求进行 token 成本归因等通用服务。
AI推荐理由 InfoQ 文章由 Aditya Mulik 基于库存推荐系统中 AI agent 幻觉的实战经验，提出把 LLM 栈当作平台基础设施而非应用问题，并给出 prompt 注册与版本管理、schema 强制、按请求的 token 成本归因等共享服务方案，对生产级 LLM 工程有直接参考价值。
78
正文
In this article, author discusses his experience with AI agent hallucinations in an inventory recommendation system and how this problem was solved by treating the LLM stack as a platform infrastructure concern instead of as an application one. He makes a case for a shared LLM platform with common services like prompt registry & versioning, schema enforcement and token cost attribution by request. By Aditya Mulik