智能体
mp.weixin.qq.com ·
@InfoQ 中文
Shopify 推出 Gisting：将大模型系统提示词压缩为主旨词元
Shopify 工程团队提出 Gisting 技术，将冗长 LLM 提示词压缩为学习型“Gist”词元集合，以提升吞吐量并降低推理成本。该方法源自 2022 年论文，通过教师-学生两步流程训练 Gist 词元嵌入，最小化教师与学生对数概率间的 KL 散度，训练后将嵌入写入模型嵌入矩阵并注册为特殊词元，推理时无需自定义注意力掩码或额外编码器。Shopify 称其 Sidekick GraphQL 智能体系统提示词从约 6000 词元压缩至 1500 词元，4:1 压缩比下未牺牲预测质量；在 350 RPM 负载下，TTFT 中位数从 438ms 降至 354ms，端到端延迟中位数从 6.8s 降至 4.2s，吞吐量从 20.2 QPS 提升至 23.4 QPS，并因此减少 GPU 分配。Gisting 与前缀缓存互补，可叠加使用。
AI推荐理由 InfoQ 翻译 Shopify 工程团队的 Gisting 技术，给出系统提示词从约 6000 词元压缩至 1500 词元、TTFT 从 438ms 降至 354ms、端到端延迟从 6.8s 降至 4.2s、QPS 从 20.2 提升至 23.4 等具体指标，并说明其源自 2022 年论文的两步训练流程及与前缀缓存的互补关系，技术细节明确。局限是数据来自 Shopify 自述，未见第三方复现，且文中将 Shopify 误写为 Spotify。
80
正文
InfoQ 2026-09-13 10:15 北京
Shopify 工程团队提出 Gisting：将大模型长提示压缩为学习型主旨词元，提升吞吐量、降低推理开销。
作者 ｜ Sergio De Simone
译者 ｜ 明知山
Shopify 的工程团队推出了一项叫作 Gisting 的新技术，用于将冗长的 LLM 提示词压缩为精简的 “Gist” 词元集合，从而提升吞吐量并降低推理成本。
Spotify 强调，在推理阶段用简洁的 Gist 词元替代冗长文本可以降低端到端延迟、减少基础设施成本，并提升词元吞吐量，同时无需修改模型的核心权重。
公司表示，Gisting 技术将 Sidekick GraphQL 智能体的系统提示词从约 6000 个词元压缩至 1500 个词元，且没有牺牲预测质量。这意味着上下文规模实现了 4:1 的压缩比：
> 在每分钟 350 次请求（RPM）的负载下，首词元时间（TTFT）的中位数从 438 毫秒降至 354 毫秒，端到端请求延迟的中位数从 6.8 秒 降至 4.2 秒，吞吐量则从 20.2 QPS 提升至 23.4 QPS。
这些性能指标的改善使 Spotify 得以减少分配的 GPU 数量。
Gisting 技术源自 2022 年论文 《Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models》 提出的全新的方法，通过一个两步流程学习生成新的被压缩过的 Gist 词元的嵌入向量。第一步是教师阶段，输入原始提示词让模型执行，得到响应教师对数概率。第二步是学生阶段，让模型执行 GIst 词元，得到学生对数概率。最后，对 Gist 词元进行训练，最小化教师对数概率与学生对数概率之间的 KL 散度，直至学生侧的预测结果与教师侧高度匹配。
> 训练完成后，将 Gist 嵌入直接写入模型的嵌入矩阵，并将新的 Gist 词元注册为模型分词器中的特殊词元。在推理阶段，模型像普通模型一样加载和运行：无需自定义注意力掩码、额外编码器或特殊服务路径。
Gisting 的核心优势在于：模型处理的并非原始提示词的传统文本摘要，而是经过学习得到的表征。该表征的目的是让大语言模型的行为尽可能接近读取原始完整提示词时的表现。
Gisting 能够降低延迟并提升吞吐量。以 Shopify 为例，首词元时间（TTFT）从 438 毫秒降至 354 毫秒，端到端延迟从 6.8 秒降至 4.2 秒。同时，每秒查询数（QPS）从 20.2 提升至 23.4，使工程团队能够缩减整体 GPU 分配。
最后，Shopify 还强调 Gisting 与其他优化技术（如 前缀缓存）是互补的。前缀缓存避免了为已缓存的提示词序列重新计算 KV 张量，但模型在解码阶段仍需处理这些缓存的张量。Gisting 通过用更短的 Gist 词元序列替代长提示词，进一步减少了这方面的开销。因此，两种优化效果可以叠加，Shopify 将它们结合使用。
关于 Gisting，本文所能介绍的内容十分有限。如果想要了解完整细节，建议阅读原文。原文还介绍了自动搜索在 Gisting 流程调优中发挥的作用，以及其他对性能影响显著的实现细节。
查看英文原文：
声明：本文为 InfoQ 翻译，未经许可禁止转载。
点击底部********阅读原文********访问 InfoQ 官网，获取更多精彩内容！****
今日好文推荐
[Kotlin“J神”两小时争议访谈：我宁愿失去80%的工作机会，也坚决不用 AI 编程](https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2651292804&idx=1&sn=357cfd691eb2c53fb1ee1b3378b373b5&scene=21#wechat_redirect)
[V4.1 Flash全面超越，开发者为何还在喷 DeepSeek：缺的不是能力，是软件工程思维](https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2651292687&idx=1&sn=870d2af81e9984cad3cca4409c03aa16&scene=21#wechat_redirect)
[两个Token就让Kimi“变成”Claude？前Google DeepMind研究员意外撞上中国大模型的蒸馏疑云](https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2651292579&idx=1&sn=ff5be918074720e0de77d20741305ce5&scene=21#wechat_redirect)
[坚决不用行业标准AGENTS.md，Claude Code惹来“封杀令”：Anthropic终于回应了，但开发者更气了](https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2651291560&idx=1&sn=ba4fe17dd99bd2255f1274591ef44560&scene=21#wechat_redirect)
[阅读原文](https://www.infoq.cn/article/WlJkEfJxMgaK9o91ow2Z)
[跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=4f33037b&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMjM5MDE0Mjc4MA%3D%3D%26mid%3D2651292926%26idx%3D4%26sn%3D0f9b167e0c6fcf515a80c1368b99e544)