最新资讯
www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁 dev.to Kakao 发布面向 AI Agent 的决策模型 Kanana-2-v-decide computerworld.com Microsoft 对 Copilot Chat 企业用户扩大未公开的使用限制 pub.towardsai.net Google 发布 Gemini 4 Carbon:主打网络安全能力的前沿模型 gradientflow.com METR 研究:AI 正在加速构建 AI 的团队本身 www.infoq.com GitLab 19.5 将 Agentic 开发纳入 DevOps 平台的治理体系 aiacceleratorinstitute.com 研究:AI Agent 的复杂流程编排可能反而是问题所在
多元动态
登录 注册
智能体 dev.to · @Nokka

为什么 KV cache 在 2026 年成为 AI agent 经济性的核心

原文 我的收藏

文章讨论 AI agent 成本中被忽视的 KV cache 开销:模型需为每个已读 token 保存 key/value,若不缓存则每次生成都要重算,成本过高;而 KV cache 随对话长度线性增长。文中提到 DeepSeek 于 2026 年 9 月 10 日发布 V4.1-Flash,其文档重点不在 benchmark 分数,而是直接处理 KV cache 问题。文章自述由 AI 模型生成并经人工整理,未在片段中给出具体技术细节或验证数据。

AI推荐理由 文章聚焦 KV cache 在 AI agent 成本结构中的角色,并提到 DeepSeek 于 2026-09-10 发布 V4.1-Flash、其文档直接针对 KV cache 问题,这是输入中给出的具体新信息。但正文片段只到 KV cache 随对话长度线性增长的基础解释,未给出 V4.1-Flash 的具体技术方案、数据或验证结果;且文章自述由 AI 模型生成、经人工整理,来源为个人博客,事实明确度和可验证性有限,故质量分不高。

62

正文

ทำไม KV cache ถึงกลายเป็นหัวใจเศรษฐศาสตร์ของ AI agent ในปี 2026 โดย Nokka (นก-กา) | 13 กันยายน 2026 บทความนี้เขียนโดย AI (โมเดล deepseek-v4.1-flash ของผู้ให้บริการ ollama-cloud) ผ่าน Hermes Agent จาก Nous Research ตรวจสอบและเรียบเรียงโดย Nokka เวลาคนพูดถึงต้นทุนโมเดล สิ่งที่พูดถึงกันมากคือ ราคาต่อโทเคน แต่มีค่าใช้จ่ายอีกก้อนที่คนส่วนใหญ่ไม่เห็น และมันกำลังกลายเป็นก้อนที่ใหญ่ที่สุดในงาน agent ก้อนนั้นชื่อ KV cache DeepSeek เปิดตัว V4.1-Flash เมื่อวันที่ 10 กันยายน 2026 และสิ่งที่น่าสนใจที่สุดในเอกสารของมันไม่ใช่คะแนน benchmark แต่เป็นการแก้ปัญหา KV cache โดยตรง [1] ก่อนอื่น KV cache คืออะไร เวลาโมเดลอ่านข้อความ มันต้องคำนวณค่าที่เรียกว่า key และ value ของทุกโทเคนที่อ่านผ่านมา เพื่อใช้ตอบโทเคนถัดไป ถ้าไม่เก็บค่าเหล่านี้ไว้ ระบบต้องคำนวณใหม่ทั้งหมดทุกครั้งที่ต้องการโทเคนใหม่ ซึ่งแพงเกินไป ดังนั้นระบบจึงเก็บค่าเหล่านี้ไว้ในหน่วยความจำ และเรียกส่วนนี้ว่า KV cache [2] ปัญหาคือมัน โตตามความยาวของบทสนทนาแบบเส้นตรง ถ้าคุณคุยยาวขึ้นสองเท่า cache ก็โตขึ้นสองเท่า [3] แล้วทำไมมันถึงสำคัญกับ agent เป็นพิเศษ จุดนี้คือส่วนที่ผมคิดว่าคนมักเข้าใจผิด งานแชตปกติ ผู้ใช้พิมพ์คำถาม แล้วโมเดลตอบ เกิดโทเคนใหม่มากกว่าโทเคนที่อ่าน งาน agent กลับทิศ โมเดลอ่าน context ซ้ำแล้วซ้ำอีก แต่อยู่ในลูปเดิม ลองนึกภาพ agent เขียนโค้ดหนึ่งงาน มันอาจต้องอ่าน repository, ไฟล์เอกสาร, ผลลัพธ์คำสั่ง terminal และประวัติการสนทนาก่อนหน้า หลายรอบต่อหนึ่งงาน [3] ในลูปแบบนี้ ค่าใช้จ่ายหลักไม่ได้อยู่ที่การสร้างคำตอบ แต่อยู่ที่การอ่าน context เดิมซ้ำ [3] เอกสารของ DeepSeek เรียกงานแบบนี้ว่า "input-heavy agentic workloads" และบอกตรง ๆ ว่าเป็นจุดที่ออกแบบ V4.1-Flash มาเพื่อแก้ [1] สถาปัตยกรรมที่ DeepSeek ใช้แก้ หัวใจคือชื่อ Causal Encoder-Decoder หรือ CED [1] สถาปัตยกรรมเดิม โมเดลแบบ decoder-only ทุกชั้นจะคำนวณ key-value ของตัวเอง และเก็บไว้ทั้งหมด เมื่อมี 40 ชั้น ก็มี 40 ชุดที่ต้องเก็บ สถาปัตยกรรมใหม่ V4.1-Flash แบ่ง 40 ชั้นออกเป็น 20 ชั้นแรกทำหน้าที่เป็น encoder และ 20 ชั้นหลังเป็น decoder แล้ว Decoder ไม่ได้คำนวณ KV ของตัวเองแยกทุกชั้น แต่ ดึงมาจาก hidden state ชั้นสุดท้ายของ encoder เพียงจุดเดียว [1] ผลที่ได้คือ พารามิเตอร์ที่ต้องเปิดใช้งานต่อโทเคนลดลงอย่างมาก prefill (ตอนอ่าน input) เปิดใช้เพียง 8B decode (ตอนสร้าง output) เปิดใช้ 16B ทั้งที่ backbone ทั้งหมดมี 552B พารามิเตอร์ [1] ตัวเลขนี้สำคัญเพราะมันหมายความว่า งานที่ต้องอ่านเยอะแต่ตอบน้อย ถูกลง disproportionately อีกสองชั้นที่ซ้อนเข้ามา CED อย่างเดียวไม่พอ ยังมี CSA2 (Compressed Sparse Attention 2) ซึ่งให้แต่ละชั้นเลือกหนึ่งในสามโหมด คือ Full, Reindex หรือ Reuse เพื่อแชร์ KV และ indexer ระหว่างชั้น [1] และมี FP4 KV caching ในฟอร์แมต E2M1 โดยใช้สเกลหนึ่งตัวต่อ 16 แชนเนล [1] รวมกันแล้ว KV cache ทั้งหมดเหลือ 890 ไบต์ต่อโทเคน ซึ่งประมาณ 1 ใน 4 ของ V4-Flash รุ่นก่อน [1] และเมื่อเทียบกับ V1 รุ่นแรก ตัวเลขที่ลดลงคือ 437 เท่า [1] แล้ว SWA Bounded Replay คืออะไร ยังมีอีกกลไกที่ผมคิดว่าน่าสนใจที่สุดในเชิงแนวคิด โมเดลนี้ใช้ Sliding-Window Attention (SWA) ซึ่งเก็บสถานะของหน้าต่างล่าสุด แทนที่จะเก็บทั้งหมด วิธีปกติคือ เก็บ SWA KV ลง SSD เพื่อดึงกลับมาใช้ทีหลัง DeepSeek เลือกวิธีอื่นคือ ไม่เก็บเลย แล้วคำนวณใหม่เมื่อต้องใช้ โดยเล่นเฉพาะ n_win โทเคนล่าสุดกลับ [1] ผลคือ KV cache ที่ต้องเก็บถาวร (บน SSD หรือ host memory) เหลือประมาณ 1 ใน 8 ของ V4-Flash [1] ผมคิดว่านี่คือจุดที่ฉลาด เพราะมันแลกเวลาเล็กน้อย กับความจุที่ประหยัดได้มาก ตัวเลขที่ทำให้เห็นภาพ รุ่น พารามิเตอร์ backbone KV cache (เทียบกับ V4.1-Flash) DeepSeek V1 ไม่ระบุ ประมาณ 437 เท่า DeepSeek V4-Flash 284B 4 เท่า DeepSeek V4.1-Flash 552B 890 ไบต์ (ค่าฐาน) ความน่าสนใจอยู่ที่คอลัมน์กลางกับขวา นั่นคือ โมเดลใหญ่ขึ้นเกือบสองเท่า แต่ cache เล็กลง 4 เท่า ตัวเลข agent ที่ออกมาพร้อมกัน DeepSeek เผยแพร่คะแนน agent หลายตัวที่ปรับขึ้นอย่างชัดเจนเมื่อเทียบกับรุ่นก่อน [1] Benchmark V4-Flash V4.1-Flash Terminal-Bench 2.1 82.7 90.6 DeepSWE v1.1 54.4 74.2 AutomationBench 37.7 54.8 Agent's Last Exam 25.2 31.8 CyberGym 76.7 88.1 การเพิ่มขึ้นจาก 54.4 เป็น 74.2 บน DeepSWE v1.1 คือ 20 จุด ซึ่งมากสำหรับช่วงรุ่นเดียว DeepSeek อธิบายว่าคะแนนที่เพิ่มขึ้นไม่ได้มาจากการเปลี่ยนวิธีฝึกหลังการเทรน ซึ่งยังใช้สูตรมาตรฐาน SFT, RL และการกลั่นแบบ on-policy [1] แต่มาจาก การสังเคราะห์ข้อมูล คือการสร้างงาน agent และสภาพแวดล้อมขึ้นมาอัตโนมัติในปริมาณมาก แล้วขยายขนาดข้อมูล งาน และรอบการรันพร้อมกัน [1] ผมคิดว่านี่เป็นข้อสังเกตที่น่าสนใจในตัวเอง ความสามารถด้าน agent รอบนี้มาจากข้อมูล ไม่ได้มาจากสถาปัตยกรรม ข้อควรระวัง หนึ่ง ตัวเลขทุกตัวในบทความนี้มาจากเอกสารและ model card ของ DeepSeek เอง [1] ซึ่งเป็นการวัดที่บริษัทวัดโมเดลตัวเอง ไม่ใช่การทดสอบอิสระ ตัวเลขทศนิยมควรถูกอ่านในฐานะ "ค่าที่ผู้ผลิตรายงาน" สอง ผมไม่ได้รันโมเดลนี้ด้วยตัวเอง และไม่มีฮาร์ดแวร์ที่เพียงพอจะรันได้ ข้อจำกัดนี้สำคัญเพราะการอ่านเอกสารเทคนิคไม่ได้ยืนยันว่ามันทำงานได้จริงตามที่ระบุ สาม คำอธิบาย CED, CSA2 และ SWA Bounded Replay ในบทความนี้เป็นการสรุปความเข้าใจของผมจากเอกสาร ถ้าต้องการรายละเอียดครบควรอ่าน technical report ต้นฉบับบน Hugging Face [1] สี่ ตัวเลข 437 เท่า เมื่อเทียบกับ V1 เป็นการเปรียบเทียบกับรุ่นที่เก่ามากแล้ว และอาจไม่ใช่การเทียบที่ให้ภาพใช้งานจริง ห้า ผมทำงานบนระบบที่ใช้โมเดล AI และเขียนบทความนี้ด้วยโมเดลของ DeepSeek เอง [4] สรุป เรื่องนี้ไม่ใช่เรื่องของโมเดลใหม่ตัวหนึ่ง แต่มันคือคำถามว่า ต้นทุนจริงของ AI agent อยู่ตรงไหน ถ้าคุณเคยสงสัยว่าทำไม agent ถึงแพงกว่าแชตทั้งที่ได้คำตอบสั้นกว่า คำตอบส่วนหนึ่งอยู่ที่ KV cache และถ้าแนวทางของ DeepSeek ถูกคัดลอกตามอย่างที่มักเกิดในวงการนี้ ตัวเลขอย่าง 890 ไบต์ต่อโทเคน จะกลายเป็นบรรทัดฐานใหม่ของความจุที่โมเดลควรใช้ คำถามที่ผมคิดว่าควรถามคือ agent ที่คุณใช้อยู่ตอนนี้ มีค่าใช้จ่ายกี่เปอร์เซ็นต์ที่มาจากการอ่าน context ซ้ำ ถ้าตอบไม่ได้ นั่นไม่ใช่ความผิดของคุณ เพราะผู้ให้บริการส่วนใหญ่ไม่ได้แยกตัวเลขนี้ให้เห็น หมายเหตุ: บทความนี้เป็นชิ้นที่ 1 จาก 2 ชิ้น ต่อจากเรื่องเศรษฐศาสตร์ cache hit และการเปิดให้บริการบนแพลตฟอร์มภายนอก แหล่งอ้างอิง [1] DeepSeek-AI, "DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression" (model card + technical report, Hugging Face, 10 ก.ย. 2026), https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash [2] DeepSeek, "DeepSeek-V4.1-Flash: Smarter, Faster, More Efficient", DeepSeek API Docs (10 ก.ย. 2026), https://api-docs.deepseek.com/news/news260910/ [3] Kaitchup, "DeepSeek V4.1 Flash: 552B Parameters, Lower Inference Costs" (ก.ย. 2026), https://kaitchup.substack.com/p/deepseek-v41-flash-552b-parameters [4] การเปิดเผยของผู้เขียน: บทความนี้เขียนโดยใช้ AI และโมเดลที่ใช้เป็นรุ่นเดียวกับที่บทความพูดถึง

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容