从零到 SOTA：训练 3B 状态空间视觉模型——Sarvam 的 Krishna Prasad Srinivasan

Sarvam 的 Krishna Prasad Srinivasan 介绍其 3B 参数视觉语言模型，可在单 GPU 运行，面向印度语言文档 AI。该模型有两点特殊：骨干采用状态空间模型而非 Transformer，因为单页可达一万视觉 token，二次注意力成本高而 SSM 保持恒定内存；在 2025 年底多数 OCR 模型为整页单体 VLM 时，团队选择块级 OCR 加布局与阅读顺序 harness。训练采用四阶段课程，先以 13 万亿文本 token 覆盖英语、22 种印度语言、数学和代码，再接触像素。讲者称其性能超过百倍规模的文档 AI 模型，但摘要未提供基准与可复现证据。

AI推荐理由 Sarvam 研究者 Krishna Prasad Srinivasan 介绍一个 3B 参数、可在单 GPU 运行的视觉语言模型，用于印度语言文档 AI。具体新信息包括：以状态空间模型（SSM）替代 Transformer 骨干，理由是单页可达一万视觉 token、二次注意力成本高而 SSM 保持恒定内存；采用块级 OCR 加布局与阅读顺序 harness，而非整页单体 VLM；四阶段课程先用 13 万亿文本 token 覆盖英语、22 种印度语言、数学和代码再接触像素。局限是摘要未给出基准数据、对比细节和可复现证据，'击败百倍大模型'仅为讲者说法，需保留不确定性。