小模型配大集群——Daniel Svonava（Superlinked）

Superlinked 的 Daniel Svonava 在演讲中指出，单张中端 GPU 即可在低数十毫秒内完成每秒 50 万 token 的 embedding 计算，成本远低于托管端点。他认为小模型在特定任务上已接近甚至超越前沿模型，主张按任务拆分工作负载、为每类任务选择专用模型，例如合同审查 agent 可能同时运行 9 个模型。当前瓶颈在于服务大规模模型集群：开源 serving 工具默认未调优，而面向单一大模型跨 GPU 扩展的自上而下路由器难以应对大量小请求。

AI推荐理由 来自 AI Engineer 频道的技术演讲，核心信息具体：单张中端 GPU 可将每秒 50 万 token 转为低数十毫秒延迟的 embedding，成本远低于托管端点；小模型在特定任务上已接近或超越前沿模型，主张按任务拆分工作负载（如合同审查 agent 运行 9 个模型），并指出开源 serving 工具未调优、自上而下路由器难以处理大量小请求是主要瓶颈。属于有明确技术判断和工程细节的一手分享，但为演讲摘要，缺少可验证的基准数据。