大模型
dev.to ·
@faliye
买 Thunderbolt 5 却得到 USB4 40G:跨三种链路、六个模型重测双机 llama.cpp RPC
作者延续此前基准,测试 5GbE、所谓“假 TB5”和 USB 10GbE 三种链路对六个模型推理性能的影响。文中称 TB5 在 ASMedia4242 芯片上未能建立端到端连接,ASM870/870E 或需更换模块才能做 DMA 端到端传输;TB5 也不支持 USB 10Gbps,USB-C 10 实测约 7.2Gbps。作者表示可能另文记录调试过程。
AI推荐理由 作者实测两机 llama.cpp RPC 在 5GbE、所谓 TB5 与 USB 10GbE 三种链路、六个模型下的表现,并记录 ASMedia4242 芯片无法端到端建立 TB5 连接、TB5 不支持 USB 10Gbps 等具体限制。属于一手硬件与推理部署经验,对本地分布式推理有参考价值;但样本为家庭环境,结论外推需谨慎。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。