大模型
marktechpost.com ·
@Asif Razzaq
Zyphra 提出分层注意力 ZHA：面向亚二次注意力的稀疏改造路径
Zyphra 发布 Zyphra Hierarchical Attention（ZHA），一种树索引稀疏注意力方法，通过约 4B token 蒸馏对冻结 LLM 进行改造，声称在推理和 256K 检索基准上与稠密注意力相当。该报道未提供论文或复现细节，效果仍需验证。
AI推荐理由 介绍 Zyphra 的树索引稀疏注意力 ZHA，声称可用 4B token 蒸馏改造冻结 LLM，并在推理与 256K 检索基准上匹配稠密注意力。新信息是具体方法与改造路径，对长上下文与算力效率有参考价值；但来源为二手报道，缺少论文、代码或独立复现证据，'真正亚二次'与'匹配稠密'均为作者表述，需保留不确定性。
62
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。