先别急着发明新架构，试试更大的编码器

作者在自建 67 任务基准上对比多种改进：循环 Transformer、定向数据与继续预训练各自提升不足 1 分，换用更大编码器则提升 5.3 分。文中还介绍 Apache-2.0 许可的 586M 参数模型 Yama，支持 11 种印度语言、Hinglish 和英语的零样本分类，在 33 个未见任务上得分 0.814。

AI推荐理由 作者给出可核对的实验对比：在自建 67 任务基准上，循环 Transformer、定向数据和继续预训练各自提升不足 1 分，而换用更大编码器提升 5.3 分；并介绍 Apache-2.0 的 586M 参数多语言分类模型 Yama 及其零样本表现。属个人实验，非同行评审，但结论具体、有对照价值。