新研究：多样拒绝前缀可提高稳定秩并削弱拒绝向量消融攻击

这项arXiv论文探讨了对齐语言模型中拒绝行为的几何结构。研究发现，在训练中使用多样化的拒绝前缀可以增加激活矩阵的稳定秩，从而削弱通过移除单一拒绝方向实施的越狱攻击。这表明拒绝训练的几何特性比单一向量更为复杂。

AI推荐理由 该研究表明，安全对齐机制并非仅依赖单一的拒绝方向，多样化拒绝前缀可提升模型对特定越狱攻击的鲁棒性。这提醒从业者在安全训练与评估中，需考虑更复杂的几何特性，而非简单依赖单一干预向量。