OpenAI

Less Is More: Fast and Accurate Reasoning with Cross-Head Unified Sparse Attention

少即是多：基于交叉头统一稀疏注意力的快速准确推理

Lijie Yang, Zhihao Zhang, Arti Jain, Shijie Cao, Baihong Yuan, Yiwei Chen, Zhihao Jia, Ravi Netravali

机构 * DeepSeek-AI ； DeepMind ； OpenAI ； Team 纠错

AI总结 本文提出LessIsMore方法，通过交叉头统一稀疏注意力机制提升长 horizon 推理效率，减少 token 数量同时保持高精度，实现更快的端到端解码速度和稀疏注意力计算速度。