Baidu（百度）

ProxyAttn: Guided Sparse Attention via Representative Heads

ProxyAttn: 通过代表性头实现引导稀疏注意力

Yixuan Wang, Huang He, Siqi Bao, Hua Wu, Haifeng Wang, Qingfu Zhu, Wanxiang Che

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Baidu Inc.（百度公司） 纠错

AI总结 本文提出ProxyAttn，一种无需训练的稀疏注意力算法，通过压缩注意力头维度实现更精确的块估计，结合代表性头得分和多头动态预算，提升长文本任务的效率和性能。

Comments ICLR 2026 camera ready

Unified Multimodal Models as Auto-Encoders

统一多模态模型作为自编码器

Zhiyuan Yan, Kaiqing Lin, Zongjian Li, Junyan Ye, Hui Han, Haochen Wang, Zhendong Wang, Bin Lin, Hao Li, Xinyan Xiao, Jingdong Wang, Haifeng Wang, Li Yuan

机构 * Shenzhen Graduate School, Peking University（北京大学深圳研究生院） ； Baidu（百度） ； Rabbitpre AI（兔展智能） ； SYSU（中山大学） ； USTC（中国科学技术大学） ； CASIA（中国科学院自动化研究所） 纠错

AI总结 本文提出统一GRPO方法，通过强化学习联合优化图像到文本和文本到图像任务，利用重建奖励提升语义一致性，增强多模态协同效果。