Xi'an Jiaotong University（西安交通大学）

Attention Needs to Focus: A Unified Perspective on Attention Allocation

注意力需要聚焦：注意力分配的统一视角

Zichuan Fu, Wentao Song, Guojing Li, Yejing Wang, Xian Wu, Yimin Deng, Hanyu Yan, Yefeng Zheng, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） ； Tencent（腾讯） ； Westlake University（西湖大学） 纠错

AI总结 本文提出Lazy Attention机制，通过位置歧视和Elastic-Softmax解决注意力过载和不足问题，提升注意力分配效率。

Comments preprint

MIND: From Passive Mimicry to Active Reasoning through Capability-Aware Multi-Perspective CoT Distillation

MIND：通过能力感知的多视角CoT蒸馏从被动模仿到主动推理

Jin Cui, Jiaqi Guo, Jiepeng Zhou, Ruixuan Yang, Jiayi Lu, Jiajun Xu, Jiangcheng Song, Boran Zhao, Pengju Ren

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, and Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人机混合增强智能国家重点实验室、视觉信息与应用国家工程研究中心、人工智能与机器人研究所） ； Nankai University（南开大学） ； The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州）） ； School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） 纠错

AI总结 MIND通过能力感知的多视角CoT蒸馏，从被动模仿转向主动推理，提升模型在分布内和分布外任务中的性能。

Comments 13 pages, 8 figures