Qualcomm（高通）

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

SEMA：通过令牌定位和平均实现的类似Mamba的可扩展高效注意力机制

Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

机构 * Qualcomm AI Research（Qualcomm AI研究） 纠错

AI总结 针对Transformer注意力机制在计算机视觉任务中的问题，提出广义注意力定义并设计SEMA，利用令牌定位避免分散、算术平均捕捉全局，在Imagenet-1k上验证其可扩展性和有效性，优于线性注意力及其他Mamba模型。

Comments 16 pages, figures 3