发表机构
University of California, Los Angeles; Columbia University; The University of Melbourne（加州大学洛杉矶分校; 哥伦比亚大学; 墨尔本大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对视觉Transformer高分辨率密集预测的计算开销问题，提出HSMLA，结合多类注意力机制与深度卷积，在多项任务上实现精度与效率的优异平衡。
AI 中文摘要
视觉Transformer在高分辨率密集预测任务中，因自注意力的二次复杂度面临显著计算开销问题。线性注意力虽效率更高，但会牺牲局部上下文建模能力。我们提出HSMLA（分层Softmax多尺度线性注意力），它结合基于ReLU的线性注意力用于全局上下文建模、选择性Softmax优化关键局部特征，以及通过深度卷积生成多尺度令牌表示。HSMLA实现了优异的精度-效率权衡：在密集预测任务中推理速度最高提升4.2倍；在CT器官分割任务中Dice达87.3%，速度提升3.2倍；在病理WSI任务中AUC达94.2%，速度提升4.1倍。
英文摘要
Vision transformers face significant computational overheads in high-resolution dense prediction due to the quadratic complexity of self-attention. Linear attention offers efficiency but sacrifices local context modeling. We propose \textbf{HSMLA (Hierarchical Softmax Multi-scale Linear Attention)}, which combines ReLU-based linear attention for global context, selective softmax refinement for critical local features, and multi-scale token representations via depthwise convolutions. HSMLA achieves superior accuracy-efficiency trade-offs: up to $4.2\times$ inference-time speedup across dense prediction tasks, $87.3%$ Dice with $3.2\times$ speedup on CT organ segmentation, and $94.2%$ AUC with $4.1\times$ speedup on pathology WSI.
