Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich（苏黎世联邦理工学院）
本研究探讨用浅层前馈网络替代Transformer注意力层，通过知识蒸馏训练，在IWSLT2017上验证其性能媲美原架构，并通过消融实验证明该方法可行，为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Substitute Teacher Networks: Learning with Almost No Supervision
British Institute of Learning, Yearning and Discerning（英国学习、渴望与洞察研究所）；National Academy of Pseudosciences（国家伪科学院）；Oxford Analytika（牛津分析）
通过经验学习是耗时的，低效的，而且通常对你的皮质醇水平不利。为了解决这个问题，最近提出的一些师生方法已经证明了私人辅导的好处，其中一个单一的模型从一个更有经验的导师集合中学习。不幸的是，这种监督的成本限制了少数特权群体的良好代表性。无监督学习可以用来降低学费，但有可能产生需要课外学习来加强简历和创建自己的LinkedIn个人资料的网络。受当地招聘会上一个促销压力球上的标志的启发，我们做出了以下三个贡献。首先，我们提出了一种新的几乎没有监督的训练算法，该算法是有效的，但在被监督的学生网络数量方面具有高度可扩展性，确保教育仍然负担得起。其次，我们在一个典型的用例上展示了我们的方法：学习烘焙，开发一种超越当前技术水平的方法。最后，我们对我们的方法进行了严格的定量分析，证明我们可以使用计算器。我们的工作对长期以来的教条提出了质疑，即生活是最好的老师。
2018-04-01 cs.LG
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究院，阿德莱德大学）
本文质疑softmax在transformer中的高性能是否源于对输入的概率分布，提出softmax的有效性在于其对注意力矩阵Frobenius范数的隐式正则化。通过探索多项式替代方案，理论分析显示某些多项式可有效替代softmax，保持强性能。
2026-03-13 cs.CV cs.LG stat.ML
AttentionLite: Towards Efficient Self-Attention Models for Vision
Intel Labs（英特尔实验室）
我们提出了一种新的框架，用于产生一类参数和计算效率高的模型，称为AttentionLite适合资源受限的应用程序。先前的工作主要集中在通过知识蒸馏或修剪来优化模型。除了融合这两种机制之外，我们的联合优化框架还利用了自我注意力的最新进展来替代卷积。我们可以同时从计算繁重的教师中提取知识，同时在单次训练中修剪学生模型，从而大大减少训练和微调时间。我们在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上评估了我们提出的方法的优点。我们的AttentionLite模型不仅在准确性上显著优于未优化的模型，而且我们发现，在某些情况下，它们的表现几乎与计算量大的教师一样好，而只消耗了一小部分参数和FLOP。具体地说，AttentionLite模型可以实现高达30倍的参数效率和2倍的计算效率，与他们的老师相比没有显着的准确性下降。
2020-12-21 cs.CV cs.LG
DARTFormer: Finding The Best Type Of Attention
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
鉴于不同的高效Transformer注意力机制的范围广泛且不断增长，重要的是要确定在给定任务时哪种注意力最有效。在这项工作中，我们也有兴趣结合不同的注意力类型，建立异构的Transformers。我们首先提出了一个类似DARTS的神经结构搜索（NAS）方法来找到一个给定的任务的最佳注意力，在这个设置中，所有的头使用相同的注意力（同质模型）。我们的研究结果表明，NAS在这项任务上是非常有效的，它确定了最好的注意力机制的IMDb字节级文本分类和Listops。然后，我们扩展了我们的框架，以搜索和构建具有多种不同注意力类型的Transformers，并将其称为异构Transformers。我们表明，虽然这些异构Transformers优于平均同质模型，他们不能超越最好的。我们探讨了为什么异质注意是有意义的，为什么它最终失败的原因。
2022-10-02 cs.LG
FNetAR: Mixing Tokens with Autoregressive Fourier Transforms
X-Mechanics（X力学）；LiveRamp；Appliedinfo Partners（应用信息伙伴公司）；Salesforce（赛富时）；SamsungNEXT（三星NEXT）
在这篇文章中，我们研究了FNet算法的自回归推广，其中标准Transformer架构中的自注意层被替换为基于傅立叶变换的平凡稀疏均匀采样过程。使用Wikitext-103基准测试，我们证明了FNetAR在因果语言建模任务上保持了最先进的性能（25.8 ppl），而Transformer-XL基线（24.2 ppl）只有一半的自我注意层，从而为深度神经网络的多余性提供了进一步的证据。自回归傅立叶变换可能用于大多数基于变换器的时间序列预测模型的参数减少。
2021-07-22 cs.CL cs.LG
Distill-then-Replace: Efficient Task-Specific Hybrid Attention Model Construction
Fujitsu Research & Development Center CO., LTD（富士通研发中心有限公司）；Fujitsu Research, FUJITSU LTD（富士通研究所，富士通有限公司）
提出Distill-then-Replace (DtR)方法，通过逐块局部蒸馏和贪婪层替换策略，将预训练的全注意力模型高效转换为任务特定的混合注意力模型，无需重新训练或神经架构搜索。
2026-06-02 cs.AI cs.LG
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering
Stony Brook University（石溪大学）
基于transformer的QA模型在所有层都使用输入范围内的自我注意力-即在问题和输入段落中-导致它们缓慢且内存密集。事实证明，我们可以在所有层都没有输入范围的自我注意，特别是在较低的层。我们引入了DeFormer，一个分解的Transformer，它在较低层中用问题范围和问题范围的自注意力代替完全的自注意力。这允许对输入文本表示进行与问题无关的处理，这反过来又使预计算段落表示能够大幅减少运行时计算。此外，由于DeFormer与原始模型非常相似，因此我们可以使用标准Transformer的预训练权重初始化DeFormer，并直接在目标QA数据集上进行微调。我们展示了DeFormer版本的BERT和XLNet可用于将QA速度提高4.3倍以上，并且在简单的基于蒸馏的损失下，它们的准确性仅下降1%。我们在https://github.com/StonyBrookNLP/deformer上开源代码。
2020-05-02 cs.AI cs.CL cs.LG
MirrorLA: Reflecting Feature Map for Vision Linear Attention
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳学院）；Pengcheng Laboratory（鹏城实验室）；UQMM Lab, University of Queensland（UQMM实验室，昆士兰大学）
MirrorLA通过几何框架和可学习反射实现线性注意力的非负特征图重定向，提升性能并保持表示忠实性。
2026-02-04 cs.LG
Monotonic segmental attention for automatic speech recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文提出了一种新的用于自动语音识别的分段注意模型。我们将解码器的注意力限制在片段上，以避免全局注意力的二次运行时间，更好地推广到长序列，并最终启用流。我们直接比较全局注意力和不同的分段注意力建模变体。我们开发和比较两个单独的时间同步解码器，一个专门考虑到段的性质，产生进一步的改进。对分段模型使用时间同步解码是新颖的，并且是朝向流应用的一步。我们的实验表明了长度模型预测段边界的重要性。与文献中的其他单调注意方法相比，使用分段解码的最终最佳分段注意模型的性能优于全局注意。此外，我们观察到，分段模型更好地推广到长达几分钟的长序列。
2022-10-26 cs.CL cs.LG cs.SD
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而，需要给予多大程度的关注还没有得到很好的审查。特别是，在这项工作中，我们提出了一种新的方法颗粒多模态注意力，我们的目标是特别解决的问题，在解决视觉对话任务时，需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后，我们提出了一个颗粒多模态注意力网络，共同出席的图像和文本颗粒，并显示出最佳的性能。通过这项工作，我们观察到，获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Theory, Analysis, and Best Practices for Sigmoid Self-Attention
Apple（苹果公司）
本文通过理论证明和实验分析，确立了 sigmoid 注意力作为 Transformer 中 softmax 直接替代品的最佳实践，并提出了硬件加速实现 FLASHSIGMOID，在多种任务上达到与 softmax 相当的性能。
2025-01-22 cs.LG
Attention Is All You Need
Google Brain（谷歌大脑）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Google（谷歌）
主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络架构，Transformer，完全基于注意力机制，完全免除了递归和卷积。两个机器翻译任务的实验表明，这些模型是优越的质量，同时更并行化，并需要显着更少的时间来训练。我们的模型在WMT 2014年英语到德语翻译任务中达到了28.4 BLEU，比现有的最佳结果有所改善，包括超过2 BLEU的集成。在WMT 2014英语到法语的翻译任务中，我们的模型在8个GPU上训练了3.5天后，建立了一个新的单模型最先进的BLEU得分为41.8，这是文献中最好模型训练成本的一小部分。我们表明，Transformer推广到其他任务，成功地将其应用于英语选区分析与大型和有限的训练数据。
2023-08-02 cs.CL cs.LG
Scaling Attention to Very Long Sequences in Linear Time with Wavelet-Enhanced Random Spectral Attention (WERSA)
Department of Computer Science University of Bari Aldo Moro（计算机科学系巴里大学Aldo Moro）
WERSA是一种线性时间复杂度的注意力机制，结合随机谱特征与多分辨率小波，在保持准确性的同时显著降低长序列计算成本，并在多基准测试中优于现有方法。
2025-07-11 cs.AI cs.CL cs.LG
The Head Complexity of Boolean Functions in Single-Layer Attention
Northeastern University（东北大学）
该研究定义了仅含一层注意力的模型中计算布尔函数所需的最小注意力头数（头复杂度），建立了其层级、下界、紧致性界及一般二元函数的通用界，明确了头数与维度、精度的不可替代性。
2026-09-04 cs.CC cs.LG
Self-Improving Small Object Grounding in LVLMs
University of Georgia（佐治亚大学）
利用LVLMs内部注意力模式，通过轻量级IoU回归器或无需训练的注意力熵选择器，从多个候选框中选出最佳框，实现小目标定位的自改进。
2026-06-01 cs.CV cs.LG
Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps
The Open University（开放大学）；IDC Herzeliya（赫兹利亚跨学科研究中心）；Bar-Ilan University（巴伊兰大学）；Microsoft（微软）；Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
基于transformer的语言模型在许多语言任务中显著地推进了最先进的技术。随着这场革命的继续，解释模型预测的能力已经成为NLP社区感兴趣的主要领域。在这项工作中，我们提出了梯度自注意力地图（Grad-SAM）-一种新的基于梯度的方法，分析自注意力单位，并确定输入元素，解释模型的预测最好的。对各种基准的广泛评估表明，Grad-SAM比最先进的替代品有了显着的改进。
2022-04-23 cs.LG
Open Problem: Optimal Best Arm Identification with Fixed Budget
Columbia University（哥伦比亚大学）
自Bubeck et al.（2009）和Audibert et al.（2010）以来，最佳臂识别或纯探索问题在COLT社区受到了广泛关注。对于任何具有唯一最佳臂的bandit实例，其在所谓的固定置信度设置中的渐近复杂性已在Garivier和Kaufmann（2016）和Bauff（1959）中完全描述，而对其在称为固定预算设置的“对偶”设置中的渐近复杂性知之甚少。本文讨论了固定预算情形下实例依赖的渐近复杂度的公开问题和解决方法。
2023-03-02 cs.LG stat.ML
Cross-Attention Multimodal Fusion for Breast Cancer Diagnosis: Integrating Mammography and Clinical Data with Explainability
University for Development Studies（发展研究大学）
本文研究融合乳腺X线影像与临床特征的多模态深度网络，通过比较特征拼接、协同注意力和交叉注意力方法，在TCGA和CBIS-DDSM数据集上实现高精度乳腺癌诊断，并探讨可解释AI提升模型可靠性。
2025-08-21 cs.CV cs.LG eess.IV
