On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective
Columbia University（哥伦比亚大学）；Vector Institute（矢量研究所）
本文实证检验神经正切核（NTK）理论对实际大宽度神经网络行为的预测能力，发现理论与实践中存在显著脱节，质疑NTK理论对架构与算法选择的指导作用。
2024-05-28 cs.LG stat.ML
Feature Importance Estimation with Self-Attention Networks
Jožef Stefan Institute（约泽夫·斯蒂芬研究所）；International Postgraduate School Jožef Stefan（约泽夫·斯蒂芬国际研究生院）
黑箱神经网络模型广泛应用于工业和科学领域，但难以理解和解释。最近，注意力机制被引入，提供了对神经语言模型内部工作的见解。本文探讨了使用基于注意力的神经网络机制来估计特征的重要性，作为解释从命题（表格）数据中学习的模型的手段。特征的重要性估计，评估所提出的自注意力网络（SAN）架构，建立ReliefF，互信息和随机森林为基础的估计，这是广泛用于在实践中的模型解释进行比较。我们第一次在10个真实和合成数据集上对不同算法的特征重要性估计进行无尺度比较，以研究所得到的特征重要性估计的相似性和差异，表明SAN识别类似的高排名特征。我们证明，SAN识别功能的相互作用，在某些情况下，产生更好的预测性能比基线，这表明注意力超出了几个关键功能的相互作用，并检测较大的功能子集相关的考虑学习任务。
2020-02-11 cs.LG stat.ML
Understanding Attention and Generalization in Graph Neural Networks
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；SRI International（斯坦福国际研究院）
我们的目标是更好地理解图神经网络（GNNs）中节点的注意力，并确定影响其有效性的因素。我们特别关注注意力GNN推广到更大，更复杂或噪声图的能力。受图同构网络工作的启发，我们设计了简单的图推理任务，使我们能够在受控环境中研究注意力。我们发现，在典型的条件下，注意力的影响是可以忽略不计的，甚至是有害的，但在某些条件下，它提供了一个特殊的性能增益超过60%，在我们的一些分类任务。在实践中满足这些条件是具有挑战性的，往往需要最佳的初始化或监督训练的注意力。我们提出了一个替代的配方和训练注意力在弱监督的方式，接近监督模型的性能，并与无监督模型相比，提高了几个合成以及真实数据集的结果。源代码和数据集可在https://github.com/bknyaz/graph_attention_pool上获得。
2019-10-28 cs.AI cs.LG stat.ML
ESGBERT: Language Model to Help with Classification Tasks Related to Companies Environmental, Social, and Governance Practices
University of California Berkeley（加州大学伯克利分校）
环境、社会和治理（ESG）是非财务因素，越来越受到投资者的关注，因为他们越来越多地将这些因素作为分析的一部分，以识别重大风险和增长机会。这种关注也受到客户的推动，他们现在比以往任何时候都更加意识到，他们要求负责任地管理和投资他们的资金。随着人们对ESG的兴趣越来越大，投资者对获取可消费的ESG信息的需求也越来越大。由于大部分信息都是以文本形式出现在报告、披露、新闻稿和10-Q文件中，因此我们认为需要复杂的NLP技术来完成ESG文本的分类任务。我们假设ESG领域特定的预训练模型将有助于实现这一点，并在本文中研究构建同样的模型。我们通过使用ESG特定文本微调BERT预训练的权重，然后进一步微调分类任务的模型来探索这一点。在特定于环境的分类任务中，我们能够实现比原始BERT和基线模型更好的准确性。
2022-03-31 cs.CL cs.LG
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University（韦恩州立大学）
在强化学习算法中，通常只考虑环境的单个视图来做出所需的决策;然而，利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性，因此它们提供的观察可以具有不同的重要性级别。在本文中，我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中，其中每个视图可以提供各种代表性的信息的环境。具体来说，我们的方法学习一个政策，动态地参加的意见，环境的基础上，他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
Metrics for Benchmarking and Uncertainty Quantification: Quality, Applicability, and a Path to Best Practices for Machine Learning in Chemistry
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；New York State Center of Excellence in Materials Informatics（纽约州材料信息学卓越中心）
这篇综述旨在提请注意当我们着手使机器学习在化学和材料领域发挥作用时所关注的两个问题，即，统计损失函数度量，用于数据衍生模型的验证和基准测试，以及由它们做出的预测的不确定性量化。它们经常被忽视或低估的主题，因为化学家通常只有有限的统计培训。除了帮助评估给定模型的质量、可靠性和适用性外，这些指标也是比较不同模型性能的关键，因此也是为机器学习在化学中的成功应用制定指导方针和最佳实践的关键。
2021-01-22 cs.LG physics.chem-ph
Softmax Attention with Constant Cost per Token
Glassroom（格拉斯鲁姆公司）
提出对Transformer注意力机制的修改，用缩放点积的指数的对数替代传统点积量化相似度，通过指数核特征映射线性化注意力，实现每个token恒定时空复杂度，并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
Sharif University of Technology（谢里夫理工大学）；The University of Hong Kong（香港大学）
本文提出随机傅里叶特征高斯过程注意力模块，将注意力视为GP后验，通过低秩近似实现线性时间复杂度的不确定性校准，在保持预测精度的同时提升校准性能。
2026-10-07 cs.LG
Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension
The University of Hong Kong, Hong Kong, China（香港大学）；Brain Investing Limited, Hong Kong, China（脑投有限公司）
本文提出首个脉冲自注意力的理论框架，通过有效维度分析解释为何少量时间步足以实现高精度，提供设计规则和实验验证。
2026-04-17 cs.AI cs.LG
Controlling changes to attention logits
University of Bristol（布里斯托大学）；Mistral AI
本文提出通过控制logits的变化来提高transformer模型的稳定性，采用参数依赖的学习率策略，在MLA设置中优于其他方法并达到与QK norm相当的性能。
2025-11-26 cs.LG
Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach
Technical University of Munich（慕尼黑技术大学）；University of Tübingen（图宾根大学）；Leibniz-Institut für Wissensmedien（莱比锡知识媒体研究所）
针对整节课段话语实践评估不足的问题，本文提出以文本为中心、融合音视频的注意力多任务序数分类架构，在GTI Germany数据集上取得0.384的QWK。
2025-05-12 cs.AI cs.CL cs.CY
Gated recurrent neural networks discover attention
ETH Zürich（苏黎世联邦理工学院）
本研究揭示，配备线性循环层和乘法门控的现代RNN能精确实现自注意力，且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法，凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文研究了在预训练后通过上下文适应新任务的强化学习代理，通过softmax注意力机制证明了Transformer层前向传递等价于加权softmax时序差分算法的迭代更新，并证明了参数在预训练损失中的全局极小性。
2026-05-17 cs.LG
A Primal-Dual Framework for Transformers and Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出Transformer与神经网络的原始-对偶理论框架，证明自注意力对应SVR的支持向量展开，推导两种新型注意力并验证其在多任务中降冗余、提精度与效率的优势。
2024-06-19 cs.AI cs.CL cs.CV
ENA: Efficient N-dimensional Attention
Independent Researcher（独立研究者）
本文提出ENA架构，通过将线性循环模型与分块高阶滑动窗口注意力相结合，以线性循环压缩全局信息、SWA强化局部建模，为超长高阶数据建模提供高效实用的解决方案。
2025-08-16 cs.AI cs.CV cs.LG
Transformer Based Linear Attention with Optimized GPU Kernel Implementation
Department of Computer Science, Umiacs University of Maryland College Park, MD（计算机科学系，乌米亚茨大学马里兰大学学院公园分校）
针对线性注意力实际效率低于理论的问题，提出优化的前向/反向传播及CUDA内核，实现3.3倍加速和3.6倍内存缩减，并在14亿参数模型上验证了与常规注意力相当的性能。
2025-10-24 cs.CL cs.LG
Geometric Algebra Attention Networks for Small Point Clouds
Vector Institute（向量研究所）
深度学习的大部分成功都来自于构建适当尊重其操作数据中潜在对称性和结构的架构--这是一组在几何深度学习旗帜下统一的考虑因素。物理科学中的问题通常涉及二维或三维空间中相对较小的点集，其中平移，旋转和置换等方差对于模型在实践中有用是重要的，甚至是至关重要的。在这项工作中，我们提出了旋转和置换等变架构，用于在这些小点云上进行深度学习，这些小点云由一组来自几何代数的项的乘积和使用注意力机制对这些乘积的约简组成。几何代数提供了有价值的数学结构，通过它可以以系统的方式组合矢量、标量和其他类型的几何输入，以说明旋转不变性或协方差，而注意力则提供了一种强有力的方式来施加置换等变性。我们通过训练模型来解决与物理，化学和生物学相关的样本问题，展示了这些架构的有用性。
2022-10-03 cs.CV cs.LG
Efficiently Approximating Attention Is Hard
RWTH Aachen University（亚琛工业大学）；Stanford University（斯坦福大学）
本研究证明在标准复杂性假设下，不存在对所有输入具有非平凡均匀近似保证的次二次注意力近似算法，即使经过多项式预处理亦然，从而确定了均匀注意力近似的计算极限。
2026-09-30 cs.CC cs.LG
You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling
University of Wisconsin（威斯康星大学）；University of Illinois（伊利诺伊大学）；American Family Insurance（美国家庭保险公司）
基于转换器的模型广泛应用于自然语言处理（NLP）中。Transformer模型的核心是自注意力机制，它捕获输入序列中标记对的交互，并二次依赖于序列长度。在更长的序列上训练这样的模型是昂贵的。在本文中，我们证明了一个伯努利抽样注意力机制的基础上局部敏感哈希（LSH），降低了这种模型的二次复杂性线性。我们通过将自注意力视为与伯努利随机变量相关的单个令牌的总和来绕过二次成本，原则上，可以通过单个散列一次采样（尽管在实践中，这个数字可能是一个小常数）。这导致了一个有效的采样方案来估计自注意力力，这依赖于LSH的特定修改（以实现在GPU架构上的部署）。我们在具有标准512序列长度的GLUE基准上评估我们的算法，其中我们看到相对于标准预训练的Transformer的有利性能。在长距离竞技场（LRA）基准测试中，为了评估长序列的性能，我们的方法实现了与softmax自注意力一致的结果，但具有相当大的加速和内存节省，并且通常优于其他有效自注意力方法。我们的代码可在https://github.com/mlpen/YOSO上获得
2021-11-18 cs.CL cs.LG
From promise to practice: realizing high-performance decentralized training
KTH Royal Institute of Technology（皇家理工学院）；Southern University of Science and Technology（南方科技大学）
本文针对多节点去中心化训练的挑战，构建运行时模型揭示提升速度的关键因素，提出支持通信计算重叠的去中心化Adam算法及累积技术，在64 GPU集群上验证了其在运行时间和泛化性能上的优势。
2024-10-15 cs.DC cs.LG
A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation
Seoul National University（首尔国立大学）；Sungkyunkwan University（成均馆大学）；SK Hynix（SK海力士）
随着神经网络计算需求的不断增长，已经提出了许多用于神经网络的硬件加速器。这种现有的神经网络加速器通常专注于流行的神经网络类型，如卷积神经网络（CNN）和递归神经网络（RNN）;然而，没有太多的关注注意力机制，一种新兴的神经网络原语，使神经网络能够从知识库，外部存储器或过去的状态中检索最相关的信息。注意力机制被许多最先进的神经网络广泛采用，用于计算机视觉、自然语言处理和机器翻译，并且占总执行时间的很大一部分。我们观察到今天使用矩阵向量乘法实现该机制的实践是次优的，因为注意力机制在语义上是基于内容的搜索，其中大部分计算最终没有被使用。基于这一观察，我们设计并构建了A3，它通过算法近似和硬件专业化来加速神经网络中的注意力机制。我们提出的加速器实现了多个数量级的提高能源效率（性能/瓦），以及大大加快了国家的最先进的传统硬件。
2020-02-22 cs.DC cs.LG
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
Huawei, Noah’s Ark Lab（华为、诺亚实验室）；AI Centre, Department of Computer Science, University College London（人工智能中心、计算机科学系、伦敦大学学院）
针对混合线性注意力转换方法中线性组件被绕过的问题，提出推理时混合、HedgeCATs和SSD三种方案，确保组件均衡使用并恢复性能归因有效性。
2025-10-10 cs.AI cs.CL cs.LG
