Differentiable Neural Architecture Learning for Efficient Neural Network Design
Jiangnan University（江南大学）；University of Jinan（济南大学）；University of Surrey（萨里大学）
随着深度卷积神经网络（CNN）的发展，自动化神经网络设计受到了越来越多的关注，尤其是涉及它们在嵌入式和移动平台上的部署。神经架构搜索（NAS）面临的最大问题之一是需要大量候选神经架构来进行训练，例如使用强化学习和进化优化算法，这需要巨大的计算成本。即使是最近的可微分神经架构搜索（DNAS）也基于学习的架构参数的概率分布对少量候选神经架构进行采样，以选择最终的神经架构。为了解决这个计算复杂性的问题，我们引入了一种新的\emph{architecture parameterisation}基于缩放sigmoid函数，并提出了一个通用的\emph{Differentiable Neural Architecture Learning}（DNAL）方法来优化神经网络结构，而不需要评估候选神经网络。具体来说，对于随机超网以及传统的CNN，我们构建了一个新的通道模块层，其架构组件由缩放的sigmoid函数控制。我们从头开始训练这些神经网络模型。将网络优化解耦为权值优化和结构优化。我们解决了非凸优化问题的神经结构的连续缩放sigmoid方法的收敛保证。大量的实验表明，我们的DNAL方法在神经结构搜索成本方面提供了卓越的性能。通过DNAL学习的最佳网络在准确性、模型大小和计算复杂性方面超过了在基准CIFAR-10和ImageNet-1 K数据集上使用最先进方法生成的网络。
2021-03-03 cs.LG
A Comparative Analysis of Attention versus State-Space Models for In-Context Learning
本文提出信念几何框架，统一比较注意力与状态空间模型在上下文学习中的能力，发现SSM在信念维持和位置组装上有优势，而softmax注意力在内容寻址上具有指数级宽度优势，并通过实验验证了这些架构见解的普适性。
2026-09-29 cs.LG
Sigmoid Attention as a Better Substrate for Learned KV Cache Eviction
University of Pittsburgh（匹兹堡大学）
本文探究注意力基础对学习型KV缓存驱逐软-硬转换的影响，通过2×2×2对比实验发现，Sigmoid注意力经学习型硬驱逐后，其门控模型删除KV条目时PPL变化可忽略，且比H₂O、KeyDiff等方法表现更优。
2026-08-25 cs.AI cs.LG
Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice
Google Brain（谷歌大脑）；Applied Physics, Stanford University（斯坦福大学应用物理系）
众所周知，深度神经网络中权重的初始化会对学习速度产生巨大影响。例如，确保网络的输入输出雅可比矩阵的均方奇异值为$O(1)$，对于避免梯度的指数消失或爆炸至关重要。雅可比矩阵的所有奇异值集中在$1$附近的更强条件是一种称为动态等距的性质。对于深度线性网络，动态等距可以通过正交权重初始化来实现，并已被证明可以显着加快学习速度;然而，如何将这些结果扩展到非线性设置仍然不清楚。我们通过使用来自自由概率论的强大工具来分析计算深度网络的输入-输出雅可比矩阵的整个奇异值分布来解决这个问题。我们探讨了奇异值分布对网络深度、权重初始化和非线性选择的依赖性。有趣的是，我们发现ReLU网络无法实现动态等距。另一方面，S形网络可以实现等距，但只有正交权重初始化。此外，我们通过经验证明，实现动态等距的深度非线性网络比没有实现动态等距的网络学习速度快几个数量级。事实上，我们证明了正确初始化的深度S形网络始终优于深度ReLU网络。总的来说，我们的分析表明，控制雅可比奇异值的整个分布是深度学习中一个重要的设计考虑因素。
2017-11-13 cs.LG stat.ML
Price-guided user attention in large-scale E-commerce group recommendation
Rakuten Group, Inc.（乐天集团）
本文针对群组推荐中关键用户选择受价格影响的问题，提出以商品价格引导用户聚合的注意力方法，通过自适应sigmoid调整logits，并在命中率和均方误差上优于现有方法。
2024-10-02 cs.IR cs.LG
Boltzmann Attention: Learnable Ising Couplings for Cooperative Attention
Yonsei University（延世大学）
提出玻尔兹曼注意力，通过可学习的伊辛耦合增强注意力机制中的位置间交互，在字符级语言建模和括号匹配任务中优于标准softmax注意力，并展示了量子退火训练的有效性。
2026-06-12 cond-mat.stat-mech cs.LG quant-ph
Integrated electro-optic attention nonlinearities for transformers
ETH Zurich（苏黎世联邦理工学院）；Politecnico di Milano（米兰理工大学）
本文提出利用电光非线性特性替代传统Softmax，提升变换器在视觉和语言任务中的效率与精度，同时降低计算延迟。
2026-10-28 cs.LG physics.optics
Spectral Conditioning of Attention Improves Transformer Performance
Australian Institute for Machine Learning（澳大利亚机器学习研究所）
通过优化注意力层的谱特性以降低雅可比矩阵的条件数，提升变换器模型的性能。
2026-03-07 cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo（东京大学）
现有的Transformer模型的表达能力的分析需要过深的数据存储层，导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系，我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此，我们表明，一层和单头Transformers有记忆能力有限的样本，和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Weakly Supervised Attention Networks for Fine-Grained Opinion Mining and Public Health
Columbia University（哥伦比亚大学）
在许多评论分类应用中，评论的细粒度分析是期望的，因为不同的段（例如，审查的重点可以是所涉实体的不同方面。然而，训练用于片段级分类的监督模型需要片段标签，这可能比查看标签更难或更昂贵。在本文中，我们采用多实例学习（MIL），并且仅使用弱监督，每次评论都使用单个标签。首先，我们表明，当使用不适当的MIL聚合功能，然后基于MIL的网络优于简单的基线。其次，我们提出了一个新的聚合函数的基础上的sigmoid注意力机制，并表明我们提出的模型优于最先进的模型段级的情感分类（高达9.8%，在F1）。最后，我们强调了细粒度预测在一个重要的公共卫生应用中的重要性：寻找食源性疾病的可操作报告。我们表明，与以前的模型相比，我们的模型实现了48.6%的高召回率，从而增加了识别以前未知的食源性疫情的机会。
2019-09-30 cs.CL cs.IR cs.LG
Fast Polynomial Transcendentals for LLMs
本研究针对GPU硬件演进中特殊函数单元瓶颈，提出用短多项式程序替代LLM中的sigmoid、tanh等超越函数，在GB200上实现最高8%的训练吞吐提升，且模型行为影响极小。
2026-10-02 cs.LG
Sliding Window Attention Training for Efficient Large Language Models
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）；Jarvis Research Center, Tencent YouTu Lab（腾讯优图实验室研究部）；Westlake University（西湖大学）；University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
本文提出SWAT方法，通过滑动窗口注意力训练、用sigmoid替代softmax并结合ALiBi与旋转位置嵌入，在保留Transformer架构的同时实现高效长上下文处理，在八个基准上达到SOTA性能。
2025-06-04 cs.AI cs.CL cs.LG
Gate-level boolean evolutionary geometric attention neural networks
School of Integrated Circuits, Tsinghua University（集成电路学院，清华大学）
本文提出一种基于布尔域的门级进化几何注意力神经网络，通过布尔反应-扩散机制实现图像处理，结合自注意力与RoPE技术，具备高效率和可解释性。
2025-11-11 cs.AI cs.LG cs.NE
Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉Transformer（ViT）最近在计算机视觉问题中表现出了希望。然而，与卷积神经网络（CNN）不同，已知由于观察到的注意力崩溃或补丁均匀性，ViT的性能随着深度的增加而快速饱和。尽管有一些经验性的解决方案，一个严格的框架研究这个可扩展性问题仍然难以捉摸。本文首先建立了一个严格的理论框架，从傅立叶谱域分析ViT特征。我们发现，自我注意力机制本质上相当于一个低通滤波器，这表明当ViT扩展其深度时，过度的低通滤波将导致特征图仅保留其直流（DC）分量。然后，我们提出了两个简单而有效的技术，以减轻不良的低通限制。第一种技术称为AttnScale，将自注意力块分解为低通和高通分量，然后重新缩放并组合这两个滤波器以产生全通自注意力矩阵。第二种技术，称为“缩放”，在不同的频带上重新加权特征图，以放大高频信号。这两种技术都是高效的，无超参数的，同时有效地克服了相关的ViT训练伪影，如注意力崩溃和补丁均匀性。通过将我们的技术无缝地插入到多个ViT变体中，我们证明了它们始终有助于ViT从更深层次的架构中受益，“免费”带来高达1.1%的性能增益（例如，具有很少的参数开销）。我们在https://github.com/VITA-Group/ViT-Anti-Oversmoothing公开发布我们的代码和预训练模型。
2022-03-09 cs.CV cs.LG
Attention and Pooling based Sigmoid Colon Segmentation in 3D CT images
University of New South Wales（新南威尔士大学）；Sydney Adventist Hospital（悉尼基督复临医院）
针对CT图像中乙状结肠分割难题，提出融合PyP与csSE注意力的改进3D U-Net，并结合集成策略，将DSC提升至88.11%。
2023-09-25 cs.CV cs.LG eess.IV
xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；INEEJI
针对Transformer在时间序列预测中挖掘时间关系的挑战，提出xPatch双流架构，结合季节-趋势指数分解模块、MLP线性流与CNN非线性流，辅以反正切损失和Sigmoid学习率调整，提升预测性能。
2025-02-11 cs.AI cs.LG
Flexible Triggering Kernels for Hawkes Process Modeling
Duke University（杜克大学）；Stanford University（斯坦福大学）
最近提出的用于Hawkes过程建模的编码器-解码器结构使用transformer启发的架构，其通过嵌入和自注意机制对事件的历史进行编码。这些模型比基于RNN的模型提供更好的预测和拟合优度。然而，它们通常需要高计算和存储器复杂性要求，并且有时无法充分捕获底层过程的触发功能。因此，出于动机，我们引入了一个有效的和一般的编码的历史事件序列，通过替换复杂的（多层）注意结构与观察到的数据的触发内核。注意到点过程的触发内核和注意力分数之间的相似性，我们使用触发内核来取代用于构建历史表示的权重。我们对触发函数的估计配备了S形门控机制，该机制捕获了标准随时间衰减内核具有挑战性的本地触发效应。此外，将事件类型表示和时间嵌入作为输入，模型在给定事件类型对的情况下学习底层触发类型-时间内核参数。我们对竞争模型广泛使用的合成和真实数据集进行了实验，同时进一步包括COVID-19数据集，以说明纵向协变量可用的情况。结果表明，该模型优于现有的方法，同时更有效的计算复杂性，并通过直接应用新引入的内核产生可解释的结果。
2022-02-03 cs.LG stat.ME
Rethinking Nonlinearity: Trainable Gaussian Mixture Modules for Modern Neural Architectures
Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院）；Great Bay University（大湾大学）；University of Massachusetts at Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出高斯混合启发式非线性模块（GMNM），利用GMM密度逼近与高斯核距离属性，可灵活集成于MLP、CNN、注意力及LSTM等架构，端到端训练并持续提升性能。
2025-10-08 cs.LG math.PR
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
LLMs（大型语言模型）
将门控MLP视为秩1双线性注意力的近似，通过非线性打破对称性，解释其有效性并指导架构设计。
2026-06-23 cs.AI cs.LG
Motion meets Attention: Video Motion Prompts
Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61分部）；Curtin University（科廷大学）
本文提出即插即用的运动提示层，用改进 Sigmoid 注意力调制帧差分运动并加入时间正则化，从而替代原始帧提升动作识别性能。
2024-10-02 cs.AI cs.CV cs.LG
Self-Attentive Pooling for Efficient Deep Learning
Intel Labs（英特尔实验室）
高效的自定义池化技术可以积极地修剪特征图的维度，从而减少资源受限的计算机视觉应用的推理计算和存储器占用空间，最近已经获得了显著的吸引力。然而，先前的池化工作仅提取激活图的局部上下文，限制了它们的有效性。相比之下，我们提出了一种新的非局部自注意池化方法，可以用作标准池化层的替代品，例如最大/平均池化或跨步卷积。所提出的自注意模块使用补丁嵌入，多头自注意和空间通道恢复，其次是sigmoid激活和指数soft-max。这种自注意力机制在下采样期间有效地聚集非局部激活补丁之间的依赖性。在各种卷积神经网络（CNN）架构的标准对象分类和检测任务上进行的广泛实验证明了我们提出的机制优于最先进的（SOTA）池化技术。特别是，我们在ImageNet上的MobileNet-V2的不同变体上超过了现有池化技术的测试准确度，平均为1.2%。通过对初始层中的激活图进行积极的下采样（提供高达22倍的内存消耗减少），我们的方法与具有iso-memory足迹的SOTA技术相比，测试准确度高出1.43%。这使得我们的模型能够部署在内存受限的设备中，例如微控制器（而不会损失显着的准确性），因为初始激活图消耗了大量的片上内存，用于复杂视觉任务所需的高分辨率图像。我们提出的池化方法还利用通道修剪的思想来进一步减少内存占用。
2022-12-28 cs.CV cs.LG
Softmax Attention with Constant Cost per Token
Glassroom（格拉斯鲁姆公司）
提出对Transformer注意力机制的修改，用缩放点积的指数的对数替代传统点积量化相似度，通过指数核特征映射线性化注意力，实现每个token恒定时空复杂度，并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
LAMP-PRo: Label-aware Attention for Multi-label Prediction of DNA- and RNA-binding Proteins using Protein Language Models
Department of Computer Science and Engineering, Shiv Nadar University Chennai, Tamil Nadu, India（计算机科学与工程系，Shiv Nadar大学 Chennai，印度 Tamil Nadu）
本文提出LAMP-PRo框架，融合ESM-2蛋白质语言模型、CNN、多头自注意力、标签感知与跨标签注意力，以多标签方式准确区分DBP、RBP及DRBP。
2025-10-21 cs.AI cs.LG q-bio.QM
Instant3D: Instant Text-to-3D Generation
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Sea AI Lab（Sea AI实验室）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Business School, National University of Singapore（新加坡国立大学商学院）；Skywork AI；Xi’an Jiaotong University（西安交通大学）
本文提出Instant3D框架，通过前馈网络直接从文本构建3D triplane，结合交叉注意力、风格注入和token-to-plane转换，并引入scaled-sigmoid激活函数和自适应Perp-Neg算法，实现不到一秒的快速高质量文本到3D生成。
2024-04-29 cs.AI cs.CV cs.GR
Kernel Clustering with Sigmoid-based Regularization for Efficient Segmentation of Sequential Data
Hanoi University of Science and Technology（河内理工大学）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
核分割的目的是将一个数据序列分割成几个不重叠的部分，这些部分可能具有非线性和复杂的结构。在一般情况下，它被制定为一个离散的组合约束优化问题。一个流行的算法，最佳地解决这个问题是动态规划（DP），它有二次计算和内存的要求。考虑到实际中的序列太长，该算法不是一种实用的方法。虽然已经提出了许多启发式算法来近似最优分割，但它们不能保证其解的质量。在本文中，我们采取了一种差异化的方法来缓解上述问题。首先，我们引入了一种新的sigmoid为基础的正则化平滑近似的组合约束。结合它与目标的平衡核聚类，我们制定了一个可微的模型，称为核聚类与sigmoid-based正则化（KCSR），其中基于梯度的算法可以被利用来获得最佳分割。其次，我们开发了一个随机变量的模型。第二种模型采用时间复杂度和空间复杂度都较低的随机梯度下降算法进行优化，可以对超长数据序列进行分割。最后，为了同时分割多个数据序列，我们稍微修改了基于sigmoid的正则化，以进一步引入所提出的模型的扩展变体。通过对不同类型数据序列的大量实验，我们的模型的性能进行了评估，并与现有的方法进行了比较。实验结果验证了所提模型的优越性。我们的Matlab源代码可以在github上找到。
2022-06-22 cs.CV cs.LG
Improving Graph Attention Networks with Large Margin-based Constraints
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
图注意力网络（GAT）是用于利用图进行表示学习的最先进的神经架构。GAT学习为节点分配权重的注意力函数，以便不同的节点在特征聚合步骤中具有不同的影响。然而，在实践中，诱导注意力函数容易过拟合，由于越来越多的参数和缺乏直接监督的注意力权重。GAT还遭受节点的决策边界处的过度平滑。在这里，我们提出了一个框架，以解决他们的弱点，通过在培训过程中注意力的边缘为基础的限制。我们首先从理论上证明了GAT的过度平滑行为，然后根据类边界和特征聚集模式，提出了一种对注意力权重进行约束的方法。此外，为了缓解过拟合问题，我们对图结构提出了额外的约束。在常见基准数据集上的大量实验和消融研究证明了我们方法的有效性，这导致了对所有数据集的先前最先进的图注意力方法的显着改进。
2019-10-25 cs.LG stat.ML
Can Hessian-Based Insights Support Fault Diagnosis in Attention-based Models?
Dalhousie University（达尔豪斯大学）
本文实证评估 Hessian 分析用于注意力模型故障诊断，借助曲率与参数交互指标在 HAN、3D-CNN 和 DistilBERT 上更准确地定位不稳定性及故障来源。
2025-06-09 cs.LG cs.SE
Tempered Sigmoid Activations for Deep Learning with Differential Privacy
Google Brain（谷歌大脑）；Apple（苹果公司）
由于学习有时涉及敏感数据，因此机器学习算法已被扩展为为训练数据提供隐私。在实践中，这主要是事后的想法，通过使用不同的优化器重新运行训练来获得隐私保护模型，但使用在非隐私保护设置中已经表现良好的模型架构。这种方法导致了不太理想的隐私/效用权衡，正如我们在这里所展示的。相反，我们建议从头开始明确选择模型架构进行隐私保护训练。为了在差分隐私的黄金标准下提供保证，必须尽可能严格地限制单个训练点如何影响模型更新。在本文中，我们首次观察到激活函数的选择对于限制隐私保护深度学习的敏感性至关重要。我们通过分析和实验证明了一个一般的有界激活函数家族，即回火S形函数，如何始终优于ReLU等无界激活函数。使用这种范式，我们在MNIST、FashionMNIST和CIFAR 10上实现了新的最先进的准确性，而无需对学习过程基础或差分隐私分析进行任何修改。
2020-07-28 cs.CR cs.LG stat.ML
On the global convergence of gradient flow for wide shallow models beyond homogeneous nonlinearities
CNRS and ENS, PSL Université（CNRS和ENS，PSL大学）；Mathematics Institute, University of Warwick（数学研究所，沃里克大学）
本文研究了梯度下降在宽浅神经网络中寻找训练损失全局极小值的能力，证明了非全局极小值的不稳定性，并扩展了对向量输出权重模型的构造。
2026-08-12 cs.LG math.OC
A topological description of loss surfaces based on Betti Numbers
Sapienza University of Rome（罗马第一大学）；University of Siena（锡耶纳大学）
本文提出一种基于Betti数的拓扑测度来评估多层神经网络的损失复杂度，推导了深度与浅层架构复杂度的上下界，并揭示了隐藏单元数量、训练模型及激活函数对复杂度的影响，同时证明了特定情况下正则化项和跳跃连接不改变损失拓扑。
2024-01-08 cs.LG stat.ML
On the Relationship between Self-Attention and Convolutional Layers
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
最近将注意力机制纳入视觉的趋势使研究人员重新考虑卷积层作为主要构建块的优越性。除了帮助CNN处理长期依赖性之外，Ramachandran等人（2019）还表明，注意力可以完全取代卷积，并在视觉任务上实现最先进的性能。这就提出了一个问题：学习的注意力层是否与卷积层类似？这项工作提供了证据，证明注意力层可以执行卷积，事实上，它们经常在实践中学习这样做。具体来说，我们证明了具有足够数量头部的多头自注意力层至少与任何卷积层一样具有表达力。然后，我们的数值实验表明，自注意力层关注像素网格模式类似于CNN层，证实了我们的分析。我们的代码是公开的。
2020-01-10 cs.CL cs.CV cs.LG
Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles
Jilin University（吉林大学）
轨迹预测和行为决策是自动驾驶汽车的两项重要任务，需要对环境背景有很好的理解;通过参考轨迹预测的输出，可以更好地做出行为决策。然而，大多数当前的解决方案分别执行这两个任务。因此，一个联合神经网络，结合多种线索，提出并命名为整体Transformer预测轨迹，并作出行为决策的同时。为了更好地挖掘线索之间的内在关系，该网络利用已有知识，采用了三种注意力机制：稀疏多头机制，用于降低噪声影响;特征选择稀疏机制，用于优化利用部分先验知识;与其他弹道预测模型相比，该模型具有更好的综合性能和良好的可解释性。感知噪声鲁棒性实验表明，该模型具有良好的噪声鲁棒性。因此，结合多个线索的同时轨迹预测和行为决策可以降低计算成本并增强场景和代理之间的语义关系。
2022-06-17 cs.AI cs.LG cs.RO
Interpretable CNN-Multilevel Attention Transformer for Rapid Recognition of Pneumonia from Chest X-Ray Images
Hainan University（海南大学）；North University of China（中北大学）
本文提出一种可解释的CNN-多级注意力Transformer肺炎识别框架，通过多级自注意力机制加速收敛并突出任务相关区域，结合数据增强缓解医学图像稀缺问题，在COVID-19 CXR识别任务上验证了有效性。
2024-01-13 cs.CV cs.LG eess.IV
Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach
Technical University of Munich（慕尼黑技术大学）；University of Tübingen（图宾根大学）；Leibniz-Institut für Wissensmedien（莱比锡知识媒体研究所）
针对整节课段话语实践评估不足的问题，本文提出以文本为中心、融合音视频的注意力多任务序数分类架构，在GTI Germany数据集上取得0.384的QWK。
2025-05-12 cs.AI cs.CL cs.CY
Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention
Institute of Science and Technology (ISTA)（科学与技术研究所）
本文研究sink和对角模式在注意力切换和防止过度平滑中的作用，分析了sink表示的几何条件，探讨了sink在防止过度平滑中的作用，并证明了sink与硬注意力切换的等价性。
2026-11-04 cs.AI cs.LG stat.ML
A Neural Attention Model for Adaptive Learning of Social Friends' Preferences
Maastricht University（马斯特里赫特大学）
基于社会的推荐系统利用好友的选择来对抗用户偏好的数据稀疏性，提高协同过滤策略的推荐准确率。主要的挑战是捕捉和权衡朋友的偏好，因为在实践中，他们确实必然匹配。本文提出了一种用于社会协同过滤的神经注意力机制，即NAS。我们设计了一个神经架构，通过考虑朋友对用户行为的社会潜在影响来仔细计算朋友偏好的非线性。此外，我们引入了一个社会行为的注意力机制，自适应地权衡朋友对用户偏好的影响，从而产生准确的建议。我们在公开数据集上的实验证明了所提出的NAS模型比其他最先进的方法的有效性。此外，我们研究了建议的社会行为注意力机制的效果，并表明它是一个关键因素，我们的模型的性能。
2019-06-29 cs.IR cs.LG cs.SI
Gated-SwinRMT: Unifying Swin Windowed Attention with Retentive Manhattan Decay via Input-Dependent Gating
Yogoda Satsanga Palpara Mahavidyalaya（尤高达·萨桑加·帕尔帕拉学院）；Prabhat Kumar College（普拉巴特·库马尔学院）
本文提出Gated-SwinRMT，结合Swin Transformer的滑动窗口注意力与Retentive Networks的曼哈顿距离空间衰减，并通过输入依赖门控统一两者。核心方法将自注意力分解为连续的宽度和高度保留传递，利用指数衰减掩码提供二维局部性先验。
2026-04-10 cs.LG
Differential Gated Self-Attention
提出多头差分门控自注意力（M-DGSA），通过输入依赖门控动态抑制注意力噪声，在视觉和语言基准上提升鲁棒性。
2025-09-25 cs.LG
Capacity-Controlled Global Attention for Graph Transformers
Brain Investing Limited；The University of Hong Kong（香港大学）；Stellaris AI Limited
本文提出SigGate-GT，通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束，从而解决过平滑、低秩瓶颈和训练不稳定等问题，提升了多个基准测试的性能。
2026-06-07 cs.AI cs.LG
Generalizable Insights for Graph Transformers in Theory and Practice
针对图Transformer（GTs）理论与实践间的差距，提出整合近年进展的广义距离Transformer（GDT），从理论分析其表示能力，通过大规模跨领域实验识别通用设计选择，提炼可泛化洞见。
2025-11-11 cs.LG
Best Practices for Convolutional Neural Networks Applied to Object Recognition in Images
University of Toronto（多伦多大学）
本研究项目研究卷积神经网络（CNN）在图像分类任务中的影响。我们使用ReLU、Nesterov的加速梯度、dropout和maxout网络探索不同的架构和训练配置。我们使用CIFAR-10数据集作为Kaggle竞赛的一部分来识别图像中的对象。初步结果表明，CNN作为不变特征检测器的性能优于我们的基线。不同的预处理程序之间的比较显示更好的结果，全局对比度归一化和ZCA白化。ReLU比tanh单位快得多，并且优于sigmoids。我们提供了有关训练超参数的详细信息，为它们的选择提供了直觉，这有助于在类似情况下增强学习。我们设计了4个卷积神经网络模型，探索了深度、特征图数量、内核大小和重叠、池化区域和不同的子采样技术等特征。结果有利于在卷积层和密集层中使用大量参数的中等深度的模型。Maxout网络在某些模型上的性能优于整流器，但随着全连接层复杂性的增加，会引入太多的噪声。最后的讨论解释了我们的结果，并提供了其他技术，可以提高性能。
2019-10-29 cs.CV cs.LG eess.IV
WildCat: Near-Linear Attention in Theory and Practice
University of Cambridge（剑桥大学）
提出WildCat方法，通过随机枢轴Cholesky算法选择加权核心集，在近线性时间内以超多项式误差衰减近似精确注意力，并应用于图像生成、分类和语言模型KV缓存压缩。
2026-06-01 cs.LG stat.ML
A Unified Perspective on the Dynamics of Deep Transformers
CNRS and Ecole Normale Supérieure PSL（CNRS和巴黎高等师范大学）；Apple（苹果公司）；Mathematical Institute, University of Oxford（牛津大学数学学院）
提出Transformer PDE作为注意力层迭代的均场极限，证明其适定性并分析高斯初始数据下的各向异性演化与聚类现象。
2026-06-19 cs.LG math.AP
Application of Deep Self-Attention in Knowledge Tracing
Zhejiang University（浙江大学）
智能教学系统的发展极大地改变了学生的学习和实践方式，提高了学生的学习效率。智能教学系统在向学习者提供反馈和建议之前，必须对学习者掌握的知识进行建模，因此一类称为“知识追踪”的算法就显得尤为重要。基于PTA的数据，提出了深度自主知识追踪（Deep Self-Attentive Knowledge Tracing，DSAKT）方法，以帮助学生提高学习效率。在PTA数据集上的实验表明，DSAKT模型的AUC平均提高了2.1%，在ASSIST数据集上也有很好的性能。
2021-05-23 cs.LG
Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz（ELLIS单位、LIT人工智能实验室、机器学习研究所、JKU林茨）；NXAI GmbH（NXAI公司）
TFLA通过引入序列并行化提升线性RNN和xLSTM内核效率，实现更高算术强度和更优长上下文序列建模性能。
2025-12-28 cs.AI cs.LG
Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
Sharif University of Technology（谢里夫理工大学）；The University of Hong Kong（香港大学）
本文提出随机傅里叶特征高斯过程注意力模块，将注意力视为GP后验，通过低秩近似实现线性时间复杂度的不确定性校准，在保持预测精度的同时提升校准性能。
2026-10-07 cs.LG
When Attention Sink Emerges in Language Models: An Empirical View
Sea AI Lab（Sea AI实验室）；National University of Singapore（新加坡国立大学）
本研究实证揭示了语言模型中注意力汇聚现象在预训练中涌现的机制，发现其源于softmax归一化导致的token内在依赖，并证明替换为无归一化的sigmoid attention可消除该现象。
2025-03-02 cs.AI cs.CL cs.LG
Legible-by-Construction: Attention and End-to-End Transformers
Professor School of Computer Science and Engineering University of Washington（计算机科学与工程教授 美国华盛顿大学）
研究将变换器前馈层可读化的思想应用于注意力机制，提出最小化机制及布尔变体，通过选择性压力使值通道成为可读探测器，在多注意力设计中提升了可读性，还训练了端到端可读语言模型。
2026-07-07 cs.CL cs.LG
ESGBERT: Language Model to Help with Classification Tasks Related to Companies Environmental, Social, and Governance Practices
University of California Berkeley（加州大学伯克利分校）
环境、社会和治理（ESG）是非财务因素，越来越受到投资者的关注，因为他们越来越多地将这些因素作为分析的一部分，以识别重大风险和增长机会。这种关注也受到客户的推动，他们现在比以往任何时候都更加意识到，他们要求负责任地管理和投资他们的资金。随着人们对ESG的兴趣越来越大，投资者对获取可消费的ESG信息的需求也越来越大。由于大部分信息都是以文本形式出现在报告、披露、新闻稿和10-Q文件中，因此我们认为需要复杂的NLP技术来完成ESG文本的分类任务。我们假设ESG领域特定的预训练模型将有助于实现这一点，并在本文中研究构建同样的模型。我们通过使用ESG特定文本微调BERT预训练的权重，然后进一步微调分类任务的模型来探索这一点。在特定于环境的分类任务中，我们能够实现比原始BERT和基线模型更好的准确性。
2022-03-31 cs.CL cs.LG
Metrics for Benchmarking and Uncertainty Quantification: Quality, Applicability, and a Path to Best Practices for Machine Learning in Chemistry
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；New York State Center of Excellence in Materials Informatics（纽约州材料信息学卓越中心）
这篇综述旨在提请注意当我们着手使机器学习在化学和材料领域发挥作用时所关注的两个问题，即，统计损失函数度量，用于数据衍生模型的验证和基准测试，以及由它们做出的预测的不确定性量化。它们经常被忽视或低估的主题，因为化学家通常只有有限的统计培训。除了帮助评估给定模型的质量、可靠性和适用性外，这些指标也是比较不同模型性能的关键，因此也是为机器学习在化学中的成功应用制定指导方针和最佳实践的关键。
2021-01-22 cs.LG physics.chem-ph
Best Practices for Machine Learning Systems: An Industrial Framework for Analysis and Optimization
本文提出了一个工业框架，通过引入专为ML系统定制的分层软件质量模型（SQM）并结合集合函数优化技术，分析最佳实践集合对软件质量的影响与实施优先级。
2023-06-09 cs.LG cs.SE
Continuum Attention for Neural Operators
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）；The Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）；Basis Research Institute（Basis研究机构）
本文提出了一种基于连续注意力机制的神经算子设计方法，通过函数空间建模实现了对非局部映射的高效逼近，并在多个算子学习任务中验证了其有效性。
2025-12-20 cs.LG cs.NA math.NA
Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension
The University of Hong Kong, Hong Kong, China（香港大学）；Brain Investing Limited, Hong Kong, China（脑投有限公司）
本文提出首个脉冲自注意力的理论框架，通过有效维度分析解释为何少量时间步足以实现高精度，提供设计规则和实验验证。
2026-04-17 cs.AI cs.LG
Gated recurrent neural networks discover attention
ETH Zürich（苏黎世联邦理工学院）
本研究揭示，配备线性循环层和乘法门控的现代RNN能精确实现自注意力，且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法，凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
