Curvature-Aware Captioning:Leveraging Geodesic Attention for 3D Scene Understanding
East China Normal University（东华大学）
本文提出曲率感知描述生成框架，通过非欧几里得测地注意力机制解决定位与上下文化冲突，提升3D场景描述的精度与连贯性。
2026-05-09 cs.AI cs.CV cs.LG
NiSNN-A: Non-iterative Spiking Neural Networks with Attention with Application to Motor Imagery EEG Classification
Delft University of Technology（代尔夫特理工大学）；The University of Manchester（曼彻斯特大学）
本研究提出NiSNN-A模型，结合非迭代LIF神经元和序列注意力机制，用于运动想象脑电分类，在OpenBMI数据集上实现更高精度和2.27倍能效提升。
2025-01-26 cs.LG cs.NE
Attention-based Iterative Decomposition for Tensor Product Representation
Kyungpook National University（庆北国立大学）；ALI Co., Ltd.（ALI有限公司）
针对张量积表示（TPR）在系统泛化任务中分解不完整的问题，提出基于注意力的迭代分解（AID）模块，通过竞争性注意力机制增强结构表示的分解，显著提升了基于TPR模型的泛化性能与表示质量。
2024-06-03 cs.AI cs.LG
Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究针对Transformer中前馈块研究不足的问题，提出通过注意力图可视化分析其输入语境化效果，实验发现前馈网络会突出特定语言组合，且前馈块与周围组件作用存在抵消，提示Transformer层处理可能有冗余。
2024-04-15 cs.CL
Iterative SE(3)-Transformers
University of Oxford（牛津大学）；University of Washington（华盛顿大学）
在处理三维数据时，可以通过应用所谓的SE（3）-等变模型来确保旋转和平移对称性。蛋白质结构预测是显示这些对称性的任务的一个突出例子。最近在这一领域的工作已经成功地利用了SE（3）-等变模型，应用了迭代SE（3）-等变注意力机制。受此应用程序的启发，我们实现了SE（3）-Transformer的迭代版本，这是一个用于图形数据的SE（3）-等变基于注意力的模型。我们解决了在迭代方式中应用SE（3）-Transformer时出现的额外复杂性，比较了玩具问题上的迭代和单遍版本，并考虑为什么迭代模型在某些问题设置中可能是有益的。我们将实现的代码提供给社区。
2021-03-16 cs.LG stat.ML
Perceiver: General Perception with Iterative Attention
DeepMind（深度思维）
生物系统通过同时处理来自视觉、听觉、触觉、本体感受等不同模态的高维输入来感知世界。另一方面，深度学习中使用的感知模型是为个体模态设计的，通常依赖于特定领域的假设，例如几乎所有现有视觉模型所利用的局部网格结构。这些先验引入了有益的归纳偏差，但也将模型锁定在个体模态上。在本文中，我们介绍了Perceiver -一个建立在Transformers基础上的模型，因此对其输入之间的关系做了一些架构假设，但也可以扩展到数十万个输入，如ConvNets。该模型利用不对称的注意力机制来迭代地将输入提取到紧密的潜在瓶颈中，从而使其能够扩展以处理非常大的输入。我们表明，这种架构在各种形式的分类任务上具有竞争力或优于强大的专业模型：图像，点云，音频，视频和视频+音频。Perceiver通过直接处理50，000个像素，在没有2D卷积的情况下获得了与ResNet-50和ImageNet上的ViT相当的性能。它在AudioSet的所有模式中也具有竞争力。
2021-06-23 cs.AI cs.CV cs.LG
ESPFormer: Doubly-Stochastic Attention with Expected Sliced Transport Plans
Department of Computer Science, Vanderbilt University, Nashville, TN, USA.（计算机科学系，范德比尔特大学）；Department of Computer Science, Duke University, Durham, NC, USA.（计算机科学系，杜克大学）；Department of Biostatistics and Bioinformatics, Duke University, Durham, NC, USA.（生物统计学与生物信息学系，杜克大学）
本文提出 ESPFormer，一种基于期望切片传输计划（ESP）的新型完全可并行化双随机注意力机制，无需迭代 Sinkhorn 归一化，通过温度软排序确保可微性，在多任务上持续提升性能。
2025-07-12 cs.LG
FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Aalborg University（奥尔堡大学）
本文提出FEAT，一种线性复杂度的基础模型，用于处理超大规模结构化数据，通过多层双轴编码架构和自适应融合双向状态空间模型，实现线性时间内的跨元组上下文化，同时支持排列不变的表示学习。
2026-09-14 cs.AI cs.LG
Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers
Saarland Informatics Campus（萨尔兰信息学园区）
本研究使用线性探针分析预训练语言模型子层对多义词的上下文化强度，发现BERT在特定短上下文位置的顶部子层表现高度上下文化，但无法系统推广至所有位置和上下文大小。
2024-09-21 cs.CL
RetinotopicNet: An Iterative Attention Mechanism Using Local Descriptors with Global Context
Aptiv（安波福）；Mercator School of Management, University Duisburg-Essen（杜伊斯堡-埃森大学墨卡托管理学院）
卷积神经网络（CNN）是近年来计算机视觉研究中许多进步背后的驱动力。这一进展催生了许多实际应用，我们看到越来越需要将CNN有效地迁移到当今的嵌入式系统中。然而，传统的CNN缺乏尺度和旋转不变性的特性：这是自然图像中最常见的两种变换。因此，CNN必须在不同的尺度上学习相同对象的不同特征。这种冗余是CNN需要非常深以达到所需精度的主要原因。在本文中，我们开发了一个有效的解决方案，通过复制自然如何解决人脑中的问题。为此，我们让我们的CNN对使用对数极坐标变换提取的小块进行操作，这是已知的尺度和旋转等变。这种方法提取的图像块具有中心区域放大、边缘区域压缩的良好特性。因此，我们获得具有全局上下文信息的局部描述符。然而，单个块的处理通常不足以在例如分类任务中实现高精度。因此，我们连续跳到几个不同的位置，称为扫视，从而建立对整个图像的理解。由于对数极坐标块包含全局上下文信息，因此我们可以仅使用小块有效地计算后续扫视。扫视有效地补偿了对数极坐标变换的平移等方差的缺乏。
2020-05-12 cs.CV cs.LG eess.IV
An Iterative Algorithm for Rescaled Hyperbolic Functions Regression
The University of Washington（华盛顿大学）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；UC Berkeley（加州大学伯克利分校）；Rice University（莱斯大学）
针对大语言模型注意力机制中的重缩放 softmax 回归，本文提出可处理指数及双曲正、余弦函数的迭代算法，并给出小扰动下解变化的界。
2025-02-17 cs.LG stat.ML
Towards Contextual Sensitive Data Detection
本文提出基于情境的数据敏感性框架，通过类型和领域情境化方法提升敏感数据检测精度，实验显示类型情境化在减少误报方面效果显著，领域情境化能有效提升非标准数据域的检测相关性。
2026-03-12 cs.AI cs.CL cs.CR
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University（布兰迪斯大学）；Adobe Research（Adobe研究院）
我们提出了SelfDoc，一个与任务无关的文档图像理解预训练框架。因为文档是多模态的，并且是用于顺序阅读的，所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息，并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同，我们的模型是粗粒度的，而不是将单个单词作为输入，因此避免了过度的细粒度和过度的上下文化。除此之外，我们在模型预训练阶段引入了跨模态学习，以充分利用来自未标记文档的多模态信息。对于下游的使用，我们提出了一种新的模态自适应注意力机制的多模态特征融合，自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练，而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能，与以前的作品相比，在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
Iterative Recursive Attention Model for Interpretable Sequence Classification
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
自然语言处理从注意力机制的引入中受益匪浅。然而，标准的注意力模型是有限的可解释性的任务，涉及一系列的推理步骤。我们描述了一个迭代递归注意力模型，该模型通过重用先前计算的查询结果来构造输入数据的增量表示。我们在情感分类数据集上训练我们的模型，并展示了它以易于解释的方式识别和组合输入的不同方面的能力，同时获得接近最先进水平的性能。
2018-08-30 cs.CL
Iterative Alternating Neural Attention for Machine Reading
Maluuba Research（Maluuba研究院）；University of Montréal（蒙特利尔大学）
我们提出了一种新的神经注意力架构来处理机器理解任务，例如回答关于文档的完形填空式查询。与以前的模型不同，我们没有将查询折叠成单个向量，而是部署了一个迭代的交替注意力机制，允许对查询和文档进行细粒度的探索。我们的模型在标准机器理解基准测试中的表现优于最先进的基线，例如CNN新闻文章和儿童图书测试（CBT）数据集。
2016-11-09 cs.CL cs.NE
Evidence-Grounded Multimodal Misinformation Detection with Attention-Based GNNs
Fatima Fellowship（法蒂玛奖学金）；University of Rochester（罗切斯特大学）
针对多模态脱离上下文虚假信息，提出基于证据图和声明图的双图表示与GNN编码比较方法，在检测任务上以93.05%准确率超越LLM，验证了小型任务特定模型的有效性。
2025-05-23 cs.AI cs.CL cs.IR
Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了Perceiver-VL，这是一个视觉和语言框架，可以有效地处理长视频和文本等高维多模态输入。由Perceiver的迭代潜在交叉注意力提供支持，我们的框架具有线性复杂度，与许多最先进的基于transformer的模型中使用的自我注意力的二次复杂度形成对比。为了进一步提高我们的框架的效率，我们还研究了在交叉注意层上应用LayerDrop，并为跨模态检索引入了一个混合流架构。我们在不同的视频-文本和图像-文本基准测试中评估了Perceiver-VL，其中Perceiver-VL实现了最低的GFLOP和延迟，同时保持了具有竞争力的性能。此外，我们还提供了对我们框架各个方面的全面分析，包括预训练数据，潜在大小和输入大小的可扩展性，在推理时丢弃交叉注意层以减少延迟，模态聚合策略，位置编码和权重初始化策略。我们的代码和检查点可在https://github.com/zinengtang/Perceiver_VL上找到
2022-11-21 cs.AI cs.CL cs.CV
Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding
Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud（华为云）
时间句子接地（TSG）的一个关键解决方案存在于如何学习从未修剪的视频和句子描述中提取的视觉和语言特征之间的有效对齐。现有的方法主要利用香草软注意力在一个单一的步骤过程中执行对齐。然而，这种单步注意在实践中是不够的，因为复杂的模态间和模态内的关系通常是通过多步推理获得的。在本文中，我们提出了一个迭代对齐网络（IA-Net）的TSG任务，它迭代交互多个步骤内的模态间和模态内的功能，更准确的接地。具体而言，在迭代推理过程中，我们填充多模态特征与可学习的参数，以减轻无处参加的问题，非匹配的帧-词对，并加强基本的共同注意力机制以并行的方式。为了进一步校正由每个推理步骤引起的注意力错位，我们还在每个注意力模块之后设计了一个校正模块来细化对齐知识。通过这种迭代对齐方案，我们的IA-Net可以鲁棒地捕获视觉和语言域之间的细粒度关系，逐步推理时间边界。在三个具有挑战性的基准上进行的大量实验表明，我们提出的模型比最先进的模型性能更好。
2021-09-14 cs.CL cs.CV
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Fingerspelling recognition in the wild with iterative visual attention
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Chicago（芝加哥大学）
手语识别是一个具有挑战性的手势序列识别问题，其特点是快速和高度协同运动。在本文中，我们专注于识别手指拼写序列在美国手语（ASL）视频收集在野外，主要是从YouTube和聋人社交媒体。以前大多数关于手语识别的工作都集中在受控设置上，其中数据记录在工作室环境中，并且签名者的数量有限。我们的工作旨在解决现实生活中的数据的挑战，减少对该领域常用的检测或分割模块的需求。我们提出了一个端到端的模型，基于迭代的注意力机制，没有显式的手检测或分割。我们的方法动态地关注越来越高分辨率的感兴趣区域。它比以前的工作要好得多。我们还介绍了一个新收集的数据集的众包注释的fingerspelling在野外，并表明，性能可以进一步提高与此额外的数据集。
2019-08-28 cs.CL cs.CV
Iterative Multi-document Neural Attention for Multiple Answer Prediction
University of Bari Aldo Moro（巴里阿尔多莫罗大学）
人们有不同复杂程度的信息需求，这些需求可以通过智能代理来解决，智能代理能够以适当的方式回答问题，最终考虑用户上下文和偏好。在其中用户简档可以被认为是问题的场景中，能够回答问题的智能代理可以用于为给定用户找到最相关的答案。在这项工作中，我们提出了一种新的模型，人工神经网络的基础上回答问题的多个答案，利用多个事实检索的知识库。在bAbI Movie Dialog数据集的factoid问答和top-n推荐任务上评估该模型。在评估这两个任务的模型的性能后，我们试图定义一个会话式推荐系统的长期目标，该系统能够使用自然语言进行交互，并以个性化的方式支持用户在其信息搜索过程中。
2017-02-08 cs.CL
Iterative Hierarchical Attention for Answering Complex Questions over Long Documents
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们提出了一个新的模型，DocHopper，迭代地出席不同部分的长，层次结构的文档来回答复杂的问题。类似于多跳问答（QA）系统，在每一步，DocHopper使用查询$q$来处理来自文档的信息，将此"检索“信息与$q$组合以产生下一个查询。然而，与大多数以前的多跳QA系统相比，DocHopper能够“检索”文档的短段落或长部分，从而模拟通过长文档“导航”的多步骤过程来回答问题。为了实现这种新颖的行为，DocHopper并没有通过将文本连接到$q$的文本来将文档信息与$q$结合起来，而是通过将$q$的紧凑神经表示与文档的分层部分的紧凑神经表示结合起来，这可能非常大。我们在四个不同的QA任务上使用DocHopper进行了实验，这些任务需要阅读长而复杂的文档来回答多跳问题，并表明DocHopper在三个数据集上实现了最先进的结果。此外，DocHopper在推理时间上是有效的，比基线快3- 10倍。
2021-10-22 cs.AI cs.CL
Iterative Forward Tuning Boosts In-Context Learning in Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Shanghai AI Laboratory（上海人工智能实验室）
提出两阶段Deep-Thinking框架，通过无需训练的迭代增强注意力机制多次处理示例，显著提升LLMs的上下文学习效果。
2024-06-04 cs.CL
Neural Machine Translation with Key-Value Memory-Augmented Attention
Tencent AI Lab（腾讯人工智能实验室）
近年来，基于注意力的神经机器翻译（NMT）取得了显著的进展，但仍存在重复和漏译问题。为了缓解这些问题，我们提出了一种新的键值记忆增强注意模型NMT，称为KVMEMATT。具体来说，我们保持一个及时更新的关键记忆来跟踪注意历史，并在整个翻译过程中保持一个固定的值记忆来存储源语句的表征。通过非平凡的转换和两个存储器之间的迭代交互，解码器集中在更合适的源词（S）预测下一个目标词在每个解码步骤，因此可以提高翻译的充分性。在汉语=>英语和WMT 17德语<=>英语翻译任务上的实验结果证明了该模型的优越性。
2018-06-29 cs.CL
Context Does Matter: End-to-end Panoptic Narrative Grounding with Deformable Attention Refined Matching Network
Duke Kunshan University（昆山杜克大学）
针对全景叙事定位中忽略上下文导致短语与像素错配的问题，提出可变形注意力精炼匹配网络（DRMN），通过迭代式引入可变形注意力整合多尺度上下文信息，在PNG基准上实现3.5%的平均召回率提升。
2023-10-25 cs.CL cs.CV
