A recurrent vision transformer shows signatures of primate visual attention
University of Pittsburgh（匹兹堡大学）；Duolingo（多林戈）
本文提出融合自注意力与循环记忆的Recurrent ViT，仅用稀疏奖励训练后复现了灵长类视觉注意的行为、神经表征及扰动效应。
2025-02-16 cs.AI cs.CV q-bio.NC
Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs
Fujitsu Research and Development Center（富士通研发中心）
本文提出一种无需训练的注意力干预算法，通过增强任务相关token的注意力和改进解码过程，有效减少LVLMs中的幻觉问题。
2026-02-10 cs.CV
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH（浦项科技大学）；Disney Research（迪士尼研究院）
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务，并且通常需要解决问题之间的视觉参考。这个问题与视觉问答（VQA）不同，视觉问答依赖于空间注意力（又名视觉基础）从图像和问题对估计。我们提出了一种新的注意力机制，利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前（注意，关键）对。从这个记忆中，模型检索先前的注意力，考虑到与当前问题最相关的新近度，以解决潜在的模糊引用。然后，该模型将检索到的注意力与试探性的注意力合并，以获得当前问题的最终注意力;具体地说，我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验，我们表明，我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型（约16%）。此外，所提出的模型在Visual Dialog数据集中实现了卓越的性能（约2%的点改进），尽管参数比基线少得多。
2018-08-06 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
视觉注意是人脑中的一种基本机制，它启发了深层神经网络中注意力机制的设计。然而，大多数的视觉注意研究采用眼动追踪数据，而不是直接测量大脑活动来表征人类的视觉注意。此外，在人类视觉系统中，注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距，我们提出了一种新的大脑启发的对抗性视觉注意力网络（BI-AVAN），直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程，以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证，实验结果表明，我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时，取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能（AI）中的模型设计的新兴领域，例如，深度神经网络。
2022-10-27 cs.CV
LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression
The University of Queensland（昆士兰大学）
针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。
2026-07-03 cs.CV
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media（未来媒体中心）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于注意力的视觉问答（VQA）通过利用问题选择性地针对与答案相关的不同视觉区域，取得了巨大的成功。现有的视觉注意力模型通常是平面的，即，图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突，因为CNN特征自然是空间和通道方面的。另外，视觉注意模型通常是在像素级上进行的，这可能会导致区域不连续的问题。在本文中，我们提出了一个立方体视觉注意（CVA）模型，成功地应用一种新的通道和空间注意的对象区域，以改善VQA任务。具体来说，我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征，而不是关注像素。然后，我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上，共层的特征地图。最后，将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集，包括COCO-QA，VQA和Visual 7 W。实验结果表明，我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University（中部大学）
视觉解释使人们能够理解深度卷积神经网络（CNN）的决策，但它不足以促进性能的提高。在本文中，我们专注于视觉解释的注意图，它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制，显着提高了CNN的性能。在这项工作中，我们提出了注意力分支网络（ABN），它扩展了自上而下的视觉解释模型，通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支，可以适用于多种图像识别任务，并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务，如图像分类，细粒度识别，多个面部属性识别。实验结果表明，ABN在这些图像识别任务上的准确性优于基线模型，同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Visual Attention Drifts,but Anchors Hold:Mitigating Hallucination in Multimodal Large Language Models via Cross-Layer Visual Anchors
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出CLVA方法，通过跨层视觉锚点缓解多模态大语言模型的幻觉问题，强调中间层视觉锚点的重要性，无需额外训练，有效抑制深度层注意力漂移。
2026-03-26 cs.CV
Simulating Human Gaze with Neural Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Mila（米拉）；McGill University（麦吉尔大学）；DeepMind（深度思维）
现有的人类视觉注意力模型通常无法包含直接的任务指导，因此在探索场景时无法对意图或目标进行建模。为了将任何下游视觉任务的指导集成到注意力建模中，我们提出了神经视觉注意力（NeVA）算法。为此，我们施加到神经网络的生物约束的中心凹视觉和训练的注意力机制，以产生视觉探索，最大限度地提高性能的下游任务。我们观察到，生物约束的神经网络生成类似人类的扫描路径，而无需为此目的进行训练。在三个常见的基准数据集上进行的大量实验表明，我们的方法在生成类似人类的扫描路径方面优于最先进的无监督人类注意力模型。
2022-11-22 cs.CV
Visual Attention on the Sun: What Do Existing Models Actually Predict?
Beihang University（北京航空航天大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）
视觉注意力预测是一个经典问题，在深度学习时代似乎得到了很好的解决。然而，随着现有视觉注意力数据集上性能分数的快速增长，一个令人信服的问题逐渐出现：现有的深度模型是否真的捕捉到了人类视觉注意力的内在机制？为了解决这个问题，本文提出了一个新的数据集，名为VASUN，记录了自由观看的人类对太阳图像的注意力。与以前的数据集不同，VASUN中的图像包含许多现有深度模型从未见过的不规则视觉模式。通过在VASUN上对现有模型进行基准测试，我们发现许多最先进的深度模型的性能显着下降，而许多经典的浅层模型表现令人印象深刻。从这些结果中，我们发现，现有的深度注意模型的显着性能的进步可能来自于他们的记忆和预测一些特定的视觉模式的发生的能力，而不是学习人类视觉注意的内在机制。此外，我们也在VASUN上训练了几个基线模型，以证明预测对太阳的视觉注意力的可行性和关键问题。这些基线模型，连同建议的数据集，可以用来重新审视视觉注意力预测的问题，从一个新的角度，是现有的补充。
2018-11-25 cs.CV
Direct Visual Grounding by Directing Attention of Visual Tokens
Temple University（特拉华大学）
该研究针对VLMs中视觉令牌注意力不足的问题，提出KL注意力损失，结合下一个令牌预测损失，在多个视觉任务上取得显著提升，还引入了用于评估VLMs线条追踪能力的新数据集。
2026-08-10 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University（首尔国立大学）；Surromind Robotics（Surromind机器人公司）
可视化对话（VisDial）是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答（VQA）不同，这一系列问题应该能够从对话历史中捕获时间上下文，并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战，要求智能体解决给定问题中的模糊参考，并在给定图像中找到参考。在本文中，我们提出了双注意力网络（DAN）的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说，REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示（即，REFER模块的输出）作为输入，并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估，结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法，在这种方法中，我们收集驾驶任务的眼睛注视数据，并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法，我们训练一个模型，让它在学习驾驶汽车时学会预测注意力。最后，我们提出了一个比较研究，我们的结果表明，监督的方法来预测注意时，纳入比其他方法更好。
2018-12-05 cs.CV
Recursive Visual Attention in Visual Dialog
Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）
视觉对话是一个具有挑战性的视觉语言任务，它要求智能体回答关于一幅图像的多轮问题。它通常需要解决两个主要问题：（1）如何回答基于视觉的问题，这是视觉问答（VQA）的核心挑战;（2）如何推断问题和对话历史之间的共指。视觉共指的一个例子是：代词（\eg，"他们“）在问题（\eg，”他们是开还是关？“）与对话框历史记录（\eg，”“有多少盏灯？”）中出现的名词（\eg，“”灯“）相关联。“）和图像中的对象。在这项工作中，为了解决视觉对话的视觉共指，我们提出了一种新的注意力机制称为递归视觉注意（RvA）。具体来说，我们的对话代理浏览对话历史，直到代理有足够的信心，在视觉共指分辨率，并细化视觉注意递归。在大规模VisDial v0.9和v1.0数据集上的定量和定性实验结果表明，该方法不仅优于现有方法，而且在不需要额外标注的情况下，获得了合理的递归性和可解释的注意力地图.代码可在\url{https://github.com/yuleiniu/rva}上获得。
2019-04-06 cs.CV
Answer Questions with Right Image Regions: A Visual Attention Regularization Approach
Shandong University（山东大学）；China University of Petroleum (East China)（中国石油大学（华东））
视觉问答（VQA）中的视觉注意定位正确的图像区域的答案预测，提供了一个强大的技术，以促进多模态的理解。然而，近年来的研究指出，视觉注意中突出显示的图像区域往往与给定的问题和答案无关，从而导致正确的视觉推理的模型混淆。为了解决这个问题，现有的方法大多采取对齐视觉注意力权重与人类的注意力。然而，收集这些人类数据既费力又昂贵，使得在数据集之间调整开发良好的模型变得繁重。为了解决这个问题，在本文中，我们设计了一种新的视觉注意正则化方法，即AttReg，更好地在VQA视觉接地。具体地，AttReg首先识别对于问答而言必不可少但意外地被忽略的图像区域（即，分配有低注意力权重）。然后，利用掩模引导的学习方案来规则化视觉注意力，使其更多地关注这些被忽略的关键区域。该方法是非常灵活和模型无关的，它可以集成到大多数基于视觉注意力的VQA模型，不需要人的注意力监督。在三个基准数据集上进行了广泛的实验，即，已执行VQA-CP v2、VQA-CP v1和VQA v2，以评价AttReg的有效性。作为一个副产品，当将AttReg纳入强基线LMH时，我们的方法可以实现60.00%的最新准确度，在VQA-CP v2基准数据集上的绝对性能增益为7.01%。
2021-11-08 cs.CV
Visual Attention driven by Convolutional Features
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
对人类在场景中的位置的理解是视觉感知和计算机视觉中非常感兴趣的问题。当眼动追踪设备不是可行的选择时，可以使用人类注意力模型来预测注视。在本文中，我们给出了两个贡献。首先，我们展示了一个视觉注意力模型，该模型简单地基于为对象分类任务训练的深度卷积神经网络。定义了一种用于可视化显着性图的方法，该方法在显着性预测任务中进行评估。其次，我们将这些地图的信息与自下而上的眼动差分模型相结合，以模拟视觉注意扫描路径。显著性预测和与人类扫描路径的相似性分数的结果证明了该模型的有效性。
2018-07-12 cs.CV
Gaze Attention: Query-Adaptive Visual Routing for Efficient Multimodal LLMs
NAVER AI Lab（NAVER AI实验室）
本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。
2026-10-05 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
视觉问答（VQA）的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现，一个注意力机制，使两种模式之间的密集，双向的相互作用，有助于提高准确性的预测答案。具体来说，我们提出了一个简单的架构，是完全对称的视觉和语言表示，其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构，用于图像-问题对之间的多步交互。我们通过实验表明，所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0，尽管它的小尺寸。我们还提出了定性评估，演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题，从而导致正确的答案预测。
2018-12-01 cs.CV
RAVE: Re-Allocating Visual Attention in Large Multimodal Models
Qwen Business Unit of Alibaba（阿里巴巴文勤业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
2026-09-21 cs.CV
D-Attn: Decomposed Attention for Large Vision-and-Language Models
ByteDance Intelligent Creation（字节跳动智能创作）
本文提出D-Attn分解注意力架构，将LVLM的因果自注意力分解为视觉到视觉、文本到视觉和文本到文本注意力，并通过修正位置编码和对角化视觉注意力，在保持语言能力的同时提升视觉理解性能并大幅降低计算成本。
2025-08-15 cs.CV
Where to Look: A Unified Attention Model for Visual Recognition with Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）
使用递归神经网络进行视觉注意的想法在计算机视觉界已经得到普及。虽然循环注意力模型（RAM）利用更大的补丁大小的一瞥来增加其范围，但它可能导致高方差和不稳定性。例如，我们需要具有高方差的高斯策略来探索大图像中的感兴趣对象，这可能会导致随机搜索和不稳定的学习。在本文中，我们提出了统一的自上而下和自下而上的注意在一起的循环视觉注意。我们的模型利用图像金字塔和Q学习来选择自上而下的注意力机制中的感兴趣区域，从而指导自下而上的策略搜索。此外，为了更好地探索，我们在自底向上的递归神经网络上添加了另外两个约束。我们在端到端的强化学习框架中训练我们的模型，并在视觉分类任务上评估我们的方法。实验结果优于卷积神经网络（CNN）基线和自底向上的循环注意模型的视觉分类任务。
2021-11-13 cs.CV
Exploring Human-like Attention Supervision in Visual Question Answering
Zhejiang University（浙江大学）
注意力机制在视觉问答（VQA）任务中得到了广泛的应用，因为它们有助于关注视觉和文本信息的感兴趣区域。为了正确回答这些问题，模型需要选择性地针对图像的不同区域，这表明基于注意力的模型可能会受益于明确的注意力监督。在这项工作中，我们的目标是解决问题的注意力监督VQA模型。由于缺乏人类注意力数据，我们首先提出了一个人类注意力网络（HAN）来生成类似人类的注意力地图，并在最近发布的人类注意力数据集（VQA-HAT）上进行训练。然后，我们在VQA v2.0数据集上应用预训练的HAN，为所有图像-问题对自动生成类似人类的注意力图。为VQA v2.0数据集生成的类人注意力地图数据集被命名为类人注意力（HLAT）数据集。最后，我们将类似人类的注意力监督应用于基于注意力的VQA模型。实验结果表明，加入类人监督可以获得更准确的注意力和更好的性能，显示了类人注意力监督在VQA中的广阔前景。
2017-09-19 cs.CV
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
The University of Electronic Science and Technology of China（电子科技大学）
最近在使用基于注意力的编码器-解码器框架用于图像和视频描述字幕方面取得了进展。大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词可以很容易地预测使用自然语言模型，而不考虑视觉信号或注意。将注意力机制强加在非视觉文字上会产生误导，降低视觉字幕的整体效果。此外，LSTM的层次结构可以更复杂地表示视觉数据，以不同的尺度捕获信息。为了解决这些问题，我们提出了一种具有自适应注意力的分层LSTM（hLSTMat）方法，用于图像和视频描述。具体地说，该框架利用空间或时间注意力来选择特定的区域或帧来预测相关词，而自适应注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，一个分层的LSTM被设计为同时考虑低级别的视觉信息和高级语言上下文信息，以支持字幕生成。我们最初设计我们的hLSTMat为视频描述任务。然后，我们进一步完善它，并将其应用到图像描述任务。为了证明我们提出的框架的有效性，我们在视频和图像描述任务上测试了我们的方法。实验结果表明，我们的方法实现了国家的最先进的性能的大多数评价指标的任务。在消融研究中也充分利用了重要组件的作用。
2018-12-26 cs.CV
AutoScaler: Scale-Attention Networks for Visual Correspondence
University of Toronto（多伦多大学）；Snap Inc.（Snap公司）
寻找局部特征之间的视觉对应关系是许多计算机视觉问题的关键。虽然用较大的上下文尺度定义特征通常意味着更大的区分度，但它也可能导致特征的空间准确性降低。我们提出了AutoScaler，一个尺度注意力网络，以明确优化视觉对应任务中的这种权衡。我们的网络由一个计算多尺度特征映射的权重共享特征网络和一个在尺度空间中将它们最佳组合的注意力网络组成。这使得我们的网络能够在不同尺度的输入上具有自适应的感受野大小。整个网络在视觉对应任务的siamese框架中进行端到端的训练。我们的方法取得了良好的结果相比，国家的最先进的方法具有挑战性的光流和语义匹配基准，包括Sintel，KITTI和CUB-2011。我们还表明，我们的方法可以推广到改善手工制作的描述符（如雏菊）一般的视觉对应任务。最后，我们的注意力网络可以生成视觉上可解释的尺度注意力地图。
2016-11-17 cs.CV
Knowing Where to Look? Analysis on Attention of Visual Question Answering System
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
注意力机制由于其能够建模深度跨域交互的能力而被广泛用于视觉问答（VQA）解决方案中。分析注意力地图为我们提供了一个视角，以找出当前VQA系统的局限性，并有机会进一步改进它们。在本文中，我们选择了两个国家的最先进的VQA方法与注意力机制，研究他们的鲁棒性和缺点，通过可视化和分析他们的估计注意力地图。我们发现，这两种方法都是敏感的功能，同时，他们执行计数和多对象相关的问题。我们相信，研究结果和分析方法将有助于研究人员确定在改进自己的VQA系统的道路上面临的关键挑战。
2018-10-09 cs.CV
Do Time Constraints Re-Prioritize Attention to Shapes During Visual Photo Inspection?
人们对世界的视觉体验很容易沿着自然语言的边界分割和检查，例如，然而，更难以引出关于人关注什么的详细视觉空间信息，例如，一棵树的特殊形状。关注事物的形状不仅有助于完成视觉类别学习等明确定义的任务，而且也使我们能够区分命名相似的物体，并进行创造性的视觉追求，比如诗意地描述事物的形状，或者在云或星星中找到形状。我们使用了一种新的数据汇集方法，elarned人的优先注意的形状在视觉照片检查，要求他们跟踪不同的时间限制下的图像的重要部分。使用通过众包收集的一组187张照片的数据，我们研究了不同个人，不同图像类型和不同时间限制的视觉注意力模式的变化。
2021-04-14 cs.CV
Learning with Difference Attention for Visually Grounded Self-supervised Representations
Adobe Research（奥多比研究院）
针对自监督学习在多目标图像视觉定位上的不足，提出视觉差异注意力（VDA）揭示现有方法缺陷，并设计可微差异注意力（DiDA）损失，大幅提升模型视觉定位能力。
2023-06-26 cs.CV
Visual Attention Prompted Prediction and Learning
Emory University（埃默里大学）；Stanford University（斯坦福大学）；Augusta University（奥古斯塔大学）
本文提出视觉注意力提示的预测与学习框架，通过无提示与有提示模型协同训练及不完整提示细化方法，在无需重新训练的情况下利用视觉提示引导模型推理，并在多个数据集上验证其有效性。
2024-04-24 cs.CV
Progressive Attention Networks for Visual Attribute Prediction
POSTECH（浦项科技大学）；Adobe Research（奥多比研究院）；Seoul National University（首尔国立大学）
我们提出了一种新的注意力模型，可以准确地注意到各种规模和形状的图像中的目标对象。该模型被训练为通过在卷积神经网络的多个层上的渐进注意过程来逐渐抑制输入图像中的不相关区域。每一层中的注意过程确定是否传递或阻挡某些空间位置处的特征以供后续层使用。所提出的渐进式注意力机制工作得很好，特别是当与硬注意相结合时。我们进一步采用本地上下文，将每个位置的邻域特征，并估计一个更好的注意力概率图。在合成数据集和真实数据集上的实验表明，所提出的注意力网络在视觉属性预测任务中优于传统的注意力方法。
2018-08-06 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
RadioTransformer: A Cascaded Global-Focal Transformer for Visual Attention-guided Disease Classification
Stony Brook University（石溪大学）
在这项工作中，我们提出了RadioTransformer，一种新的视觉注意力驱动的Transformer框架，利用放射科医生的凝视模式和模型的视觉认知行为的疾病诊断胸片。诸如放射科医师的领域专家依赖于视觉信息来进行医学图像判读。另一方面，深度神经网络在类似的任务中表现出了巨大的潜力，即使在视觉解释具有挑战性的情况下。视线跟踪已被用于捕获领域专家的观看行为，从而深入了解视觉搜索的复杂性。然而，深度学习框架，即使是那些依赖于注意力机制的框架，也不会利用这些丰富的领域信息。RadioTransformer通过学习放射科医生的视觉搜索模式填补了这一关键空白，该模式在级联的全局焦点Transformer框架中被编码为“人类视觉注意区域”。整体的“全球”的图像特征和更详细的“本地”的功能被捕获的建议的全球和焦点模块，分别。我们通过实验验证了我们的学生-教师方法对8个涉及不同疾病分类任务的数据集的有效性，其中在推理阶段无法获得眼睛凝视数据。代码：https://github.com/bmi-imaginelab/radiotransformer.
2022-07-21 cs.CV
Look Where You Say You're Looking: Self-Grounded Attention for Visual Reasoning
NVIDIA Research（英伟达研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Melbourne（墨尔本大学）；Bar-Ilan University（巴伊兰大学）
提出自显著性方法，利用接地模型定位推理提及区域来监督VLM视觉注意力，在25个基准上显著优于先前方法，并揭示注意力边界偏差。核心贡献是条件化目标区域于生成推理以提升性能。
2026-10-06 cs.CV
Guiding Visual Question Answering with Attention Priors
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
现代视觉推理系统目前的成功可以说归功于跨模态注意力机制。然而，在慎思推理中，例如在VQA中，注意力在每一步都是不受约束的，因此可以用作统计池机制，而不是旨在选择与推理相关的信息的语义操作。这是因为在训练时，注意力仅由推理链末端的非常稀疏的信号（即答案标签）引导。这导致跨模态注意力权重偏离期望的视觉语言绑定。为了纠正这种偏差，我们建议使用明确的语言-视觉基础来指导注意力机制。这种基础是通过将查询中的结构化语言概念连接到它们在视觉对象中的所指对象来获得的。在这里，我们只从问题和图像的配对中学习基础，而不需要答案注释或外部基础监督。这种基础通过机制的双重性引导VQA模型内部的注意力机制：预训练注意力权重计算和在推理时根据具体情况直接引导权重。该算法能够探测基于注意力的推理模型，注入相关的联想知识，并调节核心推理过程。这种可扩展的增强提高了VQA模型的性能，增强了它们对有限的监督数据访问的鲁棒性，并提高了可解释性。
2022-05-25 cs.CV
A probabilistic tour of visual attention and gaze shift computational models
University of Milan（米兰大学）
在本文中，一些问题被认为是与建模的眼睛指导下的视觉注意在自然环境中。从一个粗略的讨论各种可用的模型拼写在概率方面，它似乎是目前的方法在计算视觉是迄今为止远远没有实现的目标，一个积极的观察者依赖于眼睛的指导，以完成现实世界的任务。我们认为，这个具有挑战性的目标不仅需要体现，在一个原则性的方式，在行动/感知回路的眼睛指导的问题，但要面对不可分割的联系捆绑视觉注意，情绪和执行控制，在最近的神经生物学研究结果权衡了。
2016-07-05 cs.CV
Show, Attend and Translate: Unpaired Multi-Domain Image-to-Image Translation with Visual Attention
Shanghai Jiao Tong University（上海交通大学）
近年来，不成对多域图像到图像的翻译引起了人们的极大兴趣，并取得了显著的进展，其中使用标签向量来表示多域信息。在本文中，我们提出了SAT（Show，Attend and Translate），这是一个统一的、可解释的生成对抗网络，配备了视觉注意力，可以为多个领域执行不成对的图像到图像的翻译。通过引入一个动作向量，我们把原来的翻译任务的算术加法和减法的问题。应用视觉注意力来保证只有与目标域相关的区域被翻译。在面部属性数据集上的大量实验证明了我们方法的优越性，生成的注意力掩模更好地解释了SAT在翻译图像时的注意力。
2019-04-08 cs.CV
Exploring Implicit Visual Misunderstandings in Multimodal Large Language Models through Attention Analysis
Pengfei Wang（王鹏飞）；Guohai Xu（徐国海）；Weinong Wang（王文龙）；Junjie Yang（杨俊杰）；Jie Lou（娄杰）；Yunhua Xue（许云华）
针对多模态大语言模型可能未真正理解视觉输入却答对的问题，提出隐式视觉误解概念，通过注意力分析解耦模态，引入注意力准确率指标和新基准，实现可靠评估并具泛化性。
2025-05-23 cs.CV
GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation
Fudan University（复旦大学）
针对现有视觉语言导航方法视觉线索不足、跨模态关联建模难的问题，提出融合几何信息、槽注意力与多路注意力的GeoVLN方法，有效提升了导航性能。
2023-10-02 cs.CV
Attention Hijackers: Detect and Disentangle Attention Hijacking in LVLMs for Hallucination Mitigation
Center for Future Media, University of Electronic Science and Technology of China（电子科技大学未来媒体中心）；Southwestern University of Finance and Economics（西南财经大学）；Tongji University（同济大学）
本文揭示LVLM解码中指令token导致的注意力劫持现象，并提出免训练的AID方法，通过检测、解耦与再解耦显著缓解多基准幻觉。
2025-03-14 cs.CV
Unveiling Visual Perception in Language Models: An Attention Head Analysis Approach
University of Rochester（罗切斯特大学）；Corning Inc（康宁公司）
针对仅经语言训练的模型如何处理视觉内容的问题，本文通过分析4个家族、4种规模的模型，发现专门关注视觉内容的注意力头，揭示其行为、权重分布与视觉标记集中的强相关性，增进对LLMs适应多模态任务的理解。
2025-11-11 cs.CV
AV-Gaze: A Study on the Effectiveness of Audio Guided Visual Attention Estimation for Non-Profilic Faces
Monash University（莫纳什大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；University of Melbourne（墨尔本大学）
在具有挑战性的现实生活条件下，例如极端的头部姿势，遮挡和低分辨率图像，其中视觉信息无法估计视觉注意力/注视方向，音频信号可以提供重要的补充信息。在本文中，我们探讨了音频引导的粗略头部姿势是否可以进一步提高非多产人脸的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头部姿势，因此我们使用现成的最先进的模型来促进跨模态弱监督。在训练阶段，框架从同步的视听模态中学习补充信息。我们的模型可以利用任何可用的方式，即音频，视觉或视听任务特定的推理。值得注意的是，当AV-Gaze在具有这些特定模式的基准数据集上进行测试时，它在多个数据集上获得了具有竞争力的结果，同时对具有挑战性的场景具有高度适应性。
2022-08-12 cs.CV
AiATrack: Attention in Attention for Transformer Visual Tracking
Huazhong University of Science and Technology（华中科技大学）；Wormpex AI Research（Wormpex AI研究院）；Shanghai Jiao Tong University（上海交通大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
Transformer跟踪器最近取得了令人印象深刻的进步，其中注意力机制起着重要作用。然而，在注意力机制中的独立相关计算可能导致噪声和模糊的注意力权重，这抑制了进一步的性能改进。为了解决这个问题，我们提出了一个注意力（AiA）模块，该模块通过在所有相关向量之间寻求共识来增强适当的相关性并抑制错误的相关性。我们的AiA模块可以很容易地应用到自我注意块和交叉注意块，以促进视觉跟踪的特征聚合和信息传播。此外，我们提出了一个精简的Transformer跟踪框架，称为AiATrack，通过引入有效的功能重用和目标背景嵌入，充分利用时间参考。实验表明，我们的跟踪器实现了国家的最先进的性能在六个跟踪基准，同时以实时速度运行。
2022-07-22 cs.CV
Understanding Visual Ads by Aligning Symbols and Objects using Co-Attention
SRI International（SRI国际）
我们解决的问题是理解视觉广告，在给定的广告图像，我们的目标是排名适当的人类生成的语句描述的广告的目的。这个问题通常通过联合嵌入图像和候选语句来建立对应关系来解决。解码视觉广告需要推断图像中引用的语义和符号细微差别，并且现有方法可能无法捕获这种关联，尤其是对于弱注释符号。为了创建更好的嵌入，我们利用注意力机制将图像提案与符号相关联，从而有效地从对齐的多模态表示中聚合信息。我们提出了一种多跳协同注意力机制，迭代地细化注意力图，以确保准确的注意力估计。我们的基于注意力的嵌入模型是由最大保证金损失函数指导的端到端学习的。我们表明，我们的模型在基准广告数据集上的表现优于其他基线，并且还显示了定性结果，以突出使用多跳共同关注的优势。
2018-07-04 cs.CV
Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；College of Computer and Information, Hohai University（河海大学计算机与信息学院）；Institute for Infocomm Research, A*STAR（A*STAR信息与通信研究所）
PADE通过构建PAD图和系统令牌补偿，利用内部注意力动态提升LVLMs的视觉定位能力并减少幻觉。
2026-02-17 cs.CV
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University（约克大学）
最近，相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用，但它们的作用在很大程度上是未知的。在这里，我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题，我们重新审视了这些模型中的注意力公式，发现尽管名称如此，但在计算上，这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外，尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制，但视觉Transformer的纯前馈结构表明，这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果，我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明，自我注意模块组的数字在刺激的基础上相似的视觉特征，如颜色。此外，在一个单例检测实验的显着性检测的一个实例，我们研究了这些模型是否表现出类似的效果，前馈视觉显着性机制中利用人类的视觉注意。我们发现，一般来说，基于transformer的注意模块分配更多的显着性，无论是干扰或地面。总之，我们的研究表明，视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
Attention Consistency on Visual Corruptions for Single-Source Domain Generalization
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
将在单一分布上训练的视觉识别模型推广到看不见的输入分布（即域），需要使它们对训练集中的多余相关性具有鲁棒性。在这项工作中，我们通过改变训练图像来模拟新的领域，并在同一样本的不同视图中施加一致的视觉注意力来实现这一目标。我们发现，第一个目标可以简单而有效地满足通过视觉腐败。具体来说，我们使用ImageNet-C基准测试的19个损坏和基于傅立叶变换的三个额外变换来改变训练图像的内容。由于这些损坏保留了对象位置，我们提出了注意一致性损失，以确保同一训练样本的原始版本和损坏版本的类激活映射是对齐的。我们将我们的模型命名为视觉破坏的注意力一致性（ACVC）。我们表明，ACVC始终达到三个单源领域泛化基准，PACS，COCO和大规模DomainNet的最先进的。
2022-04-27 cs.CV
Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition
The University of Queensland（昆士兰大学）；The University of New South Wales（新南威尔士大学）
细粒度的视觉识别通常依赖于对对象部分的细微差异进行建模。然而，这些部分往往表现出巨大的视觉变化，如遮挡，视点和空间变换，使其难以检测。在本文中，我们提出了一种新的基于注意力的模型，自动，选择性和准确地集中在关键对象区域具有较高的重要性，对外观变化。给定一幅图像，构造两个不同的卷积神经网络（CNN），其中两个CNN的输出通过双线性池化进行相关，以同时聚焦于有区别的区域并提取相关特征。为了捕捉具有视觉注意的局部区域之间的空间分布，结合了基于软注意的空间长短期记忆单元（LSTM），以实现对局部输入模式的空间递归但视觉选择性。所有上述直觉都为我们的网络提供了以下新模型：双流CNN层，双线性池化层，具有位置注意力的空间递归层通过端到端的方式联合训练，以作为部分检测器和特征提取器，从而专注地定位和提取相关特征。我们展示了我们的网络对两个著名的视觉识别任务的意义：细粒度的图像分类和人的重新识别。
2017-09-18 cs.CV
Cross-Attention is Not Always Needed: Dynamic Cross-Attention for Audio-Visual Dimensional Emotion Recognition
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所）
本文针对音视频情感识别中模态互补关系强弱不一的问题，提出动态交叉注意力（DCA），通过门控层动态选择交叉关注或未关注特征，并在RECOLA和Aff-Wild2数据集上验证了其性能提升。
2024-03-28 cs.CV
Interpretable Attention Guided Network for Fine-grained Visual Classification
Beihang University（北京航空航天大学）；Shenzhen Academy of Aerospace Technology（深圳航天技术研究院）
细粒度视觉分类（FGVC）是一项具有挑战性的任务，但比传统的分类任务更重要。它需要区分不同的子类与本质上微妙的类内对象的变化。以前的工作集中在提高特征表示能力，使用多粒度和歧视性的区域的基础上的注意力策略或包围盒。然而，这些方法高度依赖于缺乏可解释性的深度神经网络。我们提出了一个可解释的注意力引导网络（IAGN）细粒度的视觉分类。我们的方法的贡献包括：i）一个注意力引导框架，可以引导网络以可解释的方式提取区分区域; ii）一个渐进的训练机制，可以逐步提取知识，融合各种粒度的特征; iii）第一个可解释的FGVC方法，在几个标准的FGVC基准数据集上具有竞争力的性能。
2021-03-09 cs.CV
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
在使用基于注意力的编码器-解码器框架用于视频描述方面已经取得了最近的进展。然而，大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词语可以使用自然语言模型轻松预测，而无需考虑视觉信号或注意力。将注意力机制强加于非视觉文字会误导和降低视频描述的整体性能。为了解决这个问题，我们提出了一种用于视频描述的具有调整时间注意力的分层LSTM（hLSTMat）方法。具体地说，该框架利用时间注意力来选择特定的帧来预测相关词，而调整后的时间注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，分层LSTM被设计为同时考虑低级视觉信息和高级语言上下文信息以支持视频字幕生成。为了证明我们提出的框架的有效性，我们测试了我们的方法在两个流行的数据集：MSVD和MSR-VTT，实验结果表明，我们的方法优于国家的最先进的方法在这两个数据集。
2017-06-05 cs.CV
Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
对于细粒度的视觉分类，对象通常具有相似的几何结构，但呈现不同的局部外观和不同的姿态。因此，定位和提取区分性的局部特征在准确的类别预测中起着至关重要的作用。现有的工作要么关注有限的对象部分，要么训练孤立的网络进行定位和分类。在本文中，我们提出了弱监督双线性注意力网络（WS-BAN）来解决这些问题。该算法通过联合生成一组注意力图（region-of-interest maps）来表示物体各部分的位置，并通过双线性注意力池（BAP）提取连续的部分特征。此外，我们提出了注意正则化和注意丢弃来弱监督注意图的生成过程。WS-BAN可以进行端到端的训练，并在多个细粒度分类数据集上实现了最先进的性能，包括CUB-200-2011，Stanford Car和FGVC-Aircraft，这证明了它的有效性。
2019-02-28 cs.CV
Deep Modular Co-Attention Networks for Visual Question Answering
Hangzhou Dianzi University（杭州电子科技大学）；University of Sydney（悉尼大学）；Huawei（华为）
视觉问答（VQA）需要同时对图像的视觉内容和问题的文本内容进行细粒度的理解。因此，设计一个有效的“共同注意力”模型，将问题中的关键词与图像中的关键对象相关联，是VQA性能的核心。到目前为止，大多数成功的共同注意学习尝试都是通过使用浅层模型实现的，而深层共同注意模型与浅层模型相比几乎没有改进。在本文中，我们提出了一种深度模块化协同注意力网络（MCAN），它由深度级联的模块化协同注意力（MCA）层组成。每个MCA层使用两个基本注意单元的模块化组合来对问题和图像的自我注意以及图像的引导注意进行建模。我们在基准VQA-v2数据集上对MCAN进行了定量和定性评估，并进行了广泛的消融研究，以探索MCAN有效性背后的原因。实验结果表明，MCAN显着优于以前的国家的最先进的。我们最好的单一模型提供了70.63 $\%$的整体准确率的测试开发集。代码可在https://github.com/MILVLG/mcan-vqa上获得。
2019-06-25 cs.CV
Grad-CAM guided channel-spatial attention module for fine-grained visual classification
随着计算机视觉技术的迅速发展和应用的广泛，细粒度视觉分类（FGVC）成为一个重要的研究领域。目前的最先进的（SOTA）方法在FGVC通常采用注意力机制，首先捕获的语义部分，然后发现它们之间的细微差别不同的类。通道-空间注意力机制同时关注区分通道和区域，显著提高了分类性能。然而，现有的注意力模块指导不佳，因为在FGVC中基于部分的检测器依赖于网络的学习能力，而没有部分注释的监督。由于获得这样的部分注释是劳动密集型的，因此可以利用诸如梯度加权类激活映射（Grad-CAM）的一些视觉定位和解释方法来监督注意力机制。我们提出了一个梯度CAM引导的通道空间注意力模块的FGVC，它采用梯度CAM监督和约束的注意力权重，通过生成粗定位地图。为了证明所提出的方法的有效性，我们进行了全面的实验上的三个流行的FGVC数据集，包括CUB-$200$- $2011$，斯坦福汽车，和FGVC-Aircraft数据集。所提出的方法优于SOTA注意力模块在FGVC任务。此外，特征图的可视化也证明了该方法对SOTA方法的优越性。
2021-01-24 cs.CV
Human-Inspired Social Engagement Analysis via Interpretable Mutual Visual Attention
DIBRIS-Università degli Studi di Genova（热那亚大学DIBRIS学院）；MaLGa - Machine Learning Genoa center（马耳他热那亚机器学习中心）；Istituto Italiano di Tecnologia（意大利技术研究院）
该研究提出受互视觉注意心理学启发的可解释社交参与模型，结合头部姿态估计与几何推理，通过定量实验和定性可视化验证，可支持相关人员理解群体互动动态。
2026-08-26 cs.CV
Image captioning with weakly-supervised attention penalty
UCLA（加州大学洛杉矶分校）；UC Merced（加州大学默塞德分校）
故事对家谱研究至关重要，因为它们可以帮助人们建立情感联系。很多家庭故事都保留在历史照片和相册中。图像描述模型的最新发展使得自动为照片“讲故事”成为可能。由于注意力机制可以在视觉部分和语言部分之间架起一座桥梁，因此在许多基于编码器-解码器的图像描述模型中被广泛采用。大多数现有的字幕模型隐含地训练注意模块与词的可能性损失。与此同时，大量的研究采用基于梯度的方法来研究视觉模型的内在注意力。理想情况下，由字幕模型预测的注意力地图应该与任何给定视觉概念的视觉模型的内在注意力一致。然而，没有工作已经做了调整内隐学习的注意力地图与内在的视觉注意。在本文中，我们提出了一个新的模型，衡量字幕预测注意力和内在视觉注意力之间的一致性。这种对齐丢失允许明确的注意力校正，而无需使用任何昂贵的限界框注释。我们在COCO数据集以及来自Ancestry.com Operations Inc.的系谱数据集上开发和评估了我们的模型，它包含了数十亿张历史照片该模型在两个数据集的所有常用语言评估指标上都取得了更好的性能。
2019-03-06 cs.CV
