Visual attention information can be traced on cortical response but not on the retina: evidence from electrophysiological mouse data using natural images as stimuli
National Technical University of Athens（雅典国家技术大学）
本研究通过计算方法分析小鼠电生理数据，发现视觉注意信息可在初级视觉皮层响应中追踪，但不存在于视网膜响应中，为改进视觉假体系统设计提供了贡献。
2023-08-01 cs.CV eess.IV q-bio.NC
Visual Navigation with Spatial Attention
Technion（以色列理工学院）
这项工作的重点是对象的目标视觉导航，旨在找到一个对象的位置从一个给定的类，在每一步中的代理提供了一个自我中心的RGB图像的场景。我们建议使用强化学习算法来学习代理的策略。我们的主要贡献是一个新的注意力概率模型的视觉导航任务。这种注意编码了关于观察对象的语义信息，以及关于它们的位置的空间信息。“什么”和“哪里”的这种组合允许代理有效地导航到所寻找的对象。注意力模型，以改善代理的政策，并实现国家的最先进的结果在常用的数据集。
2021-04-20 cs.CV cs.LG
Visual Attention Emerges from Recurrent Sparse Reconstruction
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
视觉注意力有助于在人类视觉中的噪声、腐败和分布偏移下实现稳健的感知，这些都是现代神经网络仍然不足的领域。我们提出了VAR，从递归稀疏重建的视觉注意力，一个新的注意力公式建立在人类视觉注意力机制的两个突出特点：递归和稀疏。相关特征通过神经元之间的循环连接分组在一起，通过稀疏正则化出现突出对象。VARS采用具有周期性连接的吸引子网络，该网络随着时间的推移收敛到稳定的模式。网络层被表示为常微分方程（ODE），将注意力公式化为一个经常性吸引子网络，该网络使用编码底层数据模式的“模板”字典来等效地优化输入的稀疏重建。我们表明，自注意是一个特殊的情况下，VARS的单步优化和稀疏约束。VARS可以很容易地用作流行的视觉Transformer中自注意力的替代品，从而在各种基准测试中不断提高其鲁棒性。代码发布在GitHub（https：//github.com/bfshi/VARS）上。
2022-06-12 cs.CV cs.LG
Predicting Visual Attention and Distraction During Visual Search Using Convolutional Neural Networks
McGill University（麦吉尔大学）
大多数视觉注意的计算建模研究都包括无任务的图像观察。自由观看显著性考虑日常生活的有限场景。大多数视觉活动都是以目标为导向的，需要大量的自上而下的注意力控制。视觉搜索任务需要更多的自上而下的注意控制，相比自由观看。在本文中，我们提出了两种方法来模拟视觉搜索过程中观察者的视觉注意力和注意力分散。我们的第一种方法采用轻量级的自由观看显着性模型来预测人类观察者在搜索图像像素上的眼睛注视密度图，使用双流卷积编码器-解码器网络，在COCO-Search 18数据集上进行训练和评估。该方法预测在搜索特定目标时哪些位置更容易分散注意力。我们的网络在标准显着性指标上取得了良好的结果（AUC-Judd=0.95，AUC-Borji=0.85，sAUC=0.84，NSS=4.64，KLD=0.93，CC=0.72，SIM=0.54和IG=2.59）。我们的第二种方法是基于对象的，并预测视觉搜索过程中的分心物和目标对象。干扰物是除了观察者在搜索过程中注视的目标之外的所有物体。该方法使用Mask-RCNN分割网络，该网络在MS-COCO上进行了预训练，并在COCO-Search 18数据集上进行了微调。我们在COCO-Search 18中发布了三个目标类别的目标和干扰物的分割注释：瓶子，碗和汽车。三个类别的平均得分为：F1-得分=0.64，MAP（iou：0.5）=0.57，MAR（iou：0.5）=0.7…
2022-10-27 cs.AI cs.CV cs.LG
A Study on Visual Perception of Light Field Content
Trinity College Dublin（都柏林圣三一学院）
视觉计算系统的有效设计在很大程度上依赖于视觉注意的预期，或显着性。虽然传统的2D图像和视频的视觉注意力得到了很好的研究，但它仍然是新兴的沉浸式媒体的一个非常活跃的研究领域。特别是，光场（由相机或微透镜的网格捕获的场景的光线）的视觉注意力最近才成为研究的焦点。由于它们可以以各种方式被渲染和消费，因此出现的主要挑战是光场内容的视觉感知应该是什么的定义。在这项工作中，我们提出了一个视觉注意的光场内容的研究。我们进行了感知实验，以各种方式向用户展示它们，并收集相应的视觉注意数据。我们的分析突出了光场成像应用中的用户行为特征。本文提供了光场数据集和注意力数据。
2020-08-07 cs.CV eess.IV
Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs
Fujitsu Research and Development Center（富士通研发中心）
本文提出一种无需训练的注意力干预算法，通过增强任务相关token的注意力和改进解码过程，有效减少LVLMs中的幻觉问题。
2026-02-10 cs.CV
Ripple Attention for Visual Perception with Sub-quadratic Complexity
The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformer体系结构现在是序列建模任务的核心。其核心是注意力机制，它可以对序列中的长期依赖关系进行有效建模。最近，Transformers已成功地应用于计算机视觉领域，其中2D图像首先被分割成块，然后被视为1D序列。然而，这种线性化削弱了图像中空间局部性的概念，而空间局部性承载着重要的视觉线索。为了弥补这一差距，我们提出了涟漪注意力，一个次二次注意力机制的视觉Transformer。基于最近的基于内核的高效注意力机制，我们设计了一种新的动态规划算法，权重的不同令牌的查询相对于他们的相对空间距离在二维空间中的线性观察时间的贡献。大量的实验和分析证明了涟漪注意对各种视觉任务的有效性。
2022-06-15 cs.CV cs.LG
Conditionally Learn to Pay Attention for Sequential Visual Task
Nanjing University of Information Science and Technology（南京信息工程大学）；Nanjing Normal University（南京师范大学）
顺序视觉任务通常要求在先前观察的基础上注意当前感兴趣的对象。与目前流行的软注意力机制不同，本文提出了一种新的注意力框架，通过引入一种新的条件全局特征来表示当前关注对象的弱特征描述符。具体而言，对于标准CNN（卷积神经网络）流水线，具有不同感受野的卷积层用于通过测量卷积特征如何与条件全局特征对齐来产生注意力图。条件全局特征可以根据不同的视觉任务采用不同的递归结构生成，如简单的递归神经网络用于多目标识别，或适度复杂的语言模型用于图像字幕。实验结果表明，在SVHN（Street View House Numbers）数据集上，无论是否有额外的限界框，我们提出的条件注意力模型都取得了最好的性能;对于图像标题，我们的注意力模型都比流行的软注意力模型产生更好的分数。
2019-11-11 cs.CV cs.LG
Enriched Deep Recurrent Visual Attention Model for Multiple Object Recognition
Institute for Infocomm Research（资讯通信研究院）；Nanyang Technological University（南洋理工大学）
我们设计了一个丰富的深度递归视觉注意力模型（EDRAM）-一种改进的基于注意力的多对象识别架构。该模型是一个完全可微的单元，可以使用随机梯度下降（SGD）进行端到端的优化。空间Transformer（ST）被用作视觉注意力机制，其允许学习图像内的对象的几何变换。结合空间Transformer和强大的递归结构，提出的EDRAM可以同时定位和识别对象。EDRAM已经在两个公开的数据集上进行了评估，包括MNIST Cluttered（具有70 K杂乱数字）和SVHN（具有高达250 K的真实世界房屋号码图像）。实验结果表明，该模型与现有的模型相比具有更好的性能。
2017-06-12 cs.CV cs.LG
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH（浦项科技大学）；Disney Research（迪士尼研究院）
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务，并且通常需要解决问题之间的视觉参考。这个问题与视觉问答（VQA）不同，视觉问答依赖于空间注意力（又名视觉基础）从图像和问题对估计。我们提出了一种新的注意力机制，利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前（注意，关键）对。从这个记忆中，模型检索先前的注意力，考虑到与当前问题最相关的新近度，以解决潜在的模糊引用。然后，该模型将检索到的注意力与试探性的注意力合并，以获得当前问题的最终注意力;具体地说，我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验，我们表明，我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型（约16%）。此外，所提出的模型在Visual Dialog数据集中实现了卓越的性能（约2%的点改进），尽管参数比基线少得多。
2018-08-06 cs.CV
Qwen Look Again: Guiding Vision-Language Reasoning Models to Re-attention Visual Information
Peking University（北京大学）；Baidu Inc.（百度公司）
本文提出Qwen-LookAgain（Qwen-LA）模型，通过结合强化学习方法BRPO与视觉-文本反思过程，在训练和推理时引入Visual Token COPY和ROUTE机制，引导模型重新注意视觉信息，有效缓解了长推理导致的幻觉问题并保持了高准确率。
2025-05-30 cs.CV cs.LG
Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification
Tsinghua University（清华大学）
注意力机制在细粒度视觉识别任务中表现出巨大的潜力。在本文中，我们提出了一个反事实的注意学习方法来学习更有效的注意因果推理的基础上。与大多数现有的方法，学习视觉注意力的基础上，传统的可能性，我们建议学习的注意力与反事实的因果关系，这提供了一个工具来衡量的注意力质量和一个强大的监督信号，以指导学习过程。具体来说，我们通过反事实干预来分析学习到的视觉注意力对网络预测的影响，并最大限度地提高效果，以鼓励网络学习更多有用的注意力，用于细粒度图像识别。从经验上讲，我们评估了我们的方法在广泛的细粒度识别任务中的注意力起着至关重要的作用，包括细粒度图像分类，人的重新识别，车辆重新识别。所有基准测试的一致性改进证明了我们的方法的有效性。代码可在https://github.com/raoyongming/CAL上获得
2021-10-26 cs.AI cs.CV cs.LG
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences（中国科学院）
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力，以更好地识别。采用长短期记忆递归神经网络（LSTM-RNN）作为主要的分类结构。首先，软注意力机制对齐音频和视频流。其次，添加7个情感嵌入向量，这是对应于每一个分类的情感类型，定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明，本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而，需要给予多大程度的关注还没有得到很好的审查。特别是，在这项工作中，我们提出了一种新的方法颗粒多模态注意力，我们的目标是特别解决的问题，在解决视觉对话任务时，需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后，我们提出了一个颗粒多模态注意力网络，共同出席的图像和文本颗粒，并显示出最佳的性能。通过这项工作，我们观察到，获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Visual attention analysis of pathologists examining whole slide images of Prostate cancer
Stony Brook University（石溪大学）；University of Utah School of Medicine（犹他大学医学院）
我们研究了病理学家使用数字显微镜检查前列腺癌组织的全切片图像（WSIs）时的注意力。据我们所知，我们的研究是第一个详细报告病理学家如何导航前列腺癌的WSI，因为他们积累了诊断信息。我们收集了幻灯片导航数据（即，视口位置、放大水平和时间），并生成视觉注意力热图和扫描路径。每位病理学家检查了来自TCGA PRAD数据集的五个WSI，这些WSI由GU病理专家选择。我们检查并分析了每组病理学家在每个WSI检查后的视觉注意力分布。为了量化病理学家的注意力和WSI中癌症证据之间的关系，我们从泌尿生殖科专家那里获得了肿瘤注释。我们使用这些注释来计算视觉注意力的分布和注释的肿瘤区域之间的重叠，以识别强相关性。受此分析的启发，我们训练了一个深度学习模型来预测对看不见的WSI的视觉注意力。我们发现，通过使用各种空间和时间评估指标，我们的模型预测的注意力热图与17个WSI测试集上的地面实况注意力热图和肿瘤注释相关性很好。
2022-05-02 cs.CV eess.IV
An initial attempt of combining visual selective attention with deep reinforcement learning
Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉注意是知觉系统中特征选择机制的一种手段。受Broadbent的选择性注意的漏过滤器模型的启发，我们评估了这种机制如何实现并影响深度强化学习的学习过程。我们可视化并分析了一个玩具问题Catch的DQN特征图，并提出了一种将视觉选择性注意与深度强化学习相结合的方法。我们在Atari游戏上进行了基于光流的注意力和A2C的实验。实验结果表明，视觉选择性注意可以导致测试游戏的样本效率方面的改善。注意和批量归一化之间的一个有趣的关系也被发现。
2020-06-18 cs.AI cs.CV cs.LG
Information-Regularized Attention for Visual-Centric Reasoning
FAIR at Meta（Meta 的 FAIR 部门）；Rochester Institute of Technology（罗切斯特理工学院）
针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。
2026-07-02 cs.CV cs.LG
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
受最近机器翻译和目标检测工作的启发，我们引入了一个基于注意力的模型，它可以自动学习描述图像的内容。我们描述了我们如何可以训练这个模型在一个确定性的方式使用标准的反向传播技术和随机最大化的变分下限。我们还通过可视化展示了模型如何能够自动学习将目光固定在突出对象上，同时在输出序列中生成相应的单词。我们在三个基准数据集上验证了注意力的使用：Flickr8k，Flickr30k和MS COCO。
2016-04-19 cs.CV cs.LG
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University（卡尔顿大学）
在本文中，我们提出了一种新的深度多层次的注意力模型，以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征，然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意，包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
视觉注意是人脑中的一种基本机制，它启发了深层神经网络中注意力机制的设计。然而，大多数的视觉注意研究采用眼动追踪数据，而不是直接测量大脑活动来表征人类的视觉注意。此外，在人类视觉系统中，注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距，我们提出了一种新的大脑启发的对抗性视觉注意力网络（BI-AVAN），直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程，以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证，实验结果表明，我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时，取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能（AI）中的模型设计的新兴领域，例如，深度神经网络。
2022-10-27 cs.CV
LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression
The University of Queensland（昆士兰大学）
针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。
2026-07-03 cs.CV
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media（未来媒体中心）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于注意力的视觉问答（VQA）通过利用问题选择性地针对与答案相关的不同视觉区域，取得了巨大的成功。现有的视觉注意力模型通常是平面的，即，图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突，因为CNN特征自然是空间和通道方面的。另外，视觉注意模型通常是在像素级上进行的，这可能会导致区域不连续的问题。在本文中，我们提出了一个立方体视觉注意（CVA）模型，成功地应用一种新的通道和空间注意的对象区域，以改善VQA任务。具体来说，我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征，而不是关注像素。然后，我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上，共层的特征地图。最后，将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集，包括COCO-QA，VQA和Visual 7 W。实验结果表明，我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Improving Automated Visual Fault Detection by Combining a Biologically Plausible Model of Visual Attention with Deep Learning
Chemnitz University of Technology（开姆尼茨工业大学）
将生物处理原理以及人类识别能力转移到机器视觉和工程系统中是一个长期目标。其中一个原则是视觉注意力，这是一个聪明的人类概念，它将处理集中在场景的一部分上。在这篇文章中，我们利用注意力来改进半导体制造领域中晶片缺陷模式的自动检测。该领域以前的工作通常使用经典的机器学习方法，如KNN，SVM或MLP，而一些已经使用现代方法，如深度神经网络（DNN）。然而，该领域中的一个问题是，故障通常非常小，并且必须在更大尺寸的芯片甚至晶片内检测。因此，必须在大量的图像数据中检测像素大小的小结构。人类大脑解决这个问题的一个有趣的原则是视觉注意力。因此，我们在这里采用一个生物学上合理的模型，自动视觉检查的视觉注意。我们提出了一个视觉注意和深度神经网络的混合系统。如所示，我们的系统实现了其他决定性的优势，准确性从81%提高到92%，检测故障的准确性从67%提高到88%。因此，对于检测芯片中的故障，出错率从19%降低到8%，特别是从33%降低到12%。这些结果表明，注意力可以大大提高视觉检测系统的性能。此外，我们进行了广泛的评估，确定生物注意力模型在此应用中的具体优势，并将标准深度学习方法作为有注意力和无注意力的替代方案。这项工作是在“IECON 2020”上发表的原始会议文章的扩展arXiv版本，该文章在视觉注意力方面进行了扩展。
2021-02-13 cs.AI cs.CV cs.LG
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University（中部大学）
视觉解释使人们能够理解深度卷积神经网络（CNN）的决策，但它不足以促进性能的提高。在本文中，我们专注于视觉解释的注意图，它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制，显着提高了CNN的性能。在这项工作中，我们提出了注意力分支网络（ABN），它扩展了自上而下的视觉解释模型，通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支，可以适用于多种图像识别任务，并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务，如图像分类，细粒度识别，多个面部属性识别。实验结果表明，ABN在这些图像识别任务上的准确性优于基线模型，同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；Dublin City University（都柏林城市大学）
高级驾驶辅助系统（ADAS）一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中，我们探讨了可能的方式来使用视觉注意（显着性）的目标检测和跟踪。我们调查：1）诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2）视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络，可以同时检测对象，并生成对象和主体的地图，以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度（PHD）过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进，从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Visual Attention Drifts,but Anchors Hold:Mitigating Hallucination in Multimodal Large Language Models via Cross-Layer Visual Anchors
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出CLVA方法，通过跨层视觉锚点缓解多模态大语言模型的幻觉问题，强调中间层视觉锚点的重要性，无需额外训练，有效抑制深度层注意力漂移。
2026-03-26 cs.CV
Simulating Human Gaze with Neural Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Mila（米拉）；McGill University（麦吉尔大学）；DeepMind（深度思维）
现有的人类视觉注意力模型通常无法包含直接的任务指导，因此在探索场景时无法对意图或目标进行建模。为了将任何下游视觉任务的指导集成到注意力建模中，我们提出了神经视觉注意力（NeVA）算法。为此，我们施加到神经网络的生物约束的中心凹视觉和训练的注意力机制，以产生视觉探索，最大限度地提高性能的下游任务。我们观察到，生物约束的神经网络生成类似人类的扫描路径，而无需为此目的进行训练。在三个常见的基准数据集上进行的大量实验表明，我们的方法在生成类似人类的扫描路径方面优于最先进的无监督人类注意力模型。
2022-11-22 cs.CV
Visual Attention on the Sun: What Do Existing Models Actually Predict?
Beihang University（北京航空航天大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）
视觉注意力预测是一个经典问题，在深度学习时代似乎得到了很好的解决。然而，随着现有视觉注意力数据集上性能分数的快速增长，一个令人信服的问题逐渐出现：现有的深度模型是否真的捕捉到了人类视觉注意力的内在机制？为了解决这个问题，本文提出了一个新的数据集，名为VASUN，记录了自由观看的人类对太阳图像的注意力。与以前的数据集不同，VASUN中的图像包含许多现有深度模型从未见过的不规则视觉模式。通过在VASUN上对现有模型进行基准测试，我们发现许多最先进的深度模型的性能显着下降，而许多经典的浅层模型表现令人印象深刻。从这些结果中，我们发现，现有的深度注意模型的显着性能的进步可能来自于他们的记忆和预测一些特定的视觉模式的发生的能力，而不是学习人类视觉注意的内在机制。此外，我们也在VASUN上训练了几个基线模型，以证明预测对太阳的视觉注意力的可行性和关键问题。这些基线模型，连同建议的数据集，可以用来重新审视视觉注意力预测的问题，从一个新的角度，是现有的补充。
2018-11-25 cs.CV
Direct Visual Grounding by Directing Attention of Visual Tokens
Temple University（特拉华大学）
该研究针对VLMs中视觉令牌注意力不足的问题，提出KL注意力损失，结合下一个令牌预测损失，在多个视觉任务上取得显著提升，还引入了用于评估VLMs线条追踪能力的新数据集。
2026-08-10 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University（首尔国立大学）；Surromind Robotics（Surromind机器人公司）
可视化对话（VisDial）是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答（VQA）不同，这一系列问题应该能够从对话历史中捕获时间上下文，并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战，要求智能体解决给定问题中的模糊参考，并在给定图像中找到参考。在本文中，我们提出了双注意力网络（DAN）的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说，REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示（即，REFER模块的输出）作为输入，并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估，结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法，在这种方法中，我们收集驾驶任务的眼睛注视数据，并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法，我们训练一个模型，让它在学习驾驶汽车时学会预测注意力。最后，我们提出了一个比较研究，我们的结果表明，监督的方法来预测注意时，纳入比其他方法更好。
2018-12-05 cs.CV
Neural encoding with visual attention
Cornell University（康奈尔大学）；Weill Cornell Medicine（威尔康奈尔医学院）；Brain and Mind Research Institute（脑与思维研究所）；Nancy E. and Peter C. Meinig School of Biomedical Engineering（南希·E·和彼得·C·迈尼希生物医学工程学院）
视觉感知受到注意力集中的严重影响。由于有限的资源，这是众所周知的，神经表征偏向于出席的位置。使用并发眼动跟踪和功能性磁共振成像（fMRI）记录从一个大的队列的人类受试者看电影，我们首先证明，利用凝视信息，在注意力掩蔽的形式，可以显着提高大脑反应预测准确性的神经编码模型。接下来，我们提出了一种新的神经编码方法，包括一个可训练的软注意模块。使用我们的新方法，我们证明了仅通过fMRI响应数据的端到端学习来学习视觉注意力策略是可能的，而不依赖于任何眼动跟踪。有趣的是，我们发现，由独立数据模型估计的注意力位置与相应的眼睛注视模式吻合得很好，尽管没有明确的监督。总之，这些发现表明，注意模块可以在视觉刺激的神经编码模型中发挥作用。
2020-10-01 cs.CV cs.LG q-bio.NC
High-Order Attention Models for Visual Question Answering
Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是，它们考虑到不同的数据形式，如视觉和文本输入。在本文中，我们提出了一种新的和普遍适用的形式的注意力机制，学习各种数据模态之间的高阶相关性。我们表明，高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答（VQA）任务的有效性，在标准VQA数据集上，我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
Recursive Visual Attention in Visual Dialog
Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）
视觉对话是一个具有挑战性的视觉语言任务，它要求智能体回答关于一幅图像的多轮问题。它通常需要解决两个主要问题：（1）如何回答基于视觉的问题，这是视觉问答（VQA）的核心挑战;（2）如何推断问题和对话历史之间的共指。视觉共指的一个例子是：代词（\eg，"他们“）在问题（\eg，”他们是开还是关？“）与对话框历史记录（\eg，”“有多少盏灯？”）中出现的名词（\eg，“”灯“）相关联。“）和图像中的对象。在这项工作中，为了解决视觉对话的视觉共指，我们提出了一种新的注意力机制称为递归视觉注意（RvA）。具体来说，我们的对话代理浏览对话历史，直到代理有足够的信心，在视觉共指分辨率，并细化视觉注意递归。在大规模VisDial v0.9和v1.0数据集上的定量和定性实验结果表明，该方法不仅优于现有方法，而且在不需要额外标注的情况下，获得了合理的递归性和可解释的注意力地图.代码可在\url{https://github.com/yuleiniu/rva}上获得。
2019-04-06 cs.CV
Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning
Birkbeck, University of London（伦敦大学伯贝克学院）
人类大脑使用选择性注意来过滤感知输入，以便仅使用其有限的计算资源来处理对行为有用的成分。我们专注于一种特殊形式的视觉注意力，称为基于特征的注意力，它涉及识别视觉输入的特征，这些特征对当前任务很重要，而不管它们的空间位置如何。基于视觉特征的注意力通过降低状态表征的维数和引导学习向相关特征方向发展来提高强化学习（RL）的效率。尽管在复杂的感知运动任务中达到了人类水平的性能，但深度RL算法一直因其效率低下和缺乏灵活性而受到批评。因此，基于视觉特征的注意力是解决这些批评的一个选择。尽管如此，大脑如何能够学习在RL期间注意哪些特征仍然是一个悬而未决的问题。为了帮助回答这个问题，我们提出了一种新的算法，称为选择性粒子注意力（SPA），它赋予深度RL代理执行选择性基于特征的注意力的能力。SPA根据自下而上的显著性以及它们预测未来奖励的准确性来学习要关注的特征组合。我们评估SPA的多项选择任务和2D视频游戏，都涉及原始像素输入和动态变化的任务结构。我们展示了SPA的各种好处，天真地参加所有或随机子集的功能。我们的研究结果表明：（1）深度RL模型中基于视觉特征的注意力如何提高其学习效率和处理任务结构突然变化的能力;（2）粒子滤波器可能代表了基于视觉特征的注意力如何在大脑中发生的可行计算。
2020-08-26 cs.CV cs.LG cs.NE
Answer Questions with Right Image Regions: A Visual Attention Regularization Approach
Shandong University（山东大学）；China University of Petroleum (East China)（中国石油大学（华东））
视觉问答（VQA）中的视觉注意定位正确的图像区域的答案预测，提供了一个强大的技术，以促进多模态的理解。然而，近年来的研究指出，视觉注意中突出显示的图像区域往往与给定的问题和答案无关，从而导致正确的视觉推理的模型混淆。为了解决这个问题，现有的方法大多采取对齐视觉注意力权重与人类的注意力。然而，收集这些人类数据既费力又昂贵，使得在数据集之间调整开发良好的模型变得繁重。为了解决这个问题，在本文中，我们设计了一种新的视觉注意正则化方法，即AttReg，更好地在VQA视觉接地。具体地，AttReg首先识别对于问答而言必不可少但意外地被忽略的图像区域（即，分配有低注意力权重）。然后，利用掩模引导的学习方案来规则化视觉注意力，使其更多地关注这些被忽略的关键区域。该方法是非常灵活和模型无关的，它可以集成到大多数基于视觉注意力的VQA模型，不需要人的注意力监督。在三个基准数据集上进行了广泛的实验，即，已执行VQA-CP v2、VQA-CP v1和VQA v2，以评价AttReg的有效性。作为一个副产品，当将AttReg纳入强基线LMH时，我们的方法可以实现60.00%的最新准确度，在VQA-CP v2基准数据集上的绝对性能增益为7.01%。
2021-11-08 cs.CV
Visual Attention driven by Convolutional Features
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
对人类在场景中的位置的理解是视觉感知和计算机视觉中非常感兴趣的问题。当眼动追踪设备不是可行的选择时，可以使用人类注意力模型来预测注视。在本文中，我们给出了两个贡献。首先，我们展示了一个视觉注意力模型，该模型简单地基于为对象分类任务训练的深度卷积神经网络。定义了一种用于可视化显着性图的方法，该方法在显着性预测任务中进行评估。其次，我们将这些地图的信息与自下而上的眼动差分模型相结合，以模拟视觉注意扫描路径。显著性预测和与人类扫描路径的相似性分数的结果证明了该模型的有效性。
2018-07-12 cs.CV
MHSAN: Multi-Head Self-Attention Network for Visual Semantic Embedding
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））；Lunit Inc.（Lunit公司）
视觉语义嵌入支持各种任务，如图像-文本检索、图像描述和视觉问答。成功的视觉语义嵌入的关键是通过考虑它们之间的复杂关系来正确地表达视觉和文本数据。虽然以前的研究已经取得了很大的进步，通过编码的视觉和文本数据到一个联合空间，类似的概念是紧密定位，他们往往表示数据由一个单一的向量，忽略了在图像或文本中的多个重要组件的存在。因此，除了联合嵌入空间之外，我们还提出了一种新的多头自注意网络，通过关注数据中的重要部分来捕获视觉和文本数据的各种成分。我们的方法在MS-COCO和Flicker 30 K数据集上的图像-文本检索任务中实现了新的最先进的结果。通过可视化的注意力地图，捕捉不同的语义成分在图像和文本中的多个位置，我们证明了我们的方法实现了一个有效的和可解释的视觉语义联合空间。
2020-01-11 cs.CL cs.CV cs.LG
Tell Me Without Telling Me: Two-Way Prediction of Visualization Literacy and Visual Attention
Georgia Tech（佐治亚理工学院）；University of Stuttgart（斯图加特大学）；University of Washington（华盛顿大学）
本研究基于235名参与者的数据，提出Lit2Sal和Sal2Lit两个模型，分别根据可视化素养预测视觉注意力及从注意力预测素养，后者准确率达86%，推动个性化可视化通信发展。
2025-07-22 cs.CV cs.HC
Interpretable Visual Question Answering by Visual Grounding from Attention Supervision Mining
Stanford University（斯坦福大学）；Universidad Catolica de Chile（智利天主教大学）
可解释的VQA模型的一个关键方面是它们能够将答案与图像中的相关区域联系起来。具有这种能力的当前方法依赖于监督学习和人类注释的基础来在VQA架构内训练训练注意力机制。不幸的是，获得特定于视觉基础的人类注释是困难和昂贵的。在这项工作中，我们证明，我们可以有效地训练一个VQA架构与接地监督，可以自动获得可用的区域描述和对象注释。我们还表明，使用这种挖掘监督训练的模型生成的视觉接地与手动注释的接地具有更高的相关性，同时实现了最先进的VQA准确性。
2018-08-01 cs.AI cs.CL cs.CV
The perceptual boost of visual attention is task-dependent in naturalistic settings
University College London（伦敦大学学院）
自上而下的注意力允许人们专注于与任务相关的视觉信息。在自然主义的环境中，由此产生的知觉提升是任务依赖的吗？我们的目标是回答这个问题的大规模计算实验。首先，我们设计了一个视觉任务集合，每个任务都包括从选定的任务集（ImageNet类别的子集）中对图像进行分类。任务的性质取决于任务集中包含哪些类别。其次，在每个任务上，我们训练一个注意力增强的神经网络，然后将其准确性与基线网络的准确性进行比较。我们发现，知觉提升的注意力是更强的任务集的难度增加，更弱的任务集的大小和更弱的任务集内的感知相似性增加。
2020-04-06 cs.CV cs.LG stat.ML
Gaze Attention: Query-Adaptive Visual Routing for Efficient Multimodal LLMs
NAVER AI Lab（NAVER AI实验室）
本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。
2026-10-05 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
视觉问答（VQA）的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现，一个注意力机制，使两种模式之间的密集，双向的相互作用，有助于提高准确性的预测答案。具体来说，我们提出了一个简单的架构，是完全对称的视觉和语言表示，其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构，用于图像-问题对之间的多步交互。我们通过实验表明，所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0，尽管它的小尺寸。我们还提出了定性评估，演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题，从而导致正确的答案预测。
2018-12-01 cs.CV
Visual Attention Never Fades: Selective Progressive Attention ReCalibration for Detailed Image Captioning in Multimodal Large Language Models
Seoul National University（首尔大学）
本文提出无需训练的 SPARC 方法，通过选择性渐进重校准视觉注意力，在极小计算开销下同时提升多模态大语言模型详细图像描述的精确率与召回率。
2025-06-04 cs.AI cs.CV
CNN-based search model underestimates attention guidance by simple visual features
最近，Zhang等人（2018）提出了一种有趣的注意力引导模型，该模型使用卷积神经网络学习的视觉特征进行对象识别。我将这个模型用于搜索实验，并将准确性作为性能的衡量标准。对我们先前发表的特征和连接搜索实验的模拟表明，基于CNN的搜索模型大大低估了简单视觉特征对人类注意力的引导。一个简单的解释是，该模型没有自下而上的注意力指导。另一种观点可能是，标准的CNN不会学习类似人类的注意力引导所需的特征。
2021-04-25 cs.CV q-bio.NC
Vision Transformer attention alignment with human visual perception in aesthetic object evaluation
Escuela de Informática y Telecomunicaciones, Universidad Diego Portáles（戴维·波特莱斯大学信息与电信学院）；Department of Specific Didactics, University of Cordoba（科尔多瓦大学特定教学系）；Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez（阿道弗·伊巴涅斯大学工程与科学学院）
本文通过眼动实验与 DINO 预训练 ViT 的注意图对比，发现特定注意头和高斯参数下可较好对齐人类审美视觉注意。
2025-07-23 cs.AI cs.CV cs.LG
Visual Attention Graph
本文提出注意图方法，通过图表示同时编码视觉显著性和扫视路径，以更准确揭示人类观察者的共同注意行为，并用于评估认知状态。
2025-03-11 cs.CV q-bio.QM
RAVE: Re-Allocating Visual Attention in Large Multimodal Models
Qwen Business Unit of Alibaba（阿里巴巴文勤业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
2026-09-21 cs.CV
D-Attn: Decomposed Attention for Large Vision-and-Language Models
ByteDance Intelligent Creation（字节跳动智能创作）
本文提出D-Attn分解注意力架构，将LVLM的因果自注意力分解为视觉到视觉、文本到视觉和文本到文本注意力，并通过修正位置编码和对角化视觉注意力，在保持语言能力的同时提升视觉理解性能并大幅降低计算成本。
2025-08-15 cs.CV
Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling
Bayer AG（拜耳股份公司）
本文介绍了对比重建，ConRec -一种自监督学习算法，通过联合优化对比和自重建损失来获得图像表示。我们展示了最先进的对比学习方法（例如Simplified）在其表示中捕获细粒度视觉特征方面存在缺陷。ConRec通过添加（1）自我重建任务和（2）对比学习任务中的注意力机制扩展了Simplified框架。这是通过应用具有两个头的简单编码器-解码器架构来实现的。我们表明，这两个扩展有助于改善图像的矢量表示与细粒度的视觉特征。结合这些概念，ConRec在细粒度分类数据集上的性能优于Simplified和Simplified with Attention-Pooling。
2022-02-22 cs.AI cs.CV cs.LG
Where to Look: A Unified Attention Model for Visual Recognition with Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）
使用递归神经网络进行视觉注意的想法在计算机视觉界已经得到普及。虽然循环注意力模型（RAM）利用更大的补丁大小的一瞥来增加其范围，但它可能导致高方差和不稳定性。例如，我们需要具有高方差的高斯策略来探索大图像中的感兴趣对象，这可能会导致随机搜索和不稳定的学习。在本文中，我们提出了统一的自上而下和自下而上的注意在一起的循环视觉注意。我们的模型利用图像金字塔和Q学习来选择自上而下的注意力机制中的感兴趣区域，从而指导自下而上的策略搜索。此外，为了更好地探索，我们在自底向上的递归神经网络上添加了另外两个约束。我们在端到端的强化学习框架中训练我们的模型，并在视觉分类任务上评估我们的方法。实验结果优于卷积神经网络（CNN）基线和自底向上的循环注意模型的视觉分类任务。
2021-11-13 cs.CV
Exploring Human-like Attention Supervision in Visual Question Answering
Zhejiang University（浙江大学）
注意力机制在视觉问答（VQA）任务中得到了广泛的应用，因为它们有助于关注视觉和文本信息的感兴趣区域。为了正确回答这些问题，模型需要选择性地针对图像的不同区域，这表明基于注意力的模型可能会受益于明确的注意力监督。在这项工作中，我们的目标是解决问题的注意力监督VQA模型。由于缺乏人类注意力数据，我们首先提出了一个人类注意力网络（HAN）来生成类似人类的注意力地图，并在最近发布的人类注意力数据集（VQA-HAT）上进行训练。然后，我们在VQA v2.0数据集上应用预训练的HAN，为所有图像-问题对自动生成类似人类的注意力图。为VQA v2.0数据集生成的类人注意力地图数据集被命名为类人注意力（HLAT）数据集。最后，我们将类似人类的注意力监督应用于基于注意力的VQA模型。实验结果表明，加入类人监督可以获得更准确的注意力和更好的性能，显示了类人注意力监督在VQA中的广阔前景。
2017-09-19 cs.CV
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
The University of Electronic Science and Technology of China（电子科技大学）
最近在使用基于注意力的编码器-解码器框架用于图像和视频描述字幕方面取得了进展。大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词可以很容易地预测使用自然语言模型，而不考虑视觉信号或注意。将注意力机制强加在非视觉文字上会产生误导，降低视觉字幕的整体效果。此外，LSTM的层次结构可以更复杂地表示视觉数据，以不同的尺度捕获信息。为了解决这些问题，我们提出了一种具有自适应注意力的分层LSTM（hLSTMat）方法，用于图像和视频描述。具体地说，该框架利用空间或时间注意力来选择特定的区域或帧来预测相关词，而自适应注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，一个分层的LSTM被设计为同时考虑低级别的视觉信息和高级语言上下文信息，以支持字幕生成。我们最初设计我们的hLSTMat为视频描述任务。然后，我们进一步完善它，并将其应用到图像描述任务。为了证明我们提出的框架的有效性，我们在视频和图像描述任务上测试了我们的方法。实验结果表明，我们的方法实现了国家的最先进的性能的大多数评价指标的任务。在消融研究中也充分利用了重要组件的作用。
2018-12-26 cs.CV
