Reducing Drift in Visual Odometry by Inferring Sun Direction Using a Bayesian Convolutional Neural Network
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
我们提出了一种方法，将全球的方向信息从太阳到视觉里程计管道使用现有的图像流，太阳通常是不可见的。我们利用贝叶斯卷积神经网络的最新进展来训练和实现一个太阳检测模型，该模型从单个RGB图像中推断出三维太阳方向矢量。至关重要的是，我们的方法还使用蒙特卡罗丢弃方案计算与每个预测相关的原则性不确定性。我们将这种不确定性的滑动窗口立体视觉里程计管道，准确的不确定性估计是至关重要的最佳数据融合。我们的贝叶斯太阳检测模型在KITTI里程计基准训练集上实现了约12度的中位误差，与标准VO相比，平移ARMSE和旋转ARMSE分别提高了42%和32%。使用Caffe的贝叶斯CNN太阳估计器（Sun-B CNN）的开源实现可在https：//github上获得。com/utiasSTARS/sun-bcnn-vo
2019-08-18 cs.CV cs.RO
Modeling human visual search: A combined Bayesian searcher and saliency map approach for eye movement guidance in natural scenes
Instituto del Cálculo, Universidad de Buenos Aires – CONICET（布宜诺斯艾利斯大学计算研究所 – CONICET）
寻找物体对于几乎所有日常视觉任务都是必不可少的。显著性模型对于预测自然图像中的注视位置是有用的，但是是静态的，即，它们没有提供关于注视的时间顺序的信息。如今，该领域最大的挑战之一是超越显着图来预测与视觉任务相关的一系列注视，例如搜索给定的目标。贝叶斯观察者模型已经提出了这项任务，因为他们代表视觉搜索作为一个积极的采样过程。然而，它们大多是在人工图像上进行评估的，它们如何适应自然图像在很大程度上仍未被探索。在这里，我们提出了一个统一的贝叶斯模型的视觉搜索显着图作为先验信息的指导。我们通过在自然场景中记录眼球运动的视觉搜索实验来验证我们的模型。我们发现，虽然国家的最先进的显着性模型表现良好，在预测的前两个固定在视觉搜索任务，其性能下降到机会之后。这表明，显着图本身是很好的模型自下而上的第一印象，但不足以解释自上而下的任务信息是至关重要的扫描路径。因此，我们建议使用它们作为先验的贝叶斯搜索。这种方法导致整个扫描路径的行为非常类似于人类，无论是在作为固定等级和扫描路径相似性的函数发现的目标的百分比，再现整个序列的眼球运动。
2020-12-08 cs.AI cs.CV q-bio.NC
Towards Generalizable Deepfake Detection via Forgery-aware Audio-Visual Adaptation: A Variational Bayesian Approach
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Department of New Networks, Pengcheng Laboratory（鹏城实验室网络部）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络安全科学与技术学院）；School of Computer Science and Cyber Engineering, Guangzhou University（广州大学计算机科学与网络工程学院）；School of Cyberspace Science, Harbin Institute of Technology（哈尔滨工业大学网络空间科学学院）
本文提出基于变分贝叶斯的伪造感知音频视觉适应方法，通过估计音频视觉相关性来提升深度伪造检测的泛化能力。
2025-11-24 cs.CV cs.MM
Bayesian Relational Memory for Semantic Visual Navigation
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）；Technion（以色列理工学院）；OpenAI
我们引入了一种新的内存架构，贝叶斯关系内存（BRM），以提高泛化能力的语义视觉导航代理在看不见的环境中，代理被赋予一个语义目标导航。BRM采用语义实体上的概率关系图的形式（例如，房间类型），这允许（1）从训练环境中事先捕获布局，即，先验知识，（2）估计测试时的后验布局，即，存储器更新和（3）有效的导航规划。我们开发了一个BRM代理组成的BRM模块，用于产生子目标和控制的目标条件运动模块。当在看不见的环境中进行测试时，BRM代理的性能优于没有显式利用概率关系内存结构的基线
2019-09-10 cs.CV cs.LG cs.RO
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院）
本文提出贝叶斯先验引导优化方法，通过建模奖励不确定性提升视觉生成模型的语义对齐和感知保真度。
2025-11-24 cs.AI cs.CV
Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs
Fujitsu Research and Development Center（富士通研发中心）
本文提出一种无需训练的注意力干预算法，通过增强任务相关token的注意力和改进解码过程，有效减少LVLMs中的幻觉问题。
2026-02-10 cs.CV
Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a Bayesian Neural Network
提出一种基于贝叶斯神经网络后验估计锐化的隐式视觉去偏差方法，利用认知不确定性识别偏差并聚焦核心特征，在三个基准上达到与现有方法相当的性能。
2024-02-27 cs.AI cs.CV
Rice Diseases Detection and Classification Using Attention Based Neural Network and Bayesian Optimization
Mississippi State University（密西西比州立大学）
在这项研究中，基于注意力的深度可分离神经网络贝叶斯优化（ADSNN-BO）提出了从水稻叶片图像检测和分类水稻病害。水稻病害常常造成20 ~ 40%的产量损失，与全球经济密切相关。快速疾病识别对于及时计划治疗和减少企业损失至关重要。水稻病害诊断仍以人工诊断为主。为实现人工智能辅助的快速、准确的疾病检测，提出了基于MobileNet结构和增强注意力机制的ADSNN-BO模型。此外，贝叶斯优化方法被用来调整模型的超参数。基于一个公开的水稻病害数据集进行了交叉验证的分类实验，共有四个类别。实验结果表明，我们的移动兼容的ADSNN-BO模型达到了94.65%的测试精度，这优于所有的国家的最先进的模型测试。为了检查我们提出的模型的可解释性，还进行了包括激活图和过滤器可视化方法在内的特征分析。结果表明，我们提出的基于注意力的机制可以更有效地指导ADSNN-BO模型学习信息特征。本研究成果将促进人工智能在农业领域快速诊断和控制植物病害的实施。
2022-01-03 cs.CV
Enhancing Visual Reliance in Text Generation: A Bayesian Perspective on Mitigating Hallucination in Large Vision-Language Models
Beihang University（北航大学）；Tencent WXG（腾讯 WXG）
本文从贝叶斯视角分析LVLM幻觉成因，提出移除冗余视觉token、修正先验信息以及在视觉后验坍缩时停止生成三种策略，在多个基准上有效缓解幻觉并优于现有方法。
2025-08-19 cs.AI cs.CV
An initial attempt of combining visual selective attention with deep reinforcement learning
Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉注意是知觉系统中特征选择机制的一种手段。受Broadbent的选择性注意的漏过滤器模型的启发，我们评估了这种机制如何实现并影响深度强化学习的学习过程。我们可视化并分析了一个玩具问题Catch的DQN特征图，并提出了一种将视觉选择性注意与深度强化学习相结合的方法。我们在Atari游戏上进行了基于光流的注意力和A2C的实验。实验结果表明，视觉选择性注意可以导致测试游戏的样本效率方面的改善。注意和批量归一化之间的一个有趣的关系也被发现。
2020-06-18 cs.AI cs.CV cs.LG
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH（浦项科技大学）；Disney Research（迪士尼研究院）
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务，并且通常需要解决问题之间的视觉参考。这个问题与视觉问答（VQA）不同，视觉问答依赖于空间注意力（又名视觉基础）从图像和问题对估计。我们提出了一种新的注意力机制，利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前（注意，关键）对。从这个记忆中，模型检索先前的注意力，考虑到与当前问题最相关的新近度，以解决潜在的模糊引用。然后，该模型将检索到的注意力与试探性的注意力合并，以获得当前问题的最终注意力;具体地说，我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验，我们表明，我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型（约16%）。此外，所提出的模型在Visual Dialog数据集中实现了卓越的性能（约2%的点改进），尽管参数比基线少得多。
2018-08-06 cs.CV
Task-driven Visual Saliency and Attention-based Visual Question Answering
Zhejiang University（浙江大学）
自2015年5月以来，可视化问答（VQA）作为将视觉和文本数据统一到一个系统中的经典问题，已经取得了很大的进展。许多富有启发性的VQA作品对图像和问题的编码和融合方法进行了深入的探索，其中注意力是最有效和最具感染力的机制。目前的基于注意力的方法集中在视觉和文本特征的充分融合，但缺乏对人们关注的地方提出问题的图像。传统的基于注意力的方法在每个空间位置对特征赋予单一的值，从而丢失了许多有用的信息。为了解决这些问题，我们提出了一种通用方法，通过双向LSTM（BiLSTM）的相互关系对重叠区域特征进行类似显着性的预选，并使用一种新的基于元素乘法的注意力方法来捕获视觉和文本特征之间更有竞争力的相关信息。我们在大规模COCO-VQA数据集上进行了实验，并通过强有力的实证结果分析了我们的模型的有效性。
2017-02-22 cs.AI cs.CL cs.CV
Dual Recurrent Attention Units for Visual Question Answering
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
视觉问答（VQA）要求AI模型理解视觉和文本两个领域的数据。当前最先进的模型使用学习的注意力机制从输入域提取相关信息来回答某个问题。因此，强大的注意力机制是强大的VQA模型必不可少的。在本文中，我们提出了一个循环的注意力机制，并显示其优势相比，传统的卷积方法。我们进行了两项消融研究，以评估复发性注意。首先，我们引入了一个具有视觉注意力的基线VQA模型，并在VQA 2.0数据集上测试了卷积注意力和递归注意力之间的性能差异。其次，我们设计了一个架构VQA，它利用双重（文本和视觉）循环注意单元（RAU）。使用这个模型，我们展示了所有可能的递归和卷积双重注意组合的效果。我们的单一模型在VQA 2016挑战赛中的表现优于第一名，据我们所知，它是VQA 1.0数据集上表现第二好的单一模型。此外，我们的模型在VQA 2017挑战赛的获胜者身上有明显的改进。此外，我们实验用我们的RAU替换最先进模型中的注意力机制，并显示出更高的性能。
2019-03-26 cs.AI cs.CL cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech（弗吉尼亚理工大学）；Facebook AI Research（Facebook人工智能研究院）
我们对视觉问题回答（VQA）中的“人类注意力”进行了大规模研究，以了解人类选择在哪里回答有关图像的问题。我们设计并测试了多个游戏启发的新颖注意力注释界面，这些界面要求受试者锐化模糊图像的区域以回答问题。因此，我们引入VQA-HAT（人类注意力）数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性（通过可视化）和定量（通过排序相关性）。总的来说，我们的实验表明，目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CV stat.ML
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
该博士论文围绕视频中的时空视觉注意力建模，提出层次化表示方法，包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Fudan University（复旦大学）
视觉基础的重点是建立视觉和自然语言之间的细粒度对齐，这在多模态推理系统中有重要的应用。现有的方法使用预先训练的查询无关的视觉骨干，独立地提取视觉特征图，而不考虑查询信息。我们认为，从视觉骨干提取的视觉特征和多模态推理真正需要的特征是不一致的。其中一个原因是，训练前的任务和视觉基础之间存在差异。此外，由于主干是查询不可知的，因此很难通过在视觉基础框架中端到端地训练视觉主干来完全避免不一致问题。在本文中，我们提出了一个查询调制的细化网络（QRNet），以解决不一致的问题，通过调整中间功能的视觉骨干与一种新的查询感知的动态注意力（QD-ATT）机制和查询感知的多尺度融合。QD-ATT可以在视觉中枢产生的特征图的空间和通道级别上动态地计算查询依赖的视觉注意。我们将QRNet应用于端到端的视觉基础框架。大量的实验表明，该方法优于国家的最先进的方法在五个广泛使用的数据集。
2022-03-29 cs.CV cs.MM
A Bayesian Detect to Track System for Robust Visual Object Tracking and Semi-Supervised Model Learning
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
目标跟踪是视觉识别任务中的基本问题之一，近年来取得了显著的进展。这些成就往往伴随着巨大的硬件消耗和连续贴标的昂贵劳动力的代价。鲁棒跟踪的一个缺失成分是在对网络结构和半监督学习间歇标记帧进行最小修改的情况下实现性能。在本文中，我们解决这些问题的贝叶斯跟踪和检测框架参数的神经网络输出。在我们的框架中，跟踪和检测过程中制定的概率方式为多目标动态和网络检测的不确定性。在此基础上，提出了一种基于粒子滤波的近似采样跟踪目标状态估计算法。在粒子滤波推理算法的基础上，采用变分推理的半监督学习算法，在间断标记帧上学习跟踪网络。在我们的实验中，我们提供了mAP和基于概率的检测测量我们的算法与非贝叶斯解决方案之间的比较。我们还在M2 Cai 16-Tool-Locations数据集上训练了一个半监督跟踪网络，并将我们的结果与完全标记帧上的监督学习进行了比较。
2022-05-05 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
视觉注意是人脑中的一种基本机制，它启发了深层神经网络中注意力机制的设计。然而，大多数的视觉注意研究采用眼动追踪数据，而不是直接测量大脑活动来表征人类的视觉注意。此外，在人类视觉系统中，注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距，我们提出了一种新的大脑启发的对抗性视觉注意力网络（BI-AVAN），直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程，以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证，实验结果表明，我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时，取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能（AI）中的模型设计的新兴领域，例如，深度神经网络。
2022-10-27 cs.CV
Bayesian Decision Making to Localize Visual Queries in 2D
Northeastern University（东北大学）
本文针对 EGO4D 2023 视觉查询二维定位任务，提出用 transformer 高维相似性作为先验、结合 Siamese Head 低维相似性作为测量的贝叶斯决策方法，以降低假阳性并提升定位精度。
2023-05-28 cs.CV
LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression
The University of Queensland（昆士兰大学）
针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。
2026-07-03 cs.CV
Quantifying Visual Image Quality: A Bayesian View
University of Waterloo（滑铁卢大学）
图像质量评估（IQA）模型旨在建立视觉图像与人类观察者感知质量之间的定量关系。IQA建模在视觉科学和工程实践之间起着特殊的桥梁作用，既是视觉理论和计算生物视觉模型的试验台，也是一种强大的工具，可能对广泛的图像处理、计算机视觉和计算机图形应用产生深远的影响，用于设计、优化和评估目的。在过去的二十年里，IQA研究加速增长。在这里，我们提出了一个概述的IQA方法从贝叶斯的角度来看，与统一的IQA方法在一个共同的框架下的广泛的目标，并提供有用的参考基本概念访问视觉科学家和图像处理从业者。我们讨论的成功和现代IQA方法的生物视觉和视觉科学的前景，告知未来的人工视觉系统的设计的局限性的影响。
2021-02-22 cs.CV eess.IV
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media（未来媒体中心）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于注意力的视觉问答（VQA）通过利用问题选择性地针对与答案相关的不同视觉区域，取得了巨大的成功。现有的视觉注意力模型通常是平面的，即，图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突，因为CNN特征自然是空间和通道方面的。另外，视觉注意模型通常是在像素级上进行的，这可能会导致区域不连续的问题。在本文中，我们提出了一个立方体视觉注意（CVA）模型，成功地应用一种新的通道和空间注意的对象区域，以改善VQA任务。具体来说，我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征，而不是关注像素。然后，我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上，共层的特征地图。最后，将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集，包括COCO-QA，VQA和Visual 7 W。实验结果表明，我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University（中部大学）
视觉解释使人们能够理解深度卷积神经网络（CNN）的决策，但它不足以促进性能的提高。在本文中，我们专注于视觉解释的注意图，它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制，显着提高了CNN的性能。在这项工作中，我们提出了注意力分支网络（ABN），它扩展了自上而下的视觉解释模型，通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支，可以适用于多种图像识别任务，并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务，如图像分类，细粒度识别，多个面部属性识别。实验结果表明，ABN在这些图像识别任务上的准确性优于基线模型，同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception
针对多模态大语言模型在超高分辨率图像细粒度感知的难题，提出BVS框架，将感知设为连续空间尺度流形上的全局优化问题，通过先验引导与后验校正提升性能。
2026-07-07 cs.CV
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；Dublin City University（都柏林城市大学）
高级驾驶辅助系统（ADAS）一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中，我们探讨了可能的方式来使用视觉注意（显着性）的目标检测和跟踪。我们调查：1）诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2）视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络，可以同时检测对象，并生成对象和主体的地图，以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度（PHD）过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进，从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Visual Attention Drifts,but Anchors Hold:Mitigating Hallucination in Multimodal Large Language Models via Cross-Layer Visual Anchors
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出CLVA方法，通过跨层视觉锚点缓解多模态大语言模型的幻觉问题，强调中间层视觉锚点的重要性，无需额外训练，有效抑制深度层注意力漂移。
2026-03-26 cs.CV
Using n-grams models for visual semantic place recognition
Univ Paris-Sud（巴黎第十一大学）；LIMSI-CNRS（法国国家科学研究中心机械与工程科学信息实验室）；École Normale Supérieure（巴黎高等师范学院）
本文的目的是提出一种新的视觉场所识别方法。我们的系统结合了全局图像特征和视觉词，它允许使用高效的贝叶斯过滤方法来整合多个图像。更确切地说，我们扩展了经典的HMM模型与技术的灵感来自自然语言处理领域。本文介绍了我们的系统和贝叶斯滤波算法。我们的系统的性能和主要参数的影响进行了评估的标准数据库。讨论强调了使用这种模型的兴趣，并提出了改进。
2014-03-21 cs.CV cs.LG stat.ML
Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model
Department of AI Convergence, Gwangju Institute of Science and Technology (GIST)（人工智能融合系，光州科学技术院）；Samsung Research（三星研究所）
通过注意力机制的贝叶斯主动噪声选择方法，提升视频扩散模型的生成质量与时间一致性。
2026-03-03 cs.AI cs.CV
Visual attention information can be traced on cortical response but not on the retina: evidence from electrophysiological mouse data using natural images as stimuli
National Technical University of Athens（雅典国家技术大学）
本研究通过计算方法分析小鼠电生理数据，发现视觉注意信息可在初级视觉皮层响应中追踪，但不存在于视网膜响应中，为改进视觉假体系统设计提供了贡献。
2023-08-01 cs.CV eess.IV q-bio.NC
Simulating Human Gaze with Neural Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Mila（米拉）；McGill University（麦吉尔大学）；DeepMind（深度思维）
现有的人类视觉注意力模型通常无法包含直接的任务指导，因此在探索场景时无法对意图或目标进行建模。为了将任何下游视觉任务的指导集成到注意力建模中，我们提出了神经视觉注意力（NeVA）算法。为此，我们施加到神经网络的生物约束的中心凹视觉和训练的注意力机制，以产生视觉探索，最大限度地提高性能的下游任务。我们观察到，生物约束的神经网络生成类似人类的扫描路径，而无需为此目的进行训练。在三个常见的基准数据集上进行的大量实验表明，我们的方法在生成类似人类的扫描路径方面优于最先进的无监督人类注意力模型。
2022-11-22 cs.CV
Visual Attention on the Sun: What Do Existing Models Actually Predict?
Beihang University（北京航空航天大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）
视觉注意力预测是一个经典问题，在深度学习时代似乎得到了很好的解决。然而，随着现有视觉注意力数据集上性能分数的快速增长，一个令人信服的问题逐渐出现：现有的深度模型是否真的捕捉到了人类视觉注意力的内在机制？为了解决这个问题，本文提出了一个新的数据集，名为VASUN，记录了自由观看的人类对太阳图像的注意力。与以前的数据集不同，VASUN中的图像包含许多现有深度模型从未见过的不规则视觉模式。通过在VASUN上对现有模型进行基准测试，我们发现许多最先进的深度模型的性能显着下降，而许多经典的浅层模型表现令人印象深刻。从这些结果中，我们发现，现有的深度注意模型的显着性能的进步可能来自于他们的记忆和预测一些特定的视觉模式的发生的能力，而不是学习人类视觉注意的内在机制。此外，我们也在VASUN上训练了几个基线模型，以证明预测对太阳的视觉注意力的可行性和关键问题。这些基线模型，连同建议的数据集，可以用来重新审视视觉注意力预测的问题，从一个新的角度，是现有的补充。
2018-11-25 cs.CV
Direct Visual Grounding by Directing Attention of Visual Tokens
Temple University（特拉华大学）
该研究针对VLMs中视觉令牌注意力不足的问题，提出KL注意力损失，结合下一个令牌预测损失，在多个视觉任务上取得显著提升，还引入了用于评估VLMs线条追踪能力的新数据集。
2026-08-10 cs.CV
Human Scanpath Prediction in Target-Present Visual Search with Semantic-Foveal Bayesian Attention
Institute for Systems and Robotics, Instituto Superior Técnico, University of Lisbon（系统与机器人研究所，理工学院，里斯本大学）
本研究提出SemBA-FAST框架，通过结合深度目标检测与概率语义融合机制，利用预训练检测器和人工中央凹化动态生成注意力图，在COCO-Search18数据集上实现了高度匹配人类真实扫视路径的注视预测，超越了基线方法。
2025-07-24 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University（首尔国立大学）；Surromind Robotics（Surromind机器人公司）
可视化对话（VisDial）是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答（VQA）不同，这一系列问题应该能够从对话历史中捕获时间上下文，并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战，要求智能体解决给定问题中的模糊参考，并在给定图像中找到参考。在本文中，我们提出了双注意力网络（DAN）的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说，REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示（即，REFER模块的输出）作为输入，并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估，结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning
Birkbeck, University of London（伦敦大学伯贝克学院）
人类大脑使用选择性注意来过滤感知输入，以便仅使用其有限的计算资源来处理对行为有用的成分。我们专注于一种特殊形式的视觉注意力，称为基于特征的注意力，它涉及识别视觉输入的特征，这些特征对当前任务很重要，而不管它们的空间位置如何。基于视觉特征的注意力通过降低状态表征的维数和引导学习向相关特征方向发展来提高强化学习（RL）的效率。尽管在复杂的感知运动任务中达到了人类水平的性能，但深度RL算法一直因其效率低下和缺乏灵活性而受到批评。因此，基于视觉特征的注意力是解决这些批评的一个选择。尽管如此，大脑如何能够学习在RL期间注意哪些特征仍然是一个悬而未决的问题。为了帮助回答这个问题，我们提出了一种新的算法，称为选择性粒子注意力（SPA），它赋予深度RL代理执行选择性基于特征的注意力的能力。SPA根据自下而上的显著性以及它们预测未来奖励的准确性来学习要关注的特征组合。我们评估SPA的多项选择任务和2D视频游戏，都涉及原始像素输入和动态变化的任务结构。我们展示了SPA的各种好处，天真地参加所有或随机子集的功能。我们的研究结果表明：（1）深度RL模型中基于视觉特征的注意力如何提高其学习效率和处理任务结构突然变化的能力;（2）粒子滤波器可能代表了基于视觉特征的注意力如何在大脑中发生的可行计算。
2020-08-26 cs.CV cs.LG cs.NE
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法，在这种方法中，我们收集驾驶任务的眼睛注视数据，并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法，我们训练一个模型，让它在学习驾驶汽车时学会预测注意力。最后，我们提出了一个比较研究，我们的结果表明，监督的方法来预测注意时，纳入比其他方法更好。
2018-12-05 cs.CV
Recursive Visual Attention in Visual Dialog
Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）
视觉对话是一个具有挑战性的视觉语言任务，它要求智能体回答关于一幅图像的多轮问题。它通常需要解决两个主要问题：（1）如何回答基于视觉的问题，这是视觉问答（VQA）的核心挑战;（2）如何推断问题和对话历史之间的共指。视觉共指的一个例子是：代词（\eg，"他们“）在问题（\eg，”他们是开还是关？“）与对话框历史记录（\eg，”“有多少盏灯？”）中出现的名词（\eg，“”灯“）相关联。“）和图像中的对象。在这项工作中，为了解决视觉对话的视觉共指，我们提出了一种新的注意力机制称为递归视觉注意（RvA）。具体来说，我们的对话代理浏览对话历史，直到代理有足够的信心，在视觉共指分辨率，并细化视觉注意递归。在大规模VisDial v0.9和v1.0数据集上的定量和定性实验结果表明，该方法不仅优于现有方法，而且在不需要额外标注的情况下，获得了合理的递归性和可解释的注意力地图.代码可在\url{https://github.com/yuleiniu/rva}上获得。
2019-04-06 cs.CV
Tell Me Without Telling Me: Two-Way Prediction of Visualization Literacy and Visual Attention
Georgia Tech（佐治亚理工学院）；University of Stuttgart（斯图加特大学）；University of Washington（华盛顿大学）
本研究基于235名参与者的数据，提出Lit2Sal和Sal2Lit两个模型，分别根据可视化素养预测视觉注意力及从注意力预测素养，后者准确率达86%，推动个性化可视化通信发展。
2025-07-22 cs.CV cs.HC
A Bayesian Evaluation Framework for Subjectively Annotated Visual Recognition Tasks
University of Notre Dame（圣母大学）；Perceptive Automata（感知自动机公司）
自动视觉识别的一个有趣的发展是任务的出现，在这些任务中，不可能为图像分配客观的标签，但仍然可以收集反映人类对它们的判断的注释。用于这些任务的基于机器学习的预测器依赖于对注释器的行为进行建模的监督训练，即，一般人对一个图像的判断是什么呢？这类工作的一个关键的开放问题，特别是对于与人类行为不一致可能导致道德失误的应用，是如何评估训练有素的预测者的认知不确定性，即，来自预测模型的不确定性。我们提出了一个贝叶斯框架来评估黑箱预测在这个制度，不可知的预测的内部结构。该框架规定了如何估计的认知不确定性，来自预测相对于人类的标签，通过近似的条件分布，并产生一个可信的区间的预测和他们的措施的性能。该框架被成功地应用到四个图像分类任务，使用主观的人类判断：面部美容评估，社会属性分配，表观年龄估计，和模糊的场景标记。
2021-09-01 cs.CV cs.LG stat.ML
Visual Attention Never Fades: Selective Progressive Attention ReCalibration for Detailed Image Captioning in Multimodal Large Language Models
Seoul National University（首尔大学）
本文提出无需训练的 SPARC 方法，通过选择性渐进重校准视觉注意力，在极小计算开销下同时提升多模态大语言模型详细图像描述的精确率与召回率。
2025-06-04 cs.AI cs.CV
CNN-based search model underestimates attention guidance by simple visual features
最近，Zhang等人（2018）提出了一种有趣的注意力引导模型，该模型使用卷积神经网络学习的视觉特征进行对象识别。我将这个模型用于搜索实验，并将准确性作为性能的衡量标准。对我们先前发表的特征和连接搜索实验的模拟表明，基于CNN的搜索模型大大低估了简单视觉特征对人类注意力的引导。一个简单的解释是，该模型没有自下而上的注意力指导。另一种观点可能是，标准的CNN不会学习类似人类的注意力引导所需的特征。
2021-04-25 cs.CV q-bio.NC
Visual Attention Graph
本文提出注意图方法，通过图表示同时编码视觉显著性和扫视路径，以更准确揭示人类观察者的共同注意行为，并用于评估认知状态。
2025-03-11 cs.CV q-bio.QM
Answer Questions with Right Image Regions: A Visual Attention Regularization Approach
Shandong University（山东大学）；China University of Petroleum (East China)（中国石油大学（华东））
视觉问答（VQA）中的视觉注意定位正确的图像区域的答案预测，提供了一个强大的技术，以促进多模态的理解。然而，近年来的研究指出，视觉注意中突出显示的图像区域往往与给定的问题和答案无关，从而导致正确的视觉推理的模型混淆。为了解决这个问题，现有的方法大多采取对齐视觉注意力权重与人类的注意力。然而，收集这些人类数据既费力又昂贵，使得在数据集之间调整开发良好的模型变得繁重。为了解决这个问题，在本文中，我们设计了一种新的视觉注意正则化方法，即AttReg，更好地在VQA视觉接地。具体地，AttReg首先识别对于问答而言必不可少但意外地被忽略的图像区域（即，分配有低注意力权重）。然后，利用掩模引导的学习方案来规则化视觉注意力，使其更多地关注这些被忽略的关键区域。该方法是非常灵活和模型无关的，它可以集成到大多数基于视觉注意力的VQA模型，不需要人的注意力监督。在三个基准数据集上进行了广泛的实验，即，已执行VQA-CP v2、VQA-CP v1和VQA v2，以评价AttReg的有效性。作为一个副产品，当将AttReg纳入强基线LMH时，我们的方法可以实现60.00%的最新准确度，在VQA-CP v2基准数据集上的绝对性能增益为7.01%。
2021-11-08 cs.CV
Visual Attention driven by Convolutional Features
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
对人类在场景中的位置的理解是视觉感知和计算机视觉中非常感兴趣的问题。当眼动追踪设备不是可行的选择时，可以使用人类注意力模型来预测注视。在本文中，我们给出了两个贡献。首先，我们展示了一个视觉注意力模型，该模型简单地基于为对象分类任务训练的深度卷积神经网络。定义了一种用于可视化显着性图的方法，该方法在显着性预测任务中进行评估。其次，我们将这些地图的信息与自下而上的眼动差分模型相结合，以模拟视觉注意扫描路径。显著性预测和与人类扫描路径的相似性分数的结果证明了该模型的有效性。
2018-07-12 cs.CV
Shape-Bayes: Bayesian Inference of Structured Shapes under Visual Ambiguity
BlueSkeye AI；University of Nottingham（诺丁汉大学）
针对视觉模糊下确定性形状回归的脆弱性，提出Shape-Bayes概率框架，结合不确定性感知与贝叶斯推理，在人脸形状回归上实现结构完整，IDR提升约34%，相对误差降低12.5%。
2026-10-08 cs.CV
Gaze Attention: Query-Adaptive Visual Routing for Efficient Multimodal LLMs
NAVER AI Lab（NAVER AI实验室）
本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。
2026-10-05 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
视觉问答（VQA）的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现，一个注意力机制，使两种模式之间的密集，双向的相互作用，有助于提高准确性的预测答案。具体来说，我们提出了一个简单的架构，是完全对称的视觉和语言表示，其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构，用于图像-问题对之间的多步交互。我们通过实验表明，所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0，尽管它的小尺寸。我们还提出了定性评估，演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题，从而导致正确的答案预测。
2018-12-01 cs.CV
Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of California, Merced（加州大学默塞德分校）
本研究针对VLMs在复杂环境下性能下降的问题，提出无训练方法CARVE，通过像素级注意力对比提取任务相关视觉信号，在开源模型上实现最高75%的性能提升，为提升视觉推理提供了高效路径。
2026-08-18 cs.AI cs.CV
Learning Multiplicative Interactions with Bayesian Neural Networks for Visual-Inertial Odometry
German Aerospace Center (DLR)（德国宇航中心）；Ruhr-Universität Bochum (RUB)（波鸿鲁尔大学）
本文提出了一种用于单目视觉惯性里程计（VIO）的端到端多模态学习方法，该方法专门设计用于在传感器退化情况下利用传感器互补性。所提出的网络利用多头自我注意力机制，学习多个信息流之间的乘法交互。我们的方法的另一个设计特点是采用可扩展的拉普拉斯近似模型的不确定性。我们通过将所提出的方法与KITTI数据集上的端到端最先进的方法进行比较来评估所提出的方法的性能，并表明它具有优异的性能。重要的是，我们的工作从而提供了一个经验证据，学习乘法相互作用可以导致一个强大的感应偏置增加鲁棒性传感器故障。
2020-07-15 cs.CV cs.LG cs.RO
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University（卡尔顿大学）
在本文中，我们提出了一种新的深度多层次的注意力模型，以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征，然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意，包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
RAVE: Re-Allocating Visual Attention in Large Multimodal Models
Qwen Business Unit of Alibaba（阿里巴巴文勤业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
2026-09-21 cs.CV
D-Attn: Decomposed Attention for Large Vision-and-Language Models
ByteDance Intelligent Creation（字节跳动智能创作）
本文提出D-Attn分解注意力架构，将LVLM的因果自注意力分解为视觉到视觉、文本到视觉和文本到文本注意力，并通过修正位置编码和对角化视觉注意力，在保持语言能力的同时提升视觉理解性能并大幅降低计算成本。
2025-08-15 cs.CV
Integrating Three Mechanisms of Visual Attention for Active Visual Search
York University（约克大学）
机器人视觉搜索的算法可以受益于视觉注意方法的使用，以减少计算成本。在这里，我们描述了三种不同的视觉注意力机制可以集成和有效地用于提高搜索性能。第一个是视点选择，如之前已经提出的，使用概率占用网格表示上的贪婪搜索。第二种是使用直方图反投影方法的自上而下的基于对象的注意力，也在前面描述过。第三是视觉显著性。这是新颖的意义上说，它不是用作当前图像的感兴趣区域的方法，而是作为一种非组合形式的前瞻性搜索未来的视点选择。此外，在一个单一的框架内，这三个注意力计划的整合是独一无二的，以前没有研究过。我们研究我们提出的方法在场景中很少或没有关于环境的信息。通过对移动机器人的大量实验，我们表明，我们的方法通过减少所需的时间和动作数量来提高视觉搜索性能。
2017-02-14 cs.CV cs.RO
Attention-based Active Visual Search for Mobile Robots
York University（约克大学）；Technische Universität München（慕尼黑工业大学）
我们提出了一个主动视觉搜索模型，在未知的环境中寻找对象。所提出的算法引导机器人对所寻求的对象使用由视觉传感器提供的相关刺激。现有的搜索策略要么是纯粹的反应式的，要么使用简化的传感器模型，不利用所有可用的视觉信息。在本文中，我们提出了一个新的模型，积极提取视觉信息，通过视觉注意力技术，并结合非近视决策算法，导致机器人搜索更多的相关领域的环境。注意力模块耦合了自上而下和自下而上的注意力模型，使机器人能够首先搜索重要性较高的区域。所提出的算法进行评估的移动机器人平台上的3D模拟环境。结果表明，视觉注意的使用显着改善搜索，但改善的程度取决于任务的性质和环境的复杂性。在我们的实验中，我们发现使用视觉注意力机制可以在结构化环境中提高42%，在高度非结构化的杂乱环境中提高38%。
2018-07-27 cs.CV cs.RO
