Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn(帕德博恩大学)
基于区域的人工注意力构成了一个框架,生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而,对于许多后注意任务,例如识别或跟踪对象,单个片段是不够的。在这里,我们提出了一个显着性指导的方法,分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果,通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of California, Merced(加州大学默塞德分校)
本研究针对VLMs在复杂环境下性能下降的问题,提出无训练方法CARVE,通过像素级注意力对比提取任务相关视觉信号,在开源模型上实现最高75%的性能提升,为提升视觉推理提供了高效路径。
2026-08-18 cs.AI cs.CV
Applications of Artificial Neural Networks in Microorganism Image Analysis: A Comprehensive Review from Conventional Multilayer Perceptron to Popular Convolutional Neural Network and Potential Visual Transformer
Northeastern University(东北大学);Hunan First Normal University(湖南第一师范学院);University of Luebeck(吕贝克大学)
微生物广泛分布于人类日常生活环境中。它们在环境污染控制、疾病预防和治疗以及食品和药品生产方面发挥着重要作用。微生物的分析对于充分利用不同的微生物是必不可少的。传统的分析方法费时费力。然而,微生物图像的自动分析面临着许多挑战,如应用场合的多样性对算法的鲁棒性的要求,图像特征的不显著性和易欠分割性,以及分析任务的多样性等。因此,本文对基于人工神经网络的微生物图像分析的特点进行了综述。本文首先介绍了本文的研究背景和动机。然后介绍了人工神经网络的发展和代表性网络。之后,从不同任务的角度对基于经典和深度神经网络的微生物图像分析相关论文进行了综述。最后,对该方法进行了分析,并对未来的发展方向进行了展望.
2022-03-24 cs.AI cs.CV
Attention at Rest Stays at Rest: Breaking Visual Inertia to Mitigate Relation Hallucinations
Tsinghua University(清华大学)
提出惯性感知视觉激发(IVE)方法,通过建模视觉注意力的动态响应性,打破多模态大模型中的视觉惯性,从而缓解需要对象间关系推理的认知幻觉。
2026-10-08 cs.AI cs.CV
Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs
Shanghai Jiao Tong University(上海交通大学);Northwestern Polytechnical University(西北工业大学)
SAYO通过强化学习框架引入区域级视觉注意力奖励,提升多模态大语言模型的视觉聚焦能力,从而在多种推理和感知任务中取得性能提升。
2026-10-27 cs.AI cs.CV
Understanding More about Human and Machine Attention in Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);South China University of Technology(华南理工大学);University of Electronic Science and Technology of China(电子科技大学);Inception Institute of Artificial Intelligence(起源人工智能研究所)
人类视觉系统可以选择性地关注场景的部分以快速感知,这是一种被称为人类注意力的生物机制。受此启发,最近的深度学习模型对注意力机制进行编码,将注意力集中在输入信号中与任务最相关的部分进行进一步处理,这被称为机器/神经/人工注意力。理解人类和机器注意力之间的关系对于解释和设计神经网络非常重要。许多著作声称,注意力机制通过解释神经网络看起来的位置,提供了一个额外的维度。然而,最近的研究表明,人工注意力地图并不总是与常见的直觉相一致。鉴于这些相互矛盾的证据,本文对人工注意力和人类注意力在神经网络设计中的应用进行了系统的研究。通过三个计算机视觉任务的实例、不同的代表性骨干和著名的体系结构、相应的真实人类注视数据,并系统地进行大规模的定量研究,我们量化了人工注意力和人类视觉注意力之间的一致性,并通过初步回答与人类和人工注意力机制相关的几个关键问题,为现有的人工注意力机制提供了新的见解。总体结果表明,人类的注意力可以基准有意义的“地面真相”在注意力驱动的任务,人工注意力越接近人类的注意力,性能越好;对于更高层次的视觉任务,这是个案。对于注意力驱动的任务来说,明确地强制人工和人类注意力之间更好的对齐以提高性能是可取的;这种对齐也将提高更高级别计算机视觉任务的网络可解释性。
2020-07-06 cs.CV
Visual Attention Faithfulness in Vision-Language Models is Heterogeneous
SAP(思爱普);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Microsoft(微软公司)
研究发现VLMs的视觉注意力忠实性具有异质性,分三种模式,人工标注区域与模型注意力存在约60%的全面性契合度,且该特性随任务和模型架构变化。
2026-09-02 cs.AI cs.CV
See What You Are Told: Visual Attention Sink in Large Multimodal Models
Yonsei University(延世大学)
本文发现大型多模态模型中存在视觉注意力汇现象,即模型对无关视觉 token 分配过高注意力。作者提出视觉注意力重分配(VAR)方法,将这些冗余注意力回收并重新分配给以图像为中心的注意力头,无需额外训练即可有效提升模型在多种视觉任务上的性能。
2025-03-05 cs.AI cs.CV
Human Attention-Guided Explainable Artificial Intelligence for Computer Vision Models
University of Hong Kong(香港大学);Huawei Research Hong Kong(华为香港研究院);City University of Hong Kong(香港城市大学)
该研究针对计算机视觉模型的显著性可解释AI方法,提出人类注意力引导的HAG-XAI框架,通过可训练函数与平滑核对齐人类注意力,在目标检测任务上同时提升解释的合理性与忠实度。
2023-05-05 cs.AI cs.CV
Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
本文揭示多模态大语言模型中的物体幻觉与类人注意力分散现象相关,并提出一种无需额外训练的注意力聚焦方法(AFIP)通过跨头注意力增强和动态历史注意力强化来纠正视觉模糊,从而减少幻觉。
2026-07-16 cs.AI cs.CV
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
该博士论文围绕视频中的时空视觉注意力建模,提出层次化表示方法,包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
Virginia Tech(弗吉尼亚理工大学);Salesforce Research(Salesforce研究院);Georgia Institute of Technology(佐治亚理工学院)
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。大多数方法强制视觉注意力对每个生成的单词都是活跃的。然而,解码器可能需要很少或不需要来自图像的视觉信息来预测诸如“the”和“of”的非视觉词。可能看起来可视的其他单词通常可以仅从语言模型可靠地预测,在“红灯后”后面加上“sign”,或者在“talking on a cell”后面加上“phone”。在本文中,我们提出了一种新的自适应注意力模型与视觉哨兵。在每个时间步,我们的模型决定是否关注图像(如果是,则关注哪些区域)或视觉哨兵。该模型决定是否关注图像以及在哪里,以便提取有意义的信息用于顺序单词生成。我们在COCO图像描述2015挑战数据集和Flickr 30 K上测试了我们的方法。我们的方法将新的最先进的技术设置为显著的优势。
2017-06-06 cs.AI cs.CV
Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Pruning
该研究针对MLLMs视觉token剪枝的固定层非最优及计算成本高的问题,提出MAP方法,实现仅保留5.56%视觉token时维持97.5%性能,获3.09倍端到端加速。
2026-09-10 cs.AI cs.CV
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT(信息与神经网络中心(CiNet),高级信息通信技术研究所,日本信息通信研究机构);Osaka University(大阪大学)
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体,这被称为一种尤里卡效应,可能与人类的创造力有关。先前的心理学研究表明,这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里,我们构建了一个基于人工神经网络的模型,模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
VIPA: Visual Informative Part Attention for Referring Image Segmentation
Sogang University(西江大学);LG Electronics(LG电子);Samsung Electronics(三星电子)
VIPA通过视觉信息部分注意力和视觉表达生成器提升指认图像分割的细粒度分割性能。
2026-02-16 cs.AI cs.CV
Disentangling Semantic Attention from Structural Bias in the Attention Manifold
Fudan University(复旦大学);Singapore Management University(新加坡管理大学)
研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题,提出无需训练的 SPAR 方法,通过净化噪声和重分配注意力,有效恢复真实视觉基础且计算开销小。
2026-07-28 cs.AI cs.CV
Behind the Machine's Gaze: Neural Networks with Biologically-inspired Constraints Exhibit Human-like Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Mila(米拉研究所);McGill University(麦吉尔大学);DeepMind(深度思维)
总的来说,现有的视觉注意力计算模型默认完美的视觉和对刺激的完全访问,从而偏离了生物视觉。此外,建模自上而下的注意力通常减少到语义特征的整合,而不包含已被证明部分引导人类注意力的高级视觉任务的信号。我们提出了神经视觉注意力(NeVA)算法,以自上而下的方式生成视觉扫描路径。通过我们的方法,我们探索了神经网络的能力,我们施加了一个生物启发的中央凹视觉约束,以生成类似人类的扫描路径,而无需直接为此目标进行训练。执行下游视觉任务的神经网络的损失(即,分类或重建)灵活地提供对扫描路径的自顶向下的指导。大量的实验表明,我们的方法优于国家的最先进的无监督人类注意力模型在人类扫描路径的相似性。此外,框架的灵活性允许定量研究不同任务在生成的视觉行为中的作用。最后,我们展示了一个新的实验,调查实用程序的扫描路径在现实世界中的应用,不完美的观看条件下,该方法的优越性。
2022-11-19 cs.AI cs.CV
Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);Hong Kong University of Science and Technology(香港科技大学)
该研究针对LVLM的物体幻觉问题,通过Logit Lens分析视觉注意力,揭示两种幻觉机制,提出无需训练的Detect-Mitigate框架,在多个基准上实现最优结果。
2026-08-10 cs.AI cs.CV
Selective Aggregation of Attention Maps Improves Diffusion-Based Visual Interpretation
Seoul National University(首尔大学)
本文通过选择性聚合相关注意力头提升文本到图像生成模型的可解释性,相比DAAM方法在均值IoU上表现更优,并发现相关注意力头能更准确捕捉概念特征。
2026-04-07 cs.AI cs.CV
Dynamic Object Comprehension: A Framework For Evaluating Artificial Visual Perception
Singulos Research Inc.(Singulos研究公司);University of British Columbia(不列颠哥伦比亚大学)
增强现实和混合现实正在成为移动互联网的可能继任者。然而,仍然存在许多技术挑战。这些系统的关键要求之一是能够在物理和虚拟世界之间创建连续性,并将用户的视觉感知作为主要界面媒介。建立这种连续性需要系统发展对物理世界的视觉理解。虽然计算机视觉和人工智能技术(如图像分类和目标检测)最近取得了重大进展,但这些领域的成功尚未带来这些关键MR和AR应用所需的视觉感知。一个重要的问题是,目前的评价标准不足以满足这些申请。为了激励和评估这一新兴领域的进展,需要制定新的衡量标准。在本文中,我们概述了目前的评价标准的局限性,并提出了新的标准。
2022-02-17 cs.AI cs.CV cs.LG
Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs
Fujitsu Research and Development Center(富士通研发中心)
本文提出一种无需训练的注意力干预算法,通过增强任务相关token的注意力和改进解码过程,有效减少LVLMs中的幻觉问题。
2026-02-10 cs.CV
DVQI: A Multi-task, Hardware-integrated Artificial Intelligence System for Automated Visual Inspection in Electronics Manufacturing
DarwinAI Corp.(DarwinAI公司);University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所)
针对电子制造中PCBA缺陷检测效率低的问题,提出硬件集成的DVQI多任务AI检测系统,可低配置实现检测且周期短于人工,还给出了头部厂商部署的案例研究。
2023-12-14 cs.CV
Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medicine(约翰斯·霍普金斯医学中心);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出多模态神经网络 VISION,利用视觉与上下文输入预测自然图像诱发的视觉皮层 fMRI 响应,准确率较 SOTA 提高 45%,并支持皮层表征分析与脑机接口研究。
2023-09-26 cs.AI cs.CV cs.HC
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH(浦项科技大学);Disney Research(迪士尼研究院)
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务,并且通常需要解决问题之间的视觉参考。这个问题与视觉问答(VQA)不同,视觉问答依赖于空间注意力(又名视觉基础)从图像和问题对估计。我们提出了一种新的注意力机制,利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前(注意,关键)对。从这个记忆中,模型检索先前的注意力,考虑到与当前问题最相关的新近度,以解决潜在的模糊引用。然后,该模型将检索到的注意力与试探性的注意力合并,以获得当前问题的最终注意力;具体地说,我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验,我们表明,我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型(约16%)。此外,所提出的模型在Visual Dialog数据集中实现了卓越的性能(约2%的点改进),尽管参数比基线少得多。
2018-08-06 cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University(斯坦福大学)
视觉问答(VQA)是深度学习研究中越来越热门的话题,需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型,在第一次在VQA的挑战,开发了13个新的注意力机制,并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索,并能够获得64.78%的评估分数,优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification
Tsinghua University(清华大学)
注意力机制在细粒度视觉识别任务中表现出巨大的潜力。在本文中,我们提出了一个反事实的注意学习方法来学习更有效的注意因果推理的基础上。与大多数现有的方法,学习视觉注意力的基础上,传统的可能性,我们建议学习的注意力与反事实的因果关系,这提供了一个工具来衡量的注意力质量和一个强大的监督信号,以指导学习过程。具体来说,我们通过反事实干预来分析学习到的视觉注意力对网络预测的影响,并最大限度地提高效果,以鼓励网络学习更多有用的注意力,用于细粒度图像识别。从经验上讲,我们评估了我们的方法在广泛的细粒度识别任务中的注意力起着至关重要的作用,包括细粒度图像分类,人的重新识别,车辆重新识别。所有基准测试的一致性改进证明了我们的方法的有效性。代码可在https://github.com/raoyongming/CAL上获得
2021-10-26 cs.AI cs.CV cs.LG
SolderNet: Towards Trustworthy Visual Inspection of Solder Joints in Electronics Manufacturing Using Explainable Artificial Intelligence
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司);Moog Inc.(穆格公司)
在电子制造中,焊点缺陷是影响各种印刷电路板组件的常见问题。为了识别和校正焊点缺陷,电路板上的焊点通常由受过训练的人类检查员手动检查,这是非常耗时且容易出错的过程。为了提高检测效率和准确性,在这项工作中,我们描述了一个可解释的基于深度学习的视觉质量检测系统,专为电子制造环境中的焊点视觉检测。该系统的核心是一个可解释的焊点缺陷识别系统,称为SolderNet,我们设计和实现的信任和透明度。虽然在开发和部署整个系统之前仍然存在一些挑战,但这项研究为电子制造中焊点的可靠视觉检测提供了重要进展。
2022-11-18 cs.CV
Coupling Visual Semantics of Artificial Neural Networks and Human Brain Function via Synchronized Activations
University of Georgia(佐治亚大学);University of Electronic Science and Technology of China(电子科技大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Athens Academy(雅典学院);Northwestern Polytechnical University(西北工业大学)
人工神经网络(ANN)最初受到生物神经网络(BNN)的启发,在诸如视觉表示学习等许多任务中取得了显著的成功。然而,在人工神经网络和BNN中的视觉表示之间是否存在语义相关/连接仍然在很大程度上未被探索,由于缺乏有效的工具来连接和耦合两个不同的域,以及缺乏一个通用的和有效的框架来表示BNN中的视觉语义,如人类功能脑网络(FBN)。为了回答这个问题,我们提出了一种新的计算框架,同步激活(Sync-ACT),耦合的视觉表示空间和语义之间的人工神经网络和BNN在人脑的基础上自然的功能磁共振成像(nfMRI)数据。通过这种方法,我们能够语义注释的神经网络与生物学意义的描述来自人脑成像的第一次。我们在两个公开的电影观看nfMRI数据集上评估了Sync-ACT框架。实验表明:a)FBN中的视觉表示与各种卷积神经网络(CNN)模型中的视觉表示之间的语义具有显著的相关性和相似性; b)CNN与BNN的视觉表示相似性与其在图像分类任务中的性能之间存在密切关系。总的来说,我们的研究引入了一个通用的和有效的范式来耦合人工神经网络和BNN,并为未来的研究,如脑启发的人工智能提供了新的见解。
2022-06-22 cs.CV
Human in the AI loop via xAI and Active Learning for Visual Inspection
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Qlector d.o.o.(Qlector公司);University of Applied Sciences and Arts of Southern Switzerland(瑞士南部应用科学与艺术大学);Ubitech Ltd.(Ubitech有限公司);University of Ljubljana(卢布尔雅那大学);University of West Attica(西阿提卡大学);University of Groningen(格罗宁根大学)
本文提出结合主动学习与可解释人工智能,将人类纳入视觉检测的 AI 回路,并综述工业 5.0 人机协作及 STAR 项目相关成果。
2023-07-17 cs.AI cs.CV cs.HC
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University(西北工业大学);University of Georgia(佐治亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
视觉注意是人脑中的一种基本机制,它启发了深层神经网络中注意力机制的设计。然而,大多数的视觉注意研究采用眼动追踪数据,而不是直接测量大脑活动来表征人类的视觉注意。此外,在人类视觉系统中,注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距,我们提出了一种新的大脑启发的对抗性视觉注意力网络(BI-AVAN),直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程,以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证,实验结果表明,我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时,取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能(AI)中的模型设计的新兴领域,例如,深度神经网络。
2022-10-27 cs.CV
LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression
The University of Queensland(昆士兰大学)
针对大型视觉语言模型在长序列解码中视觉遗忘的问题,提出LASER后训练框架,通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布,在8个基准上超越强基线。
2026-07-03 cs.CV
ExGate: Externally Controlled Gating for Feature-based Attention in Artificial Neural Networks
University of Cape Town(开普敦大学)
自深度学习出现以来,人工系统的感知能力已经取得了长足的进步。这些方法已被证明是有效的,但它们不如生物学方法有效。视觉注意是生物视觉系统中通过只处理刺激的相关部分来减轻计算负荷的一组机制。本文讨论了自上而下的,基于特征的注意在人工神经网络的外部控制的神经元门控使用的实现。我们的结果显示,与非门控版本相比,CIFAR-10数据集的分类准确性提高了5%,同时添加了很少的参数。我们的门控模型还通过大幅减少属于与真实类不同类别的类的预测来产生更合理的预测错误。
2018-11-08 cs.CV cs.LG cs.NE
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media(未来媒体中心);School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学)
近年来,基于注意力的视觉问答(VQA)通过利用问题选择性地针对与答案相关的不同视觉区域,取得了巨大的成功。现有的视觉注意力模型通常是平面的,即,图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突,因为CNN特征自然是空间和通道方面的。另外,视觉注意模型通常是在像素级上进行的,这可能会导致区域不连续的问题。在本文中,我们提出了一个立方体视觉注意(CVA)模型,成功地应用一种新的通道和空间注意的对象区域,以改善VQA任务。具体来说,我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征,而不是关注像素。然后,我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上,共层的特征地图。最后,将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集,包括COCO-QA,VQA和Visual 7 W。实验结果表明,我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Passive Attention in Artificial Neural Networks Predicts Human Visual Selectivity
Princeton University(普林斯顿大学);Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);UC Berkeley(加州大学伯克利分校);DeepMind
在过去的十年中,机器学习可解释性技术的发展提供了新的工具来观察人工神经网络(ANN)中最具分类和定位信息的图像区域。同样的区域对人类观察者来说也是同样的信息吗?使用来自79个新实验和7,810名参与者的数据,我们发现被动注意技术与来自6个不同行为任务的人类视觉选择性估计有显着重叠,这些任务包括视觉辨别,空间定位,可识别性,自由观看,线索对象搜索和显着性搜索固定。我们发现,从相对简单的人工神经网络架构探测使用引导反向传播方法的输入可视化是最好的预测共享组件的联合变化的人类措施。我们验证这些相关的结果与因果操纵识别实验。我们发现,在一个快速识别实验中,人工神经网络注意力图掩盖的图像比控制掩模更容易被人类分类。同样,我们发现,在相同的人工神经网络模型的识别性能同样受到使用人类视觉选择性地图掩蔽输入图像。这项工作提供了一种新的方法来评估领先的人工神经网络作为人类视觉模型的生物和心理有效性:通过研究它们对图像中包含的信息的视觉选择性的相似性和差异性。
2021-10-31 cs.CV
Improving Automated Visual Fault Detection by Combining a Biologically Plausible Model of Visual Attention with Deep Learning
Chemnitz University of Technology(开姆尼茨工业大学)
将生物处理原理以及人类识别能力转移到机器视觉和工程系统中是一个长期目标。其中一个原则是视觉注意力,这是一个聪明的人类概念,它将处理集中在场景的一部分上。在这篇文章中,我们利用注意力来改进半导体制造领域中晶片缺陷模式的自动检测。该领域以前的工作通常使用经典的机器学习方法,如KNN,SVM或MLP,而一些已经使用现代方法,如深度神经网络(DNN)。然而,该领域中的一个问题是,故障通常非常小,并且必须在更大尺寸的芯片甚至晶片内检测。因此,必须在大量的图像数据中检测像素大小的小结构。人类大脑解决这个问题的一个有趣的原则是视觉注意力。因此,我们在这里采用一个生物学上合理的模型,自动视觉检查的视觉注意。我们提出了一个视觉注意和深度神经网络的混合系统。如所示,我们的系统实现了其他决定性的优势,准确性从81%提高到92%,检测故障的准确性从67%提高到88%。因此,对于检测芯片中的故障,出错率从19%降低到8%,特别是从33%降低到12%。这些结果表明,注意力可以大大提高视觉检测系统的性能。此外,我们进行了广泛的评估,确定生物注意力模型在此应用中的具体优势,并将标准深度学习方法作为有注意力和无注意力的替代方案。这项工作是在“IECON 2020”上发表的原始会议文章的扩展arXiv版本,该文章在视觉注意力方面进行了扩展。
2021-02-13 cs.AI cs.CV cs.LG
Task-driven Visual Saliency and Attention-based Visual Question Answering
Zhejiang University(浙江大学)
自2015年5月以来,可视化问答(VQA)作为将视觉和文本数据统一到一个系统中的经典问题,已经取得了很大的进展。许多富有启发性的VQA作品对图像和问题的编码和融合方法进行了深入的探索,其中注意力是最有效和最具感染力的机制。目前的基于注意力的方法集中在视觉和文本特征的充分融合,但缺乏对人们关注的地方提出问题的图像。传统的基于注意力的方法在每个空间位置对特征赋予单一的值,从而丢失了许多有用的信息。为了解决这些问题,我们提出了一种通用方法,通过双向LSTM(BiLSTM)的相互关系对重叠区域特征进行类似显着性的预选,并使用一种新的基于元素乘法的注意力方法来捕获视觉和文本特征之间更有竞争力的相关信息。我们在大规模COCO-VQA数据集上进行了实验,并通过强有力的实证结果分析了我们的模型的有效性。
2017-02-22 cs.AI cs.CL cs.CV
Visual Illusions Also Deceive Convolutional Neural Networks: Analysis and Implications
Universitat Pompeu Fabra(庞培法布拉大学);Universitat de València(瓦伦西亚大学)
视觉错觉使研究人员能够设计和测试新的视觉感知模型。在这里,我们表明,人工神经网络训练的基本视觉任务的自然图像被欺骗的亮度和颜色的错觉,有一个反应,是定性非常相似的人类的消色差和彩色对比敏感度功能,并符合自然图像统计。我们还表明,虽然这些人工网络被错觉所欺骗,但它们的反应可能与人类的反应截然不同。我们的研究结果表明,低级错觉出现在任何必须在自然环境中执行基本视觉任务的系统中,与视觉功能的错误最小化解释一致,并且它们还暗示了使用人工网络研究人类视觉的警告,正如之前在视觉科学文献的其他背景下所建议的那样。
2019-12-03 cs.CV
Attention Branch Network: Learning of Attention Mechanism for Visual Explanation
Chubu University(中部大学)
视觉解释使人们能够理解深度卷积神经网络(CNN)的决策,但它不足以促进性能的提高。在本文中,我们专注于视觉解释的注意图,它代表了高响应值作为图像识别中的重要区域。该区域通过引入关注图像中特定区域的注意力机制,显着提高了CNN的性能。在这项工作中,我们提出了注意力分支网络(ABN),它扩展了自上而下的视觉解释模型,通过引入一个分支结构与注意力机制。ABN通过引入注意力机制的分支,可以适用于多种图像识别任务,并且可以以端到端的方式进行视觉解释和图像识别。我们评估ABN的几个图像识别任务,如图像分类,细粒度识别,多个面部属性识别。实验结果表明,ABN在这些图像识别任务上的准确性优于基线模型,同时生成用于视觉解释的注意力图。我们的代码可在https://github.com/machine-perception-robotics-group/attention_branch_network上获得。
2019-04-10 cs.CV
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University(卡尔顿大学)
在本文中,我们提出了一种新的深度多层次的注意力模型,以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征,然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意,包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics(Insight SFI 数据分析研究中心);Dublin City University(都柏林城市大学)
高级驾驶辅助系统(ADAS)一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中,我们探讨了可能的方式来使用视觉注意(显着性)的目标检测和跟踪。我们调查:1)诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2)视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络,可以同时检测对象,并生成对象和主体的地图,以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度(PHD)过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进,从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Visual Attention Drifts,but Anchors Hold:Mitigating Hallucination in Multimodal Large Language Models via Cross-Layer Visual Anchors
School of Computer Science and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机科学与人工智能学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
本文提出CLVA方法,通过跨层视觉锚点缓解多模态大语言模型的幻觉问题,强调中间层视觉锚点的重要性,无需额外训练,有效抑制深度层注意力漂移。
2026-03-26 cs.CV
Simulating Human Gaze with Neural Visual Attention
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Mila(米拉);McGill University(麦吉尔大学);DeepMind(深度思维)
现有的人类视觉注意力模型通常无法包含直接的任务指导,因此在探索场景时无法对意图或目标进行建模。为了将任何下游视觉任务的指导集成到注意力建模中,我们提出了神经视觉注意力(NeVA)算法。为此,我们施加到神经网络的生物约束的中心凹视觉和训练的注意力机制,以产生视觉探索,最大限度地提高性能的下游任务。我们观察到,生物约束的神经网络生成类似人类的扫描路径,而无需为此目的进行训练。在三个常见的基准数据集上进行的大量实验表明,我们的方法在生成类似人类的扫描路径方面优于最先进的无监督人类注意力模型。
2022-11-22 cs.CV
Visual Attention on the Sun: What Do Existing Models Actually Predict?
Beihang University(北京航空航天大学);National Astronomical Observatories, Chinese Academy of Sciences(中国科学院国家天文台)
视觉注意力预测是一个经典问题,在深度学习时代似乎得到了很好的解决。然而,随着现有视觉注意力数据集上性能分数的快速增长,一个令人信服的问题逐渐出现:现有的深度模型是否真的捕捉到了人类视觉注意力的内在机制?为了解决这个问题,本文提出了一个新的数据集,名为VASUN,记录了自由观看的人类对太阳图像的注意力。与以前的数据集不同,VASUN中的图像包含许多现有深度模型从未见过的不规则视觉模式。通过在VASUN上对现有模型进行基准测试,我们发现许多最先进的深度模型的性能显着下降,而许多经典的浅层模型表现令人印象深刻。从这些结果中,我们发现,现有的深度注意模型的显着性能的进步可能来自于他们的记忆和预测一些特定的视觉模式的发生的能力,而不是学习人类视觉注意的内在机制。此外,我们也在VASUN上训练了几个基线模型,以证明预测对太阳的视觉注意力的可行性和关键问题。这些基线模型,连同建议的数据集,可以用来重新审视视觉注意力预测的问题,从一个新的角度,是现有的补充。
2018-11-25 cs.CV
Direct Visual Grounding by Directing Attention of Visual Tokens
Temple University(特拉华大学)
该研究针对VLMs中视觉令牌注意力不足的问题,提出KL注意力损失,结合下一个令牌预测损失,在多个视觉任务上取得显著提升,还引入了用于评估VLMs线条追踪能力的新数据集。
2026-08-10 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University(首尔国立大学);Surromind Robotics(Surromind机器人公司)
可视化对话(VisDial)是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答(VQA)不同,这一系列问题应该能够从对话历史中捕获时间上下文,并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战,要求智能体解决给定问题中的模糊参考,并在给定图像中找到参考。在本文中,我们提出了双注意力网络(DAN)的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说,REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示(即,REFER模块的输出)作为输入,并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估,结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Nanyang Technological University(南洋理工大学)
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词,因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中,我们提出了Word 2 Pix:一个基于编码器-解码器Transformer架构的一级视觉接地网络,它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入,对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式,每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO,RefCOCO+和RefCOCOg数据集上进行了实验,所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明,Word 2 Pix超越了两阶段视觉基础模型,同时保持了一阶段范式的优点,即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models
Freya
本文研究几何教育中的视觉解释问题,提出通过程序生成几何图示数据,结合视觉-语言模型进行领域特定微调,提升几何元素分割性能,并引入几何感知的评估指标。
2026-04-03 cs.AI cs.CV cs.LG
Semantic Reinforced Attention Learning for Visual Place Recognition
Nanyang Technological University(南洋理工大学);Beijing Institute of Technology(北京理工大学)
大规模视觉位置识别(VPR)本质上是具有挑战性的,因为并非图像中的所有视觉线索都对任务有益。为了在特征嵌入中突出任务相关的视觉线索,现有的注意力机制要么基于人工规则,要么以彻底的数据驱动方式进行训练。为了填补这两种类型之间的差距,我们提出了一种新的语义增强注意力学习网络(SRALNet),其中推断的注意力可以受益于语义先验和数据驱动的微调。其贡献是双重的。(1)为了抑制误导性的局部特征,提出了一种基于层次特征分布的可解释局部加权方案。(2)通过利用局部加权方案的可解释性,提出了一种语义约束的初始化,使局部注意力可以通过语义先验来加强。实验表明,我们的方法优于国家的最先进的技术在城市规模的VPR基准数据集。
2021-08-19 cs.AI cs.CV cs.RO
Visual Attention for Behavioral Cloning in Autonomous Driving
IIT Kharagpur(印度理工学院卡拉格布尔分校)
我们工作的目标是利用视觉注意力来提高自动驾驶性能。我们提出了两种预测视觉注意力地图的方法。第一种方法是一种监督学习方法,在这种方法中,我们收集驾驶任务的眼睛注视数据,并用它来训练预测注意力地图的模型。第二种方法是一种新的无监督方法,我们训练一个模型,让它在学习驾驶汽车时学会预测注意力。最后,我们提出了一个比较研究,我们的结果表明,监督的方法来预测注意时,纳入比其他方法更好。
2018-12-05 cs.CV
Recursive Visual Attention in Visual Dialog
Renmin University of China(中国人民大学);Nanyang Technological University(南洋理工大学)
视觉对话是一个具有挑战性的视觉语言任务,它要求智能体回答关于一幅图像的多轮问题。它通常需要解决两个主要问题:(1)如何回答基于视觉的问题,这是视觉问答(VQA)的核心挑战;(2)如何推断问题和对话历史之间的共指。视觉共指的一个例子是:代词(\eg,"他们“)在问题(\eg,”他们是开还是关?“)与对话框历史记录(\eg,”“有多少盏灯?”)中出现的名词(\eg,“”灯“)相关联。“)和图像中的对象。在这项工作中,为了解决视觉对话的视觉共指,我们提出了一种新的注意力机制称为递归视觉注意(RvA)。具体来说,我们的对话代理浏览对话历史,直到代理有足够的信心,在视觉共指分辨率,并细化视觉注意递归。在大规模VisDial v0.9和v1.0数据集上的定量和定性实验结果表明,该方法不仅优于现有方法,而且在不需要额外标注的情况下,获得了合理的递归性和可解释的注意力地图.代码可在\url{https://github.com/yuleiniu/rva}上获得。
2019-04-06 cs.CV
High-Order Attention Models for Visual Question Answering
Technion(以色列理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是,它们考虑到不同的数据形式,如视觉和文本输入。在本文中,我们提出了一种新的和普遍适用的形式的注意力机制,学习各种数据模态之间的高阶相关性。我们表明,高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答(VQA)任务的有效性,在标准VQA数据集上,我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
A recurrent vision transformer shows signatures of primate visual attention
University of Pittsburgh(匹兹堡大学);Duolingo(多林戈)
本文提出融合自注意力与循环记忆的Recurrent ViT,仅用稀疏奖励训练后复现了灵长类视觉注意的行为、神经表征及扰动效应。
2025-02-16 cs.AI cs.CV q-bio.NC
An Efficient UAV-based Artificial Intelligence Framework for Real-Time Visual Tasks
University of Udine(乌迪内大学);Mongolian University of Science and Technology(蒙古科技大学)
配备了最先进的人工智能(AI)技术的现代无人机正在向大量新颖有趣的应用开放。虽然这一领域受到了最近人工智能突破的强烈影响,但大多数提供的解决方案要么完全依赖于商业软件,要么提供了一个弱集成接口,从而拒绝了其他技术的开发。这使得我们提出了一种新颖而有效的无人机-人工智能联合技术框架。智能无人机系统面临着复杂的挑战,需要在没有人类控制的情况下加以解决。这些复杂的挑战之一是能够在实时的【形】用例中执行计算机视觉任务。在本文中,我们专注于这一挑战,并介绍了一个多层AI(MLAI)框架,以允许轻松集成ad-hoc基于视觉的AI应用程序。为了展示其功能和优势,我们实现并评估了用于目标检测、目标跟踪和目标切换的不同现代视觉深度学习模型。
2020-04-13 cs.CV cs.RO
Answer Questions with Right Image Regions: A Visual Attention Regularization Approach
Shandong University(山东大学);China University of Petroleum (East China)(中国石油大学(华东))
视觉问答(VQA)中的视觉注意定位正确的图像区域的答案预测,提供了一个强大的技术,以促进多模态的理解。然而,近年来的研究指出,视觉注意中突出显示的图像区域往往与给定的问题和答案无关,从而导致正确的视觉推理的模型混淆。为了解决这个问题,现有的方法大多采取对齐视觉注意力权重与人类的注意力。然而,收集这些人类数据既费力又昂贵,使得在数据集之间调整开发良好的模型变得繁重。为了解决这个问题,在本文中,我们设计了一种新的视觉注意正则化方法,即AttReg,更好地在VQA视觉接地。具体地,AttReg首先识别对于问答而言必不可少但意外地被忽略的图像区域(即,分配有低注意力权重)。然后,利用掩模引导的学习方案来规则化视觉注意力,使其更多地关注这些被忽略的关键区域。该方法是非常灵活和模型无关的,它可以集成到大多数基于视觉注意力的VQA模型,不需要人的注意力监督。在三个基准数据集上进行了广泛的实验,即,已执行VQA-CP v2、VQA-CP v1和VQA v2,以评价AttReg的有效性。作为一个副产品,当将AttReg纳入强基线LMH时,我们的方法可以实现60.00%的最新准确度,在VQA-CP v2基准数据集上的绝对性能增益为7.01%。
2021-11-08 cs.CV