Supervising Neural Attention Models for Video Captioning by Human Gaze Data
Seoul National University(首尔大学)
深度神经网络中的注意力机制受到人类注意力的启发,人类注意力随着时间的推移顺序地关注信息的最相关部分以生成预测输出。这些模型中的注意力参数是以端到端的方式进行隐式训练的,但很少有试验明确地将人类视线跟踪纳入监督注意力模型。在本文中,我们调查是否注意力模型可以受益于明确的人类注视标签,特别是视频描述的任务。我们收集了一个名为VAS的新数据集,包括电影剪辑和相应的多个描述性句子以及人类视线跟踪数据。我们提出了一个视频描述模型称为凝视编码注意网络(GEAN),可以利用视线跟踪信息,以提供空间和时间的注意句子生成。通过评估语言相似性指标和亚马逊机械土耳其人的评估,我们证明了由人类凝视数据引导的空间注意力确实提高了多种字幕方法的性能。此外,我们表明,所提出的方法不仅在我们的VAS数据集,而且在标准数据集(例如LSMDC和好莱坞2)中实现了最先进的性能的凝视预测和视频描述。
2017-07-19 cs.CV
Embedding Human Knowledge into Deep Neural Network via Attention Map
Chubu University(中部大学);ABEJA Inc.(ABEJA公司)
在这项工作中,我们的目标是实现一种将人类知识嵌入深度神经网络的方法。虽然嵌入人类知识的传统方法已被应用于非深度机器学习,但由于模型参数数量巨大,将其应用于深度学习模型具有挑战性。为了解决这个问题,我们专注于注意分支网络(ABN)的注意力机制。在本文中,我们提出了一种微调方法,利用单通道的注意力地图,这是手动编辑的人类专家。我们的微调方法可以训练一个网络,使输出的注意力地图对应于编辑的。因此,经过微调的网络可以输出一个考虑到人类知识的注意力地图。使用ImageNet、CUB-200-2010和IDRiD的实验结果表明,可以获得清晰的注意力图进行视觉解释,并提高分类性能。我们的研究结果可以成为一个新的框架,通过人类直观的编辑,通过视觉界面优化网络,并建议人机合作的新的可能性,除了改善视觉解释。
2019-12-19 cs.CV
Boosted Attention: Leveraging Human Attention for Image Captioning
Department of Computer Science and Engineering, University of Minnesota(明尼苏达大学计算机科学与工程系)
视觉注意力在图像描述中已经显示出有用性,其目的是使字幕模型能够选择性地聚焦于感兴趣区域。现有的模型通常依赖于自上而下的语言信息,并通过优化字幕目标来隐式地学习注意力。虽然有些有效,但学习的自上而下的注意力在没有直接监督的情况下可能无法集中在正确的兴趣区域。受人类视觉系统的启发,它不仅是由特定于任务的自上而下的信号,但也是视觉刺激,我们在这项工作中提出使用这两种类型的注意图像描述。特别是,我们强调了这两种类型的注意力的互补性,并开发了一个模型(提升注意力),将它们整合为图像描述。我们验证了所提出的方法与国家的最先进的性能在各种评估指标。
2019-03-18 cs.CV
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad(印度信息技术与信息技术研究院海得拉巴分校);Cognitive Science Lab(认知科学实验室);CVIT(计算机视觉与图像处理中心)
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力,通过与人类眼动数据对比,发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction
Nanjing University of Science and Technology(南京理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Huawei Cloud(华为云);Tencent AI Lab(腾讯人工智能实验室)
人体运动预测的目的是根据观察到的人体运动生成未来的运动。由于循环神经网络(RNN)在序列数据建模方面取得了成功,最近的研究利用RNN对观察到的运动序列进行人体骨骼运动建模,并预测未来的人体运动。然而,这些方法没有考虑关节间的空间一致性和骨骼间的时间演化,而这恰恰反映了人体运动在时空空间中的重要特征。为此,我们提出了一种新的关节协同注意循环神经网络(SC-RNN),以捕捉关节之间的空间一致性,和骨骼之间的时间演化,同时在一个关节协同注意特征映射在时空空间。首先,构造一个双关节特征图作为所观察到的运动序列的表示。其次,我们设计了一个新的非线性联合共同注意力(SCA)机制,动态学习这个非线性联合特征映射的非线性联合共同注意力特征映射,它可以细化有用的观察到的运动信息来预测一个未来的运动。第三,GRU的一个变体嵌入SCA协同建模的人体骨骼运动和人体关节运动的时空空间,把人体关节的共同注意力特征映射作为运动上下文。人体运动预测的实验结果表明,该方法优于相关方法。
2019-10-01 cs.CV
Human Action Recognition: Pose-based Attention draws focus to Hands
Univ Lyon, INSA-Lyon, CNRS, LIRIS(里昂大学,里昂国立应用科学学院,法国国家科学研究中心,里昂信息科学与技术实验室);Laboratoire d’Informatique de l’Université de Tours (EA 6300), INSA Centre Val de Loire(图尔大学计算机科学实验室,中央卢瓦尔河谷国立应用科学学院)
我们提出了一个新的时空注意力为基础的机制,人类的动作识别能够自动参加的手最参与到研究的行动,并检测最具歧视性的时刻在一个行动。注意力是采用递归神经网络(RNN)以递归方式处理的,并且是完全可微的。与标准的基于软注意力的机制相比,我们的方法不使用隐藏的RNN状态作为注意力模型的输入。相反,注意力分布提取使用外部信息:人类关节姿势。我们进行了广泛的消融研究,以显示这种方法的优势,我们特别研究了条件反射方面的注意力机制。我们在目前最大的人体动作识别数据集NTU-RGB+D上评估了该方法,并报告了最先进的结果。我们的模型的其他优点是可扩展性的某些方面,因为测试时的空间和时间注意力分布允许研究和验证该方法关注的输入数据的哪些部分。
2017-12-20 cs.CV
Pairwise Body-Part Attention for Recognizing Human-Object Interactions
Shanghai Jiao Tong University(上海交通大学);Tencent YouTu Lab(腾讯优图实验室)
在人-物交互(HOI)识别中,传统的方法将人体视为一个整体,并对整个身体区域给予统一的关注。他们忽略了一个事实,即正常情况下,人类通过使用身体的某些部分与物体进行交互。本文认为,在HOI识别中,对不同的身体部位应给予不同的关注,并应进一步考虑不同身体部位之间的相关性。这是因为我们的身体部位总是协同工作。我们提出了一个新的成对身体部位注意力模型,它可以学习专注于关键部位,以及它们之间的相关性,用于HOI识别。该模型引入了一种新的基于注意力的特征选择方法和一种能够捕捉身体部位间成对相关性的特征表示方案。我们提出的方法在HIO数据集上的HOI识别中比最先进的结果提高了4%。我们将公开我们的模型和源代码。
2018-07-28 cs.CV
Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network
Technical University of Munich(慕尼黑工业大学)
图卷积网络将人体骨骼关节建模为顶点,并通过邻接矩阵连接它们,该邻接矩阵可以被视为局部注意力掩模。然而,在大多数现有的图卷积网络中,局部注意掩模是基于人体骨骼关节的自然连接来定义的,并且忽略了例如头、手和脚关节之间的动态关系。此外,注意力机制在自然语言处理和图像描述中也被证明是有效的,而在现有的方法中,注意机制的研究却很少。在这项工作中,我们提出了一个新的自适应空间注意力层,扩展局部注意力地图的基础上的相对距离和相对角度信息的全球。此外,我们设计了一个新的初始图邻接矩阵,连接头,手和脚,这表明在动作识别精度方面的明显改善。该模型在人类日常活动领域的两个大规模和具有挑战性的数据集上进行了评估:NTU-RGB+D和Kinetics骨架。结果表明,我们的模型在两个数据集上都具有很强的性能。
2022-07-12 cs.CV
Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors
UPES Dehradun(德里敦大学)
本文提出SemGeo-AttentionNet,通过几何查询语义先验,有效建模人类在3D表面的视觉注意,实现了显著性检测与扫描路径生成的改进。
2026-02-06 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University(西北工业大学);University of Georgia(佐治亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
视觉注意是人脑中的一种基本机制,它启发了深层神经网络中注意力机制的设计。然而,大多数的视觉注意研究采用眼动追踪数据,而不是直接测量大脑活动来表征人类的视觉注意。此外,在人类视觉系统中,注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距,我们提出了一种新的大脑启发的对抗性视觉注意力网络(BI-AVAN),直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程,以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证,实验结果表明,我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时,取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能(AI)中的模型设计的新兴领域,例如,深度神经网络。
2022-10-27 cs.CV
Multi-level Motion Attention for Human Motion Prediction
Australian National University(澳大利亚国立大学);EPFL(洛桑联邦理工学院);ClearSpace
人体运动预测的目的是预测未来的人体姿势给定的历史运动。无论是基于递归还是前馈神经网络,现有的基于学习的方法都不能对人类运动倾向于重复自身的观察进行建模,即使对于复杂的运动动作和烹饪活动。在这里,我们引入了一个基于注意力的前馈网络,它明确地利用了这一观察结果。特别是,而不是通过姿势相似性建模帧的注意,我们建议提取运动注意捕捉当前运动上下文和历史运动子序列之间的相似性。在这种情况下,我们研究使用不同类型的注意力,计算在关节,身体部位,和完整的姿势水平。聚合相关的过去运动并使用图卷积网络处理结果,使我们能够有效地利用来自长期历史的运动模式来预测未来的姿势。我们在Human3.6M,AMASS和3DPW上的实验验证了我们的方法对周期性和非周期性行为的好处。由于我们的注意力模型,它在所有三个数据集上都产生了最先进的结果。我们的代码可在https://github.com/wei-mao-2019/HisRepItself上获得。
2021-06-17 cs.CV
Knowledge Guided Bidirectional Attention Network for Human-Object Interaction Detection
Peking University(北京大学)
人-物交互检测是一项具有挑战性的任务,需要区分人-物对之间的交互。基于注意力的关系分析是HOI中一种流行而有效的策略。然而,当前的方法以“自底向上”的方式执行关系解析。我们认为,独立使用的自下而上的分析策略在HOI是违反直觉的,可能会导致注意力的扩散。因此,我们引入了一种新的知识引导的自上而下的注意到HOI,并建议建模的关系解析为一个“看和搜索”的过程:执行场景上下文建模(即看),然后,给定的知识的目标对,搜索视觉线索之间的相互作用的歧视对。我们通过在一个基于编码器-解码器的模型中统一自下而上和自上而下的注意力来实现这个过程。实验结果表明,我们的模型在V-COCO和HICO-DET数据集上取得了有竞争力的性能。
2022-07-16 cs.CV
Encoder-decoder with Multi-level Attention for 3D Human Shape and Pose Estimation
Carnegie Mellon University(卡内基梅隆大学);Tongji University(同济大学);SenseTime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学)
三维人体形状和姿态估计是人体运动分析的基本任务,在许多三维应用中有着广泛的应用。然而,现有的方法不能同时捕获多个级别的关系,包括时空级别和人体关节级别。因此,当存在杂乱的背景、遮挡或极端姿势时,它们无法在一些困难的场景中做出准确的预测。为此,我们提出了多级注意力编码解码器网络(MAED),包括一个时空编码器(STE)和一个运动学拓扑解码器(KTD)在一个统一的框架模型的多级注意力。STE由一系列基于Multi-Head Self-Attention的级联块组成,每个块使用两个并行分支分别学习空间和时间注意力。同时,KTD的目的是建模的联合水平的注意。它把姿态估计看作是一个自顶向下的分层过程,类似于SMPL运动树。使用3DPW的训练集,MAED在三个广泛使用的基准3DPW,MPI-INF-3DHP和Human3.6M上分别以6.2,7.2和2.4 mm的PA-MPJPE优于先前的最先进方法。我们的代码可在https://github.com/ziniuwan/maed上获得。
2021-09-06 cs.CV
FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer
Zhejiang University(浙江大学)
人体姿态转换的目的是将源人的外观转换为目标姿态。现有的方法利用基于流的扭曲的非刚性人体图像生成取得了很大的成功。然而,他们未能保持合成图像的外观细节,因为源和目标之间的空间相关性没有得到充分利用。为此,我们提出了基于流的双重注意力GAN(FDA-GAN)来应用遮挡和变形感知特征融合,以获得更高的生成质量。具体地说,可变形的局部注意力和流相似性注意力,构成了双重注意力机制,可以得到的输出功能,分别负责变形和遮挡感知融合。此外,为了保持姿态和全局位置在传输过程中的一致性,我们设计了一个姿态归一化网络,用于学习从目标姿态到源姿态的自适应归一化。定性和定量结果都表明,我们的方法在公共iPER和DeepFashion数据集中的性能优于最先进的模型。
2021-12-01 cs.CV
UniAR: A Unified model for predicting human Attention and Responses on visual content
Google Research(谷歌研究院);Brandeis University(布兰迪斯大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对以往人类视觉行为建模孤立研究内隐、外显行为且局限于特定内容的问题,提出统一模型UniAR,通过多模态transformer同时预测注意力等内隐行为和偏好等外显行为,在多领域基准上取得SOTA性能,可助力视觉内容优化。
2024-10-31 cs.CV
DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors
Nanjing Normal University(南京师范大学);Nanjing University of Information Science and Technology(南京信息工程大学);Yunnan University(云南大学)
普适计算中的人类活动识别(HAR)已经开始将注意力纳入深度神经网络(DNN)的上下文中,其中来自多模态传感器(诸如加速度计和陀螺仪)的丰富感测数据被用于推断人类活动。近年来,结合GRU(Gated Recurrent Units)和长短期记忆(Long Short-Term Memory,LSTM)网络提出了两种注意力方法,可以同时捕获感知信号在空间和时间域的依赖关系。然而,与卷积神经网络(CNN)相比,递归网络通常具有表示功率的弱特征。另一方面,两个注意力,即,通过与CNN相结合,将硬注意和软注意应用于时域,其更加关注来自长序列的目标活动。但是,他们只能告诉我们应该关注哪里,错过了渠道信息,而渠道信息在决定关注什么方面起着重要作用。因此,与基于注意力的GRU或LSTM相比,它们无法解决多模态传感信号的时空依赖性。在本文中,我们提出了一种新的双重注意力方法称为DanHAR,它引入了混合通道注意力和时间注意力的框架上的CNN,在提高多模态HAR的可理解性的优势。在四个公共HAR数据集和弱标记数据集上的大量实验表明,DanHAR实现了最先进的性能,参数开销可以忽略不计。此外,可视化分析表明,我们的注意力可以放大更重要的传感器模态和分类过程中的时间步长,这与人类的共同直觉是一致的。
2021-07-21 cs.CV
Comparing Facial Expression Recognition in Humans and Machines: Using CAM, GradCAM, and Extremal Perturbation
Korea University(高丽大学)
人脸表情识别是心理学和机器学习领域的重要研究课题,具有广泛的应用前景。尽管对人类FER进行了大量的研究,并且通过深度神经网络(DNN)使计算FER取得了相当大的进展,但在比较DNN与人类表现相当的程度方面所做的工作相对较少。在这项工作中,我们比较了识别性能和注意力模式的人类和机器在一个两个选择强迫选择FER任务。在这里,人类的注意力是通过点击数据收集的,这些数据逐渐揭示了一张脸,而模型的注意力是使用三种不同的流行技术从可解释的人工智能中获得的:CAM,GradCAM和极值扰动。在这两种情况下,性能都以正确率为单位收集。在这项任务中,我们发现人类的表现明显优于机器。在注意力模式方面,我们发现极端扰动在任务期间与人类注意力地图的整体拟合最好。
2021-10-09 cs.CV
Multi-Context Attention for Human Pose Estimation
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们建议将具有多上下文注意力机制的卷积神经网络整合到用于人体姿势估计的端到端框架中。我们采用堆叠沙漏网络,以不同的语义在多个分辨率的功能生成注意力地图。使用条件随机场(CRF)来模拟注意力图中相邻区域之间的相关性。我们进一步结合整体注意力模型,它侧重于整个人体的全局一致性,和身体部位注意力模型,它侧重于对不同的身体部位的详细描述。因此,我们的模型有能力专注于不同的粒度从局部显着区域到全局语义一致的空间。此外,我们设计了新的沙漏残差单元(HRU),以增加网络的感受野。这些单元是残余单元的扩展,其具有包含具有较大感受野的滤波器的侧分支,因此具有各种尺度的特征被学习并在HRU内组合。多上下文注意力机制和沙漏残差单元的有效性进行了评估两个广泛使用的人体姿态估计基准。我们的方法优于所有现有的方法在这两个基准的所有身体部位。
2017-02-24 cs.CV
Deep Contextual Attention for Human-Object Interaction Detection
Tianjin University(天津大学);Inception Institute of Artificial Intelligence(人工智能研究院);Aalto University(阿尔托大学)
人-物交互检测是一种重要且相对较新的视觉关系检测任务,对于更深的场景理解至关重要。大多数现有的方法分解成对象定位和交互识别的问题。尽管取得了进展,但这些方法只依赖于人和物体的外观,而忽略了可用的上下文信息,这对于捕捉它们之间的微妙交互至关重要。我们提出了一个上下文注意力框架的人-物体交互检测。我们的方法通过学习人类和对象实例的上下文感知外观特征来利用上下文。然后,所提出的注意力模块自适应地选择相关的以实例为中心的上下文信息,以突出可能包含人-对象交互的图像区域。在V-COCO、HICO-DET和HCVRD三个基准上进行了实验。我们的方法在所有数据集上都优于最先进的方法。在V-COCO数据集上,与现有的最佳方法相比,我们的方法在角色平均平均精度($mAP_{role}$)方面实现了4.4%的相对增益。
2019-10-17 cs.CV
Focus On What's Important: Self-Attention Model for Human Pose Estimation
人体姿态估计是计算机视觉中一项重要而又具有挑战性的任务。造成这种困难的原因之一是图像中存在许多冗余区域。在这项工作中,我们提出了一种结合新型注意力模型的卷积网络架构。我们将其命名为注意力卷积神经网络(ACNN)。ACNN学习专注于不同输入特征的特定区域。这是一个多阶段的建筑。早期阶段过滤“无区域”,如背景和多余的身体部位。然后,他们将包含人体关节的重要区域提交到以下阶段,以获得更准确的结果。更重要的是,它不需要额外的手动注释,自学是我们的意图之一。我们单独训练网络,因为注意力学习任务和姿势估计任务不是独立的。国家的最先进的性能获得的MPII基准。
2019-04-04 cs.CV
Multi-model fusion for Aerial Vision and Dialog Navigation based on human attention aids
Xidian University(西安电子科技大学)
本研究针对空中机器人操控复杂的问题,基于AVDN数据集提出HAA-Transformer与HAA-LSTM的融合训练方法,实现导航路径点和人类注意力预测,提升了相关导航性能指标。
2023-08-27 cs.CV
Guiding Visual Attention in Deep Convolutional Neural Networks Based on Human Eye Movements
University of Salzburg(萨尔茨堡大学)
深度卷积神经网络(DCNN)最初受到生物视觉原理的启发,已经发展成为当前物体识别的最佳计算模型,因此在与神经成像和神经时间序列数据的比较中,表明与腹侧视觉通路具有很强的结构和功能平行性。随着深度学习的最新进展似乎降低了这种相似性,计算神经科学面临着对生物可解释性进行逆向工程以获得有用模型的挑战。虽然以前的研究表明,生物启发的架构能够放大模型的人性化,但在这项研究中,我们研究了一种纯粹的数据驱动方法。我们使用眼动追踪数据来直接修改训练样本,从而在自然图像中的对象识别过程中引导模型的视觉注意力朝向或远离人类注视的焦点。我们比较和验证不同的操作类型(即,标准、类人和非类人注意力),通过GradCAM显着性图对人类参与者的眼动追踪数据。我们的研究结果表明,所提出的引导焦点操纵工程作为预期的负方向和非人类的模型专注于显着不同的图像部分相比,人类。所观察到的效果是高度类别特异性的,增强了动物性和人脸的存在,只有在前馈处理完成后,开发,并表示对人脸检测的强烈影响。然而,使用这种方法,没有显着增加的人类likeness.Possible的DCNN中的显性视觉注意的应用和进一步的人脸检测理论的影响进行了讨论。
2022-09-06 cs.CV
Towards Better Guided Attention and Human Knowledge Insertion in Deep Convolutional Neural Networks
Uppsala University(乌普萨拉大学);Vironova AB(维罗诺瓦公司)
本文提出Multi-Scale Attention Branch Networks (MSABN),通过提升注意力图分辨率改善深度CNN性能,并引入利用注意力图结合边界框标注注入人类知识的数据增强策略,在图像识别任务上取得显著效果。
2022-10-20 cs.CV
Reasoning About Human-Object Interactions Through Dual Attention Networks
University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Massachusetts Institute of Technology(麻省理工学院);The Chinese University of Hong Kong(香港中文大学)
对象是我们作用的实体,其中对象的功能取决于我们如何与它交互。在这项工作中,我们提出了一个双注意力网络模型的原因,人与对象的交互。双注意框架分别对物体和动作的重要特征进行加权。因此,对对象和动作的识别是相互受益的。该模型在人-物交互数据集Something-Something上显示出有竞争力的分类性能。此外,它可以执行弱时空定位和启示分割,尽管只使用视频级标签进行训练。该模型不仅可以发现动作何时发生以及哪个对象正在被操作,还可以识别对象的哪个部分正在被交互。项目页面:\url{https://dual-attention-network.github.io/}。
2019-09-10 cs.CV
Predicting Human Interaction via Relative Attention Model
Shanghai Jiao Tong University(上海交通大学)
预测人类交互是具有挑战性的,因为必须基于部分观察到的视频来推断正在进行的活动。从本质上讲,一个好的算法应该有效地模拟两个交互主体之间的相互影响。此外,只有场景中的一个小区域是有区别的,用于识别正在进行的交互。在这项工作中,我们提出了一个相对注意力模型,明确地解决这些困难。建立在一个三耦合的深度递归结构,代表相互作用的主题和全球互动状态,建议的网络收集时空信息,从每个主题,纠正与全球互动信息,产生有效的互动表示。此外,建议的网络还统一了一个注意力模块,以分配更高的重要性,与正在进行的行动相关的区域。在两个公共数据集上进行了大量的实验,结果表明,所提出的相对注意力网络成功地预测了交互主体之间的信息区域,从而产生了优越的人类交互预测精度。
2017-05-26 cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(脸书人工智能研究院)
我们对视觉问答(VQA)中的“人类注意力”进行了大规模研究,以了解人类在回答有关图像的问题时会选择哪里。我们设计并测试了多个游戏启发的新颖注意力注释界面,这些界面要求受试者锐化模糊图像的区域以回答问题。因此,我们引入VQA-HAT(人类注意力)数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性(通过可视化)和定量(通过排序相关性)。总的来说,我们的实验表明,目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CL cs.CV
Human Scanpath Prediction in Target-Present Visual Search with Semantic-Foveal Bayesian Attention
Institute for Systems and Robotics, Instituto Superior Técnico, University of Lisbon(系统与机器人研究所,理工学院,里斯本大学)
本研究提出SemBA-FAST框架,通过结合深度目标检测与概率语义融合机制,利用预训练检测器和人工中央凹化动态生成注意力图,在COCO-Search18数据集上实现了高度匹配人类真实扫视路径的注视预测,超越了基线方法。
2025-07-24 cs.CV
EVA: Bridging Performance and Human Alignment in Hard-Attention Vision Models for Image Classification
The University of Tokyo(东京大学)
EVA通过硬注意力机制显式调整性能与人类对齐的权衡,提升扫描路径对齐性同时保持高精度。
2026-03-28 cs.CV
Optimizing Visual Question Answering Models for Driving: Bridging the Gap Between Human and Machine Attention Patterns
University of Limerick(利默里克大学)
本文研究自动驾驶场景下人类与VQA模型注意力差异,提出集成滤波器优化LXMERT注意力机制,并在NuImages数据集上验证其提升模型性能。
2024-06-13 cs.CV
PARE: Part Attention Regressor for 3D Human Body Estimation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
尽管取得了重大进展,我们表明,最先进的3D人体姿态和形状估计方法仍然敏感的部分遮挡,并可能产生显着错误的预测,虽然身体的大部分是可观察的。为了解决这个问题,我们引入了一个软注意力机制,称为部分注意力回归器(PARE),它学习预测身体部位引导的注意力掩模。我们观察到,最先进的方法依赖于全局特征表示,使得它们对即使是很小的遮挡也很敏感。相比之下,PARE的部分引导的注意力机制通过利用关于个体身体部分的可见性的信息同时利用来自相邻身体部分的信息来预测被遮挡的部分来克服这些问题。我们定性地表明,PARE学习明智的注意掩模,定量评估证实,PARE实现更准确和强大的重建结果比现有的方法在特定的闭塞和标准的基准。代码和数据可在{ \small \url{https://pare.is.tue.mpg.de/} }上获取,以供研究之用
2021-10-11 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
卷积可以说是现代神经网络最重要的特征变换,导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层,揭示了固定卷积核的局限性,并为动态特征变换时代打开了大门。然而,现有的动态变换,包括自注意,都局限于视频理解,其中空间和时间上的对应关系,即,运动信息对于有效表示是至关重要的。在这项工作中,我们引入了一个关系特征变换,称为关系自我注意力(RSA),利用丰富的时空关系的视频结构,动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明,RSA网络的性能大大优于卷积和自我注意力,在视频动作识别的标准运动为中心的基准上达到了最先进的水平,例如Something-Something-V1 & V2,Diving 48和FineGym。
2021-11-02 cs.CV
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Chinese Academy of Sciences(中国科学院)
人体动作识别是计算机视觉的一个重要课题。提取有区别的空间和时间特征来模拟不同动作的时空演变是完成这项任务的关键。在这项工作中,我们提出了一个端到端的空间和时间的注意力模型,从骨架数据的人类动作识别。我们在具有长短期记忆(LSTM)的递归神经网络(RNN)之上构建我们的模型,它学会选择性地关注输入的每一帧内骨架的区别性关节,并对不同帧的输出给予不同程度的关注。此外,为了确保网络的有效训练,我们提出了一个正则化的交叉熵损失来驱动模型学习过程,并相应地开发了一个联合训练策略。实验结果表明,该模型的有效性,无论是在SBU的小人体动作识别数据集和目前最大的NTU数据集。
2016-11-18 cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(Facebook人工智能研究院)
我们对视觉问题回答(VQA)中的“人类注意力”进行了大规模研究,以了解人类选择在哪里回答有关图像的问题。我们设计并测试了多个游戏启发的新颖注意力注释界面,这些界面要求受试者锐化模糊图像的区域以回答问题。因此,我们引入VQA-HAT(人类注意力)数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性(通过可视化)和定量(通过排序相关性)。总的来说,我们的实验表明,目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CV stat.ML
Human Interaction Recognition Framework based on Interacting Body Part Attention
Kyungpook National University(庆北国立大学);Korea University(高丽大学)
视频中的人类活动识别已经得到了广泛的研究,最近通过深度学习方法取得了重大进展;然而,它仍然是一项具有挑战性的任务。在本文中,我们提出了一个新的框架,同时考虑隐式和显式表示的人类互动的融合信息的局部图像的互动积极发生,原始运动与个人主体的身体部位的姿势,并共同出现的整体外观变化。人与人之间的互动会发生变化,这取决于每个人的身体部位如何与另一个人互动。所提出的方法捕捉使用相互作用的身体部位的注意力不同的相互作用之间的细微差别。与其他对象交互的语义重要的身体部位在特征表示期间被赋予更多权重。将交互的基于身体部位注意力的个体表示和全身外观变化的同现描述符的组合特征馈送到长短期记忆中,以在单个框架中对随时间的时间动态进行建模。我们使用四个广泛使用的公共数据集验证所提出的方法的有效性,优于竞争国家的最先进的方法。
2021-01-22 cs.CV
Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments
Heriot-Watt University(赫瑞-瓦特大学)
本研究通过眼动追踪实验和GPT-4o等视觉语言模型,比较了人类与模型在安全相关场景中的注意力分布,发现模型无需训练数据即可近似人类注视模式。
2026-06-16 cs.CV
Semantic Segmentation Enhanced Transformer Model for Human Attention Prediction
Nankai University(南开大学)
显著性预测的目的是预测人眼对RGB图像的注意力分布。大多数最新的方法都是基于传统CNN的深度图像特征表示。然而,传统的卷积不能很好地捕捉图像的全局特征,由于其小的内核大小。此外,与人类视觉感知密切相关的高级因素,例如,物体、颜色、光线等,不被考虑。受此启发,我们提出了一种基于transformer的方法,语义分割作为另一个学习目标。Transformer可以捕获图像的更多全局线索。此外,同时学习对象分割模拟人类的视觉感知,我们将在我们的研究中验证人类的视线控制在认知科学。我们为子任务构建了一个额外的解码器,多个任务共享相同的Transformer编码器,迫使它从多个特征空间中学习。我们发现,在实践中,简单地添加子任务可能会混淆主任务的学习,因此多任务注意模块被提出来处理多个学习目标之间的特征交互。与其他最先进的方法相比,我们的方法实现了具有竞争力的性能。
2023-01-26 cs.CV
Attention-based Fusion for Multi-source Human Image Generation
University of Trento(特伦托大学);Huawei Technologies Ireland(华为技术爱尔兰)
我们提出了一个概括的人的图像生成任务,其中的人的图像生成条件的目标姿势和一组X的源外观图像。通过这种方式,我们可以利用同一个人的多个可能互补的图像,这些图像通常在训练和测试时可用。我们提出的解决方案主要是基于一个局部的注意力机制,它从不同的源图像区域中选择相关的信息,避免了为X的每个特定的基数建立特定的生成器的必要性。我们的方法的实证评估表明,在多源设置解决的人的图像生成问题的实际利益。
2019-05-07 cs.CV
Interpretable Modeling of Driver Attention Shifts with a Vision-Language Model
Texas Tech University(德克萨斯理工大学);Towson University(托森大学)
本研究通过少量人工监督微调视觉-语言模型,生成可解释的驾驶员注意力转移描述,以补充传统注视热图,提升人因分析、监控和态势感知支持。
2026-06-02 cs.CV
Skeleton-Based Human Action Recognition with Global Context-Aware Attention LSTM Networks
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
三维人体骨架序列中的人体动作识别已经引起了人们的广泛关注。最近,长短期记忆(LSTM)网络在这一任务中表现出了良好的性能,因为它们在建模序列数据中的依赖性和动态方面具有优势。由于并不是所有的骨骼关节都能为动作识别提供信息,并且不相关的关节往往会带来噪声,从而降低性能,因此我们需要更多地关注信息关节。然而,原始的LSTM网络不具有显式注意力能力。在本文中,我们提出了一类新的LSTM网络,全局上下文感知注意力LSTM(GCA-LSTM),用于基于骨架的动作识别。该网络能够通过使用全局上下文存储单元选择性地聚焦于每个骨架序列的每个帧中的信息关节。为了进一步提高网络的注意力能力,我们还引入了一种循环注意力机制,通过这种机制可以逐步提高网络的注意力性能。此外,为了有效地训练我们的网络,我们提出了一个逐步的训练计划。我们的方法在五个具有挑战性的基准数据集上实现了最先进的性能,用于基于骨架的动作识别。
2018-01-11 cs.CV
HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);ISEE, Sun Yat-sen University(中山大学智能工程学院);VCIP, CS, Nankai University(南开大学计算机科学与通信工程学院)
本研究提出业界首个以人为中心的Omni-multimodal大型语言模型HumanOmni,通过构建超240万视频片段与1400万指令的数据集,采用三分支自适应融合视觉与音频特征,显著提升情感识别等场景理解能力。
2025-01-25 cs.CV
Integrating Human Gaze into Attention for Egocentric Activity Recognition
University of Michigan(密歇根大学)
众所周知,人类凝视携带关于视觉注意的重要信息。然而,在将凝视数据并入深度神经网络的注意力机制中存在三个主要困难:1)凝视注视点可能由于眨眼和快速眼球运动而具有测量误差; 2)不清楚凝视数据何时以及多少与视觉注意力相关;以及3)凝视数据在许多真实世界情况下并不总是可用的。在这项工作中,我们引入了一个有效的概率方法来整合人类的目光时空注意力自我中心的活动识别。具体来说,我们表示的凝视固定点的位置作为结构化的离散潜变量来模拟其不确定性。此外,我们使用变分法的凝视固定的分布模型。在训练过程期间学习注视分布,使得在测试情况下不再需要注视位置的地面实况注释,因为它们是从学习的注视分布预测的。预测的注视位置用于提供信息性注意线索以提高识别性能。我们的方法优于所有以前的国家的最先进的方法EGTEA,这是一个大规模的数据集,为自我中心的活动识别提供凝视测量。我们还进行了消融研究和定性分析,以证明我们的注意力机制是有效的。
2020-11-08 cs.CV
DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery
Stanford University(斯坦福大学)
DeforHMR 提出一种基于回归的单目 3D 人体网格恢复框架,通过在 transformer 解码器中引入与查询无关的可变形交叉注意力机制,从冻结的 ViT 编码器提取视觉特征进行回归,在 3DPW 和 RICH 基准上达到 SOTA 性能。
2024-11-18 cs.CV
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition
Aarhus University(奥胡斯大学)
图卷积网络(GCN)通过将骨架序列建模为时空图,在基于卷积的人体动作识别中取得了良好的性能。最近提出的大多数基于GCN的方法通过使用应用于预定义的图邻接矩阵的空间注意力来学习网络的每一层的图结构来提高性能,所述预定义的图邻接矩阵以端到端的方式与模型的参数联合优化。本文分析了时空GCN层中的空间注意力,提出了一种对称的空间注意力,以更好地反映人体关节执行动作时相对位置的对称性。我们还强调了时空GCN层的连接,采用添加剂的空间关注双线性层,我们提出了时空双线性网络(ST-BLN),它不需要使用预定义的邻接矩阵,并允许更灵活的设计模型。实验结果表明,三种模型有效地导致相同的性能。此外,通过利用所提出的ST-BLN提供的灵活性,可以提高模型的效率。
2021-04-22 cs.CV
Weakly Supervised Human Skin Segmentation using Guidance Attention Mechanisms
University of Alicante(阿利坎特大学)
人体皮肤分割是计算机视觉和生物识别系统中的一项重要任务,但它带来了一些挑战,如肤色,姿势和光照的变化。本文提出了一种强大的数据驱动的皮肤分割方法,通过整合上下文信息和高效的网络设计来解决这些挑战。除了鲁棒性和准确性之外,集成到实时系统中还需要在计算能力、速度和性能之间进行仔细的平衡。该方法结合了两个注意力模块,身体注意力和皮肤注意力,利用上下文信息,以提高分割结果。这些模块将注意力吸引到所需的区域,分别关注身体边界和皮肤像素。此外,在编码器部分中采用了高效的网络架构,以在保持高性能的同时最小化计算能力。为了处理皮肤数据集中的噪声标签问题,所提出的方法使用弱监督训练策略,依赖于皮肤注意力模块。这项研究的结果表明,该方法是可比的,或优于,最先进的方法对基准数据集。
2023-02-09 cs.CV
Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction
Tencent Robotics X(腾讯Robotics X)
尽管在动作识别任务中取得了显着的进展,但在专门用于人机交互的动作识别方面还没有做太多的工作。本文深入探讨了交互场景中动作识别任务的特点,提出了一种面向注意力的多级网络框架,以满足实时的【形】交互需求。具体地说,一个预注意力网络被用来粗略地集中在场景中的交互者在低分辨率,然后执行细粒度的姿态估计在高分辨率。另一个紧凑的CNN接收提取的骨架序列作为动作识别的输入,利用类似注意力的机制来有效地捕获局部时空模式和全局语义信息。为了评估我们的方法,我们构建了一个新的动作数据集专门用于识别任务的互动场景。在移动计算平台(Nvidia Jetson AGX Xavier)上对我们的数据集和高效率(在640 x 480 RGBD下为112 fps)的实验结果证明了我们的方法在实时的【形】人机交互中对动作识别的良好适用性。
2020-07-02 cs.CV
iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
Virginia Tech(弗吉尼亚理工大学)
近年来,在检测和识别单个对象实例方面取得了快速进展。然而,为了理解场景中的情况,计算机需要识别人类如何与周围的物体进行交互。在本文中,我们解决了具有挑战性的任务,检测人与物体的相互作用(HOI)。我们的核心思想是,一个人或一个对象实例的外观包含信息线索,图像的相关部分参加,以促进交互预测。为了利用这些线索,我们提出了一个以实例为中心的注意力模块,学习动态突出显示区域的图像条件下的每个实例的外观。这种基于注意力的网络允许我们选择性地聚合与识别HOI相关的特征。我们在COCO和HICO-DET数据集中验证了所提出的网络对动词的有效性,并表明我们的方法与最先进的方法相比毫不逊色。
2018-08-30 cs.CV
Gaze Perception in Humans and CNN-Based Model
对其他个体的注意力轨迹进行准确的推断对于人类的社交互动至关重要,对于人工智能与人类的有效互动也很重要。在这项研究中,我们比较了基于CNN(卷积神经网络)的凝视模型和人类如何推断出现实世界场景中的图像中的注意力所在地,其中许多人都在看一个共同的位置。我们发现,与模型相比,人类对注意力轨迹的估计更多地受到场景背景的影响,例如出席目标的存在和图像中的个体数量。
2021-04-17 cs.CV
A Computer Vision System for Attention Mapping in SLAM based 3D Models
JOANNEUM RESEARCH Forschungsgesellschaft mbH(JOANNEUM RESEARCH 研究有限公司)
在交互研究的框架中对人的因素的研究已经与可用性工程和人机工程学相关了几十年。如今,随着可穿戴眼动追踪和谷歌眼镜的出现,对人为因素的监控将很快变得无处不在。这项工作描述了一个计算机视觉系统,使无处不在的映射和监测人类的注意力。关键的贡献是,我们的方法使全3D恢复的凝视指针,人体视锥台和相关的人类为中心的测量直接到一个自动计算的3D模型实时。我们将RGB-D SLAM和描述符匹配方法应用于所获取的3D模型内的ROI(感兴趣区域)的3D建模、定位和全自动注释。这种创新的方法将为现实世界环境中的注意力研究开辟新的途径,为人为因素技术的自动化处理带来新的潜力。
2013-05-06 cs.CV
Feedback Attention for Cell Image Segmentation
Meijo University(名城大学)
在本文中,我们解决细胞图像分割任务的反馈注意力机制,如反馈处理。与传统的前馈处理神经网络模型不同,我们专注于人脑中的反馈处理,并假设网络通过连接从深层到浅层的特征映射来像人类一样学习。我们提出了一些模仿人脑的反馈注意力,并将输出层的特征映射反馈到接近输入层。具有反馈注意力的U-Net比仅使用前馈处理的传统方法表现出更好的效果。
2020-08-14 cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
凝视反映了人类如何处理视觉场景,因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力,例如对象定位和识别,但是仍然不清楚凝视是否也可以有益于以场景为中心的任务,例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用,提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集,我们首先评估最先进的对象和场景识别模型,自下而上的视觉显着性和人类凝视之间的关系。然后,我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中,并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估,我们表明,我们的方法提高了图像描述的性能,凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
Passive Attention in Artificial Neural Networks Predicts Human Visual Selectivity
Princeton University(普林斯顿大学);Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);UC Berkeley(加州大学伯克利分校);DeepMind
在过去的十年中,机器学习可解释性技术的发展提供了新的工具来观察人工神经网络(ANN)中最具分类和定位信息的图像区域。同样的区域对人类观察者来说也是同样的信息吗?使用来自79个新实验和7,810名参与者的数据,我们发现被动注意技术与来自6个不同行为任务的人类视觉选择性估计有显着重叠,这些任务包括视觉辨别,空间定位,可识别性,自由观看,线索对象搜索和显着性搜索固定。我们发现,从相对简单的人工神经网络架构探测使用引导反向传播方法的输入可视化是最好的预测共享组件的联合变化的人类措施。我们验证这些相关的结果与因果操纵识别实验。我们发现,在一个快速识别实验中,人工神经网络注意力图掩盖的图像比控制掩模更容易被人类分类。同样,我们发现,在相同的人工神经网络模型的识别性能同样受到使用人类视觉选择性地图掩蔽输入图像。这项工作提供了一种新的方法来评估领先的人工神经网络作为人类视觉模型的生物和心理有效性:通过研究它们对图像中包含的信息的视觉选择性的相似性和差异性。
2021-10-31 cs.CV
HARIS: Human-Like Attention for Reference Image Segmentation
Xiao Ying Company(小影公司)
针对现有参考图像分割方法自底向上融合特征易引入无关图文对的问题,提出引入类人注意力机制、结合PEFT框架的HARIS方法,在多个基准上实现SOTA性能并保留良好零样本能力。
2024-05-21 cs.CV
Understanding Visual Ads by Aligning Symbols and Objects using Co-Attention
SRI International(SRI国际)
我们解决的问题是理解视觉广告,在给定的广告图像,我们的目标是排名适当的人类生成的语句描述的广告的目的。这个问题通常通过联合嵌入图像和候选语句来建立对应关系来解决。解码视觉广告需要推断图像中引用的语义和符号细微差别,并且现有方法可能无法捕获这种关联,尤其是对于弱注释符号。为了创建更好的嵌入,我们利用注意力机制将图像提案与符号相关联,从而有效地从对齐的多模态表示中聚合信息。我们提出了一种多跳协同注意力机制,迭代地细化注意力图,以确保准确的注意力估计。我们的基于注意力的嵌入模型是由最大保证金损失函数指导的端到端学习的。我们表明,我们的模型在基准广告数据集上的表现优于其他基线,并且还显示了定性结果,以突出使用多跳共同关注的优势。
2018-07-04 cs.CV
HERM: Benchmarking and Enhancing Multimodal LLMs for Human-Centric Understanding
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现有MLLMs在以人为中心视觉理解上的不足,该研究推出HERM-Bench基准、HERM-100K多级标注数据集及HERM-7B模型,实验证明HERM-7B性能显著优于现有模型,凸显专用数据与基准的重要性。
2024-10-09 cs.CV