Structured Attention Composition for Temporal Action Localization
Northwestern Polytechnical University（西北工业大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
时间动作定位的目的是从未修剪的视频中定位动作实例。现有的工作已经设计了各种有效的模块来精确定位基于外观和运动特征的动作实例。然而，通过同等重要地对待这两种特征，以前的工作不能充分利用每个模态特征，使得学习的模型仍然是次优的。为了解决这个问题，我们做了早期的努力，从多模态特征学习的角度来研究时间动作定位，基于观察到不同的动作表现出特定的偏好外观或运动模态。具体来说，我们建立了一个新的结构化注意组合模块。与传统的注意不同，该模块不会独立地推断框架注意和模态注意。相反，通过铸造之间的关系，作为一个注意力分配过程的模态注意和帧注意，结构化的注意力合成模块学习编码的帧模态结构，并使用它来规范推断的帧注意和模态注意，分别在最佳传输理论。最终的框架-模态注意是由两个个体注意的合成得到的。所提出的结构化注意组合模块可以作为即插即用模块部署到现有的动作本地化框架中。在两个广泛使用的基准上进行的大量实验表明，所提出的结构化注意组合一致地改进了四种最先进的时间动作定位方法，并在THUMOS 14上建立了新的最先进的性能。代码可在https://github.com/VividLe/Structured-Attention-Composition上获得。
2022-05-27 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Learning a Pose Lexicon for Semantic Action Recognition
University of Wollongong（伍伦贡大学）
本文提出了一种新的方法来学习的姿势词典，包括语义的文本指令定义的姿势和视觉特征定义的相关视觉姿势。该方法同时采用两个输入流，语义姿势和视觉姿势候选人，并统计学习它们之间的映射来构建词典。有了学习的词典，动作识别可以被视为在给定视觉姿势候选者流的情况下找到语义姿势序列的最大翻译概率的问题。在MSRC-12手势和WorkoutSu-10运动数据集上进行的预训练和zero-shot动作识别实验验证了该方法的有效性。
2016-04-01 cs.CV
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
弱监督时间动作定位是一个学习动作定位模型的问题，只有视频级的动作标记可用。一般框架主要依赖于分类激活，它采用注意力模型来识别动作相关帧，然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题：动作片段附近的上下文帧往往被识别为动作帧本身，因为它们与特定的类密切相关。为了解决这个问题，在本文中，我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器（VAE）。通过观察到上下文在表示级别上表现出与动作的显著差异，概率模型，即，条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率，动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
CLTA: Contents and Length-based Temporal Attention for Few-shot Action Recognition
McMaster University（麦克马斯特大学）
Few-Shot动作识别由于训练样本难以获取而受到越来越多的关注。目前的工作表明，保留空间信息和比较视频描述符是至关重要的Few-Shot动作识别。然而，保存时间信息的重要性没有得到很好的讨论。在本文中，我们提出了一个基于内容和长度的时间注意力（CLTA）模型，学习定制的时间注意力的个人视频，以解决Few-Shot动作识别问题。CLTA利用高斯似然函数作为模板来生成时间注意力，并训练学习矩阵以基于帧内容和长度来研究平均值和标准差。我们表明，即使是一个没有微调的骨干与普通的softmax分类器仍然可以实现类似或更好的结果相比，国家的最先进的Few-Shot动作识别与精确捕获的时间注意。
2021-03-18 cs.CV
CHAM: action recognition using convolutional hierarchical attention model
University of Liverpool（利物浦大学）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）
最近，最初在语言处理中提出的软注意力机制已被应用于计算机视觉任务，如图像描述。本文通过将卷积LSTM与分层系统架构相结合来识别视频中的动作类别，从而对软注意力模型进行改进。我们称这个模型为卷积层次注意力模型（Convolutional Hierarchical Attention Model，CHAM）。该模型在LSTM单元内应用卷积运算和注意力图生成过程来识别动作。该模型的层次结构能够显式地对多粒度的动作类别进行推理。所提出的架构在三个公开可用的数据集上取得了改进的结果：UCF体育数据集、奥林匹克体育数据集和HMDB51数据集。
2017-05-19 cs.CV
Action Recognition in Untrimmed Videos with Composite Self-Attention Two-Stream Framework
Institute of Cognitive Intelligence, DeepBlue Academy of Sciences（深蓝科学院认知智能研究所）；DeepBlue Technology (Shanghai) Co., Ltd.（深蓝科技（上海）有限公司）
随着深度学习算法的快速发展，视频中的动作识别取得了许多重要的研究成果。零镜头动作识别（Zero-Shot Action Recognition，ZSAR）是动作识别中的一个重要问题，它在没有任何正面例子的情况下对新类别进行分类。动作识别中的另一个困难是未修剪的数据可能严重影响模型性能。我们提出了一个具有预训练模型的复合双流框架。我们提出的框架包括一个分类器分支和一个复合特征分支。两个分支均采用图网络模型，有效地提高了框架的特征提取和推理能力。在复合特征分支中，构建了三通道自注意模型，对视频中的每一帧进行加权，并对关键帧给予更多的关注。每个自注意力模型通道输出一组注意力权重以关注视频的特定方面，并且一组注意力权重对应于一维向量。三通道自注意力模型能够从多个角度对关键帧进行评价，输出的注意力权重向量集形成注意力矩阵，有效增强了对动作关联性强的关键帧的注意力。该模型可以实现zero-shot条件下的动作识别，对未经裁剪的视频数据具有良好的识别性能。相关数据集上的实验结果证实了该模型的有效性。
2019-09-02 cs.CV
Semantic Labeling of Human Action For Visually Impaired And Blind People Scene Interaction
RIIMA Laboratory, Computer Science Faculty USTHB University（USTHB大学计算机科学学院RIIMA实验室）
这项工作的目的是为视障者和盲人开发触觉装置，让他们了解周围人的行动并与他们互动。首先，基于现有的RGB-D序列中人体动作识别方法，利用Kinect提供的骨架信息，采用解纠缠的统一多尺度图卷积（MS-G3 D）模型对人体动作进行识别。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们应用MS-G3 D的骨架模态和CNN的深度模态之间的融合，以绕过所讨论的限制。第三，所识别的动作被语义地标记并且将被映射到可由触摸感觉感知的输出设备。
2022-01-12 cs.CV
Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention
Samsung AI Centre（三星人工智能中心）；University of Surrey（萨里大学）
由于无约束视频在时间和空间上具有丰富的冗余信息，因此注意视频建模对于无约束视频中的动作识别至关重要。然而，由于两个原因，在深度神经网络中引入注意力以进行动作识别是具有挑战性的。首先，一个有效的注意力模块需要学习什么（对象及其局部运动模式），在哪里（空间），以及何时（时间）关注。其次，视频注意力模块必须是有效的，因为现有的动作识别模型已经遭受高计算成本。为了解决这两个挑战，提出了一种新的What-Where-When（W3）视频注意模块。从现有的替代方案出发，我们的W3模块模型的所有三个方面的视频注意力联合。至关重要的是，它通过将高维视频特征数据分解为低维有意义的空间（“什么”的1D通道向量和“哪里”的2D空间张量），然后进行轻量级的时间注意力推理，效率非常高。大量的实验表明，我们的注意力模型带来了显着的改进，现有的动作识别模型，实现了新的国家的最先进的性能在一些基准。
2020-04-02 cs.CV
Frequency-Semantic Enhanced Variational Autoencoder for Zero-Shot Skeleton-based Action Recognition
University of North Carolina at Charlotte（夏洛特北卡罗来纳大学）；Northern Illinois University（北伊利诺伊大学）；Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
提出FS-VAE模型，通过频率分解增强骨架语义表示学习，包含频率增强模块、多级语义对齐和校准交叉对齐损失，有效提升零样本骨架动作识别性能。
2025-06-27 cs.AI cs.CV
Effect of Temporal Resolution on Zero-Shot Semantic Understanding of Rapid Human Actions
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；Interfaculty Initiative in Information Studies, Graduate School of Interdisciplinary Information Studies, The University of Tokyo（东京大学跨学科信息研究 graduate school）
本文研究高速视觉对人类动作零样本语义理解的影响，提出无需训练的管道结合预训练视频-语言模型与大语言模型进行动作比较，实验显示高帧率提升语义分离度，验证了高速感知对语义理解的重要性。
2026-11-11 cs.CV cs.RO
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester（曼彻斯特大学）
正确的语义表示是零样本学习成功的关键。在本文中，我们探讨了两种替代的语义表示，特别是zero-shot人类动作识别：人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取，为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动，从这样的边信息。基于我们的zero-shot视觉识别方法，我们对UCF 101和HMDB 51进行了实验，以评估两个提出的语义表示。结果表明，我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地，基于图像的语义表示产生有利的性能，即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
Including Semantic Information via Word Embeddings for Skeleton-based Action Recognition
Ilmenau University of Technology（伊门瑙技术大学）
本文提出利用词嵌入编码语义信息，以语义体积替换独热编码，增强基于骨架的动作识别在装配任务中的分类性能和泛化能力。
2025-06-23 cs.CV cs.LG cs.RO
Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN
Brawijaya University（布拉维贾亚大学）；Nagasaki University（长崎大学）；Hiroshima University（广岛大学）
3D卷积神经网络（3D CNN）捕获关于3D数据（诸如视频序列）的空间和时间信息。然而，由于卷积和池化机制，信息丢失似乎不可避免。为了改善3D CNN中的视觉解释和分类，我们提出了两种方法; i）使用训练的3DResNext网络聚合逐层全局到局部（全局-局部）离散梯度，以及ii）实现注意力门控网络以提高动作识别的准确性。所提出的方法旨在通过视觉归因、弱监督动作定位和动作识别来显示3D CNN中称为全局-局部注意力的每一层的有用性。首先，3DResNext被训练并应用于使用关于最大预测类的反向传播的动作分类。然后对每个层的梯度和激活进行上采样。之后，聚合被用来产生更细微的注意力，指出预测类的输入视频中最关键的部分。我们使用轮廓阈值的最终注意力的最终定位。我们通过3DCam使用细粒度的视觉解释来评估修剪视频中的空间和时间动作定位。实验结果表明，该方法产生信息丰富的视觉解释和歧视性的注意。此外，通过在每一层上的注意力门控动作识别产生比基线模型更好的分类结果。
2022-08-16 cs.AI cs.CV cs.NE
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Tencent AI LAB（腾讯AI实验室）；University of Sydney（悉尼大学）
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模，最近已被广泛用于语义分割。然而，单独计算空间和通道注意力有时会导致错误，特别是对于那些困难的情况。在本文中，我们提出了一种新的轴向注意力（CAA），将通道注意力和空间注意力无缝集成到一个单一的操作中，计算开销可以忽略不计。具体来说，我们将空间注意力的点积操作分解为两个部分，并在其间插入通道关系，允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化，这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集（包括Cityscapes，PASCAL Context和COCO-Stuff）上进行的比较实验表明，我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型（包括双重注意力）。
2021-09-12 cs.CV
Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation
Wuhan University（武汉大学）
在本文中，为了弥补这一不足，我们提出了一个线性注意力机制，这是近似于点积注意力与更少的内存和计算成本。有效的设计使得注意力机制和神经网络之间的结合更加灵活和通用。在语义分割上的实验证明了线性注意力机制的有效性。代码可在https://github.com/lironui/Linear-Attention-Mechanism上获得。
2020-08-20 cs.CV
SCSA: A Plug-and-Play Semantic Continuous-Sparse Attention for Arbitrary Semantic Style Transfer
Zhejiang University（浙江大学）
针对任意风格迁移在相同语义图像上表现不佳的问题，提出即插即用的语义连续-稀疏注意力机制SCSA，通过结合语义连续注意力和语义稀疏注意力，实现对齐语义区域整体风格并迁移生动纹理，生成高质量语义风格化图像。
2025-03-06 cs.CV
SGBANet: Semantic GAN and Balanced Attention Network for Arbitrarily Oriented Scene Text Recognition
East China Normal University（华东师范大学）；University of Malaya（马来亚大学）；iFLYTEK（科大讯飞）；Indian Statistical Institute（印度统计研究所）
场景文本识别是一项具有挑战性的任务，由于复杂的背景和多样的变化的文本实例。在本文中，我们提出了一种新的语义GAN和平衡注意力网络（SGBANet）识别场景图像中的文本。该方法首先利用语义GAN生成简单的语义特征，然后利用平衡注意模块识别场景文本。语义GAN的目标是匹配支持域和目标域之间的语义特征分布。与传统的图像到图像的翻译方法不同，语义GAN通过语义生成器模块（SGM）和语义鉴别器模块（SDM）在语义层面上进行生成和鉴别。对于目标图像（场景文本图像），语义生成器模块生成与支持图像（明文图像）共享相同特征分布的简单语义特征。语义判别模块用于区分支持域和目标域的语义特征。此外，还设计了一个平衡注意力模块来缓解注意力漂移的问题。平衡注意模块首先基于视觉一瞥向量和语义一瞥向量学习平衡参数，然后执行平衡操作以获得平衡的一瞥向量。在六个基准上进行了实验，包括常规数据集，即，IIIT5K、SVT、ICDAR 2013和不规则数据集，即，ICDAR2015、SVTP、CUTE80等算例验证了该方法的有效性。
2022-07-21 cs.CV
SemanticFace: Semantic Facial Action Estimation via Semantic Distillation in Interpretable Space
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Hunan University（湖南大学）；The University of Hong Kong（香港大学）
SemanticFace通过语义蒸馏在可解释空间中估计面部动作，提升系数精度和可解释性，实现跨身份泛化和抗域移性能。
2026-03-18 cs.CV
Semantic Line Detection Using Mirror Attention and Comparative Ranking and Matching
Korea University（高丽大学）
提出了一种新的语义线检测算法。我们开发了三个网络：镜像注意检测网络（D-Net）和比较排名和匹配网络（R-Net和M-Net）。D-Net通过利用丰富的上下文信息来提取语义线。为此，我们设计了镜像注意模块。然后，通过成对比较提取的语义线，我们迭代地选择最语义线，并删除冗余的重叠与所选择的一个。对于成对比较，我们在Siamese架构中开发了R-Net和M-Net。实验结果表明，该算法的性能明显优于传统的语义线检测器。此外，我们应用该算法检测两种重要的语义线成功：主导平行线和反射对称轴。我们的代码可在https://github.com/dongkwonjin/Semantic-Line-DRM上获得。
2022-03-29 cs.CV
Realtime Global Attention Network for Semantic Segmentation
School of Engineering, University of Kansas（堪萨斯大学工程学院）
针对语义分割这一具有挑战性的任务，提出了一种端到端的实时全局注意力神经网络（RGANet）。与自注意范式的编码策略不同，全局注意模块通过深度卷积和仿射变换对全局注意进行编码。将这些全局注意力模块集成到一个层次结构中，可以保持较高的推理性能。此外，提出了一种改进的评价指标，即MGRID，以减轻非凸，广泛分散的地面实况区域的负面影响。从国家的最先进的架构语义分割的广泛实验结果表明，机器人单眼视觉感知的建议方法的领先性能。
2021-12-24 cs.CV
Semantic Ray: Learning a Generalizable Semantic Field with Cross-Reprojection Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
在本文中，我们的目标是从多个场景中学习一个语义辐射场，这是准确的，有效的和可推广的。虽然大多数现有的NeRF针对神经场景渲染，图像合成和多视图重建的任务，但也有一些尝试，如Semantic-NeRF，探索使用NeRF结构学习高级语义理解。然而，Semantic-NeRF同时从具有多个头部的单个射线学习颜色和语义标签，其中单个射线无法提供丰富的语义信息。因此，Semantic NeRF依赖于位置编码，并且需要为每个场景训练一个特定的模型。为了解决这个问题，我们提出语义射线（S-Ray），充分利用语义信息沿射线方向从其多视图重投影。针对直接对多视图重投影光线进行密集注意会产生较大计算开销的问题，设计了一个交叉重投影注意模块，该模块具有连续的视图内径向注意和跨视图稀疏注意，将上下文信息沿重投影光线和跨多个视图进行分解，然后通过堆叠模块来收集密集连接。实验表明，我们的S-Ray能够从多个场景中学习，并且它具有很强的泛化能力，以适应未知场景。
2023-03-23 cs.CV
Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors
UPES Dehradun（德里敦大学）
本文提出SemGeo-AttentionNet，通过几何查询语义先验，有效建模人类在3D表面的视觉注意，实现了显著性检测与扫描路径生成的改进。
2026-02-06 cs.CV
Semantic Aware Attention Based Deep Object Co-segmentation
The University of Tokyo（东京大学）
对象共分割是从多幅图像中分割出相同对象的任务。在本文中，我们提出了基于注意力的对象共分割的对象共分割，利用一种新的注意力机制的瓶颈层的深层神经网络的语义相关的功能选择。此外，我们利用注意力学习器的优点，提出了一种线性时间复杂度的多输入图像分割算法。实验结果表明，我们的模型在多个数据集上实现了最先进的性能，并显着减少了计算时间。
2018-10-16 cs.CV
Look Beyond Saliency: Low-Attention Guided Dual Encoding for Video Semantic Search
Saudi Data And Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
本文提出低注意力引导的双编码方法，通过逆注意力嵌入提升视频语义搜索在拥挤场景中的召回率，无需额外训练。
2026-05-07 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
SSA-CNN: Semantic Self-Attention CNN for Pedestrian Detection
Nanyang Technological University（南洋理工大学）
行人检测在自动驾驶等许多应用中起着重要作用。我们提出了一种方法，探索语义分割的结果作为自我注意线索，显着提高行人检测性能。具体而言，多任务网络的设计，以共同学习语义分割和行人检测的图像数据集与弱框式注释。将语义分割特征图与相应的卷积特征图级联，以提供用于行人检测和行人分类的更多区分特征。通过联合学习分割和检测，我们提出的行人自我注意力机制可以有效地识别行人区域和抑制背景。此外，我们建议将来自多尺度层的语义注意信息纳入深度卷积神经网络中，以提高行人检测。实验结果表明，该方法在Caltech数据集上取得了最好的检测性能，MR为6.27%，在CityPersons数据集上取得了有竞争力的性能，同时保持了较高的计算效率。
2019-06-06 cs.CV
Attention to Refine through Multi-Scales for Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）
提出了一种新的语义分割的注意力模型，该模型聚合了多尺度和上下文特征以改进预测。具体地，骨架卷积神经网络框架接受多个不同尺度的输入，这意味着CNN可以得到不同尺度的表示。提出的注意力模型将分别处理来自不同尺度流的特征并将它们集成。然后，模型的位置注意分支学习对每个像素位置处的多尺度特征进行软加权。此外，我们添加了一个重新校准分支，与位置注意力出现的地方平行，以重新校准每个类的得分图。我们在PASCAL VOC 2012和ADE 20K数据集上取得了相当有竞争力的结果，超过了基线和相关工作。
2018-07-09 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia（巴伊亚联邦大学）；Universidade Federal do Maranhão（马拉尼昂联邦大学）
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息，以提高整体分割性能。与以前的作品，结合边界和分割功能，或那些使用边界信息来规范语义分割，我们提出了一种新的方法，体现到分割的边界信息。为此，我们的语义分割方法使用两个流，它们通过注意力门组合在一起，形成端到端的Y模型。据我们所知，我们的工作是第一次表明，边界检测可以提高语义分割时，通过语义融合门（注意力模型）融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下，将我们提出的模型与其他12个最先进的分割器进行比较后，我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU，在Mapillary Vistas上次之。
2021-08-05 cs.CV
Semantic Segmentation with Reverse Attention
全卷积神经网络的最新发展使语义分割的有效端到端学习成为可能。传统上，卷积分类器被教导学习标记语义对象的代表性语义特征。在这项工作中，我们提出了一种反向注意力网络（RAN）架构，该架构训练网络捕获相反的概念（即，不与目标类相关联的内容）。RAN是一个三分支网络，同时执行直接、反向和反向注意力学习过程。大量的实验表明，RAN在语义分割中的有效性。基于DeepLabv 2-LargeFOV构建，RAN在具有挑战性的PASCAL-Context数据集上获得了最先进的mIoU得分（48.1%）。PASCAL-VOC、Person-Part、NYUDv 2和ADE 20 K数据集的性能也有显著改善。
2017-07-20 cs.CV
Sparse Spatial Attention Network for Semantic Segmentation
The University of Manchester（曼彻斯特大学）
空间注意力机制通过将全局上下文信息聚合到每个查询位置来捕获长距离依赖性，这有利于语义分割。在本文中，我们提出了一个稀疏空间注意力网络（SSANet），以提高空间注意力机制的效率，而不牺牲性能。具体而言，提出了一种稀疏非本地（SNL）块采样每个查询元素的键和值元素的子集，以自适应地捕获长程关系，并生成稀疏亲和矩阵，以有效地聚合上下文信息。在Cityscapes、PASCAL Context和ADE 20K数据集上的实验结果表明，该方法的性能优于其他上下文聚合方法，达到了最先进的性能。
2021-09-04 cs.CV
Stacked Semantic-Guided Attention Model for Fine-Grained Zero-Shot Learning
Tianjin University（天津大学）；Fudan University（复旦大学）；Binghamton University（宾汉姆顿大学）
零样本学习（Zero-Shot Learning，简称ZRL）是通过调整全局图像特征向量与相应类别语义描述之间的语义关系来实现的。然而，使用全局特征来表示细粒度图像可能会导致次优的结果，因为它们忽略了局部区域的区别。此外，不同的区域包含不同的判别信息。重要区域对预测的贡献更大。为此，我们提出了一种新的堆叠语义引导的注意力（S2 GA）模型，以获得语义相关的功能，通过使用个别类的语义功能，逐步指导视觉功能，以产生一个注意力地图加权不同的局部区域的重要性。将集成的视觉特征和类语义特征馈送到多类分类架构中，所提出的框架可以进行端到端的训练。在CUB和NABird数据集上的实验结果表明，该方法在细粒度zero-shot分类和检索任务上都有较好的性能.
2018-05-21 cs.CV
Interlaced Sparse Self-Attention for Semantic Segmentation
Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在本文中，我们提出了一个所谓的交错稀疏自注意的方法，以提高效率的\emph{self-attention}机制语义分割。其主要思想是将稠密亲和矩阵分解为两个稀疏亲和矩阵的乘积。存在两个连续的注意力模块，每个注意力模块估计稀疏亲和矩阵。第一关注模块用于估计具有长空间间隔距离的位置的子集内的亲和力，并且第二关注模块用于估计具有短空间间隔距离的位置的子集内的亲和力。这两个注意力模块被设计成使得每个位置能够接收来自所有其他位置的信息。与原始的自我注意模块相比，我们的方法大大降低了计算和内存的复杂性，特别是在处理高分辨率特征图时。我们经验验证了我们的方法的有效性六个具有挑战性的语义分割基准。
2019-07-30 cs.CV
Attention-based Multi-modal Fusion Network for Semantic Scene Completion
Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
本文提出了一种名为基于注意力的多模态融合网络（AMFNet）的端到端3D卷积网络，用于从单视图RGB-D图像推断体积3D场景的占用和语义标签的语义场景完成（SSC）任务。与以往只使用从RGB-D图像中提取的语义特征的方法相比，所提出的AMFNet通过利用从RGB-D图像中推断2D语义分割的经验以及空间维度上的可靠深度线索来学习同时执行有效的3D场景完成和语义分割。它是通过采用一个多模态融合架构，从二维语义分割和三维语义完成网络授权的剩余注意力块。我们在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上验证了我们的方法，结果表明，我们的方法在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上分别实现了2.5%和2.6%的增益。
2020-04-16 cs.CV
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的神经网络模块，将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比，我们努力实现一个简单，快速和通用的模块，可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比，我们提出了一个快速的局部注意力层，在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络：ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%，而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
Attention Based Semantic Segmentation on UAV Dataset for Natural Disaster Damage Assessment
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
气候变化的有害影响包括世界各地发生的更强和更具破坏性的飓风。识别一个地区不同的受损结构，包括建筑物和道路，是至关重要的，因为它有助于救援队计划他们的努力，以尽量减少自然灾害造成的损失。语义分割有助于识别图像的不同部分。我们在高分辨率无人机数据集上实现了一种新的基于自注意的语义分割模型，并在测试集上获得了约88%的平均IoU分数。这一研究结果对在自然灾害损失评估中使用自我注意方案具有一定的启发意义，可以挽救生命，减少经济损失。
2021-06-01 cs.CV
DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds
Xiamen University（厦门大学）
建筑物立面的语义分割在城市建筑物重建、损伤评估等应用中具有重要意义。由于缺乏与细粒度建筑立面相关的3D点云数据集，我们构建了第一个用于语义分割的大规模建筑立面点云基准数据集。现有的语义分割方法不能充分挖掘点云的局部邻域信息。为了解决这个问题，我们提出了一个可学习的注意力模块，学习双本地注意力功能，在本文中称为DLA。DLA模块由两个块组成，包括自注意块和注意池块，它们都嵌入了增强的位置编码块。DLA模块可以很容易地嵌入到各种网络架构中进行点云分割，自然会产生一个新的3D语义分割网络与编码器-解码器架构，在这项工作中称为DLA-Net。在我们构建的建筑立面数据集上的大量实验结果表明，所提出的DLA-Net比最先进的语义分割方法具有更好的性能。
2021-06-01 cs.CV
DADA: Driver Attention Prediction in Driving Accident Scenarios
Cleveland State University（克利夫兰州立大学）
驾驶员注意力预测是类人驾驶系统中的一个重要研究课题。本文试图对驾驶事故情景下驾驶员注意力进行预测。然而，由于动态的交通场景，复杂和不平衡的事故类别，挑战接踵而至。在这项工作中，我们设计了一个语义上下文诱导的注意力融合网络（SCAFNet）。我们首先将RGB视频帧分割成具有不同语义区域的图像（即，语义图像），其中每个区域表示场景的一种语义类别（例如，道路、树木等），并在两条并行路径上同时学习RGB帧和语义图像的时空特征。然后，学习的功能融合的注意力融合网络，找到语义引起的场景变化的驾驶员注意力预测。贡献是三倍。1)利用语义图像，引入语义图像的语义上下文特征，并验证了语义图像的语义上下文特征对驾驶员注意力预测的显著促进作用，其中语义图像的语义上下文特征采用图卷积网络（GCN）建模; 2）将语义图像的语义上下文特征和RGB帧特征以注意策略进行融合，融合后的细节通过卷积LSTM模块逐帧传递，得到考虑驾驶场景历史场景变化的每帧视频的注意力图; 3）在DADA-2000数据集和其他两个具有挑战性的数据集上，用最先进的方法对所提出的方法的优越性进行了评估。DADA-2000可在www.example.com上获得。
2023-01-05 cs.CV
Pyramid Attention Network for Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；Megvii Inc. (Face++)（旷视科技（Face++））；Peking University（北京大学）
提出了一种金字塔注意力网络（PAN），以利用全局上下文信息在语义分割中的影响。与现有的大多数工作不同的是，我们结合注意力机制和空间金字塔提取精确的密集特征的像素标记，而不是复杂的扩张卷积和人工设计的解码器网络。具体来说，我们引入了一个特征金字塔注意力模块，用于在高级输出上执行空间金字塔注意力结构，并结合全局池化来学习更好的特征表示，以及每个解码器层上的全局注意力上采样模块，用于提供全局上下文作为低级特征的指导，以选择类别本地化细节。所提出的方法在PASCAL VOC 2012和Cityscapes基准测试中实现了最先进的性能，在PASCAL VOC 2012上的mIoU准确率达到了84.0%的新纪录，同时在没有COCO数据集的情况下进行训练。
2018-11-25 cs.CV
A Self-Training Framework Based on Multi-Scale Attention Fusion for Weakly Supervised Semantic Segmentation
Beijing University of Posts and Telecommunications（北京邮电大学）
针对弱监督语义分割难以获取完整语义区域的问题，提出基于多尺度注意力融合的自训练方法，通过去噪与再激活策略精炼注意力图并重训网络，在PASCAL VOC 2012上达到72.4% mIoU。
2023-05-10 cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
受视频中不同模态携带互补信息这一事实的启发，我们提出了多模态语义注意网络（MSAN），这是一种新的编码器-解码器框架，将多模态语义属性用于视频描述。在编码阶段，我们检测和生成多模态语义属性，制定它作为一个多标签分类问题。此外，我们增加了辅助分类损失，我们的模型，可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段，我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合，并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法：MSVD和MSR-VTT，在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Orientation-aware Vehicle Re-identification with Semantics-guided Part Attention Network
National Taiwan University（台湾大学）
车辆重新识别（re-ID）的重点是在不同的摄像头之间匹配同一车辆的图像。这从根本上是一个挑战，因为车辆之间的差异有时是微妙的。虽然有几项研究采用了空间注意力机制来帮助车辆重新识别，但它们通常需要昂贵的关键点标签，或者如果没有使用昂贵的标签进行训练，则会受到噪声注意力掩模的影响。在这项工作中，我们提出了一个专用的语义引导的部分注意力网络（SPAN），以鲁棒地预测部分注意力掩模的车辆在训练过程中只给出图像级别的语义标签的不同视图。在部分注意力掩模的帮助下，我们可以分别提取每个部分的区别特征。然后，我们介绍了共现部分注意距离度量（CPDM），其中更强调的是共现车辆部件时，评估两幅图像的特征距离。大量的实验验证了所提出的方法的有效性，并表明我们的框架优于国家的最先进的方法。
2020-10-12 cs.CV
Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对全局注意力易使对抗补丁扩散的问题，本文提出 RAM，通过最大注意力抑制和随机注意力丢弃优化注意力矩阵，增强语义分割模型对多种补丁攻击的鲁棒性。
2024-05-09 cs.CV
Cross Attention Network for Semantic Segmentation
The University of Manchester（曼彻斯特大学）
在本文中，我们解决了语义分割任务与深度网络，结合上下文特征和空间信息。交叉注意网络由两个分支和一个特征交叉注意（FCA）模块组成。具体地说，浅分支用于保存低级别的空间信息，深分支用于提取高级别的上下文特征。然后引入FCA模块将这两个分支结合起来。与现有的大多数注意力机制不同，FCA模块分别从两个分支获取空间注意力图和通道注意力图，然后将它们进行融合。上下文特征用于在融合特征图中提供全局上下文指导，并且空间特征用于细化定位。该网络在Cityscapes和CamVid数据集上的性能优于其他实时方法，速度更快，具有轻量级骨干，并通过深层骨干实现了最先进的性能。
2019-07-25 cs.CV
Semantic Attention Flow Fields for Monocular Dynamic Scene Decomposition
Brown University（布朗大学）
提出语义注意力流场，从单目视频重建融合语义、注意力与场景流的神经体，并通过特征金字塔和显著性感知聚类实现无监督动态场景分解。
2023-09-29 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University（浙江大学）
弱监督语义分割（WSSS）只使用图像级标签可以大大降低标注成本，因此吸引了相当大的研究兴趣。然而，其性能仍然不如完全监督的同行。为了缓解性能差距，我们提出了一个显着性引导的自我注意力网络（SGAN）来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息，但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作，我们将类不可知的显着性先验集成到自我注意力机制中，并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索，从而提高分割性能。此外，通过简单地用部分标记的地面实况替换额外的监督，SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明，我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
SEGA: Semantic Guided Attention on Visual Prototype for Few-Shot Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
由于缺乏数据导致对新类别的理解不全面，因此基于少量训练样本（尤其是仅一个）来教导机器识别新类别仍然具有挑战性。然而，人类可以快速学习新的类，即使在很少的样本，因为人类可以告诉什么判别功能应该集中在每个类别的基础上的视觉和语义先验知识。为了更好地利用这些先验知识，我们提出了SEmantic引导注意（SEGA）机制，其中语义知识用于指导视觉感知，以自上而下的方式，关于在区分类别时应该注意哪些视觉特征。因此，即使具有很少的样本，新类的嵌入也可以更具区分性。具体地说，训练特征提取器，在从基类传递视觉先验知识的帮助下，将每个新类的少量图像嵌入到视觉原型中。然后，我们学习一个网络，该网络将语义知识映射到特定于类别的注意力向量，这些注意力向量将用于执行特征选择以增强视觉原型。在miniImageNet，tieredImageNet，CIFAR-FS和CUB上的大量实验表明，我们的语义引导注意实现了预期的功能，并优于最先进的结果。
2021-11-08 cs.CV
Linguistically-aware Attention for Reducing the Semantic-Gap in Vision-Language Tasks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
注意力模型被广泛应用于视觉语言（V-L）任务中，以实现视觉-文本的关联。人类对视觉世界的强烈语言理解表现出这种相关性。然而，即使是在V-L任务中表现最好的注意力模型也缺乏这种高层次的语言理解，从而在模态之间产生了语义鸿沟。在本文中，我们提出了一种注意力机制-语言感知注意力（LAT）-利用从通用对象检测器获得的对象属性以及预训练的语言模型来减少这种语义差距。LAT在一个共同的语言丰富的空间中代表视觉和文本模态，从而为注意力过程提供语言意识。我们在三个V-L任务中应用并证明了LAT的有效性：计数VQA，VQA和图像描述。在Counting-VQA中，我们提出了一种新的计数特定的VQA模型来预测直观的计数，并在五个数据集上实现最先进的结果。在VQA和Captioning中，我们通过将LAT适应各种基线并不断提高其性能来展示LAT的通用性和有效性。
2020-08-18 cs.CV
TransforMatcher: Match-to-Match Attention for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
建立图像之间的对应关系仍然是一项具有挑战性的任务，特别是在由于不同视点或类内变化而导致的大的外观变化下。在这项工作中，我们引入了一个强大的语义图像匹配学习，称为transforMatcher，它建立在Transformer网络在视觉领域的成功。与现有的基于卷积或注意力的对应方案不同，TransforMatcher执行全局匹配注意力，以实现精确的匹配定位和动态细化。为了处理大量的匹配在密集的相关性地图，我们开发了一个轻量级的注意力架构，考虑全球匹配匹配的相互作用。我们还建议利用多通道相关图进行细化，将多级分数视为特征而不是单个分数，以充分利用更丰富的逐层语义。在实验中，TransforMatcher在SPair-71 k上设置了一个新的最新技术水平，同时在PF-PASCAL数据集上与现有的SOTA方法进行了比较。
2022-05-23 cs.CV
Learning 3D Semantics from Pose-Noisy 2D Images with Hierarchical Full Attention Network
University of Oxford（牛津大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Sun Yat-Sen University（中山大学）
我们提出了一个新的框架，学习三维点云语义从二维多视角图像观测包含姿态误差。一方面，直接从大量的、非结构化的和无序的3D点云中学习在计算和算法上比从紧凑组织的和上下文丰富的2D RGB图像中学习更困难。另一方面，LiDAR点云和RGB图像都是在标准的自动驾驶数据集中捕获的。这促使我们进行“任务转移”的范例，使3D语义分割的好处，从聚合2D语义线索，虽然姿态噪声包含在2D图像观察。在所有困难中，姿势噪声和错误的预测从二维语义分割方法是任务转移的主要挑战。为了减轻这些因素的影响，我们使用多视图图像感知每个3D点，并且对于每个单个图像，关联一个补丁观察。此外，同时预测相邻3D点块的语义标签，使我们能够在进一步提高性能之前利用点结构。设计了一个层次化的完全注意力网络（HiFANet），依次聚合图像块、帧袋和点间语义线索，并针对不同层次的语义线索设计了层次化的注意力机制。此外，每个前面的注意力块在馈送到下一个注意力块之前大大减少了特征大小，使我们的框架变得苗条。在Semantic-KITTI平台上的实验结果表明，该框架显著优于现有的基于三维点云的方法，所需的训练数据更少，并且对姿态噪声具有较好的容忍度。该代码可在https://github.com/yuhanghe01/HiFANet上获得。
2022-04-27 cs.CV
SEMBED: Semantic Embedding of Egocentric Action Videos
University of Bristol（布里斯托大学）
我们提出了SEMBED，一种用于在语义视觉图中嵌入以自我为中心的对象交互视频以估计其潜在语义标签的概率分布的方法。当对象的相互作用使用无界选择的动词进行注释时，我们拥抱这些标签的财富和模糊性，通过捕捉语义关系以及运动和外观特征的视觉相似性。我们展示了SEMBED如何解释1225个自由注释的以自我为中心的视频的具有挑战性的数据集，其性能优于SVM分类超过5%。
2016-07-29 cs.CV
