DualCoOp: Fast Adaptation to Multi-Label Recognition with Limited Annotations
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
在低标签区域中解决图像的多标签识别（MLR）是一项具有挑战性的任务，具有许多现实世界的应用。最近的工作学习文本和视觉空间之间的对齐，以补偿不足的图像标签，但由于可用的MLR注释数量有限，因此失去了准确性。在这项工作中，我们利用文本和视觉特征的强对齐，用数百万个辅助图像-文本对进行预训练，并提出双上下文优化（DualCoOp）作为部分标签MLR和zero-shot MLR的统一框架。DualCoOp编码积极和消极的上下文与类名作为语言输入（即提示）的一部分。由于DualCoOp只在预训练的视觉语言框架上引入了非常轻的可学习开销，因此它可以快速适应具有有限注释甚至不可见类的多标签识别任务。在两个具有挑战性的低标签设置的标准多标签识别基准上的实验证明了我们的方法比最先进的方法的优势。
2022-06-20 cs.CV
Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution
Microsoft Research（微软研究院）
众包已成为广泛采用的收集地面真相标签的方案。然而，这是一个众所周知的问题，这些标签可以是非常嘈杂的。在本文中，我们以面部表情识别为例，演示了如何从噪声标签中学习深度卷积神经网络（DCNN）。更具体地说，我们有10个标签来标记每个输入图像，并比较了四种不同的方法来利用多个标签：多数投票，多标签学习，概率标签绘制和交叉熵损失。我们表明，传统的多数表决方案不执行以及最后两种方法，充分利用标签分布。一个增强的FER+数据集，每个人脸图像都有多个标签，也将与研究界分享。
2016-09-24 cs.CV
SL3D: Self-supervised-Self-labeled 3D Recognition
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）
深度学习在许多3D视觉识别任务中取得了显着的成功，包括形状分类，目标检测和语义分割。然而，这些结果中的许多依赖于手动收集密集注释的真实世界3D数据，这是非常耗时且昂贵的，限制了3D识别任务的可扩展性。因此，我们研究了无监督的三维识别，并提出了一个自监督-自标记的三维识别（SL 3D）框架。SL 3D同时解决了两个耦合的目标，即，聚类和学习特征表示以生成用于无监督3D识别的伪标记数据。SL 3D是一个通用的框架，可以应用于解决不同的3D识别任务，包括分类，目标检测和语义分割。大量的实验证明了它的有效性。代码可在https://github.com/fcendra/sl3d上获得。
2022-12-16 cs.CV
Towards Accurate Scene Text Recognition with Semantic Reasoning Networks
Baidu Inc（百度公司）
场景文本图像包含两个层次的内容：视觉纹理和语义信息。虽然在过去的几年中，以前的场景文本识别方法已经取得了很大的进展，挖掘语义信息，以辅助文本识别的研究受到较少的关注，只有RNN的类似结构的探索隐式建模语义信息。然而，我们观察到基于RNN的方法存在一些明显的缺点，如依赖于时间的解码方式和语义上下文的单向串行传输，这极大地限制了语义信息的帮助和计算效率。为了克服这些局限性，我们提出了一种新的端到端的可训练框架命名为语义推理网络（SRN）的准确场景文本识别，其中引入了一个全局语义推理模块（GSRM），通过多路并行传输捕获全局语义上下文。在规则文本、不规则文本和非拉丁文长文本等7个公共基准测试上的最新结果验证了该方法的有效性和鲁棒性。此外，SRN的速度比基于RNN的方法具有显着优势，证明了其在实际使用中的价值。
2020-03-27 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo（东京大学）
场景文本识别（STR）任务有一个共同的做法：所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反，当我们必须在没有合成数据的情况下训练STR模型时，只在较少的真实标签上训练STR模型（标签较少的STR）是很重要的：对于难以合成生成的手写或艺术文本，以及对于英语以外的语言，我们并不总是有合成数据。然而，有一个隐含的常识，即在真实数据上训练STR模型几乎是不可能的，因为真实数据是不够的。我们认为，这种常识阻碍了STR的研究与较少的标签。在这项工作中，我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据，并表明，我们可以训练STR模型令人满意的只有真正的标记数据。随后，我们发现简单的数据增强，以充分利用真实数据。此外，我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此，我们得到了一个竞争模型的国家的最先进的方法。据我们所知，这是第一项研究，1）仅使用真实标签显示出足够的性能，2）将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得：https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Object and Text-guided Semantics for CNN-based Activity Recognition
U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton Inc.（博思艾伦汉密尔顿公司）
许多以前的方法已经证明了考虑语义相关对象对于执行基于视频的人类活动识别的重要性，但是没有一种方法能够获得大型文本语料库的能力来将对象和活动关联起来，以转移到学习统一的深度卷积神经网络中。我们提出了一种新的活动识别CNN，它在端到端的多任务学习方案中共同学习对象识别任务，以提高基线活动识别性能。我们进一步改进的多任务学习方法，利用文本引导的语义空间来选择最相关的对象相对于目标活动。据我们所知，我们是第一个研究这种方法的人。
2018-05-04 cs.CV
Label-Efficient Skeleton-based Recognition with Stable-Invertible Graph Convolutional Networks
Sorbonne University（索邦大学）；CNRS（国家科学研究中心）；LIP6（LIP6实验室）
本文提出了一种基于可逆图卷积网络的高效标签骨架动作识别方法，通过学习最信息量的子集以提升识别性能。
2025-11-21 cs.CV
Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition
Purdue University（普渡大学）
本文着眼于基于图像的文本识别的半监督学习（SSL）。最流行的SSL方法之一是伪标签（PL）。PL方法在使用标记数据和伪标记数据的组合重新训练模型之前将标签分配给未标记数据。然而，PL方法被噪声严重降级，并且由于包括从校准不良的模型生成的错误的高置信度伪标签，因此容易过度拟合到有噪声的标签，从而使得基于阈值的选择无效。此外，假设空间的组合复杂性和由于多个不正确的自回归步骤而导致的误差累积使得序列模型的伪标记具有挑战性。为此，我们提出了一个伪标签生成和基于不确定性的数据选择框架的半监督文本识别。我们首先使用波束搜索推理产生高度可能的假设分配伪标签的未标记的例子。然后，我们采用一个集成的模型，通过应用dropout采样，以获得与预测相关的不确定性的鲁棒估计，同时考虑字符级和单词级的预测分布，以选择高质量的伪标签。在几个基准手写和场景文本数据集上的大量实验表明，我们的方法优于基线方法和以前最先进的半监督文本识别方法。
2022-10-06 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition
Beijing Jiaotong University（北京交通大学）；University of Manitoba（曼尼托巴大学）
本文将多标签图像识别建模为实例-标签匹配选择问题，提出ML-SGM框架，通过实例空间图、标签语义图与分配图建模类别及实例-标签关系，在通用、部分标签和少样本场景中取得先进性能。
2023-04-21 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架，通过结构化语义提示提升零样本动作识别性能，尤其在细粒度和组合动作上表现优异，同时保持模型效率和泛化能力。
2026-03-09 cs.CV
Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务，其中分割任务然后被“蒸馏”（MobileNet编码器）。性能基准对三个国家的最先进的编码器上公开的数据集，强调头部姿势的变化。实验评估表明，Seg-Distilled-ID网络显示出显著的鲁棒性优势，测试准确率达到99.9%，而ResNet-101为81.6%，VGG-19为96.1%，InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明，提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
Learning a Pose Lexicon for Semantic Action Recognition
University of Wollongong（伍伦贡大学）
本文提出了一种新的方法来学习的姿势词典，包括语义的文本指令定义的姿势和视觉特征定义的相关视觉姿势。该方法同时采用两个输入流，语义姿势和视觉姿势候选人，并统计学习它们之间的映射来构建词典。有了学习的词典，动作识别可以被视为在给定视觉姿势候选者流的情况下找到语义姿势序列的最大翻译概率的问题。在MSRC-12手势和WorkoutSu-10运动数据集上进行的预训练和zero-shot动作识别实验验证了该方法的有效性。
2016-04-01 cs.CV
Learning Semantics for Visual Place Recognition through Multi-Scale Attention
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家大学信息学联盟）
在本文中，我们解决的任务，视觉识别（VPR），其目标是检索正确的GPS坐标的一个给定的查询图像对一个巨大的地理标记的画廊。虽然最近的工作已经表明，结合语义和外观信息的建筑描述符是有益的，但当前最先进的方法选择自上而下定义的重要语义内容。在这里，我们提出了第一个VPR算法，它从数据的视觉外观和语义内容中学习鲁棒的全局嵌入，通过多尺度注意力模块识别位置来动态引导分割过程。在各种场景下的实验验证了这种新方法，并证明了其对最先进的方法的性能。最后，我们提出了第一个适合于地点识别和分割任务的合成世界数据集。
2022-01-25 cs.CV
Semantic Embedding Space for Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
动作识别的类别数量正在迅速增长。因此，收集足够的训练数据来学习每个类别的传统模型变得越来越困难。这个问题可以通过日益流行的“零样本学习”（ZRL）范例来改善。在这个框架中的映射之间的视觉特征和人类可解释的语义描述的每个类别，允许类别被识别的情况下，任何训练数据。现有的语义表征语言研究主要集中在图像数据和基于属性的语义表征上。在本文中，我们解决zero-shot识别在当代视频动作识别任务，使用语义词向量空间作为公共空间嵌入视频和类别标签。这更具挑战性，因为包含复杂动作的视频的语义空间和时空特征之间的映射更复杂，更难学习。我们证明了一个简单的自我训练和数据增强策略可以显着提高这种映射的功效。在包括HMDB 51和UCF 101在内的人体动作数据集上的实验表明，我们的方法达到了最先进的零拍（zero-shot）动作识别性能。
2015-02-05 cs.CV
SCOUT: Semantic Concept Discovery for Open-Vocabulary Editing of face Recognition Templates
University of Ljubljana（卢布尔雅那大学）；Faculty of Electrical Engineering（电气工程学院）；Faculty of Computer and Information Science（计算机与信息科学学院）
SCOUT是一个端到端框架，可通过机械可解释性发现人脸识别模板中的语义概念，实现可控的身份感知模板编辑，且对身份匹配影响极小。
2026-08-18 cs.CV
Boosting Semi-Supervised Face Recognition with Noise Robustness
Australian National University（澳大利亚国立大学）；JD AI Research（京东人工智能研究院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
尽管深度人脸识别从大规模训练数据中受益匪浅，但目前的瓶颈是标签成本。一个可行的解决方案是半监督学习，利用一小部分的标记数据和大量的未标记数据。然而，主要的挑战是通过自动标签累积的标签错误，从而影响了训练。提出了一种有效的半监督人脸识别方法，该方法对自动标注所产生的标签噪声具有鲁棒性。具体来说，我们引入了一个多代理方法，名为GroupNet（GN），赋予我们的解决方案的能力，以识别错误标记的样本，并保留干净的样本。我们表明，GN单独实现了领先的准确性，在传统的监督人脸识别，即使在嘈杂的标签超过50%的训练数据。此外，我们开发了一种半监督人脸识别解决方案，命名为噪声鲁棒学习标记（NRoLL），它是基于GN赋予的鲁棒训练能力。它从少量标记数据开始，然后对大量未标记数据进行高置信度标记，以促进进一步的训练。NRoLL标记的数据越多，数据集中标签的置信度就越高。为了评估我们的方法的竞争力，我们在一个粗略的条件下运行NRoLL，即只有五分之一的标记MSCeleb可用，其余的用作未标记的数据。在广泛的基准测试中，我们的方法与最先进的方法相比毫不逊色。
2021-05-10 cs.CV
Enhance Sketch Recognition's Explainability via Semantic Component-Level Parsing
Xidian University（西安电子科技大学）
该研究针对手绘草图识别的可解释性问题，提出嵌入语义组件级记忆模块的结构化识别网络，可自主学习类别语义组件记忆键，适配有无笔画语义标签的场景，经SPG、SketchIME数据集验证兼具灵活性与可解释性。
2023-12-13 cs.CV
CGiS-Net: Aggregating Colour, Geometry and Implicit Semantic Features for Indoor Place Recognition
University of Bristol（布里斯托大学）；Zhejiang University（浙江大学）
我们描述了一种新的方法，从RGB点云室内地点识别聚合低级别的颜色和几何特征与高级别的隐式语义特征的基础上。它使用两阶段深度学习框架，其中第一阶段针对语义分割的辅助任务进行训练，第二阶段使用第一阶段中的层的特征来生成用于位置识别的区分描述符。辅助任务鼓励特征在语义上有意义，因此将RGB点云数据中的几何形状和颜色与隐含的语义信息聚合在一起。我们使用来自ScanNet数据集的室内位置识别数据集进行训练和评估，测试集包括从100个不同房间生成的3，608个点云。与传统的基于特征的方法和四种最先进的深度学习方法的比较表明，我们的方法明显优于所有五种方法，例如，前三名的平均召回率为75%，而最接近的竞争对手方法为41%。我们的代码可在：https://github.com/YuhangMing/Semantic-Indoor-Place-Recognition
2022-07-11 cs.CV
Webly Supervised Multi-Label Recognition: Evaluation Benchmark and Dual-Branch Multi-Label Contrastive Learning
Guangdong University of Technology（广东工业大学）；Sun Yat-Sen University（中山大学）
针对网络监督多标签识别缺乏统一基准等问题，构建了WS-MLR基准并重新实现基线，提出双分支多标签对比学习框架DBMLCL，经实验验证其在该基准上相比基线有更优性能。
2026-07-24 cs.CV
Multi-label Co-regularization for Semi-supervised Facial Action Unit Recognition
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
面部动作单元识别是情感分析的基础，在心理状态分析中有着广泛的应用。现有的AU识别工作通常需要带有AU标签的大型人脸数据集;然而，手动AU注释需要专业知识，并且可能非常耗时。在这项工作中，我们提出了一种半监督的方法，利用大量的网络人脸图像没有AU标签和一个相对较小的人脸数据集与AU注释的启发，共同训练方法的AU识别。与传统的需要提供多视图特征和模型重新训练的协同训练方法不同，我们提出了一种新的协同训练方法，即多标签协同正则化，用于半监督人脸AU识别。利用两个深度神经网络分别为已标记和未标记人脸图像生成多视图特征，并设计了一个多视图损失，以强制两个特征生成器得到条件独立的表示。为了约束两个视图的预测一致性，我们进一步提出了一种多标签共正则化损失，通过最小化两个视图的预测AU概率分布的距离。此外，通过图卷积网络（GCN）嵌入个体AU之间关系的先验知识，以利用来自大的未标记数据集的有用信息。实验结果表明，该方法能够有效地利用大规模的无AU标签人脸图像数据集，提高AU识别的准确率，优于现有的半监督AU识别方法.
2020-09-23 cs.CV
Incomplete Multi-Label Image Recognition by Co-learning Semantic-Aware Features and Label Recovery
School of Mathematics and Information Science（数学与信息科学学院）；Nanchang Hangkong University（南昌航空大学）
本文提出CSL框架，通过协同学习语义感知特征与标签恢复，提升不完整多标签图像识别性能。
2026-03-02 cs.CV
BB-GCN: A Bi-modal Bridged Graph Convolutional Network for Multi-label Chest X-Ray Recognition
Shandong University of Traditional Chinese Medicine（山东中医药大学）；Qingdao Academy of Chinese Medical Sciences（青岛中医药科学院）
多标签胸部X射线（CXR）识别涉及同时诊断和识别不同病理的多个标签。由于病理标签具有关于它们彼此关系的丰富信息，因此对病理标签之间的共现依赖性进行建模对于提高识别性能至关重要。然而，以前的方法依赖于状态变量编码和面向注意力机制来建模局部标签信息，并且缺乏对标签之间的全局共现关系的学习。针对这些方法将图像特征和标签嵌入粗略地结合在一起，忽略了跨模态向量融合中的对齐和紧致性问题，提出了一种双模态桥接图卷积网络（BB-GCN）模型。该模型主要由主干模块、病理标签共现关系嵌入模块和Transformer桥图模块组成。具体地，主干模块获取图像视觉特征表示。LCE模块利用图对多个标签之间的全局共现关系进行建模，并采用图卷积网络进行学习推理。TBG模块通过GroupSum方法将交叉模态向量更复杂、更有效地连接起来。我们在两个大规模CXR数据集（ChestX-Ray 14和CheXpert）上评估了所提出的BB-GCN的有效性。我们的模型达到了最先进的性能：14种病理的平均AUC得分分别为0.835和0.813。所提出的LCE和TBG模块可以联合有效地提高BB-GCN的识别性能。我们的模型在多标签胸部X射线识别中也取得了令人满意的结果，并具有很强的泛化能力。
2023-02-22 cs.CV
Count, Crop and Recognise: Fine-Grained Recognition in the Wild
University of Oxford（牛津大学）
本文的目标是标记存在于视频的每一帧中的所有动物个体。与以前的方法主要集中在标记面部轨迹不同，我们的目标是标记个人，即使他们的面部不可见。我们做了以下贡献：（i）我们介绍了一个“计数，裁剪和识别”（CCR）多级识别过程的帧级标签。计数和识别阶段涉及专门的CNN的任务，我们表明，这种简单的分期提供了一个实质性的提高性能;（ii）我们比较召回使用基于帧的标签，以面部和身体跟踪为基础的标签，并证明了基于帧的优势与CCR的指定目标;（iii）我们引入了一个新的数据集，黑猩猩识别在野外;以及（iv）我们应用高粒度可视化技术来进一步理解用于识别黑猩猩个体的学习到的CNN特征。
2019-10-09 cs.CV
Improving the Multi-label Atomic Activity Recognition by Robust Visual Feature and Advanced Attention @ ROAD++ Atomic Activity Recognition 2024
Intelligent Perception and Image Understanding Lab（智能感知与图像理解实验室）
本文针对 Road++ Track3 多标签原子活动识别任务，通过优化数据处理、引入多种视觉骨干网络与 action-slot 模型并进行加权融合，将测试集 mAP 提升至 58%，较基线提高 4%。
2024-10-21 cs.CV
Few-Shot Object Recognition from Machine-Labeled Web Images
University of Technology Sydney（悉尼科技大学）
随着卷积神经网络（ConvNets）在对象识别方面的巨大进步，我们现在可以通过现成的ConvNets的预测轻松获得足够可靠的机器标记注释。在这项工作中，我们提出了一个基于抽象记忆的框架少样本学习，建立在机器标记的图像注释。我们的方法采用一些大规模的机器注释数据集（例如，OpenImages）作为外部存储体。在外部存储体中，信息以键值的形式存储在存储槽中，图像特征作为键，标签嵌入作为值。当被Few-Shot示例查询时，我们的模型从外部存储体中选择视觉上相似的数据，并将从相关外部数据中获得的有用信息写入另一个存储体，即，抽象记忆利用长短期记忆（LSTM）控制器和注意力机制来保证写入抽象存储器的数据与查询示例相关。抽象存储器集中了来自外部存储体的信息，从而使得Few-Shot识别有效。在实验中，我们首先确认我们的模型可以学习对ImageNet数据集中干净的人类标记数据进行Few-Shot对象识别。然后，我们证明，与我们的模型，机器标记的图像注释是非常有效的和丰富的资源来执行新的类别的对象识别。实验结果表明，我们提出的模型与机器标记的注释实现了很好的性能，只有1%的差距之间的一个与人类标记的注释。
2016-12-19 cs.CV
Improving Classification by Improving Labelling: Introducing Probabilistic Multi-Label Object Interaction Recognition
University of Bristol（布里斯托大学）
这项工作偏离了对象交互的易于定义的类边界。对于对象交互识别的任务，通常使用以自我为中心的观点来捕获，我们表明动词中的语义歧义和识别子交互以及并发交互导致合法的类重叠（图1）。因此，我们的目标是模拟观测和交互类之间的映射，以及类重叠，对一个概率多标签分类器，模仿人类注释。给定包含对象交互的视频片段，我们对可能的动词列表中的动词用于注释该交互的概率进行建模。概率是从众包注释中学习的，并在两个公共数据集上进行测试，包括1405个视频序列，我们为90个动词提供注释。我们在两个数据集上分别比传统的单标签分类高出11%和6%，并表明从注释概率中学习的性能优于多数投票，并能够发现共现标签。
2017-04-21 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Semantic Image Networks for Human Action Recognition
Hankuk University of Foreign Studies（韩国外国语大学）
在本文中，我们提出使用语义图像，这是一种改进的视频分析表示方法，主要与Inception网络相结合。语义图像是通过应用局部稀疏分割使用全局聚类（LSSGC）之前的近似秩池，总结了在单个或多个图像的运动特性。它通过将来自窗口的静态背景叠加到后续分割帧上来合并背景信息。我们的想法是通过关注对动作识别重要的区域并使用帧排序方法对时间方差进行编码来提高动作-运动动态性。我们还提出了Inception-ResNetv 2和长短期记忆网络（LSTM）的顺序组合，以利用时间方差来提高识别性能。对动作识别研究中广泛使用的UCF 101和HMDB 51数据集进行了广泛的分析。我们证明了（i）语义图像比其原始变体生成更好的激活和更快的收敛，（ii）在近似秩池之前使用分割会产生更好的识别性能，（iii）LSTM的使用利用近似秩池的时间方差信息来建模动作行为比基础网络更好，（iv）所提出的表示可以是自适应的，因为它们可以与诸如时间段网络的现有方法一起使用以提高识别性能，以及（v）我们提出的包括语义图像和语义光流的四流网络体系结构实现了最先进的性能，对UCF 101和HMDB 51的识别准确率分别为95.9%和73.5%。
2019-01-21 cs.CV
Adapting Vision-Language Models from Iconic to Inclusive for Multi-Label Recognition Without Labels
State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机学院与青岛研究院）
提出无监督框架，通过“切割”和“缝合”两阶段适应VLMs，实现无标签的多标签图像识别，在四个数据集上超越现有无监督方法。
2026-06-11 cs.CV
Semantic Bilinear Pooling for Fine-Grained Recognition
University of Science and Technology Beijing（北京科技大学）
当然，细粒度识别，例如，车辆识别或鸟类分类具有特定的层次标签，其中细类别总是比粗类别更难分类。然而，大多数最近的基于深度学习的方法忽略了细粒度对象的语义结构，并且没有利用传统的细粒度识别技术（例如，从粗到细的分类）。在本文中，我们提出了一个新的框架与两个分支网络（粗分支和细分支），即，语义双线性池，用于使用分层标签树进行细粒度识别。该框架可以自适应地从层次结构中学习语义信息。具体而言，我们设计了一个广义交叉熵损失的训练所提出的框架，充分利用语义先验，通过考虑相邻水平之间的相关性，扩大不同的粗类样本之间的距离。此外，我们的方法在测试时只利用精细分支，因此不会增加测试时间的开销。实验结果表明，我们提出的方法在四个公共数据集上达到了最先进的性能。
2021-11-25 cs.CV
Multi-Label Classification with Label Graph Superimposing
Peking University（北京大学）；Baidu Inc.（百度公司）
图像或视频总是包含多个对象或动作。深度学习技术的快速发展使得多标签识别取得了良好的性能。最近，图卷积网络（GCN）被用来提高多标签识别的性能。然而，标签相关性建模的最佳方式是什么以及如何通过标签系统感知来改进特征学习仍然不清楚。在本文中，我们提出了一个标签图叠加框架，以改善传统的GCN+CNN框架开发的多标签识别在以下两个方面。首先，将基于统计共现信息构建的标签图叠加到基于标签先验知识构建的标签图中，对标签相关性进行建模，然后对最终叠加图进行多层图卷积进行标签嵌入抽象。其次，我们建议利用整个标签系统的嵌入来实现更好的表示学习。具体地说，在GCN和CNN之间的浅、中、深层添加横向连接，以将标签系统的信息注入到骨干CNN中，从而在特征学习过程中实现标签感知。在MS-COCO和Charades数据集上进行了大量的实验，结果表明，我们提出的解决方案可以大大提高识别性能，并实现新的最先进的识别性能。
2019-11-21 cs.CV
BoundaryFace: A mining framework with noise label self-correction for Face Recognition
Southwest Jiaotong University（西南交通大学）
近年来，由于损失函数的进步和训练集规模的爆炸式增长，人脸识别取得了巨大的进展。一个适当的设计损失被视为关键，以提取判别特征进行分类。已经提出了几种基于边缘的损失作为人脸识别中softmax损失的替代方案。然而，还有两个问题需要考虑：1）他们忽视了硬样本挖掘对判别学习的重要性。2)标签噪声普遍存在于大规模数据集中，严重影响模型的性能。在本文中，从决策边界的角度出发，我们提出了一个新的挖掘框架，侧重于一个样本的地面真值类中心和最近的负类中心之间的关系。具体而言，提出了一种闭集噪声标签自校正模块，使该框架能够很好地处理包含大量标签噪声的数据集。所提出的方法在各种人脸识别基准测试中始终优于SOTA方法。培训代码已在https://github.com/SWJTU-3DVision/BoundaryFace上发布。
2022-10-10 cs.CV
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）
我们提出了一个新的框架，称为语义保持对抗嵌入网络（SP-AEN）的zero-shot视觉识别（SPNL），其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族，其中一些语义将在训练过程中被丢弃，如果他们是非歧视性的训练类，但可能成为识别测试类的关键。具体而言，SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失，该嵌入器将语义空间分解为两个子空间，用于两个可以说是相互冲突的目标：分类和重建。通过对两个子空间的对抗学习，SP-AEN将重构子空间的语义转换到判别子空间，实现了对未知类的改进zero-shot识别。与现有的工作相比，SP-AEN不仅可以提高分类，而且可以生成照片般逼真的图像，证明了语义保持的有效性。在四个流行的基准上：CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
DBLFace: Domain-Based Labels for NIR-VIS Heterogeneous Face Recognition
Computational Biomedicine Lab（计算生物医学实验室）；University of Houston（休斯顿大学）
基于深度学习的领域不变特征学习方法在近红外和可见光（NIR-VIS）异构人脸识别中不断发展。然而，由于类内变化较大以及缺乏用于训练的近红外图像，这些方法容易出现过拟合。在本文中，我们介绍了基于域的标签脸（DBLFace），学习方法的基础上的假设，一个主题是不是由一个单一的标签，而是由一组标签。每个标签表示特定域的图像。特别地，每个受试者的两个标签的集合（一个用于NIR图像，一个用于VIS图像）用于训练NIR-VIS面部识别模型。将图像分类到不同的域减少了类内变异，并减轻了训练中数据不平衡的负面影响。为了训练具有标签集的网络，我们引入了基于域的角度裕度损失和最大角度损失以保持类间差异并加强集合中标签的紧密关系。定量实验证实，DBLFace在EDGE 20数据集上将rank-1识别率显著提高了6.7%，并在CASIA NIR-VIS 2.0数据集上实现了最先进的性能。
2020-10-08 cs.CV
Semantic Graph Representation Learning for Handwritten Mathematical Expression Recognition
Tomorrow Advancing Life（好未来）；Huazhong University of Science and Technology（华中科技大学）
针对手写数学表达式识别中现有方法难捕捉符号交互、易混淆相似符号的问题，提出基于语义图的语义交互学习方法，通过语义感知模块投影特征并联合优化，在两个基准数据集上取得优于现有方法的识别性能。
2023-08-21 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Semantic-Aware Scene Recognition
Universidad Autónoma de Madrid（马德里自治大学）
场景识别是当前计算机视觉中最具挑战性的研究领域之一。这可能是由于类之间的模糊性：几个场景类的图像可能共享相似的对象，这导致它们之间的混淆。当特定场景类的图像明显不同时，该问题加剧。卷积神经网络（CNN）已经显著提高了场景识别的性能，尽管它仍然远远低于其他识别任务（例如，对象或图像识别）。在本文中，我们描述了一种新的方法，场景识别的基础上，端到端的多模态CNN，结合图像和上下文信息的注意力模块。上下文信息，在语义分割的形式，用于门的特征提取的RGB图像，通过利用在语义表示编码的信息：场景对象和东西的集合，以及它们的相对位置。该门控过程通过将CNN的感受野重新聚焦到指示性场景内容来加强对指示性场景内容的学习并增强场景消歧。在四个公开数据集上的实验结果表明，该方法在显著减少网络参数数量的同时，性能优于其他所有最先进的方法。本文中使用的所有代码和数据都可以在https://github.com/vpulab/Semantic-Aware-Scene-Recognition上获得
2020-01-22 cs.CV
Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；SenseTime Group Limited（商汤集团有限公司）
识别图像的多个标签是计算机视觉中的一项基本但具有挑战性的任务，通过使用深度卷积神经网络定位语义感知的图像区域并预测其标签，已经取得了显着进展。然而，在这些现有的多标签图像识别流水线中，假设区域（区域提议）定位的步骤通常需要冗余的计算成本，例如，产生了数百个无意义的建议与非歧视性的信息和提取其特征，和局部区域之间的空间上下文依赖建模往往被忽略或过于简化。为了解决这些问题，本文提出了一种循环注意强化学习框架，迭代地发现一系列与不同语义对象相关的注意和信息区域，并进一步预测以这些区域为条件的标签得分。此外，我们的方法显式地对这些注意区域之间的长期依赖关系进行建模，这有助于捕获语义标签同现，从而促进多标签识别。在两个大规模基准上进行了广泛的实验和比较（即，PASCAL VOC和MS-COCO）表明，我们的模型在性能和效率方面都优于现有的最先进的方法，并且可以显式地识别特定对象区域的图像级语义标签。
2017-12-20 cs.CV
Improving Multi-label Learning with Missing Labels by Structured Semantic Correlations
IHPC, A*STAR（高性能计算研究所，新加坡科技研究局）；School of Computer Science and Engineering, NTU（南洋理工大学计算机科学与工程学院）
多标记学习近年来在计算机视觉领域引起了广泛的关注，在多目标识别、图像自动标注等视觉任务中得到了广泛的应用。将多个标签与复杂图像相关联是非常困难的，这不仅是由于描述图像的复杂性，而且还因为观察到的标签的不完整性。现有的作品在这个问题上要么忽略了标签和实例的相关性，或只是假设这些相关性是线性和非结构化的。考虑到图像之间的语义相关性实际上是结构化的，本文提出将结构化的语义相关性结合起来，以解决多标签学习中的标签缺失问题。具体来说，我们将图像投影到具有有效语义描述符的语义空间。然后在这些图像上构建语义图以捕获它们之间的结构化关联。我们利用语义图拉普拉斯算子作为多标签学习公式中的平滑项，将结构化的语义相关性结合起来。实验结果表明，所提出的语义描述符的有效性和有用的结构化的语义相关性。我们在四个基准数据集上取得了比最先进的多标签学习方法更好的结果。
2016-08-04 cs.CV
Decoupling Visual-Semantic Feature Learning for Robust Scene Text Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
语义信息在场景文本识别中被证明是有效的。大多数现有的方法倾向于在基于注意力的解码器中耦合视觉和语义信息。因此，语义特征的学习容易对训练集的有限词汇产生偏差，这就是词汇依赖。在本文中，我们提出了一种新的视觉语义解耦网络（VSDN）来解决这个问题。我们的VSDN包含一个视觉解码器（VD）和一个语义解码器（SD），分别学习更纯粹的视觉和语义特征表示。此外，语义编码器（SE）的设计，以匹配SD，这可以预先训练在一起，通过一个简单的单词校正任务，额外的廉价的大词汇。从而使语义特征更加公正、准确，指导视觉特征对齐，丰富了最终的字符表示。实验表明，我们的方法实现了最先进的或有竞争力的结果在标准的基准测试，并优于流行的基线的情况下，训练集有一个小的词汇量的大幅度。
2021-11-24 cs.CV
Learning Using Privileged Information for Zero-Shot Action Recognition
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）
Zero-Shot动作识别（ZSAR）旨在识别在训练过程中从未见过的视频动作。大多数现有的方法假设一个共享的语义空间之间看到的和看不见的动作，并打算直接学习从视觉空间映射到语义空间。视觉空间和语义空间之间的语义鸿沟对这种方法提出了挑战。本文提出了一种新的方法，使用对象的语义作为特权信息，以缩小语义差距，因此，有效地帮助学习。特别是，一个简单的幻觉网络提出了隐式提取对象语义在测试过程中，而不显式提取对象和交叉注意模块的开发，以增强视觉特征的对象语义。在Olympic Sports、HMDB51和UCF101数据集上的实验表明，该方法的性能明显优于现有方法。
2022-06-22 cs.CV
TAN: Temporal Aggregation Network for Dense Multi-label Action Recognition
Institution for Advanced Computer Studies（高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了时间聚合网络（TAN），它将3D卷积分解为空间和时间聚合块。通过重复堆叠空间和时间卷积，TAN形成了用于捕获视频中的时空信息的深度分层表示。由于我们没有在每一层中应用3D卷积，而是在网络中的每个空间下采样层之后仅应用一次时间聚合块，因此我们显着降低了模型复杂度。在网络的不同分辨率下使用扩张卷积有助于有效地聚合多尺度时空信息。实验表明，我们的模型非常适合密集的多标签动作识别，这是一个具有挑战性的子主题的动作识别，需要预测多个动作标签在每帧。我们在Charades和Multi-THUMOS数据集上的表现分别优于最先进的方法5%和3%。
2018-12-14 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University（武汉大学）
针对多属性联合识别导致准确率下降的问题，提出AAPM，通过TCM引入标签文本约束并利用AAM缓解训练偏差，同时构建Multi-Kinetics数据集，在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
A Dual-hierarchy Semantic Graph for Robust Object Recognition
University of Maryland（马里兰大学）
我们提出了一个基于语义图表示的对象识别系统，该系统可以从图像示例中学习。该图基于对象的内在属性，如结构和几何形状，因此它比当前的机器学习方法更鲁棒，这些方法可以通过改变几个像素来欺骗。目前的方法已经被证明是强大的，但脆弱的，因为他们忽略了对象的结构和语义。我们将语义定义为一种抽象形式，根据对象的内在属性，而不是根据人类的感知。因此，它可以自动学习。图有两个不同的层次结构：抽象和部分，这也使得它对对象的表示更加准确和通用。以前的语义网络只有一个无定形的层次结构，很难建立和遍历。我们的系统执行的学习和识别的算法，同时遍历两个层次结构，结合自上而下和自下而上的策略的优点。这降低了维度，并消除了对大数据训练的蛮力的需要。
2020-04-30 cs.CV
Action Selection Learning for Multi-label Multi-view Action Recognition
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
本文提出MultiASL方法，通过多视角时空Transformer和基于弱标签的动作选择学习，在帧级别筛选关键信息以增强多视角融合，并在MM-Office数据集上验证了其在多标签多视角动作识别中的优越性能。
2024-10-18 cs.CV
Enhancing Indic Handwritten Text Recognition Using Global Semantic Information
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
手写文本识别（HTR）比印刷文本更有趣和更具挑战性，因为作者的手写风格，内容和时间的不均匀变化。HTR对于印度语言来说变得更具挑战性，因为（i）多个字符组合形成连接词，增加了相应语言的字符数量，以及（ii）每个印度脚本中有近100个独特的基本Unicode字符。最近，许多识别方法的基础上的编码器-解码器框架已被提出来处理这样的问题。他们仍然面临着许多挑战，如图像模糊和不完整的字符，由于不同的书写风格和墨水密度。我们认为，大多数编码器-解码器的方法是基于本地的视觉特征，没有明确的全局语义信息。在这项工作中，我们使用全局语义信息提高了印度语手写文本识别器的性能。我们使用一个语义模块的编码器-解码器框架提取全局语义信息识别的印度手写文本。语义信息用于编码器中的监督和解码器中的初始化。从预训练的语言模型的词嵌入预测语义信息。大量的实验表明，所提出的框架实现了国家的最先进的结果对手写文本的10种印度语言。
2022-12-15 cs.CV
Learning Category Correlations for Multi-label Image Recognition with Graph Networks
Southwest Jiaotong University（西南交通大学）；Chinese Academy of Sciences（中国科学院）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
多标签图像识别是预测图像中的一组对象标签的任务。由于对象在物理世界中共同出现，因此需要对标签依赖性进行建模。以前的现有方法诉诸于经常性的网络或预定义的标签相关图，用于此目的。在本文中，而不是使用一个预定义的图，这是不灵活的，可能是次优的多标签分类，我们提出了A-GCN，它利用流行的图卷积网络与自适应标签相关图模型的标签依赖。具体来说，我们引入了一个即插即用的标签图（LG）模块来学习标签与词嵌入的相关性，然后利用传统的GCN将此图映射到标签相关的对象分类器，这些分类器进一步应用于图像特征。基本的LG模块包含两个1x 1卷积层，并使用点积来生成标签图。此外，我们提出了一个稀疏相关约束，以提高LG模块，也探讨了不同的LG架构。我们在两个不同的多标签数据集上验证了我们的方法：MS-COCO和Fashion 550 K。实验结果表明，我们的A-GCN显着提高基线方法，并实现性能优于或媲美的最先进的。
2019-09-28 cs.CV
A Semantic-Enhanced Heterogeneous Graph Learning Method for Flexible Objects Recognition
University of Electronic Science and Technology of China（电子科技大学）
提出语义增强异构图学习方法，通过自适应扫描与异构图书生成模块对齐语义视觉特征，并在FDA、FSCW及挑战基准上验证了柔性物体识别的竞争力。
2025-03-28 cs.CV
Semantic-Enhanced Cross-Modal Place Recognition for Robust Robot Localization
Dali University（大理大学）；Bandırma Onyedi Eylül University（巴尔迪马十一点大学）
本文提出语义增强跨模态场景识别框架SCM-PR，通过结合RGB图像语义与LiDAR几何特征，引入VMamba主干、SAFF模块及跨模态语义注意力机制，在KITTI数据集上实现了最先进的鲁棒机器人定位性能。
2025-09-16 cs.CV
Multi-task, multi-label and multi-domain learning with residual convolutional networks for emotion recognition
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
在野外从面部图像中自动识别情感仍然是一个具有挑战性的问题。尽管深度学习的最新进展在这个主题上取得了重大突破，但姿势、方向和视角的强烈变化严重损害了当前的方法。此外，获取标记数据集的成本很高，并且当前最先进的深度学习算法无法对所有上述困难进行建模。在本文中，我们提出应用多任务学习损失函数与其他相关任务共享一个共同的特征表示。特别是，我们表明，情感识别受益于共同学习模型与面部动作单元（集体肌肉运动）的检测器。提出的损失函数解决了多任务学习的问题，异构标记的数据，改善以前的多任务方法。我们使用两个数据集在非受控环境中获得的建议进行验证，并应用于预测复合面部表情。
2018-02-19 cs.CV
Uncertainty-aware Label Distribution Learning for Facial Expression Recognition
University of Science（科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；AIOZ；FPT Software AI Center（FPT软件人工智能中心）；University of Liverpool（利物浦大学）
尽管在过去几年中取得了重大进展，但模糊性仍然是面部表情识别（FER）的一个关键挑战。它可能导致噪声和不一致的注释，这会阻碍深度学习模型在现实场景中的性能。在本文中，我们提出了一种新的不确定性感知标签分布学习方法，以提高深度模型对不确定性和模糊性的鲁棒性。我们利用邻域信息的效价唤醒空间自适应地构建情感分布的训练样本。我们还考虑了将它们纳入标签分布时所提供的标签的不确定性。我们的方法可以很容易地集成到深度网络中，以获得更多的训练监督并提高识别精度。在各种噪声和模糊设置下对几个数据集进行的密集实验表明，我们的方法取得了有竞争力的结果，并优于最近的最先进的方法。我们的代码和模型可以在https://github.com/minhnhatvt/label-distribution-learning-fer-tf上找到。
2022-09-21 cs.CV
SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
场景文本识别是计算机视觉的一个研究热点。近年来，许多基于编码器-解码器框架的识别方法已经被提出，并且它们可以处理具有透视变形和曲线形状的场景文本。尽管如此，它们仍然面临着许多挑战，如图像模糊，光照不均匀和不完整的字符。我们认为，大多数编码器-解码器的方法是基于本地的视觉特征，没有明确的全局语义信息。在这项工作中，我们提出了一个语义增强的编码器-解码器框架，以鲁棒地识别低质量的场景文本。语义信息在编码器模块中用于监督，在解码器模块中用于初始化。特别是，国家的最先进的ASTER方法集成到建议的框架作为范例。大量实验表明，该框架对低质量文本图像具有更强的鲁棒性，并在多个基准数据集上取得了最佳效果。
2020-05-22 cs.CV
Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition
Beihang University（北京航空航天大学）；Peking University（北京大学）
针对单正标签多标签识别，本文提出 Scob 语义对比自举框架，结合类别激活引导、循环语义掩码 transformer 与期望最大化迭代优化，在四个基准上大幅超过现有方法。
2023-07-15 cs.CV
