Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University（西北工业大学）
少样本学习的目的是用少量的标记样本从新类别中识别实例，具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作，但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究，并且仍然具有挑战性：1）不同文献之间实现细节的差异使得公平比较困难; 2）时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3）标记数据的稀缺使得优化困难。为了解决这些问题，本文提出了1）一个特定的设置，以评估性能的Few-Shot动作识别算法; 2）一个隐式序列对齐算法更好的视频级相似性比较; 3）一个先进的损失为少样本学习，以优化对相似性有限的数据。具体来说，我们提出了一种新的Few-Shot动作识别框架，该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失，使类内相似度最大化，类间相似度最小化，从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置，而是设置了一个具体的标准，类似于标准的基于图像的Few-Shot学习设置，用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV
A Comprehensive Review of Few-shot Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
本文系统综述少样本动作识别方法，提出生成式与元学习两大分类体系，涵盖视频表示、原型学习与对齐，并总结基准与未来方向。
2025-03-28 cs.CV
Rethinking matching-based few-shot action recognition
Czech Technical University in Prague（捷克布拉格技术大学）；NAVER LABS Europe（NAVER欧洲实验室）
Few-Shot动作识别，即识别仅给出几个示例的新动作类，受益于结合时间信息。先前的工作要么在表示本身中编码这些信息并在测试时学习分类器，要么获得帧级特征并执行成对时间匹配。我们首先评估了一些基于匹配的方法，使用时空骨干的功能，从文献中缺失的比较，并表明简单的基线和更复杂的方法之间的性能差距显着减少。受此启发，我们提出了倒角++，一个非时间匹配功能，实现了最先进的结果，在Few-Shot动作识别。我们表明，当从时间特征开始时，我们的无参数和可解释的方法可以优于所有其他基于匹配和分类器的方法，用于三个常见数据集上的一次性动作识别，而无需在匹配阶段使用时间信息。项目页面：https://jbertrand89.github.io/matching-based-fsar
2023-03-28 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
Semantic Embedding Space for Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
动作识别的类别数量正在迅速增长。因此，收集足够的训练数据来学习每个类别的传统模型变得越来越困难。这个问题可以通过日益流行的“零样本学习”（ZRL）范例来改善。在这个框架中的映射之间的视觉特征和人类可解释的语义描述的每个类别，允许类别被识别的情况下，任何训练数据。现有的语义表征语言研究主要集中在图像数据和基于属性的语义表征上。在本文中，我们解决zero-shot识别在当代视频动作识别任务，使用语义词向量空间作为公共空间嵌入视频和类别标签。这更具挑战性，因为包含复杂动作的视频的语义空间和时空特征之间的映射更复杂，更难学习。我们证明了一个简单的自我训练和数据增强策略可以显着提高这种映射的功效。在包括HMDB 51和UCF 101在内的人体动作数据集上的实验表明，我们的方法达到了最先进的零拍（zero-shot）动作识别性能。
2015-02-05 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架，通过结构化语义提示提升零样本动作识别性能，尤其在细粒度和组合动作上表现优异，同时保持模型效率和泛化能力。
2026-03-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布，其参数是代表该动作类的属性向量的函数。特别是，我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合，其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知（即，先前看到的）动作类，然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置：（1）归纳设置，其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及（2）Transductive设置，进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别，其中一些标记的例子，从看不见的类。我们在基准数据集（UCF 101，HMDB 51和Olympic）上的实验显示，与各种基线相比，在标准zero-shot（不相交的可见和不可见类）和广义零样本学习设置中，性能都有显着提高。
2018-01-27 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
MAtch, eXpand and Improve: Unsupervised Finetuning for Zero-Shot Action Recognition with Language Knowledge
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）；Graz University of Technology（格拉茨工业大学）
针对视觉-语言模型动词表征不足、零样本动作识别需额外调优的问题，提出无监督微调方法MAXI，利用无标注视频与动作词典，通过匹配、扩展、字幕构建文本袋并结合多示例学习适配模型，性能提升最高达14%，迁移性优于全监督基线。
2023-07-22 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Temporal-Relational CrossTransformers for Few-Shot Action Recognition
University of Bristol（布里斯托尔大学）
我们提出了一种新的方法来Few-Shot动作识别，在支持集中找到查询和视频之间的时间对应的帧元组。与以前的Few-Shot作品不同，我们使用CrossTransformer注意力机制来构建类原型，以观察所有支持视频的相关子序列，而不是使用类平均值或单个最佳匹配。视频表示由不同数量的帧的有序元组形成，这允许比较不同速度和时间偏移的动作的子序列。我们提出的时间关系交叉转换器（TRX）实现了最先进的结果Few-Shot分裂的动力学，东西的东西V2（SSv2），HMDB 51和UCF 101。重要的是，我们的方法优于以前的工作SSv2的一个很大的保证金（12%），由于其建模时间关系的能力。详细的消融展示了匹配多个支持集视频和学习高阶关系CrossTransformers的重要性。
2021-03-28 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology（香港科技大学）；Kauishou（快手）
尽管已经取得了很好的进展，但动作识别的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集很难扩展新的动作类。此外，时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题，我们专注于原子动作，并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入，松散的动作对齐，多头特征比较，和基于注意力的聚合，这使得动作识别只有几个训练样本，通过提取更具代表性的功能，并允许灵活的空间和时间的对齐和动作的变化。实验表明，我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Text-Enhanced Zero-Shot Action Recognition: A training-free approach
University of Trento（特伦托大学）；University of Bologna（博洛尼亚大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯塞勒基金会）
针对零样本视频动作识别现有方法需大量训练、资源消耗大且易有域偏差的问题，提出无需训练的TEAR方法，利用动作描述符分解和上下文信息增强识别，在多个数据集上验证了有效性。
2024-08-29 cs.CV
Cross-modal Representation Learning for Zero-shot Action Recognition
Microsoft（微软）
我们提出了一个跨模态转换器为基础的框架，联合编码视频数据和文本标签的zero-shot动作识别（ZSAR）。我们的模型采用了一个概念上的新管道，通过该管道，视觉表示以端到端的方式与视觉语义关联一起学习。模型设计提供了一种自然的机制，在共享的知识空间中学习视觉和语义表示，从而鼓励学习的视觉嵌入是有区别的，语义上更一致。在zero-shot推理中，我们设计了一个简单的语义转移方案，该方案嵌入了可见和不可见类之间的语义相关性信息，以合成不可见的视觉原型。因此，视觉结构中的区别性特征可以被保留和利用，以减轻典型的zero-shot问题的信息丢失，语义差距，和hubness问题。在严格的zero-shot设置下，不对额外的数据集进行预训练，实验结果表明，我们的模型大大提高了ZSAR的最新技术水平，在UCF 101，HMDB 51和ActivityNet基准数据集上达到了令人鼓舞的top-1精度。代码将提供。
2022-05-03 cs.CV
A Baseline Study and Benchmark for Few-Shot Open-Set Action Recognition with Feature Residual Discrimination
Humanoid Sensing and Perception, Istituto Italiano di Tecnologia, Genoa, Italy（人形感知与感知、意大利理工学院，热那亚，意大利）
针对小样本动作识别在开放集场景下的不足，提出基于特征残差判别器的架构扩展，在五个数据集上实现未知类拒绝能力提升且不损失闭集精度，设立新基准。
2026-06-08 cs.CV
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；The University of Tokyo（东京大学）；E-surfing Vision Technology Co., Ltd.（天翼视觉科技有限公司）
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题，提出I2ST，通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
Two-stream joint matching method based on contrastive learning for few-shot action recognition
Chongqing University（重庆大学）
本文提出基于对比学习的双流联合匹配方法TSJM，通过多模态对比学习模块和联合匹配模块解决少样本动作识别中的多模态信息利用不足及视频匹配问题。
2024-01-08 cs.CV
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning
State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
细粒度的动作识别正吸引越来越多的关注，由于在现实世界中的应用程序中的特定动作理解的新兴需求，而罕见的细粒度类别的数据是非常有限的。因此，我们提出了Few-Shot细粒度动作识别问题，旨在识别新的细粒度动作，只有很少的样本，为每个类。虽然已经取得了进展，在粗粒度的行动，现有的Few-Shot识别方法遇到两个问题处理细粒度的行动：无法捕捉微妙的行动细节和学习的不足，从数据与低类间方差。为了解决第一个问题，人类视觉启发的双向注意模块（BAM）的建议。BAM将自上而下的任务驱动信号与自下而上的显着刺激相结合，通过准确突出信息丰富的时空区域来捕捉微妙的动作细节。为了解决第二个问题，我们引入了对比元学习（CML）。与广泛采用的基于ProtoNet的方法相比，CML对低类间方差数据生成更具鉴别力的视频表示，因为它充分利用了每个训练片段中的潜在对比对。此外，为了公平地比较不同的模型，我们在两个大规模细粒度动作识别数据集上建立了特定的基准协议。大量的实验表明，我们的方法在评估的任务中始终达到最先进的性能。
2021-08-15 cs.CV
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下，仅通过语义嵌入将看不见的动作类与可见的动作类联系起来，来识别动作类的任务。这个问题可以看作是学习一个函数，它可以很好地推广到看不见的类的实例，而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界，这解释了它们作为监督模型的成功。然而，在零次学习中，这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中，我们提出了一种基于质心的表示，聚类视觉和语义表示，考虑所有的训练样本一次，并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类，这对我们的方法的工作至关重要。我们称之为CLASTER，并观察到它在所有标准数据集上，包括UCF 101，HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中，都始终表现出最先进的水平。此外，我们表明，我们的模型在图像域中也表现出竞争力，在许多设置中优于最先进的。
2022-07-24 cs.CV
Learning Causal Domain-Invariant Temporal Dynamics for Few-Shot Action Recognition
Boston College（波士顿学院）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Tulane University（杜兰大学）
提出CDDTD框架，通过因果表示学习分离时间不变与变化表示，在适应阶段固定时间动态并更新编码器与域估计器，在少样本动作识别任务上取得卓越准确率。
2024-06-04 cs.CV
Can masking background and object reduce static bias for zero-shot action recognition?
Nagoya Institute of Technology（名古屋工业大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
本文研究零样本动作识别中的静态偏差，通过掩蔽背景和物体训练CLIP模型，减少对静态外观的依赖，提升动作关注度与性能。
2025-01-22 cs.CV
Improving Zero-Shot Action Recognition using Human Instruction with Text Description
Graduate School of Science and Engineering（理工学研究生院）；Chiba University（千叶大学）；Graduate School of Engineering（工学研究生院）
针对零样本动作识别性能不佳的问题，提出利用带文本描述的人类指令的改进框架，通过人工标注动作文本特征匹配视频类别，可结合其他模型并持续优化，在UCF101和HMDB51上取得最优准确率且提升其他模型精度。
2023-06-12 cs.CV
Learning Using Privileged Information for Zero-Shot Action Recognition
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）
Zero-Shot动作识别（ZSAR）旨在识别在训练过程中从未见过的视频动作。大多数现有的方法假设一个共享的语义空间之间看到的和看不见的动作，并打算直接学习从视觉空间映射到语义空间。视觉空间和语义空间之间的语义鸿沟对这种方法提出了挑战。本文提出了一种新的方法，使用对象的语义作为特权信息，以缩小语义差距，因此，有效地帮助学习。特别是，一个简单的幻觉网络提出了隐式提取对象语义在测试过程中，而不显式提取对象和交叉注意模块的开发，以增强视觉特征的对象语义。在Olympic Sports、HMDB51和UCF101数据集上的实验表明，该方法的性能明显优于现有方法。
2022-06-22 cs.CV
Semantic-aware Video Representation for Few-shot Action Recognition
Johns Hopkins University（约翰霍普金斯大学）；Paul Scherrer Institut（保罗·谢勒研究所）；University of Pennsylvania（宾夕法尼亚大学）
针对少样本动作识别中2D表示和时间建模复杂的问题，提出SAFSAR模型，利用3D特征提取器、特征融合和余弦相似度，创新性地融合文本语义，在五个基准上显著提升性能。
2023-11-10 cs.CV
SL-DML: Signal Level Deep Metric Learning for Multimodal One-Shot Action Recognition
University of Koblenz-Landau（科布伦茨-兰道大学）
使用度量学习方法识别具有单个参考样本的活动是一个很有前途的研究领域。大多数Few-Shot方法集中在对象识别或面部识别上。我们提出了一种度量学习方法，将动作识别问题简化为嵌入空间中的最近邻搜索。我们将信号编码到图像中，并使用深度残差CNN提取特征。使用三重丢失，我们学习一个特征嵌入。由此产生的编码器将特征变换到嵌入空间中，在嵌入空间中，较近的距离编码相似的动作，而较高的距离编码不同的动作。我们的方法是基于一个信号水平的制定，并保持灵活的各种形式。它进一步优于大规模NTU RGB+D 120数据集上的One-Shot动作识别协议的基线5.6%。在只有60%的训练数据的情况下，我们的方法仍然比基线方法高出3.7%。对于40%的训练数据，我们的方法在第二次随访中表现良好。此外，我们表明，我们的方法在UTD-MHAD数据集的惯性，骨架和融合数据和模拟数据集的运动捕捉数据的实验中推广良好。此外，我们的关节间和传感器间实验表明，在以前看不见的设置良好的能力。
2020-10-19 cs.CV
MVP-Shot: Multi-Velocity Progressive-Alignment Framework for Few-Shot Action Recognition
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）
针对少样本动作识别中单一尺度对齐忽略动作速度变化的问题，提出MVP-Shot框架，通过MVFA模块进行多速度特征残差对齐，并利用PSTI模块注入文本语义，在多个基准上达到SOTA。
2025-03-05 cs.CV
Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition
Wuhan University（武汉大学）
针对多属性联合识别导致准确率下降的问题，提出AAPM，通过TCM引入标签文本约束并利用AAM缓解训练偏差，同时构建Multi-Kinetics数据集，在多标签与单标签少样本动作识别上均达到SOTA。
2025-02-18 cs.CV
End-to-End Semantic Video Transformer for Zero-Shot Action Recognition
Amazon（亚马逊）；University of South Florida（南佛罗里达大学）
虽然视频动作识别多年来一直是一个活跃的研究领域，但zero-shot动作识别直到最近才开始获得关注。在这项工作中，我们提出了一种新的端到端训练的Transformer模型，该模型能够有效地捕获长距离时空依赖性，与使用3D-CNN的现有方法相反。此外，为了解决一个常见的模糊性，在现有的作品类，可以被认为是以前看不见的，我们提出了一个新的实验设置，满足零样本学习的前提下，通过避免训练和测试类之间的重叠动作识别。在UCF-101、HMDB-51和ActivityNet数据集上，所提出的方法在zero-shot动作识别中的前1名准确率方面显著优于现有技术。代码和拟议的实验设置可在GitHub上获得：https://github.com/Secure-and-Intelligent-Systems-Lab/SemanticVideoTransformer
2022-12-02 cs.AI cs.CV
Unifying Few- and Zero-Shot Egocentric Action Recognition
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Facebook Reality Labs（Facebook现实实验室）
虽然在自我中心动作识别方面已经有了大量的研究，但大多数方法和任务，包括史诗厨房，都假设了一组固定的动作类。固定集分类对于基准测试方法是有用的，但由于动作的组合性，在实际设置中通常是不现实的，导致功能无限基数标签集。在这项工作中，我们探索泛化与一个开放的类集统一两种流行的方法：少数和zero-shot泛化（后者，我们重新定义为跨模态Few-Shot泛化）。我们提出了一组新的分裂来自EPIC-KITCHENS数据集，允许开放集分类的评估，并使用这些分裂表明，增加一个度量学习损失的传统的直接对齐基线可以提高zero-shot分类多达10%，而不牺牲Few-Shot的性能。
2020-05-27 cs.CV cs.LG
Few Shot Activity Recognition Using Variational Inference
Indian Institute of Technology, Delhi（德里印度理工学院）；RAeS (Royal Aeronautical Society)（皇家航空学会）
在过去的几年里，在学习一个模型方面取得了显着的进展，该模型可以识别只有少数标记示例的新类。动作识别的少样本学习（FSL）是一项具有挑战性的任务，它需要在训练数据中识别由很少实例表示的新动作类别。我们提出了一种新的变分推理为基础的架构框架（HF-AR）的Few Shot活动识别。我们的框架利用体积保持Householder流来学习新类的灵活后验分布。这导致与用于人类活动识别的现有技术的Few Shot方法相比更好的性能。方法由基本模型和适配器模型组成。我们的架构包括一个基本模型和适配器模型。基础模型在可见类上进行训练，并计算表示从输入视频中提取的空间和时间洞察的嵌入，例如基于Resnet-152和LSTM的编码器-解码器模型的组合。适配器模型应用一系列Householder变换来计算灵活的后验分布，从而在Few Shot方法中提供更高的准确性。在UCF 101、HMDB 51和Something-Something-V2这三个著名数据集上进行的大量实验表明，与仅使用RGB帧序列作为输入的最新Few Shot方法相比，1次和5次分类的性能相似或更好。据我们所知，我们是第一个探索变分推理与Householder变换一起捕获后验分布的满秩协方差矩阵，用于活动识别中的少样本学习。
2021-08-20 cs.CV cs.LG
Skeleton-DML: Deep Metric Learning for Skeleton-Based One-Shot Action Recognition
University of Koblenz-Landau（科布伦茨-兰道大学）
单次动作识别允许仅用单个训练样本来识别人类执行的动作。这可以通过使机器人能够对以前看不见的行为做出反应来积极影响人机交互。我们将一次性动作识别问题表述为深度度量学习问题，并提出了一种新的基于图像的骨架表示，该表示在度量学习设置中表现良好。因此，我们训练一个模型，将图像表示投影到嵌入空间中。在嵌入空间中，相似的动作具有较低的欧氏距离，而不相似的动作具有较高的距离。一次性动作识别问题变成了一组活动参考样本中的最近邻搜索。我们评估我们提出的表示对其他各种基于图像的图像表示的性能。此外，我们提出了一个消融研究，显示了不同的嵌入向量的大小，损失和扩增的影响。我们的方法在相当的训练设置下，将NTU RGB + D 120数据集上的一次性动作识别协议的最先进水平提高了3.3%。通过额外的增强，我们的结果提高了7.7%以上。
2021-03-08 cs.AI cs.CV cs.RO
Zero-Shot Activity Recognition with Videos
KU Leuven（鲁汶大学）；TU Munich（慕尼黑工业大学）
在本文中，我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面，我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面，我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后，流形学习能力衡量平均最近邻重叠。最后，我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester（曼彻斯特大学）
正确的语义表示是零样本学习成功的关键。在本文中，我们探讨了两种替代的语义表示，特别是zero-shot人类动作识别：人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取，为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动，从这样的边信息。基于我们的zero-shot视觉识别方法，我们对UCF 101和HMDB 51进行了实验，以评估两个提出的语义表示。结果表明，我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地，基于图像的语义表示产生有利的性能，即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出一种基于多尺度时空骨架匹配的单样本动作识别方法，通过多尺度与跨尺度匹配捕捉语义相关性，在三个大规模数据集上显著超越现有最先进技术。
2024-02-06 cs.AI cs.CV
Metric-Based Few-Shot Learning for Video Action Recognition
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在Few-Shot场景中，学习器必须有效地推广到给定标记示例的小支持集的未见过的类。虽然相对大量的研究已经进入了用于图像分类的少样本学习，但是在Few-Shot视频分类上做的工作很少。在这项工作中，我们解决的任务Few-Shot视频动作识别与一组两个流模型。我们评估了一组卷积和递归神经网络视频编码器架构与三种流行的基于度量的Few-Shot算法结合使用的性能。我们使用Kinetics 600数据集的Few-Shot分割进行训练和评估。我们的实验证实了双流设置的重要性，并找到原型网络和池化长短期记忆网络嵌入，分别作为Few-Shot方法和视频编码器提供最佳性能。对于一个5杆5路任务，该设置获得84.2%的准确率在测试集和59.4%的特殊的“挑战”测试集，组成的高度混淆的类。
2019-09-14 cs.CV cs.LG stat.ML
Weakly-supervised Compositional FeatureAggregation for Few-shot Recognition
Boston University（波士顿大学）
对于机器学习来说，从几个例子中学习是一项具有挑战性的任务。虽然最近的进展已经取得了这个问题，大多数现有的方法忽略了视觉概念表示的组合性（例如，对象是由部分或语义属性组成的），这是人类能够轻松地从少量的例子中学习的关键。为了增强具有组合性的少样本学习模型，在本文中，我们提出了简单而强大的组合特征聚合（CFA）模块，作为深度网络的弱监督正则化。给定从输入中提取的深度特征映射，我们的CFA模块首先将特征空间分解为不相交的语义子空间，这些子空间对不同的属性进行建模，然后双线性地聚合每个子空间内的局部特征。CFA明确规范的表示与语义和空间的组合性，以产生歧视性的表示Few-Shot识别任务。此外，我们的方法在训练过程中不需要对属性和对象部分进行任何监督，因此可以方便地插入到现有模型中进行端到端优化，同时保持模型大小和计算成本几乎相同。在Few-Shot图像分类和动作识别任务上的大量实验表明，我们的方法比最近的最先进的方法提供了实质性的改进。
2019-06-11 cs.CV cs.LG
The impact of Compositionality in Zero-shot Multi-label action recognition for Object-based tasks
Italian Institute of Technology（意大利技术研究院）
针对机器人协作场景下零样本多标签动作识别的难题，提出融合DualCoOp的Dual-VCLIP方法，仅学习两个提示词，在Charades数据集上表现优于现有方法，揭示了动词-对象类别拆分的影响。
2024-05-14 cs.CV cs.RO
Task-adaptive Spatial-Temporal Video Sampler for Few-shot Action Recognition
Shanghai Jiao Tong University（上海交通大学）；Heriot-Watt University Malaysia（赫瑞-瓦特大学马来西亚分校）
Few-Shot动作识别面临的主要挑战是用于训练的视频数据不足。为了解决这个问题，在这一领域的现有方法主要集中在设计算法的特征层次，而很少注意处理输入视频数据。此外，现有的帧采样策略可能会忽略时间和空间维度上的关键动作信息，这进一步影响视频利用效率。在本文中，我们提出了一种新的视频帧采样器的Few-Shot动作识别，以解决这个问题，特定于任务的时空帧采样是通过一个时间选择器（TS）和空间放大器（SA）。具体来说，我们的采样器首先以较小的计算成本扫描整个视频，以获得视频帧的全局感知。TS在选择贡献最显著和随后的前T帧中发挥其作用。SA通过在显著图的指导下放大关键区域来强调每帧的判别信息。我们进一步采用任务自适应学习，根据手头的情节任务动态调整采样策略。TS和SA的实现对于端到端优化是可区分的，从而促进了我们提出的采样器与大多数Few-Shot动作识别方法的无缝集成。大量的实验表明，在各种基准测试（包括长期视频）中，该代码的性能有了显着提高。https://github.com/R00Kie-Liu/Sampler
2022-12-22 cs.AI cs.CV
Syntactically Guided Generative Embeddings for Zero-Shot Skeleton Action Recognition
Center for Visual Information Technology（视觉信息技术中心）；IIIT Hyderabad（海得拉巴国际信息技术学院）
我们介绍了SynSE，一种新的句法引导生成方法的零样本学习（Zero-Shot Learning，简称ZRL）。我们的端到端方法学习逐步完善的生成嵌入空间，这些空间被限制在所涉及的模式（视觉，语言）内和跨所涉及的模式。在动作序列嵌入和相应动作描述中的词性标注词嵌入之间定义了模态间约束。我们部署了SynSE来完成基于信标的动作序列识别任务。我们的设计选择使SynSE能够在组成上进行概括，即，识别动作描述包含训练期间未遇到的单词的序列。我们还通过基于置信度的门控机制将我们的方法扩展到更具挑战性的广义零样本学习（GZSL）问题。我们是第一个提出zero-shot骨架动作识别结果的大规模NTU-60和NTU-120骨架动作数据集与多个分裂。我们的研究结果表明，与NTU-60和NTU-120数据集上的强基线相比，SynSE在GML和GML设置中的最新性能。代码和预训练模型可在https://github.com/skelemoa/synse-zsl上获得
2021-06-28 cs.CV cs.GR cs.MM
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester（曼彻斯特大学）
人体动作识别是指从视频片段中自动识别人体动作。在现实中，视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释，而不是将每个标签分配给对应于单个动作的特定视频片段，这导致了多标签学习问题。此外，现实中存在许多有意义的人类动作，但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的，这导致零样本学习场景。据我们所知，还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中，我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题，并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题，并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此，我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此，多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架，包括一个专门为评估多标签零样本学习而设计的新型数据分割方案，在两个数据集上：早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
Few-Shot Action Recognition with Compromised Metric via Optimal Transport
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot动作识别是计算机视觉系统的重要组成部分，尽管Few-Shot图像分类的研究已经得到了广泛的应用，但其研究还不成熟。流行的少样本学习算法从可见类中提取可转移的嵌入，并通过构建基于度量的分类器将其重用于不可见类。将这些算法应用于动作识别的一个主要障碍是视频的复杂结构。一些现有的解决方案从视频中采样帧并聚合它们的嵌入以形成视频级表示，忽略了重要的时间关系。其他人在两个视频之间执行显式的序列匹配，并将它们的距离定义为匹配成本，对序列排序施加了太强的限制。在本文中，我们提出了妥协度量通过最优传输（CMOT）结合这两种解决方案的优点。CMOT在最优传输框架下同时考虑视频中的语义和时间信息，并且对于内容敏感和顺序敏感的任务都是有区别的。详细地说，给定两个视频，我们从它们中采样片段，并将它们的距离计算作为两个片段序列之间的最优传输问题。为了保留固有的时间排序信息，我们还通过用一对段之间的位置距离对其进行惩罚来修改地面成本矩阵。在基准数据集上的实验结果证明了CMOT的优越性。
2021-04-08 cs.AI cs.CV cs.LG
3D Skeleton-based Few-shot Action Recognition with JEANIE is not so Naïve
Singapore University of Technology and Design（新加坡科技设计大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61）；The Australian National University（澳大利亚国立大学）
在本文中，我们提出了一个少样本学习管道的联合tEmporal和cAmera视点算法（JEANIE）的3D基于动作的动作识别。为了排除查询和支持序列之间的3D身体关节的不对齐，我们提出了一个先进的动态时间规整的变种，它联合建模查询和支持帧之间的每个平滑路径，同时实现最佳的对齐时间和模拟相机的视点空间有限的Few-Shot训练数据下的端到端学习。序列使用基于简单谱图卷积（Simple Spectral Graph Convolution）的时间块编码器进行编码，简单谱图卷积是一种轻量级线性图神经网络骨干（我们还包括一个带有Transformer的设置）。最后，我们提出了一个基于相似性的损失，鼓励对齐的序列相同的类，同时防止不相关的序列的对齐。我们展示了NTU-60，NTU-120，动力学骨架和UWA 3D Multiview Activity II的最新结果。
2021-12-23 cs.CV cs.HC cs.LG
Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action Recognition
Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
我们提出了一个少样本学习管道的联合tEmporal和cAmera的视点算法（JEANIE）的三维基于动作的动作识别。为了排除查询和支持序列之间的3D身体关节的不对齐，我们提出了一个先进的动态时间规整的变种，它联合建模查询和支持帧之间的每个平滑路径，同时实现最佳的对齐时间和模拟相机的视点空间有限的Few-Shot训练数据下的端到端学习。基于简单谱图卷积（一种轻量级线性图神经网络骨干）的时间块编码器对序列进行编码。我们还包括一个带有Transformer的设置。最后，我们提出了一个基于相似性的损失，鼓励对齐的序列相同的类，同时防止不相关的序列的对齐。我们展示了NTU-60，NTU-120，Kinetics骨架和UWA 3D Multiview Activity II的最新结果。
2022-10-30 cs.AI cs.CV cs.LG
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University（印第安纳大学）；Fudan University（复旦大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题，可以应用现成的图像生成器来合成额外的训练图像，但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架，将生成的图像与原始图像相结合，从而得到的“混合”训练图像可以改善一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练，我们的实验表明，在单次细粒度图像分类基准测试中，与基线相比，该模型具有一致的改进。
2019-11-17 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Low-shot Visual Recognition by Shrinking and Hallucinating Features
Facebook AI Research (FAIR)（Facebook人工智能研究院）
低镜头视觉学习-从很少的例子中识别新物体类别的能力-是人类视觉智能的标志。现有的机器学习方法无法以相同的方式进行推广。为了在这个基础问题上取得进展，我们提出了一个复杂图像的低拍摄学习基准，模拟了野外识别系统所面临的挑战。然后，我们提出了a）表示正则化技术，和b）技术，以幻觉额外的训练样本的数据匮乏的类。总之，我们的方法提高了卷积网络在低拍摄学习中的有效性，在具有挑战性的ImageNet数据集上将新类别的一次性准确性提高了2.3倍。
2017-11-04 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University（哥伦比亚大学）
我们研究了Few-Shot开集识别（FSOR）问题，它学习一个识别系统，能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制，传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感，使得它们可以经由阈值化而被拒绝。然而，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的抑制功率。在本文中，我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说，我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中，我们能够学习动态拒绝边界的FSOR任务。此外，我们将我们的方法扩展到广义Few-Shot开集识别（GFSOR），它需要对多镜头和Few-Shot类进行分类，以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Continual Learning Improves Zero-Shot Action Recognition
University of Nottingham（诺丁汉大学）；University of Bath（巴斯大学）；University of Edinburgh（爱丁堡大学）
本文提出基于持续学习的GIL方法，利用过去类别的合成特征记忆与新颖类别真实特征结合训练分类模型，提升了零样本动作识别在未见类别上的泛化能力，并在多个基准上达到新SOTA。
2024-10-14 cs.CV
