CLTA: Contents and Length-based Temporal Attention for Few-shot Action Recognition
McMaster University（麦克马斯特大学）
Few-Shot动作识别由于训练样本难以获取而受到越来越多的关注。目前的工作表明，保留空间信息和比较视频描述符是至关重要的Few-Shot动作识别。然而，保存时间信息的重要性没有得到很好的讨论。在本文中，我们提出了一个基于内容和长度的时间注意力（CLTA）模型，学习定制的时间注意力的个人视频，以解决Few-Shot动作识别问题。CLTA利用高斯似然函数作为模板来生成时间注意力，并训练学习矩阵以基于帧内容和长度来研究平均值和标准差。我们表明，即使是一个没有微调的骨干与普通的softmax分类器仍然可以实现类似或更好的结果相比，国家的最先进的Few-Shot动作识别与精确捕获的时间注意。
2021-03-18 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University（印第安纳大学）；Fudan University（复旦大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题，可以应用现成的图像生成器来合成额外的训练图像，但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架，将生成的图像与原始图像相结合，从而得到的“混合”训练图像可以改善一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练，我们的实验表明，在单次细粒度图像分类基准测试中，与基线相比，该模型具有一致的改进。
2019-11-17 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Low-shot Visual Recognition by Shrinking and Hallucinating Features
Facebook AI Research (FAIR)（Facebook人工智能研究院）
低镜头视觉学习-从很少的例子中识别新物体类别的能力-是人类视觉智能的标志。现有的机器学习方法无法以相同的方式进行推广。为了在这个基础问题上取得进展，我们提出了一个复杂图像的低拍摄学习基准，模拟了野外识别系统所面临的挑战。然后，我们提出了a）表示正则化技术，和b）技术，以幻觉额外的训练样本的数据匮乏的类。总之，我们的方法提高了卷积网络在低拍摄学习中的有效性，在具有挑战性的ImageNet数据集上将新类别的一次性准确性提高了2.3倍。
2017-11-04 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University（哥伦比亚大学）
我们研究了Few-Shot开集识别（FSOR）问题，它学习一个识别系统，能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制，传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感，使得它们可以经由阈值化而被拒绝。然而，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的抑制功率。在本文中，我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说，我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中，我们能够学习动态拒绝边界的FSOR任务。此外，我们将我们的方法扩展到广义Few-Shot开集识别（GFSOR），它需要对多镜头和Few-Shot类进行分类，以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Trajectory-aligned Space-time Tokens for Few-shot Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；GenAI, Meta（Meta GenAI部门）
本文提出轨迹对齐tokens（TATs）解耦运动与外观表示，结合Masked Space-time Transformer在少样本动作识别任务上取得最优结果。
2024-07-25 cs.CV
Continual Learning Improves Zero-Shot Action Recognition
University of Nottingham（诺丁汉大学）；University of Bath（巴斯大学）；University of Edinburgh（爱丁堡大学）
本文提出基于持续学习的GIL方法，利用过去类别的合成特征记忆与新颖类别真实特征结合训练分类模型，提升了零样本动作识别在未见类别上的泛化能力，并在多个基准上达到新SOTA。
2024-10-14 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）；Indiana University（印第安纳大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题，基于生成对抗网络（GANs）的现成图像生成技术可以创建额外的训练图像。然而，这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中，我们提出了一个元学习框架，将生成的图像与原始图像相结合，从而使生成的“混合”训练图像改善了一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。我们的实验表明，一致的改善基线上一杆细粒度图像分类基准。此外，我们的分析表明，与原始图像和GAN生成的图像相比，增强图像具有更大的多样性。
2022-04-22 cs.CV
Towards Zero-shot Sign Language Recognition
Hacettepe University（哈塞特佩大学）；METU（中东技术大学）
本文解决了zero-shot手语识别（ZSSLR）的问题，其目标是利用在可见符号类上学习的模型来识别不可见符号类的实例。在这种情况下，容易获得的文本符号描述和从手语词典中收集的属性被用作知识转移的语义类表示。对于这个新的问题设置，我们引入了三个基准数据集及其附带的文本和属性描述，以详细分析问题。我们提出的方法建立身体和手的区域的时空模型。通过利用描述性的文本和属性嵌入以及这些视觉表示在一个零样本学习框架内，我们表明，基于文本和属性的类定义可以提供有效的知识识别以前看不见的标志类。我们还介绍了技术来分析正确和不正确的zero-shot预测的二进制属性的影响。我们预计，介绍的方法和相应的数据集将提供一个基础，进一步探索零样本学习在手语识别。
2022-01-15 cs.CV
Few-Shot Open-Set Recognition using Meta-Learning
UC, San Diego（加州大学圣地亚哥分校）；Wormpex AI Research（Wormpex人工智能研究院）
研究了开集识别问题。虽然以前的方法只在大规模分类器训练的背景下考虑这个问题，但我们寻求一个统一的解决方案来解决这个问题和低拍摄分类设置。有人认为，经典的softmax分类器是开集识别的一个糟糕的解决方案，因为它往往过拟合的训练类。随机化，然后提出作为解决这个问题。这表明使用元学习技术，通常用于Few-Shot分类，用于开集识别的解决方案。然后引入一种新的oPen sEt Meta LEaRning（PEELER）算法。这结合了随机选择一组新的类每集，损失，最大化后验熵的例子，这些类，和一个新的度量学习公式的基础上的马氏距离。实验结果表明，PEELER实现了最先进的开集识别性能的Few-Shot和大规模的识别。在CIFAR和miniImageNet上，对于给定的可见类分类精度，它在可见/不可见类检测AUROC中实现了实质性的增益。
2020-06-07 cs.CV
Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University（西北工业大学）
少样本学习的目的是用少量的标记样本从新类别中识别实例，具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作，但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究，并且仍然具有挑战性：1）不同文献之间实现细节的差异使得公平比较困难; 2）时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3）标记数据的稀缺使得优化困难。为了解决这些问题，本文提出了1）一个特定的设置，以评估性能的Few-Shot动作识别算法; 2）一个隐式序列对齐算法更好的视频级相似性比较; 3）一个先进的损失为少样本学习，以优化对相似性有限的数据。具体来说，我们提出了一种新的Few-Shot动作识别框架，该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失，使类内相似度最大化，类间相似度最小化，从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置，而是设置了一个具体的标准，类似于标准的基于图像的Few-Shot学习设置，用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV
A Comprehensive Review of Few-shot Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
本文系统综述少样本动作识别方法，提出生成式与元学习两大分类体系，涵盖视频表示、原型学习与对齐，并总结基准与未来方向。
2025-03-28 cs.CV
Context-Aware Zero-Shot Recognition
TTI-Chicago（丰田工业大学芝加哥分校）；Vaitl Inc.（Vaitl公司）；Seoul National University（首尔国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的问题设置在零样本学习，zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反，该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别，我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说，我们利用视觉背景和几何关系的所有对对象在一个单一的图像，并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中，使用条件随机场（CRF）。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome（VG）数据集上的结果表明，与传统方法相比，我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
Rethinking matching-based few-shot action recognition
Czech Technical University in Prague（捷克布拉格技术大学）；NAVER LABS Europe（NAVER欧洲实验室）
Few-Shot动作识别，即识别仅给出几个示例的新动作类，受益于结合时间信息。先前的工作要么在表示本身中编码这些信息并在测试时学习分类器，要么获得帧级特征并执行成对时间匹配。我们首先评估了一些基于匹配的方法，使用时空骨干的功能，从文献中缺失的比较，并表明简单的基线和更复杂的方法之间的性能差距显着减少。受此启发，我们提出了倒角++，一个非时间匹配功能，实现了最先进的结果，在Few-Shot动作识别。我们表明，当从时间特征开始时，我们的无参数和可解释的方法可以优于所有其他基于匹配和分类器的方法，用于三个常见数据集上的一次性动作识别，而无需在匹配阶段使用时间信息。项目页面：https://jbertrand89.github.io/matching-based-fsar
2023-03-28 cs.CV
MetaLab: Few-Shot Game Changer for Image Recognition
本文提出了一种高效的少样本图像识别方法MetaLab，通过CIELab引导的相干元学习框架，实现了高准确率、鲁棒性和有效泛化能力，接近人类识别水平。
2026-05-18 cs.CV
Shaping Visual Representations with Attributes for Few-Shot Recognition
Nanjing University（南京大学）
Few-Shot识别的目标是在低数据条件下识别新类别。一些最近的Few-Shot识别方法引入了辅助语义模态，即，类别属性信息引入到表示学习中，增强了特征区分度，提高了识别性能。现有的这些方法大多只考虑支持集的属性信息而忽略查询集，导致潜在的性能损失。在这封信中，我们提出了一种新的属性形状学习（ASL）框架，它可以联合执行查询属性生成和判别视觉表示学习的Few-Shot识别。具体来说，视觉属性预测器（VAP）的构造预测查询的属性。通过利用属性信息，设计了一个属性视觉注意模块（AVAM），它可以自适应地利用属性和视觉表示来学习更多的区分特征。在属性模态的指导下，我们的方法可以学习增强的语义感知表示分类。实验表明，我们的方法可以取得竞争力的结果在CUB和SUN基准。我们的源代码可在以下网址获得：\url{https://github.com/chenhaoxing/ASL}。
2022-06-05 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
Semantic Embedding Space for Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
动作识别的类别数量正在迅速增长。因此，收集足够的训练数据来学习每个类别的传统模型变得越来越困难。这个问题可以通过日益流行的“零样本学习”（ZRL）范例来改善。在这个框架中的映射之间的视觉特征和人类可解释的语义描述的每个类别，允许类别被识别的情况下，任何训练数据。现有的语义表征语言研究主要集中在图像数据和基于属性的语义表征上。在本文中，我们解决zero-shot识别在当代视频动作识别任务，使用语义词向量空间作为公共空间嵌入视频和类别标签。这更具挑战性，因为包含复杂动作的视频的语义空间和时空特征之间的映射更复杂，更难学习。我们证明了一个简单的自我训练和数据增强策略可以显着提高这种映射的功效。在包括HMDB 51和UCF 101在内的人体动作数据集上的实验表明，我们的方法达到了最先进的零拍（zero-shot）动作识别性能。
2015-02-05 cs.CV
Bayesian Embeddings for Few-Shot Open World Recognition
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
随着自主决策代理从狭窄的操作环境转向非结构化世界，学习系统必须从封闭世界的制定转向开放世界和Few-Shot设置，在这种设置中，代理从少量信息中不断学习新的类。这与现代机器学习系统形成鲜明对比，现代机器学习系统通常设计有一组已知的类和每个类的大量示例。在这项工作中，我们扩展嵌入为基础的少样本学习算法的开放世界的识别设置。我们将贝叶斯非参数类先验与基于嵌入的预训练方案相结合，以产生一个高度灵活的框架，我们称之为开放世界识别（FLOWR）的少样本学习。我们在通用MiniImageNet和TieredImageNet少样本学习数据集的开放世界扩展上对我们的框架进行基准测试。我们的研究结果表明，与以前的方法相比，强大的分类精度性能和高达12%的改进H-测量（新的类检测的措施）从我们的非参数开放世界少样本学习计划。
2022-10-06 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架，通过结构化语义提示提升零样本动作识别性能，尤其在细粒度和组合动作上表现优异，同时保持模型效率和泛化能力。
2026-03-09 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Delta-encoder: an effective sample synthesis method for few-shot object recognition
IBM Research AI（IBM研究AI）；Tel-Aviv University（特拉维夫大学）；Technion（以色列理工学院）
学习仅基于一个或几个示例对新类别进行分类是现代计算机视觉中的一个长期挑战。在这项工作中，我们提出了一个简单而有效的方法为Few-Shot（和一杆）的对象识别。我们的方法是基于一个修改后的自动编码器，表示增量编码器，学习合成新的样本，为一个看不见的类别只是看到一些例子。合成的样本，然后用于训练分类器。所提出的方法学习提取可转移的类内变形，或“增量”，在同类对的训练样本之间，并将这些增量应用于新类的少数提供的例子（在训练期间看不见），以便有效地合成来自新类的样本。该方法在单次目标识别方面优于现有技术，在Few-Shot情况下也优于现有技术。接受后，代码将提供。
2018-11-29 cs.CV
DGP-Net: Dense Graph Prototype Network for Few-Shot SAR Target Recognition
合成孔径雷达（SAR）图像由于其特殊的成像原理（俯角变化），不可避免地会产生特征偏差，导致识别精度不高，特别是在少样本学习（FSL）中。针对这一问题，提出了一种稠密图原型网络（DGP-Net），通过学习潜在特征来消除特征偏差，并通过学习特征分布来进行分类。原型在模型中的作用是解决FSL中由于单次抽样的偶然性而导致的同类样本之间距离过大的问题，增强模型的鲁棒性。在MSTAR数据集上的实验结果表明，DGP-Net对不同俯角的SAR图像都有较好的分类效果，其识别精度高于典型的FSL方法。
2023-02-19 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Learning Class Prototypes via Structure Alignment for Zero-Shot Recognition
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
零样本学习（Zero-shot learning，简称ZRL）是一种利用语义信息和辅助数据集，在没有特定类别训练样本的情况下识别新类别对象的方法。最近，大多数的语义学习方法集中在学习视觉语义嵌入，以将知识从辅助数据集转移到新的类。然而，很少有人研究语义信息是否对识别任务具有区分性。为了解决这个问题，我们提出了一个耦合的字典学习方法来对齐的视觉语义结构使用类原型，其中的歧视性信息躺在视觉空间被用来改善歧视性较低的语义空间。然后，zero-shot识别可以在不同的空间中进行简单的最近邻方法使用学习的类原型。在四个基准数据集上的实验表明了该方法的有效性。
2018-07-24 cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布，其参数是代表该动作类的属性向量的函数。特别是，我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合，其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知（即，先前看到的）动作类，然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置：（1）归纳设置，其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及（2）Transductive设置，进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别，其中一些标记的例子，从看不见的类。我们在基准数据集（UCF 101，HMDB 51和Olympic）上的实验显示，与各种基线相比，在标准zero-shot（不相交的可见和不可见类）和广义零样本学习设置中，性能都有显着提高。
2018-01-27 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Learning to Focus: Cascaded Feature Matching Network for Few-shot Image Recognition
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
深度网络可以通过对大量带注释的图像进行训练来学习准确识别某个类别的对象。然而，当只有少数带有注释的图像可用于学习一个类别的识别模型时，称为低拍摄图像识别任务的元学习挑战就会出现。针对测试/查询和训练/支持图像中的对象在大小、位置、风格等方面可能存在差异的问题，提出了一种称为级联特征匹配网络（CascadedFeatureMatchingNetwork，CFMN）的方法。我们训练元学习器，以通过特征匹配块更多地关注在比较图像之间具有高相关性的特征来学习更细粒度和自适应的深度距离度量，该特征匹配块可以将相关特征对齐在一起，并且自然地忽略那些非歧视性特征。通过在Few-Shot识别网络的不同层中应用所提出的特征匹配块，可以将比较图像之间的多尺度信息合并到最终的级联匹配特征中，从而通过对关系的学习进一步提高识别性能并更好地推广。在两个标准数据集\emph{mini} ImageNet和Omniglot上的少样本学习实验证实了该方法的有效性。此外，首次在COCO的一种新的数据分割方法上研究了多标签Few-Shot任务，进一步显示了所提出的特征匹配网络在复杂图像中进行少样本学习时的优越性。该代码将公开发布。
2021-01-13 cs.CV
MAtch, eXpand and Improve: Unsupervised Finetuning for Zero-Shot Action Recognition with Language Knowledge
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）；Graz University of Technology（格拉茨工业大学）
针对视觉-语言模型动词表征不足、零样本动作识别需额外调优的问题，提出无监督微调方法MAXI，利用无标注视频与动作词典，通过匹配、扩展、字幕构建文本袋并结合多示例学习适配模型，性能提升最高达14%，迁移性优于全监督基线。
2023-07-22 cs.CV
Revisiting Few-Shot Learning for Facial Expression Recognition
IBM Research（IBM研究院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
现有的大部分用于自动面部表情识别的深度神经网络都集中在一组预定义的情感类上，其中训练数据的量对性能的影响最大。然而，在标准设置中，过参数化的神经网络不适合从很少的样本中学习，因为它们可以快速过拟合。此外，这些方法不具有如此强的概括能力来识别新类别，其中每个类别的数据太有限，并且在相同语义类别内的表达中存在显著变化。我们接受这些挑战，并将问题表述为低拍摄学习，一旦基础分类器被部署，它必须快速适应使用几个样本识别新的类。在本文中，我们回顾和比较现有的低镜头面部表情识别的少样本学习方法，通过情节训练的泛化能力。特别是，我们扩展了我们的跨域泛化分析，其中训练和测试任务不是来自同一分布。我们通过大量的实验证明了低拍学习方法的有效性。
2019-12-11 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Temporal-Relational CrossTransformers for Few-Shot Action Recognition
University of Bristol（布里斯托尔大学）
我们提出了一种新的方法来Few-Shot动作识别，在支持集中找到查询和视频之间的时间对应的帧元组。与以前的Few-Shot作品不同，我们使用CrossTransformer注意力机制来构建类原型，以观察所有支持视频的相关子序列，而不是使用类平均值或单个最佳匹配。视频表示由不同数量的帧的有序元组形成，这允许比较不同速度和时间偏移的动作的子序列。我们提出的时间关系交叉转换器（TRX）实现了最先进的结果Few-Shot分裂的动力学，东西的东西V2（SSv2），HMDB 51和UCF 101。重要的是，我们的方法优于以前的工作SSv2的一个很大的保证金（12%），由于其建模时间关系的能力。详细的消融展示了匹配多个支持集视频和学习高阶关系CrossTransformers的重要性。
2021-03-28 cs.CV
A Self-supervised GAN for Unsupervised Few-shot Object Recognition
Oregon State University（俄勒冈州立大学）
本文讨论了无监督的Few-Shot对象识别，其中所有的训练图像是未标记的，测试图像被划分为查询和一些标记的支持图像，每个对象类的兴趣。训练图像和测试图像不共享对象类。我们扩展了香草GAN与两个损失函数，都旨在自监督学习。第一个是重建损失，其强制所述解码器重建已用于生成“假”图像的概率采样的潜码。第二个是三重丢失，它强制编码器输出更相似图像的更接近的图像编码。在Few-Shot分类的背景下进行评价、比较和详细的消融研究。我们的方法在Mini-Imagenet和Tiered-Imagenet数据集上的表现明显优于最先进的方法。
2020-10-19 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Incremental Few-Shot Learning for Pedestrian Attribute Recognition
Tsinghua University（清华大学）；University of Warwick（华威大学）；Xidian University（西安电子科技大学）
行人属性识别在视频监控应用中具有重要的作用，因此受到越来越多的关注。然而，大多数现有的方法都是为固定的属性集设计的。它们无法处理增量式少样本学习场景，即使经过良好训练的模型适应具有稀缺数据的新添加属性，这在现实世界中普遍存在。在这项工作中，我们提出了一个基于Meta学习的方法来解决这个问题。我们的框架的核心是一个Meta架构，能够解开多个属性信息，并迅速推广到新的属性。通过在增量式Few-Shot设置下对基准数据集PETA和RAP进行广泛的实验，我们证明了我们的方法能够以具有竞争力的性能和低资源需求执行任务。
2019-06-24 cs.CV
Multi-Modal Zero-Shot Sign Language Recognition
Semnan University（塞姆南大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
零样本学习（Zero-Shot Learning，简称ZRL）近年来发展迅速。为了克服手语识别（SLR）中的注释瓶颈，我们探索了零镜头手语识别（Zero-Shot SLR）的想法，没有注释的视觉示例，通过利用它们的文本描述。通过这种方式，我们提出了一种多模态零镜头手语识别（Zero-Shot Sign Language Recognition，ZSLR）模型，该模型利用了与基于手势的特征融合的深度特征的互补功能。基于transformer的模型和C3 D模型分别用于手部检测和深度特征提取。为了在基于特征的维度和深度特征之间进行权衡，我们在长短期记忆（LSTM）网络之上使用了自动编码器（AE）。最后，一个语义空间被用来映射的视觉特征的类标签的语言嵌入，通过双向编码器表示从Transformers（BERT）模型实现。四个大规模数据集，RKS-PERSIANSIGN，第一人称，ASLVID和isoGD的结果，显示了该模型的优越性相比，国家的最先进的替代品在SLR。
2021-09-02 cs.CV
Generative One-Shot Face Recognition
Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）；XPeng Motors（小鹏汽车）；Microsoft Research（微软研究院）；Northeastern University（东北大学）
一次性人脸识别测量的是仅一眼就能识别人的能力，是人类视觉智能的标志。传统的机器学习方法很难模仿这种方式，因为有限的数据很难有效地表示数据方差。一次性人脸识别的目标是学习一个大规模的人脸识别器，这是能够击退数据不平衡的挑战。在本文中，我们提出了一种新的生成式对抗一次性人脸识别器，试图通过适应其他正常类的数据方差来合成有意义的数据。具体来说，我们的目标是建立一个更有效的一般人脸分类正常人和一次性的人。在技术上，通过将知识转移生成器和通用分类器统一到一个框架中，设计了一个新的损失函数。这种两人极大极小优化可以指导生成更有效的数据，有效地促进学习模型中代表性不足的类，并导致人脸识别性能的显着提高。我们在MS-Celeb-1 M单次学习基准任务上评估了我们提出的模型，其中我们可以以99%的精度识别94.98%的测试图像，对于单次类，保持$99.80\%$的整体Top1精度。据我们所知，这是所有使用此基准任务的已发表方法中性能最好的，包括最近在ICCV 2017 \footnote{http://www.msceleb.org/challenge2/2017}上的MS-Celeb-1 M挑战赛的所有参与者。
2019-09-28 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology（香港科技大学）；Kauishou（快手）
尽管已经取得了很好的进展，但动作识别的性能仍然严重依赖于特定的数据集，由于劳动密集型标签，这些数据集很难扩展新的动作类。此外，时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题，我们专注于原子动作，并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入，松散的动作对齐，多头特征比较，和基于注意力的聚合，这使得动作识别只有几个训练样本，通过提取更具代表性的功能，并允许灵活的空间和时间的对齐和动作的变化。实验表明，我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
AROS: Affordance Recognition with One-Shot Human Stances
University of Bristol（布里斯托大学）；Amazon（亚马逊）
我们提出了AROS，一个一次性的学习方法，使用一个明确的表示高度清晰的人类姿势和3D场景之间的相互作用。该方法是一次性的，因为该方法不需要重新训练来添加新的示能表示实例。此外，仅需要目标姿态的一个或少数示例来描述交互。给定一个以前看不见的场景的3D网格，我们可以预测支持交互的可供性位置，并在它们周围生成相应的3D人体。我们评估了三个公共数据集的扫描与不同程度的噪音的真实环境。通过对众包评估的严格统计分析，结果表明，我们的一次性方法比数据密集型基线高出80%。
2022-10-21 cs.CV
Out-of-Distribution Detection for Generalized Zero-Shot Action Recognition
Indian Institute of Science（印度科学学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mercedes-Benz R&D India（梅赛德斯-奔驰印度研发中心）
广义zero-shot动作识别是一个具有挑战性的问题，其中的任务是识别新的动作类别，在训练阶段是不可用的，除了看到的动作类别。现有的方法遭受的固有偏见的学习分类对看到的动作类别。结果，未看见的类别样本被错误地分类为属于所看见的动作类别之一。在本文中，我们着手解决这个问题，主张在广义zero-shot动作识别中对可见和不可见动作类别进行单独处理。我们引入了一个出的分布检测器，确定是否属于一个看到或看不到的动作类别的视频功能。为了训练我们的分布外检测器，使用在看到的动作类别特征上训练的生成对抗网络来合成看不见的动作类别的视频特征。据我们所知，我们是第一个提出了一个基于分布检测器的GREML框架，用于视频中的动作识别。在三个动作识别数据集上进行了实验：Olympic Sports，HMDB 51和UCF 101。对于广义zero-shot动作识别，我们提出的方法优于基线（f-CLSWGAN），在这些数据集上的绝对增益（分类精度）分别为7.0%，3.4%和4.9%。
2019-05-06 cs.CV
Text-Enhanced Zero-Shot Action Recognition: A training-free approach
University of Trento（特伦托大学）；University of Bologna（博洛尼亚大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯塞勒基金会）
针对零样本视频动作识别现有方法需大量训练、资源消耗大且易有域偏差的问题，提出无需训练的TEAR方法，利用动作描述符分解和上下文信息增强识别，在多个数据集上验证了有效性。
2024-08-29 cs.CV
One-Shot-Learning Gesture Recognition using HOG-HOF Features
Comenius University（夸美纽斯大学）
本文的目的是描述一次性学习的手势识别系统上开发的\textit{ChaLearn Gesture Dataset}。我们使用RGB和深度图像，并结合外观（直方图的方向一致性）和运动描述符（直方图的光流）的并行时间分割和识别。二次Chi距离族用于测量直方图之间的差异，以捕获跨箱关系。我们还提出了一种新的视频裁剪算法-去除视频中所有不重要的帧。我们提出了两种方法，结合使用HOG-HOF描述符与动态时间规整技术的变体。这两种方法的性能都优于其他已发表的方法，并有助于缩小人类性能与算法之间的差距。该代码已在MLOSS存储库中公开提供。
2014-02-15 cs.CV
Few-Shot Object Recognition from Machine-Labeled Web Images
University of Technology Sydney（悉尼科技大学）
随着卷积神经网络（ConvNets）在对象识别方面的巨大进步，我们现在可以通过现成的ConvNets的预测轻松获得足够可靠的机器标记注释。在这项工作中，我们提出了一个基于抽象记忆的框架少样本学习，建立在机器标记的图像注释。我们的方法采用一些大规模的机器注释数据集（例如，OpenImages）作为外部存储体。在外部存储体中，信息以键值的形式存储在存储槽中，图像特征作为键，标签嵌入作为值。当被Few-Shot示例查询时，我们的模型从外部存储体中选择视觉上相似的数据，并将从相关外部数据中获得的有用信息写入另一个存储体，即，抽象记忆利用长短期记忆（LSTM）控制器和注意力机制来保证写入抽象存储器的数据与查询示例相关。抽象存储器集中了来自外部存储体的信息，从而使得Few-Shot识别有效。在实验中，我们首先确认我们的模型可以学习对ImageNet数据集中干净的人类标记数据进行Few-Shot对象识别。然后，我们证明，与我们的模型，机器标记的图像注释是非常有效的和丰富的资源来执行新的类别的对象识别。实验结果表明，我们提出的模型与机器标记的注释实现了很好的性能，只有1%的差距之间的一个与人类标记的注释。
2016-12-19 cs.CV
Single Shot Self-Reliant Scene Text Spotter by Decoupled yet Collaborative Detection and Recognition
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Baidu Inc（百度公司）
典型的文本识别遵循两阶段识别范式，首先检测文本实例的边界，然后在检测到的区域内执行文本识别。尽管这样的斑点范例的显着进步，一个重要的限制是，文本识别的性能在很大程度上取决于文本检测的精度，导致潜在的错误传播从检测到识别。在这项工作中，我们提出了Single Shot Self-Reliant Scene Text Spotter v2（SRSTS v2），它通过将识别与检测分离，同时协同优化两个任务来规避这一限制。具体来说，我们的SRSTS v2样本的代表性特征点周围的每个潜在的文本实例，并进行文本检测和识别并行引导这些采样点。因此，文本识别不再依赖于检测，从而减轻了从检测到识别的错误传播。此外，采样模块是在检测和识别的监督下学习的，这允许两个任务之间的协同优化和相互增强。受益于这种采样驱动的并发spotting框架，我们的方法是能够正确地识别文本实例，即使精确的文本边界是具有挑战性的检测。在四个基准上进行的大量实验表明，我们的方法与最先进的检举人相比毫不逊色。
2023-02-07 cs.CV
A Prototype-Based Generalized Zero-Shot Learning Framework for Hand Gesture Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
手势识别是人机交互中理解人类各种手势及其意图的重要手段。然而，大多数现有的工作只能识别有限的标记类的手势，并不能适应新的类别。手势识别的广义零样本学习（GSTML）的任务旨在通过利用语义表示和检测可见和不可见的类样本来解决上述问题。在本文中，我们提出了一个端到端的基于原型的手势识别框架，它由两个分支。第一个分支是基于原型的检测器，它学习手势表示并确定输入样本是否属于可见或不可见类别。第二个分支是一个zero-shot标签预测器，它将看不见的类的特征作为输入，并通过特征和语义空间之间的学习映射机制输出预测。我们进一步建立了一个手势数据集，专门针对这个GREML任务，并在这个数据集上进行了全面的实验，证明了我们提出的方法在识别可见和不可见手势方面的有效性。
2020-09-29 cs.CV
Zero-Shot Human-Object Interaction Recognition via Affordance Graphs
University of Manchester（曼彻斯特大学）
我们提出了一种新的方法，Zero-Shot人与物体的交互识别在具有挑战性的设置，涉及与看不见的动作（而不是只是看不见的组合看到的动作和对象）的相互作用。我们的方法以图形的形式利用图像内容外部的知识，该图形对动作和对象之间的示能关系进行建模，即，是否可以对给定对象执行操作。我们提出了一个损失函数，目的是将图中包含的知识提取到模型中，同时还使用图通过在潜在空间上施加局部结构来正则化学习表示。我们在几个数据集上评估了我们的方法（包括流行的CNOMO和HICO-DET），并表明它优于当前的最新技术水平。
2020-09-02 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Cross-modal Representation Learning for Zero-shot Action Recognition
Microsoft（微软）
我们提出了一个跨模态转换器为基础的框架，联合编码视频数据和文本标签的zero-shot动作识别（ZSAR）。我们的模型采用了一个概念上的新管道，通过该管道，视觉表示以端到端的方式与视觉语义关联一起学习。模型设计提供了一种自然的机制，在共享的知识空间中学习视觉和语义表示，从而鼓励学习的视觉嵌入是有区别的，语义上更一致。在zero-shot推理中，我们设计了一个简单的语义转移方案，该方案嵌入了可见和不可见类之间的语义相关性信息，以合成不可见的视觉原型。因此，视觉结构中的区别性特征可以被保留和利用，以减轻典型的zero-shot问题的信息丢失，语义差距，和hubness问题。在严格的zero-shot设置下，不对额外的数据集进行预训练，实验结果表明，我们的模型大大提高了ZSAR的最新技术水平，在UCF 101，HMDB 51和ActivityNet基准数据集上达到了令人鼓舞的top-1精度。代码将提供。
2022-05-03 cs.CV
EZSR: Event-based Zero-Shot Recognition
ANU（澳大利亚国立大学）；BITSZ（北京理工大学深圳研究院）；BIT（北京理工大学）；Huawei（华为）
针对基于事件相机数据的零样本目标识别问题，提出不依赖重建网络的事件编码器，通过标量式调制策略缓解事件数据空间稀疏性导致的语义错位，并结合大规模合成事件数据，在基准数据集上实现优于监督学习方法的性能。
2024-11-24 cs.CV
HierCode: A Lightweight Hierarchical Codebook for Zero-shot Chinese Text Recognition
School of Electronic and Information Engineering, South China University of Technology, Guangzhou, China（华南理工大学电子与信息学院）；Alibaba DAMO Academy, Hangzhou, China（阿里巴巴达摩院）
本文提出轻量级层次码本HierCode，利用多热编码、层次二叉树和原型学习实现零样本中文文本识别，在多种基准上以更少参数和更快推理达到最优性能。
2024-03-20 cs.CV
Zero-Shot Visual Recognition via Bidirectional Latent Embedding
The University of Manchester（曼彻斯特大学）
用于视觉识别的零样本学习，对象和动作识别，最近吸引了很多关注。然而，它仍然是具有挑战性的弥合视觉特征和它们的底层语义之间的语义差距，并将知识转移到语义类别在学习过程中看不见。与大多数现有的zero-shot视觉识别方法不同，我们提出了一个分阶段的双向潜在嵌入框架，用于zero-shot视觉识别的两个后续学习阶段。在自下而上的阶段中，首先通过经由适当的监督子空间学习算法探索已知类的训练数据底层的拓扑和标记信息来创建潜在嵌入空间，并且使用训练数据的潜在嵌入来形成地标，所述地标引导将看不见的类底层的语义嵌入到这个学习的潜在空间中。在自上而下的阶段，在一个给定的标签词汇的unseen-class标签的语义表示，然后嵌入到同一个潜在的空间，以保持所有不同的类之间的语义相关性，通过我们提出的半监督Sammon映射与地标的指导。因此，得到的潜在嵌入空间允许用简单的最近邻规则预测测试实例的标签。为了评估所提出的框架的有效性，我们在对象和动作识别的四个基准数据集上进行了广泛的实验，即，AwA、CUB-200-2011、UCF 101和HMDB 51。比较研究的实验结果表明，我们提出的方法产生的最先进的性能下的感应和transductive设置。
2017-06-02 cs.CV
