Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research(VinAI研究院);Retrocausal, Inc.(Retrocausal公司)
我们提出了一种新的方法用于Few-Shot视频分类,它执行外观和时间对齐。特别是,给定一对查询和支持视频,我们通过帧级特征匹配进行外观对齐,以实现视频之间的外观相似性得分,同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外,我们引入了一个Few-Shot视频分类框架,该框架在多个步骤中利用了上述外观和时间相似性分数,即基于原型的训练和测试以及归纳和转换原型细化。据我们所知,我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明,外观和时间对齐对于具有时间顺序敏感性的数据集(如Something-Something V2)至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Understanding and Predicting The Attractiveness of Human Action Shot
Microsoft Research(微软研究院)
从人体动作镜头序列中选择有吸引力的照片是相当具有挑战性的,因为“吸引力”的主观性质,这主要是人体动作姿势和背景的组合因素。先前的作品已经积极地研究了高级图像属性,包括有趣性、记忆性、流行性和美学。然而,他们都没有研究过人类动作镜头的“吸引力”。在本文中,我们提出了第一个研究的“吸引力”的人类行动拍摄采取系统的数据驱动的方法。具体来说,我们创建了一个新的动作拍摄数据集,由大约8000张高质量的动作拍摄照片组成。我们进一步对Amazon Mechanical Turk(AMT)进行了丰富的众包人类判断研究,包括单张照片的全球吸引力和一对照片的相对吸引力。进一步提出了一种具有新型混合分布匹配损失的深度连体网络,以充分利用这两种类型的收视率。大量的实验表明:(1)动作镜头吸引力的性质是主观的,但可预测;(2)我们提出的方法对于预测有吸引力的人类动作镜头是有效的。
2017-11-02 cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布,其参数是代表该动作类的属性向量的函数。特别是,我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合,其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知(即,先前看到的)动作类,然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置:(1)归纳设置,其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及(2)Transductive设置,进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别,其中一些标记的例子,从看不见的类。我们在基准数据集(UCF 101,HMDB 51和Olympic)上的实验显示,与各种基线相比,在标准zero-shot(不相交的可见和不可见类)和广义零样本学习设置中,性能都有显着提高。
2018-01-27 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而,在这样的设置中,很难学习视频的区别性特征表示。在本文中,我们提出了时间对齐预测(TAP)的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性,我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外,该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP,包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性,并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
Multi-shot Temporal Event Localization: a Benchmark
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);University of Oxford(牛津大学)
目前的发展,在时间事件或动作定位通常目标的行动,由一个单一的相机捕捉。然而,野外的大量事件或动作可以被不同位置处的多个相机捕获为一系列镜头。在本文中,我们提出了一个新的和具有挑战性的任务称为多镜头时间事件定位,并相应地,收集了一个大规模的数据集称为多镜头事件(MUSES)。Muses拥有31,477个事件实例,总计716个视频小时。Muses的核心特性是频繁的镜头切换,平均每个实例19个镜头,每个视频176个镜头,这导致了很大的实例内变化。我们的综合评估表明,在时间动作定位的最先进的方法只实现了13.1%的mAP在IoU=0.5。作为一个小小的贡献,我们提出了一个简单的基线方法来处理实例内的变化,在IOU=0.5时,MUSES上的mAP为18.9%,THUMOS 14上的mAP为56.9%。为了促进这一方向的研究,我们在https://songbai.site/muses/上发布了数据集和项目代码。
2021-04-15 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh(爱丁堡大学);Facebook AI Research(Facebook人工智能研究院)
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下,标准的评估协议是使用现有的动作识别数据集(例如UCF 101),并将类随机分为可见和不可见。然而,最近的工作建立在Kinetics数据集上预先训练的表示上,其中类与zero-shot评估数据集中的类在很大程度上重叠。因此,在监督预训练期间存在应该是不可见的类,从而使zero-shot设置的条件无效。几年前,对于基于图像的zero-shot识别,先前已经注意到类似的关注,但是尚未被zero-shot动作识别团体考虑。在本文中,我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆(TruZe)分裂UCF 101和HMDB 51,与zero-shot和广义zero-shot评价。在我们广泛的分析中,我们发现我们的TruZesplits比类似的随机分裂要难得多,因为没有任何东西从预训练中泄露出来,即看不见的性能一直较低,对于zero-shot动作识别高达8.9%。在另外的评估中,我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题,在这里我们看到高达17.1%的差异。我们发表了我们的分裂1,并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
Temporal and cross-modal attention for audio-visual zero-shot learning
University of Tübingen(图宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
用于视频分类的视听广义零样本学习需要理解音频和视觉信息之间的关系,以便能够在测试时从新颖的、先前未见过的类中识别样本。可以利用视频数据中音频和视觉数据之间的自然语义和时间对齐来学习强大的表示,这些表示在测试时推广到看不见的类。我们提出了一个多模态和时间交叉注意框架(\modelName)的视听广义零样本学习。它的输入是从预先训练的网络中获得的时间对齐的音频和视觉特征。鼓励框架专注于跨时间的跨模态对应,而不是模态内的自我注意,这显著提高了性能。我们表明,我们提出的框架,摄取时间特征产生最先进的性能\ucf,\vgg和\activity基准(广义)零样本学习。再现所有结果的代码可在\url{https://github.com/ExplainableML/TCAF-GZSL}上获得。
2022-07-20 cs.CV
Few-Shot Transformation of Common Actions into Time and Space
University of Amsterdam(阿姆斯特丹大学)
本文介绍了Few-Shot常见动作的时空定位任务。鉴于一些修剪的支持视频包含相同的,但未知的动作,我们努力在一个长的未修剪的查询视频的动作的时空定位。我们不需要任何类标签、区间边界或边界框。为了解决这一具有挑战性的任务,我们引入了一种新的Few-Shot Transformer架构,该架构具有专用的编码器-解码器结构,该结构针对联合共性学习和定位预测进行了优化,而无需建议。在AVA和UCF 101 -24数据集上的实验表明,即使在支持视频有噪声的情况下,我们的方法也能有效地进行Few-Shot常见动作定位。虽然我们不是专门为常见的时间定位而设计的,但在此设置中,我们也可以与最先进的Few-Shot和One-Shot进行比较。最后,我们证明了Few-Shot Transformer很容易扩展到每个像素的共同动作定位。
2021-04-06 cs.CV
An Efficient Framework for Few-shot Skeleton-based Temporal Action Segmentation
Harbin Institute of Technology(哈尔滨工业大学)
时态动作分割(TAS)的目的是在长的未修剪动作序列中对动作进行分类和定位。随着深度学习的成功,出现了许多用于动作分割的深度模型。然而,Few-Shot TAS仍然是一个具有挑战性的问题。本研究提出一个有效的框架,为Few-Shot基于图像的TAS,包括数据增强方法和改进的模型。本文提出了一种基于运动插值的数据增强方法,通过合成动作序列,有效地增加了数据量。此外,我们连接一个连接主义时间分类(CTC)层与网络设计的基于TCP的TAS,以获得一个优化的模型。利用CTC可以增强预测和地面实况之间的时间对齐,并进一步改进分割结果的分段度量。在两个小规模数据集和一个大规模数据集上进行的实验表明,本文提出的两种方法能够有效地提高基于Few-Shot特征的TAS任务的性能.
2022-07-20 cs.CV
TAG: A Simple Yet Effective Temporal-Aware Approach for Zero-Shot Video Temporal Grounding
Sungkyunkwan University(顺天大学)
针对零样本视频时序定位中的语义碎片化、相似度分布倾斜及依赖昂贵LLM推理的问题,提出结合时间池化、时间相干性聚类和相似度调整的无训练方法TAG,在多个基准数据集上取得最优结果。
2025-08-11 cs.CV
One-shot action recognition in challenging therapy scenarios
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);Universidad de Zaragoza(萨拉戈萨大学);Bitbrain Technologies(Bitbrain技术公司);Politecnico di Milano(米兰理工大学)
单次动作识别旨在从单个参考示例(通常称为锚示例)中识别新的动作类别。这项工作提出了一种新的方法,一次性动作识别在野外计算运动表示鲁棒可变的运动条件。然后通过评估锚和目标运动表示来执行一次性动作识别。我们还开发了一组补充步骤,以提高在最具挑战性的场景中的动作识别性能。我们的方法是在公共NTU-120一次性动作识别基准上进行评估的,优于以前的动作识别模型。此外,我们评估我们的框架上的一个真正的用例治疗自闭症的人。由于患者运动的高水平伪影,这些记录特别具有挑战性。我们的研究结果不仅提供了定量,而且还提供了在线定性测量,这对于实际治疗期间的患者评估和监测至关重要。
2021-07-29 cs.CV
Rethinking matching-based few-shot action recognition
Czech Technical University in Prague(捷克布拉格技术大学);NAVER LABS Europe(NAVER欧洲实验室)
Few-Shot动作识别,即识别仅给出几个示例的新动作类,受益于结合时间信息。先前的工作要么在表示本身中编码这些信息并在测试时学习分类器,要么获得帧级特征并执行成对时间匹配。我们首先评估了一些基于匹配的方法,使用时空骨干的功能,从文献中缺失的比较,并表明简单的基线和更复杂的方法之间的性能差距显着减少。受此启发,我们提出了倒角++,一个非时间匹配功能,实现了最先进的结果,在Few-Shot动作识别。我们表明,当从时间特征开始时,我们的无参数和可解释的方法可以优于所有其他基于匹配和分类器的方法,用于三个常见数据集上的一次性动作识别,而无需在匹配阶段使用时间信息。项目页面:https://jbertrand89.github.io/matching-based-fsar
2023-03-28 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架,通过结构化语义提示提升零样本动作识别性能,尤其在细粒度和组合动作上表现优异,同时保持模型效率和泛化能力。
2026-03-09 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University(卡内基梅隆大学)
如何表现一个动作?如何描述一个我们从未见过的行为?这些问题通过零样本学习范式来解决,其中模型仅在类的子集上进行训练,并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中,我们提出了一个基于身体姿势的zero shot动作识别网络,并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者,以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识,使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Multi-modal Prompting for Low-Shot Temporal Action Localization
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud & AI(华为云与AI)
在本文中,我们考虑的时间动作定位低镜头(zero-shot和Few-Shot)的情况下的问题,与目标检测和分类的动作实例从任意类别中的一些未修剪的视频,甚至没有看到在训练时间。我们采用了基于transformer的两阶段动作本地化架构,其中包含与类无关的动作建议,然后是开放词汇分类。我们作出以下贡献。首先,为了补偿具有时间运动的图像-文本基础模型,我们通过显式对齐光流、RGB和文本的嵌入来改进类别无关的动作提议,这在现有的低拍摄方法中在很大程度上被忽略。其次,为了改进开放词汇动作分类,我们构造了具有强区分能力的分类器,即,避免词汇歧义。具体来说,我们建议使用详细的动作描述(从大规模语言模型中获取)或视觉条件化的实例特定提示向量来提示预训练的CLIP文本编码器。第三,我们对THUMOS 14和ActivityNet 1.3进行了彻底的实验和消融研究,证明了我们提出的模型的优越性能,比现有的最先进的方法有一个显著的优势。
2023-03-21 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab(腾讯人工智能实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件,使我们的生活更加安全。然而,有效的动作识别并非没有困难。首先,在日常生活中有太多的动作类,我们无法预先定义所有可能的动作类。此外,由于法律限制和隐私保护,很难收集某些特定行为(如偷窃和街头斗殴)的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类,因此具有很好的应用前景。然而,目前的零样本学习算法已经研究了不合理的设置,看到的类是缺席的测试阶段。出于这一动机,我们研究的任务下,一个更现实的\emph{generalized zero-shot setting},测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知,这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究,现有的几个zero-shot学习方法,在这个新的设置在网络规模的视频数据。我们的实验结果表明,在广义设置下,典型的零样本学习方法对我们应用的数据集不再有效。然后,我们提出了一种通过部署广义零样本学习的行为识别方法,该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性,我们进一步构建了一个新的监控视频数据集,由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
Beyond Consistency: Preserving Temporal Structure in Zero-Shot Video Editing
Anhui University(安徽大学);University of Surrey(萨里大学);University of Warwick(华威大学)
提出一种零样本视频编辑方法,通过自适应分割视频片段、选取锚帧和令牌合并策略,首次显式保留源视频的时间结构,平衡编辑保真度与计算效率。
2026-06-07 cs.CV
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam(阿姆斯特丹大学)
我们的目标是zero-shot定位和分类的人的行动,在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移,我们的主要贡献是空间感知对象嵌入。为了达到空间感知,我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性,并进一步用估计的空间偏好来实施。除了局部对象感知,我们还将全局对象感知嵌入到我们的嵌入中,以最大限度地提高演员和对象的交互。最后,我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外,我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
针对长视频信息冗余、时空推理难度大的问题,提出零样本长视频理解框架VideoINSTA,通过事件式时间推理、内容式空间推理及自反思信息平衡机制,在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
Temporal-Visual Semantic Alignment: A Unified Architecture for Transferring Spatial Priors from Vision Models to Zero-Shot Temporal Tasks
Nanjing University(南京大学)
TimeArtist通过时间-视觉语义对齐框架,实现从时间序列到高质量图像生成的跨模态转换,并在零样本时间任务中取得优异表现。
2025-11-25 cs.CV
Temporal Transductive Inference for Few-Shot Video Object Segmentation
Electrical Engeering and Computer Science, York University, ON, Canada(电气工程与计算机科学系,约克大学,加拿大)
本文提出一种简单有效的时序传递推断方法,利用未标记视频帧中的时间一致性,通过全局和局部时间约束提升时间一致性并减少过拟合,实验显示在YouTube-VIS上平均交并比优于现有元学习方法2.8%。
2023-07-16 cs.CV
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University(上海交通大学);The University of Tokyo(东京大学);E-surfing Vision Technology Co., Ltd.(天翼视觉科技有限公司)
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题,提出I2ST,通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
Learning Causal Domain-Invariant Temporal Dynamics for Few-Shot Action Recognition
Boston College(波士顿学院);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Tulane University(杜兰大学)
提出CDDTD框架,通过因果表示学习分离时间不变与变化表示,在适应阶段固定时间动态并更新编码器与域估计器,在少样本动作识别任务上取得卓越准确率。
2024-06-04 cs.CV
A Comprehensive Review of Few-shot Action Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
本文系统综述少样本动作识别方法,提出生成式与元学习两大分类体系,涵盖视频表示、原型学习与对齐,并总结基准与未来方向。
2025-03-28 cs.CV
Trajectory-aligned Space-time Tokens for Few-shot Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);GenAI, Meta(Meta GenAI部门)
本文提出轨迹对齐tokens(TATs)解耦运动与外观表示,结合Masked Space-time Transformer在少样本动作识别任务上取得最优结果。
2024-07-25 cs.CV
All About Knowledge Graphs for Actions
University of Maryland, College Park(马里兰大学帕克分校)
当前的动作识别系统需要大量的训练数据来识别动作。最近的工作已经探索了zero-shot和少样本学习的范例,以学习未见过的类别或具有很少标签的类别的分类器。在对象识别中遵循类似的范例,这些方法利用外部知识源(例如,来自语言域的知识图谱)。但是,与对象不同,对于动作来说,什么是最好的知识表示还不清楚。在本文中,我们打算获得一个更好的知识图谱(KG),可用于zero-shot和Few-Shot动作识别。特别是,我们研究了三种不同的构建机制:动作嵌入,动作对象嵌入,视觉嵌入。我们提出了广泛的分析不同的KG在不同的实验设置的影响。最后,为了系统地研究zero-shot和Few-Shot方法,我们提出了一种基于UCF 101,HMDB 51和Charades数据集的改进评估范式,用于从Kinetics训练的模型中进行知识转移。
2020-08-28 cs.CV
S3D: Single Shot multi-Span Detector via Fully 3D Convolutional Networks
UC Santa Barbara(加州大学圣巴巴拉分校);University of Maryland(马里兰大学)
在本文中,我们提出了一种新的Single Shot多跨度检测器,用于使用简单的端到端全三维卷积(Conv3D)网络在长的未修剪视频中进行时间活动检测。我们的架构,命名为S3D,编码整个视频流和离散化的输出空间的时间活动跨度到一组默认的跨度在不同的时间位置和尺度。在预测时间,S3D预测每个默认跨度中活动类别的存在的分数,并产生相对于跨度位置的时间调整,以预测精确的活动持续时间。与许多需要单独的建议和分类阶段的最先进的系统不同,我们的S3D本质上很简单,专门为单发,端到端的时间活动检测而设计。在THUMOS的14检测基准测试中,S3D达到了最先进的性能,非常高效,可以以1271 FPS的速度运行。
2018-08-07 cs.CV
Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University(西北工业大学)
少样本学习的目的是用少量的标记样本从新类别中识别实例,具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作,但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究,并且仍然具有挑战性:1)不同文献之间实现细节的差异使得公平比较困难; 2)时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3)标记数据的稀缺使得优化困难。为了解决这些问题,本文提出了1)一个特定的设置,以评估性能的Few-Shot动作识别算法; 2)一个隐式序列对齐算法更好的视频级相似性比较; 3)一个先进的损失为少样本学习,以优化对相似性有限的数据。具体来说,我们提出了一种新的Few-Shot动作识别框架,该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失,使类内相似度最大化,类间相似度最小化,从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置,而是设置了一个具体的标准,类似于标准的基于图像的Few-Shot学习设置,用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV
TA2N: Two-Stage Action Alignment Network for Few-shot Action Recognition
Shanghai Jiao Tong University(上海交通大学);Heriot-Watt University Malaysia(赫瑞-瓦特大学马来西亚校区);Huawei Cloud(华为云)
Few-Shot动作识别的目标是仅使用少量样本(支持)来识别新颖的动作类(查询)。目前的大多数方法都遵循度量学习范式,该范式学习比较视频之间的相似性。最近,已经观察到,直接测量这种相似性是不理想的,因为不同的动作实例可能会显示出不同的时间分布,从而导致查询和支持视频之间的严重错位问题。在本文中,我们逮捕这个问题从两个不同的方面-行动持续时间错位和行动演变错位。我们通过两阶段行动一致网络(TA 2N)依次解决这些问题。第一阶段通过学习时间仿射变换来定位动作,该时间仿射变换将每个视频特征扭曲到其动作持续时间,同时忽略与动作无关的特征(例如背景)。第二阶段通过时间重排和空间偏移预测,协调查询特征以匹配支持度的时空动作演化。在基准数据集上的大量实验表明,该方法在实现Few-Shot动作识别的最新性能方面具有潜力。https://github.com/R00Kie-Liu/TA2N
2022-12-22 cs.CV
Multi-Stream Single Shot Spatial-Temporal Action Detection
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
我们提出了一种基于3D卷积神经网络(CNN)的Single Shot检测器,用于时空动作检测任务。我们的模型包括:(1)两个短期外观和运动流,分别输入单个RGB和光流图像,以便捕获当前帧的空间和时间信息;(2)两个基于3D ConvNet的长期流,处理连续RGB和光流图像序列,以捕获来自过去帧的上下文。我们的模型在视频中的动作检测方面具有很强的性能,并且可以很容易地集成到任何当前的双流动作检测方法中。我们在具有挑战性的UCF 101 -24动作数据集上报告了71.30%的帧mAP,实现了一阶段方法的最新结果。据我们所知,我们的工作是第一个在动作检测任务中结合3D CNN和SSD的系统。
2019-08-22 cs.CV
Exploiting Temporal Coherence for Self-Supervised One-shot Video Re-identification
University of California, Riverside(加州大学河滨分校)
虽然重新识别中的监督技术非常有效,但对大量注释的需求使得它们对于大型摄像机网络来说不切实际。单次重新识别,它使用一个单一的标记轨迹为每个身份以及一个池的未标记的轨迹,是一个潜在的候选人,以减少这种标记的努力。当前的一次性重新识别方法通过对标记数据和未标记数据之间的相互关系进行建模来起作用,但未能充分利用存在于未标记数据本身的池内的这种关系。在本文中,我们提出了一个新的框架,称为时间一致性渐进学习,它使用时间一致性作为一种新的自我监督的辅助任务,在一次学习范式,以捕捉这种关系之间的未标记的tracklet。优化了两个新的损失,这两个损失在局部和全局范围内加强了一致性,我们的框架可以学习更丰富和更具鉴别力的表示。在两个具有挑战性的视频重识别数据集- MARS和DukeMTMC-VideoReID -上的大量实验表明,我们提出的方法能够更准确地估计未标记数据的真实标签,最高可达$8\%$,并且与现有的最先进的技术相比,获得了更好的重识别性能。
2020-07-21 cs.CV
Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);S-Lab, Nanyang Technological University(南洋理工大学S实验室)
FRESCO通过整合帧内与帧间对应关系,提升视频翻译与编辑的空间-时间一致性,实现高质量、一致的视频生成。
2025-12-03 cs.CV
Knowledge Prompting for Few-shot Action Recognition
Beijing Institute of Technology(北京理工大学)
视频中的Few-Shot动作识别由于缺乏监督和难以推广到不可见动作而具有挑战性。为了解决这个问题,我们提出了一种简单而有效的方法,称为知识提示,它利用来自外部资源的动作常识知识来提示一个强大的预训练视觉语言模型用于Few-Shot分类。我们首先收集大规模的语言描述的行动,定义为文本建议,建立一个行动知识库。文本建议的收集是通过使用外部动作相关语料填充手工句子模板或从Web教学视频的字幕中提取动作相关短语来完成的,然后将这些文本建议与视频帧一起输入到预先训练好的视觉语言模型中,以生成建议与每个帧的匹配分数,这些分数可以被视为具有很强泛化性的动作语义。最后,我们设计了一个轻量级的时态建模网络来捕捉动作语义的时态演化,并在六个基准数据集上进行了大量的实验,结果表明,我们的方法在达到最先进性能的同时,将训练开销降低到现有方法的0.001。
2022-11-22 cs.CV
Out-of-Distribution Detection for Generalized Zero-Shot Action Recognition
Indian Institute of Science(印度科学学院);Inception Institute of Artificial Intelligence(起源人工智能研究院);Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
广义zero-shot动作识别是一个具有挑战性的问题,其中的任务是识别新的动作类别,在训练阶段是不可用的,除了看到的动作类别。现有的方法遭受的固有偏见的学习分类对看到的动作类别。结果,未看见的类别样本被错误地分类为属于所看见的动作类别之一。在本文中,我们着手解决这个问题,主张在广义zero-shot动作识别中对可见和不可见动作类别进行单独处理。我们引入了一个出的分布检测器,确定是否属于一个看到或看不到的动作类别的视频功能。为了训练我们的分布外检测器,使用在看到的动作类别特征上训练的生成对抗网络来合成看不见的动作类别的视频特征。据我们所知,我们是第一个提出了一个基于分布检测器的GREML框架,用于视频中的动作识别。在三个动作识别数据集上进行了实验:Olympic Sports,HMDB 51和UCF 101。对于广义zero-shot动作识别,我们提出的方法优于基线(f-CLSWGAN),在这些数据集上的绝对增益(分类精度)分别为7.0%,3.4%和4.9%。
2019-05-06 cs.CV
Semantic Embedding Space for Zero-Shot Action Recognition
Queen Mary University of London(伦敦玛丽女王大学)
动作识别的类别数量正在迅速增长。因此,收集足够的训练数据来学习每个类别的传统模型变得越来越困难。这个问题可以通过日益流行的“零样本学习”(ZRL)范例来改善。在这个框架中的映射之间的视觉特征和人类可解释的语义描述的每个类别,允许类别被识别的情况下,任何训练数据。现有的语义表征语言研究主要集中在图像数据和基于属性的语义表征上。在本文中,我们解决zero-shot识别在当代视频动作识别任务,使用语义词向量空间作为公共空间嵌入视频和类别标签。这更具挑战性,因为包含复杂动作的视频的语义空间和时空特征之间的映射更复杂,更难学习。我们证明了一个简单的自我训练和数据增强策略可以显着提高这种映射的功效。在包括HMDB 51和UCF 101在内的人体动作数据集上的实验表明,我们的方法达到了最先进的零拍(zero-shot)动作识别性能。
2015-02-05 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology(香港科技大学);Kauishou(快手)
尽管已经取得了很好的进展,但动作识别的性能仍然严重依赖于特定的数据集,由于劳动密集型标签,这些数据集很难扩展新的动作类。此外,时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题,我们专注于原子动作,并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入,松散的动作对齐,多头特征比较,和基于注意力的聚合,这使得动作识别只有几个训练样本,通过提取更具代表性的功能,并允许灵活的空间和时间的对齐和动作的变化。实验表明,我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Continual Learning Improves Zero-Shot Action Recognition
University of Nottingham(诺丁汉大学);University of Bath(巴斯大学);University of Edinburgh(爱丁堡大学)
本文提出基于持续学习的GIL方法,利用过去类别的合成特征记忆与新颖类别真实特征结合训练分类模型,提升了零样本动作识别在未见类别上的泛化能力,并在多个基准上达到新SOTA。
2024-10-14 cs.CV
FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出FRESCO框架,通过结合帧内与帧间对应关系并显式更新特征,增强时空约束,实现零样本视频翻译的高视觉连贯性,显著优于现有方法。
2024-03-19 cs.CV
HyRSM++: Hybrid Relation Guided Temporal Set Matching for Few-shot Action Recognition
Alibaba Group(阿里巴巴集团);Twitter(推特);Huazhong University of Science and Technology(华中科技大学)
最近的尝试主要集中在情景元学习机制下单独学习每个视频的深度表示,然后执行时间对齐以匹配查询和支持视频。然而,他们仍然遭受两个缺点:(i)学习个别的功能,而不考虑整个任务可能会导致有限的表示能力,和(ii)现有的对齐策略是敏感的噪声和未对齐的实例。为了解决这两个问题,本文提出了一种新的混合关系引导的时间集匹配(HyRSM++)方法用于Few-Shot动作识别。HyRSM++的核心思想是整合任务中的所有视频,以学习区分性表示并涉及强大的匹配技术。具体来说,HyRSM++包括两个关键组件,一个混合关系模块和一个时间集匹配度量。给定来自特征提取器的基本表示,引入混合关系模块以充分利用情节任务中的视频内和跨视频的关联关系,从而可以学习特定于任务的嵌入。随后,在时间集合匹配度量中,我们从集合匹配的角度进行查询和支持视频之间的距离度量,并设计了一个双MHM,以提高对未对齐实例的弹性。此外,我们明确地利用视频中的时间相干性来正则化匹配过程。此外,我们扩展了建议HyRSM++处理更具挑战性的半监督Few-Shot动作识别和无监督Few-Shot动作识别任务。多个基准测试的实验结果表明,我们的方法实现了国家的最先进的性能在各种Few-Shot设置。源代码可在https://github.com/alibaba-mmai-research/HyRSMPlusPlus上获得。
2023-01-09 cs.CV
DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding
Singapore University of Technology and Design(新加坡科技设计大学);Wuhan University(武汉大学);University of California, Merced(加州大学默塞德分校)
提出DART方法,通过难度感知路由和结构化推理,利用DPP选择关键帧并评估难度,对简单查询快速预测,复杂查询使用时间标记提示分解定位,在零样本视频时间定位中取得SOTA性能。
2026-07-02 cs.CV
Surgical Phase Recognition of Short Video Shots Based on Temporal Modeling of Deep Features
腹腔镜手术(LS)操作的视频识别阶段构成了有效的内容表示,索引和检索手术视频数据库中的基本步骤。在文献中,大多数技术集中于使用手工制作的视觉特征、仪器使用信号和最近的卷积神经网络(CNN)对整个LS视频进行相位分割。在本文中,我们解决的问题,相位识别的短视频镜头(10秒)的操作,而不利用信息的前/即将到来的视频帧,其相位标签或所使用的仪器。我们研究了四种最先进的CNN架构(Alexnet,VGG 19,GoogleNet和ResNet 101),用于通过迁移学习进行特征提取。采用视觉显著性来选择图像的信息量最大的区域作为CNN的输入。视频镜头表示是基于两个时间池机制。最重要的是,我们调查了“运行时间”(从操作开始)的作用,我们表明,包含此功能可以显着提高性能(69%与75%的平均准确度)。最后,基于CNN特征与“经过时间”的融合,训练了一个长短期记忆(LSTM)网络用于视频镜头分类,将准确率提高到86%。我们的研究结果突出了视觉显着性,长距离的时间递归和“流逝的时间”(一个功能,到目前为止被忽略),手术阶段识别的突出作用。
2018-12-07 cs.CV
ZSTAD: Zero-Shot Temporal Activity Detection
Xi’an Jiaotong University(西安交通大学);Monash University(莫纳什大学);The University of Queensland(昆士兰大学);Carnegie Mellon University(卡内基梅隆大学)
视频分析和监控的一个组成部分是时间活动检测,这意味着同时识别和定位长未修剪视频中的活动。目前,最有效的时间活动检测方法是基于深度学习的,并且它们通常在大规模注释视频的训练中表现得非常好。然而,这些方法在实际应用中受到限制,由于无法获得关于某些活动类的视频和耗时的数据注释。为了解决这个具有挑战性的问题,我们提出了一种新的任务设置称为zero-shot时间活动检测(ZSTAD),在训练中从未见过的活动仍然可以被检测到。我们设计了一个基于R-C3 D的端到端深度网络作为该解决方案的架构。所提出的网络进行了优化,创新的损失函数,认为嵌入的活动标签及其超类,同时学习的共同语义的可见和不可见的活动。在THUMOS 14和Charades数据集上进行的实验表明,在检测看不见的活动方面表现出良好的性能。
2020-03-12 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná(巴拉那联邦学院);Federal University of Paraná(巴拉那联邦大学)
Zero-Shot动作识别在过去的几年里引起了人们的关注,已经提出了许多方法来识别图像和视频中的对象,事件和动作。有一个需求的方法,可以分类的实例从类中不存在于模型的训练,特别是在自动视频理解的复杂问题,因为收集,注释和标记视频是困难和费力的任务。我们已经确定,有许多方法可在文献中,但是,很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议,有没有工作集中在视频。因此,我们提出了一个调查的方法,包括技术来执行视觉特征提取和语义特征提取,以及学习这些功能之间的映射,特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集,实验和协议的完整描述,提出了开放的问题和未来工作的方向,计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
Zero-Shot Action Recognition from Diverse Object-Scene Compositions
University of Amsterdam(阿姆斯特丹大学)
本文研究了在没有训练视频的情况下,zero-shot动作识别的问题。对于这种具有挑战性的场景,目前的主要方法是通过使用预先训练的网络识别视频中的对象,然后在对象和动作之间进行语义匹配,从而从图像域转移知识。当对象提供视频内容的局部视图时,在这项工作中,我们还寻求包括动作发生的场景的全局视图。我们发现,场景本身也能够识别看不见的动作,虽然比对象更边缘,基于对象和基于场景的分数的直接组合降低了动作识别性能。为了充分利用物体和场景,我们建议将它们构建为所有可能组合的笛卡尔乘积。我们概述了如何确定视频中的对象场景成分的可能性,以及从对象场景成分到动作的语义匹配,该动作在每个动作的最相关成分之间实施多样性。虽然简单,但我们基于合成的方法优于基于对象的方法,甚至是最先进的zero-shot方法,这些方法依赖于具有数百个可见动作的大规模视频数据集进行训练和知识转移。
2021-10-26 cs.CV
Spatio-temporal Relation Modeling for Few-shot Action Recognition
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence(英赛普申人工智能研究院);Aalto University(阿尔托大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);King Abdullah University of Science & Technology(阿卜杜拉国王科技大学)
我们提出了一种新的Few-Shot动作识别框架,STRM,它增强了类特定的特征的可辨别性,同时学习高阶时间表示。我们的方法的重点是一个新的时空富集模块,聚合空间和时间的背景下,专用的本地补丁级和全球帧级的功能丰富的子模块。局部块级富集捕获基于外观的动作特征。另一方面,全局帧级丰富明确地编码广泛的时间背景,从而随着时间的推移捕获相关的对象特征。然后利用所得到的时空富集表示来学习查询和支持动作子序列之间的关系匹配。我们进一步引入了一个查询类相似性分类器的补丁级丰富的功能,以提高类特定的特征的区分度,通过加强在不同阶段的特征学习,在建议的框架。实验在四个Few-Shot动作识别基准上进行:Kinetics,SSv2,HMDB 51和UCF 101。我们广泛的消融研究揭示了所提出的贡献的好处。此外,我们的方法在所有四个基准上都设定了一个新的最先进的水平。在具有挑战性的SSv2基准,我们的方法实现了$3.5\%$的分类精度的绝对增益相比,现有的最佳方法在文献中。我们的代码和模型可在https://github.com/Anirudh257/strm上找到。
2022-04-05 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne(墨尔本大学)
基于骨架的动作识别受到越来越多的关注,因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率,提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而,由于对局部不变特征和噪声特征的广义学习不足,这种测量具有不稳定的代表性,而直观地说,更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题,我们提出了自适应局部组件感知图卷积网络,它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明,我们的方法提供了比全局嵌入更强的表示,并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
TF-CADE: Foreground-Concentrated Text-Video Alignment for Zero-Shot Temporal Action Detection
Korea University(高丽大学)
针对零样本时序动作检测中现有方法难以捕捉动作类别语义差异的问题,提出TF-CADE模型,通过ACA和CCR策略提升文本-视频对齐效果,实现分布内最优性能与跨数据集泛化能力。
2026-08-19 cs.CV
Hierarchical Relation-augmented Representation Generalization for Few-shot Action Recognition
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Artificial Intelligence Industrial Technology Research Institute, Nanjing Institute of Technology(南京理工大学人工智能工业技术研究院)
提出HR2G-shot框架,通过统一帧间、视频间和任务间三种关系建模,从整体视角学习任务特定的时间模式,以提升少样本动作识别的性能。
2026-09-01 cs.CV
Text-Enhanced Zero-Shot Action Recognition: A training-free approach
University of Trento(特伦托大学);University of Bologna(博洛尼亚大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
针对零样本视频动作识别现有方法需大量训练、资源消耗大且易有域偏差的问题,提出无需训练的TEAR方法,利用动作描述符分解和上下文信息增强识别,在多个数据集上验证了有效性。
2024-08-29 cs.CV
Telling Stories for Common Sense Zero-Shot Action Recognition
University of Nottingham(诺丁汉大学);University of Edinburgh(爱丁堡大学)
本文提出基于 WikiHow 文本叙述构建的 Stories 数据集,通过多句描述建模动作间关系,并利用其改进零样本动作识别的特征生成,在多个基准上无需微调即取得最优结果,top-1 准确率最高提升 6.1%。
2024-10-23 cs.CV
MVP-Shot: Multi-Velocity Progressive-Alignment Framework for Few-Shot Action Recognition
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Department of Computer Science and Technology, Nanjing University(南京大学计算机科学与技术系)
针对少样本动作识别中单一尺度对齐忽略动作速度变化的问题,提出MVP-Shot框架,通过MVFA模块进行多速度特征残差对齐,并利用PSTI模块注入文本语义,在多个基准上达到SOTA。
2025-03-05 cs.CV
Frame Order Matters: A Temporal Sequence-Aware Model for Few-Shot Action Recognition
Zhejiang University(浙江大学)
本文提出了一种用于少样本动作识别的时间序列感知模型TSAM,通过整合序列感知器适配器、大型语言模型文本语料库和不平衡最优传输策略,在五个数据集上以巨大优势刷新了基准。
2024-08-22 cs.CV
Can masking background and object reduce static bias for zero-shot action recognition?
Nagoya Institute of Technology(名古屋工业大学);National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
本文研究零样本动作识别中的静态偏差,通过掩蔽背景和物体训练CLIP模型,减少对静态外观的依赖,提升动作关注度与性能。
2025-01-22 cs.CV
On the Importance of Spatial Relations for Few-shot Action Recognition
Fudan University(复旦大学)
针对小样本动作识别忽视空间关系的问题,本文提出融合空间对齐与时间建模的 SA-CT 及 Temporal Mixer,在多个基准上取得竞争力结果。
2023-08-14 cs.CV