Deep set conditioned latent representations for action recognition
University of Antwerp - imec(安特卫普大学-imec);IDLab(IDLab(互联网与数据实验室))
近年来,多标签、多类别的视频动作识别得到了广泛的应用。虽然对时间上连接的原子动作进行推理对于智能物种来说是平凡的,但标准的人工神经网络(ANN)仍然难以对其进行分类。在现实世界中,原子动作通常在时间上连接以形成更复杂的复合动作。挑战在于识别不同持续时间的复合动作,而其他不同的复合或原子动作发生在后台。借鉴关系网络的成功,我们提出了学习推理对象和动作的语义概念的方法。我们经验性地展示了人工神经网络如何从预训练,关系归纳偏差和无序的基于集合的潜在表示中受益。在本文中,我们提出了深度集条件I3D(SCI3D),一个双流关系网络,采用潜在的状态表示和视觉表示推理的事件和动作。他们学习对时间上相关的动作进行推理,以便识别视频中的所有动作。在CATER数据集上,所提出的方法在原子动作识别中实现了约1.49%mAP的改进,在复合动作识别中实现了17.57%mAP的改进。
2022-12-21 cs.CV
Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
细粒度人体动作识别是计算机视觉的核心研究课题。受FineGym和SlowFast网络中最近提出的用于动作识别的细粒度动作的层次表示的启发,我们提出了一种新的多任务网络,该网络利用FineGym层次表示来实现有效的联合学习和预测,用于细粒度的人类动作识别。多任务网络由三个路径的SlowOnly网络组成,其中事件、集合和细粒度动作元素的帧速率逐渐增加,然后是我们提出的用于联合学习和预测的集成层。它是一种两阶段的方法,首先在每个层次上学习深度特征表示,然后进行特征编码和融合以进行多任务学习。我们在FineGym数据集上的经验结果实现了最新的性能,元素操作的Top-1准确率为91.80%,平均准确率为88.46%,比之前的最佳结果高出3.40%和7.26%。
2021-10-12 cs.CV
ViA: View-invariant Skeleton Action Representation Learning via Motion Retargeting
Inria(法国国家信息与自动化研究所);Toyota Motor Europe(丰田汽车欧洲公司);Shanghai AI Laboratory(上海人工智能实验室)
当前用于骨架动作表示学习的自监督方法通常集中于受限场景,其中视频和骨架数据在实验室设置中记录。当处理真实世界视频中的估计骨架数据时,由于主体和相机视点之间的大变化,这种方法表现不佳。为了解决这个问题,我们引入了ViA,一种新的视图不变自动编码器,用于自监督骨架动作表示学习。ViA利用不同人类表演者之间的运动重定向作为借口任务,以便在2D或3D骨架序列的视觉表示之上解开潜在的特定于动作的“运动”特征。这种“运动”特征对于骨架几何形状和相机视图是不变的,并且允许ViA促进跨主体和跨视图动作分类任务。我们进行了一项研究,重点是对基于机器人的动作识别进行迁移学习,并对真实世界的数据进行自我监督的预训练(例如,Posetics)。我们的研究结果表明,从ViA学习的骨架表示是通用的,足以提高最先进的动作分类精度,不仅在3D实验室数据集,如NTU-RGB+D 60和NTU-RGB+D 120,而且在现实世界的数据集,只有2D数据是准确估计,例如,Toyota Smarthome、UAV-Human和Penn Action。
2022-08-31 cs.CV
3D Human Action Representation Learning via Cross-View Consistency Pursuit
Shanghai Jiao Tong University(上海交通大学)
在这项工作中,我们提出了一个跨视图对比学习框架的无监督三维基于动作表示(CrosSCLR),利用多视图互补的监督信号。CrossSCLR由单视图对比学习(Simple-View Consistent Knowledge Mining,CVC-KM)模块和跨视图一致性知识挖掘(Simple-View Consistent Knowledge Mining,CVC-KM)模块组成,以协作学习的方式集成。注意,CVC-KM以这样的方式工作,即根据它们的嵌入相似性在视图之间交换高置信度的正/负样本及其分布,从而确保在对比上下文方面的跨视图一致性,即,类似的分布。大量的实验表明,CrosSCLR在无监督设置下对NTU-60和NTU-120数据集实现了显着的动作识别结果,观察到更高质量的动作表示。我们的代码可在https://github.com/LinguoLi/CrosSCLR上获得。
2021-05-01 cs.CV
Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements
Kyoto University(京都大学);Kyoto Institute of Technology(京都理工学院);RIKEN(理化学研究所)
提出一种层次化表示方法,通过自监督学习从人体姿态数据中提取动作原子和动作基元,用于动作识别、运动预测和运动插值等任务。
2026-06-02 cs.CV
Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,基于手势的人体动作识别引起了越来越多的关注。然而,大多数现有的工作集中在监督学习,需要大量的注释的动作序列,往往是昂贵的收集。我们研究无监督的表示学习的骨架动作识别,并设计了一种新的骨架云着色技术,能够学习骨架表示从未标记的骨架序列数据。具体来说,我们将骨架动作序列表示为3D骨架云,并根据原始(未注释)骨架序列中的时间和空间顺序对云中的每个点进行着色。利用彩色骨骼点云,我们设计了一个自动编码器框架,可以有效地从骨骼关节的人工颜色标签中学习时空特征。我们使用在不同配置下训练的动作分类器来评估我们的骨架云着色方法,包括无监督,半监督和全监督设置。在NTU RGB+D和NW-UCLA数据集上的大量实验表明,该方法的识别性能明显优于现有的无监督和半监督3D动作识别方法,在有监督的3D动作识别中也取得了较好的效果。
2021-08-09 cs.CV
Balanced Representation Learning for Long-tailed Skeleton-based Action Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);University of Science and Technology of China(中国科学技术大学)
针对长尾骨架动作识别中的数据不平衡导致表征有偏的问题,提出含时空动作探索、分离式动作感知学习和跳模态表征的平衡表征学习方法,在多个数据集上取得优于SOTA的性能与泛化能力。
2025-02-21 cs.CV
Skeleton-Contrastive 3D Action Representation Learning
University of Amsterdam(阿姆斯特丹大学)
本文致力于自监督学习的特征空间,适合基于动作识别。我们的建议是建立在学习不变性输入骨架表示和各种骨架增强通过噪声对比估计。特别是,我们提出了骨架间对比学习,它以交叉对比的方式从多个不同的输入骨架表示中学习。此外,我们还提供了几个特定于骨架的空间和时间增强,进一步鼓励模型学习骨架数据的时空动态。通过学习不同骨架表示之间的相似性以及相同序列的增强视图,鼓励网络学习骨架数据的更高级别的语义,而不是只使用增强视图。我们的方法实现了最先进的性能自监督学习从骨架数据上具有挑战性的PKU和NTU数据集与多个下游任务,包括动作识别,动作检索和半监督学习。代码可在https://github.com/fmthoker/skeleton-contrast上获得。
2021-08-08 cs.CV
MAiVAR: Multimodal Audio-Image and Video Action Recognizer
Edith Cowan University(伊迪丝·考恩大学);The University of Western Australia(西澳大学)
目前,动作识别主要是在CNN处理的视频数据上执行的。我们研究了CNN的表示过程是否也可以通过在任务中结合基于图像的动作音频表示来用于多模式动作识别。为此,我们提出了多模态音频图像和视频动作识别器(MAiVAR),这是一种基于CNN的音频图像到视频融合模型,它考虑了视频和音频模态,以实现卓越的动作识别性能。MAiVAR提取音频的有意义的图像表示,并将其与视频表示融合,以在大规模动作识别数据集上实现更好的性能。
2022-09-11 cs.CV
PM-GANs: Discriminative Representation Learning for Action Recognition Using Partial-modalities
Chongqing University of Posts and Telecommunications(重庆邮电大学);Harbin Institute of Technology(哈尔滨工业大学);Xi’an Jiaotong University(西安交通大学)
不同模态的数据通常传达互补但异构的信息,并且通常通过组合多种数据模态(如RGB和红外特征)来优选更具区别性的表示。然而,在现实中,由于许多限制,获得两个数据信道是具有挑战性的。例如,RGB监控摄像机通常被限制在私人空间,这与用于个人安全的异常活动检测的需求相冲突。因此,使用部分数据通道来构建多模态的完整表示显然是期望的。在本文中,我们提出了一种新的部分模态生成对抗网络(PM-GANs),它只使用部分模态的数据来学习全模态表示。通过生成的表示代替丢失的数据通道来实现完整的表示。大量的实验进行了验证,我们提出的方法对动作识别的性能,与四个国家的最先进的方法相比。同时,还引入了一个新的用于动作识别的红外可见光数据集,这将是第一个包含成对红外和可见光光谱的公开可用的动作数据集。
2018-04-17 cs.CV
Skeletal Movement to Color Map: A Novel Representation for 3D Action Recognition with Inception Residual Networks
Carlos III University of Madrid(马德里卡洛斯三世大学);Cerema Research Center(Cerema研究中心);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学)
我们提出了一种新的基于神经元的表示方法,用于使用深度卷积神经网络(D-CNN)进行视频中的3D动作识别。两个关键问题已经得到解决:第一,如何构建一个强大的表示,很容易捕捉时空演变的运动从骨架序列。其次,如何设计能够以有效的方式从新表示中学习区分特征的D-CNN。为了解决这些问题,提出了一种基于骨架的表示,即SPMF(骨架姿态运动特征)。SPMF是由人类行为的两个最重要的属性构建的:姿势和运动。因此,它们能够有效地表示复杂的动作。对于学习和识别任务,我们基于Inception Residual网络的思想设计和优化新的D-CNN,以预测SPMF的动作。我们的方法在两个具有挑战性的数据集上进行了评估,包括MSR 3D和NTU-RGB+D。实验结果表明,该方法优于国家的最先进的方法,同时需要更少的计算。
2018-07-18 cs.CV
DEVIAS: Learning Disentangled Video Representations of Action and Scene
Kyung Hee University(庆熙大学);KAIST(韩国科学技术院)
针对视频识别中动作与场景虚假相关导致泛化差的问题,本文提出 DEVIAS 编码器-解码器框架,利用 slot attention 与动作掩码解码器学习解耦表示,并在多个未见组合和下游任务基准上验证其稳健性。
2024-09-06 cs.CV
Long-term Temporal Convolutions for Action Recognition
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心)
典型的人类动作持续几秒钟,并表现出特征的时空结构。最近的方法试图捕捉这种结构,并利用卷积神经网络学习动作表示。然而,这样的表示通常是在几个视频帧的级别上学习的,无法在其完整的时间范围内对动作进行建模。在这项工作中,我们使用具有长期时间卷积(LTC)的神经网络来学习视频表示。我们证明了具有增加的时间范围的LTC-CNN模型提高了动作识别的准确性。我们还研究了不同的低级别表示的影响,如视频像素和光流矢量场的原始值,并证明了高质量的光流估计学习准确的动作模型的重要性。我们报告了两个具有挑战性的人类动作识别基准UCF 101(92.7%)和HMDB 51(67.2%)的最新结果。
2017-06-02 cs.CV
Hierarchical Compositional Representations for Few-shot Action Recognition
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院智能信息处理重点实验室,中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Hangzhou Institute for Advanced Study, UCAS(国科大杭州高等研究院);Beijing Huawei Cloud Computing Technologies Co., Ltd(北京华为云计算技术有限公司)
针对少样本动作识别的数据稀缺问题,提出 HCR 层级组合表示,通过层级聚类与空间注意子动作分解,并结合 Earth Mover’s Distance 度量细粒度相似性,在三个基准上达到最先进性能。
2024-01-19 cs.CV
MaCLR: Motion-aware Contrastive Learning of Representations for Videos
AWS AI Labs(亚马逊云科技人工智能实验室);Meta AI
我们提出了一种新的方法来显式地执行跨模态自监督视频表示学习视觉和运动模态。与以前的视频表示学习方法主要集中在从RGB输入中隐式地学习运动线索相比,Mastery丰富了RGB视频剪辑的标准对比学习目标,具有运动路径和视觉路径之间的跨模态学习目标。我们表明,用我们的Mastery方法学习的表示更侧重于前景运动区域,从而更好地推广到下游任务。为了证明这一点,我们在五个数据集上评估了Major的动作识别和动作检测,并在所有数据集上展示了最先进的自监督性能。此外,我们还证明了在UCF 101和HMDB 51动作识别上,Mastery表示可以与完全监督学习的表示一样有效,甚至在VidSitu和SSv2上的动作识别以及AVA上的动作检测方面优于监督表示。
2022-07-20 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);Allen Institute for AI(艾伦人工智能研究所);Comcast Labs, DC(康卡斯特实验室(华盛顿特区))
即使卷积神经网络(CNN)在各种视觉识别任务中的最新进展,最先进的动作识别系统仍然依赖于手工制作的运动特征(诸如光流)来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet,直接从原始像素训练单流网络,以联合估计光流,同时用卷积神经网络识别动作,在单个模型中捕获外观和运动。此外,我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比,我们的模型显著提高了动作识别的准确性,提高了31%。在没有对大型外部标记数据集进行预训练的情况下,我们的模型通过充分利用运动信息,实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
Bootstrapped Representation Learning for Skeleton-Based Action Recognition
Lund University(隆德大学);Sony Europe B.V.(索尼欧洲有限公司)
在这项工作中,我们研究了自监督表示学习的三维基于动作识别。我们扩展了Bootstrap Your Own Latent(BYOL)算法用于骨架序列数据的表示学习,并提出了一种新的数据增强策略,该策略包括两个非对称的转换管道。我们还介绍了一种多视点采样方法,利用不同的相机捕捉到的同一动作的多个视角。在半监督设置,我们表明,性能可以进一步提高知识蒸馏从更广泛的网络,再次利用未标记的样本。我们在NTU-60和NTU-120数据集上进行了大量的实验,以证明我们所提出的方法的性能。我们的方法在线性评估和半监督基准测试中始终优于当前最先进的方法。
2022-04-19 cs.CV
Scene Flow to Action Map: A New Representation for RGB-D based Action Recognition with Convolutional Neural Networks
University of Wollongong(卧龙岗大学);China University of Geosciences(中国地质大学)
场景流描述了真实世界中三维物体的运动,可能是三维动作识别的基础。然而,它用于动作识别,特别是在卷积神经网络(ConvNets)的背景下,以前没有研究过。在本文中,我们提出了从RGB-D数据中提取和使用场景流进行动作识别。以前的工作已经考虑了深度和RGB模态作为单独的通道,并提取特征用于以后的融合。我们采取不同的方法,并考虑作为一个实体的模态,从而允许特征提取的动作识别在开始。提出了利用场景流进行动作识别的两个关键问题:如何组织场景流矢量和如何基于场景流表示视频的长期动态特性。为了在可用数据集上正确计算场景流,我们提出了一种有效的自校准方法,在不知道相机参数的情况下在空间上对齐RGB和深度数据。基于场景流矢量,我们提出了一种新的表示,即场景流动作图(SFAM),描述了几个长期的时空动态动作识别。我们采用一个通道变换核,将场景流向量转换到一个类似RGB的最佳颜色空间。这种转换比ImageNet更好地利用了经过训练的ConvNets模型。实验结果表明,这种新的表示方法在两个大型公共数据集上的性能可以超过最先进的方法。
2017-03-27 cs.CV
SUGAR: Learning Skeleton Representation with Visual-Motion Knowledge for Action Recognition
针对大语言模型难以理解骨架、区分动作的问题,本文提出SUGAR范式,结合大规模视频模型的视觉运动先验学习骨架离散表征,搭配TQP模块,借助预训练LLM实现动作识别与描述,在常规及零样本场景下均表现优异。
2025-11-13 cs.CV
Mining Mid-level Features for Action Recognition Based on Effective Skeleton Representation
University of Wollongong(伍伦贡大学);Hunan University(湖南大学)
最近,中级特征在计算机视觉中显示出有希望的性能。通过结合类级别信息学习的中级特征可能比传统的低级局部特征更具区分力。提出了一种从Kinect骨架中提取中间层特征的有效方法,用于三维人体动作识别。首先,计算由两个骨骼关节连接的肢体的方向,并将每个方向编码为表示关节空间关系的27个状态之一。其次,将肢体组合成部件,并将肢体的状态映射成部件状态。最后,频繁模式挖掘挖掘的最频繁和相关(歧视性,代表性和非冗余)的零件在连续的几个帧的状态。这些部分被称为频繁本地部分或FLP。FLP允许我们构建强大的基于FLP的动作表示。这种新的表示方法在MSR DailyActivity3D和MSR PocketPairs3D上产生了最先进的结果。
2014-09-14 cs.CV
Exploring Feature Representation and Training strategies in Temporal Action Localization
Queen Mary University of London(伦敦玛丽女王大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
时间动作定位最近引起了计算机视觉界的极大兴趣。然而,尽管取得了很大的进步,很难确定所提出的方法的哪些方面对本地化性能的提高贡献最大。为了解决这个问题,我们进行烧蚀实验的特征提取方法,固定大小的特征表示方法和训练策略,并报告如何影响整体性能。基于我们的研究结果,我们提出了一个两阶段的检测器,其性能优于THUMOS 14中的现有技术,实现了mAP@tIoU=0.5等于44.2%。
2019-05-29 cs.CV
Online Spatiotemporal Action Detection and Prediction via Causal Representations
Oxford Brookes University(牛津布鲁克斯大学);University of Oxford(牛津大学)
在这篇论文中,我们主要从在线和实时处理的角度来研究视频动作理解问题。我们从传统的离线时空动作检测管道到在线时空动作管检测系统的转换开始。动作管是一组随时间连接的边界,它在空间和时间上限制动作实例。接下来,我们通过回归将现有的动作管扩展到未来,探索此类检测方法的未来预测能力。后来,我们试图建立在线/因果表示可以在各种任务上实现与离线三维(3D)卷积神经网络(CNN)类似的性能,包括动作识别,时间动作分割和早期预测。
2020-08-31 cs.AI cs.CV
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester(曼彻斯特大学)
正确的语义表示是零样本学习成功的关键。在本文中,我们探讨了两种替代的语义表示,特别是zero-shot人类动作识别:人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取,为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动,从这样的边信息。基于我们的zero-shot视觉识别方法,我们对UCF 101和HMDB 51进行了实验,以评估两个提出的语义表示。结果表明,我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地,基于图像的语义表示产生有利的性能,即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
Action Recognition Using Volumetric Motion Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
传统的动作识别模型是围绕二维透视图像的范式构建的。虽然复杂的时间序列模型推动了该领域的发展,但由于将域限制在2D范围内,许多信息仍然没有得到利用。在这项工作中,我们引入了一种新的运动表示为体素化的3D矢量场,并演示了如何使用它来提高动作识别网络的性能。这种体积表示非常适合3D CNN,并且允许在这些网络的训练期间使用面外数据增强技术。从RGB-D视频的这种表示的构造和推理都可以实时的运行。我们在开源NTU RGB+D数据集上使用这种表示与我们的网络设计展示了优越的结果,在这两个定义的评估指标上都优于最先进的技术。此外,我们通过实验展示了平面外增强技术如何创建视点不变性,并允许使用这种表示训练的模型推广到看不见的相机角度。代码可在这里:https://github.com/mpeven/ntu_rgb.
2019-11-19 cs.CV eess.IV
Human-Centered Prior-Guided and Task-Dependent Multi-Task Representation Learning for Action Recognition Pre-Training
Zhejiang University-University of Illinois at Urbana-Champaign Institute, Zhejiang University(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江大学)
近年来,在自监督动作识别方面取得了很大的进展。大多数现有的方法强调视频之间的对比关系,包括外观和运动的一致性。然而,现有的预训练方法仍然存在两个主要问题:1)学习的表示是中性的,对于特定任务没有信息; 2)基于多任务学习的预训练有时会由于不同任务的域不一致而导致次优解决方案。为了解决上述问题,我们提出了一种新的动作识别预训练框架,该框架利用以人为中心的先验知识,生成更多的信息表示,并通过使用任务相关表示来避免多个任务之间的冲突。具体来说,我们从人类解析模型中提取知识,以丰富表示的语义能力。此外,我们将知识蒸馏与对比学习结合起来,构成了一个任务依赖的多任务框架。我们在两个流行的动作识别任务基准上实现了最先进的性能,即,UCF 101和HMDB 51,验证了该方法的有效性。
2022-04-27 cs.CV cs.LG
SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);INRIA(法国国家信息与自动化研究所)
由于大规模骨架数据集的存在,三维人体动作识别近年来引起了计算机视觉界的关注。许多作品都集中在编码骨架数据作为骨架图像表示的基础上的空间结构的骨架关节,其中的时间动态序列被编码为列的变化和空间结构的每帧表示为矩阵的行。为了进一步改进这种表示,我们引入了一种新的骨架图像表示作为卷积神经网络(CNN)的输入,命名为SkeleMotion。所提出的方法编码的时间动态显式计算的幅度和方向值的骨架关节。采用不同的时间尺度来计算运动值,以将更多的时间动态聚合到表示中,使其能够捕获动作中涉及的远程关节相互作用以及过滤噪声运动值。在NTU RGB+D 120数据集上的实验结果表明,该方法在三维动作识别上的有效性优于现有技术。
2019-07-30 cs.CV cs.LG eess.IV
RepWAM: World Action Modeling with Representation Visual-Action Tokenizers
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所);Robbyant, Ant Group(蚂蚁集团 Robbyant);Hongkong University of Science and Technology(香港科技大学)
提出RepWAM,一种基于表示视觉-动作分词器的世界动作模型,通过联合建模未来视觉状态和潜在动作,在真实和仿真机器人操作任务中取得优异性能。
2026-06-16 cs.CV
Capturing Rich Behavior Representations: A Dynamic Action Semantic-Aware Graph Transformer for Video Captioning
Civil Aviation University of China(中国民航大学)
针对视频描述中物体行为表示浅层、含糊的问题,提出融合多尺度时间建模与视觉-动作语义感知的动态图 Transformer,并通过知识蒸馏保持推理简洁,在 MSVD 和 MSR-VTT 上显著提升多项指标。
2025-02-19 cs.CV
Localization-Aware Multi-Scale Representation Learning for Repetitive Action Counting
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系)
针对重复动作计数中帧间相似度表示易受噪声干扰的问题,提出定位感知多尺度表示学习框架,通过多尺度周期感知表示与重复前景定位联合优化增强特征鲁棒性,在两个基准数据集上有效提升了计数精度。
2025-01-13 cs.CV
Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
先前的动作表示学习主要集中在设计各种架构来提取短视频片段的全局表示。相比之下,许多实际应用(如视频对齐)对学习长视频的密集表示有很强的需求。在本文中,我们引入了一种新的对比动作表示学习(CARL)框架,以自我监督的方式学习帧式动作表示,特别是对于长视频。具体地说,我们介绍了一个简单而有效的视频编码器,考虑时空上下文提取逐帧表示。受自监督学习最新进展的启发,我们提出了一种新的序列对比损失(SCL)应用于通过一系列时空数据增强获得的两个相关视图。SCL通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。FineGym,PennAction和Pouring数据集上的实验表明,我们的方法在下游细粒度动作分类方面比以前的最先进方法有很大的优势。令人惊讶的是,虽然没有对配对视频进行训练,但我们的方法在视频对齐和细粒度帧检索任务上也表现出出色的性能。代码和型号可在https://github.com/minghchen/CARL_code上获得。
2022-03-28 cs.CV
Learning an Augmented RGB Representation with Cross-Modal Knowledge Distillation for Action Detection
Inria(法国国家信息与自动化研究所);Stony Brook University(石溪大学)
在视频理解中,大多数跨模态知识蒸馏(KD)方法都是针对分类任务定制的,专注于修剪视频的区分表示。然而,动作检测不仅需要对动作进行分类,还需要在未修剪的视频中定位它们。因此,转移有关时间关系的知识对于这项任务至关重要,这在以前的跨模态KD框架中是缺失的。为此,我们的目标是学习用于动作检测的增强RGB表示,通过KD在训练时利用额外的模态。我们提出了一个KD框架,包括两个层次的蒸馏。一方面,原子级蒸馏鼓励RGB学生以对比的方式从老师那里学习动作的子表示。另一方面,序列级蒸馏鼓励学生从教师那里学习时间知识,包括转移全局上下文关系和动作边界显著性。结果是增强RGB流,其可以实现与双流网络一样的竞争性能,同时在推理时仅使用RGB。大量的实验分析表明,我们提出的蒸馏框架是通用的,并优于其他流行的跨模态蒸馏方法在动作检测任务。
2021-08-08 cs.CV
VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation
School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
VLA-4D通过4D意识增强视觉-语言-动作模型,实现时空一致的机器人操作,提升动作执行的空间平滑性和时间一致性。
2025-11-21 cs.CV
RED: Reinforced Encoder-Decoder Networks for Action Anticipation
动作预测的目的是在动作发生之前发现它。机器人和监控领域的许多现实应用都与这种预测能力有关。当前的方法通过首先预测未来帧的视觉表示,然后将预期的表示分类为动作来解决这个问题。然而,预测是基于单一的过去框架的表征,忽略了历史的趋势。此外,它只能预测一个固定的未来时间。我们提出了一个加强编码器-解码器(RED)网络的行动预期。RED将多个历史表示作为输入,并学习预测未来表示的序列。RED的一个突出方面是采用强化模块来提供序列级监督;奖励函数旨在鼓励系统尽早做出正确的预测。我们在TVSeries,THUMOS-14和TV-Human-Interaction数据集上测试RED的动作预测,并在所有数据集上实现最先进的性能。
2017-07-16 cs.CV
Modeling Multiple Normal Action Representations for Error Detection in Procedural Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对程序化任务中因存在多种有效后续动作导致静态原型错误检测失效的问题,提出AMNAR框架,通过预测所有有效后续动作并重构其正常动作表示与当前动作对比来检测错误,达到了最先进的性能。
2025-04-02 cs.CV
LARNet: Latent Action Representation for Human Action Synthesis
IIT Kanpur(印度理工学院坎普尔分校)
我们提出了LARNet,一种新的端到端的方法,用于生成人类动作视频。一个联合的生成模型的外观和动态合成视频是非常具有挑战性的,因此最近的作品在视频合成提出了分解这两个因素。然而,这些方法需要驾驶视频来对视频动态进行建模。在这项工作中,我们提出了一种生成方法,它在潜在空间中显式学习动作动态,避免了在推理过程中需要驾驶视频。所产生的动作动态集成的外观使用一个经常性的层次结构,诱导运动在不同的尺度上集中在粗糙以及精细的动作细节。此外,我们提出了一种新的混合对抗损失函数,旨在提高合成视频的时间相干性。我们评估所提出的方法在四个真实世界的人类行动数据集,证明所提出的方法在产生人类行动的有效性。代码可在https://github.com/aayushjr/larnet获得。
2021-10-27 cs.CV
Learning Group Actions In Disentangled Latent Image Representations
Genuity Systems Limited(盖尼系统有限公司);Computer Science(计算机科学);Electrical and Computer Engineering(电气与计算机工程);School of Engineering and Applied Science, University of Virginia(工程与应用科学学院,弗吉尼亚大学)
本文提出了一种端到端框架,自动学习潜在图像表示中的群作用,无需人工干预,通过动态划分潜在表示实现变换敏感和不变成分的解耦。
2025-12-14 cs.CV
Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
先前的动作表示学习工作集中在短视频片段的全局表示。相比之下,许多实际应用,如视频对齐,强烈要求学习长视频的密集表示。在本文中,我们引入了一个新的对比动作表示学习(CARL)框架,以自监督或弱监督的方式学习逐帧动作表示,特别是对于长视频。具体来说,我们引入了一个简单但有效的视频编码器,它通过结合卷积和Transformer来考虑空间和时间上下文。受最近自监督学习取得的巨大进展的启发,我们提出了一种新的序列对比度损失(SCL)适用于两个相关的意见,通过扩大一系列的时空数据在两个版本。一种是自监督版本,通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。另一种是弱监督版本,通过动态时间包裹(DTW)使用视频级标签在视频之间构建更多的样本对。FineGym,PennAction和Pouring数据集上的实验表明,我们的方法在下游细粒度动作分类和更快的推理方面比以前的最先进方法有很大的优势。令人惊讶的是,虽然没有像以前的作品那样对配对视频进行训练,但我们的自监督版本在视频对齐和细粒度帧检索任务中也表现出出色的性能。
2023-03-02 cs.CV
Online Action Representation using Change Detection and Symbolic Programming
Indian Institute of Technology Madras(马德拉斯印度理工学院)
本文提出结合变化检测、分段线性拟合与符号运动程序的在线动作表示方法,并通过基元相似性匹配实现在线重复计数,性能优于或持平离线方法。
2024-05-19 cs.CV
Layout-induced Video Representation for Recognizing Agent-in-Place Actions
University of Maryland, College Park(马里兰大学帕克分校);Comcast Applied AI Research(康卡斯特应用人工智能研究院);DeepMind(深度思维);Adobe Research(奥多比研究院);University of Maryland(马里兰大学)
我们解决了识别代理到位的行动,这是与代理谁执行他们和他们发生的地方,在户外家庭监控的背景下。我们引入了场景布局的几何和拓扑的表示,以便网络可以从训练集中观察到的布局推广到测试集中看不见的布局。这种布局诱导的视频表示(LIVR)抽象出低层次的外观变化,并编码在一个特定的场景布局的几何和拓扑关系的地方。LIVR将视频片段的语义特征划分到不同的位置,以迫使网络学习基于位置的特征描述;为了预测每个动作的置信度,LIVR从与动作相关的位置及其在场景布局上的相邻位置聚合特征。我们引入代理到位动作数据集,以表明我们的方法允许神经网络模型更好地推广到不可见的场景。
2019-04-01 cs.CV
LARY: A Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment
Meituan(美团)
本文提出LARY基准,通过大规模人类视频数据评估潜在动作表示,发现通用视觉模型在动作控制上优于专用模型,且潜在空间比像素空间更符合物理动作空间。
2026-04-13 cs.CV cs.RO
LARA: Latent Action Representation Alignment for Vision-Language-Action Models
University of Science and Technology of China(中国科学技术大学)
提出LARA框架,通过表示对齐联合优化潜在动作模型和视觉-语言-动作模型,利用人类视频数据提升机器人操作性能,在模拟和真实基准上平均提升约10%、5%和15%。
2026-07-01 cs.CV cs.RO
Action QFormer: Structured Representation Shaping under Action Supervision in Vision-Language-Action Models
Shanghai Qizhi Institute(上海期智研究院);The Chinese University of Hong Kong(香港中文大学);Hong Kong Embodied AI Lab(香港具身人工智能实验室);Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
研究视觉-语言-动作模型中动作监督问题,提出动作QFormer,通过基于指令的查询重组多模态信息。在零样本模拟到真实导航中提升了任务成功率、动作生成正确性等,还改变动作监督塑造多模态表示的方式,为提高VLA性能提供新思路。
2026-07-17 cs.AI cs.CV cs.RO
SCAR: Self-Supervised Continuous Action Representation Learning
University of California, San Diego(加州大学圣地亚哥分校);KTH Royal Institute of Technology(皇家理工学院)
本文提出SCAR框架,通过自监督学习统一动作表示,提升跨体素和任务的泛化能力。
2026-05-13 cs.CV cs.RO
Direction-Scale Decomposition in Action Representation: Rethinking What to Tokenize for Vision-Language-Action Models
University of Copenhagen(哥本哈根大学);Stanford University(斯坦福大学)
针对离散标记VLA模型,提出方向-尺度分解(DSD)动作表示,将平移和旋转增量分解为方向与尺度,在LIBERO、SimplerEnv及真实机器人上提升成功率,缓解混合数据集训练性能下降。
2026-09-25 cs.CV cs.RO
Making Foresight Actionable: Repurposing Representation Alignment in World Action Models
The University of Hong Kong(香港大学);XPENG Robotics(小鹏机器人)
针对世界动作模型中视觉预测与动作提取不匹配的问题,提出AGRA方法,通过对齐视频扩散特征与语义表示,提升动作解码器对任务相关区域的关注,从而改善操作任务的性能与泛化能力。
2026-06-11 cs.AI cs.CV cs.RO
Rethinking Representations for World-Action Modeling
Huazhong University of Science & Technology(华中科技大学);D-Robotics(地瓜机器人);Horizon Robotics(地平线机器人);Fudan University(复旦大学);Xi’an Jiaotong University(西安交通大学)
本文提出ReWAM,一种基于DINO特征的表示中心世界-动作模型,通过特征校准、时间瓶颈和动作接地塑造,无需生成式视频预训练即在RoboTwin 2.0和RoboDojo上取得显著成功。
2026-09-30 cs.CV cs.RO
GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation
Tsinghua University(清华大学);Beijing Normal University(北京师范大学);Shadow AI
提出GAF,通过扩展3D高斯溅射引入可学习运动属性,实现动态场景的4D建模,并利用动作-视觉对齐去噪框架提升机器人操作成功率。
2026-05-22 cs.CV cs.RO
Forecasting Action through Contact Representations from First Person Video
University of Maryland(马里兰大学)
涉及手操作的人类动作是根据手-物体接触的制造和中断来构造的,并且人类对动作的视觉理解依赖于对接触的预期,这一点在认知科学中的开创性工作中得到了证明。从中得到启发,我们引入了以接触为中心的表示和模型,然后我们将其用于动作预测和预期。我们注释了EPIC Kitterfly数据集的一个子集,包括手和物体之间的接触时间,以及手和物体的分割。使用这些注释,我们训练的预期模块,一个模块生产接触预期地图和下一个活动对象分割-新的低层次的表示提供预期的不久的将来的行动的时间和空间特征。在预期模块之上,我们应用了以自我为中心的对象操作图(Ego-OMG),这是一个用于动作预期和预测的框架。Ego-OMG通过使用一个图来建模联系人描述的动作状态之间的转换,从而对更长期的时间语义关系进行建模。使用Ego-OMG中的预期模块产生了最先进的结果,分别在EPIC Kitchild Action Anticipation Challenge的看不见和看得见的测试集上获得了第一名和第二名,并在EPIC Kitchild的动作预期和动作预测任务上获得了最先进的结果。我们对预期模块的特征进行消融研究,以评估其效用。
2021-02-01 cs.AI cs.CV
FlowWAM: Optical Flow as a Unified Action Representation for World Action Models
New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);FiveAges(无);MBZUAI(无);Alibaba Group(阿里巴巴集团)
研究针对世界动作模型控制中动作表示难题,提出FlowWAM双流扩散框架,以光流为统一动作表示。该框架可实现WAMs两种模式,能利用无动作标签视频预训练,实验表明在操纵和世界建模任务中表现优于基线。
2026-07-15 cs.CV cs.RO
Semantic Anchoring for Robotic Action Representations
Peking University(北京大学);Eastern Institute of Technology, Ningbo(宁波东方理工大学);Shanghai Jiao Tong University(上海交通大学)
研究VLA模型微调后动作表示结构受损问题,受镜像神经元理论启发,通过系统探测证实结构变化与任务表现相关。提出即插即用方法,将动作表示锚定到语义流形并分解通道,经多基准测试验证,有效提升了模型在真实世界任务中的表现。
2026-10-26 cs.AI cs.CV cs.RO
Action Dynamics Task Graphs for Learning Plannable Representations of Procedural Tasks
Reality Labs Research, Meta(Meta现实实验室研究部)
鉴于视频演示和配对的叙述,在家里的程序性任务,如更换轮胎,我们提出了一种方法来提取底层的任务结构-相关的动作和它们的时间依赖性-通过以动作为中心的任务图。从我们的方法中学习到的结构化表示,动作动态任务图(ADTG),然后可以用于理解人类执行这些任务的看不见的视频。此外,ADTG可以在这些任务中为人类提供以用户为中心的指导,以便更好地执行这些任务或学习新任务。具体来说,我们展示了ADTG如何用于:(1)跟踪正在进行的任务,(2)建议下一步行动,(3)计划一系列行动来完成程序任务。我们与最先进的神经任务图方法进行了比较,并在CrossTask数据集的18个程序任务上取得了实质性的进步,包括任务跟踪准确性提高了30.1%,下一个动作预测的准确性提高了20.3%。
2023-01-11 cs.AI cs.CV cs.LG
Learning multimodal representations for sample-efficient recognition of human actions
INESC-ID(里斯本高等理工学院信息与通信技术研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学)
人类以丰富多样的方式与环境互动。然而,这种行为的人工代理的代表性往往是有限的。在这项工作中,我们提出了\textit{motion concepts},一种新的多模态表示人类在家庭环境中的行动。运动概念包括动作的运动学的概率描述及其上下文背景,即在表演期间保持的位置和对象。此外,我们提出了在线运动概念学习(OMCL),一种新的算法,学习新的运动概念,从动作演示和识别以前学到的运动概念。该算法进行评估的虚拟现实的家庭环境中存在的人类化身。OMCL在一次性识别任务上优于标准运动识别算法,证明了其在人类动作样本有效识别方面的潜力。
2019-03-06 cs.AI cs.CV cs.LG
Zero-Shot Action Generalization with Limited Observations
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院);Amii(阿尔伯塔机器智能研究所)
本文提出AGLO框架,通过从有限观测中学习动作表示并结合合成动作表示训练策略,在多个基准任务上显著提升了零样本动作泛化性能。
2025-03-11 cs.AI cs.CV cs.LG