Behavior Recognition Based on the Integration of Multigranular Motion Features
University of Electronic Science and Technology of China（电子科技大学）；Beijing Aerospace Institute for Metrology and Measurement Technology（北京航天计量测试技术研究所）；Southwestern University of Finance and Economics（西南财经大学）
视频中的行为识别通常需要对对象的空间信息和其在时间维度上的动态动作信息进行组合分析。具体而言，行为识别甚至可能更多地依赖于包含短距离和长距离运动的时间信息的建模;这与涉及关注空间信息理解的图像的计算机视觉任务形成对比。然而，目前的解决方案无法联合和全面地分析视频中相邻帧之间的短程运动和大尺度上的长程时间聚合。在本文中，我们提出了一种新的行为识别方法的基础上集成的多粒度（IMG）运动特征。特别是，我们实现了可靠的运动信息建模，通过协同的通道注意力为基础的短期运动特征增强模块（CMEM）和级联的长期运动特征集成模块（CLIM）。我们评估我们的模型上的几个动作识别基准，如HMDB 51，东西和UCF 101。实验结果表明，我们的方法优于以前的国家的最先进的方法，这证实了其有效性和效率。
2022-03-07 cs.CV
Marrying Text-to-Motion Generation with Skeleton-Based Action Recognition
School of Cyber Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国）；School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国）
本文提出CoAMD模型，结合骨架坐标进行动作理解和生成，实现统一的动作识别与生成，通过多模态动作识别器提供语义指导，实验表明其在多个任务中表现优异。
2026-04-18 cs.CV
Real-time Action Recognition with Enhanced Motion Vector CNNs
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Tongji University（同济大学）；ETH Zurich（苏黎世联邦理工学院）
深度两流架构在基于视频的动作识别上表现出优异的性能。在这种方法中，计算成本最高的步骤来自光流的计算，这妨碍了它的实时的【形】。本文通过用运动矢量代替光流来加速这种结构，运动矢量可以直接从压缩视频中获得，而无需额外的计算。然而，运动矢量缺乏精细结构，包含噪声和不准确的运动模式，导致识别性能明显下降。我们解决这个问题的关键是光流和运动矢量是内在相关的。将光流CNN学习到的知识转移到运动向量CNN可以显著提高后者的性能。具体来说，我们介绍了三种策略，初始化转移，监督转移和他们的组合。实验结果表明，我们的方法达到了与最先进的识别性能相当，而我们的方法可以处理每秒390.7帧，这是27倍的速度比原来的双流方法。
2016-04-26 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research（IBM研究院）
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息，由于其对复杂背景和环境动态特性的鲁棒性。在本文中，我们结合身体骨架数据与空间和运动特征的脸和双手，并提出了“深度动作邮票（DeepActs）”，一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”，这是一个基于深度学习的集成模型，它从Deep Action Stamps中学习卷积和结构特征，以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集（NTU 60、NTU 120和SYSU）上进行的实验表明，使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高，而且与最先进的方法相比，计算成本更低。
2021-06-04 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
CAKES: Channel-wise Automatic KErnel Shrinking for Efficient 3D Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
三维卷积神经网络（CNN）在三维场景理解中有着广泛的应用，如视频分析、体图像识别等。然而，3D网络很容易导致过度参数化，从而导致昂贵的计算成本。在本文中，我们提出了逐层自动内核收缩（CAKES），通过将标准3D卷积收缩为一组经济操作来实现高效的3D学习，例如，一维，二维卷积。与以前的方法不同，CAKES执行通道方式的内核收缩，其具有以下优点：1）使部署在每一层中的操作都是异构的，因此它们可以提取多样化和互补的信息，以利于学习过程; 2）允许有效和灵活的替换设计，可以推广到时空和体积数据。此外，我们提出了一个新的搜索空间基于CAKES，使更换配置可以自动确定简化的三维网络。CAKES显示出优于其他方法的性能，具有类似的模型大小，它也实现了相当的性能，以更少的参数和计算成本的任务，包括3D医学成像分割和视频动作识别的最先进的。代码和型号可在https://github.com/yucornetto/CAKES上获得
2020-12-16 cs.CV
Im2Flow: Motion Hallucination from Static Images for Action Recognition
UT Austin（得克萨斯大学奥斯汀分校）
现有的识别静态图像中动作的方法是从图像的表面价值出发，学习区分每个动作类的外观-物体、场景和身体姿势。然而，此类模型被剥夺了丰富的动态结构和运动，而这些结构和运动也定义了人类活动。我们提出了一种方法，幻觉的未观察到的未来运动暗示一个单一的快照，以帮助静态图像动作识别。其关键思想是从数千个未标记的视频中学习短期动态的先验知识，推断新静态图像上的预期光流，然后训练利用这两种信息流的判别模型。我们的主要贡献有两方面。首先，我们设计了一种编码器-解码器卷积神经网络和一种新型的光流编码，可以将静态图像转换为准确的流图。其次，我们展示了幻觉流的识别能力，成功地将学习到的运动转移到标准的双流网络中进行活动识别。在七个数据集上，我们展示了该方法的强大功能。它不仅实现了密集光流预测的最高精度，而且还不断增强对动作和动态场景的识别。
2018-05-30 cs.CV
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute（海康威视研究院）
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征（C2D），要么与无约束参数联合学习（C3D）。在本文中，我们提出了一种新的神经操作，通过对可学习参数施加权重共享约束来协同编码时空特征。特别是，我们沿着体积视频数据的三个正交视图执行2D卷积，分别学习空间外观和时间运动线索。通过共享不同视图的卷积核，空间和时间特征可以协同学习，从而相互受益。随后通过加权求和来融合互补特征，加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能，并在2018年的Moments in Time Challenge中获得了第一名。此外，基于不同视图的学习系数，我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性，也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion Compensation for Action Recognition in the EPIC-Kitchens Dataset
Universidad Autónoma de Madrid（马德里自治大学）
动作识别是当前计算机视觉中最具挑战性的研究领域之一。卷积神经网络（CNN）显著提高了其性能，但依赖于固定大小的时空分析窗口，减少了CNN的时间感受野。在动作识别数据集中，以自我为中心的记录序列已成为重要的相关性，同时带来了额外的挑战：自我运动是不可分割地转移到这些序列。所提出的方法的目的是应付它通过估计这个自我运动或相机运动。该估计用于将视频序列在时间上划分为运动补偿的时间\textit{chunks}，其示出了在稳定背景下的动作并允许内容驱动的时间采样。以端到端方式训练的CNN用于从每个\textit{chunk}提取时间特征，这些时间特征是后期融合的。这个过程导致从动作的整个时间范围中提取特征，增加了网络的时间感受野。
2020-08-26 cs.CV
A Spatiotemporal Volumetric Interpolation Network for 4D Dynamic Medical Image
Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）
动态医学成像由于辐射剂量大、图像扫描和重建时间长，在应用中受到限制。现有方法试图通过在所采集的图像体积之间插入体积来减少动态序列。然而，这些方法限于2D图像和/或不能支持图像体积序列之间的运动的大变化。在本文中，我们提出了一个时空体积插值网络（SVIN）设计的4D动态医学图像。SVIN引入双网络：首先是时空运动网络，其利用3D卷积神经网络（CNN）进行无监督的参数体积配准，以从两个图像体积导出时空运动场;第二是顺序体积插值网络，其使用导出的运动场来插值图像体积，以及新的基于回归的模块来表征功能器官结构中的周期性运动循环。我们还引入了一个自适应的多尺度架构来捕捉体积大的解剖运动。实验结果表明，我们的SVIN优于国家的最先进的时间医学插值方法和自然视频插值方法，已扩展到支持体积图像。我们的消融研究进一步证明，与最先进的无监督医学配准方法相比，我们的运动网络能够更好地表示大的功能运动。
2020-04-25 cs.CV eess.IV
Learning Self-Similarity in Space and Time as Generalized Motion for Video Action Recognition
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
时空卷积通常无法学习视频中的运动动态，因此需要有效的运动表示用于野外视频理解。在本文中，我们提出了一个丰富的和强大的运动表示时空自相似性（STSS）的基础上。给定一个帧序列，STSS将每个局部区域表示为其在空间和时间上的邻居的相似性。通过将外观特征转换为关系值，它使学习者能够更好地识别空间和时间上的结构模式。我们利用STSS的整个体积，让我们的模型学习从中提取有效的运动表示。拟议的神经块，被称为SELFY，可以很容易地插入到神经架构和训练端到端，而无需额外的监督。由于在空间和时间上具有足够的邻域体积，它可以有效地捕获视频中的长期交互和快速运动，从而实现鲁棒的动作识别。我们的实验分析表明，它优于以前的方法运动建模，以及其互补性的时空特征直接卷积。在标准动作识别基准测试Something-Something-V1 & V2、Diving-48和FineGym上，所提出的方法实现了最先进的结果。
2021-11-02 cs.CV
VoxResNet: Deep Voxelwise Residual Networks for Volumetric Brain Segmentation
The Chinese University of Hong Kong（香港中文大学）
最近，用于训练非常深的神经网络的具有残差单元的深度残差学习推进了2D图像识别任务的最新性能，例如，目标检测和分割。然而，如何充分利用上下文表示从体积数据的识别任务还没有得到很好的研究，特别是在医学图像计算领域，其中大多数图像模态是体积格式。在本文中，我们探讨了体积脑分割任务的深度残差学习。我们的工作至少有两个主要贡献。首先，我们提出了一种深度体素残差网络，称为VoxResNet，它借鉴了2D图像识别任务中深度残差学习的精神，并扩展到3D变体中，用于处理体积数据。其次，VoxResNet的自动上下文版本，提出了无缝集成的低级别的图像外观特征，隐式形状信息和高级别的上下文在一起，进一步提高体积分割性能。广泛的实验上具有挑战性的基准脑分割磁共振（MR）图像证实了我们所提出的方法在处理体积数据的有效性。我们相信这项工作揭示了3D深度学习在提高体积图像分割识别性能方面的潜力。
2016-08-21 cs.CV
STM: SpatioTemporal and Motion Encoding for Action Recognition
Zhejiang University（浙江大学）；SenseTime Group Limited（商汤集团有限公司）
时空特征和运动特征是视频动作识别的两个重要信息，二者相互补充。最近的最先进的方法采用3D CNN流来学习时空特征，并采用另一个流来学习运动特征。在这项工作中，我们的目标是有效地编码这两个功能在一个统一的二维框架。为此，我们首先提出了一个STM块，其中包含一个逐行时空模块（CSTM），以呈现时空特征和逐行运动模块（CMM），以有效地编码运动特征。然后，我们将ResNet架构中的原始残差块替换为STM块，通过引入非常有限的额外计算成本来形成简单而有效的STM网络。大量的实验表明，所提出的STM网络在时间相关数据集（即，Something-Something v1 & v2和Jester）和场景相关数据集（即，Kinetics-400、UCF-101和HMDB-51），同时对时空和运动特征进行编码。
2019-08-16 cs.CV
Unsupervised Motion Representation Enhanced Network for Action Recognition
Shanghai Jiao Tong University（上海交通大学）
学习连续帧之间的可靠运动表示，如光流，已被证明对视频理解有很大的促进作用。然而，TV-L1方法，一种有效的光流求解器，在用于高速缓存所提取的光流的存储中是耗时且昂贵的。为了填补这一空白，我们提出了UF-TSN，一种新的端到端的动作识别方法，增强了嵌入式轻量级无监督光流估计。UF-TSN以粗到细的方式从相邻帧中估计运动线索，并通过提取特征金字塔并根据最后一层的估计流量将一个扭曲到另一个来关注每一层的小位移。由于缺乏标记的动作数据集的运动，我们约束多尺度光度一致性和边缘感知平滑的流量预测。与最先进的无监督运动表示学习方法相比，我们的模型在保持效率的同时实现了更好的准确性，这与一些有监督或更复杂的方法相比具有竞争力。
2021-03-05 cs.CV
Motion Matters: Motion-guided Modulation Network for Skeleton-based Micro-Action Recognition
University College London（伦敦大学学院）；ReLER, CCAI, Zhejiang University（ReLER、CCAI、浙江大学）；Hefei University of Technology（合肥工业大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院、合肥综合性国家科学中心）；Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室）
本文提出运动引导调制网络MMN，通过骨骼和帧级运动线索调制提升微动作识别的准确性。
2025-11-27 cs.CV
Learning Comprehensive Motion Representation for Action Recognition
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
对于动作识别学习，基于2D CNN的方法是有效的，但由于对每个帧应用相同的2D卷积核，可能会产生冗余特征。最近的努力试图通过建立帧间连接来捕获运动信息，同时仍然遭受有限的时间感受野或高延迟。此外，在动作识别中，特征增强往往仅通过通道或空间维度来实现。为了解决这些问题，我们首先设计了一个逐通道运动增强（CME）模块，以自适应地强调与动态信息有关的通道与通道逐门矢量。CME生成的通道门包含视频中所有其他帧的信息。我们进一步提出了一个空间方向的运动增强（SME）模块，专注于与运动中的关键目标的区域，根据相邻的特征图之间的点到点的相似性。直觉是背景的变化通常比运动区域慢。CME和SME在捕捉行动线索方面都有明确的物理意义。通过将这两个模块集成到现成的2D网络中，我们最终获得了一种用于动作识别的综合运动表示（CMR）学习方法，该方法在Something-Something V1 & V2和Kinetics-400上具有竞争力的性能。在时间推理数据集Something-Something V1和V2上，当使用16帧作为输入时，我们的方法分别比当前最先进的方法高出2.3%和1.9%。
2021-03-23 cs.CV
Long-Short Temporal Modeling for Efficient Action Recognition
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
有效的长短时态建模是提高动作识别性能的关键。在本文中，我们提出了一个新的双流动作识别网络，称为MENet，由一个运动增强（ME）模块和视频级聚合（VLA）模块，以实现长短时间建模。具体而言，运动表示已被证明是有效的，在捕捉短期和高频动作。然而，当前运动表示是从相邻帧计算的，这可能具有较差的解释并带来无用的信息（噪声或空白）。因此，对于短期运动，我们设计了一个有效的ME模块，通过混合相邻段之间的运动显著性来增强短期运动。对于长期聚合，在外观分支的顶部采用VLA，以集成所有细分的长期依赖关系。MENet的两个组件在时间建模中是互补的。在UCF101和HMDB51基准测试上进行了大量的实验，验证了我们提出的MENet的有效性和效率。
2021-06-30 cs.CV
DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition
Facebook AI（Facebook人工智能）；Columbia University（哥伦比亚大学）；Univesity of Edinburgh（爱丁堡大学）
运动已被证明对于视频理解是有用的，其中运动通常由光流表示。然而，从视频帧计算流量是非常耗时的。最近的工作直接利用运动矢量和残差容易在压缩视频表示运动在没有成本。虽然这避免了流计算，但它也损害了准确性，因为运动矢量是有噪声的并且具有显著降低的分辨率，这使其成为辨别力较低的运动表示。为了解决这些问题，我们提出了一个轻量级的生成器网络，它减少了运动矢量中的噪声，并捕捉精细的运动细节，实现了更具鉴别力的运动提示（DMC）表示。由于光流是一种更精确的运动表示，我们训练DMC生成器使用重建损失和生成对抗损失来近似流，并结合下游动作分类任务。三个动作识别基准（HMDB-51，UCF-101，和一个子集的动力学）的广泛评估证实了我们的方法的有效性。我们的整个系统，包括生成器和分类器，被称为DMC网络，它获得了接近使用流量的高精度，并在推理时间比使用光流快两个数量级。
2019-05-07 cs.CV
M2A: Motion Aware Attention for Accurate Video Action Recognition
University of Waterloo（滑铁卢大学）
注意力机制的进步已经在机器学习的各个领域中导致显著的性能改进，这是由于其能够实现时间序列的动态建模。计算机视觉中的一个特殊领域，很可能从视频动作识别中的注意力机制的结合中受益匪浅。然而，目前对注意力机制的研究大多集中在空间和时间注意力上，无法利用视频中的固有运动。基于此，我们开发了一种新的注意力机制，称为运动感知注意力（M2 A），它明确地结合了运动特征。更具体地说，M2 A提取连续帧之间的运动信息，并利用注意力集中在跨帧发现的运动模式上，以准确地识别视频中的动作。所提出的M2 A机制易于实现，并且可以容易地并入任何神经网络骨干架构中。我们表明，使用所提出的M2 A机制将运动机制与注意力机制相结合，可以在不同的骨干架构中使top-1准确度提高+15%至+26%，而计算复杂性仅略有增加。我们进一步比较了M2 A与其他最先进的运动和注意力机制在Something-Something V1视频动作识别基准测试中的性能。实验结果表明，当与其他时间机制结合时，M2 A可以带来进一步的改进，并且对于基准测试中的特定类，它在前1准确度方面比其他仅运动或仅注意力机制高出60%。
2021-12-12 cs.CV
E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition
Politecnico di Torino（都灵理工大学）；CINI Consortium（CINI联盟）；Politecnico di Milano（米兰理工大学）
事件相机是一种新型的生物传感器，它以“事件”的形式异步捕获像素级的强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，具有非常高的时间分辨率，并且比传统的基于帧的相机需要更少的功率和存储器。这些特性使它们非常适合多种现实应用，例如可穿戴设备上以自我为中心的动作识别，其中快速的摄像头运动和有限的功率挑战了传统的视觉传感器。然而，到目前为止，不断增长的基于事件的视觉领域忽视了事件相机在此类应用中的潜力。在本文中，我们表明，事件数据是一个非常有价值的方式为自我中心的行动识别。为此，我们引入了N-EPIC-Kitterfly，这是大规模EPIC-Kitterfly数据集的第一个基于事件的相机扩展。在这种情况下，我们提出了两种策略：（i）直接处理事件相机数据与传统的视频处理架构（E $^2$（GO））和（ii）使用事件数据提取光流信息（E $^2$（GO）MO）。在我们提出的基准测试中，我们表明事件数据提供了与RGB和光流相当的性能，但在部署时没有任何额外的流计算，并且仅RGB信息的性能提高了4%。
2022-04-03 cs.CV
Residual Frames with Efficient Pseudo-3D CNN for Human Action Recognition
InnoPeak Technology（InnoPeak科技）
人类动作识别被认为是监控或视频理解等领域的关键基石。尽管最近在基于视频的动作识别的端到端解决方案的开发方面取得了进展，但实现最先进的性能仍然需要使用辅助手工制作的运动表示，例如，光流，这通常需要计算。在这项工作中，我们提出使用残差帧（即，相邻RGB帧之间的差异）作为替代的“轻量级”运动表示，其携带显著的运动信息并且在计算上高效。此外，我们开发了一个新的伪三维卷积模块，它将三维卷积分解为二维和一维卷积。所提出的模块利用特征空间中的残留信息来更好地结构化运动，并且配备有自我注意力机制，其有助于重新校准外观和运动特征。实验结果证实了残余帧以及所提出的伪3D卷积模块的效率和有效性。
2020-08-03 cs.CV
PAN: Towards Fast Action Recognition via Learning Persistence of Appearance
Peking University（北京大学）
有效地建模视频中的动态运动信息是动作识别任务的关键。大多数最先进的方法严重依赖于密集的光流作为运动表示。虽然将光流与RGB帧组合作为输入可以实现优异的识别性能，但是光流提取非常耗时。这无疑将不利于实时动作识别。在本文中，我们揭示了快速动作识别解除依赖光流。我们的动机在于观察到运动边界的小位移是区分动作的最关键因素，因此我们设计了一种新的运动提示，称为外观持久性（PA）。与光流相比，我们的PA更侧重于提取边界处的运动信息。此外，它是更有效的，只积累像素的差异，在特征空间，而不是使用穷举补丁式搜索的所有可能的运动矢量。我们的PA在运动建模速度方面比传统的光流快1000倍以上（8196 fps vs. 8 fps）。为了进一步聚合PA中的短期动态到长期动态，我们还设计了一个全局时间融合策略，称为多时间尺度聚合池（VAP），可以自适应地建模跨各种时间尺度的长期时间关系。最后，我们将拟议的PA和VAP形成一个统一的框架，称为持久外观网络（PAN）具有强大的时间建模能力。在六个具有挑战性的动作识别基准上进行的广泛实验验证了我们的PAN在低FLOP下优于最近的最先进方法。代码和模型可在https://github.com/zhang-can/PAN-PyTorch上获得。
2020-08-08 cs.CV
Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition
Shanghai Jiao Tong University（上海交通大学）
静态图像动作识别的目的是基于单个图像识别动作，通常依赖于昂贵的人工标记工作，例如足够的标记动作图像和大规模的标记图像数据集。相比之下，可以经济地获得大量未标记的视频。因此，一些工作已经探索使用未标记的视频，以促进图像动作识别，这可以分为以下两类：（a）增强视觉表示的动作图像上的未标记的视频，这属于自监督学习的范围内设计的代理任务;（b）生成辅助表示的动作图像从未标记的视频学习。在本文中，我们将上述两种策略集成在一个统一的框架中，该框架由视觉表示增强（VRE）模块和运动表示增强（MRA）模块组成。具体地说，VRE模块包括一个代理任务，该任务对未标记视频施加伪运动标签约束和时间相干性约束，而MRA模块则利用未标记视频预测静态动作图像的运动信息。我们证明了我们的框架的优势，基于四个基准人类动作数据集有限的标记数据。
2019-12-01 cs.CV
Cross-Domain Human Action Recognition from Multiview Motion and Textual Descriptions
Université Bourgogne Europe, CNRS（布尔格ogne欧洲大学，法国国家科学研究中心）；TEB Group, Prynel SAS（TEB集团，普里内尔公司）
本文提出一种面向多视角运动和文本描述的跨域人类动作识别方法，通过结合多视角运动线索和文本描述，提升零样本动作识别模型在不同领域中的鲁棒性和泛化能力。
2026-05-21 cs.CV
Developing Motion Code Embedding for Action Recognition in Videos
University of South Florida（南佛罗里达大学）
在这项工作中，我们提出了一个运动嵌入策略称为运动代码，这是一个矢量化的运动表示的基础上操纵的显着的机械属性。这些运动代码提供了一个强大的运动表示，它们是使用一个层次结构的功能称为运动分类。我们开发并训练了一个深度神经网络模型，该模型结合了视觉和语义特征，以识别我们的运动分类中发现的特征，从而使用运动代码嵌入或注释视频。为了证明运动代码作为机器学习任务特征的潜力，我们将从运动嵌入模型中提取的特征集成到当前最先进的动作识别模型中。在EPIC-KITCHENS数据集的以自我为中心的视频上，所获得的模型比基线模型的动词分类任务实现了更高的准确性。
2020-12-10 cs.AI cs.CV cs.RO
MGSampler: An Explainable Sampling Strategy for Video Action Recognition
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
由于视频动作识别中存在大量的时间冗余和有限的计算资源，帧采样是视频动作识别中的一个基本问题。现有的采样策略通常采用固定的帧选择，并且缺乏处理视频中复杂变化的灵活性。在本文中，我们提出了一个简单的，稀疏的，可解释的帧采样器，称为运动引导采样器（MGSampler）。我们的基本动机是，运动是一个重要的和普遍的信号，可以驱动我们从视频中自适应地选择帧。因此，我们提出了两个重要的性质，在我们的MG采样器设计：运动敏感和运动均匀。首先，我们提出了两种不同的运动表示，使我们能够有效地区分运动突出帧的背景。然后，我们设计了一种基于累积运动分布的运动均匀采样策略，以确保采样帧均匀覆盖所有运动显著性高的重要片段。我们的MGSampler产生了一个新的原则和整体采样方案，可以纳入任何现有的视频架构。在五个基准测试上的实验证明了我们的MGSampler在以前的固定采样策略上的有效性，以及它在不同主干、视频模型和数据集上的泛化能力。
2021-08-20 cs.CV
Motion-Augmented Self-Training for Video Recognition at Smaller Scale
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
本文的目标是在未标记的视频集合上自训练3D卷积神经网络，以部署在小规模视频集合上。由于较小的视频数据集更多地受益于运动而不是外观，因此我们努力使用光流来训练我们的网络，但避免在推理过程中进行计算。我们提出了第一个运动增强的自我训练制度，我们称之为MotionFit。我们首先在一个小的、有标签的视频集合上对运动模型进行监督训练。通过运动模型，我们为大量未标记的视频集合生成伪标签，这使我们能够通过学习使用外观模型预测这些伪标签来传递知识。此外，我们引入了多剪辑损失作为一种简单而有效的方法来提高伪标记的质量，即使没有额外的辅助任务。我们还考虑了在外观模型的自训练过程中视频的时间粒度，这在以前的作品中是遗漏的。因此，我们得到了一个强大的运动增强表示模型，适合视频下游的任务，如动作识别和剪辑检索。在小规模视频数据集上，MotionFit在使用相同数量的类标签的情况下，知识转移的性能优于替代方案5%-8%，仅视频自我监督的性能优于替代方案1%-7%，半监督学习的性能优于替代方案9%-18%。
2021-05-04 cs.CV
Sequential Deep Trajectory Descriptor for Action Recognition with Three-stream CNN
Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）
学习运动信息的时空表示是人类动作识别的关键。然而，大多数现有的特征或描述符不能有效地捕获运动信息，特别是对于长时间运动。为了解决这个问题，本文提出了一个长期的运动描述符称为顺序深轨迹描述符（sDTD）。具体来说，我们将密集的轨迹投影到二维平面上，随后采用CNN-RNN网络来学习长期运动的有效表示。与流行的双流ConvNets不同，sDTD流被引入到三流框架中，以便从视频序列中识别动作。因此，该三流框架可以同时捕获视频中的静态空间特征、短期运动和长期运动。在三个具有挑战性的数据集上进行了广泛的实验：KTH，HMDB 51和UCF 101。实验结果表明，我们的方法在KTH和UCF 101数据集上实现了最先进的性能，并且与HMDB 51数据集上的最先进方法相当。
2017-02-10 cs.CV
Learning Volumetric Neural Deformable Models to Recover 3D Regional Heart Wall Motion from Multi-Planar Tagged MRI
Rutgers University（罗格斯大学）；New York University School of Medicine（纽约大学医学院）
针对多平面标记MRI的2D表观运动线索恢复3D心室壁真实运动的难题，提出体神经可变形模型νNDMs及混合点Transformer，在大规模合成数据集上实现了高精度的3D密集运动恢复。
2024-12-08 cs.CV eess.IV
Selective, Interpretable, and Motion Consistent Privacy Attribute Obfuscation for Action Recognition
TU Graz（格拉茨工业大学）；York University（约克大学）
针对现有全局混淆和缺乏可解释性的问题，本文提出人工选择隐私模板与选择性属性混淆方案，实现可解释且时间一致的隐私保护，无需重训练，在三个数据集上优于现有方法。
2024-03-19 cs.CV cs.LG
Evolving Skeletons: Motion Dynamics in Action Recognition
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）
本研究在NTU-60和NTU-120数据集上，使用ST-GCN和Hyperformer模型全面评估传统骨架序列与Taylor变换骨架，分析其运动动力学增强潜力与当前挑战，强调创新骨架建模技术的必要性。
2025-02-24 cs.AI cs.CV cs.LG
ILPO-NET: Network for the invariant recognition of arbitrary volumetric patterns in 3D
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对三维体数据识别的旋转不变性难题，提出基于Wigner矩阵展开的ILPO-Net，其卷积天然对局部模式方向不变，在多数据集上性能超基线且参数量最高减1000倍，为多学科应用提供支撑。
2024-04-24 cs.CV cs.LG
Motion Correction and Volumetric Reconstruction for Fetal Functional Magnetic Resonance Imaging Data
Medical University of Vienna（维也纳医科大学）；King's College London（伦敦国王学院）；Nathan Kline Institute（内森·克莱恩研究所）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
运动校正是胎儿脑功能磁共振成像（fMRI）中必不可少的预处理步骤，其目的是去除由胎动和母亲呼吸引起的伪影，从而抑制错误的信号相关性。目前的胎儿fMRI运动校正方法从特定的采集时间点选择具有最少运动伪影的单个3D体积作为参考体积，并对运动校正后的时间序列进行插值重建。如果没有低运动帧可用，并且如果重建不利用任何关于fMRI信号连续性的假设，则结果可能会受到影响。在这里，我们提出了一个新的框架，估计高分辨率的参考体积，通过使用离群鲁棒的运动校正，并通过利用Huber L2正则化的运动校正的胎儿脑功能磁共振成像的堆栈内体积重建。我们进行了广泛的参数研究，以调查运动估计的有效性，并在这项工作中提出基准指标，以量化运动校正和正则化体积重建方法对功能连接计算的影响。我们证明了所提出的框架的能力，以提高功能连接的估计，再现性和信号的可解释性，这是临床上非常可取的预后非侵入性成像生物标志物的建立。运动校正和体积重建框架作为NiftyMIC的开源软件包提供。
2022-02-11 cs.CV
Real-time volumetric free-hand ultrasound imaging for large-sized organs: A study of imaging the whole spine
Nanjing University（南京大学）；Affiliated Drum Tower Hospital, Medical School of Nanjing University（南京大学医学院附属鼓楼医院）
针对大器官3D超声采集慢、运动干扰和特征识别难的问题，提出实时增量式徒手体积成像与双分割算法，并在全脊柱成像中验证其临床可行性。
2024-11-25 cs.CV eess.IV
Assessing the Utility of Volumetric Motion Fields for Radar-based Precipitation Nowcasting with Physics-informed Deep Learning
Kempelen Institute of Intelligent Technologies（智能技术研究所）；Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）
本文提出一种融合物理信息的深度学习框架，直接从体积雷达反射率数据中估计垂直方向运动场，评估其对 extrapolation 基础降水预报的影响，并分析不同海拔层运动一致性。
2026-04-28 cs.AI cs.CV cs.LG
4D-MoDe: Towards Editable and Scalable Volumetric Streaming via Motion-Decoupled 4D Gaussian Compression
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；E-surfing Vision Technology Co., Ltd（E-surfing Vision Technology有限公司）；ShanghaiTech University（上海科技大学）
4D-MoDe提出运动解耦的4D高斯压缩框架，通过分层表示、多分辨率运动估计和熵感知训练，在保证重建质量的同时将体积视频存储成本降低一个数量级，并支持背景替换等可编辑流传输应用。
2025-09-22 cs.CV
General Automatic Human Shape and Motion Capture Using Volumetric Contour Cues
MPI Informatik（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）
无标记运动捕捉算法需要具有适当个性化的骨架尺寸和/或身体形状和外观的3D身体来成功地跟踪人。不幸的是，许多跟踪方法认为模型个性化是一个不同的问题，并使用手动或半自动模型初始化，这大大降低了适用性。在本文中，我们提出了一个全自动的算法，共同创建一个操纵演员模型通常用于动画-骨架，体积形状，外观，并可选的身体表面-和估计演员的运动，仅从多视图视频输入。该方法经过严格的设计，可以处理用很少的相机记录的一般户外场景的镜头，并且没有背景减除。我们的方法使用了一个新的图像形成模型与分析可见性和分析可微的对齐能量。对于重建，3D身体形状近似为高斯密度场。对于姿态和形状估计，我们最大限度地减少了一个新的基于边缘的对齐能量的体积光线投射在吸收介质中的启发。我们进一步提出了一个新的统计人体模型，代表身体表面，体积高斯密度，以及骨架形状的变化。给定任何多视图序列，我们的方法联合优化该模型的姿态和形状参数完全自动在时空的方式。
2016-10-21 cs.CV
Fetal Pose Estimation in Volumetric MRI using a 3D Convolution Neural Network
MIT（麻省理工学院）；Tsinghua University（清华大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
妊娠期磁共振成像（MRI）的性能和诊断效用从根本上受到胎儿运动的限制。胎儿的运动在常规成像时间的尺度上是不可预测的且快速的，这将可行的采集技术的集合限制为单次激发成像，在信噪比和诊断对比度方面具有严重的折衷，并且经常导致不可接受的图像质量。令人惊讶的是，鲜为人知的是，在MRI期间的胎儿运动的特点，在这里，我们提出和证明的方法，利用越来越多的存储库的MRI观察妊娠腹部，获得在低空间分辨率，但相对较高的时间分辨率和较长的持续时间（10-30分钟）。我们通过检测关键胎儿标志的深度学习算法来估计孕妇腹部MRI体积中每帧的胎儿姿势。评估所提出的方法表明，我们的框架实现定量的平均误差为4.47毫米和96.4%的准确度（误差小于10毫米）。MRI时间序列中的胎儿姿势估计产生了量化健康和疾病中的胎动的新方法，并且使得能够学习运动学模型，这可以增强MRI采集期间胎儿运动伪影的预期缓解。
2019-07-10 cs.CV eess.IV
ATGS: Anchored Temporal Gaussian Splatting for Long Volumetric Video Representation
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）
针对长序列体积视频的时间不稳定问题，提出基于高斯溅射的ATGS框架，通过时间条件锚点组织高斯、时间窗口策略及多级锚点特征约束，实现更优的长序列体积视频重建性能。
2026-09-01 cs.CV
Temporal Registration in In-Utero Volumetric MRI Time Series
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个强大的方法来纠正宫内体积MRI时间序列的运动和变形。动态MRI的时空分析需要在存在大量和不可预测的运动的情况下跨时间的鲁棒对准。我们对变形的性质进行马尔可夫假设，以利用图像数据中的时间结构。在相应的隐马尔可夫模型（HMM）中传递的前向消息产生一种估计算法，该算法仅需考虑连续帧之间相对较小的运动。我们证明了时间模型的实用性，它的使用提高了通过时间登记的分割传播的准确性。我们的研究结果表明，所提出的模型准确地捕捉在子宫内MRI时间序列的变形的时间动态。
2016-08-12 cs.CV
Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization
ShanghaiTech University（上海科技大学）
我们提出了一种新的解决方案，跟踪和映射的事件相机。摄像机的运动包括旋转和平移，并且位移发生在任意结构的环境中。结果，图像匹配可能不再由低维单应性扭曲表示，从而使通常使用的扭曲事件图像（IWE）的应用复杂化。我们引入了一个新的解决方案，这个问题进行对比度最大化的3D。每个事件的射线投射的3D位置作为连续时间运动参数化的函数平滑地变化，并且通过最大化体积射线密度场中的对比度来找到最佳参数。因此，我们的方法对运动和结构进行联合优化。我们的方法的实际有效性支持的AGV运动估计和3D重建与一个单一的车载事件摄像机的应用程序。该方法接近常规相机获得的性能，并最终在具有挑战性的视觉条件下表现出色。
2021-07-07 cs.CV
3D ShapeNets: A Deep Representation for Volumetric Shapes
Princeton University（普林斯顿大学）；Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
3D形状是当今计算机视觉系统中至关重要但严重未被充分利用的线索，主要是由于缺乏良好的通用形状表示。随着最近廉价的2.5D深度传感器（例如Microsoft Kinect）的可用性，在循环中具有强大的3D形状表示变得越来越重要。除了类别识别，从基于视图的2.5D深度图恢复完整的3D形状也是视觉理解的关键部分。为此，我们建议使用卷积深度信念网络将几何3D形状表示为3D体素网格上的二进制变量的概率分布。我们的模型，3D ShapeNets，从原始CAD数据中学习复杂3D形状在不同对象类别和任意姿势中的分布，并自动发现分层组成部件表示。它自然支持2.5D深度图的联合对象识别和形状完成，并通过视图规划实现活动对象识别。为了训练我们的3D深度学习模型，我们构建了ModelNet -一个大规模的3D CAD模型数据集。大量的实验表明，我们的3D深度表示可以在各种任务中显着提高性能。
2015-04-15 cs.CV
Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video
Seoul National University（首尔大学）
我们提出了神经木偶，一种无监督的方法，从动态序列中发现骨骼结构，并学习生成与观察到的运动动态一致的各种运动。给定任意运动下关节体的点云观察的视频流，我们的方法发现未知的低维骨架关系，可以有效地表示运动。然后利用所发现的结构将动态序列的运动先验编码到潜在结构中，该潜在结构可以被解码为相对关节旋转以表示完整的骨架运动。我们的方法在没有任何关于潜在运动或骨架结构的先验知识的情况下工作，并且我们证明了所发现的结构在表示4D运动序列时甚至可以与手工标记的地面真实骨架相媲美。骨架结构嵌入了可能的运动空间的一般语义，可以为不同的场景生成运动。我们验证了所学习的运动先验可推广到多模态序列生成、两个姿势的插值和运动重定向到不同的骨架结构。
2022-02-17 cs.AI cs.CV
FusionNet: 3D Object Classification Using Multiple Data Representations
Stanford（斯坦福大学）；Matroid（Matroid公司）
高质量的3D物体识别是许多视觉和机器人系统的重要组成部分。我们使用两种数据表示来解决对象识别问题，以在Princeton ModelNet挑战中取得领先的结果。这两个表征：1.体积表示：3D对象在空间上离散为二进制体素-如果体素被占用则为$1$，否则为$0$。2.像素表示：3D对象表示为一组投影的2D像素图像。目前提交给ModelNet挑战赛的主要作品都是在像素表示上使用卷积神经网络（CNN）。然而，我们偏离了这一趋势，另外，使用体积CNN来弥合上述两种表示方法的效率之间的差距。我们结合这两种表示，并利用它们来学习新的功能，这产生了一个显着更好的分类器比单独使用的表示。为此，我们引入了新的体积CNN（V-CNN）架构。
2016-11-27 cs.CV
Learning to Estimate Single-View Volumetric Flow Motions without 3D Supervision
Technical University of Munich (TUM)（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；TUM - Institute for Advanced Study（慕尼黑工业大学高等研究院）
本研究提出一种无监督深度神经网络方法，仅依靠单目视频、图像损失、对抗判别网络与正则化，无需3D真实标注即可联合推断流体的3D流场与体积密度，可稳定处理长时序序列且匹配度高。
2023-02-28 cs.CV cs.LG physics.flu-dyn
From Coarse to Continuous: Progressive Refinement Implicit Neural Representation for Motion-Robust Anisotropic MRI Reconstruction
Department of Bioengineering and Imperial-X, Imperial College London（生物工程系和Imperial-X，帝国理工学院伦敦分校）；Department of Bioengineering, Imperial College London（生物工程系，帝国理工学院伦敦分校）
本文提出PR-INR框架，通过运动感知扩散模块、隐式细节恢复模块和体素连续感知表示模块，解决MRI重建中的运动、结构和各向异性问题，提升重建质量和鲁棒性。
2026-03-23 cs.CV eess.IV
VolumeDeform: Real-time Volumetric Non-rigid Reconstruction
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）
我们提出了一种新的方法，使用一个单一的手持消费级RGB-D传感器在实时的【形】率的动态几何形状的重建。我们的方法不需要一个预定义的形状模板开始，并从头开始建立场景模型在扫描过程中。几何形状和运动以统一的方式通过体积表示来参数化，该体积表示对表面几何形状的距离场以及非刚性空间变形进行编码。运动跟踪是基于一组提取的稀疏颜色特征结合密集的基于深度的约束制定。这实现了精确的跟踪，并大大减少了标准模型到深度对齐所固有的漂移。我们将寻找空间的最佳变形作为一个非线性正则化变分优化问题，通过强制局部光滑和接近输入约束。这个问题是解决在实时相机的捕获率使用数据并行触发器优化策略。我们的研究结果表明，强大的跟踪，即使是快速运动和场景，缺乏几何特征。
2016-07-30 cs.CV
RePerformer: Immersive Human-centric Volumetric Videos from Playback to Photoreal Reperformance
ShanghaiTech University（上海科技大学）；NeuDim；ByteDance（字节跳动）；DGene；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出 RePerformer 高斯表示，通过运动与外观解耦、Morton 参数化及语义对齐形变迁移，统一实现人体体积视频的高保真回放与新动作照片级重演。
2025-03-15 cs.CV
Learning Coherent Matrixized Representation in Latent Space for Volumetric 4D Generation
School of Artificial Intelligence（人工智能学院）；School of Information Engineering（信息工程学院）；School of Electrical and Information Engineering（电气与信息工程学院）；Computer Science and Software Engineering（计算机科学与软件工程）；The University of Western Australia（西澳大学）
针对现有4D内容生成方法运动多样性和细节连续性不足的问题，提出基于潜在空间矩阵化表示与时空扩散的体素4D生成框架，在多数据集上实现了更优的高质量生成效果。
2025-06-16 cs.CV
Volumetric Convolution: Automatic Representation Learning in Unit Ball
Australian National University（澳大利亚国立大学）
卷积是一种在深度网络中使用分层获得抽象特征表示的有效技术。虽然在欧几里得几何中执行卷积相当简单，但将其扩展到其他拓扑空间--例如球体（$\mathbb{S}^2$）或单位球（$\mathbb{B}^3$）--需要独特的挑战。在这项工作中，我们提出了一种新的“\emph{volumetric convolution}”操作，可以有效地卷积任意函数在$\mathbb{B}^3$。我们基于Zernike多项式为\emph{volumetric convolution}开发了一个理论框架，并将其有效地实现为深度网络的可微分和易于插入的层。此外，我们的配方导致推导出一个新的公式来衡量一个函数的对称性在$\mathbb{B}^3$围绕任意轴，这是有用的三维形状分析任务。我们在一个可能的用例上证明了所提出的体积卷积操作的有效性，即，3D物体识别任务。
2019-01-03 cs.CV cs.LG stat.ML
Volumetric Transformer Networks
Korea University（高丽大学）；EPFL（洛桑联邦理工学院）
在深度卷积神经网络（CNN）内编码空间不变性的现有技术将相同的扭曲场应用于所有特征通道。这并没有说明这样的事实，即各个特征通道可以表示不同的语义部分，这些语义部分可以经历相对于不同的空间变换。一种典型的结构为了克服这一限制，我们引入了一个可学习的模块，体积Transformer网络（VTN），预测通道方向的扭曲字段，以便重新配置中间CNN功能空间和通道方向。我们将VTN设计为一个编码器-解码器网络，其中的模块专门用于让信息在功能通道中流动，以解决语义部分之间的依赖关系。我们进一步提出了一个损失函数之间的变形特征对的实例，这提高了VTN的定位能力。我们的实验表明，VTN一贯提高功能的表示能力，从而提高网络的精度细粒度图像识别和实例级图像检索。
2020-07-18 cs.CV
PackUV: Packed Gaussian UV Maps for 4D Volumetric Video
Brown University（布朗大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；Meta
PackUV通过压缩高斯UV映射实现4D体素视频的高效存储与流式传输，解决了传统方法在长序列和大运动下的时间一致性问题。
2026-03-06 cs.CV
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
HUMAN4D: A Human-Centric Multimodal Dataset for Motions and Immersive Media
National Technical University of Athens（雅典国家技术大学）
我们介绍了HUMAN 4D，一个大型的多模式4D数据集，包含了各种人类活动，同时捕获的专业标记为基础的MoCap，体积捕获和音频记录系统。通过捕捉2名女性和$2$男性专业演员表演各种全身动作和表情，HUMAN 4D提供了一组多样化的动作和姿势，这些动作和姿势是单人和多人日常身体和社交活动（跳跃，跳舞等）的一部分，以及多RGBD（mRGBD）、体积和音频数据。尽管存在使用硬件（HW）同步捕获的多视图彩色数据集，但据我们所知，HUMAN 4D是第一个也是唯一一个由于使用传感器内和传感器间HW-SYNC而提供具有高同步精度的体积深度图的公共资源。此外，一个时空对齐的扫描和操纵的3D字符补充了HUMAN 4D，使联合研究时变和高质量的动态网格。我们通过对HUMAN 4D与最先进的人体姿态估计和3D压缩方法进行基准测试来提供评估基准。对于前者，我们应用2D和3D姿态估计算法上的单视图和多视图数据线索。对于后者，我们基准测试开源3D编解码器的体积数据尊重在线体积视频编码和稳定的比特率。此外，在不同质量下重建的基于网格的体积数据之间的定性和定量视觉比较展示了关于4D表示的可用选项。HUMAN 4D被引入到计算机视觉和图形研究社区，以实现对时空对齐的姿态、体积、mRGBD和音频数据线索的联合研究。数据集及其代码可在https://tofis.github.io/myurls/human4d上获得。
2021-10-19 cs.AI cs.CV cs.LG
