Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）
人体运动预测的目的是根据观察到的骨架序列生成未来的人体运动帧。最近的方法采用递归神经网络（RNN）的最新隐藏状态来编码历史骨架，这只能解决短期预测问题。在这项工作中，我们提出了一个运动上下文建模总结历史的人类运动相对于当前的预测。提出了一种改进的高速公路单元（MHU），用于有效地消除不动的关节和估计下一个姿态给定的运动上下文。此外，我们通过最小化用于长期运动预测的克矩阵损失来增强运动动态性。实验结果表明，该模型可以很好地预测人类的未来运动，这产生了优于相关的国家的最先进的方法的性能。此外，指定的运动上下文与活动标签，使我们的模型执行人体运动转移。
2018-05-07 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas（北德克萨斯大学）
由于在视频监控、人机交互、视频检索等方面的广泛应用，人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展，在过去的几年中，根据以前的调查提出了一个良好的分类。从这项最先进的调查中，研究人员可以看到这一领域的进展全景，以供未来研究。
2015-01-23 cs.CV
Human Motion Prediction via Test-domain-aware Adaptation with Easily-available Human Motions Estimated from Videos
Toyota Technological Institute Japan（丰田技术研究所日本）
针对人体动作预测依赖昂贵动捕数据、泛化性差的问题，提出将单目视频估计的二维姿态转换为动捕风格三维动作并用于测试域自适应学习，实验验证了其定量与定性效果。
2025-05-13 cs.CV
Human MotionFormer: Transferring Human Motions with Vision Transformers
Hong Kong University of Science and Technology（香港科技大学）；Huya Inc（虎牙公司）；Tencent（腾讯）；Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）
人体运动转移的目的是将目标动态人的运动转移到源静态人的运动合成。在大的和微小的运动变化中，源人物和目标运动之间的准确匹配对于提高传输的运动质量至关重要。在本文中，我们提出了人类MotionFormer，一个层次化的ViT框架，利用全球和本地的看法，分别捕捉大型和微妙的运动匹配。它由两个ViT编码器组成，用于提取输入特征（即，目标运动图像和源人类图像）和具有用于特征匹配和运动传递的若干级联块的ViT解码器。在每个块中，我们将目标运动特征设置为Query，将源人物设置为Key和Value，计算交叉注意图进行全局特征匹配。此外，我们还引入了一个卷积层来改善全局交叉注意计算后的局部感知。该匹配过程在变形和生成分支中实现，以引导运动转移。在训练过程中，我们提出了一个相互学习的损失，以实现扭曲和生成分支之间的共同监督，以获得更好的运动表示。实验表明，我们的Human MotionFormer在定性和定量方面都具有新的最先进的性能。项目页面：\url{https://github.com/KumapowerLIU/Human-MotionFormer}
2023-02-25 cs.CV
Optical Flow-based 3D Human Motion Estimation from Monocular Video
TU Braunschweig（不伦瑞克工业大学）
我们提出了一种生成的方法来估计三维人体运动和身体形状从单目视频。假设从一个初始姿态开始的光流约束随后的人体运动，我们利用流找到时间上相干的人体姿势的运动序列。我们估计人体运动计算流场和人工流渲染器的输出之间的差异最小化。需要单个初始化步骤来估计多个帧上的运动。几个正则化函数随着时间的推移增强了鲁棒性。我们的测试场景表明，光流有效地规范了单目视频中人体形状和运动估计的欠约束问题。
2017-03-21 cs.CV
CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos
HKUST（香港科技大学）；SCUT（华南理工大学）；HKU（香港大学）；MIT（麻省理工学院）；ZJU（浙江大学）
本文提出CoMoVi框架，通过单个扩散去噪循环同步生成3D人类动作和视频，采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。
2026-04-10 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
HumANDiff: Articulated Noise Diffusion for Motion-Consistent Human Video Generation
Stability AI
HumANDiff通过关节化噪声采样、联合外观-运动学习和几何运动一致性学习，实现高保真人体视频生成，支持多样化的服装风格。
2026-04-07 cs.CV
Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes
UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
合成三维人体运动在许多图形应用以及理解人体活动中起着重要作用。虽然许多努力已经产生逼真和自然的人体运动，大多数方法忽略了建模的重要性，人的场景交互和启示。另一方面，可供性推理（例如，站在地板上或坐在椅子上）主要是用静态的人体姿势和姿势来研究的，很少用人体运动来解决。在本文中，我们提出了桥梁人体运动合成和场景启示推理。我们提出了一个分层生成框架来合成长期的3D人体运动调节的3D场景结构。在此基础上，我们进一步加强多个几何约束之间的人体网格和场景点云通过优化，以提高真实感的合成。我们的实验表明，显着的改进，在场景中产生自然和物理上合理的人体运动比以前的方法。
2021-06-14 cs.CV
MotionRL: Align Text-to-Motion Generation to Human Preferences with Multi-Reward Reinforcement Learning
CAS Key Laboratory of Technology in GIPAS（CAS GIPAS技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
针对现有文本生成动作研究忽略人类反馈主观性的问题，提出MotionRL方法，通过多奖励强化学习结合人类偏好先验微调生成器，并采用多目标优化策略逼近帕累托最优，实验证明其在多指标上性能显著提升且支持多目标结果控制。
2024-10-09 cs.CV
PACE: Human and Camera Motion Estimation from in-the-wild Videos
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
提出联合优化框架，结合SLAM与人体运动先验解耦野外视频中的人体与相机运动，并引入批量优化先验和新合成数据集，显著提升了运动估计精度与效率。
2023-10-20 cs.CV
Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Huawei Cloud（华为云）；Tencent AI Lab（腾讯人工智能实验室）
人体运动预测的目的是根据观察到的人体运动生成未来的运动。由于循环神经网络（RNN）在序列数据建模方面取得了成功，最近的研究利用RNN对观察到的运动序列进行人体骨骼运动建模，并预测未来的人体运动。然而，这些方法没有考虑关节间的空间一致性和骨骼间的时间演化，而这恰恰反映了人体运动在时空空间中的重要特征。为此，我们提出了一种新的关节协同注意循环神经网络（SC-RNN），以捕捉关节之间的空间一致性，和骨骼之间的时间演化，同时在一个关节协同注意特征映射在时空空间。首先，构造一个双关节特征图作为所观察到的运动序列的表示。其次，我们设计了一个新的非线性联合共同注意力（SCA）机制，动态学习这个非线性联合特征映射的非线性联合共同注意力特征映射，它可以细化有用的观察到的运动信息来预测一个未来的运动。第三，GRU的一个变体嵌入SCA协同建模的人体骨骼运动和人体关节运动的时空空间，把人体关节的共同注意力特征映射作为运动上下文。人体运动预测的实验结果表明，该方法优于相关方法。
2019-10-01 cs.CV
Learning Joint Representation of Human Motion and Language
Korea University（高丽大学）；Allen Institute for AI（艾伦人工智能研究所）
在这项工作中，我们提出了MoLang（一种运动语言连接模型），用于学习人类运动和语言的联合表示，利用运动和语言模态的未配对和配对数据集。为此，我们提出了一个具有对比学习的运动语言模型，使我们的模型能够更好地学习人类运动域的可概括表示。实验结果表明，我们的模型通过导航语言模态来学习人体运动数据的强表示。我们提出的方法是能够执行动作识别和运动检索任务与一个单一的模型，它优于国家的最先进的方法对一些动作识别基准。
2022-10-27 cs.CV
Action2Motion: Conditioned Generation of 3D Human Motions
University of Alberta（阿尔伯塔大学）；University of Chicago（芝加哥大学）；Yale University（耶鲁大学）；University of Guelph（圭尔夫大学）
动作识别是一个相对成熟的任务，它是在给定一个输入序列的情况下，预测其动作类别。另一方面，本文考虑了一个相对较新的问题，它可以被认为是动作识别的逆：给定一个规定的动作类型，我们的目标是在3D中生成合理的人体运动序列。重要的是，生成的运动集有望保持其多样性，以便能够探索整个动作条件运动空间;同时，每个采样序列忠实地类似于anaturalhuman bodyarticulation dynamics。基于这些目标，我们遵循人体运动学的物理规律，采用李代数理论来表示人体的自然运动，并提出了一种时间变分自动编码器（VAE），鼓励运动空间的双向性。还构建了一个新的三维人体运动数据集HumanAct 12。在三个不同的人体运动数据集（包括我们的）的实证实验证明了我们的方法的有效性。
2020-07-30 cs.CV
Human Pose Estimation using Motion Priors and Ensemble Models
Toyota Technological Institute（丰田工业大学）
图像和视频中的人体姿态估计是用于实现各种人体活动识别任务（例如，人机交互、手势识别、监视和视频摘要）。本文提出了两种类型的人体姿态估计方法：1）三维人体姿态跟踪运动先验和2）二维人体姿态估计集成建模。
2019-01-26 cs.CV
MotionLLM: Understanding Human Behaviors from Human Motions and Videos
Tsinghua University（清华大学）；International Digital Economy Academy (IDEA Research)（国际数字经济学院（IDEA研究院））；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)（香港中文大学（深圳）数据科学学院）
本研究提出MotionLLM框架，通过联合建模视频和动作序列并采用统一训练策略，结合新构建的MoVid数据集与MoVid-Bench基准，在人类行为理解、描述和推理任务上展现出优越性能。
2024-05-30 cs.CV
MoManifold: Learning to Measure 3D Human Motion via Decoupled Joint Acceleration Manifolds
Zhejiang University（浙江大学）
本文提出MoManifold，一种基于神经距离场和解耦关节加速度流形的人体运动先验，通过显式量化运动合理性并在多个下游任务中超越现有SOTA方法。
2024-09-01 cs.CV
Move-in-2D: 2D-Conditioned Human Motion Generation
Adobe Research（奥多比研究院）；University of California Merced（加州大学默塞德分校）
提出Move-in-2D方法，利用扩散模型以场景图像和文本为条件生成适配场景的人体运动序列，实验证明其有效性和对视频合成的改进。
2024-12-17 cs.CV
Vision-based Human Gender Recognition: A Survey
Universiti Tunku Abdul Rahman（拉曼大学）
性别是人们的一个重要人口属性。本文综述了计算机视觉中人类性别识别的研究进展。回顾了利用面部和全身（无论是从静止图像或步态序列）的信息的方法。我们强调所面临的挑战，并调查这些方法的代表性方法。基于这些结果，在受控环境下捕获的数据集已经取得了良好的性能，但仍有许多工作可以做，以提高现实生活环境下性别识别的鲁棒性。
2012-04-07 cs.CV
Human Motion Prediction via Learning Local Structure Representations and Temporal Dependencies
University of Southern California（南加州大学）
从运动捕捉数据中预测人体运动是计算机视觉中的经典问题，传统的方法都是以人体整体作为输入。这些方法忽略了这样一个事实，即在各种人类活动中，不同的身体部位（四肢和躯干）在运动模式方面具有不同的特征。在本文中，我们认为应该分别学习不同身体部位的局部表示，并基于这样的想法，提出了一种用于长期人体运动预测的网络，骨架网络（Skeleton Network，简称SNET）。具体来说，在每个时间步，通过SkelNet的特定组件层分支获得输入（人体）的局部结构表示，然后共享层使用局部空间表示来预测未来的人体姿势。我们的WSNNet是第一个使用局部结构表示来预测人体运动的网络。然后，对于短期人体运动预测，我们提出了第二个网络，称为骨架时间网络（Skeleton Temporal Network，简称TNet）。EST-TNet由三个组件组成：ESTNet和递归神经网络，它们分别在学习空间和时间依赖性以预测人体运动方面具有优势;前馈网络输出最终估计。我们的方法在Human3.6M数据集和CMU运动捕捉数据集上取得了令人满意的结果。
2019-05-07 cs.CV
Text-driven Human Motion Generation with Motion Masked Diffusion Model
University College London（伦敦大学学院）
本文提出运动掩码扩散模型MMDM，通过时间帧掩码和身体部位掩码增强扩散模型对时空关系的上下文推理能力，在HumanML3D和KIT-ML上有效平衡了运动质量与文本-运动一致性。
2024-09-29 cs.CV
Self-Intersection-Aware 3D Human Motion Generation Using an Efficient Human Sphere Proxy
Bosch Research（博世研究院）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
提出一种基于人体球代理的自交损失函数，用于训练人体运动生成模型，可减少高达49%的自交现象并改善评估指标。
2026-05-26 cs.CV
MotionChain: Conversational Motion Controllers via Multimodal Prompts
Fudan University（复旦大学）；Tencent（腾讯）
本文提出 MotionChain 对话式人体运动控制器，通过多模态分词器和视觉-运动感知语言模型理解多轮文本、图像与运动提示，生成连续长期人体动作，并在实验中取得最先进性能。
2024-04-03 cs.CV
Capturing Humans in Motion: Temporal-Attentive 3D Human Pose and Shape Estimation from Monocular Video
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；Providence University（静宜大学）
学习捕捉人体运动是从单目视频中估计三维人体姿态和形状的关键。然而，现有的方法主要依赖于循环或卷积操作来对此类时间信息进行建模，这限制了捕获人体运动的非局部上下文关系的能力。为了解决这个问题，我们提出了一个运动姿态和形状网络（MPS-Net），以有效地捕捉运动中的人，从视频中估计准确和时间上连贯的3D人体姿态和形状。具体来说，我们首先提出了一个运动连续性注意（MoCA）模块，利用从人体运动观察到的视觉线索，自适应地重新校准序列中需要注意的范围，以更好地捕捉运动连续性依赖关系。然后，我们开发了一个分层的关注功能集成（HAFI）模块，有效地结合相邻的过去和未来的特征表示，以加强时间相关性和完善当前帧的特征表示。通过耦合MoCA和HAFI模块，所提出的MPS-Net在估计视频中的3D人体姿态和形状方面表现出色。虽然概念简单，但我们的MPS-Net不仅在3DPW，MPI-INF-3DHP和Human3.6M基准数据集上优于最先进的方法，而且使用更少的网络参数。视频演示可以在https://mps-net.github.io/MPS-Net/上找到。
2022-03-16 cs.CV
On human motion prediction using recurrent neural networks
University of British Columbia（不列颠哥伦比亚大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Body Labs Inc.（Body Labs公司）
人体运动建模是图形学和计算机视觉交叉领域的一个经典问题，其应用范围涵盖人机交互、运动合成以及虚拟和增强现实的运动预测。随着深度学习方法在几个计算机视觉任务中的成功，最近的工作集中在使用深度循环神经网络（RNN）来建模人体运动，目标是学习执行短期运动预测和长期人体运动合成等任务的时间相关表示。我们研究最近的工作，重点是文献中常用的评估方法，并表明，令人惊讶的是，国家的最先进的性能可以实现一个简单的基线，不试图在所有的运动模型。我们调查了这一结果，并通过查看最先进的方法中使用的架构，损失函数和训练过程来分析最近的RNN方法。我们对通常用于人体运动的标准RNN模型提出了三个变化，这导致了一个简单且可扩展的RNN架构，可以在人体运动预测方面获得最先进的性能。
2017-05-06 cs.CV
Human Motion Modeling using DVGANs
SRI International（SRI国际公司（SRI International））
我们提出了一种新的生成模型的人体运动建模使用生成对抗网络（GANs）。我们在每个时间尺度上使用密集验证来制定GAN模型，并扰动模型输入以使其平移不变。我们的模型是能够运动生成和完成。我们通过我们的评估显示的弹性噪声，泛化的行动，并产生长的不同的序列。我们评估我们的方法在人类3.6M和CMU运动捕捉数据集使用初始分数。
2018-05-18 cs.CV
Real-time Street Human Motion Capture
University of Alberta（阿尔伯塔大学）
近年来，使用计算机的运动捕捉技术得到了迅速发展。由于其效率高、性能优良，取代了许多传统的方法，正在许多领域得到广泛的应用。我们的项目是关于街景视频人体运动捕捉和分析。该项目的主要目标是捕获视频中的人体运动，并将运动信息用于实时的【形】3D动画（人体）。我们采用了一个神经网络的运动捕捉，并实现了在一个街景场景下的统一。通过分析运动数据，我们将更好地估计街道状况，这对自动驾驶汽车等其他高科技应用非常有用。
2021-12-21 cs.CV
TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos
University of Pennsylvania（宾夕法尼亚大学）；Archimedes, Athena RC（阿基米德雅典娜研究中心）
TRAM提出两阶段方法，通过鲁棒化SLAM恢复相机运动并利用视频Transformer模型VIMO回归人体运动，从而在自然视频中准确重建三维人体的全局轨迹与运动。
2024-09-02 cs.CV
Scene-aware Generative Network for Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Centre of Perceptual and Interactive Intelligence（感知与交互智能研究中心）
在本文中，我们重新审视人体运动合成，在各种现实世界的应用中有用的任务。虽然之前已经开发了许多方法用于此任务，但它们通常限于两个方面：专注于姿势而将位置运动抛在后面，以及忽略环境对人体运动的影响。在本文中，我们提出了一个新的框架，考虑了场景和人体运动之间的相互作用。考虑到人体运动的不确定性，我们制定了这个任务作为一个生成的任务，其目标是生成合理的人体运动的场景和人体的初始位置的条件。该框架将人体运动的分布分解为以场景为条件的运动轨迹的分布和以场景和轨迹为条件的身体姿势动态的分布。我们进一步推导出一个基于GAN的学习方法，与判别器，以执行人体运动和上下文场景之间的兼容性，以及3D到2D投影约束。我们评估了所提出的方法在两个具有挑战性的数据集上的有效性，这两个数据集涵盖了合成和现实世界的环境。
2021-05-31 cs.CV
AdvMT: Adversarial Motion Transformer for Long-term Human Motion Prediction
School of Mechanical Engineering, Yonsei University（延世大学机械工程学院）；Korea Power Research Institute（韩国电力研究院）
AdvMT结合Transformer编码器与时间连续性判别器，通过对抗训练和骨骼长度约束，在Human3.6M上实现长期人体运动预测的最先进准确性，并提升短期预测稳健性。
2026-09-30 cs.CV
Learning Disentangled Representations for Controllable Human Motion Prediction
University of Fukui（福井大学）；Niigata University（新潟大学）
基于生成模型的运动预测技术最近已经实现了预测受控的人体运动，例如预测具有相似的下半身运动的多个上半身运动。然而，为了实现这一点，最先进的方法需要随后学习映射函数以寻找类似的运动，或者重复训练模型以实现对身体的期望部分的控制。在本文中，我们提出了一个新的框架来学习可控的人体运动预测解开表示。我们的网络涉及一个条件变分自动编码器（CVAE）架构来模拟全身人体运动，以及一个额外的CVAE路径来学习相应的部分身体（例如，下半身）运动。具体而言，由额外的CVAE路径施加的诱导偏差鼓励两个路径中的两个潜变量分别管理每个部分身体运动的单独表示。通过一次训练，我们的模型能够为生成的人体运动提供两种类型的控制：（i）严格控制人体的一部分，（ii）通过从一对潜在空间中采样来自适应地控制另一部分。此外，我们将采样策略扩展并调整到我们训练的模型，以使可控预测多样化。我们的框架还可能允许新形式的控制，通过灵活地定制额外的CVAE path.Extensive的实验结果和消融研究表明，我们的方法是能够预测国家的最先进的可控人体运动定性和定量的输入。
2022-07-04 cs.CV
Scene-aware Human Motion Forecasting via Mutual Distance Prediction
Australian National University（澳大利亚国立大学）
针对场景感知三维人体运动预测中现有交互约束仅覆盖局部运动的问题，提出预测人体与场景的双向相互距离并结合SDF全局场景表示，实现全身约束的两阶段运动预测，性能优于现有方法。
2024-08-10 cs.CV
Human Motion Prediction, Reconstruction, and Generation
AI Geeks
本报告综述人体运动预测、重建与生成的最新进展，涵盖关键方法、数据集、挑战及未来方向，推动机器人、游戏和虚拟化身等应用。
2025-02-21 cs.CV
Object Motion Guided Human Motion Synthesis
Stanford University（斯坦福大学）
本文提出OMOMO条件扩散框架，以物体运动为条件，通过手部位置中间表示显式保证接触约束，合成全身大型物体操控运动，并构建约10小时的人-物交互数据集。
2023-09-28 cs.CV
Learning Multiscale Correlations for Human Motion Prediction
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom（中国电信）
尽管在人体运动预测方面取得了很大的进展，但对非周期性复杂运动的预测仍然是一个具有挑战性的课题。我们认为，捕捉人体各组成部分之间的相关性是理解人体运动的关键。在本文中，我们提出了一种新的多尺度图卷积网络（MGCN）来解决这个问题。首先，我们设计了一个自适应多尺度交织编码模块（MIEM），它由两个子模块组成：尺度变换模块和尺度交互模块来学习人体相关性。其次，我们采用一种由粗到精的解码策略来顺序解码运动。我们在两个标准的人体运动预测基准数据集上评估了我们的方法：Human3.6M和CMU运动捕捉数据集。实验表明，该方法在短期和长期预测方面都达到了最先进的性能，特别是在那些复杂的动作类别中。
2021-07-12 cs.CV
Deterministic-to-Stochastic Diverse Latent Feature Mapping for Human Motion Synthesis
Nanyang Technological University（南洋理工大学）；ByteDance Inc.（字节跳动公司）；Dalian University（大连大学）；Dalian University of Technology（大连理工大学）
针对基于分数的生成模型在人体动作合成中训练不稳定的问题，提出DSDFM方法，通过两阶段过程结合确定性特征映射与随机输出生成，在不增加参数下提升动作多样性与准确性，取得最优结果。
2025-05-02 cs.CV
Simple Baseline for Single Human Motion Forecasting
Alibaba Group（阿里巴巴集团）
全局人体运动预测是全局人体轨迹预测和局部人体姿态预测的结合，在许多领域具有重要的应用价值。视觉和社会信息通常被用来提高模型的性能，然而，它们可能会消耗太多的计算资源。在本文中，我们建立了一个简单但有效的基线，用于在没有视觉和社会信息的情况下进行单个人体运动预测，并配备了有用的训练技巧。我们的方法“futuremotion_ICCV21”在SoMoF基准测试中大幅优于现有方法。我们希望我们的工作为未来的研究提供新的思路。
2021-10-14 cs.CV
HumanDreamer: Generating Controllable Human-Motion Videos via Decoupled Generation
GigaAI（极佳科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
提出解耦框架HumanDreamer，通过文本生成姿态再生成人体运动视频，构建最大数据集MotionVid并训练MotionDiT，引入LAMA损失显著提升FID和R-precision指标，生成高质量视频并支持下游任务。
2025-04-01 cs.CV
Multi-Condition Latent Diffusion Network for Scene-Aware Neural Human Motion Prediction
Tencent AI Lab（腾讯 AI 实验室）；School of Engineering, Westlake University（西湖大学工程学院）；OPPO U.S. Research Center（OPPO 美国研究中心）
提出多条件潜在扩散网络（MCLD），将人体运动预测重新表述为基于历史3D身体运动和当前3D场景上下文的多条件联合推断问题，在潜在嵌入空间内执行条件扩散过程，实现跨模态映射，在真实和多样化预测上显著优于现有最先进方法。
2024-05-30 cs.CV
Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening
Shanghai Jiao Tong University（上海交通大学）
人体运动合成是一个长期存在的问题，在数字孪生和Metaverse中有各种应用。然而，现代基于深度学习的运动合成方法几乎不考虑合成运动的物理可扩展性，因此它们通常产生不真实的人体运动。为了解决这个问题，我们提出了一个系统“Ancheton2Humanoid”，它在测试时通过在物理模拟器中正则化合成的骨架运动来执行面向物理的运动校正。具体来说，我们的系统包括三个连续的阶段：（I）测试时间运动合成网络适应，（II）骨架人形匹配和（III）基于强化学习（RL）的运动模仿。阶段I引入了测试时自适应策略，该策略通过优化骨骼关节位置来提高合成的人体骨骼运动的物理可扩展性。第二阶段采用解析逆运动学策略，将优化后的人体骨骼运动转化为物理仿真器中的人形机器人运动，然后将转化后的人形机器人运动作为参考运动，供强化学习策略进行仿真。第三阶段介绍了一个课程的残余力控制策略，它驱动人形机器人模仿复杂的转换参考运动，按照物理定律。我们验证我们的系统上一个典型的人体运动合成任务，运动之间。在具有挑战性的LaFAN 1数据集上的实验表明，我们的系统在物理可扩展性和准确性方面都明显优于以前的方法。代码将在以下网站发布以供研究：https://github.com/michaelliyunhao/Skeleton2Humanoid
2022-10-09 cs.CV
Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods
Northwestern Polytechnical University（西北工业大学）；The City College, City University of New York（纽约城市大学城市学院）
基于视觉的单目人体姿态估计是计算机视觉中最基本、最具挑战性的问题之一，其目的是从输入图像或视频序列中获取人体的姿态。近年来，深度学习技术的发展为人体姿态估计领域带来了重大进展和突破。该调查广泛回顾了自2014年以来发表的基于深度学习的2D和3D人体姿态估计方法。本文总结了该领域面临的挑战、主要框架、基准数据集、评估指标、性能比较，并讨论了未来的研究方向。
2020-06-02 cs.CV
Physics-constrained Attack against Convolution-based Human Motion Prediction
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对人体运动预测的对抗攻击在自然性和数据规模上存在挑战，本文提出一种基于物理约束的对抗攻击方法，通过最大化预测误差并引入自适应方案与物理约束生成对抗样本，实验证明现有模型易受此攻击影响，并提供了增强鲁棒性的见解。
2024-01-15 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model
Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
人体运动建模对于许多现代图形应用程序非常重要，这些应用程序通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接生成以自然语言为条件的人体运动。然而，它仍然具有挑战性，以实现多样化和细粒度的运动生成与各种文本输入。为了解决这个问题，我们提出了MotionDiffuse，第一个基于扩散模型的文本驱动的运动生成框架，它展示了几个所需的属性超过现有的方法。1)概率映射。MotionDiffuse不是确定性的语言-运动映射，而是通过一系列注入变化的去噪步骤生成运动。2)现实合成。MotionDiffuse擅长对复杂的数据分布进行建模并生成生动的运动序列。3)多级操纵。MotionDiffuse响应身体部位上的细粒度指令，以及具有随时间变化的文本提示的任意长度运动合成。我们的实验表明，MotionDiffuse在文本驱动运动生成和动作条件运动生成上的令人信服的边缘优于现有的SoTA方法。定性分析进一步证明了MotionDiffuse在全面运动生成方面的可控性。首页：https://mingyuan-zhang.github.io/projects/MotionDiffuse.html
2022-08-31 cs.CV
Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots
Fujian Key Laboratory of Urban Intelligent Sensing and Computing, Xiamen University（福建城市智能感知与计算重点实验室，厦门大学）；Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Xiamen University（多媒体可信感知与高效计算重点实验室，中华人民共和国教育部，信息学院，厦门大学）；National Institute for Data Science in Health and Medicine, Xiamen University（医学数据科学国家研究院，厦门大学）；OPPO Research Institute（OPPO研究院）；ShanghaiTech University（上海科技大学）
本文提出运动图灵测试框架，通过HHMotion数据集评估人形机器人动作的人性化程度，并展示基线模型在预测人性化的有效性。
2026-03-06 cs.CV
Synthetic Human Model Dataset for Skeleton Driven Non-rigid Motion Tracking and 3D Reconstruction
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；Queensland University of Technology（昆士兰科技大学）
我们介绍了一种基于传统RGB-D相机的非刚性3D人体重建评估的合成数据集。该数据集由单个人体模型的七个运动序列组成。对于每个运动序列，给出了每帧的地面真实几何和地面真实骨架。该数据集还包含人体模型的蒙皮权重。有关数据集的更多信息，请访问：https://research.csiro.au/robotics/our-work/databases/synthetic-human-model-dataset/
2019-03-07 cs.CV
HumanScore: Benchmarking Human Motions in Generated Videos
Stanford University（斯坦福大学）；Peking University（北京大学）
本文提出HumanScore框架，通过六个可解释指标评估AI生成视频中人类动作的质量，揭示感知合理性与生物力学真实性的差距，并产生可靠的模型排名。
2026-11-04 cs.CV
Do vision models perceive illusory motion in static images like humans?
Columbia University（哥伦比亚大学）；Kyoto University（京都大学）
研究评估了多种光流模型在Rotating Snakes illusion中的表现，发现大多数模型无法生成与人类感知一致的流场，仅人类启发的Dual-Channel模型在模拟眼跳条件下表现出预期的旋转运动。
2026-04-14 cs.CV
Synthetic Data in Human Analysis: A Survey
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Norwegian University of Science and Technology（挪威科技大学）；Hochschule Darstadt（达姆施塔特应用科学大学）
深度神经网络在人体分析中已变得普遍，从而提高了生物识别、动作识别以及人员重新识别等应用程序的性能。然而，这种网络的性能与可用的训练数据成比例。在人类分析中，对大规模数据集的需求构成了严峻的挑战，因为数据汇集繁琐，时间昂贵，成本高昂，并且必须遵守数据保护法律。目前的研究调查生成的\textit{synthetic data}作为一个有效的和隐私保护的替代收集在现场的真实数据。本调查介绍了基本定义和方法，在生成和使用合成数据进行人类分析时至关重要。我们进行了一项调查，总结了当前最先进的方法和使用合成数据的主要好处。我们还概述了公开可用的合成数据集和生成模型。最后，我们讨论了在这一领域的局限性，以及开放的研究问题。本调查面向人体分析领域的研究人员和从业人员。
2022-08-19 cs.CV
Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling
Dartmouth College（达特茅斯学院）
针对动作捕捉数据多样性不足导致运动表示受限的问题，提出利用大规模合成人体运动扩展运动表示空间，并重新设计VQ-VAE分词器以适应扩展空间，显著提升运动词汇覆盖率和组合性，在文本到运动等任务上取得一致提升。
2026-06-29 cs.CV
Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes
Beihang University（北京航空航天大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Technology Sydney（悉尼科技大学）；UiT the Arctic University of Norway（挪威北极大学）；Sun Yat-sen University（中山大学）
针对现有人体运动合成系统缺乏统一生成多种运动类型组合的问题，提出Sitcom-Crafter系统，可通过情节上下文引导生成3D场景中人体运动，含8个模块，核心模块解决碰撞问题，实验验证其生成高质量运动的能力，可提升创意工作流程效率。
2025-02-13 cs.CV
Multi-level Motion Attention for Human Motion Prediction
Australian National University（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）；ClearSpace
人体运动预测的目的是预测未来的人体姿势给定的历史运动。无论是基于递归还是前馈神经网络，现有的基于学习的方法都不能对人类运动倾向于重复自身的观察进行建模，即使对于复杂的运动动作和烹饪活动。在这里，我们引入了一个基于注意力的前馈网络，它明确地利用了这一观察结果。特别是，而不是通过姿势相似性建模帧的注意，我们建议提取运动注意捕捉当前运动上下文和历史运动子序列之间的相似性。在这种情况下，我们研究使用不同类型的注意力，计算在关节，身体部位，和完整的姿势水平。聚合相关的过去运动并使用图卷积网络处理结果，使我们能够有效地利用来自长期历史的运动模式来预测未来的姿势。我们在Human3.6M，AMASS和3DPW上的实验验证了我们的方法对周期性和非周期性行为的好处。由于我们的注意力模型，它在所有三个数据集上都产生了最先进的结果。我们的代码可在https://github.com/wei-mao-2019/HisRepItself上获得。
2021-06-17 cs.CV
Multi-grained Trajectory Graph Convolutional Networks for Habit-unrelated Human Motion Prediction
Beijing University of Posts and Telecommunications（北京邮电大学）
人体运动预测是人机协作的重要组成部分。与现有的大多数方法主要着眼于提高时空建模的有效性以实现精确预测不同，本文将有效性和效率综合考虑，以预测质量、计算效率和模型的轻量化为目标。提出了一种基于多粒度轨迹图卷积网络的轻量级人体运动预测框架。具体来说，我们表示人体运动的多粒度轨迹，包括关节轨迹和子关节轨迹。在此基础上，提出了多粒度轨迹图卷积网络，以探索多粒度的时空依赖关系。此外，考虑到绝大多数人的惯用右手的习惯，提出了一种新的运动生成方法，以生成具有左手的运动，以更好地建模运动与人类习惯的偏差较小。在Human3.6M和CMU Mocap等具有挑战性的数据集上的实验结果表明，该模型的性能优于最先进的模型，其参数小于0.12倍，这证明了我们所提出的方法的有效性和效率。
2020-12-23 cs.CV
Exploring Versatile Prior for Human Motion via Motion Frequency Guidance
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；East China Normal University（华东师范大学）
先验在提供对人体运动的合理约束方面起着重要作用。以往的运动先验设计方法在不同的情况下遵循不同的范式，缺乏通用性。在本文中，我们首先总结了不可或缺的属性的运动先验，并相应地，设计了一个框架来学习通用的运动先验，它模型的固有概率分布的人体运动。具体来说，对于有效的前表示学习，我们提出了一个全球的方向归一化，以消除冗余的环境信息在原始的运动数据空间。此外，一个两级，基于序列和基于段，频率指导被引入到编码阶段。然后，我们采用一个去噪训练方案，以可学习的方式从输入的运动数据中分离出环境信息，从而生成一致和可区分的表示。将我们的运动先验嵌入到三个不同任务的主流骨干中，我们进行了大量的实验，定量和定性的结果都证明了我们的运动先验的多功能性和有效性。我们的模型和代码可以在https://github.com/JchenXu/human-motion-prior上找到。
2021-11-25 cs.CV
