Efficient Motion-Aware Video MLLM
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Baichuan Inc.（百川智能）；Renmin University of China（中国人民大学）
针对视频MLLM采样低效与运动感知不足的问题，本文提出利用压缩视频结构的EMA及运动感知GOP编码器，并构建MotionBench，在视频问答与长视频理解上实现高性能和更低推理成本。
2025-03-17 cs.CV
ReAlign: Text-to-Motion Generation via Step-Aware Reward-Guided Alignment
ReAlign通过步感知奖励模型和引导策略提升文本到动作生成的对齐和质量。
2025-11-24 cs.CV
A Structure-aware and Motion-adaptive Framework for 3D Human Pose Estimation with Mamba
Nanyang Technological University（南洋理工大学）；Beijing Institute of Technology（北京理工大学）
针对 Mamba 姿态提升中关节拓扑建模不足和运动轨迹统一处理的问题，本文提出 SAMA 框架，通过 SSI 与 MSM 分别建模结构关系和关节特异运动，并在多个基准上以更低计算成本取得先进性能。
2025-07-26 cs.CV
Safety-aware Motion Prediction with Unseen Vehicles for Autonomous Driving
HKUST（香港科技大学）；Alexa AI, Amazon（亚马逊Alexa AI）；EPFL（洛桑联邦理工学院）
由于复杂环境中的不确定性以及由遮挡和有限的传感器范围引起的有限的可见性，车辆的运动预测是关键的，但具有挑战性。在本文中，我们研究了一个新的任务，安全意识的运动预测与看不见的车辆自动驾驶。与现有的轨迹预测任务，看到的车辆，我们的目标是预测的占用地图，指示最早的时间时，每个位置可以被看到和看不见的车辆。预测看不见的车辆的能力对于自动驾驶的安全性至关重要。为了解决这一具有挑战性的任务，我们提出了一个具有安全意识的深度学习模型，该模型具有三个新的损失函数来预测最早的占用地图。在大规模自动驾驶nuScenes数据集上的实验表明，我们提出的模型在安全感知运动预测任务上的性能明显优于最先进的基线。据我们所知，我们的方法是第一个在大多数情况下可以预测看不见的车辆存在的方法。项目页面位于{ \url{https://github.com/xrenaa/Safety-Aware-Motion-Prediction} }。
2021-09-03 cs.CV
3D Human Motion Estimation via Motion Compression and Refinement
Carnegie Mellon University（卡内基梅隆大学）
我们开发了一种技术，从RGB视频序列生成平滑和准确的三维人体姿势和运动估计。我们的方法，我们称之为运动估计通过变分自编码器（MEVA），分解的时间序列的人体运动到一个平滑的运动表示，使用自动编码器为基础的运动压缩和残差表示通过运动细化学习。人体运动的这种两步编码在两个阶段中捕获人体运动：捕获粗略整体运动的一般人体运动估计步骤，以及添加回人特定运动细节的残差估计。实验表明，我们的方法产生平滑和准确的三维人体姿态和运动估计。
2020-10-05 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Human Motion Prediction via Test-domain-aware Adaptation with Easily-available Human Motions Estimated from Videos
Toyota Technological Institute Japan（丰田技术研究所日本）
针对人体动作预测依赖昂贵动捕数据、泛化性差的问题，提出将单目视频估计的二维姿态转换为动捕风格三维动作并用于测试域自适应学习，实验验证了其定量与定性效果。
2025-05-13 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Uncertainty-aware Human Motion Prediction
人体运动预测对于人体运动分析和人机交互等任务至关重要。已经提出了大多数现有的方法来实现运动预测。然而，他们忽略了一个重要的任务，预测结果的质量评估。对于目前的方法来说，在实际场景中已经足够了，因为在没有对预测进行评估的情况下，人们无法知道如何与机器进行交互，而不可靠的预测可能会误导机器伤害人类。因此，我们提出了一个不确定性感知的人体运动预测框架（UA-HMP）。具体而言，我们首先设计一个不确定性感知预测器，通过高斯建模，以实现预测运动的价值和不确定性。然后，提出了一种不确定性引导的学习方案，量化的不确定性，并减少噪声样本的负面影响，在优化，以获得更好的性能。我们提出的框架很容易与当前的SOTA基线相结合，以克服其在不确定性建模中的弱点，只需少量的参数增量。大量的实验也表明，他们可以实现更好的性能，在短期和长期的预测H3.6M，CMU-Mocap。
2021-07-08 cs.CV
Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation
Institute for Intelligent Computing, Alibaba Tongyi Lab（阿里巴巴通义实验室智能计算研究所）
本文提出Perception-as-Control框架，通过构建并操纵3D感知运动表示，将相机与物体运动转化为统一控制信号，实现细粒度协同运动控制的图像动画。
2025-03-10 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP，通过解耦人-场景交互与运动合成，在推理中结合隐式策略优化和扩散去噪，实现无需配对数据的场景感知运动合成，并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
Human-Aware Motion Deblurring
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Stony Brook University（石溪大学）
本文提出了一个人类感知的去模糊模型，解开前景（FG）的人和背景（BG）之间的运动模糊。所提出的模型是基于一个三分支的编码器-解码器架构。前两个分支分别用于锐化FG人体和BG细节;而第三个分支通过全面融合来自这两个领域的多尺度去模糊信息来产生全局和谐的结果。所提出的模型还被赋予了一个监督，人类意识的注意力机制在一个端到端的方式。它学习对FG人类信息进行编码的软掩码，并显式地驱动FG/BG解码器分支专注于其特定域。为了进一步有利于人类感知图像去模糊的研究，我们引入了一个名为HIDE的大规模数据集，该数据集由8，422个模糊和清晰图像对组成，其中包含65，784个密集注释的FG人类边界框。HIDE是专门为跨越广泛的场景，人类对象的大小，运动模式和背景复杂性而构建的。在公共基准测试和我们的数据集上进行的大量实验表明，我们的模型与最先进的运动去模糊方法相比表现良好，特别是在捕捉语义细节方面。
2020-01-19 cs.CV
Human-centric Image Cropping with Partition-aware and Content-preserving Features
Shanghai Jiao Tong University（上海交通大学）
图像裁剪的目的是在图像中找到视觉上吸引人的裁剪，这是一个重要而具有挑战性的任务。在本文中，我们考虑一个具体的和实际的应用：以人为中心的图像裁剪，它侧重于一个人的描绘。为此，我们提出了一种以人为中心的图像裁剪方法，候选作物有两个新的功能设计：分区感知功能和内容保持功能。对于分区感知特征，我们根据人体限界框将整个图像划分为9个分区，并根据人体信息对候选裁剪中的不同分区进行不同的处理。对于内容保持功能，我们预测一个热图，表明重要内容将被包括在一个好的作物，并提取热图和候选作物之间的几何关系。大量的实验表明，我们的方法可以表现出良好的国家的最先进的图像裁剪方法对人类为中心的图像裁剪任务。代码可在https://github.com/bcmi/Human-Centric-Image-Cropping上获得。
2022-07-21 cs.CV
Consistency-Aware Graph Network for Human Interaction Understanding
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）；The University of Adelaide（阿德莱德大学）
相对于人类活动分类的研究进展，人类交互理解（HIU）的研究成果还很有限。除了后一个任务更具挑战性之外，主要原因是最近的方法通过浅层图形模型来学习人类交互关系，这不足以对复杂的人类交互进行建模。在本文中，我们提出了一个一致性感知的图网络，它结合了图网络的代表能力和一致性感知推理，以促进HIU任务。我们的网络由三个组件组成，一个主干CNN提取图像特征，一个因素图网络学习参与者之间的三阶交互关系，以及一个一致性感知推理模块，以执行标记和分组。我们的主要观察是，HIU的一致性感知推理偏差可以嵌入到能量函数中，最小化提供一致的预测。提出了一种有效的平均场推理算法，使得我们的网络的所有模块可以以端到端的方式联合训练。实验结果表明，我们的方法在三个基准测试中取得了领先的性能。
2021-03-23 cs.CV
Cross-Modal Synergies: Unveiling the Potential of Motion-Aware Fusion Networks in Handling Dynamic and Static ReID Scenarios
Hangzhou Dianzi University（杭州电子科技大学）；China Jiliang University（中国计量大学）；Zhejiang Gongshang University（浙江工商大学）
提出MOTAR-FUSE网络，通过双输入视觉适配器与运动一致性任务捕捉静态图像中的运动线索，显著提升了遮挡等复杂场景下的行人重识别性能。
2025-02-02 cs.CV
Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）
人体运动预测的目的是根据观察到的骨架序列生成未来的人体运动帧。最近的方法采用递归神经网络（RNN）的最新隐藏状态来编码历史骨架，这只能解决短期预测问题。在这项工作中，我们提出了一个运动上下文建模总结历史的人类运动相对于当前的预测。提出了一种改进的高速公路单元（MHU），用于有效地消除不动的关节和估计下一个姿态给定的运动上下文。此外，我们通过最小化用于长期运动预测的克矩阵损失来增强运动动态性。实验结果表明，该模型可以很好地预测人类的未来运动，这产生了优于相关的国家的最先进的方法的性能。此外，指定的运动上下文与活动标签，使我们的模型执行人体运动转移。
2018-05-07 cs.CV
Locality-Aware Zero-Shot Human-Object Interaction Detection
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出LAIN框架，通过增强CLIP表示的局部性与交互感知，提升零样本人-物交互检测性能，实验证明其优于现有方法。
2025-05-26 cs.CV
Not All Frames Are Equal: Complexity-Aware Masked Motion Generation via Motion Spectral Descriptors
Beihang University（北京航空航天大学）；Wuhan University（武汉大学）
本文提出运动频谱描述符（MSD）以提升遮蔽运动生成的复杂度感知能力，通过动态复杂度指导遮蔽、自注意力和采样，提升复杂运动生成质量及FID指标。
2026-03-31 cs.CV
IAM: Identity-Aware Human Motion and Shape Joint Generation
UIUC（伊利诺伊大学香槟分校）；Meta Reality Labs（Meta现实实验室）；Brown University（布朗大学）
本文提出一种基于身份的人体运动与形状联合生成框架，通过多模态信号建模身体形态与运动动态的关系，提升运动真实性和身份一致性。
2026-04-28 cs.CV
Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing
ETH Zurich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）
为了解决具有挑战性的任务，实例感知的人体部位解析，提出了一种新的自底向上的制度，学习类别级的人类语义分割，以及多人姿态估计在联合和端到端的方式。它是一个紧凑、高效且强大的框架，可以利用不同人类粒度的结构信息，并减轻人员划分的难度。具体而言，密集到稀疏的投影场，它允许显式地将密集的人类语义与稀疏的关键点相关联，在网络特征金字塔上学习并逐步改进以获得鲁棒性。然后，困难的像素分组问题被转换为一个更容易的，多人的联合组装任务。通过将联合关联公式化为最大权重二部匹配，开发了可微分的解决方案，以利用投影梯度下降和Dykstra的循环投影算法。这使得我们的方法是端到端可训练的，并允许反向传播分组误差来直接监督多粒度人类表示学习。这与当前自下而上的人类解析器或姿态估计器不同，后者需要复杂的后处理或启发式贪心算法。在三个实例感知的人类句法分析数据集上的实验表明，我们的模型比其他自底向上的替代方案具有更有效的推理。
2021-03-08 cs.CV
Motion-Aware Vision-Reference Alignment for Referring Multi-Object Tracking
Shanghai University（上海大学）；PAII Inc.（PAII公司）
VMRMOT通过多模态大语言模型实现视觉-运动-参考对齐，提升指称多目标跟踪的性能。
2026-08-25 cs.CV
OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
基于RGBD的实时的【形】动态3D重建遭受不准确的帧间运动估计，因为误差可能随着在线跟踪而累积。对于基于单视图的系统，由于强遮挡，该问题甚至更加严重。基于这些观察，我们提出了OcclusionFusion，一种新的方法来计算遮挡感知的3D运动，以指导重建。在我们的技术中，首先估计可见区域的运动，并结合时间信息，通过LSTM参与的图神经网络推断被遮挡区域的运动。此外，我们的方法通过使用概率模型对网络输出进行建模来计算估计运动的置信度，该模型可以消除不可信的运动并实现鲁棒跟踪。在公共数据集和我们自己记录的数据上的实验结果表明，我们的技术比现有的基于单视图的实时的【形】方法性能要好得多。随着运动误差的减少，所提出的技术可以处理长的和具有挑战性的运动序列。请查看项目页面以获取序列结果：https://wenbin-lin.github.io/OcclusionFusion。
2022-03-15 cs.CV
CoMoGCN: Coherent Motion Aware Trajectory Prediction with Graph Representation
Robotics Institute（机器人研究所）
预测人类轨迹对于机器人人群导航和自动驾驶等任务至关重要。对社交互动进行建模对于准确的群组运动预测非常重要。然而，大多数现有的方法不考虑群体内的一致性信息，而是只考虑成对的相互作用。在这项工作中，我们提出了一种新的框架，相干运动感知图卷积网络（CoMoGCN），在拥挤的场景中的轨迹预测与组约束。首先，我们聚类行人轨迹成组，根据运动的连贯性。然后，我们使用图卷积网络来有效地聚集人群信息。CoMoGCN还利用变分自编码器通过对分布进行建模来捕获人体轨迹的多模态性质。我们的方法在几个不同的轨迹预测基准上实现了最先进的性能，并且在所有考虑的基准中具有最佳的平均性能。
2020-05-05 cs.CV
MUNet: Motion Uncertainty-aware Semi-supervised Video Object Segmentation
Northwestern Polytechnical University（西北工业大学）；SenseTime（商汤科技）
半监督视频对象分割（VOS）的任务已经大大提高，并通过基于密集匹配的方法取得了最先进的性能。最近的方法利用时空记忆（STM）网络，并学习从所有可用的源检索相关信息，其中具有对象掩码的过去帧形成外部存储器，并且当前帧作为查询使用存储器中的掩码信息进行分段。然而，当形成存储器和执行匹配时，这些方法仅利用外观信息而忽略运动信息。在本文中，我们主张返回的\emph{motion information}，并提出了一个运动不确定性感知框架（MUNet）的半监督VOS。首先，我们提出了一种隐式的方法来学习相邻帧之间的空间对应关系，建立在相关成本卷上。为了处理具有挑战性的情况下，闭塞和无纹理区域在构建密集的对应关系，我们将不确定性的密集匹配，实现运动不确定性感知的特征表示。其次，我们引入了一个运动感知的空间注意模块，有效地融合了运动特征和语义特征。在具有挑战性的基准测试上的综合实验表明，\textbf{\textit{using a small amount of data and combining it with powerful motion information can bring a significant performance boost}} .我们实现了${76.5\%}$ $\mathcal{J} \& \mathcal{F}$只使用DAVIS 17进行训练，这显着优于\te…
2021-11-29 cs.CV
SearchTrack: Multiple Object Tracking with Object-Customized Search and Motion-Aware Features
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
提出了一种新的多目标跟踪与分割方法SearchTrack。为了解决检测到的对象之间的关联问题，SearchTrack提出了对象自定义搜索和运动感知功能。通过为每个对象保持一个卡尔曼滤波器，我们将预测的运动编码到运动感知特征中，该特征包括运动和外观线索。对于每个对象，SearchTrack通过学习特定于对象的动态卷积的一组权重来创建定制的完全卷积搜索引擎。实验表明，我们的SearchTrack方法优于竞争对手的方法在MOTS和MOT任务，特别是在关联精度方面。我们的方法在KITTI MOTS上实现了71.5 HOTA（汽车）和57.6 HOTA（行人），在MOT17上实现了53.4 HOTA。在关联精度方面，我们的方法在KITTI MOTS上实现了2D在线方法中最先进的性能。我们的代码可在https://github.com/qa276390/SearchTrack上获得。
2022-10-29 cs.CV
Human MotionFormer: Transferring Human Motions with Vision Transformers
Hong Kong University of Science and Technology（香港科技大学）；Huya Inc（虎牙公司）；Tencent（腾讯）；Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）
人体运动转移的目的是将目标动态人的运动转移到源静态人的运动合成。在大的和微小的运动变化中，源人物和目标运动之间的准确匹配对于提高传输的运动质量至关重要。在本文中，我们提出了人类MotionFormer，一个层次化的ViT框架，利用全球和本地的看法，分别捕捉大型和微妙的运动匹配。它由两个ViT编码器组成，用于提取输入特征（即，目标运动图像和源人类图像）和具有用于特征匹配和运动传递的若干级联块的ViT解码器。在每个块中，我们将目标运动特征设置为Query，将源人物设置为Key和Value，计算交叉注意图进行全局特征匹配。此外，我们还引入了一个卷积层来改善全局交叉注意计算后的局部感知。该匹配过程在变形和生成分支中实现，以引导运动转移。在训练过程中，我们提出了一个相互学习的损失，以实现扭曲和生成分支之间的共同监督，以获得更好的运动表示。实验表明，我们的Human MotionFormer在定性和定量方面都具有新的最先进的性能。项目页面：\url{https://github.com/KumapowerLIU/Human-MotionFormer}
2023-02-25 cs.CV
Optical Flow-based 3D Human Motion Estimation from Monocular Video
TU Braunschweig（不伦瑞克工业大学）
我们提出了一种生成的方法来估计三维人体运动和身体形状从单目视频。假设从一个初始姿态开始的光流约束随后的人体运动，我们利用流找到时间上相干的人体姿势的运动序列。我们估计人体运动计算流场和人工流渲染器的输出之间的差异最小化。需要单个初始化步骤来估计多个帧上的运动。几个正则化函数随着时间的推移增强了鲁棒性。我们的测试场景表明，光流有效地规范了单目视频中人体形状和运动估计的欠约束问题。
2017-03-21 cs.CV
A Semantic and Motion-Aware Spatiotemporal Transformer Network for Action Detection
University of Virginia（弗吉尼亚大学）
该研究提出一种含多特征选择语义注意力、运动感知编码、序列时间注意力的时空Transformer网络，用于未修剪视频动作检测，在四个数据集上性能超越现有最优方案。
2024-05-13 cs.CV
Confidence-aware Levenberg-Marquardt optimization for joint motion estimation and super-resolution
Pattern Recognition Lab, Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg, Erlangen, Germany
跨低分辨率帧的运动估计和高分辨率图像的重建是多帧超分辨率的两个耦合子问题。本文介绍了一种新的运动估计和图像重建的联合优化方法，以解决这种相互依赖性。我们的方法是通过非线性最小二乘优化，并结合了两个原则的鲁棒超分辨率。首先，为了提高联合估计的鲁棒性，我们提出了一个置信度感知的能量最小化框架与稀疏正则化增强。其次，我们开发了一个量身定制的Levenberg-Marquardt迭代方案，以联合估计运动参数和高分辨率图像以及相应的模型置信度参数。我们的模拟和真实图像上的实验证实，所提出的方法优于解耦运动估计和图像重建，以及相关的国家的最先进的联合估计算法。
2016-09-06 cs.CV
MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization
Hangzhou Dianzi University（杭州电子科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology（香港科技大学）；Ocean University of China（中国海洋大学）；Singapore Management University（新加坡管理大学）
本文提出MotionAdapter框架，通过解耦动作与外观并自适应定制动作，实现DiT视频扩散模型中的稳健动作迁移，实验表明其在质量和定量评估中优于现有方法，支持复杂动作迁移与编辑。
2026-04-07 cs.CV
CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos
HKUST（香港科技大学）；SCUT（华南理工大学）；HKU（香港大学）；MIT（麻省理工学院）；ZJU（浙江大学）
本文提出CoMoVi框架，通过单个扩散去噪循环同步生成3D人类动作和视频，采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。
2026-04-10 cs.CV
MoCLIP: Motion-Aware Fine-Tuning and Distillation of CLIP for Human Motion Generation
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
针对现有基于CLIP的动作生成方法对动作时序与运动学结构理解不足的问题，本研究提出带动作编码头的MoCLIP，经对比学习和绑定损失微调，提升了文本-动作对齐准确率，且兼容现有CLIP流程。
2025-05-16 cs.CV
Self-Supervised Video Object Segmentation by Motion-Aware Mask Propagation
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）
我们提出了一种自监督的时空匹配方法，创造运动感知掩码传播（MAMP），视频对象分割。MAMP利用帧重建任务进行训练，而无需注释。在推理过程中，MAMP从每个帧中提取高分辨率特征，以根据所选过去帧的特征以及预测掩码来构建存储体。然后，MAMP传播的存储体的后续帧的掩模，根据我们提出的运动感知时空匹配模块，以处理快速运动和长期匹配的情况。在DAVIS-2017和YouTube-VOS数据集上的评估表明，与现有的自监督方法相比，MAMP实现了最先进的性能，具有更强的泛化能力，即，DAVIS-2017上的平均J&F比最接近的竞争对手高4.2%，YouTube-VOS上看不见的类别的平均J&F比最接近的竞争对手高4.85%。此外，MAMP执行与许多监督视频对象分割方法。我们的代码可在https://github.com/bo-miao/MAMP上获得。
2021-10-28 cs.CV
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Tsinghua University（清华大学）；CASIA
3DiMo通过隐式运动表示和视图丰富监督，提升视频生成中的人体运动保真度和视觉质量。
2026-02-14 cs.CV
MarS3D: A Plug-and-Play Motion-Aware Model for Semantic Segmentation on Multi-Scan 3D Point Clouds
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）
针对多扫描3D点云语义分割中时序信息整合不足的问题，提出即插即用的MarS3D运动感知模块，通过跨帧特征嵌入和运动感知特征学习两大设计，让单扫描模型获得多扫描感知能力，大幅提升基线性能。
2023-07-18 cs.CV
MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对手语识别中模型表征能力不足及忽略显式运动信息与全局语义指导的问题，提出自监督框架MASA，通过运动感知掩码自编码器重建运动残差并利用语义对齐模块对齐增强样本嵌入，在四个公开基准上取得最先进性能。
2024-05-31 cs.CV
HumANDiff: Articulated Noise Diffusion for Motion-Consistent Human Video Generation
Stability AI
HumANDiff通过关节化噪声采样、联合外观-运动学习和几何运动一致性学习，实现高保真人体视频生成，支持多样化的服装风格。
2026-04-07 cs.CV
Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes
UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
合成三维人体运动在许多图形应用以及理解人体活动中起着重要作用。虽然许多努力已经产生逼真和自然的人体运动，大多数方法忽略了建模的重要性，人的场景交互和启示。另一方面，可供性推理（例如，站在地板上或坐在椅子上）主要是用静态的人体姿势和姿势来研究的，很少用人体运动来解决。在本文中，我们提出了桥梁人体运动合成和场景启示推理。我们提出了一个分层生成框架来合成长期的3D人体运动调节的3D场景结构。在此基础上，我们进一步加强多个几何约束之间的人体网格和场景点云通过优化，以提高真实感的合成。我们的实验表明，显着的改进，在场景中产生自然和物理上合理的人体运动比以前的方法。
2021-06-14 cs.CV
Temporal Consistency-Aware Text-to-Motion Generation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国）；State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学）
TCA-T2M通过引入时间一致性感知的模型，提升了文本到动作生成的鲁棒性和连贯性。
2026-02-20 cs.CV
MoMaps: Semantics-Aware Scene Motion Generation with Motion Maps
Google DeepMind（谷歌DeepMind）；University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
本文提出像素对齐的运动图（MoMap）表示，通过在超过5万个真实视频上训练扩散模型，实现了从单张图像预测合理且语义一致的3D场景运动，并为2D视频合成提供了新流程。
2025-10-13 cs.CV
MotionRL: Align Text-to-Motion Generation to Human Preferences with Multi-Reward Reinforcement Learning
CAS Key Laboratory of Technology in GIPAS（CAS GIPAS技术重点实验室）；University of Science and Technology of China（中国科学技术大学）
针对现有文本生成动作研究忽略人类反馈主观性的问题，提出MotionRL方法，通过多奖励强化学习结合人类偏好先验微调生成器，并采用多目标优化策略逼近帕累托最优，实验证明其在多指标上性能显著提升且支持多目标结果控制。
2024-10-09 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland（马里兰大学）
我们提出了一个可扩展的神经网络框架，从多视角图像重建人体的三维网格，在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题，提高服装下三维人体的重建精度。我们的实验表明，该方法受益于从我们的管道生成的合成数据集，因为它具有良好的变量控制的灵活性，并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像，特别是形状估计。
2019-08-26 cs.CV
EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）；Monash University（莫纳什大学）
虽然音频驱动的说话人脸生成已经取得了重大进展，现有的方法要么忽略面部情感或不能适用于任意主题。在本文中，我们提出了一种基于情感感知的运动模型（EAMM），通过引入情感源视频来生成单次情感说话人脸。具体来说，我们首先提出了一个Audio 2Facial-Dynamics模块，它从音频驱动的无监督零阶和一阶关键点运动中呈现说话的面孔。然后，通过探索运动模型的属性，我们进一步提出了一个隐式情感位移学习器表示情感相关的面部动态线性添加剂位移先前获得的运动表示。综合实验表明，通过将这两个模块的结果，我们的方法可以生成令人满意的说话人脸的结果与现实的情感模式的任意主题。
2022-09-23 cs.CV
InteractPro: A Unified Framework for Motion-Aware Image Composition
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；DAMO Academy, Alibaba Group（阿里达摩院）
InteractPro提出一个统一框架，通过LVLM规划器结合物理模拟与视频扩散，实现可控且连贯的运动感知图像合成，克服传统方法需手动规划且输出静态的局限。
2025-09-09 cs.CV
StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
在本文中，我们提出了StereoPIFu，它集成了立体视觉的几何约束与隐式函数表示的PIFu，恢复的三维形状的穿着的人从一对低成本的纠正图像。首先，我们从基于立体视觉的网络中引入有效的体素对齐特征，以实现深度感知重建。此外，新的相对z偏移被用来关联预测的高保真人体深度和占用推断，这有助于恢复精细的表面细节。其次，设计了一种充分利用立体图像几何信息的网络结构，以提高人体重建质量。因此，我们的StereoPIFu可以自然地推断人体在相机空间中的空间位置，并保持人体不同部位的正确相对位置，这使得我们的方法能够捕捉人体的表现。与以前的作品相比，我们的StereoPIFu显着提高了服装人体重建的鲁棒性，完整性和准确性，这是由大量的实验结果证明。
2021-04-13 cs.CV
Delving into Motion-Aware Matching for Monocular 3D Object Tracking
University of California Merced（加州大学默塞德分校）；Google（谷歌）；Yonsei University（延世大学）
针对现有单目3D多目标跟踪对运动线索探索不足的问题，提出包含三类运动感知组件的MoMA-M3T框架，在nuScenes和KITTI数据集上性能达最优水平，且可灵活嵌入现有检测器无需重训练。
2023-08-22 cs.CV
PACE: Human and Camera Motion Estimation from in-the-wild Videos
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
提出联合优化框架，结合SLAM与人体运动先验解耦野外视频中的人体与相机运动，并引入批量优化先验和新合成数据集，显著提升了运动估计精度与效率。
2023-10-20 cs.CV
Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Huawei Cloud（华为云）；Tencent AI Lab（腾讯人工智能实验室）
人体运动预测的目的是根据观察到的人体运动生成未来的运动。由于循环神经网络（RNN）在序列数据建模方面取得了成功，最近的研究利用RNN对观察到的运动序列进行人体骨骼运动建模，并预测未来的人体运动。然而，这些方法没有考虑关节间的空间一致性和骨骼间的时间演化，而这恰恰反映了人体运动在时空空间中的重要特征。为此，我们提出了一种新的关节协同注意循环神经网络（SC-RNN），以捕捉关节之间的空间一致性，和骨骼之间的时间演化，同时在一个关节协同注意特征映射在时空空间。首先，构造一个双关节特征图作为所观察到的运动序列的表示。其次，我们设计了一个新的非线性联合共同注意力（SCA）机制，动态学习这个非线性联合特征映射的非线性联合共同注意力特征映射，它可以细化有用的观察到的运动信息来预测一个未来的运动。第三，GRU的一个变体嵌入SCA协同建模的人体骨骼运动和人体关节运动的时空空间，把人体关节的共同注意力特征映射作为运动上下文。人体运动预测的实验结果表明，该方法优于相关方法。
2019-10-01 cs.CV
MMCM: Multimodality-aware Metric using Clustering-based Modes for Probabilistic Human Motion Prediction
Toyota Technological Institute（丰田技术研究所）
针对概率人体运动预测现有评估度量无法兼顾预测覆盖度与运动学有效性的问题，提出MMCM度量，基于聚类划分运动模态评估覆盖度、结合数据集识别有效模态评估合理性，实验验证其可准确评估多模态预测结果。
2025-11-19 cs.CV
Depth-Aware Image Compositing Model for Parallax Camera Motion Blur
Tampere University（坦佩雷大学）
相机运动由于3D世界中的深度变化而引入空间变化的模糊。这项工作调查场景配置，这种模糊视差相机运动下产生的。我们提出了一个简单的，但准确的，图像合成模糊（ICB）模型的深度相关的空间变化模糊。（前向）模型从单个图像、深度图和相机轨迹产生逼真的运动模糊。此外，我们利用ICB模型，结合基于坐标的MLP，从模糊输入中学习清晰的神经表示。实验结果报告合成和真实的例子。结果表明，ICB正演模型计算效率高，产生逼真的模糊，尽管缺乏遮挡信息。此外，我们的方法恢复一个尖锐的表示证明是一个有竞争力的方法去模糊的任务。
2023-03-30 cs.CV
Learning Joint Representation of Human Motion and Language
Korea University（高丽大学）；Allen Institute for AI（艾伦人工智能研究所）
在这项工作中，我们提出了MoLang（一种运动语言连接模型），用于学习人类运动和语言的联合表示，利用运动和语言模态的未配对和配对数据集。为此，我们提出了一个具有对比学习的运动语言模型，使我们的模型能够更好地学习人类运动域的可概括表示。实验结果表明，我们的模型通过导航语言模态来学习人体运动数据的强表示。我们提出的方法是能够执行动作识别和运动检索任务与一个单一的模型，它优于国家的最先进的方法对一些动作识别基准。
2022-10-27 cs.CV
Action2Motion: Conditioned Generation of 3D Human Motions
University of Alberta（阿尔伯塔大学）；University of Chicago（芝加哥大学）；Yale University（耶鲁大学）；University of Guelph（圭尔夫大学）
动作识别是一个相对成熟的任务，它是在给定一个输入序列的情况下，预测其动作类别。另一方面，本文考虑了一个相对较新的问题，它可以被认为是动作识别的逆：给定一个规定的动作类型，我们的目标是在3D中生成合理的人体运动序列。重要的是，生成的运动集有望保持其多样性，以便能够探索整个动作条件运动空间;同时，每个采样序列忠实地类似于anaturalhuman bodyarticulation dynamics。基于这些目标，我们遵循人体运动学的物理规律，采用李代数理论来表示人体的自然运动，并提出了一种时间变分自动编码器（VAE），鼓励运动空间的双向性。还构建了一个新的三维人体运动数据集HumanAct 12。在三个不同的人体运动数据集（包括我们的）的实证实验证明了我们的方法的有效性。
2020-07-30 cs.CV
Context-Aware Trajectory Prediction
University of Florence（佛罗伦萨大学）；University of Padova（帕多瓦大学）
拥挤空间中的人类运动和行为受到几个因素的影响，例如场景中其他移动代理的动态，以及可能被视为吸引点或障碍物的静态元素。在这项工作中，我们提出了一个新的模型，人类轨迹预测，这是能够利用人与人和人与空间的相互作用。人类的未来轨迹是通过观察他们过去的位置和与周围环境的互动而产生的。为此，我们提出了一种“上下文感知”的递归神经网络LSTM模型，它可以学习和预测人行道、博物馆或购物中心等拥挤空间中的人体运动。我们在公共行人数据集上评估了我们的模型，并贡献了一个新的具有挑战性的数据集，该数据集收集了人类在（真实）拥挤的空间（如大型博物馆）中导航的视频。结果表明，我们的方法可以更好地预测人类轨迹相比，以前的国家的最先进的预测模型。
2017-05-06 cs.CV
LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment
ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Hong Kong（香港大学）；University of Adelaide（阿德莱德大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有数据集局限，提出包含真实3D环境动作与自由文本的LaserHuman数据集，并设计多条件扩散模型生成语义一致且物理合理的人体动作，达到最先进性能。
2024-03-21 cs.CV
