PoseTraj: Pose-Aware Trajectory Control in Video Diffusion
University of Edinburgh（爱丁堡大学）；Nanyang Technological University（南洋理工大学）
针对现有轨迹引导视频生成模型3D理解不足、难生成大角度旋转下6D姿态变化物体运动的问题，提出PoseTraj模型与两阶段预训练框架，通过合成数据集与3D边界框监督等提升性能，在姿态对齐与质量上优于基线。
2025-03-20 cs.CV
PoseAnything: Universal Pose-guided Video Generation with Part-aware Temporal Coherence
Shanghai Jiao Tong University（上海交通大学）
PoseAnything是一种通用姿态引导视频生成框架，能够处理人类和非人类角色，通过引入部分感知时间一致性模块和解耦CFG策略，提升了视频生成的精度和泛化能力。
2025-12-15 cs.CV
PoseGen: In-Context LoRA Finetuning for Pose-Controllable Long Human Video Generation
Xiaoice, China（小冰公司，中国）；The University of Sydney, Australia（悉尼大学，澳大利亚）
PoseGen通过上下文LoRA微调实现对人物姿态的精细控制，生成长时长视频，解决了身份漂移和视频长度限制问题。
2026-04-10 cs.CV
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔人工智能与机器学习研究所）；NVIDIA（NVIDIA公司）
EgoControl通过3D全身姿态控制生成高质量的目视视频，实现对动作的精细控制，推动具身AI的发展。
2025-11-22 cs.CV
Cambrian-P: Pose-Grounded Video Understanding
New York University（纽约大学）；UC Berkeley（加州大学伯克利分校）；Meta FAIR
该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。
2026-07-24 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；IWR, Heidelberg University（海德堡大学跨学科科学计算中心）
人体姿势分析目前由深度卷积网络主导，该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要，我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合，作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签，因此我们的方法采用了课程学习的思想，即从最可靠的数据样本开始训练，并逐渐增加难度。为了进一步完善训练过程，我们挖掘了单个视频中的重复姿势，这些姿势提供了可靠的标签，同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征，可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会，利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。
2026-07-08 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
Learning Temporal Pose Estimation from Sparsely-Labeled Videos
Facebook AI（脸书人工智能）；University of Pennsylvania（宾夕法尼亚大学）
用于视频中的多人姿态估计的现代方法需要大量的密集注释。然而，标记视频中的每一帧是昂贵且劳动密集的。为了减少对密集注释的需求，我们提出了一个PoseWarper网络，它利用具有稀疏注释（每k帧）的训练视频来学习执行密集的时间姿态传播和估计。给定一对视频帧--一个标记的帧A和一个未标记的帧B--我们训练我们的模型来预测帧A中的人体姿势，使用来自帧B的特征，通过可变形卷积来隐式地学习A和B之间的姿势扭曲。我们证明，我们可以利用我们的训练PoseWarper的几个应用程序。首先，在推理时，我们可以反转网络的应用方向，以便将姿势信息从手动注释的帧传播到未标记的帧。这使得仅给定几个手动标记的帧就可以为整个视频生成姿势注释。与基于光流的现代标签传播方法相比，我们的扭曲机制更紧凑（6 M vs 39 M参数），也更准确（88.7%mAP vs 83.8%mAP）。我们还表明，我们可以提高姿态估计器的准确性，通过将我们传播的姿态添加到原始手动标签中获得的增强数据集进行训练。最后，我们可以使用我们的PoseWarper在推理过程中聚合来自相邻帧的时间姿态信息。这使我们的系统能够在PoseTrack 2017和PoseTrack 2018数据集上实现最先进的姿态检测结果。代码已在https://github.com/facebookresearch/PoseWarper上提供。
2019-12-11 cs.CV
Video Based Fall Detection Using Human Poses
Southeast University（东南大学）
由于深度卷积神经网络的最新进展，基于视频的跌倒检测准确性已经大大提高。然而，这些方法仍然存在一些挑战，如光照变化，复杂背景，降低了准确性和泛化能力。同时，大的计算成本限制了现有跌倒检测方法的应用。为了缓解这些问题，本文提出了一种基于视频的跌倒检测方法，使用人体姿势。首先，一个轻量级的姿态估计器从视频序列中提取2D姿态，然后将2D姿态提升到3D姿态。其次，我们引入了一个强大的跌倒检测网络来识别跌倒事件使用估计的3D姿态，这增加了各自的领域，并保持低计算成本的膨胀卷积。实验结果表明，该方法在NTU RGB+D大型基准动作识别数据集上的准确率达到99.83%，在非GPU平台上的实时性达到18 FPS，在GPU平台上达到63 FPS。
2021-07-29 cs.CV
HumanDiT: Pose-Guided Diffusion Transformer for Long-form Human Motion Video Generation
Zhejiang University（浙江大学）；ByteDance（字节跳动）
HumanDiT提出一种基于扩散Transformer的姿态引导框架，利用14,000小时视频训练，支持可变分辨率与长序列，通过前缀-潜变量参考和Keypoint-DiT实现长时高保真人体运动视频生成。
2025-08-04 cs.CV
FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams
FlowDance是一种结合并行姿态与RGB流的音乐驱动舞蹈视频生成框架，通过时间步感知姿态注入和持久身份注入优化，构建了高分辨率野外舞蹈数据集，在相关任务上表现优异。
2026-08-18 cs.CV
Action Reimagined: Text-to-Pose Video Editing for Dynamic Human Actions
Michigan State University（密歇根州立大学）；University of Central Florida（中佛罗里达大学）
针对现有视频编辑难以修改人类动作的问题，提出ReimaginedAct方法，结合LLM、Grounded-SAM和姿态检索实现文本驱动的动态动作编辑，还构建了WhatifVideo-1.0数据集，验证了方法的有效性。
2024-03-11 cs.CV
Optical Mouse: 3D Mouse Pose From Single-View Video
Google LLC（谷歌有限责任公司）；Calico Life Sciences LLC（Calico生命科学有限责任公司）
我们提出了一种方法来推断小鼠的3D姿态，包括四肢和脚，从单眼视频。许多人类临床状况及其相应的动物模型会导致异常运动，而精确测量大规模的3D运动可以深入了解健康状况。3D姿态改善了2D表示上的健康相关属性的分类。推断的姿势足够准确，即使当脚大部分被遮挡时也可以估计步幅。这种方法可以作为连续监测系统的一部分，以非侵入性方式测量动物健康。
2021-06-17 cs.CV
End-to-End Multi-Person Pose Estimation with Pose-Aware Video Transformer
Zhejiang Gongshang University（浙江工商大学）
本文提出了一种端到端的多人体姿态估计方法，通过姿态感知视频变换器网络实现高效准确的多帧姿态估计。
2025-12-02 cs.CV
TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video
University of British Columbia（英属哥伦比亚大学）
从视频中估计三维人体姿态是一个具有挑战性的问题。缺乏3D人体姿势注释是监督训练和泛化到不可见数据集的主要障碍。在这项工作中，我们通过提出一种不需要3D注释或校准相机的弱监督训练方案来解决这个问题。所提出的方法依赖于时间信息和三角剖分。使用来自多个视图的2D姿态作为输入，我们首先估计相对相机方向，然后通过三角测量生成3D姿态。三角测量仅应用于具有高2D人体关节置信度的视图。然后，使用所生成的3D姿态来训练递归提升网络（RLN），该递归提升网络从2D姿态估计3D姿态。我们进一步将多视图重投影损失应用于估计的3D姿态，并强制从多视图估计的3D姿态是一致的。因此，我们的方法在实践中放松了约束，只需要多视图视频进行训练，因此便于在野外设置。在推理时，RLN仅需要单视图视频。该方法在两个具有挑战性的数据集Human3.6M和MPI-INF-3DHP上的性能优于以前的工作。代码和预训练模型将公开提供。
2021-05-14 cs.CV
Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Shanghai AI Laboratory（上海人工智能实验室）
图卷积网络（GCN）已成功用于视频中的3D人体姿态估计。然而，它往往是建立在固定的人体关节亲和力，根据人体骨骼。这可能会降低GCN处理视频中复杂的时空姿态变化的适应能力。为了缓解这个问题，我们提出了一种新的动态图网络（DG-Net），它可以动态地识别人体关节的亲和力，并估计3D姿态自适应学习空间/时间的联合关系从视频。与传统的图卷积不同，我们引入动态空间/时间图卷积（DSG/DTG）来发现每个视频样本的空间/时间人体关节亲和力，这取决于该视频中人体关节之间的空间距离/时间运动相似性。因此，它们可以有效地理解哪些关节在空间上更接近和/或具有一致的运动，以在将2D姿态提升到3D姿态时减少深度模糊性和/或运动不确定性。我们对三个流行的基准进行了广泛的实验，例如，Human3.6M、HumanEva-I和MPI-INF-3DHP，其中DG-Net以更少的输入帧和模型大小优于许多最近的SOTA方法。
2021-09-15 cs.CV
UniPose: Unified Human Pose Estimation in Single Images and Videos
Rochester Institute of Technology（罗切斯特理工学院）；Rochester, NY（罗切斯特，纽约州（注意：这是地址信息，严格按要求不应提取，此处原数据可能有误，正确机构应为Rochester Institute of Technology））
我们提出了UniPose，一个统一的框架，用于人体姿态估计，基于我们的“瀑布”Atrous空间池架构，实现了国家的最先进的结果上的几个姿态估计指标。利用标准CNN架构的当前姿态估计方法严重依赖于统计后处理或用于关节定位的预定义锚姿态。UniPose结合了上下文分割和联合定位，在单个阶段中以高精度估计人体姿势，而不依赖于统计后处理方法。UniPose中的Waterfall模块利用级联架构中渐进式滤波的效率，同时保持与空间金字塔配置相当的多尺度视野。此外，我们的方法被扩展到UniPose-LSTM进行多帧处理，并在视频中的时间姿态估计方面取得了最先进的结果。我们在多个数据集上的结果表明，具有ResNet主干和瀑布模块的UniPose是一种鲁棒且高效的姿态估计架构，可以在单个图像和视频的单人姿态检测中获得最先进的结果。
2020-01-22 cs.CV
Long-Term Human Video Generation of Multiple Futures Using Poses
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从输入的人类视频中预测未来的人类行为对于自动驾驶和机器人等应用来说是一项有用的任务。虽然大多数以前的作品预测一个单一的未来，但具有不同行为的多个未来可能会发生。此外，如果预测的未来太短（例如，小于一秒），则它可能不能被人或其他系统完全使用。在本文中，我们提出了一种新的方法来预测未来的人体姿势能够预测多个长期的未来。这使得预测更适合实际应用。此外，从输入视频和预测的人类行为，我们生成未来的视频。首先，从输入的人类视频中，我们生成未来人类姿势的序列（即，他们身体关节的图像坐标）。对抗性学习遭受模式坍塌，这使得它很难生成各种各样的多姿态。我们解决这个问题，利用两个额外的输入到发电机，使输出多样化，即，一个潜在的代码（反映各种行为）和吸引点（反映各种轨迹）。此外，我们使用一种基于一维卷积神经网络的新方法来生成长期的未来人类姿势。最后，我们根据生成的姿势生成一个输出视频进行可视化。我们使用三个标准来评估生成的未来姿势和视频（即，现实主义，多样性和准确性），并表明我们提出的方法优于其他国家的最先进的作品。
2021-06-01 cs.CV
IntegralAction: Pose-driven Feature Integration for Robust Human Action Recognition in Videos
SNU ECE & ASRI（首尔国立大学电子与计算机工程系及ASRI）；POSTECH CSE & AIGS（浦项科技大学计算机科学与工程系及AIGS）
目前大多数动作识别方法严重依赖于外观信息，将整个图像区域的RGB序列作为输入。虽然在利用人类周围的上下文信息方面是有效的，人类外观和场景类别，他们很容易被上下文与目标动作不完全匹配的上下文外动作视频所欺骗。相比之下，基于姿态的方法，它采取的一系列人类骨架作为输入，遭受不准确的姿态估计或模糊的人类姿态本身。事实证明，将这两种方法结合起来并不容易;同时训练外观和姿势的模型最终会对外观产生强烈的偏见，并且不能很好地推广到看不见的视频。为了解决这个问题，我们建议学习姿势驱动的功能集成，动态地结合外观和姿势流，通过观察姿势功能的飞行。其主要思想是让姿态流根据给定的姿态信息是否可靠来决定在集成中使用多少和哪些外观信息。我们表明，建议的IntegralAction在上下文和上下文外的动作视频数据集上实现了高度鲁棒的性能。这些代码可在https://github.com/mks0601/IntegralAction_RELEASE上获得。
2021-04-15 cs.CV
Dynamic Kernel Distillation for Efficient Pose Estimation in Videos
Department of Electrical and Computer Engineering, National University of Singapore, Singapore（新加坡国立大学电气与计算机工程系）；Snap Inc.（Snap公司）；ByteDance AI Lab（字节跳动人工智能实验室）
现有的基于视频的人体姿态估计方法广泛地将大型网络应用到视频中的每一帧上来定位人体关节，其计算成本高，难以满足实际应用中的低延迟要求。为了解决这个问题，我们提出了一种新的动态核蒸馏（DKD）模型，以促进小型网络估计视频中的人体姿势，从而显着提高效率。特别是，DKD引入了一个轻量级的分解器，通过以一次性前馈方式利用来自前一帧的时间线索来在线提取姿态内核。然后，DKD将身体关节定位简化为姿势核与当前帧之间的匹配过程，可以通过简单的卷积有效地计算。通过这种方式，DKD快速传输来自一帧的姿势知识，以在下一帧中为身体关节定位提供紧凑的指导，这使得能够在基于视频的姿势估计中利用小型网络。为了促进训练过程，DKD利用了时间对抗训练策略，该策略引入了时间延迟来帮助生成时间相干的姿态内核和长范围内的姿态估计结果。在Penn Action和Sub-JHMDB基准测试上的实验表明，DKD的效率优于以前的最佳模型，具体而言，与以前的最佳模型相比，DKD的浮点数减少了10倍，加速了2倍，并且其精度达到了最先进的水平。
2019-08-24 cs.CV
Globally Consistent Video Depth and Pose Estimation with Efficient Test-Time Training
National Taiwan University（国立台湾大学）
密集深度和姿态估计是各种视频应用的重要先决条件。传统的解决方案受到稀疏特征跟踪的鲁棒性和视频中摄像机基线不足的影响。因此，最近的方法在估计密集深度之前利用基于学习的光流和深度。然而，以前的作品需要大量的计算时间或产生次优的深度结果。本文提出了一种全局一致的从运动中学习视频运动恢复结构（SfM）的方法GCVD。GCVD将紧凑的姿态图集成到基于CNN的优化中，以通过有效的关键帧选择机制实现全局一致的估计。它可以提高基于学习的方法的鲁棒性，具有流引导的关键帧和良好的深度先验。实验结果表明，GCVD优于国家的最先进的方法在深度和姿态估计。此外，运行时实验表明，它提供了强大的效率，在短期和长期的视频与全球一致性提供。
2022-08-04 cs.CV
3D Pose Detection in Videos: Focusing on Occlusion
在这项工作中，我们建立在现有的方法，在视频中的遮挡感知3D姿态检测。我们实现了一个两阶段架构，该架构由堆叠的沙漏网络组成，以产生2D姿态预测，然后将其输入到时间卷积网络中以产生3D姿态预测。为了便于预测与闭塞关节的姿态，我们引入了一个直观的泛化的圆柱人模型用于生成遮挡标签。我们发现，在Human3.6M数据集上，遮挡感知网络能够实现比我们的线性基线模型小5 mm的平均每个关节位置误差。与我们的时间卷积网络基线相比，我们以更低的计算成本实现了0.1 mm的可比平均每关节位置误差。
2020-06-24 cs.CV
3DYoga90: A Hierarchical Video Dataset for Yoga Pose Understanding
Korea University（高丽大学）
针对瑜伽动作识别需求，构建了包含90个姿势、三级标签层级及RGB视频和3D骨骼序列的3DYoga90数据集，并通过三种模型验证其有效性。
2023-10-16 cs.CV
Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos
University of California, Irvine（加州大学尔湾分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
直接从RGB图像估计3D手部姿势具有挑战性，但最近通过使用注释的3D姿势训练深度模型取得了稳定进展。然而，注释3D姿势是困难的，因此只有少数3D手姿势数据集可用，所有样本都有限。在这项研究中，我们提出了一个新的框架，从RGB图像训练三维姿态估计模型，而不使用显式的三维注释，即，仅使用2D信息进行训练。我们的框架是由两个观察的动机：1）视频提供更丰富的信息，估计3D posesas而不是静态图像; 2）估计的3D poses应该是一致的，无论是在向前或反向顺序观看的视频。我们利用这两个方面来开发一个自监督学习模型，称为时间感知自监督网络（TASSN）。通过强制执行时间一致性约束，TASSN从仅具有2D关键点位置注释的视频中学习3D手部姿势和网格。实验表明，我们的模型取得了令人惊讶的好结果，3D估计精度与用3D注释训练的最先进的模型相当，突出了约束3D预测模型的时间一致性的好处。
2020-12-06 cs.CV
Key Frame Proposal Network for Efficient Pose Estimation in Videos
Northeastern University（东北大学）；Motorola Solutions, Inc.（摩托罗拉系统公司）
视频中的人体姿态估计依赖于本地信息，要么独立地估计每个帧，要么跨帧跟踪姿态。在本文中，我们提出了一种新的方法相结合的局部方法与全球背景。我们引入了一个轻量级的，无监督的，关键帧建议网络（K-FPN）来选择信息帧和一个学习字典来恢复这些帧的整个姿势序列。K-FPN加速了姿态估计，并对具有遮挡、运动模糊和照明变化的坏帧提供了鲁棒性，而学习的字典提供了全局动态上下文。在Penn Action和sub-JHMDB数据集上的实验表明，该方法具有较高的准确率和较好的加速性能。
2020-07-30 cs.CV
Personalizing Human Video Pose Estimation
University of Leeds（利兹大学）；University of Oxford（牛津大学）
我们提出了一个个性化的ConvNet姿态估计器，它可以自动适应一个人的外观的独特性，以改善长视频中的姿态估计。我们做出了以下贡献：（i）我们表明，给定一些高精度姿态注释，例如来自通用ConvNet姿态估计器，可以使用时间上远离帧的基于图像的匹配和时间上局部帧的密集光流的组合在整个视频中生成附加注释;（ii）我们开发了一个遮挡感知的自评价模型，该模型能够自动选择高质量的注释并拒绝错误的附加注释;以及（iii）我们证明这些高质量的注释可以用于微调ConvNet姿态估计器，从而对其进行个性化，以锁定人的外观的关键区别特征。结果是与原始通用ConvNet相比，使用个性化ConvNet对目标视频的姿态估计有了实质性的改进。我们的方法在两个标准基准测试以及一个新的具有挑战性的YouTube视频数据集上的表现远远优于最先进的方法（包括顶级ConvNet方法）。此外，我们还证明了从自动生成的注释中进行的训练可以用于提高通用ConvNet在其他基准测试中的性能。
2016-06-15 cs.CV
STAR-Pose: Efficient Low-Resolution Video Human Pose Estimation via Spatial-Temporal Adaptive Super-Resolution
Tianjin University（天津大学）
STAR-Pose提出时空自适应超分辨率框架，结合LeakyReLU线性注意力Transformer与CNN分支，利用姿态感知复合损失，在低分辨率视频姿态估计中实现高达5.2%的mAP提升和2.8-4.4倍加速。
2025-06-19 cs.CV
Beyond Static Features for Temporally Consistent 3D Human Pose and Shape from a Video
Seoul National University（首尔大学）；Kwangwoon University（光云大学）
尽管基于单个图像的3D人体姿态和形状估计方法最近取得了成功，但从视频中恢复时间一致且平滑的3D人体运动仍然具有挑战性。已经提出了几种基于视频的方法;然而，由于对当前帧的静态特征的强烈依赖，它们未能解决基于单个图像的方法的时间不一致性问题。在这方面，我们提出了一个时间上一致的网格恢复系统（TCMR）。它有效地集中在过去和未来帧的时间信息，而不受当前静态特征的支配。我们的TCMR显着优于以前的基于视频的方法在时间上的一致性，更好的每帧3D姿态和形状的准确性。我们也会公布密码。有关演示视频，请访问https://youtu.be/WB3nTnSQDII。有关代码，请参见https://github.com/hongsukchoi/TCMR_RELEASE。
2021-04-27 cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin（柏林博伊特应用科学大学）
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此，我们使用高度异构的MS-ASL数据集评估了我们的系统，该数据集具有超过200个签名者，导致SSIM为0.893。此外，我们引入了一个周期性的加权方法的发电机，重新激活的训练，并导致定量更好的结果。
2021-05-06 cs.CV
Human Video Generation from a Single Image with 3D Pose and View Control
Electrical Engineering and Computer Science, University of California, Merced, CA 95343, United States.（电子工程与计算机科学系，加州大学默塞德分校）；Stability AI, Los Angeles, CA 90067, United States.（Stability AI）
本文提出HVG模型，通过3D姿态和视角控制从单张图像生成高质量多视角人类视频，解决了衣物褶皱和时空一致性问题。
2026-02-24 cs.CV
DPE: Disentanglement of Pose and Expression for General Video Portrait Editing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent AI Lab（腾讯人工智能实验室）
单镜头视频驱动的说话人脸生成的目的是通过将视频中的人脸运动转换为任意的人像图像来生成合成的说话视频。头部姿态和面部表情总是纠缠在面部运动中并同时传递。然而，这种纠缠为这些方法直接用于视频肖像编辑设置了障碍，其中可能需要仅在保持姿势不变的情况下修改表情。解耦姿态和表情的一个挑战是缺少成对数据，诸如相同的姿态但不同的表情。只有少数几种方法试图通过3D变形模型（3DMMs）的显式解纠缠来解决这一挑战。但是由于Blenshapes的数量有限，3DMM无法准确捕捉面部细节，这对运动传输有副作用。在本文中，我们介绍了一种新的自监督解纠缠框架解耦姿态和表达没有3DMM和配对的数据，它包括一个运动编辑模块，姿态生成器，和一个表达式生成器。编辑模块将人脸投影到一个潜在空间中，在该潜在空间中，姿势运动和表情运动可以被解开，并且姿势或表情的转移可以通过添加在潜在空间中方便地进行。这两个生成器分别将修改后的潜码渲染到图像。此外，为了保证解纠缠，我们提出了一个双向循环训练策略，精心设计的约束。评估表明，我们的方法可以控制姿势或表情独立，并用于一般的视频编辑。
2023-03-01 cs.CV
PoseCrafter: Extreme Pose Estimation with Hybrid Video Synthesis
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算机与数据科学学院）；School of Astronautics, Northwestern Polytechnical University（西北工业大学航天学院）
针对稀疏重叠图像对的相机姿态估计难题，提出结合视频插帧与姿态条件新视角合成的HVG方法及FMS帧选择策略，显著提升了小/无重叠场景下的姿态估计性能。
2025-10-22 cs.CV
HumanDreamer: Generating Controllable Human-Motion Videos via Decoupled Generation
GigaAI（极佳科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
提出解耦框架HumanDreamer，通过文本生成姿态再生成人体运动视频，构建最大数据集MotionVid并训练MotionDiT，引入LAMA损失显著提升FID和R-precision指标，生成高质量视频并支持下游任务。
2025-04-01 cs.CV
Towards Accurate Human Pose Estimation in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
拥挤场景下基于视频的人体姿态估计是一个具有挑战性的问题，由于遮挡，运动模糊，尺度变化和视点变化等，现有的方法总是无法处理这个问题，因为（1）缺乏使用的时间信息;（2）缺乏训练数据在拥挤场景。在本文中，我们专注于提高人体姿态估计在拥挤的场景中的视频从利用时间上下文和收集新的数据的角度。特别是，我们首先遵循自上而下的策略来检测人，并对每帧进行单人姿态估计。然后，我们改进了基于帧的姿态估计与时间上下文推导出的光流。具体来说，对于一帧，我们从先前帧中向前发送历史姿势，并从后续帧中向后发送未来姿势到当前帧，从而实现视频中稳定且准确的人体姿势估计。此外，为了提高训练集的多样性，我们从互联网上挖掘了与HIE数据集相似的新场景数据。通过这种方式，我们的模型在13个视频中的7个上实现了最佳性能，并且在HIE挑战的测试数据集上实现了56.33的平均w\_AP。
2020-10-21 cs.CV
3D human pose estimation in video with temporal convolutions and semi-supervised training
ETH Zürich（苏黎世联邦理工学院）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
在这项工作中，我们证明了视频中的3D姿势可以有效地估计与完全卷积模型的基础上，在2D关键点的膨胀时间卷积。我们还介绍了反向投影，这是一种简单有效的半监督训练方法，它利用了未标记的视频数据。我们从未标记视频的预测2D关键点开始，然后估计3D姿势，最后反向投影到输入的2D关键点。在监督设置中，我们的全卷积模型在Human3.6M上的每个关节平均位置误差为6 mm，比文献中的最佳结果高出11%，并且该模型在HumanEva-I上也显示出显着的改进。此外，反向投影的实验表明，它在标记数据稀缺的半监督设置中的表现优于以前的最先进的结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D上获得
2019-03-29 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University（高丽大学）
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果，他们需要密集的注释数据，这需要过多的人力劳动。此外，存在遮挡和运动模糊，这不可避免地导致差的估计性能。为了解决这些问题，我们提出了一种方法，利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先，我们的框架组成了不同的组合稀疏注释的帧，表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码，使编码遮挡感知热图成为一个半监督任务。其次，所提出的时间编码器采用Transformer架构，以有效地聚合每个时间步长的时间关系和关键点关注，并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果，并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Thin-Slicing Network: A Deep Structured Model for Pose Estimation in Videos
ETH Zurich（苏黎世联邦理工学院）
深度ConvNets已被证明对从单个图像中估计人类姿势的任务是有效的。然而，在基于视频的情况下出现了一些具有挑战性的问题，例如自遮挡、运动模糊和在训练数据集中很少或没有示例的不常见姿势。时间信息可以提供关于身体关节位置的额外线索，并有助于缓解这些问题。在本文中，我们提出了一个深度结构化的模型来估计一系列的人体姿势在无约束的视频。该模型可以以端到端的方式有效地训练，并且能够同时表示身体关节的外观及其时空关系。关于人体的领域知识被明确纳入网络提供有效的先验规则化的骨架结构，并执行时间的一致性。建议的端到端的架构进行评估的两个广泛使用的基准（Penn行动数据集和JHMDB数据集）的基于视频的姿态估计。我们的方法明显优于现有的最先进的方法。
2017-03-31 cs.CV
Detect-and-Track: Efficient Pose Estimation in Videos
Facebook；The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Dartmouth College（达特茅斯学院）
本文研究了复杂多人视频中人体关键点的估计和跟踪问题。我们提出了一个非常轻量级但非常有效的方法，建立在人体检测和视频理解的最新进展。我们的方法分两个阶段运行：帧或短剪辑中的关键点估计，然后是轻量级跟踪以生成链接到整个视频的关键点预测。对于帧级姿态估计，我们使用Mask R-CNN以及我们自己提出的该模型的3D扩展进行了实验，该模型利用小片段的时间信息来生成更鲁棒的帧预测。我们进行了广泛的烧蚀实验，新发布的多人视频姿态估计基准，PoseTrack，以验证我们的模型的各种设计选择。我们的方法在使用多对象跟踪精度（MOTA）指标的验证上实现了55.2%的准确度，在测试集上实现了51.8%的准确度，并在ICCV 2017 PoseTrack关键点跟踪挑战赛上实现了最先进的性能。
2018-05-02 cs.CV
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
佩戴相机的人的身体姿势对于增强现实、医疗保健和机器人技术中的应用是非常感兴趣的，然而对于典型的可佩戴相机，人的身体的大部分在视野之外。我们提出了一种基于学习的方法来估计相机佩戴者的3D身体姿势从自我中心的视频序列。我们的关键见解是利用与另一个人的互动--我们可以直接观察到他的身体姿势--作为与第一人称主体的身体姿势内在联系的信号。我们表明，由于个人之间的相互作用往往会引起一系列有序的来回响应，它是可以学习的时间模型的相互关联的构成，即使一方在很大程度上是看不见的。我们展示了我们的想法在各种领域与二元互动，并显示了自我中心的身体姿态估计，这提高了最先进的实质性影响。视频结果可在www.example.com
2020-03-28 cs.CV
Estimating more camera poses for ego-centric videos is essential for VQ3D
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
视觉查询3D定位（VQ3D）是Ego4D情景记忆基准测试中的一项任务。给定一个以自我为中心的视频，目标是回答形式为“我最后一次看到物体X是在哪里？“，其中查询对象X被指定为静态图像，并且答案应该是指向对象X的3D位移向量。然而，目前的技术使用朴素的方法来估计视频帧的相机姿态，导致低的查询与姿态（QwP）比，因此整体成功率差。在我们的工作中，我们设计了一个新的管道具有挑战性的自我中心的摄像机姿态估计问题。此外，我们重新审视了当前的VQ3D框架，并在性能和效率方面进行了优化。因此，我们在VQ3D排行榜上获得了25.8%的前1名整体成功率，比基线报告的8.7%高出两倍。
2022-11-18 cs.CV
Can Generative Video Models Help Pose Estimation?
Google（谷歌）；Cornell University（康奈尔大学）
针对无重叠图像的姿态估计难题，提出 InterPose 方法，利用预训练生成式视频模型生成中间帧以建立视觉过渡，并引入自一致性分数评估预测，在四个数据集上显著优于 DUSt3R。
2024-12-20 cs.CV
GAN-based Pose-aware Regulation for Video-based Person Re-identification
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Anyvision（安维视）
基于视频的人物再识别处理匹配具有不同长度和不完整的目标姿态/视点结构的不规则序列的固有困难。常见的方法通过将问题减少到静止图像的情况下，面临着显着的信息丢失，或通过利用序列间的时间依赖性，如在暹罗递归神经网络或步态分析。然而，在所有情况下，序列间姿势/视点未对准没有被考虑，并且现有的空间方法大多限于静止图像上下文。为此，我们提出了一种新的方法，可以更有效地利用丰富的视频信息，占不断变化的姿态/视点因素在序列匹配过程中发挥的作用。具体来说，我们的方法包括两个组成部分。第一种方法试图用合成的GAN生成的图像来补充序列所携带的原始姿态不完整信息，并将其特征向量融合到更具鉴别力的视点不敏感嵌入中，即加权融合（WF）。另一种是对序列对进行显式的基于姿态的比对，以促进相干特征匹配，即加权姿态调节（WPR）。在两个大型的基于视频的基准数据集上的大量实验表明，我们的方法优于现有的方法。
2019-03-27 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta（阿尔伯塔大学）；Meta Reality Labs（Meta现实实验室）；Spree3D
本文提出Snipper统一框架，通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测，在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
A Simple Baseline for Pose Tracking in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
本文介绍了我们的解决方案，ACM MM挑战：大规模以人为中心的视频分析在复杂的事件\cite{lin2020human}，特别是，在这里，我们专注于跟踪3：人群姿态跟踪在复杂的事件。近年来，多姿势训练取得了显著的进展。然而，如何在拥挤和复杂的环境中跟踪人体姿态一直没有得到很好的解决。我们制定的问题作为几个子问题要解决。首先，我们使用多目标跟踪方法来分配人类ID到每个限界框产生的检测模型。最后，利用光流法充分利用视频中的时间信息，生成最终的姿态跟踪结果。
2020-10-21 cs.CV
An End-to-End Framework for Video Multi-Person Pose Estimation
University of Science and Technology of China（中国科学技术大学）
针对现有视频多人姿态估计两阶段方法时空维度割裂、推理效率低的问题，提出端到端框架VEPE，通过三类时空Transformer组件及实例一致性机制优化估计与跟踪，在Posetrack数据集上性能优于多数两阶段模型且推理效率提升300%。
2025-09-01 cs.CV
Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
Boston College（波士顿学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
了解相机佩戴者的活动是自我中心视觉的核心，但这种活动的一个关键方面是相机固有的不可见的-佩戴者的身体姿势。先前的工作集中在估计手和手臂进入视野时的姿势，但是这1）给出了全身姿势的不完整视图，以及2）在许多帧中根本无法进行任何姿势估计，因为手仅在日常生活活动的一部分中可见。我们建议推断“看不见的姿势”的一个人背后的自我中心的相机。给定一个视频，我们高效的基于学习的方法返回每个帧的全身3D关节位置。我们的方法利用了来自周围场景的动态运动特征的线索--它作为身体姿势的函数可预测地变化--以及揭示视点的静态场景结构（例如，坐与站）。我们进一步引入了一种新的能量最小化方案来推断姿势序列。它使用软预测的姿势，每个时刻连同一个非参数模型的人类姿势动态在较长的窗口。我们的方法优于一系列可能的替代方案，包括用于图像直接姿态回归的深度学习方法。
2016-03-24 cs.CV
Video-Based Hand Pose Estimation for Remote Assessment of Bradykinesia in Parkinson's Disease
University of Florida（佛罗里达大学）
该研究针对远程医疗场景下姿态估计用于帕金森病运动迟缓评估的准确性缺口，测试7种手部姿态模型在本地与流媒体录制的手指敲击测试视频中的表现，发现流媒体场景下模型准确性与特征可靠性显著下降，本地录制可用于自动评估。
2023-08-28 cs.CV
SpatioTemporal Learning for Human Pose Estimation in Sparsely-Labeled Videos
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；School of Computing, National University of Singapore（新加坡国立大学计算学院）；Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
提出STDPose框架，通过Dynamic-Aware Mask和时空表示聚合系统在稀疏标注视频中学习时空动态，解决长程依赖与特征互补问题，仅用26.7%标注数据即达竞争性能并创下新基准。
2025-01-25 cs.CV
Pose-Based Two-Stream Relational Networks for Action Recognition in Videos
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，基于姿态的动作识别由于其较传统的基于外观的方法具有更好的性能而受到越来越多的关注。但是，还存在两个问题需要进一步解决。首先，现有的基于姿态的方法通常识别具有捕获的3D人体姿态的人体动作，这在真实场景中是非常难以获得的。其次，在识别对象扮演重要角色的人-对象交互动作时，很少有基于姿势的方法对动作相关对象进行建模。为了解决上述问题，我们提出了一个基于姿态的双流关系网络（PSRN）的动作识别。在PSRN中，一个流对直接从原始视频中提取的目标2D人体姿势序列的时间动态进行建模，另一个流对来自随机采样视频帧的动作相关对象进行建模。最重要的是，我们提出了一个姿势-对象关系网络来建模人体姿势和动作相关对象之间的关系，而不是像以前那样在类得分层中融合两个流。我们在两个具有挑战性的基准上评估拟议的PSRN，即，Sub-JHMDB和PennAction。实验结果表明，我们的PSRN获得了最先进的性能Sub-JHMDB（80.2%）和PennAction（98.1%）。我们的工作打开了一扇新的大门，动作识别相结合的2D人体姿势提取的原始视频和图像外观。
2018-05-22 cs.CV
Pose-Free Omnidirectional Gaussian Splatting for 360-Degree Videos with Consistent Depth Priors
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Chongqing University（重庆大学）；Air Force Engineering University（空军工程大学）
本文提出PFGS360方法，通过无姿态全景视频重建3D高斯，利用一致性深度先验估计姿态并提升视图合成保真度。
2026-03-26 cs.CV
Selective Spatio-Temporal Aggregation Based Pose Refinement System: Towards Understanding Human Activities in Real-World Videos
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Toyota Motor Europe（丰田汽车欧洲公司）
利用人体姿态数据来理解人类活动已经引起了人们的广泛关注。然而，由于真实世界的未注释视频中的遮挡、截断和低分辨率，最先进的姿态估计器难以获得高质量的2D或3D姿态数据。因此，在这项工作中，我们提出了1）一种选择性时空聚合机制，名为SST-A，它可以细化和平滑由多个专家姿态估计器提取的关键点位置，2）一个有效的弱监督自训练框架，它利用聚合的姿态作为伪地面实况，而不是手工制作的注释来进行真实世界的姿态估计。进行了广泛的实验，不仅评估上游的姿势细化，但也下游的动作识别性能的四个数据集，丰田Smarthome，NTU-RGB+D，字谜，和Kinetics-50。我们证明，我们的姿态优化系统（SSTA-PRS）细化的骨架数据可以有效地提升各种现有的动作识别模型，从而实现具有竞争力或最先进的性能。
2020-11-10 cs.CV
Towards Better Robustness: Pose-Free 3D Gaussian Splatting for Arbitrarily Long Videos
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）；Maritime University（海洋大学）
本文提出Rob-GS框架，利用视频连续性和分段优化策略，实现任意长视频的无姿态三维高斯泼溅，提升鲁棒性并超越现有方法。
2025-05-25 cs.CV
Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos
Korea University（高丽大学）
先前基于视频的人体姿态估计方法已经通过利用连续帧的聚合特征显示出有希望的结果。然而，大多数方法妥协的准确性，以减轻抖动或不充分理解人类运动的时间方面。此外，遮挡增加了连续帧之间的不确定性，这导致不平滑的结果。为了解决这些问题，我们设计了一个架构，利用关键点运动学功能与以下组件。首先，我们有效地捕捉时间特征，利用个别关键点的速度和加速度。其次，所提出的分层Transformer编码器聚合时空依赖性，并细化从现有估计器估计的2D或3D输入姿态。最后，我们在编码器生成的精确输入姿势和解码器的最终姿势之间提供在线交叉监督，以实现联合优化。我们展示了全面的结果，并验证了我们的模型在各种任务中的有效性：2D姿态估计，3D姿态估计，人体网格恢复，稀疏注释的多人姿态估计。我们的代码可在https://github.com/KyungMinJin/HANet上获得。
2022-11-29 cs.CV
