LA-Pose: Latent Action Pretraining Meets Pose Estimation
Wayve；Simon Fraser University（西蒙弗雷泽大学）
本文通过自监督预训练视角重新审视相机姿态估计，提出逆动力学预训练作为替代全监督训练的方法。通过逆向和正向动力学模型学习潜在动作表示，将潜在动作特征用于相机姿态估计，实现高精度且可推广的姿态预测。
2026-04-30 cs.CV
Temporal Representation Learning on Monocular Videos for 3D Human Pose Estimation
EPFL（洛桑联邦理工学院）；UBC（不列颠哥伦比亚大学）
在本文中，我们提出了一种无监督的特征提取方法来捕获单目视频的时间信息，在该方法中，我们在每帧中检测和编码感兴趣的主题，并利用对比自监督（CSS）学习来提取丰富的潜在向量。与其他CSS方法不同，我们不是简单地将附近帧的潜在特征视为正对，而将时间上遥远的帧的潜在特征视为负对，而是将每个潜在向量明确地分解为时变分量和时不变分量。然后，我们表明，应用对比度损失只随时间变化的功能，并鼓励他们附近和远离帧之间的逐渐过渡，同时也重建输入，提取丰富的时间特征，非常适合人类姿态估计。与标准CSS策略相比，我们的方法将错误减少了约50%，优于其他无监督单视图方法，并与多视图技术的性能相匹配。当2D姿态可用时，我们的方法可以提取更丰富的潜在特征并提高3D姿态估计精度，优于其他最先进的弱监督方法。
2022-11-25 cs.CV cs.LG
Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）
由于发型的复杂性和微妙性，编辑发型是独特而具有挑战性的。虽然最近的方法显着改善了头发的细节，这些模型往往会产生不希望的输出时，源图像的姿态是相当不同的目标头发图像，限制了他们的现实世界的应用。HairFIT是一种姿态不变的发型转移模型，它克服了这一限制，但在保持精致的头发纹理方面仍然表现出令人不满意的质量。为了解决这些限制，我们提出了一个高性能的姿态不变发型转移模型，该模型配备了潜在优化和新提出的局部风格匹配损失。在StyleGAN2潜在空间中，我们首先探索目标头发的姿势对齐的潜在代码，并基于局部风格匹配保留详细的纹理。然后，我们的模型考虑对齐的目标头发对源的遮挡进行修补，并混合两个图像以产生最终输出。实验结果表明，我们的模型具有优势，在更大的姿势差异下转移发型和保持局部发型纹理。
2022-08-16 cs.CV
Crossing Nets: Combining GANs and VAEs with a Shared Latent Space for Hand Pose Estimation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）；University of Bonn（波恩大学）
用于从深度图像估计3D手部姿势的现有技术方法需要大量的带注释的训练数据。我们建议使用具有共享潜在空间的两个深度生成模型来建模3D手部姿势和相应深度图像的统计关系。通过设计，我们的架构允许以半监督的方式从未标记的图像数据中学习。假设姿势和深度图之间的一对一映射，共享潜在空间中的任何给定点都可以被投影到手部姿势和对应的深度图中。然后，可以通过学习一个递归来估计潜在姿势的后验，给出一些深度图来回归手部姿势。为了提高泛化能力并更好地利用未标记的深度图，我们联合训练生成器和训练器。在每次迭代时，生成器都使用来自于SVM的反向传播梯度进行更新，以合成铰接手的真实深度图，而SVM则受益于合成和未标记样本的增强训练集。所提出的网络架构是高效的，在CPU上以90 FPS的速度运行，其精度与3个公开可用的基准测试的最新技术相当或更好。
2017-07-18 cs.CV
Disentangling Geometric Deformation Spaces in Generative Latent Shape Models
University of Toronto（多伦多大学）；Samsung Toronto AI Research Center（三星多伦多人工智能研究中心）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
3D对象的完整表示需要以可解释的方式表征变形空间，从单个实例的关节到跨类别的形状变化。在这项工作中，我们改进了先前的生成模型的几何解纠缠的三维形状，其中的空间对象的几何形状被分解为刚性方向，非刚性姿势，和内在的形状。所得到的模型可以从原始的3D形状中训练，没有对应关系，标签，甚至刚性对齐，使用经典的光谱几何和结构化潜在表示空间的概率解纠缠的组合。我们的改进包括更复杂的处理旋转不变性和使用一个同构流网络来桥接潜在的光谱空间。潜在空间的几何结构赋予了对象的变形空间的可解释的表征。此外，它还支持姿势转移和姿势感知检索等任务，而无需监督。我们评估我们的模型的生成建模，表示学习，和解纠缠性能，显示出改进的旋转不变性和内在-外在因子分解质量比以前的模型。
2023-03-19 cs.CV cs.LG
A Latent Clothing Attribute Approach for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
人体姿态估计作为图像分析、动作识别、服装检索等视觉任务的基础技术，近年来得到了广泛的研究。为了实现对人体姿态的准确和可靠的估计，众所周知，服装属性是有用的，并且应该被适当地利用。然而，大多数以前的方法需要手动注释服装属性，因此成本非常高。在本文中，我们将提出并探讨一个\emph{latent}服装属性的方法，为HPE。与以前的方法不同，我们的方法将服装属性建模为潜在变量，因此不需要明确的服装属性标签。利用隐结构支持向量机（LSSVM）框架完成对隐变量的推理。我们采用\emph{alternating direction}的策略来训练LSSVM模型：在每次迭代中，一种变量（例如，人的姿势或服装属性）被固定，而其它的被优化。我们在两个真实世界的基准上进行了大量的实验，显示了我们所提出的方法的最先进的性能。
2014-11-16 cs.CV
Self-supervised Monocular Depth and Pose Estimation for Endoscopy with Latent Priors
University of Oxford（牛津大学）；University of Leeds（利兹大学）
提出一种结合生成潜在库和变分自编码器的自监督框架，通过自然图像深度先验和姿态潜在变量正则化，实现内窥镜复杂场景下的高精度深度与姿态估计。
2026-06-01 cs.AI cs.CV
Make-It-Poseable: Feed-forward Latent Posing Model for 3D Characters
EEIS Department University of Science（电子信息科学系中国科学技术大学）；Tencent PCG Shenzhen China（腾讯PCG深圳中国）；Tencent PCG New York USA（腾讯PCG纽约美国）；Tencent PCG Beijing China（腾讯PCG北京中国）；University of Science（中国科学技术大学）；Tencent PCG（腾讯PCG）
本文提出Make-It-Poseable模型，通过将角色姿态问题转化为无皮肤的潜在空间转换，解决传统方法在皮肤权重、网格拓扑和姿态适应性上的不足，提升3D角色姿态重建质量。
2026-09-03 cs.CV
Latent Embedding Clustering for Occlusion Robust Head Pose Estimation
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）
提出一种基于潜在嵌入聚类的头部姿态估计框架，通过无监督聚类优化特征表示，在遮挡场景下实现鲁棒且数据高效的姿态预测。
2024-03-29 cs.CV
Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
可用的3D人体姿态估计方法利用不同形式的强（2D/3D姿态）或弱（多视图或深度）配对监督。除了合成或工作室内的域之外，为每个新的目标环境获得这样的监督是非常不方便的。为此，我们将3D姿势学习作为一个自监督适应问题，旨在将任务知识从标记的源域转移到完全不配对的目标。我们建议通过两个显式映射来推断图像到姿势，即图像到潜伏和潜伏到姿势，其中后者是从先前强制生成对抗自动编码器获得的预先学习的解码器。接下来，我们引入关系蒸馏作为对齐未配对的交叉模态样本的手段，即未配对的目标视频和未配对的3D姿态序列。为此，我们提出了一套新的非局部关系，以表征远程潜在的姿态相互作用，不像一般的对比关系，其中正耦合仅限于局部邻域结构。此外，我们提供了一个客观的方法来量化非本地性，以选择最有效的关系集。我们评估了不同的自适应设置，并在标准基准测试中展示了最先进的3D人体姿态估计性能。
2022-04-06 cs.AI cs.CV
RUST: Latent Neural Scene Representations from Unposed Imagery
Google Research（谷歌研究院）
从二维观测数据中推断三维场景的结构是计算机视觉中的一个基本挑战。最近流行的基于神经场景表示的方法已经取得了巨大的影响，并已应用于各种应用。在这个领域，剩下的主要挑战之一是训练一个单一的模型，它可以提供潜在的表示，有效地推广到单个场景之外。场景表示Transformer（SRT）在这一方向上已显示出希望，但将其扩展到更大的不同场景集具有挑战性，并且需要准确设定的地面实况数据。为了解决这个问题，我们提出了RUST（真正无姿态的场景表示Transformer），一种无姿态的方法来单独训练RGB图像的新视图合成。我们的主要见解是，人们可以训练一个姿势编码器，偷看目标图像，并学习一个潜在的姿势嵌入，这是由解码器用于视图合成。我们进行了实证调查的学习潜在的姿势结构，并表明它允许有意义的测试时间的相机转换和准确的明确的姿势读出。也许令人惊讶的是，RUST达到了与能够获得完美相机姿势的方法相似的质量，从而释放了摊销神经场景表示的大规模训练的潜力。
2023-03-24 cs.CV cs.GR cs.LG
The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究所）；LORIA（洛林信息与自动化研究所）
研究变分自编码器（VAE）架构和训练目标设计如何影响潜在空间结构，进而影响基于潜在扩散模型的手语生成性能，发现潜在空间特性比重建精度更能解释生成性能差异。
2026-06-23 cs.AI cs.CV
Disentangling Latent Hands for Image Synthesis and Pose Estimation
University of Bonn（波恩大学）；National University of Singapore（新加坡国立大学）
由于从图像背景内容到相机视点的变化因素之间存在很大差异，因此从RGB图像合成手部图像和姿态估计都是非常具有挑战性的任务。为了更好地分析这些因素的变化，我们提出了使用解开表示和解开变分自编码器（dVAE），允许特定的采样和推断这些因素。从变分下界导出的目标以及建议的训练策略是高度灵活的，使我们能够处理跨模态编码器和解码器以及半监督学习场景。实验表明，我们的dVAE可以合成高度逼真的图像的手指定的姿势和图像背景内容，也估计3D的手构成从RGB图像的准确性竞争与国家的最先进的两个公共基准。
2019-04-25 cs.CV
Learning Transformation-Isomorphic Latent Space for Accurate Hand Pose Estimation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）
提出TI-Net，通过构建变换同构潜在空间并采用线性变换对齐图像空间，捕获紧凑低级信息，在手部姿态估计任务上较SOTA方法在DexYCB数据集上PA-MPJPE指标提升10%。
2025-02-18 cs.CV
SignX: Continuous Sign Recognition in Compact Pose-Rich Latent Space
Rutgers University（罗格斯大学）；Nanyang Technological University（南洋理工大学）；Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Wisconsin--Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SignX框架，通过统一潜在表示和ViT模型实现高效连续手语识别，显著降低计算消耗并在翻译任务中达到SOTA准确率。
2026-04-17 cs.CL cs.CV
DISP6D: Disentangled Implicit Shape and Pose Learning for Scalable 6D Pose Estimation
The University of Hong Kong（香港大学）；Brown University（布朗大学）；Microsoft Research Asia（微软亚洲研究院）；Centre for Garment Production Limited, Hong Kong（香港成衣生产中心有限公司）；SUSTech（南方科技大学）；Texas A&M University（德克萨斯农工大学）
从RGB图像中对刚性物体进行可伸缩的6D姿态估计旨在处理多个物体并推广到新物体。建立在一个著名的自动编码框架，以应付对象的对称性和缺乏标记的训练数据，我们实现了可扩展性，通过解开自动编码器的潜在表示到形状和姿态子空间。潜在的形状空间模型的相似性不同的对象，通过对比度量学习，和潜在的姿势代码进行比较，旋转检索。由于不同的对象对称性诱导不一致的潜在姿态空间，我们重新纠缠的形状表示与规范旋转生成形状相关的姿态码本旋转检索。我们展示了两个基准测试的最先进的性能，分别包含无纹理的CAD对象，没有类别和日常对象的类别，并通过扩展到更具有挑战性的设置跨类别的日常对象，进一步证明了改进的可扩展性。
2022-07-21 cs.CV
Robust Head-Pose Estimation Based on Partially-Latent Mixture of Linear Regressions
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯中心）；INRIA Rennes Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼-大西洋中心）；VideoStitch（VideoStitch公司）；DAQRI Int（DAQRI国际公司）
头部姿态估计在社会事件分析、人机交互、人机交互、驾驶辅助等方面有着广泛的应用。头部姿态估计是具有挑战性的，因为它必须应付不断变化的照明条件，面部方向和外观的变化，面部标志的部分遮挡，以及边界框到面部的对准误差。我们建议使用部分潜在输出的线性回归的混合。这种回归方法学习将高维特征向量（从面部的边界框中提取）映射到头部姿势角度和边界框移位的联合空间上，使得它们在存在不可观察现象的情况下被鲁棒地预测。我们详细描述的映射方法，结合了无监督流形学习技术和回归的混合物的优点。我们用三个公开的数据集验证了我们的方法，并用几种最先进的头部姿势估计方法对所提出的算法的四种变体进行了彻底的基准测试。
2017-03-06 cs.CV
Latent-Class Hough Forests for 6 DoF Object Pose Estimation
Imperial College London（帝国理工学院）；Blippar
在本文中，我们提出了潜在类霍夫森林，目标检测和6自由度姿态估计在严重混乱和闭塞的情况下的方法。我们适应的最先进的模板匹配功能到一个规模不变的补丁描述符，并将其集成到一个回归森林使用一种新的基于模板的分裂功能。我们仅使用正样本进行训练，并将叶节点处的类分布视为潜在变量。在测试过程中，我们通过迭代更新这些分布来推断，提供对背景杂波和前景遮挡的准确估计，从而提高检测率。此外，作为副产品，我们的潜在类霍夫森林可以提供准确的遮挡感知分割掩码，即使在多实例场景中。除了现有的公共数据集（仅包含具有大量杂波的单实例序列）之外，我们还收集了两个更具挑战性的多实例检测数据集，其中包含大量的2D和3D杂波以及前景遮挡。我们提供了广泛的实验的各种参数的框架，如补丁大小，树的数量和迭代次数，以推断类分布在测试时。我们还评估了所有数据集上的潜在类Hough森林，在这些数据集上，我们的性能优于最先进的方法。
2016-02-03 cs.CV
Latent gaze information in highly dynamic decision-tasks
University of Tübingen（蒂宾根大学）；Mahidol University（玛希隆大学）
数字化正在渗透到越来越多的生活领域。任务越来越多地以数字方式完成，因此不仅更快，更有效，而且更有目的和更成功地完成。近年来人工智能领域的快速发展在这方面发挥了重要作用，因为它们提出了许多有用的方法。与此同时，眼睛，它们的运动以及这些运动的意义正在逐步研究。这些发展的结合导致了令人兴奋的方法。在这篇论文中，我提出了一些这些方法，我在我的博士学位工作。首先，我提供了对使用人工智能将眼球运动与视觉专业知识联系起来的模型的开发的见解。这是证明了两个领域或人群：运动员在决策行动和外科医生在关节镜手术。由此产生的模型可以被认为是自动专业知识识别的数字诊断模型。此外，我的方法，调查眼动模式的转移到不同的专业领域，随后，重要方面的技术推广。最后，我解决了基于眼动数据的时间混淆检测。研究结果表明，使用由此产生的模型作为时钟信号，在年轻专业人员的培训可能的数字援助选项。我的研究的一个有趣的方面是，我能够从DFB青年精英运动员以及关节镜领域的长期专家那里获得非常有价值的数据。特别是，DFB数据的工作吸引了广播和印刷媒体的兴趣，即DeutschlandFunk Nova和SWR DasDing。本文所介绍的所有结果文章都已在国际知名期刊或会议上发表。
2022-02-08 cs.AI cs.CV cs.HC
3D Hand Pose Estimation using Simulation and Partial-Supervision with a Shared Latent Space
Deakin University（迪肯大学）；University of Adelaide（阿德莱德大学）
大量昂贵的注释数据是最先进的3d手部姿态估计的重要组成部分。因此，合成数据已经普及，因为注释是自动可用的。然而，仅使用合成样本训练的模型并不能推广到真实数据，这主要是由于合成数据和真实数据之间的分布差距。在本文中，我们提出了一种新的方法，旨在预测的3D位置的手使用合成和部分标记的真实数据。因此，我们在三种模态之间形成共享的潜在空间：合成深度图像、真实深度图像和姿态。我们证明，通过仔细学习共享的潜在空间，我们可以找到一个回归模型，能够推广到真实的数据。因此，我们证明了我们的方法在半监督和无监督环境中都能产生准确的预测。此外，所提出的模型能够从所有三个领域生成新颖、有意义且一致的样本。我们在两个高度竞争的基准上定性和定量地评估我们的方法（即，纽约大学和ICVL），并证明其优于国家的最先进的方法。源代码将在https://github.com/masabdi/LSPS上提供。
2018-07-14 cs.CV
Task-Generic Hierarchical Human Motion Prior using VAEs
USC Institute for Creative Technologies（南加州大学创意技术研究所）；Adobe Research（Adobe研究院）；Pinscreen（Pinscreen公司）；UC Berkeley（加州大学伯克利分校）
描述人体运动的深度生成模型可以使广泛的基本计算机视觉和图形任务受益，例如为基于视频的人体姿势估计提供鲁棒性，在遮挡期间预测运动捕捉系统的完整身体运动，以及通过合理的运动辅助关键帧动画。在本文中，我们提出了一种学习复杂的人体运动独立于特定的任务，使用相结合的全球和本地的潜在空间，以促进粗粒度和细粒度的建模方法。具体来说，我们提出了一个分层运动变分自编码器（HM-VAE），由一个2级分层潜在空间。当全局潜在空间捕获整体全局身体运动时，局部潜在空间使得能够捕获不同身体部位的精细姿态。我们证明了我们的分层运动变分自编码器的有效性，在各种任务，包括基于视频的人体姿态估计，运动完成部分观察，从稀疏的关键帧的运动合成。尽管我们的模型没有专门针对任何这些任务进行训练，但它提供了比特定于任务的替代方案更好的性能。我们的通用人体运动先验模型可以修复损坏的人体动画，并从不完整的观察中生成完整的运动。
2021-06-07 cs.CV cs.GR
LatentFusion: End-to-End Differentiable Reconstruction and Rendering for Unseen Object Pose Estimation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
当前的6D对象姿态估计方法通常需要每个对象的3D模型。这些方法还需要额外的培训，以纳入新的对象。因此，它们难以缩放到大量对象，并且不能直接应用于不可见对象。我们提出了一个新的框架，6D姿态估计看不见的对象。我们提出了一个网络，重建一个潜在的三维表示的对象使用少量的参考意见，在推理时间。我们的网络能够从任意视图渲染潜在的3D表示。使用这个神经渲染器，我们直接优化给定输入图像的姿势。通过使用大量的3D形状来训练我们的网络进行重建和渲染，我们的网络可以很好地推广到看不见的对象。我们提出了一个用于未知物体姿态估计的新数据集--MOPED。我们评估了我们的方法在MOPED以及ModelNet和LINEMOD数据集上进行看不见的物体姿态估计的性能。我们的方法与在这些对象上训练的监督方法相比具有竞争力。代码和数据可在https://keunhong.com/publications/latentfusion/上获得。
2020-06-12 cs.CV cs.GR cs.RO
LatentReRig: An SDF-Based VAE with Dual Decoders for Latent-Space Deformation Conditioning
LatentReRig提出基于SDF的变分自编码器，利用双解码器在潜空间学习可复用的姿态变形方向，实验表明可指导未见角色变形，但局部变化预测需改进。
2026-09-29 cs.CV cs.GR
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China（中国科学技术大学）；Central Media Technology Institute, Huawei（华为中央媒体技术研究所）；Nanjing University（南京大学）
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画，提升动画质量和可控性。
2025-12-17 cs.CV
Latent-Info and Low-Dimensional Learning for Human Mesh Recovery and Parallel Optimization
School of Information Engineering（信息工程学院）；Ningxia University（宁夏大学）
针对现有3D人体网格恢复方法潜在信息利用不足、注意力交互计算成本高的问题，提出两阶段网络，通过混合潜在频域特征挖掘信息、低维并行优化交互，在保证精度的同时降低成本，性能优于主流方法。
2025-10-21 cs.AI cs.CV
Motion is the Choreographer: Learning Latent Pose Dynamics for Seamless Sign Language Generation
本文提出两阶段手语视频生成框架，通过构建与手语者无关的运动词典和潜在姿态动力学，实现运动与身份解耦，从而提升合成质量与个性化灵活性。
2025-08-06 cs.CV
2D Image head pose estimation via latent space regression under occlusion settings
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等理工学院）
针对遮挡下头部姿态估计精度不足的问题，提出基于潜在空间回归的深度学习模型，在合成与真实遮挡数据集上超越现有方法，并成功应用于机器人自主喂食场景。
2023-11-10 cs.CV
Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；Northwestern Polytechnical University（西北工业大学）；ZMO AI Inc.（ZMO人工智能公司）
在这份报告中，我们专注于重建在规范空间中的多个视图和姿势的人作为输入的衣服的人。为了实现这一点，我们利用SMPLX模型在规范空间中的几何先验来学习几何重建的隐式表示。基于观察到的构成网格和规范空间中的网格之间的拓扑结构是一致的，我们提出了学习潜在代码的构成网格利用多个输入图像，然后分配潜在代码的规范空间中的网格。具体来说，我们首先利用法线和几何网络来提取SMPLX网格上每个顶点的特征向量。与2D图像相比，法线映射被采用以更好地泛化到不可见的图像。然后，从多个图像的姿态网格上的每个顶点的特征是由MLP集成。作为潜在代码的集成功能锚定到SMPLX网格在规范空间。最后，每个三维点的潜在代码被提取并用于计算SDF。我们的工作，重建人体形状的规范姿势达到第三次性能的WCPA MVP-人体挑战赛。
2022-12-06 cs.CV
Exploring Latent Cross-Channel Embedding for Accurate 3D Human Pose Reconstruction in a Diffusion Framework
Hong Kong Baptist University（香港浸会大学）
本文提出一种跨通道嵌入框架，通过充分探索2D投影与3D坐标关节级特征的相关性，并结合上下文引导机制促进潜在通道间的关节图注意力传播，在Human3.6M和MPI-INF-3DHP上显著提升了单目3D人体姿态重建精度。
2024-01-18 cs.CV
Cross-modal Deep Variational Hand Pose Estimation
ETH Zurich（苏黎世联邦理工学院(ETH Zurich)）
人手以复杂且高维的方式移动，使得仅从图像估计3D手部姿势配置成为一项具有挑战性的任务。在这项工作中，我们提出了一种方法来学习统计手模型表示的跨模态训练的潜在空间通过生成深度神经网络。我们从VAE框架的变分下界中推导出目标函数，并联合优化所产生的跨模态KL发散和后验重建目标，自然地允许训练机制，该训练机制导致跨多个模态（例如RGB图像、2D关键点检测或3D手部配置）的相干潜在空间。此外，它还提供了一种使用半监督的简单方法。这个潜在空间可以直接用于从RGB图像估计3D手部姿势，在不同的设置中优于现有技术。此外，我们表明，我们提出的方法可以在深度图像上不做任何改变的情况下使用，并对专门的方法进行了验证。最后，该模型是完全生成的，可以合成一致的双手配置跨模态。我们在RGB和深度数据集上评估了我们的方法，并定性分析了潜在空间。
2018-03-30 cs.CV
Dual Recursive Feedback on Generation and Appearance Latents for Pose-Robust Text-to-Image Diffusion
Korea University（韩国大学）；Sookmyung Women’s University（肃明女子大学）
本文提出一种无需训练的双重递归反馈（DRF）系统，通过外观反馈和生成反馈递归细化中间潜在变量，有效整合结构与外观属性，解决了可控T2I扩散模型难以保留空间结构及捕捉细粒度姿态条件的问题，实现了高质量且结构一致的图像生成。
2025-08-13 cs.CV
Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
深度生成模型有希望学习视觉对象的可解释表示，允许图像采样，合成和选择性修改。主要的挑战是学习正确建模对象的独立潜在特征，特别是其外观和姿态。我们提出了一种新的方法，学习这些特征的解开表示，并单独解释它们。训练只需要描绘相同对象外观的图像对，但不需要姿势注释。我们提出了一个额外的分类器，估计强制解除纠缠所需的最小正则化量。因此，这两种表征结合在一起可以完全解释一个图像，同时彼此独立。以前的方法的基础上对抗的方法无法强制执行这种独立性，而基于变分方法的方法导致无信息的表示。在对不同对象类别的实验中，该方法成功地重组了姿态和外观，以重建和重定位新的合成图像。我们实现了显着的改进，国家的最先进的方法，利用相同的监督水平，并达到性能相媲美的姿势监督的方法。然而，我们可以处理大量没有姿势模型/注释可用的铰接对象类。
2019-10-22 cs.CV
Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning
Vidyasirimedhi Institute of Science and Technology（维迪亚西里梅迪科学技术学院）；Google AI（谷歌人工智能）
本文介绍了KeypointNet，这是一个端到端的几何推理框架，用于学习特定于类别的3D关键点及其检测器的最佳集合。给定单个图像，KeypointNet提取针对下游任务优化的3D关键点。我们证明了这个框架上的3D姿态估计提出了一个可区分的目标，寻求最佳的关键点集恢复对象的两个视图之间的相对姿态。我们的模型发现几何和语义上一致的关键点跨视角和对象类别的实例。重要的是，我们发现，我们的端到端框架使用没有地面实况关键点注释优于完全监督基线使用相同的神经网络架构的任务姿势估计。在ShapeNet的汽车、椅子和飞机类别上发现的3D关键点在http://keypointnet.github.io/上可视化。
2018-11-23 cs.CV cs.LG stat.ML
IRIS: Implicit Rendering Matters for Pose-Free Novel View Synthesis
National University of Defense Technology（国防科技大学）
IRIS提出一种完全自监督框架，通过潜在神经场和自预测相机实现无位姿新视角合成，兼顾隐式建模的灵活性与显式几何的稳定性，取得高质量渲染和竞争性位姿精度。
2026-09-17 cs.CV
Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions
本文提出自监督网络VariShaPE和MoGeN，分别用于估计人体形状姿态的潜空间表示及学习其几何结构，实现低成本的运动插值、外推、迁移与随机生成。
2025-09-08 cs.CV
Latent Dynamics for Full Body Avatar Animation
Simon Fraser University（西蒙弗雷泽大学）；Codec Avatars Lab, Meta（Meta编码化身实验室）
本文提出了一种基于潜在动态的全身动画 avatar 方法，通过引入 transformer 解码器和动态残差潜在变量，实现了更精确的动态模拟，提高了动画质量。
2026-05-20 cs.CV cs.GR
LatentStealth: Unnoticeable and Efficient Adversarial Attacks on Expressive Human Pose and Shape Estimation
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算高级创新中心，人工智能学院，北航）；College of Cyber Security, Jinan University（网络安全学院，暨南大学）；National University of Singapore（新加坡国立大学）；School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）；School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航）
本文提出LatentStealth方法，通过利用自然图像的结构化潜在表示，在潜在空间中生成并优化对抗扰动，实现无痕高效的对抗攻击，揭示当前系统关键安全漏洞。
2026-04-27 cs.CV
X-UniMotion: Animating Human Images with Expressive, Unified and Identity-Agnostic Motion Latents
ByteDance USA（字节跳动美国）
提出X-UniMotion，一种统一且身份无关的全身运动潜变量表示方法，通过自监督端到端框架联合训练运动编码器与DiT视频生成模型，实现高保真跨身份运动迁移。
2025-08-12 cs.AI cs.CV
VQ-HPS: Human Pose and Shape Estimation in a Vector-Quantized Latent Space
CentraleSupélec（中央高等电力学院）；IETR UMR CNRS 6164（法国国家科研中心联合研究单位IETR）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人与工业信息研究所（西班牙国家研究委员会-加泰罗尼亚理工大学联合机构））
针对人体姿态与形状估计任务，提出将其转化为离散潜表示分类的新范式，构建VQ-HPS模型，在小数据和大规模数据集训练下均取得优异效果。
2024-07-15 cs.CV
3D GAN Inversion with Pose Optimization
Korea University（高丽大学）；LG AI Research（LG人工智能研究院）
随着基于NeRF的3D感知GANs质量的最新进展，将图像投影到这些3D感知GANs的潜在空间中比2D GAN反演具有天然优势：它不仅允许投影图像的多视图一致编辑，而且在仅给出单个图像时还能够实现3D重建和新颖视图合成。然而，显式视点控制作为3D GAN反演过程中的主要障碍，因为相机姿态和潜在代码必须同时优化以重建给定图像。大多数探索3D感知GANs潜在空间的工作依赖于地面实况相机视点或可变形3D模型，从而限制了它们的适用性。在这项工作中，我们引入了一个通用的三维GAN反演方法，同时推断相机的观点和潜在的代码，使多视图一致的语义图像编辑。我们方法的关键是利用预先训练的估计器进行更好的初始化，并利用从NeRF参数计算的像素深度来更好地重建给定图像。我们对图像重建和编辑进行了大量的定量和定性实验，并将我们的结果与基于2D GAN的编辑进行了进一步比较，以证明利用3D GANs潜在空间的优势。其他结果和可视化可在https://3dgan-inversion.github.io上获得。
2022-10-17 cs.CV
Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
Purdue University（普渡大学）；Honda Research Institute USA（美国本田研究所）
本研究提出一种两阶段方法，利用掩码自编码器插补稀疏手部轨迹并结合条件扩散模型，从双重稀疏的自我中心视频数据中估计全身姿态，在AMASS和Ego-Exo4D数据集上验证了有效性。
2024-11-05 cs.CV
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（机器智能与先进计算教育部重点实验室）；Pazhou Lab (HuangPu)（琶洲实验室（黄埔））
本文提出由粗到细潜在扩散方法CFLD，通过纯图像训练范式、感知精化解码器和混合粒度注意力模块解耦外观与姿态控制，在DeepFashion上取得领先的人物图像合成效果。
2024-04-09 cs.CV
Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training
University of Rochester（罗切斯特大学）
针对现有视频扩散模型相机控制需微调、成本高且破坏预训练分布的问题，提出Latent-Reframe方法，在采样阶段通过时间感知点云对齐潜码并优化，无需训练即可实现相当或更优的控制精度与视频质量。
2024-12-08 cs.CV
Developing Normative Gait Cycle Parameters for Clinical Analysis Using Human Pose Estimation
CSIRO Data61（联邦科学与工业研究组织Data61研究院）；University of New South Wales（新南威尔士大学）
本文提出一种基于RGB视频和2D人体姿态估计的数据驱动方法，通过逐周期关节角度分析建立规范性步态运动学参数，实现仅用单目视频对个体步态异常进行客观、自动化的空间与时间偏差识别。
2024-11-20 cs.CV
StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant Hairstyle Transfer
VISTEC；Phranakhon Rajabhat University（帕纳空皇家大学）
本文提出 StyleGAN Salon 多视图潜空间优化框架，利用参考合成图的两个视图引导遮挡区域，在更具挑战性的姿态不变发型迁移中保持身份与脸型并优于已有方法。
2023-06-02 cs.CV
Dynamical Deep Generative Latent Modeling of 3D Skeletal Motion
Northeastern University（东北大学）
在本文中，我们提出了一个贝叶斯切换动态模型分割的3D姿态数据随着时间的推移，揭示了可解释的模式的数据和生成。我们的模型将高度相关的骨架数据分解成一组低维潜在框架中的切换时间过程的空间基础。我们参数化这些时间过程的开关深度向量自回归先验，以适应多模态和高阶非线性相互依赖。这导致动态深度生成潜在模型，其使用近似变分推理来解析3D姿态数据的动态中有意义的内在状态，并且实现复杂骨骼运动的现实低级动态生成和分割。我们对四个生物运动数据（包括蝙蝠飞行，莎莎舞，步行和高尔夫数据集）的实验证实了我们的模型与最先进的方法相比具有优越的性能。
2021-06-18 cs.CV
Improved Cryo-EM Pose Estimation and 3D Classification through Latent-Space Disentanglement
DP Technology, Ltd.（北京达科为生物技术股份有限公司）；Peking University（北京大学）
针对异质冷冻电镜重建中潜在变量纠缠导致构象与姿态估计困难的问题，提出基于摊销推理的自监督变分自编码器架构HetACUMN，通过反转编码器-解码器引入辅助条件姿态预测任务实现解耦，提升了构象分类准确性与3D重建效果。
2024-04-23 cs.CV eess.IV q-bio.BM
DragPoser: Motion Reconstruction from Variable Sparse Tracking Signals via Latent Space Optimization
Universitat Politècnica de Catalunya（巴塞罗那理工大学）；University of Cyprus（塞浦路斯大学）；CYENS Centre of Excellence（CYENS卓越中心）
DragPoser是一种基于深度学习的运动重建系统，通过在结构化潜空间中优化姿态并引入Temporal Predictor网络，实现了高精度、自然且时间连贯的实时运动重建，对可变稀疏追踪信号具有强鲁棒性。
2025-06-01 cs.AI cs.CV cs.GR
Flow6D: Discrete-to-Continuous Flow Matching for Efficient and Accurate Category-Level 6D Pose Estimation
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）
提出Flow6D分层流匹配框架，通过两阶段离散潜空间定位-连续姿态回归策略，先离散化姿态参数并用离散流匹配缩小搜索空间，再连续流匹配预测局部残差优化姿态，在合成和真实数据集上以70 FPS实现实时推理，性能优于现有方法。
2026-06-23 cs.CV cs.RO
PosePipe: Open-Source Human Pose Estimation Pipeline for Clinical Research
Northwestern University（西北大学）；Shirley Ryan AbilityLab（雪莉·瑞安能力实验室）
用于人体姿态估计的机器学习算法已经取得了重大进展，这可以在康复和运动科学中提供巨大价值。然而，常规使用这些工具进行临床实践和转化研究仍然存在一些挑战，包括：1）高技术准入门槛，2）快速发展的算法空间，3）具有挑战性的算法相互依赖性，以及4）这些组件之间复杂的数据管理要求。为了缓解这些障碍，我们开发了一个人体姿势估计管道，便于在临床环境中获取的数据上运行最先进的算法。我们的系统允许运行几类算法的不同实现，并轻松处理它们的相互依赖关系。这些算法类别包括主体识别和跟踪、2D关键点检测、3D关节位置估计以及估计身体模型的姿态。该系统使用数据库来管理视频、中间分析和每个阶段的计算数据。它还提供了数据可视化工具，包括生成视频叠加，这些视频叠加还可以模糊面部以增强隐私。我们在这项工作中的目标不是训练新的算法，而是推进使用尖端的人体姿态估计算法的临床和翻译研究。我们表明，该工具有助于分析大量的人体运动视频，从步态实验室分析，到诊所和治疗访问，再到社区中的人们。我们还强调了这些算法的局限性时，应用于临床人群的康复环境。
2022-03-16 cs.CV cs.SE q-bio.QM
