End-to-end Hand Mesh Recovery from a Monocular RGB Image
Beihang University（北京航空航天大学）；Y-tech, Kwai（快手Y-tech）
在本文中，我们提出了一个HAMR框架来解决从单个RGB图像重建人手的完整3D网格的问题。与现有的从RGB或/和深度图像数据进行2D或3D手部姿态估计的研究相比，HAMR可以为单目手部图像理解提供更具表现力和有用的网格表示。具体地，通过用形状和相对3D关节角度参数化通用3D手模型来实现网格表示。通过利用这种网格表示，我们可以通过网格顶点之间的线性插值轻松地计算3D关节位置，同时通过3D关节的投影获得2D关节位置。为此，可以根据导出的表示和地面实况标签定义可微的重新投影损失，从而使我们的框架端到端可训练。定性实验表明，我们的框架能够恢复吸引人的3D手网格，即使在严重的闭塞存在。定量，我们的方法也优于现有技术的方法，从几个基准数据集上的单目RGB图像的2D和3D手部姿势估计。
2019-09-07 cs.CV
Multi-HMR 2: Multi-Person Camera-Centric Human Detection, Mesh Recovery and Tracking
NAVER LABS Europe（NAVER LABS欧洲）
提出基于DETR的框架Multi-HMR 2，联合预测场景一致相机和人体网格，实现度量3D定位与跟踪，无需真实内参或视频监督，在保持骨盆中心性能的同时显著提升检测与定位精度。
2026-06-16 cs.CV
PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人社会研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）
端到端的人体网格恢复（HMR）方法已成功用于3D人体重建。然而，大多数基于HMR的框架通过直接从图像或视频中学习网格参数来重建人体，而缺乏视觉数据中的3D人体姿势的显式指导。因此，生成的网格往往表现出不正确的复杂活动的姿态。为了解决这个问题，我们提出了利用三维姿态来校准人体网格。具体来说，我们开发了两个新的姿态校准框架，即，串行PC-HMR和并行PC-HMR。这两个框架通过将高级3D姿态估计器和HMR以串行或并行方式耦合，可以在简洁的姿态校准模块的指导下有效地校正人体网格。此外，由于校准模块是通过非刚性姿态变换设计的，因此我们的PC-HMR框架可以灵活地处理骨骼长度变化，以减轻校准网格中的错位。最后，我们的框架是基于数据驱动的学习和几何建模的通用和互补的集成。通过即插即用模块，它们可以有效地适用于基于图像/视频的人体网格恢复。此外，它们在测试阶段不需要额外的3D姿态注释，这在实践中释放了推理困难。我们对流行的基准进行了广泛的实验，即，Human3.6M、3DPW和SURREAL，其中我们的PC-HMR框架实现了SOTA结果。
2021-03-18 cs.CV
Dual Mesh Convolutional Networks for Human Shape Correspondence
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Univ. Rennes（雷恩大学）；IRISA（雷恩信息与自动化研究所）；M2S（运动、健康与社会实验室）；Facebook AI Research（脸书人工智能研究实验室）
卷积网络对于常规数据结构（例如2D图像和3D体素网格）非常成功。然而，由于网格的不规则结构，转换到网格并不简单。我们将探讨如何利用三角形网格的对偶、基于面的表示作为图卷积网络的数据结构。在对偶网格中，每个节点（面）都有固定数量的邻居，这使得网络不太容易在网格拓扑上过拟合，并且还允许使用自然定义在面上的输入特征，例如曲面法线和面面积。我们评估的双重方法上的形状对应任务的浮士德人体形状数据集和它的变体与不同的网格拓扑结构。我们的实验表明，当定义在对偶网格而不是原始网格上时，图卷积网络的结果会有所改善。此外，我们的模型，明确利用邻域规则性的双重网格允许进一步改善结果，同时更强大的网格拓扑结构的变化。
2021-10-16 cs.CV
DanceHMR: Hand-Aware Whole-Body Human Mesh Recovery from Monocular Videos
ByteDance Intelligent Creation（字节跳动智能创作）
提出一种基于残差体手融合的时序一致全身HMR框架，通过身体上下文与手部观测的融合以及特写增强，实现稳定身体运动与精细手部恢复。
2026-06-03 cs.CV
Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
从单个图像感知3D人体的能力具有从娱乐和机器人到神经科学和医疗保健的多种应用。人体网格恢复的一个基本挑战是收集训练所需的地面真实3D网格目标，这需要繁重的运动捕获系统，并且通常限于室内实验室。因此，虽然在这些限制性环境中收集的基准数据集取得了进展，但由于分布偏移，模型无法推广到现实世界的“野外”情景。我们提出了域自适应三维姿态增强（DAPA），一个数据增强方法，提高了模型的泛化能力，在野外的情况。DAPA结合了基于合成数据集的方法的优势，通过从合成网格中获得直接监督，以及通过使用来自目标数据集的地面真实2D关键点的领域自适应方法。我们定量地表明，微调与DAPA有效地提高了基准3DPW和AGORA的结果。我们进一步展示了DAPA在一个具有挑战性的数据集上的实用性，该数据集是从现实世界的亲子互动视频中策划的。
2022-09-14 cs.CV
Learning Human Mesh Recovery in 3D Scenes
Zhejiang University（浙江大学）
针对单目图像中预扫描3D场景内的人体绝对姿态与形状恢复问题，提出结合稀疏3D CNN、场景接触估计和交叉注意力的免优化网络，提升了准确性、物理合理性与速度。
2023-06-06 cs.CV
MEGA: Masked Generative Autoencoder for Human Mesh Recovery
CentraleSupélec（中央高等电力学院）；Naver Labs Europe（Naver欧洲实验室）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Amazon（亚马逊公司）
本文提出掩码生成式自编码器MEGA，将人体姿态与形状标记化，并依据图像及部分网格标记序列生成，在单一与多假设HMR预测中均取得最优结果。
2025-03-18 cs.CV
Dynamic Multi-Person Mesh Recovery From Uncalibrated Multi-View Cameras
Southeast University（东南大学）
动态多人网格恢复是近年来三维视觉领域的一个研究热点。然而，很少有工作集中在多人运动捕捉从未校准的相机，这主要面临两个挑战：一个是人与人之间的相互作用和遮挡引入固有的二义性，相机校准和运动捕捉;另一个是，缺乏密集的对应关系，可以用来约束稀疏的相机几何形状在一个动态的多人场景。我们的核心思想是将运动先验知识同时优化外部相机参数和人体网格从嘈杂的人类语义。首先，我们引入了一个物理几何一致性，以减少低，高频率的噪声检测到的人类语义。然后提出了一种新的潜在运动先验，同时优化外部相机参数和相干的人体运动从轻微的噪声输入。实验结果表明，通过一步优化可以得到准确的摄像机参数和人体运动。这些代码将在~ \url{https://www.yangangwang.com}上公开提供。
2021-10-20 cs.CV
TORE: Token Reduction for Efficient Human Mesh Recovery with Transformer
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）；Texas A&M University（德克萨斯农工大学）；University of Oxford（牛津大学）；Tencent Games（腾讯游戏）；University of Cambridge（剑桥大学）
本文提出TORE令牌削减策略，结合3D身体结构先验和2D图像特征聚类，在保持甚至提升人体网格恢复精度的同时大幅降低Transformer计算成本，并验证了其在手部网格恢复上的泛化性。
2023-08-10 cs.CV
DiSRT-In-Bed: Diffusion-Based Sim-to-Real Transfer Framework for In-Bed Human Mesh Recovery
Carnegie Mellon University（卡内基梅隆大学）
针对床内人体网格恢复中真实数据获取困难导致泛化性差的问题，提出基于扩散模型的Sim-to-Real迁移框架，利用合成数据与有限真实样本实现跨场景的鲁棒姿态与身体推理。
2025-04-03 cs.CV
Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels
Adobe Research（奥多比研究院）；Facebook Reality Labs（脸书现实实验室）；University of Southern California（南加利福尼亚大学）；Pinscreen（品屏）
学习注册网格的潜在表示对于许多3D任务是有用的。技术最近已经转移到神经网格自动编码器。虽然它们比传统方法具有更高的精度，但它们仍然无法捕获细粒度的变形。此外，这些方法只能应用于模板特定的表面网格，而不适用于更一般的网格，如四面体和非流形网格。虽然可以采用更一般的图形卷积方法，但它们在重建精度方面缺乏性能，并且需要更高的存储器使用。在本文中，我们提出了一个非模板特定的全卷积网格自动编码器的任意注册的网格数据。它是通过我们的新卷积和（非）池化算子来实现的，这些算子使用全局共享权重和局部变化系数来学习，可以有效地捕获由不规则网格连接呈现的空间变化内容。我们的模型在重建精度上优于最先进的方法。此外，由于完全卷积结构，我们网络的潜在代码完全本地化，因此具有比许多传统3D网格生成模型更高的插值能力。
2020-10-21 cs.CV
HumanMeshNet: Polygonal Mesh Recovery of Humans
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
从单目图像的三维人体重建是计算机视觉中的一个重要问题，在虚拟和增强现实平台，动画行业，电子商务领域等的应用程序，而现有的几个作品制定它作为一个体积或参数学习与复杂和间接依赖于重新投影的网格，我们想专注于隐式学习的网格表示。为此，我们提出了一种新的模型，HumanMeshNet，该模型回归模板网格的顶点，并在多分支，多任务设置中通过3D骨架位置进行正则化。图像到网格顶点的回归通过网格拓扑所施加的邻域约束来进一步正则化，以确保平滑的表面重建。所提出的范例理论上可以学习由身体形状变化引起的局部表面变形，因此可以学习高分辨率网格。我们表现出与SoA相当的性能（在表面和关节误差方面），计算复杂性要小得多，建模成本，因此在三个公开可用的数据集上进行实时重建。我们还显示了一个类似的任务，预测手网格模型所提出的范例的普遍性。鉴于这些初步的结果，我们想利用网状拓扑结构在一个明确的方式前进。
2019-08-19 cs.CV
MetricHMSR:Metric Human Mesh and Scene Recovery from Monocular Images
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Beihang University（北京航空航天大学）
本文提出MetricHMSR框架，通过引入bounding camera ray map和HumanMoE模型，实现人体网格和场景的度量恢复，提升单目深度估计的准确性。
2026-07-01 cs.CV
Humans as Checkerboards: Calibrating Camera Motion Scale for World-Coordinate Human Mesh Recovery
National University of Singapore（新加坡国立大学）
针对单目SLAM尺度未知导致全局人体运动恢复不准的问题，提出无需优化的HAC框架，以人体网格恢复模型预测的人体接触关节绝对深度校准SLAM尺度，实现高精度高效的全局人体网格估计。
2024-12-12 cs.CV
Appearance Consensus Driven Self-Supervised Human Mesh Recovery
Indian Institute of Science, Bangalore（印度科学理工学院）；Google Research（谷歌研究院）
我们提出了一个自我监督的人体网格恢复框架，在没有任何配对监督的情况下，从单目图像中推断人体姿势和形状。最近的进展已经转移到直接回归参数化人体模型的参数的兴趣，通过监督他们的大规模数据集与2D地标注释。这限制了这种方法在来自未标记的野生环境的图像上操作的普遍性。认识到这一点，我们提出了一个新的外观共识驱动的自我监督的目标。为了有效地解开前景（FG）的人，我们依赖于图像对描绘同一个人（一致的FG）在不同的姿势和背景（BG），这是从未标记的野生视频。建议FG外观一致性目标使用一种新的，可微分的颜色恢复模块，以获得顶点颜色，而不需要任何外观网络，通过有效实现颜色拾取和反射对称。我们实现了国家的最先进的结果，基于标准模型的3D姿态估计基准在可比的监督水平。此外，由此产生的彩色网格预测打开了我们的框架用于各种外观相关的任务以外的姿势和形状估计，从而建立我们优越的泛化能力。
2020-08-04 cs.CV
Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild
Imperial College London（帝国理工学院）；Ariel AI；USI Lugano（卢加诺大学）；Twitter（推特）
我们介绍了一个简单而有效的网络架构，用于单目3D手部姿态估计，包括图像编码器，然后是一个网格卷积解码器，通过直接的3D手部网格重建损失进行训练。我们通过在YouTube视频中收集大规模的手部动作数据集来训练我们的网络，并将其用作弱监督的来源。我们基于弱监督网格卷积的系统在很大程度上优于最先进的方法，甚至将野外基准测试的错误减半。数据集和其他资源可在https://arielai.com/mesh_hands上获得。
2020-04-04 cs.CV
DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
DPMesh框架利用预训练扩散模型的先验知识，通过条件注入和噪声关键点推理，在遮挡和拥挤场景中实现精确鲁棒的三维人体网格恢复。
2024-04-01 cs.CV
Diffusion-HPC: Synthetic Data Generation for Human Mesh Recovery in Challenging Domains
Stanford University（斯坦福大学）
针对生成模型难以保持合理人体结构的问题，提出Diffusion-HPC，通过注入人体结构先验生成带3D网格真值的逼真图像，以缓解人体网格恢复训练数据短缺并提升生成逼真度。
2023-12-31 cs.CV
STAF: 3D Human Mesh Recovery from Video with Spatio-Temporal Alignment Fusion
Nanjing University of Science and Technology（南京理工大学）；Beijing Normal University（北京师范大学）
针对3D人体网格恢复中网格与图像不对齐及时间不连续问题，提出基于视频的STAF模型，通过时间一致性融合模块、空间对齐融合模块和平均池化模块提取时空特征，在精度和平滑度上达到最先进权衡。
2024-01-03 cs.CV
LiDAR-HMR: 3D Human Mesh Recovery from LiDAR
Department of Automation, Tsinghua University（自动化系，清华大学）
针对LiDAR点云稀疏、含噪、不完整的问题，本文提出LiDAR-HMR方法，通过级联graphormer结合点云特征，以稀疏到密集的方案从LiDAR点云重建3D人体网格，在三个公开数据集上验证了有效性。
2025-10-02 cs.CV
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
Technion-Israel Institute of Technology（以色列理工学院）
3D扫描技术的发展推动了对解释几何数据的方法的需求，特别是对于人类受试者。在本文中，我们提出了一个优雅的融合回归（自下而上）和生成（自上而下）的方法，以适应参数模板模型的原始扫描网格。我们的第一个主要贡献是一个内在的卷积网格U-net架构，它预测与模板表面的逐点对应。软对应被公式化为新构造的笛卡尔空间中的坐标。将对应关系建模为欧几里德接近度可以实现有效的优化，无论是对于网络训练还是对于算法的下一步。我们的第二个贡献是一个生成优化算法，它使用U网对应预测来指导参数迭代最近点配准。通过使用预先训练的人体表面参数模型，我们最大限度地利用特定领域的先验知识。网格卷积网络与生成模型拟合的配对使我们能够预测真实人体表面扫描的对应关系，包括遮挡、局部性和不同的属（例如，来自自接触）。我们评估所提出的方法上的FAUST对应的挑战，我们实现了20%（33%）的改进，超过最先进的方法间（内）的主题对应。
2021-08-22 cs.CV
Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement
Peking University（北京大学）；Baidu Inc.（百度公司）
针对 NeRF 隐式表示难以兼容传统三维工具的问题，本文提出从 NeRF 初始化几何与外观、提取粗网格并依据重投影误差自适应细化表面，最终烘焙纹理以获得高质量可实时渲染网格。
2023-08-19 cs.CV
Human Mesh Recovery from Arbitrary Multi-view Images
ShanghaiTech University（上海科技大学）；United Imaging Intelligence（联影智能）
针对任意相机位姿和视角数量下的人体网格恢复问题，提出U-HMR分治框架，通过CBD解耦相机位姿与人体估计，并结合CPE与带SMPL查询token的AVF实现灵活融合。
2024-06-17 cs.CV
Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions
Guangdong Provincial Key Laboratory of Visual Media and Multidimensional Intelligence, College of Computer Science and Software Engineering, Shenzhen University（广东省视觉媒体与多维智能重点实验室，深圳大学计算机科学与软件学院）；City University of Hong Kong（香港城市大学）
研究针对现有人体网格恢复基准和方法在大场景及严重遮挡下的不足，引入MVMP-HMR基准，提出MVMP-HMR模型，通过融合多视角特征、利用骨盆关节提取查询、交叉注意力整合及引入新损失，提升了大场景严重遮挡下的人体网格恢复效果。
2026-07-28 cs.CV
ADHMR: Aligning Diffusion-based Human Mesh Recovery via Direct Preference Optimization
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
提出ADHMR框架，利用HMR-Scorer评估并构建偏好数据集，通过直接偏好优化对齐基于扩散的人体重建模型，提升对齐性和鲁棒性，超越现有方法。
2025-05-22 cs.CV
D3L: Decomposition of 3D Rotation and Lift from 2D Joint to 3D for Human Mesh Recovery
针对现有三维人体网格恢复方法中旋转语义模糊、误差累积和形状过拟合问题，提出D3L方法，将关节旋转分解为骨骼方向和扭转方向，结合二维到三维提升网络与非线性优化，在Human3.6M数据集上大幅提升性能。
2023-12-25 cs.CV
Multiview Textured Mesh Recovery by Differentiable Rendering
ZheJiang University（浙江大学）；Alibaba-ZheJiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
虽然通过自我监督在形状和颜色恢复方面取得了令人鼓舞的结果，但基于多层感知器的方法通常在学习深层隐式表面表示时具有沉重的计算成本。由于渲染每个像素需要前向网络推理，因此合成整个图像是非常计算密集的。为了解决这些问题，本文提出了一种有效的从粗到细的方法来恢复纹理网格从多视图。具体来说，一个可微泊松求解器是用来表示对象的形状，这是能够产生拓扑不可知和水密表面。为了考虑深度信息，我们通过最小化渲染网格与来自多视图立体视觉的预测深度之间的差异来优化形状几何。与隐式的形状和颜色的神经表示相反，我们引入了一种基于物理的逆绘制方案，以联合估计环境光照和物体的反射率，这是能够实时绘制高分辨率图像。重建网格的纹理是从一个可学习的密集纹理网格插值。在多个多视图立体视觉数据集上进行了大量的实验，实验结果表明了该方法的有效性。该代码可在https://github.com/l1346792580123/diff上获得。
2022-10-12 cs.CV
Learning Dense UV Completion for Human Mesh Recovery
Shanghai Jiao Tong University（上海交通大学）；Sensetime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出DIMR两阶段方法，利用密集UV对应图和注意力特征补全模块处理遮挡，在严重遮挡场景下显著优于现有SOTA方法。
2023-08-10 cs.CV
VLM-Guided Group Preference Alignment for Diffusion-based Human Mesh Recovery
Nanyang Technological University（南洋理工大学）；HKUST(GZ)（香港科技大学（广州））；SenseTime Research（商汤科技研究院）；A*STAR（新加坡科技研究局）
本文提出了一种基于群体偏好的扩散模型微调框架，通过双内存增强的批评代理生成质量评分，提升人体网格恢复的物理合理性和图像一致性。
2026-02-22 cs.CV
3D Hand Mesh Recovery from Monocular RGB in Camera Space
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学史伟智能工程学院）
针对单目RGB手部3D恢复需适配复杂场景与遮挡、支撑自然人机交互的需求，提出并行处理根相对网格与根节点恢复的网络，结合Inception谱图卷积与局部细节全局注意力方法，在FreiHAND数据集上达到当前最优水平。
2024-05-12 cs.CV
Human Mesh Recovery from Monocular Images via a Skeleton-disentangled Representation
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
我们描述了一个端到端的方法，用于恢复三维人体网格从单一的图像和单目视频。与现有方法试图从一个耦合特征中获取所有复杂的3D姿态、形状和摄像机参数不同，本文提出了一种基于图像分解的框架，该框架以解耦的方式将该任务划分为多层次的空间和时间粒度。在空间方面，我们提出了一个有效的和可插拔的“从细节中解开骨架”（DSD）模块。该方法降低了模型的复杂度，简化了模型的骨架，为时态建模奠定了良好的基础。在时间方面，提出了基于自我注意的时间卷积网络，以有效地利用短期和长期的时间线索。此外，一个无监督的对抗训练策略，时间洗牌和秩序恢复，旨在促进运动动力学的学习。所提出的方法在Human3.6M上的MPJPE和PA-MPJPE分别为15.4%和23.8%，优于最先进的3D人体网格恢复方法。在没有任何微调的情况下，在野外3D姿态（3DPW）数据集上也实现了最先进的结果。特别是消融研究表明，非纠缠表示是更好的时间建模和推广的关键。
2019-09-17 cs.CV
Egocentric Whole-Body Human Mesh Recovery with Prior-Guided Learning
本文提出基于先验引导的学习框架，通过构造更准确的优化伪标签和多先验方法，提升第一人称全身体素恢复的精度，实验表明其优于现有方法。
2026-05-09 cs.CV
Monocular 3D Hand Mesh Recovery via Dual Noise Estimation
Sun Yat-sen University（中山大学）；Tencent（腾讯）
针对参数化模型难以生成与图像对齐的手部网格问题，提出双噪声估计方法，通过统一概率模型学习顶点及投影噪声并细化相机参数，在Interhand2.6M上性能提升超10%，达最先进水平。
2023-12-26 cs.CV
MHE-Former: Multi-Hypothesis Transformers via Entropy Maximization for 3D Mesh Recovery
Communication University of China（中国传媒大学）；Nankai University（南开大学）；Beihang University（北京航空航天大学）；East China Normal University（华东师范大学）；National University of Singapore（新加坡国立大学）
针对单目3D网格恢复中的遮挡和模糊问题，提出基于熵最大化的多假设Transformer框架MHE-Former，结合假设选择机制，实现高精度且多样的恢复，达到最先进性能。
2026-09-11 cs.CV
Video Inference for Human Mesh Recovery with Vision Transformer
School of Electrical Engineering, KAIST, South Korea（电气工程学院，韩国韩科学技术院）；Kim Jaechul Graduate School of AI, KAIST, South Korea（Kim Jaechul人工智能研究生院，韩国韩科学技术院）
提出 HMR-ViT 方法，通过构建时间-运动学特征图像并利用 Vision Transformer 同时融合时间与运动学信息，在 3DPW 和 Human3.6M 数据集上实现了有竞争力的人体网格恢复性能。
2025-07-11 cs.CV
A Two-Stage Shape- and Motion-Aware Framework for mmWave-based Human Mesh Recovery
Department of Computer Science, University of Warwick, Coventry, UK（沃里克大学计算机科学系，英国考文特里）
本文提出双阶段框架，通过雷达反射提取模块和运动感知网格恢复网络，提升毫米波雷达下人体3D网格恢复的精度与效率。
2026-10-30 cs.CV
Leveraging MoCap Data for Human Mesh Recovery
NAVER LABS Europe（NAVER欧洲实验室）
从图像或视频中训练人体姿势和形状恢复的最先进模型需要具有相应注释的数据集，这些注释非常难以获得且价格昂贵。我们在本文中的目标是研究是否构成从3D运动捕捉（MoCap）数据可以用来改善基于图像和基于视频的人体网格恢复方法。我们发现，微调基于图像的模型与MoCap数据的合成渲染可以提高它们的性能，通过为它们提供更广泛的姿势，纹理和背景。事实上，我们表明，简单地微调模型的批量归一化层就足以实现大的收益。我们进一步研究了MoCap数据在视频中的使用，并介绍了PoseBERT，这是一个Transformer模块，它直接回归姿势参数，并通过掩码建模进行训练。它简单、通用，可以插入任何最先进的基于图像的模型之上，以便利用时间信息将其转换为基于视频的模型。我们的实验结果表明，所提出的方法达到最先进的性能在各种数据集，包括3DPW，MPI-INF-3DHP，MuPoTS-3D，MCB和AIST。测试代码和模型将很快提供。
2021-10-18 cs.CV
PostoMETRO: Pose Token Enhanced Mesh Transformer for Robust 3D Human Mesh Recovery
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
本文提出PostoMETRO，通过专门的姿态分词器将2D姿态数据压缩为紧凑的姿态token序列，并与图像token一起输入Transformer，以鲁棒地融合姿态与图像信息，从而在遮挡等极端场景下实现更精确的3D人体网格和关节坐标恢复。
2024-03-19 cs.CV
Adapting Human Mesh Recovery with Vision-Language Feedback
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Automation, Southeast University（东南大学自动化学院）；Sichuan Police College（四川警察学院）
本文提出利用大型视觉-语言模型生成身体部位描述作为隐式约束，通过文本-姿态对齐和扩散优化框架，将单目人体网格恢复转化为分布适应任务，从而提升3D感知精度与图像一致性。
2025-02-06 cs.CV
Depth-Guided Metric-Aware Temporal Consistency for Monocular Video Human Mesh Recovery
Sun Yat-sen University, China（中山大学）；Shenzhen University, China（深圳大学）；Cardiff University, UK（卡迪夫大学）
本文提出深度引导的度量感知时序一致性框架，通过多尺度融合、D-MAPS估计器和MoDAR模块提升单目视频人体网格恢复的鲁棒性和准确性。
2026-02-04 cs.CV
Patient4D: Temporally Consistent Patient Body Mesh Recovery from Monocular Operating Room Video
University of Sydney（悉尼大学）
Patient4D通过利用时间一致性先验，结合轻量几何机制和姿态锁定，提升手术AR中单目视频的患者身体网格恢复性能，实验表明其在遮挡条件下表现更优。
2026-03-17 cs.CV
InterMesh: Explicit Interaction-Aware End-to-End Multi-Person Human Mesh Recovery
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；College of AI, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出InterMesh框架，通过显式融入人与环境交互信息提升多人体网格恢复的准确性，实验表明在复杂交互场景下效果显著，MPJPE降低9.9%。
2026-05-14 cs.CV
HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery
Shanghai Jiao Tong University（上海交通大学）；Xiaoice Company（小冰公司）
本文提出HybrIK-X，通过混合解析-神经逆向运动学将3D关键点估计与参数化网格恢复统一，结合手部和面部建模，实现像素对齐且结构真实的全身网格重建。
2023-04-12 cs.CV
Towards Metric-Aware Multi-Person Mesh Recovery by Jointly Optimizing Human Crowd in Camera Space
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；College of AI, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出度量感知的人体网格恢复方法，通过联合优化多人在摄像空间中的位置，提升场景一致性与恢复精度。
2025-11-20 cs.CV
Coordinate Transformer: Achieving Single-stage Multi-person Mesh Recovery from Videos
Carnegie Mellon University（卡内基梅隆大学）；Samsung Research China – Beijing (SRC-B)（三星中国研究院——北京（SRC-B））；UiT The Arctic University of Norway（挪威北极大学）；Shenzhen campus of Sun Yat-sen University（中山大学深圳校区）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Sun Yat-sen University（中山大学）
针对现有视频多人3D网格恢复多阶段方法的性能局限，提出端到端的CoordFormer模型，通过坐标感知注意力和身体中心注意力建模多人时空关系，在3DPW数据集上多项指标超越SOTA且速度更快。
2023-08-20 cs.CV
Monocular Models are Strong Learners for Multi-View Human Mesh Recovery
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Central Florida（中佛罗里达大学）
本文提出一种无需多视角训练数据的框架，利用预训练的单视角人体网格恢复模型作为强先验，通过单视角预测构建稳健一致的多视角初始化，并通过测试时优化提升性能。
2026-04-01 cs.CV
Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses
South China University of Technology（华南理工大学）；Meta Reality Labs（元宇宙现实实验室）；Sun Yat-sen University（中山大学）
本文提出多RoI人体网格恢复方法，通过估计多个局部相机并施加相机一致性损失和对比损失，缓解网格与相机联合错误但重投影损失低的问题，提升三维网格恢复精度。
2024-10-01 cs.CV
TetCNN: Convolutional Neural Networks on Tetrahedral Meshes
Arizona State University（亚利桑那州立大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
卷积神经网络（CNN）已经在图像、视频、图形和三角形网格上被广泛研究。然而，很少有人研究四面体网格。考虑到在脑图像分析等应用中使用体积网格的优点，我们为四面体网格结构引入了一种新的可解释图CNN框架。受ChebyNet的启发，我们的模型利用体积Laplace-Beltrami算子（LBO）在缺乏3D流形的黎曼度量信息的常用图Laplacian上定义过滤器。对于池化适应，我们引入新的目标函数的局部最小切割的Graclus算法的基础上的LBO。我们采用了一个分段常数近似方案，使用聚类分配矩阵估计LBO采样网格后，每个池。最后，采用四面体网格的加权类激活映射算法，我们使用获得的热图将发现的感兴趣区域可视化为生物标志物。我们证明了我们的模型对阿尔茨海默病患者的皮质四面体网格的有效性，因为有科学证据表明皮质厚度与神经退行性疾病进展的相关性。我们的研究结果表明，我们的基于LBO的卷积层和适应池的优越性，传统上使用的单一的皮质厚度，图形拉普拉斯算子，和点云表示。
2023-02-14 cs.CV
Multi-Human Mesh Recovery with Transformers
Stanford University（斯坦福大学）
本文提出一种基于Transformer的多人人体网格恢复模型，通过多尺度特征融合、聚焦注意力和相对关节监督，同时建模所有个体，在多人场景基准上超越现有方法。
2024-02-26 cs.CV
Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出ImpHMR方法，通过神经特征场在特征层面隐式想象3D人体，利用未见视角的姿态与形状一致性进行自监督学习，克服了现有方法仅依赖单一拍摄视角的限制。
2023-07-03 cs.CV
DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery
Stanford University（斯坦福大学）
DeforHMR 提出一种基于回归的单目 3D 人体网格恢复框架，通过在 transformer 解码器中引入与查询无关的可变形交叉注意力机制，从冻结的 ViT 编码器提取视觉特征进行回归，在 3DPW 和 RICH 基准上达到 SOTA 性能。
2024-11-18 cs.CV
HeatFormer: A Neural Optimizer for Multiview Human Mesh Recovery
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
HeatFormer提出一种基于Transformer的神经优化器，通过热图生成与对齐迭代细化SMPL参数，实现多视角人体形状与姿态恢复，具有视角配置不可知性，并在准确性、遮挡鲁棒性和泛化性上表现优异。
2025-03-25 cs.CV
SAM-Body4D: Training-Free 4D Human Body Mesh Recovery from Videos
Department of Automation, Tsinghua University, Beijing, China（自动化系，清华大学，北京，中国）；University of Warwick, Coventry, UK（沃里克大学，英国）；University of Sheffield, Sheffield, UK（谢菲尔德大学，英国）
SAM-Body4D通过无需训练的框架实现从视频中鲁棒且时间一致的人体网格恢复。
2025-12-09 cs.CV
