DragMesh-2: Physically Plausible Dexterous Hand-Object Interaction with Articulated Objects
School of Computer Science, Peking University（北京大学计算机科学学院）
提出DragMesh-2框架，通过接触驱动的灵巧手-铰接物体交互，结合物理信息感知训练机制PICA，在无触觉反馈下提升变接触负载的鲁棒性。
2026-06-16 cs.CV cs.RO
Decoupled Illumination Priors for Spatially Controllable Multi-View Indoor Scene Relighting
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港研发平台下的CPII）
研究室内场景重光照问题，提出Lume-Palette框架，通过将重光照解耦为光照蒸馏和投射两阶段，并引入不对称多视图条件策略，实现了逼真、空间可控且多视图一致的重光照效果。
2026-07-13 cs.CV
BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects
MPI for Informatics（信息学MPI研究所）；VIA Center（VIA中心）；Google（谷歌公司）
BimArt提出一种无需参考抓取或轨迹的统一生成方法，通过关节感知接触图引导手部运动生成，实现多样逼真的3D双手与关节物体交互，在质量和多样性上超越现有技术。
2025-03-25 cs.CV cs.GR cs.RO
CoDA: Coordinated Diffusion Noise Optimization for Whole-Body Manipulation of Articulated Objects
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对铰接物体全身操作中手身协同和高精度交互的挑战，提出协同扩散噪声优化框架CoDA，通过多扩散模型噪声空间优化与BPS统一表示，实现了优于现有方法的运动质量与物理合理性。
2025-05-27 cs.CV cs.GR cs.RO
SynHLMA:Synthesizing Hand Language Manipulation for Articulated Object with Discrete Human Object Interaction Representation
SynHLMA通过离散人类物体交互表示生成可变形物体的手语操纵序列，实现抓取生成、预测和插值任务。
2026-03-10 cs.AI cs.CV cs.RO
Articulated Hand Pose Estimation Review
Columbia University（哥伦比亚大学）
随着越来越多的公司专注于商业化增强现实（AR）、虚拟现实（VR）和可穿戴设备，对基于手的输入机制的需求变得至关重要，以便使体验自然、无缝和身临其境。由于引入了商品深度相机，手部姿势估计近年来取得了巨大进展。基于视觉的手部姿态估计仍然是一个具有挑战性的问题，由于其复杂性，从自遮挡（手指之间），手指之间的密切相似性，灵巧的手，速度的姿态和高维的手运动学参数。关节手姿态估计仍然是一个开放的问题，并在学术界和工业界的深入研究。用于手部姿势估计的2种方法是：判别式和生成式。生成式方法是一种基于模型的方法，试图将手部模型拟合到观察到的数据。判别方法是基于外观的，通常用机器学习（ML）来实现，并且需要大量的训练数据。最近的手部姿态估计使用混合方法，将判别和生成方法结合到单个手部流水线中。在本文中，我们集中在审查的最新进展，从深度传感器的手姿态估计。我们将综述判别方法、生成方法和混合方法。本文并不是对所有手部姿态估计技术的全面综述，它是一些最新技术的一个子集。
2016-04-21 cs.CV
DART: Articulated Hand Model with Diverse Accessories and Rich Textures
Shanghai Jiao Tong University（上海交通大学）；Simon Fraser University（西蒙弗雷泽大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
由于最近数字孪生的热度，人类生产力和智力的承载者--手备受关注。在众多的手部变形模型中，MANO模型在视觉和图形学领域得到了广泛的应用。然而，MANO忽略了纹理和附件，这在很大程度上限制了它合成真实感手部数据的能力。在本文中，我们扩展MANO与多样化的配件和丰富的纹理，即DART。DART由50种外观和形状各异的日常3D配件组成，325种手工制作的2D纹理图涵盖了不同类型的瑕疵或化妆。还提供Unity GUI以生成具有用户定义设置的合成手部数据，例如，姿势、相机、背景、灯光、纹理和配件。最后，我们发布了DARTset，它包含大规模（800 K）、高保真的合成手部图像，并配有完美对齐的3D标签。实验证明了其多样性的优越性。作为现有手部数据集的补充，DARTset增强了手部姿态估计和网格恢复任务的泛化能力。原材料（纹理、配件）、Unity GUI、源代码和DARTset可在dart2022.github.io上公开获取
2022-10-14 cs.AI cs.CV cs.GR
MANUS: Markerless Grasp Capture using Articulated 3D Gaussians
IIIT Hyderabad（印度理工学院海得拉巴分校）；Brown University（布朗大学）
本文提出MANUS方法，利用关节式3D高斯表示实现高保真无标记手-物体抓取捕捉与精确接触估计，并构建了包含50+相机视角和700万帧的MANUS-Grasps数据集，在定量接触评估中优于现有方法。
2024-03-28 cs.CV
Learning Relighting and Intrinsic Decomposition in Neural Radiance Fields
Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Stony Brook University（石溪大学）
针对神经辐射场在带背景真实场景中的本征分解难题，提出结合重光照、光照伪标签与物理约束的无真值方法，并在合成及真实数据上验证有效。
2024-06-16 cs.CV
ContactArt: Learning 3D Interaction Priors for Category-level Articulated Object and Hand Poses Estimation
UC San Diego（加州大学圣迭戈分校）；Google Research（谷歌研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
提出ContactArt数据集与方法，通过视觉遥操作低成本收集手部与铰接物体的3D交互数据，并利用GAN判别器和扩散模型学习结构与接触先验，显著提升了联合姿态估计性能。
2024-07-27 cs.CV cs.LG cs.RO
Incorporating dense metric depth into neural 3D representations for view synthesis and relighting
Carnegie Mellon University（卡内基梅隆大学）；Toyota Research Institute（丰田研究所）
本文提出将稠密度量深度融入神经三维表示训练，通过区分纹理与几何边缘消除联合优化伪影，并开发多闪光立体相机系统，在少量视图下实现高质量视图合成与重光照。
2024-09-04 cs.CV cs.GR cs.RO
Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
University of Michigan（密歇根大学）；Microsoft（微软公司）；University of Edinburgh（爱丁堡大学）；Harvard Medical School（哈佛医学院）
本文提出时间引导的手部姿态估计模型 CondPose，并构建首个手术视频多实例手部姿态数据集 Surgical Hands，在姿态估计和跟踪精度上均优于现有方法。
2025-02-06 cs.CV
RHRSegNet: Relighting High-Resolution Night-Time Semantic Segmentation
MSA University（MSA大学）
针对夜间低光照等复杂条件下语义分割精度低的问题，提出融合残差卷积补光模块与高分辨率分割网络的RHRSegNet，在多个夜间数据集上较HRnet分割性能提升5%。
2024-07-08 cs.CV
ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出ArtHOI框架，通过整合多基础模型先验知识，解决单目视频中手-物体交互的4D重建问题，引入自适应采样细化和多模态大语言模型引导对齐方法，构建两个新数据集并验证方法有效性。
2026-03-26 cs.CV
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从单个RGB图像估计关节式3D手部对象姿势是一个高度模糊且具有挑战性的问题，需要包含不同手部姿势、对象类型和相机视点的大规模数据集。大多数真实世界的数据集缺乏这些数据。相比之下，数据合成可以很容易地分别确保这些差异。然而，构建有效和多样的手-物体交互以及从大量的合成数据中有效地学习仍然是具有挑战性的。为了解决上述问题，我们提出了ArtiBoost，一个轻量级的在线数据增强方法。ArtiBoost通过在复合手对象配置和视点空间（CCV-space）中采样，可以覆盖不同的手对象姿态和摄像机视点，并通过损失反馈和样本重新加权，自适应地丰富当前难以识别的项。ArtiBoost在学习管道内交替执行数据探索和合成，这些合成数据被混合到真实世界的源数据中进行训练。我们在简单的学习基线网络上应用ArtiBoost，并在几个手部对象基准测试中见证了性能的提升。我们的模型和代码可以在https://github.com/lixiny/ArtiBoost上找到。
2022-03-25 cs.AI cs.CV
MeshMamba: State Space Models for Articulated 3D Mesh Generation and Reconstruction
National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院）
本文提出MeshMamba，利用Mamba状态空间模型处理大规模顶点序列，实现超过万顶点的关节式三维人体网格生成与单图重建，并设计了扩散模型MambaDiff3D和全身恢复模型Mamba-HMR。
2025-07-21 cs.CV
DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects
UC San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
DexArt是一个物理模拟器中的灵巧操作基准，通过强化学习与3D表示学习，评估多指手对未见铰接物体的泛化操作能力。
2023-05-09 cs.CV cs.LG cs.RO
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia（不列颠哥伦比亚大学）；Facebook Reality Labs（Facebook现实实验室）
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线，但需要生成模型通过迭代细化来恢复精细对齐。不幸的是，现有的模型通常是手工制作的或在受控条件下学习的，仅适用于有限的领域。提出了一种通过扩展神经辐射场（NeRFs）从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架，以应用于时变和关节运动。一个关键的见解是，隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势，从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观，同时联合细化关节姿势;所有这些都没有输入视频上的外观，姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时，我们的神经模型提高了不同数据集的准确性。项目网址：https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
GS^3: Efficient Relighting with Triple Gaussian Splatting
Zhejiang University（浙江大学）
提出基于空间和角度高斯的三重泼溅表示方法，通过Lambertian与角度高斯混合、阴影细化及全局光照补偿网络，实现实时高质量的新光照与视角合成，在多种数据上表现优于现有技术。
2024-10-15 cs.CV cs.GR
Fast Image-based Neural Relighting with Translucency-Reflection Modeling
本文提出了一种快速神经3D重建和光照模型，能够利用IBL重新照明复杂材料，如透明和光泽反射，实现逼真效果。
2026-02-09 cs.CV
DuetHOI: Language-Guided Bimanual Hand--Object Motion Generation with Articulation Planning and Contact Refinement
Hefei University of Technology（合肥工业大学）；Shanghai Jiao Tong University（上海交通大学）
StructBiHOI通过结构化关节建模框架实现长时程双臂手-物体交互生成，提升稳定性和效率。
2026-08-03 cs.CV cs.RO
HELIOS: From midnight to noon, continuous outdoor urban scene relighting
Huawei Paris Research Center（华为巴黎研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Univ Evry（埃夫里大学）；L Research（L研究机构）
HELIOS是一种无需配对图像训练的图像重光照方法，通过反照率条件、反照率蒸馏和GPS太阳角度控制，实现昼夜场景连续重光照，性能优于现有方法。
2026-09-03 cs.CV
GIRAF: Towards Generalizable Human Interactions with Articulated Objects
Meta
针对合成与关节物体的逼真全身人类交互难题，现有模型有局限。本文提出文本条件扩散模型，通过以物体为中心的表示、混合域训练策略和基于接触的增强方案应对挑战，实验证明其对未见物体配置泛化能力强，超越现有方法。
2026-07-10 cs.CV
MAD-HOI: Masked Autoregressive Diffusion for Generating Articulated Hand Object Interactions from Text
MAD-HOI是一种结合掩码自回归与扩散的HOI生成模型，可生成多样且符合物理规律的手-物体交互序列，支持可变长度生成、运动补全填充等功能，在ARCTIC和GRAB数据集上优于开源基线。
2026-10-14 cs.CV
Nighttime Person Re-Identification via Collaborative Enhancement Network with Multi-domain Learning
Anhui University（安徽大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Hefei University（合肥学院）
针对夜间行人重识别中串行重光照质量受限及真实数据不足的问题，提出并行协同增强网络CENet与多域学习算法，通过多层次特征交互和特征蒸馏提升夜间ReID性能。
2025-01-04 cs.CV
A2J: Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation from a Single Depth Image
IHPC, A*STAR（新加坡科技研究局高性能计算研究所）；State University of New York at Buffalo（纽约州立大学布法罗分校）
针对深度图像中手部和身体的三维姿态估计问题，提出了一种基于锚点的具有端到端学习能力的锚点到关节回归网络（A2J）。在A2J内，能够捕获全局-局部空间上下文信息的锚点被密集地设置在深度图像上作为关节的局部回归量。它们有助于以集成的方式预测关节的位置，以提高泛化能力。所提出的3D铰接姿态估计范例不同于现有技术的基于编码器-解码器的FCN、3D CNN和基于点集的方式。为了发现信息锚点对某些关节，锚建议程序也提出了A2J。同时2D CNN（即，ResNet-50）被用作驱动A2J的骨干网络，而不使用耗时的3D卷积或去卷积层。在3个手部数据集和2个人体数据集上的实验验证了A2J算法的优越性。同时，A2J在单个NVIDIA 1080Ti GPU上具有约100 FPS的高运行速度。
2019-08-27 cs.CV
Rule Of Thumb: Deep derotation for improved fingertip detection
我们研究了一种新的全局方向回归方法，使用深度卷积神经网络的关节对象。这与平面内图像去旋转方案DeROT相结合，以解决深度图像中每帧指尖检测的问题。该方法降低了学习的复杂性，这是通过使用两个不同的国家的最先进的学习为基础的手姿态估计方法应用于指尖检测的空间中的关节姿势。与基线执行情况相比，分类工作有了重大改进。我们的框架不涉及任何跟踪，运动学约束或明确的先验模型的铰接对象的手。为了支持我们的方法，我们还描述了一种新的管道，用于对深度相机成像的对象进行高精度磁性注释和标记。
2015-07-21 cs.CV
Track, Articulate, Act: Generating Articulation from Casual Human Videos
本文提出一个从单目RGB视频重建关节物体及其手-物交互的真实到模拟框架，利用密集3D点轨迹推断关节，并复用预训练模型实现分割、重建与交互重放。
2026-09-17 cs.CV
URHand: Universal Relightable Hands
Meta；Nanyang Technological University（南洋理工大学）
提出首个通用可重照手部模型URHand，基于light-stage多视角数据构建线性神经渲染器实现跨身份泛化，支持手机少样本个性化与实时渲染，在质量与泛化性上超越现有方法。
2024-01-10 cs.CV cs.GR
Neural Implicit Representation for Building Digital Twins of Unknown Articulated Objects
NVIDIA（英伟达）；Stanford University（斯坦福大学）
本文提出一种从两次RGBD扫描构建未知关节物体数字孪生的方法，通过两阶段重建物体形状并恢复部件分割与关节运动，显式建模点级对应关系，实现更准确稳定的结果且无需形状先验。
2024-06-06 cs.AI cs.CV cs.GR
ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文构建包含210万帧及精确3D网格、接触标注的双手灵巧操控数据集ARCTIC，并提出一致运动重建与交互场估计两项任务及ArcticNet、InterField基线。
2023-04-23 cs.CV
MARS: Multimodal Active Robotic Sensing for Articulated Characterization
South China University of Technology（华南理工大学）
MARS提出多模态融合与强化学习主动感知框架，通过RGB增强点云并自主优化视角，在关节参数估计上超越现有方法并提升真实场景泛化能力。
2024-07-01 cs.AI cs.CV cs.RO
SurgeoNet: Realtime 3D Pose Estimation of Articulated Surgical Instruments from Stereo Images using a Synthetically-trained Network
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学（RPTU））；NUST-SEECS（国家科技大学工程与应用科学学院（NUST-SEECS））；University of Prince Mugrin (UPM)（穆格林王子大学（UPM））
本文提出 SurgeoNet 实时神经网络流水线，仅用合成数据训练即可从立体 VR 图像中检测、跟踪铰接式手术器械并估计三维姿态，在真实挑战场景中展现良好泛化性。
2024-10-02 cs.CV
Fast and Accurate 3D Hand Pose Estimation via Recurrent Neural Network for Capturing Hand Articulations
Korea University（高丽大学）
基于单幅深度图像的三维手姿态估计在计算机视觉和人机交互中具有重要的作用。虽然最近的手姿态估计方法，使用卷积神经网络（CNN）已经显示出显着的改善，在准确性，他们中的大多数有一个局限性，他们依赖于一个复杂的网络结构，而没有充分利用的关节结构的手。手是一个铰接的物体，由六个局部部分组成：手掌和五个独立的手指。每个手指由提供约束运动的顺序关节组成，称为运动链。在本文中，我们提出了一个分层结构的卷积循环神经网络（HCRNN），它有六个分支，可以独立地估计手掌和五个手指的3D位置。手掌位置通过全连接层预测。每个序列关节，即手指位置，使用循环神经网络（RNN）来捕获相邻关节之间的空间依赖性。然后将手掌和手指分支的输出特征连接起来以估计全局手部位置。HCRNN直接将深度图作为输入，而无需耗时的数据转换，例如3D体素和点云。在公共数据集上的实验结果表明，所提出的HCRNN不仅优于大多数使用深度图像作为输入的基于2D CNN的方法，而且还实现了与最先进的基于3D CNN的方法竞争的结果，在单个GPU上具有285 fps的高效运行速度。
2020-03-18 cs.CV cs.LG eess.IV
sim2art: Accurate Articulated Object Modeling from a Single Video using Synthetic Training Data Only
LIGM, École Nationale des Ponts et Chaussées, IP Paris, CNRS, France（LIGM实验室，巴黎国立桥梁与道路学院，IP巴黎，法国国家科学研究中心，法国）
本文提出sim2art框架，通过单目视频重建可变形物体的3D部分分割和关节参数，采用基于帧表面点采样的稳健表示，无需依赖长期对应关系，实现仿真与现实数据的一致性。
2026-03-21 cs.CV cs.RO
NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Imperial College London（伦敦帝国学院）
该研究提出神经黎曼距离场NRDF，通过新采样算法和自适应步长黎曼投影算法学习关节姿态先验，在多下游任务中性能优于现有方法，可适配人体、手部及动物等任意关节运动建模。
2024-04-11 cs.CV
FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow
KAIST（韩国科学技术院）；Imperial College London（帝国理工学院）
本文提出 FourierHandFlow，用 Fourier 级数表示关节感知查询流并结合 3D 占据场，实现从 RGB 视频学习连续 4D 手部表示，在重建效率与对应相关任务上达到先进水平。
2023-07-16 cs.CV
Structured Latent Variable Models for Articulated Object Interaction
Massachusetts Institute of Technology（麻省理工学院）
本文提出用神经统计学家结构化潜变量模型对门图像视频进行半监督预训练，学习可分离上下文级与实例级变量的低维表示，并在门参数预测和视觉赌博机开门任务中验证其优于无上下文基线。
2023-05-26 cs.CV cs.LG
Learning Part-Aware Dense 3D Feature Field for Generalizable Articulated Object Manipulation
Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）
本文提出PA3FF，一种具有部分感知的密集3D特征场，用于提升可变形物体操作的泛化能力，通过对比学习训练，实现高效且通用的机器人操作
2026-02-15 cs.CV cs.LG cs.RO
Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Aalto University（阿尔托大学）
实时的【形】同时跟踪手操作和与外部物体交互在增强现实、有形计算和可穿戴计算中具有许多潜在的应用。然而，由于困难的闭塞，快速运动，和统一的手的外观，联合跟踪手和对象的姿态是更具有挑战性的比单独跟踪两者之一。许多先前的方法诉诸于复杂的多相机设置来补救遮挡问题，并且通常采用昂贵的分割和优化步骤，这使得实时的【形】跟踪是不可能的。在本文中，我们提出了一种使用单一商品RGB-D相机的实时的【形】解决方案。我们的方法的核心是一个3D铰接高斯混合对准策略，适合手对象跟踪，允许快速姿态优化。对准能量使用新颖的正则化器来解决遮挡和手-物体接触。为了增加鲁棒性，我们用手的判别部分分类和对象的分割来指导优化。我们在几个现有的数据集上进行了广泛的实验，并引入了一个新的带注释的手对象数据集。定量和定性结果显示了我们方法的关键优势：速度、准确性和鲁棒性。
2016-10-16 cs.CV
Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；MIT（麻省理工学院）
给定场景的一组图像，从新的视图和光照条件下重新绘制该场景是计算机视觉和图形学中的一个重要且具有挑战性的问题。一方面，现有的计算机视觉中的大多数工作通常对图像形成过程施加许多假设，例如直接照明和预定义的材料，以使场景参数估计易于处理。另一方面，成熟的计算机图形学工具允许在给定所有场景参数的情况下对复杂的照片般逼真的光传输进行建模。结合这些方法，我们提出了一种新的观点下的场景重新照明的方法，通过学习神经预先计算的辐射传递函数，隐式处理全局光照的影响，使用新的环境地图。我们的方法可以单独监督一组真实图像的场景下，一个单一的未知的照明条件。为了在训练过程中消除任务的歧义，我们在训练过程中紧密集成了可微分路径跟踪器，并提出了合成OLAT和真实图像丢失的组合。结果表明，恢复的解纠缠的场景参数显着提高了目前的最先进的，因此，我们的重新渲染结果是更真实和准确的。
2022-07-27 cs.CV
DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth
DFKI（德国人工智能研究中心）；NUST-SEECS（国立科技大学电气工程与计算机科学学院）
关节手姿态和形状估计是增强现实和动画等基于视觉的应用中的一个重要问题。与仅针对关节位置进行优化的现有方法相比，我们提出了一种完全监督的深度网络，该网络可以学习从单个深度图像中联合估计完整的3D手部网格表示和姿势。为此，采用CNN架构来估计参数表示，即手部姿势、骨骼尺度和复杂形状参数。然后，一个新的手部姿势和形状层，嵌入到我们的深度框架中，产生3D关节位置和手部网格。缺乏足够的具有不同手形的训练数据限制了基于学习的方法的一般性能。此外，手动注释真实数据是次优的。因此，我们提出了SynHand5M：一个百万级的合成数据集，具有精确的联合注释，分割掩模和深度图的网格文件。在基于模型的学习（混合）方法中，我们在我们的数据集和两个公共基准（即NYU和ICVL）上显示了改进的结果。此外，通过采用真实数据和合成数据的联合训练策略，我们在3.7ms内从真实图像恢复出3D手部网格和姿态。
2018-08-28 cs.CV
SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting
Toyota Technological Institute at Chicago（丰田技术研究所（芝加哥））；Toyota Research Institute（丰田研究院）
针对现有关节物体重建方法的可扩展性、鲁棒性及渲染缺陷，提出自监督类别无关框架SplArt，基于3D高斯溅射结合可微分移动性参数与多阶段优化，仅需两组不同关节状态的带位姿RGB图像即可实现部件级重建与关节估计，性能达当前最优且具备实用价值。
2025-06-04 cs.CV cs.GR cs.LG
Rodrigues Network for Learning Robot Actions
MIT（麻省理工学院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
本文提出罗德里格斯网络，通过引入运动学先验知识提升机器人动作学习性能，验证了其在动作预测和手部重建中的有效性。
2026-04-22 cs.CV cs.RO
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London（帝国理工学院）；UNIST（蔚山科学技术院）
由于固有的2D-3D映射模糊性和有限的训练数据，从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型，代表可变形和关节手网格。为了实现RGB图像的模型拟合，我们在三个方面进行了研究和贡献：1）神经渲染：受最近人体工作的启发，我们的手部网格估计器（HME）由神经网络和可微分渲染器实现，由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能，并提高了姿态估计精度。2)迭代测试细化：我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计，本着迭代模型拟合方法（如ICP）的精神。这一想法得到了最新人体研究的支持。3)自数据增强：收集用于训练的大小的RGB网格（或分割掩码）-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像，它的网格，即形状和关节，是真实的，我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明，我们的框架在3D姿态估计方面提供了超越最先进的精度，并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
SRHand: Super-Resolving Hand Images and 3D Shapes via View/Pose-aware Neural Image Representations and Explicit 3D Meshes
School of Computing, KAIST（计算机学院，韩国科学技术院）
SRHand提出几何感知隐式图像函数，联合优化隐式表示与显式三维手部网格，从低分辨率图像实现多视角/姿态一致的高保真手部纹理与精细三维几何重建。
2025-09-26 cs.CV
JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
提出JGHand，一种基于关节驱动的3D Gaussian Splatting手部表示，通过3D关键点可微分变形与实时阴影模拟，实现高保真实时渲染与可驱动性，超越现有最先进方法。
2025-01-31 cs.CV
