InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在本文中，我们通过贡献InstantAvatar向单眼神经化身重建的现实世界适用性迈出了重要的一步，InstantAvatar是一个可以在几秒钟内从单眼视频中重建人类化身的系统，并且这些化身可以以交互式速率进行动画和渲染。为了实现这种效率，我们提出了一个精心设计和工程系统，利用新兴的加速结构的神经领域，结合一个有效的空空间跳跃策略的动态场景。我们还提供了一个有效的实施方案，我们将提供用于研究目的。与现有方法相比，InstantAvatar的收敛速度快130倍，可以在几分钟内完成训练，而不是几小时。它实现了相当甚至更好的重建质量和新颖的姿态合成结果。当给定相同的时间预算时，我们的方法显着优于SoTA方法。InstantAvatar可以在短短10秒的训练时间内产生可接受的视觉质量。
2022-12-20 cs.CV
Detailed Human Avatars from Monocular Video
TU Braunschweig（布伦瑞克工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了一种新的方法，高细节保护的人的化身创建从单目视频。一个参数化的身体模型被细化和优化，以最大限度地类似于从各个方面展示他们的视频中的主体。我们的头像具有自然的面孔、发型、带有衣服褶皱的衣服和高分辨率纹理。我们的论文贡献了基于面部地标和阴影的人体形状细化、语义纹理先验和新颖的纹理缝合策略，从而从单个视频中获得迄今为止最复杂的人类化身。大量的结果表明，我们的方法的鲁棒性和通用性。一项用户研究表明，其优越性超过国家的最先进的身份保护，详细程度，现实主义，和整体用户的喜好。
2018-08-03 cs.CV
Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video
我们提出了HandAvatar，一种新的表示手部动画和渲染，它可以生成平滑的组成几何和自遮挡感知纹理。具体来说，我们首先开发一个MANO-HD模型作为一个高分辨率的网格拓扑结构，以适应个性化的手形。接着，我们将手部几何结构分解成每一个骨骼的刚性部分，然后重新组合成对的几何编码，以获得一个跨部分一致的占有场。在纹理建模方面，我们提出了一种自遮挡感知的阴影场（SelF）。在SelF中，可驾驶的锚点铺设在MANO-HD表面上，以记录各种手部姿势下的手势信息。此外，定向软占用被设计为描述光线到表面的关系，这是杠杆作用，以产生一个照明场的解纠缠的姿态无关的非线性和姿态相关的照明。从单眼视频数据训练，我们的HandAvatar可以执行自由姿势的手动画和渲染，同时实现卓越的外观保真度。我们还证明，HandAvatar提供了一个路线的手外观编辑。项目网址：https://seanchenxy.github.io/HandAvatarWeb。
2023-03-22 cs.CV cs.GR
Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video
University of Hong Kong（香港大学）；Baidu Inc.（百度公司）；Department of Computer Vision Technology (VIS)（计算机视觉技术系）；School of Science and Engineering（科学与工程学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出SGIA，一种基于Surfel的高斯逆渲染方法，通过PBR建模、预积分光照、遮挡近似与渐进训练，实现从单目视频快速重建可重光照的动态人体，兼具高精度与速度优势。
2025-10-09 cs.CV cs.GR
FATE: Full-head Gaussian Avatar with Textural Editing from Monocular Video
Nanjing University（南京大学）；OPPO
针对单目视频3D头部化身重建存在的不完整、高斯表示效率低等问题，提出FATE方法，通过采样稠密化、神经烘焙和通用补全框架，实现可编辑、可驱动的360°全头重建，性能达当前最优。
2025-03-21 cs.CV
Drivable Avatar Clothing: Faithful Full-Body Telepresence with Dynamic Clothing Driven by Sparse RGB-D Input
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种基于稀疏RGB-D输入驱动的动态服装化身方法，通过N-ICP算法跟踪服装形状并重建外观，实现高保真远程呈现。
2023-10-11 cs.CV cs.GR
SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video
University of Science and Technology of China（中国科学技术大学）；Image Derivative Inc（图像衍生公司）；Zhejiang University（浙江大学）
我们提出了SelfRecon，一种穿着人体重建方法，结合隐式和显式表示，从单目自旋转的人类视频恢复时空相干几何。显式方法需要一个预定义的模板网格为给定的序列，而模板是很难获得一个特定的主题。同时，固定的拓扑结构限制了重建精度和服装类型。隐式表示支持任意拓扑结构，由于其连续性，可以表示高保真的几何形状。然而，难以整合多帧信息以产生用于下游应用的一致的配准序列。我们建议结合这两种表示法的优点。我们利用显式网格的差分掩模损失来获得连贯的整体形状，而隐式表面上的细节则通过可微神经渲染来细化。同时，显式网格定期更新，以调整其拓扑结构的变化，并设计了一致性损失，以匹配两种表示。与现有的方法相比，SelfRecon可以产生高保真表面的任意穿着的人与自我监督优化。大量的实验结果表明，它的有效性，对真实捕获的单目视频。源代码可在www.example.com上获得。
2022-04-05 cs.CV cs.GR
GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion
Technical University of Munich（慕尼黑工业大学）；Toyota Motor Europe NV/SA（丰田汽车欧洲公司）；Woven by Toyota（丰田编织公司）
针对单目视频3D头部化身重建中观测有限导致的伪影问题，提出GAF方法，结合多视图扩散模型先验和FLAME法线贴图偏置，提升高斯溅射渲染的视角一致性与保真度，在NeRSemble数据集上优于现有方法。
2025-04-14 cs.AI cs.CV cs.GR
Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；S-Lab for Advanced Intelligence, Nanyang Technological University（南洋理工大学先进智能实验室）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；SenseTime Research（商汤科技研究院）
该研究针对运动模糊单目视频输入，提出将基于人类运动的运动模糊模型集成到3D高斯平铺的框架，通过优化轨迹和高斯分布重建高质量可动画化头像，实验证明其在渲染质量等方面显著优于现有方法。
2026-07-28 cs.CV
FMGS-Avatar: Mesh-Guided 2D Gaussian Splatting with Foundation Model Priors for 3D Monocular Avatar Reconstruction
HangZhou Dianzi University（杭州电子大学）；Shenzhen Polytechnic University（深圳职业技术大学）；WuHan University（武汉大学）
FMGS-Avatar通过网格引导的二维高斯泼溅约束原语附着于模板网格以保持表面细节，并利用基础模型先验结合选择性梯度隔离的协调训练策略，显著提升单目视频三维人类化身重建的几何精度与外观保真度。
2025-09-18 cs.CV
Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction
Technical University of Munich（慕尼黑工业大学）；Facebook Reality Labs（Facebook现实实验室）
我们提出了动态神经辐射场建模的外观和动态的人脸。数字建模和重建说话的人是各种应用的关键组成部分。特别是，对于AR或VR中的远程呈现应用，需要忠实地再现包括新颖视点或头部姿势的外观。与明确建模几何形状和材料属性或纯粹基于图像的最先进方法相反，我们引入了基于场景表示网络的头部隐式表示。为了处理面部的动态，我们将我们的场景表示网络与低维变形模型相结合，该模型提供了对姿势和表情的显式控制。我们使用体积渲染从这种混合表示生成图像，并证明这样的动态神经场景表示可以只从单眼输入数据学习，而不需要专门的捕获设置。在我们的实验中，我们表明，这种学习的体积表示允许照片般逼真的图像生成，超越了最先进的基于视频的重演方法的质量。
2020-12-05 cs.CV cs.GR
MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar
Tsinghua University（清华大学）；Communication University of China（中国传媒大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出MonoGaussianAvatar，用3D高斯点和高斯形变场从单目视频重建可动画头部头像，兼顾灵活拓扑、高效形变与渲染，并达到最先进性能。
2023-12-07 cs.CV
DipGuava: Disentangling Personalized Gaussian Features for 3D Head Avatars from Monocular Video
本文提出DipGuava方法，通过解耦面部外观为两个互补组件，从单目视频生成具有个性化特征的3D头部虚拟人物，提升真实感和表现力。
2026-03-30 cs.CV
Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video
Huawei London Research Center（华为伦敦研究中心）；Technical University of Munich（慕尼黑工业大学）
本文提出完全可微分管线ReCaLaB，仅从单一RGB视频学习高保真3D人类虚拟化身，结合可变形NeRF与文本提示控制位姿、纹理等，并利用扩散模型生成未见运动视频，在图像质量上超越以往单目方法。
2024-03-24 cs.CV
JacobianAvatar: Temporally Consistent Semi-rigid Avatar Reconstruction from a Monocular Video
GIST（光州科学技术院）；KETI（韩国电子技术研究院）；polygom；Yonsei University（延世大学）
提出利用神经雅可比场表示半刚性变形，通过约束泊松求解器、符号距离正则化和残差流损失，从单目视频重建时间稳定、几何一致的虚拟化身。
2026-07-01 cs.CV
Capturing and Animation of Body and Clothing from Monocular Video
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
虽然最近的工作已经在从单个图像、视频或一组3D扫描中提取穿着衣服的3D人类化身方面取得了进展，但仍然存在一些限制。大多数方法使用整体表示来联合建模身体和衣服，这意味着衣服和身体不能被分离用于虚拟试穿等应用。其他方法单独建模身体和衣服，但它们需要从3D/4D扫描仪或物理模拟获得的大量3D穿着人体网格中进行训练。我们的见解是，身体和服装有不同的造型要求。虽然基于网格的参数化3D模型很好地表示了身体，但隐式表示和神经辐射场更适合于捕捉服装中存在的形状和外观的大量变化。基于这一见解，我们提出了SCARF（分段穿着的阿凡达辐射场），一个混合模型结合了基于网格的身体与神经辐射场。将网格集成到体绘制中，结合可区分的光栅化器，使我们能够直接从单目视频中优化SCARF，而无需任何3D监督。混合建模使得SCARF能够（i）通过改变身体姿势（包括手部关节和面部表情）来动画化穿着的身体化身，（ii）合成化身的新颖视图，以及（iii）在虚拟试穿应用中在化身之间转移衣服。我们表明，SCARF重建服装具有更高的视觉质量比现有的方法，服装变形与改变身体姿势和身体形状，服装可以成功地转移不同主题的化身之间。代码和模型可在https://github.com/YadiraF/SCARF上获得。
2022-10-04 cs.CV cs.GR
Generator-Refiner-Examiner: A Tri-Module Data Augmentation Framework for 3D Human Avatar Learning from Monocular Videos
Nanyang Technological University（南洋理工大学）
针对单目视频中3D人体虚拟形象重建的数据稀缺问题，提出由生成器、精炼器和检验器组成的三模块框架TrioMan，通过姿态和相机扰动生成多样样本、扩散模型精炼质量、注意力机制筛选一致样本，在X-Humans和NeuMan基准上超越现有方法。
2026-05-22 cs.CV
Real-Time Animatable 2DGS-Avatars with Detail Enhancement from Monocular Videos
提出基于2DGS的可动画人体虚拟形象实时重建框架，结合全局SMPL姿态参数与旋转补偿网络(RCN)，有效解决非刚性变形和姿态过渡问题，在重建质量和动画稳健性上超越现有方法。
2025-05-01 cs.CV
High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
Tsinghua University（清华大学）；Tencent（腾讯）；Ant Group（蚂蚁集团）；Peng Cheng Laboratory（鹏城实验室）
从单目视频中重建高逼真度的人脸模型是计算机图形学和计算机视觉领域的一个重要研究课题。最近，神经辐射场（NeRF）显示了令人印象深刻的新颖的视图渲染结果，并已被考虑用于面部化身重建。然而，单目视频中复杂的面部动态和缺失的3D信息对真实的面部重建提出了重大挑战。在这项工作中，我们提出了一种新的方法，基于NeRF的面部化身重建，利用3D感知生成先验。与现有的依赖于条件变形场进行动态建模的工作不同，我们提出学习个性化的生成先验，该先验被制定为3D-GAN潜在空间中的局部和低维子空间。我们提出了一种有效的方法来构建基于一个给定的个人的面部图像的小集合的个性化生成先验。学习后，它允许照片真实感渲染与新的意见和人脸再现可以实现通过执行潜在空间中的导航。我们提出的方法适用于不同的驱动信号，包括RGB图像，3DMM系数，和音频。与现有的工作相比，我们获得了优越的新的视图合成的结果和忠实的人脸再现性能。
2023-03-04 cs.CV
RMAvatar: Photorealistic Human Avatar Reconstruction from Monocular Video Based on Rectified Mesh-embedded Gaussians
College of Computer Engineering, Jimei University（集美大学计算机工程学院）；National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康与医学数据科学国家研究院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；School of Informatics, Xiamen University（厦门大学信息学院）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
本研究提出RMAvatar，一种将高斯溅射嵌入网格的人形化身表示方法，通过网格控制高斯运动并设计姿态相关校正模块学习精细非刚性形变，从单目视频重建的带服饰化身在渲染质量与定量评估上达SOTA。
2025-01-13 cs.CV
ELITE: Efficient Gaussian Head Avatar from a Monocular Video via Learned Initialization and TEst-time Generative Adaptation
Dept. of Electrical Engineering, POSTECH（POSTECH电子工程系）；School of Computing, KAIST（韩国科学技术院计算机学院）；UNIST（全南大学）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
ELITE通过学习初始化和测试时生成适应，高效生成高斯头人偶，实现高保真和强野外泛化，合成速度比2D方法快60倍。
2026-01-15 cs.CV
DevilSight: Augmenting Monocular Human Avatar Reconstruction through a Virtual Perspective
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Honor Device Co., Ltd（荣誉设备有限公司）
针对单目视频人体化身重建存在的细节捕捉与新视角生成难题，提出DevilSight框架，借助Human4DiT生成虚拟视角运动作为监督，并辅以两种增强策略，性能超越现有前沿方法。
2025-08-30 cs.CV
GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos
Baidu Inc.（百度公司）
本文提出GVA方法，通过姿态细化与表面引导重初始化，从单目视频重建高保真3D高斯化身，实现照片级真实感新视角合成及精细姿态控制。
2024-03-19 cs.CV
FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision
Technical University of Munich（慕尼黑工业大学）
FlexAvatar通过结合单目和多视角数据，解决单目数据不足和多视角数据获取困难的问题，实现高质量的3D头像生成。
2026-04-08 cs.CV
MoGA: 3D Generative Avatar Prior for Monocular Gaussian Avatar Reconstruction
ETH Zürich（苏黎世联邦理工学院）；University of Tübingen, Tübingen AI Center（图宾根大学图宾根人工智能中心）；Max Planck Institute for Intelligent Systems, Tübingen（智能系统马克斯·普朗克研究所）
提出MoGA方法，通过将生成式虚拟人模型作为先验并结合2D扩散模型合成视图进行模型反演，从单视图图像重建高保真、3D一致且可动画的3D Gaussian虚拟人。
2025-08-09 cs.CV
Bridging the Gap: Studio-like Avatar Creation from a Monocular Phone Capture
Captions Research（Caption研究机构）；Meta Reality Labs（元宇宙现实实验室）；Stony Brook University（石溪大学）
提出一种从单目手机捕捉生成影棚级纹理图的方法，利用 StyleGAN2 的 $W^+$ 空间参数化与微调，并结合图像梯度引导的扩散模型增强细节，生成照片级真实感且均匀照明的完整 3D 虚拟化身。
2024-07-30 cs.CV
MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
Ubisoft LaForge（育碧拉福格）；York University（约克大学）；Ecole de Technologie Supérieure（高等技术学院）
MoSAR提出半监督训练与可微着色，从单目图像重建可重照明的3D化身，并发布首个大规模内在面部属性数据集FFHQ-UV-Intrinsics。
2023-12-22 cs.CV cs.GR cs.LG
Relightable and Dynamic Gaussian Avatar Reconstruction from Monocular Video
Yonsei University（延世大学）；Monash University（莫纳什大学）；National Taiwan University（国立台湾大学）
本文提出了一种基于3DGS的人偶建模框架RnD-Avatar，通过动态皮肤权重和新的正则化方法实现高保真几何细节，支持在任意光照条件下进行逼真渲染和重照明。
2025-12-11 cs.CV cs.MM
GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
本文提出3D Gaussian Parametric Head Model，用3D Gaussians表示头部并控制身份与表情，结合稳定训练框架实现实时照片级渲染及少样本单目高质量化身重建。
2024-10-23 cs.CV
GGAvatar: Reconstructing Garment-Separated 3D Gaussian Splatting Avatars from Monocular Video
Jinan University-University of Birmingham Joint Institute（暨南大学-伯明翰大学联合学院）
本文提出GGAvatar，基于单目视频和参数化模板及分阶段训练，实现穿衣人体服装与身体解耦的高质量、可编辑3D高斯泼染化身重建，在质量与效率上优于高成本模型并支持服装编辑。
2024-11-15 cs.AI cs.CV cs.MM
FAGhead: Fully Animate Gaussian Head from Monocular Videos
Zhejiang University（浙江大学）；vivo AI Lab（vivo AI实验室）
FAGhead提出从单目视频重建可完全控制表情与姿态的3D头部化身，通过优化中性3D高斯、可学习表示场PLRF及alpha渲染监督，在开源和自采数据集上超越现有方法。
2024-06-28 cs.CV
WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学智能系统工程学院）
WildGHand通过动态扰动解耦模块和扰动感知优化策略，实现从真实视频中抗扰动的高斯手姿态体生成，取得多项指标上的显著提升。
2026-02-24 cs.CV
Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
我们提出了神经动态重建（NDR），一个无模板的方法来恢复高保真的几何形状和运动的动态场景从单目RGB-D相机。在NDR中，我们采用神经隐式函数进行表面表示和渲染，以便可以充分利用捕获的颜色和深度来联合优化表面和变形。为了表示和约束非刚性变形，我们提出了一种新的神经可逆变形网络，使得任意两帧之间的周期一致性自动满足。考虑到动态场景的表面拓扑可能会随着时间的推移而发生变化，我们采用了一种拓扑感知的策略来构建融合帧的拓扑变化对应关系。NDR还以全局优化的方式进一步细化相机姿态。在公开数据集和我们收集的数据集上的实验表明，NDR优于现有的单目动态重建方法。
2022-10-14 cs.CV cs.GR
PINA: Learning a Personalized Implicit Neural Avatar from a Single RGB-D Video Sequence
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
我们提出了一种新的方法来学习个性化隐式神经化身（PINA）从一个短的RGB-D序列。这允许非专业用户创建自己的详细和个性化的虚拟副本，可以使用逼真的服装变形进行动画制作。PINA不需要完整的扫描，也不需要事先从穿着衣服的人的大数据集中学习。在这种设置中学习完整的化身是具有挑战性的，因为只有很少的深度观察是可用的，这是嘈杂的和不完整的（即，每帧只有身体的部分可见性）。我们提出了一种方法来学习的形状和非刚性变形，通过一个姿势条件隐式曲面和变形场，定义在规范空间。这允许我们将所有部分观测融合到一个一致的正则表示中。融合是一个全局优化问题的姿态，形状和蒙皮参数。该方法可以从真实的噪声RGB-D序列中学习神经化身，用于各种各样的人和服装风格，并且这些化身可以在给定看不见的运动序列的情况下动画化。
2022-04-08 cs.CV
360° Volumetric Portrait Avatar
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft（微软）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出3VP Avatar，通过模板化躯干、头部与表情跟踪及神经辐射场和变形场混合基，仅用单目旋转视频实现首个完整360°照片级真实感人像重建。
2023-12-08 cs.CV
Expressive Gaussian Human Avatars from Monocular RGB Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Cambridge（剑桥大学）
本文提出EVA，一种基于3D高斯和SMPL-X的可驱动人体化身方法，通过即插即用对齐模块、上下文感知自适应密度控制和逐像素置信度反馈机制，从单目RGB视频中恢复精细的手部和面部表情，在多个基准上取得优越效果。
2024-07-03 cs.CV
WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction
Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Computer Graphics Group, The University of Hong Kong（香港大学计算机图形组）；School of Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学工程学院）；Guangdong Provincial/Zhuhai Key Laboratory of IRADS, Beijing Normal-Hong Kong Baptist University（广东/珠海IRADS重点实验室，北京师范大学-香港 Baptist大学）；Department of Computer Science & Engineering, Texas A&M University（德克萨斯A&M大学计算机科学与工程系）
WonderHuman通过双空间优化和分数蒸馏采样技术，从单目视频实现高保真动态人体重建，尤其擅长生成未见人体部分。
2025-10-05 cs.CV cs.GR
Tamaththul3D: High-Fidelity 3D Saudi Sign Language Avatars from Monocular Video
University of Jeddah（朱德大学）；King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学科学与技术）
本文提出Tamaththul3D方法，通过几何逆运动学对前臂链进行对齐，结合2D监督肩部优化，实现了阿拉伯语手语的高保真3D虚拟形象重建，并在五个不同语言类型的手语数据集上实现了泛化能力。
2026-06-04 cs.AI cs.CV
Reconstructing Signing Avatars From Video Using Linguistic Priors
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出SGNify，利用适用于手语的语言先验约束3D手部姿态，从野外单目视频自动重建富有表现力的手语虚拟化身，并在可懂度与自然度上超越现有方法。
2023-04-20 cs.CV cs.GR
VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）
我们提出了第一个实时的方法来捕捉完整的全球三维骨骼姿态的人在一个稳定的，时间上一致的方式使用一个单一的RGB相机。我们的方法结合了一个新的卷积神经网络（CNN）为基础的姿态回归与运动骨架拟合。我们新颖的全卷积姿态公式实时的联合回归2D和3D关节位置，并且不需要紧密裁剪的输入帧。一种实时的运动学骨架拟合方法使用CNN输出以在相干运动学骨架的基础上产生时间稳定的3D全局姿态重建。这使得我们的方法是第一个单目RGB方法可用于实时的应用程序，如3D字符控制-到目前为止，只有单目方法为这样的应用程序采用专门的RGB-D相机。我们的方法的准确性在定量上与最好的离线3D单目RGB姿态估计方法相当。我们的结果在质量上与单目RGB-D方法（如Kinect）的结果相当，有时甚至更好。然而，我们表明，我们的方法比RGB-D解决方案更广泛地适用，即它适用于户外场景，社区视频和低质量的商品RGB相机。
2017-05-03 cs.CV cs.GR
MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（Facebook现实实验室研究部门）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种方法来捕捉时间相干的动态服装变形从单目RGB视频输入。与现有文献相比，我们的方法不需要预先扫描的个性化网格模板，因此可以应用于野外视频。为了将输出约束到一个有效的变形空间，我们为三种类型的衣服：T恤，短裤和长裤建立统计变形模型。一个微分渲染器是用来对齐我们捕捉到的形状输入帧，通过最小化的轮廓，分割和纹理的差异。我们开发了一种UV纹理生长方法，该方法依次扩展服装的可见纹理区域，以最大限度地减少变形跟踪中的漂移。我们还通过将衣服表面拟合到由卷积神经网络估计的法线图来从输入视频中提取细粒度的皱纹细节。我们的方法产生时间相干重建的身体和衣服从单目视频。我们从各种具有挑战性的视频中展示了成功的服装捕获结果。大量的定量实验表明，我们的方法的有效性，包括人体姿态误差和表面重建误差的服装指标。
2020-11-23 cs.CV cs.GR
Capturing Head Avatar with Hand Contacts from a Monocular Video
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统研究所）
针对单目视频中手脸接触导致的面部非刚性形变，本文提出联合姿态追踪、PCA形变基与物理接触监督的头部头像重建框架，并在真实RGB(D)和合成数据上验证了更优外观与几何精度。
2025-10-20 cs.CV
Mon3tr: Monocular 3D Telepresence with Pre-built Gaussian Avatars as Amortization
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科技大学）
Mon3tr通过单目3DGS技术实现远程存在，利用预构建的高斯人偶降低系统复杂性，实现实时高精度3D可视化与低带宽传输。
2026-01-12 cs.AI cs.CV
DLCA-Recon: Dynamic Loose Clothing Avatar Reconstruction from Monocular Videos
Wuhan University（武汉大学）
提出DLCA-Recon方法，通过规范空间初始化穿衣人体和动态变形场，从单目视频重建动态宽松衣物人体，优于现有方法。
2023-12-20 cs.CV
PEGASUS: Personalized Generative 3D Avatars with Composable Attributes
Seoul National University（首尔大学）
PEGASUS从单目视频构建个性化生成式3D人脸头像，通过合成数据库和个性化生成模型实现解耦的面部属性编辑，在保持身份的同时达到高真实感，并提出零样本方法提升效率。
2024-04-02 cs.CV
3D Gaussian Blendshapes for Head Avatar Animation
Zhejiang University（浙江大学）
本文提出3D高斯混合形状表示，从单目视频学习中性头部模型与表情混合形状，通过线性混合高斯实现任意表情建模，并利用高斯泼溅实时合成高保真头部头像动画，在细节捕捉和渲染性能上优于现有方法。
2024-05-02 cs.CV cs.GR
RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars
Zhejiang University（浙江大学）
本文提出 RGBAvatar，用 MLP 将 3DMM 参数映射为约简高斯 blendshape 权重，并结合颜色初始化、批并行光栅化与局部—全局采样，实现高质量实时头部化身在线重建。
2025-03-17 cs.CV
DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras
Princeton University（普林斯顿大学）
我们介绍了DROID-SLAM，一个新的基于深度学习的SLAM系统。DROID-SLAM由通过Dense Bundle Adjustment层的相机姿态和像素深度的周期性迭代更新组成。DROID-SLAM是准确的，比以前的工作实现了很大的改进，并且坚固耐用，遭受的灾难性故障大大减少。尽管在单目视频上进行训练，但它可以利用立体声或RGB-D视频来提高测试时的性能。我们的开源代码的URL是https://github.com/princeton-vl/DROID-SLAM。
2022-02-02 cs.CV
STAvatar: Soft Binding and Temporal Density Control for Monocular 3D Head Avatars Reconstruction
MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAIR, HKISI, Chinese Academy of Sciences（中国科学院计算技术研究所）；SCSE, FIE, M.U.S.T（M.U.S.T）
STAvatar通过软绑定与时间密度控制方法，实现了单目视频中高保真3D头部人偶的重建，尤其在细粒度细节和遮挡区域的重建上表现优异。
2026-03-05 cs.CV
SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images
Northwestern Polytechnical University（西北工业大学）；University of Kentucky（肯塔基大学）；University of Alberta（阿尔伯塔大学）；University of Guelph（圭尔夫大学）
在本文中，我们提出了一种新的方法来重建三维人体形状的基础上，使用一个单一的RGBD相机的RGBD帧的稀疏集。我们特别关注人类主体在捕获过程中自由移动的现实设置。主要的挑战是如何在姿态变化和表面遮挡下将这些稀疏帧鲁棒地融合到规范的3D模型中。我们的新框架包括以下步骤。首先，基于生成的人体模板，对每两个有足够重叠的帧进行初始的两两对齐，然后进行全局非刚性配准，在两两对齐的对应关系的指导下，将RGBD帧的部分结果收集到统一的3D形状中;最后，对重建人体模型的纹理图进行优化，以提供清晰且空间一致的纹理。对合成数据集和真实数据集的实证评估表明，我们的框架在重建具有高保真度的完整3D人体模型方面具有定量和定性的优越性能。值得注意的是，我们的框架是灵活的，潜在的应用超越形状重建。作为一个例子，我们展示了它的使用重塑和寄托到一个新的化身。
2020-06-05 cs.CV
Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior
Codec Avatars Lab, Meta（Meta 编解码化身实验室）；ETH Zürich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
提出Vid2Avatar-Pro方法，利用从大规模多视角数据学习的通用先验模型（UPM）结合3D高斯表示，通过逆向渲染微调单目野外视频，生成可动画化且具照片级真实感的3D人体虚拟人，显著超越现有方法。
2025-03-03 cs.CV
Parametric Gaussian Human Model: Generalizable Prior for Efficient and Realistic Human Avatar Modeling
Tsinghua University（清华大学）；ByteDance（字节跳动）
针对3DGS人体化身逐对象优化慢、单目稀疏输入泛化差的问题，提出PGHM框架，利用UV对齐身份特征和解耦多头U-Net，在约20分钟内生成高保真可动画化身。
2025-06-07 cs.CV
LentiAvatar: Pseudo-Multiview Reconstruction and Subpixel Prism Rendering for Real-Time Stereoscopic Communication
Sun Yat-sen University（中山大学）
提出PrismAvatar系统，通过单目视频重建可控头部化身，并利用亚像素编码光栅实现实时裸眼立体通信，采用伪多视图监督和轮廓感知损失提升侧视质量。
2026-06-16 cs.CV cs.GR
Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction
IIIT-Delhi（德里信息技术学院）；NEC Laboratories America, Inc.（NEC美国实验室公司）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
经典的单目同时定位与地图构建（SLAM）和最近出现的用于单目深度预测的卷积神经网络（CNN）代表了构建周围环境的3D地图的两种很大程度上不相交的方法。在本文中，我们证明了这两个耦合，利用各自的优势减轻对方的缺点。具体来说，我们提出了一种基于窄基线和宽基线的联合自改进框架，其中一方面利用CNN预测的深度来执行基于伪RGB-D特征的SLAM，从而比单目RGB SLAM基线具有更好的准确性和鲁棒性。另一方面，来自更有原则的几何SLAM的经调整的3D场景结构和相机姿态通过为改进深度预测网络而提出的新颖宽基线损失被注入回深度网络，这然后继续有助于在下一迭代中进行更好的姿态和3D结构估计。我们强调，我们的框架在训练和推理阶段都只需要未标记的单眼视频，并且能够优于最先进的自监督单眼和立体深度预测网络（例如Monodepth 2）和基于特征的单眼SLAM系统（即ORB-SLAM）。在KITTI和TUM RGB-D数据集上进行的广泛实验验证了我们自我改进的几何CNN框架的优越性。
2020-08-07 cs.CV
