Expressive Gaussian Human Avatars from Monocular RGB Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Cambridge（剑桥大学）
本文提出EVA，一种基于3D高斯和SMPL-X的可驱动人体化身方法，通过即插即用对齐模块、上下文感知自适应密度控制和逐像素置信度反馈机制，从单目RGB视频中恢复精细的手部和面部表情，在多个基准上取得优越效果。
2024-07-03 cs.CV
GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
本文提出3D Gaussian Parametric Head Model，用3D Gaussians表示头部并控制身份与表情，结合稳定训练框架实现实时照片级渲染及少样本单目高质量化身重建。
2024-10-23 cs.CV
Neural Parametric Gaussians for Monocular Non-Rigid Object Reconstruction
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出神经参数高斯（NPGs）方法，通过低秩神经形变模型与局部3D高斯表示相结合的两阶段策略，解决了单目视频中非刚性物体的高质量新视角合成问题。
2024-03-31 cs.CV
MonoNPHM: Dynamic Head Reconstruction from Monocular Videos
Technical University of Munich（慕尼黑工业大学）；Synthesia；University College London（伦敦大学学院）
提出 MonoNPHM 模型，通过构建潜在外观空间和超维度变形场，利用基于符号距离场的体积渲染从单目 RGB 视频实现动态 3D 头部重建，显著优于基线方法。
2024-05-29 cs.CV
CADEngBench: It Looks Like CAD, but Does It Work? Evaluating Parametric Design, Assembly Reasoning, and Physics Simulation
本文提出CADEngBench双轨基准，从参数化设计、装配推理等维度评估8种多模态代码模型，发现编辑现有CAD更易，复杂编辑与匹配FEA仍难，装配预测存在缺陷，强调CAD评估需关注工程行为而非外观。
2026-08-11 cs.AI cs.CV cs.LG
S3O: A Dual-Phase Approach for Reconstructing Dynamic Shape and Skeleton of Articulated Objects from Single Monocular Video
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出两阶段 S3O 方法，在无预定义模型、相机位姿或关键点标注的条件下，从单目视频联合重建关节式物体的形状、骨架与运动，并通过 PlanetZoo 等数据集验证其精度与约 60% 的训练提速。
2024-05-21 cs.CV
Learning Neural Parametric 3D Breast Shape Models for Metrical Surface Reconstruction From Monocular RGB Videos
Regensburg Medical Image Computing (ReMIC), OTH Regensburg（雷根斯堡应用技术大学雷根斯堡医学图像计算中心）；Department for Plastic, Hand and Reconstructive Surgery, University Hospital Regensburg（雷根斯堡大学医院整形、手与重建外科）
本文提出了一种神经参数化3D乳腺形状模型，结合低成本的3D表面重建流程，从单目RGB视频中准确重建乳腺几何结构，无需专用硬件或软件，且具有高精度和开放性。
2026-03-27 cs.CV
VGG-Tex: A Vivid Geometry-Guided Facial Texture Estimation Model for High Fidelity Monocular 3D Face Reconstruction
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院）
针对现有单目3D人脸重建方法忽视纹理预测的问题，提出融合多模块的VGG-Tex模型，借助3D参数先验与几何纹理互补机制提升纹理及整体重建保真度，效果优于现有最优方法。
2024-09-17 cs.CV
FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction
Tianjin University（天津大学）；Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
提出傅里叶占据场（FOF），一种用2D场紧凑表示3D对象的表示方法，实现单目实时高保真人重建，首个30+FPS框架，在公共和真实数据上验证。
2023-09-04 cs.CV
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video
University of Surrey（萨里大学）
我们提出了一种新的方法来学习时间上一致的3D重建的衣服的人从单目视频。用于使用体积、隐式或参数化人体形状模型从单目视频进行3D人体重建的最近方法在应用于视频时产生每帧重建，从而给出时间上不一致的输出和有限的性能。在本文中，我们介绍了一种方法来学习时间一致的功能，从单目视频的纹理重建的衣服三维人体序列提出了两个进步：一个新的时间一致性损失函数;和混合表示学习隐式三维重建从二维图像和粗糙的三维几何。所提出的进步提高了时间的一致性和准确性的3D重建和纹理预测从单目视频。对人体图像的综合比较性能评估表明，该方法在重建精度、完整性、质量和时间一致性等方面都明显优于基于学习的单图像三维人体形状估计方法。
2021-04-19 cs.CV
Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
从单目图像中重建出高质量的人体姿态和形状依赖于消除由遮挡和形状变化引起的模糊性。最近的工作在基于回归的方法中取得了成功，这些方法直接通过由3D地面实况监督的深度神经网络来估计参数模型。然而，3D地面实况既不丰富也不能有效地获得。在本文中，我们引入身体部位分割作为关键监督。部分分割不仅指示每个身体部分的形状，而且还有助于推断部分之间的遮挡。为了提高重建与部分分割，我们提出了一个部分级可微渲染器，使部分为基础的模型进行监督的部分分割在神经网络或优化循环。我们还介绍了一个通用的参数化模型参与渲染管道作为骨架和详细形状之间的中间表示，其中包括原始几何形状更好的可解释性。该方法结合了参数回归、人体模型优化和详细的模型配准。在Human3.6M、UP-3D和LSP数据集上的实验结果表明，该方法实现了姿态和形状的平衡评估，性能优于现有方法。
2021-01-29 cs.CV
SHARP: Shape-Aware Reconstruction of People in Loose Clothing
IIIT Hyderabad（海得拉巴国际信息技术学院）
深度学习的最新进展使得能够从单目图像进行3D人体重建，这在多个领域中具有广泛的应用。在本文中，我们提出了SHARP（SHAPE Aware Reconstruction of People in loose clothing），这是一种新型的端到端可训练网络，可以从单目图像中准确地恢复穿着宽松衣服的人的3D几何形状和外观。SHARP使用稀疏和有效的融合策略将参数化身体先验与穿着衣服的人的非参数化2D表示相结合。参数化身体先验在身体形状和姿势上强制几何一致性，而非参数化表示建模宽松的衣服并处理自遮挡。我们还利用非参数表示的稀疏性来更快地训练我们的网络，同时使用2D地图上的损失。另一个关键贡献是3DHums，这是我们新的3D人体扫描数据集，具有丰富的几何和纹理细节。我们在3DHumans和其他公开可用的数据集上评估了SHARP，并显示出比现有最先进方法更优越的定性和定量性能。
2022-05-24 cs.CV
Parametric Gaussian Human Model: Generalizable Prior for Efficient and Realistic Human Avatar Modeling
Tsinghua University（清华大学）；ByteDance（字节跳动）
针对3DGS人体化身逐对象优化慢、单目稀疏输入泛化差的问题，提出PGHM框架，利用UV对齐身份特征和解耦多头U-Net，在约20分钟内生成高保真可动画化身。
2025-06-07 cs.CV
Self-supervised Multi-level Face Model Learning for Monocular Reconstruction at over 250 Hz
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Stanford University（斯坦福大学）；Technicolor（特艺集团）
从单个图像重建人脸几何形状和外观的密集3D模型是非常具有挑战性和不适定的。为了限制问题，许多方法依赖于强先验，例如从有限的3D扫描数据中学习的参数化面部模型。然而，先验模型限制了面部几何形状、皮肤反射率和光照的真实多样性的推广。为了缓解这个问题，我们提出了第一种方法，该方法联合学习1）基于2）并发学习的参数化人脸模型的人脸形状，表情，反射率和照明的回归量。我们的多级人脸模型结合了3D Morphable Models的正则化优势和学习的校正空间的空间外泛化。我们通过融合卷积编码器与可区分的专家设计的渲染器和自监督训练损失，在没有密集注释的情况下对野外图像进行端到端的训练，两者都在多个细节级别上定义。我们的方法在重建质量方面与最先进的方法相比毫不逊色，更好地推广到现实世界的人脸，并且运行频率超过250 Hz。
2018-03-29 cs.CV
DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
Technical University of Munich（慕尼黑工业大学）；Sony Semiconductor Solutions Europe（索尼半导体解决方案欧洲公司）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出 DPHMs，利用潜在扩散先验约束身份与表情编码，提升从含噪单目深度序列进行体积头部重建和表情追踪的鲁棒性。
2024-04-08 cs.CV
Reconstruction of People in Loose Clothing
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
单目图像三维人体重建是计算机视觉中一个有趣的病态问题，在多个领域有着广泛的应用。在本文中，我们提出了SHARP，这是一种新型的端到端可训练网络，可以从单目图像中准确地恢复穿着宽松衣服的3D人物的详细几何形状和外观。我们提出了一个稀疏和有效的融合的参数身体之前的非参数剥离深度图表示的衣服模型。参数化的身体先验以两种方式约束我们的模型：首先，网络保留了几何上一致的身体部位，这些部位没有被衣服遮挡，其次，它提供了一个身体形状上下文，可以改善对剥离深度图的预测。这使得SHARP能够在给定输入图像的情况下恢复细粒度的3D几何细节，而仅在2D图上损失L1。我们在公开的Cloth3D和THuman数据集上评估了SHARP，并报告了最先进方法的优越性能。
2021-11-23 cs.CV
3D Trajectory Reconstruction of Moving Points Based on a Monocular Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；National University of Defense Technology（国防科技大学）
本文针对单目相机在受限观测条件下重建运动点三维轨迹的病态问题，提出基于时间多项式和岭估计的算法，并引入自动定阶与可重建性定义，实验验证了其可行性、准确性和效率。
2025-02-27 cs.CV
MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction
Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；LCSB, University of Luxembourg（卢森堡大学生物医学系统生物学中心）；Technicolor（特艺集团）
在这项工作中，我们提出了一种新的基于模型的深度卷积自动编码器，它解决了从单个原始彩色图像重建3D人脸的高度挑战性问题。为此，我们将卷积编码器网络与作为解码器的专家设计的生成模型相结合。核心创新是我们新的可微分参数解码器，它基于生成模型解析地封装了图像形成。我们的解码器作为输入的代码向量与精确定义的语义含义，编码详细的人脸姿态，形状，表情，皮肤反射和场景照明。由于这种将基于CNN的人脸重建与基于模型的人脸重建相结合的新方法，基于CNN的编码器可以学习从单个单目输入图像中提取语义上有意义的参数。这是第一次，CNN编码器和专家设计的生成模型可以以无监督的方式进行端到端的训练，这使得在非常大的（未标记的）真实世界数据上进行训练变得可行。所获得的重建相比，目前国家的最先进的方法在质量和丰富的代表性。
2017-12-07 cs.CV
EMOCA: Emotion Driven Monocular Face Capture and Animation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
随着3D面部化身越来越广泛地用于交流，它们忠实地传达情感至关重要。不幸的是，从单目图像回归参数化3D人脸模型的最新方法无法捕捉面部表情的全谱，例如微妙或极端的情绪。我们发现用于训练的标准重建指标（地标重投影误差，光度误差和人脸识别损失）不足以捕捉高保真表情。结果是面部几何形状与输入图像的情感内容不匹配。我们使用EMOCA（情绪捕捉和动画）解决这个问题，通过在训练过程中引入一种新的深度感知情感一致性损失，这有助于确保重建的3D表情与输入图像中描绘的表情相匹配。虽然EMOCA实现了与当前最佳方法相当的3D重建误差，但在重建表达的质量和感知的情感内容方面，它显着优于它们。我们还直接回归效价和唤醒水平，并从估计的3D人脸参数中对基本表情进行分类。在野外情感识别的任务中，我们的纯几何方法与最好的基于图像的方法不相上下，突出了3D几何在分析人类行为方面的价值。该模型和代码可在https://emoca.is.tue.mpg.de上公开获得。
2022-04-24 cs.CV
Scene and Human in One World: Reconstruction in a Feedforward Pass
University of Pennsylvania（宾夕法尼亚大学）
提出SHOW框架，通过统一度量空间中的前馈3D场景重建与人体网格恢复，利用人体语义和尺度先验实现尺度感知的场景重建，并利用场景几何约束优化人体定位，解决动态单目视频中的人-场景对齐和遮挡问题。
2026-06-29 cs.CV
CrossHuman: Learning Cross-Guidance from Multi-Frame Images for Human Reconstruction
OPPO Research Institute（OPPO研究院）；Beihang University（北京航空航天大学）
我们提出了CrossHuman，一种新的方法，从参数化人体模型和多帧RGB图像中学习交叉指导，以实现高质量的三维人体重建。为了在不可见区域恢复几何细节和纹理，我们设计了一个结合跟踪方法和无跟踪方法的重建流水线。给定一个单目RGB序列，我们跟踪整个序列中的参数化人体模型，对应于目标帧的点（体素）通过参数化身体运动被扭曲到参考帧。以参数体的几何先验知识和RGB序列中的空间对齐特征为指导，融合出鲁棒隐式曲面。此外，多帧Transformer（MFT）和自监督经线细化模块集成到框架中，以放松对参数化身体的要求，并帮助处理非常松散的布料。与以前的作品相比，我们的CrossHuman能够在可见和不可见区域实现高保真的几何细节和纹理，即使在估计不准确的参数化人体模型下，也能提高人体重建的准确性。实验表明，我们的方法达到国家的最先进的（SOTA）的性能。
2022-07-20 cs.CV
Disambiguating Monocular Reconstruction of 3D Clothed Human with Spatial-Temporal Transformer
本文提出时空Transformer（STT）网络，通过空间Transformer提取全局信息改善背部法向图预测，并利用时间Transformer融合相邻帧特征，有效解决单目3D着装人体重建中的视角不可见和局部歧义问题，在多个数据集上优于现有方法。
2024-10-21 cs.CV
HARP: Personalized Hand Reconstruction from a Monocular RGB Video
ETH Zürich（苏黎世联邦理工学院）
HARP提出一种基于网格参数化模型与可微渲染的个性化手部化身方法，从单目RGB视频重建高保真外观与几何，支持实时AR/VR渲染并提升3D手部姿态估计。
2023-07-03 cs.CV
Monocular Mesh Recovery and Body Measurement of Female Saanen Goats
本文提出了一种基于单目RGBD输入的高精度3D重建方法，专为雌性萨文奶山羊设计，实现了对六个关键体型尺寸的自动化测量。
2026-02-23 cs.CV
SPARK: Self-supervised Personalized Real-time Monocular Face Capture
Technicolor Group（泰克尼科尔集团）；University Rennes（雷恩大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究院）
针对现有单目人脸捕捉方法精度不足的问题，提出SPARK两阶段个性化方案，利用人物视频先验重建精细化身并结合迁移学习实现高精度实时3D人脸捕捉，性能优于现有基线且泛化性良好。
2024-09-12 cs.CV cs.LG
LASR: Learning Articulated Shape Reconstruction from a Monocular Video
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
从视频或图像集合中进行刚性结构的三维重建已经取得了显着的进展。然而，由于其约束不足的性质，从RGB输入重建非刚性结构仍然具有挑战性。虽然基于模板的方法，如参数化形状模型，在建模已知对象类别的“封闭世界”方面取得了巨大的成功，但它们不能很好地处理新颖对象类别或离群形状的“开放世界”。在这项工作中，我们引入了一种无模板的方法来从单个视频中学习3D形状。它采用了一种分析合成策略，向前渲染对象的轮廓，光流，和像素值与视频观察，生成梯度，以调整相机，形状和运动参数进行比较。在不使用特定类别的形状模板的情况下，我们的方法忠实地从人类，动物和未知类别的对象的视频中重建非刚性3D结构。代码将在lasr-google.github.io上提供。
2021-05-06 cs.CV cs.GR
MonoTrack: Shuttle trajectory reconstruction from monocular badminton video
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
轨迹估计是球拍运动分析的基本组成部分，因为轨迹不仅包含关于每个点的输赢的信息，而且还包含如何赢得或失去的信息。在羽毛球等运动中，球员可以从了解完整的3D轨迹中受益，因为羽毛球或球的高度提供了有价值的战术信息。不幸的是，3D重建是一个众所周知的难题，标准的轨迹估计器只能跟踪2D像素坐标。在这项工作中，我们提出了第一个完整的端到端的系统，用于从单目羽毛球视频中提取和分割3D穿梭轨迹。我们的系统集成了羽毛球领域的知识，如球场尺寸，投篮位置，运动的物理规律，以及基于视觉的功能，如球员姿势和穿梭跟踪。我们发现，需要进行重大的工程努力和模型改进，以使整个系统具有鲁棒性，并作为我们工作的副产品，提高法院识别，2D轨迹估计和命中识别的最先进的结果。
2022-05-18 cs.CV cs.LG cs.MM
Monocular Reconstruction of Neural Face Reflectance Fields
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；POSTECH（浦项科技大学）；University College London（伦敦大学学院）；IST Austria（奥地利科学技术研究所）；Harvard University（哈佛大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
面部的反射场描述了负责复杂照明效果的反射特性，包括漫反射、镜面反射、相互反射和自阴影。大多数现有的方法估计从单目图像的面部反射率假设面部是漫反射的，很少有方法添加镜面反射分量。这仍然遗漏了反射率的重要感知方面，因为高阶全局光照效果和自阴影未被建模。我们提出了一种新的神经表示的面部反射率，我们可以估计所有组件的反射率负责从一个单一的单目图像的最终外观。我们的神经表示不是使用参数模型分别对反射率的每个分量进行建模，而是允许我们在几何变形不变空间中生成一组基本的面部，由输入光方向，视点和面部几何参数化。我们学习仅从单目图像重建面部的反射场，该图像可用于在任何光线条件下从任何视点渲染面部。我们的方法是在灯光舞台训练数据集上训练的，该数据集从8个视点捕获了300个在150种光线条件下照明的人。我们表明，我们的方法优于现有的单目反射重建方法，由于更好地捕捉物理premitives，如次表面散射，镜面反射，自阴影和其他高阶效应的照相现实主义。
2020-08-24 cs.CV cs.GR cs.LG
AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research Univ.（巴黎文理研究大学）；Deepmind（深度思维）
最近的工作取得了令人印象深刻的进展，从单目彩色图像的手和操纵对象的关节重建。现有方法侧重于参数网格或有符号距离场（SDF）的两种替代表示。一方面，参数化模型可以受益于先验知识，但代价是有限的形状变形和网格分辨率。因此，网格模型可能无法精确地重建细节，如手和物体的接触表面。另一方面，基于SDF的方法可以表示任意的细节，但缺乏明确的先验知识。在这项工作中，我们的目标是改善SDF模型使用参数表示提供的先验。特别是，我们提出了一个联合学习框架，解开姿势和形状。我们从参数化模型中获得手和物体的姿势，并使用它们在3D空间中对齐SDF。我们表明，这种对齐的SDF更好地专注于重建形状的细节，提高重建精度的手和对象。我们评估了我们的方法，并证明了具有挑战性的ObMan和DexYCB基准的最先进的显着改进。
2022-07-26 cs.CV
Parametric-ControlNet: Multimodal Control in Foundation Models for Precise Engineering Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）
针对工程设计合成，提出Parametric-ControlNet模型，通过参数、图像、文本三种控制模态及多模态融合技术，对Stable Diffusion等基础模型实现多模态控制，提升设计精度与多样性，拓宽AI驱动设计工具能力。
2024-12-06 cs.AI cs.CE cs.CV
PHT-CAD: Efficient CAD Parametric Primitive Analysis with Progressive Hierarchical Tuning
Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理关键实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出PHT-CAD框架，结合高效混合参数化与渐进式分层调优，利用视觉语言模型实现二维CAD参数化基元分析，并构建首个大规模基准ParaCAD，显著推进了该领域研究。
2025-05-31 cs.CV
Engineering Sketch Generation for Computer-Aided Design
Autodesk Research（欧特克研究院）
工程草图构成了参数化计算机辅助设计（CAD）的2D基础，这是制造对象的最重要的建模范例。在本文中，我们解决的问题，基于学习的工程草图生成的第一步，合成和组成的参数化CAD模型。我们提出了两个生成模型，CurveGen和TurtleGen，工程草图生成。这两个模型生成曲线图元，而不需要草图约束求解器，并明确考虑拓扑结构，以供下游使用约束和3D CAD建模操作。我们发现，在我们的感知评估使用人类受试者的CurveGen和TurtleGen产生更逼真的工程草图相比，目前国家的最先进的工程草图生成。
2021-04-19 cs.CV cs.GR cs.LG
MASS: Mesh-inellipse Aligned Deformable Surfel Splatting for Hand Reconstruction and Rendering from Egocentric Monocular Video
The Hong Kong Polytechnic University（香港理工大学）
本文提出MASS方法，通过可变形2D高斯Surfel表示解决单目视频中高保真3D手部重建难题，结合网格对齐Steiner椭圆和分形密集化提升分辨率，引入高斯Surfel变形和两阶段训练策略提升重建质量。
2026-04-10 cs.CV cs.RO
Instant Volumetric Head Avatars
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了即时体积头像（INSTA），一种新的方法，用于重建照片般逼真的数字化身瞬间。INSTA基于嵌入在参数化人脸模型周围的神经图形基元对动态神经辐射场进行建模。我们的管道是在一个单目RGB人像视频上训练的，该视频在不同的表情和视图下观察主体。虽然最先进的方法需要长达几天的训练化身，我们的方法可以在现代GPU硬件上在不到10分钟的时间内重建数字化身，这比以前的解决方案快了几个数量级。此外，它还允许交互式渲染新颖的姿势和表情。通过利用几何形状之前的基本参数人脸模型，我们证明了INSTA外推到看不见的姿势。在各种主题的定量和定性研究中，INSTA在渲染质量和训练时间方面优于最先进的方法。
2023-03-23 cs.CV
PeeledHuman: Robust Shape Representation for Textured 3D Human Body Reconstruction
IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）
我们介绍PeeledHuman -一种新的形状表示的人体是强大的自我闭塞。PeeledHuman将人体编码为一组2D的Peeled Depth和RGB贴图，通过对3D身体模型执行光线跟踪并将每条光线延伸到其第一个交点之外来获得。与其他表示相比，这种表述使我们能够有效地处理自遮挡。给定一个单目RGB图像，我们使用我们的新框架- PeelGAN以端到端的生成对抗方式学习这些Peeled映射。我们使用3D倒角损失和其他2D损失来训练PeelGAN，以在双分支设置中生成每个像素的多个深度值和每个顶点的对应RGB场。在我们简单的非参数化解决方案中，生成的Peeled Depth贴图被反向投影到3D空间，以获得完整的纹理3D形状。对应的RGB贴图提供顶点级纹理细节。我们比较了我们的方法与当前的参数和非参数方法在三维重建，发现我们实现了国家的最先进的结果。我们证明了我们的代表公开可用的BUFF和MonoPerfCap数据集，以及宽松的服装数据收集我们校准的多Kinect设置的有效性。
2020-11-02 cs.CV
DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension
Facebook AI Research（Facebook AI研究院）
我们解决了人类和动物等铰接物体的单眼3D重建问题。我们贡献了DensePose 3D，这是一种可以仅从2D图像注释以弱监督方式学习这种重建的方法。这与先前的可变形重建方法形成鲜明对比，这些方法使用参数模型，例如在3D对象扫描的大型数据集上预训练的SMPL。因为它不需要3D扫描，所以DensePose 3D可用于学习广泛的关节类别，例如不同的动物物种。该方法以端到端的方式学习将给定类别特定的3D模板网格软划分为刚性部件以及预测部件运动的单目重建网络，使得它们正确地重新投影到对象的2D DensePose-like表面注释上。将对象分解为部件是正则化的，通过将部件分配表示为Laplace-Beltrami算子的光滑本征函数的组合。与最先进的非刚性结构运动基线相比，我们在人类和动物类别的合成和真实数据上都有显着改进。
2021-08-31 cs.CV
Decaf: Monocular Deformation Capture for Face and Hand Interactions
MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出Decaf，首个从单目RGB视频中联合跟踪手部与面部交互并捕捉非刚性形变的方法，利用新数据集和变分自编码器实现更真实的3D重建。
2023-10-13 cs.CV cs.GR cs.HC
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors
Imperial College London（帝国理工学院伦敦校区）
本文提出基于MASt3R先验的实时单目稠密SLAM系统，引入高效点图匹配、跟踪融合与全局优化方法，在15 FPS下生成全局一致位姿与稠密几何，并在多个基准上达到SOTA性能。
2025-06-02 cs.CV cs.RO
Learning 3D Face Reconstruction with a Pose Guidance Network
The Chinese University of Hong Kong（香港中文大学）；Huya AI（虎牙AI）
我们提出了一个自监督学习的方法来学习单目三维人脸重建与姿态指导网络（PGN）。首先，我们揭示了现有参数化3D人脸学习方法中姿态估计的瓶颈，并提出利用3D人脸地标来估计姿态参数。通过我们专门设计的PGN，我们的模型可以从具有完全标记的3D地标和无限未标记的野生人脸图像的两个人脸中学习。我们的网络进一步增强了自监督学习方案，该方案利用嵌入在同一个人的多个帧中的面部几何信息，以减轻从单个图像回归3D面部几何的不适定性。这三种见解产生了一种单一的方法，该方法结合了参数模型学习和数据驱动学习技术的互补优势。我们对具有挑战性的AFLW 2000 -3D，Florence和FaceWarehouse数据集进行了严格的评估，并表明我们的方法在所有指标上都优于最先进的方法。
2020-10-09 cs.AI cs.CV
