Learning Disentangled Avatars with Hybrid 3D Representations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
提出DELTA框架,采用混合显式-隐式3D表示(网格参数化模型与神经辐射场)从单目视频解耦建模人体、服装与面部头发,实现无3D监督的解耦重建及虚拟试衣与发型迁移。
2023-09-12 cs.AI cs.CV cs.GR
PhysHead: Simulation-Ready Gaussian Head Avatars
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);University of Tübingen(图宾根大学);Technical University of Darmstadt(达姆施塔特工业大学);Tübingen AI Center(图宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出PhysHead,一种结合3D参数网格和发丝的混合表示方法,用于生成具有真实发丝动态的可动画头部化身,通过多视角视频学习实现逼真发丝运动。
2026-04-07 cs.CV
Text-Guided Generation and Editing of Compositional 3D Avatars
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Tsinghua University(清华大学);RWTH Aachen University(亚琛工业大学)
提出组合式3D虚拟形象生成与编辑方法TECA,结合3D网格与NeRF分别表示面部与毛发配饰,实现高真实感且支持发型等特征迁移编辑。
2023-09-13 cs.CV
A Local Appearance Model for Volumetric Capture of Diverse Hairstyle
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究部)
针对现有虚拟化身头发建模泛化性差的问题,提出基于局部基元的通用头发外观先验模型,可处理多样发型拓扑,在捕获生成带完整头发的高保真化身方面性能优于现有最优方法。
2023-12-14 cs.AI cs.CV cs.GR
Relightable Gaussian Codec Avatars
Meta;Codec Avatars Lab(Codec Avatars实验室)
提出基于3D高斯和可学习辐射传输的可重照明头像方法,实现高保真实时重照明,支持表情动画,并优于现有方法。
2024-05-28 cs.CV cs.GR
One-shot Compositional 3D Head Avatars with Deformable Hair
Xi'an Jiaotong University(西安交通大学)
本文提出一种单张图像生成完整3D头部化身的方法,通过分离头发与面部区域,结合图像到3D提升技术,实现更逼真的头发动态和面部细节。
2026-04-16 cs.CV
Im2Haircut: Single-view Strand-based Hair Reconstruction for Human Avatars
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Technical University of Darmstadt(德累斯顿技术大学)
针对单视角头发重建缺乏真值、现有方法依赖有限合成先验的问题,提出结合真实与合成数据训练transformer发型先验、基于高斯溅射的Im2Haircut方法,在发丝细节、轮廓等方面性能更优。
2025-09-01 cs.CV
Neuralocks: Real-Time Dynamic Neural Hair Simulation
Meta Reality Labs(Meta现实实验室)
针对现有神经头发模拟局限于准静态的问题,本文提出完全自监督的Neuralocks方法,在发丝级别实现高效稳定的实时动态模拟,无需人工训练数据且性能优于现有方法,可集成于化身重建的端到端流程。
2025-07-07 cs.CV cs.GR
MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing
Tsinghua University(清华大学);Tencent(腾讯);Technical University of Munich(慕尼黑技术大学);Carnegie Mellon University(卡内基梅隆大学)
MeGA通过混合网格和高斯表示,实现高保真头像渲染与编辑,提升面部和头发的细节与真实感。
2026-02-19 cs.CV
PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting
Pengcheng Laboratory(鹏城实验室);Peking University(北京大学);University of Nottingham(诺丁汉大学);Shenzhen University(深圳大学)
针对现有实时高保真头部化身动画方法速度与质量难以兼顾的问题,提出PSAvatar框架,结合基于点的可变形形状模型与3D高斯,实现复杂结构建模与实时高保真化身动画。
2024-06-24 cs.CV cs.GR
OMEGA-Avatar: One-shot Modeling of 360° Gaussian Avatars
Chongqing University(重庆大学);University of Chinese Academy of Sciences(中国科学院大学)
OMEGA-Avatar通过两个创新模块实现了从单张图像生成360°完整且可动画的3D高斯头,提升了全头avator的建模精度和动画能力。
2026-10-19 cs.AI cs.CV cs.GR
SRM-Hair: Single Image Head Mesh Reconstruction via 3D Morphable Hair
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所 多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学 人工智能学院);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院 人工智能与机器人中心)
本文提出SRM-Hair方法,通过语义一致射线建模使三维头发可变形,并结合超250个真实头发扫描数据构建先验,实现从单张图像重建独立头发网格,达到最先进性能。
2025-03-08 cs.CV
DGH: Dynamic Gaussian Hair
University of Southern California(南加州大学);Meta Reality Labs(Meta现实实验室)
DGH通过数据驱动的方法高效学习头发的动力学和外观,实现逼真可动画的头发效果,为高保真虚拟人物建模提供新的解决方案。
2025-12-18 cs.CV
Autoregressive Appearance Prediction for 3D Gaussian Avatars
Graz University of Technology, Austria(格拉茨技术大学);Meta Reality Labs, Pittsburgh, USA(Meta现实实验室(匹兹堡))
本文提出一种基于3D高斯点划法的avatar模型,通过自回归方法预测外观潜变量,提高渲染稳定性和细节重建质量。
2026-04-01 cs.CV cs.GR
Human Hair Reconstruction with Strand-Aligned 3D Gaussians
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Meta;Technical University of Darmstadt(达姆施塔特工业大学)
本文提出一种名为Gaussian Haircut的头发建模方法,结合经典发丝和3D高斯的双重表示,从多视图数据生成可直接用于图形引擎的准确真实发丝重建,在合成与真实场景中达到SOTA性能。
2024-09-23 cs.CV cs.GR
Capture, Canonicalize, Splat: Zero-Shot 3D Gaussian Avatars from Unstructured Phone Images
Meta
提出零样本流水线,从非结构化手机图像生成超逼真3D头像,通过生成式规范化和Transformer模型在真实穹顶捕获数据上训练,解决几何不一致和细节缺失问题。
2025-10-27 cs.CV cs.GR
Gaussian Pixel Codec Avatars: A Hybrid Representation for Efficient Rendering
Meta Codec Avatars Lab(Meta 编码人像实验室);Meta Reality Labs(Meta 现实实验室);Stellon Labs(Stellon 实验室)
GPiCA通过结合三角网格和各向异性3D高斯,实现高效渲染的逼真头像生成
2025-12-17 cs.CV cs.GR
AvatarMix: Identity-Preserving Cross-Avatar Composition for Outfit Personalization
University of Tsukuba(茨口大学)
提出AvatarMix方法,通过直接组合两个高保真高斯化身实现服装迁移,并采用SeamFix和FullbodyFix两级细化策略解决接缝伪影和身体重塑后的外观保真问题。
2026-06-02 cs.CV cs.GR
PointAvatar: Deformable Point-based Head Avatars from Videos
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Stanford University(斯坦福大学)
从随意的视频序列中创建逼真的、可动画化的和可重定向的头部化身的能力将在通信和娱乐中开辟广泛的应用。目前的方法要么建立在显式3D变形网格(3DMM)或利用神经隐式表示。前者受固定拓扑的限制,而后者变形不易,渲染效率低。此外,现有的方法在颜色估计中纠缠照明,因此它们在新环境中重新渲染化身时受到限制。相比之下,我们提出PointAvatar,一个可变形的基于点的表示,将源颜色分解为固有的阴影和法线依赖的阴影。我们证明PointAvatar弥合了现有网格和隐式表示之间的差距,将高质量的几何形状和外观与拓扑灵活性,易于变形和渲染效率相结合。我们表明,我们的方法能够使用来自多个来源的单眼视频(包括手持智能手机,笔记本电脑网络摄像头和互联网视频)生成可动画化的3D化身,在先前方法失败的挑战性情况下实现最先进的质量,例如,细发丝,同时在训练中明显比竞争方法更有效。
2023-02-28 cs.CV cs.GR
HVH: Learning a Hybrid Neural Volumetric Representation for Dynamic Hair Performance Capture
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(现实实验室研究院);Meta AI
由于头发具有精细的几何结构、复杂的物理交互和非平凡的视觉外观,因此捕捉和渲染逼真的头发尤其具有挑战性。然而,头发是可信化身的关键组成部分。在本文中,我们解决了上述问题:1)我们使用了一种新的,体积的头发表示,是由数千个图元。每一个基本元素都可以通过建立在神经渲染的最新进展上来高效而逼真地渲染。2)为了有一个可靠的控制信号,我们提出了一种新的方法来跟踪头发的水平。为了使计算工作易于管理,我们使用引导头发和经典技术将其扩展为浓密的头发。3)为了更好地加强我们的模型的时间一致性和泛化能力,我们进一步优化我们的表示与多视图光流的三维场景流,使用体积光线推进。我们的方法不仅可以创建记录的多视图序列的逼真渲染,但也创建渲染新的头发配置通过提供新的控制信号。我们比较我们的方法与现有的工作视点合成和可驱动的动画,并达到国家的最先进的结果。请访问我们的项目网站https://ziyanw1.github.io/hvh/。
2021-12-19 cs.CV cs.GR
Neural Head Avatars from Monocular RGB Videos
Heidelberg University(海德堡大学);Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了神经头化身,这是一种新型的神经表示,它明确地对可动画化的人类化身的表面几何形状和外观进行建模,可用于AR/VR中的电话会议或依赖于数字人的电影或游戏行业中的其他应用。我们的表示可以从具有一系列不同表情和视图的单目RGB肖像视频中学习。具体来说,我们提出了一个混合表示的变形模型的粗糙形状和表情的脸,和两个前馈网络,预测底层网格的顶点偏移以及视图和表情相关的纹理。我们证明,这种表示是能够准确地外推到看不见的姿势和视点,并生成自然的表情,同时提供尖锐的纹理细节。与以前的头部化身的作品相比,我们的方法提供了一个完整的人类头部(包括头发),与标准的图形管道兼容的解开的形状和外观模型。此外,它在定量和定性方面优于当前最先进的重建质量和新颖的视图合成。
2022-03-28 cs.CV cs.GR
NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and Animation
Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research(Reality Labs研究院);Google(谷歌);Epic Games
本文提出NeuWigs两阶段神经动态模型,通过自动编码器压缩3D头发状态并学习动力学,实现独立于头部的高质量头发捕捉与动画生成,在新视角合成上超越现有方法。
2023-10-12 cs.CV cs.GR
Detailed Human Avatars from Monocular Video
TU Braunschweig(布伦瑞克工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一种新的方法,高细节保护的人的化身创建从单目视频。一个参数化的身体模型被细化和优化,以最大限度地类似于从各个方面展示他们的视频中的主体。我们的头像具有自然的面孔、发型、带有衣服褶皱的衣服和高分辨率纹理。我们的论文贡献了基于面部地标和阴影的人体形状细化、语义纹理先验和新颖的纹理缝合策略,从而从单个视频中获得迄今为止最复杂的人类化身。大量的结果表明,我们的方法的鲁棒性和通用性。一项用户研究表明,其优越性超过国家的最先进的身份保护,详细程度,现实主义,和整体用户的喜好。
2018-08-03 cs.CV
LentiAvatar: Pseudo-Multiview Reconstruction and Subpixel Prism Rendering for Real-Time Stereoscopic Communication
Sun Yat-sen University(中山大学)
提出PrismAvatar系统,通过单目视频重建可控头部化身,并利用亚像素编码光栅实现实时裸眼立体通信,采用伪多视图监督和轮廓感知损失提升侧视质量。
2026-06-16 cs.CV cs.GR
Large-scale Codec Avatars: The Unreasonable Effectiveness of Large-scale Avatar Pretraining
Codec Avatars Lab, Meta(Meta编解码虚拟化身实验室)
本文提出大规模编码者人像模型,通过预训练和后训练相结合的方法,在大规模数据上实现高保真的人像生成,支持多样化的身份和精细表情控制,同时具备泛化能力和鲁棒性。
2026-04-07 cs.CV cs.GR
Wispy to Voluminous: Prior-free Multi-view Capture of Strand-level Facial Hair
KAIST(韩国科学技术院);Meta Codec Avatar Lab(Meta 编码人像实验室);Meta Reality Labs Research(Meta现实实验室)
提出从多视角图像自动重建面部毛发(胡须、眉毛等)的管线,将无结构3D高斯表示转换为显式曲线发丝,解决几何歧义,实现高保真发丝重建。
2026-06-06 cs.CV cs.GR
Learning to regulate 3D head shape by removing occluding hair from in-the-wild images
IIT Dharwad(印度理工学院达瓦德分校);NTU Singapore(新加坡南洋理工大学)
最近的3D人脸重建方法重建整个头部相比,早期的方法,只有模型的脸。虽然这些方法准确地重建面部特征,但它们并没有明确地调节头部的上部。由于不同程度的头发遮挡,提取关于头部这一部分的信息具有挑战性。我们提出了一种新的方法,通过去除遮挡的头发和重建的皮肤,揭示头部形状的信息,为上头部建模。我们提出三个目标:1)骰子一致性损失,其加强源的整体头部形状与再现图像之间的相似性,2)比例一致性损失,以确保即使头部的上部不可见也能准确地再现头部形状,以及3)使用移动平均损失函数训练的71个界标检测器,以检测头部上的附加界标。这些目标用于以无监督的方式训练编码器以从野外输入图像回归FLAME参数。我们的无监督3DMM模型在流行的基准测试中获得了最先进的结果,并可用于推断头部形状,面部特征和纹理,以直接用于动画或化身创作。
2022-08-25 cs.CV cs.GR
HQ3DAvatar: High Quality Controllable 3D Head Avatar
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Flawless AI
多视点体绘制技术在建模和合成高质量的头像方面显示出巨大的潜力。捕捉全头部动态表现的常见方法是使用基于网格的模板或基于3D立方体的图形基元来跟踪底层几何结构。虽然这些基于模型的方法取得了令人满意的结果,但它们通常无法学习复杂的几何细节,例如嘴内部,头发和拓扑随时间的变化。本文提出了一种新的方法来建立高度真实感的数字头像。我们的方法通过一个由神经网络参数化的隐函数来学习一个规范空间。它在学习的特征空间中利用多分辨率哈希编码,允许高质量,更快的训练和高分辨率渲染。在测试时,我们的方法是由单目RGB视频驱动。在这里,图像编码器提取面部特定的特征,这些特征也是可学习的规范空间的条件。这鼓励在训练期间依赖于变形的纹理变化。我们还提出了一种新的基于光流的损失,确保在学习的规范空间的对应性,从而鼓励无伪影和时间一致的渲染。我们展示了具有挑战性的面部表情的结果,并以交互式实时速率显示中等图像分辨率的自由视点渲染。我们的方法优于所有现有的方法,无论是在视觉上还是在数值上。我们将发布多身份数据集,以鼓励进一步的研究。我们的项目页面位于:https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/
2023-03-25 cs.CV cs.GR
RenderMe-360: A Large Digital Asset Library and Benchmarks Towards High-fidelity Head Avatars
Shanghai AI Laboratory(上海人工智能实验室);SenseTime(商汤科技);S-Lab, NTU(南洋理工大学S-Lab实验室);The Chinese University of Hong Kong(香港中文大学)
提出RenderMe-360,一个包含500个身份、2.43亿帧的大规模4D头部数据集,具备高保真、高多样性和丰富标注,并基于此构建涵盖16种方法在5个任务上的综合基准,推动高保真头部虚拟人研究。
2023-05-22 cs.CV
RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
针对现有3D数字人生成方法难以捕捉精细细节的问题,提出RodinHD模型,通过数据调度、权重正则及分层2D纹理引导优化扩散模型,实现更高保真的3D数字人生成且可泛化到野外输入。
2024-07-11 cs.CV
AvatarBack: Back-Head Generation for Complete 3D Avatars from Front-View Images
College of Electrical Engineering and Automation, Shandong University of Science and Technology(山东科技大学电气工程与自动化学院);Department of Data Science and Artificial Intelligence, Auckland University of Technology(奥克兰大学数据科学与人工智能系);College of Computer Science and Engineering, Shandong University of Science and Technology(山东科技大学计算机科学与工程学院)
针对正面图像重建3D高斯头部化身时后脑勺缺失的问题,提出即插即用框架AvatarBack,通过后视伪图像生成与自适应空间对齐提升完整重建质量。
2025-08-28 cs.CV
SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video
Department of Control Science and Engineering, University of Shanghai for Science and Technology(上海理工大学控制科学与工程系);School of Psychology and Neuroscience, University of Glasgow(格拉斯哥大学心理学与神经科学学院)
本研究提出基于3DMM和StyleGAN的方法,利用自拍视频实现实时头部虚拟形象重现,提升细节还原与高保真度。
2026-01-26 cs.CV
HAHA: Highly Articulated Gaussian Human Avatars with Textured Mesh Prior
Università degli Studi di Genova(热那亚大学);Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University College London(伦敦大学学院)
本研究提出HAHA方法,结合高斯泼溅与纹理网格先验,从单目视频生成可驱动的高自由度人体化身,仅在必要区域用高斯,大幅减少高斯数量的同时实现了更优的新姿态重建效果。
2024-10-09 cs.CV
Generalizable One-shot Neural Head Avatar
NVIDIA(英伟达)
该研究提出一种单样本神经头部化身框架,通过三分支生成三平面结合体渲染与超分辨率,实现单图高效重建驱动未见过身份的3D头部化身,效果优于现有SOTA方法。
2023-06-14 cs.CV
PFAvatar: Pose-Fusion 3D Personalized Avatar Reconstruction from Real-World Outfit-of-the-Day Photos
针对真实世界每日穿搭照片的多样姿态、遮挡等问题,提出PFAvatar方法,通过姿态感知扩散模型微调与NeRF化身提取两阶段,实现快速个性化3D化身重建,性能优于现有方法且支持多下游应用。
2025-11-18 cs.AI cs.CV cs.GR
Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar
Tsinghua University, Tencent AI Lab(清华大学);Tencent AI Lab(腾讯AI实验室);Tsinghua University(清华大学)
本文提出了一种基于神经点的体积人像方法,通过高分辨率UV位移图约束神经点,提升建模能力和表达控制精度,有效处理复杂面部区域。
2026-02-19 cs.CV
GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction
Tsinghua University(清华大学);South China University of Technology(华南理工大学)
本文提出3D Gaussian Parametric Head Model,用3D Gaussians表示头部并控制身份与表情,结合稳定训练框架实现实时照片级渲染及少样本单目高质量化身重建。
2024-10-23 cs.CV
Fresco++: Frequency-Guided and Canonical-Consistent Optimization for Fine-Grained Head Avatar Modeling
Monash University(莫纳什大学);College of Computer Science, Chongqing University(重庆大学计算机学院)
Fresco++是一种用于细粒度头部化身重建的统一优化框架,通过频率课程与规范共识解决逐视图监督导致的细节不稳定和跨视图不一致问题,在NeRSemble上验证了其重建质量与一致性的提升及通用性。
2026-11-03 cs.CV
PVA: Pixel-aligned Volumetric Avatars
Georgia Institute of Technology(佐治亚理工学院);Facebook Reality Labs(Facebook现实实验室)
真实感人头的获取和绘制是虚拟临场感领域中一个极具挑战性的研究课题。目前,最高质量是通过在多视图数据上以个人特定方式训练的体积方法来实现的。与更简单的基于网格的模型相比,这些模型更好地表示精细结构,例如头发。体积模型通常采用全局代码来表示面部表情,使得它们可以由一小组动画参数驱动。虽然此类架构实现了令人印象深刻的渲染质量,但它们无法轻易扩展到多身份设置。在本文中,我们设计了一种新的方法来预测体积化身的人的头部只给出了少量的输入。我们通过一种新的参数化方法实现了跨身份的泛化,该参数化方法将神经辐射场与直接从输入中提取的局部像素对齐特征相结合,从而避免了对非常深或复杂网络的需求。我们的方法是在一个端到端的方式训练完全基于光度重新渲染损失,而不需要明确的3D supervisory.We证明,我们的方法优于现有的最先进的质量方面,并能够在多身份设置生成忠实的面部表情。
2021-01-07 cs.CV
Generating Editable Head Avatars with 3D Gaussian GANs
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出EG-Head模型,将3D高斯泼溅与3D形变模型和纹理图结合,并利用辅助3DGS和三平面特征处理头发等复杂几何,实现高质量、可编辑且动画可控的3D头部化身生成。
2024-12-26 cs.CV
PAV: Personalized Head Avatar from Unstructured Video Collection
Flawless AI;Imperial College London(帝国理工学院)
PAV 提出首个在单一统一动态可变形 NeRF 中同时建模同一主体多外观与形状变化的个性化头部头像方法,通过外观嵌入和外观条件密度公式,在任意视角与表情合成上优于基线。
2024-07-22 cs.CV
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Tencent AI Lab(腾讯人工智能实验室)
3D感知生成对抗网络(GANs)仅使用单视图2D图像的集合来合成高保真度和多视图一致的面部图像。为了对面部属性进行细粒度的控制,最近的努力采用了3D可变形面部模型(3DMM)来显式或隐式地描述生成辐射场中的变形。显式方法提供了细粒度的表达式控制,但不能处理由头发和附件引起的拓扑变化,而隐式方法可以建模不同的拓扑,但由于变形场不受约束,泛化能力有限。我们提出了一种新的3D GAN框架,用于从非结构化2D图像中生成高质量和3D一致的面部化身的无监督学习。为了实现变形精度和拓扑灵活性,我们提出了一种三维表示称为生成纹理光栅化三平面。该方法在参数化网格模板的基础上学习生成神经纹理,然后通过光栅化将其投影到三个正交特征平面上,形成一个用于体渲染绘制的三平面特征表示。通过这种方式,我们结合了细粒度的表达控制网格引导显式变形和隐式体积表示的灵活性。我们进一步提出了具体的模块,用于建模嘴内部,这是不考虑3DMM。我们的方法通过大量的实验展示了最先进的3D感知合成质量和动画能力。此外,作为3D先验,我们的动画3D表示提升了多个应用程序,包括一次性面部化身和3D感知风格化。
2023-03-13 cs.CV
MGAvatar: Mesh-Bound Gaussians for Head Avatar Geometry and Appearance Modeling
Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);Xiamen University(厦门大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Jimei University(集美大学)
MGAvatar提出高斯-网格混合表示,通过顶点绑定和面绑定两种模式联合建模头部几何与外观,引入视角条件神经颜色场和高斯偏移网络,提升渲染质量,生成高保真头部虚拟化身。
2026-09-15 cs.CV
Synthetic Prior for Few-Shot Drivable Head Avatar Inversion
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Darmstadt(达姆施塔特工业大学);Google(谷歌公司)
提出 SynShot 方法,利用大规模合成数据学习先验,结合 3D Gaussian splatting 和卷积编解码器,通过少样本微调实现可泛化的逼真可驱动头部头像反演。
2025-03-31 cs.CV
SVG-Head: Hybrid Surface-Volumetric Gaussians for High-Fidelity Head Reconstruction and Real-Time Editing
Tsinghua University(清华大学);Tencent Hunyuan project page(腾讯混元项目)
提出SVG-Head混合表示,通过表面与体积Gaussians结合FLAME网格实现高保真头部重建,并支持实时外观编辑。
2025-08-15 cs.CV
Implicit Neural Head Synthesis via Controllable Local Deformation Fields
Carnegie Mellon University(卡内基梅隆大学);Flawless AI
针对单目视频中3D头部化身的精细局部控制问题,提出基于3DMM参数和关键点的多个局部隐式变形场,并以稀疏性约束实现更锐利的口腔、非对称表情及面部细节合成。
2023-04-21 cs.CV
Topologically Consistent Multi-View Face Inference Using Volumetric Sampling
USC Institute for Creative Technologies(南加州大学创新技术研究所);USC(南加州大学);MPI for Intelligent Systems, Tübingen(蒂宾根马普智能系统研究所)
高保真面部数字化解决方案通常结合用于3D重建的多视图立体视觉(MVS)技术和非刚性配准步骤,以建立身份和表情之间的密集对应。一个常见的问题是在MVS步骤之后需要手动清理,因为3D扫描通常会受到噪声和异常值的影响,并且包含需要由艺术家清理的多毛表面区域。此外,网格配准往往会失败极端的面部表情。大多数基于学习的方法使用底层3D变形模型(3DMM)来确保鲁棒性,但这限制了极端面部表情的输出准确性。此外,回归架构的全局瓶颈无法产生紧密拟合地面实况表面的网格。我们提出ToFu,拓扑一致的脸从多视图,几何推理框架,可以产生拓扑一致的网格在面部身份和表情使用体积表示,而不是一个明确的底层3DMM。我们的新的渐进网格生成网络嵌入的拓扑结构的脸在一个特征量,从几何感知的本地功能采样。由粗到细的架构有助于在一致的网格拓扑中进行密集和准确的面部网格预测。ToFu进一步捕获孔隙级几何细节的位移图,并以反射和镜面反射图的形式促进高质量渲染。这些高质量的资产很容易被制作工作室用于化身创建,动画和基于物理的皮肤渲染。我们展示了最先进的几何和对应精度,同时只需要0.385秒来计算一个网格与10K顶点,这是三个数量级的速度比传统技术。该代码和模型可在https://tianyeli.github.io/tofu上进行研究。
2021-10-06 cs.CV