AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Freiburg(弗赖堡大学)
本文提出AvatarStudio,结合个性化文本到图像扩散模型与VT-SDS,在NeRF表示中实现文本驱动的动态全头外观编辑,并通过形变网络保证3D与时间一致性。
2023-06-02 cs.CV cs.GR
HHAvatar: Gaussian Head Avatar with Dynamic Hairs
Tsinghua University(清华大学);Huawei Technologies Co Ltd(华为技术有限公司);Beijing Normal University(北京师范大学)
HHAvatar提出用可控三维高斯联合MLP形变场建模高保真头部化身,并通过几何引导初始化、混合头部模型与遮挡感知模块解决稀疏视图下动态头发建模难题,在2K分辨率下实现领先的渲染质量。
2024-11-20 cs.CV cs.GR
TexAvatars : Hybrid Texel-3D Representations for Stable Rigging of Photorealistic Gaussian Head Avatars
KAIST(韩国科学技术院);Hanyang University(翰阳大学)
TexAvatars通过混合texel-3D表示,结合分析rigging的几何基础与texel空间的连续性,实现逼真头avatars的稳定驱动和高保真表达。
2025-12-24 cs.AI cs.CV cs.GR
SurFhead: Affine Rig Blending for Geometrically Accurate 2D Gaussian Surfel Head Avatars
KAIST(韩国科学技术院);ETH Zürich(苏黎世联邦理工学院)
针对当前高斯基元头部化身方法因依赖相似变换难以捕捉精细几何细节和渲染未见姿势的问题,提出SurFhead方法,通过2D高斯surfel结合仿射骨骼混合,实现从RGB视频重建可绑定头部几何,提升几何重建精度与未见姿势渲染效果。
2025-04-18 cs.AI cs.CV cs.GR
Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars
Samsung AI Center(三星人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);University of Cambridge(剑桥大学)
我们提出了一个基于神经渲染的系统,从一张照片创建头部化身。我们的方法通过将人的外观分解为两层来建模。第一层是由一个小的神经网络合成的姿态相关的粗糙图像。第二层由包含高频细节的姿态独立纹理图像定义。纹理图像被离线生成、变形并添加到粗图像,以确保合成的头部视图的高有效分辨率。我们将我们的系统与类似的最先进的系统在视觉质量和速度方面进行比较。实验表明,对于给定的视觉质量,与以前的神经头化身模型相比,推理速度显著加快。我们还报告我们的系统的实时智能手机为基础的实施。
2020-08-24 cs.CV cs.GR cs.LG
BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Tencent PCG(腾讯平台与内容事业群)
BakedAvatar提出一种将神经场烘焙为多层网格与静态纹理的实时头部化身合成方法,通过三阶段管线在保持高质量的同时大幅降低推理时间,支持交互式视图合成与表情姿态编辑。
2023-11-28 cs.CV cs.GR
OFERA: Blendshape-driven 3D Gaussian Control for Occluded Facial Expression to Realistic Avatars in VR
KAIST UVR Lab(KAIST UVR实验室);KAIST KI-ITC ARRC
OFERA通过混合形状信号实现VR中逼真avatar的实时表情控制,提升远程存在感。
2026-02-02 cs.GR
Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models
Stanford University(斯坦福大学)
本文提出一种基于文本到图像扩散模型和3DMM的头部化身生成方法,通过优化几何与纹理并保持面部特征对齐,生成可驱动且与文本一致的三维头部化身,性能优于基于CLIP的现有方法。
2023-07-10 cs.CV cs.GR cs.LG
PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting
Pengcheng Laboratory(鹏城实验室);Peking University(北京大学);University of Nottingham(诺丁汉大学);Shenzhen University(深圳大学)
针对现有实时高保真头部化身动画方法速度与质量难以兼顾的问题,提出PSAvatar框架,结合基于点的可变形形状模型与3D高斯,实现复杂结构建模与实时高保真化身动画。
2024-06-24 cs.CV cs.GR
Neural Head Avatars from Monocular RGB Videos
Heidelberg University(海德堡大学);Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了神经头化身,这是一种新型的神经表示,它明确地对可动画化的人类化身的表面几何形状和外观进行建模,可用于AR/VR中的电话会议或依赖于数字人的电影或游戏行业中的其他应用。我们的表示可以从具有一系列不同表情和视图的单目RGB肖像视频中学习。具体来说,我们提出了一个混合表示的变形模型的粗糙形状和表情的脸,和两个前馈网络,预测底层网格的顶点偏移以及视图和表情相关的纹理。我们证明,这种表示是能够准确地外推到看不见的姿势和视点,并生成自然的表情,同时提供尖锐的纹理细节。与以前的头部化身的作品相比,我们的方法提供了一个完整的人类头部(包括头发),与标准的图形管道兼容的解开的形状和外观模型。此外,它在定量和定性方面优于当前最先进的重建质量和新颖的视图合成。
2022-03-28 cs.CV cs.GR
PrismAvatar: Real-time animated 3D neural head avatars on edge devices
LG Electronics(LG电子)
针对边缘设备资源受限问题,提出PrismAvatar模型,通过集成绑定棱柱晶格与3D可变形头部模型,将可变形NeRF提炼为绑定网格和神经纹理,实现边缘设备实时动画渲染且质量与桌面设备最先进模型相当。
2025-02-10 cs.CV cs.GR cs.LG
Head Avatars with Dynamic Explicit Hair
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Tübingen AI Center(图宾根人工智能中心);Technical University of Munich(慕尼黑工业大学);Technical University of Darmstadt(达姆施塔特工业大学);Microsoft(微软)
该研究提出DynHair方法,用于跟踪和建模人类头部头像的动态头发。通过结构化3D高斯喷绘重建头像,利用基于头部角速度等的时间网络建模发丝动态变形,经联合优化获得可控头发动力学的动画头像,实验展现了最优性能。
2026-07-28 cs.CV cs.GR
Supervising 3D Talking Head Avatars with Analysis-by-Audio-Synthesis
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
THUNDER通过可微声学生成机制,结合网格到语音模型提升3D说话人头像的唇同步质量与面部表情多样性。
2026-01-27 cs.CV cs.GR
GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Imperial College London(伦敦帝国理工学院);Flawless AI(Flawless AI公司)
提出GaussianHeads,一种从粗到细的层级表示方法,端到端学习可驱动头部头像,实现实时高保真渲染和复杂表情泛化。
2024-09-18 cs.CV cs.GR
STGA: Selective-Training Gaussian Head Avatars
Beijing Institute of Technology(北京理工大学);Pengcheng Laboratory(鹏城实验室)
STGA通过逐帧选择性优化嵌入FLAME网格的3D高斯泼溅,在较短训练时间内增强动态头部高斯模型的细节真实感,优于网络方法和网格方法。
2025-03-07 cs.CV cs.GR
Heartian: Physiology-Aware Relightable Gaussian Head Avatar
University College London(伦敦大学学院);Adobe Research(Adobe研究院);Stanford University(斯坦福大学)
本文提出生理感知框架Heartian,将远程光电容积脉搏波信号编码为高斯头部头像的可控材质属性,在保持重建质量的同时实现高精度心率恢复。
2026-10-08 cs.CV cs.GR
Generalizable and Animatable Gaussian Head Avatar
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
提出GAGAvatar,通过单次前向传播和双重提升方法从单张图像生成高保真3D Gaussians,实现实时、高质量的单次可动画化头部虚拟人重建。
2024-10-10 cs.CV cs.GR
Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
提出一种从单目RGB视频学习高质量隐式3D头部虚拟人的混合方法,结合3DMM与神经辐射场,通过预测3DMM几何上的局部特征实现细粒度控制与真实感,显著提升表情细节与泛化能力。
2023-04-04 cs.CV cs.GR
PointAvatar: Deformable Point-based Head Avatars from Videos
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Stanford University(斯坦福大学)
从随意的视频序列中创建逼真的、可动画化的和可重定向的头部化身的能力将在通信和娱乐中开辟广泛的应用。目前的方法要么建立在显式3D变形网格(3DMM)或利用神经隐式表示。前者受固定拓扑的限制,而后者变形不易,渲染效率低。此外,现有的方法在颜色估计中纠缠照明,因此它们在新环境中重新渲染化身时受到限制。相比之下,我们提出PointAvatar,一个可变形的基于点的表示,将源颜色分解为固有的阴影和法线依赖的阴影。我们证明PointAvatar弥合了现有网格和隐式表示之间的差距,将高质量的几何形状和外观与拓扑灵活性,易于变形和渲染效率相结合。我们表明,我们的方法能够使用来自多个来源的单眼视频(包括手持智能手机,笔记本电脑网络摄像头和互联网视频)生成可动画化的3D化身,在先前方法失败的挑战性情况下实现最先进的质量,例如,细发丝,同时在训练中明显比竞争方法更有效。
2023-02-28 cs.CV cs.GR
Refined Geometry-guided Head Avatar Reconstruction from Monocular RGB Video
Michigan State University(密歇根州立大学);Qualcomm Technologies, Inc.(高通技术公司)
本文提出一种两阶段头部虚拟化身重建网络,利用精细3D网格表示和SDF细化,增强NeRF渲染,实现高保真重建,性能优于现有方法。
2025-03-27 cs.CV cs.GR
Artist-Friendly Relightable and Animatable Neural Heads
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究工作室)
本文提出一种对艺术家友好的可重光照、可动画化神经头部方法,融合体积基元动态化身与轻量级重光照采集方案,支持未见表情在任意环境乃至近场条件下重光照。
2023-12-06 cs.CV cs.GR
URHead: A Unified UV-Space Representation for Joint Mesh-3DGS Optimization in Head Avatars
Chung-Ang University(中央大学);Korea Electronics Technology Institute (KETI)(韩国电子技术研究院)
研究针对头部虚拟形象,提出URHead统一表示法,通过UV空间统一及联合优化,让网格与高斯方法互补,保持参数可控性与特定主体细节,在重建质量和动画一致性上超越现有方法。
2026-08-05 cs.CV cs.GR
FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding
University of Science and Technology of China(中国科学技术大学)
FlashAvatar通过在参数化人脸模型表面嵌入均匀3D高斯场并学习空间偏移,实现从单目视频快速重建高保真头部化身,在消费级GPU上以300FPS渲染,质量与速度均优于现有方法。
2024-03-29 cs.CV cs.GR
SEGA: Drivable 3D Gaussian Head Avatar from a Single Image
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);ByteDance(字节跳动);Pengcheng Lab(鹏城实验室);Department of Automation, Tsinghua University(清华大学自动化系)
SEGA通过结合通用先验模型与层次UV空间高斯散点框架,实现从单张图像生成可驾驶的3D高斯头人偶,提升泛化能力和实时性能。
2026-09-09 cs.CV cs.GR
GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion
Technical University of Munich(慕尼黑工业大学);Toyota Motor Europe NV/SA(丰田汽车欧洲公司);Woven by Toyota(丰田编织公司)
针对单目视频3D头部化身重建中观测有限导致的伪影问题,提出GAF方法,结合多视图扩散模型先验和FLAME法线贴图偏置,提升高斯溅射渲染的视角一致性与保真度,在NeRSemble数据集上优于现有方法。
2025-04-14 cs.AI cs.CV cs.GR
Real-Time Simulated Avatar from Head-Mounted Sensors
Reality Labs Research, Meta(Meta Reality Labs 研究部);Carnegie Mellon University(卡内基梅隆大学)
提出SimXR方法,通过端到端学习直接从AR/VR头显的图像和位姿生成人形机器人控制信号,结合物理定律实现实时虚拟形象控制。
2024-04-24 cs.CV cs.GR cs.RO
HQ3DAvatar: High Quality Controllable 3D Head Avatar
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Flawless AI
多视点体绘制技术在建模和合成高质量的头像方面显示出巨大的潜力。捕捉全头部动态表现的常见方法是使用基于网格的模板或基于3D立方体的图形基元来跟踪底层几何结构。虽然这些基于模型的方法取得了令人满意的结果,但它们通常无法学习复杂的几何细节,例如嘴内部,头发和拓扑随时间的变化。本文提出了一种新的方法来建立高度真实感的数字头像。我们的方法通过一个由神经网络参数化的隐函数来学习一个规范空间。它在学习的特征空间中利用多分辨率哈希编码,允许高质量,更快的训练和高分辨率渲染。在测试时,我们的方法是由单目RGB视频驱动。在这里,图像编码器提取面部特定的特征,这些特征也是可学习的规范空间的条件。这鼓励在训练期间依赖于变形的纹理变化。我们还提出了一种新的基于光流的损失,确保在学习的规范空间的对应性,从而鼓励无伪影和时间一致的渲染。我们展示了具有挑战性的面部表情的结果,并以交互式实时速率显示中等图像分辨率的自由视点渲染。我们的方法优于所有现有的方法,无论是在视觉上还是在数值上。我们将发布多身份数据集,以鼓励进一步的研究。我们的项目页面位于:https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/
2023-03-25 cs.CV cs.GR
Hybrid Explicit Representation for Ultra-Realistic Head Avatars
University of Science and Technology of China(中国科学技术大学);ShanghaiTech University(上海科技大学);Xi’an Jiaotong University(西安交通大学);Chinese Academy of Sciences(中国科学院);University of Hong Kong(香港大学)
该研究提出结合UV映射3D网格与3D高斯溅射的混合显式表示方法,实现超真实头像的实时渲染,通过优化网格纹理、不透明度图及绑定的3D高斯溅射并采用混合深度排序策略,结果优于现有方法。
2025-02-19 cs.CV cs.GR
Efficient 3D Implicit Head Avatar with Mesh-anchored Hash Table Blendshapes
Google(谷歌);Simon Fraser University(西蒙菲莎大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出一种基于网格锚定哈希表混合形状的三维隐式头部头像模型,通过CNN预测权重线性合并逐顶点哈希表,结合轻量级MLP和分层最近邻搜索,实现实时、高质量且可控的动态面部渲染。
2024-04-02 cs.CV cs.GR
ScaffoldAvatar: High-Fidelity Gaussian Avatars with Patch Expressions
Technical University of Munich(慕尼黑技术大学);DisneyResearch|Studios(迪士尼研究与工作室)
本文提出ScaffoldAvatar,通过将局部分块表情特征与3D Gaussian splatting及Scaffold-GS锚点结合,实现高保真、富有表现力的实时真实感3D头部虚拟人合成。
2025-07-14 cs.AI cs.CV cs.GR
TextToon: Real-Time Text Toonify Head Avatar from Single Video
University of Rochester(罗切斯特大学);Bytedance(字节跳动)
本研究提出TextToon方法,基于单目视频和文本指令生成可实时驱动的高保真卡通化头像,通过条件嵌入三平面、自适应像素平移网络等优化3D高斯溅射的风格化效果,实现多设备实时运行,性能优于现有方法。
2024-09-23 cs.CV cs.GR
GeoAvatar: Adaptive Geometrical Gaussian Splatting for 3D Head Avatar
Klleon AI Research(Klleon AI研究院);Korea University(韩国大学)
针对3D头部化身在重建与动画间难以平衡的问题,本文提出GeoAvatar框架,通过自适应高斯分配、嘴部分部件变形和3DMM绑定正则化提升质量,并发布DynamicFace数据集。
2025-07-24 cs.CV cs.GR cs.LG
RelightAnyone: A Generalized Relightable 3D Gaussian Head Model
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究与工作室);Max Planck Institute for Informatics, SIC(马克斯·普朗克信息学院,SIC)
提出一种两阶段通用可重光照3D高斯头部模型,无需OLAT数据即可从单/多视图图像重光照任意对象,通过从平光照3DGS头像到物理反射参数的映射实现高质量重光照。
2026-06-23 cs.CV cs.GR
A High-Fidelity Open Embodied Avatar with Lip Syncing and Expression Capabilities
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
作为虚拟代理的虚拟化身有许多应用程序,并提供了超过无实体代理的好处,允许以类似于人类相互交互的方式利用非语言社交和交互提示。我们提出了一个开放的具体化身建立在虚幻引擎,可以通过一个简单的Python编程接口进行控制。头像有嘴唇同步(音素控制),头部姿势和面部表情(使用面部动作单位或基本情感类别)的能力。我们发布代码和模型来说明如何像木偶一样控制化身,或者使用公共应用程序编程接口(API)来创建简单的会话代理。联系方式:https://github.com/danmcduff/AvatarSim
2019-10-15 cs.AI cs.CV cs.GR
Relightable Gaussian Codec Avatars
Meta;Codec Avatars Lab(Codec Avatars实验室)
提出基于3D高斯和可学习辐射传输的可重照明头像方法,实现高保真实时重照明,支持表情动画,并优于现有方法。
2024-05-28 cs.CV cs.GR
Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation
Carnegie Mellon University(卡内基梅隆大学)
提出MVCHead,一种直接从随机采样的2D图像学习3D高斯头部模型的方法,通过层次状态空间块和SE(3)多视图评判器实现多视图一致性,无需多视图数据或3D监督。
2026-05-24 cs.CV cs.GR cs.RO
NPGA: Neural Parametric Gaussian Avatars
Technical University of Munich(慕尼黑工业大学);Synthesia;University College London(伦敦大学学院)
针对高保真可控人头化身构建的挑战,提出基于3D高斯溅射与神经参数化头部模型的NPGA方法,通过形变场提炼、逐高斯潜在特征及拉普拉斯正则化提升效果,在NeRSemble数据集上自我重演任务PSNR提升2.6,还支持单目视频动画生成。
2024-09-13 cs.AI cs.CV cs.GR
DynamicAvatars: Accurate Dynamic Facial Avatars Reconstruction and Precise Editing with Diffusion Models
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);National Engineering Research Center for Visual Information and Applications, Xi’an Jiaotong University(西安交通大学视觉信息与应用国家工程研究中心);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(人机混合增强智能全国重点实验室)
DynamicAvatars提出基于高斯泼溅和扩散模型的动态3D头像生成框架,结合LLM引导参数与提示编辑模型,实现从视频生成逼真头像并进行精确、稳定的动态编辑。
2024-11-24 cs.CV cs.GR
DEGAS: Detailed Expressions on Full-Body Gaussian Avatars
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Prometheus Vision Technology Co., Ltd.(天视智能科技有限公司);The Hong Kong University of Science and Technology(香港科技大学);Swinburne University of Technology(斯威本科技大学)
针对全身化身难以融入精细表情的问题,提出首个基于3DGS的DEGAS方法,通过条件变分自动编码器结合身体运动与表情潜在空间生成高斯图,实现逼真表情渲染,实验验证其有效性并提出音频驱动扩展。
2025-02-08 cs.CV cs.GR
URAvatar: Universal Relightable Gaussian Codec Avatars
Meta;Codec Avatars Lab(编解码器化身实验室)
本研究提出URAvatar通用可重光照高斯编解码器头像方法,通过3D高斯建模可学习辐射传输,结合多视图扫描数据训练与微调,实现从手机扫描生成可实时动画、重光照的高保真头像,性能优于现有方法。
2024-10-31 cs.CV cs.GR
GTAvatar: Bridging Gaussian Splatting and Texture Mapping for Relightable and Editable Gaussian Avatars
Univ Rennes, Inria, CNRS, IRISA, France(里昂大学、法国国家科学研究中心、法国信息与自动化研究所)
本文提出一种结合2D高斯散射精度与UV纹理映射直观性的方法,通过高效嵌入局部坐标系到模板网格的UV空间,实现单目视频下的连续可编辑材质头像重建,并利用物理基础反射模型实现照明与编辑。
2026-03-19 cs.CV cs.GR
GaussianSpeech: Audio-Driven Gaussian Avatars
Technical University of Munich(慕尼黑工业大学);MPI-IS, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));TU Darmstadt(达姆施塔特工业大学)
提出GaussianSpeech方法,通过将语音信号与3D高斯溅射结合,利用基于3DGS的化身表示及特定损失函数合成面部细节,并构建大规模数据集,实现实时渲染下高保真个性化3D人头化身动画合成。
2024-11-27 cs.AI cs.CV cs.GR