AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text
University of Technology Sydney(悉尼科技大学);ByteDance Inc.(字节跳动公司);Zhejiang University(浙江大学)
本文提出AvatarStudio,一种从粗到细的文本驱动3D化身生成模型,通过结合NeRF、SMPL关节网格和DensePose条件扩散模型,实现高保真、可动画化且姿态可控的化身创建。
2023-11-29 cs.CV cs.GR
Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement
Pinscreen
我们引入了一个高度鲁棒的基于GAN的框架,用于从一张不受约束的照片中数字化一个人的标准化3D头像。虽然输入图像可以是微笑的人或在极端光照条件下拍摄的,但我们的方法可以在漫射光照条件下可靠地产生中性表情和皮肤纹理的人脸的高质量纹理模型。尖端的3D人脸重建方法使用非线性变形人脸模型结合基于GAN的解码器来捕捉人物的相似性和细节,但无法生成具有无阴影纹理的中性头部模型,这对于创建可重配和动画友好的化身以集成到虚拟环境中至关重要。现有方法的主要挑战是缺乏包含标准化3D人脸的训练和地面真实数据。我们提出了一个两阶段的方法来解决这个问题。首先,我们通过将非线性变形人脸模型嵌入到StyleGAN2网络中来采用高度鲁棒的归一化3D人脸生成器。这使我们能够生成详细但标准化的面部资产。然后,在此推断之后是感知细化步骤,该步骤使用生成的资产作为正则化,以应对归一化面部的有限可用训练样本。我们进一步介绍了一个归一化的人脸数据集,它由摄影测量扫描,精心挑选的照片,并在漫射照明条件下生成中性表情的假人组成。虽然我们准备的数据集包含的主题比基于GAN的3D面部重建方法少两个数量级,但我们表明,可以为非常具有挑战性的无约束输入图像生成高质量的归一化面部模型,并表现出优于当前最先进技术的性能。
2021-06-21 cs.CV cs.GR
I M Avatar: Implicit Morphable Head Avatars from Videos
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统的3D可变形人脸模型(3DMM)提供了对表情的细粒度控制,但无法轻松捕获几何和外观细节。神经体积表示接近照片写实主义,但很难动画,也不能很好地推广到看不见的表情。为了解决这个问题,我们提出了IMavatar(隐式可变形头像),一种新的方法,用于从单目视频中学习隐式头部头像。受传统3DMM提供的细粒度控制机制的启发,我们通过学习混合变形和蒙皮场来表示与表情和姿势相关的变形。这些属性是姿态独立的,并且可以用于在给定新颖的表达式和姿态参数的情况下变形规范的几何和纹理场。我们采用射线推进和迭代寻根定位的规范表面的每个像素的交点。一个关键的贡献是我们新颖的分析梯度公式,它可以从视频中对IMavatars进行端到端的训练。我们定量和定性地表明,我们的方法改进了几何形状,并覆盖了更完整的表达空间相比,国家的最先进的方法。
2022-11-04 cs.CV
CVTHead: One-shot Controllable Head Avatar with Vertex-feature Transformer
University of California, Irvine(加利福尼亚大学尔湾分校)
CVTHead提出基于顶点特征Transformer的单样本可控头部虚拟化身方法,利用点神经渲染从单图生成,实现高效实时动画与显式控制。
2023-11-11 cs.CV
SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video
Department of Control Science and Engineering, University of Shanghai for Science and Technology(上海理工大学控制科学与工程系);School of Psychology and Neuroscience, University of Glasgow(格拉斯哥大学心理学与神经科学学院)
本研究提出基于3DMM和StyleGAN的方法,利用自拍视频实现实时头部虚拟形象重现,提升细节还原与高保真度。
2026-01-26 cs.CV
Human-3Diffusion: Realistic Avatar Creation via Explicit 3D Consistent Diffusion Models
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
提出Human-3Diffusion框架,通过紧密耦合2D多视角扩散与3D重建模型,利用显式3D高斯溅射表示引导采样,实现从单张RGB图像创建高保真几何与外观的逼真虚拟化身。
2024-12-14 cs.CV
Bridging the Gap: Studio-like Avatar Creation from a Monocular Phone Capture
Captions Research(Caption研究机构);Meta Reality Labs(元宇宙现实实验室);Stony Brook University(石溪大学)
提出一种从单目手机捕捉生成影棚级纹理图的方法,利用 StyleGAN2 的 $W^+$ 空间参数化与微调,并结合图像梯度引导的扩散模型增强细节,生成照片级真实感且均匀照明的完整 3D 虚拟化身。
2024-07-30 cs.CV
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Tencent AI Lab(腾讯人工智能实验室)
3D感知生成对抗网络(GANs)仅使用单视图2D图像的集合来合成高保真度和多视图一致的面部图像。为了对面部属性进行细粒度的控制,最近的努力采用了3D可变形面部模型(3DMM)来显式或隐式地描述生成辐射场中的变形。显式方法提供了细粒度的表达式控制,但不能处理由头发和附件引起的拓扑变化,而隐式方法可以建模不同的拓扑,但由于变形场不受约束,泛化能力有限。我们提出了一种新的3D GAN框架,用于从非结构化2D图像中生成高质量和3D一致的面部化身的无监督学习。为了实现变形精度和拓扑灵活性,我们提出了一种三维表示称为生成纹理光栅化三平面。该方法在参数化网格模板的基础上学习生成神经纹理,然后通过光栅化将其投影到三个正交特征平面上,形成一个用于体渲染绘制的三平面特征表示。通过这种方式,我们结合了细粒度的表达控制网格引导显式变形和隐式体积表示的灵活性。我们进一步提出了具体的模块,用于建模嘴内部,这是不考虑3DMM。我们的方法通过大量的实验展示了最先进的3D感知合成质量和动画能力。此外,作为3D先验,我们的动画3D表示提升了多个应用程序,包括一次性面部化身和3D感知风格化。
2023-03-13 cs.CV
ViSA: 3D-Aware Video Shading for Real-Time Upper-Body Avatar Creation
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tongyi Lab, Alibaba Group(阿里云实验室)
ViSA结合3D重建与视频生成技术,实时生成高质量上半身数字人,减少模糊和僵硬问题,提升视觉质量。
2025-12-09 cs.CV
Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models
Stanford University(斯坦福大学)
本文提出一种基于文本到图像扩散模型和3DMM的头部化身生成方法,通过优化几何与纹理并保持面部特征对齐,生成可驱动且与文本一致的三维头部化身,性能优于基于CLIP的现有方法。
2023-07-10 cs.CV cs.GR cs.LG
Multimodal Generation of Animatable 3D Human Models with AvatarForge
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
AvatarForge结合大语言模型常识推理与现成3D人体生成器,通过程序化生成和自动验证实现从文本或图像生成高精度、可定制且可动画化的3D人体化身,在文本和图像到化身生成任务中优于现有最先进方法。
2025-03-11 cs.CV
Stable Video Portraits
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Darmstadt(达姆施塔特工业大学)
提出混合2D/3D生成方法SVP,结合2D稳定扩散模型与3DMM控制,生成时间平滑的逼真说话面部视频,支持无需微调的面部外观编辑,优于现有单目头部化身方法。
2024-09-26 cs.CV
AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation
Nanjing University(南京大学)
该研究提出AvatarBooth方法,通过人脸、人体双微调扩散模型及姿态约束、多分辨率渲染策略,实现高质量可定制的3D人体化身生成与编辑,性能优于现有文本转3D方法。
2023-06-16 cs.CV
EasyCraft: A Robust and Efficient Framework for Automatic Avatar Crafting
Netease Fuxi AI Lab(网易伏羲人工智能实验室);The University of Queensland(昆士兰大学)
针对现有捏脸方法难以跨引擎泛化且输入类型单一的问题,提出端到端框架EasyCraft,通过自监督学习统一图像特征并映射为引擎参数,同时支持文本与图像输入,显著提升了虚拟形象创建的泛化性、多样性与准确性。
2025-03-03 cs.CV
GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians
Technical University of Munich(慕尼黑工业大学);Woven by Toyota(丰田编织公司);Toyota Motor Europe NV/SA(丰田汽车欧洲股份有限公司)
本文提出GaussianAvatars,将三维高斯泼溅绑定到参数化人脸模型上,通过端到端联合优化实现表情、姿态和视角完全可控的照片级真实头部化身,在驱动视频重演任务中显著优于现有方法。
2024-03-28 cs.CV
ANR: Articulated Neural Rendering for Virtual Avatars
Georgia Tech(佐治亚理工学院);University of Bonn(波恩大学);Facebook Reality Labs(Facebook现实实验室);Epic Games(Epic Games公司)
在延迟神经渲染(DNR)中,传统渲染与神经网络的结合提供了计算复杂性和所得到的图像的真实感之间的令人信服的平衡。使用蒙皮网格渲染关节对象是DNR框架的自然扩展,并将其开放给大量应用程序。然而,在这种情况下,神经着色步骤必须考虑可能未在网格中捕获的变形,以及对齐不准确性和动态-这可能会混淆DNR管道。我们提出了关节神经渲染(ANR),一个新的框架DNR的基础上,明确地解决其局限性的虚拟人化身。我们显示ANR的优越性,不仅与DNR,但也与专门的化身创作和动画的方法。在两项用户研究中,我们观察到对我们的化身模型的明显偏好,并且我们在定量评估指标上展示了最先进的性能。从视觉上看,我们观察到更好的时间稳定性,细节水平和可扩展性。
2020-12-23 cs.CV
MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars
University of Toronto(多伦多大学);Vector Institute(向量研究所);Vector Institute Canada(加拿大向量研究所);University of Toronto Canada(多伦多大学加拿大)
本文提出MVP4D,一种基于预训练视频扩散模型的多视角视频生成方法,从单张参考图像生成360度可动画化4D化身,显著提升真实感、时间与3D一致性。
2025-10-14 cs.AI cs.CV cs.GR
MoGA: 3D Generative Avatar Prior for Monocular Gaussian Avatar Reconstruction
ETH Zürich(苏黎世联邦理工学院);University of Tübingen, Tübingen AI Center(图宾根大学图宾根人工智能中心);Max Planck Institute for Intelligent Systems, Tübingen(智能系统马克斯·普朗克研究所)
提出MoGA方法,通过将生成式虚拟人模型作为先验并结合2D扩散模型合成视图进行模型反演,从单视图图像重建高保真、3D一致且可动画的3D Gaussian虚拟人。
2025-08-09 cs.CV
FitMe: Deep Photorealistic 3D Morphable Model Avatars
Imperial College London(帝国理工学院)
本文提出FitMe,一种结合面部反射模型与可微渲染优化流程的方法,能从单张或多张图像中快速获取高保真、可重新打光且保留身份的3D虚拟形象。
2023-05-16 cs.CV cs.GR cs.LG
MagicMirror: Fast and High-Quality Avatar Generation with a Constrained Search Space
Google(谷歌);Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本文提出MagicMirror框架,通过条件NeRF、文本到图像扩散模型几何先验和变分分数蒸馏优化,在受限搜索空间中实现快速、高质量且符合文本提示的三维人体虚拟形象生成。
2024-04-01 cs.CV
FaceCraft4D: Animated 3D Facial Avatar Generation from a Single Image
University of Cambridge(剑桥大学);Stability AI
提出FaceCraft4D框架,利用形状、图像和视频先验从单张图像生成高质量可动画4D面部化身,通过3D-GAN反演、深度引导纹理增强和一致性-不一致性训练,实现跨视角和表情的优越一致性。
2025-04-21 cs.CV
GenCA: A Text-conditioned Generative Model for Realistic and Drivable Codec Avatars
Chinese University of Hong Kong(香港中文大学);Meta Reality Labs(元宇宙现实实验室)
提出文本条件生成模型GenCA,结合潜在扩散模型与表情驱动先验,生成可驱动的照片级逼真3D虚拟人,支持虚拟人编辑与单样本重建。
2024-08-24 cs.CV
DreamWaltz: Make a Scene with Complex 3D Animatable Avatars
International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));University of Science and Technology of China(中国科学技术大学)
针对文本生成高质量可驱动3D虚拟形象的难题,提出DreamWaltz框架,通过遮挡感知3D一致SDS与3D骨架条件生成无伪影虚拟形象,可直接驱动任意姿态并构建多类型交互复杂场景。
2023-11-06 cs.CV cs.LG
Zero-1-to-A: Zero-Shot One Image to Animatable Head Avatars Using Video Diffusion
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
提出Zero-1-to-A方法,利用视频扩散模型渐进构建空间与时间一致性数据集,从单张图像零样本生成高质量可动画4D头部化身,提升保真度、动画质量和渲染速度。
2025-03-25 cs.CV
Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization
Stanford University(斯坦福大学);NVIDIA(英伟达)
针对现有3D人脸模型难以兼顾细节捕捉、可驱动性与泛化性的问题,提出兼具泛化性与编辑直观性的隐式3D可变形人脸模型,在照片真实感、几何与表情精度上优于现有方法。
2023-05-04 cs.CV
InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars
Tsinghua University(清华大学)
提出增量式3D GAN反演框架InvertAvatar,利用多帧输入提升头部虚拟形象重建保真度,通过可动画3D GAN先验和神经纹理编码器增强表情控制与细节,实现一次性及少样本动画任务的最先进性能。
2024-05-27 cs.CV
One Shot, One Talk: Whole-body Talking Avatar from a Single Image
University of Science and Technology of China(中国科学技术大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出从单张图像构建全身说话虚拟形象的流程,利用姿态引导扩散模型生成伪标签,并结合紧耦合3DGS-mesh混合表示与正则化实现逼真、可控的动画效果。
2024-12-02 cs.CV cs.GR
InfiniHuman: Infinite 3D Human Creation with Precise Control
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);University of Tübingen, Tübingen AI Center, MPI for Informatics, SIC(图宾根大学,图宾根人工智能中心,马克斯·普朗克信息研究所,SIC);University of Tübingen(图宾根大学)
本文提出InfiniHuman框架,通过蒸馏基础模型生成11.1万个高度多样、标注丰富的3D人类数据集InfiniHumanData,并基于此提出InfiniHumanGen生成流水线,实现了快速、逼真且精确可控的大规模高质量化身生成。
2025-10-13 cs.CV
EVA: Expressive Virtual Avatars from Multi-view Videos
Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
针对现有人形化身方法因表情动作表示纠缠、可控性不足的问题,提出EVA框架,通过两层模型与解耦式3D高斯外观建模,实现表情、动作与手势的独立实时高保真控制,性能超越现有最优方法。
2025-05-21 cs.CV cs.GR
AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Freiburg(弗赖堡大学)
本文提出AvatarStudio,结合个性化文本到图像扩散模型与VT-SDS,在NeRF表示中实现文本驱动的动态全头外观编辑,并通过形变网络保证3D与时间一致性。
2023-06-02 cs.CV cs.GR
STAR: Skeleton-aware Text-based 4D Avatar Generation with In-Network Motion Retargeting
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
STAR通过结合骨架感知的运动重定向和混合SDS模块,利用T2I与T2V先验实现端到端的文本驱动4D化身生成,解决了姿态优化域差距和运动错位问题。
2024-06-07 cs.CV cs.GR cs.MM
AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室)
针对现有4D人-物交互生成方法数据稀缺的问题,提出AvatarGO框架,通过LLM引导接触重定向、对应感知动作优化,实现文本驱动的零样本4D HOI生成,效果优于现有方法,为4D内容创作提供新思路。
2024-10-09 cs.CV
ImHead: A Large-scale Implicit Morphable Model for Localized Head Modeling
Imperial College London(伦敦帝国学院)
提出隐式3D形变模型imHead,通过紧凑单身份空间与特定区域隐表示实现3D头部建模及面部特征局部编辑,在4K身份数据集上表现优于以往方法。
2025-10-12 cs.CV
SRM-Hair: Single Image Head Mesh Reconstruction via 3D Morphable Hair
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所 多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学 人工智能学院);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院 人工智能与机器人中心)
本文提出SRM-Hair方法,通过语义一致射线建模使三维头发可变形,并结合超250个真实头发扫描数据构建先验,实现从单张图像重建独立头发网格,达到最先进性能。
2025-03-08 cs.CV
Dynamic Neural Garments
University College London(伦敦大学学院);Adobe Research(奥多比研究院)
更广泛的数字人类努力的一个重要任务是在数字化身上创建逼真的服装,无论是在静态帧中的特征折叠图案和皱纹的形式,还是在化身运动下的服装动态的丰富性。现有的建模、模拟和渲染工作流紧密地复制了真实服装背后的物理特性,但是是繁琐的,并且需要在角色的运动、相机角度或服装裁剪的变化下重复大部分工作流。虽然存在数据驱动的解决方案,但它们要么专注于静态场景,要么只处理紧身服装的动态。我们提出了一个解决方案,在测试时,需要在身体关节运动,直接产生逼真的动态服装图像序列。具体来说,给定化身的目标关节运动序列,我们提出了动态神经服装,从一个看不见的观点,共同模拟和渲染似是而非的动态服装外观。从技术上讲,我们的解决方案生成一个粗略的服装代理序列,学习附加到该模板的深度动态特征,并通过神经渲染这些特征以产生外观变化,如褶皱、皱纹和轮廓。我们证明泛化行为看不见的运动和看不见的相机视图。此外,我们的网络可以进行微调,以适应新的体型和/或背景图像。我们还提供了对现有的神经渲染和图像序列翻译方法的比较,并报告明确的定量改进。
2021-02-23 cs.CV
Feed-forward Gaussian Registration for Head Avatar Creation and Editing
Google(谷歌)
MATCH方法通过高效高斯注册实现高质量头像创建,无需预处理,速度快且支持跨主体应用,优于现有方法。
2026-03-16 cs.CV
Tag-Based Annotation for Avatar Face Creation
UC Santa Cruz(加州大学圣克鲁兹分校)
针对虚拟形象自动生成面临的训练数据噪声大的问题,提出采用基于标签的标注方法训练模型,提升标注一致性与预测质量,并针对Bitmoji的3种面部特征设计标签完成鼻子预测模型训练。
2023-08-24 cs.CV
WildAvatar: Learning In-the-wild 3D Avatars from the Web
School of AIA, Huazhong University of Science and Technology(华中科技大学AIA学院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Great Bay University(大湾区大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出自动标注流水线从网络视频构建WildAvatar数据集,包含超1万个人类主体和场景,比以往数据集丰富至少10倍,并验证了其在三维化身创建上的质量与泛化能力。
2025-03-12 cs.CV
AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging
ByteDance(字节跳动);UC Santa Cruz(加州大学圣克鲁兹分校)
风格化的3D化身在我们的现代生活中变得越来越突出。手动创建这些化身通常涉及连续和离散参数的费力选择和调整,并且对于普通用户来说是耗时的。从用户自拍自动创建3D化身的自监督方法承诺高质量,几乎没有注释成本,但由于大的风格域差距,在应用于风格化化身方面存在不足。我们提出了一种新的自监督学习框架,以创建高质量的风格化的3D化身与连续和离散参数的混合。我们的级联域桥接框架首先利用修改的肖像风格化方法将输入自拍转换为风格化的化身渲染作为所需3D化身的目标。接下来,我们通过一个可区分的模仿者找到最佳的化身参数,以匹配风格化的化身渲染,我们训练模仿化身图形引擎。为了保证能够有效地优化离散参数,我们采用了级联松弛搜索流水线。我们使用人类偏好研究来评估我们的方法与以前的工作以及手动创建相比如何保留用户身份。我们的结果实现了更高的偏好分数比以前的工作,接近那些手动创建。我们还提供了一项消融研究,以证明我们管道中的设计选择。
2022-11-15 cs.CV cs.GR
Generative AI for Film Creation: A Survey of Recent Advances
Google(谷歌);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);MYStudio;Harvard University(哈佛大学);Reality Hack;SUNY Buffalo(纽约州立大学布法罗分校);Onceness;University of Southampton(南安普顿大学);New York University(纽约大学);Communication University of China(中国传媒大学);University of Southern California(南加利福尼亚大学);Dodge College of Film and Media Arts(道奇电影与媒体艺术学院);Pratt Institute(普拉特学院);Rubyspot;MIT(麻省理工学院);Netflix(网飞);Hong Kong University of Science and Technology(香港科技大学)
本文综述了生成式人工智能在电影创作中的最新进展,分析其在角色、风格、叙事中的应用及一致性、可控性等挑战,并为研究者与艺术家提供发展路线图。
2025-04-11 cs.CV
GSAC: Leveraging Gaussian Splatting for Photorealistic Avatar Creation with Unity Integration
Vanderbilt University(范德堡大学)
针对现有化身创建技术成本高、效率低、表情保真度不足等问题,提出GSAC端到端3D高斯溅射化身创建管线,支持单目视频输入,兼容Unity引擎,提升创建效率与实用性。
2025-04-17 cs.CV cs.GR
HeadGAP: Few-Shot 3D Head Avatar via Generalizable Gaussian Priors
ByteDance(字节跳动);ShanghaiTech University(上海科技大学)
针对少样本3D头部化身构建的欠约束问题,提出HeadGAP框架,通过基于高斯溅射的自解码器网络从大规模动态数据学习头部先验,结合反演微调实现高保真、可动画的少样本个性化头部生成。
2025-01-13 cs.CV
Unsupervised Creation of Parameterized Avatars
Facebook AI Research(Facebook人工智能研究院);Tel Aviv University(特拉维夫大学)
我们研究的问题,输入图像映射到一个捆绑对组成的参数向量和使用图形引擎从参数向量创建的图像。映射的目标是使输出图像尽可能与输入图像相似。在培训期间,没有以匹配输入和输出的形式进行监督。该学习问题扩展了两个文献问题:无监督领域自适应和跨领域迁移。我们定义了一个泛化的界限,是基于差异,并采用GAN实现网络的解决方案,对应于这个界限。实验表明,我们的方法可以解决自动创建化身的问题。
2017-07-09 cs.CV cs.LG
SIRA: Relightable Avatars from a Single Image
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息学研究所(西班牙国家研究委员会-加泰罗尼亚理工大学));Crisalix SA(Crisalix股份公司)
从单个图像恢复人头部的几何形状,同时分解材料和照明是一个严重不适定的问题,需要先验信息来解决。基于3D变形模型(3DMM)的方法,以及它们与可微分渲染器的组合,已经显示出有希望的结果。然而,3DMM的表现力是有限的,并且它们通常产生限于面部区域的过度平滑和身份不可知的3D形状。最近已经获得了高度准确的全头部重建与神经领域的几何参数,使用多层感知器。这些表示的多功能性也被证明是有效的解开几何,材料和照明。然而,这些方法需要几十个输入图像。在本文中,我们介绍了SIRA,一种方法,从一个单一的图像,重建人的头部化身与高保真的几何和因式分解的灯光和表面材料。我们的关键成分是两个基于神经场的数据驱动的统计模型,它们解决了单视图3D表面重建和外观因子分解的模糊性。实验表明,SIRA在获得最佳三维头部重建结果的同时,成功地解开了全局光照,以及漫射和镜面反射。此外,我们的重建是服从基于物理的外观编辑和头部模型重新照明。
2022-09-07 cs.AI cs.CV eess.IV
OHTA: One-shot Hand Avatar via Data-driven Implicit Priors
ByteDance(字节跳动)
本文提出 OHTA,利用数据驱动手部先验模型完成先验学习、目标身份反演与拟合,实现仅凭单张图像生成高保真、可驱动的手部化身。
2024-02-29 cs.CV
Revisiting an Old Perspective Projection for Monocular 3D Morphable Models Regression
TOEI Company(TOEI公司)
本文提出一种改进的透视投影模型,用于提升近距离面部视频中单目3D可变形模型回归的准确性与稳定性。
2026-03-05 cs.CV cs.GR
Neural Head Avatars from Monocular RGB Videos
Heidelberg University(海德堡大学);Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了神经头化身,这是一种新型的神经表示,它明确地对可动画化的人类化身的表面几何形状和外观进行建模,可用于AR/VR中的电话会议或依赖于数字人的电影或游戏行业中的其他应用。我们的表示可以从具有一系列不同表情和视图的单目RGB肖像视频中学习。具体来说,我们提出了一个混合表示的变形模型的粗糙形状和表情的脸,和两个前馈网络,预测底层网格的顶点偏移以及视图和表情相关的纹理。我们证明,这种表示是能够准确地外推到看不见的姿势和视点,并生成自然的表情,同时提供尖锐的纹理细节。与以前的头部化身的作品相比,我们的方法提供了一个完整的人类头部(包括头发),与标准的图形管道兼容的解开的形状和外观模型。此外,它在定量和定性方面优于当前最先进的重建质量和新颖的视图合成。
2022-03-28 cs.CV cs.GR
Hunyuan-Game: Industrial-grade Intelligent Game Creation Model
Tencent(腾讯)
针对高质量游戏资产合成难题,提出Hunyuan-Game项目,基于海量数据构建图像与视频生成模型,深度融合领域知识,实现高保真游戏内容创作并提升设计效率。
2025-05-28 cs.CV
One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation
Google(谷歌公司);University of Minnesota(明尼苏达大学)
本文提出One2Avatar,一种基于3DMM锚定神经辐射场骨干网络的生成式隐式头部虚拟人方法,通过联合优化3DMM拟合与相机标定,仅用单张或少量图像即可实现高效且高质量的个性化少样本用户适应。
2024-02-19 cs.CV
Unlock Pose Diversity: Accurate and Efficient Implicit Keypoint-based Spatiotemporal Diffusion for Audio-driven Talking Portrait
University of Liverpool(利物浦大学);Ant Group(蚂蚁集团);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学);Ricoh Software Research Center(理光软件研究中心)
针对音频驱动单图像说话人像生成中身份保持、细节还原、姿态多样性与效率难以兼顾的问题,提出KDTalker,融合无监督隐式3D关键点与时空扩散注意力,实现准确唇形同步和高质量多样化动画。
2025-03-17 cs.CV
Gen-AFFECT: Generation of Avatar Fine-grained Facial Expressions with Consistent identiTy
Boston University(波士顿大学);Georgetown University(乔治城大学)
提出GEN-AFFECT框架,通过多模态扩散Transformer和一致性注意力机制,生成身份一致且表情丰富的细粒度2D虚拟形象,性能优于现有方法。
2025-08-13 cs.AI cs.CV
Tag-based annotation creates better avatars
UC Santa Cruz(加州大学圣克鲁兹分校);San Jose State University(圣何塞州立大学);ByteDance Inc.(字节跳动公司)
从人类图像创建化身允许用户以不同的风格定制他们的数字人物。现有的渲染系统,如Bitmoji,MetaHuman和Google Cartoonset,提供了富有表现力的渲染系统,为用户提供了出色的设计工具。然而,必须调整二十多个参数,其中一些包括数百个选项,才能获得理想的结果。因此,用户创建完美的化身是具有挑战性的。可以训练机器学习模型来从图像中预测化身,但是标记成对训练数据的注释器具有与用户相同的困难,导致高标签噪声。此外,每个新的渲染系统或版本更新都需要数千个新的训练对。在本文中,我们提出了一种基于标签的注释方法的化身创建。与标签的直接注释相比,所提出的方法:产生更高的注释器协议,使机器学习生成更一致的预测,并且仅需要边际成本来添加新的渲染系统。
2023-02-14 cs.CV cs.GR
Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction
Technical University of Munich(慕尼黑工业大学);Facebook Reality Labs(Facebook现实实验室)
我们提出了动态神经辐射场建模的外观和动态的人脸。数字建模和重建说话的人是各种应用的关键组成部分。特别是,对于AR或VR中的远程呈现应用,需要忠实地再现包括新颖视点或头部姿势的外观。与明确建模几何形状和材料属性或纯粹基于图像的最先进方法相反,我们引入了基于场景表示网络的头部隐式表示。为了处理面部的动态,我们将我们的场景表示网络与低维变形模型相结合,该模型提供了对姿势和表情的显式控制。我们使用体积渲染从这种混合表示生成图像,并证明这样的动态神经场景表示可以只从单眼输入数据学习,而不需要专门的捕获设置。在我们的实验中,我们表明,这种学习的体积表示允许照片般逼真的图像生成,超越了最先进的基于视频的重演方法的质量。
2020-12-05 cs.CV cs.GR
Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and Editing
Google(谷歌);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室)
提出一种基于三维高斯扩散的框架,利用参数化人脸模型和三维高斯表示,结合轻量级三平面编码与二维UV空间参数化,实现逼真三维头部的生成、操控和细粒度编辑。
2023-12-19 cs.CV cs.GR cs.LG