Dynamic Facial Asset and Rig Generation from a Single Scan
University of Southern California（南加利福尼亚大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Pinscreen（品视科技）
电影和游戏中使用的高保真计算机生成（CG）角色的创建需要密集的体力劳动和一套全面的面部资产，这些资产将通过复杂的硬件捕获，从而导致成本高和生产周期长。为了简化和加速这一数字化过程，我们提出了一个自动生成高质量动态面部资产的框架，包括可以随时部署艺术家进行抛光的钻机。我们的框架将单次扫描作为输入，以生成一组个性化的融合形状，动态和基于物理的纹理，以及次要的面部组件（例如，牙齿和眼球）。建立在由毛孔级细节组成的面部数据库基础上，通过对不同表情和身份的$4,000$扫描，我们采用自监督神经网络从一组模板表情中学习个性化的融合形状。我们还对身份和表情之间的联合分布进行建模，从而能够从单个中性输入扫描中推断出具有动态外观的全套个性化融合形状。我们生成的个性化面部装备资产与面部动画和渲染的尖端行业管道无缝兼容。我们证明了我们的框架是强大的和有效的推断范围广泛的新的主题，并说明引人注目的渲染结果，同时动画生成的定制的基于物理的动态纹理的脸。
2020-10-05 cs.CV cs.GR
Facial Expression Re-targeting from a Single Character
Huawei Research（华为研究院）
本研究提出一种基于单角色合成数据和面部关键点分组的深度学习架构，实现面部表情重定向，在MOS和MSE指标上优于先前方法。
2023-06-21 cs.AI cs.CV cs.GR
Statistical Blendshape Calculation and Analysis for Graphics Applications
Lenovo Research（联想研究院）
本文提出了一种基于标准摄像头的低功耗VR混合形状预测系统，通过特征提取与回归分析实现高精度实时动画生成。
2026-01-12 cs.GR cs.HC
Learning Disentangled Speech- and Expression-Driven Blendshapes for 3D Talking Face Animation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huadian (Beijing) Co-Generation Co., Ltd.（华电（北京）热电有限公司）
针对情绪类3D说话人脸数据稀缺的问题，该研究提出联合学习语音与情绪驱动的解耦混合形状，可生成兼具指定表情与准确唇同步的3D说话人脸动画，情绪表达能力优于现有方法。
2025-10-29 cs.AI cs.CV cs.GR
Efficient 3D Implicit Head Avatar with Mesh-anchored Hash Table Blendshapes
Google（谷歌）；Simon Fraser University（西蒙菲莎大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种基于网格锚定哈希表混合形状的三维隐式头部头像模型，通过CNN预测权重线性合并逐顶点哈希表，结合轻量级MLP和分层最近邻搜索，实现实时、高质量且可控的动态面部渲染。
2024-04-02 cs.CV cs.GR
Photorealistic Facial Synthesis in the Dimensional Affect Space
Imperial College London（伦敦帝国理工学院）；University of Oulu（奥卢大学）
本文提出了一种新的方法来合成面部情感，这是基于我们的4DFAB数据库中的60万帧的效价和唤醒方面的注释。这种方法的输入是一对这些情绪状态描述符和一个中性的2D图像的人，相应的影响将被合成。给定该目标对，选择一组3D面部网格，其用于构建融合变形模型并生成新的面部效果。为了合成对2D中性图像的影响，执行3DMM拟合，并对重建的面部进行变形以生成目标面部表情。最后，将新的人脸渲染到原始图像中。定性和定量的实验研究都说明了真实感图像的生成，当中性图像是从各种知名的数据库，如Aff-Wild，AFEW，Multi-PIE，AFEW-VA，BU-3DFE，博斯普鲁斯海峡。
2018-11-11 cs.CV cs.GR cs.LG
Accurate and Interpretable Solution of the Inverse Rig for Realistic Blendshape Models with Quadratic Corrective Terms
我们提出了一种新的基于模型的算法，解决了面部动画重定向中的逆钻机问题，表现出更高的精度的拟合和稀疏，更可解释的权重向量相比，SOTA。该方法针对人脸动画的一个特定子域-用于电影和视频游戏制作的高度逼真的blendshape模型。在本文中，我们制定了一个优化问题，考虑到目标模型的所有要求。我们的目标超越了线性blendshape模型，并采用了二次校正项正确拟合网格的细节。我们表明，即使使用通用的求解器，如SQP，所提出的问题的解决方案产生高度准确的网格重建。使用SQP得到的结果是高度准确的网格空间，但没有表现出良好的质量，在重量稀疏性和光滑性，为此，我们进一步提出了一种新的算法依赖于MM技术。该算法特别适合于解决所提出的目标，产生高精度的网格拟合，同时尊重约束条件，并产生一组稀疏和平滑的权重，易于操作和解释的艺术家。我们的算法是基准与SOTA的方法，并显示出整体的优越性的结果，产生一个平滑的动画重建的相对改善高达45%的均方根网格误差，同时保持基数可比的基准方法。本文给出了一套全面的评估指标，涵盖了解决方案的不同方面，包括网格精度，权重的稀疏性和动画曲线的平滑度，以及人类专家评估的所生成动画的外观。
2023-03-27 cs.GR
Refined Inverse Rigging: A Balanced Approach to High-fidelity Blendshape Animation
本研究针对混合形状动画的逆向绑定问题，提出结合$l_1$范数正则化、时间平滑约束与时间解耦的精细化方法，通过聚类并行策略提升效率，在保真度、稀疏性、平滑度上均优于现有方法。
2024-01-29 cs.GR
OmniFaceRig: Fully Automatic Inner-Mouth-Aware Face Rigging Across Diverse 3D Character Topologies
Reality Labs, Meta（Meta现实实验室）
提出全自动端到端管道OmniFaceRig，将静态表面网格转换为含内口几何的FACS绑定，支持人类、人形及多种动物拓扑，无需手动标注或模板。
2026-11-06 cs.CV cs.GR
MienCap: Realtime Performance-Based Facial Animation with Live Mood Dynamics
Shanghai Jiaotong University（上海交通大学）；Netease Fuxi AI Lab（网易伏羲AI实验室）；Edinburgh Napier University（爱丁堡纳皮尔大学）
本文提出MienCap系统，结合混合变形与机器学习，实现非实时和实时的基于表演的面部动画，生成几何一致且感知有效的角色表情，并在识别度、强度和吸引力上优于商业产品Faceware。
2025-08-06 cs.CV cs.GR
Micro and macro facial expressions by driven animations in realistic Virtual Humans
本文研究面部跟踪技术对逼真虚拟人宏微表情感知的影响，通过两个数据集将真实演员表情转移到虚拟人，发现该方法的情绪感知准确性显著低于艺术家制作的面部动画。
2024-08-28 cs.GR
Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video
University of Science and Technology of China（中国科学技术大学）；Image Derivative Inc（Image Derivative公司）
提出了一种基于神经辐射场的头部语义模型。三维一致的头部模型由一组解纠缠和可解释的基组成，并可以由低维的表情系数驱动。由于神经辐射场强大的表示能力，所构造的模型可以表示传统网格混合变形无法表示的头发、穿戴等复杂的面部属性。为了构建个性化的语义人脸模型，我们建议将基定义为多个多级体素场。以一段短的单目RGB视频为输入，该方法可以在10 ~ 20分钟内构建出被摄者的语义人脸NeRF模型，并在给定表情系数和视角的情况下，在几十毫秒内绘制出具有照片级真实感的人脸图像。有了这种新颖的表示，我们将其应用于许多任务，如面部重定向和表情编辑。实验结果表明，该算法具有较强的表示能力和训练/推理速度。演示视频和发布的代码在我们的项目页面中提供：https://ustc3dv.github.io/NeRFBlendShape/
2022-10-12 cs.CV cs.GR
Deploying Speech-Driven 3D Facial Animation in Unreal Engine for Production-Ready Digital Humans
Utrecht University（乌得勒支大学）
提出一种在虚幻引擎中直接部署语音驱动3D面部动画的系统，通过ARKit兼容表示和数据集转换，实现随机和情感可控动画，并与商业工具对比验证效果。
2026-06-09 cs.GR cs.HC cs.MM
Facial Expression Retargeting from Human to Avatar Made Easy
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
从人到虚拟人物的面部表情重定向是计算机图形和动画中的一种有用技术。传统的方法使用标记或blendshapes来构建人类和化身面部之间的映射。然而，这些方法需要繁琐的3D建模过程，并且性能依赖于建模者的经验。在本文中，我们提出了一个全新的解决方案，通过非线性表达式嵌入和表达式域转换的跨域表达式传输问题。我们首先建立低维潜在空间的人和化身的面部表情与变分自编码器。然后，我们构建的几何和感知约束指导下的两个潜在空间之间的对应关系。具体而言，我们设计几何对应关系来反映几何匹配，并利用三元组数据结构来表达用户对化身表情的感知偏好。提出了一种用户友好的方法来自动生成三元组的系统，允许用户轻松，高效地注释的对应关系。使用几何和感知对应，我们训练了一个网络，用于从人类到化身的表达域翻译。大量的实验结果和用户研究表明，即使是非专业用户也可以应用我们的方法以更少的时间和精力生成高质量的面部表情重定位结果。
2020-08-12 cs.CV cs.GR
FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks
InterDigital Inc.（互迪公司）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国布列塔尼计算机与随机系统研究所）；IMT Atlantique（大西洋 Mines-Télécom 学院）；M2S
在本文中，我们提出了FaceTuneGAN，一个新的三维人脸模型表示分解和编码分别人脸身份和面部表情。我们提出了第一个适应的图像到图像的翻译网络，已成功地用于在2D域，3D人脸几何。利用最近发布的大型面部扫描数据库，已经训练了神经网络以通过更好地了解面部来解耦变化因素，从而实现面部表情转移和表情面部的中和。具体来说，我们设计了一个对抗架构，它适应了FUNIT的基础架构，并使用SpiralNet++进行卷积和采样操作。使用两个公开可用的数据集（FaceScape和CoMA），FaceTuneGAN比最先进的技术具有更好的身份分解和面部中和。它还通过预测更接近地面真实数据的融合变形来优于经典的变形转移方法，并且由于源和目标之间的面部形态差异太大而具有较少的不期望的伪影。
2021-12-01 cs.CV cs.GR
Neural Face Rigging for Animating and Retargeting Facial Meshes in the Wild
The University of Hong Kong（香港大学）；Adobe Research（奥多比研究院）
提出神经面部绑定（NFR），一种端到端深度学习方法，无需手动混合形状即可自动绑定和重定向野外任意面部网格，提供可解释的编辑参数并生成细粒度细节。
2023-05-15 cs.AI cs.GR
Neural Face Skinning for Mesh-agnostic Facial Expression Cloning
Visual Media Lab, KAIST, Republic of Korea（韩国科学技术院视觉媒体实验室）；Flawless AI, United States of America（美国Flawless AI）
提出一种结合全局与局部变形模型的神经蒙皮方法，通过预测顶点蒙皮权重局部化全局潜在代码，实现网格无关的高保真面部表情克隆与直观编辑。
2025-05-28 cs.CV cs.GR
Emo3D: Metric and Benchmarking Dataset for 3D Facial Expression Generation from Emotion Description
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出Emo3D数据集及同名评估度量，利用大语言模型生成广泛情感文本描述并配对图像与三维混合变形，以改进三维面部表情合成及其视觉-文本对齐评估。
2024-10-02 cs.CL cs.CV cs.GR
Anatomically Constrained Implicit Face Models
DisneyResearch|Studios（迪士尼研究工作室）
针对传统解剖约束人脸模型评估慢、构建需大量数据的问题，提出由隐式神经网络集成的解剖隐式人脸模型，仅需少量数据即可恢复约束面部的解剖子结构，可替代传统blendshape模型并适用于多类人脸相关任务。
2023-12-12 cs.CV cs.GR
Learning Audio-Driven Viseme Dynamics for 3D Face Animation
Tencent AI Lab（腾讯人工智能实验室）
我们提出了一种新的音频驱动的面部动画的方法，可以从输入的音频生成逼真的嘴唇同步的3D面部动画。我们的方法从语音视频中学习视位动态，产生动画友好的视位曲线，并支持多语言语音输入。我们的方法的核心是一个新的参数化视位拟合算法，利用音素先验提取语音视频的视位参数。在音素的指导下，提取的视位曲线能更好地与音素相关，从而更易于控制，对动画师更友好。为了支持多语言语音输入和对不可见语音的泛化能力，我们利用在多种语言上预训练的深度音频特征模型来学习从音频到视位曲线的映射。即使输入音频受到音量、音高、速度或噪声的影响，我们的音频到曲线映射也能实现最先进的性能。最后，提出了一种基于视位扫描的高保真视位资产获取方法，以实现高效的语音动画制作。我们表明，预测的视位曲线可以应用于不同的视位操纵的字符，以产生各种个性化的动画与现实和自然的面部运动。我们的方法是艺术家友好的，可以很容易地集成到典型的动画制作工作流程，包括blendshape或基于骨骼的动画。
2023-01-15 cs.CV cs.GR
DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance
本文提出DreamFace，一种文本引导的3D人脸渐进式生成方案，通过从粗到细的几何生成、双路径纹理合成及跨身份表情先验学习，生成具有高保真渲染质量和丰富动画能力的个性化3D面部资产。
2023-04-01 cs.GR
Accurate, Interpretable, and Fast Animation: An Iterative, Sparse, and Nonconvex Approach
Institute for Systems and Robotics, Instituto Superior Técnico（系统与机器人研究所，高等理工学院）；NOVA School of Science and Technology（新里斯本大学科学技术学院）；University of Novi Sad（诺维萨德大学）；Lateral Animation Studio, Epic Games Company（3Lateral动画工作室，Epic Games公司）
数字人体动画依赖于人脸的高质量3D模型：钻机。面装备必须准确，同时计算速度要快。最常见的装配模型之一是混合变形模型。针对人脸动画中的非凸逆Rig问题，提出了一种新的求解算法。我们的方法是基于模型的，但与以前的基于模型的方法相比，我们使用二次而不是线性近似高阶钻机模型。这将解决方案的准确性平均提高了8%，并且通过经验结果证实，增加了结果参数向量的稀疏性-这是动画艺术家可解释性的重要特征。建议的解决方案是基于Levenberg-Marquardt（LM）算法，应用到一个非凸约束问题的稀疏正则化。为了降低迭代的复杂性，进一步调用优化最小化（MM）的范例，这导致了一个容易解决的问题，在每个算法迭代的参数是可分离的。该算法进行了评估的一些动画数据集，专有和开源，结果表明，我们的方法相比，基于线性钻机近似的标准方法的优越性。虽然我们的算法针对特定的问题，它可能有额外的信号处理应用。
2021-09-20 cs.GR cs.LG math.OC
