On Applicability of Synthetic Datasets for Facial Expression Recognition
Department of Computer Engineering, Istanbul Technical University（伊斯坦布尔技术大学计算机工程系）；Department of Informatics, University of Zurich（苏黎世大学信息学系）；Division of Engineering, NYU Abu Dhabi（纽约大学阿布扎克分校工程系）
本文研究了合成数据集在面部表情识别中的应用，提出三种隐私保护策略来构建平衡的数据集，并通过实验验证了合成数据在缓解类别不平衡和隐私限制方面的有效性。
2026-05-17 cs.CV
Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition
Xiamen University（厦门大学）；University College London（伦敦大学学院）；Xiamen University of Technology（厦门理工学院）
现有的复合表情识别方法大多依赖于大规模的带标签的复合表情数据进行训练。然而，收集这些数据是劳动密集型和耗时的。在本文中，我们解决了复合FER任务中的跨域少样本学习（FSL）设置，它只需要在目标域的复合表达式的几个样本。具体来说，我们提出了一种新的级联分解网络（CDNet），它级联几个学习分解模块与共享参数的基础上的顺序分解机制，以获得一个可转移的特征空间。为了缓解在我们的任务中由于有限的基类而导致的过拟合问题，设计了一种部分正则化策略，以有效地利用情景训练和批量训练的最佳效果。通过在多个基本表达式数据集上进行类似任务的训练，CDNet学习了学习分解的能力，可以很容易地识别看不见的复合表达式。在实验室和野生化合物表达数据集上的广泛实验证明了我们提出的CDNet对几种最先进的FSL方法的优越性。代码可在：https://github.com/zouxinyi0625/CDNet.
2022-07-16 cs.CV
Automated facial recognition system using deep learning for pain assessment in adults with cerebral palsy
Balearic ASPACE Foundation（巴利阿里ASPACE基金会）；University of the Balearic Islands（巴利阿里群岛大学）；Research Institute on Health Sciences (IUNICS)（健康科学研究所 (IUNICS)）；Health Research Institute of the Balearic Islands (IdISBa)（巴利阿里群岛健康研究所 (IdISBa)）；Federal University of ABC（ABC联邦大学）
该研究构建脑性瘫痪疼痛表情数据集 CPPAIN，并在三个疼痛数据库上训练十种深度网络，证明 InceptionV3 可用于该人群的自动化疼痛评估。
2024-01-22 cs.CV
A survey of facial recognition techniques
本文综述了面部识别技术，包括多种先进方法和数据库分析，旨在提供全面的文献回顾和实验结果。
2026-01-09 cs.CV cs.GR
Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors
本文提出眼动行为辅助的多模态情绪识别数据集EMER及EMERT架构，通过模态对抗特征解耦和多任务Transformer弥合面部表情识别与情绪识别之间的差距，显著提升情绪识别鲁棒性。
2024-11-19 cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression
Megvii Inc.（旷视科技有限公司）
人脸标志点定位在人脸识别和分析应用中具有重要的作用。在本文中，我们简要介绍了一个由粗到细的流水线与神经网络和序列回归。首先，将全局卷积网络应用于整体面部图像以给出初始地标预测。然后裁剪多尺度局部图像块的金字塔，以馈送到每个地标的新网络，以改进预测。由于细化网络输出比输入更准确的位置估计，因此可以重复这种过程若干次，直到估计收敛。我们在300-W数据集上评估了我们的系统[11]，它的性能优于最近的最新技术。
2015-11-16 cs.CV
Fast and Robust Face-to-Parameter Translation for Game Character Auto-Creation
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着角色扮演游戏（RPG）的快速发展，玩家现在可以根据自己的喜好编辑游戏角色的面部外观，而不是使用默认模板。本文提出了一种游戏角色自动生成框架，根据玩家输入的人脸照片生成游戏中的角色。与以往基于神经风格转换或单目3D人脸重建的方法不同，我们从不同的角度重新制定了字符自动创建过程：通过预测大量的物理意义的面部参数下的自监督学习范例。我们引入了一个面部参数翻译器，而不是像以前的方法那样在渲染器的输入端迭代地更新面部参数，这是耗时的，因此可以通过从面部嵌入到参数的单个前向传播有效地完成创建，具有相当大的1000倍计算加速。尽管它的效率很高，但在我们的方法中保留了交互性，允许用户根据他们的需要选择性地微调我们创建的面部参数。我们的方法也表现出更好的鲁棒性比以前的方法，特别是对于那些照片与头部姿势方差。在七个公开人脸验证数据集上的对比和消融分析表明了该方法的有效性。
2020-08-17 cs.CV
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格纽蒂实验室研究院）
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案，除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取：（1）纯随机采样，（2）均匀采样和（3）顺序采样。随后是最多三个标准空间增强的组合。然后，我们使用一个深度R（2+1）D网络的FER，我们训练在一个自我监督的方式的基础上增强，随后微调。在Oulu-CASIA数据集上进行了实验，并将其性能与FER中的其他作品进行了比较。结果表明，我们的方法达到了89.4%的准确率，设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献，拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University（南洋理工大学）
由于真实感人脸可以很容易地通过面部操纵技术生成，这些技术的潜在恶意滥用引起了极大的关注。因此，提出了许多deepfake检测方法。然而，现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现，人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作，这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果，我们强调了这一需求，并提出了一个新的研究问题，称为检测序列DeepFake操纵（Seq-DeepFake）。与现有的只需要二进制标签预测的deepfake检测任务不同，检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查，我们构建了第一个Seq-DeepFake数据集，其中人脸图像被顺序地操作，并具有相应的顺序人脸操作向量的注释。基于这个新的数据集，我们将检测Seq-DeepFake操作作为一个特定的图像到序列（例如图像描述）任务，并提出了一个简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们建立了一个全面的基准，并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果，以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Face Trees for Expression Recognition
Queen’s University（女王大学）
我们提出了一个端到端的面部表情识别架构。我们的模型学习面部标志的最佳树拓扑，其遍历生成一个序列，我们从中获得嵌入来喂养顺序学习器。所提出的架构包括两个主要的流，一个集中在地标位置学习的脸的结构，而另一个集中在周围的地标补丁学习纹理信息。每个流之后是注意力机制，并且输出被馈送到双流融合组件以执行最终分类。我们对两个大规模的公开可用的面部表情数据集，AffectNet和FER2013进行了广泛的实验，以评估我们的方法的有效性。我们的方法优于该领域的其他解决方案，并在这些数据集上设置了新的最先进的表情识别率。
2021-12-05 cs.CV cs.LG
Understanding bias in facial recognition technologies
在过去的几年里，围绕自动面部识别的争论已经达到了沸点。随着开发人员继续迅速将这类技术的范围扩大到几乎无限的应用范围，越来越多的批评声音响起了对这类系统扩散的有害影响的担忧。反对者认为，不负责任地设计和使用面部检测和识别技术（FDRT）可能会侵犯公民自由，侵犯基本人权，并进一步巩固结构性种族主义和系统性边缘化。他们还警告说，面部监控基础设施逐渐蔓延到生活经验的各个领域，可能最终会消除现代民主生活形式，这些生活形式长期以来为个人繁荣，社会团结和人类自我创造提供了宝贵的手段。相比之下，捍卫者强调数字化精简的面部识别、身份验证和特征描述能力可能带来的公共安全、安保和效率方面的收益。在这篇文章中，我将重点放在这场辩论的一个核心方面：偏见和歧视的动态在FDRT的开发和部署中发挥的作用。我研究了歧视的历史模式如何从最早的时刻进入FDRT的设计和实施。而且，我解释了使用有偏见的FDRT可能导致分配和分配不公的方式。解释者最后探讨了围绕普遍的基于面部的监控基础设施的潜在扩散的更广泛的伦理问题，并提出了一些建议，以培养更负责任的方法来开发和治理这些技术。
2020-10-05 cs.CV cs.CY cs.DB
Auditing Facial Emotion Recognition Datasets for Posed Expressions and Racial Bias
School of Computing（计算学院）；Queen's University（女王大学）；Department of Philosophy（哲学系）
本研究审计了两个最先进的FER数据集，发现其中混入大量摆拍图像，且训练的模型对非白人和深色皮肤人群存在负面情绪预测偏见，可能导致现实应用中的伤害。
2025-07-14 cs.AI cs.CV
Real Time Face Recognition Using Convoluted Neural Networks
SNIST
人脸识别是利用人脸识别人的过程之一，它有各种各样的应用，如身份验证系统，监控系统和执法。卷积神经网络被证明是人脸识别的最佳方法。使用core-ml api检测人脸，并通过coreML模型处理提取的人脸，该模型经过训练以识别特定的人。数据集的创建是通过将待识别人员的人脸视频转换为数百张人的图像来完成的，这些图像进一步用于模型的训练和验证，以提供准确的实时结果。
2020-10-09 cs.CV
On the Pitfalls of Learning with Limited Data: A Facial Expression Recognition Case Study
University of Campinas（坎皮纳斯大学）
深度学习模型需要大量数据进行训练。在视频识别和分类方面，随着新的大型数据库的引入，取得了重大进展。然而，在若干情况下，建立大型培训数据库是不可行的。因此，现有的或小的收集的数据库通常被连接和放大以训练这些模型。然而，在有限的数据上训练神经网络并不简单，而且会带来一系列问题。在本文中，我们探讨了在使用有限数据进行训练时，堆叠数据库、模型初始化和数据放大技术对深度学习模型性能的影响。本文主要研究视频中的人脸表情识别问题。我们对四个不同复杂度的数据库和九个深度学习架构进行了广泛的研究。我们发现：（i）当使用迁移学习和综合生成的数据进行训练时，复杂的训练集可以更好地转化为更稳定的测试集，但它们的性能会产生很高的方差;（ii）使用更详细的数据进行训练可以在新的场景中获得更稳定的性能（尽管业绩较低）; ㈢合并不同种类的数据并不是一种简单的改进，因为扩充和初始化的类型至关重要;（iv）传统的数据增强无法填补因连接大部分分离的数据集而产生的漏洞;（v）归纳偏差在与合成数据配对时有助于弥合差距，但在使用标准初始化技术时，这些数据是不够的。
2021-04-02 cs.CV cs.LG
Zero-Shot Text-to-Parameter Translation for Game Character Auto-Creation
Netease Fuxi AI Lab（网易伏羲AI实验室）；Nankai University（南开大学）；Beihang University（北京航空航天大学）
最近流行的角色扮演游戏（RPG）看到了角色自动创建系统的巨大成功。由连续参数（如骨骼的位置）和离散参数（如发型）控制的骨骼驱动面部模型使用户可以个性化和自定义游戏中的角色。以前的游戏角色自动创建系统大多是图像驱动的，其中面部参数被优化，以便渲染的角色看起来与参考面部照片相似。提出了一种新的文本到参数转换方法（T2P），实现了zero-shot文本驱动的游戏角色自动生成。使用我们的方法，用户可以创建一个生动的游戏中的字符与任意的文本描述，而无需使用任何参考照片或手动编辑数百个参数。在我们的方法中，利用大规模预训练的多模态CLIP和神经渲染的能力，T2P在统一的框架中搜索连续的面部参数和离散的面部参数。由于参数表示的不连续性，以前的方法很难有效地学习离散的人脸参数。据我们所知，T2P是第一个可以处理离散和连续参数优化的方法。实验结果表明，T2P可以生成高质量和生动的游戏人物与给定的文本提示。T2P在客观评价和主观评价方面都优于其他SOTA文本到3D生成方法。
2023-03-02 cs.CV
Robust Sequential DeepFake Detection
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对现有DeepFake检测仅支持单步操控二分类的局限，该研究提出序列DeepFake操控检测新任务，构建了首个对应数据集及扰动版本，并设计两款Transformer模型实现鲁棒的序列操控预测。
2024-12-07 cs.CV
CG-GAN: An Interactive Evolutionary GAN-based Approach for Facial Composite Generation)
IT University of Copenhagen（哥本哈根信息技术大学）
面部合成是目击者对面部记忆的图形表示。许多数字系统可用于创建这样的复合材料，但要么无法复制功能，除非事先设计或不允许整体改变的形象。在本文中，我们通过消除对专家知识的依赖，并让系统从示例中学习表示人脸来提高合成创建的效率。新的方法，合成生成GAN（CG-GAN），应用生成和演化计算，让休闲用户可以轻松地创建面部合成。具体来说，CG-GAN利用pg-GAN的生成器网络来创建高分辨率的人脸。为用户提供了几个功能，以交互方式繁殖和编辑面。CG-GAN提供了一种生成和处理静态和动画照片般逼真的面部复合材料的新方法，可以组合由不同目击者生成的同一肇事者的多种表示。
2019-11-28 cs.CV
Deep Learning for Automatic Detection and Facial Recognition in Japanese Macaques: Illuminating Social Networks
Université Jean Monnet（让·莫内大学）；Wildlife Research Center, Kyoto University（京都大学野生动物研究中心）；Ecole Normale Supérieure, Université PCL（巴黎文理研究大学高等师范学院）；Université de Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；Kyoto University Institute for Advanced Study（京都大学高等研究院）；Université Catholique de Lille（里尔天主教大学）；Institut Universitaire de France（法国大学研究院）
本研究探索用深度学习实现日本猕猴面部检测与个体识别，构建非侵入性工具，并旨在自动生成社交网络，初步检测和识别准确率分别达82.2%和83%。
2023-10-10 cs.CV cs.LG cs.SI
FACTS: Facial Animation Creation using the Transfer of Styles
University of Bath（巴斯大学）；Epic Games（Epic Games公司）
针对传统面部动画成本高、音频驱动模型非音频关联区域表现力不足的问题，提出基于StarGAN的风格迁移面部动画方法，结合视位保留损失维持口型同步，可实现情绪与人物风格的转换。
2023-07-18 cs.CV cs.GR
SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator
ShanghaiTech University（上海科技大学）；Shanghai Ninth People’s Hospital（上海第九人民医院）；Deemos Technology Co., Ltd.（迪莫斯科技有限公司）
近年来，由于三维人脸建模在数字人、角色生成和动画制作等方面的广泛应用，人们对三维人脸建模的兴趣越来越大。现有的人脸建模方法主要侧重于人脸的外部形状、纹理和皮肤属性，而忽略了人脸内部骨骼结构与外观之间的内在联系。在本文中，我们提出了SCULPTOR，3D人脸创建与骨架一致性使用学习参数面部generaTOR，旨在通过混合参数-物理表示方便地创建解剖学上正确的和视觉上令人信服的人脸模型。SCULPTOR的核心是LUCY，这是与整形外科医生合作的第一个大规模形状骨骼人脸数据集。我们的LUCY数据集以已知最古老的人类祖先之一的化石命名，包含正颌手术前后完整人类头部的高质量计算机断层扫描（CT）扫描，对于评估手术结果至关重要。LUCY由72名受试者（31名男性和41名女性）的144次扫描组成，其中每名受试者在正颌手术前后进行两次CT扫描。基于我们的LUCY数据集，我们学习了一种新的骨架一致性参数面部生成器SCULPTOR，它可以创建独特而细致入微的面部特征，帮助定义角色，同时保持生理健全。我们的SCULPTOR在统一的数据驱动框架下联合建模头骨，面部几何和面部外观，通过将3D面部的描述分离为形状混合形状，姿势混合形状和面部表情混合形状。与现有方法相比，SCULPTOR在面部生成任务中保留了解剖正确性和视觉真实性。最后，我们展示了SCULPTOR在各种新奇应用中的鲁棒性和有效性。
2022-12-02 cs.CV
Face-to-Parameter Translation for Game Character Auto-Creation
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Beihang University（北京航空航天大学）；Zhejiang University（浙江大学）
角色定制系统是角色扮演游戏（RPG）中的一个重要组成部分，允许玩家根据自己的喜好而不是使用默认模板来编辑游戏中角色的面部外观。提出了一种根据输入的人脸照片自动生成玩家游戏角色的方法。我们制定了面部相似性测量和参数搜索范式下的上述“艺术创作”的过程中，通过解决一个优化问题，在一个大的物理意义的面部参数。为了有效地最小化创建的人脸与真实人脸之间的距离，专门设计了两个损失函数，即“区分损失”和“人脸内容损失”。由于游戏引擎的渲染过程是不可微的，进一步引入生成网络作为“模仿者”来模仿游戏引擎的物理行为，使得所提出的方法可以在神经风格转换框架下实现，并且可以通过梯度下降来优化参数。实验结果表明，我们的方法实现了输入的人脸照片和创建的游戏中的字符在全局外观和局部细节方面的高度生成相似性。我们的方法已经在去年的一个新游戏中部署，现在已经被玩家使用了超过100万次。
2019-09-03 cs.CV
Application of Facial Recognition using Convolutional Neural Networks for Entry Access Control
本文的目的是设计一种解决人脸识别问题的方法，使用卷积神经网络，并打算将该方法应用于基于摄像头的家庭门禁系统。更具体地说，本文着重于解决监督分类问题，即将人的图像作为输入，并将图像中的人分类为作者之一或不。提出了两种办法：（1）从头开始构建和训练一个名为WoodNet的神经网络;（2）利用在ImageNet数据库上预先训练的网络，利用迁移学习，并使其适应本项目的数据和类。为了训练模型来识别作者，已经创建了包含超过15万张图像的数据集，在作者和其他人之间进行了平衡。从视频中提取图像和图像增强技术有助于数据集的创建。结果是两个模型以高精度对数据集中的个体进行分类，在保留的测试数据上达到99%以上的准确率。预训练模型的拟合速度明显快于WoodNet，并且似乎更好地泛化。然而，这些结果带来了一些警告。由于数据集的编制方式以及高准确性，人们有理由相信模型在某种程度上过度拟合数据。数据编译方法的另一个后果是测试数据集可能与训练数据没有足够的不同，从而限制了其验证模型泛化的能力。然而，在基于网络摄像头的系统中利用这些模型，对人脸进行实时分类，显示出有希望的结果，并表明这些模型至少对某些类别的推广相当不错（见随附的视频）。
2020-11-23 cs.CV cs.LG
BeyondFacial: Identity-Preserving Personalized Generation Beyond Facial Close-ups
DIDS, NUDT, China（国防科技大学）；TJU, China（天津大学）；Unit 32010 of the Chinese PLA（中国解放军第三二零一零单位）
本文提出了一种突破面部特写限制的IPPG方法，通过双线推断和身份自适应融合策略，提升身份保真度和场景语义生成能力。
2025-11-21 cs.CV
Towards the Automatic Anime Characters Creation with Generative Adversarial Networks
Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）；Stony Brook University（石溪大学）
自生成对抗网络（GAN）问世以来，人脸图像的自动生成得到了广泛的研究。存在一些尝试将GAN模型应用于生成动漫人物的面部图像的问题，但是现有的工作都没有给出有希望的结果。在这项工作中，我们探索了专门针对动漫面部图像数据集的GAN模型的训练。我们从数据和模型两个方面来解决这个问题，通过收集更干净，更合适的数据集，并利用DRAGAN的适当的经验应用。通过定量分析和案例研究，我们证明了我们的努力导致了一个稳定和高质量的模型。此外，为了帮助人们进行动漫角色设计，我们建立了一个网站（make.girls.moe），其中包含我们在线提供的预训练模型，这使得该模型易于公众访问。
2017-08-18 cs.CV
Tag-Based Annotation for Avatar Face Creation
UC Santa Cruz（加州大学圣克鲁兹分校）
针对虚拟形象自动生成面临的训练数据噪声大的问题，提出采用基于标签的标注方法训练模型，提升标注一致性与预测质量，并针对Bitmoji的3种面部特征设计标签完成鼻子预测模型训练。
2023-08-24 cs.CV
SEED: A Benchmark Dataset for Sequential Facial Attribute Editing with Diffusion Models
Huazhong University of Science and Technology（华中科技大学）；University of Nevada Reno（内华达大学拉森分校）；University of Macau（澳门大学）
本文提出了大规模序列面部编辑数据集SEED，并开发了结合高频线索的Transformer模型FAITH，以解决扩散模型序列编辑的归因与检测鲁棒性挑战。
2025-05-31 cs.CV cs.MM
Neutral Face Game Character Auto-Creation via PokerFace-GAN
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
游戏角色自定义是最近许多角色扮演游戏（RPG）的核心功能之一，玩家可以根据自己的喜好编辑游戏中角色的外观。研究了用单张照片自动生成游戏角色的问题。在最近关于这个主题的文献中，神经网络被引入以使游戏引擎可区分，并且自监督学习被用于预测面部定制参数。然而，在以前的方法中，表情参数和面部身份参数彼此高度耦合，使得难以对角色的内在面部特征进行建模。此外，以往的方法中使用的基于神经网络的渲染器也很难扩展到多视图渲染的情况。针对上述问题，本文提出了一种新的基于PokerFace-GAN的中性人脸游戏角色自动生成方法。我们首先建立了一个微分字符渲染器，这是更灵活的多视图渲染情况下，比以前的方法。然后，我们利用对抗性训练来有效地将表情参数与身份参数分开，从而生成玩家偏好的中性面部（无表情）角色。由于我们的方法的所有组件是可区分的，我们的方法可以很容易地在多任务自监督学习范式下训练。实验结果表明，该方法可以生成与输入照片高度相似的逼真的中性人脸游戏角色。对比结果和烧蚀研究验证了该方法的有效性。
2020-08-17 cs.CV
1DFormer: a Transformer Architecture Learning 1D Landmark Representations for Facial Landmark Tracking
iFLYTEK Research（讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
针对现有方法未充分挖掘1D关键点表征时序与结构建模潜力的问题，提出1DFormer架构，通过时序与空间维度的令牌交互学习表征，在人脸关键点跟踪任务上达到SOTA性能。
2024-02-01 cs.CV
LaVieID: Local Autoregressive Diffusion Transformers for Identity-Preserving Video Creation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Hong Kong University of Science and Technology（香港科学与技术大学）；Mohamed bin Zayed University of Artificial Intelligence（马尔代夫 bin Zayed 人工智能大学）；Lenovo Research（联想研究）
LaVieID提出局部自回归视频扩散框架，通过局部路由器显式表示面部潜在状态并集成时间自回归模块校正潜在token，有效缓解身份信息丢失，显著提升帧间身份一致性，实现高保真个性化视频生成。
2025-08-11 cs.CV
Facial Expression Detection using Patch-based Eigen-face Isomap Networks
University of Washington, Bothell（华盛顿大学博塞尔分校）
自动面部表情检测问题提出了两个主要挑战，包括表情和面部遮挡（眼镜，胡须，胡子或面部覆盖物）的变化。在本文中，我们介绍了一种新的自动补丁创建技术，掩盖了一个特定的兴趣区域的脸，其次是特征值分解的补丁的脸和生成的Isomaps来检测潜在的聚类模式之间的脸。所提出的掩蔽特征脸的Isomap聚类技术实现了75%的灵敏度和66-73%的准确率在约1秒的每张图像的人脸与遮挡和笑脸的分类。此外，介数中心性，本征中心性和最大信息流可以被用来作为基于网络的措施，以确定最显着的表情分类任务的训练脸。该方法可以与基于特征的表情分类方法结合使用，在大数据集上提高表情分类精度。
2015-11-11 cs.CV
TempT: Temporal consistency for Test-time adaptation
Stanford University（斯坦福大学）
提出 TempT，利用视频连续帧预测的时间一致性作为自监督信号进行测试时适应，并在 AffWild2 上以轻量 2D CNN 取得有竞争力的 FER 性能。
2023-04-18 cs.AI cs.CV
Democratizing the Creation of Animatable Facial Avatars
Stanford University（斯坦福大学）；Epic Games
本研究提出无需高端硬件的平民化可动画面部化身创建流程，通过图像扭曲投影结合模板化身实现几何与纹理重建，并用Simon Says方法构建个人专属动画绑定。
2024-01-29 cs.CV cs.GR
CCR: Facial Image Editing with Continuity, Consistency and Reversibility
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing（机器人与智能制造研究所）；University of Chinese Academy of Sciences（中国科学院大学）
序列人脸图像编辑存在三个问题：不连续编辑、不一致编辑和不可逆编辑。不连续编辑是指当前编辑不能保留以前编辑过的属性。编辑不一致是指交换属性编辑顺序不能产生相同的结果。不可逆编辑意味着对面部图像的操作是不可逆的，特别是在连续的面部图像编辑中。本文提出了编辑连续性、编辑一致性和编辑可逆性的概念和定义。然后，我们提出了一种新的模型，以实现编辑的连续性，一致性和可逆性的目标。定义了一个充分判据来判定模型是否连续、相容和可逆。大量的定性和定量实验结果验证了我们提出的模型，并表明一个连续的，一致的和可逆的编辑模型具有更灵活的编辑功能，同时保持面部身份。此外，我们认为，我们提出的定义和模型将有广泛的和有前途的应用在多媒体处理。代码和数据可在https://github.com/mickoluan/CCR上获得。
2022-09-22 cs.AI cs.CV
3D Facial Imperfection Regeneration: Deep learning approach and 3D printing prototypes
CIRTECH Institute（CIRTECH研究所）；HUTECH University（胡志明市工业大学）；Quy Nhon University（归仁大学）；China Medical University Hospital（中国医药大学附设医院）；China Medical University（中国医药大学）
这项研究探讨了一个完全卷积网格自动编码器模型的潜力，用于在存在不完美区域的情况下重新生成3D自然人脸。我们利用图形处理和分析中的深度学习方法来研究重建面部疤痕填充部分的能力模型。我们在数据集创建的方法是能够合理地生成一个面部疤痕在虚拟空间，对应于独特的情况。特别是，我们提出了一种新的方法，这是命名为三维面部缺陷再生（3D-FaIR）再现一个完整的面部重建的基础上，其余的功能的病人的脸。为了进一步提高本研究的应用能力，我们开发了一种改进的离群值技术来分离患者的伤口，并提供合适的伤口覆盖模型。此外，Cir 3D-FaIR数据集的不完美的面孔和开放的代码发布在https://github.com/SIMOGroup/3DFaIR。我们的研究结果表明，所提出的方法可以帮助患者通过方便的技术更快，更安全地恢复。我们希望这项研究能够为面部疤痕再生的新产品和创新解决方案的开发做出贡献。
2023-03-25 cs.CV
FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability
本文提出FAAC方法，利用锚定帧和3D人脸模型条件控制，解决面部视频生成中的保真度、一致性和可编辑性问题，显著提升生成质量。
2023-12-20 cs.CV
Unmasking Facial DeepFakes: A Robust Multiview Detection Framework for Natural Images
University of Quebec in Outaouais（魁北克大学 Outaouais分校）
针对深度伪造检测在姿态变化和遮挡下的不足，提出融合全局、中间、局部及朝向四种编码器的多视角框架，在挑战性数据集上超越单视角方法。
2025-10-17 cs.CV
DipGuava: Disentangling Personalized Gaussian Features for 3D Head Avatars from Monocular Video
本文提出DipGuava方法，通过解耦面部外观为两个互补组件，从单目视频生成具有个性化特征的3D头部虚拟人物，提升真实感和表现力。
2026-03-30 cs.CV
Conditional Image Generation and Manipulation for User-Specified Content
University of Amsterdam（阿姆斯特丹大学）；Dutch National Police（荷兰国家警察）
近年来，生成对抗网络（GANs）在生成越来越令人印象深刻的真实世界图像方面取得了稳步进展。为了诸如内容创建之类的目的，操纵图像生成过程是有用的。这可以通过在附加信息上调节模型来完成。然而，当条件作用于附加信息时，仍然存在大量符合特定条件作用的图像。这使得所生成的图像不太可能完全如用户所设想的那样，这对于诸如生成面部合成或库存照片的实际内容创建场景是有问题的。为了解决这个问题，我们提出了一个单一的管道文本到图像的生成和操作。在管道的第一部分中，我们介绍了textStyleGAN，这是一个以文本为条件的模型。在管道的第二部分，我们使用textStyleGAN的预训练权重来执行语义面部图像操作。该方法的工作原理是在潜在空间中寻找语义方向。我们表明，这种方法可以用来操纵面部图像的广泛的属性。最后，我们介绍了CelebTD-HQ数据集，这是CelebA-HQ的扩展，由人脸和相应的文本描述组成。
2020-05-11 cs.CV
EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology Beijing（北京科技大学）；The New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室模式识别新实验室）；The New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室）
针对语音驱动3D面部动画中情感与语音内容难以解耦的问题，本文提出EmoDiffusion，通过双VAE、潜在扩散和Emotion Adapter生成情感表情，并构建3D-BEF数据集验证其优越性。
2025-03-14 cs.CV
Diverse Code Query Learning for Speech-Driven Facial Animation
Toyohashi University of Technology（丰桥技术科学大学）；Iwate University（岩手大学）
本文针对语音驱动面部动画中一对多映射和小数据集多样性不足问题，提出基于向量量化变分自编码先验的多样化代码查询学习模型，通过多样性损失和分部位顺序生成实现多样化且可控的面部动画合成，并在定量与定性实验中取得最先进性能。
2024-09-27 cs.CV
High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies
Tencent AI Lab（腾讯人工智能实验室）；Tencent NExT Studios（腾讯NExT工作室）
我们提出了一个全自动系统，可以用消费者RGB-D自拍相机制作高保真、照片般逼真的3D数字人头。该系统只需要用户在旋转头部的同时拍摄一段简短的自拍RGB-D视频，就可以在不到30秒的时间内生成高质量的头部重建。我们的主要贡献是一种新的面部几何建模和反射率合成程序，显着提高了最新技术水平。具体来说，给定输入视频，首先采用两阶段帧选择程序来选择一些高质量的帧进行重建。然后，基于微分渲染器的3D变形模型（3DMM）拟合算法被应用于从多视图RGB-D数据中恢复面部几何形状，该算法利用了强大的3DMM基础，通过大量的数据生成和扰动来构建。我们的3DMM比传统的3DMM具有更大的表达能力，使我们能够仅使用线性基础来恢复更准确的面部几何形状。对于反射率合成，我们提出了一种混合方法，该方法结合了参数拟合和CNN，以合成具有逼真毛发/毛孔/皱纹细节的高分辨率的神经元/法线贴图。结果表明，我们的系统可以产生忠实的三维数字人脸与非常逼真的细节。主要代码和新构建的3DMM基础是公开的。
2021-06-29 cs.CV cs.GR
Facial Expression Analysis under Partial Occlusion: A Survey
Central Queensland University（中央昆士兰大学）；Southern Cross University（南十字星大学）；Queensland University of Technology（昆士兰科技大学）
基于机器的自动面部表情分析（FEA）在过去的几十年中取得了实质性的进展，这是由于其在心理学、安全、健康、娱乐和人机交互中的重要应用。绝大多数已完成的FEA研究都是基于在受控实验室环境中收集的非遮挡面。容忍部分遮挡的自动表情识别仍然不太了解，特别是在现实世界中。近年来，研究FEA处理部分咬合的技术的努力有所增加。背景是正确的，以全面的角度来看这些发展和国家的艺术从这个角度。这项调查提供了这样一个全面的审查，在数据集创建，算法开发，并在FEA系统中的强大性能的关键闭塞的影响调查的最新进展。它概述了克服部分闭塞的现有挑战，并讨论了推进该技术的可能机会。据我们所知，这是第一次专门针对咬合的FEA调查，旨在促进更好的信息和基准未来的工作。
2018-02-24 cs.CV
Facial Attribute Based Text Guided Face Anonymization
Istanbul Technical University（伊斯坦布尔技术大学）
本文提出一种基于深度学习的人脸匿名化流水线，利用RetinaNet、VGG-Face和BrushNet扩散模型，通过文本提示指定面部属性生成不可识别的逼真人脸，以创建符合隐私要求的数据集。
2025-05-27 cs.CV
Face Video Generation from a Single Image and Landmarks
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
在本文中，我们关注的是具有挑战性的问题，产生一个完整的图像序列的可变形的脸只给出一个图像和通用的面部运动编码的一组稀疏的地标。为此，我们建立在图像到图像转换的最新突破基础上，例如pix2pix，CycleGAN和StarGAN，它们学习深度卷积神经网络（DCNN），学习在不同域之间映射对齐的对或图像（即，具有不同的标签），并提出了一种新的架构，其不再由标签驱动，而是由空间地图、面部地标驱动。特别是，我们提出了MotionGAN，它根据目标地标的热图将输入的人脸图像转换为新的人脸图像。我们表明，它是可以创建非常逼真的人脸视频使用一个单一的图像和一组目标地标。此外，我们的方法可以用于根据地标（例如，表达、言语等）。这为面部编辑、表情转移、面部视频创建等提供了比基于离散表情、音频或动作单元的模型更大的灵活性。
2019-04-25 cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络，从多序列或多视角人脸图像实现人脸超分辨率，其统一的身份表示可提升行人重识别性能，效果优于现有方法。
2026-07-31 cs.CV
Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出VividTalker框架，通过将头部姿态与嘴部运动解耦并分别编码到离散潜在空间，结合窗口Transformer自回归生成和精细3D数据集，实现具有自然头部姿态和面部细节的语音驱动3D面部动画。
2023-10-31 cs.AI cs.CV
DeepFakes: Detecting Forged and Synthetic Media Content Using Machine Learning
University of Louisiana（路易斯安那大学）；Southern Utah University（南犹他大学）；Dixie State University（迪克西州立大学）；Charles Darwin University（查尔斯达尔文大学）；Ahsanullah University of Science & Technology（阿赫萨努拉科技大学）
深度学习的快速发展使得区分真实和操纵的面部图像和视频片段变得前所未有的困难。通过深度生成方法操纵面部外观的底层技术，被称为DeepFake，最近通过推广大量恶意面部操纵应用程序而出现。因此，需要其他类型的技术来评估数字视觉内容的完整性，以减少DeepFake创作的影响。对DeepFake创建和检测进行的大量研究创造了一个相互推动的范围，超越了当前的状态。本研究通过回顾DeepFake领域的显着研究，提出了与DeepFake创建和检测技术相关的挑战，研究趋势和方向，以促进更强大的方法的开发，这些方法可以在未来处理更先进的DeepFake。
2021-09-07 cs.CV cs.IR
FlowVQTalker: High-Quality Emotional Talking Face Generation through Normalizing Flow and Quantization
Shanghai Jiao Tong University（上海交通大学）
本文提出FlowVQTalker，通过归一化流和向量量化建模生成高质量情感说话人脸，解决了音频到面部动态一对多映射及情感纹理细节缺失问题。
2024-04-23 cs.CV
How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
The University of Nottingham（诺丁汉大学）
本文研究了一个非常深的神经网络在现有的2D和3D人脸对齐数据集上达到接近饱和性能的距离。为此，我们做出了以下5个贡献：（a）我们首次通过将最先进的地标定位架构与最先进的残留块相结合来构建非常强大的基线，在非常大但综合扩展的2D面部地标数据集上对其进行训练，并最终在所有其他2D面部地标数据集上对其进行评估。(b)我们创建了一个由2D地标网络引导的网络，该网络将2D地标注释转换为3D，并统一了所有现有的数据集，从而创建了LS 3D-W，这是迄今为止最大和最具挑战性的3D面部地标数据集~ 230，000张图像。(c)在此之后，我们训练了一个用于3D人脸对齐的神经网络，并在新引入的LS 3D-W上对其进行了评估。(d)我们进一步研究了影响人脸对齐性能的所有“传统”因素的影响，如大姿态，初始化和分辨率，并引入了一个“新”因素，即网络的大小。(e)我们表明，2D和3D人脸对齐网络实现了显着的准确性，这可能是接近饱和所使用的数据集的性能。训练和测试代码以及数据集可以从https://www.adrianbulat.com/face-alignment/下载
2017-09-07 cs.CV cs.LG
Gorgeous: Create Your Desired Character Facial Makeup from Any Ideas
Universiti Malaya（马来亚大学）
提出基于扩散模型的妆容应用方法$Gorgeous$，通过三到五张任意类型图像汲取灵感生成独特主题角色面部妆容，突破了传统迁移依赖人脸参考图像的限制，增强了视觉叙事的叙事深度与视觉冲击力。
2024-04-22 cs.CV cs.MM
VM-BeautyNet: A Synergistic Ensemble of Vision Transformer and Mamba for Facial Beauty Prediction
Scientific and Technical Research Centre for Arid Areas, CRSTRA（干旱地区科学与技术研究中心，CRSTRA）
针对面部美感预测中全局结构与高效长距离建模需求，提出融合 ViT 和 Mamba 视觉模型的 VM-BeautyNet，在 SCUT-FBP5500 上取得最优指标并通过 Grad-CAM 验证互补性。
2025-10-17 cs.CV
CartoonAlive: Towards Expressive Live2D Modeling from Single Portraits
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
提出 CartoonAlive 方法，利用形状基构建 Live2D 面部混合变形并依据面部关键点推断权重，从单张肖像在半分钟内生成高表现力、可实时交互的 2D 卡通数字人。
2025-07-23 cs.CV
A Dual-Branch CNN for Robust Detection of AI-Generated Facial Forgeries
Computer Science Department University of Southern Maine Portland, United States（计算机科学系 俄亥俄州立大学 帕斯托市 美国）；The Department of Computer Science University of Central Oklahoma Edmond, United States（计算机科学系 中央俄克拉荷马大学 埃德蒙德 美国）
针对生成式AI伪造人脸带来的安全威胁，本研究提出融合空间与频域线索的双分支CNN，结合FSC损失函数，在DiFF基准上表现优于人类平均水平，助力AI生态安全防护。
2025-10-28 cs.CV
