Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学（PUCPR））；State University of Ponta Grossa (UEPG)（蓬塔格罗萨州立大学（UEPG））；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院（ÉTS））
这项工作描述了不同的策略，以产生无监督的表示通过自学的概念获得面部情绪识别（FER）。其思想是通过改变自动编码器的初始化、架构和训练数据来创建互补表示，从而促进多样性。SVM，Bagging，随机森林，和动态集成选择方法作为最终的分类方法进行评估。Jaffe和Cohn-Kanade数据集上使用leave-one-subject-out协议的实验结果表明，基于所提出的多样化表示的FER方法与探索无监督特征学习的最先进方法相比毫不逊色。
2022-04-26 cs.CV cs.LG
Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder
The Hong Kong University of Science and Technology（香港科技大学）
基于单幅人脸图像的真实感人脸表情合成可以广泛应用于人脸识别、情感识别的数据增强、娱乐等领域。这个问题是具有挑战性的，部分原因是由于标记的面部表情数据的缺乏，使得算法难以消除由于身份而引起的变化和由于表情而引起的变化的歧义。在本文中，我们提出了条件差分对抗自动编码器，CDAAE，面部表情合成。CDAAE获取先前看不见的人的面部图像，并生成具有目标情感或面部动作单元标签的该人脸的图像。CDAAE将前馈路径添加到自动编码器结构，将编码器处的低级别特征连接到解码器处的对应级别的特征。它通过学习生成同一个人但具有不同面部表情的图像的低级特征之间的差异来处理由于身份而引起的变化和由于面部表情而引起的变化的消歧问题。CDAAE结构可用于通过在训练集中的面部表情/动作单元之间进行组合和插值来生成新颖的表情。我们的实验结果表明，CDAAE可以保存身份信息时，生成的面部表情看不见的主题比以前的方法更忠实。这在使用小型数据库进行训练时尤其有利。
2017-08-30 cs.CV
MARLIN: Masked Autoencoder for facial video Representation LearnINg
Monash University（莫纳什大学）；Curtin University（科廷大学）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）
本文提出了一种自监督的方法来从视频中学习通用的面部表示，该方法可以跨各种面部分析任务进行传输，例如面部属性识别（FAR），面部表情识别（FER），DeepFake检测（DFD）和嘴唇同步（LS）。我们提出的框架，名为MARLIN，是一个面部视频掩码自编码器，学习高度鲁棒性和通用的面部嵌入丰富的非注释网络抓取的面部视频。作为一项具有挑战性的辅助任务，MARLIN从密集掩蔽的面部区域（主要包括眼睛，鼻子，嘴巴，嘴唇和皮肤）重建人脸的时空细节，以捕获局部和全局方面，从而帮助编码通用和可转移的特征。通过对不同下游任务的各种实验，我们证明MARLIN是一个优秀的面部视频编码器以及特征提取器，在包括FAR在内的各种下游任务中表现一致（比监督基准提高1.13%），外汇储备（比无监督基准提高2.64%）、DFD（比无监督基准提高1.86%）、LS（Frechet Inception Distance提高29.36%），甚至在低数据状态下也是如此。我们的代码和模型可以在https://github.com/ControlNet/MARLIN上找到。
2023-03-22 cs.CV
One-shot domain adaptation for semantic face editing of real world images using StyleALAE
真实世界人脸图像的语义人脸编辑是生成模型的一个重要应用。最近，多项工作已经探索了使用预训练的GAN模型的潜在结构来生成这种修改的可能技术。然而，这样的方法通常需要训练编码器网络，并且这通常是耗时且资源密集的过程。这种基于GAN的架构的可能替代方案可以是styleALAE，这是一种基于潜在空间的自动编码器，可以生成高质量的照片级逼真图像。不幸的是，在风格ALAE重建的图像不保留输入的面部图像的身份。这限制了styleALAE用于具有已知身份的图像的语义面部编辑的应用。在我们的工作中，我们使用一次领域自适应的最新进展来解决这个问题。我们的工作确保了重建图像的身份与给定的输入图像相同。我们通过使用预训练的styleALAE模型的潜在空间来进一步生成对重建图像的语义修改。结果表明，我们的方法可以产生任何真实世界的面部图像的语义修改，同时保持身份。
2021-08-31 cs.CV
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression
Fudan University（复旦大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
面部老化和面部年轻化分析给定的面部照片以预测人的未来外观或估计人的过去外观。为了实现这一点，关键是要保持人类身份和相应的老化进展和回归的高精度。然而，现有的方法不能同时很好地处理这两个目标。我们提出了一种新的基于生成对抗网络的方法，命名为有序回归条件多对抗自动编码器（CMAAE-OR）。它利用年龄估计技术来控制老化的准确性，并采取高层次的特征表示，以保持个性化的身份。具体地，首先通过卷积编码器将面部映射到潜在向量。然后通过去卷积生成器将潜在向量投影到以年龄为条件的面部流形上。特征向量保留了个性化的人脸特征，年龄控制了人脸的衰老和年轻化。在编码器和生成器上施加一个递归和一个有序回归，使得生成的人脸图像更加逼真，同时表现出理想的老化效果。此外，一个高层次的特征表示是用来保持个性化的身份生成的脸。在两个基准数据集上的实验表明，该方法的性能优于现有技术。
2018-04-08 cs.CV
Emotion Intensity Matters: Generating Realistic Expressions in Virtual Humans with CVAEs
该研究针对虚拟人类表情生成难题，提出基于CVAEs的方法，利用含7680个样本的小数据集训练模型，可控制情绪强度，生成逼真表情，适用于虚拟角色动画。
2026-08-25 cs.CV cs.GR
DisControlFace: Adding Disentangled Control to Diffusion Autoencoder for One-shot Explicit Facial Image Editing
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Tsinghua University（清华大学）
本文提出DisControlFace框架，通过冻结Diff-AE预训练权重并结合随机语义掩码策略独立训练Exp-FaceNet，实现了高层语义与3DMM显式参数的解耦控制，在单样本场景下完成了高保真且身份保持更好的显式人脸图像编辑。
2024-07-24 cs.CV
Multimodal Channel-Mixing: Channel and Spatial Masked AutoEncoder on Facial Action Unit Detection
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Rice University（莱斯大学）
针对多模态面部AU检测中异质性数据表征学习难、早期融合研究不足的问题，提出带通道混合模块的多模态重建预训练网络MCM，通过随机丢通道+掩码自编码器重建实现鲁棒特征学习，在相关数据集上性能超越SOTA基线。
2023-08-21 cs.CV
Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition
Ho Chi Minh City University of Education（胡志明市师范大学）；University of Economics Ho Chi Minh City-UEH（胡志明市经济大学）；Vietnamese-German University（越南德国大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对FER数据集有限导致模型泛化不足的问题，提出融合MAE-Face自监督学习与多视图融合注意力的方法，并通过Aff-wild2数据集验证性能提升。
2024-05-12 cs.CV
Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring
研究针对驾驶场景中面部动作单元检测难题，提出双循环自动编码器TCA，由空间和时间循环自动编码器分支组成，通过特定损失耦合与融合，在多数据集上评估效果优于基线，能维持实时吞吐量，可用于生产级ADAS。
2026-07-23 cs.AI cs.CV
MTCAE-DFER: Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition
Florida International University（佛罗里达国际大学）
本文提出MTCAE-DFER，通过基于ViT的即插即用级联解码器融合VideoMAE全局特征与任务局部特征，并结合多任务学习缓解过拟合，提升动态表情识别性能。
2025-07-26 cs.CV cs.LG cs.MM
Facial Emotion Detection Using Convolutional Neural Networks and Representational Autoencoder Units
情感是一个主观的东西，利用标记数据背后的知识和科学并提取构成它的组件，多年来一直是行业中的一个具有挑战性的问题。随着深度学习在计算机视觉中的发展，情感识别已经成为一个广泛解决的研究问题。在这项工作中，我们提出了两个独立的方法来完成这项任务。第一种方法使用自动编码器来构建每个情感的唯一表示，而第二种方法是8层卷积神经网络（CNN）。这些方法是在姿态情感数据集（JAFFE）上训练的，为了测试它们的鲁棒性，这两个模型还在来自野生标签人脸（LFW）数据集的100张随机图像上进行了测试，该数据集由坦率的图像组成。结果表明，通过更多的微调和深度，我们的CNN模型可以优于最先进的情感识别方法。我们还提出了一些令人兴奋的想法，扩大代表性自动编码器的概念，以提高其性能。
2017-06-05 cs.CV stat.ML
Discrete Facial Encoding: : A Framework for Data-driven Facial Display Discovery
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
针对现有面部表情编码系统覆盖有限、标注成本高的问题，提出基于RVQ-VAE的无监督离散面部编码框架，在多项心理任务中性能优于FACS及主流表示学习模型，可作为其高效替代方案。
2025-10-02 cs.CV
Transformer with Leveraged Masked Autoencoder for video-based Pain Assessment
Chonnam National University（全南大学）
本文提出一种结合 Masked Autoencoder 与 Transformers 分类器的深度学习模型，通过面部视频的表情与微表情有效捕捉疼痛指标，在 AI4Pain 数据集上取得良好结果，为客观全面的医疗疼痛评估提供创新方案。
2024-09-30 cs.CV
Improving Variational Autoencoder with Deep Feature Consistent and Generative Adversarial Training
Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
提出了一种提高变分自编码器（VAE）性能的新方法。除了执行深度特征一致性原则，从而确保VAE输出及其对应的输入图像具有相似的深度特征外，我们还实现了生成对抗训练机制，以迫使VAE输出逼真和自然的图像。我们提出的实验结果表明，我们的新方法训练的VAE在生成具有更清晰，更自然的鼻子，眼睛，牙齿，头发纹理以及合理的背景的人脸图像方面优于现有技术。我们还表明，我们的方法可以学习输入人脸图像的强大嵌入，可用于实现面部属性操作。此外，我们提出了一种多视角特征提取策略，以提取有效的图像表示，这可以用来实现最先进的性能在面部属性预测。
2019-06-04 cs.CV
FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks
InterDigital Inc.（互迪公司）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国布列塔尼计算机与随机系统研究所）；IMT Atlantique（大西洋 Mines-Télécom 学院）；M2S
在本文中，我们提出了FaceTuneGAN，一个新的三维人脸模型表示分解和编码分别人脸身份和面部表情。我们提出了第一个适应的图像到图像的翻译网络，已成功地用于在2D域，3D人脸几何。利用最近发布的大型面部扫描数据库，已经训练了神经网络以通过更好地了解面部来解耦变化因素，从而实现面部表情转移和表情面部的中和。具体来说，我们设计了一个对抗架构，它适应了FUNIT的基础架构，并使用SpiralNet++进行卷积和采样操作。使用两个公开可用的数据集（FaceScape和CoMA），FaceTuneGAN比最先进的技术具有更好的身份分解和面部中和。它还通过预测更接近地面真实数据的融合变形来优于经典的变形转移方法，并且由于源和目标之间的面部形态差异太大而具有较少的不期望的伪影。
2021-12-01 cs.CV cs.GR
Scalable Audio-Visual Masked Autoencoders for Efficient Affective Video Facial Analysis
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Cyber Science and Engineering, Zhengzhou University（郑州大学网络科学与工程学院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）；Inspur Group（Inspur集团）；Research Center for Space Computing System, Zhejiang Lab（浙江实验室空间计算系统研究中心）
针对情感视频面部分析数据有限及跨模态建模难题，提出可扩展音视频 MAE 模型 AVF-MAE++，通过双重掩码、相关性学习模块和三阶段训练，在17个数据集上取得SOTA。
2025-09-29 cs.CV
Periodic-MAE: Periodic Video Masked Autoencoder for rPPG Estimation
Division of Electronics and Information Engineering, Jeonbuk National University, Republic of Korea（电子与信息工程系，全州国立大学）
提出Periodic-MAE，一种自监督框架，通过周期性感知掩码和生理频带约束，从无标签面部视频学习可泛化的时空表示，提升远程光电容积描记法（rPPG）估计性能。
2026-06-12 cs.CV
Multi-modal Facial Affective Analysis based on Masked Autoencoder
Netease Fuxi AI Lab（网易伏羲人工智能实验室）
本文提出基于掩码自编码器的多模态面部情感分析方法，通过自监督预训练MAE、Aff-wild2微调及transformer多模态时序融合，在ABAW5竞赛的AU、EXPR和VA任务中取得领先成绩。
2023-04-11 cs.CV
ReMiX-MAE: Learning Missing-Channel Cross-Modal Representations from RGB-Only Clinical Facial Videos for Sympathetic-Mediated Pain Assessment
School of Computing, Binghamton University（宾汉姆顿大学计算学院）；SUNY Upstate Medical University（纽约州立大学上州医科大学）
本文提出ReMiX-MAE框架，构建SMP数据集，在仅用RGB的疼痛评估任务中，其性能优于仅用RGB的基线，且在数据有限的临床场景中迁移能力更优。
2026-08-04 cs.CV
DiffusionAct: Controllable Diffusion Autoencoder for One-shot Face Reenactment
Kingston University London（伦敦金斯顿大学）；City University of London（伦敦城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
DiffusionAct利用扩散自编码器的语义空间控制，实现一次性人脸再现，无需特定主体微调，在保留身份外观的同时转移姿态表情，性能优于或媲美现有方法。
2025-03-25 cs.AI cs.CV
AU-vMAE: Knowledge-Guide Action Units Detection via Video Masked Autoencoder
Shanghai Jiao Tong University（上海交通大学）；Huawei（华为）
针对FAU检测中标记数据稀缺和身份多样性不足的问题，提出基于视频掩码自编码器的预训练方案，利用多标签和时间一致性扩展监督，并采用AU对状态矩阵指导训练，在BP4D和DISFA上显著提升性能。
2024-07-16 cs.CV
A Generative Framework for Self-Supervised Facial Representation Learning
Fudan University（复旦大学）
本文提出LatentFace生成框架，利用3D感知潜在扩散模型解耦面部身份与表情，在自监督面部表示学习中实现FER和人脸验证的最优性能。
2024-05-23 cs.CV
Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
人脸表情自动识别是情感识别和计算机视觉的重要研究领域。应用可以在几个领域中找到，例如医疗，驾驶员疲劳监测，社交机器人和其他几个人机交互系统。因此，机器应该能够高精度地识别用户的情绪状态是至关重要的。近年来，深度神经网络在识别情绪方面取得了巨大成功。在本文中，我们提出了一个新的模型，连续的情感识别的基础上，面部表情识别的无监督学习方法的基础上迁移学习和自动编码器。所提出的方法还包括预处理和后处理技术，有助于提高性能的一致性相关系数的唤醒和效价尺寸的预测。在RECOLA 2016数据集上预测自发和自然情绪的实验结果表明，基于视觉信息的方法可以分别实现0.516和0.264的效价和唤醒的CCC。
2020-01-31 cs.CV cs.LG
MAE-DFER: Efficient Masked Autoencoder for Self-supervised Dynamic Facial Expression Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文提出自监督方法 MAE-DFER，通过大规模无标注数据预训练和高效 LGI-Former 编码器，在降低约38%计算成本的同时，显著提升动态面部表情识别性能。
2023-08-08 cs.AI cs.CV cs.HC
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media（网络与数字媒体系）；Kingston University（金史密斯大学）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Westminster（威斯敏斯特大学）
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台，生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV
Thermal to Visible Face Recognition Using Deep Autoencoders
Department of Computer Engineering Istanbul Technical University（伊斯坦布尔技术大学计算机工程系）
可见人脸识别系统使用深度学习实现了近乎完美的识别精度。然而，在缺乏光的情况下，这些系统表现不佳。处理这个问题的一种方法是热可见的跨域人脸匹配。这是一种期望的技术，因为它在夜间监视中是有用的。然而，由于两个领域之间的差异，这是一个非常具有挑战性的人脸识别问题。在本文中，我们提出了一个基于深度自动编码器的系统来学习可见光和热人脸图像之间的映射。此外，我们评估热对齐可见人脸识别的影响。为此，我们手动注释卡尔和EURECOM数据集上的面部标志。该方法在三个公开的数据集上进行了广泛的测试：Carl，UND-X1和EURECOM。实验结果表明，该方法提高了国家的最先进的显着。我们观察到对齐将性能提高了约2%。本研究中的注释面部标志位置可从以下链接下载：github.com/Alpkant/Thermal-to-Visible-Face-Recognition-Using-Deep-Autoencoders。
2020-02-10 cs.CV cs.LG eess.IV
Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
针对人脸表情识别中标签模糊、细粒度特征监督不足的问题，提出PF-ViT模型，通过生成扑克脸实现情感解耦与识别，在四个主流数据集上达到最优性能。
2024-10-10 cs.CV
Deep Feature Consistent Variational Autoencoder
University of Nottingham（诺丁汉大学）；Shenzhen University（深圳大学）
提出一种基于深度特征一致性的变分自编码器构建方法，利用预训练CNN定义特征感知损失取代逐像素损失，显著提升了生成图像的视觉质量及面部属性预测性能。
2024-03-20 cs.CV
DIME: Scaling Facial Representation Learning via Differential Masked Autoencoding
ELLIS Institute Finland（芬兰ELLIS研究所）；CMVS, University of Oulu（奥卢大学CMVS）；University of Trento（特伦托大学）
DIME是一种差分掩码自编码器，通过利用同身份图像的差分方向监督，在2000万张面部图像上预训练后，在多项面部分析任务上性能优于专用方法，且随数据扩展持续提升。
2026-10-14 cs.CV
Controlled AutoEncoders to Generate Faces from Voices
Carnegie Mellon University（卡内基梅隆大学）
过去的多项研究表明，人类的声音特征和面部特征之间存在很强的相关性。然而，现有的方法只是从声音中生成人脸，而没有探索有助于这些观察到的相关性的特征集。一种探索这一问题的计算方法可以通过将问题重新措辞为：“目标面孔必须改变多少才能被认为是源声音的发起者？“从这个角度来看，我们提出了一个框架，以一种面部特征隐含地受到本文中学习的语音-面部相关性的指导的方式，根据给定的语音对目标面部进行变形。我们的框架包括一个引导的自动编码器，它将一张脸转换为另一张脸，由一个独特的模型调节组件控制，称为门控控制器，它根据输入的语音记录修改重建的脸。我们通过人体和人脸检索的VoxCelab和VGGFace数据集上的框架进行评估。各种实验证明了我们提出的模型的有效性。
2021-07-16 cs.CV cs.LG cs.SD
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS（新里斯本大学计算机科学与信息学实验室）；Universidad Autonoma de Madrid（马德里自治大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统，深入分析相关文献，评估现有检测方法在无约束场景下的性能，并发布iFakeFaceDB数据库，指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
Learning via social awareness: Improving a deep generative sketching model with facial feedback
Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
在对通用人工智能（AI）的探索中，研究人员已经探索开发损失函数，在没有外部奖励的情况下充当内在激励因素。本文认为，这样的研究忽略了一个重要的和有用的内在动机：社会互动。我们认为，让人工智能智能体意识到来自人类的隐性社会反馈，可以更快地学习更通用和有用的表示，并可能影响人工智能的安全性。我们以面部表情反应的形式收集社会反馈，这些反馈来自Sketch RNN，这是一种基于LSTM的变分自编码器（VAE），旨在生成草图。我们使用潜在约束GAN（LC-GAN）从一小群观众的面部反馈中学习，通过优化模型来生成草图，它预测将导致更积极的面部表情。我们在多个独立的评估中表明，用面部反馈训练的模型产生了更高评价的草图，并诱导了更积极的面部表情。因此，我们建立了隐式社会反馈可以提高深度学习模型的输出。
2018-08-27 cs.CV cs.HC cs.LG
Skin feature point tracking using deep feature encodings
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
面部特征跟踪是成像心冲击描记术（BCG）的关键组成部分，其中需要面部关键点的位移的准确量化以用于良好的心率估计。皮肤特征跟踪使基于视频的帕金森病运动退化的量化成为可能。传统的计算机视觉算法包括尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）和卢卡斯-卡纳德方法（LK）。这些方法在效率和准确性方面一直代表着最先进的水平，但当存在常见的变形（如仿射局部变换或照明变化）时就会失败。在过去的五年中，深度卷积神经网络在大多数计算机视觉任务中的表现优于传统方法。我们提出了一个用于特征跟踪的管道，该管道应用卷积堆栈自动编码器来识别图像中与包含感兴趣特征的参考作物最相似的作物。自动编码器学习将图像裁剪表示为特定于其训练对象类别的深度特征编码。我们在面部图像上训练自动编码器，并使用手动标记的面部和手部视频验证其跟踪皮肤特征的能力。独特皮肤特征（痣）的跟踪误差非常小，因此我们不能排除它们源于基于$χ^2$测试的手动标记。平均误差为0.6-4.2像素，我们的方法在所有情况下，但一个优于其他方法。更重要的是，我们的方法是唯一没有分歧的方法。我们的结论是，我们的方法创建更好的特征描述符的特征跟踪，特征匹配和图像配准比传统的算法。
2022-12-04 cs.AI cs.CV cs.LG
Unsupervised Skin Feature Tracking with Deep Neural Networks
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
本文提出卷积堆叠自编码器的无监督皮肤特征跟踪方法DFE，通过高斯加权残差损失降低边缘效应与标注需求，并在面部和手部视频上以0.6至3.3像素平均误差超越多种传统及监督方法。
2024-05-08 cs.CV
DicFace: Dirichlet-Constrained Variational Codebook Learning for Temporally Coherent Video Face Restoration
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
针对视频人脸修复中时序一致性难维持的问题，提出DicFace方法，通过狄利克雷约束变分码本与时空Transformer将静态图像预训练VQ-VAE适配到视频任务，在多任务上达到SOTA并缓解闪烁伪影。
2025-06-16 cs.CV
DAE-Talker: High Fidelity Speech-Driven Talking Face Generation with Diffusion Autoencoder
Shanghai Jiao Tong University（上海交通大学）
提出DAE-Talker，利用扩散自编码器提取数据驱动的潜在表示，结合Conformer的speech2latent模型，实现高保真、唇形同步且姿势可控的语音驱动说话人脸生成。
2025-04-04 cs.CV cs.MM
Mask-aware Photorealistic Face Attribute Manipulation
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Sensetime Tech. Dev. Co., Ltd（北京商汤科技开发有限公司）
人脸属性操作的任务已经发现越来越多的应用，但仍然具有挑战性的要求，编辑的属性的人脸图像，同时保持其独特的细节。在本文中，我们选择结合变分自动编码器（VAE）和生成对抗网络（GAN）的真实感图像生成。我们提出了一种有效的方法来修改编码器的特征图中的适量像素，不断改变属性强度，而不妨碍全局信息。我们的VAE和GAN的训练目标通过监督人脸识别损失和周期一致性损失来加强，以忠实地保留人脸细节。此外，我们生成了面部面具来加强背景一致性，这使得我们的训练专注于操纵前景人脸而不是背景。实验结果表明，我们的方法，称为面具对抗自动编码器（M-AAE），可以生成高质量的图像与不断变化的属性，并优于以前的方法在细节保护。
2018-04-24 cs.CV
Confidence-Weighted Local Expression Predictions for Occlusion Handling in Expression Recognition and Action Unit detection
Sorbonne Universités, UPMC Univ Paris 06, CNRS, ISIR UMR 7222（索邦大学，巴黎第六大学，法国国家科学研究中心，ISIR UMR 7222）
从静止图像中进行全自动面部表情识别（FER）是一项具有挑战性的任务，因为它涉及处理大的人际形态差异，并且偶尔会发生部分遮挡。此外，标记表达式是一个耗时的过程，易于主观性，因此训练数据可能无法完全覆盖可变性。在这项工作中，我们建议训练随机森林上空间定义的局部子空间的脸。输出的本地预测形成了一个分类表达式驱动的高级表示，我们称之为本地表达式预测（LEP）。LEP可以组合来描述分类面部表情以及动作单元（AU）。此外，LEP可以通过自动编码器网络提供的置信度得分来加权。这种网络被训练成以分层方式局部捕获非遮挡训练数据的流形。大量的实验表明，所提出的LEP表示产生高的描述能力的分类表达式和AU发生预测，并导致有趣的观点对遮挡鲁棒性和置信度感知FER系统的设计。
2016-07-21 cs.CV
Deep Learning Architectures for Face Recognition in Video Surveillance
École de technologie supérieure, Université du Québec（魁北克大学高等技术学院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
用于视频监控（VS）应用的人脸识别（FR）系统试图在分布式摄像机网络上准确地检测目标个体的存在。在基于视频的FR系统中，目标个体的面部模型在注册期间使用有限数量的参考静止图像或视频数据先验地设计。由于照明、姿态、比例、遮挡、模糊和相机互操作性的大变化，这些面部模型通常不代表在操作期间观察到的面部。具体地，在静止到视频FR应用中，采用在受控条件下用静止相机捕获的单个高质量参考静止图像来生成面部模型，该面部模型稍后将与在不受控条件下用视频相机捕获的较低质量面部相匹配。当前基于视频的FR系统可以在受控场景中表现良好，而它们的性能在不受控场景中不令人满意，主要是因为源（登记）和目标（操作）域之间的差异。这方面的大部分努力都是为了在无约束的监控环境中设计鲁棒的基于视频的FR系统。本章概述了通过深度卷积神经网络（CNN）实现静止到视频FR场景的最新进展。特别地，在文献中提出的基于三重损失函数的深度学习架构（例如，互相关匹配CNN、主干-分支集合（trunk-branch ensemble）CNN和HaarNet）和监督自动编码器（例如，规范的人脸表示CNN）进行审查和比较的准确性和计算复杂性。
2018-06-27 cs.CV
Foundations for Unfairness in Anomaly Detection -- Case Studies in Facial Imaging Data
University of California, Davis（加州大学戴维斯分校）
本研究探讨了深度异常检测在面部图像数据中的不公平性，通过实验分析基于自编码器和单类的算法，验证了代表性不足、虚假特征和标签噪声等不公平性来源及其层级关系。
2024-07-29 cs.AI cs.CV
DeepFN: Towards Generalizable Facial Action Unit Recognition with Deep Face Normalization
Microsoft Research（微软研究院）；University of Houston（休斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
针对面部动作单元识别对未见过的人脸和人群特征泛化能力有限的问题，提出基于自监督去噪自编码器的深度人脸归一化方法DeepFN，将表情迁移至通用模板，显著缩小了不同个体、性别、肤色和数据集间的泛化差距。
2021-03-03 cs.AI cs.CV cs.LG
Gated Variational AutoEncoders: Incorporating Weak Supervision to Encourage Disentanglement
University of Surrey（萨里大学）
变分自编码器（VAE）提供了一种生成代表性潜在嵌入的方法。以前的研究已经强调了实现分离的表征的好处，特别是对于下游任务。然而，关于如何鼓励与VAE的解纠缠存在一些争论，并且有证据表明，VAE的现有实现没有一致地实现解纠缠。对VAE的潜在空间被分解得有多好的评估通常是根据我们对给定问题应该分解哪些属性的主观期望来评估的。因此，根据定义，我们已经有了应该实现的领域知识，但我们使用无监督的方法来实现它。我们提出了一种弱监督的方法，将任何可用的领域知识纳入训练过程中，形成Gated-VAE。该过程涉及分割代表性嵌入和门控反向传播。所有分区都用于前向传递，但梯度根据选定的图像/目标配对通过不同的分区反向传播。该方法可以用来修改现有的VAE模型，如beta-VAE，InfoVAE和DIP-VAE-II。实验表明，使用门控反向传播，潜在的因素表示在其预期的分区。该方法适用于面部图像的目的是解开头部姿势从面部表情。定量指标表明，使用Gated-VAE提高了平均解纠缠，完整性和信息量，与un-gated实现相比。潜在的遍历定性评估表明，即使只有弱/嘈杂的监督是可用的，它的解纠缠的头部姿势从表达。
2019-11-15 cs.CV cs.LG
CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系（DEIB））
提出CUPID方法，利用3D人脸重建的UV纹理图和掩码自编码器，无需深度伪造视频训练即可检测特定人物深度伪造，并实现可解释性和鲁棒性。
2026-07-13 cs.CV
SRMAE: Masked Image Modeling for Scale-Invariant Deep Representations
Beihang University（北京航空航天大学）；The University of Tokyo（东京大学）
本文提出SRMAE，将随机图像块下采样并结合超分辨率预测头进行掩码图像建模，从而学习尺度不变表征，并在ImageNet-1K、VLR识别和低分辨率表情识别中取得优异结果。
2023-08-17 cs.CV
Deep Appearance Models for Face Rendering
Facebook Reality Labs（Facebook现实实验室）
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发，我们开发了一个数据驱动的渲染管道，该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器，捕捉复杂的非线性效应，同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果（如镜面反射）进行建模。此外，它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同，传统的图形管道需要高度精确的几何结构以及着色模型的所有元素，以通过物理启发的光传输来实现真实感。在实践中，获得如此高的准确度是困难的，特别是对于面部的复杂和复杂的部分，例如睫毛和口腔。我们的方法自然地处理这些问题，不依赖于几何形状的精确估计。相反，着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时，我们根据摄像机的视点来调节解码网络，以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎，通过动态纹理与平面照明。这种表示，再加上一种新的无监督技术，用于将图像映射到面部状态，导致系统自然适合于实时交互设置，如虚拟现实（VR）。
2018-08-01 cs.CV cs.GR
Learning Extremal Representations with Deep Archetypal Analysis
University of Basel（巴塞尔大学）
原型是极端意义上的典型群体代表，其中典型性被理解为特征或特征的最极端表现。在线性特征空间中，原型近似于数据凸包，允许所有数据点被表示为原型的凸混合。然而，在给定的特征空间中识别有意义的原型并不总是可能的。学习适当的特征空间和识别合适的原型同时解决了这个问题。本文介绍了一种生成公式的线性原型模型，参数化的神经网络。通过引入距离相关的原型损失，线性原型模型可以被集成到变分自编码器的潜在空间中，并且可以端到端地学习关于未知原型的最优表示。线性原型分析的重构作为深层变分信息瓶颈，允许在训练期间并入任意复杂的边信息。此外，一个替代的先验，基于修改后的狄利克雷分布，提出了。通过探索女性面部表情的原型，同时使用基于多评分器的情感分数，这些表情作为边信息，所提出的方法的现实世界的适用性。第二个应用程序说明了小有机分子的化学空间的探索。在这个实验中，证明了交换边信息但保持相同的分子集合，例如，G.使用每个分子的热容量而不是带隙能量作为辅助信息将导致不同原型的识别。作为一个应用，这些化学空间的学习表示可能会揭示从头分子设计的不同起点。
2020-02-03 cs.CV cs.LG
