Will your Doorbell Camera still recognize you as you grow old
University of Galway（戈尔韦大学）；Xperi Corporation（Xperi公司）
本文研究年龄增长对门铃摄像头人脸认证性能的影响，利用 AgeDB 和 Morph-II 数据集及照片级年龄变换方法合成衰老数据，实验证明长期年龄效应仍是当前最先进人脸认证方法面临的重大挑战。
2023-08-08 cs.CV
evTransFER: A Transfer Learning Framework for Event-based Facial Expression Recognition
Institute of Engineering Sciences, Universidad de O'Higgins（工程科学研究所，奥希金斯大学）
evTransFER通过迁移学习框架提升基于事件相机的面部表情识别性能，利用对抗生成方法和LSTM捕捉时空动态，实现93.6%的识别率。
2025-12-31 cs.CV
Low cost enhanced security face recognition with stereo cameras
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Idneo Inc.（Idneo公司）
本文探讨了一种人脸识别替代方案，旨在解决大多数识别架构中的当前安全漏洞。目前市场上的低成本面部认证软件由于缺乏深度信息，可能会被面部的打印图片所欺骗。该软件在立体声设置的帮助下创建了面部的深度图，提供了比传统识别程序更高的安全性。通过深度卷积神经网络处理对人的身份和面部深度图的分析，提供安全的低成本实时面部认证方法。
2020-11-04 cs.CV
Facial Information Analysis Technology for Gender and Age Estimation
KyungPook National University（庆北国立大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
这是对用于估计性别和年龄的面部信息分析技术的研究，并且使用相机坐标系和用于估计面部图像的姿势的世界坐标系之间的变换关系矩阵来估计姿势。与年龄估计相比，性别分类相对简单，并且使用基于深度学习的面部识别技术使年龄估计成为可能。提出了一种比较性的CNN，使用购买的数据库和公共数据库计算实验结果，基于深度学习的性别分类和年龄估计在显著水平上进行，与现有的机器学习技术相比，对环境变化更鲁棒。
2021-11-17 cs.CV
FERA 2017 - Addressing Head Pose in the Third Facial Expression Recognition and Analysis Challenge
University of Nottingham（诺丁汉大学）；University of Pittsburgh（匹兹堡大学）；Binghamton University（宾汉姆顿大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，自动面部表情分析领域发展迅速。然而，尽管在新的方法以及基准的努力取得了进展，大多数评估仍然集中在任何构成的表情，近额叶录音，或两者兼而有之。这使得很难判断现有的表情识别方法在人脸以各种姿势（或相机视图）出现的条件下如何执行，显示生态有效的表情。评估这一点的主要障碍是是否有适当的数据，这里提出的挑战是针对这一局限性。FG 2017面部表情识别和分析挑战（FERA 2017）将FERA 2015扩展到不同相机视图下的动作单元发生和强度估计。在本文中，我们提出了面部表情自动识别的第三个挑战，将于2017年5月在美国华盛顿举行的第12届IEEE面部和手势识别会议上举行。定义了两个子挑战：AU发生的检测和AU强度的估计。在这项工作中，我们概述了评估协议，使用的数据，以及两个子挑战的基线方法的结果。
2017-02-14 cs.CV
BWCFace: Open-set Face Recognition using Body-worn Camera
Wichita State University（威奇托州立大学）
随着计算机视觉在过去十年中达到一个转折点，人脸识别技术在警务、情报收集和消费者应用中变得普遍。最近，面部识别技术已被部署在随身摄像头上，以确保官员的安全，实现态势感知并为审判提供证据。然而，有限的学术研究已经进行了这一主题，使用传统的技术在小样本数据集。本文的目的是弥合差距，在国家的最先进的人脸识别使用体佩相机（BWC）。为此目的，这项工作的贡献是双重的：（1）收集一个名为BWCFace的数据集，该数据集由在室内和日光条件下使用体戴式摄像头捕获的132名受试者的总共178 K张面部图像组成，以及（2）对最新的基于深度学习的卷积神经网络（CNN）架构进行开放集评估，并结合五种不同的损失函数进行面部识别，在收集的数据集上。在我们的BWCFace数据集上的实验结果表明，当使用在大规模VGGFace 2面部图像数据集上训练的SENet-50提取面部特征时，最高可获得33.89%的Rank-1准确率。然而，当预训练的CNN模型在我们的BWCFace数据集中的身份子集上进行微调时，性能最高可提高到99.00%的Rank-1准确度。在现有人脸数据集中使用的身体佩戴的相机传感器模型中获得了等效性能。收集的BWCFace数据集和预训练/微调的算法已公开，以促进该领域的进一步研究和开发。该数据集和算法的可下载链接可通过联系作者获得。
2020-09-24 cs.CV
On Developing Facial Stress Analysis and Expression Recognition Platform
Illogic S.r.l（Illogic有限责任公司）；Cyberphysics LLC（Cyberphysics有限责任公司）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
本论文的研究工作是在一个沉浸式数字学习平台上进行系统人脸表情识别和人脸压力分析算法的实验和开发过程。该系统检索用户的网络摄像头，并使用人工神经网络（ANN）算法进行评估。ANN输出信号可用于评分和改进学习过程。使ANN适应新系统可能需要大量的实施工作或需要重复ANN训练。也有一些限制有关的最低硬件需要运行一个人工神经网络。为了克服这些限制，面部表情识别和面部压力分析算法在实时系统中的一些可能的实现。新解决方案的实施使人们有可能提高面部表情识别的准确性，并提高其响应速度。实验结果表明，使用开发的算法允许检测心率与社会设备相比，具有更好的速率。
2022-10-28 cs.CV
Sequential Clustering based Facial Feature Extraction Method for Automatic Creation of Facial Models from Orthogonal Views
多视点三维人脸建模技术近年来受到越来越多的关注，并已成为未来视频系统的潜在途径之一。我们的目标是使更可靠和强大的自动特征提取和自然的三维特征建设从一对正面和侧面视图人脸图像上检测到的二维特征。我们提出了几种启发式算法，以尽量减少可能的错误引入普遍的非完美正交条件和非相干亮度。在我们的方法中，我们首先提取在两个视图中对两个相机可见的2D特征。然后，我们估计的基础上，在两个正交视图中提取的可见特征的隐藏的轮廓视图中的特征的坐标。最后，基于提取的特征的坐标，我们变形的3D通用模型执行所需的3D克隆建模。目前的研究证明了范围的实际应用，如人脸识别和面部动画的面部模型。
2009-12-03 cs.CV
Spiking-Fer: Spiking Neural Network for Facial Expression Recognition With Event Cameras
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IMT Nord Europe（法国国立高等矿业电信学校集团北部分校）；Institut Mines-Télécom（法国国立高等矿业电信学校集团）
本文提出基于事件相机的面部表情识别任务与Spiking-FER深度卷积脉冲神经网络，构建事件流基准，并证明其以最高65.39倍的节能优势达到与ANN相当的性能。
2023-04-20 cs.AI cs.CV
Real time facial expression recognition using a novel method
Jaypee Institute of Information Technology（杰皮信息技术学院）
本文讨论了一种新的面部表情识别系统的方法，该方法从实时网络摄像头的饲料进行面部表情分析在一个接近实时的。主要目标是以接近实时的方式获得具有光不变、人无关和姿态不变的结果。该系统由培训者和评估者两个不同的实体组成。每帧视频都经过一系列步骤，包括haar分类器，皮肤检测，特征提取，特征点跟踪，创建学习的支持向量机模型来分类情感，以实现准确性和结果率之间的权衡。每10帧的处理时间为100-120 ms，精度约为60%。我们根据各种交互和分类场景来衡量我们的准确性。最后，我们讨论我们的工作相关的人机交互，并探讨进一步的措施，可以采取。
2012-05-08 cs.CV
MAFER: a Multi-resolution Approach to Facial Expression Recognition
Istituto di Scienza e Tecnologie dell’Informazione “Alessandro Faedo” – CNR（意大利国家研究委员会信息科学与技术研究所“亚历山德罗·法埃多”）
情绪在每个人的社会生活中起着核心作用，对情绪的研究是一个多学科的课题，涵盖了各种各样的研究领域。特别是关于后者，面部表情的分析代表了一个非常活跃的研究领域，由于其相关的人机交互应用。在这样的背景下，面部表情识别（FER）是识别人脸上的表情的任务。通常，面部图像由本质上具有不同特性（诸如输出分辨率）的相机获取。文献中已经表明，应用于人脸识别的深度学习模型在针对多分辨率场景进行测试时，其性能会下降。由于FER任务涉及分析可以用异构源获取的面部图像，因此涉及具有不同质量的图像，因此可以合理地预期分辨率在这种情况下也起着重要作用。从这样一个假设出发，我们证明了多分辨率训练对识别面部表情的模型的好处。因此，我们提出了一个两步学习过程，名为MAFER，训练DCNN，使他们能够在广泛的分辨率生成强大的预测。MAFER的一个相关特征是它是任务不可知的，即，它可以补充地用于其他与目标相关的技术。为了评估所提出的方法的有效性，我们进行了广泛的实验活动公开可用的数据集：\fer{}，\raf{}，和\oulu{}。对于多分辨率环境，我们观察到，使用我们的方法，学习模型改进了当前的SotA，同时在固定分辨率环境中报告了可比的结果。最后，我们分析了我们的模型的性能，并观察到从它们生成的深层特征的更高的辨别力。
2021-05-06 cs.CV
Guided Interpretable Facial Expression Recognition via Spatial Action Unit Cues
ÉTS（ÉTS（École de Technologie Supérieure））；Concordia University（康考迪亚大学）
针对面部表情识别分类器缺乏可解释性的问题，提出一种融入空间动作单元线索的通用学习策略，无需额外标注与架构改动即可提升模型分层及CAM可解释性，且不降低分类准确率。
2024-05-14 cs.CV
Deep Learning Architectures for Face Recognition in Video Surveillance
École de technologie supérieure, Université du Québec（魁北克大学高等技术学院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
用于视频监控（VS）应用的人脸识别（FR）系统试图在分布式摄像机网络上准确地检测目标个体的存在。在基于视频的FR系统中，目标个体的面部模型在注册期间使用有限数量的参考静止图像或视频数据先验地设计。由于照明、姿态、比例、遮挡、模糊和相机互操作性的大变化，这些面部模型通常不代表在操作期间观察到的面部。具体地，在静止到视频FR应用中，采用在受控条件下用静止相机捕获的单个高质量参考静止图像来生成面部模型，该面部模型稍后将与在不受控条件下用视频相机捕获的较低质量面部相匹配。当前基于视频的FR系统可以在受控场景中表现良好，而它们的性能在不受控场景中不令人满意，主要是因为源（登记）和目标（操作）域之间的差异。这方面的大部分努力都是为了在无约束的监控环境中设计鲁棒的基于视频的FR系统。本章概述了通过深度卷积神经网络（CNN）实现静止到视频FR场景的最新进展。特别地，在文献中提出的基于三重损失函数的深度学习架构（例如，互相关匹配CNN、主干-分支集合（trunk-branch ensemble）CNN和HaarNet）和监督自动编码器（例如，规范的人脸表示CNN）进行审查和比较的准确性和计算复杂性。
2018-06-27 cs.CV
Neuromorphic Event-based Facial Expression Recognition
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文提出NEFER数据集，利用事件相机捕捉RGB难以察觉的微表情，并证明基于事件的方法将面部表情识别准确率提升了一倍。
2023-04-13 cs.CV
A NIR-to-VIS face recognition via part adaptive and relation attention module
Yonsei University（延世大学）
在人脸识别应用场景中，我们需要处理各种条件下捕获的人脸图像，例如在夜间通过近红外（NIR）监控摄像头捕获的人脸图像。近红外和可见光（VIS）之间的照明差异导致面部图像之间存在域差距，并且姿势和情感的变化也使面部匹配变得更加困难。异构人脸识别（HFR）存在领域差异的困难，许多研究都集中在提取领域不变的特征，如面部部位的关系信息。然而，当姿态变化发生时，面部组件位置改变，并且提取不同的部分关系。在本文中，我们提出了一个部分关系注意模块，作物通过语义面具获得的面部部位，并使用这些代表性的功能进行关系建模。此外，我们建议组件自适应三重损失函数使用自适应权重的每个部分，以减少类内的身份，无论域以及姿势。最后，我们的方法在CASIA NIR-VIS 2.0中表现出性能改进，并在具有大姿态和情感变化的BUAA-VisNir中取得了优异的结果。
2021-02-01 cs.CV
Headset: Human emotion awareness under partial occlusions multimodal dataset
Technische Universität Berlin（柏林工业大学）；INRIA（法国国家信息与自动化研究所）；Tampere University（坦佩雷大学）；Ernst-Abbe University of Applied Sciences Jena（耶拿恩斯特·阿贝应用技术大学）
本文提出了一个多模态数据库HEADSET，包含部分遮挡下的体积数据，用于支持扩展现实应用中的面部表情分类、HMD移除和点云重建等任务。
2024-02-14 cs.CV
CS3D: An Efficient Facial Expression Recognition via Event Vision
ShanghaiTech University（上海科技大学）
CS3D通过分解卷积3D方法和引入软脉冲神经元与空间-时间注意力机制，实现了高效低能耗的面部表情识别。
2025-12-10 cs.CV cs.RO
Towards On-Device Face Recognition in Body-worn Cameras
Wichita State University（威奇托州立大学）
与识别身份相关的人脸识别技术广泛应用于情报收集、执法、监视和消费者应用中。最近，这项技术已被移植到智能手机和身体佩戴式相机（BWC）。佩戴式摄像头中的人脸识别技术用于监视、态势感知和保护警官的安全。只有少数学术研究存在于使用身体佩戴相机的面部识别中。最近的一项研究已经收集了使用随身佩戴的相机获取的BWCFace面部图像数据集，并评估了用于面部识别的ResNet-50模型。然而，对于资源受限的体戴式相机中的实时推断和涉及面部图像的隐私问题，需要设备上的面部识别。为此，本研究评估了轻量级MobileNet-V2，EfficientNet-B 0，LightCNN-9和LightCNN-29模型，用于使用佩戴式摄像头进行人脸识别。实验是在公开的BWCface数据集上进行的。在三个移动设备上评估实时推理。比较分析是使用重型VGG-16和ResNet-50模型以及六个手工制作的功能来评估性能和模型大小之间的权衡。实验结果表明，轻量级LightCNN-29与性能最佳的ResNet-50的最大秩1准确度的差异是\textbf{1.85\%}，模型参数的减少是\textbf{23.49M}。大多数深度模型在秩-5和秩-10处获得类似的性能。LightCNN的推理时间比移动设备上的其他模型快2.1倍。注意到LightCNN-29和局部相位量化（LPQ）描述符之间的\textbf{14\%}的最小性能…
2021-04-07 cs.CV
Robust multi-camera view face recognition
Dr. B. C. Roy Engineering College（B.C.罗伊工程学院）；National Institute of Technology Rourkela（鲁尔克拉国家理工学院）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Jadavpur University（贾达普大学）
提出了一种基于主成分分析（PCA）和线性判别分析（LDA）的多外观融合的多摄像机离线人脸识别（验证）系统。LDA的推广已经扩展到建立变换表示中的人脸类别之间的相关性，这被称为典型协变量。该系统使用Gabor滤波器组对人脸特征进行空间频率、空间位置和方向的表征，以补偿由于光照、姿态和表情变化而发生的人脸实例的变化。卷积的Gabor滤波器组的人脸图像产生的Gabor人脸表示与高维特征向量。然后将主成分分析和正则协变量应用于Gabor人脸表示，将高维特征空间减少到低维Gabor特征脸和Gabor正则脸。采用加权平均融合规则将约简后的特征脸向量和标准脸向量融合在一起。最后，支持向量机（SVM）已训练与增强的融合特征集，并执行识别任务。该系统已被评估与UMIST人脸数据库组成的多视图的面孔。实验结果表明，该系统的效率和鲁棒性的多视角人脸图像具有较高的识别率。在实验结果的最后还提出了所提出的系统的复杂性分析。
2010-03-30 cs.CV
Music Recommendation Based on Facial Emotion Recognition
PES University（PES大学）；Northwestern University（西北大学）；Great Learning（伟大学院）
本文提出融合FER训练的ResNet50情绪识别、音乐推荐与GRAD-CAM可解释性的方法，情绪分类准确率达82%，可提供鲁棒且可解释的面部情绪检测与推荐方案。
2024-04-06 cs.CV cs.IR
Facial Recognition in Collaborative Learning Videos
University of New Mexico（新墨西哥大学）
协作学习视频中的人脸识别提出了许多挑战。在协作学习视频中，学生们围坐在一张典型的桌子周围，在录制摄像机的不同位置，来来去去，四处走动，部分或完全被遮挡。此外，视频往往很长，需要开发快速准确的方法。我们开发了一个动态的系统，识别参与者在协作学习系统。我们解决遮挡和识别失败，通过使用过去的信息，人脸检测的历史。我们解决了需要从不同的姿势和速度的需要，通过将每个参与者与通过采样或K-均值聚类计算的原型脸的集合相关联。我们的研究结果表明，该系统被证明是非常快速和准确的。我们还将我们的系统与使用InsightFace [2]和原始训练视频片段的基线系统进行了比较。与基线系统的70.8%相比，我们实现了86.2%的平均准确度。平均而言，我们的识别率比基线系统快28.1倍。
2021-10-25 cs.CV
A Supervised Learning Methodology for Real-Time Disguised Face Recognition in the Wild
Indian Institute of Science（印度科学学院）；National Institute of Technology（国家技术学院）
人脸识别一直是计算机视觉科学家和专家的一项艰巨任务。尽管由于摄像机参数、照明和面部方向的变化而产生了复杂性，但该领域已经取得了重大进展，深度学习算法现在正在与人类水平的准确性竞争。但与人脸识别技术的最新进展相比，伪装人脸识别仍然是计算机视觉领域的一个更严峻的挑战。在现代的场景中，安全性是首要关注的问题，当面部被伪装时，常规的面部识别技术不能按要求执行，这需要一种不同的方法来处理入侵者面部被掩盖的情况。沿着同样的思路，我们提出了一个用于伪装面部识别（DFR）的深度学习架构。本文提出的算法在第一阶段使用14层卷积神经网络（CNN）检测20个面部关键点。这些面部关键点随后由支持向量机（SVM）利用，用于基于不同面部关键点之间的欧几里得距离比和角度对伪装的面部进行分类。这种整体架构赋予我们的系统基本的智能。我们的关键点特征预测准确率为65%，而分类率为72.4%。此外，该架构以19 FPS的速度工作，因此几乎可以实时的【形】执行。我们的方法的效率也比较与国家的最先进的伪装面部识别方法。
2018-09-08 cs.CV
Adversarial Camouflage
University of Luxembourg（卢森堡大学）
本文提出对抗性伪装方法，通过在面部区域投影优化图案，提升隐私保护效果，降低面部识别模型性能，验证了攻击的跨模型转移性。
2026-03-23 cs.AI cs.CV
Gazing into the Abyss: Real-time Gaze Estimation
Stanford University（斯坦福大学）
凝视和人脸跟踪算法传统上一直在计算复杂性和准确度之间进行折衷;最准确的神经网络算法不能实时实现，但不太复杂的实时的算法会出现更高的误差。该项目旨在通过改进实时的眼睛和面部识别算法来更好地弥合这一差距，以便开发准确，实时的凝视估计，重点是最大限度地减少训练数据和计算复杂性。我们的目标是使用眼睛和面部识别技术，使用户能够执行有限的任务的基础上的目光和面部输入，只使用一个标准的，低质量的网络摄像头在大多数现代笔记本电脑和智能手机和有限的计算能力和训练数据典型的这些情况。因此，我们根据不同的用户特征确定了七种有前途的、根本不同的算法，并开发了一种出色的、一种可行的、一种荣誉奖的视线跟踪管道，这些管道在不使用训练数据的情况下与现代视线跟踪器的性能相匹配。
2017-11-18 cs.CV
Suspicious Vehicle Detection Using Licence Plate Detection And Facial Feature Recognition
针对传统人工通过交通监控排查可疑车辆效率低的问题，提出融合人脸识别与车牌识别的组合模型，可用于车辆安全防护及在逃罪犯、被盗车辆的实时追踪。
2023-04-18 cs.CV eess.IV
Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition
ÉTS（ÉTS（蒙特利尔工程学院））；Concordia Univ.（康考迪亚大学）；Montreal Behavioural Medicine Centre（蒙特利尔行为医学中心）
本文提出一种将空间动作单元线索显式纳入深度分类器训练的新策略，通过约束空间层特征与AU热图相关，在不降低分类性能的前提下提升面部表情识别模型的可解释性。
2024-10-01 cs.CV cs.LG
epsilon-Mesh Attack: A Surface-based Adversarial Point Cloud Attack for Facial Expression Recognition
Istanbul Technical University（伊斯坦布尔理工大学）
针对3D面部表情识别中传统点云对抗攻击易造成面部畸形的问题，本文提出ε-Mesh Attack，将扰动限制在网格表面并以ε缩放，以难以察觉的变形实现对DGCNN和PointNet的高成功率攻击。
2024-03-11 cs.CV
Addressing Deepfake Issue in Selfie banking through camera based authentication
Metallurgical And Materials Engineering Indian Institute Of Technology Kharagpur, India（冶金与材料工程 印度理工学院 阁agalpur分校）；Information Systems Carnegie Mellon University Doha, Qatar（信息系统 卡内基梅隆大学 多哈分校）
本文研究自拍银行中深度伪造图像带来的安全威胁，提出将已有的摄像头定位取证识别系统用于深度伪造检测，以增强在线银行生物识别认证的安全性。
2025-08-27 cs.CR cs.CV
Application of Facial Recognition using Convolutional Neural Networks for Entry Access Control
本文的目的是设计一种解决人脸识别问题的方法，使用卷积神经网络，并打算将该方法应用于基于摄像头的家庭门禁系统。更具体地说，本文着重于解决监督分类问题，即将人的图像作为输入，并将图像中的人分类为作者之一或不。提出了两种办法：（1）从头开始构建和训练一个名为WoodNet的神经网络;（2）利用在ImageNet数据库上预先训练的网络，利用迁移学习，并使其适应本项目的数据和类。为了训练模型来识别作者，已经创建了包含超过15万张图像的数据集，在作者和其他人之间进行了平衡。从视频中提取图像和图像增强技术有助于数据集的创建。结果是两个模型以高精度对数据集中的个体进行分类，在保留的测试数据上达到99%以上的准确率。预训练模型的拟合速度明显快于WoodNet，并且似乎更好地泛化。然而，这些结果带来了一些警告。由于数据集的编制方式以及高准确性，人们有理由相信模型在某种程度上过度拟合数据。数据编译方法的另一个后果是测试数据集可能与训练数据没有足够的不同，从而限制了其验证模型泛化的能力。然而，在基于网络摄像头的系统中利用这些模型，对人脸进行实时分类，显示出有希望的结果，并表明这些模型至少对某些类别的推广相当不错（见随附的视频）。
2020-11-23 cs.CV cs.LG
Quantifying Explanation Consistency: The C-Score Metric for CAM-Based Explainability in Medical Image Classification
本文提出C-Score指标，用于评估基于CAM的医学图像分类解释一致性，通过强度强调的成对软IoU量化同一类内解释的可重复性，并在不同CNN架构上评估六种CAM技术的性能。
2026-04-09 cs.AI cs.CV
AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder
University of Waterloo（滑铁卢大学）；Vision and Image Processing Lab（视觉与图像处理实验室）
对于大多数人来说，解释社交线索的能力是自然的，但对于那些患有自闭症谱系障碍（ASD）的人来说，有些人在这方面存在缺陷。本文介绍了一种多模式增强现实（AR）系统的开发，该系统结合了计算机视觉和深度卷积神经网络（CNN）的使用，以帮助个人在社交环境中检测和解释面部表情。我们称之为AEGIS（增强现实表情引导解释系统）的拟议系统是一种辅助技术，可部署在各种用户设备上，包括平板电脑，智能手机，视频会议系统或智能眼镜，展示其极端的灵活性和广泛的用例，以轻松融入日常生活。给定一个流式视频摄像机源，每个真实世界的帧都被传递到AEGIS中，处理为面部边界框，然后输入到我们的新型深度卷积时间窗神经网络（TimeConvNet）中。我们利用空间和时间信息来提供准确的表情预测，然后将其转换为相应的可视化并绘制在原始视频帧上。该系统实时的【形】运行，需要最少的设置，并且使用简单。通过使用AEGIS，我们可以帮助ASD患者学习更好地识别表情，从而改善他们的社交体验。
2020-10-22 cs.CV cs.HC
Face Recognition Under Varying Blur, Illumination and Expression in an Unconstrained Environment
Madras Institute of Technology（马德拉斯理工学院）
人脸识别系统是模式识别和计算机视觉的重要研究领域之一，同时也是其面临的主要挑战。识别人脸的一些挑战是模糊，照明和各种表情。使用相机、手机等拍摄照片时，模糊是很自然的。模糊可以是均匀的，也可以是不均匀的。通常，非均匀模糊发生在使用手持图像设备拍摄的图像中。在人脸识别系统中区分或处理模糊图像通常是困难的。在不同的照明条件下，正确识别人是具有挑战性的。幸福、悲伤、惊讶、恐惧、愤怒等多样化的面部表情会改变或变形正常图像的面部表情。由于面部表情所引起的变形，识别具有面部表情的人脸也是一项具有挑战性的任务。为了解决这些问题，进行了预处理步骤，之后进行模糊和光照鲁棒人脸识别（BIRFR）算法。利用表情去除（FER）算法将带有表情的测试图像和训练图像转化为中性人脸。每个训练图像都基于最佳变换扩展函数（TSF）和光照系数进行变换。从测试图像和变换后的训练图像中提取局部二值模式（LBP）特征用于分类。
2019-02-28 cs.CV cs.LG
Decoding Emotions: Unveiling Facial Expressions through Acoustic Sensing with Contrastive Attention
Michigan State University（密歇根州立大学）
本文提出FacER+主动声学表情识别系统，利用手机耳机扬声器与面部之间的近超声波回声提取表情特征，并结合对比外部注意力模型减少用户间分布差异，在20名志愿者实验中以超过90%的准确率超越现有声学方法10%。
2024-10-01 cs.CV cs.SD eess.AS
Landmark-Aware and Part-based Ensemble Transfer Learning Network for Facial Expression Recognition from Static images
Indian Institute of Technology-Delhi（德里印度理工学院）
从静态图像中识别人脸表情是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN）是用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势、照明和遮挡条件的面部的表情方面取得了有限的成功。为了缓解这个问题，CNN通常伴随着传输，多任务或集成学习等技术，这些技术通常以增加计算复杂性为代价提供高精度。在这项工作中，我们提出了一个基于部分的包围迁移学习网络，该网络通过将面部特征的空间方向模式与特定表情相关联来模拟人类如何识别面部表情。它由5个子网络组成，每个子网络执行从面部标志的五个子集之一的迁移学习：眉毛，眼睛，鼻子，嘴，或下巴表情分类。我们表明，我们提出的集成网络使用来自面部肌肉运动的视觉模式来预测表情，并证明了从面部标志定位到面部表情识别的迁移学习的有用性。我们在CK+，JAFFE和SFEW数据集上测试了该网络，它分别比CK+和JAFFE数据集的基准性能高出0.51%和5.34%。此外，所提出的集成网络仅由1.65 M模型参数组成，确保了训练和实时部署期间的计算效率。我们提出的集成的Grad-CAM可视化突出了其子网络的互补性，这是有效集成网络的关键设计参数。最后，跨数据集的评估结果表明，我们提出的集成具有很高的泛化能力，使其适合于现实世界的使用。
2021-11-04 cs.CV cs.LG cs.NE
Fairly Private: Investigating The Fairness of Visual Privacy Preservation Algorithms
Vienna University of Technology（维也纳技术大学）；University of Alicante（阿利坎特大学）
随着摄像头监控和面部识别带来的隐私风险越来越大，对隐私保护算法的研究也越来越多。其中，视觉隐私保护算法试图通过模糊隐私敏感区域来将身体隐私赋予视觉对象。虽然不同表型的面部识别系统的不同性能是许多研究的主题，但其对应的隐私保护通常不会从公平的角度进行分析。本文通过人脸识别模型在模糊图像上的表现，研究了常用的视觉隐私保护算法的公平性。PubFig数据集上的实验清楚地表明，所提供的隐私保护在不同群体之间是不平等的。
2023-01-12 cs.CR cs.CV cs.LG
Impact of Blur and Resolution on Demographic Disparities in 1-to-Many Facial Identification
University of Notre Dame（圣母大学）；Florida Institute of Technology（佛罗里达理工学院）
本文研究模糊和低分辨率探测图像对一对多人脸识别准确率及人口统计学差异的影响，提出三种评估指标，发现其会显著提高错误阳性识别率并放大性别差异。
2024-01-23 cs.CV cs.CY
Facial Age Estimation using Convolutional Neural Networks
本文是挪威科技大学机器学习的学生项目的一部分。提出了一种基于图像的深度卷积神经网络，该网络具有5个卷积层和3个全连接层，用于估计个体的年龄。该模型完全是从头开始训练的，其中三个不同数据集的组合用作训练数据。这些数据集是APPA数据集、UTK数据集和IMDB数据集。这些图像是使用专有的面部识别软件进行预处理的。我们的模型在一个测试集和Adience基准上进行了评估。在测试集上，我们的模型实现了52%的分类准确率。在Adience基准测试中，我们的模型与其他领先的模型相比表现较差，准确率为30%，一次性准确率为46%。此外，还创建了一个脚本，允许用户使用网络摄像头直接估计自己的年龄。该脚本与所有其他代码一起位于我们的GitHub存储库：GitNet。
2021-05-14 cs.AI cs.CV cs.LG
A New Method in Facial Registration in Clinics Based on Structure Light Images
Institute of Biomedical Engineering, Chinese Academy of Medical Sciences & Peking Union Medical College（中国医学科学院北京协和医学院生物医学工程研究所）；Capital Medical University Xuanwu Hospital（首都医科大学宣武医院）；Institute of Radiation Medicine, Chinese Academy of Medical Sciences & Peking Union Medical College（中国医学科学院北京协和医学院放射医学研究所）
针对神经外科中面部深度图像配准频繁失效的问题，提出一种基于dlib关键点检测和ICP配准的结构光图像与CT图像配准新方法，实现了低至0.995913毫米的误差且耗时更短。
2024-05-23 cs.CV cs.RO
AI Evasion and Impersonation Attacks on Facial Re-Identification with Activation Map Explanations
Centre for Assured and Connected Autonomy（确保与连接自主性中心）；Cranfield University（克兰菲尔德大学）
本文提出了一种生成对抗性补丁的新框架，用于对抗深度重识别模型的规避和伪装攻击，通过多尺度特征引导生成对抗性补丁，并通过聚类激活图解释攻击特征，提出未来防御策略。
2026-03-16 cs.AI cs.CV
On the Learning of Deep Local Features for Robust Face Spoofing Detection
Federal University of São Carlos（圣卡洛斯联邦大学）；São Paulo State University（圣保罗州立大学）
生物识别技术成为安全系统的强大解决方案。然而，由于生物识别应用程序的传播，犯罪分子正在开发技术，通过模拟合法用户的身体或行为特征（欺骗攻击）来规避它们。尽管面部是一个有前途的特征，由于其普遍性，可接受性和存在的相机几乎无处不在，人脸识别系统是非常容易受到这种欺诈，因为他们可以很容易地欺骗与常见的打印面部照片。基于卷积神经网络（CNN）的最新方法在人脸欺骗检测中呈现出良好的结果。然而，这些方法没有考虑从每个面部区域学习深度局部特征的重要性，即使从面部识别中已知每个面部区域呈现不同的视觉方面，这也可以用于面部欺骗检测。在这项工作中，我们提出了一种新的CNN架构，在两个步骤中训练这样的任务。最初，神经网络的每个部分从给定的面部区域学习特征。之后，整个模型在整个面部图像上进行微调。结果表明，这种预训练步骤允许CNN学习不同的局部欺骗线索，提高了最终模型的性能和收敛速度，优于最先进的方法。
2018-10-11 cs.CV cs.LG stat.ML
Eyemotion: Classifying facial expressions in VR using eye-tracking cameras
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
虚拟现实环境中的社交交互的主要挑战之一是盔装显示器遮挡了面部的大部分，阻挡了面部表情，从而限制了用户之间的社交参与线索。因此，需要辅助手段来感知和传达这些表达。我们提出了一种算法，通过分析只有部分被遮挡的脸，而用户正在从事一个虚拟现实的经验，自动推断的表情。具体来说，我们表明，从VR头戴设备内的IR视线跟踪摄像头捕获的用户眼睛的图像足以推断面部表情的选择子集，而无需使用任何固定的外部摄像头。使用这些推理，我们可以实时生成动态化身，作为用户的表达代理。我们提出了一种新的数据汇集管道以及一种新的方法，通过个性化来提高CNN的准确性。我们的研究结果显示，平均准确率为74%（$F1$为0.73）之间的5个“情绪”的表情和平均准确率为70%（$F1$为0.68）之间的10个不同的面部动作单位，优于人类评分。
2017-07-28 cs.CV
Two-step Authentication: Multi-biometric System Using Voice and Facial Recognition
National Changhua University Of Education（国立彰化师范大学）；Chandigarh University（昌迪加尔大学）
本文提出一种基于语音和面部识别的两步认证系统，通过面部识别和语音验证结合，实现低成本、高鲁棒性的用户身份验证。
2026-01-09 cs.AI cs.CV cs.MM
A Novel Fully Annotated Thermal Infrared Face Dataset: Recorded in Various Environment Conditions and Distances From The Camera
The William States Lee College of Engineering（威廉·斯泰茨·李工程学院）；The College of Arts and Architecture（艺术与建筑学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
面部热成像是红外热成像领域中最热门的研究领域之一，在医疗、监视和环境监测方面具有广泛的应用。然而，与视觉光谱中的面部图像相比，缺乏面部热图像的公共数据集是这一领域研究改进的障碍。人脸热成像是一个相对较新的研究领域，目前的人脸热成像数据集在受试者与摄像机的距离、环境温度变化和人脸标志点定位等方面都存在局限性。我们通过提出一个新的面部热成像数据集来解决这些差距。这篇文章对知识体系做出了两个主要贡献。首先，它提出了一个全面的审查和比较目前的公共数据集在面部热成像。其次，介绍和研究了一种新的面部热成像公共数据集，我们称之为Charlotte-ThermalFace。Charlotte-ThermalFace包含了超过10000个不同温度条件下的红外热图像，距离摄像机的几个距离，以及不同的头部位置。这些数据完全注释了面部标志、环境温度、相对湿度、房间的空气速度、到相机的距离以及拍摄每张图像时的受试者热感觉。我们的数据集是第一个公开可用的热数据集，注释了每个受试者在不同热条件下的热感觉，也是少数几个原始16位格式的数据集之一。最后，我们提出了一个初步的分析数据集显示的适用性和重要性的面部热成像的热条件。完整的数据集，包括注释，可在https://github.com/TeCSAR-UNCC/UNCC-ThermalFace上免费获得，以供研究之用
2022-04-29 cs.CV
Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera
Kyushu University（九州大学）
我们提出了一种使用消费级RGB-D相机构建实时的【形】动画3D头部模型的方法。我们提出的方法是第一个同时提供全面的面部运动跟踪和用户头部的详细3D模型。任何人的头部都可以立即重建，他的面部运动捕捉，而不需要任何培训或预扫描。用户在第一帧中开始以中性表情面对相机，但可以自由移动，说话和改变他的面部表情。面部运动使用混合变形动画模型捕获，而几何细节使用映射到模板网格上的偏差图像捕获。我们贡献了一个有效的算法来生长和细化的头部变形三维模型上的飞行和实时的【形】。我们展示了强大的和高保真的同时面部运动捕捉和3D头部建模的结果在广泛的主题与各种头部姿势和面部表情。
2020-04-22 cs.CV eess.IV
High-Quality Real Time Facial Capture Based on Single Camera
FACEGOOD
我们提出了一个基于视频的面部表情捕捉的实时的深度学习框架。我们的过程使用基于FACEGOOD的高端面部捕获管道来捕获面部表情。我们训练一个卷积神经网络，以从视频训练中产生高质量的连续混合形状权重输出。由于这种面部捕捉是完全自动化的，我们的系统可以大大减少开发现代叙事驱动的视频游戏或电影所涉及的劳动量，这些游戏或电影涉及演员的逼真数字替身，以及每个角色可能长达数小时的动画对话。我们展示了引人注目的动画推理在具有挑战性的领域，如眼睛和嘴唇。
2021-11-15 cs.AI cs.CV
Dilated Convolution with Learnable Spacings makes visual models more aligned with humans: a Grad-CAM study
LIS, CNRS（法国国家科学研究中心LIS实验室）；CerCo UMR 5549, CNRS（法国国家科学研究中心CerCo UMR 5549研究所）；Université de Toulouse（图卢兹大学）
本文研究可学习间距的膨胀卷积（DCLS）对视觉模型可解释性的影响，通过Grad-CAM与人类视觉注意力数据集ClickMe的相关性分析，证明DCLS能提升多数模型与人类视觉策略的一致性，并提出Threshold-Grad-CAM改进方法以解决部分模型热力图随机化的问题。
2024-08-06 cs.AI cs.CV
Attention-Based VR Facial Animation with Visual Mouth Camera Guidance for Immersive Telepresence Avatars
University of Bonn（波恩大学）
针对VR中纯关键点驱动面部动画效果不佳的问题，提出结合关键点与嘴部相机视觉引导的注意力混合动画方法，可快速注册、泛化新用户，性能优于基线，还助力团队在ANA Avatar XPRIZE总决赛中获胜。
2023-12-15 cs.CV cs.RO
FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint
Meta Reality Labs（Meta现实实验室）；Technical University of Munich（慕尼黑技术大学）
FactorPortrait通过解耦表情、姿态和视角实现可控肖像动画，利用预训练编码器和3D网格跟踪生成逼真动态效果。
2025-12-12 cs.CV
Complex Facial Expression Recognition Using Deep Knowledge Distillation of Basic Features
School of Information Technology, Deakin University（德克萨斯大学信息学院）
本文提出了一种基于持续学习的方法，通过知识蒸馏和新颖的预测排序记忆重放，实现了复杂面部表情识别的最新状态，能够在少量样本下准确识别新复合表情类别。
2023-11-05 cs.AI cs.CV cs.LG
REFA: Real-time Egocentric Facial Animations for Virtual Reality
Reality Labs at Meta（Meta 实验室）
REFA通过基于蒸馏的方法实现虚拟现实中的实时面部表情跟踪，利用异构数据训练模型，提升虚拟角色表达的非侵入性与准确性。
2026-01-07 cs.CV
TransUNet-GradCAM: A Hybrid Transformer-U-Net with Self-Attention and Explainable Visualizations for Foot Ulcer Segmentation
Ghana Communication Technology University（加纳通信技术大学）；University of Cape Coast（海岸角大学）
TransUNet-GradCAM通过融合自注意力机制和可解释可视化，实现足部溃疡分割的高精度与可解释性。
2026-09-27 cs.CV eess.IV
Real-Time Monocular 4D Face Reconstruction using the LSFM models
University of Exeter（埃克塞特大学）；Imperial College of London（帝国理工学院）
从单个摄像机进行4D人脸重建是一项具有挑战性的任务，特别是当需要实时的时。我们展示了我们自己的实现，准确地解决了这个任务，并在商品笔记本电脑上实时的运行，使用网络摄像头作为唯一的输入系统。我们的系统是互动的，允许用户自由移动他们的头，并显示各种表情，而站在前面的相机。因此，所提出的系统既重建和可视化的主体的身份，在正确的姿势以及所采取的面部表情在实时的。我们框架中的4D重建基于最近发布的大规模面部模型（LSFM）\cite{LSFM1, LSFM2}，这是有史以来构建的最大规模的面部形状3D变形模型，基于来自广泛性别，年龄和种族组合的10，000多个面部身份的数据集。这是第一个实时的演示，让用户有机会在实践中测试最近发布的大规模面部模型（LSFM）的功能。
2020-05-22 cs.CV
Directing DNNs Attention for Facial Attribution Classification using Gradient-weighted Class Activation Mapping
The University of Tokyo（东京大学）；SIAT
深度神经网络（DNN）在图像分类任务上具有高精度。然而，由这种具有共现偏差的数据集训练的DNN在做出分类决策时可能依赖于错误的特征。这将极大地影响预训练DNN的可移植性。本文提出了一种交互式方法，引导分类器关注用户手动指定的区域，以减轻同现偏差的影响。我们在CelebA数据集上进行测试，预训练的AlexNet经过微调，以根据Grad-CAM的结果专注于特定的面部属性。
2019-05-02 cs.CV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs（Facebook现实实验室）；Imperial College London（伦敦帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
社交存在，即与真人在一起的感觉，将推动由虚拟现实（VR）中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身，最大限度地减少了神秘的效果依赖于个人特定（PS）模型。然而，这些PS模型的构建非常耗时，并且通常使用有限的数据可变性进行训练，这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备（例如，照相机配置、头戴式耳机的倾斜度），面部外观随时间的变化（例如，胡须、化妆），以及环境因素（例如，照明、背景）。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构（MIA），在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息（即，中性3D网格形状）。类似地，如果PS纹理解码器可用，则MIA能够在具有挑战性的场景中稳健地驱动完整的化身（形状+纹理），从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于，我们的方法以无监督的方式隐式地将面部表情与滋扰因素（例如，耳机、环境、面部外观）。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
