Unsupervised learning of Data-driven Facial Expression Coding System (DFECS) using keypoint tracking
Indian Institute of Technology Delhi（印度理工学院德里分校）；Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi（印度理工学院德里分校阿马尔·纳特和夏希·霍斯拉信息技术学院）；National Resource Centre for Value Education in Engineering, Indian Institute of Technology Delhi（印度理工学院德里分校工程价值教育国家资源中心）
本文提出数据驱动面部表情编码系统DFECS，通过关键点跟踪和全脸模型FFM进行无监督学习，自动估计动作单元AUs，在多个数据集上实现高方差解释率和可解释性，推动面部表情分析应用。
2024-06-08 cs.CV cs.HC
Unlock Pose Diversity: Accurate and Efficient Implicit Keypoint-based Spatiotemporal Diffusion for Audio-driven Talking Portrait
University of Liverpool（利物浦大学）；Ant Group（蚂蚁集团）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；Ricoh Software Research Center（理光软件研究中心）
针对音频驱动单图像说话人像生成中身份保持、细节还原、姿态多样性与效率难以兼顾的问题，提出KDTalker，融合无监督隐式3D关键点与时空扩散注意力，实现准确唇形同步和高质量多样化动画。
2025-03-17 cs.CV
A Facial Expression Classification System Integrating Canny, Principal Component Analysis and Artificial Neural Network
University of Science（科学大学）；University of Pedagogy（教育大学）
人脸表情分类是近年来的一个研究热点。有很多方法可以解决这个问题。在本研究中，我们提出了一种新的方法，使用Canny，主成分分析（PCA）和人工神经网络。首先，在预处理阶段，我们使用Canny算法对人脸图像进行局部区域检测。然后，每个局部区域的特征将被提出的基础上的主成分分析（PCA）。最后，利用人工神经网络（ANN）对人脸表情进行分类。我们应用我们的建议方法（Canny_PCA_ANN）识别JAFFE数据库上的6个基本的面部表情，由10名日本女性模特构成的213幅图像。实验结果表明了该方法的可行性。
2011-11-17 cs.CV
Pain Intensity Estimation from Mobile Video Using 2D and 3D Facial Keypoints
FX Palo Alto Laboratory（FX帕洛阿尔托实验室）；KK Women’s and Children’s Hospital（KK妇女儿童医院）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
控制术后疼痛对于成功的手术结果至关重要。疼痛管理的挑战之一是准确评估患者的疼痛程度。自我报告的数字疼痛评级是有限的，因为它们是主观的，可能会受到情绪的影响，并且在进行比较时会影响患者对疼痛的感知。在本文中，我们介绍了一种方法，分析手术后患者的2D和3D面部关键点，以估计他们的疼痛强度水平。我们的方法利用智能手机以前未开发的功能来捕获人脸的密集3D表示作为疼痛强度水平估计的输入。我们的贡献是与手术后患者的数据收集研究，以收集地面实况标记的2D和3D面部关键点序列，用于开发疼痛估计算法，使用多个实例学习克服面部关键点序列的固有限制的疼痛估计模型，以及使用2D和3D特征的疼痛估计模型的初步结果与替代方法的比较。
2020-06-17 cs.CV cs.HC cs.LG
KM-Speaker: Keypoint-Based Style Control for High-Quality Speech-Driven 3D Facial Animation and Dialogue Localization
Ecole de Technologie Supérieure（高级技术学院）；Ubisoft LaForge（育碧LaForge）
提出KM-Speaker，一种基于关键点条件的流式生成框架，通过解耦音频驱动的唇部运动和关键点驱动的上半脸动态，实现全局风格引导和帧级时间控制，在数据受限条件下达到高保真运动和灵活可控性。
2026-06-26 cs.CV cs.GR cs.LG
My Emotion on your face: The use of Facial Keypoint Detection to preserve Emotions in Latent Space Editing
School of Computing, Newcastle University, UK（计算学院，新castle大学，英国）
针对StyleGAN/2隐空间编辑中的特征纠缠导致表情改变问题，本文提出加入预训练面部关键点检测模型提供的HFLD损失，最高减少49%的情绪变化。
2025-05-09 cs.AI cs.CV
Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation
BUAA（北京航空航天大学）；KAUST（卡塔尔大学）
本文提出MMFA方法，通过无监督关键点定位解耦身份语义与运动信息，实现可控的面部动画生成与表达操控。
2026-03-04 cs.CV
Graph-Based Recognition of Simulated Train-Driver States From Facial and Upper-Body Keypoints
Istituto Italiano di Tecnologia（意大利技术研究院）；Imperial College London（帝国理工学院）；Italian National Institute for Insurance against Accidents at Work (INAIL)（意大利国家工伤事故保险研究所（INAIL））
本研究提出基于单摄像头和图神经网络的列车驾驶员状态识别系统，结合面部与骨骼特征，在警觉/非警觉分类中达99%准确率，并引入多光照条件数据集。
2026-10-30 cs.AI cs.CV
Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation
Tsinghua University（清华大学）；National Engineering Laboratory for Neuromodulation（神经调控国家工程实验室）
医学研究的数据共享一直很困难，因为开源的临床数据可能会侵犯患者隐私。传统的人脸去识别方法完全消除了面部信息，使得无法分析面部行为。全身关键点检测的最新进展也依赖于面部输入来估计身体关键点。在一些医学诊断中，面部和身体关键点都是至关重要的，去识别后的关键点不变性是非常重要的。在这里，我们提出了一种使用deepfake技术的解决方案，即人脸交换技术。虽然这种交换方法因侵犯隐私和肖像权而受到批评，但它可以反过来保护医疗视频中的隐私：患者的面部可以被交换到适当的目标面部，并且变得无法识别。然而，它仍然是一个悬而未决的问题，在多大程度上交换去识别方法可以影响身体关键点的自动检测。在本研究中，我们将Deepfake技术应用于帕金森病检查视频中，对受试者进行去识别，并定量表明：人脸交换作为一种去识别方法是可靠的，并且它保持关键点几乎不变，明显优于传统方法。本研究提出了一个视频去识别和关键点保存的管道，清除了医疗数据共享的一些伦理限制。这项工作可以使开源的高质量医学视频数据集更加可行，并促进未来的医学研究，造福我们的社会。
2020-02-07 cs.AI cs.CV
Attention-Based VR Facial Animation with Visual Mouth Camera Guidance for Immersive Telepresence Avatars
University of Bonn（波恩大学）
针对VR中纯关键点驱动面部动画效果不佳的问题，提出结合关键点与嘴部相机视觉引导的注意力混合动画方法，可快速注册、泛化新用户，性能优于基线，还助力团队在ANA Avatar XPRIZE总决赛中获胜。
2023-12-15 cs.CV cs.RO
MaskFace: multi-task face and landmark detector
Harman（哈曼）
目前，在人脸分析领域，用于人脸检测和地标定位的单任务方法占主导地位。在本文中，我们提请注意多任务模型同时解决这两个任务。我们提出了一个高度准确的人脸和地标检测模型。该方法称为MaskFace，通过添加关键点预测头来扩展先前的人脸检测方法。新的关键点头采用了Mask R-CNN的思想，通过RoIAlign层提取面部特征。关键点头部在图像中人脸较少的情况下增加了较小的计算开销，同时显着提高了精度。我们评估MaskFace在AFW，PASCAL人脸，FDDB，WIDER FACE数据集上的人脸检测任务和在AFLW，300 W数据集上的地标定位任务上的性能。对于这两个任务，MaskFace都取得了最先进的结果，优于许多单任务和多任务模型。
2020-05-19 cs.CV
Controllable Talking Face Generation by Implicit Facial Keypoints Editing
NetEase Media Technology (Beijing) Co., Ltd.（网易传媒科技（北京）有限公司）
提出ControlTalk，一种基于隐式关键点编辑的音频驱动说话人脸生成方法，统一处理图像和视频输入，实现精确唇同步和嘴形控制，在HDTF和MEAD基准上优于现有方法。
2024-11-07 cs.AI cs.CV
An Empirical Study of Dimensional Reduction Techniques for Facial Action Units Detection
Carnegie Mellon University（卡内基梅隆大学）
生物启发的特征，如Gabor滤波器，导致非常高维的测量。降低特征空间的维数是否提供了计算效率之外的优势？一些降维（DR）的方法是否能提高动作单元检测？为了回答这些问题，我们在两个相对较大的自发面部行为数据库中比较了DR方法（共45名参与者，每位参与者有超过2分钟的FACS编码视频）。使用主动外观模型（AAM）跟踪和对齐面部特征。从局部人脸区域提取SIFT和Gabor特征。我们比较了线性（PCA和KPCA），流形（LPP和LLE），监督（LDA和KDA）和混合方法（LSDA）DR相对于AU检测。为了进一步比较，还包括无DR对照条件。使用具有独立训练集和测试集的线性支持向量机分类器进行AU检测。AU检测使用ROC曲线下面积和F1定量。PCA与Gabor特征的基线结果与以前的研究相当。除了一些明显的例外，DR相对于无DR提高了AU检测。局部嵌入方法被证明容易受到\emph{out-of-sample}问题的影响。与基于滤波器的Gabor特征相比，基于小波变换的SIFT能够更好地检测AU。对于曲线下面积，线性和其他DR方法之间几乎没有差异。对于F1，结果是混合的。就这两个指标而言，各行动单位的成果模式各不相同。这些研究结果表明，可以通过使用特定的DR为特定的动作单元，优化动作单元检测。PCA和LDA是最有效的方法; KDA是最不有效的方法。
2016-03-25 cs.CV
Unsupervised Depth Estimation, 3D Face Rotation and Replacement
Carnegie Mellon University（卡内基梅隆大学）；Mila-University of Montreal（蒙特利尔大学米拉研究院）；Polytechnique Montreal（蒙特利尔综合理工大学）；Element AI（元素人工智能公司）
我们提出了一种无监督的方法，用于学习从单个图像估计三维（3D）面部结构，同时预测与所需姿势和面部几何形状相匹配的3D视点变换。我们通过以无监督的方式推断输入图像的面部关键点的深度来实现这一点，而不使用任何形式的地面真实深度信息。我们展示了如何使用这些深度作为新的可反向传播损失内的中间计算来预测3D仿射变换矩阵的参数，该变换矩阵将输入面部的推断3D关键点映射到所需目标面部几何形状或姿势上的对应2D关键点。因此，我们得到的方法称为DepthNets，可以用来推断从一个面部姿势到另一个面部姿势的合理3D转换，允许面部被正面化，转换为3D模型，甚至扭曲到另一个姿势和面部几何形状。最后，我们确定了我们的公式的某些缺点，并探索对抗图像翻译技术作为后处理步骤，重新合成完整的头部镜头，以重新定位到不同的姿势或身份。
2018-12-24 cs.CV stat.ML
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Deep Energies for Estimating Three-Dimensional Facial Pose and Expression
Stanford University（斯坦福大学）；Industrial Light & Magic（工业光魔）
虽然使用运动捕捉标记和阴影恢复形状在捕捉高质量面部表演方面取得了很大进展，但高端系统通常还依赖于在图像上手绘的旋转镜曲线。这些曲线是主观的，难以一致地绘制;此外，需要特别的程序方法来在用于确定三维面部姿势和表情的优化中嵌入的合成渲染上生成匹配的旋转镜曲线。我们提出了一种替代方法，通过这种方法，可以使用经过训练的神经网络在图像和合成渲染上自动检测这些曲线和其他关键点，从而消除艺术家的主观性和旨在模仿它的特设程序。我们建议使用机器学习网络来隐式地定义深度能量，当使用经典优化技术最小化时，深度能量导致三个-三维面部姿态和表情估计。
2018-12-07 cs.CV
An Effective Deep Network for Head Pose Estimation without Keypoints
Viettel Aerospace Institute（Viettel 航空航天研究院）
人体头部姿态估计是近年来人脸分析中的一个重要问题，具有许多计算机视觉应用，例如凝视估计、虚拟现实和驾驶辅助。由于头部姿态估计问题的重要性，有必要设计一个紧凑的模型来解决这一任务，以便在部署在基于面部分析的应用（如大型摄像机监控系统、AI摄像机）时降低计算成本，同时保持准确性。在这项工作中，我们提出了一个轻量级的模型，有效地解决了头部姿态估计问题。我们的方法有两个主要步骤。1)我们首先在300 W-LPA数据集上对多个教师模型进行训练，得到头部姿态伪标签。2)我们设计了一个架构与ResNet 18骨干和训练我们提出的模型与这些伪标签的合奏通过知识蒸馏过程。为了评估我们的模型的有效性，我们使用AFLW-2000和BIWI -两个真实世界的头部姿势数据集。实验结果表明，我们提出的模型显着提高了准确性相比，国家的最先进的头部姿态估计方法。此外，我们的模型在Tesla V100上推断时具有$\sim$ 300 FPS的实时速度。
2022-10-25 cs.CV
PoreTrack3D: A Benchmark for Dynamic 3D Gaussian Splatting in Pore-Scale Facial Trajectory Tracking
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）
PoreTrack3D是首个用于孔尺度非刚性3D面部轨迹跟踪的动态3D高斯散射基准，通过分析细微皮肤运动推进细粒度面部表情研究。
2025-12-14 cs.CV
Makeup Prior Models for 3D Facial Makeup Estimation and Applications
CyberAgent（赛博agent公司）；University of Tsukuba（筑波大学）
本文提出基于PCA和StyleGAN2的两种妆容先验模型及妆容一致性模块，有效解决3D面部妆容估计中的自遮挡问题，计算速度提升180倍，并显著改善多项3D妆容应用效果。
2024-03-26 cs.CV cs.GR
A Real Time Facial Expression Classification System Using Local Binary Patterns
IIT Kharagpur（印度理工学院克勒格布尔分校）
人脸表情分析是人机交互（HCI）领域的研究热点之一。它在下一代用户界面、人类情感分析、行为和认知建模等方面有着广泛的应用。提出了一种基于Haar分类器的人脸检测算法，利用人脸图像不同块大小的局部二值模式（LBP）直方图作为特征向量，利用主成分分析（PCA）对不同表情进行分类。由于该算法的计算复杂性较小，因此该算法可以实时的实现表情分类。针对人脸表情分析中的各种表情和表情强度因人而异的特点，提出了一种可定制的人脸表情分析方法。该系统使用一个人的灰度正面图像来分类六种基本情绪，即快乐，悲伤，厌恶，恐惧，惊讶和愤怒。
2015-05-15 cs.CV
KeyPoint Relative Position Encoding for Face Recognition
提出KP-RPE方法，利用关键点相对位置编码使ViT对未见仿射变换更具鲁棒性，在图像对齐失败时显著提升人脸和步态识别性能。
2024-03-21 cs.CV
Facial Chick Sexing: An Automated Chick Sexing System From Chick Facial Image
University of Arkansas（阿肯色大学）；Cobb Vantress, Inc（科布万翠斯公司）
受人类面部性别分类技术启发，提出基于雏鸡面部图像的自动化性别鉴定系统，通过数据收集、面部及关键点检测、对齐与分类实现非侵入性鉴定，最终准确率达 81.89%，提升了方法的普适性与动物福利。
2024-10-11 cs.CV
FaceDet3D: Facial Expressions with 3D Geometric Detail Prediction
Stony Brook University（石溪大学）；Institut de Robòtica i Informàtica Industrial CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
面部表情在3D面部几何体上引入各种高级细节。例如，微笑会导致脸颊的皱纹或酒窝的形成，而生气通常会导致额头的皱纹。人脸的可变形模型（3DMM）无法在其基于PCA的表示中捕获这些细节，因此在用于编辑表情时无法生成这些细节。在这项工作中，我们介绍FaceDet3D，这是一种首创的方法，可以从单个图像中生成与任何所需目标表情一致的几何面部细节。面部细节被表示为顶点位移图，然后由神经渲染器使用，以任何期望的表情和视图来照片逼真地渲染任何单个图像的新颖图像。项目网址：http://shahrukhathar.github.io/2020/12/14/FaceDet3D.html
2020-12-23 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
A lightweight 3D dense facial landmark estimation model from position map data
University of Galway（戈尔韦大学）；Xperi Corporation（Xperi公司）；Trinity College Dublin（都柏林圣三一学院）
针对三维稠密面部地标估计，本文提出从位置图数据生成520点稠密数据集，并训练轻量级MobileNet回归模型，在68关键点任务上以低计算成本超越多种现有方法。
2023-08-29 cs.AI cs.CV
Recognition of expression variant faces using masked log-Gabor features and Principal Component Analysis
在这篇文章中，我们提出了一种方法，用于识别具有不同面部表情的人脸。为了识别，我们使用多个方向和尺度的log-Gabor滤波器提取特征向量。利用滑动窗口算法和基于方差的掩模算法，在受表情变化影响较小的图像区域提取这些特征。提取的特征被传递到基于主成分分析（PCA）的识别方法。基于表情变化人脸的人脸识别实验结果表明，该方法具有较高的识别精度。在开发和测试中，我们使用了来自AR和FERET数据库的面部图像。使用FERET数据库中一千多人的人脸照片，该方法取得了96.6-98.9%的首一个识别率和0.2-0.6%的等出错率（EER）。
2006-05-07 cs.CV
VR Facial Animation for Immersive Telepresence Avatars
University of Bonn（波恩大学）
本文提出面向机器人化身操作者的实时VR面部动画流水线，利用嘴部与眼部摄像头关键点及注册图像实现快速个性化适配，并在ANA Avatar XPRIZE半决赛中验证。
2023-04-24 cs.CV cs.RO
Dynamic Model of Facial Expression Recognition based on Eigen-face Approach
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
情感是传达信息的最好方式;有时它比语言承载更多的信息。近年来，由于人类情感的自动识别在安全、监控、市场营销、广告和人机交互等领域的广泛应用，人们对人类情感的自动识别产生了极大的兴趣。为了以自然的方式与计算机通信，将期望使用基于语音、手势和面部表情的更自然的人类通信模式。本文提出了一种整体的面部表情识别方法，该方法在时域上捕捉面部特征的变化，并对不同情绪下的图像序列进行分类。该方法使用Haar类特征来检测图像中的人脸。使用主成分分析（PCA）降低特征空间的维数。通过将后续的人脸图像投影到主特征方向上，对所获得的权重向量的变化模式进行建模，以将其分类为不同的情感。由于不同人的表情及其强度的差异，遵循特定于人的情感识别方法。使用正面人脸的灰度图像，该系统能够分类四种基本情绪，如快乐，悲伤，惊讶和愤怒。
2013-11-23 cs.CV
clustering an african hairstyle dataset using pca and k-means
Tshwane University of Technology（茨瓦尼科技大学）
针对非洲缺乏人脸脸型分类器的问题，本文提出结合Haarcascade特征训练与K-means聚类的非洲女性图像分类方法，助力其适配发型选择。
2023-05-25 cs.CV cs.LG
Facial Expression Classification Based on Multi Artificial Neural Network and Two Dimensional Principal Component Analysis
University of Science, Ho Chi Minh City（胡志明市科学大学）；University of Pedagogy, Ho Chi Minh City（胡志明市师范大学）
人脸表情分类是图像分类的一种，近年来受到了广泛的关注。有许多方法来解决这些问题，旨在提高有效的分类。其中一个著名的建议被描述为：第一步，将图像投影到不同的空间;第二步，在每个空间中，将图像分类到响应类中;最后一步，将上述分类结果组合成最终结果。该方法的优点是能够反映图像分类的完整性和多样性。在本文中，我们使用2D-PCA及其变种的模式或图像投影到不同的空间与不同的分组策略。然后，我们开发了一个模型，它结合了许多神经网络应用的最后一步。该模型对各个空间的可靠性进行评估，并给出最终的分类结论。我们的模型将多个神经网络连接在一起，因此我们称之为多人工神经网络（MANN）。我们将我们的建议模型应用于JAFFE数据库上的6个基本面部表情，该数据库由10名日本女性模特组成的213张图像组成。
2011-07-16 cs.CV
Exploring Facial Biomarkers for Detecting Depression through Temporal Analysis of Action Units
Machine Learning and Data Analytics Lab, Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（机器学习与数据分析实验室，人工智能生物医学工程部门（AIBE），弗里德里希-亚历山大-埃森纳赫大学（FAU））；Department of Clinical Psychology and Psychotherapy, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（临床心理学与心理治疗系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Chair of Visual Computing, Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（视觉计算教授，计算机科学系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Translational Digital Health Group, Institute of AI for Health, Helmholtz Zentrum München – German Research Center for Environmental Health（转化数字健康组，人工智能与健康研究所，海德堡中心——德国环境健康研究研究中心）
本研究通过分析抑郁症与非抑郁症参与者的视频面部表情，提取动作单元特征并结合时间序列分类模型、PCA及聚类算法，发现两组间与悲伤和快乐相关的动作单元强度存在显著差异，证实面部分析可用于抑郁症检测。
2026-08-19 cs.CV
Facial Expression Translation using Landmark Guided GANs
ETH Zurich（苏黎世联邦理工学院）；University of Trento（特伦托大学）
我们提出了一个简单而强大的地标引导生成对抗网络（LandmarkGAN）的面部表情到表情的翻译使用一个单一的图像，这是一个重要的和具有挑战性的任务，在计算机视觉，因为表情到表情的翻译是一个非线性和非对齐的问题。此外，它需要输入和输出图像之间的高级语义理解，因为图像中的对象可以具有任意的姿势、大小、位置、背景和自遮挡。为了解决这个问题，我们建议显式利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务：（i）类别引导的地标生成，以及（ii）地标引导的表达式到表达式的翻译。两个子任务以端到端的方式进行训练，旨在从生成的地标和表达式中享受相互改进的好处。与目前的关键点引导方法相比，所提出的LandmarkGAN只需要一个单一的面部图像来生成各种表情。在四个公共数据集上的大量实验结果表明，与仅使用单个图像的最新方法相比，所提出的LandmarkGAN实现了更好的结果。该代码可在https://github.com/Ha0Tang/LandmarkGAN上获得。
2022-09-05 cs.AI cs.CV
NeoLoc-68: End-to-end 68-point neonatal facial landmark localisation in neonatal clinical environments
Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（牛津大学工程科学系生物医学工程研究所）；Department of Paediatrics, University of Oxford（牛津大学儿科学系）；Universidad San Francisco de Quito USFQ, Colegio de Ciencias Biologicas y Ambientales（基多圣弗朗西斯科大学生物与环境科学学院）
提出首个端到端68点新生儿面部关键点检测模型NeoLoc-68，通过结合公开数据集和临床标注数据，基于YOLO架构适应新生儿面部特征，在临床环境中实现低检测失败率和强泛化能力。
2026-06-23 cs.CV
PerformRecast: Expression and Head Pose Disentanglement for Portrait Video Editing
HUJING Digital Media & Entertainment Group（华景数字媒体与娱乐集团）
本文提出PerformRecast，通过改进关键点变换公式和分离面部与非面部区域，实现表情与头部姿态的解耦，提升肖像视频编辑的可控性和效率。
2026-03-20 cs.CV
UniTalker: Scaling up Audio-Driven 3D Facial Animation through A Unified Model
SenseTime Research（商汤科技研究院）
UniTalker通过多头统一架构和三种训练策略整合多标注数据，构建18.5小时A2F-Bench数据集，显著降低唇部误差并可作为基础模型，在多个数据集上超越现有方法。
2024-08-01 cs.CV
MoCoTalk: Multi-Conditional Diffusion with Adaptive Router for Controllable Talking Head Generation
Imperial College London（帝国理工学院伦敦分校）
MoCoTalk通过统一身份、头部姿态、面部表情和嘴部动态四个控制信号，提出自适应多条件路由框架，解决异构条件干扰问题，提升可控说话头生成的性能与可控性。
2026-05-08 cs.CV
Expressive Talking Head Video Encoding in StyleGAN2 Latent-Space
University of Maryland（马里兰大学）
虽然最近在视频重现研究方面的进展已经取得了可喜的成果，但这些方法在捕捉精细、详细和富有表现力的面部特征（例如，嘴唇按压、嘴部起皱、嘴部张开和皱纹），这在生成逼真的动画面部视频中是至关重要的。为此，我们提出了一种端到端的表情人脸视频编码方法，通过优化单个身份潜在的低维编辑，促进数据高效的高质量视频重新合成。该方法基于StyleGAN 2图像反转和多级非线性潜在空间编辑，以生成与输入视频几乎相当的视频。虽然现有的基于StyleGAN的潜在编辑技术专注于简单地生成静态图像的合理编辑，但我们使用驻留在StyleGAN 2的Style-latent-space（StyleSpace）中的编码来自动化潜在空间编辑，以捕获帧序列中的精细表情面部变形。由此获得的编码可以叠加在单个身份-潜在上，以便于在$1024^2$处重新制定面部视频。所提出的框架经济地捕捉面部身份，头部姿势，和复杂的表情面部运动在精细的水平，从而绕过训练，人建模，依赖于地标/关键点，和低分辨率合成往往会阻碍大多数重演的方法。该方法的设计具有最大的数据效率，其中单个$W+$潜在和每帧35个参数实现高保真视频渲染。该流水线还可以用于操纵（即，运动转移）。
2023-02-14 cs.CV
Hyperparameter Optimization and Boosting for Classifying Facial Expressions: How good can a "Null" Model be?
University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
ICML表示和学习研讨会的目标之一是为标记的面部表情的新数据集建立基准分数。本文介绍了一个“卷积”模型的性能，该模型由具有随机权重的卷积、PCA、池化、归一化和线性读出组成。我们的方法专注于超参数优化，而不是新的模型组件。在Kaggle网站举办的面部表情识别挑战赛上，我们的超参数优化方法在测试数据上获得了60%的准确率。本文还介绍了一种新的集成构造变体，结合了超参数优化与集成的建设。该算法构建了四个模型的集合，准确率为65.5%。这两项成绩在56名挑战赛参与者中分别排名第12位和第5位。值得注意的是，我们的方法是在数据集发布之前开发的，并且未经修改就应用了;我们强大的竞争表现表明，TPE超参数优化算法和编码在我们的TRM模型中的领域专业知识可以推广到新的图像分类数据集。
2013-06-14 cs.CV cs.LG stat.ML
Face Recognition Machine Vision System Using Eigenfaces
Moscow Institute of Physics & Technology（莫斯科物理技术学院）
人脸识别是机器学习中的一个常见问题。这项技术已经广泛应用于我们的生活中。例如，Facebook可以自动标记图像中的人脸，一些移动设备也使用人脸识别来保护私人安全。人脸图像具有不同的背景、不同的光照、不同的表情和遮挡等特点。人脸识别的方法有很多。不同的方法进行人脸识别实验与特定的数据库，其中包括单一类型，格式和组成的图像。这样做，这些方法不适合不同的人脸数据库。人脸识别的基本技术之一是特征脸，它非常简单，有效，并且在受控的情况下通常会产生良好的结果。因此，本文提出了一个实验性能比较的人脸识别主成分分析（PCA）和归一化主成分分析（NPCA）。ORL（ATT）和印度人脸数据库（IFD），其中包含的表情，姿势和面部细节的变化进行了实验。通过改变训练图像的数量，对两种方法获得的结果进行了比较。MATLAB也用于实现算法。
2017-05-08 cs.CV
Bees Local Phase Quantization Feature Selection for RGB-D Facial Expressions Recognition
Islamic Azad University-Rasht（伊斯兰阿扎德大学拉什特分校）
本文提出了一种基于Bees Algorithm的局部相位量化特征选择方法，用于RGB-D面部表情识别，在IKFDB数据集上实现了99%的准确率。
2023-08-03 cs.AI cs.CV
Emotion-Conditioned Short-Horizon Human Pose Forecasting with a Lightweight Predictive World Model
本文研究了情感嵌入对短周期姿态预测的辅助作用，提出轻量级自回归预测世界模型，结合姿态关键点与情感嵌入，提升情感驱动动作序列的预测性能。
2026-04-26 cs.AI cs.CV
Probabilistic Task Parameterization of Tool-Tissue Interaction via Sparse Landmarks Tracking in Robotic Surgery
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；Stanford University（斯坦福大学）
针对机器人手术工具-组织交互建模的标注依赖或刚性假设问题，提出结合稀疏关键点跟踪与概率建模的框架，通过PCA构建动态局部变换并嵌入TP-GMM，实现大变形下组织地标传播与工具位姿预测，提升手术运动视觉理解。
2025-04-14 cs.CV cs.LG cs.RO
Emotional Expression Classification using Time-Series Kernels
Eötvös Loránd University（罗兰大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
人脸表情的估计，作为时空过程，可以利用核方法，如果一个人考虑面部标志的位置和它们在3D空间中的运动。我们应用支持向量分类与内核来自动态时间规整相似性措施。我们仅使用标记点向量的PCA压缩表示的“运动模式”（即所谓的形状参数）实现了超过99%的准确性（通过ROC曲线下面积测量）。除了完整运动模式的分类之外，在从它们开始的5-6帧（大约200毫秒）内，以超过90%的准确度识别了若干表情。
2013-06-08 cs.CV cs.LG stat.ML
Unconstrained Face Recognition using ASURF and Cloud-Forest Classifier optimized with VLAD
Center for Pattern Recognition and Machine Intelligence, PES University（PES大学模式识别与机器智能中心）
本文提出了一种计算效率高的多类人脸图像分类算法，其中图像受到平移、旋转、尺度、颜色、光照和仿射失真的约束。该方法分为五个主要模块：用于人脸检测的Haar-Cascade、用于去除图像噪声的双边滤波器、用于关键点检测和描述的仿射加速鲁棒特征（ASURF）、用于特征量化的局部聚集描述符矢量（VLAD）和用于图像分类的云雾森林。所提出的方法旨在提高人脸识别系统的准确性和所需的时间。使用Cloud Forest算法作为分类器对三个基准数据集（即FACES 95，FACES 96和ORL面部数据集）进行分类，显示出良好的结果。所提出的方法，使用云森林算法成功地提高了识别模型2-12\%时，区别于其他集成技术，如随机森林分类器取决于所使用的数据集。
2021-04-02 cs.CV cs.LG
Skin feature point tracking using deep feature encodings
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
面部特征跟踪是成像心冲击描记术（BCG）的关键组成部分，其中需要面部关键点的位移的准确量化以用于良好的心率估计。皮肤特征跟踪使基于视频的帕金森病运动退化的量化成为可能。传统的计算机视觉算法包括尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）和卢卡斯-卡纳德方法（LK）。这些方法在效率和准确性方面一直代表着最先进的水平，但当存在常见的变形（如仿射局部变换或照明变化）时就会失败。在过去的五年中，深度卷积神经网络在大多数计算机视觉任务中的表现优于传统方法。我们提出了一个用于特征跟踪的管道，该管道应用卷积堆栈自动编码器来识别图像中与包含感兴趣特征的参考作物最相似的作物。自动编码器学习将图像裁剪表示为特定于其训练对象类别的深度特征编码。我们在面部图像上训练自动编码器，并使用手动标记的面部和手部视频验证其跟踪皮肤特征的能力。独特皮肤特征（痣）的跟踪误差非常小，因此我们不能排除它们源于基于$χ^2$测试的手动标记。平均误差为0.6-4.2像素，我们的方法在所有情况下，但一个优于其他方法。更重要的是，我们的方法是唯一没有分歧的方法。我们的结论是，我们的方法创建更好的特征描述符的特征跟踪，特征匹配和图像配准比传统的算法。
2022-12-04 cs.AI cs.CV cs.LG
GRMM: Real-Time High-Fidelity Gaussian Morphable Head Model with Learned Residuals
Max Planck Institute for Informatics and Saarland University（马克斯·普朗克信息研究所和萨尔兰州大学）；University of Freiburg（弗赖堡大学）
针对传统3DMM细节不足、神经体积方法速度慢的问题，提出带学习残差的全头部高斯可变形模型GRMM，搭配EXPRESS-50数据集实现高保真实时人脸编辑与重建，性能超越现有方法。
2025-09-02 cs.CV cs.GR
