Giving Faces Their Feelings Back: Explicit Emotion Control for Feedforward Single-Image 3D Head Avatars
Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
本文提出一种显式情绪控制框架,通过双路径调节机制在不修改核心设计的情况下,将情绪作为独立控制信号注入单图像3D头像重建中,实现情绪与身份的解耦和可控情绪转移。
2026-04-16 cs.CV
Robust Face Tracking using Multiple Appearance Models and Graph Relational Learning
Polytechnique Montréal(蒙特利尔高等理工学院);École de technologie supérieure(高等工程技术学院)
本文讨论了在真实世界场景中进行视觉人脸跟踪时,不同挑战下的外观匹配问题。在本文中,FaceTrack提出了利用多个外观模型,其长期和短期的外观记忆,有效的人脸跟踪。它展示了对变形、平面内和平面外旋转、缩放、干扰物和背景杂波的鲁棒性。它利用检测跟踪的优点,通过使用一个人脸检测器,处理激烈的规模外观变化的脸。该检测器还有助于在漂移期间重新初始化FaceTrack。提出了一种加权的分数级融合策略,通过在可能的人脸位置周围产生候选人来获得具有最高融合分数的人脸跟踪输出。该跟踪器在自动启动时展示了令人印象深刻的性能,优于许多最先进的跟踪器,除了Struck之外,精度和成功率分别为0.001和0.017。
2018-08-30 cs.CV
One-shot Face Reenactment Using Appearance Adaptive Normalization
NetEase Fuxi AI Lab(网易伏羲AI实验室);Zhejiang University(浙江大学);Beijing Institute of Technology(北京理工大学)
本文提出了一种新的生成对抗网络用于一次人脸重现,它可以将单个人脸图像动画到不同的姿势和表情(由驱动图像提供),同时保持其原始外观。我们的网络的核心是一种称为外观自适应归一化的新机制,它可以通过使用学习的自适应参数调制生成器的特征图,有效地将输入图像的外观信息整合到我们的人脸生成器中。此外,我们专门设计了一个本地网络来重现本地面部组件(即,眼睛、鼻子和嘴巴),这对于网络来说是一个更容易学习的任务,并且可以反过来提供明确的锚点来指导我们的面部生成器学习全局外观和姿势和表情。大量的定量和定性实验表明,我们的模型与以前的一次性方法相比,显着的功效。
2021-04-26 cs.CV
Pairwise Relational Networks using Local Appearance Features for Face Recognition
POSTECH(浦项科技大学)
我们提出了一种新的人脸识别方法,称为成对关系网络(PRN),它采取本地外观特征周围的特征地图上的地标点,并捕捉独特的成对关系,同一身份和不同身份之间的歧视性成对关系。PRN的目的是从局部外观特征对中确定面部部分关系结构。由于有意义的成对关系应该是身份依赖的,我们添加了一个人脸身份状态特征,该特征来自具有序列局部外观特征的长短期记忆(LSTM)单元网络。为了进一步提高准确性,我们将全局外观特征与成对关系特征相结合。在LFW上的实验结果表明,PRN达到了99.76%的准确率。在YTF上,PRN达到了最先进的准确性(96.3%)。PRN在IJB-A和IJB-B上的人脸验证和人脸识别任务方面也取得了与最先进水平相当的结果。这项工作已经发表在ECCV 2018上。
2018-11-15 cs.CV
Deep Appearance Models: A Deep Boltzmann Machine Approach for Face Modeling
Concordia University(康考迪亚大学);Carnegie Mellon University(卡内基梅隆大学)
“综合解释”人脸图像分析方法,特别是主动外观模型(AAMs)方法,已经成为近二十年来最成功的人脸建模方法之一。AAM模型具有通过使用可控参数化主成分分析(PCA)模型合成来表示人脸图像的能力。然而,AAM的合成人脸的准确性和鲁棒性高度依赖于训练集和PCA子空间的泛化能力。本文提出了一种新的深度外观模型(DAMs)的方法,一个有效的替代AAMs,准确地捕捉大变化下的人脸图像的形状和纹理。在这种方法中,三个关键组成部分表示在分层建模使用深度玻尔兹曼机(DBM)鲁棒地捕捉面部形状和外观的变化。因此,在各种具有挑战性的条件下,DAM在推断新人脸图像的表示方面优于AAM。在各种应用中评估所提出的方法,以证明其鲁棒性和能力,即面部超分辨率重建,面部偏角重建或面部额化,面部遮挡去除和年龄估计使用具有挑战性的人脸数据库,即标记的面部零件在野外(LFPW),海伦和FG-NET。与AAM和其他基于深度学习的方法相比,所提出的DAM在这些应用中取得了有竞争力的结果,因此这显示了它们在处理遮挡、面部表示和重建方面的优势。
2017-12-21 cs.CV
Head Similarity: Modeling Structured Whole-Head Appearance Beyond Face Recognition
United Arab Emirates University(阿拉伯联合酋长国大学);Nanjing University of Science and Technology(南京理工大学)
本文提出头部相似性方法,通过结构化全头外观建模扩展身份中心识别,解决非正面视角或面部线索缺失时的身份一致性问题。
2026-05-08 cs.CV
FaceQSORT: a Multi-Face Tracking Method based on Biometric and Appearance Features
University of Salzburg(萨尔茨堡大学);Department of Artificial Intelligence and Human Interfaces(人工智能与人机接口系)
FaceQSORT通过结合生物特征和外观特征,提出了一种针对队列中人群移动场景的多人脸跟踪方法,优于现有跟踪器。
2026-02-12 cs.CV
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University(南京大学);Megvii Technology(旷视科技)
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作,同时保持人脸的身份,以产生一个更有吸引力的脸。在本文中,我们提出了第一个生成对抗网络(GANs),用于在几何和外观方面增强面部吸引力,我们称之为“FA-GANs”。FA-GAN包含两个分支,从两个角度增强面部吸引力:面部几何形状和面部外观。每个分支由单独的GANs组成,其中外观分支调整面部图像,几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同,在增强同一个人之前和之后收集是不可行的,我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸,几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知,我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明,我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果,并且优于当前最先进的方法。
2020-06-06 cs.CV
Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance
Carnegie Mellon University(卡内基梅隆大学);Facebook/Meta(脸书/元宇宙公司)
三维人脸建模一直是计算机视觉和计算机图形学中的一个活跃的研究领域,推动了从虚拟化身中的面部表情转移到合成数据生成的应用。现有的3D深度学习生成模型(例如,VAE、GANs)允许生成紧凑的面部表示(形状和纹理两者),其可以对形状和外观空间中的非线性进行建模(例如,散射效应、镜面反射等)。然而,他们缺乏控制微妙表情生成的能力。本文提出了一种新的3D人脸生成模型,可以将身份和表情解耦,并提供对表情的精细控制。特别是,我们建议使用一对有监督的自动编码器和生成对抗网络来生成高质量的3D人脸,无论是外观还是形状。使用整体表情标签或动作单元标签学习的3D人脸生成的实验结果显示了我们如何将身份和表情解耦;在保持身份的同时获得对表情的精细控制。
2022-08-30 cs.CV
Bidirectional Warping of Active Appearance Model
University of Denver(丹佛大学)
主动外观模型(AAM)是一种常用的人脸图像分析方法,在人脸识别和表情识别中有着广泛的应用。本文提出了一种基于图像对齐的AAM拟合新方法--双向变形。以前的方法要么扭曲输入图像,要么扭曲外观模板。我们建议扭曲的输入图像,使用增量更新的仿射变换,和外观模板,使用逆合成方法。我们在Multi-PIE人脸数据库上的实验结果表明,双向方法在提取具有形状和姿态变化的人脸特征点方面优于最先进的逆成分拟合方法。
2015-11-20 cs.CV
Expressing Facial Structure and Appearance Information in Frequency Domain for Face Recognition
Baze University(贝兹大学)
在人脸图像不确定的原始视觉特征之下,是表征样本人脸区分属性所必需的原始内在结构模式(PISP)。在此基础上,本文提出了一种简单而有效的人脸描述器形成的高斯和Gabor小波的导数。新的描述子被称为局部边缘梯度Gabor幅度(LEGGM)模式。LEGGM首先通过使用高斯导数确定像素相对于其相邻像素的梯度来揭示锁定在每个像素中的PISP。然后,将得到的输出嵌入到人脸的全局外观中,并使用Gabor小波对其进行进一步处理,以表达其频率特性。此外,我们采用了各种子空间模型进行降维,以确定最适合的模型报告更有效的代表性的LEGGM模式。所提出的基于人脸识别的方法进行评估的三个数据库:整形外科,LFW,GT人脸数据库。通过实验,使用一个基本分类器,所提出的方法的有效性证明,特别是在整形外科数据库的情况下。异构数据库,我们创建了代表现实世界的情况下,表明所提出的方法是在一定程度上不敏感的图像形成因素与令人印象深刻的识别性能。
2017-04-28 cs.CV
Learning-by-Novel-View-Synthesis for Full-Face Appearance-Based 3D Gaze Estimation
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
尽管最近在基于外观的注视估计技术方面取得了进展,但对覆盖目标头部姿势和注视分布的训练数据的需求仍然是实际部署的关键挑战。本文提出了一种基于单目三维人脸重建的视线估计训练数据合成方法。与以前的作品使用多视图重建,照片逼真的CG模型,或生成神经网络,我们的方法可以操纵和扩展现有的训练数据的头部姿势范围,而没有任何额外的要求。我们引入了一个投影匹配过程,将重建的3D人脸网格与相机坐标系对齐,并合成具有准确凝视标签的人脸图像。我们还提出了一个面具引导的视线估计模型和数据增强策略,以进一步提高估计精度,利用合成训练数据。使用多个公共数据集的实验表明,我们的方法显着提高了具有挑战性的跨数据集设置与非重叠的凝视分布的估计性能。
2022-04-27 cs.CV
Robust Deep Appearance Models
Concordia University(康考迪亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的鲁棒深度外观模型来学习人脸图像的形状和纹理之间的非线性相关性。在该方法中,人脸图像的两个关键组成部分,即形状和纹理,分别由深度玻尔兹曼机和鲁棒深度玻尔兹曼机(RDBM)表示。RDBM是Robust Boltzmann Machines的一种替代形式,可以分离纹理建模中的损坏/遮挡像素,以获得更好的重建结果。这两个模型在顶层由受限玻尔兹曼机连接,以共同学习和捕捉面部形状和外观的变化。本文还介绍了新的拟合算法与遮挡意识,通过从RDBM重建获得的掩模。通过使用具有挑战性的人脸数据集,即野生标记人脸部分(LFPW),海伦,EURECOM和AR数据库,在各种应用中评估所提出的方法,以证明其鲁棒性和能力。
2016-07-03 cs.CV
Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues
ROSE Lab, Nanyang Technological University(南洋理工大学ROSE实验室)
本文建立了首个结合视觉外观与生理rPPG线索的联合人脸欺骗与伪造检测基准,通过双分支生理网络和加权归一化多模态融合机制,显著提升了模型在联合训练下的泛化能力。
2024-01-08 cs.CV
Appearance Debiased Gaze Estimation via Stochastic Subject-Wise Adversarial Learning
Korea University(高丽大学);Kyungpook National University(庆北国立大学)
针对注视估计对个体外观过拟合的问题,提出SAZE框架,通过Fgen-Net、对抗损失和逐训练步随机重选受试者子集实现外观泛化,并在MPIIGaze与EyeDiap上达到最优性能。
2024-01-25 cs.CV
Pairwise Relational Networks for Face Recognition
POSTECH(浦项科技大学)
现有的使用深度神经网络的人脸识别很难清楚地知道使用什么样的特征来区分人脸图像的身份。为了研究人脸识别的有效特征,我们提出了一种新的人脸识别方法,称为成对关系网络(PRN),它获得特征图上标志点周围的局部外观补丁,并捕获一对局部外观补丁之间的成对关系。PRN被训练以捕获不同身份之间的唯一和区分性的成对关系。由于成对关系的存在和意义应该是身份相关的,我们添加了一个人脸身份状态特征,该特征是从长短期记忆(LSTM)单元网络中获得的,具有特征图上的连续局部外观补丁。为了进一步提高人脸识别的准确率,我们将全局外观表示与成对关系特征相结合。在LFW上的实验结果表明,仅使用两两关系的PRN达到了99.65%的准确率,而使用两两关系和人脸身份状态特征的PRN达到了99.76%的准确率。在YTF上,仅使用成对关系的PRN和使用成对关系和人脸身份状态特征的PRN都达到了最先进水平(95.7%和96.3%)。PRN在IJB-A上的人脸验证和人脸识别任务以及IJB-B上的最新技术方面也取得了与最新技术相当的结果。
2018-08-15 cs.CV
MIMAFace: Face Animation via Motion-Identity Modulated Appearance Feature Learning
Zhejiang University(浙江大学);Tencent Youtu Lab(腾讯优图实验室);Nanyang Technological University(南洋理工大学)
针对扩散模型在公开数据集上人脸动画图像质量与时间一致性差的问题,提出通过MIA模块调制运动与身份特征,并设计ICA模块建模跨片段时间关系,实现高保真身份保持与多模态驱动的人脸动画。
2024-09-23 cs.CV
GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning
Shenzhen University(深圳大学);Great Bay University(湾区大学);Nanyang Technological Uni(南洋理工大学)
针对逼真扩散模型生成图像带来的伪造检测挑战,本文提出了大规模细粒度高保真人脸伪造基准GenFace,并设计了跨外观-边缘学习(CAEL)检测器与外观-边缘交叉注意力(AECA)模块,在多种跨设置评估中超越现有技术。
2024-09-27 cs.CV
Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance
Stony Brook University(石溪大学);CentraleSupélec(高等电力学院);INRIA(法国国家信息与自动化研究所);Therapanacea;University College London(伦敦大学学院);Facebook AI Research(Facebook人工智能研究院)
在这项工作中,我们介绍了变形自动编码器,一个生成模型的图像,从外观中解开形状在一个无监督的方式。如在可变形模板范例中那样,形状被表示为规范坐标系(“模板”)和观察到的图像之间的变形,而外观在“规范”模板坐标中被建模,从而丢弃由于变形而引起的可变性。我们介绍了新的技术,允许这种方法被部署在自动编码器的设置,并表明这种方法可以用于无监督的组明智的图像对齐。我们展示了人类,手部和手指,面部操作,如形状和外观插值,以及无监督地标定位的表达变形实验。在模板坐标中,一种更强大的无监督解缠形式成为可能,使我们能够成功地将人脸图像分解为阴影和阴影,并进一步操作人脸图像。
2018-06-18 cs.CV
Boosting Deep Face Recognition via Disentangling Appearance and Geometry
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一个框架,解开的外观和几何表示在人脸识别任务。为了实现这一目标,我们通过空间变换生成几何形状相同的面孔。我们证明了所提出的方法通过两种方式辅助训练过程来增强深度人脸识别模型的性能。首先,它强制早期和中间卷积层学习更多具有代表性的特征,以满足解纠缠嵌入的属性。其次,它通过几何改变面部来增加训练集。通过大量的实验,我们证明了将所提出的方法集成到最先进的人脸识别方法中,可以有效地提高其在具有挑战性的数据集(如LFW,YTF和MegaFace)上的性能。理论和实践方面的方法进行了严格的分析,有关消融研究和知识转移任务。此外,我们表明,所提出的方法学习的知识可以有利于其他人脸相关的任务,如属性预测。
2020-01-13 cs.CV cs.LG
All the people around me: face discovery in egocentric photo-streams
University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
给定由可穿戴照相机(2fpm)捕获的图像的无约束流,我们提出了一种无监督的自下而上的方法,用于将出现的面部自动聚类到这些数据中存在的个体身份中。这个问题是具有挑战性的,因为图像是在真实世界条件下获得的,因此图像中的人的可见外观经历了强烈的变化。我们提出的管道包括首先将照片流安排到事件中,然后定位其中多个人的外观,最后将同一个人在不同事件中的各种外观分组。在一个月内佩戴照相机采集的数据集上进行的实验结果表明,所提出的方法的有效性所考虑的目的。
2017-05-12 cs.CV
Deep Kinship Verification via Appearance-shape Joint Prediction and Adaptation-based Approach
University of Southern California(南加州大学);Samsung Research America(三星美国研究院)
亲属关系验证旨在识别两张给定人脸图像之间的亲属关系。由于训练数据的缺乏和亲属间人脸相似度的变化,这是一个非常具有挑战性的问题。在这项工作中,我们建立了一个新的外观和形状为基础的深度学习管道。首先,我们采用从一般的人脸识别网络中学习到的知识来学习一般的人脸特征。然后,我们从亲属关系中学习面向亲属关系的外观和形状特征,并将它们结合起来进行最终预测。我们已经评估了广泛使用的流行的基准模型的性能,并证明了国家的最先进的优越性。
2019-05-15 cs.CV
3D Gaussian Head Avatars with Expressive Dynamic Appearances by Compact Tensorial Representations
Shanghai Jiao Tong University(上海交通大学);AntGroup Research(蚂蚁集团研究)
提出一种基于紧凑张量表示的3D高斯头部化身方法,通过静态三平面和轻量级1D特征线编码动态外观,实现实时渲染与低存储成本下的精确面部动态捕捉。
2025-04-21 cs.CV
Face Age Verification Vulnerabilities Under Simple Appearance Manipulations
Information Technologies Institute, Centre for Research and Technology Hellas(信息技术研究所,希腊研究与技术中心)
研究简单外观操纵下面部年龄验证的漏洞,评估七个模型在三个数据集及四种操纵类型下的情况,发现胡茬操纵影响大,不同人口统计特征受影响有差异,还探索了用偏差缓解方法减轻偏差。
2026-07-28 cs.CV
It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation
Osaka University(大阪大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
提出仅以全脸图像为输入的基于外观的视线估计方法,通过卷积神经网络和空间权重机制,在2D和3D视线估计任务上显著超越现有技术。
2023-05-16 cs.CV cs.HC
Attentional Feature-Pair Relation Networks for Accurate Face Recognition
人脸识别是生物特征识别领域的一个重要研究方向。然而,在人脸姿态、表情和光照剧烈变化下的鲁棒人脸识别是其实际应用的一大挑战。这种变化使得面部识别更加困难。在本文中,我们提出了一种新的人脸识别方法,称为注意力对关系网络(AFRN),它表示的脸的相关对的局部外观块功能与他们的注意力分数。AFRN通过所有可能的9 × 9局部外观块特征对来表示面部,通过从低秩双线性池化获得的注意力图来考虑每对的重要性,并且每对通过其对应的注意力得分来加权。为了提高准确率,我们选择前K对局部外观块特征作为相关的面部信息,并丢弃其余的不相关信息。利用双线性注意力网络传播加权top-K对,提取联合特征对关系。在实验中,我们在具有挑战性的LFW、YTF、CALFW、CPLFW、CFP、AgeDB、IJB-A、IJB-B和IJB-C数据集上证明了所提出的AFRN的有效性,并在1:1人脸验证和1:N人脸识别任务中取得了与现有最先进方法相比的出色性能。
2019-08-17 cs.CV
SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
CVIG Lab, Indian Institute of Technology Gandhinagar(CVIG实验室、印度理工学院冈丁纳格尔)
本文提出 SemFaceEdit 方法,通过在生成辐射流形上生成语义场,利用潜在编码解开面部几何与外观,实现了精确的局部语义人脸编辑,同时保持其他区域完整性。
2025-06-28 cs.CV
Seeing is not Believing: An Identity Hider for Human Vision Privacy Protection
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);State Key Laboratory of Information Security, Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所信息安全国家重点实验室);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文提出一种用于人类视觉隐私保护的身份隐藏器,通过虚拟人脸生成与外观转换模块显著改变面部外观以视觉隐藏身份,同时利用解耦网络保留身份信息供人脸识别器使用。
2024-08-23 cs.CV
SARS: A Novel Face and Body Shape and Appearance Aware 3D Reconstruction System extends Morphable Models
Centre of Excellence for Data Science, Artificial Intelligence and Modelling (DAIM), University of Hull, UK(数据科学、人工智能与建模卓越中心(DAIM)、赫尔大学)
SARS提出了一种新型的3D重建系统,通过单张图像提取身体和面部信息,实现对全身体3D模型的精确重建,扩展了可变形模型的应用范围。
2026-02-10 cs.AI cs.CV
High-Quality Facial Geometry and Appearance Capture at Home
School of Software and BNRist, Tsinghua University(软件学院和BNRist,清华大学)
本文提出了一种易用的系统,能够在暗室中通过手机闪光灯序列捕捉高质量的完整面部模型,包括皮肤、口腔、头发和眼睛。
2026-03-17 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn(波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本文提出FSRT,一种基于Transformer的人脸重现方法,通过自监督分解外观、头部姿态和表情特征,支持跨人重现和多源图像适应,实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
Robust Facial Expression Classification Using Shape and Appearance Features
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
人脸表情识别有着广泛的应用前景,在过去的十年中引起了研究者的广泛关注。特征提取是表情分析中的一个重要步骤,它有助于快速准确地识别表情。本文提出了一种将形状和外观特征相结合形成混合特征向量的方法。我们提取了金字塔直方图的相似性(PHOG)作为形状描述符和本地二进制模式(LBP)的外观特征。建议的框架涉及到一种新的方法,从主动面部补丁提取混合功能。活动面部贴片位于在不同表情期间经历主要变化的面部区域上。在检测到面部标志之后,对活动补丁进行本地化,并从这些补丁计算混合特征。使用面部的小部分而不是整个面部来提取特征,降低了计算成本,并且防止了用于分类的特征的过拟合。首先利用线性判别分析对特征进行降维,然后利用支持向量机对降维后的特征进行分类。在两个公开数据库上的实验结果表明,在识别所有的表达类有前途的准确性。
2015-05-15 cs.CV
A Set of Distinct Facial Traits Learned by Machines Is Not Predictive of Appearance Bias in the Wild
社会心理学的研究表明,人们仅仅根据外表对另一个人的性格做出有偏见的主观判断,并不能预测他们的实际性格特征。但研究人员和公司经常利用计算机视觉模型来预测类似的主观人格属性,如“就业能力”。“我们试图确定最先进的黑盒人脸处理技术是否可以学习类似人类的外观偏见。通过使用FaceNet(一种广泛使用的人脸识别框架)提取的特征,我们根据社会心理学家测量的人类受试者对其他面孔中人格特质的第一印象,训练训练了一个迁移学习模型。我们发现,用FaceNet提取的特征可以用来预测人为操纵的人脸的外观偏见分数,但不能预测人为随机生成的人脸。此外,与社会心理学中的人类偏见相比,该模型没有发现一个显着的信号将政治家的投票份额与感知能力偏见联系起来。通过本地可解释模型不可知解释(LIME),我们为这种差异提供了几种解释。我们的研究结果表明,社会心理学中记录的一些外观偏见信号并没有被我们研究的机器学习技术所嵌入。我们揭示了外观偏见可以嵌入面部处理技术的方式,并进一步质疑基于外观预测主观特征的做法。
2021-01-13 cs.AI cs.CV cs.CY
Estimating Appearance Models for Image Segmentation via Tensor Factorization
Bowdoin College(鲍登学院)
本文提出利用局部高阶颜色统计和张量分解直接估计图像外观模型,无需先验分割信息即可自动输出多区域比例,并在多种场景中验证了其高效分割性能。
2025-02-05 cs.CV stat.ML
A Coarse-to-Fine Adaptive Network for Appearance-Based Gaze Estimation
Beihang University(北京航空航天大学);SenseTime Co., Ltd.(商汤科技有限公司);Peng Cheng Laboratory(鹏城实验室)
人类的凝视对于各种吸引人的应用是必不可少的。针对更准确的视线估计,最近的一系列工作提出了同时利用人脸和眼睛图像。然而,在这些研究中,人脸图像和眼睛图像只是作为独立或平行的特征源,它们之间的内在关联性被忽略了。本文主要做了以下几个方面的工作:1)提出了一种由粗到精的策略,该策略从人脸图像中估计出一个基本的注视方向,并利用从眼睛图像中预测出的相应残差对该基本注视方向进行细化。2)在该策略的指导下,我们设计了一个框架,引入了一个二元模型来桥接注视残差和基本注视方向,并引入了一个注意力组件来自适应地获取合适的细粒度特征。3)综合上述创新,我们构建了一个由粗到细的自适应网络CA-Net,并在MPIIGaze和EyeDiap上实现了最先进的性能。
2020-01-01 cs.CV
Learning a face space for experiments on human identity
University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Psychology(心理学系)
人类身份和外观的生成模型对行为科学和技术具有广泛的适用性,但人类面部感知的敏感性意味着它们的效用取决于模型的表示与人类心理表示的对齐以及生成图像的照片现实主义。满足这些要求是一项严格的任务,现有的人类身份和外观模型往往是抽象的,人工的,不可思议的,或有偏见的。在这里,我们使用一个变分自编码器与自回归解码器学习人脸空间从一个独特的不同的肖像,控制大部分的变化无关的人的身份和外观的数据集。我们的方法生成逼真的肖像虚构的身份与平滑,可导航的潜在空间。我们通过引入图像的心理物理图灵测试来验证我们的模型与人类敏感性的一致性,而人类大多无法通过该测试。最后,我们展示了我们的模型在心理空间中的快速搜索问题的初步应用,以获得详细的“警察素描”在少量的试验。
2018-05-19 cs.CV
Greedy Search for Descriptive Spatial Face Features
面部表情识别方法使用基于几何特征和基于外观特征的组合。空间特征来源于面部标志点的位移,并携带几何信息。这些特征或者是基于先验知识选择的,或者是从大的池中降维的。在这项研究中,我们产生了大量的潜在的空间特征,使用两种组合的面部标志。其中,我们使用顺序向前选择搜索特征的描述性子集。所选择的特征子集被用于在扩展的Cohn-Kanade数据集(CK+)中对面部表情进行分类,并且在不使用任何基于外观的特征的情况下提供了88.7%的识别准确率。
2017-07-03 cs.CV
Robust Face-Swap Detection Based on 3D Facial Shape Information
University of Chinese Academy of Sciences(中国科学院大学);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心)
恶意操纵的图像或视频-所谓的深度伪造-特别是面部交换图像和视频吸引了越来越多的恶意攻击者来诋毁一些关键人物。以往的基于像素级伪影的检测技术往往只关注一些不清晰的模式,而忽略了一些可用的语义线索。因此,这些方法表现出较弱的可解释性和鲁棒性。在本文中,我们提出了一种基于生物特征信息的方法,充分利用外观和形状特征的人脸交换检测的关键人物。我们的方法的关键方面是获得三维人脸形状和面部外观的不一致性,基于不一致性的线索提供了自然的解释所提出的人脸交换检测方法。实验结果表明,该方法在对各种清洗和跨域数据的鲁棒性方面具有优势,从而验证了该方法的有效性。
2021-04-28 cs.CV
NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Jiaotong University(北京交通大学);University of Chinese Academy of Sciences(中国科学院大学);City University of Hong Kong(香港城市大学)
近来用于合成3D感知人脸图像的方法由于神经辐射场而获得了快速发展,从而允许高质量和快速推理速度。然而,用于独立地编辑面部几何形状和外观的现有解决方案通常需要重新训练,并且没有针对最近的生成工作进行优化,因此往往落后于生成过程。为了解决这些问题,我们引入了NeRFFaceEditing,它可以在预训练的基于三平面的神经辐射场中编辑和解耦几何和外观,同时保持其高质量和快速推理速度。我们的主要思想是使用三平面的统计数据来表示其相应的面部体积的高级外观。此外,我们利用生成的3D连续语义掩码作为几何编辑的中介。我们设计了一个几何解码器(其输出是不变的外观变化时)和外观解码器。几何解码器将原始面部体积与语义掩模体积对齐。我们还通过显式正则化具有相同外观但不同几何形状的渲染图像来增强解纠缠,以分别在每个面部组件的颜色分布方面相似。我们的方法允许用户编辑通过语义面具与解耦控制的几何形状和外观。定性和定量的评估显示,我们的方法相比,现有的和替代的解决方案优越的几何形状和外观控制能力。
2022-11-15 cs.CV cs.GR
Visualizing Celebrity Dynamics in Video Content: A Proposed Approach Using Face Recognition Timestamp Data
Digital Data Analytics, Department of New Media, TRT, İstanbul, Türkiye(数字数据分析师,新媒体系,TRT,伊斯坦布尔,土耳其)
本研究提出结合分布式多GPU推理与交互式可视化的混合框架,利用优化ONNX模型等高效处理视频生成名人出场时间戳,通过多维度可视化分析名人动态,为娱乐分析等领域提供新支持。
2025-09-29 cs.CV
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors
Sun Yat-sen University(中山大学);Xidian University(西安电子科技大学);The University of Hong Kong(香港大学)
提出两阶段框架,用Transformer生成地标并利用外观先验渲染视频,实现逼真、唇同步且保持身份的说话人脸生成。
2023-05-15 cs.CV cs.MM
GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion
KAIST AI(韩国科学技术院人工智能研究所)
提出GeoFace,一种几何约束的多视角扩散框架,通过外观与几何流的共享注意力层和几何引导注意力对齐损失,实现从单张输入生成一致的多视角人脸图像和3D几何,显著提升跨视角几何一致性。
2026-06-29 cs.CV
Deep Appearance Models for Face Rendering
Facebook Reality Labs(Facebook现实实验室)
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发,我们开发了一个数据驱动的渲染管道,该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器,捕捉复杂的非线性效应,同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果(如镜面反射)进行建模。此外,它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同,传统的图形管道需要高度精确的几何结构以及着色模型的所有元素,以通过物理启发的光传输来实现真实感。在实践中,获得如此高的准确度是困难的,特别是对于面部的复杂和复杂的部分,例如睫毛和口腔。我们的方法自然地处理这些问题,不依赖于几何形状的精确估计。相反,着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时,我们根据摄像机的视点来调节解码网络,以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎,通过动态纹理与平面照明。这种表示,再加上一种新的无监督技术,用于将图像映射到面部状态,导致系统自然适合于实时交互设置,如虚拟现实(VR)。
2018-08-01 cs.CV cs.GR
Replicating Active Appearance Model by Generator Network
University of California, Los Angeles(加州大学洛杉矶分校);Beijing Institute of Technology(北京理工大学)
最近的一篇Cell论文[Chang和Tsao,2017]报道了一个有趣的发现。对于由预先训练的主动外观模型(AAM)生成的人脸刺激,灵长类动物大脑中负责人脸识别的区域中的神经元的反应与生成人脸刺激的AAM的形状变量和外观变量表现出强线性关系。在本文中,我们证明了这种行为可以通过一种称为生成器网络的深度生成模型来复制,该模型假设观察到的信号是由潜随机变量通过自上而下的卷积神经网络生成的。具体来说,我们使用变分自动编码器从预训练的AAM模型生成的人脸图像中学习生成器网络,并且我们证明了学习的生成器网络的推断潜变量与生成人脸图像的AAM模型的形状和外观变量具有很强的线性关系。与AAM模型不同,AAM模型具有显式形状模型,其中形状变量生成控制点或界标,生成器网络没有这样的形状模型和形状变量。然而,生成器网络可以学习形状知识,在这个意义上,学习的生成器网络的一些潜变量捕获由AAM生成的面部图像中的形状变化。
2018-05-14 cs.CV cs.LG stat.ML
Which Facial Expressions Can Reveal Your Gender? A Study With 3D Faces
Lancaster University(兰卡斯特大学)
人类在外表和行为上都表现出丰富的性别线索。在计算机视觉领域,基于面部外观的性别识别研究已经比较广泛,而基于面部行为的性别识别研究还很少见。在这项工作中,我们首先证明了面部表情会影响3D人脸中呈现的性别模式,并且在同一表情中进行训练和测试时,性别识别性能会增加。在此基础上,我们设计实验,直接提取面部表情导致的形态变化作为特征,用于基于表情的性别识别。实验结果表明,在快乐和厌恶表情中,性别识别具有相当的准确性,而惊讶和悲伤表情中没有传达太多的性别相关信息。这是文献中第一个研究基于表情的3D人脸性别分类的工作,并揭示了不同类型的表情,即快乐,厌恶,惊讶和悲伤表情中的性别模式的强度。
2018-05-01 cs.CV
Concealing the identity of faces in oblique images with adaptive hopping Gaussian mixtures
Alpen-Adria-Universität Klagenfurt(克拉根福阿尔卑斯-亚德里亚大学);Queen Mary University of London(伦敦玛丽女王大学)
安装在微型飞行器(MAV)上的相机越来越多地用于娱乐摄影。然而,公共场所的航拍照片通常包含旁观者的面孔,从而导致感知或实际侵犯隐私。为了解决这个问题,我们建议伪随机地修改图像中的面部区域的外观,使用隐私过滤器,防止人类或面部识别器推断人的身份。该滤波器仅在分辨率足够高以使面部可识别时应用,自适应地使面部外观作为其分辨率的函数而失真。此外,建议的过滤器局部改变其参数,以阻止使用参数估计的攻击。该滤波器利用全局自适应性来减少失真和局部跳变的参数,使他们的估计难以为攻击者。为了评估所提出的方法的效率,我们使用一个国家的最先进的人脸识别算法和合成生成的人脸数据与3D几何图像变换,模仿面部捕获的MAV在不同的高度和俯仰角。实验结果表明,该过滤器保护隐私,同时减少失真,并表现出对攻击的弹性。
2018-10-29 cs.CV
Mutual Information Maximization on Disentangled Representations for Differential Morph Detection
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一种新的差分形态检测框架,利用地标和外观解纠缠。在我们的框架中,人脸图像表示在嵌入域中使用两个解开,但互补的表示。该网络由三张人脸图像训练,其中中间图像继承了一张图像的地标和另一张图像的外观。使用对比表示为每个数据集进一步训练这个初始训练的网络。我们证明,通过采用外观和地标解纠缠,所提出的框架可以提供最先进的差分形态检测性能。此功能是通过在界标、外观和ID域中使用距离来实现的。所提出的框架的性能进行评估,使用不同的方法生成的三个变形数据集。
2020-12-02 cs.CV
PAV: Personalized Head Avatar from Unstructured Video Collection
Flawless AI;Imperial College London(帝国理工学院)
PAV 提出首个在单一统一动态可变形 NeRF 中同时建模同一主体多外观与形状变化的个性化头部头像方法,通过外观嵌入和外观条件密度公式,在任意视角与表情合成上优于基线。
2024-07-22 cs.CV
Causal Representation Learning for Context-Aware Face Transfer
National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人脸合成涉及将关于人脸的身份和身份相关的面部形状(IDFS)的知识转移到目标面部图像,其中上下文(例如,面部表情、头部姿势和其他背景因素)可能会显著改变。人脸是非刚性的,因此面部表情会导致面部形状的变形,头部姿势也会影响2D图像中观察到的人脸。人脸迁移中的一个关键挑战是将人脸与未观察到的新上下文相匹配,从而使人脸外观适应不同的姿势和表情。在这项工作中,我们找到了一种方法来提供先验知识的生成模型的原因,适当的外观,一个人的脸,以响应各种表情和姿势。我们提出了一种新的上下文感知的人脸转移方法,称为CarTrans,它将上下文因素的因果效应纳入人脸表征,从而能够意识到新的上下文的不确定性。我们估计面部表情和头部姿势的反事实推理方面的影响,通过设计一个控制干预试验,从而避免了大量的观察,以覆盖姿势表达空间的要求。此外,我们提出了一个基于核回归的编码器,消除了身份特异性的目标面孔编码时,从目标图像的上下文信息。由此产生的方法显示出令人印象深刻的性能,允许在各种上下文条件下对面部形状和外观进行细粒度控制。
2021-11-17 cs.CV stat.ME
DiverAge: Reliable Pluralistic Face Aging with Cross-Age Identity Relation Guidance
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学);School of Computer Science, University of California, Santa Barbara(计算机科学学院,加州大学圣芭芭拉分校)
提出基于扩散自编码的分层多元人脸老化框架DiverAge,通过随机扩散解码和年龄条件语义调制保持外观多样性,并引入跨年龄身份关系调节器(CARR)在推理时引导去噪,以提升序列级有序可靠性。
2026-06-02 cs.AI cs.CV
LaFIn: Generative Landmark Guided Face Inpainting
Tianjin University(天津大学);Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室);Stony Brook University(石溪大学)
在野外环境下,由于人脸的姿态、表情、遮挡等变化很大,因此对人脸图像进行修补是一项具有挑战性的工作。一个好的修复算法应该保证输出的真实感,包括眼睛、鼻子和嘴巴之间的拓扑结构,以及姿态、性别、种族、表情等属性的一致性。针对这些问题,研究了一种有效的基于深度学习的策略,该策略由人脸特征点预测子网和图像修补子网组成。具体而言,给定部分观察,地标预测器旨在提供不完整面部的结构信息(例如拓扑关系和表情),而修复器则以预测的地标为条件来生成合理的外观(例如性别和种族)。在CelebA-HQ和CelebA数据集上进行实验,以揭示我们设计的有效性,并在定性和定量方面证明其优于最先进的替代品。此外,我们假设高质量的完整人脸及其地标可以用作增强数据,以进一步提高(任何)地标预测器的性能,这在300 W和WFLW数据集上的实验结果得到了证实。
2019-11-26 cs.CV
Classification with Repulsion Tensors: A Case Study on Face Recognition
我们考虑在监督设置中的人脸识别的降维方法,使用图像作为矩阵表示。一个常见的过程是将图像矩阵投影到一个较小的空间中,在该空间中进行识别。这些方法在文献中通常被称为“二维”,并且存在使用图像作为矢量表示的对应物。当两个人脸图像在输入空间中彼此接近时,它们可以在投影后保持接近-但是这在这两个图像来自不同类别的情况下是不期望的,并且这经常影响识别性能。我们扩展了以前开发的“排斥拉普拉斯”技术的基础上添加条款的目标函数的目标或创建一个排斥能量之间的图像在投影空间。该方案依赖于排斥图,是通用的,可以被纳入各种二维方法。它可以被看作是Kokiopoulou和Saad [Pattern]的排斥策略的多线性推广,42(2009),pp. 2392- 2402]。实验结果表明,所提出的方法提供了显着的识别改善相对于底层的二维方法。
2016-03-15 cs.CV
Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, CASIA(中国科学院自动化研究所脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
面部正面化是指从给定的轮廓合成面部的正面视图的过程。由于自遮挡和外观失真在野外,这是非常具有挑战性的恢复忠实的结果,并保留纹理细节在一个高分辨率。本文提出了一种高保真姿态不变模型(HF-PIM),以产生摄影和身份保持的结果。HF-PIM通过一种新颖的纹理扭曲过程对轮廓进行正面化,并利用密集的对应字段来绑定2D和3D表面空间。我们将变形的先决条件分解为稠密对应场估计和面部纹理图恢复,这两个问题都可以通过深度网络很好地解决。与那些依赖于3D数据的重建方法不同,我们还提出了对抗残差字典学习(ARDL)来监督人脸纹理图的恢复。在受控和非受控环境下的详尽实验表明,该方法不仅提高了姿态不变人脸识别的性能,而且显着提高了高分辨率的正面化外观。
2018-10-06 cs.CV
Total-Editing: Head Avatar with Editable Appearance, Motion, and Lighting
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司)
Total-Editing提出统一肖像编辑框架,结合神经辐射场内在分解与移动最小二乘变形场,实现外观、动作和光照的精确控制,提升编辑质量与真实感。
2025-05-26 cs.CV