Selective manipulation of disentangled representations for privacy-aware facial image processing
Ghent University(根特大学);imec(比利时微电子研究中心)
摄像头传感器越来越多地与机器学习相结合,以执行智能监控等各种任务。由于其计算复杂性,这些机器学习算法中的大多数都被卸载到云端进行处理。然而,用户越来越担心隐私问题,如功能蠕变和第三方云提供商的恶意使用。为了缓解这一问题,我们提出了一个基于边缘的过滤阶段,在传感器数据传输到云端之前删除隐私敏感属性。我们使用最先进的图像处理技术,利用解开表示,以实现隐私过滤。我们定义了选择加入和选择退出过滤器操作,并评估其有效性,从人脸图像中过滤私人属性。此外,我们研究自然发生的相关性和残留信息的过滤效果。我们发现这些结果很有希望,并相信这有助于进一步研究如何将图像处理用于隐私保护。
2022-08-26 cs.CV
Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology(广东工业大学);South China University of Technology(华南理工大学);Sun Yat-sen University(中山大学)
本文提出STCCL算法,通过空间和时间一致的相关性学习,在保持语音内容面部动画的同时操控面部表情。
2026-04-22 cs.CV
LEGAN: Disentangled Manipulation of Directional Lighting and Facial Expressions by Leveraging Human Perceptual Judgements
Affectiva(Affectiva公司);Amazon(亚马逊公司);Silver Spoon Animation(银匙动画公司);SureStart(SureStart公司)
构建概括光照和面部表情的极端变化的面部分析系统是一个具有挑战性的问题,可以使用看起来自然的合成数据来缓解。为此,我们提出了LEGAN,一种新的合成框架,利用感知质量的判断,共同操纵照明和面部图像中的表情,而不需要配对的训练数据。LEGAN将光照和表情子空间分开,并在放大到所需的输出图像之前在特征空间中执行变换。合成图像的保真度通过将感知质量估计模型(使用使用多种合成方法渲染的面部图像及其众包自然度评级进行训练)作为辅助模型集成到LEGAN框架中来进一步细化。使用客观的指标,如FID和LPIPS,LEGAN被证明可以生成更高质量的人脸图像时,与流行的GAN模型,如StarGAN和StarGAN-v2的照明和表情合成。我们还进行了感知研究,使用LEGAN和其他GAN模型合成的图像,并显示我们的质量估计和视觉保真度之间的相关性。最后,我们证明了LEGAN作为表情识别和人脸验证任务的训练数据增强器的有效性。
2021-06-18 cs.CV
MaskGAN: Towards Diverse and Interactive Facial Image Manipulation
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
人脸图像处理技术近年来取得了很大的进展。然而,以前的方法要么在预定义的一组面部属性上操作,要么让用户几乎没有交互操作图像的自由。为了克服这些缺点,我们提出了一个名为MaskGAN的新框架,实现了多样化和交互式的人脸操作。我们的关键见解是,语义面具作为一个合适的中间表示灵活的面部操作与保真度的保护。MaskGAN有两个主要组件:1)密集映射网络(DMN)和2)编辑行为模拟训练(EBST)。具体地,DMN学习自由形式的用户修改的掩模和目标图像之间的风格映射,从而实现多样化的生成结果。EBST对源掩码上的用户编辑行为进行建模,使整个框架对各种操纵输入更加健壮。具体地说,它引入了双重编辑一致性作为辅助监督信号。为了便于广泛的研究,我们构建了一个大规模的高分辨率人脸数据集与细粒度掩模注释命名为CelebAMask-HQ。MaskGAN在两个具有挑战性的任务上进行了全面评估:属性转移和样式复制,表现出优于其他最先进方法的性能。代码、模型和数据集可在https://github.com/switchablenorms/CelebAMask-HQ上获得。
2020-04-01 cs.CV cs.GR cs.LG
MFIM: Megapixel Facial Identity Manipulation
Kakao Brain
提出新型人脸替换框架MFIM,利用预训练StyleGAN生成百万像素图像,并通过3DMM显式监督身份转换,同时引入ID mixing操作支持自定义新身份。
2023-08-03 cs.CV cs.LG
On the Detection of Digital Face Manipulation
Michigan State University(密歇根州立大学)
检测被操纵的面部图像和视频是数字媒体取证中越来越重要的主题。随着先进的人脸合成和操作方法的出现,正在创建新型的假脸表示,这引起了人们对它们在社交媒体中使用的严重关注。因此,它是至关重要的,以检测被操纵的人脸图像和定位被操纵的区域。我们提出利用注意力机制来处理和改进分类任务的特征图,而不是简单地使用多任务学习来同时检测被操纵的图像和预测被操纵的掩模(区域)。学习的注意力地图突出信息区域,以进一步改进二进制分类(真脸与假脸),并可视化操纵区域。为了使我们的研究操纵的人脸检测和定位,我们收集了一个大规模的数据库,其中包含许多类型的面部表情。通过这个数据集,我们对数据驱动的假人脸检测进行了全面的分析。我们表明,使用一个注意力机制提高了面部伪造检测和操纵区域定位。
2020-10-24 cs.CV
PortraitGAN for Flexible Portrait Manipulation
University of Southern California(南加利福尼亚大学);Emory University(埃默里大学)
以前的方法已经处理了离散操作的面部属性,如微笑,悲伤,愤怒,惊讶等,规范的表情,他们是不可扩展的,在单一的模态操作。在本文中,我们提出了一个新的框架,支持使用对抗学习的连续编辑和多模态肖像操作。具体来说,我们适应周期一致性的条件设置,利用额外的面部标志信息。这有两个影响:第一循环映射引起双向操纵和身份保持;因此可以利用来自不同模态的第二配对样本。为了确保高质量的合成,我们采用了纹理损失,加强纹理一致性和多级对抗监督,促进梯度流。定量和定性的实验表明,我们的框架在执行灵活和多模态人像操作与照片般逼真的效果的有效性。
2018-12-18 cs.CV
Contrastive Decoupled Representation Learning and Regularization for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology(广东工业大学);South China University of Technology(华南理工大学);Sun Yat-sen University(中山大学)
本文提出对比解耦表示学习算法CDRL,通过CCRL和CERL模块分别学习内容与情绪先验并解耦表示,以监督SPFEM生成过程,实现更准确的情绪操控和音唇同步。
2025-04-08 cs.CV cs.SD
Constrained R-CNN: A general image manipulation detection model
Hunan University(湖南大学)
最近,基于深度学习的模型在图像操纵检测方面表现出了卓越的性能。然而,它们中的大多数遭受手工或预定特征的差的通用性。同时,它们只注重手法的定位,而忽视手法的分类。为了解决这些问题,我们提出了一种名为约束R-CNN的粗到精架构,用于完整和准确的图像取证。首先,可学习的操纵特征提取器直接从数据中学习统一的特征表示。其次,注意区域建议网络有效地区分操纵区域,用于下一次操纵分类和粗定位。然后,跳跃结构融合低层次和高层次的信息,以改善全局操作功能。最后,粗定位信息引导模型进一步学习更精细的局部特征,并分割出篡改区域。实验结果表明,我们的模型达到了最先进的性能。特别是在NIST 16、COVERAGE和Columbia数据集上,F1得分分别增加了28.4%、73.2%和13.3%。
2020-03-15 cs.CV cs.MM
Facelet-Bank for Fast Portrait Manipulation
The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tencent Youtu Lab(腾讯优图实验室)
随着智能手机和社交网络的普及,数字面部操作已经成为一种流行且迷人的触摸图像的方式。由于用户偏好、面部表情和配件种类繁多,因此需要一个通用且灵活的模型来适应不同类型的面部编辑。在本文中,我们提出了一个模型,以实现这一目标的基础上,端到端的卷积神经网络,支持快速推理,编辑效果控制,快速部分模型更新。此外,该模型从具有不同属性的未配对图像集学习。实验结果表明,我们的框架可以处理广泛的表情,配件和化妆效果。它以快速的速度产生高分辨率和高质量的结果。
2018-03-30 cs.CV
Video Face Manipulation Detection Through Ensemble of CNNs
Politecnico di Milano(米兰理工大学)
在过去的几年中,已经成功地开发了用于视频中的面部操纵的若干技术,并使其可用于大众(即,FaceSwap、deepfake等)。这些方法使任何人都可以轻松地编辑视频序列中的人脸,获得令人难以置信的逼真效果,并且只需很少的努力。尽管这些工具在许多领域都很有用,但如果被恶意使用,它们可能会对社会产生严重的不良影响(例如,假新闻传播,通过假复仇色情进行网络欺凌)。因此,客观地检测视频序列中的人脸是否被操纵的能力是至关重要的任务。在本文中,我们解决的问题,在视频序列中的人脸操作检测针对现代人脸操作技术。特别是,我们研究了不同训练的卷积神经网络(CNN)模型的集成。在所提出的解决方案中,从基础网络(即,EfficientNetB 4)利用两个不同的概念:(i)注意层;(ii)连体训练。我们表明,结合这些网络导致有前途的人脸操纵检测结果在两个公开的数据集超过119000个视频。
2020-04-16 cs.CV cs.MM eess.IV
Deep Fake Detection: Survey of Facial Manipulation Detection Solutions
AITR(阿克罗波利斯技术与研究学院)
深度学习作为一个领域已经成功地用于解决大量复杂的问题,这是我们几十年前无法想象的。但是,尽管它带来了很多好处,但它仍然可以被用来给我们的社会带来危害。深度伪造已被证明是这样一个问题,现在比以往任何时候都更重要的是,当任何人都可以简单地使用智能手机上的应用程序创建虚假图像或视频时,需要采取一些对策,我们可以检测图像或视频是假的还是真的,并处理威胁在线信息可信度的问题。虽然由神经网络创建的深度伪造看起来像真实的图像或视频一样真实,但在适度之后,它仍然留下空间和时间痕迹或签名,这些签名虽然对人眼不可见,但可以在经过训练专门用于深度伪造检测的神经网络的帮助下检测到。在本文中,我们分析了几个这样的国家的艺术神经网络(MesoNet,ResNet-50,VGG-19和Xception Net)并将它们相互比较,找到各种场景的最佳解决方案,比如真实的- 时间深度虚假检测将部署在其中分类应尽可能快地进行的在线社交媒体平台中,或者部署在其中分类不需要是真实的小型新闻机构中,时间,但需要最大的准确性。
2021-06-23 cs.CV cs.LG
ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification
Sun Yat-sen University(中山大学);Wuhan University(武汉大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
本研究针对面部操纵滥用的问题,提出ID-Guard通用框架,通过身份破坏模块生成跨模型可迁移扰动,可防御多种操纵模型并集成到其他任务中。
2026-07-31 cs.AI cs.CV
Initiative Defense against Facial Manipulation
University of Science and Technology in China(中国科学技术大学)
得益于生成对抗网络(GAN)的发展,近年来人脸操控在学术界和工业界都取得了重大进展。它激发了越来越多的娱乐应用,但同时也对个人隐私甚至政治安全造成了严重威胁。为了减轻这种风险,已经提出了许多对策。然而,绝大多数方法都是被动的,即检测人脸图像或视频是否被篡改后,他们广泛传播。这些基于检测的方法有一个致命的局限性,即它们只能用于事后取证,而不能防止恶意行为的产生。为了解决这个问题,在本文中,我们提出了一个新的框架主动防御恶意用户控制的面部操纵模型的性能下降。其基本思想是在操作之前主动向目标面部数据注入难以察觉的毒液。为此,我们首先用一个代理模型来模拟目标操纵模型,然后设计一个毒液扰动发生器来获得所需的毒液。交替训练策略被进一步利用来训练所述代理模型和所述扰动生成器两者。在我们的主动防御框架中,考虑了两种典型的面部操作任务:面部属性编辑和面部再现。大量的实验表明,我们的框架在不同的设置的有效性和鲁棒性。最后,我们希望这项工作可以揭示一些针对更具对抗性的场景的主动对策。
2021-12-19 cs.AI cs.CV
Deep Semantic Manipulation of Facial Videos
University of Exeter(埃克塞特大学);Foundation for Research & Technology - Hellas(希腊研究与技术基金会)
编辑和操纵视频中的面部特征是一个有趣而重要的研究领域,具有大量的应用,从电影后期制作和视觉效果到视频游戏和虚拟助手的逼真化身。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操作。我们专注于通过改变和控制面部表情的视频的交互式操作,实现有希望的逼真效果。所提出的方法是基于解纠缠表示和估计的3D面部形状和活动,为用户提供直观和易于使用的控制输入视频中的面部表情。我们还引入了一个用户友好的交互式AI工具,该工具处理输入视频特定部分中所需的表达操作的人类可读语义标签,并合成逼真的操作视频。我们通过将情绪标签映射到Valence-Arousal空间上的点来实现这一点(其中Valence量化了情绪的积极或消极程度,Arousal量化了情绪激活的力量),这些情绪标签又通过专门设计和训练的表情解码器网络映射到解开的3D面部表情。本文提出了详细的定性和定量实验,证明了我们的系统的有效性和可喜的成果,它取得了。
2022-10-17 cs.AI cs.CV
Generalized Facial Manipulation Detection with Edge Region Feature Extraction
Sungkyunkwan University(成均馆大学)
提出了一种基于图像边缘区域特征的人脸篡改检测方法。目前的人脸合成方法大多数都包含了减少颜色不协调的处理,但是在边缘区域会破坏自然指纹。另外,在非面部背景区域中不进行这些颜色校正处理。我们还观察到,合成过程不考虑出现在时域中的图像的自然属性。考虑到这些意见,我们提出了一个面部法医框架,利用像素级的颜色特征出现在整个图像的边缘区域。此外,我们的框架包括一个3D-CNN分类模型,该模型在空间和时间上解释提取的颜色特征。与其他现有的研究不同,我们通过考虑从一个视频中的多个帧中提取的所有特征来进行真实性确定。通过广泛的实验,包括真实世界的场景来评估广义检测能力,我们表明,我们的框架在准确性和鲁棒性方面优于最先进的面部操作检测技术。
2021-12-01 cs.AI cs.CV
Facial Expression Recognition Using a Hybrid CNN-SIFT Aggregator
Multimedia University(多媒体大学)
一个成功的人机交互系统需要一个有效的面部表情识别组件。尽管如此,识别面部表情仍然是一项具有挑战性的任务。本文描述了一种新的方法对面部表情识别任务。该方法的动机是卷积神经网络(CNN)的人脸识别问题的成功。与其他作品不同,我们专注于实现良好的准确性,同时只需要少量样本数据进行训练。尺度不变特征变换(SIFT)特征用于提高对小数据的性能,因为SIFT不需要大量的训练数据来生成有用的特征。本文研究并比较了密集SIFT和常规SIFT与CNN特征合并时的情况。此外,开发了模型的聚合器。该方法在FER-2013和CK+数据集上进行了测试。结果证明了具有Dense SIFT的CNN优于传统的CNN和具有SIFT的CNN。当所有模型都被聚合时,准确性甚至增加了,这在FER-2013和CK+数据集上产生了最先进的结果,在FER-2013和CK+上分别达到了73.4%和99.1%。
2017-08-12 cs.AI cs.CV cs.HC
Detection and Localization of Facial Expression Manipulations
University of California, Riverside(加利福尼亚大学河滨分校)
对社交媒体中广泛使用欺诈性图像/视频的担忧需要精确检测此类欺诈行为。面部表情在通信中的重要性是众所周知的,并且对抗攻击通常集中于操纵表情相关特征。因此,重要的是要开发的方法,可以检测面部表情中的操纵,并定位的操纵区域。为了解决这个问题,我们提出了一个框架,能够检测操作的面部表情识别和图像处理方法的紧密结合。随着从面部表情识别框架中提取的特征图的加入,我们的操纵检测器能够定位被操纵的区域。我们表明,在Face 2Face数据集上,有丰富的表情操作,与最先进的方法相比,我们的方法在分类和定位操作方面的准确率都提高了3%以上。此外,NeuralTextures数据集上的结果显示,与嘴部区域对应的面部表情已经被修改,在分类和操作定位方面的准确度都提高了2%。我们证明了该方法在表达不被操纵,而是身份被改变的情况下,与最先进的方法相一致,从而确保了该方法的普遍性。
2021-03-15 cs.CV
TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network
Wuhan Institute of Technology(武汉工程大学);Harbin Institute of Technology(哈尔滨工业大学);Wuhan University(武汉大学)
最近,面部超分辨率(FSR)方法将整个面部图像馈送到卷积神经网络(CNN)中或者利用额外的面部先验(例如,面部解析图、面部界标)以聚焦于面部结构,从而在恢复面部细节的同时保持面部结构的一致性。然而,CNN有限的感受野和不准确的面部先验会降低重建面部的自然度和保真度。在本文中,我们提出了一个新的范式的基础上的自我注意力机制(即,Transformer的核心),充分挖掘人脸结构特征的表征能力。具体来说,我们设计了一个由两条路径组成的Transformer-CNN聚合网络(TANet),其中一条路径使用CNN负责恢复细粒度的面部细节,而另一条路径使用资源友好的Transformer通过利用长距离视觉关系建模来捕获全局信息。通过对这两条路径的特征进行聚合,同时增强了全局人脸结构的一致性和局部人脸细节恢复的逼真度。人脸重建和识别的实验结果表明,该方法可以显着优于国家的最先进的方法。
2021-09-16 cs.CV
Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition
University of South Carolina(南卡罗来纳大学)
从自发的面部表情中识别面部动作单元仍然是一个具有挑战性的问题。最近,CNN在面部AU识别方面表现出了希望。然而,由于有限的AU编码训练图像,学习的CNN通常过拟合,并且不能很好地推广到看不见的主题。我们提出了一种新的增量提升CNN(IB-CNN),通过增量提升层将提升集成到CNN中,该增量提升层从较低层中选择有区别的神经元,并在连续的小批次上增量更新。此外,提出了一种新的损失函数,该函数考虑了增量增强分类器和单个弱分类器的错误,以微调IB-CNN。在四个基准AU数据库上的实验结果表明,IB-CNN比传统的CNN和没有增量学习的boosting CNN有显著的改进,并且在AU识别中优于最先进的基于CNN的方法。对于在数据库中频率最低的AU来说,这种改进更为显著。
2017-07-17 cs.CV
Deep Multi-task Multi-label CNN for Effective Facial Attribute Classification
Xiamen University(厦门大学);University College London(伦敦大学学院)
人脸属性分类在计算机视觉和模式识别领域受到越来越多的关注。然而,现有技术的FAC方法独立地执行面部检测/对准和FAC。这些任务之间的内在依赖性没有得到充分利用。此外,大多数方法使用相同的CNN网络架构来预测所有面部属性,这忽略了面部属性的不同学习复杂性。为了解决上述问题,我们提出了一种新的深度多任务多标签CNN,称为DMM-CNN,用于有效的FAC。具体来说,DMM-CNN联合优化了两个密切相关的任务(即,面部标志点检测和FAC),以通过利用多任务学习来提高FAC的性能。针对人脸属性学习复杂性的多样性,本文将人脸属性分为客观属性和主观属性两类。分别设计了两种不同的网络结构来提取两组属性的特征,并提出了一种新的动态加权方案,在训练过程中自动分配损失的权重到每个面部属性。此外,自适应阈值策略的发展,以有效地缓解多标签学习的类不平衡的问题。在具有挑战性的CelebA和LFWA数据集上的实验结果表明,与几种最先进的FAC方法相比,所提出的DMM-CNN方法具有优越性。
2020-02-10 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);IWR, University of Heidelberg(海德堡大学科学计算跨学科中心);Manchester Metropolitan University(曼彻斯特城市大学);IMLA, Offenburg University(奥芬堡大学机器学习与分析研究所)
人脸图像处理是一个生成任务,其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而,目前的方法要么专注于纯粹的风格转移,或翻译的预定义的属性集与有限的交互性。为了解决这个问题,我们提出了FacialGAN,这是一个新颖的框架,可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时,将目标图像的各种风格转移到源图像。然后,我们将分割掩模的几何信息,以提供一个细粒度的面部属性的操作。最后,提出了一种多目标学习策略,以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验,以CelebAMask-HQ作为语义掩码标签,显示了我们的模型在风格转换,属性操作,多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性,我们提供了一个交互式开源工具来执行面部操作,以及模型的Pytorch实现。
2021-10-18 cs.CV
Hybrid CNN-Transformer Model For Facial Affect Recognition In the ABAW4 Challenge
University of Electronic Science and Technology of China(电子科技大学)
本文介绍了我们提交的第四届情感行为分析(ABAW)的竞争。针对多任务学习(MTL)和从合成数据学习(LSD)任务,提出了一种混合CNN-Transformer模型。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-07-20 cs.CV
Lightweight Real-time Makeup Try-on in Mobile Browsers with Tiny CNN Models for Facial Tracking
ModiFace Inc.(ModiFace公司)
最近关于用于面部对齐的卷积神经网络(CNN)的工作在各种大型公开数据集上表现出前所未有的准确性。然而,开发的模型往往是笨重的和计算昂贵的,并不适合资源受限的设备上的应用程序。在这项工作中,我们研究开发和训练紧凑的面部对齐模型,这些模型具有快速的推理速度和小的部署尺寸,使它们适合上述类别的设备上的应用。我们的主要贡献在于设计这样的小模型,同时保持高精度的面部对齐。我们提出的模型利用适应面部对齐问题的轻型CNN架构,从低分辨率输出热图中准确地两阶段预测面部地标坐标。我们进一步结合开发的面部跟踪器与渲染方法,并建立一个实时的【形】化妆试穿演示,运行在智能手机Web浏览器的客户端。更多结果和演示在我们的项目页面:http://research.modiface.com/makeup-try-on-cvprw2019/
2019-06-11 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame(圣母大学)
我们引入了一种深度卷积神经网络(CNN)架构,通过共享学习范式同时对面部属性进行分类和识别面部图像,以提高面部属性预测和面部识别性能的准确性。在该方法中,我们使用人脸属性作为辅助信息源,以辅助从人脸图像中提取的CNN特征,以提高人脸识别性能。具体来说,我们使用一个共享的CNN架构,通过一个共享的学习参数,同时联合预测人脸属性和识别人脸图像,然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征,以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明,该模型提高了人脸识别和人脸属性预测的性能,特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估,结果表明,所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification
本文提出了一种基于扩散模型的对抗性补丁生成与检测方法,通过FGSM和ViT-GPT2模型提升对抗性攻击的隐蔽性与有效性,并实现了高SSIM的检测性能。
2026-01-14 cs.AI cs.CV
Baseline CNN structure analysis for facial expression recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
我们提出了一个基线卷积神经网络(CNN)的结构和图像预处理方法,以提高面部表情识别算法使用CNN。为了分析最有效的网络结构,我们研究了四种已知在面部表情识别中表现出良好性能的网络结构。此外,我们还研究了输入图像预处理方法的效果。对原始数据、直方图均衡化数据、各向同性平滑数据、基于扩散的归一化数据、高斯差分数据等五种数据输入方式进行了测试,并对精度进行了比较。我们训练了20个不同的CNN模型(4个网络x 5种数据输入类型),并使用来自5个不同数据库的测试图像验证了每个网络的性能。实验结果表明,由简单卷积层和最大池化层组成的三层结构与直方图均衡图像输入是最有效的。我们描述了详细的训练过程,并根据大量的观察分析了测试精度的结果。
2016-11-14 cs.CV
WEM-GAN: Wavelet transform based facial expression manipulation
Huazhong University of Science and Technology(华中科技大学)
本文提出WEM-GAN,通过小波变换、高频判别器、残差连接和相对动作单元提升表情编辑中的身份细节保留与表情匹配性能。
2024-12-03 cs.AI cs.CV eess.IV
Detecting and Recovering Sequential DeepFake Manipulation
Nanyang Technological University(南洋理工大学)
由于真实感人脸可以很容易地通过面部操纵技术生成,这些技术的潜在恶意滥用引起了极大的关注。因此,提出了许多deepfake检测方法。然而,现有的方法只专注于检测一步面部操纵。随着易于访问的面部编辑应用程序的出现,人们可以使用多步操作以顺序的方式轻松地操纵面部组件。这种新的威胁要求我们检测一系列面部操作,这对于检测deepfake媒体和恢复原始面部都至关重要。基于这一观察结果,我们强调了这一需求,并提出了一个新的研究问题,称为检测序列DeepFake操纵(Seq-DeepFake)。与现有的只需要二进制标签预测的deepfake检测任务不同,检测Seq-DeepFake操作需要正确预测面部操作操作的顺序向量。为了支持大规模的调查,我们构建了第一个Seq-DeepFake数据集,其中人脸图像被顺序地操作,并具有相应的顺序人脸操作向量的注释。基于这个新的数据集,我们将检测Seq-DeepFake操作作为一个特定的图像到序列(例如图像描述)任务,并提出了一个简洁而有效的Seq-DeepFake Transformer(SeqFakeFormer)。此外,我们建立了一个全面的基准,并为这个新的研究问题建立了严格的评估协议和指标。大量实验证明了SeqFakeFormer的有效性。还揭示了几个有价值的观察结果,以促进未来更广泛的深度伪造检测问题的研究。
2022-07-05 cs.CV
Optimizing Filter Size in Convolutional Neural Networks for Facial Action Unit Recognition
University of South Carolina(南卡罗来纳大学)
在自发的面部表情中识别面部动作单元是一个具有挑战性的问题。最近,卷积神经网络(CNN)已经显示出用于面部AU识别的前景,其中采用预定义的和固定的卷积滤波器大小。为了实现最佳性能,通常通过进行广泛的实验验证来凭经验找到最佳滤波器尺寸。这样的训练过程遭受昂贵的训练成本,特别是当网络变得更深时。本文提出了一种新的优化滤波器大小的CNN(OFS-CNN),其中所有卷积层的滤波器大小和权重同时从训练数据以及学习卷积滤波器中学习。具体来说,滤波器大小被定义为一个连续变量,通过最小化训练损失来优化。在两个AU编码的自发数据库上的实验结果表明,所提出的OFS-CNN能够估计不同图像分辨率的最佳滤波器大小,并且优于传统的CNN,其最佳滤波器大小是通过穷举搜索获得的。OFS-CNN还使用多个滤波器大小击败了CNN,更重要的是,在使用所提出的前向-后向传播算法进行测试期间效率更高。
2017-11-22 cs.CV
Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
The University of Nottingham(诺丁汉大学);Kingston University(金斯顿大学)
三维人脸重建是计算机视觉的一个基本问题,难度极大。当前的系统通常假设多个面部图像(有时来自同一对象)作为输入的可用性,并且必须解决许多方法上的挑战,例如在大的面部姿势、表情和非均匀照明上建立密集的对应关系。通常,这些方法需要复杂且低效的管道来进行模型构建和拟合。在这项工作中,我们建议通过在由2D图像和3D面部模型或扫描组成的适当数据集上训练卷积神经网络(CNN)来解决其中的许多限制。我们的CNN仅处理单个2D面部图像,不需要精确对齐,也不需要在图像之间建立密集的对应关系,适用于任意面部姿势和表情,并且可用于重建整个3D面部几何形状(包括面部的不可见部分)绕过3D可变形模型的构建(在训练期间)和拟合(在测试期间)。我们通过一个简单的CNN架构来实现这一点,该架构从单个2D图像执行3D面部几何形状的体积表示的直接回归。我们还演示了如何将面部标志定位的相关任务纳入到所提出的框架中,并有助于提高重建质量,特别是对于大姿势和面部表情的情况。测试代码将在线提供,以及预先训练的模型http://aaronsplace.co.uk/papers/jackson2017recon
2017-09-08 cs.CV
Memory Integrity of CNNs for Cross-Dataset Facial Expression Recognition
École de Technologie Supérieure, University of Québec(魁北克大学高等技术学院);Pontifical Catholic University of Paraná(巴拉那天主教大学)
人脸表情识别是人工智能领域的一个重要课题。解决这个问题的最佳方法之一是使用卷积神经网络(CNN)。然而,需要大量的数据来适当地训练这些网络,但是大多数可用于面部表情识别的数据集相对较小。避免数据缺乏的一种常见方法是使用在不同领域的大型数据集上训练的CNN,并将此类网络的层微调到目标领域。然而,微调过程并不能保持记忆的完整性,因为CNN往往会忘记它们所学习的模式。在本文中,我们评估了微调CNN的不同策略,目的是评估这些策略在跨数据集场景中的内存完整性。使用在源数据集上预训练的CNN作为基线,并评估了四种适应策略:微调其全连接层;微调其最后一个卷积层及其全连接层;在目标数据集上重新训练CNN;以及源和目标数据集的融合和重新训练CNN。四个数据集上的实验结果表明,源和目标数据集的融合提供了准确性和内存完整性之间的最佳权衡。
2019-05-28 cs.CV
Island Loss for Learning Discriminative Features in Facial Expression Recognition
University of South Carolina(南卡罗来纳大学)
在过去的几年里,卷积神经网络(CNN)在面部表情识别方面显示出了希望。然而,由于细微的面部外观变化、头部姿势变化、照明变化和遮挡所引入的变化,在真实世界设置下性能显著降低。在本文中,提出了一种新的岛屿损失,以提高深入学习的功能的区分能力。具体地说,IL的目的是减少类内的变化,同时扩大类间的差异。在四个基准表情数据库上的实验结果表明,具有所提出的岛损失的CNN(IL-CNN)优于具有传统softmax损失或中心损失的基线CNN模型,并且与用于面部表情识别的最新方法相比,实现了相当或更好的性能。
2017-10-23 cs.CV
Facial Expression Recognition using Convolutional Neural Networks: State of the Art
TU Wien(维也纳工业大学)
自动识别面部表情的能力使得能够在人机交互和其他领域中实现新颖的应用。因此,在该领域中已经有了积极的研究,最近的几项工作利用卷积神经网络(CNN)进行特征提取和推理。这些作品在CNN架构和其他因素方面有显着差异。仅根据报告的结果,这些因素对性能的影响尚不清楚。在本文中,我们回顾了使用CNN进行基于图像的面部表情识别的最新技术,并强调了算法差异及其性能影响。在此基础上,我们确定了现有的瓶颈,从而推进这一研究领域的方向。此外,我们证明,克服这些瓶颈之一-在这一领域中使用的CNN的相对基本的架构-导致大幅提高性能。通过形成现代深度CNN的集成,我们获得了75.2%的FER 2013测试准确率,优于以前的工作,而不需要辅助训练数据或人脸配准。
2016-12-09 cs.CV
Facial Landmark Detection with Tweaked Convolutional Neural Networks
Information Sciences Institute, USC(南加州大学信息科学研究所);The Open University of Israel(以色列开放大学);Institute for Robotics and Intelligent Systems, USC(南加州大学机器人与智能系统研究所)
我们提出了一种新的卷积神经网络(CNN)设计的面部地标坐标回归。我们检查了标准CNN的中间特征,并显示了从后面提取的特征,更专业的层捕获粗略的地标位置。这提供了一种自然的方法,可以在网络中途应用差异化处理,根据面部对齐调整处理。由此产生的调整后的CNN模型(TCNN)以外观敏感的方式利用CNN的鲁棒性进行地标检测,而无需训练多部分或多尺度模型。我们在标准人脸地标检测和人脸验证基准测试上的结果显示,TCNN的性能远远超过了以前发表的性能。
2016-03-21 cs.CV
Mamba-CNN: A Hybrid Architecture for Efficient and Accurate Facial Beauty Prediction
Scientific and Technical Research Centre for Arid Areas, CRSTRA(干旱地区科学和技术研究中心)
针对人脸颜值预测任务中CNN感受野有限、ViT计算成本高的问题,提出融合Mamba启发的SSM门控机制与分层卷积骨干的Mamba-CNN架构,在SCUT-FBP5500基准上取得新SOTA,验证了二者结合的协同潜力。
2025-09-01 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering(K. J. 索马亚工程学院)
人脸情感识别是一个固有的困难问题,由于巨大的差异,在面部结构的个人和模糊的情感表现出的人。最近,大量的工作正在做面部情感识别领域,和性能的CNN为这项任务相比,CNN在其他领域取得的成果,如目标检测,面部识别等,在本文中,我们提出了一个多任务的学习算法,其中一个单一的CNN检测性别,年龄和种族的主题,以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明,这种方法是显着优于目前的最先进的算法,这项任务。
2021-10-28 cs.CV
Detecting CNN-Generated Facial Images in Real-World Scenarios
University of Amsterdam(阿姆斯特丹大学);Dutch National Police(荷兰国家警察)
人工CNN生成的图像现在质量如此之高,以至于人类很难将它们与真实图像区分开来。已经提出了几种算法检测方法,但这些方法似乎对来自未知来源的数据概括性很差,使得它们在现实世界中不可行。在这项工作中,我们提出了一个评估检测方法在现实世界的条件下,由跨模型,跨数据,和后处理评估的框架,我们评估国家的最先进的检测方法使用所提出的框架。此外,我们研究了常用的图像预处理方法的实用性。最后,我们通过在线调查评估了人类在检测CNN生成的图像方面的表现,以及影响这种表现的因素。我们的研究结果表明,基于CNN的检测方法还不足以在现实世界中使用。
2020-05-12 cs.CV
Facial Emotion Recognition using CNN in PyTorch
University of North Texas(北德克萨斯大学)
本研究基于PyTorch实现CNN人脸情绪识别模型,通过超参数调优和网络优化技术降低空间复杂度,分析了不同优化器下训练轮数与准确率的关系。
2023-12-17 cs.CV
Convolutional Neural Networks for Facial Expression Recognition
Stanford University(斯坦福大学)
我们已经开发了卷积神经网络(CNN)的面部表情识别任务。我们的目标是将每个面部图像分类到本研究中考虑的七个面部情绪类别之一。我们使用灰度图像训练了具有不同深度的CNN模型。我们在Torch中开发了我们的模型,并利用图形处理单元(GPU)计算来加快训练过程。除了基于原始像素数据执行的网络之外,我们还采用了一种混合特征策略,通过该策略,我们将原始像素数据和方向直方图(HOG)特征相结合,训练了一种新的CNN模型。为了减少模型的过拟合,除了L2正则化之外,我们还使用了不同的技术,包括dropout和批量归一化。我们应用交叉验证来确定最佳超参数,并通过查看其训练历史来评估所开发模型的性能。我们还展示了网络不同层的可视化,以显示CNN模型可以学习到人脸的哪些特征。
2017-04-22 cs.CV
TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations
Technical University of Munich(慕尼黑工业大学);Sony Europe RDC Stuttgart(索尼欧洲研发中心斯图加特分部)
面部操纵方法可能被滥用,以影响个人的隐私或传播虚假信息。为此,我们引入了一种新的数据驱动的方法,产生嵌入在原始图像中的图像特定的扰动。关键的想法是,这些受保护的图像通过使操纵模型产生预定义的操纵目标(在我们的情况下是均匀着色的输出图像)而不是实际操纵来防止面部操纵。此外,我们建议利用可微压缩近似,从而使生成的扰动强大的常见的图像压缩。为了防止多个操作方法同时进行,我们进一步提出了一种新的基于注意力的融合操作特定的扰动。与单独优化每个图像的噪声模式的传统对抗攻击相比,我们的广义模型只需要一个前向传递,从而更快地运行数量级,并允许轻松集成在图像处理堆栈中,即使在智能手机等资源受限的设备上。
2022-07-25 cs.CV
A Recursive Framework for Expression Recognition: From Web Images to Deep Models to Game Dataset
CUNY City College(纽约市立大学城市学院);CUNY Graduate Center(纽约市立大学研究生中心)
在本文中,我们提出了一个递归的框架来识别人脸表情从图像中的真实场景。与传统的方法,通常专注于开发和改进算法,以提高现有数据集的识别性能,我们集成了三个重要组成部分:面部数据集生成,面部表情识别模型的建立,以及测试和新的数据汇集的交互式界面。首先,我们创建一个candid-images-for-facial-expression(CIFE)数据集。然后,我们将卷积神经网络(CNN)应用到CIFE,并建立了一个CNN模型的网络图像表情分类。为了提高表情识别的准确率,我们还对CNN模型进行了微调,从而得到了一个更好的CNN人脸表情识别模型。基于微调的CNN模型,我们设计了一个面部表情游戏引擎,并收集了一个新的和更平衡的数据集,GaMo。这个数据集的图像是从我们的游戏用户在玩游戏时的不同表情中收集的。最后,我们评估了GaMo和CIFE数据集,并表明我们的递归框架可以帮助建立一个更好的面部表情模型,用于处理真实场景的面部表情任务。
2016-08-04 cs.CV
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
NOVA-LINCS(新里斯本大学计算机科学与信息学实验室);Universidad Autonoma de Madrid(马德里自治大学);University of Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
本研究提出基于自编码器的GANprintR方法去除合成人脸的GAN指纹以欺骗检测系统,深入分析相关文献,评估现有检测方法在无约束场景下的性能,并发布iFakeFaceDB数据库,指出鲁棒人脸操纵检测仍需更多研究。
2020-07-01 cs.CV
Multi-task Learning of Cascaded CNN for Facial Attribute Classification
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院)
最近,面部属性分类(FAC)在计算机视觉界引起了极大的关注。随着具有挑战性的FAC数据集的可用性,已经取得了很大的进展。然而,传统的FAC方法通常首先对输入图像进行预处理(即,执行面部检测和对准),然后预测面部属性。这些方法忽略了这些任务之间的固有依赖性(即,面部检测、面部标志定位和FAC)。此外,使用卷积神经网络的一些方法基于固定的损失权重进行训练,而不考虑面部属性之间的差异。为了解决上述问题,我们提出了一种新的多任务学习的级联卷积神经网络方法,称为MCFA,用于同时预测多个面部属性。具体地,所提出的方法利用三个级联的子网络(即,S_Net、M_Net和L_Net)以由粗到细的方式联合训练多个任务,实现端到端的优化。此外,该方法自动分配损失的重量,每个面部属性的基础上一个新的动态加权方案,从而使该方法集中在预测更困难的面部属性。实验结果表明,该方法优于几个国家的最先进的FAC方法上具有挑战性的CelebA和LFWA数据集。
2018-05-03 cs.CV
Facial Action Unit Detection using 3D Facial Landmarks
University of South Florida(南佛罗里达大学)
在本文中,我们提出了检测面部动作单位(AU)使用3D面部地标。具体来说,我们训练一个二维卷积神经网络(CNN)的三维面部标志,跟踪使用基于形状指数的统计形状模型,二进制和多类AU检测。我们表明,所提出的方法是能够准确地模拟AU发生,因为面部标志的运动直接对应于AU的运动。通过在3D地标上训练CNN,我们可以在两个最先进的情感数据集上实现准确的AU检测,即BP4D和BP4D+。使用所提出的方法,我们在超过330,000帧上检测到多个AU,报告了比最先进方法更好的结果。
2020-05-17 cs.CV
A Perception CNN for Facial Expression Recognition
School of Computer Science and Technology, Harbin Institute of Technology(计算机科学与技术学院,哈尔滨工业大学);School of Software, Northwestern Polytechnical University(软件学院,西北工业大学);School of Software, Zhengzhou University of Light Industry(软件学院,郑州轻工业学院);School of Computer Science, Northwestern Polytechnical University(计算机科学学院,西北工业大学);School of Science and Engineering, Chinese University of Hong Kong, Shenzhen(科学与工程学院,香港中文大学(深圳))
本文提出了一种用于面部表情识别的感知CNN,通过多域交互机制和两阶段损失函数提升识别性能。
2025-12-06 cs.CV
Predicting Personal Traits from Facial Images using Convolutional Neural Networks Augmented with Facial Landmark Information
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Microsoft Research(微软研究院);Cambridge University(剑桥大学)
我们考虑的任务是根据一个人的面部图像来预测他的各种特征。我们既评估了客观特征,如性别、种族和头发颜色;也评估了主观特征,如一个人表达的情感,或者他是否幽默或有吸引力。为了进行大规模的实验,我们贡献了一个新的面部属性数据集(FAD),其中包含超过10,000张面部图像的上述特征的大约200,000个属性标签。由于最近对深度卷积神经网络(CNN)的研究激增,我们首先使用CNN架构来估计面部属性,并证明它们确实提供了令人印象深刻的基线性能。为了进一步提高性能,我们提出了一种新的方法,该方法将输入图像的面部地标信息作为额外的通道,帮助CNN学习更好的属性特定特征,以便各种训练图像中的地标保持对应关系。我们实证分析了我们的方法的性能,显示出跨特征的基线一致的改善。
2016-05-29 cs.CV
Spatial and Temporal Networks for Facial Expression Recognition in the Wild Videos
Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学)
本文描述了我们为2021年野外情感行为分析(ABAW)竞赛的七个基本表情分类轨道提出的方法。在这项任务中,面部表情识别(FER)方法的目标是从不同的背景中分类正确的表情类别,但有几个挑战。首先,为了使模型适应野外场景,我们使用来自预训练的大规模人脸识别数据的知识。其次,我们提出了一个集成模型,卷积神经网络(CNN),CNN递归神经网络(CNN-RNN),和CNN变压器(CNN-Transformer),将空间和时间信息。我们的集成模型在验证集上实现了F1为0.4133,准确度为0.6216,最终度量为0.4821。
2021-07-12 cs.CV eess.IV
SARGAN: Spatial Attention-based Residuals for Facial Expression Manipulation
University of the Punjab(旁遮普大学)
基于编码器-解码器的体系结构已广泛应用于用于面部操作的生成对抗网络的生成器中。然而,我们观察到,目前的架构无法恢复输入图像的颜色,丰富的面部细节,如肤色或纹理,并引入文物以及。在本文中,我们提出了一种新的方法命名为SARGAN,从三个角度来解决上述限制。首先,我们采用了基于空间注意力的残差块,而不是香草残差块,以正确地捕捉表情相关的功能,而保持其他功能不变。其次,我们利用对称的编码器-解码器网络在多个尺度上关注面部特征。第三,我们提出了训练具有剩余连接的完整网络,该剩余连接减轻了生成器生成输入面部图像的压力,从而通过直接向生成器的末端馈送输入图像来产生期望的表情。定性和定量的实验结果表明,我们提出的模型表现明显优于国家的最先进的方法。此外,现有的模型需要更大的数据集进行训练,但它们的性能在分布外的图像上会下降。相比之下,SARGAN可以在较小的面部表情数据集上进行训练,该数据集可以很好地概括包括人类照片,肖像,头像和雕像在内的分发图像。
2023-03-30 cs.CV
Scale-interaction transformer: a hybrid cnn-transformer model for facial beauty prediction
Scientific and Technical Research Centre for Arid Areas, CRSTRA(干旱地区科学技术研究中心)
针对人脸美貌预测中CNN固定尺度处理易忽略多尺度特征依赖的问题,提出融合CNN与Transformer的SIT模型,通过多尺度卷积提取特征并结合Transformer建模交互,在SCUT-FBP5500数据集上取得0.9187的皮尔逊相关系数,刷新最优性能。
2025-09-05 cs.CV
Multi-Region Ensemble Convolutional Neural Network for Facial Expression Recognition
The University of Hong Kong(香港大学)
面部表情在传达人类的情感状态方面起着重要的作用。最近,由于卷积神经网络(CNN)的辨别能力,深度学习方法已经被应用于图像识别领域。在本文中,我们首先提出了一种新的多区域包围CNN(MRE-CNN)框架的面部表情识别,其目的是提高CNN模型的学习能力,从多个人脸子区域捕获全局和局部特征。其次,来自每个子网络的加权预测分数被聚合以产生高精度的最终预测。第三,我们研究了整个面部的不同子区域对面部表情识别的影响。我们提出的方法进行评估的基础上两个著名的公开可用的面部表情数据库:AFEW 7.0和RAF-DB,并已被证明达到国家的最先进的识别精度。
2018-07-12 cs.CV cs.HC
A Detailed Look At CNN-based Approaches In Facial Landmark Detection
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Taiwan University(台湾大学);Halicioǧlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利乔奥卢数据科学研究所)
人脸标志点检测已经研究了几十年。已经提出了许多基于神经网络(NN)的方法用于检测地标,特别是基于卷积神经网络(CNN)的方法。一般来说,基于CNN的方法可以分为回归和热图方法。然而,没有研究系统地研究不同方法的特点。在本文中,我们研究了这两种基于CNN的方法,概括了它们的优缺点,并介绍了热图方法的一种变体,即逐像素分类(PWC)模型。据我们所知,使用PWC模型来检测面部标志还没有得到全面的研究。我们进一步设计了一个混合损失函数和一个判别网络来加强PWC模型中隐含的地标之间的相互关系,以提高检测精度,而不修改原始模型的结构。六个常见的面部标志数据集,AFW,海伦,LFPW,300-W,IBUG,和COFW被用来训练或评估我们的模型。综合评价结果表明,该模型在所有测试数据集上的性能优于其他模型。
2020-05-08 cs.CV cs.LG stat.ML
Spontaneous Facial Micro-Expression Recognition using 3D Spatiotemporal Convolutional Neural Networks
Indian Institute of Information Technology(印度信息技术学院)
视频中的面部表情识别是计算机视觉的一个活跃的研究领域。然而,虚假的面部表情即使是人类也很难识别。另一方面,面部微表情通常代表一个人的实际情绪,因为它是通过人脸表达的自发反应。尽管为识别微表情进行了一些尝试,但该问题仍然远未得到解决,这是由现有技术方法所示的准确率差所描述的。在文献中发现了一些基于CNN的方法来从静止图像中识别微面部表情。然而,自发的微表情视频包含必须一起处理以编码空间和时间信息的多个帧。本文提出了两种三维CNN方法:MicroExpST CNN和MicroExpFuseNet,利用CNN框架中的时空信息进行自发的人脸微表情识别。MicroExpSTCNN考虑了完整的空间信息,而MicroExpFuseNet基于眼睛和嘴巴区域的3D-CNN特征融合。实验在CAS(ME)^2和SMIC微表达数据库上进行。所提出的MicroExpSTCNN模型优于最先进的方法。
2019-03-27 cs.AI cs.CV cs.LG
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media(网络与数字媒体系);Kingston University(金史密斯大学);School of Computer Science and Engineering(计算机科学与工程学院);University of Westminster(威斯敏斯特大学)
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台,生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV