Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里,面部识别/识别已经有了显著的进步。然而,大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先,重要的面部形状线索被忽略了。第二,由于表情的面部变形可能会影响这种方法的性能。在本文中,我们提出了一个新的框架,动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图,这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别,使用时空图卷积网络(ST-GCN)。最后,我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Convolutional herbal prescription building method from multi-scale facial features
South China University of Technology(华南理工大学);Guangdong General Hospital(广东省人民医院)
在中医学中,面部特征是诊断和治疗的重要依据。中医医生可以根据病人的身体指标,如面部,舌头,声音,症状,脉搏开处方。以往的工作是根据症状分析并生成处方。然而,挖掘面部特征与处方之间关联的研究工作暂时还没有发现。在这项工作中,我们尝试使用深度学习方法来挖掘患者面部与草药处方(中药处方)之间的关系,并提出构建根据患者面部图像生成中药处方的卷积神经网络。这是一项新颖而富有挑战性的工作。为了从不同粒度的人脸中挖掘特征,设计了一种基于三粒度人脸的多尺度卷积神经网络,从器官、局部区域和整个人脸中挖掘患者的人脸信息。实验结果表明,卷积神经网络能够从人脸中学习到相关信息,并能有效地进行分类,其中基于三粒度人脸的多尺度卷积神经网络的分类效果更好。
2018-12-17 cs.CV
Face Detection through Scale-Friendly Deep Convolutional Networks
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们分享了我们在设计一个基于卷积网络的人脸检测器方面的经验,该检测器可以处理范围非常广泛的人脸。我们表明,不同尺度的人脸可以通过一组具有不同结构的专门的深度卷积网络来建模。这些检测器可以无缝集成到一个统一的网络中,可以进行端到端的训练。与现有的为大规模范围设计的深度模型相比,我们的网络不需要图像金字塔输入,并且模型的复杂性适中。我们的网络被称为ScaleFace,在WIDER FACE和FDDB数据集上实现了有前途的性能,具有实际的运行速度。具体来说,我们的方法在具有挑战性的WIDER FACE数据集上实现了76.4的平均精度,在FDDB数据集上实现了96%的召回率,对于900 * 1300的输入图像,每秒7帧(fps)。
2017-06-09 cs.CV
FaceLiveNet+: A Holistic Networks For Face Authentication Based On Dynamic Multi-task Convolutional Neural Networks
University of La Rochelle(拉罗谢尔大学);RIKEN(理化学研究所);University of Toulouse(图卢兹大学)
本文提出了一个整体的多任务卷积神经网络(CNN)与任务的动态权重,即FaceLiveNet+,人脸认证。FaceLiveNet+可以同时使用人脸验证和面部表情识别作为活性控制的解决方案。与单任务学习相比,所提出的多任务学习可以更好地捕获所有任务的特征表示。实验结果表明,无论是人脸验证任务还是表情识别任务,多任务学习都优于单任务学习。而不是使用传统的多任务学习与固定权重的任务,这项工作提出了一个所谓的动态权重单元自动学习的任务的权重。实验结果表明了动态权值对网络训练的有效性。最后,对基于该协议的人脸认证进行了整体评估,验证了将FaceLiveNet+应用于人脸认证的可行性。
2019-02-28 cs.CV
Face Recognition Using Scattering Convolutional Network
NYU School of Engineering(纽约大学工程学院)
人脸识别在过去的几十年里一直是一个活跃的研究领域。在一般情况下,人脸识别可以是非常具有挑战性的,由于在视点,照明,面部表情等的变化,因此,它是必不可少的,以提取特征是不变的一些或所有这些变化。在这里,一个新的图像表示,称为散射变换/网络,已被用来提取面部特征。散射变换是一种卷积网络,它为信号提供了强大的多层表示。在提取散射特征后,利用主成分分析对数据进行降维,然后利用多类支持向量机进行识别。该算法在三个人脸数据集上进行了测试,取得了很高的识别率。
2017-11-30 cs.CV
Median Pixel Difference Convolutional Network for Robust Face Recognition
人脸识别是计算机视觉中最活跃的任务之一,在现实世界中得到了广泛的应用。随着卷积神经网络(CNN)的发展,许多人脸识别算法在各种人脸数据集上都取得了很高的准确率。然而,现有的基于CNN的人脸识别算法容易受到噪声的影响。噪声破坏的图像模式可能导致错误激活,显着降低在嘈杂的情况下人脸识别的准确性。为了使CNN对不同级别的噪声具有内置的鲁棒性,我们提出了一种中值像素差卷积网络(MeDiNet),用新的中值像素差卷积层(MeDiConv)层取代了一些传统的卷积层。MeDiNet将传统的多尺度中值滤波与深度CNN相结合。MeDiNet在四个人脸数据集(LFW,CA-LFW,CP-LFW和YTF)上进行了测试,并对模糊内核,噪声强度,尺度和JPEG质量因子进行了多功能设置。大量的实验表明,我们的MeDiNet可以有效地去除特征图中的噪声像素,并抑制噪声的负面影响,导致在这些实际噪声下与干净条件下的标准CNN相比,精度损失有限。
2022-05-30 cs.CV eess.IV
A Multi-Scale Cascade Fully Convolutional Network Face Detector
Institute for Robotics and Intelligent Systems(机器人与智能系统研究所);University of Southern California(南加州大学)
人脸检测具有挑战性,因为图像中的人脸可能存在于任意位置和不同尺度。提出了一种基于全卷积神经网络的三级级联结构。它首先提出了面部可能存在的近似位置,然后旨在通过放大面部来找到准确的位置。FCN级联的每一级都是一个多尺度全卷积网络,它在不同的位置和不同的尺度上生成分数。在每个FCN阶段之后生成分数图。选择可能的面部区域并将其馈送到下一阶段。建议的数量在每个级别之后减少,并且区域的面积减少以更精确地适应面部。与在阶段之间直接传递建议相比,传递可能的区域可以减少建议的数量,并减少第一阶段没有提出好的边界框的情况。我们表明,通过使用FCN和得分图,FCN级联人脸检测器可以在公共数据集上实现强大的性能。
2016-09-12 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab;University of Oxford(牛津大学)
在本文中,我们描述了一个解决方案,我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型,捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获,并在大型人脸识别数据集上进行预训练。我们发现,使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成,我们提高了以前的最好的测试集上的结果约1%,实现了60.03%的分类准确率,而不使用任何视觉时间信息。
2017-11-13 cs.CV
Enhancing Convolutional Neural Networks for Face Recognition with Occlusion Maps and Batch Triplet Loss
University of Hertfordshire(赫特福德大学);IDscan Biometrics(IDscan生物识别技术公司)
尽管最近卷积神经网络在计算机视觉应用中取得了成功,但无约束人脸识别仍然是一个挑战。在这项工作中,我们对该领域做出了两项贡献。首先,我们考虑了部分遮挡的人脸识别问题,并展示了当前的方法在处理这种人脸图像时可能会遭受显着的性能下降。我们提出了一种简单的方法来找出人脸的哪些部分对实现高识别率更重要,并在训练过程中使用这些信息来迫使卷积神经网络更平等地学习所有人脸区域的判别特征,包括那些典型方法往往不太关注的特征。我们测试所提出的方法处理现实生活中的遮挡时,使用AR人脸数据库的准确性。其次,我们提出了一种新的损失函数,称为批量三重损失,通过向损失函数添加额外的项来提高三重损失的性能,以使正负分数的标准差最小化。我们通过将这两种建议的调整应用于卷积神经网络训练,在野外标记人脸(LFW)基准测试中显示出一致的改进。
2018-06-10 cs.CV
Face processing emerges from object-trained convolutional neural networks
Soochow University(苏州大学);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
本文通过仅在物体上训练无人脸暴露的卷积神经网络(CNNs),测试其识别人脸、类人脸物体的能力,为“人脸处理源于领域通用物体识别机制”的假设提供了机器模拟层面的验证依据。
2025-04-15 cs.CV
Face Parsing via a Fully-Convolutional Continuous CRF Neural Network
在这项工作中,我们解决了面部解析任务与全卷积连续CRF神经网络(FC-CNN)架构。与之前数百次应用基于区域的子网络的人脸解析方法相比,我们的FC-CNN是完全卷积的,具有很高的分割精度。为了实现这一目标,FC-CNN将三个子网络,一元网络,成对网络和连续条件随机场(C-CRF)网络集成到一个统一的框架中。跨不同卷积层的高级语义信息和低级细节由一元网络中的卷积和解卷积结构捕获。通过成对网络分支学习语义边缘上下文,以构建像素级亲和力。基于可微超像素池化层和可微C-CRF层,通过一种新的连续CRF网络将一元网络和成对网络相结合,以实现深度神经网络训练和测试过程的空间一致性。对LFW-PL和HELEN数据集的综合评估表明,FC-CNN在具有挑战性的图像上准确标记人脸方面的性能优于其他最先进的技术。
2017-08-12 cs.CV
Conceptual Content in Deep Convolutional Neural Networks: An analysis into multi-faceted properties of neurons
Computer Vision Center, Universitat Autònoma de Barcelona(计算机视觉中心,巴塞罗那自治大学)
本文分析了预训练VGG16模型的卷积层。该分析基于神经元对ImageNet数据库中类图像的响应。首先,提出了一种可视化方法,以说明每个神经元的学习内容。其次,基于神经元对不同类别对象的反应的多样性,研究了单方面和多方面神经元。最后,在每一层的神经元相似性计算和比较。结果表明,低层神经元表现出多方面的行为,而高层神经元大多数表现出单方面的行为,并且倾向于对较少数量的概念做出反应。
2020-07-01 cs.CV
Improved Face Detection and Alignment using Cascade Deep Convolutional Network
China Mobile Research Institute(中国移动研究院)
真实世界的人脸检测和对齐需要一个先进的判别模型来解决姿态,光照和表情的挑战。在深度学习算法的启发下,提出了一些基于卷积神经网络的人脸检测和对齐方法。最近的研究利用了人脸检测和对齐之间的关系来提高模型的计算效率,但是他们忽略了每个级联CNN之间的联系。在本文中,我们提出了一种结构,提出了更高质量的训练数据的端到端的级联网络训练,这给计算机更多的空间来自动调整权值参数和加速收敛。实验表明,现有的检测和对齐模型有相当大的改进。
2017-07-28 cs.CV cs.LG
Robust face anti-spoofing framework with Convolutional Vision Transformer
KakaoBank Corp.(韩国Kakao银行公司);KAIST(韩国科学技术院)
本研究针对人脸反欺骗的域偏移鲁棒性问题,提出结合自注意力全局信息与卷积局部线索的卷积视觉Transformer框架,在跨数据集基准上性能优于现有模型。
2023-07-24 cs.CV
Multi-Branch Fully Convolutional Network for Face Detection
KAUST(阿卜杜拉国王科技大学)
人脸检测是计算机视觉中的一个基本问题。在无约束条件下,由于尺度、姿态、表情和遮挡的显著变化,这仍然是一项具有挑战性的任务。在本文中,我们提出了一个多分支全卷积网络(MB-FCN)的人脸检测,它考虑了效率和有效性的设计过程。我们的MB-FCN检测器可以处理所有尺度范围的人脸,只需通过主干网络一次。因此,我们的MB-FCN模型节省了计算,因此与以前进行多次传递的方法相比更有效。对于每个分支,利用不同层的卷积特征图的特定跳过连接来表示特定尺度范围内的面部。具体来说,小脸可以用浅细粒度和深有力的粗特征来表示。有了这种表示,优越的性能改善注册的任务,检测小脸。我们测试我们的MB-FCN检测器在两个公共人脸检测基准,包括FDDB和WIDER FACE。大量的实验表明,我们的检测器在所有这些数据集上的性能都优于最先进的方法,并且在其中最具挑战性的数据集上(例如,WIDER FACE Hard子集)有很大的优势。此外,MB-FCN在GPU上以15 FPS的速度运行640 x 480大小的图像,没有对最小可检测人脸大小的假设。
2017-07-20 cs.CV
Fast Face-swap Using Convolutional Neural Networks
Twitter(推特);IDLab, Ghent University(根特大学IDLab实验室)
我们考虑图像中的人脸交换问题,其中输入身份转换为目标身份,同时保留姿势,面部表情和照明。为了执行这种映射,我们使用经过训练的卷积神经网络从他/她的照片的非结构化集合中捕获目标身份的外观。这种方法通过将面部交换问题框定在风格转移方面来实现,其中目标是以另一种风格渲染图像。基于这一领域的最新进展,我们设计了一个新的损失函数,使网络产生高度逼真的结果。通过将神经网络与简单的前处理和后处理步骤相结合,我们的目标是在没有用户输入的情况下实时进行人脸交换。
2017-07-27 cs.CV
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
由于各种姿态、光照和遮挡的存在,无约束环境中的人脸检测和对齐具有挑战性。最近的研究表明,深度学习方法可以在这两项任务上取得令人印象深刻的性能。在本文中,我们提出了一个深度级联的多任务框架,利用它们之间的内在相关性,以提高它们的性能。特别是,我们的框架采用了一种级联结构,具有三个精心设计的深度卷积网络阶段,以粗到细的方式预测人脸和地标位置。此外,在学习过程中,我们提出了一种新的在线硬样本挖掘策略,可以自动提高性能,而无需手动样本选择。我们的方法在具有挑战性的FDDB和WIDER FACE人脸检测基准和AFLW人脸对齐基准上实现了优于最先进技术的准确性,同时保持实时的性能。
2016-04-11 cs.CV
Two-stage Convolutional Part Heatmap Regression for the 1st 3D Face Alignment in the Wild (3DFAW) Challenge
University of Nottingham(诺丁汉大学)
本文介绍了我们提交的第一个3D人脸对齐在野生(3DFAW)的挑战。我们的方法建立在卷积部分热图回归的思想上[1],将其扩展到3D人脸对齐。我们的方法将问题分解为两个部分:(a)X,Y(2D)估计和(b)Z(深度)估计。在第一阶段,我们的方法通过使用卷积部分热图回归生成一组2D热图来估计面部地标的X,Y坐标,每个地标一个。然后,这些热图与输入的RGB图像一起被用作通过残差学习训练的非常深的子网络的输入,用于回归Z坐标。我们的方法在3DFAW挑战赛中排名第一,比第二好的结果高出22%以上。
2016-09-29 cs.CV
Discriminant Patch Representation for RGB-D Face Recognition Using Convolutional Neural Networks
Sfax University(斯法克斯大学);Digital Research Center of Sfax(斯法克斯数字研究中心)
本文的重点是设计数据驱动的模型,学习判别表示空间的人脸识别使用RGB-D数据。与手工制作的表示不同,学习模型可以从数据中提取和组织判别信息,并可以自动适应以更快地构建新的计算视觉应用程序。提出了一种有效的训练卷积神经网络学习人脸块判别特征的方法。所提出的解决方案在最先进的RGB-D数据集上进行了测试和验证,并显示出相对于标准手工特征提取器的竞争力和有前途的结果。
2018-12-17 cs.CV
Recurrent Convolutional Strategies for Face Manipulation Detection in Videos
USC Information Sciences Institute(南加州大学信息科学研究所)
错误信息通过合成生成但真实的图像和视频的传播已经成为一个重要的问题,需要鲁棒的操纵检测方法。尽管在静态图像中检测人脸操纵的主要努力,较少注意到已支付到篡改的脸在视频中的识别,利用存在于流中的时间信息。递归卷积模型是一类深度学习模型,已证明其在跨域利用来自图像流的时间信息方面是有效的。因此,我们通过广泛的实验,提取出最佳策略,将这些模型中的变化与特定领域的人脸预处理技术相结合,以获得公开的基于视频的面部操作基准的最先进性能。具体来说,我们试图检测视频流中的Deepfake,Face2Face和FaceSwap篡改的面孔。对最近推出的FaceForensics++数据集进行了评估,将之前最先进的准确率提高了4.55%。
2019-05-16 cs.CV
Multi-Path Region-Based Convolutional Neural Network for Accurate Detection of Unconstrained "Hard Faces"
McGill University(麦吉尔大学)
大规模的变化仍然对无约束人脸检测提出了挑战。据我们所知,目前还没有一种人脸检测算法可以检测到一张800 x 800像素的人脸,同时以同样高的精度在一张图像中检测到另一张8 x 8像素的人脸。我们提出了一个两阶段级联的人脸检测框架,基于多路径区域的卷积神经网络(MP-RCNN),它将深度神经网络与经典的学习策略无缝结合起来,以应对这一挑战。第一阶段是多路径区域建议网络(MP-RPN),其在三个不同尺度上建议面。它同时利用卷积特征映射的三个并行输出来预测多尺度候选人脸区域。"atrous"卷积技巧(使用上采样滤波器的卷积)和新提出的用于"硬"示例的采样层嵌入在MP-RPN中,以进一步提高其性能。第二阶段是Boosted Forests分类器,其利用从候选面部区域内部汇集的深度面部特征以及从候选面部区域周围的较大区域汇集的深度上下文特征。包括该步骤以进一步去除硬阴性样品。实验表明,该方法在WIDER FACE数据集的“硬”分区上实现了最先进的人脸检测性能,平均精度比以前的最佳结果高出9.6%。
2017-03-27 cs.CV
Convolutional neural net face recognition works in non-human-like ways
University of Stirling(斯特林大学)
卷积神经网络(CNN)在许多模式识别问题中具有最先进的性能,但可能被精心设计的噪声模式所欺骗。我们报告说,CNN的人脸识别系统也会出现令人惊讶的“错误”。我们测试了六个商业人脸识别CNN,发现它们在标准人脸匹配任务中的表现优于典型的人类参与者。然而,他们也宣布了人类不会的匹配,其中一个图像已经被转换为不同的性别或种族。这并不是因为性能差;最好的CNN在人脸匹配任务上几乎完美地执行,但也声明了不同种族或性别的人脸的最多匹配。虽然性别和种族的显著性不同,但人类和计算机系统的工作方式并不完全不同。他们倾向于发现相同的图像对很难,这表明他们对潜在的相似性空间有一定的一致性。
2020-06-23 cs.CV
DeCaFA: Deep Convolutional Cascade for Face Alignment In The Wild
Sorbonne Université(索邦大学);Datakalab;ISIR, Sorbonne Université(索邦大学智能与机器人系统研究所)
人脸对齐是一个活跃的计算机视觉领域,它包括定位许多在数据集上变化的人脸标志。最先进的面部对齐方法包括端到端回归,或者从初始猜测开始以级联方式细化形状。在本文中,我们介绍了DeCaFA,这是一种用于人脸对齐的端到端深度卷积级联架构。DeCaFA使用全卷积级来保持整个级联的完整空间分辨率。在每个级联阶段之间,DeCaFA使用具有空间softmax的多个链式传输层来为多个地标对齐任务中的每一个生成地标式注意力图。加权中间监督以及阶段之间的有效特征融合允许学习以端到端的方式逐步细化注意力地图。我们的实验表明,DeCaFA显着优于现有的方法在300W,CelebA和WFLW数据库。此外,我们还证明了DeCaFA可以使用粗略注释的数据从非常少的图像中以合理的精度学习精细对齐。
2019-04-04 cs.CV
Artist, Style And Year Classification Using Face Recognition And Clustering With Convolutional Neural Networks
STM A.S.(STM公司)
艺术品绘画的艺术家、年份和风格分类通常使用标准图像分类方法、图像分割或最近的卷积神经网络(CNN)来实现。这项工作的目的是使用新开发的人脸识别方法,如FaceNet,该方法使用CNN来使用绘画中提取的人脸对美术绘画进行聚类,这些人脸被大量发现。我们选择了一个由1000多位艺术家的80,000多幅画作组成的数据集,并执行了三个独立的人脸识别和聚类任务。生成的聚类通过绘画的文件名进行分析,聚类通过其主要艺术家,年份范围和风格命名。进一步分析集群,并计算其性能指标。该研究显示了有希望的结果,因为艺术家,年份和风格的聚类准确率分别为58.8%,63.7%和81.3%,而聚类的平均纯度分别为63.1%,72.4%和85.9%。
2020-12-02 cs.CV
Semi-Adversarial Networks: Convolutional Autoencoders for Imparting Privacy to Face Images
Michigan State University(密歇根州立大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
在本文中,我们设计并评估了一个卷积自动编码器,它可以扰动输入的人脸图像,从而将隐私传递给受试者。具体而言,建议的自动编码器变换输入的人脸图像,使得变换后的图像可以成功地用于人脸识别,但不用于性别分类。为了训练这种自动编码器,我们提出了一种新的训练方案,在这项工作中被称为半对抗训练。通过将由伪性别分类器和伪面部匹配器组成的半对抗模块附加到自动编码器来促进训练。用于训练该网络的目标函数有三个项:一个是确保扰动图像是真实的人脸图像;另一个是确保人脸的性别属性被混淆;第三个是确保由于扰动图像导致的生物识别性能不受影响。大量的实验证实了所提出的架构在扩展性别隐私的人脸图像的功效。
2018-05-03 cs.CV cs.LG
Affine Medical Image Registration with Coarse-to-Fine Vision Transformer
The Hong Kong University of Science and Technology(香港科技大学)
仿射配准是医学图像配准过程中不可缺少的一部分。然而,只有少数研究集中在快速和鲁棒的仿射配准算法。这些研究中的大多数利用卷积神经网络(CNN)来学习联合仿射和非参数配准,而仿射子网络的独立性能较少探索。此外,现有的基于CNN的仿射配准方法关注输入的局部未对准或全局方向和位置来预测仿射变换矩阵,这对空间初始化敏感,并且除了训练数据集之外表现出有限的泛化能力。本文提出了一种快速、鲁棒的基于学习的三维仿射医学图像配准算法--粗到精视觉Transformer(C2FViT)。我们的方法自然地利用卷积视觉Transformer的全局连接性和局部性以及多分辨率策略来学习全局仿射配准。我们评估我们的方法在3D脑图谱配准和模板匹配归一化。综合结果表明,我们的方法是优于现有的基于CNN的仿射配准方法的配准精度,鲁棒性和泛化能力,同时保持运行时的优势,基于学习的方法。源代码可在https://github.com/cwmok/C2FViT上获得。
2022-03-30 cs.CV
Recognizing Facial Expressions of Occluded Faces using Convolutional Neural Networks
University of Bucharest(布加勒斯特大学);Novustech Services(诺武斯特科技服务公司)
在本文中,我们提出了一种基于卷积神经网络(CNN)的面部表情识别方法,在一个困难的设置与严重的遮挡。更具体地说,我们的任务是识别戴着虚拟现实(VR)耳机的人的面部表情,该耳机基本上遮挡了面部的上部。为了准确地训练神经网络,在这种设置中,面部被严重遮挡,我们通过故意遮挡面部的上半部分来修改训练样本。这迫使神经网络专注于面部的下半部分,并获得比在整个面部上训练的模型更好的准确率。我们在FER+和AffectNet两个基准数据集上的实证结果表明,我们的CNN模型对下半脸的预测比在整个面部上训练的基线CNN模型高出13%,证明了它们适用于VR设置。此外,我们的模型对下半部分面部的预测不超过基线模型对完整面部预测的10%,证明面部下半部分有足够的线索来准确预测面部表情。
2019-11-12 cs.CV cs.LG
Unconstrained Still/Video-Based Face Verification with Deep Convolutional Neural Networks
University of Maryland(马里兰大学)
在过去的五年中,基于深度卷积神经网络(DCNN)的方法在目标检测和识别问题上表现出令人印象深刻的性能改进。这是由于大型注释数据集的可用性,对输入图像和类别标签之间的非线性映射的更好理解以及GPU的可负担性。在本文中,我们提出了无约束人脸识别的深度学习系统的设计细节,包括人脸检测,关联,对齐和人脸验证模块。使用IARPA Janus基准A(IJB-A)、JANUS挑战集2(JANUS CS2)和LFW数据集进行定量性能评估。IJB-A数据集包括500个受试者的真实无约束人脸,这些受试者具有显著的姿势和光照变化,这比野生标签人脸(LFW)和Youtube人脸(YTF)数据集要困难得多。JANUS CS2是IJB-A的扩展版本,它不仅包含IJB-A的所有图像/帧,还包含用于评估基于视频的人脸验证系统的原始视频。然后讨论了DCNN在人脸验证问题中的一些开放问题。
2017-07-18 cs.CV
Super-Identity Convolutional Neural Network for Face Hallucination
National Taiwan University(国立台湾大学);SenseTime Group Limited(商汤集团有限公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室)
人脸幻觉是一种超分辨人脸图像的生成任务,而人类对人脸的感知严重依赖于身份信息。然而,以前的面孔幻觉方法在很大程度上忽略了面部身份恢复。本文提出了超身份卷积神经网络(SICNN)来恢复身份信息,以生成接近真实身份的人脸。具体来说,我们定义了一个超身份损失来衡量超球身份度量空间内的幻觉脸和其对应的高分辨率脸之间的身份差异。然而,直接使用这种损失将导致动态域发散问题,这是由高分辨率域和幻觉域之间的大裕度引起的。为了克服这一挑战,我们提出了一个域集成的训练方法,通过构建一个强大的身份度量,从这两个领域的面孔。广泛的实验评估表明,所提出的SICNN实现了卓越的视觉质量,在一个具有挑战性的任务,以超分辨率12 $\times$ 14面与8 $\times$放大因子的国家的最先进的方法。此外,SICNN显着提高了超低分辨率人脸的可识别性。
2018-11-06 cs.CV
Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition
South China University of Technology(华南理工大学);UBTech Sydney Artificial Intelligence Institute(优必选悉尼人工智能研究院);The University of Sydney(悉尼大学)
监控视频中的人脸通常会出现严重的图像模糊、姿态变化和遮挡。在本文中,我们提出了一个全面的框架,卷积神经网络(CNN)的基础上,以克服在基于视频的人脸识别(VFR)的挑战。首先,为了学习模糊鲁棒的人脸表示,我们人为地模糊了由清晰的静止图像组成的训练数据,以弥补真实世界视频训练数据的不足。使用由静止图像和人工模糊数据组成的训练数据,鼓励CNN自动学习模糊不敏感特征。其次,为了增强CNN特征对姿态变化和遮挡的鲁棒性,我们提出了一种主干-分支包围CNN模型(TBE-CNN CNN),该模型从整体面部图像和面部组件周围裁剪的补丁中提取补充信息。TBE-CNN是一种端到端模型,通过在主干和分支网络之间共享低级和中级卷积层来有效地提取特征。第三,为了进一步提高TBE-CNN学习的表示的区分能力,我们提出了一个改进的三重损失函数。系统的实验证明了所提出的技术的有效性。最令人印象深刻的是,TBE-CNN在三个流行的视频人脸数据库上实现了最先进的性能:PaSC,COX Face和YouTube Faces。在BTAS 2016年视频人物识别评测中,我们也获得了第一名。
2017-05-17 cs.CV
Organizing Multimedia Data in Video Surveillance Systems Based on Face Verification with Convolutional Neural Networks
National Research University Higher School of Economics(国立研究型大学高等经济学院)
在本文中,我们提出了两个阶段的方法来组织视频监控系统中的信息。首先,在每帧中检测人脸,并将视频流分割成具有一个人的人脸区域的帧序列。其次,这些序列(轨道),包含相同的面孔进行分组,使用人脸验证算法和层次凝聚聚类。性别和年龄估计每个集群(人),以促进有组织的视频收集的使用。特别关注的是从每帧提取的特征与深度卷积神经网络的聚合。在YTF和IJB-A数据集上的实验结果表明,该方法能够最准确、最快速地匹配同一轨迹中所有帧的特征向量的归一化平均值。
2017-09-17 cs.CV
Convolutional Sketch Inversion
Radboud University(拉德堡德大学)
在本文中,我们使用深度神经网络来反转人脸草图,以合成照片级真实感的人脸图像。我们首先构建了一个半模拟数据集,其中包含了大量的计算机生成的人脸草图与不同的风格和相应的人脸图像,通过扩展现有的无约束的人脸数据集。然后,我们通过利用深度学习的最新进展,如批量归一化,深度残差学习,感知损失和随机优化,结合我们的新数据集,对计算机生成的草图和手绘草图进行训练模型,以获得最先进的结果。最后,我们展示了我们的模型在美术和法医艺术的潜在应用。与现有的基于补丁的方法相比,我们基于深度神经网络的方法可以通过在野外反转人脸草图来合成逼真的人脸图像。
2016-06-09 cs.CV
Studying Invariances of Trained Convolutional Neural Networks
Eidgenössische Technische Hochschule (ETH) Zürich(苏黎世联邦理工学院)
卷积神经网络(CNN)定义了一类非常强大的图像分类模型,但理论背景和对某些变换的不变性是如何学习的理解是有限的。在一个大规模的筛选中,图像被不同大小的仿射和非仿射变换修改,我们分析了CNN架构AlexNet和ResNet的行为。如果不同转换的幅度不超过类和转换相关的阈值,则两种架构都表现出不变的行为。在这项工作中,我们还介绍了一个新的学习模块,不变的Transformer网,它使我们能够学习一组仿射变换的可微参数。这允许我们提取CNN不变的变换空间,并且其类预测是鲁棒的。
2018-03-15 cs.CV
Deep Convolutional Neural Network for Age Estimation based on VGG-Face Model
University of Bridgeport(桥港大学)
从真实世界和无约束的人脸图像中自动估计年龄正迅速变得重要。在我们提出的工作中,一个深度的CNN模型,在一个数据库上训练的人脸识别任务是用来估计Adience数据库上的年龄信息。本文在这一领域有三个重要贡献。(1)本文的工作证明了一个经过人脸识别训练的CNN模型可以用于年龄估计以提高性能:(2)在人脸识别任务中使用一个经过预训练的CNN模型可以克服过拟合问题;(3)不仅训练图像的数量和训练数据库中的对象的数量影响年龄估计模型的性能,而且所采用的CNN的预训练任务决定了模型的性能。
2017-09-06 cs.CV
Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Behaviour Digital
提出一种结合卷积神经网络、参数化3D人脸模型和主动蛇形轮廓的新方法,首次通过训练CNN检测素描中的表情并生成对应3D模型。
2026-05-25 cs.CV cs.GR cs.LG
Learn Convolutional Neural Network for Face Anti-Spoofing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
虽然取得了一些进展,但手工纹理特征,如,LBP [23],LBP-TOP [11]仍然无法捕捉真实和虚假面孔之间最具区别性的线索。在本文中,我们不是自己设计特征,而是依靠深度卷积神经网络(CNN)以监督的方式学习具有高区分能力的特征。结合一些数据预处理,人脸防欺骗性能大大提高。在实验中,与现有技术相比,在两个具有挑战性的数据集CASIA [36]和REPLAY-ATTACK [7]上,半总出错率(HTER)相对降低了70%以上。同时,两个数据集之间的测试实验结果表明,CNN可以获得具有更好泛化能力的特征。此外,使用来自两个数据集的组合数据训练的网络在两个数据集之间的偏差较小。
2014-08-26 cs.CV
Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture
提出了一种基于深度卷积神经网络(DCNN)的低分辨率人脸识别的耦合映射方法。所提出的架构由两个分支的DCNN映射到一个共同的空间与非线性变换的高,低分辨率的人脸图像。对应于高分辨率图像的变换的分支由14层组成,并且将低分辨率面部图像映射到公共空间的另一分支包括连接到14层网络的5层超分辨率网络。将对应的高分辨率图像和低分辨率图像的特征之间的距离反向传播以训练网络。我们所提出的方法进行评估FERET数据集,并与国家的最先进的竞争方法进行比较。我们广泛的实验结果表明,该方法显着提高识别性能,特别是对非常低的分辨率探头人脸图像(11.4%的识别精度提高)。此外,它可以从其相应的低分辨率探头图像重建高分辨率图像,这是与国家的最先进的超分辨率方法在视觉质量方面。
2017-06-20 cs.CV
Interlinked Convolutional Neural Networks for Face Parsing
Tsinghua University(清华大学);State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华大学信息科学与技术国家实验室(TNList));Department of Computer Science and Technology(计算机科学与技术系)
人脸识别是人脸图像分析中的一项基本任务。它相当于用适当的面部部位(如眼睛和鼻子)标记每个像素。在本文中,我们提出了一个互连的卷积神经网络(iCNN),以解决这个问题的端到端的方式。它由多个卷积神经网络(CNN)组成,以不同的尺度输入。设计了一个特殊的互连层,允许CNN交换信息,使它们能够有效地集成本地和上下文信息。iCNN的特点是在互连层中广泛使用下采样和上采样,而传统CNN通常只使用下采样。提出了一个两阶段的流水线用于人脸解析,这两个阶段都使用iCNN。第一阶段在尺寸减小的图像中定位面部部分,并且第二阶段标记原始图像中所识别的面部部分中的像素。在基准数据集上,我们获得了比最先进的方法更好的结果。
2018-06-07 cs.CV
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge(剑桥大学);Indian Institute of Science(印度科学理工学院)
伪装人脸识别(DFI)是一个极具挑战性的问题,因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架,首先检测14个面部关键点,然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集,因此引入了两个带注释的面部关键点数据集。针对每个关键点,提出了面部关键点检测框架的有效性。通过与其他深度网络的比较,也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较,验证了该方法的有效性。
2017-08-30 cs.CV
Deep Alignment Network: A convolutional neural network for robust face alignment
Warsaw University of Technology(华沙理工大学)
在本文中,我们提出了深度对齐网络(DAN),这是一种基于深度神经网络架构的鲁棒人脸对齐方法。DAN由多个阶段组成,其中每个阶段改进由前一阶段估计的面部标志的位置。我们的方法在所有阶段使用整个面部图像,与最近提出的依赖于局部补丁的面部对齐方法相反。这是可能的,这要归功于地标热图的使用,该热图提供了关于在算法的先前阶段估计的地标位置的视觉信息。使用整个面部图像而不是补丁允许DAN处理头部姿势变化大且初始化困难的面部图像。对两个公开数据集的广泛评估表明,DAN将最先进的故障率降低了70%。我们的方法也已提交评估的一部分,门波挑战。
2017-08-10 cs.CV
End-to-End Face Parsing via Interlinked Convolutional Neural Networks
Beijing Forestry University(北京林业大学);Tsinghua University(清华大学);CentraleSupélec(中央理工-高等电力学院)
人脸解析是一项重要的计算机视觉任务,需要对人脸部分(如眼睛、鼻子、嘴巴等)进行精确的像素分割,为进一步的人脸分析、修改和其他应用提供了基础。互联卷积神经网络(iCNN)是一种有效的两阶段人脸识别模型。然而,最初的iCNN是在两个阶段分别训练的,这限制了它的性能。为了解决这个问题,我们引入了一个简单的端到端人脸解析框架:STN-aided iCNN(STN-iCNN),它通过在两个隔离的阶段之间添加空间Transformer网络(STNN)来扩展iCNN。STN-iCNN使用该接口提供与原始两阶段iCNN管道的可训练连接,使端到端联合训练成为可能。此外,作为一个副产品,它还提供了比原始裁剪器更精确的裁剪部分。由于这两个优点,我们的方法显着提高了原始模型的准确性。我们的模型在标准人脸解析数据集Helen Dataset上取得了有竞争力的性能。它在CelebAMAsk-HQ数据集上也取得了优异的性能,证明了其良好的泛化能力。我们的代码已在https://github.com/aod321/STN-iCNN上发布。
2020-06-23 cs.CV
Ensemble Learning using Transformers and Convolutional Networks for Masked Face Recognition
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(沙特数据与人工智能局-法赫德国王石油与矿产大学人工智能联合研究中心)
戴口罩是我们为减少冠状病毒传播而不得不遵循的调整之一。我们的脸经常被面具覆盖,这就需要了解和研究这种行为如何影响人脸识别系统的识别能力。当前的人脸识别系统在处理无约束的一般人脸识别情况时具有非常高的准确率,但在处理被遮挡的蒙面人脸时不能很好地推广。在这项工作中,我们提出了一个蒙面人脸识别系统。所提出的系统包括两个卷积神经网络(CNN)模型和两个Transformer模型。CNN模型已经在FaceNet预训练模型上进行了微调。我们使用多数投票技术集成了四个模型的预测,以识别戴面具的人。建议的系统进行了评估,在这项工作中创建的综合屏蔽LFW数据集。使用集成模型获得最佳精度,精度为92%。该识别率优于其他模型的准确性,这表明该模型用于识别蒙面人脸的正确性和鲁棒性。代码和数据可在https://github.com/Hamzah-Luqman/MFR上获得
2022-10-10 cs.CV cs.LG
Two-stream Convolutional Networks for Multi-frame Face Anti-spoofing
School of Signal and Information Processing, Southeast University(东南大学信号与信息处理学院);SenseTime Group Limited(商汤科技集团有限公司)
人脸防欺骗是保障人脸识别安全的重要任务。以往的工作要么是难以捕捉有区别的和可推广的特征,要么是依赖于大多数工业产品无法获得的辅助信息。受视频分类工作的启发,我们提出了一种有效的双流模型来捕获实时和欺骗人脸之间的关键差异,该模型分别以多帧和RGB差异作为输入。采用具有两个相反融合方向的特征金字塔模块和金字塔池模块来增强特征表示。在Siw、Oulu-NPU、CASIA-MFSD和Replay-Attack数据集上对该方法进行了测试。实验结果表明,该模型在大部分数据集的协议上都取得了较好的效果,且参数少得多。
2021-08-09 cs.CV
Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition
Michigan State University(密歇根州立大学)
本文探讨了多任务学习(MTL)的人脸识别。我们回答了MTL如何以及为什么可以提高人脸识别性能的问题。首先,我们提出了一个多任务卷积神经网络(CNN)的人脸识别,身份分类是主要任务和姿态,照明和表情估计是副任务。其次,我们开发了一个动态加权方案,自动分配损失的重量,每个边任务,这是一个关键问题,在MTL。第三,我们提出了一个姿势导向的多任务CNN通过分组不同的姿势学习姿势特定的身份特征,同时在所有的姿势。最后,我们提出了一种基于能量的权重分析方法来探索基于CNN的MTL是如何工作的。我们观察到,侧任务作为正则化,以解开的变化,从学习的身份特征。在整个Multi-PIE数据集上的实验证明了该方法的有效性。据我们所知,这是第一次使用Multi-PIE中的所有数据进行人脸识别。我们的方法也适用于姿态不变人脸识别的野外数据集,并在LFW,CFP和IJB-A数据集上实现了与现有技术相当或更好的性能。
2017-05-09 cs.CV
Real-Time Facial Expression Emoji Masking with Convolutional Neural Networks and Homography
University of Toronto(多伦多大学)
基于神经网络的算法已经在许多应用中显示出成功。在图像处理中,可以训练卷积神经网络(CNN)来对人脸图像的面部表情进行分类。在这项工作中,我们创建了一个系统,掩盖了学生的脸与表情符号的各自的情绪。我们的系统由三个构建模块组成:使用直方图特征(HoG)和支持向量机(SVM)进行人脸检测,使用在FER2013数据集上训练的CNN进行面部表情分类,最后通过单应性估计将相应的表情符号掩盖到学生的脸上。(Demo:https://youtu.be/GCjtXw1y8Pw)我们的研究结果表明,该管道是可以实时的【形】部署的,并且在教育环境中是可用的。
2020-12-24 cs.CV
Face Alignment Using K-Cluster Regression Forests With Weighted Splitting
Warsaw University of Technology(华沙理工大学)
在这项工作中,我们提出了一个基于两种新方法的人脸对齐管道:加权分裂的K-聚类回归森林和三维仿射姿态回归人脸形状初始化。我们的人脸对齐方法是基于局部二值特征框架,其中不是原始方法中使用的标准回归森林和像素差异特征,而是使用我们的加权分裂K聚类回归森林(KRFWS)和金字塔HOG特征。我们还使用KRFWS执行仿射姿态回归(APR)和3D-Affine姿态回归(3D-APR),旨在改善人脸形状的初始化。APR将刚性2D变换应用于初始面部形状,以补偿初始面部位置、大小和平面内旋转的不准确性。3D-APR估计另外补偿平面外旋转的3D变换的参数。由此产生的管道,包括APR和3D-APR,然后是面部对齐,在具有挑战性的IBUG数据集上显示出比标准LBF提高了20%,并且在整个300-W数据集上显示出最先进的准确性。
2017-06-06 cs.CV
MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction
Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);LCSB, University of Luxembourg(卢森堡大学生物医学系统生物学中心);Technicolor(特艺集团)
在这项工作中,我们提出了一种新的基于模型的深度卷积自动编码器,它解决了从单个原始彩色图像重建3D人脸的高度挑战性问题。为此,我们将卷积编码器网络与作为解码器的专家设计的生成模型相结合。核心创新是我们新的可微分参数解码器,它基于生成模型解析地封装了图像形成。我们的解码器作为输入的代码向量与精确定义的语义含义,编码详细的人脸姿态,形状,表情,皮肤反射和场景照明。由于这种将基于CNN的人脸重建与基于模型的人脸重建相结合的新方法,基于CNN的编码器可以学习从单个单目输入图像中提取语义上有意义的参数。这是第一次,CNN编码器和专家设计的生成模型可以以无监督的方式进行端到端的训练,这使得在非常大的(未标记的)真实世界数据上进行训练变得可行。所获得的重建相比,目前国家的最先进的方法在质量和丰富的代表性。
2017-12-07 cs.CV
DeepActsNet: Spatial and Motion features from Face, Hands, and Body Combined with Convolutional and Graph Networks for Improved Action Recognition
IBM Research(IBM研究院)
现有的动作识别方法主要集中在人体骨骼数据中的关节和骨骼信息,由于其对复杂背景和环境动态特性的鲁棒性。在本文中,我们结合身体骨架数据与空间和运动特征的脸和双手,并提出了“深度动作邮票(DeepActs)”,一种新的数据表示编码的动作从视频序列。我们还介绍了“DeepActsNet”,这是一个基于深度学习的集成模型,它从Deep Action Stamps中学习卷积和结构特征,以实现高度准确的动作识别。在三个具有挑战性的动作识别数据集(NTU 60、NTU 120和SYSU)上进行的实验表明,使用Deep Action Stamps训练的拟议模型在动作识别准确性方面取得了显着提高,而且与最先进的方法相比,计算成本更低。
2021-06-04 cs.CV
Deep Convolutional Neural Networks in the Face of Caricature: Identity and Image Revealed
The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Maryland(马里兰大学);University of Siegen(锡根大学)
真实世界的人脸识别需要能够在多个可变图像中感知单个人脸的独特特征。灵长类动物的视觉系统解决了图像不变性的问题,使用级联的神经元将面部图像转换为面部身份的分类表示。深度卷积神经网络(DCNN)也可以创建可推广的面部表示,但使用的是模拟神经元的级联。DCNN表示可以在多维“面空间”中进行检查,身份和图像参数通过它们在定义空间的轴上的投影进行量化。我们研究了在这个空间中的观点,照明,性别和身份的组织。我们发现,该网络创建了一个高度有组织的,分层嵌套的,人脸相似性结构,其中有关人脸身份和成像特征的信息共存。自然图像的变化被容纳在这个层次结构中,面部身份嵌套在性别下,照明嵌套在身份下,视点嵌套在照明下。为了检验身份,我们对人脸进行了漫画化,发现网络识别的准确性随着漫画水平的提高而提高,并且模仿人类的感知,一张脸的漫画化扭曲“类似于”其真实的对应物。漫画通过将身份从面部空间中的其他身份移开并最小化照明和视点的影响来提高性能。深度网络产生人脸表示,解决了广义人脸识别中长期存在的计算问题。他们还提供了一个统一的理论框架,用于协调几十年来的行为和神经结果,这些结果强调图像或物体/面孔的表征,而不理解神经代码如何无缝地适应两者。
2018-12-28 cs.CV
Multi-view Face Detection Using Deep Convolutional Neural Networks
Yahoo(雅虎)
在本文中,我们考虑的问题,多视角人脸检测。虽然已经对此问题进行了大量研究,但当前用于此任务的最先进方法需要对面部标志进行注释,例如TSM [25]或对面部姿势进行注释[28,22]。它们还需要训练数十个模型来完全捕捉所有方向的人脸,例如HeadHunter方法中的22个模型[22]。在本文中,我们提出了深度密集人脸检测器(DDFD),一种不需要姿势/地标注释的方法,能够使用基于深度卷积神经网络的单个模型在广泛的方向上检测人脸。所提出的方法具有最小的复杂性;与其他最近的深度学习目标检测方法不同[9],它不需要额外的组件,如分割,边界框回归或SVM分类器。此外,我们分析了所提出的人脸检测器在不同方向上的人脸的得分,发现1)所提出的方法能够从不同角度检测人脸,并在一定程度上处理遮挡,2)在训练集中的正样本的差异与所提出的人脸检测器的得分之间似乎存在相关性。后者表明,所提出的方法的性能可以进一步提高,通过使用更好的采样策略和更复杂的数据增强技术。对流行的人脸检测基准数据集的评估表明,我们的单模型人脸检测器算法与以前的方法相比具有相似或更好的性能,这些方法更复杂,需要注释不同的姿势或面部标志。
2015-04-20 cs.CV
Modeling biological face recognition with deep convolutional neural networks
University of Salzburg(萨尔茨堡大学);Centre for Cognitive Neuroscience, University of Salzburg(萨尔茨堡大学认知神经科学中心)
本综述总结了首批用深度卷积神经网络建模生物人脸识别的研究,论证其与脑内面孔加工层级结构的相似性,揭示其在面孔检测与识别机制研究中的独特价值,可为相关长期争议提供参考。
2023-08-19 cs.CV
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院);Université Laval(拉瓦尔大学)
尽管深度人脸识别(DFR)系统取得了重大进展,但在特定约束条件下引入新的DFR(如姿态变化)仍然是一个巨大的挑战。最特别地,由于人类头部的3D性质,当被投影到相机图像平面时,相同对象的面部外观引入了高的类内可变性。在本文中,我们提出了一种新的多视图深度人脸识别(MVDFR)系统来解决上述挑战。在这种情况下,每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中,该深度神经网络具有独特的设计,以在单个和更紧凑的面部描述符中重新表达面部特征,这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像,我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明,我们提出的方法产生了99.8%的准确率,而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学(IUST)的人脸数据库,其中包含504名受试者的6552张图像,以完成我们的实验。
2020-01-22 cs.CV
Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);State Key Lab of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)
人脸再现旨在将源人脸图像动画化为由驾驶图像提供的不同姿态和表情。现有的方法要么是为特定的身份而设计的,要么在一次性或Few-Shot场景中遭受身份保存问题。在本文中,我们介绍了一种用于一次性面部再现的方法,该方法使用重建的3D网格(即,源网格和驱动网格)作为指导来学习再现的面部合成所需的光流。在技术上,我们明确地排除了驱动面的身份信息在重建的驱动网格。通过这种方式,我们的网络可以专注于源人脸的运动估计,而不会受到驱动人脸形状的干扰。我们提出了一个运动网络来学习人脸运动,这是一个不对称的自动编码器。编码器是从网格学习潜在运动矢量的图卷积网络(GCN),并且解码器用于利用CNN从潜在矢量产生光流图像。与以往的基于稀疏关键点的光流学习方法相比,本文提出的运动网络直接从三维稠密网格中学习光流,为光流提供了详细的形状和姿态信息,从而可以在再现的人脸上实现更精确的表情和姿态。大量的实验表明,我们的方法可以产生高质量的结果,并优于国家的最先进的方法在定性和定量比较。
2020-09-18 cs.CV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour(拉德堡德大学,唐德斯脑、认知与行为研究所);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
近年来,在语义分割方面取得了显著的进展。在这里,我们通过利用这些进步的各自优势来解决这个问题。也就是说,我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络,并通过对抗过程对其进行估计。重要的是,我们的模型不仅学习一元势,还学习成对势,同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型,在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV