FLAME-based Multi-View 3D Face Reconstruction
Shanghai Jiao Tong University(上海交通大学)
本文提出MFNet,将FLAME参数化模型与多视角自监督训练框架结合,通过多视角光流损失、人脸关键点损失和共视掩码等约束,在AFLW和FaceScape数据集及实际自拍数据上实现更高质量的三维人脸重建。
2023-09-25 cs.CV
Recover Canonical-View Faces in the Wild with Deep Neural Networks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
人脸图像在自然环境中存在着很大的个体差异,如姿态、光照、遮挡和低分辨率等,这给人脸相关应用带来了巨大的挑战。本文通过提出一种新的深度学习框架来解决这一挑战,该框架可以恢复人脸图像的规范视图。它极大地减少了人内方差,同时保持了人与人之间的区别。与现有的人脸重建方法不同,这些方法要么在受控的2D环境中进行评估,要么采用3D信息,我们的方法直接学习从具有复杂变化集的人脸图像到其规范视图的变换。在训练阶段,为了避免手工从训练集中标记标准视图图像的昂贵过程,我们设计了一种新的测量方法来自动选择或合成每个身份的标准视图图像。作为一个应用,这种人脸恢复方法被用于人脸验证。通过使用基于面部组件的卷积神经网络从恢复的标准视图人脸图像中学习面部特征。我们的方法在LFW数据集上实现了最先进的性能。
2014-04-16 cs.CV
Cluster and Aggregate: Face Recognition with Large Probe Set
Michigan State University(密歇根州立大学)
特征融合在无约束人脸识别中起着至关重要的作用,其中输入(探针)包括一组$N$低质量图像,其个体质量不同。注意力和循环模块的进步导致了特征融合,可以对输入集中图像之间的关系进行建模。然而,注意力机制不能扩展到大的$N$,由于它们的二次复杂性和经常性的模块遭受输入顺序敏感性。我们提出了一个两阶段的特征融合范例,聚类和聚合,既可以扩展到大$N$,并保持顺序不变性进行顺序推理的能力。具体而言,聚类阶段是将$N$输入线性分配给$M$全局聚类中心,聚合阶段是对$M$聚类特征的融合。当输入是连续的时,聚类特征起着不可或缺的作用,因为它们可以作为过去特征的总结。通过利用增量平均操作的顺序不变性,设计了一种实现批量顺序不变性的更新规则,保证了序列中早期图像的贡献不会随着时间步长的增加而减少。在IJB-B和IJB-S基准数据集上的实验表明了该方法在无约束人脸识别中的优越性。代码和预训练模型可在https://github.com/mk-minchul/caface上获得
2023-02-16 cs.AI cs.CV
Towards Arbitrary-View Face Alignment by Recommendation Trees
The Chinese University of Hong Kong(香港中文大学);SenseTime Group(商汤集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
学习同时处理任意视图的面部对齐,例如正面和侧面视图,似乎比我们想象的更具挑战性。困难在于i)适应不同视图中表现出的复杂外观-形状关系,以及ii)包含由于自遮挡和不同界标协议而变化的界标点集。大多数现有的研究通过训练多个视点特定的模型来解决这个问题,并进行头部姿势估计以进行模型选择。该解决方案是直观的,但是性能非常容易受到不准确的头部姿势估计的影响。在这项研究中,我们通过学习模型推荐树(EMRT),这是能够选择最佳的模型配置,而无需事先头部姿势估计的包围来解决这个缺点。统一框架无缝处理不同的视点和地标协议,并通过直接优化地标位置进行训练,从而在任意视图人脸对齐方面产生卓越的结果。这是第一个研究,执行人脸对齐的完整AFLW数据集与不同的意见,包括个人资料视图的脸。国家的最先进的性能也报告了MultiPIE和AFW数据集包含frontaland轮廓视图的面孔。
2015-11-20 cs.CV
Multi-view Face Analysis Based on Gabor Features
China University of Petroleum(中国石油大学)
人脸分析是人机界面技术中的一个热点。基于稀疏表示和Gabor核的分类方法在人脸识别领域得到了广泛的应用。然而,这些方法中的大多数从整体观点的角度来处理面部。根据人脸不同视角的重要性,本文提出了基于稀疏表示和Gabor小波系数的多视角人脸分析方法。为了评估性能,我们进行人脸分析实验,包括人脸识别(FR)和人脸表情识别(FER)的JAFFE数据库。实验分两部分进行:(1)将人脸图像分为额头、眼睛和嘴巴三部分。(2)根据Gabor核的方向性将人脸图像分为8个部分。实验结果表明,该方法可以显着提高性能,性能优于其他方法。
2014-03-06 cs.CV
Funnel-Structured Cascade for Multi-View Face Detection with Alignment-Awareness
Institute of Computing Technology, CAS(中国科学院计算技术研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
开放环境下的多视角人脸检测是一个具有挑战性的任务,由于不同的外观和形状的变化。大多数多视角人脸检测器依赖于多个模型,并以并行、金字塔或树结构的方式组织它们,这在准确性和时间开销之间折衷。针对多视角人脸检测问题,提出了一种新的漏斗结构级联(FuSt)检测框架。在从粗到细的风格中,我们的FuSt从上到下包括:1)用于非常快速的面部建议的多个视图特定的快速LAB级联,2)用于进一步候选窗口验证的多个粗MLP级联,以及3)用于准确面部检测的具有形状索引特征的统一精细MLP级联。与其他结构相比,一方面,所提出的一个使用多个计算效率高的分布式分类器,提出了少量的候选窗口,但具有高召回率的多视图的脸。另一方面,通过使用统一的MLP级联,以集中的方式检查所有视图的建议,它提供了一个良好的解决方案,多视角人脸检测具有高精度和低时间成本。此外,FuSt检测器是可感知的,并且执行粗略的面部部分预测,这有利于后续的面部对准。在两个具有挑战性的数据集FDDB和AFW上进行的大量实验证明了我们的FuSt检测器在准确性和速度方面的有效性。
2016-09-23 cs.CV
Face Shape-Guided Deep Feature Alignment for Face Recognition Robust to Face Misalignment
Electronics and Telecommunications Research Institute (ETRI)(韩国电子通信研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在过去的几十年里,人脸识别(FR)一直是计算机视觉和模式识别领域的研究热点。最近,由于深度学习的进步,FR技术对大多数基准数据集表现出高性能。然而,当FR算法被应用于现实世界的情况下,性能已经被称为仍然是不令人满意的。这主要是由于训练集和测试集之间的不匹配。在这些不匹配中,训练和测试人脸之间的人脸错位是阻碍成功FR的因素之一。为了解决这个限制,我们提出了一个人脸形状引导的深度特征对齐框架,用于对人脸错位具有鲁棒性的FR。基于面部形状先验(例如,面关键点),我们通过引入对准过程来训练所提出的深度网络,即,像素和特征对准,在对准好的和未对准的面部图像之间。通过像素对齐过程,解码从人脸图像和人脸形状先验提取的聚合特征,我们添加了辅助任务来重建对齐良好的人脸图像。由于聚合的特征通过特征对齐过程链接到面部特征提取网络作为指导,因此我们针对面部未对齐来训练鲁棒的面部特征。即使在训练阶段中需要面部形状估计,在测试阶段中也不一定需要通常并入常规FR流水线中的额外面部对准过程。通过对比实验,我们验证了该方法的有效性人脸错位与FR数据集。
2022-09-15 cs.CV
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
最近的基于学习的方法,其中模型由单视图图像训练,对于单目3D人脸重建显示出有希望的结果,但是它们遭受不适定的人脸姿势和深度模糊问题。与以前只执行2D特征约束的工作相比,我们提出了一个自我监督的训练架构,通过利用多视图几何一致性,它提供了可靠的面部姿态和深度估计的约束。我们首先提出一种遮挡感知的视图合成方法,将多视图几何一致性应用于自监督学习。然后设计了三种新的多视点一致性损失函数,包括像素一致性损失、深度一致性损失和基于人脸特征的核线损失。我们的方法是准确的和强大的,特别是在大的变化的表情,姿势和照明条件下。在人脸对齐和三维人脸重建基准上的综合实验表明,该方法优于现有的方法。我们的代码和模型发布在https://github.com/jiaxiangshang/MGCNet上。
2020-07-24 cs.CV
Multi-Scale Wavelet Transformer for Face Forgery Detection
Hikvision Research Institute(海康威视研究院)
目前,许多人脸伪造检测方法聚合空间和频率特征,以提高泛化能力,并在跨数据集的情况下获得有前途的性能。然而,这些方法只利用一个层次的频率信息,这限制了它们的表达能力。为了克服这些局限性,我们提出了一个多尺度小波Transformer框架的人脸伪造检测。具体地说,为了充分利用多尺度和多频率小波表示,我们逐步聚合骨干网络的不同阶段的多尺度小波表示。为了更好地融合频率特征和空间特征,设计了基于频率的空间注意力,引导空间特征提取器更多地关注伪造痕迹。同时,提出了跨通道注意力来融合频率特征和空间特征。这两个注意力模块通过统一的Transformer块进行计算,以提高效率。大量的实验表明,该方法是有效的和有效的内和跨数据集。
2022-10-08 cs.CV
A Vision System for Multi-View Face Recognition
Mansoura University(曼苏拉大学)
多模态生物特征识别技术在安全领域受到了广泛的关注。在现实世界中,存在能够以可靠和快速的识别率检测、识别和分类人类身份的现代系统设备。不幸的是,这些系统中的大多数依赖于一种模态,并且两种或更多种模态的可靠性进一步降低。人脸图像在不同姿态下的变化是人脸识别系统面临的重要挑战之一。在本文中,我们提出了一个多模态生物识别系统,能够检测人脸图像,不仅是一个视图的人脸图像,但也多视图的人脸图像。进入系统的每个被试在三个摄像机前调整自己的面部,然后基于加速鲁棒特征(SURF)算法提取面部图像的特征。我们利用多层感知器(MLP)和基于学习矢量量化(LVQ)和径向基函数(RBF)的组合分类器进行分类。该系统已使用SDUMLA-HMT和CASIA数据集进行了测试。此外,我们收集了一个数据库的多视角人脸图像,我们考虑到加性高斯白噪声。结果表明,该系统的可靠性,鲁棒性与不同的姿态和变化,包括噪声图像。
2017-06-01 cs.CV
Implicit Neural Deformation for Sparse-View Face Reconstruction
Kuaishou Technology(快手科技);Huazhong University of Science and Technology(华中科技大学)
在这项工作中,我们提出了一种新的方法,从稀疏视图的RGB图像的三维人脸重建。与以前的方法是建立在3D变形模型(3DMMs)有限的细节,我们利用隐式表示编码丰富的几何特征。我们的整个管道由两个主要组件组成,包括几何网络和渲染网络,几何网络学习可变形神经符号距离函数(SDF)作为3D人脸表示,渲染网络学习渲染神经SDF的表面点,以通过自监督优化匹配输入图像。为了在测试时处理具有不同表情的相同目标的野生稀疏视图输入,我们提出了残余潜在代码来有效地扩展学习的隐式人脸表示的形状空间,以及一种新的视图切换损失来加强不同视图之间的一致性。我们在几个基准数据集上的实验结果表明,与最先进的方法相比,我们的方法优于替代基线,并获得了更好的人脸重建结果。
2022-10-03 cs.CV
HRGE-Net: Hierarchical Relational Graph Embedding Network for Multi-view 3D Shape Recognition
Xi’an Jiaotong University(西安交通大学)
基于视图的方法通过投影的2D图像识别3D形状,实现了3D形状识别的最先进性能。基于视点的方法面临的一个重要挑战是如何将从二维图像中提取的多视点特征聚合成全局的三维形状描述符。在这项工作中,我们提出了一种新的功能聚合网络,通过充分调查的意见之间的关系。以多视图图像为节点构建关系图,通过对视图间的成对关系和相邻关系进行建模,设计关系图嵌入。通过逐步粗化图,构建层次关系图嵌入网络(HRGE-Net),将多视图特征聚合为全局形状描述子。大量的实验表明,HRGE-Net在基准数据集上实现了最先进的3D形状分类和检索性能。
2019-08-27 cs.CV
Feature Map Pooling for Cross-View Gait Recognition Based on Silhouette Sequence Images
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑计算北京高精尖创新中心)
在本文中,我们开发了一种新的卷积神经网络为基础的方法来提取和聚合有用的信息,而不是简单地表示步态过程的轮廓图像平均的步态轮廓序列图像。该网络以一对任意长度的序列图像作为输入,并独立地提取每个轮廓的特征。然后采用特征映射池策略聚合序列特征。随后,设计了一个类似于暹罗网络的网络来进行识别。所提出的网络是简单的,易于实现,可以在一个端到端的方式进行训练。在OU-ISIR大数据集上进行了跨视角步态识别实验。实验结果表明,该网络能够有效地从轮廓序列中提取和聚合特征。与现有技术相比,它还实现了显著相等的出错率和可比较的识别率。
2017-11-26 cs.CV
Robust multi-camera view face recognition
Dr. B. C. Roy Engineering College(B.C.罗伊工程学院);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Indian Institute of Technology Kanpur(坎普尔印度理工学院);Jadavpur University(贾达普大学)
提出了一种基于主成分分析(PCA)和线性判别分析(LDA)的多外观融合的多摄像机离线人脸识别(验证)系统。LDA的推广已经扩展到建立变换表示中的人脸类别之间的相关性,这被称为典型协变量。该系统使用Gabor滤波器组对人脸特征进行空间频率、空间位置和方向的表征,以补偿由于光照、姿态和表情变化而发生的人脸实例的变化。卷积的Gabor滤波器组的人脸图像产生的Gabor人脸表示与高维特征向量。然后将主成分分析和正则协变量应用于Gabor人脸表示,将高维特征空间减少到低维Gabor特征脸和Gabor正则脸。采用加权平均融合规则将约简后的特征脸向量和标准脸向量融合在一起。最后,支持向量机(SVM)已训练与增强的融合特征集,并执行识别任务。该系统已被评估与UMIST人脸数据库组成的多视图的面孔。实验结果表明,该系统的效率和鲁棒性的多视角人脸图像具有较高的识别率。在实验结果的最后还提出了所提出的系统的复杂性分析。
2010-03-30 cs.CV
3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation
NTNU(台湾师范大学);NTUST(台湾科技大学)
本文提出3D-GANTex方法,利用StyleGAN隐空间生成多视角人脸,并结合3DDFA与3DMM从单张图像估计高质量三维人脸网格和高分辨率纹理,缓解单视角重建的病态性问题。
2024-10-21 cs.CV
GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion
KAIST AI(韩国科学技术院人工智能研究所)
提出GeoFace,一种几何约束的多视角扩散框架,通过外观与几何流的共享注意力层和几何引导注意力对齐损失,实现从单张输入生成一致的多视角人脸图像和3D几何,显著提升跨视角几何一致性。
2026-06-29 cs.CV
Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning
University of Technology Sydney(悉尼科技大学);Southern University of Technology and Science(南方科技大学);CalmCar(天瞳威视)
近年来,热图回归方法在人脸配准领域占据主导地位,但它们忽略了不同特征点之间的内在联系。在本文中,我们提出了一个稀疏局部补丁Transformer(SLPT)的学习的内在关系。SLPT从局部块中生成每个单个地标的表示,并基于注意力机制通过自适应的内在关系聚合它们。基于聚合特征独立地预测每个地标的子像素坐标。此外,还引入了一个由粗到细的框架与SLPT相结合,这使得初始地标逐渐收敛到目标面部地标使用细粒度的功能,从动态调整大小的局部补丁。实验结果表明,该方法通过学习人脸特征点之间的内在联系,以较低的计算复杂性达到了最新水平。该代码可在项目网站上获得。
2022-03-26 cs.CV
Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);University of Chinese Academy of Sciences(中国科学院大学)
基于单幅人脸图像的真实感正面图合成在人脸识别领域有着广泛的应用。尽管已经提出了数据驱动的深度学习方法来通过从大量的人脸数据中寻求解决方案来解决这个问题,但是这个问题仍然具有挑战性,因为它本质上是不适定的。本文提出了一种双通道生成对抗网络(TP-GAN),通过同时感知全局结构和局部细节来实现真实感正面视图的合成。除了常用的全局编码解码器网络之外,还提出了四个地标定位的补丁网络来处理局部纹理。除了新颖的架构,我们使这个不适定的问题,以及通过引入对抗损失,对称性损失和身份保持损失的组合约束。组合的损失函数利用正面面部分布和预先训练的区分性深度面部模型两者来引导从轮廓对正面视图的身份保持推断。与之前主要依赖中间特征进行识别的深度学习方法不同,我们的方法直接利用合成的身份保留图像进行人脸识别和属性估计等下游任务。实验结果表明,我们的方法不仅提出了令人信服的感知结果,但也优于国家的最先进的大姿态人脸识别的结果。
2017-08-04 cs.CV
NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images
Beihang University(北京航空航天大学)
从多视点图像中绘制真实感人脸对各种计算机视觉和图形学应用都是有益的。然而,由于复杂的空间变化的反射特性和几何特征的脸,它仍然具有挑战性的恢复三维人脸表示既忠实和有效地在目前的研究。本文提出了一种新的三维人脸绘制模型,即NeuFace,学习准确的和物理意义的基础三维表示的神经渲染技术。它自然地将神经BRDF结合到基于基于物理的渲染中,以协作的方式捕获复杂的面部几何形状和外观线索。具体来说,我们引入了一个近似的BRDF积分和一个简单的但新的低秩先验,有效地降低了模糊性,提高了面部BRDF的性能。大量的实验证明了NeuFace在人脸绘制中的优越性,以及对常见对象的良好泛化能力。
2023-03-27 cs.CV
FaceBench: A Multi-View Multi-Level Facial Attribute VQA Dataset for Benchmarking Face Perception MLLMs
Shenzhen University(深圳大学);Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学);Sun Yat-sen University(中山大学)
针对现有MLLMs面部感知评估缺失,构建FaceBench多视角多层次属性VQA数据集,并训练Face-LLaVA基线,实验表明其超越开源模型、媲美商业模型。
2025-03-27 cs.CV
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院);Université Laval(拉瓦尔大学)
尽管深度人脸识别(DFR)系统取得了重大进展,但在特定约束条件下引入新的DFR(如姿态变化)仍然是一个巨大的挑战。最特别地,由于人类头部的3D性质,当被投影到相机图像平面时,相同对象的面部外观引入了高的类内可变性。在本文中,我们提出了一种新的多视图深度人脸识别(MVDFR)系统来解决上述挑战。在这种情况下,每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中,该深度神经网络具有独特的设计,以在单个和更紧凑的面部描述符中重新表达面部特征,这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像,我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明,我们提出的方法产生了99.8%的准确率,而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学(IUST)的人脸数据库,其中包含504名受试者的6552张图像,以完成我们的实验。
2020-01-22 cs.CV
Joint Multi-view Face Alignment in the Wild
Imperial College London(伦敦帝国学院)
用于面部标志估计的事实上的算法涉及运行面部检测器,其中随后的可变形模型拟合在限界框上。这包括两个基本问题:i)独立地执行检测和可变形拟合步骤,而检测器可能不为拟合步骤提供最适合的初始化,ii)面部外观在不同姿势之间变化很大,这使得可变形面部拟合非常具有挑战性,因此必须使用不同的模型(\eg,一个用于轮廓,一个用于正面)。在这项工作中,我们提出了第一个,据我们所知,联合多视图卷积网络来处理野外人脸的大姿态变化,并优雅地桥接人脸检测和面部地标定位任务。现有的联合人脸检测和地标定位方法只集中在一个非常小的地标集。相比之下,我们的方法可以检测和对齐大量的地标半额叶(68个地标)和轮廓(39个地标)的脸。我们在大量数据集上评估了我们的模型,包括标准的静态图像数据集,如IBUG,300 W,COFW,以及最新的Menpo Benchmark半正面和侧面脸。在300VW基准测试中,变形人脸跟踪的最新方法得到了显着改进。我们还展示了FDDB和MALF数据集上人脸检测的最新结果。
2017-08-20 cs.CV
JIFF: Jointly-aligned Implicit Face Function for High Quality Single View Clothed Human Reconstruction
The University of Hong Kong(香港大学);The Future Network of Intelligence Institute (FNii), CUHK-Shenzhen(香港中文大学(深圳)未来智联网络研究院)
研究了单视图三维人体重建问题。最近的隐式函数为基础的方法显示了令人印象深刻的结果,但他们不能恢复精细的人脸细节在他们的重建。这在很大程度上降低了3D网真等应用中的用户体验。在本文中,我们专注于提高人脸重建的质量,并提出了一种新的联合对齐隐式人脸函数(JIFF),结合隐式函数为基础的方法和基于模型的方法的优点。我们采用一个三维变形的人脸模型作为我们的形状先验和计算空间对齐的三维功能,捕捉详细的面部几何信息。这种空间对齐的3D特征与像素对齐的2D特征相结合,以联合预测隐式面部功能,用于高质量的面部重建。我们进一步扩展了我们的管道,并引入了一个由粗到细的架构来预测我们详细的人脸模型的高质量纹理。对公共数据集进行了广泛的评估,我们提出的JIFF表现出优于现有技术的性能(定量和定性)。
2022-04-22 cs.CV
Reconstructing Topology-Consistent Face Mesh by Volume Rendering from Multi-View Images
Shanghai Jiao Tong University(上海交通大学);CATL
针对工业3D人脸网格重建依赖人工或特定采集的问题,提出结合显式网格与神经体绘制的方法,以距离场为中介、三平面编码辐射场,在保拓扑下优化模板网格,实现更优重建质量。
2025-10-05 cs.CV
Load Balanced GANs for Multi-view Face Image Synthesis
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);University of Chinese Academy of Sciences(中国科学院大学);Noah’s Ark Lab of Huawei Technologies(华为技术有限公司诺亚方舟实验室);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
基于单幅图像的多视点人脸合成是一个病态问题,并且经常会出现严重的外观失真。产生真实感和身份保持的多视图结果仍然是一个没有很好定义的合成问题。本文提出了负载平衡的生成对抗网络(LB-GAN),以精确地旋转输入人脸图像的偏航角到任何指定的角度。LB-GAN将具有挑战性的合成问题分解为两个约束良好的子任务,分别对应于人脸归一化器和人脸编辑器。规范器首先将输入图像正面化,然后编辑器将正面化的图像旋转到由远程代码引导的期望姿态。为了生成照片般逼真的局部细节,归一化器和编辑器以两阶段的方式进行训练,并通过条件自循环损失和基于注意力的L2损失进行调节。在受控和非受控环境下的详尽实验表明,该方法不仅提高了多视点合成图像的视觉真实感,而且很好地保留了身份信息。
2018-03-04 cs.CV
From 2D Images to 3D Model:Weakly Supervised Multi-View Face Reconstruction with Deep Fusion
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Ricoh Software Research Center (Beijing) Co., Ltd.(理光软件研究中心(北京)有限公司);Edinburgh Napier University(爱丁堡龙比亚大学);Duke Kunshan University(昆山杜克大学)
针对弱监督多视图人脸重建中多图像信息融合不足的问题,提出DF-MVR流程,利用人脸掩码对齐多编码器特征并结合多层注意力机制,在无3D标注下实现了高精度3D人脸重建。
2024-12-23 cs.CV
Neural Face Video Compression using Multiple Views
ETH Zurich(苏黎世联邦理工学院);Apple(苹果公司)
深度生成模型的最新进展导致神经面部视频压缩编解码器的开发,其使用比工程编解码器少一个数量级的带宽。这些神经编解码器通过扭曲源帧并使用生成模型来补偿扭曲的源帧中的缺陷来重建当前帧。因此,使用少量的关键点而不是密集的流场来编码和传输扭曲,这与传统的编解码器相比带来了巨大的节省。然而,通过仅依赖于单个源帧,这些方法导致不准确的重建(例如,当转动头部时,头部的一侧变得未被遮挡并且必须被合成)。在这里,我们的目标是通过依赖多个源帧(面部视图)来解决这个问题,并呈现令人鼓舞的结果。
2022-04-13 cs.CV
Adaptive Mixture of Experts Learning for Generalizable Face Anti-Spoofing
Shanghai Jiao Tong University(上海交通大学);Youtu Lab, Tencent(腾讯优图实验室)
随着各种人脸呈现攻击的不断出现,基于领域泛化(DG)的人脸反欺骗(FAS)方法受到越来越多的关注。现有的基于DG的FAS方法总是捕获域不变的特征,用于在各种看不见的域上进行推广。然而,它们忽略了单个源域的区分特性和未知域的多样的域特定信息,并且训练的模型不足以适应各种未知域。为了解决这个问题,我们提出了一个自适应混合专家模型学习(AMEL)框架,它利用特定领域的信息,自适应地建立之间的链接看到的源域和看不见的目标域,以进一步提高泛化。具体地说,特定领域专家(DSE)的目的是研究区分性和独特的特定领域的功能,作为一个补充,共同的领域不变的功能。此外,动态专家聚合(DEA)提出了自适应聚合的互补信息的基础上的领域的相关性未知的目标领域的每个源专家。与元学习相结合,这些模块协同工作,自适应地为各种看不见的目标领域聚合有意义的领域特定信息。大量的实验和可视化证明了我们的方法对最先进的竞争对手的有效性。
2022-07-20 cs.CV
CIFA: Contextual-Intersectional Fairness Auditing for Hidden Subgroup Discovery in Face Analysis
Aalborg University(奥尔堡大学);Pioneer Centre for AI(先锋人工智能中心);Ducaltus Ltd.(杜卡尔图斯有限公司);Milestone Systems(里程碑系统公司)
本文提出CIFA框架,用于识别人脸分析中人口统计与上下文属性交互导致的隐藏子群漏洞,经多数据集多模型评估发现现有公平性评估会掩盖交叉差异,且单一缓解策略无法持续消除此类差异。
2026-08-11 cs.CV
A View From Somewhere: Human-Centric Face Representations
Sony AI(索尼人工智能研究所);University of Tokyo(东京大学)
很少有数据集包含自我识别的敏感属性,推断属性可能会引入额外的偏见,收集属性可能会带来法律风险。此外,分类标签可能无法反映人类表型多样性的连续性,这使得难以比较相同标签的人脸之间的相似性。为了解决这些问题,我们提出了一个来自某处的视图(AVFS)-一个包含638,180个人脸相似性判断的数据集。我们证明了AVFS的效用,学习一个连续的,低维的嵌入空间与人类的感知。我们的嵌入空间,在一个新的条件框架下诱导,不仅能够准确预测人脸相似性,而且还提供了一个人类可解释的分解的维度中使用的人类决策过程中,和重要性不同的注释器放置在每个维度上。我们还展示了收集连续属性,进行分类和比较数据集属性差异的维度的实用性。
2023-03-30 cs.CV
Multi-view Face Detection Using Deep Convolutional Neural Networks
Yahoo(雅虎)
在本文中,我们考虑的问题,多视角人脸检测。虽然已经对此问题进行了大量研究,但当前用于此任务的最先进方法需要对面部标志进行注释,例如TSM [25]或对面部姿势进行注释[28,22]。它们还需要训练数十个模型来完全捕捉所有方向的人脸,例如HeadHunter方法中的22个模型[22]。在本文中,我们提出了深度密集人脸检测器(DDFD),一种不需要姿势/地标注释的方法,能够使用基于深度卷积神经网络的单个模型在广泛的方向上检测人脸。所提出的方法具有最小的复杂性;与其他最近的深度学习目标检测方法不同[9],它不需要额外的组件,如分割,边界框回归或SVM分类器。此外,我们分析了所提出的人脸检测器在不同方向上的人脸的得分,发现1)所提出的方法能够从不同角度检测人脸,并在一定程度上处理遮挡,2)在训练集中的正样本的差异与所提出的人脸检测器的得分之间似乎存在相关性。后者表明,所提出的方法的性能可以进一步提高,通过使用更好的采样策略和更复杂的数据增强技术。对流行的人脸检测基准数据集的评估表明,我们的单模型人脸检测器算法与以前的方法相比具有相似或更好的性能,这些方法更复杂,需要注释不同的姿势或面部标志。
2015-04-20 cs.CV
Face Alignment Across Large Poses: A 3D Solution
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Michigan State University(密歇根州立大学)
人脸对齐是将人脸模型与图像进行匹配,并提取人脸像素的语义信息的一个重要研究课题。然而,大多数算法都是针对小到中等姿态(低于45度)的人脸设计的,缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面:首先,通常使用的基于地标的人脸模型假设所有地标都是可见的,因此不适合轮廓视图。其次,面部外观在大的姿势中变化更大,从正面视图到侧面视图。第三,标记大姿势中的地标是非常具有挑战性的,因为不可见的地标必须被猜测。在本文中,我们提出了一个新的对齐框架,称为3D密集人脸对齐(3DDFA),其中一个密集的3D人脸模型拟合图像通过卷积神经网络(CNN)中的三个问题的解决方案。我们还提出了一种方法来合成大规模的训练样本的轮廓视图,以解决第三个问题的数据标记。在具有挑战性的AFLW数据库上的实验表明,我们的方法比最先进的方法有了显着的改进。
2015-11-23 cs.CV
MVF-Net: Multi-View 3D Face Morphable Model Regression
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Shanghai Jiao Tong University(上海交通大学);University of Electronic Science and Technology of China(电子科技大学)
我们解决的问题,从一组面部图像在多个视图中恢复的三维几何形状的人脸。虽然最近的研究已经显示出令人印象深刻的进展,在3D变形模型(3DMM)为基础的面部重建,设置大多限于一个单一的视图。在单视图设置中有一个固有的缺点:缺乏可靠的3D约束可能导致无法解决的模糊性。在本文中,我们探讨了基于3DMM的形状恢复在不同的设置,其中一组多视图的面部图像作为输入。提出了一种利用端到端可训练卷积神经网络(CNN)从多视图输入中回归3DMM参数的新方法。多视图的几何约束被纳入到网络中,通过建立不同的视图之间的密集对应关系,利用一种新的自监督视图对齐损失。视图对准损失的主要成分是可微分的密集光流估计器,其可以反向传播输入视图与来自另一输入视图的合成渲染之间的对准误差,该合成渲染通过要推断的3D形状被投影到目标视图。通过最小化视图对准损失,可以恢复更好的3D形状,使得从一个视图到另一个视图的合成投影可以更好地与观察到的图像对准。大量的实验表明,该方法优于其他3DMM方法。
2019-04-09 cs.CV
Deep Convolutional Neural Network Features and the Original Image
The University of Texas at Dallas(得克萨斯大学达拉斯分校);University of Maryland(马里兰大学)
基于深度卷积神经网络(DCNN)的人脸识别算法在无约束观看条件下识别人脸的任务上取得了进展。这些网络通过学习大量人脸图像获得的紧凑的基于特征的人脸表示进行操作。虽然DCNN产生的学习特征对视点、照明和外观的变化具有高度鲁棒性,但人们对这种网络顶层出现的人脸代码的性质知之甚少。我们分析了两种人脸识别算法产生的DCNN特征。在第一组实验中,我们使用DCNN的顶级特征作为线性分类器的输入,旨在预测图像的元数据。结果表明,DCNN特征包含了关于人脸的偏航和俯仰以及人脸是来自静态图像还是视频帧的准确信息。在第二组实验中,我们测量了单个DCNN特征以视图相关或视图不变方式操作的程度。我们发现,依赖于视图的编码是身份的一个特征,而不是DCNN的特征--一些身份以依赖于视图的方式编码,而另一些身份以独立于视图的方式编码。在我们的第三次分析中,我们可视化了500个身份的24,000多张图像的DCNN特征空间。空间中心的图像均为低质量(例如,极端视图、面部遮挡、低分辨率)。图像质量作为距原点的距离的函数单调增加。该结果表明,图像质量信息在DCNN特征中可用,使得一致的平均特征值反映可靠地指示差或不可用的图像的编码失败。结合起来,这些结果提供了对支持DCNN中人脸鲁棒表示的编码机制的深入了解。
2016-11-06 cs.CV
Single Image, Any Face: Generalisable 3D Face Generation
本文提出Gen3D-Face模型,通过单张无约束图像生成逼真的3D人脸,解决了现有方法在泛化能力上的不足,并在跨域和域内设置中均取得优异表现。
2026-03-09 cs.CV
Learning-by-Novel-View-Synthesis for Full-Face Appearance-Based 3D Gaze Estimation
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
尽管最近在基于外观的注视估计技术方面取得了进展,但对覆盖目标头部姿势和注视分布的训练数据的需求仍然是实际部署的关键挑战。本文提出了一种基于单目三维人脸重建的视线估计训练数据合成方法。与以前的作品使用多视图重建,照片逼真的CG模型,或生成神经网络,我们的方法可以操纵和扩展现有的训练数据的头部姿势范围,而没有任何额外的要求。我们引入了一个投影匹配过程,将重建的3D人脸网格与相机坐标系对齐,并合成具有准确凝视标签的人脸图像。我们还提出了一个面具引导的视线估计模型和数据增强策略,以进一步提高估计精度,利用合成训练数据。使用多个公共数据集的实验表明,我们的方法显着提高了具有挑战性的跨数据集设置与非重叠的凝视分布的估计性能。
2022-04-27 cs.CV
Facetwise Mesh Refinement for Multi-View Stereo
Politecnico di Milano(米兰理工大学)
网格细化是实现精确多视图立体视觉的基本步骤。它修改初始流形网格的几何形状,以最大限度地减少在一组相机对中引起的光度误差。该初始网格通常是基于德洛内三角剖分上的最小切割的体积3D重建的输出。这种方法会产生大量的非流形顶点,因此它们需要一个顶点分裂步骤来显式地修复它们。在本文中,我们扩展了这种方法,通过直接在德洛内三角剖分上进行推理来预先确定非流形顶点,并避免了大多数顶点分裂。本文的主要贡献解决了选择的细化过程中所采用的相机对的问题。我们把这个问题作为一个网格标记过程,其中每个标签对应于一个相机对。与使用每个相机对来细化网格的所有可见部分的最先进方法不同,我们为每个面选择最佳对,以实现整体可见性和覆盖范围。细化步骤仅使用选定的相机对应用于每个面。这种分面细化有助于以尽可能均匀的方式应用该过程。
2020-12-01 cs.CV
FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
Stony Brook University(石溪大学);Adobe Research(奥多比研究院)
提出了一种用于可控人像视频合成的神经渲染方法。体神经渲染的最新进展,如神经辐射场(NeRF),使照片级逼真的静态场景的新颖的视图合成与令人印象深刻的结果。然而,建模动态和可控的对象作为一个场景的一部分,这样的场景表示仍然是具有挑战性的。在这项工作中,我们设计了一个系统,使新的视图合成的人像视频,包括人类主体和场景背景,并通过低维的表达表示的面部表情的显式控制。我们利用3D变形人脸模型(3DMM)的表情空间来表示人类面部表情的分布,并使用它来调节NeRF体积函数。此外,我们施加了一个空间先验带来的3DMM拟合,以指导网络学习解纠缠控制的场景外观和面部动作。我们证明了我们的方法的有效性,自由视图合成的人像视频与表情控制。为了训练场景,我们的方法仅需要由移动终端捕获的主体的短视频。
2021-08-10 cs.CV
The `Face on Mars': a photographic approach for the search of signs of past civilizations from a macroscopic point of view, factoring long-term erosion in image reconstruction
这篇短文提出了一种不同来源的高分辨率成像的观点,目的是发现具有考古重要性的潜在遗址,或表现出“异常”的遗址,以便它们可能值得更仔细的检查和分析。它被证明,并在一定程度上证明,先进的文明有可能将自然过程的侵蚀因素纳入大规模的设计中,以便即使经过数百万年的时间,也能保留主要特征。换个角度来看,即使没有这样的意图嵌入一个留给后代的设计中,一个巨大的建筑也可能自然地以这样一种方式衰变,即使是灾难性的(大规模的)事件也可能随着时间的推移留下足够的信息,只要人们将视角从高分辨率图像转换为有关网站的增强模糊渲染。
2006-01-24 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR(新加坡科研局信息通信研究院)
本文提出PEVA-Net,利用CLIP和提示增强视图聚合,同时解决零样本与少样本多视图三维形状识别,并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Federated Generalized Face Presentation Attack Detection
Hong Kong Baptist University(香港浸会大学);AWS AI Labs(AWS人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
人脸呈现攻击检测在现代人脸识别流程中起着至关重要的作用。用不同输入分布的人脸图像和不同类型的欺骗攻击训练人脸呈现攻击检测模型,可以得到具有良好泛化能力的人脸呈现攻击检测模型。实际上,由于法律和隐私问题,训练数据(真实面部图像和欺骗图像两者)不直接在数据所有者之间共享。在本文中,为了规避这一挑战,我们提出了一个联合人脸呈现攻击检测(FedPAD)框架,该框架同时利用了不同数据所有者提供的丰富fPAD信息,同时保护了数据隐私。在所提出的框架中,每个数据中心在本地训练自己的fPAD模型。服务器通过迭代聚合来自所有数据中心的模型更新来学习全局fPAD模型,而无需访问每个数据中心中的私有数据。为了使服务器端的聚合fPAD模型对来自用户的不可见攻击具有更好的泛化能力,在FedPAD的基本思想基础上,进一步提出了一种联邦广义人脸呈现攻击检测(FedGPAD)框架。FedGPAD中引入了一种联邦域解纠缠策略,该策略将每个数据中心视为一个域,并将fPAD模型分解为每个数据中心中的域不变部分和域特定部分。两个部分分别从每个本地数据中心的图像中分离出域不变特征和域特定特征。服务器通过仅聚合来自数据中心的fPAD模型的域不变部分来学习全局fPAD模型,并且因此可以在服务器中聚合更通用的fPAD模型。我们引入实验设置来评估所提出的FedPAD和FedGPAD框架,并进行广泛的实验,以提供有关fPAD的联邦学…
2022-05-01 cs.CV
A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
受3DMM低维表征能力的限制,基于3DMM的人脸重建方法大多无法恢复人脸的高频细节,如皱纹、酒窝等,有些人试图通过引入细节图或非线性运算来解决这一问题,但结果仍然不够逼真。为此,我们在本文中提出了一种新的分层表示网络(HRN),以实现准确和详细的人脸重建从一个单一的图像。具体来说,我们实现了几何解纠缠,并引入层次表示来实现详细的人脸建模。同时,三维先验的面部细节被纳入,以提高重建结果的准确性和真实性。我们还提出了一个去修饰模块,以实现更好的解耦的几何和外观。值得注意的是,我们的框架可以扩展到一个多视图的方式,通过考虑细节的一致性,不同的意见。在两个单视图和两个多视图FR基准上的大量实验表明,该方法在重建精度和视觉效果方面都优于现有方法。最后,我们介绍了一个高质量的三维人脸数据集FaceHD-100,以推动高保真人脸重建的研究。该项目的主页是https://younglbw.github.io/HRN-homepage/。
2023-03-28 cs.CV
Beyond Viewpoint: Robust 3D Object Recognition under Arbitrary Views through Joint Multi-Part Representation
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院)
针对任意视角下三维物体识别因输入未对齐而性能下降的问题,提出基于部件表示的PANet,利用视角不变性和旋转鲁棒性,在基准上超越视图聚合基线及多数固定视角方法。
2024-07-17 cs.CV
A study on the use of Boundary Equilibrium GAN for Approximate Frontalization of Unconstrained Faces to aid in Surveillance
BITS Pilani - KK Birla Goa Campus(贝拉理工学院皮拉尼分校 KK·比拉果阿校区)
人脸正面化是合成给定角度姿态的人脸正面视图的过程。我们实现了一个生成对抗网络(GAN)与球面线性插值(Slerp)的无约束的面部图像的正面化。我们特别关注的是从监控摄像机捕获的侧面构成的图像的近似正面的生成。具体而言,目前的工作是一个全面的研究,实现了一个自动编码器为基础的边界平衡GAN(BEGAN)生成正面使用的侧视图面和镜像视图的插值。为了提高插值输出的质量,我们使用Slerp实现了BEGAN。这种方法可以产生有希望的输出,以及更快,更稳定的模型训练。BEGAN模型还具有平衡的发生器-消隐器组合,该组合防止模式坍塌以及全局收敛测量。预计这种近似的人脸生成模型将能够取代用于监视和犯罪检测的人脸合成。
2018-09-14 cs.CV
High-Fidelity Eye Animatable Neural Radiance Fields for Human Face
本文提出动态眼部感知NeRF(DeNeRF),通过拟合FLAME模型并设计眼部形变场将多视角3D点变换至规范空间,实现了高保真且眼球旋转准确的人脸渲染,并有效提升了注视估计性能。
2023-09-12 cs.CV
LoomNet: Enhancing Multi-View Image Generation via Latent Space Weaving
University of Pisa(比萨大学);CNR-ISTI(意大利国家研究委员会-ISTI研究所)
LoomNet通过并行扩散模型构建共享潜在空间,在15秒内生成16个一致多视图,提升图像质量与重建性能。
2025-07-07 cs.CV
SFDM: Robust Decomposition of Geometry and Reflectance for Realistic Face Rendering from Sparse-view Images
Nanyang Technological University(南洋理工大学);Dalian University of Technology(大连理工大学);SenseTime Research(商汤科技研究院)
提出两阶段SFDM,先构建通用面部模板,再结合几何-反射率交互与次表面散射细化个体模型,实现三张稀疏视图图像下的高质量人脸分解与真实感渲染。
2025-03-15 cs.CV
Consistent Mesh Colors for Multi-View Reconstructed 3D Scenes
Istituto Italiano di Tecnologia (IIT)(意大利理工学院)
我们解决的问题,创建一致的网格纹理地图捕获的场景没有颜色校准。我们发现,聚合的多个视图的方法是至关重要的创建空间一致的网格,而不需要明确优化空间一致性。我们从可观察到的视图面部和每个视图的面部的互相关计算颜色先验,以识别最佳的每个面部颜色。然后,我们使用这种颜色的最佳视图纹理,这是由先前的网格纹理工作确定的重新加权比率,以创建一个空间一致的纹理映射。尽管我们的方法没有明确地处理空间一致性,我们的结果表明,定性更一致的结果比其他国家的最先进的技术,同时计算效率更高。我们对先前的数据集进行了评估,并对Matterport3D进行了定性改进。
2021-01-26 cs.CV
You Only Need One Stage: Novel-View Synthesis From A Single Blind Face Image
本文提出一种单阶段方法NVB-Face,通过直接提取盲脸图像特征并利用扩散模型生成高质量一致的新视角人脸图像。
2026-03-01 cs.AI cs.CV
Face Detection, Bounding Box Aggregation and Pose Estimation for Robust Facial Landmark Localisation in the Wild
University of Surrey(萨里大学);Jiangnan University(江南大学)
我们提出了一个框架,强大的人脸检测和地标定位的脸在野外,这已被评估为“第二届面部地标定位比赛”的一部分。该框架有四个阶段:人脸检测,限界框聚合,姿态估计和地标定位。为了实现高检测率,我们使用了两个公开的基于CNN的人脸检测器和两个专有检测器。我们聚合每个输入图像的检测到的人脸边界框,以减少误报,提高人脸检测的准确性。级联形状回归,训练使用各种姿态变化的脸,然后用于姿态估计和图像预处理。最后,我们训练最终的级联形状回归细粒度的地标定位,使用大量的训练样本有限的姿态变化。在300W和Menpo基准测试上获得的实验结果表明,我们的框架优于最先进的方法。
2017-06-01 cs.CV
Novel View Synthesis for High-fidelity Headshot Scenes
National University of Singapore(新加坡国立大学)
从任意视点绘制具有高质量人脸的场景对于许多现实世界应用来说是一种实用且有用的技术。最近,神经辐射场(NeRF),一种使用神经网络来近似经典光线追踪的渲染技术,已被认为是用于从稀疏图像集合合成新颖视图的有前途的方法之一。我们发现NeRF可以渲染新的视图,同时保持几何一致性,但它不能正确地保持皮肤细节,如痣和毛孔。这些细节对于人脸来说尤其重要,因为当我们看一张人脸的图像时,我们对细节比看其他物体时要敏感得多。另一方面,基于传统网格和纹理的3D可感知模型(3DMM)可以在皮肤细节方面表现良好,尽管它具有较低的精确几何形状,并且不能用背景覆盖头部和整个场景。基于这些观察,我们提出了一种方法,使用NeRF和3DMM合成一个高保真的新的视图的场景与脸。我们的方法学习生成对抗网络(GAN)来混合NeRF合成图像和3DMM渲染图像,并生成具有保留皮肤细节的面部的照片级真实感场景。各种真实场景的实验证明了我们的方法的有效性。该代码将在https://github.com/showlab/headshot上提供。
2022-05-31 cs.CV
3D Holistic OR Anonymization
Technical University Munich(慕尼黑工业大学)
本文提出利用3D空间人脸定位与跨视角重投影替换的手术室多视角RGB-D视频匿名化方法,并构建真实手术数据集,实验表明其定位与人脸真实性优于现有方法。
2024-03-18 cs.CV
Deep Face Feature for Face Alignment
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学)
在本文中,我们提出了一种基于深度学习的图像特征提取方法,专门针对人脸图像设计。为了训练特征提取模型,我们构建了一个大规模的照片级真实感人脸图像数据集,该数据集具有多视角人脸图像之间的真实对应关系,这些图像是通过逆绘制过程从真实照片合成的。使用从不同视图渲染的面部图像之间的对应关系来训练深度面部特征(DFF)。使用经过训练的DFF模型,我们可以为人脸图像的每个像素提取一个特征向量,该特征向量可以区分不同的面部区域,并且在匹配和对齐等面部相关任务中比通用特征描述符更有效。基于DFF,我们开发了一种鲁棒的人脸对齐方法,该方法迭代更新地标,姿态和3D形状。大量的实验表明,我们的方法可以实现国家的最先进的结果,在高度无约束的人脸图像的人脸对齐。
2018-03-12 cs.CV
Video Face Recognition: Component-wise Feature Aggregation Network (C-FAN)
Michigan State University(密歇根州立大学)
提出了一种新的视频人脸识别方法。我们的组件式特征聚合网络(C-FAN)接受一组人脸图像作为输入,并输出一个单一的特征向量作为识别任务的人脸表示。整个网络分两步训练:(i)训练一个用于静态图像人脸识别的基本CNN;(ii)向基本网络添加一个聚合模块,以学习每个特征分量的质量值,该模块自适应地将深度特征向量聚合成单个向量,以表示视频中的人脸。C-FAN自动学习保留具有高质量分数的突出面部特征,同时抑制具有低质量分数的特征。在YouTube Faces、IJB-A和IJB-S三个基准数据集上的实验结果表明,所提出的C-FAN网络能够通过有效地聚合所有视频帧的特征向量来为视频序列生成具有512维的紧凑特征向量,以实现最先进的性能。
2019-07-02 cs.CV