Hybrid Score- and Rank-level Fusion for Person Identification using Face and ECG Data
University of Calgary(卡尔加里大学)
单模态识别系统容易受到传感器数据汇集中的错误的影响,因此更有可能错误识别主体。例如,仅依赖RGB人脸相机的数据可能会在光线不足的环境中或主体不面对相机时导致问题。其他识别方法(如心电图(ECG))存在导线与皮肤连接不正确的问题。通过融合从这两个模型中收集的信息,最大限度地减少了识别错误。本文提出了一种方法,结合面部和心电图数据的识别结果,使用BioVid热痛数据库的A部分,包含同步RGB视频和心电图数据87个主题。使用10倍交叉验证,人脸识别的准确率为98.8%,而ECG识别的准确率为96.1%。通过融合方法,识别准确率提高到99.8%。我们提出的方法允许识别精度显着提高使用不同的脸和心电图模型,具有非重叠的方式。
2020-08-07 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里,面部识别/识别已经有了显著的进步。然而,大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先,重要的面部形状线索被忽略了。第二,由于表情的面部变形可能会影响这种方法的性能。在本文中,我们提出了一个新的框架,动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图,这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别,使用时空图卷积网络(ST-GCN)。最后,我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Leveraging the Power of Gabor Phase for Face Identification: A Block Matching Approach
KTH, Royal Institute of Technology(瑞典皇家理工学院)
与人脸验证不同,人脸识别的要求要高得多。为了达到类似的性能,标识符需要比验证器好大约N倍。为了期待人脸识别的突破,我们需要重新审视人脸识别的基本组成部分。在本文中,我们专注于选择一个合适的信号表示和更好的匹配策略,人脸识别。我们演示了如何利用Gabor相位,以提高性能的人脸识别,通过使用块匹配方法。与现有的方法相比,该方法具有算法复杂度低得多的特点:人脸图像只需要一个单尺度的Gabor滤波器对进行滤波,并且在任意一对人脸图像之间进行匹配,而不需要任何训练过程。基准评估表明,所提出的方法是完全可比的,甚至比国家的最先进的算法,这是典型的基于更多的功能提取的一个大的Gabor人脸集和/或依赖于繁重的训练过程。
2015-06-15 cs.CV
Privacy-Protective-GAN for Face De-identification
Temple University(天普大学)
随着图像源的爆炸性增长和易于访问,人脸去识别变得越来越重要。新的人脸识别技术的发展也引起了人们对隐私泄露的关注。主流的人脸去识别流程大多基于k-same框架,存在效率低、视觉效果差等缺点。在本文中,我们提出了一个新的框架,称为隐私保护GAN(PP-GAN),适应GAN与新的验证器和调节器模块专门设计的人脸去识别问题,以确保根据一个单一的输入生成去识别的输出与保留的结构相似性。我们评估所提出的方法在隐私保护,效用保存,和结构相似性。我们的方法不仅优于现有的人脸去识别技术,但也提供了一个实用的框架,适应GAN与领域知识的先验。
2018-06-23 cs.CV
A Deep Face Identification Network Enhanced by Facial Attributes Prediction
West Virginia University(西弗吉尼亚大学)
在本文中,我们提出了一个新的深度框架,预测面部属性,并利用它作为一个软模态,以提高人脸识别性能。我们的模型是一个端到端的框架,它由一个卷积神经网络(CNN)组成,其输出被分成两个独立的分支;第一个分支预测面部属性,而第二个分支识别面部图像。与现有的多任务方法只使用共享的CNN特征空间来联合训练这两个任务相反,我们将预测属性与来自人脸模态的特征相融合,以提高人脸识别性能。实验结果表明,我们的模型带来的好处,人脸识别以及面部属性的预测性能,特别是在身份的面部属性,如性别预测的情况下。我们在两个由身份和面部属性注释的标准数据集上测试了我们的模型。实验结果表明,该模型优于目前大多数现有的人脸识别和属性预测方法。
2018-04-20 cs.CV
Hierarchical Salient Patch Identification for Interpretable Fundus Disease Localization
School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);Shanghai Eye Disease Prevention and Treatment Center(上海眼病防治中心);School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院)
本文提出分层显著图像块识别(HSPI)方法,在仅用图像级标签和神经网络分类器的弱监督条件下,通过显著图像块识别、分层识别、条件峰值聚焦和多尺寸交集筛选,实现更准确完整的可解释眼底疾病定位。
2025-01-03 cs.CV
Rethinking Vision-Language Model in Face Forensics: Multi-Modal Interpretable Forged Face Detector
Michigan State University(密歇根州立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出M2F2-Det,一种结合CLIP和LLM的多模态深度伪造检测器,可同时输出检测结果和文本解释,在检测与解释任务上达到最先进性能。
2025-03-26 cs.CV
Additional Baseline Metrics for the paper "Extended YouTube Faces: a Dataset for Heterogeneous Open-Set Face Identification"
Media Integration and Communication Center (MICC)(媒体整合与传播中心(MICC));University of Florence(佛罗伦萨大学)
在本报告中,我们为论文“扩展的YouTube面孔:异质开放集人脸识别数据集”提供了额外的和更正的结果。经过进一步调查,我们发现并纠正了错误标记的图像和不正确的身份。这迫使我们重新生成新数据的评估协议;在此过程中,我们还使用文献中使用的其他标准度量和措施复制和扩展了实验结果。读者可以参考原始论文,了解有关数据汇集过程和识别管道的其他详细信息。
2019-02-11 cs.CV
Deep Learning Face Representation by Joint Identification-Verification
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
人脸识别的关键挑战是开发有效的特征表示,以减少个人内部的差异,同时扩大人与人之间的差异。在本文中,我们表明,它可以很好地解决深度学习和使用人脸识别和验证信号作为监督。深度识别验证功能(DeepID 2)是通过精心设计的深度卷积网络学习的。人脸识别任务通过将从不同身份提取的DeepID 2分开来增加人与人之间的差异,而人脸验证任务通过将从同一身份提取的DeepID 2拉在一起来减少人与人之间的差异,这两者对于人脸识别都是必不可少的。学习的DeepID 2特征可以很好地推广到训练数据中看不到的新身份。在具有挑战性的LFW数据集上,实现了99.15%的人脸验证准确率。与LFW上最好的深度学习结果相比,出错率大幅降低了67%。
2014-06-18 cs.CV
Self-supervised Geometric Features Discovery via Interpretable Attention for Vehicle Re-Identification and Beyond
Worcester Polytechnic Institute(伍斯特理工学院)
为了学习可区分的模式,最近的大多数车辆重新识别(ReID)工作都在努力重新开发官方基准以提供各种监督,这需要大量的人力。在本文中,我们寻求实现类似的目标,但不涉及更多的人力。为此,我们引入了一个新的框架,它成功地编码几何局部特征和全局表示来区分车辆实例,仅通过官方ID标签的监督进行优化。具体来说,鉴于我们的洞察力,ReID中的对象共享相似的几何特征,我们建议借用自监督表示学习,以促进几何特征发现。为了浓缩这些特征,我们引入了一个可解释的注意力模块,其核心是局部最大值聚合而不是全自动学习,其机制是完全可以理解的,其响应图是物理上合理的。据我们所知,我们是第一个执行自监督学习来发现几何特征的人。我们对三个最流行的车辆ReID数据集进行了全面的实验,即,VeRi-776、CityFlow-ReID和VehicleID。我们报告我们的国家的最先进的(SOTA)的性能和有前途的可视化结果。我们还展示了我们的方法在其他ReID相关任务上的出色可扩展性,即,个人ReID和多目标多摄像头(MTMC)车辆跟踪。
2023-01-06 cs.CV
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法,通过异构人脸翻译网络生成多模态人脸对并融合排序,有效利用模态互补性,提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning
Yonsei University(延世大学)
在本文中,我们专注于解决开集人脸识别问题的Few-Shot画廊微调。该问题假设了一个现实的情况下,人脸识别,只有少量的人脸图像是为了注册和任何未知的身份必须在识别过程中被拒绝。我们观察到,在大型数据集上预训练的人脸识别模型和天真的微调模型在这项任务中表现不佳。出于这个问题,我们提出了一个有效的微调方案与分类器的权重印记和独家BatchNorm层调整。为了进一步提高拒绝未知身份的准确性,我们提出了一种新的匹配称为邻域余弦(NAC),计算相似性的基础上的邻域信息。我们验证了所提出的方案的有效性,彻底的大规模人脸基准在不同的卷积神经网络架构。该项目的源代码可在以下网址获得:https://github.com/1ho0jin1/OSFI-by-FineTuning
2023-01-05 cs.CV
A Fast and Accurate System for Face Detection, Identification, and Verification
University of Maryland, College Park(马里兰大学帕克分校)
大型注释数据集的可用性和负担得起的计算能力使得CNN在各种目标检测和识别基准上的性能得到了令人印象深刻的改善。这些,以及对深度学习方法的更好理解,也提高了机器对人脸的理解能力。CNN能够检测面部,定位面部标志,估计姿势,并在不受约束的图像和视频中识别面部。在本文中,我们描述了用于无约束人脸识别和验证的深度学习管道的细节,该管道在几个基准数据集上实现了最先进的性能。本文提出了一种新的人脸检测器--深度金字塔Single Shot人脸检测器(DPSSD),它能够快速地检测具有大尺度变化的人脸(尤其是微小人脸)。我们给出了自动人脸识别中所涉及的各个模块的设计细节:人脸检测,地标定位和对齐,以及人脸识别/验证。我们提供了具有挑战性的无约束人脸检测数据集上的人脸检测器的评估结果。然后,我们给出了IARPA Janus基准A,B和C(IJB-A,IJB-B,IJB-C)以及Janus挑战集5(CS5)的实验结果。
2018-09-20 cs.CV
Watch Out for the Confusing Faces: Detecting Face Swapping with the Probability Distribution of Face Identification Models
Zhejiang University(浙江大学);Georgia Institute of Technology(佐治亚理工学院)
最近,人脸交换发展迅速,并取得了令人惊讶的现实,引发了对虚假内容的担忧。作为对策,已经提出了各种检测方法,并取得了良好的性能。然而,大多数现有的检测器都很难在看不见的人脸交换方法和低质量图像上保持性能。除了泛化问题,目前的检测方法已被证明容易受到规避攻击的检测感知操纵。在敌对场景下缺乏鲁棒性给人脸交换检测在现实世界中的应用带来了威胁。在本文中,我们提出了一种新的人脸交换检测方法的基础上,人脸识别概率分布,创造了IdP_FSD,以提高泛化能力和鲁棒性。IdP_FSD是专门为检测身份属于有限集合的交换面孔而设计的,这在现实世界的应用中是有意义的。与以往的一般检测方法相比,我们利用现有的真实人脸与有关的身份和不需要假样本的训练。IdP_FSD利用面孔交换的共同性质,即交换面孔的身份组合了交换中涉及的两个面孔的身份。我们用人脸识别模型的混淆度来反映这种性质,并用输出概率分布的最大值来度量混淆度。更重要的是,为了在敌对场景下保护我们的检测器,提出了一种基于注意力的微调方案用于IdP_FSD中使用的人脸识别模型。大量的实验表明,所提出的IdP_FSD不仅实现了不同的基准数据集和图像质量的高检测性能,但也提高了酒吧的机械手逃避检测。
2023-03-23 cs.CV
Self-supervised Geometric Features Discovery via Interpretable Attentio for Vehicle Re-Identification and Beyond (Complete Version)
Worcester Polytechnic Institute(伍斯特理工学院)
为了学习可区分的模式,最近的大多数车辆重新识别(ReID)工作都在努力重新开发官方基准以提供各种监督,这需要大量的人力。在本文中,我们寻求实现类似的目标,但不涉及更多的人力。为此,我们引入了一个新的框架,它成功地编码几何局部特征和全局表示来区分车辆实例,仅通过官方ID标签的监督进行优化。具体来说,鉴于我们的洞察力,ReID中的对象共享相似的几何特征,我们建议借用自监督表示学习,以促进几何特征发现。为了浓缩这些特征,我们引入了一个可解释的注意力模块,其核心是局部最大值聚合而不是全自动学习,其机制是完全可以理解的,其响应图是物理上合理的。据我们所知,我们是第一个执行自监督学习来发现几何特征的人。我们对三个最流行的车辆ReID数据集进行了全面的实验,即,VeRi-776、CityFlow-ReID和VehicleID。我们报告我们的国家的最先进的(SOTA)的性能和有前途的可视化结果。我们还展示了我们的方法在其他ReID相关任务上的出色可扩展性,即,个人ReID和多目标多摄像头(MTMC)车辆跟踪。该代码可在https://github.com/ ming 1993 li/Self-supervised-Geometric上获得。
2023-02-05 cs.CV
IFAST: Weakly Supervised Interpretable Face Anti-spoofing from Single-shot Binocular NIR Images
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);The Chinese University of Hong Kong(香港中文大学)
针对单帧人脸防伪依赖上下文、标注昂贵且缺乏可解释性的问题,本文构建BNI-FAS双目近红外数据集,并提出弱监督IFAST,通过DMA视差估计、置信度图和双教师蒸馏实现可解释的最先进防伪性能。
2023-09-29 cs.CV
SPOT-Face: Forensic Face Identification using Attention Guided Optimal Transport
Vision Intelligence and Machine Learning (VIML) Group(视觉智能与机器学习组);School of Computing and Electrical Engineering (SCEE)(计算与电气工程学院);Indian Institute of Technology Mandi (IIT Mandi)(印度理工学院曼迪分校)
SPOT-Face通过注意力引导最优传输机制,实现跨域法医面部识别,提升骨骼和草图与面部的匹配效果。
2026-01-14 cs.CV
Deep 3D Face Identification
我们提出了一种新的三维人脸识别算法,使用深度卷积神经网络(DCNN)和三维增强技术。通过利用深度神经网络的表征能力和使用大规模标记的训练数据,2D人脸识别算法的性能显著提高。与2D人脸识别相反,由于缺乏大规模的3D人脸数据集,训练用于3D人脸识别的区分性深度特征非常困难。在本文中,我们表明,从2D人脸图像上训练的CNN的迁移学习可以通过使用相对较少的3D人脸扫描来微调CNN,从而有效地进行3D人脸识别。我们还提出了一种3D人脸增强技术,该技术从单个3D人脸扫描中合成了许多不同的面部表情。我们提出的方法在博斯普鲁斯海峡,BU-3DFE和3D-TEC数据集上显示出出色的识别结果,而无需使用手工制作的功能。使用我们的深度特征的3D识别也可以很好地扩展到大型数据库。
2017-03-30 cs.CV
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University(武汉大学);Peking University(北京大学)
在过去的几年里,电子漫画(电子日本式漫画)有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据,我们提出了一个新的课题,称为无监督漫画人物再识别。然而,漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发,我们提出了一种面体时空关联聚类方法(FSAC)。在面体组合模块中,利用图像的完整性,构建面体图,解决艺术创作中的夸张、变形等问题。在时空关系校正模块中,我们分析了字符的外观特征,并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
Interpretable and Generalizable Person Re-Identification with Query-Adaptive Convolution and Temporal Lifting
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence (IIAI)(启程人工智能研究院)
对于人的重新识别,现有的深度网络通常专注于表示学习。然而,在没有迁移学习的情况下,所学习的模型是固定的,这不适于处理各种看不见的场景。在本文中,除了表示学习之外,我们考虑如何在深度特征映射中直接制定人物图像匹配。我们将图像匹配视为在特征映射中寻找局部对应,并动态构造查询自适应卷积核来实现局部匹配。以这种方式,匹配过程和结果是可解释的,并且这种显式匹配比表示特征更可推广到看不见的场景,例如未知的未对准、姿势或视点变化。为了方便这种架构的端到端训练,我们进一步构建了一个类内存模块来缓存每个类的最新样本的特征图,以便计算度量学习的图像匹配损失。通过直接的跨数据集评估,所提出的查询自适应卷积(QAConv)方法获得了比流行的学习方法(约10%+ mAP)的大幅度改进,并取得了与许多迁移学习方法相当的结果。此外,本文还提出了一种无模型的基于时间共现的分数加权方法TLift,进一步提高了算法的性能,在跨数据集的人物再识别中取得了较好的效果。代码可在https://github.com/ShengcaiLiao/QAConv上获得。
2020-07-20 cs.CV
Face Identification using Local Ternary Tree Pattern based Spatial Structural Components
Asansol Engineering College(阿散索尔工程学院);National Institute of Technology Durgapur(杜尔加普尔国家理工学院);University of Sassari(萨萨里大学)
本文提出了一种基于局部三元树模式(LTTP)的人脸识别系统。从人脸图像中挖掘和提取不同的局部描述符在人脸识别任务中起着至关重要的作用,在各种各样的人脸图像,包括约束,无约束和整形手术图像。LTTP已被用来提取强大的和有用的空间特征,用于描述的各种结构组件的脸。为了提取特征,在每个块中为每个像素与其八个相邻像素形成三元树。LTTP模式可以以四种形式生成,诸如LTTP左深度(LTTP LD)、LTTP左宽度(LTTP LB)、LTTP右深度(LTTP RD)和LTTP右宽度(LTTP RB)。这些模式的编码方案在计算复杂度和时间复杂度方面非常简单和有效。建议的人脸识别系统进行了测试,在六个人脸数据库,即UMIST,JAFFE,扩展耶鲁面临B,整形外科,LFW和UFI。实验评估表明,考虑到在不同环境下捕获的各种人脸,最有前途的结果。所提出的基于LTTP的系统也比较了一些本地描述符在相同的条件下。
2020-07-16 cs.CV
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge(剑桥大学);Indian Institute of Science(印度科学理工学院)
伪装人脸识别(DFI)是一个极具挑战性的问题,因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架,首先检测14个面部关键点,然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集,因此引入了两个带注释的面部关键点数据集。针对每个关键点,提出了面部关键点检测框架的有效性。通过与其他深度网络的比较,也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较,验证了该方法的有效性。
2017-08-30 cs.CV
Improved Eigenfeature Regularization for Face Identification
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
在这项工作中,我们建议使用空间划分树将每个类(一个人)划分为子类,这有助于更好地捕捉同一个人的外观所产生的个人内部差异。本文对人脸图像的类内和子类内特征谱进行了全面的分析,提出了一种新的特征谱建模方法,该方法从子类内和子类间散布矩阵中提取人脸的鉴别特征。在整个特征空间中进行鉴别评价后,提取有效的低维人脸鉴别特征用于人脸识别。在流行的人脸数据库(AR,FERET)和具有挑战性的无约束YouTube人脸数据库上的实验结果表明,我们提出的方法在所有三个数据库上的优越性。
2016-02-10 cs.CV
Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models
Baidu Inc(百度公司);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
提出I-FAS框架,将人脸反欺骗转化为可解释VQA任务,通过SCF策略、L-LM损失和GAC连接器增强泛化,在12个数据集上显著超越现有方法。
2025-01-24 cs.CV
Template Adaptation for Face Verification and Identification
Systems & Technology Research (STR)(系统与技术研究公司(STR));Visionary Systems and Research (VSR)(远景系统与研究公司(VSR));University of Oxford(牛津大学)
人脸识别性能评估传统上集中在一对一的验证上,通过用于图像的Wild数据集中的Labeled Faces和用于视频的YouTubeFaces数据集推广。相比之下,新发布的IJB-A人脸识别数据集将一对多人脸识别的评估与模板上的一对一人脸验证或图像和视频集统一起来。在本文中,我们研究的问题,模板适应,一种形式的迁移学习的媒体集的模板。对IJB-A的广泛性能评估显示了一个令人惊讶的结果,即也许是最简单的模板自适应方法,将深度卷积网络特征与模板特定的线性SVM相结合,远远优于最先进的方法。我们研究了模板大小、负集构造和分类器融合对性能的影响,然后将模板自适应与具有度量学习、2D和3D对齐的卷积网络进行比较。我们意外的结论是,当与模板自适应相结合时,这些其他方法在基于模板的人脸验证和识别的IJB-A上都实现了几乎相同的最高性能。
2016-04-06 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院);Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性,个人身份信息的安全和隐私成为前所未有的挑战。与此同时,先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此,重要的是要使用人脸图像,同时仔细考虑保护人们的身份。给定一张人脸图像,人脸去识别,也称为人脸匿名化,是指生成另一张具有相似外观和相同背景的图像,而真实身份被隐藏。虽然已经做出了广泛的努力,但现有的人脸去识别技术要么在照片真实性方面不足,要么无法很好地平衡隐私和实用性。在本文中,我们专注于解决这些挑战,以提高人脸去识别。我们提出了IdentityDP,这是一个将数据驱动的深度神经网络与差分隐私(DP)机制相结合的人脸匿名化框架。该框架包括三个阶段:面部表征解纠缠,$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息,保持显着的视觉相似性,并生成高质量的图像,可用于身份不可知的计算机视觉任务,如检测,跟踪等,与以往的方法不同,我们可以调整隐私和实用性的平衡,通过隐私预算根据实际需求,并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
Watchlist Challenge: 3rd Open-set Face Detection and Identification
University of Zurich(苏黎世大学);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Paraná(巴拉那联邦大学);Federal Police of Brazil(巴西联邦警察);DERMALOG Identification Systems GmbH(德马逻格识别系统有限公司)
针对真实监控非受控场景人脸检测与开集识别需求,第三届Watchlist Challenge采用增强UCCS数据集和新协议评估参赛算法,发现检测能力整体稳健,闭集性能差异大、大模型预训练模型更优,开集场景仍需提升。
2024-09-11 cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology(SRM科学技术学院);Instituto Superior Técnico, Univ. of Lisbon(里斯本大学高等技术学院)
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而,在实际情况下,经典的融合技术对个人用户和外部环境的变化响应不佳。为此,我们提出了一种新的自适应多生物特征融合策略,通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素,如视点和距离相机,在这项研究中进行了调查。大量的实验表明,与现有模型相比,该模型具有更好的性能。
2023-03-24 cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络,从多序列或多视角人脸图像实现人脸超分辨率,其统一的身份表示可提升行人重识别性能,效果优于现有方法。
2026-07-31 cs.CV
Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification
Center for Artificial Intelligence (CAI), King Khalid University(哈立德国王大学人工智能中心);College of Science and Arts, King Khalid University(哈立德国王大学文理学院);College of Computer Science, King Khalid University(哈立德国王大学计算机科学学院)
最近一段时间的大流行带来了人的识别,即使与闭塞的面部图像非常重要的口罩使用数量的增加。本文的目的是识别人脸图像中的四种类型之一的遮挡。对各种迁移学习方法进行了测试,结果表明,具有门控递归单元(GRU)的MobileNet V2的性能优于任何其他迁移学习方法,在有或无遮挡的图像分类中具有99%的完美准确率,如果有遮挡,则是遮挡类型。并行地,完成从设备捕获的图像识别感兴趣区域。该提取的感兴趣区域用于面部识别。这样的人脸识别过程是使用ResNet模型及其Caffe实现完成的。为了减少执行时间,在识别出人脸遮挡类型之后,在注册数据库中搜索该人以确认其人脸图像。从两个同时的过程中获得的人的面部标签进行了验证,以获得其匹配分数。如果匹配分数高于90,则将识别出的人的标签与他们的姓名、面具类型、日期和识别时间一起记录到文件中。MobileNetV2是一个轻量级框架,也可用于嵌入式或物联网设备中,使用CCTV镜头在可疑的调查区域执行实时的检测和识别。当MobileNetV2与GRU相结合时,获得了可靠的精度。论文中提供的数据属于两类,要么从Google Images收集,用于遮挡分类,人脸识别和面部标志,要么在实地调查中收集。这项研究背后的动机是识别和记录个人的详细信息,可以服务于社会为基础的电子政务的监视活动。
2022-05-15 cs.CV
Neural Face Identification in a 2D Wireframe Projection of a Manifold Object
University of California, Berkeley(加州大学伯克利分校);Manycore Tech Inc.(酷家乐科技有限公司)
在计算机辅助设计(CAD)系统中,2D线条图通常用于说明3D对象设计。为了重建由单个2D线条图描绘的3D模型,一个重要的关键是在线条图中找到与3D对象的实际面相对应的边缘环。在本文中,我们从一个新的数据驱动的角度来探讨人脸识别的经典问题。我们把它作为一个序列生成问题:从一个任意的边缘开始,我们采用流行的Transformer模型的一个变体,以自然的顺序预测与同一张脸相关联的边缘。这使我们能够避免像大多数现有方法那样使用各种手工制作的规则和算法搜索所有可能的边循环的空间,处理具有挑战性的情况,如曲面和嵌套边循环,并利用其他线索,如面类型。我们进一步讨论如何可能不完美的预测可以用于3D对象重建。
2022-03-08 cs.CV
A real-time and unsupervised face Re-Identification system for Human-Robot Interaction
Imperial College London(帝国理工学院)
在人机交互(HRI)的背景下,面部重新识别(面部重新ID)旨在验证某些检测到的面部是否已经被机器人观察到。区分不同用户的能力在社交机器人中至关重要,因为它将使机器人能够根据用户的个人偏好定制交互策略。人脸识别的研究已经取得了很大的成功,但在社会机器人中的实际应用却很少受到关注。在本文中,我们提出了一个有效的和无监督的人脸重新识别系统,同时重新识别多个人脸的HRI。该Re-ID系统采用深度卷积神经网络来提取特征,并采用在线聚类算法来确定人脸的ID。其性能在两个数据集上进行评估:TERESA机器人收集的TERESA视频数据集和YouTube人脸数据集(YTF数据集)。我们证明了优化的技术组合在TERESA数据集上实现了93.55%的总体准确率,在YTF数据集上实现了90.41%的总体准确率。我们已经实现了所提出的方法到一个软件模块中的HCI^2框架,它被进一步集成到TERESA机器人,并实现了实时的【形】性能在10~26帧/秒。
2022-03-24 cs.CV
An interpretable framework using foundation models for fish sex identification
University of California Davis(加州大学戴维斯分校)
基于基础模型的可解释框架用于濒危鱼类三角洲虾虎鱼的性别识别,通过原型网络提升鲁棒性与可解释性,实现高准确率识别。
2026-02-22 cs.AI cs.CV
InterPartAbility: Phrase-Region Grounding for Interpretable Text-to-Image Person Re-Identification
LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada(LIVIA系统工程系,蒙特利尔ÉTS学院,加拿大);Genetec Inc.(Genetec公司)
本文提出InterPartAbility,通过显式部分匹配和短语-区域绑定提升TI-ReID的可解释性,引入PPIM模块实现概念级指导,生成 grounded 解释图谱,实验表明在CUHK-PEDES等基准上达到SOTA可解释性性能。
2026-06-27 cs.CV
Group-level Emotion Recognition using Transfer Learning from Face Identification
National Research University Higher School of Economics(国立研究大学高等经济学院)
在本文中,我们描述了我们的算法方法,该方法用于提交第五届野生情绪识别(Emotion Recognition in the Wild,2017)组级情绪识别子挑战赛。我们使用经过人脸识别训练的卷积神经网络提取检测到的人脸的特征向量,而不是传统的情感识别问题的预训练。在最后的管道中,学习了随机森林分类器的集合,以使用可用的训练集来预测情感得分。在没有检测到人脸的情况下,我们的集合中的一个成员从整个图像中提取特征。在我们的实验研究中,所提出的方法显示出最低的出错率相比,其他探索的技术。特别是,我们在验证数据上实现了75.4%的准确率,比基于手工特征的基线高出20%。使用Keras框架的源代码是公开的。
2017-10-30 cs.CV
MGFace: Mask-Gated Face Matching via Conditional Similarity Routing
UIT
研究针对口罩遮挡下面部识别准确率下降问题,提出MGFace掩码门控面部识别管道,通过预测掩码状态有条件地路由相似性计算,区分不同情况处理,实验表明其能高效提升准确率,降低查询时间。
2026-07-16 cs.CV
PetFace: A Large-Scale Dataset and Benchmark for Animal Identification
Kyoto University(京都大学);The University of Tokyo(东京大学)
本文提出PetFace,一个包含257,484个个体、13个科和319个品种的大规模动物面部识别数据集及基准,支持已见个体重识别和未见个体验证,显著提升识别性能。
2024-08-20 cs.CV
PIC-Score: Probabilistic Interpretable Comparison Score for Optimal Matching Confidence in Single- and Multi-Biometric (Face) Recognition
INESC TEC(葡萄牙国家电气与计算机工程系统研究所);Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);Paderborn University(帕德博恩大学)
本文提出概率可解释比较分数 PIC,用于估计人脸匹配决策正确的概率,并支持多样本最优融合;在四个数据库和五个前沿人脸识别系统上验证了其概率解释准确性与多生物特征识别效果。
2023-04-21 cs.CV
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院);Université Laval(拉瓦尔大学)
尽管深度人脸识别(DFR)系统取得了重大进展,但在特定约束条件下引入新的DFR(如姿态变化)仍然是一个巨大的挑战。最特别地,由于人类头部的3D性质,当被投影到相机图像平面时,相同对象的面部外观引入了高的类内可变性。在本文中,我们提出了一种新的多视图深度人脸识别(MVDFR)系统来解决上述挑战。在这种情况下,每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中,该深度神经网络具有独特的设计,以在单个和更紧凑的面部描述符中重新表达面部特征,这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像,我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明,我们提出的方法产生了99.8%的准确率,而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学(IUST)的人脸数据库,其中包含504名受试者的6552张图像,以完成我们的实验。
2020-01-22 cs.CV
Web-Scale Training for Face Identification
Facebook AI Research(Facebook人工智能研究院);Tel Aviv University(特拉维夫大学)
近年来,将机器学习方法扩展到非常大的数据集已经引起了相当大的关注,这要归功于从网络上轻松访问无处不在的传感和数据。我们研究了人脸识别,并表明三个不同的属性对深度卷积网络(CNN)的可转移性有令人惊讶的影响:(1)网络的瓶颈是一个重要的迁移学习正则化器,(2)与常见的智慧相反,性能饱和可能存在于CNN的(随着训练样本数量的增长);我们提出了一种解决方案,通过用自举过程代替训练集的天真随机子采样来缓解这一问题。此外,(3)我们发现了表征规范与目标域中的区分能力之间的联系,这揭示了此类网络如何表征人脸。基于这些发现,我们能够在广泛使用的LFW基准测试中提高人脸识别的准确性,无论是在验证(1:1)还是识别(1:N)协议中,并首次直接与最先进的商用现成系统进行比较,并在性能上显示出相当大的飞跃。
2015-04-18 cs.CV
Face Identification with Second-Order Pooling
University of Electronic Science and Technology of China(电子科技大学);The University of Adelaide(阿德莱德大学);The Australian Center for Visual Technologies(澳大利亚视觉技术中心);The University of Queensland(昆士兰大学)
通过开发专门的面部图像表示,自动面部识别已经获得了显着的性能改进。另一方面,通用对象识别很少应用于人脸识别。空间金字塔池的特征编码的过完备的字典已经成为许多国家的最先进的图像分类系统的关键组成部分。受其成功的启发,在这项工作中,我们开发了一种新的人脸图像表示方法,其灵感来自Carreira等人的二阶池。[1],最初是为了图像分割而提出的。该方法与以往方法的不同之处在于,我们编码密集提取的局部补丁的一个小尺寸的字典,和面部图像签名获得通过池的二阶统计的编码特征。我们展示了池化对编码特征的重要性,这是由原始的二阶池化方法绕过的,以避免高计算成本。配备了一个简单的线性分类器,所提出的方法优于国家的最先进的人脸识别性能的大幅度。例如,在LFW数据库上,所提出的方法比以前的最佳方法的准确率高出约13%。
2014-09-17 cs.CV
RID-TWIN: An end-to-end pipeline for automatic face de-identification in videos
IIITB(印度信息技术研究所班加罗尔分校);MINRO center(MINRO中心)
提出RID-Twin流水线,利用生成模型解耦身份与运动,实现视频人脸自动去识别,并在VoxCeleb2及自定义数据集上验证,兼顾真实性与时间连贯性。
2024-03-15 cs.CV
Toward Open-Set Face Recognition
Vision and Security Technology Lab, University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校视觉与安全技术实验室)
在人脸识别和人脸验证方面已经进行了大量的研究,其中对后者的关注更大。人脸识别的研究主要集中在使用闭集协议,它假设在评估中使用的所有探头图像包含在画廊中注册的受试者的身份。然而,在真实系统中,只有一小部分探针样本身份被登记在图库中,不能做出这种闭集假设。相反,它们必须假设一组开放的探针样本,并且能够拒绝/忽略那些对应于未知身份的探针样本。在本文中,我们通过制定开放集人脸识别协议并评估评估相似性的不同策略,解决了人们普遍存在的误解,即对类似验证的分数进行阈值化是解决开放集人脸识别问题的好方法。我们的开集识别协议是基于野生(LFW)数据集的规范标记的面孔。除了已知的身份,我们还将已知的未知数(已知但不感兴趣的人)和未知的未知数(从未见过的人)的概念引入生物识别社区。我们比较了三种算法在开集协议下评估深特征空间中的相似性:阈值验证类得分,线性判别分析(LDA)得分和极值机(EVM)概率。我们的研究结果表明,阈值EVM概率,这是开放式的设计,优于阈值验证类分数。
2017-05-19 cs.CV
Face Identification and Clustering
Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学))
在这篇论文中,我们研究了两个基于聚类算法的问题。在第一个问题中,我们研究的视觉属性的作用,使用凝聚聚类算法削减搜索区域的类的数量是高的,以提高聚类的性能。我们观察到,随着我们添加更多的属性,聚类性能总体上会提高。在第二个问题中,我们研究了聚类在1:N开集协议中聚合模板的作用,使用多镜头视频作为探针。我们观察到,通过增加集群的数量,性能相对于基线增加,并达到峰值,之后增加集群的数量会导致性能下降。使用最近推出的无约束IARPA Janus IJB-A,CS2和CS3人脸识别数据集进行实验。
2017-04-26 cs.CV
Robust and Low-Rank Representation for Fast Face Identification with Occlusions
Northwestern University(西北大学);TCL Research America(TCL 美国研究院);Universidad de Granada(格拉纳达大学)
在本文中,我们提出了一个迭代法,以解决人脸识别问题与块遮挡。我们的方法利用基于两个特征的鲁棒表示,以便对连续错误(例如,阻塞阻塞)有效地。第一个拟合误差分布所描述的定制损失函数。第二种描述了具有特定结构的错误图像(导致与图像大小相比的低秩)。我们将证明,这种联合表征是有效的空间连续性描述错误。我们的方法是计算效率,由于利用交替方向乘法(ADMM)。我们的快速迭代算法的一个特殊情况导致了鲁棒的表示方法,该方法通常用于处理非连续错误(例如,像素损坏)。在有代表性的人脸数据库(在约束和无约束的环境中)上的广泛结果证明了我们的方法在识别率和计算时间方面优于现有的鲁棒表示方法的有效性。代码可以在Github上找到,在那里你可以找到F-LR-IRNNLS和F-IRNNLS(RRC的快速版本)的实现:https://github.com/miliadis/FIRC
2017-11-11 cs.CV
HYDRO: Towards Non-Reversible Face De-Identification Using a High-Fidelity Hybrid Diffusion and Target-Oriented Approach
HYDRO结合目标导向模型与扩散过程,通过注入噪声并恢复,实现不可逆的高保真人脸去识别,平均降低85.7%重建攻击成功率。
2026-09-24 cs.CV
From Benedict Cumberbatch to Sherlock Holmes: Character Identification in TV series without a Script
University of Oxford(牛津大学)
本文的研究目标是电视和故事片素材中人物的自动识别。与此任务的标准方法相比,该方法依赖于由成绩单和字幕提供的弱监督,我们提出了一种只需要演员表的新方法。此列表用于从网络上的免费来源获取演员的图像,为这项任务提供部分监督形式。在使用演员的图像来识别角色时,我们做出了以下三个贡献:(i)我们证明了自动半监督学习方法能够从演员的脸适应角色的脸,包括头发的脸上下文;(ii)通过为每个角色建立声音模型,我们提供了一个桥梁,(有很多演员级别的监督)和形象(其中很少或没有);以及(iii)通过结合面部上下文和说话人辨识,我们能够识别具有部分遮挡面部和极端面部姿势的人物。电视连续剧《神探夏洛克》和故事片《卡萨布兰卡》介绍了结果。我们在卡萨布兰卡基准上达到了最先进的水平,超过了以前使用成绩单提供的更强有力的监督的方法。
2018-01-31 cs.CV
Mugshot Identification from Manipulated Facial Images
University of Mysore(迈索尔大学)
数字图像的编辑无处不在。人脸图像的篡改识别是人脸识别系统面临的一个新挑战。在本文中,我们解决的问题,从严重改变的面部图像的人脸或人的识别。在该面部识别问题中,系统的输入是经处理或变换的面部图像,并且系统从已知个体的数据库报告所确定的身份。这样的系统可以是有用的,在mugshot识别,其中mugshot数据库包含两个视图(正面和侧面)的每个罪犯。我们认为只有正面的看法,从现有的数据库中的人脸识别和查询图像是一个操纵的脸所产生的人脸变换软件工具在线。在这种情况下,我们提出了有效的人脸识别SIFT功能。与著名的特征脸方法进行了进一步的比较分析。实验已经进行了真实情况下的图像,以评估这两种方法的性能。
2012-10-31 cs.CV cs.MM
Efficient Verification-Based Face Identification
Faculty of Engineering, Bar Ilan University(巴伊兰大学工程学院);School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院)
本研究提出一种基于超网络生成个性化紧凑人脸验证模型的方法,将问题简化为二分类,仅需23k参数和5M FLOPS,在六个数据集上达到与最先进模型相当或更好的性能。
2024-05-25 cs.CV
iQIYI-VID: A Large Dataset for Multi-modal Person Identification
iQIYI, Inc.(爱奇艺公司)
由于野外环境中人的姿态、面部特征、衣着、化妆等变化很大,传统的人脸识别、人的再识别、说话人识别等研究往往集中在单一的信息模式上,不足以处理实际应用中的所有情况。多模态身份识别是一种综合利用人脸、头部、身体、音频等特征进行身份识别的方法,本文介绍了最大的多模态身份识别视频数据集iQIYI-VID。它由5,000位名人的600 K视频剪辑组成。这些视频剪辑是从40万小时的各种类型的在线视频中提取的,从电影,综艺节目,电视剧到新闻广播。所有的视频片段都经过精心的人工标注过程,标注的出错率低于0.2%。我们在iQIYI-VID数据集上评估了最先进的人脸识别、人员重新识别和说话人识别模型。实验结果表明,这些模型仍然是远远不够完美的任务,在野外的人识别。我们提出了一个多模态注意力模块来融合多模态特征,可以大大提高人的识别。我们已经在线发布了数据集,以促进多模态身份识别研究。
2019-04-22 cs.CV
Face Identification by SIFT-based Complete Graph Topology
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Sassari(萨萨里大学)
本文提出了一种基于从人脸图像中提取的SIFT特征的图匹配技术的人脸识别系统。虽然SIFT特征已经成功地用于一般的目标检测和识别,但直到最近才被应用于人脸识别。本文进一步研究了基于SIFT特征的图匹配拓扑的身份识别技术的性能,SIFT特征具有旋转、缩放和平移不变性。图像上的人脸投影,由一个图形表示,可以匹配到新的图像,通过最大化的相似性函数,考虑到空间失真和局部特征的相似性。研究了两种基于图的匹配技术,以处理错误的配对分配和减少特征的数量,以找到数据库和查询面SIFT特征之间的最佳特征集。在BANCA数据库上的实验结果表明了该系统的有效性。
2010-02-02 cs.AI cs.CV
Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification
深度学习方法为计算机视觉带来了许多突破,特别是在2D人脸识别方面。然而,基于深度学习的3D人脸识别的瓶颈在于,无论是对工业界还是学术界来说,都很难收集到数以百万计的3D人脸。针对这种情况,有很多方法通过三维人脸数据增强,从现有的三维人脸生成更多的三维人脸,用于训练深度三维人脸识别模型。然而,据我们所知,目前还没有从2D人脸图像生成3D人脸的方法来训练深度3D人脸识别模型。这封信的重点是重建的三维人脸表面在三维人脸识别中的作用,并提出了一个框架的二维辅助深度三维人脸识别。特别是,我们建议使用基于深度学习的3D人脸重建方法(即ExpNet)从大规模2D人脸数据库(即VGGFace 2)重建数百万个3D人脸扫描。然后,我们采用两阶段训练方法:在第一阶段,我们使用数百万张人脸图像来预训练深度卷积神经网络(DCNN),在第二阶段,我们使用重建的3D人脸扫描的正常分量图像(NCI)来训练DCNN。大量的实验结果表明,所提出的方法可以大大提高排名-1得分的三维人脸识别FRGC v2. 0,博斯普鲁斯海峡,和BU-3DFE三维人脸数据库,相比,由2D人脸图像训练的模型。最后,我们提出的方法在FRGC v2.0(97.6%),Bosphorus(98.4%)和BU-3DFE(98.8%)数据库上实现了最先进的rank-1评分。实验结果表明,重建的三维人脸表面是有用的,我们的二维辅助深度三维人脸识别框…
2022-06-12 cs.AI cs.CV
FLUID: Training-Free Face De-identification via Latent Identity Substitution
Kyungpook National University(庆尚国立大学)
FLUID通过在预训练扩散模型的潜在空间中直接替换身份特征,实现了无需训练的面部去标识化,有效平衡了身份抑制与属性保持。
2026-01-06 cs.AI cs.CV
FaceMe: Robust Blind Face Restoration with Personal Identification
Nankai University(南开大学);Samsung Research, China, Beijing (SRC-B)(三星研究院中国北京(SRC-B));Samsung Electronics(三星电子);NKIARI(南开大学人工智能研究院)
本文提出基于扩散模型的 FaceMe,利用身份编码器从单张或少量参考图像提取身份特征以引导复原,实现高质量、身份一致且无需微调的鲁棒盲人脸复原。
2025-01-10 cs.CV