How important are faces for person re-identification?
Insight SFI Research Centre for Data Analytics(Insight科学基金会数据 analytics研究中心);Dublin City University(都柏林城市大学)
本文研究了现有的国家的最先进的人的重新识别模型的存在和可见性的人脸的依赖。我们应用人脸检测和模糊算法来创建几个流行的人重新识别数据集的匿名版本,包括Market 1501,DukeMTMC-reID,CUHK 03,Viper和Airport。使用现有的最先进的模型,范围在准确性和计算效率的横截面,我们使用标准指标评估这种匿名化对重新识别性能的影响。也许令人惊讶的是,对mAP的影响非常小,并且通过简单地训练数据的匿名版本而不是原始数据来恢复准确性。这些发现在多个模型和数据集上是一致的。这些结果表明,数据集可以通过模糊面部来安全地匿名化,而不会显著影响人员重新识别系统的性能,并且可以允许在以前存在隐私或数据保护问题的情况下发布新的更丰富的重新识别数据集。
2020-10-13 cs.AI cs.CV cs.LG
De-identification without losing faces
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
用于计算机视觉的深度学习模型的训练需要来自真实世界的大型图像或视频数据集。通常,在收集此类数据集时,我们需要保护图像或视频中捕获的人的隐私,同时仍然保留有用的属性,如面部表情。在这项工作中,我们描述了一种新的人脸去识别方法,可以保持基本的面部属性的脸,同时隐藏身份。我们的方法利用了人脸属性转移模型的最新进展,同时保持了较高的视觉质量。我们的方法不是改变原始面孔的因素或完全合成面孔,而是使用经过训练的面部属性转移模型将非身份相关的面部属性映射到捐赠者的面部,捐赠者是少数(通常为2到3个)同意的受试者。使用供体的面部确保合成面部的自然外观,同时确保合成面部的身份被改变。另一方面,FATM将捐赠者的面部属性与原始面部的面部属性混合以使合成面部的外观多样化。在多组图像和视频上的实验结果证明了该算法的有效性。
2019-02-12 cs.CV cs.CY cs.LG
Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined
School of Behavioral and Brain Sciences(行为与脑科学学院);The University of Texas at Dallas(得克萨斯大学达拉斯分校);UMIACS(马里兰大学信息与计算机科学学院);University of Maryland(马里兰大学)
为人脸识别而训练的深度卷积神经网络(DCNN)开发了在可变图像上泛化的表示,同时保留主题(例如,性别)和图像(例如,观点)信息。身份,性别和观点代码进行了研究,在“神经元”和合奏水平的人脸识别网络。在单元级别,识别,性别分类和观点估计通过删除单元来测量,以在顶部网络层创建可变大小的随机采样子空间。随着维度从512个单位降低到16(0.95)、4(0.80)和2(0.72)个单位,3,531个身份的识别率仍然很高(ROC下的面积约为1.0)。每个顶层单元上的个人身份都是统计分离的。跨单位的反应是最低限度的相关性,表明单位代码非冗余的身份线索。这种“分布式”代码只需要稀疏的随机样本就可以准确地识别人脸。随着维度的减少,性别分类逐渐下降,观点估计急剧下降。个别单位弱预测性别和观点,但合奏证明有效的预测。因此,分布式和稀疏码共存于网络单元中,以表示不同的人脸属性。在集成水平上,人脸表征的主成分分析表明,身份,性别和观点信息分离到高维子空间,解释方差排序。身份,性别和观点信息有助于所有个人单位的反应,削弱了面部属性的神经调节类比。从DCNN解释神经类代码,并通过类比,高级视觉代码,不能从单个单元响应推断。相反,“意义”是由高维空间中的方向编码的。
2020-03-01 cs.CV cs.LG
Understanding Unconventional Preprocessors in Deep Convolutional Neural Networks for Face Identification
Baze University(巴泽大学);The University of the West of England(西英格兰大学)
深度网络在物体和人脸识别等应用领域取得了巨大的成功。性能提升归因于网络架构的不同方面,例如:卷积层的深度、激活函数、池化、批量归一化、前向和反向传播等等。然而,很少强调预处理器。因此,在本文中,网络的预处理模块是不同的预处理方法,同时保持恒定的网络架构的其他方面,调查预处理对网络的贡献。常用的预处理器是数据增强和归一化,并被称为传统的预处理器。其他被称为非常规预处理器,它们是:颜色空间转换器; HSV,CIE L*a*b* 和YCBCR,灰度分辨率预处理器;基于全平面和基于平面的图像量化,照明归一化和不敏感特征预处理,使用:直方图均衡化(HE),局部对比度归一化(LN)和完整的面部结构模式(CFSP)。为了实现固定的网络参数,采用具有迁移学习的CNN。来自Inception-V3网络的高级特征向量的知识被转移到离线预处理的LFW目标数据;并使用SoftMax分类器进行人脸识别。实验表明,在将RGB数据馈送到CNN之前,可以通过使用HE、基于全平面和基于平面的量化、rgbGELog和YCBCR预处理器对RGB数据进行预处理来提高深度网络的辨别能力。然而,为了获得最佳性能,需要正确设置具有增强和/或归一化的预处理数据。基于平面的图像量化被发现增加了邻域像素的均匀性,并利用减少的位深度以获得更好的存储效率。
2019-05-02 cs.CV cs.LG stat.ML
Privacy-preserving Optics for Enhancing Protection in Face De-identification
Universidad Industrial de Santander(桑坦德工业大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文针对软件级人脸去标识易受嗅探攻击的问题,提出硬件级隐私保护光学方法,通过学习光学编码器和回归模型获取人脸热图,并结合参考人脸生成匿名化人脸,经仿真与硬件实验验证其有效性。
2024-03-31 cs.AI cs.CR cs.CV
DeepFace-EMD: Re-ranking Using Patch-wise Earth Mover's Distance Improves Out-Of-Distribution Face Identification
Auburn University(奥本大学);Carnegie Mellon University(卡内基梅隆大学)
人脸识别(FI)无处不在,并推动执法部门做出许多高风险决策。最先进的FI方法通过在它们的图像嵌入之间取余弦相似性来比较两个图像。然而,这样的方法遭受到对新类型的图像(例如,当查询面部被掩蔽、裁剪或旋转时)不包括在训练集或图库中。在这里,我们提出了一个重新排名的方法,比较两个面孔使用地球移动器的距离上的深,图像补丁的空间特征。我们额外的比较阶段明确地在细粒度级别上检查图像相似性(例如,眼睛对眼睛),并且比传统FI对OOD扰动和遮挡更鲁棒。有趣的是,在没有微调特征提取器的情况下,我们的方法始终如一地提高了所有测试的OOD查询的准确性:掩蔽,裁剪,旋转和对抗,同时在分发图像上获得类似的结果。
2022-03-25 cs.CV cs.IR cs.LG
Toward Face Biometric De-identification using Adversarial Examples
Universidad Autonoma de Madrid(马德里自治大学);University of Twente(特文特大学)
人脸识别(FR)的巨大成功已经危及互联网用户的隐私,特别是在社交媒体上。最近,研究人员转向使用对抗性例子作为对策。在本文中,我们评估了使用两种广为人知的对抗方法(BIM和ILLC)去识别个人图像的有效性。我们发现,与文献中先前的声明不同,要获得对人类视觉系统具有不可感知的对抗性扰动的高保护成功率(抑制识别率)并不容易。最后,我们发现对抗性示例的可移植性受到生成它们的网络的训练参数的高度影响。
2023-02-07 cs.CR cs.CV cs.LG
StyleGAN as a Utility-Preserving Face De-identification Method
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文研究StyleGAN通过风格混合进行人脸去识别,实验表明其在保护隐私和保持图像效用方面与CIAGAN和DeepPrivacy相当或更优,并通过用户研究验证了其性能。
2023-08-31 cs.CR cs.CV cs.LG
Gallery Sampling for Robust and Fast Face Identification
kakaoenterprise corp.(Kakao企业公司)
针对人脸识别画廊数据中的异常值问题,提出剪枝和生成采样方法,在5.4M数据集上显著提升识别性能并减少搜索时间。
2023-05-12 cs.AI cs.CV cs.LG
Re-identification of Individuals in Genomic Datasets Using Public Face Images
Washington University in St. Louis(圣路易斯华盛顿大学);Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
DNA测序在医疗和直接面向消费者的环境中变得越来越普遍。为了促进发现,收集的基因组数据通常被去识别和共享,要么在公共存储库中,如OpenSNP,要么通过访问控制存储库与研究人员共享。然而,最近的研究表明,基因组数据可以有效地匹配到高分辨率的三维人脸图像,这引起了人们的担忧,即越来越普遍的公共人脸图像可以链接到共享的基因组数据,从而重新识别基因组数据中的个体。虽然这些调查说明了这种攻击的可能性,但它们假设那些执行链接的人可以获得非常精心策划的数据。鉴于实际情况不太可能如此,这就令人怀疑攻击的实用性。因此,我们从两个角度系统地研究了这种重新识别风险:首先,我们研究了当使用真实人脸图像时,这种链接攻击的成功程度,其次,我们考虑如何使个人能够更好地控制相关的重新识别风险。我们观察到,对于大多数人来说,重新识别的真正风险可能比以前的文献所建议的要小得多。此外,我们还证明了在图像中添加少量精心制作的噪声可以在重新识别成功和共享图像质量之间实现可控的权衡,即使是人类无法感知的噪声,风险通常也会显着降低。
2021-02-17 cs.CR cs.CY cs.LG
A Systematic Review of Machine Learning Techniques for Cattle Identification: Datasets, Methods and Future Directions
Charles Sturt University(查尔斯特大学);Food Agility CRC Ltd(Food Agility合作研究中心有限公司);TerraCipher Pty. Ltd.(TerraCipher私人有限公司)
生物安保和食品安全要求的提高可能会增加对供应链中牲畜有效追踪和识别系统的需求。机器学习和计算机视觉的先进技术已应用于精准畜牧管理,包括重大疾病检测、疫苗接种、生产管理、跟踪和健康监测。本文提供了一个系统的文献综述(SLR)基于视觉的牛识别。更具体地说,这个SLR是使用机器学习(ML)和深度学习(DL)识别和分析与牛识别相关的研究。对于牛的检测和牛的识别这两个主要应用,所有基于ML的论文都只解决牛的识别问题。然而,在基于DL的论文中研究了检测和识别问题。根据我们的调查报告,用于牛识别的最常用的ML模型是支持向量机(SVM),k-最近邻(KNN)和人工神经网络(ANN)。卷积神经网络(CNN)、残差网络(ResNet)、Inception、You Only Look Once(YOLO)和Faster R-CNN是所选论文中流行的DL模型。在这些纸张中,最显著的特征是牛的口印和皮毛图案。局部二值模式(LBP),加速鲁棒特征(SURF),尺度不变特征变换(SIFT),以及Inception或CNN被认为是最常用的特征提取方法。
2022-10-13 cs.AI cs.CV cs.LG
Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing
Guangzhou Huya Information Technologies Co., Limited(广州虎牙信息科技有限公司);University of Oxford(牛津大学)
人脸防欺骗是人脸识别系统安全的关键,它可以有效地防止呈现攻击。以前的工作已经表明,使用深度和时间的监督这项任务的有效性。然而,深度监督往往只考虑在一个单一的帧,和时间的监督是探索通过利用某些信号,这是不鲁棒的场景变化。在这项工作中,受两个流ConvNets的启发,我们提出了一种新的两个流FreqSaptialTemporalNet用于人脸反欺骗,它同时利用了频繁,空间和时间信息。与现有的在多帧RGB图像中挖掘欺骗线索的方法相比,我们将多帧频谱图像作为判别式深度神经网络的一个输入流,鼓励自动挖掘真实视频和假视频之间的主要差异。大量的实验表明,使用所提出的架构有前途的改善效果。同时,提出了一种利用频繁增强流水线获取大量欺骗训练数据的简洁方法,有助于实时图像和虚假图像之间的细节可视化,以及训练大型网络时的数据不足问题。
2020-01-20 cs.CV cs.LG eess.IV
Conditional De-Identification of 3D Magnetic Resonance Images
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);University of Tübingen(蒂宾根大学)
医学图像数据的隐私保护具有挑战性。即使删除了元数据,大脑扫描也很容易受到将面部渲染与面部图像数据库相匹配的攻击。已经开发出通过模糊或移除面部的部分来对诊断扫描进行去识别的解决方案。然而,这些解决方案要么无法可靠地隐藏患者的身份,要么过于激进,以至于影响了进一步的分析。我们提出了一类新的去识别技术,而不是删除面部特征,重塑他们。我们的解决方案依赖于一个有条件的多尺度GAN架构。它以患者的MRI扫描作为输入,并根据患者的大脑生成3D体积,该体积被精确保留,但面部已通过重塑被去识别。我们证明了我们的方法比现有技术更好地保护隐私,而不会影响下游的医学分析。在OASIS-3和ADNI语料库上进行分析。
2021-10-18 cs.CR cs.CV cs.LG