Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition
Hikvision Research Institute(海康威视研究院);Zhejiang University(浙江大学)
文本识别因其广泛的应用而成为研究的热点。在这项工作中,我们挖掘了传统文本识别中的隐含任务,字符计数,而无需额外的人工标注成本。内隐任务是补充序列再认的一个辅助分支。我们设计了一个两分支互惠特征学习框架,以充分利用这两个任务的功能。通过利用外显任务和内隐任务之间的互补效应,可靠地增强了特征。在7个基准测试集上的实验结果表明,所提出的方法在文本识别和新建立的字符计数任务上都具有优势。此外,它是方便而有效地配备可变的网络和任务。我们提供丰富的消融研究,概括实验,对任务有更深入的理解。代码可用。
2021-10-25 cs.CV
Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks
Fudan University(复旦大学)
尽管合成孔径雷达(SAR)具有全天候、全天时高分辨率成像的优势,但由于人类视觉对微波散射现象的不适应,SAR图像很少被普通人看到和使用。然而,可以通过并排比较SAR和光学图像来训练专家口译员,以学习从SAR到光学的映射规则。本文试图开发机器智能,可训练与大体积共配准SAR和光学图像的SAR图像转换为光学版本的辅助SAR图像判读。互易SAR光学图像转换是一项具有挑战性的任务,因为它是两种物理上非常不同的传感模式之间的原始数据转换。本文提出了一种新的互惠对抗网络方案,级联剩余连接和混合L1-GAN损失。它是训练和测试的星载GF-3和机载UAVSAR图像。给出了不同分辨率和极化的数据集的结果,并与其他最先进的方法进行了比较。FID用于定量评估翻译性能。本文还探讨了利用非成对SAR图像和光学图像进行无监督学习的可能性。结果表明,建议的翻译网络工作在许多情况下,它可能会被用于辅助SAR解释。
2019-10-09 cs.CV
Reciprocal Adversarial Learning for Brain Tumor Segmentation: A Solution to BraTS Challenge 2021 Segmentation Task
Monash University(莫纳什大学);Monash Biomedical Imaging (MBI), Monash University(莫纳什生物医学影像中心,莫纳什大学)
提出了一种基于对抗学习的脑肿瘤分割训练方法。在这个概念中,3D分割网络从双重互惠对抗学习方法中学习。为了增强分割预测的泛化能力并使分割网络鲁棒,我们坚持虚拟对抗训练方法,通过在原始患者数据上添加一些噪声来生成更多的对抗性示例。通过结合充当定量主观裁判的评论家,分割网络从与分割结果相关联的不确定性信息中学习。我们在RSNA-ASNR-MICCAI BraTS 2021数据集上训练和评估了网络架构。我们在在线验证数据集上的表现如下:Dice相似性评分为81.38%、90.77%和85.39%;增强肿瘤、整个肿瘤和肿瘤核心的Hausdorff距离(95%)分别为21.83 mm、5.37 mm、8.56 mm。同样,我们的方法在最终测试数据集上实现了84.55%,90.46%和85.30%的Dice相似性评分以及13.48 mm,6.32 mm和16.98 mm的Hausdorff距离(95%)。总的来说,我们提出的方法在每个肿瘤子区域的分割准确度方面都有更好的表现。我们的代码实现可在https://github.com/himashi92/vizviva_brats_2021上公开获取
2022-01-11 cs.CV eess.IV
RAF: Recursive Adversarial Attacks on Face Recognition Using Extremely Limited Queries
University Of Houston(休斯顿大学)
最近几次成功的人脸识别对抗攻击表明,尽管人脸识别模型取得了显著的进步,但它们在感知和识别方面仍然远远落后于人类的智能。它揭示了深度卷积神经网络(CNN)作为对抗性示例的人脸识别模型的最先进构建模块的脆弱性,这可能会对安全系统造成某些后果。基于恶意的对抗攻击在以前被广泛研究,并被证明对人脸识别模型是成功的。然而,找到每个面的优化扰动需要向目标模型提交大量的查询。在本文中,我们提出了递归对抗攻击的人脸识别使用自动人脸扭曲,需要非常有限的查询数量来欺骗目标模型。而不是一个随机的脸扭曲过程中,扭曲功能被应用在特定的检测区域的脸,如眉毛,鼻子,嘴唇等,我们评估的鲁棒性,提出的方法在基于决策的黑盒攻击设置,攻击者无法访问的模型参数和梯度,但硬标签的预测和置信度得分提供的目标模型。
2022-07-04 cs.CV
Adversarial Training for Face Recognition Systems using Contrastive Adversarial Learning and Triplet Loss Fine-tuning
UCF(中佛罗里达大学)
虽然在提高面部识别系统的对抗鲁棒性方面已经做了很多工作,但令人惊讶的是,其中很小一部分集中在自我监督方法上。在这项工作中,我们提出了一种将对抗性预训练与三重损失对抗性微调相结合的方法。我们将我们的方法与预先训练的ResNet50模型进行了比较,该模型构成了FaceNet的主干,并在我们的CelebA数据集上进行了微调。通过比较没有对抗训练的对抗鲁棒性,与三重损失对抗训练,以及我们的对比预训练与三重损失对抗微调相结合,我们发现我们的方法在微调过程中需要更少的时期,取得了相当的结果。这看起来很有希望,增加微调的训练时间应该会产生更好的结果。除此之外,还进行了一个改进的半监督实验,该实验证明了通过引入少量标签来改进对比对抗训练。
2021-10-09 cs.CV
Adversarial Example in Remote Sensing Image Recognition
Central South University(中南大学)
随着遥感技术在各个领域的广泛应用,对遥感图像识别的精度和安全性要求也越来越高。近年来,由于深度学习在图像识别领域的快速发展,基于深度卷积神经网络(CNN)的RSI识别模型优于传统的手工特征技术。然而,CNN在显示其准确分类能力时也会带来安全问题。通过向输入图像添加对抗性扰动的非常小的变化,可以使CNN模型产生具有极高置信度的错误结果,并且人眼不会感知到图像的修改。这种添加的对抗性扰动图像被称为对抗性示例,这对基于CNN模型识别结果的系统带来了严重的安全问题。本文首次分析了CNN模型下RSI识别的对抗性实例问题。在实验中,我们使用不同的攻击算法来欺骗在多个RSI数据集上训练的多个高精度RSI识别模型。结果表明,RSI识别模型也容易受到对抗性样本的攻击,并且在同一RSI数据集上训练的不同结构的模型也具有不同的脆弱性。对于每个RSI数据集,特征的数量也会影响模型的脆弱性。许多特性对于防御性对抗示例都很好。此外,我们还发现被攻击的RSI类具有攻击选择性。对抗样本的误分类与CNN特征空间中原始类的相似性有关。此外,RSI识别中的对抗性实例对遥感应用的安全性具有重要意义,显示出未来研究的巨大潜力。
2020-03-03 cs.CV
Evaluation of Neural Networks for Image Recognition Applications: Designing a 0-1 MILP Model of a CNN to create adversarials
Bergische Universität Wuppertal(伍珀塔尔大学)
图像识别是计算机视觉的核心任务,应用范围包括搜索、机器人、自动驾驶汽车等。本文件有三个目的:1。我们跟进(Fischetti & Jo,2017年12月),并展示如何将标准卷积神经网络优化为更复杂的胶囊架构。2.我们引入了一个基于CNN的MILP模型来创建对抗。3.我们比较和评估每个网络的图像识别任务。
2018-09-01 cs.CV
PointCAT: Contrastive Adversarial Training for Robust Point Cloud Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Simon Fraser University(西蒙弗雷泽大学);Wormpex AI Research LLC(Wormpex人工智能研究有限责任公司)
尽管点云识别模型在各种应用中取得了突出的性能,但它经常遭受自然破坏和对抗性扰动。在本文中,我们深入研究了点云识别模型的一般鲁棒性,并提出了点云对比对抗训练(PointCAT)。PointCAT的主要直觉是鼓励目标识别模型缩小干净点云和损坏点云之间的决策差距。具体而言,我们利用监督对比损失,以促进识别模型提取的超球体特征的对齐和均匀性,并设计了一对集中损失与动态原型指导,以避免这些特征偏离其所属的类别集群。为了提供更具挑战性的损坏点云,我们从头开始对抗性地训练噪声发生器和识别模型,而不是像以前的对抗性训练方法那样使用基于梯度的攻击作为内环。实验结果表明,该方法在各向同性点噪声、LiDAR模拟噪声、随机点丢失和对抗性扰动等多种干扰下,识别效果优于基线方法,显著提高了不同点云识别模型的鲁棒性。
2022-09-16 cs.CV
Perturbation Inactivation Based Adversarial Defense for Face Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);China Academy of Railway Sciences(中国铁道科学研究院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
基于深度学习的人脸识别模型容易受到对抗攻击。为了遏制这些攻击,大多数防御方法旨在提高识别模型对对抗性扰动的鲁棒性。然而,这些方法的推广能力是相当有限的。在实践中,它们仍然容易受到看不见的对抗攻击。深度学习模型对一般扰动(如高斯噪声)具有相当强的鲁棒性。一个直接的方法是将对抗扰动进行分类,以便它们可以很容易地作为一般扰动处理。本文提出了一种即插即用的对抗防御方法--扰动失活(PIN),用于消除对抗性扰动,实现对抗性防御。我们发现不同子空间的扰动对识别模型有不同的影响。应该有一个子空间,称为免疫空间,其中的扰动对识别模型的不利影响比在其他子空间。因此,我们的方法估计免疫空间,并通过将它们限制在这个子空间来灭活对抗性扰动。由于该方法不依赖于特定的对抗攻击方法,因此可以推广到不可见的对抗扰动。这种方法不仅优于几种最先进的对抗性防御方法,而且通过详尽的实验证明了优越的泛化能力。此外,所提出的方法可以成功地应用于四个商业API,而无需额外的训练,这表明它可以很容易地推广到现有的人脸识别系统。源代码可在https://github.com/RenMin1991/Perturbation-Inactivate上获得
2022-07-13 cs.CV
Using a GAN to Generate Adversarial Examples to Facial Image Recognition
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心)
在线发布的图像存在隐私问题,因为它们可以用作面部识别系统的参考示例。这种滥用图像的行为侵犯了隐私权,但很难反击。众所周知,可以为基于深度神经网络的识别系统创建对抗性示例图像。这些对抗性示例可用于破坏图像作为参考示例或训练数据的效用。在这项工作中,我们使用生成对抗网络(GAN)来创建对抗示例来欺骗面部识别,并且我们在欺骗面部识别方面取得了可接受的成功率。我们的研究结果减少了训练时间的GAN,通过删除的ESTA组件。此外,我们的研究结果表明,可以采用知识蒸馏来大幅减少生成模型的大小,而不会影响性能,这表明我们的贡献可以在智能手机上轻松运行
2021-11-30 cs.CV
Adversarial Attack on Skeleton-based Human Action Recognition
深度学习模型在基于机器人的人类动作识别方面取得了令人印象深刻的性能。然而,这些模型对对抗攻击的鲁棒性在很大程度上仍未被探索,这是由于它们复杂的时空性质,必须表示稀疏和离散的骨架关节。这项工作提出了第一个对抗攻击基于动作识别的图卷积网络。所提出的有针对性的攻击,称为约束迭代攻击的骨架动作(CIASA),扰动关节位置的动作序列,使所产生的对抗序列保持时间的连贯性,空间的完整性,和拟人的骨架的可扩展性。CIASA通过满足多个物理约束来实现这一壮举,并对扰动骨架采用空间骨架重新排列,以及使用生成网络对对抗骨架进行正则化。我们还探讨了语义不可感知的本地化攻击与CIASA的可能性,并成功地愚弄了国家的最先进的骨架动作识别模型具有高的信心。CIASA扰动显示出高的可转移性的黑盒攻击。我们还表明,扰动的骨架序列能够在用计算机图形创建的RGB视频中诱导对抗行为。NTU和Kinetics数据集的综合评估证实了CIASA在基于图形的骨架动作识别方面的有效性,并揭示了对时空深度学习任务的迫在眉睫的威胁。
2019-09-14 cs.CV
Improving the JPEG-resistance of Adversarial Attacks on Face Recognition by Interpolation Smoothing
Huazhong University of Science and Technology(华中科技大学)
针对 JPEG 压缩削弱人脸识别对抗样本的问题,提出在迭代攻击中通过缩小与恢复插值平滑扰动、抑制高频信号,从而提升对抗样本的 JPEG 抗性。
2024-02-26 cs.CV
Temporal Sparse Adversarial Attack on Sequence-based Gait Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
步态识别因其在远距离身份识别方面的优势,在社会保障领域得到了广泛的应用。近年来,基于序列的方法通过学习丰富的时间和空间信息,获得了很高的精度。然而,它们在对抗攻击下的鲁棒性还没有被清楚地探索。在本文中,我们证明了最先进的步态识别模型容易受到这种攻击。为此,我们提出了一种新的时间稀疏对抗攻击方法。与以往的加性噪声模型在原始样本上添加扰动不同,我们采用了一种基于生成对抗网络的体系结构来生成对抗性的高质量步态轮廓或视频帧。此外,通过稀疏地替换或插入少量的敌对步态轮廓,该方法确保了其不可感知性,并取得了较高的攻击成功率。实验结果表明,如果只有四十分之一的帧被攻击,目标模型的准确性急剧下降。
2021-08-10 cs.CV
A Study for Universal Adversarial Attacks on Texture Recognition
Arizona State University(亚利桑那州立大学);Lebanese American University(黎巴嫩美国大学)
鉴于卷积神经网络(CNN)在自然图像分类和对象识别问题上取得的突出进展,表明深度学习方法可以在许多纹理数据集上实现非常好的识别性能。然而,虽然用于自然图像分类/对象识别任务的CNN已被发现非常容易受到各种类型的对抗攻击方法的攻击,但用于纹理识别的深度学习方法的鲁棒性还有待研究。在我们的论文中,我们证明了存在小的图像不可知/通用扰动,可以欺骗深度学习模型,在所有测试的纹理数据集上的测试欺骗率超过80%。在测试数据集上使用各种攻击方法计算的扰动通常是准不可感知的,包含具有低,中和高频分量的结构化模式。
2020-10-04 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
Rethinking the Threat and Accessibility of Adversarial Attacks against Face Recognition Systems
National University of Singapore(新加坡国立大学);Ping An Technology(平安科技);CSIRO’s Data61(联邦科学与工业研究组织Data61);Swinburne University of Technology(斯威本科技大学)
该研究从行业视角重新评估人脸识别对抗攻击威胁,提出易实施的物理攻击AdvColor,实验显示其高攻击成功率,调研发现可感知易实现攻击对商用系统威胁更大。
2024-07-11 cs.CV
Temporal Shuffling for Defending Deep Action Recognition Models against Adversarial Attacks
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);University of California(加利福尼亚大学)
该研究发现动作识别模型对帧序随机化具有鲁棒性,并利用对抗扰动对时间破坏的敏感性,提出无需额外训练的时间混洗防御方法。
2023-12-07 cs.CV
Offline Handwritten Mathematical Recognition using Adversarial Learning and Transformers
Panjab University(旁遮普大学)
脱机手写数学表达式识别(HMER)是数学表达式识别领域的一个重要研究方向。由于缺乏时间信息和写作风格的可变性,离线HMER通常被视为比在线HMER更难的问题。在本文中,我们提出了一个使用配对对抗学习的编码器-解码器模型。从手写数学表达式图像和它们在编码器中的印刷数学表达式对应物中提取语义不变特征。语义不变特征的学习结合DenseNet编码器和Transformer解码器,帮助我们提高了以前研究的表达率。在CROHME数据集上进行评估,我们已经能够将最新的CROHME 2019测试集结果提高约4%。
2022-08-20 cs.CV
Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed Recognition
UC, San Diego(加州大学圣迭戈分校);Wormpex AI Research(Wormpex AI 研究院)
长尾识别的问题,每类的例子的数量是高度不平衡的,被认为是。虽然使用类平衡采样的训练已被证明对这个问题有效,但已知过拟合到Few-Shot类。据推测,这是由于重复采样的例子,可以解决的特征空间增强。提出了一种新的特征增强策略EMANATE,该策略基于训练过程中跨时期的特征回溯。结果表明,与类平衡抽样不同,这是一种对抗性增强策略。然后引入一个新的采样过程,面包屑,实现对抗类平衡采样,而无需额外的计算。在三个流行的长尾识别数据集上的实验表明,面包屑训练产生的分类器优于现有的问题解决方案。
2021-05-01 cs.CV
Adversarial Attack on Facial Recognition using Visible Light
Queensland University of Technology(昆士兰科技大学)
在监控行业中,使用深度学习进行人体识别和目标检测正变得越来越普遍。这些系统已经被训练成以高精度识别人体或面部。然而,已经有成功的尝试用称为对抗攻击的不同技术来欺骗这些系统。本文提出了一个最终报告的对抗攻击使用可见光的面部识别系统。这项研究的相关性是利用深层神经网络的物理下降。这些系统中的弱点的展示希望这项研究将在未来用于改进对象识别的训练模型。随着结果的收集,对项目目标进行了调整,以适应结果。正因为如此,下面的论文首先探讨了一种使用红外光的对抗攻击,然后再重新调整为可见光攻击。文中介绍了红外线和人脸识别的研究概况。详细分析了目前的调查结果和可能的未来建议的项目。对遇到的挑战进行评估,并提供最终解决方案。该项目的最终成果展示了利用光有效欺骗识别系统的能力。
2020-11-25 cs.CV
A Data-driven Adversarial Examples Recognition Framework via Adversarial Feature Genome
Central South University(中南大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
对抗性样本对卷积神经网络(CNN)构成了许多安全威胁。大多数防御算法通过查找原始图像和对抗性示例之间的差异来防止这些威胁。然而,发现的差异不包含关于类的特征,因此这些防御算法只能检测对抗性示例,而不能恢复正确的标签。在这方面,我们提出了对抗性特征基因组(AFG),一种新型的数据,包含有关类的差异和功能。这种方法的灵感来自于一种观察到的现象,即对抗特征可分离性(AFS),其中原始图像和对抗示例的特征图之间的差异随着层的加深而变大。最重要的是,我们进一步开发了一个对抗性示例识别框架,该框架可以检测对抗性示例并恢复正确的标签。在实验中,利用AFG对各种攻击场景下的对抗样本进行检测和分类,准确率均达到90.01%以上。据我们所知,我们的方法是第一个专注于攻击检测和恢复的方法。AFG提供了一个新的数据驱动的视角来提高CNN的鲁棒性。源代码可在https://github.com/GeoX-Lab/Adv_Fea_Genome上获得。
2022-01-26 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL(洛桑联邦理工学院)
对抗攻击已被广泛研究的一般分类任务,但仍未探索的细粒度识别的上下文中,类间的相似性促进攻击者的任务。在本文中,我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此,我们引入了一种基于注意力的正则化机制,该机制最大限度地分离不同类别的区别性潜在特征,同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样,这使我们能够显着提高对对抗攻击的鲁棒性,达到匹配甚至超过对抗训练的程度,但不需要访问对抗样本。
2020-06-10 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
我们考虑的问题,半监督的3D动作识别,以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习(Self-supervised learning,SSL)是一种非常有效的学习方法。然而,对于3D动作识别,几乎没有有效的自监督方法存在,并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题,我们提出了对抗性自监督学习(ASSL),一个新的框架,紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说,我们设计了一个有效的SSL方案,以提高3D动作识别的学习表示的鉴别能力,通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性,我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
Controllable Evaluation and Generation of Physical Adversarial Patch on Face Recognition
RealAI(瑞莱智慧);Tsinghua University(清华大学)
最近的研究揭示了人脸识别模型对物理对抗补丁的脆弱性,这引发了对部署的人脸识别系统的安全担忧。然而,在复杂的物理条件下,大多数攻击算法的可重复性仍然是一个挑战,这导致现有的攻击方法缺乏系统的评估。因此,必须制定一个框架,可以全面评估在物理世界中的人脸识别的脆弱性。为此,我们建议通过3D人脸建模来模拟物理世界中人脸的复杂变换,3D人脸建模可以作为物理人脸的数字对应物。通用框架允许我们控制不同的面部变化和身体条件,以全面地进行可再现的评估。在此基础上,我们进一步提出了一种考虑三维人脸变换和真实物理变化的Face3DAdv方法。大量的实验验证了Face3DAdv可以显着提高模拟和物理环境中各种物理可实现的对抗补丁的有效性,对抗各种白盒和黑盒人脸识别模型。
2022-03-10 cs.CV
RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer
Nanjing University(南京大学)
得益于深度神经网络的发展,人脸识别近年来取得了长足的进步,但最近发现,深度神经网络容易受到对抗性样本的影响。这意味着基于深度神经网络的人脸识别模型或系统也容易受到对抗性样本的影响。然而,现有的攻击人脸识别模型或系统的方法可以有效地完成白盒攻击,而不是黑盒模仿攻击,物理攻击,或方便的攻击,特别是对商业人脸识别系统。在本文中,我们提出了一种新的方法来攻击人脸识别模型或系统,称为RSTAM,它可以使用移动和紧凑的打印机打印的对抗性面具进行有效的黑盒模仿攻击。首先,RSTAM通过我们提出的随机相似性转换策略增强了对抗面具的可转移性。此外,我们提出了一种随机元优化策略,用于集成多个预训练的人脸模型,以生成更通用的对抗面具。最后,我们在CelebA-HQ,LFW,Makeup Transfer(MT)和CASIA-FaceV 5数据集上进行了实验。攻击的性能也在最先进的商业人脸识别系统上进行了评估:Face++,百度,阿里云,腾讯和微软。大量的实验表明,RSTAM可以有效地执行黑盒模仿攻击的人脸识别模型或系统。
2022-06-25 cs.CV
Towards Transferable Adversarial Attack against Deep Face Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
由于深度学习方法的发展,人脸识别在最近五年取得了巨大的成功。然而,已经发现深度卷积神经网络(DCNN)容易受到对抗性示例的影响。特别是,可转移对抗性示例的存在可能严重阻碍DCNN的鲁棒性,因为这种类型的攻击可以以完全黑盒的方式应用,而无需对目标系统进行查询。在这项工作中,我们首先研究了可转移的对抗攻击在人脸识别中的特点,通过显示的优势,特征级的方法比标签级的方法。然后,为了进一步提高特征级对抗示例的可移植性,我们提出了DFANet,这是一种用于卷积层的基于丢弃的方法,它可以增加代理模型的多样性并获得类似集合的效果。在各种训练数据库、损失函数和网络结构的最新人脸模型上进行的大量实验表明,该方法可以显着增强现有攻击方法的可移植性。最后,通过将DFANet应用于LFW数据库,我们生成了一组新的对抗性人脸对,可以成功攻击四个商业API,而无需任何查询。这个TALFW数据库可用于促进深度人脸识别的鲁棒性和防御的研究。
2020-11-23 cs.CV
Adversarial Relighting Against Face Recognition
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Cleveland State University(克利夫兰州立大学)
深度人脸识别(FR)在几个具有挑战性的数据集上实现了非常高的准确性,并促进了成功的现实世界应用,甚至对通常被认为是FR系统主要威胁的光照变化表现出很高的鲁棒性。然而,在现实世界中,不同的光照条件下造成的光照变化不能完全覆盖有限的人脸数据集。本文从一个新的角度来研究雷电对FR的威胁,对抗攻击,并识别新任务,即,对抗性再照明给定一张人脸图像,对抗性重光照的目标是产生一个自然重光照的对应物,同时愚弄最先进的深度FR方法。为此,我们首先提出了基于物理模型的对抗性重光照攻击(ARA),表示为基于干扰的对抗性重光照攻击(AQ-ARA)。它在FR系统的物理照明模型和指导下生成自然对抗光,并合成对抗重光照的人脸图像。此外,我们提出了自动预测对抗性重光照攻击(AP-ARA),通过训练对抗性重光照网络(ARNet),根据不同的输入面以一步的方式自动预测对抗性光,允许效率敏感的应用程序。更重要的是,我们建议通过精确的重新照明设备将上述数字攻击转移到物理ARA(PhyARA),使估计的对抗性照明条件在现实世界中重现。我们在三种最先进的深度FR方法上验证了我们的方法,即,FaceNet,ArcFace和CosFace,两个公共数据集。广泛而富有洞察力的结果表明,我们的工作可以生成逼真的对抗性重光照人脸图像,轻松地欺骗人脸识别任务,揭示特定光线方向和强度的威胁。
2022-08-27 cs.CV
Generative Adversarial Models for People Attribute Recognition in Surveillance
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
在本文中,我们提出了一种用于检测人属性(例如性别,种族,服装......)的深层架构。在监视环境中。我们的建议明确地处理分辨率差和遮挡问题,经常发生在监控镜头通过增强图像的手段,深度卷积生成对抗网络(DCGAN)。实验表明,通过结合我们的生成重建和深度属性分类网络,我们可以有效地提取属性,即使在分辨率差,并在存在强遮挡高达80%的整个人的形象。
2017-07-07 cs.CV
Attacks on State-of-the-Art Face Recognition using Attentional Adversarial Attack Generative Network
Beijing University of Posts and Telecommunications(北京邮电大学)
随着人脸识别技术的广泛应用,其易受攻击的弱点也逐渐暴露出来。因此,研究人脸识别网络如何受到攻击是非常重要的。在本文中,我们专注于一种新的方法来做对人脸识别网络的攻击,误导网络识别某人作为目标的人不误分类不显眼。同时,为了这个目的,我们引入了一个特定的注意力对抗攻击生成网络来生成虚假的人脸图像。为了捕捉目标人物的语义信息,本文增加了条件变分自编码器和注意力模块来学习人脸之间的实例级对应关系。与传统的两人GAN不同,本文引入人脸识别网络作为第三方参与生成器和攻击者之间的竞争,使得攻击者能够更好地模仿目标人物。生成的人脸很难引起旁观者的注意,可以逃避识别的国家的最先进的网络和他们中的大多数被识别为目标人物。
2018-11-30 cs.CV
Adversarial Examples Improve Image Recognition
Google(谷歌);Johns Hopkins University(约翰斯·霍普金斯大学)
对抗性示例通常被视为对ConvNets的威胁。在这里,我们提出了一个相反的观点:如果以正确的方式利用,对抗性示例可以用于改进图像识别模型。我们提出了AdvProp,这是一种增强的对抗性训练方案,它将对抗性示例视为额外的示例,以防止过拟合。我们方法的关键是对对抗性示例使用单独的辅助批量范数,因为它们与正常示例具有不同的底层分布。我们表明,AdvProp在各种图像识别任务中改进了各种模型,并且当模型更大时表现更好。例如,通过将AdvProp应用于ImageNet上的最新EfficientNet-B7 [28],我们在ImageNet(+0.7%),ImageNet-C(+6.5%),ImageNet-A(+7.0%),Stylized-ImageNet(+4.8%)上实现了显着改进。通过增强的EfficientNet-B8,我们的方法在没有额外数据的情况下实现了最先进的85.5% ImageNet top-1准确率。这一结果甚至超过了[20]中的最佳模型,该模型使用3.5亿Instagram图像(比ImageNet多3000倍)和多9.4倍的参数进行训练。模型可在https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet上获得。
2020-04-14 cs.CV
Adversarial Attacks for Optical Flow-Based Action Recognition Classifiers
Duke University(杜克大学)
深度学习研究的成功将深度模型带入了我们的社会越来越依赖的生产系统中,特别是在图像和视频领域。然而,最近的工作表明,这些基本上无法解释的模型在对手面前表现出明显的安全漏洞。在这项工作中,我们开发了一个强大的无针对性的对抗攻击的动作识别系统在白盒和黑盒设置。动作识别模型与图像分类模型的不同之处在于,它们的输入包含一个时间维度,我们在攻击中明确针对这个维度。从图像分类器攻击中汲取灵感,我们创建了新的攻击,在UCF-101数据集上训练的双流分类器上实现了最先进的成功率。我们发现,我们的攻击可以显着降低模型的性能与稀疏和难以察觉的扰动的例子。我们还证明了我们的攻击黑盒动作识别系统的可转移性。
2018-11-28 cs.CV
Adv-Attribute: Inconspicuous and Transferable Adversarial Attack on Face Recognition
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);Zhejiang University(浙江大学)
深度学习模型在处理对抗攻击时表现出了脆弱性。现有的攻击几乎都是针对像素和超像素等低层实例,很少利用语义线索。对于人脸识别攻击,现有方法通常在像素上产生l_p范数扰动,然而,导致低攻击可移植性和对去噪防御模型的高脆弱性。在这项工作中,而不是执行扰动的低级别的像素,我们建议通过扰动的高级别的语义,以提高攻击的可转移性。具体而言,设计了一个统一的灵活框架,对抗属性(Adv-Attribute),以生成对人脸识别的不显眼和可转移的攻击,该框架根据人脸识别特征与目标的差异指导,制造对抗噪声并将其添加到不同的属性中。此外,引入了重要性感知属性选择和多目标优化策略,进一步保证了隐蔽性和攻击强度的平衡。在FFHQ和CelebA-HQ数据集上进行的大量实验表明,所提出的Adv-Attribute方法实现了最先进的攻击成功率,同时保持了对最近攻击方法的更好的视觉效果。
2022-11-18 cs.CV
Similarity-based Gray-box Adversarial Attack Against Deep Face Recognition
School of Information Technology, Monash University Malaysia(蒙纳士大学马来西亚校区信息技术学院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Faculty of Computer Science and Technology, Wenzhou University(温州大学计算机科学与技术学院);Monash Suzhou Research Institute(蒙纳士苏州研究院);Department of Data Science and AI, Monash University(蒙纳士大学数据科学与人工智能系);The University of Sassari(萨萨里大学)
大多数对抗攻击技术在揭示系统的全部知识(\emph{white-box})时对深度人脸识别表现良好。然而,这样的技术在灰箱设置中不成功,其中面部模板对攻击者是未知的。在这项工作中,我们提出了一个基于相似性的灰盒对抗攻击(SGADV)技术与新开发的目标函数。SGADV利用相异性分数来产生优化的对抗性示例,即,基于相似性的对抗攻击。该技术适用于针对认证系统的白盒和灰盒攻击,这些认证系统使用相异性分数来确定真实用户或冒名顶替者。为了验证SGADV的有效性,我们在白盒和灰盒设置中对LFW,CelebA和CelebA-HQ的人脸数据集进行了广泛的实验,以对抗FaceNet和InsightFace的深度人脸识别模型。实验结果表明,该方法在灰盒环境下的性能明显优于现有的对抗攻击技术。因此,我们总结说,基于相似性的方法来开发对抗性的例子可以令人满意地满足灰盒攻击的情况下,取消身份验证。
2022-01-12 cs.CV
Adversarial Appearance Learning in Augmented Cityscapes for Pedestrian Recognition in Autonomous Driving
TU Munich(慕尼黑技术大学);BMW AG(宝马集团);Google(谷歌)
本文提出一种基于数据增强和对抗性光照学习生成虚拟行人的流程,以缩小合成与真实域差距,有效提升自动驾驶场景下的行人识别及分割性能。
2025-09-16 cs.CV
Improving Heterogeneous Face Recognition with Conditional Adversarial Networks
彩色图像和深度图像之间的异构人脸识别对于其中形状信息被视为仅涉及图库的现实世界应用是非常期望的能力。在本文中,我们提出了一种跨模态深度学习方法,作为应对这一挑战的有效和高效的解决方案。具体来说,我们首先学习两个卷积神经网络(CNN)来分别提取2D和2.5D人脸特征。一旦经过训练,它们可以作为另一个双向CNN的预训练模型,该模型探索颜色和深度之间的相关部分,以进行异构匹配。与大多数传统的交叉模态方法相比,我们的方法还使用条件生成对抗网络(cGAN)从单色图像进行精确的深度图像重建,并通过融合多模态匹配结果进一步提高识别性能。通过在基准FRGC 2D/3D人脸数据库上的定性和定量实验,我们证明了所提出的流水线在异构人脸识别上的性能优于最先进的性能,并确保了一个非常有效的在线阶段。
2017-09-13 cs.CV
VideoPure: Diffusion-based Adversarial Purification for Video Recognition
Shanghai Engineering Research Center of AI Robotics, Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院上海市人工智能机器人工程研究中心);Engineering Research Center of AI & Robotics, Ministry of Education, Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院教育部人工智能与机器人工程研究中心);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对视频识别模型的对抗防御问题,提出首个基于扩散的视频净化框架VideoPure,通过时序DDIM反演和引导式时空优化去除对抗噪声并保持时间一致性,实现高效且鲁棒的视频对抗防御。
2025-01-25 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology(北京理工大学);Big Data Research Center, University of Electronic Science and Technology of China(电子科技大学大数据研究中心)
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务,视频往往是无标签的,注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频,而不是人工注释。然而,由于域转移和异构特征表示的问题,在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中,我们提出了一种新的方法,称为分层生成对抗网络(HiGAN),以增强视频中的识别(即,目标域)通过从图像转移知识(即,源域)。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习,我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明,与现有的领域自适应方法相比,该方法是有效的.
2018-05-11 cs.CV
Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition
Chiba University(千叶大学)
本研究利用联合傅里叶变换分析图卷积神经网络在骨架动作识别中的鲁棒性,发现对抗训练能增强鲁棒性且不引入权衡,但傅里叶方法无法解释部位遮挡的脆弱性。
2023-12-30 cs.CV
Aerial-ground LiDAR place recognition with patch-level self-supervised learning and expanded reciprocal re-ranking
University of Calgary(卡尔加里大学);Nanchang University(南昌大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
提出一种空地激光雷达地点识别框架,通过多尺度块级自监督学习缩小域差距,并利用扩展互逆重排序算法减少误检,在多个数据集上显著提升检索精度。
2026-06-18 cs.CV cs.RO
Adversarial Discriminative Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA(模式识别国家重点实验室,中国科学院自动化研究所);Center for Research on Intelligent Perception and Computing, CASIA(智能感知与计算研究中心,中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(脑科学与智能技术卓越创新中心,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
在异构人脸识别(HFR)中,不同人脸模态的感知模式之间的差距仍然是一个具有挑战性的问题。本文提出了一个对抗性的区别性特征学习框架,通过在原始像素空间和紧凑特征空间上的对抗性学习来缩小感知差距。该框架将跨光谱人脸幻觉和判别特征学习集成到端到端对抗网络中。在像素空间中,我们利用生成对抗网络来执行跨光谱人脸超分辨率。引入了一种精细的双路径模型来缓解图像配对不足的问题,该模型兼顾了全局结构和局部纹理。在特征空间中,分别采用对抗损失和高阶方差差异损失来度量两个异质分布之间的全局差异和局部差异。这两个损失增强了域不变特征学习和模态独立噪声去除。在三个NIR-VIS数据库上的实验结果表明,该方法在不需要复杂网络或大规模训练数据集的情况下,性能优于现有的HFR方法。
2017-09-12 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology(英诺赛科科技);University of South Carolina(南卡罗来纳大学);Qualcomm AI Research(高通人工智能研究院)
提出了一种新的无身份条件生成对抗网络(IF-GAN)用于人脸表情识别(FER),以显式地减少由身份相关的面部属性(例如,年龄种族和性别作为端到端系统的一部分,cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后,无身份FER是可能的,因为生成的图像具有相同的合成“平均”身份,并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明,IF-GAN优于基线CNN,并实现了FER的最先进性能。
2021-05-20 cs.CV
Heuristic Black-box Adversarial Attacks on Video Recognition Models
Jilin University(吉林大学);Fudan University(复旦大学);Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学)
我们研究了黑盒环境下攻击视频识别模型的问题,在黑盒环境下,模型信息是未知的,对手只能进行查询来检测预测的前1类及其概率。与对图像的黑盒攻击相比,攻击视频更具挑战性,因为由于视频的高维性,搜索视频上的对抗性扰动的计算成本要高得多。为了克服这一挑战,我们提出了一种启发式黑盒攻击模型,该模型仅在选定的帧和区域上生成对抗性扰动。更具体地说,提出了一种基于竞争的算法来衡量视频中每个帧对生成对抗性示例的重要性。该算法根据框架的重要性,在生成的对抗样本具有较强的对抗攻击能力的框架子集中搜索一个子集,同时保持扰动小于给定的界。此外,为了进一步提高攻击效率,我们建议只在选定帧的显著区域上生成扰动。以这种方式,所生成的扰动在时间域和空间域中都是稀疏的。在UCF-101数据集和HMDB-51数据集上对两种主流视频识别方法进行攻击的实验结果表明,所提出的启发式黑盒对抗攻击方法可以显著降低计算开销,并使两种数据集上的非目标攻击的查询次数减少28%以上.
2019-11-21 cs.CV
FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
影响视觉人脸识别的因素很多,如低分辨率图像、年龄、光照和姿态变化等,其中最重要的问题之一就是低分辨率的人脸图像,这会导致人脸识别的性能下降。大多数通用的人脸识别算法通常假设人脸图像具有足够的分辨率。然而,在实践中,许多应用往往没有足够的图像分辨率。现代人脸超分辨率模型表现出合理的性能,从其相应的低分辨率图像重建高分辨率图像。然而,他们不考虑身份级别的信息,在幻觉,直接影响低分辨率的人脸识别的结果。为了解决这个问题,我们提出了一个人脸幻觉生成对抗网络(FH-GAN),它提高了低分辨率人脸图像的质量,并准确地识别这些低质量的图像。具体来说,我们做了以下贡献:1)我们提出了FH-GAN网络,一个端到端的系统,同时提高了人脸幻觉和人脸识别。该网络的新颖性取决于通过结合用于身份保护的面部识别网络将身份信息并入基于GAN的面部超分辨率算法中。2)我们还提出了一种新的人脸幻觉网络,即密集稀疏网络(DSNet),它改进了最先进的人脸幻觉。3)我们通过报告对人脸幻觉和识别的良好结果,展示了联合训练人脸识别和基于GAN的DSNet的好处。
2019-05-16 cs.CV
AdvBiom: Adversarial Attacks on Biometric Matchers
TECH5
随着深度学习模型的出现,人脸识别系统已经取得了令人印象深刻的识别率。这一成功背后的主力是卷积神经网络(CNN)和大型训练数据集的可用性。然而,我们表明,人类无法察觉的小变化,人脸样本可以逃避大多数流行的人脸识别系统。更令人担忧的是,同一个生成器将来可以扩展到其他特征。在这项工作中,我们提出了如何这样的生成器可以被训练,并扩展到其他生物识别方式,如指纹识别系统。
2023-01-10 cs.CV
Evaluation of Momentum Diverse Input Iterative Fast Gradient Sign Method (M-DI2-FGSM) Based Attack Method on MCS 2018 Adversarial Attacks on Black Box Face Recognition System
Autonomous University of Barcelona(巴塞罗那自治大学)
卷积神经网络是最近基于深度学习的方法在分类、分割和检测等各种计算机视觉任务上取得成功的关键工具。卷积神经网络在这些任务中实现了最先进的性能,每天都在推动计算机视觉和AI的极限。然而,对计算机视觉系统的对抗攻击正在威胁其在现实生活和安全关键应用中的应用。因此,发现对抗性样本对于发现易受攻击的模型,采取防范措施克服对抗攻击具有重要意义。在这方面,MCS 2018黑盒人脸识别挑战对抗攻击旨在促进寻找新的对抗攻击技术及其在生成对抗示例方面的有效性的研究。在这一挑战中,攻击的本质是针对黑箱神经网络的攻击,我们不知道黑箱的内部结构。攻击者必须修改一个人的五张图像的集合,使得神经网络将它们误分类为另一个人的五张图像的集合。在本次比赛中,我们应用动量多样输入迭代快速梯度符号方法(M-DI 2-FGSM)对黑箱人脸识别系统进行了对抗攻击。我们在MCS 2018黑盒人脸识别挑战的对抗攻击上测试了我们的方法,并发现了有竞争力的结果。我们的解决方案得到了验证得分1.404,优于基线得分1.407,在排行榜上的132个团队中排名第14位。进一步的改进可以通过从源图像中找到改进的特征提取、仔细选择超参数、找到改进的黑盒替代模型和更好的优化方法来实现。
2018-06-23 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab(合成现实实验室);University of Central Florida(中佛罗里达大学)
用于面部表情识别(FER)的表示通常包含表情信息以及其他变化,如身份和照明。在本文中,我们提出了一种新的解纠缠的表情学习-生成对抗网络(DE-GAN),明确地解开面部表情表示身份信息。在该通过重构方法的学习中,通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类,改进了表情图像重构和表情表示学习的分离过程。然后,使用简单的分类器,如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库(CK+,MMI,Oulu-CASIA)上进行的。实验结果表明,所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
Skeletonization-Based Adversarial Perturbations on Large Vision Language Model's Mathematical Text Recognition
Doshisha University Kyoto, 610-0394 Japan;University of Brescia Brescia, 25134 Italy;Independent Researcher Tokyo, Japan
本文提出基于骨架化的对抗扰动方法,用于评估大视觉语言模型在数学文本识别中的视觉能力和局限性,并通过ChatGPT验证其实际应用价值。
2026-01-08 cs.CV
Temporal Consistency Constrained Transferable Adversarial Attacks with Background Mixup for Action Recognition
School of Computer Science and Technology, Hangzhou Dianzi University(计算机科学与技术学院,杭州电子大学)
针对动作识别模型的可迁移对抗攻击,提出背景混合与时序一致性约束方法,减少替代模型依赖并稳定攻击方向,在UCF101、Kinetics-400和ImageNet上显著提升迁移性。
2025-05-23 cs.CV
Open-set Adversarial Defense with Clean-Adversarial Mutual Learning
Hong Kong Baptist University(香港浸会大学);AWS AI Labs(亚马逊云科技人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
开放集识别和对抗性防御研究了深度学习的两个关键方面,这对现实世界的部署至关重要。开集识别的目标是在测试过程中从开集类中识别样本,而对抗性防御的目标是使网络鲁棒化,以对抗受不可感知的对抗性噪声干扰的图像。本文证明了开集识别系统容易受到对抗性样本的影响。此外,本文表明,在已知类上训练的对抗性防御机制无法很好地推广到开集样本。基于这些观察,我们强调开放式对抗防御(OSAD)机制的必要性。本文提出了一种开放集合防御网络与清洁对抗相互学习(OSDN-CAML)作为解决OSAD问题。所提出的网络设计了一个编码器,该编码器具有双关注特征去噪层,再加上一个分类器来学习无噪声的潜在特征表示,该表示自适应地去除由信道和空间关注滤波器引导的对抗性噪声。利用几种技术来学习无噪声和信息丰富的潜在特征空间,目的是提高对抗性防御和开集识别的性能。首先,我们结合了一个解码器,以确保干净的图像可以很好地重建所获得的潜在功能。然后,自我监督,以确保潜在的功能是足够的信息进行辅助任务。最后,为了利用干净图像分类中更多的互补知识来促进特征去噪和搜索开集识别的更广义的局部最小值,我们进一步提出了干净对抗相互学习,其中进一步引入对等网络(分类干净图像)与分类器(分类对抗图像)相互学习。
2022-02-12 cs.CV
Improving Visual Quality and Transferability of Adversarial Attacks on Face Recognition Simultaneously with Adversarial Restoration
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
提出对抗修复(AdvRestore)方法,利用人脸修复潜扩散模型同时提升对抗人脸样本的视觉质量与可迁移性,实验验证其有效性。
2024-03-19 cs.CV
Understanding the Robustness of Skeleton-based Action Recognition under Adversarial Attack
University of Leeds(利兹大学);Zhejiang University(浙江大学);University of Bath(巴斯大学)
动作识别在自动驾驶汽车、监控等领域有着广泛的应用,其鲁棒性是主要关注点。在本文中,我们研究了最先进的动作识别器对对抗攻击的鲁棒性,这是迄今为止很少研究的。为此,我们提出了一种新的方法来攻击依赖于3D骨架运动的动作识别器。我们的方法涉及到一个创新的感知损失,确保了攻击的不可感知性。实证研究表明,我们的方法是有效的白盒和黑盒的情况下。它的普遍性在各种动作识别器和数据集上得到了证明。它的多功能性表现在不同的进攻策略上。它的欺骗性在广泛的知觉研究中得到了证明。我们的方法表明,对抗攻击的三维骨骼运动,一种类型的时间序列数据,是显着不同于传统的对抗攻击问题。它的成功引起了人们对动作识别器鲁棒性的严重关注,并提供了潜在改进的见解。
2021-03-18 cs.CV
Self-Supervised Human Activity Recognition by Augmenting Generative Adversarial Networks
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出了一种新的方法来增强生成对抗网络(GAN)的自监督任务,以提高其编码视频表示的能力,这些视频表示在人类活动识别等下游任务中非常有用。在所提出的方法中,输入视频帧通过不同的空间变换(诸如旋转、平移和剪切)或时间变换(诸如重排帧的时间顺序)来随机变换。然后,通过引入辅助损耗,鼓励用户预测应用变换。随后,结果证明了所提出的方法优于基线方法,用于提供在KTH,UCF 101和Ball-Drop等数据集上进行的人类活动识别中使用的视频的有用表示。Ball-Drop数据集是一个专门设计的数据集,用于通过身体和认知要求高的任务来测量儿童的执行功能。使用所提出的方法而不是基线方法的功能,导致前1名的分类精度提高了4%以上。此外,消融研究进行了调查的下游任务的不同转换的贡献。
2020-12-28 cs.CV
Examining the Human Perceptibility of Black-Box Adversarial Attacks on Face Recognition
Boston University(波士顿大学)
现代开放的互联网包含数十亿张人脸的公共图像,特别是在世界一半人口使用的社交媒体网站上。在这种情况下,人脸识别(FR)系统有可能将人脸与特定的姓名和身份进行匹配,从而产生明显的隐私问题。对抗攻击是一种很有前途的方式,通过破坏用户识别人脸的能力来授予用户来自FR系统的隐私。然而,人类观察者可以察觉到这种攻击,特别是在更具挑战性的黑盒威胁模型下。在文献中,这种攻击的不可感知性的理由取决于边界度量,如$\ell_p$规范。然而,关于这些规范如何与人类感知相匹配的研究并不多。通过检查和测量最近的黑盒攻击在人脸识别环境中的有效性及其相应的人类感知,通过调查数据,我们证明了在感知的权衡,发生攻击变得更加积极。我们还展示了$\ell_2$规范和其他指标如何不与人类的感知性以线性方式相关,从而使这些规范在测量对抗攻击感知性时次优。
2021-07-19 cs.CV
APC: Transferable and Efficient Adversarial Point Counterattack for Robust 3D Point Cloud Recognition
Department of Artificial Intelligence, University of Seoul, South Korea(首尔大学人工智能系,韩国);Department of Geo Informatics, University of Seoul, South Korea(首尔大学地理信息系,韩国)
本文提出APC,一种轻量级输入级净化模块,通过生成实例特定的对抗扰动有效中和攻击,并通过混合训练策略提升跨不同攻击的泛化能力,实验表明其在3D识别基准上达到最先进的防御性能。
2026-04-17 cs.CV