Test-time adversarial detection and robustness for localizing humans using ultra wide band channel impulse responses
Graz University of Technology(格拉茨技术大学)
汽车无钥匙进入系统采用神经网络来定位其操作员。使用测试时对抗性防御使这样的系统具有防御对抗攻击的能力,而无需预先对对抗性样本进行训练。我们提出了一种测试时对抗性示例检测器,该检测器通过量化预先训练的神经网络的局部中间响应和辅助softmax层的置信度来检测输入对抗性示例。此外,为了使网络的鲁棒性,我们通过非迭代输入样本裁剪来减少不相关的特征。使用我们的方法,平均性能超过15个级别的对抗扰动的快速梯度符号法(FGSM)和6.3%的基本迭代法(BIM)和投影梯度法(PGD)分别增加了55.33%和6.3%。
2022-11-10 cs.AI cs.LG
A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection
BrainChip Inc.(脑芯片公司)
研究一种新型对抗样本,通过在MNIST、CIFAR-10和ImageNet上实验,回答人类与模型差距、OOD检测工具及现有防御能否应对该样本三个问题,发现人类表现比模型差,现有检测工具失效,经典防御无效,且攻击对低层次纹理破坏更快。
2026-07-28 cs.AI cs.CV cs.LG
Quality-Preserving Imperceptible Adversarial Attack on Skeleton-based Human Action Recognition
Durham University(杜伦大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
针对骨架动作识别的对抗攻击常引入噪声扰动降低动作质量,本文提出一种基于分布的对抗攻击方法,通过最小化经验风险与真实风险的差距来保持动作质量,并设计新指标评估自然性,实验表明该方法在攻击成功率和动作质量上均优于现有方法。
2026-06-12 cs.CV cs.LG
Graded Suspiciousness of Adversarial Texts to Human
SPi
本研究通过人类评价数据集和回归模型量化对抗文本的可疑性,并展示如何利用该分数生成更不易被察觉的对抗文本,为降低对抗文本可疑性提供基线。
2025-01-23 cs.CL cs.CR cs.LG
On the Effect of Adversarial Training Against Invariance-based Adversarial Examples
MCI Management Center Innsbruck(因斯布鲁克管理中心)
本文研究基于不变性的对抗样本对CNN对抗训练的影响,发现基于不变性与基于扰动的对抗训练应同时而非依次进行,并指出先前标签确定方法有误,改用人类判定标签后可同时提升对两类对抗样本的鲁棒性。
2023-02-16 cs.AI cs.LG
Perception-Aware Attack: Creating Adversarial Music via Reverse-Engineering Human Perception
University of South Florida(南佛罗里达大学);University of Oklahoma(俄克拉荷马大学);American University(美利坚大学)
最近,对抗性机器学习攻击对实际音频信号分类系统构成了严重的安全威胁,包括语音识别、说话人识别和音乐版权检测。以前的研究主要集中在通过在原始信号上创建类似噪声的小扰动来确保攻击音频信号分类器的有效性。目前还不清楚攻击者是否能够创建除了攻击有效性之外还可以被人类很好地感知的音频信号扰动。这对于音乐信号尤其重要,因为它们是精心制作的,具有人类愉悦的音频特性。在这项工作中,我们制定了对抗攻击对音乐信号作为一个新的感知感知攻击框架,它集成了人类的学习到对抗攻击设计。具体来说,我们进行了一项人类研究,以量化人类对音乐信号变化的感知。我们邀请人类参与者根据原始和扰动的音乐信号对他们的感知偏差进行评级,并通过回归分析对人类感知过程进行逆向工程,以预测给定扰动信号的人类感知偏差。感知攻击,然后制定为一个优化问题,找到一个最佳的扰动信号,以最大限度地减少从回归人类感知模型的预测感知偏差。我们使用感知感知框架来设计一个针对YouTube版权检测器的现实对抗性音乐攻击。实验表明,感知感知攻击产生的对抗性音乐的感知质量明显优于以前的工作。
2022-07-26 cs.AI cs.CR cs.LG
Can 3D Adversarial Logos Cloak Humans?
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science and Technology of China(中国科学技术大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
随着对抗攻击的趋势,研究人员试图在2D场景中欺骗训练有素的物体检测器。在其中许多攻击中,一种有趣的具有潜在现实世界用途的新攻击形式是将对抗性补丁(例如徽标)附加到图像中。然而,我们对3D渲染视图中的对抗攻击知之甚少,这对于攻击在物理世界中持续强大至关重要。本文提出了一种新的3D对抗性徽标攻击:我们从2D纹理图像构造一个任意形状的徽标,并通过称为徽标变换的纹理映射将该图像映射到3D对抗性徽标。然后将生成的3D对抗性徽标视为对抗性纹理,从而可以轻松操纵其形状和位置。这极大地扩展了计算机图形合成图像对抗训练的多功能性。与传统的对抗补丁相反,这种新形式的攻击被映射到3D对象世界,并通过可微渲染反向传播到2D图像域。此外,与现有的对抗补丁不同,我们的新3D对抗标志显示在模型旋转下可以稳健地欺骗最先进的深度对象检测器,从而进一步实现物理世界中的现实攻击。我们的代码可在https://github.com/TAMU-VITA/3D_Adversarial_Logo上获得。
2020-11-27 cs.CV cs.LG stat.ML
Searching for the Essence of Adversarial Perturbations
National Taiwan University(台湾大学)
神经网络已经在各种机器学习领域中展示了最先进的性能。然而,在输入数据中引入恶意扰动(称为对抗性示例)已被证明会欺骗神经网络预测。这对自动驾驶和文本识别等现实应用构成了潜在风险。为了减轻这些风险,全面了解对抗性例子的机制至关重要。在这项研究中,我们证明了对抗性扰动包含人类可识别的信息,这是神经网络错误预测的关键同谋者,与人们普遍认为人类无法识别的特征在愚弄网络方面发挥着关键作用相反。这种人类可识别特征的概念使我们能够解释对抗性扰动的关键特征,包括它们的存在,不同神经网络之间的可转移性,以及对抗性训练的可解释性。我们还发现了欺骗神经网络的对抗扰动的两个独特性质:掩蔽和生成。另外,当神经网络对输入图像进行分类时,识别出一个特殊的类,即互补类。对抗性扰动中人类可识别信息的存在使研究人员能够深入了解神经网络的工作原理,并可能导致检测和防御对抗攻击的技术的发展。
2023-02-03 cs.CV cs.LG cs.NE
Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University, USA(杜兰大学(美国))
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。针对图像分类的对抗性示例的最新工作集中于直接修改具有微小扰动的像素。所有这些工作中的一个共同要求是恶意扰动应该足够小(由某个p的L_p范数测量),以便人类无法感知它们。然而,小的扰动可能是不必要的限制,并限制了生成的对抗性示例的多样性。此外,基于L_p范数的距离度量忽略了隐藏在图像中对人类感知很重要的重要结构模式。因此,即使在最近的作品中引入了微小的扰动,也常常使对抗性的例子对人类来说不那么自然。更重要的是,它们通常不能很好地转移,因此在攻击黑盒模型时效率较低,特别是对于那些受防御机制保护的模型。在本文中,我们提出了一种结构保持变换(SPT),用于生成具有极高可移植性的自然和多样的对抗性示例。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。在MNIST和Fashion-MNIST数据集上的实证结果表明,通过我们的方法生成的对抗性示例可以轻松绕过强对抗性训练。此外,它们可以很好地转移到其他目标模型,而不会损失或损失很少的成功攻击率。
2018-12-22 cs.AI cs.CR cs.CV
Spatial-frequency channels, shape bias, and adversarial robustness
New York University(纽约大学)
该研究通过临界带掩蔽实验对比人类与神经网络的物体识别空间频率通道,发现网络通道远宽于人类,且对抗训练会进一步拓宽通道,提出窄通道网络或更具鲁棒性。
2023-11-05 cs.CV cs.LG eess.IV
On the Existence of the Adversarial Bayes Classifier (Extended Version)
Google Research(谷歌研究院);Courant Institute(库朗研究所)
本文研究对抗鲁棒性中的贝叶斯最优分类器存在性问题,给出通用充分条件,并修正原论文错误,将结果扩展到所有范数。
2023-08-29 cs.LG stat.ML
Crafting Adversarial Examples for Deep Learning Based Prognostics (Extended Version)
University of Missouri(密苏里大学)
在制造业中,意外故障被认为是主要的运营风险,因为它们会阻碍生产力并造成巨大损失。最先进的预测和健康管理(PHM)系统结合了深度学习(DL)算法和物联网(IoT)设备,以确定设备的健康状态,从而减少停机时间,降低维护成本并提高生产率。不幸的是,物联网传感器和DL算法都容易受到网络攻击,因此对PHM系统构成了重大威胁。在本文中,我们采用了对抗性的例子制作技术从计算机视觉领域,并将其应用到PHM领域。具体来说,我们使用快速梯度符号方法(FGSM)和基本迭代法(BIM)制作对抗性示例,并将其应用于基于长短期记忆(LSTM),门控递归单元(GRU)和卷积神经网络(CNN)的PHM模型。我们使用NASA的涡轮风扇发动机数据集评估了对抗攻击的影响。结果表明,所有评估的PHM模型都容易受到对抗攻击,并可能导致剩余使用寿命估计的严重缺陷。所获得的结果还表明,精心制作的对抗性示例具有高度的可转移性,并且可能对PHM系统造成重大损害。
2020-09-28 cs.AI cs.CR cs.LG
Perturbations in the Wild: Leveraging Human-Written Text Perturbations for Realistic Adversarial Attack and Defense
Penn State University(宾夕法尼亚州立大学);Yahoo Research(雅虎研究院)
我们提出了一种新的算法,ANTHRO,归纳提取超过600 K人类写的文本扰动在野生环境中,并利用它们现实的对抗攻击。与现有的基于字符的攻击,往往演绎假设一套操纵策略,我们的工作是基于从现实世界的文本的实际观察。我们发现ANTHRO生成的对抗性文本在(1)攻击成功率,(2)原始文本的语义保留和(3)隐秘性之间实现了最佳权衡-即与人类文字无法区分,因此更难被标记为可疑。具体来说,我们的攻击在BERT和RoBERTa上分别实现了大约83%和91%的攻击成功率。此外,当由外行和专业人类工作者评估时,它在语义保留和隐蔽性方面的表现优于TextBugger基线,分别增加了50%和40%。与Perspective API相比,ANTHRO可以通过对抗训练进一步增强BERT分类器在理解人类编写的有毒文本的不同变化方面的性能。
2022-03-19 cs.CL cs.CR cs.LG
Investigating the significance of adversarial attacks and their relation to interpretability for radar-based human activity recognition systems
Ghent University(根特大学);Princeton University(普林斯顿大学)
鉴于卷积神经网络(CNN)在解决各种计算机视觉挑战方面取得了巨大成功,它越来越多地用于灵巧家庭应用,其中许多应用依赖于对人类活动的自动识别。在这种情况下,低功率雷达设备最近作为记录传感器越来越受欢迎,因为这些设备的使用允许减轻许多隐私问题,这是使用传统摄像机时的关键问题。在设计灵巧家庭应用程序时经常提到的另一个问题是这些应用程序对网络攻击的弹性。例如,众所周知,图像和CNN的组合容易受到对抗性示例的攻击,这些示例是有害的数据点,迫使机器学习模型在测试期间生成错误的分类。在本文中,我们研究了基于雷达的CNN对对抗攻击的脆弱性,以及这些基于雷达的CNN被设计用于识别人类手势。通过对四种独特威胁模型的实验,我们表明基于雷达的CNN容易受到白盒和黑盒对抗攻击的影响。我们还揭示了极端对抗攻击情况的存在,在这种情况下,可以通过只扰动输入的填充来改变基于雷达的CNN做出的预测,而不触及动作本身发生的帧。此外,我们观察到,基于梯度的攻击行使扰动不是随机的,但对输入数据的重要特征。我们强调这些重要的功能,利用梯度CAM,一个流行的神经网络可解释性方法,从而显示对抗扰动和预测可解释性之间的联系。
2021-01-26 cs.CV cs.LG cs.MM
Collecting high-quality adversarial data for machine reading comprehension tasks with humans and models in the loop
Explosion;University of Arizona(亚利桑那大学)
我们介绍了我们作为注释者在创建高质量的对抗性机器阅读理解数据方面的经验,这些数据用于第一次动态对抗性数据汇集研讨会(DADC)任务1的提取QA。DADC是一个紧急的数据汇集范例,模型和人都在循环中。我们建立了一个准实验性的注释设计,并对不同数量的注释者进行了定量分析,重点是成功的对抗攻击、成本分析和注释者置信度相关性。考虑到数据集中段落的不同主题,我们进一步对任务的感知难度进行了定性分析,并得出了可能对未来DADC任务和相关注释接口的工作人员有价值的建议和建议。
2022-06-28 cs.CL cs.HC cs.LG
Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes
Indian Institute of Science(印度科学学院)
作为人类,我们固有地基于其主要特征来感知图像,而忽略嵌入在较低位平面内的噪声。相反,众所周知,深度神经网络可以自信地对被精心制作的扰动破坏的图像进行错误分类,这些扰动几乎是人眼无法察觉的。在这项工作中,我们试图通过训练网络来解决这个问题,以根据高位平面中的信息形成粗略的印象,并仅使用低位平面来改进其预测。我们证明,通过对不同量化图像中学习到的表示施加一致性,与正常训练的模型相比,网络的对抗鲁棒性显着提高。目前最先进的对抗对抗攻击的防御需要使用对抗样本显式训练网络,这些样本的生成在计算上是昂贵的。虽然此类使用对抗训练的方法继续取得最佳结果,但这项工作为实现鲁棒性铺平了道路,而无需显式地对对抗样本进行训练。因此,所提出的方法更快,也更接近人类的自然学习过程。
2020-04-01 cs.CR cs.CV cs.LG
Feature-Filter: Detecting Adversarial Examples through Filtering off Recessive Features
Wuhan University(武汉大学);Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)正受到对抗性示例攻击的威胁。攻击者可以通过向输入添加精心设计的小扰动来轻松改变DNN的输出。对抗性样本检测是基于DNNs的鲁棒服务的基础工作。对抗性例子显示了人类和DNN在图像识别方面的差异。从以人为中心的角度来看,图像特征可以分为人类可理解的显性特征和人类不可理解但被DNN利用的隐性特征。在本文中,我们发现,不可感知的对抗性的例子是产品的隐性特征误导神经网络,和一个对抗攻击本质上是一种方法,以丰富这些隐性特征的图像。对抗样本的不可感知性表明扰动丰富了隐性特征,但几乎不影响显性特征。因此,对抗性样本对过滤掉隐性特征很敏感,而良性样本对这种操作免疫。受这个想法的启发,我们提出了一种仅标签的对抗性检测方法,称为特征过滤器。突变滤波器利用离散余弦变换近似分离显性特征和隐性特征,得到滤除隐性特征的突变图像。通过只比较DNN在输入和其突变体上的预测标签,特征过滤器可以以高精度和低误报率实时检测不可感知的对抗性示例。
2021-11-29 cs.LG
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Limited but consistent gains in adversarial robustness by co-training object recognition models with human EEG
Goethe University(歌德大学);The Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);Freie Universität Berlin(柏林自由大学);Frankfurt Institute for Advanced Studies (FIAS)(法兰克福高级研究所);Ernst Strüngmann Institute for Neuroscience(恩斯特·施特龙格曼神经科学研究所)
本研究通过训练ResNet50模型执行分类与EEG预测双任务,发现模型EEG预测准确率与对抗鲁棒性提升显著相关,效应有限但一致,顶枕区电极贡献最大,为相关后续研究开辟了方向。
2024-12-12 cs.AI cs.HC cs.LG
When and How to Fool Explainable Models (and Humans) with Adversarial Examples
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM))
本文扩展对抗样本概念适配可解释机器学习场景,提出综合框架研究人类评估下可解释模型对抗样本的生成可能性与方法,考虑多类关键因素确定场景化攻击策略,为该领域更严谨研究奠定基础。
2023-07-07 cs.CR cs.LG
GreedyFool: Multi-Factor Imperceptibility and Its Application to Designing a Black-box Adversarial Attack
Wuhan University(武汉大学);Pennsylvania State University(宾夕法尼亚州立大学)
对抗样本是精心设计的输入样本,其中的扰动对人眼来说是不可感知的,但很容易误导深度神经网络(DNN)的输出。现有的作品通过利用简单的度量来惩罚扰动来合成对抗性示例,这些扰动缺乏对人类视觉系统(HVS)的充分考虑,从而产生明显的伪影。为了探讨为什么扰动是可见的,本文总结了四个主要因素影响人眼的感知能力。在此基础上,我们设计了一个多因素的度量MulFactorLoss来衡量良性样本和敌对样本之间的感知损失。为了测试多因素度量的不可感知性,我们提出了一种新的黑盒对抗攻击,称为GreedyFool。GreedyFool应用差分进化来评估扰动像素对目标DNN置信度的影响,并引入贪婪近似来自动生成对抗性扰动。我们对ImageNet和CIFRA-10数据集进行了广泛的实验,并对60名参与者进行了全面的用户研究。实验结果表明,MulFactorLoss是一个比现有的像素度量更不易察觉的度量,GreedyFool以黑盒方式实现了100%的成功率。
2021-11-29 cs.CR cs.CV cs.LG
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
尽管最近取得了进展,但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集,其中人类注释者试图编写欺骗模型在环的示例,可以提高模型的鲁棒性,但这个过程是昂贵的,这限制了收集数据的规模。在这项工作中,我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道,选择源段落,识别候选答案,生成问题,然后最终过滤或重新标记它们以提高质量。使用这种方法,我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据,我们将AdversarialQA数据集的最新技术水平提高了3.7F1,并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估,以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性:crowdworker平均只能欺骗我们的模型8.8%的时间,而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models
Columbia University(哥伦比亚大学)
提出StyleTTS 2模型,通过风格扩散和结合大型语音语言模型的对抗训练,首次在单/多说话人数据集上实现人类水平的文本转语音合成。
2023-11-20 cs.AI cs.CL cs.LG
Solving adversarial examples requires solving exponential misalignment
研究通过分析神经网络的感知流形维度,揭示对抗样本的起源与机器与人类感知的指数级不一致,并提出维度一致是提升对抗鲁棒性的关键。
2026-03-11 cond-mat.dis-nn cs.LG q-bio.NC
Break it, Imitate it, Fix it: Robustness by Generating Human-Like Attacks
Google Research(谷歌研究院);OpenAI
提出一种利用有限人类对抗示例大规模生成合成对抗攻击的对抗训练框架,显著提升了自然语言处理模型在ANLI和仇恨言论检测基准上对未来人类攻击的鲁棒性。
2024-02-14 cs.LG
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
University of California Berkeley(加利福尼亚大学伯克利分校);National University of Singapore(新加坡国立大学);Sony Research(索尼研究院)
针对序列建模难适应分布偏移、对抗模仿学习样本效率低的问题,提出结合BeT策略与在线AIL的残差式BeTAIL方法,在赛车游戏任务中减少交互、提升性能与稳定性。
2024-07-11 cs.LG cs.RO
Asymmetric Bias in Text-to-Image Generation with Adversarial Attacks
University of California Riverside(加州大学河滨分校)
本研究实证分析文本到图像模型对抗攻击的成功率,发现实体交换存在不对称性,并提出探测指标以预测攻击成功率。
2024-07-17 cs.CR cs.LG
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
对抗攻击旨在混淆机器学习系统,同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究,表明像素$p$ -规范的任何$0\le p \le \infty$,和几个替代措施,包括推土机的距离,结构相似性指数,和深网嵌入,不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Constructing Semantics-Aware Adversarial Examples with a Probabilistic Perspective
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
本文提出一种概率视角下的语义感知对抗样本生成方法,在保持图像整体语义的同时进行大规模像素修改,从而在难以被人类察觉的情况下更有效地绕过对抗防御机制。
2024-11-24 cs.CR cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University(东北大学)
最先进的深度神经网络(DNN)容易受到对抗性示例的攻击:精心设计的对输入的微小扰动,人类无法察觉,可能会误导DNN。为了了解对抗性示例的根本原因,我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量,我们提出了一个更实用的强对抗性示例的相关定义,该定义还单独限制了沿信号方向的扰动。我们表明,线性分类器可以强大的对抗性的例子攻击的情况下,没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机(SVM)分类器的数值实验,验证了定量公式的正确性.结果表明,设计一般的强对抗性鲁棒学习系统是可行的,但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出白盒与黑盒对抗攻击框架,通过对机器生成文本施加微小扰动规避 AI 文本检测,并利用迭代对抗学习评估检测器鲁棒性。
2024-04-02 cs.CL cs.CR cs.LG
The Human Visual System and Adversarial AI
Thinky.AI Research(Thinky.AI研究院)
本文应用了人类视觉系统的理论,使对抗性AI更加有效。到目前为止,对抗性AI已经使用Lp范数对图像的干净和对抗性示例之间的感知距离进行了建模。这些规范的好处是简单的数学描述和合理的有效性,在近似的感知距离。然而,在过去的几十年中,图像处理的其他领域已经超越了更简单的模型,如均方误差(MSE),转向更接近人类视觉系统(HVS)的更复杂的模型。我们展示了将HVS模型纳入对抗AI的概念证明。
2020-01-07 cs.CV cs.LG eess.IV
Human Body Measurement Estimation with Adversarial Augmentation
Amazon(亚马逊);Boston University(波士顿大学);Reality Labs Research(现实实验室研究院)
我们提出了一个身体测量网络(BMnet),用于从剪影图像中估计人体形状的3D拟人化测量。BMnet的训练是基于来自真实人类受试者的数据进行的,并通过一种新型的对抗性身体模拟器(ABS)进行增强,该模拟器可以发现和合成具有挑战性的身体形状。ABS是基于皮肤的多人线性(SMPL)身体模型,并旨在最大限度地提高BMnet测量预测误差相对于潜在的SMPL形状参数。ABS相对于这些参数是完全可微的,并且通过BMnet在循环中的反向传播进行端到端训练。实验表明,ABS可以有效地发现对抗性的例子,例如具有极端体重指数(BMI)的身体,这与BMnet训练集中极端BMI身体的罕见性相一致。因此,ABS能够揭示训练数据中的差距和预测代表性不足的身体形状的潜在故障。结果表明,与没有增强或随机体型采样相比,使用ABS训练BMnet将真实身体的测量预测精度提高了10%。此外,我们的方法显著优于SOTA测量估计方法多达3倍。最后,我们发布了BodyM,这是第一个具有挑战性的大规模真实人体照片轮廓和身体测量数据集,以进一步推动这一领域的研究。项目网址:https://adversarialbodysim.github.io
2022-10-11 cs.AI cs.CV cs.LG
Adversarial Attention for Human Motion Synthesis
University of Glasgow(格拉斯哥大学)
从人机交互到娱乐、虚拟现实和医疗保健,分析人体运动是许多学科感兴趣的核心课题。深度学习在实时捕捉人体姿势方面取得了令人印象深刻的成果。另一方面,由于受试者间的高度可变性,人体运动分析模型通常由于在诸如医疗保健等领域中可用的非常有限的专业数据集而无法概括来自看不见的受试者的数据。然而,获取人体运动数据集是非常耗时,具有挑战性和昂贵的。因此,人体运动合成是深度学习和计算机视觉中的一个关键研究问题。我们提出了一种新的可控人体运动合成方法,通过应用基于注意力的概率深度对抗模型进行端到端训练。我们表明,我们可以通过使用对抗性注意力在短时间和长时间范围内生成合成人体运动。此外,我们还表明,在真实数据不足的情况下,我们可以通过用合成运动补充现有数据集来提高深度学习模型的分类性能。
2022-04-25 cs.CV cs.LG
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内陆大学);DeepNeuronic;NOVA LINCS(新里斯本大学计算机科学实验室);C4-Cloud Computing Competence Center(C4云计算能力中心)
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务,不仅在所生成的形状的质量方面,而且在它们的多样性方面,特别是合成特定动作(动作调节)的逼真身体运动。在本文中,我们提出了Kinetic-GAN,这是一种新的架构,它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作,同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的,其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法,同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
SkeletonVis: Interactive Visualization for Understanding Adversarial Attacks on Human Action Recognition Models
Georgia Institute of Technology(佐治亚理工学院);Intel(英特尔)
基于以太网的人类动作识别技术越来越多地用于基于视频的应用,例如家庭机器人、老龄化人口的医疗保健和监控。然而,这样的模型容易受到对抗攻击,在安全关键应用中使用它们引起了严重的关注。为了开发针对攻击的有效防御,必须了解此类攻击如何误导姿势检测模型做出不正确的预测。我们提出了一个交互式系统,可视化的攻击如何在模型上工作,以提高人类对攻击的理解。
2021-01-26 cs.AI cs.CV
HAD-GAN: A Human-perception Auxiliary Defense GAN to Defend Adversarial Examples
Information Engineering University(信息工程大学)
对抗性例子揭示了神经网络的脆弱性和无法解释的本质。研究对抗性例证的辩护具有重要的现实意义。大多数错误分类网络的对抗性例子通常是人类无法检测到的。在本文中,我们提出了一个防御模型训练分类器到人类的感知分类模型与形状偏好。提出的模型包括一个纹理传输网络(TTN)和一个辅助防御生成对抗网络(GAN)被称为人类感知辅助防御GAN(HAD-GAN)。TTN用于扩展干净图像的纹理样本,并帮助分类器专注于其形状。GAN用于形成模型的训练框架并生成必要的图像。在MNIST、Fashion-MNIST和CIFAR 10上进行的一系列实验表明,该模型在网络鲁棒性方面优于现有的防御方法。该模型还展示了对抗性示例的防御能力的显着提高。
2021-12-22 cs.CV cs.LG eess.IV
Face Images as Jigsaw Puzzles: Compositional Perception of Human Faces for Machines Using Generative Adversarial Networks
Carleton University(卡尔顿大学)
人机交互(HRI)的一个重要目标是让机器实现接近人类水平的人脸感知。机器学习和人类智能之间的一个重要区别是缺乏组合性。本文介绍了一种新的方案,使生成对抗网络能够学习由更小部分组成的人脸图像的分布。这导致更灵活的机器面感知和更容易推广到外部训练样本。我们证明,该模型是能够产生逼真的高品质的人脸图像,通过生成和拼凑的部分。此外,我们证明了该模型学习面部部位及其分布之间的关系。因此,特定面部部分在所生成的面部图像之间是可互换的。
2021-03-10 cs.CV cs.LG
An attempt to generate new bridge types from latent space of generative adversarial network
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先见数智交通科技有限公司)
本研究利用生成对抗网络,基于Python、TensorFlow和Keras框架及四种对称结构桥梁图像数据集,通过低维潜在空间采样生成具有不对称结构的新桥型,展现了生成式AI的原创能力与启发潜力。
2024-01-01 cs.AI cs.CV cs.LG
Differential Evolution based Dual Adversarial Camouflage: Fooling Human Eyes and Object Detectors
Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
最近的研究表明,基于深度神经网络(DNN)的对象检测器容易受到对抗攻击的攻击,攻击的形式是向图像添加扰动,导致对象检测器的错误输出。目前大多数现有的工作集中在生成扰动图像,也称为对抗性的例子,欺骗对象检测器。虽然生成的对抗性例子本身可以保持一定的自然性,但大多数仍然可以被人眼容易地观察到,这限制了它们在现实世界中的进一步应用。为了解决这个问题,我们提出了一种基于差分进化的双重对抗伪装(DE_DAC)方法,由两个阶段组成,同时欺骗人眼和目标检测器。具体来说,我们试图获得伪装纹理,它可以在物体的表面渲染。在第一阶段,我们优化的全局纹理,以最大限度地减少渲染对象和场景图像之间的差异,使人眼难以区分。在第二阶段,我们设计了三个损失函数来优化局部纹理,使目标检测器无效。此外,我们引入差分进化算法来搜索攻击对象的近似最优区域,在一定的攻击区域限制下提高了对抗性能。此外,我们还研究了自适应DE_DAC的性能,它可以适应环境。实验结果表明,该方法在多个特定场景和目标下,可以在欺骗人眼和目标检测器之间取得较好的折衷。
2023-01-01 cs.AI cs.CV
Humans can decipher adversarial images
Department of Psychological & Brain Sciences, Johns Hopkins University(约翰斯·霍普金斯大学心理与脑科学系)
人类思维与反映其表现的复杂机器学习系统有多相似?基于卷积神经网络(CNN)的对象分类模型在为新图像分配已知标签方面已经达到了人类水平的基准。这些进步有望支持自动驾驶汽车和机器诊断等变革性技术;除此之外,它们还可以作为视觉系统本身的候选模型-不仅在其输出中,甚至在其潜在的机制和原理中。然而,与人类视觉不同的是,CNN可以被对抗性的例子“愚弄”--精心制作的图像对人类来说是无意义的模式,但被机器识别为熟悉的对象,或者对人类来说是一个对象,对机器来说是另一个对象。人类和机器分类之间的这种看似极端的分歧挑战了这些新进展的前景,无论是作为应用图像识别系统还是作为人类思维的模型。然而,令人惊讶的是,很少有研究对这种对抗性刺激的人类分类进行实证研究:人类和机器的表现是否从根本上存在差异?或者人类可以破译这些图像并预测机器的首选标签吗?在这里,我们证明了人类和机器对对抗性刺激的分类是鲁棒相关的:在对五个突出而多样的对抗性图像集的八个实验中,人类受试者可靠地识别了机器在相关箔上选择的标签。这种模式持续存在于具有强烈先行身份的图像中,甚至是被描述为“人眼完全无法识别”的图像。我们认为,人类的直觉可能是一个更可靠的指导机器(错误)分类比通常想象的,我们探讨了这一结果的思想和机器一样的后果。
2019-03-03 cs.CV cs.CY cs.LG
Adversarial Examples that Fool both Computer Vision and Time-Limited Humans
Google Brain(谷歌大脑);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
机器学习模型容易受到对抗性例子的影响:图像的微小变化可能导致计算机视觉模型犯错误,例如将校车识别为鸵鸟。然而,人类是否容易犯类似的错误仍然是一个悬而未决的问题。在这里,我们解决这个问题,利用最近的技术,从计算机视觉模型与已知的参数和架构的对抗性的例子转移到其他模型与未知的参数和架构,并通过匹配人类视觉系统的初始处理。我们发现,在计算机视觉模型之间强烈传递的对抗性例子会影响时间有限的人类观察者所做的分类。
2018-05-22 cs.CV cs.LG q-bio.NC
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种新的基于补丁的对抗攻击管道,在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部,并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中,这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反,先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器,这种新形式的攻击被映射到3D对象世界,并通过可微分渲染反向传播到纹理图谱。因此,对抗补丁在与真实世界材料一致的变形下进行训练。此外,与现有的对抗补丁不同,我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器,这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
Adversarial alignment: Breaking the trade-off between the strength of an attack and its relevance to human perception
Brown University(布朗大学);Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Department of Computer Science, Brown University(布朗大学计算机科学系);Institut de Recherche Technologique Saint-Exupéry(圣埃克苏佩里技术研究院);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工与自然智能研究所)
本文考察 ImageNet 性能提升与对抗鲁棒性的关系,发现攻击更强但偏离人类诊断特征,并通过 neural harmonizer 训练实现可检测且与人类感知对齐的攻击。
2023-06-05 cs.AI cs.CV
Representation of White- and Black-Box Adversarial Examples in Deep Neural Networks and Humans: A Functional Magnetic Resonance Imaging Study
Korea Advanced Institute of Science and Technology(韩国科学技术院);Hyundai Motor Company(现代汽车公司)
最近,受大脑启发的深度神经网络(DNN)在解决复杂的高级视觉任务方面取得了成功,这使得人们对它们与人类视觉系统相匹配的潜力的期望越来越高。然而,DNN表现出的特质表明它们的视觉表示和处理可能与人类视觉有很大的不同。DNN的一个局限性是它们容易受到对抗性示例的影响,输入图像上添加了微妙的,精心设计的噪声来欺骗机器分类器。人类视觉系统对对抗性示例的鲁棒性可能非常重要,因为它可以揭示机器视觉尚未包含的关键机械特征。在这项研究中,我们通过利用功能性磁共振成像(fMRI)比较了DNN和人类中白盒和黑盒对抗示例的视觉表示。我们发现人类和DNN的不同类型(即白盒与黑盒)对抗性示例的表示模式存在微小但显著的差异。然而,与DNN不同的是,人类在分类判断上的表现不会因噪音而降低,无论噪音的类型如何。这些结果表明,对抗性的例子可能在人类视觉系统中表现不同,但无法影响感知体验。
2019-05-07 cs.AI cs.CV q-bio.NC
Adversarial Synthesis of Human Pose from Text
University of Bonn(波恩大学);RWTH-Aachen University(亚琛工业大学)
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估,该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明,该模型是能够合成合理的构成匹配给定的文本,这表明它是可能的,以生成与给定的语义特征,特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
Deep Adversarial Learning with Activity-Based User Discrimination Task for Human Activity Recognition
AASS, Örebro University(厄勒布鲁大学AASS研究中心);Faculty of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程学院);ETSIDI, Universidad Politéctina de Madrid(马德里理工大学高等航空工程技术学院)
本文提出含新型基于活动的用户判别任务的对抗深度学习框架,以缓解 HAR 中的人际差异,并在三个数据集的 LOOCV 基准上取得优于以往方法和任务的分类效果。
2025-03-18 cs.CV cs.LG eess.SP
Adversarial Generative Grammars for Human Activity Prediction
Robotics at Google(谷歌机器人部门);Stony Brook University(石溪大学)
在本文中,我们提出了一个用于未来预测的对抗生成语法模型。我们的目标是学习一个明确捕捉时间依赖关系的模型,提供预测多个不同未来活动的能力。我们的对抗语法的设计,使它可以学习随机产生式规则的数据分布,连同其潜在的非终端表示。能够在推理过程中选择多个产生式规则导致不同的预测结果,从而有效地建模许多可能的未来。对抗生成语法在Charades、MultiTHUMOS、Human3.6M和50 Salads数据集上进行评估,并在两个活动预测任务上进行评估:未来3D人体姿势预测和未来活动预测。所提出的对抗语法优于最先进的方法,能够比以前的工作更准确地预测未来。
2020-08-14 cs.CV
Self Adversarial Training for Human Pose Estimation
National Tsing Hua University(台湾清华大学)
本文提出了一种基于深度学习的人体姿态估计方法。我们采用生成对抗网络作为我们的学习范式,其中我们建立了两个具有相同架构的堆叠沙漏网络,一个作为生成器,另一个作为节点。在训练完成后,生成器被用作人体姿势估计器。该算法将地面实况热图与生成的热图区分开来,并将对抗性损失反向传播给生成器。这个过程使生成器能够学习合理的人体配置,并被证明是有用的,用于提高预测精度。
2017-08-15 cs.CV
Human-Producible Adversarial Examples
University of Cambridge(剑桥大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
该研究提出仅用记号笔即可制作的现实世界对抗标签方法,基于可微渲染用线条构建对抗样本,4条线干扰YOLO模型成功率达54.8%、9条线达81.8%,优化了线条放置以适配人工绘制误差,经数字与实体场景及用户研究验证,还探讨了攻击效果、局限与伦理影响。
2023-09-30 cs.CV cs.LG
Towards Better Adversarial Synthesis of Human Images from Text
University of Bonn(波恩大学)
本文提出了一种从文本生成多个三维人体网格的方法。在SMPL模型的基础上,用三维网格表示人体形状。该模型的性能在COCO数据集上进行评估,该数据集包含具有挑战性的人体形状和个体之间复杂的交互。该模型能够捕获场景的动态和基于文本的个体之间的交互。我们进一步展示了如何使用这样的形状作为图像合成框架的输入,有助于约束网络以合成具有真实人类形状的人类。
2021-07-05 cs.CV
DATTA: Domain-Adversarial Test-Time Adaptation for Cross-Domain WiFi-Based Human Activity Recognition
TU Wien(维也纳技术大学)
本文提出DATTA框架,融合域对抗训练、测试时自适应与权重重置,解决WiFi人体活动识别中的跨域泛化问题,并在实时场景下比现有方法F1-Score提升8.1%。
2024-11-20 cs.AI cs.CV cs.ET
Adversarial Doodles: Interpretable and Human-drawable Attacks Provide Describable Insights
The University of Tokyo(东京大学)
针对现有对抗攻击模式模糊、难以解释的问题,研究提出可解释的Adversarial Doodles方法,通过优化黑色贝塞尔曲线并经仿射变换、区域正则化得到人类可复制的小型攻击,可揭示涂鸦形状与分类器输出的关联。
2024-09-11 cs.CV
Adversarial Refinement Network for Human Motion Prediction
City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学);Tencent Youtu Lab(腾讯优图实验室)
人体运动预测的目的是通过给定有限的人体运动作为输入来预测未来的3D骨骼序列。两种流行的方法,递归神经网络和前馈深度网络,能够预测粗略的运动趋势,但可能会丢失肢体运动等运动细节。为了更准确地预测未来的人体运动,我们提出了一种对抗性细化网络(ARNet),它遵循一种简单而有效的粗到细机制,具有新颖的对抗性误差增强。具体来说,我们将历史运动序列和粗略预测作为级联细化网络的输入,以预测细化的人体运动,并通过对抗性误差增强来加强细化网络。在训练过程中,我们通过不同主体之间的对抗机制,通过学习故意引入错误分布。在测试中,我们的级联细化网络消除了来自粗预测器的预测误差,从而稳健地实现了更精细的预测。这种对抗性错误增强提供了丰富的错误案例作为我们的细化网络的输入,从而在测试数据集上获得更好的泛化性能。我们在三个标准基准数据集上进行了广泛的实验,并表明我们提出的ARNet优于其他最先进的方法,特别是在短期和长期预测中具有挑战性的非周期性行为。
2020-11-24 cs.CV