Learning Intelligent Dialogs for Bounding Box Annotation
EPFL(洛桑联邦理工学院);Google AI Perception(谷歌人工智能感知部);IST Austria(奥地利科学技术研究所)
我们引入了智能注释对话框用于限界框注释。我们训练一个代理自动选择一系列的行动,为人类注释产生一个限界框在最短的时间。具体来说,我们考虑两个动作:框验证,其中注释器验证对象检测器生成的框,以及手动框绘制。我们探索了两种代理,一种基于预测一个盒子将被肯定验证的概率,另一种基于强化学习。我们证明了(1)我们的代理能够在几种情况下学习有效的注释策略,自动适应图像难度,期望的盒子质量和检测器强度;(2)在所有场景中,与单独的手动框绘制和单独的框验证相比,所得到的注释对话框加速了注释,同时在大多数场景中也优于验证和绘制的任何固定组合;(3)在检测器被迭代地重新训练的现实场景中,我们的代理进化出一系列策略,这些策略反映了随着检测器变得越来越强大,验证和绘图之间的转移权衡。
2018-11-20 cs.CV
Anchor-Intermediate Detector: Decoupling and Coupling Bounding Boxes for Accurate Object Detection
Tsinghua University(清华大学);National University of Defense Technology(国防科技大学)
针对单个锚框难以精准预测边界偏移的问题,本文提出边界框解耦-耦合策略与锚框中间检测器AID,通过角点解耦耦合及角点感知头提升检测精度,在MS COCO上较基线RetinaNet、GFL分别提升约2.4、1.2 AP。
2023-10-09 cs.CV
Out-of-the-box: Black-box Causal Attacks on Object Detectors
本文提出BlackCAtt算法,通过最小因果像素集构建可解释、不可察觉的攻击,实验表明其在目标检测器上效果优于其他黑盒攻击方法。
2026-04-10 cs.AI cs.CV
What's in the Black Box? The False Negative Mechanisms Inside Object Detectors
Queensland University of Technology(昆士兰科技大学);DATA61, CSIRO(联邦科学与工业研究组织DATA61)
在目标检测中,当检测器未能检测到目标对象时,出现假阴性。为了理解为什么物体探测器会产生假阴性,我们确定了五个“假阴性机制”,其中每个机制描述了探测器架构内的特定组件如何失败。专注于两阶段和一阶段锚盒对象检测器架构,我们介绍了一个框架,量化这些假阴性机制。使用这个框架,我们研究了为什么Faster R-CNN和RetinaNet无法在基准视觉数据集和机器人数据集中检测到对象。我们发现,检测器的假阴性机制之间的计算机视觉基准数据集和机器人部署方案显着不同。这对为基准数据集开发的对象检测器到机器人应用程序的翻译具有影响。代码可在https://github.com/csiro-robotics/fn_mechanisms上公开获取
2022-08-01 cs.AI cs.CV cs.LG
Black-box Adversarial Sample Generation Based on Differential Evolution
Nanjing University(南京大学);Purdue University(普渡大学)
深度神经网络(DNN)被用于各种日常任务,如目标检测、语音处理和机器翻译。然而,众所周知,DNN存在鲁棒性问题-被称为对抗样本的扰动输入导致DNN的错误行为。在本文中,我们提出了一种称为黑盒动量迭代快速梯度符号方法(BMI-FGSM)的黑盒技术来测试DNN模型的鲁棒性。该技术不需要目标DNN的结构或权重的任何知识。与现有的需要访问模型内部信息(如梯度)的白盒测试技术相比,我们的技术通过差分进化来近似梯度,并使用近似梯度来构建对抗样本。实验结果表明,我们的技术可以实现100%的成功生成对抗样本触发误分类,并在生成样本触发误分类到特定的目标输出标签超过95%的成功。它还表现出更好的扰动距离和更好的可转移性。与最先进的黑盒技术相比,我们的技术更有效。此外,我们对商业阿里云API进行了测试,并成功地在有限数量的查询内触发其错误行为,证明了现实世界中黑盒攻击的可行性。
2020-07-30 cs.CR cs.CV cs.LG
Neural network gradient-based learning of black-box function interfaces
IBM Research(IBM研究院);Bar Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
Deep neural networks work well at approximating complicated functions when provided with data and trained by gradient descent methods. At the same time, there is a vast amount of existing functions that programmatically solve different tasks in a precise manner eliminating the need for training. In many cases, it is possible to decompose a task to a series of functions, of which for some we may prefer to use a neural network to learn the functionality, while for others the preferred method would be to use existing black-box functions. We propose a method for end-to-end training of a base neura…
2019-01-13 cs.LG stat.ML
Output Randomization: A Novel Defense for both White-box and Black-box Adversarial Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);Amazon Alexa(亚马逊Alexa);SUNY New Paltz(纽约州立大学新帕尔茨分校)
对抗性示例在各种场景中对深度神经网络模型构成威胁,从对手在“白盒”设置中完全了解模型的设置到“黑盒”设置中的相反设置。在本文中,我们探讨了使用输出随机化作为防御攻击的黑盒和白盒模型,并提出了两个防御。在第一种防御中,我们提出了在测试时输出随机化,以挫败黑盒设置中的有限差分攻击。由于这种类型的攻击依赖于对模型的重复查询来估计梯度,因此我们研究了使用随机化来阻止此类对手成功创建对抗性示例。我们的经验表明,这种防御可以限制使用零阶优化攻击的黑盒对手的成功率为0%。其次,我们提出输出随机化训练作为对白盒对手的防御。与之前使用随机化的方法不同,我们的防御不需要在测试时使用它,从而消除了向后通过可微近似攻击,该攻击已被证明对其他随机化防御有效。此外,这种防御具有低开销并且易于实现,允许它与跨各种模型架构的其他防御一起使用。我们评估了输出随机化训练对投影梯度下降攻击,并表明防御可以减少PGD攻击的成功率下降到12%时,使用交叉熵损失。
2021-07-08 cs.CR cs.LG
Multi-View Black-Box Physical Attacks on Infrared Pedestrian Detectors Using Adversarial Infrared Grid
University of Electronic Science and Technology of China(电子科技大学);China University of Petroleum-Beijing at Karamay(中国石油大学(北京)克拉玛依校区)
针对红外行人检测器物理对抗攻击多视角支持不足等问题,提出以网格建模扰动、遗传算法优化的AdvGrid方法,实现多视角黑盒物理攻击,在数字和物理环境均取得高攻击成功率,鲁棒性优于基线。
2024-07-08 cs.AI cs.CV
Model-Agnostic Linear Competitors -- When Interpretable Models Compete and Collaborate with Black-Box Models
University of Iowa(爱荷华大学);Tippie College of Business, University of Iowa(爱荷华大学蒂皮商学院)
随着对模型可解释性需求的不断增长,可解释模型在许多实际应用中已经成为黑盒模型的有力竞争者。在本文中,我们提出了一种新型的模型,其中可解释的模型与黑盒模型竞争和合作。我们提出了模型不可知的线性竞争对手(MALC)的部分可解释的分类。MALC是一种混合模型,它使用线性模型来局部替代任何黑盒模型,捕获最有可能在类中的子空间,而将其余数据留给黑盒。MALC结合了线性模型的可解释能力和黑盒模型的良好预测性能。我们将MALC模型的训练公式化为凸优化。通过精心设计的目标函数平衡预测准确性和透明度(定义为线性模型捕获的数据百分比),并使用加速近端梯度方法解决优化问题。实验表明,MALC可以有效地交易预测精度的透明度,并提供一个有效的边界,跨越整个频谱的透明度。
2019-09-23 cs.AI cs.LG stat.ML
Patch of Invisibility: Naturalistic Physical Black-Box Adversarial Attacks on Object Detectors
Dept. of Computer Science, Ben-Gurion University of the Negev(本·古里安内盖夫大学计算机科学系);DeepKeep
针对现实世界中白盒攻击和全像素扰动不切实际的问题,本文提出无梯度、模型无关的 BBNP 算法,借助预训练 GAN 生成自然对抗补丁,并在多种检测器和攻击对比中达到黑盒最优表现。
2025-10-20 cs.AI cs.CV cs.NE
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter(推特);Facebook(脸书);SigOpt, an Intel company(SigOpt(英特尔公司旗下));Valohai;Paradigm(第四范式);ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化(BBO)挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整(验证集)性能。这种竞争具有广泛的影响,因为黑盒优化(例如,贝叶斯优化)与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持(隐藏)目标函数的优化性能确定的,其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Black-Box Ripper: Copying black-box models using generative evolutionary algorithms
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
我们研究了复制黑盒神经模型功能的任务,对于黑盒神经模型,我们只知道为一组输入图像提供的输出类概率。我们假设通过黑盒模型的反向传播是不可能的,并且它的训练图像不可用,例如,模型只能通过API暴露。在这种情况下,我们提出了一个教师-学生的框架,可以提取的黑盒(教师)模型到一个学生模型,以最小的准确性损失。为了生成用于训练学生的有用数据样本,我们的框架(i)学习在代理数据集上生成图像(图像和类与用于训练黑盒的图像和类不同),以及(ii)应用进化策略以确保每个生成的数据样本在作为黑盒的输入时对特定类表现出高响应。我们的框架进行了比较与几个基线和国家的最先进的方法在三个基准数据集。经验证据表明,我们的模型优于所考虑的基线。虽然我们的方法没有通过黑盒网络反向传播,但它通常超过了将教师视为玻璃盒模型的最先进方法。我们的代码可在https://github.com/antoniobarbalau/black-box-ripper上获得。
2020-10-21 cs.CV cs.LG cs.NE
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago(芝加哥大学)
众所周知,深度学习系统容易受到对抗性样本的攻击。特别是,基于查询的黑盒攻击不需要深度学习模型的知识,但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率,证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight,一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是,为了计算对抗性示例,这些攻击在网络上执行迭代优化,在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击,使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击,在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人,往往只有少数查询后。通过拒绝所有检测到的查询,Blacklight可以阻止任何攻击完成,即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策,包括在效率上接近白盒攻击的最佳黑盒攻击。最后,我们说明了Blacklight如何推广到其他领域,如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Diversity can be Transferred: Output Diversification for White- and Black-box Attacks
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Mitsubishi UFJ Trust Investment Technology Institute(三菱UFJ信托投资技术研究所);Japan Digital Design(日本数字设计公司(Japan Digital Design))
对抗攻击通常涉及从均匀或高斯分布中提取的输入的随机扰动,例如,以初始化基于优化的白盒攻击或在黑盒攻击中生成更新方向。然而,这些简单的扰动可能是次优的,因为它们对被攻击的模型是不可知的。为了提高这些攻击的效率,我们提出了输出多样化采样(ODS),一种新的采样策略,试图最大限度地提高多样性的目标模型的输出之间生成的样本。虽然ODS是一种基于梯度的策略,但ODS提供的多样性是可转移的,并且可以通过代理模型帮助白盒和黑盒攻击。经验上,我们证明,ODS显着提高现有的白盒和黑盒攻击的性能。特别是,ODS将ImageNet上最先进的黑盒攻击所需的查询数量减少了两倍。
2020-10-30 cs.CV cs.LG stat.ML
Detector Algorithms of Bounding Box and Segmentation Mask of a Mask R-CNN Model
BSN iNet Co. Ltd.(BSN iNet有限公司);Tokyo National Museum(东京国立博物馆)
评估了Mask R-CNN模型的限界框和分割掩码输出的检测性能。边界框和分割模板的检测性能存在显着差异,前者始终优于后者。线性裂缝、接缝、填充和阴影的精确度和召回率的调和值在分割遮罩中明显低于边界框。其他类别显示出类似的谐波值。讨论了边界框和分割模板检测度量的不同性能,重点讨论了两种检测器的检测算法。
2020-10-26 cs.CV
Towards Visual Distortion in Black-Box Attacks
Wuhan University(武汉大学)
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中,我们提出了一种新的黑盒攻击方法,可以直接通过学习的噪声分布的对抗性的例子,假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真,它测量的感知距离之间的敌对的例子和原始图像,引入我们的损失,而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比,我们的攻击导致的失真要低得多,并且在InceptionV3,ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心)
深度神经网络(DNN)在不同领域取得了显著的成功。然而,已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而,这些方法通常遭受低的成功率和大的查询计数,这不能完全满足实际目的。在本文中,我们提出了一种混合攻击方法,该方法在代理模型上训练Meta对抗扰动(MAP),并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化,随后训练任何黑盒攻击方法几个时期。此外,MAP具有良好的可移植性和通用性,在某种意义上,它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明,我们的方法不仅可以提高攻击成功率,但也减少了查询的数量相比,其他方法。
2022-03-28 cs.CR cs.CV cs.LG
Exploring the Space of Black-box Attacks on Deep Neural Networks
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校)
到目前为止,现有的对深度神经网络(DNN)的黑盒攻击主要集中在可转移性上,即为本地训练模型生成的对抗性实例可以“转移”到攻击其他学习模型。在本文中,我们提出了新的梯度估计黑箱攻击的对手查询访问目标模型的类概率,这不依赖于可转移性。我们还提出了一些策略来解耦生成每个对抗样本所需的查询数量与输入的维度。我们的攻击的迭代变体在DNN上的有针对性和无针对性攻击的对抗成功率接近100%。我们进行了广泛的实验,对黑盒攻击进行了全面的比较评估,并表明所提出的梯度估计攻击优于我们在MNIST和CIFAR-10数据集上测试的所有基于可转移性的黑盒攻击,实现了与众所周知的最先进的白盒攻击相似的对抗成功率。我们还成功地将梯度估计攻击应用于Clarifai托管的真实内容审核分类器。此外,我们评估黑箱攻击对国家的最先进的防御。我们表明,梯度估计攻击是非常有效的,即使对这些防御。
2017-12-27 cs.CR cs.CV cs.LG
Saliency Attack: Towards Imperceptible Black-box Adversarial Attack
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学)
深度神经网络很容易受到对抗性样本的攻击,即使在黑盒设置中,攻击者只能访问模型输出。最近的研究设计了有效的黑盒攻击,具有高查询效率。然而,这样的性能通常伴随着攻击不可感知性的妥协,阻碍了这些方法的实际使用。在本文中,我们建议将扰动限制在一个小的显著区域,以生成几乎无法感知的对抗性示例。该方法与现有的黑盒攻击兼容,可以显著提高黑盒攻击的不可感知性,而攻击成功率几乎没有下降。此外,我们提出了显着性攻击,一种新的黑盒攻击,旨在改善显着区域中的扰动,以实现更好的不可感知性。大量的实验表明,与最先进的黑盒攻击相比,我们的方法实现了更好的不可感知性分数,包括最明显的失真(MAD),$L_0$和$L_2$距离,也获得了显着更高的成功率,由一个类似于人类的阈值判断MAD。重要的是,我们的方法产生的扰动在一定程度上是可解释的。最后,它也被证明是强大的不同的检测为基础的防御。
2022-06-04 cs.CR cs.CV cs.LG
Query-Efficient Black-box Adversarial Examples (superceded)
Massachusetts Institute of Technology(麻省理工学院);LabSix(第六实验室)
请注意,这篇论文被“有限信息和信息的黑盒对抗攻击”取代。“当前基于神经网络的图像分类器容易受到对抗性示例的影响,即使在黑盒设置中,攻击者也仅限于查询访问而无法访问梯度。以前的方法-替代网络和基于坐标的有限差分方法-要么不可靠,要么查询效率低,使得这些方法对某些问题不切实际。我们介绍了一种新的方法,用于在更受限制的,实用的黑盒威胁模型下可靠地生成对抗性示例。首先,我们采用自然的演化策略执行黑盒攻击使用两到三个数量级的查询比以前的方法。其次,我们引入了一个新的算法来执行有针对性的对抗攻击在部分信息设置,其中攻击者只能访问有限数量的目标类。使用这些技术,我们成功地对商业部署的机器学习系统Google Cloud Vision API在部分信息设置中进行了第一次有针对性的对抗攻击。
2018-04-06 cs.CV cs.LG stat.ML
Simple black-box universal adversarial attacks on medical image classification based on deep neural networks
Kyushu Institute of Technology(九州工业大学)
通用对抗攻击仅使用称为通用对抗性扰动(UAP)的小的单个扰动来阻碍大多数深度神经网络(DNN)任务,是对DNN的实际应用的现实安全威胁。特别地,这种攻击在医学成像中引起严重的问题。考虑到基于计算机的系统通常在黑盒条件下运行,其中仅允许对输入的查询并且输出是可访问的,UAP的影响似乎是有限的,因为用于生成UAP的常用算法限于白盒条件,其中对手可以访问模型权重和损失梯度。尽管如此,我们证明了在黑箱条件下使用相对较小的数据集可以很容易地生成UAP。特别是,我们提出了一种方法,用于生成UAP使用一个简单的爬山搜索只基于DNN输出,并证明了所提出的方法使用代表性的基于DNN的医学图像分类的有效性。黑盒UAP可用于进行非目标攻击和目标攻击。总体而言,黑盒UAP显示出高攻击成功率(40%至90%),尽管其中一些成功率相对较低,因为该方法仅利用有限的信息来生成UAP。在几个模型架构中观察到黑盒UAP的脆弱性。结果表明,攻击者也可以在黑盒条件下通过简单的过程生成UAP,从而挫败或控制基于DNN的医学图像诊断,UAP是一种更现实的安全威胁。
2021-08-11 cs.CR cs.CV cs.LG
EvoBA: An Evolution Strategy as a Strong Baseline forBlack-Box Adversarial Attacks
University of Bucharest(布加勒斯特大学)
最近的工作表明,白盒对抗攻击可以很容易地应用于最先进的图像分类器。然而,现实生活中的场景更像是黑盒对抗条件,缺乏透明度,通常对查询预算施加自然的硬约束。我们提出了$\textbf{EvoBA}$,一个黑盒对抗攻击的基础上一个令人惊讶的简单的进化搜索策略。$\textbf{EvoBA}$是查询高效的,最大限度地减少了$L_0$对抗干扰,并且不需要任何形式的训练。$\textbf{EvoBA}$通过与更复杂的最先进的黑盒攻击(如$\textbf{AutoZOOM}$)一致的结果显示出效率和功效。它比$\textbf{SimBA}$(一种简单而强大的基线黑盒攻击)查询效率更高,并且具有类似的复杂性级别。因此,我们提出它既是黑盒对抗攻击的一个新的强基线,也是一个快速和通用的工具,用于获得对图像分类器在$L_0$对抗性扰动方面的鲁棒性的经验洞察。存在快速且可靠的$L_2$黑盒攻击(诸如$\textbf{SimBA}$)和$L_{\infty}$黑盒攻击(诸如$\textbf{DeepSearch}$)。我们提出了$\textbf{EvoBA}$作为查询高效的$L_0$黑盒对抗攻击,与上述方法一起,可以作为一个通用的工具来评估图像分类器的经验鲁棒性。这些方法的主要优点是它们运行速度快,查询效率高,并且可以很容易地集成到图像分类器开发管道中。虽然我们的攻击最大限度地减少了$L_0$对抗扰动,但我…
2021-07-12 cs.CR cs.CV cs.LG
Ensemble-based Adaptive Single-shot Multi-box Detector
Concordia University(康考迪亚大学)
我们提出了两个改进的SSD-Single Shot多盒检测器。首先,我们提出了一个自适应的方法来选择默认框在SSD。这使用数据来减少为默认框选择最佳纵横比的不确定性,并提高包含小而复杂对象的数据集的SSD性能(例如,建筑工地设备)。我们通过找到给定训练数据集的纵横比分布来实现,然后选择代表性值。其次,我们提出了一种集成算法,使用SSD作为组件,这提高了SSD的性能,特别是对少量的训练数据集。与传统的SSD算法相比,自适应框选择将平均精度提高了3%,而基于集合的SSD将其提高了8%。
2018-08-17 cs.CV
MRxaI: Black-Box Explainability for Image Classifiers in a Medical Setting
King’s College London(伦敦国王学院)
本文在脑癌MRI数据集上比较多种黑盒解释方法与gradcam的性能,发现多数黑盒工具不适用于医学图像分类,但基于因果的rex表现与gradcam相当。
2023-11-24 cs.AI cs.CV
Adversarial Eigen Attack on Black-Box Models
Tsinghua University(清华大学);China Academy of Electronics and Information Technology(中国电子科学研究院)
黑盒对抗攻击由于其在人工智能安全中的实际应用而引起了广泛的研究兴趣。与白盒攻击相比,黑盒攻击由于与被攻击模型相关的可用信息较少以及对查询预算的额外约束而更加困难。提高攻击效率的一般方法是借助预先训练的可转移白盒模型。在本文中,我们提出了一种新的设置可转移的黑盒攻击:攻击者可以使用外部信息从一个预先训练的模型与可用的网络参数,但是,与以往的研究不同,没有额外的训练数据被允许进一步改变或调整的预先训练的模型。为此,我们进一步提出了一种新的算法,EigenBA来解决这个问题。该方法利用白盒模型的雅可比矩阵,在保持对原始攻击图像扰动较小的前提下,挖掘黑盒模型更多的梯度信息,提高攻击效率。我们证明了最佳扰动与雅可比矩阵的右奇异向量密切相关。在ImageNet和CIFAR-10上的进一步实验表明,即使是不可学习的预训练白盒模型也可以显着提高黑盒攻击的效率,我们提出的方法可以进一步提高攻击效率。
2020-08-27 cs.CR cs.CV cs.LG
Towards Reverse-Engineering Black-Box Neural Networks
Max-Planck Institute for Informatics(马克斯-普朗克计算机科学研究所);Saarland Informatics Campus(萨尔州信息学园区)
许多部署的学习模型是黑盒:给定输入,返回输出。关于模型的内部信息,例如架构,优化程序或训练数据,没有明确披露,因为它可能包含专有信息或使系统更容易受到攻击。这项工作表明,这些属性的神经网络可以暴露从一系列的查询。这有多方面的影响。一方面,我们的工作揭示了黑盒神经网络对不同类型攻击的脆弱性-我们表明,揭示的内部信息有助于生成针对黑盒模型的更有效的对抗性示例。另一方面,这种技术可以用于更好地保护私人内容免受使用对抗性示例的自动识别模型的影响。我们的论文表明,实际上很难在白盒和黑盒模型之间划清界限。
2018-02-14 cs.CR cs.CV cs.LG
Darker than Black-Box: Face Reconstruction from Similarity Queries
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
最近提出了几种用于人脸识别模型反演的方法,试图从深层模板重建人脸。虽然这些方法中的一些在黑盒设置中仅使用面部嵌入,但通常在最终用户侧,仅提供相似性分数。因此,这些算法在这种情况下是不适用的。我们提出了一种新的方法,允许重建的脸查询相似性分数的黑盒模型。虽然我们的算法运行在一个更一般的设置,实验表明,它是查询效率和优于现有的方法。
2021-07-02 cs.CV
Protecting Against Image Translation Deepfakes by Leaking Universal Perturbations from Black-Box Neural Networks
Boston University(波士顿大学)
在这项工作中,我们开发了黑盒图像翻译deepfake生成系统的有效中断。我们是第一个通过展示最初为分类模型提出的攻击的图像翻译公式来展示黑盒deepfake生成中断的人。然而,一个天真的适应分类黑盒攻击的结果在一个令人望而却步的查询图像翻译系统在现实世界中。我们提出了一个令人沮丧的简单而高效的算法泄漏通用扰动(LUP),显着减少了攻击图像所需的查询数量。LUP包括两个阶段:(1)一个短暂的泄漏阶段,我们使用传统的黑盒攻击来攻击网络,并收集关于对小数据集的成功攻击的信息,以及(2)和一个利用阶段,我们利用所述信息来随后以更高的效率攻击网络。我们的攻击将攻击GANimation和StarGAN所需的查询总数减少了30%。
2020-06-11 cs.CR cs.CV cs.LG
Training object class detectors with click supervision
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
训练对象类检测器通常需要大量图像,其中对象由边界框注释。但是,手动绘制边界框非常耗时。在本文中,我们大大减少了注释时间,提出中心点击注释:我们要求注释者点击一个假想的限界框的中心,它紧紧包围对象实例。然后,我们将这些点击合并到现有的多实例学习技术中,用于弱监督对象定位,以联合定位所有训练图像上的对象边界框。在PASCAL VOC 2007和MS COCO上的大量实验表明:(1)我们的方案提供了高质量的检测器,比弱监督技术产生的检测器表现得更好,具有适度的额外注释工作;(2)这些检测器实际上在接近手动绘制边界框训练的范围内执行;(3)由于中心点击任务非常快,我们的方案将总注释时间减少了9倍到18倍。
2017-05-19 cs.CV
IOTA: Corrective Knowledge-Guided Prompt Learning via Black-White Box Framework
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学)
IOTA通过结合黑盒和白盒模块,利用纠正知识引导提示学习,提升下游任务适应效果。
2026-01-28 cs.CV
PICA: A Pixel Correlation-based Attentional Black-box Adversarial Attack
由于深度神经网络(DNN)的结构知识获取困难,对黑盒对抗攻击的研究越来越普遍。然而,当欺骗为高分辨率图像定制的DNN时,新兴攻击的性能受到负面影响。一种解释是,这些方法通常专注于攻击整个图像,而不管其空间语义信息,从而遇到了臭名昭著的维数灾难。为此,我们提出了一种基于像素相关性的注意力黑箱对抗攻击,称为PICA。首先,利用注意机制和图像像素相关性,仅将显着区域中每两个相邻像素中的一个作为目标,从而降低黑箱攻击的维度。在此之后,一般的多目标进化算法被用来遍历减少的像素,并产生扰动是人类视觉无法察觉的。在ImageNet数据集上的大量实验结果验证了所提出的PICA的有效性。更重要的是,与现有的黑盒攻击相比,PICA在生成高分辨率对抗性示例方面的计算效率更高。
2021-01-19 cs.CV
Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates
University of Alberta(阿尔伯塔大学)
针对黑盒模型无法输入特定参数的问题,首次提出用可微分代理模型近似黑盒行为,通过端到端神经网络学习输入实例特定参数,在图像去噪任务中显著提升PSNR和SSIM,增强模型性能与优化效率。
2024-11-26 cs.CV
Black-Box Saliency Map Generation Using Bayesian Optimisation
Council for Scientific and Industrial Research(科学与工业研究理事会);University of Edinburgh(爱丁堡大学);University of Pretoria(比勒陀利亚大学)
显着图通常用于计算机视觉,以提供对模型用于产生特定预测的输入区域的直观解释。显着图生成的方法有很多,但大多数都需要访问模型参数。这项工作提出了一种黑盒模型的显着图生成方法,其中没有访问模型参数,使用贝叶斯优化抽样方法。该方法的目的是找到一个特定的(黑盒)模型的预测负责的全球显着的图像区域。这是通过一种基于采样的方法来实现的,该方法旨在将图像的显着区域定位到黑盒模型中。结果表明,所提出的显着图生成方法优于基于网格的扰动方法,并执行类似于基于梯度的方法,需要访问模型参数。
2020-01-30 cs.AI cs.CV cs.LG
Black-Box Attack against GAN-Generated Image Detector with Contrastive Perturbation
Communication University of China(中国传媒大学)
视觉上逼真的GAN生成的面部图像引起了对潜在滥用的明显担忧。近年来,许多有效的取证算法已经被开发来检测这样的合成图像。评估这种法医检测器对对抗攻击的脆弱性具有重要意义。在本文中,我们提出了一种针对GAN生成的图像检测器的新的黑盒攻击方法。采用一种新的对比学习策略,在对比损失函数下对基于编解码器网络的反取证模型进行训练。GAN图像和它们的模拟真实对应物分别被构造为正样本和负样本。利用训练好的攻击模型,对输入的合成图像施加不可感知的对比扰动,在一定程度上去除GAN指纹。因此,现有的GAN生成的图像检测器预计会被欺骗。大量的实验结果验证了该攻击有效地降低了六种流行的GANs上的三种最先进的检测器的准确性。高的视觉质量的攻击图像也实现了。源代码将在https://github.com/ZXMMD/BAttGAND上提供。
2022-11-07 cs.CR cs.CV
Certified Zeroth-order Black-Box Defense with Robust UNet Denoiser
IIIT Delhi(德里印度信息技术学院);NII Tokyo(东京国立信息学研究所)
本文提出基于鲁棒UNet去噪器的认证零阶黑盒防御方法ZO-RUDS和ZO-AE-RUDS,通过去噪平滑机制在仅使用模型查询的条件下显著提升高维数据集上的黑盒鲁棒性,并在多个数据集上大幅超越现有最优方法。
2024-07-06 cs.AI cs.CV