VITAL: A Visual Interpretation on Text with Adversarial Learning for Image Labeling
School of Computer Science, Wuhan University, Wuhan, Hubei, China(中国湖北省武汉市武汉大学计算机学院);School of Information Engineering, Hubei University for Nationalities, Enshi, Hubei, China(中国湖北省恩施市湖北民族学院信息工程学院)
在本文中,我们提出了一种新的方法来解释文本信息提取视觉特征表示从多个高分辨率和照片般逼真的合成图像生成的文本到生成对抗网络(GAN),以提高图像标记的性能。首先,我们设计了一个堆叠的生成多对抗网络(GMAN),StackGMAN++,它是当前最先进的文本到图像GAN,StackGAN++的修改版本,以生成具有各种先验噪声的文本条件下的多个合成图像。然后我们从生成的合成图像中提取深层视觉特征,以探索文本的潜在视觉概念。最后,我们将图像级视觉特征、文本级特征和基于合成图像的视觉特征结合起来,对图像进行标签预测。我们在两个基准数据集上进行了实验,实验结果清楚地表明了我们所提出的方法的有效性。
2019-08-01 cs.CV
Synthesizing Visual Illusions Using Generative Adversarial Networks
Universitat Pompeu Fabra(庞培法布拉大学);Universitat de València(瓦伦西亚大学)
视错觉是视觉科学家非常有用的工具,因为它们可以让他们更好地探索视觉系统的极限,阈值和错误。在这项工作中,我们介绍了有史以来第一个框架,产生新的视觉错觉与人工神经网络(ANN)。它采用生成对抗网络的形式,具有视觉错觉候选者的生成器和两个识别模块,一个用于诱导物背景,另一个用于决定候选者是否确实是错觉。该模型的通用性是通过合成不同类型的错觉来说明的,并与心理物理实验进行了验证,证实了我们的人工神经网络的输出确实是人类观察者的视觉错觉。除了合成新的视觉错觉,这可能有助于视觉研究人员,所提出的模型有可能开辟新的途径来研究人工神经网络和人类视觉感知之间的相似性和差异。
2019-11-21 cs.CV
Double Visual Defense: Adversarial Pre-training and Instruction Tuning for Improving Vision-Language Model Robustness
UC Santa Cruz(加州大学圣克鲁兹分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出“双重视觉防御”方法,通过大规模对抗性视觉-语言预训练和对抗性视觉指令微调,分别得到$Δ$CLIP和$Δ^2$LLaVA模型,显著提升了视觉-语言模型在图像分类、图像描述和视觉问答等任务上的对抗鲁棒性。
2025-04-07 cs.CV
ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
本文提出ArmorOCR两阶段训练框架,结合OPSD与GRPO,推出含390幅图像的AdvSpot基准,可提升对抗性OCR感知能力并保留通用OCR性能
2026-08-21 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT(麻省理工学院);IBM Research(IBM研究院);JD AI Research(京东人工智能研究院);UC Davis(加州大学戴维斯分校)
视觉语言基础在现代神经图像描述系统中被广泛研究,其通常采用由两个主要组件组成的编码器-解码器框架:用于图像特征提取的卷积神经网络(CNN)和用于语言字幕生成的递归神经网络(RNN)。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性,我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法,检查神经图像描述系统是否会被误导,输出一些随机选择的标题或关键字。我们广泛的实验表明,我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例,并且对抗性示例可以高度转移到其他图像描述系统。因此,我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Adversarial Bounding Boxes Generation (ABBG) Attack against Visual Object Trackers
Université Laval(拉瓦尔大学);Mila(米拉量子计算研究所)
针对Transformer跟踪器因预测特定边界框而非候选列表导致现有攻击适用性受限的问题,提出仅用一个边界框的白盒攻击方法ABBG,生成对抗性边界框列表并计算损失,在多个鲁棒Transformer跟踪器上优于现有攻击。
2024-11-26 cs.CV
Appearance-Invariant 6-DoF Visual Localization using Generative Adversarial Networks
China Unicom(中国联通);AI Innovation and Application Center(人工智能创新应用中心)
我们提出了一种新的视觉定位网络,当外部环境发生变化,如不同的光照,天气和季节。视觉定位网络由特征提取网络和姿态回归网络组成。特征提取网络由基于生成对抗网络CycleGAN的编码器网络组成,该网络可以从不同天气和季节的未配对样本中捕获内在外观不变的特征图。有了这样一个不变的特征,我们使用一个6自由度的姿态回归网络来解决长期的视觉定位在户外照明,天气和季节变化的存在。使用各种具有挑战性的地点识别和定位数据集来证明我们的视觉定位网络,结果表明,我们的方法在各种环境变化的情况下优于最先进的方法。
2020-12-24 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University(西北工业大学);University of Georgia(佐治亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
视觉注意是人脑中的一种基本机制,它启发了深层神经网络中注意力机制的设计。然而,大多数的视觉注意研究采用眼动追踪数据,而不是直接测量大脑活动来表征人类的视觉注意。此外,在人类视觉系统中,注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距,我们提出了一种新的大脑启发的对抗性视觉注意力网络(BI-AVAN),直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程,以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证,实验结果表明,我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时,取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能(AI)中的模型设计的新兴领域,例如,深度神经网络。
2022-10-27 cs.CV
Improving Adversarial Robustness via Decoupled Visual Representation Masking
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出解耦视觉特征掩码模块DFM,通过在对抗训练中同时增大类内多样性并减小类间差异,以即插即用方式提升现有防御算法的鲁棒性。
2024-06-16 cs.CV
Visual-Friendly Concept Protection via Selective Adversarial Perturbations
本文提出VCPro框架,通过低感知性对抗扰动实现图像关键概念的保护,平衡扰动可见性与保护效果。
2025-12-12 cs.CV
Reversible Attack based on Local Visual Adversarial Perturbation
Anhui University(安徽大学);University Of Strathclyde(思克莱德大学);East China Normal University(华东师范大学)
向图像添加扰动可能会误导分类模型产生错误的结果。最近,研究人员利用对抗扰动来保护图像隐私免受智能模型的检索。然而,向图像添加对抗性扰动会破坏原始数据,使图像在数字取证和其他领域变得无用。为了在不妨碍合法用户的情况下防止对诸如人脸的敏感图像数据的非法或未授权访问,可逆对抗攻击技术的使用正在增加。原始图像可以从其可逆对抗样本中恢复。然而,现有的可逆对抗攻击方法是针对传统的不可感知的对抗扰动而设计的,而忽略了局部可见的对抗扰动。在本文中,我们提出了一种新的方法来生成可逆的对抗性的例子的基础上局部可见的对抗性扰动。通过可逆数据隐藏技术将图像恢复所需的信息嵌入到对抗补丁之外的区域。为了减少图像失真,采用了无损压缩和B-R-G(蓝-红-绿)嵌入原则。在CIFAR-10和ImageNet数据集上的实验结果表明,该方法在保证良好攻击性能的同时,能较好地恢复原始图像。
2023-01-02 cs.CV
Interpretable BoW Networks for Adversarial Example Detection
CVLab, EPFL(洛桑联邦理工学院计算机视觉实验室(CVLab, EPFL) (注:EPFL为École Polytechnique Fédérale de Lausanne的缩写,通常译为洛桑联邦理工学院;CVLab为Computer Vision Laboratory的缩写,通常译为计算机视觉实验室))
为深度卷积神经网络(CNN)提供可解释性的标准方法包括可视化其特征图或对预测贡献最大的图像区域。在本文中,我们引入了一种替代策略来解释CNN的结果。为此,我们利用网络内的视觉单词表示袋,并通过使用生成对抗网络将视觉和语义含义与相应的码本元素相关联。然后可以通过查看最高度激活的码字的视觉表示来解释对新样本的预测背后的原因。然后,我们建议利用我们的可解释的BoW网络进行对抗性示例检测。为此,我们建立在直觉的基础上,虽然对抗样本看起来与真实图像非常相似,但为了产生不正确的预测,它们应该激活具有显著不同视觉表示的码字。因此,我们将对抗性示例检测问题转换为将输入图像与最高度激活的视觉码字进行比较的问题。正如我们的实验所证明的那样,这使我们能够在标准基准测试中超越最先进的对抗性示例检测方法,而与攻击策略无关。
2019-01-08 cs.CV
An Inter-observer consistent deep adversarial training for visual scanpath prediction
Université d'Orléans(奥尔良大学);IULM University(IULM大学)
本文提出一种轻量级深度网络与观察者间一致性对抗训练相结合的方法,用于预测视觉扫视路径,通过判别网络作为动态损失建模随机性并保持观察者间分布一致,实验证明其性能具有竞争力。
2023-07-11 cs.CV
Towards Effective and Efficient Adversarial Defense with Diffusion Models for Robust Visual Tracking
Qufu Normal University(曲阜师范大学);Harbin Institute of Technology(哈尔滨工业大学);Shenzhen(深圳)
本文提出基于去噪扩散概率模型的对抗防御方法DiffDf,通过多尺度防御机制抑制对抗扰动,在多个数据集上显著提升不同架构跟踪器的鲁棒性,同时实现超30 FPS的实时推理。
2025-05-31 cs.CV
Bi-Adversarial Auto-Encoder for Zero-Shot Learning
Tianjin University(天津大学);Binghamton University(宾汉姆顿大学);Zhejiang University(浙江大学)
现有的生成式零样本学习(Zero-Shot Learning,简称ZRL)方法只考虑了类语义到视觉特征的单向对齐,而忽略了视觉特征到类语义的对齐,无法很好地构建视觉-语义交互。在本文中,我们提出了基于自动编码器框架与双对抗网络分别为视觉和语义模态合成视觉特征,以加强与双向对齐的视觉-语义交互,这确保了合成的视觉特征符合真实的视觉分布并与语义高度相关。编码器的目标是合成真实的视觉特征,而解码器则迫使真实的和合成的视觉特征与类语义更加相关。为了进一步捕获合成视觉特征的判别信息,通过分类网络将真实视觉特征和合成视觉特征都强制分类到正确的类别中。在四个基准数据集上的实验结果表明,该方法在传统的并行任务和广义并行任务上都具有很强的竞争力。
2018-11-20 cs.CV
NinjaDesc: Content-Concealing Visual Descriptors via Adversarial Learning
Reality Labs, Meta(Meta现实实验室);Imperial College London(帝国理工学院)
根据最近的分析隐私有关的场景启示视觉描述符,我们开发的描述符,隐藏输入图像内容。特别是,我们提出了一个对抗性学习框架,用于训练防止图像重建的视觉描述符,同时保持匹配精度。我们让特征编码网络和图像重建网络相互竞争,使得特征编码器试图用其生成的描述符来阻止图像重建,而重建器试图从描述符中恢复输入图像。实验结果表明,与我们的方法获得的视觉描述符显着恶化的图像重建质量与对应匹配和摄像机定位性能的影响最小。
2022-03-29 cs.CV
Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning
Xidian University(西安电子科技大学);IIAI;UPenn(宾夕法尼亚大学)
利用功能性磁共振成像(fMRI)测量的人脑活动来重建视觉刺激(图像)是人机协作中一项重要而有意义的任务。然而,fMRI信号与视觉图像之间的不一致分布和表示导致异质性差距。此外,fMRI数据通常是非常高维的,并且包含许多与视觉无关的信息。现有的方法通常遭受这些问题,使得令人满意的重建仍然是具有挑战性的。在本文中,我们表明,这是可能的,以克服这些挑战,通过学习视觉引导的认知潜在表征的功能磁共振成像信号,并逆解码它们的图像刺激。由此产生的框架被称为双变分自编码器/生成对抗网络(D-VAE/GAN),其结合了对抗表示学习与知识蒸馏的优点。此外,我们引入了一种新的三阶段学习方法,使(认知)编码器在学习过程中逐渐从配对(视觉)编码器中提取有用的知识。在人工和自然图像上的大量实验结果表明,我们的方法可以取得令人惊讶的好结果,优于所有其他替代方案。
2019-10-22 cs.CV
Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer
Hong Kong Baptist University(香港浸会大学)
本研究针对3D基础模型VGGT的安全漏洞,提出MVAP-G多视角对抗扰动生成器,通过跨视角对抗对齐机制生成一致扰动,可无需迭代优化即可显著降低VGGT性能,为3D视觉系统鲁棒性研究提供了新方向。
2026-08-24 cs.CV
Adversarial Counterfactual Visual Explanations
University of Caen Normandie(卡昂诺曼底大学);ENSICAEN(法国国立卡昂高等工程师学院);CNRS(法国国家科学研究中心)
反事实解释和对抗攻击有一个相关的目标:以最小的扰动翻转输出标签,而不管它们的特性如何。然而,对抗攻击不能直接用于反事实解释的角度,因为这种扰动被视为噪声,而不是可操作和可理解的图像修改。在鲁棒学习文献的基础上,本文提出了一种优雅的方法,将对抗攻击转化为语义上有意义的扰动,而无需修改分类器来解释。所提出的方法假设,去噪扩散概率模型是优秀的正则化,以避免高频和分布外的扰动时,产生对抗攻击。本文的核心思想是通过一个扩散模型对攻击进行优化。这允许研究目标模型,而不管其鲁棒化水平如何。大量的实验表明,我们的反事实解释方法的优势,目前国家的最先进的多个测试平台。
2023-03-17 cs.CV
Unsupervised Learning for Cell-level Visual Representation in Histopathology Images with Generative Adversarial Networks
Beihang University(北京航空航天大学);Zhejiang University(浙江大学);Microsoft Research(微软研究院)
细胞的视觉属性,如核形态和染色质开放性,是组织病理学图像分析的关键。通过学习细胞级视觉表示,我们可以获得丰富的特征组合,这些特征可高度重用于各种任务,如细胞级分类、细胞核分割和细胞计数。在本文中,我们提出了一个统一的生成对抗网络架构,具有新的损失公式,可以在无监督的环境中进行鲁棒的细胞级视觉表示学习。我们的模型不仅是无标记的,易于训练,而且能够进行细胞水平的无监督分类,具有可解释的可视化,这在骨髓细胞成分的无监督分类中取得了可喜的成果。基于所提出的细胞级视觉表示学习,我们进一步开发了一个管道,利用各种细胞元素来执行组织病理学图像分类,其优点在骨髓数据集上得到了证明。
2018-07-07 cs.CV
Temporally-Transferable Perturbations: Efficient, One-Shot Adversarial Attacks for Online Visual Object Trackers
EPFL(洛桑联邦理工学院);ClearSpace SA(ClearSpace公司)
近年来,基于Siamese网络的跟踪器已成为视觉对象跟踪(VOT)的高效和高效的。虽然这些方法被证明容易受到对抗攻击的攻击,但作为用于视觉识别任务的大多数深度网络,针对VOT跟踪器的现有攻击都需要扰动每个输入帧的搜索区域才能有效,考虑到VOT是一项实时任务,这需要付出不可忽略的代价。在本文中,我们提出了一个框架来生成一个单一的时间可转移的对抗性扰动的对象模板图像。然后,这种扰动可以添加到每个搜索图像中,这几乎没有成本,并且仍然成功地欺骗了跟踪器。我们的实验证明,我们的方法优于国家的最先进的攻击标准的VOT基准在非目标的情况下。此外,我们表明,我们的形式主义自然延伸到有针对性的攻击,迫使跟踪器遵循任何给定的轨迹,通过预先计算不同的方向扰动。
2020-12-30 cs.CV
Adversarial Transfer Learning for Cross-domain Visual Recognition
Chongqing University(重庆大学)
在许多实际的视觉识别场景中,源域和目标域的特征分布一般是不同的,这就导致了一般跨域视觉识别问题的出现。为了解决视觉域不匹配的问题,提出了一种新的半监督对抗性迁移学习方法,称为耦合对抗性迁移领域自适应(CatDA),用于两个域之间的分布对齐。所提出的CatDA方法受到cycleGAN的启发,但利用了多个浅层多层感知器(MLP)而不是深层网络。具体来说,我们的CatDA由两个对称和苗条的子网络组成,这样就形成了耦合对抗学习框架。利用两个发生器的这种对称性,来自源/目标域的输入数据可以被馈送到MLP网络中用于目标/源域生成,由两个面向对抗的耦合鉴别器监督。值得注意的是,为了避免在领域对抗训练期间特征提取函数的高容量的关键缺陷,在每个生成器中提出了领域特定损失和领域知识保真度损失,使得所提出的传递网络的有效性得到保证。此外,与cycleGAN的本质区别在于,我们的方法旨在为领域自适应和迁移学习生成域不可知和对齐的特征,而不是合成逼真的图像。我们在一些基准数据集上进行了实验,所提出的方法在最先进的领域自适应和迁移学习方法上取得了有竞争力的性能。
2019-12-24 cs.CV
Adversarial Attack and Defense of YOLO Detectors in Autonomous Driving Scenarios
Bowling Green State University(鲍灵格林州立大学)
视觉检测是自动驾驶中的一项关键任务,是自动驾驶规划和控制的重要基础。深度神经网络在各种视觉任务中取得了令人鼓舞的成果,但众所周知,它们容易受到对抗攻击的攻击。在人们提高其鲁棒性之前,需要全面了解深度视觉检测器的脆弱性。然而,只有少数对抗攻击/防御工作集中在目标检测,他们中的大多数只采用分类和/或定位损失,忽略了对象方面。在本文中,我们确定了YOLO检测器中一个严重的对象相关对抗漏洞,并针对自动驾驶汽车视觉检测的对象方面提出了一种有效的攻击策略。此外,为了解决这种脆弱性,我们提出了一种新的对象感知对抗训练方法用于视觉检测。实验表明,针对对象方面的攻击是45.17%和43.50%,分别比那些产生的分类和/或本地化损失的KITTI和COCO流量数据集,更有效。此外,所提出的对抗性防御方法可以提高检测器对面向对象攻击的鲁棒性,在KITTI和COCO流量上分别提高21%和12%mAP。
2022-07-03 cs.CV
Adversarial Attacks on Multi-task Visual Perception for Autonomous Driving
Valeo R&D Egypt(法雷奥研发埃及);Valeo DAR Germany(法雷奥DAR德国);Technische Universität Ilmenau(伊尔梅瑙工业大学);Valeo Ireland(法雷奥爱尔兰)
近年来,深度神经网络(DNN)在各种应用中取得了令人印象深刻的成功,包括自动驾驶感知任务。另一方面,当前的深度神经网络很容易被对抗攻击愚弄。此漏洞引起了严重的关注,特别是在安全关键型应用程序中。因此,攻击和防御DNN的研究已经得到了很多报道。在这项工作中,详细的对抗攻击被应用于距离估计、语义分割、运动检测和目标检测等多种多任务视觉感知深度网络。实验考虑了针对目标和非目标情况的白盒和黑盒攻击,同时攻击一个任务并检查对所有其他任务的影响,以及检查应用简单防御方法的效果。最后,我们通过比较和讨论的实验结果,提出见解和未来的工作本文。攻击的可视化可在https://youtu.be/6AixN90budY上获得。
2021-11-07 cs.CV
Towards Adaptive Meta-Gradient Adversarial Examples for Visual Tracking
School of Cyber Science and Engineering, Qufu Normal University(计算机科学与工程学院,曲阜师范大学);Malaysia-Japan International Institute of Technology, University Teknologi Malaysia(马来西亚-日本国际技术学院,马来西亚技术大学);Computer Sciences Department, Princess Nourah bint Abdulrahman University(计算机科学系,努拉·阿卜杜勒拉赫曼大学);Regional Research Center, Iwate Prefectural University(区域研究中心,岩手县立大学);Faculty of Science, University of Hradec Kralove(科学学院,哈拉德·克拉洛夫大学)
针对视觉跟踪器的安全漏洞,本文提出AMGA自适应元梯度对抗攻击方法,通过多模型集成、元学习、动量与高斯平滑提升对抗样本黑盒迁移攻击效果。
2025-05-13 cs.CV
Dual Domain-Adversarial Learning for Audio-Visual Saliency Prediction
Xidian University(西安电子科技大学);Beijing Technology and Business University(北京工商大学);Xi’an Jiaotong University(西安交通大学);Zhejiang Lab(之江实验室);Northwestern Polytechnical University(西北工业大学);Renmin University of China(中国人民大学)
视觉和听觉信息都是确定视频中显著区域的重要信息。深度卷积神经网络(CNN)在处理视听显著性预测任务方面表现出强大的能力。由于拍摄场景、天气等多种因素的影响,源训练数据与目标测试数据之间往往存在一定的分布差异。域差异导致CNN模型在目标测试数据上的性能下降。本文对无监督的领域自适应问题进行了初步尝试。我们提出了一种双域对抗学习算法,以减轻源和目标数据之间的域差异。首先,建立一个特定的领域歧视分支,用于对齐听觉特征分布。然后,这些听觉特征融合到视觉特征,通过跨通道的自我注意模块。另一个领域判别分支的设计,以减少域差异的视觉特征和视听相关性所隐含的融合视听功能。在公共基准测试上的实验表明,该方法可以有效地缓解领域差异带来的性能下降。
2022-08-16 cs.CV
IoU Attack: Towards Temporally Coherent Black-Box Adversarial Attack for Visual Object Tracking
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
对抗攻击的出现是由于深度神经网络的脆弱性,以感知注入了不可感知的扰动的输入样本。最近,对抗攻击已被应用于视觉对象跟踪,以评估深度跟踪器的鲁棒性。假设深度跟踪器的模型结构是已知的,用于视觉跟踪的各种白盒攻击方法已经证明了有希望的结果。然而,关于深度跟踪器的模型知识通常在实际应用中不可用。本文提出了一种基于决策的黑盒攻击方法用于视觉目标跟踪。与现有的处理静态图像进行图像分类的黑盒对抗攻击方法相比,我们提出了基于当前和历史帧的预测IoU分数顺序生成扰动的IoU攻击。通过降低IoU分数,所提出的攻击方法降低了时间相干边界框的准确性(即,物体运动)。此外,我们将学习到的扰动转移到接下来的几帧中,以初始化时间运动攻击。我们在最先进的深度跟踪器上验证了所提出的IoU攻击(即,基于检测、基于相关滤波器和长期跟踪器)。在基准数据集上的大量实验表明了所提出的IoU攻击方法的有效性。源代码可在https://github.com/VISION-SJTU/IoUattack上获得。
2021-03-27 cs.CV
SalGAN: Visual Saliency Prediction with Generative Adversarial Networks
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Facebook AML;Insight Center for Data Analytics(Insight数据分析中心);Dublin City University(都柏林城市大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们介绍了SalGAN,这是一种深度卷积神经网络,用于通过对抗性示例进行训练的视觉显著性预测。该网络的第一阶段由一个生成器模型组成,其权重通过反向传播来学习,该反向传播是从显着图的下采样版本上的二进制交叉熵(BCE)损失计算的。由此产生的预测是由一个神经网络进行处理的,该神经网络经过训练以解决由生成阶段生成的显着性图和地面实况图之间的二进制分类任务。我们的实验展示了对抗性训练如何在与广泛使用的损失函数(如BCE)相结合时,在不同的指标上达到最先进的性能。我们的结果可以通过https://imatge-upc.github.io/saliency-salgan-2017/上的源代码和训练模型复制。
2018-07-01 cs.CV
Counterfactual Visual Explanation via Causally-Guided Adversarial Steering
Case Western Reserve University(凯斯西储大学);New Jersey Institute of Technology(新泽西理工学院)
针对反事实视觉解释忽视因果关系而易产生非预期图像改变的问题,提出 CECAS 框架,用因果引导的对抗性方法避免扰动虚假因素,并在多个基准上取得更优且均衡的解释效果。
2025-09-26 cs.CV
[Re] Boosting the Visual Interpretability of CLIP via Adversarial Fine-Tuning
University of Amsterdam(阿姆斯特丹大学);student.uva.nl(阿姆斯特丹大学学生网络(注:此处为学生所属域名,实际机构为阿姆斯特丹大学))
本文复现ICLR 2025的CLIP对抗微调研究,提出带能量指向游戏损失的显著图引导正则化扩展,可提升定位指标且对零样本精度影响可控,重构代码库支持系统性实验。
2026-10-14 cs.CV
T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
提出T-VSS方法,通过在视觉特征空间中构建样本特定的低秩子空间并学习共享特征校正,直接适应受攻击特征,提升视觉语言模型的对抗鲁棒性,同时保持清洁准确率和效率。
2026-08-17 cs.CV
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
University of Rochester(罗切斯特大学);Sony Group Corporation(索尼集团公司)
本文研究了音视频模型在时间和模态层面的对抗脆弱性,提出了时间不变性攻击和模态错位攻击,并引入结合高效多模态扰动构建与对抗课程策略的音视频对抗训练框架,有效提升了模型的攻防性能与训练效率。
2025-03-02 cs.CV cs.SD
Adversarial Patch Generation for Visual-Infrared Dense Prediction Tasks via Joint Position-Color Optimization
Yanshan University(燕山大学);University of Exeter(埃克塞特大学)
本文提出AP-PCO框架,通过联合优化位置和颜色生成对抗性补丁,提升视觉-红外密集预测任务中的攻击性能和隐蔽性。
2026-02-27 cs.CV
Hallucinated Adversarial Learning for Robust Visual Tracking
Xiamen University(厦门大学);Beihang University(北京航空航天大学)
人类可以很容易地从一个样本中学习新的概念,这主要是因为他们有非凡的能力去想象或幻觉看不见的样本在不同的环境中会是什么样子。实现这种使被跟踪实例的不同新样本产生幻觉的能力可以帮助跟踪器减轻低数据跟踪机制中的过拟合问题。为了实现这一点,我们提出了一个有效的对抗性的方法,表示为对抗性的“幻觉”(AH),强大的视觉跟踪。所提出的AH的目的是首先学习一对相同身份的实例之间的可转移的非线性变形,然后将这些变形应用到一个看不见的跟踪实例,以生成不同的正训练样本。通过将AH纳入在线检测跟踪框架,我们提出了幻觉对抗跟踪器(HAT),它与在线分类器(例如,MDNet)以端到端的方式。此外,提出了一种新的选择性变形传递(SDT)方法,以更好地选择更适合传递的变形。在3个流行的基准测试上的大量实验表明,我们的HAT达到了最先进的性能。
2019-06-17 cs.CV
Task Specific Visual Saliency Prediction with Memory Augmented Conditional Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
视觉显着性模式是除了被解析的图像之外的各种因素的结果,然而现有的方法忽略了这些因素。为了解决这一限制,我们提出了一种新的显着性估计模型,该模型利用了条件生成对抗网络的语义建模能力,以及捕捉受试者的行为模式和任务相关因素的记忆体系结构。我们的贡献旨在弥合现代深度学习架构中自下而上的特征学习能力与传统的自上而下的手工制作的基于任务特定显着性建模的方法之间的差距。所提出的框架的条件性质使我们能够一起学习上下文语义和不同任务之间的关系,而不是为每个任务单独学习它们。我们的研究不仅揭示了生成对抗网络的一个新的应用领域,而且强调了任务特定显着性建模的重要性,并证明了通过增强内存架构完全捕获这种上下文的可行性。
2018-03-09 cs.CV
Towards Viewpoint-Invariant Visual Recognition via Adversarial Training
Beihang University(北京航空航天大学);Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);OPPO;Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
针对视觉模型对三维视角变化鲁棒性不足的问题,提出视角不变对抗训练VIAT方法,将视角变换建模为对抗攻击,通过极小极大优化和分布共享策略提升分类器的视角鲁棒性,实验验证了其有效性。
2023-07-16 cs.CV
Overcoming Language Bias in Remote Sensing Visual Question Answering via Adversarial Training
Technical University of Munich (TUM)(慕尼黑工业大学)
针对遥感视觉问答中的语言偏见问题,提出带对抗分支和两种正则化约束的VQA框架,并设计结合准确率与随机图像性能下降的评价指标,实验验证了方法有效性。
2023-06-01 cs.CV
Visual Adversarial Attack on Vision-Language Models for Autonomous Driving
Beihang University(北航);National University of Singapore(国立新加坡大学);Huazhong University of Science and Technology(华中科技大学)
本文提出ADvLM框架,针对自动驾驶中视觉语言模型的特殊需求,解决文本指令变异性和视觉场景时间序列性问题,实现高效对抗攻击。
2026-04-21 cs.CV
Visual Adversarial Attacks and Defenses in the Physical World: A Survey
Institute of Artificial Intelligence, Beihang University(北航人工智能研究院);The Chinese University of HongKong(香港中文大学)
本文综述了物理世界中视觉对抗攻击与防御,分析了攻击类型、防御方法及未来研究方向。
2026-01-12 cs.CV
Zero-Shot Learning from Adversarial Feature Residual to Compact Visual Feature
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
近年来,许多零样本学习(zero-shot learning,简称ZML)方法都是在嵌入特征空间中学习具有区分性的目标特征,但这些方法学习到的未知类特征的分布容易部分重叠,导致目标识别不准确。为了解决这个问题,我们提出了一种新的对抗网络来合成紧凑的语义视觉特征,包括残差生成器,原型预测器和预测器。残差生成器用于生成视觉特征残差,该视觉特征残差与通过原型预测器预测的视觉原型相结合,用于合成视觉特征。该方法的目的是将合成的视觉特征与从现有分类CNN中提取的真实视觉特征区分开来。由于所生成的残差通常在数值上远小于所有原型之间的距离,因此由所提出的网络合成的不可见类特征的分布重叠较少。此外,考虑到分类CNN的视觉特征与其语义特征不一致的问题,提出了一种简单的特征选择策略,用于提取更紧凑的语义视觉特征。在六个基准数据集上的大量实验结果表明,在大多数情况下,我们的方法可以比现有的最先进的方法获得1.2-13.2%的显着更好的性能。
2020-08-29 cs.CV
On the Robustness of Large Multimodal Models Against Image Adversarial Attacks
University of Central Florida(中佛罗里达大学)
本文系统评估大型多模态模型在图像分类、图像描述和VQA中的对抗鲁棒性,发现提示上下文可缓解攻击,并提出查询分解以提升真实图像分类准确率。
2023-12-08 cs.CV
ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs
Queen’s University Belfast(贝尔法斯特女王大学)
图像描述生成在图像检索、自动导航、残疾人辅助等实际应用中起着重要的作用。图像描述生成的成熟任务是图像描述,其通常生成简短的字幕语句,因此忽略了许多细粒度的属性,例如,微妙物体的信息及其关系。本文研究了视觉段落生成技术,它可以用一个包含丰富细节的长段落来描述图像。以往的研究往往通过一个层次化的递归神经网络(RNN)模型来生成段落,该模型具有复杂的记忆、遗忘和耦合机制。相反,我们提出了一种新的纯CNN模型,Para CNN,使用分层CNN架构与一个段落内的句子之间的上下文信息来生成视觉段落。ParaCNN可以生成任意长度的段落,这在许多现实世界的应用中更适用。此外,为了使ParaCNN能够全面地对段落进行建模,我们还提出了一种对抗性的双网训练方案。在训练过程中,我们通过对抗训练迫使前向网络的隐藏特征接近后向网络。在测试过程中,我们只使用前向网络来生成一个段落,前向网络已经包含了后向网络的知识。我们在Stanford Visual Paragraph数据集上进行了广泛的实验,并实现了最先进的性能。
2020-04-21 cs.CV
Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering
Shanghai Jiao Tong University(上海交通大学);University of Adelaide(阿德莱德大学)
随着深度神经网络(DNN)的快速发展,可视化问答(VQA)取得了巨大的成功。另一方面,数据增强作为DNN的主要技术之一,已经被广泛应用于许多计算机视觉任务中。然而,很少有研究VQA的数据增强问题的工作,现有的基于图像的增强方案(如旋转和翻转)可以直接应用于VQA,由于其语义结构-一个$\langle image, question, answer\rangle$三元组需要正确维护。例如,如果相关联的图像被旋转或翻转,则方向相关的搜索-应答(QA)对可能不为真。在本文中,我们没有直接操作图像和问题,而是使用生成的图像和问题的对抗性示例作为增强数据。增强的示例不改变图像中呈现的视觉属性以及问题的\textbf{semantic}含义,因此仍然保持了$\langle image, question, answer\rangle$的正确性。然后,我们使用对抗学习来训练一个经典的VQA模型(BUTD)与我们的增强数据。我们发现,我们不仅提高了VQAv 2的整体性能,而且可以抵御对抗攻击有效,相比基线模型。源代码可在https://github.com/zaynmi/seada-vqa上获得。
2020-07-19 cs.CV
Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering
University of Cagliari, Italy(卡利亚里大学);Computer Vision Center, UAB, Spain(UAB计算机视觉中心)
提出一种视觉上不可察觉但语义上定向的对抗攻击方法,通过伪造文档内容诱导DocVQA模型产生错误答案,在Pix2Struct和Donut模型上验证了有效性。
2026-06-25 cs.CV
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室);Columbia University(哥伦比亚大学)
我们提出了一个新的框架,称为语义保持对抗嵌入网络(SP-AEN)的zero-shot视觉识别(SPNL),其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族,其中一些语义将在训练过程中被丢弃,如果他们是非歧视性的训练类,但可能成为识别测试类的关键。具体而言,SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失,该嵌入器将语义空间分解为两个子空间,用于两个可以说是相互冲突的目标:分类和重建。通过对两个子空间的对抗学习,SP-AEN将重构子空间的语义转换到判别子空间,实现了对未知类的改进zero-shot识别。与现有的工作相比,SP-AEN不仅可以提高分类,而且可以生成照片般逼真的图像,证明了语义保持的有效性。在四个流行的基准上:CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
Adversarial Color Enhancement: Generating Unrestricted Adversarial Images by Optimizing a Color Filter
Radboud University(拉德堡德大学)
我们介绍了一种使用滤色器增强图像的方法,以创建对抗效果,从而欺骗神经网络进行错误分类。我们的方法,对抗性颜色增强(ACE),通过优化颜色过滤器通过梯度下降,生成不受限制的对抗性图像。ACE的新颖之处在于它以透明的方式纳入了图像增强的既定做法。实验结果验证了ACE的白盒对抗能力和黑盒可移植性。一系列的例子证明了ACE产生的图像的感知质量。ACE对最近的工作做出了重要贡献,该工作超越了$L_p$的不可感知性,并专注于产生大的可感知扰动但对人眼保持非可疑的无限制对抗性修改。基于过滤器的对手的未来潜力也在两个方向上进行了探索:用常见的增强实践(例如,Instagram的过滤器)对特定的有吸引力的图像风格和适应ACE图像语义。代码可在https://github.com/ZhengyuZhao/ACE上获得。
2020-08-09 cs.CV
Attention, Please! Adversarial Defense via Activation Rectification and Preservation
Beijing Jiaotong University(北京交通大学)
本研究通过考察对抗攻击与视觉注意变化之间的相关性,为对抗攻击问题提供了新的认识。特别地,我们观察到:(1)具有不完整注意区域的图像更容易受到对抗攻击的影响;(2)成功的对抗攻击导致偏离和分散的注意力地图。因此,基于注意力的对抗防御框架被设计为同时校正注意力地图以进行预测,并保留对抗图像和原始图像之间的注意力区域。在视觉注意力变化的背景下,增加迭代攻击样本的问题也进行了讨论。我们希望在这项研究中的注意力相关的数据分析和防御解决方案将揭示一些对抗攻击背后的机制,也有助于未来的对抗防御/攻击模型的设计。
2022-12-29 cs.CV
The Human Visual System and Adversarial AI
Thinky.AI Research(Thinky.AI研究院)
本文应用了人类视觉系统的理论,使对抗性AI更加有效。到目前为止,对抗性AI已经使用Lp范数对图像的干净和对抗性示例之间的感知距离进行了建模。这些规范的好处是简单的数学描述和合理的有效性,在近似的感知距离。然而,在过去的几十年中,图像处理的其他领域已经超越了更简单的模型,如均方误差(MSE),转向更接近人类视觉系统(HVS)的更复杂的模型。我们展示了将HVS模型纳入对抗AI的概念证明。
2020-01-07 cs.CV cs.LG eess.IV
AdvFD: Boosting Visual Generation via Adversarial Fr'echet Distance Loss
Peking University(北京大学);KlingAI(可灵AI)
本研究提出AdvFD算法,通过补充静态Fréchet损失的对抗学习表示并引入真实特征白化,解决Fréchet攻击问题,提升了JiT、pMF等骨干网络的单步生成器后训练性能。
2026-08-12 cs.CV
Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models
The University of Tokyo(东京大学);National Institute of Informatics(日本信息处理研究所);The University of Tokyo, National Institute of Informatics(东京大学、日本信息处理研究所)
研究针对视觉语言模型对抗攻击问题,提出质量文本引导的对抗微调方法QT-AFT,利用高质量字幕提升视觉编码器对抗鲁棒性,在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率,并揭示了语言增强视觉鲁棒性的关键见解。
2026-07-27 cs.CV
FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering
University of Cambridge(剑桥大学);University of Washington(华盛顿大学)
广泛使用的基于事实的视觉问答(FVQA)数据集包含视觉上接地的问题,这些问题需要使用常识知识图谱进行信息检索来回答。已经观察到,原始数据集是高度不平衡的,并且集中在其相关联的知识图谱的一小部分上。我们引入了FVQA 2.0,其中包含测试问题的对抗变体,以解决这种不平衡。我们表明,与原始FVQA训练集训练的系统可能容易受到对抗性样本,我们展示了一个增强方案,以减少这种脆弱性,没有人的注释。
2023-03-19 cs.CL cs.CV
Investigating Adversarial Robustness of Multi-modal Large Language Models
Mohamed Bin Zayed University of AI, UAE(穆罕默德·本·扎耶德人工智能大学,阿联酋);Khalifa University, UAE(哈利法大学,阿联酋);Australian National University, Australia(澳大利亚国立大学,澳大利亚)
通过系统研究多模态大语言模型的对抗鲁棒性,提出诊断性CLIP对齐协议预测鲁棒视觉编码器的迁移效果,并证明端到端多模态对抗训练能显著提升模型在强对抗攻击下的性能。
2026-08-12 cs.CV
IDATA: Scalable Invertible Diffusion for Unrestricted Adversarial Transfer Attack
IDATA是一种用于无限制对抗迁移攻击的内存高效扩散框架,通过可逆扩散模块与低频约束模块提升攻击性能,在多基准测试中优于现有方法,可用于评估深度视觉模型黑盒鲁棒性。
2026-08-11 cs.CV
CapGen:An Environment-Adaptive Generator of Adversarial Patches
Tsinghua University(清华大学)
针对现有对抗补丁易被察觉、忽略元素动态的问题,提出环境自适应的CAPGen方法,发现模式比颜色对攻击性能影响更大,进而提出快速生成策略,实现隐身性与对抗性兼顾。
2024-12-10 cs.CV