Transferable Adversarial Attack on Image Tampering Localization
Communication University of China（中国传媒大学）；State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；School of Computer and Cyber Sciences, Communication University of China（中国传媒大学计算机与网络空间安全学院）
本文提出一种基于优化与梯度的可迁移对抗攻击方案，通过反向梯度传播生成对抗样本，在白盒和黑盒场景下显著降低图像篡改定位精度，同时保持图像视觉质量。
2023-09-19 cs.CR cs.CV
Towards Effective Image Forensics via A Novel Computationally Efficient Framework and A New Image Splice Dataset
Delhi Technological University（德里理工大学）
本文针对图像拼接检测数据集匮乏和计算成本高的问题，提出了一个含代码生成与手动编辑两种变体的新型拼接数据集，并设计了一种双分支时空-压缩轻量级检测框架，在复合数据集上取得0.9382的最佳准确率。
2024-01-13 cs.CV
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）
自然语言视频定位是视觉-语言理解领域的一个重要课题，它不仅需要深入理解计算机视觉和自然语言这两个方面，更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题，这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究，但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此，本文的目的是全面调查的对抗鲁棒性NLVL模型，从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义词感知的对抗攻击NLVL（SNEAK），它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
Evading Detection Actively: Toward Anti-Forensics against Forgery Localization
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；Shenzhen University（深圳大学）
针对传统对抗攻击在伪造定位反取证中的三大缺陷，提出自监督对抗训练算法SEAR，通过重建扰动与隐藏篡改痕迹，有效欺骗最先进的伪造定位模型。
2023-10-16 cs.CV cs.MM
Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京市先进信息科学与网络技术重点实验室）；Department of Information Engineering and Mathematics, University of Siena（锡耶纳大学信息工程与数学系）
跨不同图像区域的双JPEG伪影的不一致性的检测通常用于检测局部图像操纵，如图像拼接，并将其定位。在本文中，我们更进一步，提出了一个端到端的系统，除了检测和定位拼接区域，还可以区分来自不同供体图像的区域。我们假设拼接区域和背景图像都经历了双重JPEG压缩，并使用主量化矩阵的局部估计来区分来自不同来源的拼接区域。为此，我们根据估计的初级量化矩阵的图像块进行聚类，并通过形态学重建来细化结果。所提出的方法可以工作在各种各样的设置，包括对齐和非对齐的双JPEG压缩，无论第二次压缩是强还是弱于第一次。我们通过大量的实验验证了所提出的方法，表明其优越的性能相对于在类似条件下工作的基线方法。
2022-01-19 cs.CV eess.IV
Adversarial Attacks and Detection in Visual Place Recognition for Safer Robot Navigation
QUT Centre for Robotics（昆士兰科技大学机器人中心）；School of Electrical Engineering and Robotics at the Queensland University of Technology（昆士兰科技大学电气工程与机器人学院）；CIICADA Lab（CIICADA实验室）
本研究系统分析多种对抗攻击对视觉位置识别的影响，提出引入对抗攻击检测器（AAD）的闭环框架，实验表明即使检测精度有限也能显著降低定位误差，为安全导航提供定量设计依据。
2025-06-19 cs.CV cs.RO
On the Benefits of Models with Perceptually-Aligned Gradients
Adobe Inc（奥多比公司）；Stanford University（斯坦福大学）
对抗性鲁棒模型已被证明比标准训练模型学习更鲁棒和可解释的特征。如[ \cite{tsipras2018robustness} ]所示，这种鲁棒模型继承了有用的可解释属性，其中梯度在感知上与图像很好地对齐，并且添加大的有针对性的对抗性扰动会导致图像类似于目标类。我们进行了实验，以表明即使在对对抗攻击没有表现出高鲁棒性的模型中，也存在可解释和感知对齐的梯度。具体来说，我们针对不同的最大扰动界进行对抗训练。具有低最大扰动边界的对抗性训练导致模型具有可解释的特征，在干净样本上性能仅略有下降。在本文中，我们利用具有可解释的感知对齐特征的模型，并表明具有低最大扰动界的对抗训练可以提高zero-shot和弱监督定位任务的模型性能。
2020-05-04 cs.CV cs.LG
Disentangling Structure and Appearance in ViT Feature Space
Weizmann Institute of Science（魏茨曼科学研究所）
提出基于预训练ViT特征解耦结构与外观的方法，通过目标函数拼接表示实现语义外观迁移，无需对抗训练或额外输入，支持高分辨率实时图像生成。
2023-11-20 cs.CV
Black-box Adversarial Attacks on CNN-based SLAM Algorithms
Department of Electrical and Computer Engineering, University of Thessaly（电气与计算机工程系，塞萨洛尼基大学）；Department of Computer Science, William & Mary（计算机科学系，威廉玛丽学院）
本文针对基于CNN的SLAM系统，提出对输入RGB图像施加黑盒对抗扰动，发现在TUM数据集上可致76%帧跟踪失败，并揭示攻击深度输入的灾难性影响。
2025-05-30 cs.CV cs.RO
Deep Matching and Validation Network -- An End-to-End Solution to Constrained Image Splicing Localization and Detection
Information Sciences Institute（信息科学研究所）
图像拼接是一种非常常见的图像操作技术，有时会被用于恶意目的。拼接检测和定位算法通常采用输入图像并产生指示输入图像是否已被操纵的二元判定，以及与拼接区域相对应的分割掩模。大多数现有的拼接检测和定位流水线遭受两个主要缺点：1）它们使用手工制作的特征，这些特征对于后续处理（例如，压缩），以及2）流水线的每个阶段通常被独立地优化。在本文中，我们扩展制定的基本拼接问题考虑两个输入图像，查询图像和潜在的捐助者图像。这里的任务是估计供体图像已被用于拼接查询图像的概率，并获得查询图像和供体图像的拼接掩模。我们介绍了一种新的深度卷积神经网络架构，称为深度匹配和验证网络（DMVN），它同时定位和检测图像拼接。所提出的方法不依赖于手工制作的特征，而是使用原始输入图像来创建深度学习的表示。此外，DMVN被端到端优化以产生概率估计和分割掩码。我们广泛的实验表明，这种方法优于国家的最先进的剪接检测方法的大幅度的AUC得分和速度。
2017-05-27 cs.CR cs.CV
A Multi-Stream Fusion Network for Image Splicing Localization
Information Technologies Institute, CERTH（希腊研究与技术中心信息技术研究所）
在本文中，我们解决的问题，图像拼接定位与多流网络架构，处理原始RGB图像与其他手工制作的法医信号并行。与以前的方法，要么只使用RGB图像或堆栈在一个通道的方式几个信号，我们提出了一个编码器-解码器架构，由多个编码器流。每个流都被输入篡改的图像或手工制作的信号，并分别处理它们，以独立地从每个流中捕获相关信息。最后，从多个流中提取的特征在架构的瓶颈中融合，并传播到生成输出定位图的解码器网络。我们用两种手工算法进行实验，即，DCT和Splicebuster我们提出的方法是在三个公共取证数据集上进行基准测试的，与几种竞争方法相比表现出了竞争力，并取得了最先进的结果，例如，CASIA的AUC为0.898。
2022-12-02 cs.CV
Image Splicing Localization Using A Multi-Task Fully Convolutional Network (MFCN)
University of Southern California（南加州大学）
在这项工作中，我们提出了一种利用全卷积网络（FCN）来定位图像拼接攻击的技术。我们首先评估了仅在表面标签上训练的单任务FCN（SFCN）。尽管SFCN被证明比现有方法提供更优越的性能，但在某些情况下它仍然提供粗略的定位输出。因此，我们建议使用多任务FCN（MFCN），它利用两个输出分支进行多任务学习。一个分支用于学习曲面标签，而另一个分支用于学习拼接区域的边或边界。我们使用CASIA v2.0数据集训练网络，并在CASIA v1.0、Columbia Uncompressed、Carvalho和DARPA/NIST Nimble Challenge 2016 SCI数据集上测试训练模型。实验表明，SFCN和MFCN优于现有的拼接定位算法，MFCN可以实现更精细的定位比SFCN。
2017-09-06 cs.CV
SISL:Self-Supervised Image Signature Learning for Splicing Detection and Localization
Indian Institute of Science（印度科学学院）；Ola Electric（奥拉电气）；Verisk AI Research（韦里斯克人工智能研究院）
最近的图像操纵检测算法几乎完全使用深度网络模型。这些方法需要密集的像素地面实况掩码、相机id或图像元数据来训练网络。一方面，构建一个训练集来表示无数的篡改可能性是不切实际的。另一方面，社交媒体平台或商业应用程序通常被限制从图像中删除相机ID以及元数据。一种用于训练操纵检测模型的自监督算法，无需密集的地面实况或相机/图像元数据，对于许多取证应用非常有用。在本文中，我们提出了自监督的方法来训练拼接检测/定位模型的图像的频率变换。为了识别拼接区域，我们的深度网络学习了一种表示，通过强制（图像）自我一致性来捕获图像特定签名。我们的实验表明，我们提出的模型可以产生类似或更好的性能的标准数据集上的多个现有的方法，而不依赖于标签或元数据。
2022-03-15 cs.CV
Generative Adversarial Perturbations with Cross-paradigm Transferability on Localized Crowd Counting
University of South Florida（南佛罗里达大学）
本文提出一种新型对抗框架，通过多任务损失优化平衡密度图与点回归范式，实现对人群计数模型的有效攻击，提升攻击效果与不可察觉性。
2026-03-25 cs.AI cs.CV
Localizing Adversarial Attacks To Produces More Imperceptible Noise
The George Washington University（乔治·华盛顿大学）
本文通过二值掩码将 FGSM、PGD 和 C&W 对抗噪声限制在局部区域，证明其扰动更小、PSNR 与 SSIM 更高，但计算成本上升且 ASR 略降，迭代方法表现更稳健。
2025-09-23 cs.AI cs.CV cs.LG
Appearance-Invariant 6-DoF Visual Localization using Generative Adversarial Networks
China Unicom（中国联通）；AI Innovation and Application Center（人工智能创新应用中心）
我们提出了一种新的视觉定位网络，当外部环境发生变化，如不同的光照，天气和季节。视觉定位网络由特征提取网络和姿态回归网络组成。特征提取网络由基于生成对抗网络CycleGAN的编码器网络组成，该网络可以从不同天气和季节的未配对样本中捕获内在外观不变的特征图。有了这样一个不变的特征，我们使用一个6自由度的姿态回归网络来解决长期的视觉定位在户外照明，天气和季节变化的存在。使用各种具有挑战性的地点识别和定位数据集来证明我们的视觉定位网络，结果表明，我们的方法在各种环境变化的情况下优于最先进的方法。
2020-12-24 cs.CV
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester（罗切斯特大学）
在本文中，我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频，视觉，以及这两种形式，以探索视听整合是否仍然加强感知，以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互，我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击，我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明，视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性，反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
Generative Adversarial Networks for Unsupervised Object Co-localization
Yonsei University（延世大学）
提出了一种基于生成对抗网络（GANs）的无监督目标协同定位方法。GAN是一种强大的工具，可以以无监督的方式隐式地学习未知数据分布。从观察到，GAN像素是高度影响的像素出现的对象，我们分析的内部层的像素和可视化的激活像素。我们的重要发现是，高图像多样性的GAN，这是GAN研究的主要目标，具有讽刺意味的是不利于对象定位，因为这样的鉴别器不仅关注于目标对象，而且关注于各种对象，如背景对象。基于大量的评估和实验研究，我们发现图像多样性和定位性能有负相关。此外，我们的方法使用公开的基准数据集实现了无监督对象协同定位的有意义的准确性，甚至可以与最先进的弱监督方法相媲美。
2018-07-08 cs.CV
APT: Anchor-aligned Perturbations for Tamper Localization in Fully Regenerated Images
KAIST（韩国科学技术院）
针对现有篡改定位方法在完全再生图像中失效的问题，提出半脆弱潜在空间扰动APT，通过锚点对齐特征实现篡改定位，在COCO数据集上FR IoU达0.92，性能优于基线，可泛化到未知篡改类型。
2026-09-01 cs.CV
Adversarial Complementary Learning for Weakly Supervised Object Localization
University of Technology Sydney（悉尼科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）
在这项工作中，我们提出了对抗性互补学习（ACoL），以自动定位具有弱监督的语义兴趣的完整对象。我们首先在数学上证明了类定位图可以通过直接选择最后一个卷积层的类特定特征图来获得，这为识别对象区域铺平了一条简单的道路。然后，我们提出了一个简单的网络架构，包括两个并行分类器的对象定位。具体来说，我们利用一个分类分支，动态地定位一些歧视性的对象区域在向前通过。虽然它通常对目标对象的稀疏部分做出响应，但该分类器可以通过从特征图中擦除其发现的区域来驱动对应分类器发现新的和互补的对象区域。通过这种对抗性学习，两个并行分类器被迫利用互补的对象区域进行分类，并最终可以一起生成完整的对象定位。ACoL的优点主要有两个方面：1）它可以以端到端的方式进行训练; 2）动态擦除使对等分类器能够更有效地发现互补对象区域。我们在各种实验中证明了我们的ACoL方法的优越性。特别是，ILSVRC数据集上的Top-1定位出错率为45.14%，这是最新的技术水平。
2018-04-19 cs.CV
Entropy Guided Adversarial Model for Weakly Supervised Object Localization
Harbin Institute of Technology（哈尔滨工业大学）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Shenzhen University（深圳大学）
由于缺少限界框注释，弱监督对象定位具有挑战性。以前的工作倾向于生成一个类激活图，即CAM来定位对象。不幸的是，网络只激活区分对象的特征，而不会激活整个对象。一些方法倾向于删除对象的某些部分，以迫使CNN检测其他特征，而另一些方法则改变网络结构，从模型的不同级别生成多个CAM。在这篇文章中，我们建议利用网络的泛化能力，并使用干净的例子和对抗性的例子来训练模型，以定位整个对象。对抗性示例通常用于训练鲁棒模型，并且是添加了扰动的图像。为了获得良好的分类精度，使用对抗性示例训练的CNN被迫检测更多区分对象的特征。我们进一步建议将香农熵应用于网络生成的CAM上，以在训练过程中指导它。我们的方法不会删除图像的任何部分，也不会改变网络架构，并且大量的实验表明，我们的熵引导对抗模型（EGA模型）在定位和分类精度方面都提高了最先进的基准性能。
2020-08-04 cs.CV
UniABG: Unified Adversarial View Bridging and Graph Correspondence for Unsupervised Cross-View Geo-Localization
针对无监督跨视角地理定位的伪标签噪声问题，提出双阶段框架UniABG，通过对抗视角桥接与图对应校准实现SOTA性能，在两个基准数据集上精度大幅提升，甚至超过部分有监督方法。
2025-11-15 cs.CV
Forcing the Whole Video as Background: An Adversarial Learning Strategy for Weakly Temporal Action Localization
Chongqing University（重庆大学）
利用视频级标签，弱监督时间动作定位（WTAL）应用分类定位范式来检测和分类未修剪视频中的动作。在WTAL中，由于分类的特点，不可避免地会误激活特定类别的背景片段，以提高分类器的可区分性。为了减轻背景的干扰，现有的方法试图扩大行动和背景之间的差异，通过建模的背景片段与伪片段级的注释，这在很大程度上依赖于人工假设。与以往的工作不同，我们提出了一个对抗性的学习策略，以打破挖掘伪背景片段的限制。具体地说，背景分类丢失迫使整个视频被视为背景的背景梯度增强策略，混淆了识别模型。值得注意的是，前景（动作）损失引导模型在这种情况下专注于动作片段。因此，两种分类损失之间的竞争驱动模型提高其动作建模的能力。同时，设计了一种新的时间增强网络，使模型能够基于所提出的策略构建亲和片段的时间关系，进一步提高动作定位的性能。最后，在THUMOS 14和ActivityNet1.2上进行了大量实验，验证了该方法的有效性。
2022-07-14 cs.CV
Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization
University of Michigan（密歇根大学）
近年来，对未修剪视频中的时间定位活动进行了广泛的研究。尽管最近的进展，现有的方法弱监督的时间活动本地化的斗争，以识别活动时，没有发生。为了解决这个问题，我们提出了一种新的方法命名为A2 CL-PT。在我们的方法中考虑了特征空间的两个三元组：一个三元组用于学习每个活动类的判别特征，另一个三元组用于区分每个视频的活动相关特征和没有活动发生的特征（即背景特征）。为了进一步提高性能，我们使用两个并行的分支来构建我们的网络，这两个分支以对抗的方式运行：第一个分支定位视频中最突出的活动，第二个分支从视频的非本地化部分中找到其他补充活动。在THUMOS 14和ActivityNet数据集上进行的大量实验表明，我们提出的方法是有效的。具体而言，THUMOS 14数据集上从0.1到0.9的IoU阈值的平均mAP从27.9%显著提高到30.0%。
2020-07-13 cs.CV
SADA: Semantic adversarial unsupervised domain adaptation for Temporal Action Localization
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
针对时序动作定位在跨域泛化中的性能下降问题，首次提出语义对抗无监督域适应方法SADA，通过局部类别分布敏感的对抗损失实现细粒度适应，并在新基准上较现有方法提升高达6.14% mAP。
2025-02-22 cs.CV
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory（数据分析实验室）；Samsung Life Insurance（三星人寿保险）
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而，一般的文本本地化仅由最近的基于深度学习的模式存档。在这里，我们提出了文档文本定位生成对抗网络（TLGAN），它是深度神经网络，用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型，需要少量数据。在扫描收据OCR和信息抽取（SROIE）上仅训练来自Robust Reading Challenge的10个标记收据图像，TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案，只需最少的数据标记和模型训练工作，即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
rPPG-SysDiaGAN: Systolic-Diastolic Feature Localization in rPPG Using Generative Adversarial Network with Multi-Domain Discriminator
West Virginia University（西弗吉尼亚大学）
本文提出rPPG-SysDiaGAN架构，通过引入专注于时域、频域及时域信号二阶导数的多判别器生成对抗网络，从面部视频中提取rPPG信号，解决了现有方法无法准确区分收缩和舒张成分的问题。
2025-04-01 cs.CV
Statistical Analysis of Signal-Dependent Noise: Application in Blind Localization of Image Splicing Forgery
University of Shanghai for Science and Technology（上海理工大学）；Fudan University（复旦大学）
视觉噪声通常被认为是图像质量的干扰，而它也可以为基于图像的取证任务提供关键线索。传统上，假设噪声包括待估计的加性高斯模型，然后用于揭示异常。然而，对于真实的传感器噪声，它应该被建模为信号相关噪声（SDN）。在这项工作中，我们应用SDN拼接伪造本地化任务。通过对SDN模型的统计分析，我们假设噪声可以建模为高斯近似，并提出了一个噪声水平函数的似然模型。通过建立一个最大后验马尔可夫随机场（MAP-MRF）框架，我们利用噪声的可能性来揭示拼接对象的外来区域，与概率组合细化策略。为了保证检测的全盲性，采用迭代交替法估计MRF参数。实验结果表明，我们的方法是有效的，并提供了一个比较定位性能。
2020-11-02 cs.CV cs.MM eess.IV
Adversarial Seeded Sequence Growing for Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
时间动作定位是一个重要而具有挑战性的研究课题，由于其各种应用。由于对未修剪视频进行帧级或段级标注需要大量的人工投入，因此对弱监督动作检测的研究不断涌现。然而，大多数现有的框架依赖于类激活序列（CAS）本地化的动作，最大限度地减少视频级的分类损失，它利用了最具歧视性的部分的行动，但忽略了次要地区。在本文中，我们提出了一种新的弱监督框架，通过对抗学习的两个模块，以消除这些缺点。具体而言，第一模块被设计为一个精心设计的种子序列生长（SSG）网络，用于逐步扩展种子区域（即由基于CAS的框架初始化的高度可靠的区域）到其预期的边界。第二个模块是一个用于挖掘琐碎或不完整动作区域的特定分类器，该分类器在删除SSG激活的种子区域后在共享特征上进行训练。通过这种方式，由这两个模块组成的整个网络可以以对抗的方式进行训练。对手的目标是挖掘动作分类器难以挖掘的特征。也就是说，来自SSG的错误将迫使分类器在输入特征序列上发现次要甚至新的动作区域，并且分类器将交替地驱动种子生长。最后，我们可以从训练好的SSG和分类器中获得动作的位置和类别。在两个公共基准测试程序THUMOS'14和ActivityNet1.3上进行的大量实验表明，与最先进的方法相比，我们所提出的方法具有令人印象深刻的性能。
2019-08-07 cs.CV
View Distribution Alignment with Progressive Adversarial Learning for UAV Visual Geo-Localization
Shenyang Aerospace University（沈阳航空航天大学）
本文提出了一种用于无人机视觉地理定位的端到端网络 PVDA，通过渐进式对抗学习策略联合优化特征编码器、位置分类器和视角判别器，实现无人机与卫星视角的分布对齐，从而学习位置依赖且视角不变的特征，在 University-1652 数据集上以更少推理时间取得更优性能。
2024-01-03 cs.CV
Attacking Image Splicing Detection and Localization Algorithms Using Synthetic Traces
深度学习的最新进展使取证研究人员能够开发出一类新的图像拼接检测和定位算法。这些算法通过使用Siamese神经网络检测取证痕迹中的局部不一致来识别拼接内容，无论是在分析期间显式地还是在训练期间隐式地。与此同时，深度学习还实现了新形式的反取证攻击，例如对抗性示例和基于生成对抗网络（GAN）的攻击。然而，到目前为止，没有反取证攻击已被证明对图像拼接检测和定位算法。在本文中，我们提出了一种新的基于GAN的反取证攻击，能够欺骗最先进的拼接检测和定位算法，如EXIF-Net，Noiseprint和Forensic Similarity Graphs。这种攻击通过对抗一组暹罗神经网络来训练反取证生成器，以便它能够创建合成的取证痕迹。经过分析，这些合成痕迹看起来是真实的，并且在整个图像中是自洽的。通过一系列的实验，我们证明了我们的攻击是能够愚弄法医拼接检测和定位算法，而不会引入视觉上可检测的文物到攻击图像。此外，我们证明了我们的攻击优于现有的替代攻击方法。%
2022-11-22 cs.CV cs.LG eess.IV
IAP: Invisible Adversarial Patch Attack through Perceptibility-Aware Localization and Perturbation Optimization
CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心）
IAP通过感知性感知定位和扰动优化生成隐形对抗补丁，在目标攻击中保持高成功率且不易被人类和防御机制察觉。
2025-07-09 cs.AI cs.CV
Splicing Detection and Localization In Satellite Imagery Using Conditional GANs
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
图像编辑工具的广泛可用性和图像处理技术的改进使得图像操作变得非常容易。通常，易于使用但复杂的图像处理工具会产生人类观察者无法察觉的失真/变化。伪造图像的传播可能会产生严重的后果，特别是当与互联网的速度和广度相结合时。因此，验证图像的完整性对数字取证社区提出了巨大而重要的挑战。卫星图像可以通过多种方式进行修改，包括插入物体以隐藏现有场景和结构。在本文中，我们描述了使用条件生成对抗网络（cGAN）来识别卫星图像中这种拼接森林的存在。此外，我们还确定了它们的位置和形状。在原始图像和伪造图像上训练，我们的方法在这些检测和定位目标上取得了很高的成功。
2022-05-03 cs.CV cs.LG eess.IV
Adversarial Attack and Defense of YOLO Detectors in Autonomous Driving Scenarios
Bowling Green State University（鲍灵格林州立大学）
视觉检测是自动驾驶中的一项关键任务，是自动驾驶规划和控制的重要基础。深度神经网络在各种视觉任务中取得了令人鼓舞的成果，但众所周知，它们容易受到对抗攻击的攻击。在人们提高其鲁棒性之前，需要全面了解深度视觉检测器的脆弱性。然而，只有少数对抗攻击/防御工作集中在目标检测，他们中的大多数只采用分类和/或定位损失，忽略了对象方面。在本文中，我们确定了YOLO检测器中一个严重的对象相关对抗漏洞，并针对自动驾驶汽车视觉检测的对象方面提出了一种有效的攻击策略。此外，为了解决这种脆弱性，我们提出了一种新的对象感知对抗训练方法用于视觉检测。实验表明，针对对象方面的攻击是45.17%和43.50%，分别比那些产生的分类和/或本地化损失的KITTI和COCO流量数据集，更有效。此外，所提出的对抗性防御方法可以提高检测器对面向对象攻击的鲁棒性，在KITTI和COCO流量上分别提高21%和12%mAP。
2022-07-03 cs.CV
Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization
Nanjing University of Science and Technology（南京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Nanjing University（南京大学）
单目图像中的地标/姿态估计由于其重要的应用而在计算机视觉中受到了广泛的关注。当输入图像严重遮挡时，不利的相机视图。在这种情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用界标点互连的几何约束来预测姿态。为了解决这个问题，通过结合关于姿势组件结构的先验知识，我们提出了一种新的结构感知的完全卷积网络，以在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，受人类如何识别不可信姿势的启发，我们设计了判别器来区分真实姿势和虚假姿势（例如生物学上不可信的姿势）。如果姿态生成器G生成的结果无法与真实的结果区分开来，则网络成功地学习了先验知识。网络的训练遵循条件生成对抗网络（GANs）的策略。所提出的网络的有效性进行了评估三个姿势相关的任务：2D单人姿势估计，2D面部地标估计和3D单人姿势估计。所提出的方法显著优于最先进的方法，并且几乎总是生成合理的姿势预测，证明了使用GANs的结构隐式学习的有用性。
2019-02-24 cs.CV
The Courtroom Trial of Pixels: Robust Image Manipulation Localization via Adversarial Evidence and Reinforcement Learning Judgment
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Ant Group（蚂蚁集团）；College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）
本文提出一种法庭式裁决框架，通过对抗证据和强化学习判断，提升图像篡改定位的鲁棒性，实验表明其性能优于现有方法。
2026-10-14 cs.CV
PatchGuard: Adversarially Robust Anomaly Detection and Localization through Vision Transformers and Pseudo Anomalies
Sharif University of Technology（谢里夫理工大学）
PatchGuard提出一种基于视觉Transformer和前景感知伪异常的对抗鲁棒异常检测与定位方法，通过理论指导的对抗训练，在工业和医学数据集上显著提升对抗鲁棒性，AD提升53.2%，AL提升68.5%。
2025-10-24 cs.CV cs.LG
Robot Localization and Mapping Final Report -- Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
本文提出一种自监督深度视觉里程计方法，通过结合光流与RNN建模时空相关性，并引入GAN损失函数改进深度和位姿估计，减少轨迹漂移和图像伪影。
2023-09-08 cs.CV
Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization
Arizona State University（亚利桑那州立大学）；Mila – Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Mayo Clinic（梅奥诊所）
生成式对抗网络（GANs）带来了图像到图像翻译的革命。GANs的发展和扩散提出了一个有趣的问题：我们能否训练一个GAN从图像中删除一个对象（如果存在），同时保留图像？具体来说，GAN是否可以通过将健康状况未知（患病或健康）的医学图像转换为健康图像，从而通过减去这两个图像来显示患病区域，从而“虚拟治愈”任何人？这样的任务需要GAN识别用于域平移的目标像素的最小子集，我们称之为定点平移的能力，GAN还没有配备。因此，我们提出了一种新的GAN，称为固定点GAN，通过以下方式进行训练：（1）通过有条件的身份丢失来监督同域翻译，以及（2）通过修订的对抗性，域分类和循环一致性丢失来正则化跨域翻译。基于固定点翻译，我们进一步推导出一个新的框架，疾病检测和定位，仅使用图像级注释。定性和定量的评价表明，该方法优于最先进的多域图像到图像的翻译，它超越了主要的弱监督定位方法在疾病检测和定位。可在https://github.com/jlianglab/Fixed-Point-GAN上获得实现。
2019-08-29 cs.CV eess.IV
Labelling Vertebrae with 2D Reformations of Multidetector CT Images: An Adversarial Approach for Incorporating Prior Knowledge of Spine Anatomy
Technical University of Munich（慕尼黑工业大学）；Friedrich Miescher Institute for Biomedical Engineering（弗里德里希·米舍尔生物医学工程研究所）
目的：使用并测试一种标记算法，该算法对二维（2D）重建而不是三维（3D）数据进行操作，以定位和识别椎骨。研究方法：我们改进了Btrfly Net（由Sekuboyina等人描述），该网络适用于矢状和冠状最大强度投影（MIP），并使用两个额外的组件对其进行了增强：脊柱定位和对抗优先学习。此外，我们探索了两种对抗性训练方案的变体，这些方案将解剖学先验知识纳入Btrfly Net。我们研究了所提出的方法在三个数据集上标记椎骨的优越性：302个CT扫描的公共基准数据集和两个内部数据集，共238个CT扫描。我们采用Wilcoxon符号秩检验来计算由于我们的方法中的各种架构组件而观察到的性能改善的统计显著性。结果如下：在公共数据集上，我们使用所描述的Btrfly（pe-eb）网络的方法与当前最先进的方法相当，实现了统计学上的显著性。（p <0.001）椎骨识别率为88.5+/-0.2%，定位距离小于7 mm。在内部数据集上，具有较高的扫描间数据变异性，我们获得了85.1 ± 1.2%的识别率。结论：当在2D MIP上标记椎骨时，实现了与现有3D方法相当的识别性能。使用所提出的对抗性训练制度，有效地加强了当地的脊椎先验知识在训练过程中的性能进一步提高。最后，脊柱本地化增加了我们的方法的通用性，在MIP的内容。
2021-02-26 cs.CV
Improving Weakly-Supervised Object Localization Using Adversarial Erasing and Pseudo Label
Seoul National University of Science and Technology（首尔科技大学）
针对弱监督目标定位仅用图像级标签难以定位完整目标的问题，提出结合对抗擦除与伪标签的框架，通过新型损失和伪标签优化激活，在多个骨干网络和公开数据集上性能超越现有最优方法。
2024-04-15 cs.AI cs.CV
RADA: Robust Adversarial Data Augmentation for Camera Localization in Challenging Weather
University of Oxford（牛津大学）；Monash University Indonesia（蒙纳士大学印度尼西亚校区）；University of Edinburgh（爱丁堡大学）
摄像机定位是许多机器人应用中的一个基本和关键问题。近年来，使用深度学习进行基于摄像头的定位已经成为一个热门的研究方向。然而，它们对大的域偏移缺乏鲁棒性，这可能是由训练和测试数据集之间的季节或光照变化引起的。数据增强是解决这一问题的一种有吸引力的方法，因为它不需要提供额外的数据。然而，现有的增强方法盲目地扰动所有像素，因此无法获得令人满意的性能。为了克服这个问题，我们提出了RADA，一个系统，其目的是集中在扰动图像的几何信息部分。因此，它学会生成最小的图像扰动，这些扰动仍然能够困扰网络。我们表明，当这些例子被用作增强，它大大提高了鲁棒性。我们表明，我们的方法优于以前的增强技术，并实现了高达两倍的精度比SOTA定位模型（例如，AtLoc和MapNet）在“看不见的”具有挑战性的天气条件下进行测试。
2021-12-05 cs.CV cs.NE
Attention-Aware Generative Adversarial Networks (ATA-GANs)
University of Patras（帕特雷大学）
在这项工作中，我们提出了一种新的方法来训练生成对抗网络（GANs）。使用教师网络产生的注意力地图，我们能够提高生成的图像的质量，以及对生成的图像执行弱对象定位。为此，我们生成了用间接免疫荧光（IIF）捕获的HEp-2细胞的图像，并研究了我们的网络对细胞进行弱定位的能力。首先，我们证明了虽然GANs可以有效地学习输入域和目标分布之间的映射，但RBF网络无法检测到感兴趣的区域。其次，我们提出了一种新的注意力转移机制，它允许我们通过迁移学习来加强对感兴趣区域的强调。第三，我们表明，这会导致更逼真的图像，因为神经元学会把重点放在感兴趣的区域。第四，所提出的方法允许人们生成图像以及注意力图，这对于例如目标检测中的数据注释是有用的。
2018-02-25 cs.CV
Detection and Localization of Multiple Image Splicing Using MobileNet V1
Symbiosis Institute of Technology, Symbiosis International (Deemed University)（共生国际（ deemed）大学共生技术学院）；Symbiosis Centre for Applied Artificial Intelligence, Symbiosis International (Deemed University)（共生国际（ deemed）大学共生应用人工智能中心）
本文提出基于MobileNet V1骨干的Mask R-CNN方法，用于检测和定位多重图像拼接伪造，并在自建MISD数据集上验证其优于ResNet系列模型。
2021-09-14 cs.CR cs.CV
Jedi: Entropy-based Localization and Removal of Adversarial Patches
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程师学院）；University of California Riverside（加州大学河滨分校）；Queen’s University Belfast（贝尔法斯特女王大学）；CNRS（法国国家科学研究中心）；Université Polytechnique Hauts-de-France（上法兰西综合理工大学）；Université de Jendouba（坚杜巴大学）；Institut National des Technologies et des Sciences du Kef（卡夫国家技术与科学学院）
本文提出模型无关的Jedi防御框架，利用高熵区域识别和自动编码器补全来定位并移除逼真对抗性补丁，在多个基准上实现90%平均检测率和最高94%攻击恢复率。
2023-04-20 cs.CR cs.CV cs.LG
Self-Adversarial Training incorporating Forgery Attention for Image Forgery Localization
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Shenzhen University（深圳大学）
图像编辑技术使人们能够在不留下视觉痕迹的情况下修改图像的内容，因此可能导致严重的安全风险。因此，这些森林的检测和定位变得非常必要和具有挑战性。此外，与其他具有大量数据的任务不同，由于注释困难，通常缺乏用于训练的注释伪造图像。在本文中，我们提出了一种自对抗训练策略和一个可靠的粗到细网络，利用自我注意力机制定位伪造图像中的伪造区域。自注意模块基于逐行高通滤波器块（CW-HPF）。CW-HPF利用特征的通道间关系，并通过高通滤波器提取噪声特征。在CW-HPF的基础上，提出了一种自注意力机制，称为伪造注意力，以捕获丰富的上下文依赖的内在不一致性提取篡改区域。具体来说，我们附加两种类型的注意力模块上的CW-HPF分别在空间维度和通道之间的外部依赖模型的内部相互依赖。我们利用一个由粗到细的网络来增强原始和篡改区域之间的噪声不一致性。更重要的是，针对训练数据不足的问题，我们设计了一种自对抗训练策略，该策略动态地扩展训练数据以实现更鲁棒的性能。具体来说，在每次训练迭代中，我们对我们的网络进行对抗攻击，以生成对抗性示例，并在这些示例上训练我们的模型。大量的实验结果表明，我们提出的算法稳定优于国家的最先进的方法在不同的基准数据集的一个明确的保证金。
2022-02-03 cs.CV cs.MM
Knowledge transfer between bridges for drive-by monitoring using adversarial and multi-task learning
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
利用驶过车辆的振动监测桥梁健康状况具有各种好处，例如成本低，不需要在桥梁上直接安装或现场维护设备。然而，许多这样的方法需要来自每个网桥的标记数据，这是昂贵且耗时的，如果不是不可能的话。这进一步加剧了具有多个诊断任务，如损伤量化和定位。解决这个问题的一种方法是将为一座桥梁训练的监督模型直接应用于其他桥梁，尽管这可能会由于不同桥梁数据之间的分布失配而显著降低准确性。为了缓解这些问题，我们引入了一个迁移学习框架，使用领域对抗训练和多任务学习来检测、定位和量化损伤。具体来说，我们以对抗的方式训练一个深度网络，以学习1）对损伤敏感和2）对不同桥梁不变的特征。此外，为了改善从一个任务到下一个任务的错误传播，我们的框架使用多任务学习来学习所有任务的共享特征。我们评估我们的框架使用实验室规模的实验与两个不同的桥梁。平均而言，我们的框架分别实现了94%，97%和84%的准确度，损伤检测，定位和量化。在一个严重程度的损害。
2020-06-05 cs.CV
Deep Metric Color Embeddings for Splicing Localization in Severely Degraded Images
图像取证中的一个常见任务是检测拼接图像，其中多个源图像被合成为一个输出图像。目前大多数性能最好的拼接检测器利用高频伪影。然而，在图像经历强压缩之后，大多数高频伪影不再可用。在这项工作中，我们探索了一种拼接检测的替代方法，该方法可能更适合于受到强压缩和下采样的野外图像。我们的建议是对图像的颜色形成进行建模。颜色的形成很大程度上取决于场景对象的尺度变化，因此对高频伪影的依赖性要小得多。我们学习了一个深度度量空间，一方面对照明颜色和相机白点估计敏感，但另一方面对对象颜色的变化不敏感。嵌入空间中的大距离表明两个图像区域来自不同的场景或不同的相机。在我们的评估中，我们表明，所提出的嵌入空间在经过强压缩和下采样的图像上的性能优于现有技术。我们在两个进一步的实验中确认度量空间的双重性质，即同时表征采集相机和场景光源颜色。因此，这项工作处于基于物理和统计取证的交叉点，双方都有好处。
2022-06-21 cs.CV cs.MM
Multi-scale Target-Aware Framework for Constrained Image Splicing Detection and Localization
Shenzhen University（深圳大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）
针对约束型图像拼接检测与定位任务中特征提取与匹配分离的问题，提出多尺度目标感知框架，通过目标感知注意力机制和多尺度投影实现联合学习，在多个基准上性能优于SOTA且抗尺度变换。
2023-08-21 cs.CV cs.MM
Detection of Uncertainty in Exceedance of Threshold (DUET): An Adversarial Patch Localizer
Nanyang Technological University (NTU)（南洋理工大学）
开发针对物理世界攻击的防御措施，如对抗性补丁，正在研究界获得关注。我们通过引入一个基于不确定性的对抗补丁定位器，将对抗补丁定位在图像上，允许后处理补丁避免或补丁重建，从而为对抗补丁检测领域做出贡献。我们量化我们的预测不确定性与\textit{\textbf{D}etection of \textbf{U}ncertainties in the \textbf{E}xceedance of \textbf{T}hreshold}（DUET）算法的发展。该算法提供了一个框架来确定对抗补丁定位的置信度，这对于自动驾驶汽车和医学成像等安全敏感应用至关重要。我们进行了定位对抗补丁的实验，发现我们提出的DUET模型优于基线模型。然后，我们对我们的模型先验的选择和贝叶斯神经网络在我们的模型架构中的不同层的采用进行进一步的分析。我们发现贝叶斯神经网络中的等距高斯先验适合于补丁定位任务，并且在早期神经网络块中贝叶斯层的存在有利于高端定位性能，而在后期神经网络块中添加贝叶斯层有助于更好的模型泛化。然后，我们提出了两种不同的性能良好的模型来处理不同的用例。
2023-03-18 cs.AI cs.CV
AlphaGAN: Generative adversarial networks for natural image matting
Trinity College Dublin（都柏林圣三一学院）
我们提出了第一个用于自然图像抠图的生成对抗网络（GAN）。我们的新型生成器网络经过训练，可以预测视觉上吸引人的阿尔法，并增加了训练用于对合成良好的图像进行分类的分类器的对抗性损失。此外，我们改进了现有的编码器-解码器架构，以更好地处理卷积神经网络（CNN）中继承的空间定位问题，方法是使用扩张卷积来捕获全局上下文信息，而不会缩小特征图并丢失空间信息。我们提出了最先进的结果的梯度误差的在线基准，并在其他类似的结果。我们的方法特别适用于头发等精细结构，这在电影/电视制作等实际消光应用中非常重要。
2018-07-26 cs.CV
Efficient Image Splicing Localization via Contrastive Feature Extraction
University of Southern California（南加利福尼亚大学）
在这项工作中，我们提出了一个新的数据可视化和聚类技术，发现在高维数据的歧视性结构。这种技术被称为cPCA++，它利用了这样一个事实，即在传统的PCA过程中，“目标”数据集的有趣特征可能会被高方差分量所掩盖。通过分析所谓的“背景”数据集（即，一种表现出高方差主成分但不表现出感兴趣的结构），我们的技术能够有效地突出显示对“目标”数据集唯一的结构。与最近提出的另一种称为“对比PCA”（cPCA）的算法类似，所提出的cPCA++方法可以识别出传统PCA在各种设置中无法检测到的重要数据集特定模式。然而，所提出的cPCA++方法比cPCA更有效，因为它不需要后一种方法中的参数扫描。我们将cPCA++方法应用于图像拼接定位问题。在这个应用程序中，我们利用真实的边缘作为背景数据集和拼接的边缘作为目标数据集。所提出的方法比最先进的方法更有效，因为前者不需要通过随机梯度下降和反向传播迭代更新滤波器权重，也不需要训练分类器。此外，cPCA++方法提供的性能评分可与最先进的多任务全卷积网络（MFCN）相媲美。
2019-01-22 cs.CV cs.LG cs.MM
DisorientLiDAR: Physical Attacks on LiDAR-based Localization
College of Information Science and Engineering, Hunan University（湖南大学信息科学与工程学院）
提出DisorientLiDAR对抗攻击框架，通过逆向工程定位模型识别并移除关键点云特征，破坏基于LiDAR的自动驾驶定位，并在KITTI数据集和Autoware平台及物理世界中验证了攻击有效性。
2025-09-16 cs.AI cs.CV
On the Adversarial Robustness of Remote Sensing Semantic Change Detection
Linköping University（林雪平大学）；Helmholtz Institute Freiberg for Resource Technology（弗赖贝格亥姆霍兹资源技术研究所）；Helmholtz-Zentrum Dresden-Rossendorf（德累斯顿-罗森多夫亥姆霍兹中心）
本研究针对遥感语义变化检测任务，提出分离输出侧攻击目标与输入侧时序扰动的评估框架，经多数据集、多模型实验，揭示其对抗鲁棒性依赖完整双时序预测通路，为耦合双时序图像分析提供鲁棒性评估协议。
2026-08-18 cs.CV
