All Patches Matter, More Patches Better: Enhance AI-Generated Image Detection via Panoptic Patch Learning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Youtu Lab, Tencent(腾讯优图实验室);Peking University(北京大学);Wechat Pay, Tencent(腾讯微信支付);School of Software Technology, Zhejiang University(浙江大学软件技术学院)
本文提出全景补丁学习框架,通过随机补丁替换和补丁级对比学习,解决AI生成图像检测中的Few-Patch偏差问题,提升检测鲁棒性和泛化能力。
2026-03-22 cs.CV
Collapse of Patches: Ranking Image Patches for Efficient Visual Modeling
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
通过补丁崩溃视角提升图像建模效率,利用补丁依赖关系优化图像生成与分类
2026-08-25 cs.CV
Image Denoising by Gaussian Patch Mixture Model and Low Rank Patches
Inner Mongolia University(内蒙古大学);University of Hong Kong(香港大学)
基于非局部自相似性的低秩图像去噪算法是图像去噪的一种新方法。本文提出了一种新的方法,解决了两个问题:如何提高相似块匹配精度和建立一个合适的低秩矩阵近似模型的高斯噪声。对于第一个问题,可以在本地或全球找到类似的补丁。局部块匹配是在较大的邻域内寻找相似的块,可以减轻噪声的影响,但块的数量可能不足。全局块匹配是为了确定足够多的相似块,但块匹配的出错率可能更高。在此基础上,我们首先使用局部块匹配方法来减少噪声,然后使用高斯块混合模型来实现全局块匹配。第二个问题是没有低秩矩阵近似模型来适应高斯噪声。根据高斯噪声的特点建立了一个新的模型,并证明了该模型存在全局最优解。通过解决这两个问题,实验结果表明,所提出的方法优于最先进的去噪方法,包括几个深度学习的PSNR / SSIM值和视觉质量。
2020-11-20 cs.CV
Hashed Binary Search Sampling for Convolutional Network Training with Large Overhead Image Patches
Oak Ridge National Laboratory(橡树岭国家实验室)
与地面实况地图相关联的非常大的开销图像具有为机器学习算法生成数十亿个训练图像块的潜力。然而,随机采样选择标准往往会导致冗余和噪声图像补丁的模型训练。由于这一挑战背后的研究工作很少,目前的状况意味着错过了开发监督学习算法的机会,这些算法可以在广泛的地理场景中推广。此外,大规模机器学习的大部分计算周期都花费在处理噪声和冗余图像块上。我们展示了一个潜在的框架,以解决这些挑战,同时评估人类住区检测任务。一种新的二叉搜索树采样方案融合了基于核的散列过程,使用从图像内容生成的二进制代码将图像补丁映射到散列桶中。该框架利用数十亿图像块中的固有冗余来提升大多数高方差保持样本,以加速算法训练和提高模型泛化能力。
2017-07-18 cs.CV
Learning quadrangulated patches for 3D shape parameterization and completion
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
我们提出了一种新的3D形状参数化的表面补丁,这是面向3D网格四边形的形状。通过对局部补丁的3D表面细节进行编码,我们学习了一个补丁字典,该字典识别形状的主要表面特征。与以前的方法不同,我们能够编码由用户确定的可变大小的表面补丁。我们提出了新的字典学习和补丁重建的基础上查询的嘈杂的输入补丁与孔的方法。我们评估补丁字典对各种应用程序在3D形状修复,去噪和压缩。我们的方法能够预测丢失的顶点和修补中等大小的洞。我们展示了一个完整的管道重建的3D网格从补丁编码。我们验证我们的形状参数化和重建方法的合成形状和现实世界的扫描。我们表明,我们的补丁字典进行成功的形状完成复杂的表面纹理。
2017-09-20 cs.CV
PatchTrack: Multiple Object Tracking Using Frame Patches
UC, Santa Barbara(加州大学圣塔芭芭拉分校);Amazon(亚马逊);Appen
对象运动和对象外观是多对象跟踪(MOT)应用中常用的信息,用于在逐检测跟踪方法中跨帧关联检测,或者用于联合检测和跟踪方法的直接跟踪预测。然而,不仅这两种类型的信息通常被单独考虑,而且它们也无助于直接优化来自当前感兴趣帧的视觉信息的使用。在本文中,我们提出了PatchTrack,一个基于变换器的联合检测和跟踪系统,使用当前感兴趣的帧的补丁预测轨道。我们使用卡尔曼滤波器从前一帧预测当前帧中现有轨道的位置。从预测的边界框中裁剪的补丁被发送到Transformer解码器以推断新的轨道。通过利用对象运动和对象外观信息编码在补丁中,所提出的方法更加关注新的轨迹更可能出现的地方。我们在最近的MOT基准测试中显示了PatchTrack的有效性,包括MOT16(MOTA 73.71%,IDF1 65.77%)和MOT17(MOTA 73.59%,IDF1 65.23%)。结果发表在https://motchallenge.net/method/MOT=4725&chl=10上。
2022-01-01 cs.CV
PProCRC: Probabilistic Collaboration of Image Patches
University of Otago(奥塔哥大学);Indian Statistical Institute(印度统计研究所)
我们提出了一个条件概率框架的图像补丁的协同表示。它将背景补偿和离群补丁抑制纳入主要制定本身,从而消除了需要预处理步骤来处理相同的。一个封闭的形式的非迭代求解的成本函数。所提出的方法(PProCRC)优于早期的CRC公式:基于补丁(PCRC,GP-CRC)以及最先进的概率(ProCRC和EProCRC)在三个细粒度的物种识别数据集(牛津花卉,牛津IIIT宠物和CUB鸟类)使用两个CNN骨干(Vgg-19和ResNet-50)。
2020-11-09 cs.CV
Mining Discriminative Triplets of Patches for Fine-Grained Classification
University of Maryland, College Park(马里兰大学帕克分校);Comcast Labs DC(康卡斯特DC实验室)
细粒度分类涉及基于高度局部化区域中的细微差异来区分相似的子类别;因此,区分区域的准确定位仍然是一个重大挑战。我们描述了一个基于补丁的框架来解决这个问题。我们引入三元组的补丁几何约束,以提高补丁定位的准确性,并自动挖掘判别几何约束的三元组分类。所得到的方法只需要对象边界框。使用四个公开的细粒度数据集证明了它的有效性,在这些数据集上,它的性能优于或达到了与最先进的分类相当的性能。
2016-05-04 cs.CV
PatchGuard++: Efficient Provable Attack Detection against Adversarial Patches
Princeton University(普林斯顿大学)
对抗补丁可以任意操纵图像像素在一个有限的区域,以诱导模型误分类。这种局部化攻击的威胁已经引起了极大的关注,因为对手可以通过将补丁附加到受害者对象来发起物理上可实现的攻击。最近的可证明鲁棒的防御通常遵循PatchGuard框架,使用具有小感受野的CNN和安全特征聚合来进行鲁棒的模型预测。在本文中,我们将PatchGuard扩展到PatchGuard++,用于可证明地检测对抗补丁攻击,以提高可证明的鲁棒准确性和干净准确性。在PatchGuard++中,我们首先使用具有小感受野的CNN进行特征提取,以便限制被对抗补丁损坏的特征数量。接下来,我们在特征空间中应用掩码,并在所有可能的掩码特征映射上评估预测。最后,我们从所有掩码预测中提取一个模式来捕获对抗补丁攻击。我们在ImageNet(ImageNet的10类子集),ImageNet和CIFAR-10上评估了PatchGuard++,并证明PatchGuard++显着提高了可证明的鲁棒性和干净的性能。
2021-04-26 cs.CV
SimPatch: A Nearest Neighbor Similarity Match between Image Patches
Imperial College London(帝国理工学院)
测量图像中的块之间的相似性是各种任务中的基本构建块。当然,补丁大小对匹配质量以及随后的应用性能有重大影响。我们尝试使用大的补丁,而不是相对较小的补丁,使每个补丁包含更多的信息。我们使用不同的特征提取机制来提取每个单独的图像块的特征,形成一个特征矩阵,并找出图像中的最近邻块。本文针对给定图像的查询块,采用两种不同的最近邻算法计算最近块,并给出了计算结果。
2020-08-07 cs.CV cs.GR cs.IR
Inconspicuous Adversarial Patches for Fooling Image Recognition Systems on Mobile Devices
Nanyang Technological University(南洋理工大学)
基于深度学习的图像识别系统已被广泛部署在当今世界的移动设备上。然而,在最近的研究中,深度学习模型被证明容易受到对抗性示例的影响。对抗样本的一种变体,称为对抗补丁,由于其强大的攻击能力而引起研究人员的注意。虽然对抗补丁实现了高攻击成功率,但由于补丁和原始图像之间的视觉不一致性,它们很容易被检测到。此外,在文献中,它通常需要大量的数据来生成对抗补丁,这是计算昂贵和耗时的。为了解决这些挑战,我们提出了一种方法来生成不显眼的对抗补丁与一个单一的图像。在我们的方法中,我们首先根据受害者模型的感知灵敏度来确定补丁的位置,然后利用多尺度生成器和鉴别器以粗到细的方式生成对抗补丁。鼓励补丁与对抗训练的背景图像保持一致,同时保持强大的攻击能力。我们的方法显示了强大的攻击能力,在白盒设置和良好的可移植性,在黑盒设置通过广泛的实验,各种模型与不同的架构和训练方法。与其他对抗性补丁相比,我们的对抗性补丁具有最可忽略的检测风险,并且可以逃避人类观察,这得到了显着性图和用户评估结果的支持。最后,我们证明了我们的对抗补丁可以应用于物理世界。
2021-11-21 cs.AI cs.CV
Patch Selection for Melanoma Classification
ISEP - Institut Supérieur d’Électronique de Paris(巴黎高等电子学院)
在医学图像处理中,最重要的信息通常位于图像的小部分上。基于补丁的方法旨在仅使用图像的最相关部分。找到自动选择补丁的方法是一个挑战。在本文中,我们研究了两个标准来选择补丁:熵和光谱相似性标准。我们在不同水平的补丁大小进行实验。我们在这些面片的子集上训练一个卷积神经网络,并分析训练时间。我们发现,除了需要更少的预处理时间,分类器训练的数据集上选择的补丁熵比那些选择的光谱相似性标准的基础上收敛得更快,而且,导致更高的准确性。此外,高熵的补丁导致更快的收敛速度和更好的精度比低熵的补丁。
2022-06-27 cs.CV cs.LG
Good Similar Patches for Image Denoising
Portland State University(波特兰州立大学)
像BM3D这样的基于补丁的去噪算法已经取得了出色的性能。这些方法成功的一个重要思想是利用输入图像中相似块的递归来估计底层图像结构。然而,在这些算法中,用于去噪的相似块通过最近邻搜索(NNS)获得,并且有时不是最优的。首先,由于噪声的存在,NNS可以选择与参考贴片具有相似噪声模式的相似贴片。其次,数字图像中不可靠的噪声像素会给补丁搜索过程带来偏差,并导致最终去噪结果中的颜色保真度损失。我们观察到,给定一组良好的相似补丁,它们的分布不一定集中在有噪声的参考补丁,可以近似为高斯分量。基于这一观察,我们提出了一种补丁搜索方法,聚类相似的补丁候选补丁组使用高斯混合模型为基础的聚类,并选择补丁组,其中包含参考补丁作为最终的补丁去噪。我们还使用了一个不可靠的像素估计算法来预处理的输入噪声图像,以进一步提高补丁搜索。我们的实验表明,我们的方法可以更好地捕捉底层补丁结构,并可以始终使国家的最先进的基于补丁的去噪算法,如BM3D,LPCA和PLOW,更好地去噪图像,通过提供他们与补丁发现我们的方法,而不修改这些算法。
2019-01-18 cs.CV cs.GR eess.IV
Are Vision Transformers Robust to Patch Perturbations?
University of Munich(慕尼黑大学);Google Research(谷歌研究院)
视觉Transformer(ViT)的最新进展已经证明了其在图像分类方面令人印象深刻的性能,这使其成为卷积神经网络(CNN)的一个有前途的替代方案。与CNN不同,ViT将输入图像表示为图像补丁序列。基于块的输入图像表示使以下问题变得有趣:与CNN相比,当单个输入图像块受到自然损坏或对抗性扰动时,ViT的表现如何?在这项工作中,我们研究的鲁棒性ViT补丁式扰动。令人惊讶的是,我们发现ViTs对自然损坏的补丁比CNN更鲁棒,而它们更容易受到对抗性补丁的攻击。此外,我们发现注意力机制对视觉Transformer的鲁棒性有很大的影响。具体而言,注意力模块可以通过有效地忽略自然损坏的补丁来帮助提高ViT的鲁棒性。然而,当ViTs被对手攻击时,注意力机制很容易被愚弄,从而更多地关注于被对手干扰的补丁并导致错误。基于我们的分析,我们提出了一个简单的基于温度缩放的方法来提高ViT对对抗补丁的鲁棒性。进行了大量的定性和定量实验,以支持我们的研究结果,理解和改进的ViT鲁棒性补丁的扰动在一组变压器为基础的架构。
2022-07-18 cs.CV eess.IV
Sparse patches adversarial attacks via extrapolating point-wise information
Technion – Israel Institute of Technology(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出通过逐点修剪密集对抗扰动的方法,实现多个稀疏补丁位置与扰动的同时优化,并在稀疏对抗攻击多个设置中显著超越现有最先进水平。
2024-11-25 cs.CV cs.LG
Pre-Warm: Initializing Convolutional Filters from First-Batch Patch Dictionaries
提出Pre-Warm方法,通过聚类训练批次中的局部图像块并利用质心初始化第一层卷积核的一半,在无额外训练成本下显著提升分类精度。
2026-09-09 cs.CV cs.LG
Jedi: Entropy-based Localization and Removal of Adversarial Patches
Université de Sousse(苏塞大学);Ecole Nationale d’Ingénieurs de Sousse(苏塞国家工程师学院);University of California Riverside(加州大学河滨分校);Queen’s University Belfast(贝尔法斯特女王大学);CNRS(法国国家科学研究中心);Université Polytechnique Hauts-de-France(上法兰西综合理工大学);Université de Jendouba(坚杜巴大学);Institut National des Technologies et des Sciences du Kef(卡夫国家技术与科学学院)
本文提出模型无关的Jedi防御框架,利用高熵区域识别和自动编码器补全来定位并移除逼真对抗性补丁,在多个基准上实现90%平均检测率和最高94%攻击恢复率。
2023-04-20 cs.CR cs.CV cs.LG
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari(卡利亚里大学);University of Genova(热那亚大学);Pluribus One(普里布斯一号公司)
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题,提出可跨模型泛化的ImageNet-Patch数据集,经仿射变换后可快速评估鲁棒性,已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
Meta Adversarial Training against Universal Patches
Bosch Center for Artificial Intelligence(博世人工智能中心)
最近展示的物理世界对抗攻击暴露了感知系统中的漏洞,这些漏洞对自动驾驶等安全关键应用构成了严重风险。这些攻击在物理世界中放置对抗性工件,间接导致向模型的输入添加通用补丁,可以在各种上下文中欺骗它。对抗性训练是对抗图像依赖性对抗攻击的最有效的防御方法。然而,将对抗训练定制为通用补丁在计算上是昂贵的,因为最佳通用补丁取决于在训练期间改变的模型权重。我们提出了Meta对抗训练(MAT),一种对抗训练与元学习的新组合,它通过元学习通用补丁和模型训练克服了这一挑战。MAT需要很少的额外计算,同时不断适应当前模型的补丁的大集合。MAT大大提高了对图像分类和交通灯检测的通用补丁攻击的鲁棒性。
2021-06-22 cs.AI cs.CV cs.LG
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
深度学习图像分类容易受到对抗攻击的攻击,即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像,使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明,我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG