PatchDCT: Patch Refinement for High Quality Instance Segmentation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
高质量的实例分割在计算机视觉中显示出越来越重要的作用。DCT-Mask不需要任何细化，直接通过压缩矢量生成高分辨率的掩码。为了进一步细化压缩向量得到的掩码，我们首次提出了一个基于压缩向量的多级细化框架。然而，香草组合并没有带来显著的收益，因为DCT向量的某些元素的变化会影响整个掩码的预测。因此，我们提出了一种简单而新颖的方法命名PatchDCT，它分离的DCT矢量解码的掩码成几个补丁和细化每个补丁的设计分类器和回归。具体地说，分类器用于区分混合补丁从所有补丁，并纠正以前错误预测的前景和背景补丁。相反，回归器用于混合块的DCT向量预测，进一步细化边界位置处的分割质量。COCO上的实验表明，我们的方法在COCO，LVIS和Cityscapes上分别比Mask-RCNN提高了2.0%，3.2%，4.5% AP和3.4%，5.3%，7.0%边界AP。在COCO、LVIS和Cityscapes上，它也超过了DCT-Mask 0.7%、1.1%、1.3% AP和0.9%、1.7%、4.2%边界AP。此外，PatchDCT的性能也与其他国家的最先进的方法竞争。
2023-02-07 cs.CV
Which Pixel to Annotate: a Label-Efficient Nuclei Segmentation Framework
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
近年来，需要大量标注样本的深度神经网络已被广泛应用于H\&E染色病理图像的细胞核实例分割。然而，它是低效的，不必要的标记的所有像素的细胞核图像的数据集，通常包含相似的和冗余的模式。虽然无监督和半监督学习方法已被研究用于细胞核分割，但很少有工作深入研究样本的选择性标记以减少注释的工作量。因此，在本文中，我们提出了一种新的完整的细胞核分割框架，只选择几个图像补丁进行注释，从选定的样本中增加训练集，并以半监督的方式实现细胞核分割。在所提出的框架中，我们首先开发了一种新的基于一致性的补丁选择方法，以确定哪些图像补丁是最有益的训练。然后，我们引入了一个条件的单图像GAN与组件式的神经网络，合成更多的训练样本。最后，我们提出的框架用上述增强的样本训练现有的分割模型。实验结果表明，我们提出的方法可以获得相同水平的性能作为一个完全监督的基线，通过注释小于5%的像素在一些基准。
2022-12-20 cs.CV
DPAttack: Diffused Patch Attacks against Universal Object Detection
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）
最近，深度神经网络（DNN）已广泛且成功地用于目标检测，例如Faster RCNN，YOLO，CenterNet。然而，最近的研究表明，DNN容易受到对抗攻击的攻击。针对目标检测的对抗攻击可以分为两类，全像素攻击和补丁攻击。虽然这些攻击会对图像中的大量像素增加扰动，但我们提出了一种扩散补丁攻击（\textbf{DPAttack}），通过小行星形状或网格形状的扩散补丁成功地欺骗对象检测器，这只会改变少量像素。实验结果表明，本文提出的DPAttack算法可以成功地欺骗大多数具有扩散补丁的目标检测器，并在阿里巴巴天池竞赛：阿里巴巴-清华对抗目标检测挑战赛中获得第二名。我们的代码可以从https://github.com/Wu-Shudeng/DPAttack获得。
2020-10-16 cs.AI cs.CV cs.LG
PRSeg: A Lightweight Patch Rotate MLP Decoder for Semantic Segmentation
School of Software, Xinjiang University（新疆大学软件学院）；Shanghai AI Laboratory（上海人工智能实验室）；Baidu Inc.（百度公司）
针对逐通道MLP解码器感受野不足、上下文建模能力弱的问题，提出无参数块旋转操作并构建PRSeg网络，在多个语义分割数据集上验证了有效性，推动相关技术发展。
2023-05-01 cs.CV
PaRK-Detect: Towards Efficient Multi-Task Satellite Imagery Road Extraction via Patch-Wise Keypoints Detection
从卫星图像中自动提取道路是遥感领域中一项基本而又具有挑战性的计算机视觉任务。基于像素的语义分割方法和基于图的方法是两种流行的方案。然而，现有的工作表明，基于语义分割的方法产生低连通性的道路图，而基于图的方法与迭代探索范式和较小的感受野更侧重于本地信息，也是耗时的不完善之处。在本文中，我们提出了一种新的多任务卫星图像道路提取方案，Patch-wise道路关键点检测（PaRK-Detect）。该框架基于D-LinkNet架构，采用关键点检测的结构，通过预测道路关键点的位置以及它们之间的相邻关系来构建道路图。同时，多任务框架还执行逐像素语义分割并生成道路分割掩模。我们对DeepGlobe、Massachusetts Roads和RoadTracer数据集上现有的最先进方法进行了评估，并取得了有竞争力或更好的结果。我们还证明了相当的推理速度方面的表现。
2023-02-26 cs.CV
The Road to On-board Change Detection: A Lightweight Patch-Level Change Detection Network via Exploring the Potential of Pruning and Pooling
Tsinghua University（清华大学）
针对星上计算资源受限问题，提出轻量级补丁级变化检测网络LPCDNet，通过通道剪枝和特征压缩快速筛除未变化补丁，在Jetson AGX Orin上速度超1000帧/秒，内存成本降低60%以上。
2023-10-16 cs.CV cs.LG
Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation
Tsinghua Berkeley Shenzhen Institute（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；Tencent（腾讯）
随着图像数据量的增加和相应标签的缺乏，弱监督学习在计算机视觉任务中，特别是在细粒度的语义分割问题中引起了广泛的关注。为了减轻人类的努力，从昂贵的逐像素的注释，我们的方法侧重于弱监督语义分割（WSSS）与图像级标签，这是更容易获得。由于像素级分割和图像级标注之间存在着巨大的差距，如何在每个像素上反映图像级的语义信息是一个重要的问题。为了最大限度地挖掘同一类别的同源语义区域，基于不同图像中含有相同类别标签的自检测块，构建了块级图神经网络（P-GNN）。修补程序可以尽可能多地框住对象，并包括尽可能少的背景。以斑块为节点建立的图网络可以最大限度地提高相似对象的相互学习能力。我们把贴片的嵌入向量作为节点，利用基于变换的互补学习模块，根据不同节点之间的嵌入相似性来构造加权边。此外，为了更好地补充语义信息，我们提出了与整个网络结构相匹配的软互补损失函数。我们对流行的PASCAL VOC 2012基准进行了实验，我们的模型产生了最先进的性能。
2021-10-08 cs.AI cs.CV
RPATTACK: Refined Patch Attack on General Object Detectors
Peking University（北京大学）；Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）
如今，像YOLO和Faster R-CNN这样的通用对象检测器及其变体在许多应用中得到了广泛的利用。许多研究表明，这些检测器非常容易受到对抗性补丁攻击。以前的基于块的攻击对目标检测器产生的扰动区域非常大，这是攻击所不需要的，也是人眼可感知的。为了产生更少但更有效的扰动，我们提出了一种新的基于补丁的方法来攻击一般的对象检测器。首先，我们提出了一个补丁的选择和细化计划，找到最重要的攻击像素，并逐步消除无关紧要的扰动。然后，对于稳定的集成攻击，我们平衡检测器的梯度，以避免在训练阶段过度优化其中一个。我们的RPAttack可以为Yolo v4和Faster R-CNN实现100%的惊人漏检率，而在VOC 2007测试集上仅修改0.32%的像素。我们的代码可在https://github.com/VDIGPKU/RPAttack上获得。
2021-03-23 cs.AI cs.CV
Patcher: Patch Transformers with Mixture of Experts for Precise Medical Image Segmentation
The Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Houston Methodist Hospital（休斯顿卫理公会医院）
本文提出 Patcher 医学图像分割架构，通过重叠大块内小块 Transformer 编码和专家混合解码器，在卒中病变与息肉分割上显著超越现有方法。
2023-05-29 cs.CV eess.IV
Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
目标检测在许多安全关键系统中起着关键作用。对抗性补丁攻击在物理世界中很容易实现，对最先进的对象检测器构成严重威胁。为对象检测器开发针对补丁攻击的可靠防御是至关重要的，但严重缺乏研究。在本文中，我们提出了分段和完全防御（SAC），一个通用的框架，通过检测和删除敌对补丁，保护对象检测器免受补丁攻击。我们首先训练一个补丁分割器，输出补丁掩模，提供像素级定位的对抗补丁。然后，我们提出了一种自对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一个强大的形状完成算法，这是保证从图像中删除整个补丁，如果补丁分割器的输出在一定的汉明距离的地面真理补丁掩模。我们在COCO和xView数据集上的实验表明，SAC即使在强自适应攻击下也具有出色的鲁棒性，并且在干净图像上的性能没有降低，并且可以很好地推广到看不见的补丁形状，攻击预算和看不见的攻击方法。此外，我们提出了APRICOT-Mask数据集，它通过对抗补丁的像素级注释来增强APRICOT数据集。我们表明SAC可以显着降低物理补丁攻击的目标攻击成功率。我们的代码可在https://github.com/joellliu/SegmentAndComplete上获得。
2022-05-02 cs.CR cs.CV eess.IV
DetectorGuard: Provably Securing Object Detectors against Localized Patch Hiding Attacks
Princeton University（普林斯顿大学）
最先进的对象检测器容易受到局部补丁隐藏攻击，其中对手引入一个小的对抗补丁，使检测器错过显著对象的检测。补丁攻击者可以通过打印并将对抗补丁附加到受害者对象来执行物理世界攻击。在本文中，我们提出DetectorGuard作为第一个通用框架，用于构建可证明鲁棒的对象检测器，以对抗局部补丁隐藏攻击。DetectorGuard的灵感来自于鲁棒图像分类研究的最新进展;我们问：我们能适应鲁棒的图像分类器来进行鲁棒的目标检测吗？不幸的是，由于它们的任务差异，从鲁棒图像分类器天真地适配的对象检测器1）在对抗设置中可能不一定是鲁棒的，或者2）甚至在干净设置中保持不错的性能。为了建立一个高性能的鲁棒对象检测器，我们提出了一个对象解释策略：我们适应一个强大的图像分类器来预测对象的每个图像位置，然后解释每个对象使用传统的对象检测器预测的边界框。如果所有对象都得到了很好的解释，我们就输出传统对象检测器做出的预测;否则，我们就发出攻击警报。值得注意的是，1）在对抗环境中，我们正式证明了DetectorGuard对认证对象的端到端鲁棒性，即，它要么检测对象，要么触发警报，以防止我们的威胁模型中的任何补丁隐藏攻击者; 2）在干净的设置中，我们具有与最先进的对象检测器几乎相同的性能。我们对PASCAL VOC，MS COCO和KITTI数据集的评估进一步证明了DetectorGuard以可忽略的成本（<1%）实现了对…
2021-10-26 cs.CR cs.CV cs.LG
Competing for pixels: a self-play algorithm for weakly-supervised segmentation
University College London（伦敦大学学院）；Beijing Institute of Technology（北京理工大学）；University of Westminster（威斯敏斯特大学）
提出一种基于强化学习自博弈的弱监督分割方法，通过双代理竞争选择感兴趣区域块，并设计终止条件，有效减少过度或欠分割，在四个数据集上超越现有方法。
2024-05-26 cs.CV cs.LG
Multi-Layer Pseudo-Supervision for Histopathology Tissue Semantic Segmentation using Patch-level Classification Labels
Guangdong Cardiovascular Institute（广东省心血管病研究所）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
组织级语义分割是计算病理学中的一个重要步骤。全监督模型已经通过密集的像素级注释实现了出色的性能。然而，在千兆像素的整个幻灯片图像上绘制这样的标签是极其昂贵和耗时的。在本文中，我们只使用块级分类标签，实现组织病理学图像的组织语义分割，最终减少注释工作。我们提出了一个两步模型，包括一个分类和分割阶段。在分类阶段，我们提出了一个基于CAM的模型来生成伪掩模的补丁级标签。在分割阶段，我们通过我们提出的多层伪监督实现了组织的语义分割。已经提出了几种技术创新，以减少像素级和补丁级注释之间的信息差距。作为本文的一部分，我们介绍了一个新的弱监督语义分割（WSSS）数据集肺腺癌（LUAD-HistoSeg）。我们在两个数据集上进行了几个实验来评估我们提出的模型。我们提出的模型优于两个国家的最先进的WSSS方法。请注意，我们可以使用全监督模型实现相当的定量和定性结果，MIoU和FwIoU的差距仅为2%左右。与手动标注相比，我们的模型可以大大节省标注时间，从数小时缩短到数分钟。源代码可从以下网址获得：\url{https://github.com/ChuHan89/WSSS-Tissue}。
2021-10-14 cs.CV eess.IV q-bio.QM
TPatch: A Triggered Physical Adversarial Patch
USSLAB, Zhejiang University（浙江大学USSLAB）；BNRist, Tsinghua University（清华大学BNRist）
本文提出TPatch，一种由声学信号触发的物理对抗补丁，在正常情况下保持良性，被触发后可发起隐藏、创建或篡改攻击，并采用内容伪装和鲁棒性增强方法在现实世界中欺骗视觉感知模型。
2023-12-30 cs.CR cs.CV
Self-supervised Remote Sensing Images Change Detection at Pixel-level
University of Trento（特伦托大学）
深度学习技术在遥感图像变化检测中取得了巨大的成功。它们中的大多数是监督技术，通常需要大量的训练数据，并且仅限于特定的应用。自监督方法作为一种无监督的方法，被广泛应用于无监督的二值变化检测任务中。然而，现有的自监督方法在变化检测是基于预任务或在补丁级别，这可能是次优的逐像素变化检测任务。因此，在这项工作中，提出了一种像素级对比的方法来克服这一限制。这是通过在未标记的多视图设置上使用像素级特征中的对比度损失来实现的。在这种方法中，Siamese ResUnet被训练来获得像素级表示，并从移位的正对中对齐特征。同时，在两个分支中使用矢量量化来增强学习的特征。通过从一个分支的特征中减去另一个分支的特征并使用Rosin阈值方法来获得最终的二进制变化图。为了克服二进制变化图中规则季节变化的影响，我们还使用了一种不确定性方法来增强所提出的方法的时间鲁棒性。两个同质（OSCD和MUDS）数据集和一个异构（加州洪水）数据集被用来评估所提出的方法的性能。结果表明，在效率和准确性的补丁明智的多视图对比方法的改进。
2021-10-08 cs.CV eess.IV
Multi-scale Cloud Detection in Remote Sensing Images using a Dual Convolutional Neural Network
University of Helsinki（赫尔辛基大学）；Finnish Environment Institute（芬兰环境研究所）
基于卷积神经网络（CNN）的语义分割技术在遥感图像像素级分类中取得了很大的进展。然而，处理大图像通常需要以小块分析图像，因此具有大空间范围的特征仍然会在云掩蔽等任务中带来挑战。为了支持更大规模的空间特征，同时减少大型卫星图像的计算需求，我们提出了一个架构的两个级联的CNN模型组件连续处理欠采样和全分辨率图像。第一个组件区分内部云区域中的补丁和云边界区域处的补丁。对于需要进一步分割的云模糊边缘补丁，框架然后将计算委托给细粒度模型组件。我们将该架构应用于完整的Sentinel-2多光谱图像的云检测数据集，近似注释为土地利用应用中的最小假阴性。在这个特定的任务和数据，我们实现了16\%的像素精度相对于CNN基线的基础上修补。
2020-06-01 cs.CV cs.LG cs.NE
PCA: Semi-supervised Segmentation with Patch Confidence Adversarial Training
Hebei University of Technology（河北工业大学）；University of Oxford（牛津大学）
基于深度学习的半监督学习（SSL）方法在医学图像分割中取得了很好的效果，可以利用大量未标记数据减轻医生昂贵的标注费用。与大多数现有的半监督学习方法不同，基于对抗训练的方法通过学习分割图的数据分布来区分来自不同来源的样本，从而使分割器生成更准确的预测。我们认为，目前的性能限制，这种方法的特征提取和学习偏好的问题。在本文中，我们提出了一种新的半监督对抗方法称为补丁的信心对抗训练（PCA）的医学图像分割。而不是单一的标量分类结果或像素级的置信度图，我们提出的ESTA创建补丁的置信度图，并将它们分类的补丁的规模。未标记数据的预测学习每个块中的像素结构和上下文信息，以获得足够的梯度反馈，这有助于迭代收敛到最优状态，提高半监督分割性能。此外，在机器人的输入，我们补充图像上的语义信息约束，使其更简单的未标记的数据，以适应预期的数据分布。在自动心脏诊断挑战（ACDC）2017数据集和脑肿瘤分割（BraTS）2019挑战数据集上进行的大量实验表明，我们的方法优于最先进的半监督方法，这证明了其对医学图像分割的有效性。
2022-07-24 cs.CV cs.LG eess.IV
Kandinsky Conformal Prediction: Efficient Calibration of Image Segmentation Algorithms
The Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
针对数据稀缺场景下像素级图像分割模型校准困难的问题，提出Kandinsky calibration方法，利用图像空间结构聚合相似区域的不一致性分数，在少量数据下显著降低了覆盖误差并提升了校准的数据效率。
2023-11-20 cs.AI cs.CV cs.LG
KRADA: Known-region-aware Domain Alignment for Open-set Domain Adaptation in Semantic Segmentation
Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Nanjing University of Science and Technology（南京理工大学）；Northeastern University（东北大学）；The University of Sydney（悉尼大学）
在语义分割中，我们的目标是训练一个像素级分类器，为图像中的所有像素分配类别标签，其中标记的训练图像和未标记的测试图像来自相同的分布，并共享相同的标签集。然而，在一个开放的世界中，未标记的测试图像可能包含未知的类别，并有不同的分布从标记的图像。因此，在本文中，我们考虑一个新的，更现实的，更具有挑战性的问题设置，像素级分类器必须用标记图像和未标记的开放世界图像进行训练-我们将其命名为开集域自适应分割（OSDAS）。在OSDAS中，训练好的分类器被期望能够识别未知类像素并很好地分类已知类像素。为了解决OSDAS，我们首先调查未知类像素服从哪个分布。然后，出于拟合优度测试的动机，我们使用统计测量来显示像素如何拟合未知类的分布，并选择高度拟合的像素来形成每个测试图像中的未知区域。最后，我们提出了一个端到端的学习框架，已知区域感知域对齐（KRADA），区分未知类，同时对齐已知类在标记和未标记的开放世界图像中的分布。KRADA的有效性已在两个合成任务和一个COVID-19分割任务上得到验证。
2023-02-19 cs.CV cs.LG eess.IV
Fast Color Constancy with Patch-wise Bright Pixels
Fudan University（复旦大学）
本文提出了一种无需学习的颜色恒常性算法--逐块亮像素（Patch-wise Bright Pixels，PBP）。在该算法中，输入图像首先被下采样，然后均匀地切割成几个块。然后，根据每个块的修改后的亮度，在块中选择适当比例的最亮像素。最后，基于灰色世界（GW）的方法被应用到所选择的亮像素估计场景的照明。在NUS $8$ -Camera数据集上的实验表明，PBP算法的性能优于最先进的无学习方法以及广泛的基于学习的方法。特别是，PBP在两毫秒内处理$1080$ p图像，比现有的免学习图像快数百倍。我们的算法提供了一个潜在的解决方案，全面屏智能手机的屏幕与身体的比例为$100$ \%。
2019-11-17 cs.CV
Maximin affinity learning of image segmentation
MIT（麻省理工学院）；Max-Planck Insitute for Medical Research（马克斯·普朗克医学研究所）；HHMI（霍华德·休斯医学研究所）
可以通过首先使用分类器来预测反映图像像素必须被分组在一起的程度的亲和图，然后对该图进行分区以产生分割来对图像进行分割。机器学习已被应用于亲和分类器，以产生亲和图，其在最小化边缘误分类率的意义上是好的。然而，该误差度量仅与通过最终划分亲和图产生的分割的质量间接相关。我们提出了第一个机器学习算法，用于训练分类器，以产生亲和图，这是很好的意义上产生的分割，直接最小化的兰德指数，一个众所周知的分割性能指标。Rand指数通过量化分割后图像像素对的连通性分类来衡量分割性能。通过使用简单的图划分算法，找到阈值亲和图的连通分量，我们能够训练亲和分类器，以直接最小化从图划分产生的分割的Rand指数。我们的学习算法对应于学习图像像素对之间的最大最小亲和力，这是预测的像素对的连接。
2009-11-28 cs.AI cs.CV cs.LG
Dense Transformer Networks
Washington State University（华盛顿州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
当前用于密集预测的深度学习方法的关键思想是在以每个像素为中心的规则块上应用模型来进行逐像素预测。这些方法的局限性在于补丁是由网络架构确定的，而不是从数据中学习的。在这项工作中，我们提出了密集的Transformer网络，它可以学习的形状和大小的补丁从数据。密集Transformer网络采用编码器-解码器架构，并且将一对密集Transformer模块插入到编码器和解码器路径中的每一个中。这项工作的新颖之处在于，我们提供了技术解决方案，用于从数据中学习补丁的形状和大小，并有效地恢复密集预测所需的空间对应关系。所提出的密集Transformer模块是可微的，因此可以训练整个网络。我们将所提出的网络应用于自然和生物图像分割任务，与基线方法相比，表现出优越的性能。
2017-06-08 cs.CV cs.LG cs.NE
Deep PatchMatch MVS with Learned Patch Coplanarity, Geometric Consistency and Adaptive Pixel Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Inc.（亚马逊公司）
最近在多视图立体视觉（MVS）中的工作将可学习的光度分数和正则化与基于PatchMatch的优化相结合，以实现对深度、法线和可见性的鲁棒像素级估计。然而，基于非学习的方法仍然优于具有稀疏视图的大型场景，部分原因是使用几何一致性约束和以高分辨率优化许多视图的能力。在本文中，我们建立在基于学习的方法，以提高光度分数通过学习补丁共面性和鼓励几何一致性通过学习缩放光度成本，可以结合重投影误差。我们还提出了一个自适应像素采样策略的候选传播，减少内存，使训练更大的分辨率与更多的意见和更大的编码器。这些修改导致具有挑战性的ETH 3D基准测试的准确性和完整性提高了6-15%，从而比广泛使用的最先进的非学习方法ACMM和ACMP具有更高的F1性能。
2022-10-14 cs.CV
Clustering and classification of low-dimensional data in explicit feature map domain: intraoperative pixel-wise diagnosis of adenocarcinoma of a colon in a liver
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
人工智能在医学中的应用带来了通过复杂模型实现的高度准确的预测，其推理很难解释。它们的泛化能力可能会降低，因为缺乏在冷冻切片组织分析中出现的逐像素注释的图像。为了部分克服这一差距，本文探讨了近似显式特征映射（aEFM）变换的低维数据到一个低维子空间在希尔伯特空间。在那里，随着计算复杂度的适度增加，线性算法产生了改进的性能并保持可解释性。他们仍然服从增量学习，这对于一些非线性算法来说不是一个微不足道的问题。我们展示了一个非常大规模的问题，术中像素级语义分割和聚类的结肠腺癌在肝脏上的建议方法。与输入空间中的结果相比，logistic分类器在微观平衡准确率和F1得分方面分别实现了12.04%和12.58%的统计显著性能改善。支持向量机分类器的识别率分别为8.04%和9.41%。对于聚类，使用超大规模谱聚类算法获得了0.79%和0.85%的提高。结果支持的可解释性的讨论，使用Shapely添加剂的解释值的线性分类器在输入空间和aEFM诱导空间的预测。
2022-03-07 cs.CV cs.LG eess.IV
Patch Correspondences for Interpreting Pixel-level CNNs
Microsoft C + AI（微软 C + AI）；Western Virginia University（西弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了组合最近邻（CompNN），这是一种简单的方法，可以直观地解释卷积神经网络（CNN）为像素级任务（例如，图像合成和分割）。它通过从具有相似特征嵌入的训练集中复制粘贴相应的补丁来重建CNN的输入和输出图像。为了有效地做到这一点，它采用了一种基于补丁匹配的算法，该算法利用了CNN为像素级任务学习的补丁表示平滑变化的事实。最后，我们证明了CompNN可以用来建立两个图像之间的语义对应关系，并通过修改训练集中包含的图像来控制输出图像的属性。我们对语义分割和图像到图像的翻译进行了定性和定量实验，证明CompNN是解释像素级CNN学习的嵌入的好工具。
2018-09-04 cs.CV
From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）
图像超分辨率是多媒体数据处理和传输的基本工具。最近，基于变换器的模型在图像SR方面取得了有竞争力的性能。它们将图像划分为固定大小的补丁，并在这些补丁上应用自注意力来建模像素之间的长程依赖关系。然而，这种架构的设计是起源于高层次的视觉任务，它缺乏设计指导的SR知识。在本文中，我们的目标是设计一个新的注意力块，其见解来自SR网络的局部属性图（LAM）的解释。具体地说，LAM提出了一个分层的重要性地图，其中最重要的像素位于一个补丁的精细区域和一些不太重要的像素分布在整个图像的粗糙区域。为了访问粗糙区域中的像素，而不是使用非常大的补丁大小，我们提出了一个轻量级的全局像素访问（GPA）模块，该模块将交叉注意力应用于图像中最相似的补丁。在精细区域，我们使用一个内部补丁自注意（IPSA）模块来模拟长距离像素的依赖性在一个局部补丁，然后一个$3\times3$卷积被应用到处理最精细的细节。此外，级联补丁划分（CPD）的策略，提出了提高恢复图像的感知质量。大量的实验表明，我们的方法优于国家的最先进的轻量级SR方法的一个很大的利润。代码可在https://github.com/passerer/HPINet上获得。
2022-11-30 cs.CV
Pixel-Optimization-Free Patch Attack on Stereo Depth Estimation
Nanyang Technological University（南洋理工大学）；Chongqing University（重庆大学）；Wuhan University（武汉大学）；Jinan University（暨南大学）
本文针对立体深度估计提出首个免像素优化的补丁攻击方法 PatchHunter，通过强化学习在结构化视觉模式空间中搜索可迁移补丁，并在 KITTI、CARLA 及真实车辆上验证其优于像素级攻击的效果与物理鲁棒性。
2025-08-27 cs.CV
Adversarial Patch
Google（谷歌公司）
我们提出了一种在现实世界中创建通用的，鲁棒的，有针对性的对抗图像补丁的方法。补丁是通用的，因为它们可以用来攻击任何场景，健壮的，因为它们在各种各样的变换下工作，有针对性的，因为它们可以导致分类器输出任何目标类。这些对抗补丁可以打印，添加到任何场景，拍照，并呈现给图像分类器;即使补丁很小，它们也会导致分类器忽略场景中的其他项目并报告所选的目标类别。为了重现论文中的结果，我们的代码可以在https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch上找到。
2018-05-17 cs.CV
A Comparison for Patch-level Classification of Deep Learning Methods on Transparent Environmental Microorganism Images: from Convolutional Neural Networks to Visual Transformers
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）；University of Luebeck（吕贝克大学）
目前，透明环境微生物图像（T-EM图像）的分析已逐渐成为计算机视觉领域的一个新的研究热点。针对T-EM图像分析具有挑战性的问题，本文比较了不同的深度学习分类性能。我们将T-EM图像以相同的比例裁剪成8 * 8和224 * 224像素块，然后根据地面真实值将两个不同的像素块划分为前景和背景。我们还使用了四个卷积神经网络和一个新的ViT网络模型来比较前景和背景分类实验。我们得出结论，ViT在分类8 * 8像素块时表现最差，但在分类224 * 224像素块时，它优于大多数卷积神经网络。
2021-07-21 cs.CV
Accelerating Image Super-Resolution Networks with Pixel-Level Classification
Yonsei University（延世大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
本文提出像素级分类器PCSR，通过按像素恢复难度自适应分配不同容量的上采样器，在无需重新训练的情况下提升超分辨率网络的计算效率与性能平衡。
2024-07-31 cs.CV
SAR and Optical data fusion based on Anisotropic Diffusion with PCA and Classification using Patch-based with LBP
National Institute of Technology, Kurukshetra（国立库鲁克谢特拉技术学院）
SAR（VV和VH偏振）和光学数据被广泛用于图像融合，以利用彼此的互补信息，获得更好质量的图像（在空间和光谱特征方面），以改善分类结果。本文采用各向异性扩散结合主成分分析的方法对SAR和光学数据进行融合，并采用基于块的支持向量机分类结合LBP（LBP-PSVM）。使用所考虑的融合方法，VV偏振的融合结果优于VH偏振。对于分类，LBP-PSVM使用S1（VV）与S2，S1（VH）与S2的性能分别与SVM分类器（无补丁）和PSVM分类器（有补丁）进行了比较。分类结果表明，LBP-PSVM分类器是更有效的SVM和PSVM分类器相比，所考虑的数据。
2021-01-20 cs.CV
DuSPiT: Dual-Branch Sub-Patch Pixel Diffusion Transformer
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Reve（瑞夫）
研究针对像素空间扩散中单一表示兼顾全局与细节的问题，提出双分支子补丁像素扩散变换器DuSPiT。通过分离全局与局部处理，利用两分支交互，实现更丰富细节和更好质量效率权衡，优于此前的像素空间扩散变换器。
2026-07-22 cs.CV
Patch Based Classification of Remote Sensing Data: A Comparison of 2D-CNN, SVM and NN Classifiers
NIT Kurukshetra（库鲁克谢特拉国家技术学院）
基于像素的算法包括反向传播神经网络（NN）和支持向量机（SVM）已被广泛用于遥感图像分类。在过去的几年里，基于深度学习的图像分类器，如卷积神经网络（2D-CNN）正在成为这些分类器的流行替代品。在本文中，我们比较了基于补丁的SVM和NN与由2D-CNN和全连接层组成的深度学习算法的性能。类似于CNN利用图像补丁来获得进一步分类的特征，我们建议使用补丁作为输入，代替SVM和NN分类器的单个像素。两个数据集，一个多光谱和其他高光谱数据被用来比较不同的分类器的性能。两个数据集的结果表明，与最先进的2D-CNN分类器相比，基于补丁的SVM和NN分类器的有效性。
2020-06-21 cs.CV cs.LG
BadPart: Unified Black-box Adversarial Patch Attacks against Pixel-wise Regression Tasks
Purdue University（普渡大学）；Sichuan University（四川大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出首个统一黑盒对抗补丁攻击框架BadPart，针对像素级回归任务（如深度估计和光流估计），采用方形采样与梯度估计技术，在7个模型上超越基线，并成功攻击谷歌在线服务。
2024-05-25 cs.CV
PatchINR: Patch-Based Implicit Neural Representations for Efficient and Scalable Inference
The Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong.（香港大学电子与计算机工程系）
提出基于块的隐式神经表示方法，以非重叠块为处理单元单次预测整块像素，减少推理查询次数，结合FPGA硬件加速实现75%推理延迟降低且参数仅增0.6%。
2026-06-25 cs.CV
Dense Semantic Correspondence where Every Pixel is a Classifier
Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
确定对象和场景之间的密集语义对应关系是支撑许多更高级别计算机视觉算法的难题。与考虑空间或时间相邻的图像的规范密集对应问题不同，语义对应的特征在于共享相似的高级结构的图像，其确切的外观和几何形状可能不同。受对象识别文献和最近的工作快速估计线性分类器的启发，我们把语义对应作为一个约束检测问题，学习每个像素的一个示例LDA分类器。LDA分类器有两个明显的好处：（i）它们表现出比对应问题中通常使用的相似性度量更高的平均精度，以及（ii）与示例SVM不同，可以在没有校准的情况下输出全局可解释的后验概率，同时训练也明显更快。我们提出的对应问题作为一个图形模型，其中一元电位计算通过卷积与一组样本分类器，和联合电位执行平滑变化的对应分配。
2015-05-15 cs.CV
From Pixels to Reality: Physical-Digital Patch Attacks on Real-World Camera
AI Center, Lomonosov MSU（莫斯科国立大学人工智能中心）；IAI MSU（莫斯科国立大学人工智能研究所）
本文提出DiPA攻击，通过手机屏幕显示对抗补丁实现对普及式相机认证系统的攻击，提升补丁在黑盒环境下的转移能力，并展示实时躲避攻击效果。
2026-03-30 cs.CV
Land Cover Classification from Multi-temporal, Multi-spectral Remotely Sensed Imagery using Patch-Based Recurrent Neural Networks
Florida State University（佛罗里达州立大学）
全球环境的可持续性依赖于大面积土地覆盖的准确信息。即使有越来越多的卫星系统和传感器获取光谱、空间、辐射和时间特性得到改善的数据，而且有新的数据分发政策，大多数现有的土地覆盖数据集仍然是从基于像素的单日期多光谱遥感图像中获得的，准确度很低。提高图像分类精度的瓶颈是如何发展一种准确有效的图像分类技术。通过整合和利用遥感图像中完整的多光谱、多时空信息，并考虑其内在的空间和时序相关性，提出了一种适合多时相遥感数据的基于块的RNN（PB-RNN）系统。该系统的设计结合了多时相遥感数据的鲜明特点。特别是，它使用多时间-频谱-空间样本，并处理由多时间数据系列中存在的云/阴影污染的像素。使用佛罗里达州大沼泽地生态系统研究网站，占地面积为771平方公里，所提出的PB-RNN系统取得了显着的改善，在分类精度比基于像素的RNN系统，基于像素的单图像神经网络系统，基于像素的多图像神经网络系统，基于块的单图像神经网络系统和基于块的多图像神经网络系统。例如，该系统实现了97.21%的分类准确率，而基于像素的单图像NN系统实现了64.74%。通过利用像PB-RNN这样的方法，我们相信可以有效地在大面积上生成更准确的土地覆盖数据集。
2017-08-02 cs.CV
PatchRefineNet: Improving Binary Segmentation by Incorporating Signals from Optimal Patch-wise Binarization
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出小型网络 PatchRefineNet (PRN)，通过引入基于最优分块二值化的伪标签监督信号来纠正基础分割模型的空间偏差，在多种基础模型上稳定提升 mIoU 2-3%，并可扩展至显著性检测、小样本及多类分割。
2023-09-11 cs.CV
Advanced Pixel Diffusion Model with Guided Sparse Global Refinement
University of Electronic Science and Technology of China（电子科技大学）
针对现有像素扩散模型的缺陷，提出 PixSGR 框架，通过引导式稀疏全局细化实现高效高质量图像生成，在 ImageNet 上 256×256 分辨率 FID 达 1.51，512×512 分辨率达 1.60。
2026-09-02 cs.CV
A Unified HDR Imaging Method with Pixel and Patch Level
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
本文提出HyHDRNet，通过内容对齐子网络和基于Transformer的融合子网络，在像素级与块级协同抑制鬼影并融合多曝光信息，在四个公开HDR去鬼影数据集上取得领先性能。
2023-04-17 cs.CV
PatchCleanser: Certifiably Robust Defense against Adversarial Patches for Any Image Classifier
Princeton University（普林斯顿大学）
针对图像分类模型的对抗性补丁攻击旨在将对抗性制作的像素注入受限图像区域内（即，补丁）用于引起模型误分类。这种攻击可以在物理世界中通过将补丁打印并附加到受害对象来实现;因此，它对计算机视觉系统构成了现实世界的威胁。为了应对这种威胁，我们设计了PatchCleanser作为对抗性补丁的可靠防御。在PatchCleanser中，我们对输入图像执行两轮像素掩蔽，以中和对抗性补丁的影响。这种图像空间操作使PatchCleanser与任何最先进的图像分类器兼容，以实现高精度。此外，我们可以证明PatchCleanser总是能够预测某些图像上的正确类别标签，以对抗我们的威胁模型中的任何自适应白盒攻击者，从而实现认证的鲁棒性。我们在ImageNet，ImageNet，CIFAR-10，CIFAR-100，SVHN和Flowers-102数据集上广泛评估了PatchCleanser，并证明我们的防御实现了与最先进的分类模型相似的干净准确性，并且还显着提高了先前工作的认证鲁棒性。值得注意的是，PatchCleanser针对1000级ImageNet数据集图像上任何位置2%像素的方形斑块，实现了83.9%的top-1清洁准确度和62.1%的top-1认证稳健准确度。
2022-04-08 cs.CR cs.CV
Texture Superpixel Clustering from Patch-based Nearest Neighbor Matching
Image group Bordeaux INP, Univ. Bordeaux, CNRS, IMS, UMR 5218（图像组波尔多INP、波尔多大学、国家科学研究中心、IMS、UMR 5218）
本文提出NNSC方法，利用基于块的最近邻匹配替代逐像素K均值聚类，在有限时间内生成纹理感知超像素，并在标准数据集上验证了其分割性能与计算效率。
2025-09-24 cs.CV
A Non-Local Means Approach for Gaussian Noise Removal from Images using a Modified Weighting Kernel
Qazvin Islamic Azad University（加兹温伊斯兰阿扎德大学）
高斯噪声去除是数字图像处理中的一个有趣的领域，不仅可以提高视觉质量，而且可以影响其他后处理算法，如图像配准或分割。现有的许多去噪方法都是基于自相似性或基于块的图像处理。具体来说，非局部均值（NLM）作为一种基于块的滤波器，近年来得到了越来越多的关注。本质上，该滤波器倾向于通过计算待处理的块与图像内的其他块之间的高斯加权欧几里德距离来获得无噪声信号值。然而，NLM滤波器对补丁内的离群值（其强度值远离其他像素的像素）敏感，这意味着补丁中具有对称位置的像素被分配相同的权重。当噪声的破坏性性质在补丁内生成一些离群值时，这可能导致次优的去噪性能。在本文中，我们提出了一种新的加权方法来修改高斯核的NLM滤波器。我们的方法采用图像强度之间的几何距离来为补丁的每个像素提供新的权重，降低离群值对去噪性能的影响。对一组标准图像和不同噪声水平的实验表明，我们提出的方法优于其他比较去噪滤波器。
2016-12-03 cs.CV
Convolutional 3D to 2D Patch Conversion for Pixel-wise Glioma Segmentation in MRI Scans
Shenzhen University（深圳大学）
结构磁共振成像（MRI）已被广泛用于分析和诊断脑部疾病。脑肿瘤的自动分割是一个具有挑战性的任务，计算机辅助诊断，由于低组织对比度的肿瘤子区域。为了克服这一点，我们设计了一种新的逐像素分割框架，通过卷积3D到2D MR补丁转换模型来预测输入滑动补丁中的中心像素的类标签。准确地说，我们首先从每个模态中提取3D补丁，通过挤压和激励（SE）块校准切片。然后，SE块的输出被直接馈送到后续瓶颈层，以减少通道的数量。最后，校准的2D切片被连接以通过用于预测中心像素的2D卷积神经网络（CNN）获得多模态特征。在我们的架构中，局部切片间和全局切片内特征被联合利用，通过2D CNN分类器来预测给定块中中心体素的类标签。我们通过可训练参数隐式地应用所有模态，为每个序列的分割贡献分配权重。在多模态MRI扫描（BraTS'19）中分割脑肿瘤的实验结果表明，我们提出的方法可以有效地分割肿瘤区域。
2020-10-20 cs.CV eess.IV
Beyond pixels and regions: A non local patch means (NLPM) method for content-level restoration, enhancement, and reconstruction of degraded document images
提出了一种基于分块的降质文档图像非局部恢复与重建方法。该方法从整个输入图像中收集相关数据，而图像数据首先由基于块的内容级描述符表示。然后，基于使用修改的遗传算法（GA）识别的类似块来校正输入图像的块等效表示，从而导致低计算负荷。然后将校正的块等效物转换为输出恢复图像。该方法在内容级别使用补丁的事实允许它以客观和自给自足的方式合并高级恢复。该方法已被应用到几个退化的文档图像，包括DIBCO'09竞赛数据集与有前途的结果。
2011-11-08 cs.CV cs.IR
PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；Western University（西澳大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出PixelPonder统一控制框架，通过补丁级自适应条件选择和时间感知控制注入机制，解决多条件文本到图像生成中结构失真和伪影问题，在保持文本语义一致性的同时提升空间对齐精度。
2026-10-30 cs.CV
Iteratively Coupled Multiple Instance Learning from Instance to Bag Classifier for Whole Slide Image Classification
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Sir Run Run Shaw Hospital（邵逸夫医院）；Zhejiang Lab（之江实验室）；Ritsumeikan University（立命馆大学）
针对全切片图像分类中多示例学习两模块训练脱节的问题，提出迭代耦合框架ICMIL，低成本实现嵌入器与分类器的信息交互，在多数据集和骨干网络上均取得性能提升。
2023-08-23 cs.CV
PaCo-FR: Patch-Pixel Aligned End-to-End Codebook Learning for Facial Representation Pre-training
GlintLab；National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Imperial College London（伦敦帝国理工学院）
本文提出PaCo-FR，通过结合掩码图像建模与补丁-像素对齐，解决面部表示预训练中特征捕捉、空间结构和数据利用效率的问题，实现高效且鲁棒的面部分析性能。
2026-04-07 cs.CV
MOSAIK: Multi-Patch Content-Aware Spatial Allocation of Image Tokens for Efficient Generation
MOSAIK是一种损伤引导的异构补丁布局框架，适配PixelDiT骨干，通过区域分配补丁大小，在大幅降低计算量和令牌数的同时，保持与全计算PixelDiT相当的生成性能，且在高计算约束下优于其他效率方法。
2026-08-07 cs.CV
LATCH: Learned Arrangements of Three Patch Codes
The Open University of Israel（以色列开放大学）
我们提出了一种新的方法来描述本地图像外观使用二进制字符串。二进制描述符由于其速度和低内存占用，近年来引起了越来越多的关注。这些表示的一个已知缺点是与更大的基于直方图的描述符（如SIFT）相比，它们的性能较差。我们的目标是缩小这一性能差距，同时保持二进制表示的优势。为此，我们提出了三个补丁代码描述符的学习安排，或锁存。我们的主要观察是，现有的二进制描述符的噪声和局部外观变化的风险增加。这是因为它们比较像素对的值;任何一个像素的变化都很容易导致描述符值的变化，从而损害其性能。为了提供更强的鲁棒性，我们提出了一种新的比较像素块的方法。这个表面上很小的变化，需要对描述符本身及其产生方式进行实质性的重新设计。我们得到的锁存表示严格比较国家的最先进的二进制描述符，并显示提供更好的性能，类似的计算和空间要求。
2015-01-15 cs.CV
Detecting Outliers with Foreign Patch Interpolation
Imperial College London（伦敦帝国学院）；Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
提出利用正常解剖变异合成异常，通过外来斑块插值训练宽残差网络，实现像素级异常检测与评分。
2022-04-13 cs.CV
Atomizer-IO: Beyond Pixels, Patches and Grids
INRIA（法国国家信息与自动化研究所）；LIPADE, Université Paris Cité（巴黎西岱大学LIPADE实验室）；DM3L, University of Zurich（苏黎世大学DM3L实验室）；CIRAD（法国农业发展研究国际合作中心）
提出Atomizer-IO架构，以原子表示和局部交叉注意力取代网格假设，在多种传感任务上媲美专用模型，并自然扩展至无序点云。
2026-10-01 cs.CV
Understanding the impact of image and input resolution on deep digital pathology patch classifiers
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
我们认为在数字病理学（DP）中的注释有效学习，其中专家注释是昂贵的，因此是稀缺的。我们探讨了图像和输入分辨率对DP补丁分类性能的影响。我们使用两个癌症斑块分类数据集PCam和CRC来验证我们的研究结果。我们的实验表明，补丁分类性能可以提高通过操纵图像和输入分辨率在注释稀缺和注释丰富的环境。我们在两个数据集上显示了图像和输入分辨率与补丁分类精度之间的正相关性。通过利用图像和输入分辨率，我们在< 1%的数据上训练的最终模型与在PCam数据集上以原始图像分辨率训练的100%数据上训练的模型表现相同。
2022-04-29 cs.CV q-bio.TO
