Generative Adversarial Classifier for Handwriting Characters Super-Resolution
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
生成对抗网络(GAN)由于在图像生成、图像变换和超分辨率等方面的优异性能,近年来受到了广泛的关注。然而,GAN很少被研究和训练用于分类,导致生成的图像可能不适合分类。在本文中,我们提出了一种新的生成对抗分类器(GAC),特别是低分辨率手写字符识别。具体地说,在普通GANs的训练过程中,额外引入一个分类器,对GAC进行校准,以学习合适的结构并恢复有利于分类的字符图像。实验结果表明,在基准数据CASIA-HWDB 1.1和MNIST上,该方法在手写字符8倍超分辨率上的性能较现有方法分别提高了约10%和20%。
2019-01-18 cs.AI cs.CV cs.LG
HyperNetworks with statistical filtering for defending adversarial examples
众所周知,深度学习算法在诸如图像分类等各种任务中容易受到对抗性扰动的影响。这个问题是通过采用几种防御方法来检测和拒绝特定类型的攻击来解决的。然而,根据特定防御方案训练和操纵网络增加了学习算法的计算复杂性。在这项工作中,我们提出了一个简单而有效的方法来提高卷积神经网络(CNN)的鲁棒性对抗攻击通过使用数据相关的自适应卷积核。为此,我们提出了一种新型的超网络,以采用统计特性的输入数据和统计自适应地图的计算功能。然后,我们用学习到的统计映射来过滤CNN的卷积权重,以计算动态内核。因此,权重和核被共同优化,用于学习对对抗攻击鲁棒的图像分类模型,而不采用附加的目标检测和拒绝算法。我们凭经验证明,所提出的方法使CNN能够自发地防御不同类型的攻击,例如由高斯噪声、快速梯度符号方法(Goodfellow et al.,2014)和黑箱攻击(Narodytska & Kasiviswanathan,2016)。
2017-11-06 cs.CV
Adversarial Learning with Multiscale Features and Kernel Factorization for Retinal Blood Vessel Segmentation
Bioinformatics Institute(生物信息学研究所);Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
本文提出了一种基于多尺度特征对抗学习和核因子分解的眼底血管分割方法。在对抗框架的生成器网络中,采用空间金字塔池化、核因子分解和挤压激励块来增强空间域中不同尺度上的特征表示,同时降低计算复杂度。反过来,对抗性框架的神经网络是通过将卷积层与额外的挤压激励块相结合来制定的,以区分生成的分割掩码与其各自的地面真相。在将图像输入网络之前,我们通过边缘锐化和高斯正则化对图像进行预处理,以达到血管分割的最佳解决方案。使用形态学操作对训练模型的输出进行后处理,以去除噪声的小斑点。所提出的方法在定性和定量上优于使用DRIVE和STARE数据集的最先进的血管分割方法。
2019-07-05 cs.CV eess.IV
Splenomegaly Segmentation using Global Convolutional Kernels and Conditional Generative Adversarial Networks
Vanderbilt University(范德堡大学);Incyte Corporation(因赛特公司)
使用自动图像分割技术的脾体积估计可用于在磁共振成像(MRI)扫描上检测脾肿大(异常增大的脾)。近年来,深度卷积神经网络(DCNN)分割方法在腹部器官分割方面表现出了优势。然而,当部署基于DCNN的方法时,MRI图像上脾脏的大小和形状的变化可能导致大的假阳性和假阴性标记。在本文中,我们提出了脾肿大分割网络(SSNet),以解决分割非常大的脾脏时的空间变化。SSNet是基于图像到图像条件生成对抗网络(cGAN)框架设计的。具体而言,全局卷积网络(GCN)被用作生成器以减少假阴性,而马尔可夫链(PatchGAN)被用于减轻假阳性。来自脾肿大患者的临床获得的3D MRI扫描(T1加权和T2加权)的队列被用于训练和测试网络。实验结果表明,平均Dice系数为0.9260,中位数Dice系数为0.9262,使用SSNet独立测试的脾肿大患者的MRI体积。
2017-12-02 cs.CV
The Direction-Aware, Learnable, Additive Kernels and the Adversarial Network for Deep Floor Plan Recognition
Technique Center Ihome Corporation(艾和家居技术中心)
本文提出了一种新的方法来识别平面布置图中的元素。除了具有常见形状的元素外,我们的目标是识别具有不规则形状的元素,例如圆形房间和倾斜的墙壁。此外,按需减少平面布置图的语义分割中的噪声。为此,我们在上下文模块和常见卷积块的应用中提出了方向感知的、可学习的加性内核。我们将其应用于具有常见和不规则形状的元素的高性能。此外,提出了一种具有两个鉴别器的对抗网络,以进一步提高元素的准确性,并减少语义分割的噪声。实验结果表明,该网络的优越性和有效性的国家的最先进的方法。
2020-01-30 cs.CV cs.LG
Generative Adversarial Learning via Kernel Density Discrimination
Institute of Computer Science(计算机科学研究所);University of Bern(伯尔尼大学)
我们介绍了核密度判别GAN(KDD GAN),一种新的生成对抗学习方法。KDD GAN将训练公式化为似然比优化问题,其中数据分布通过(局部)核密度估计(KDE)显式写入。这是受到对比学习的最新进展及其与KDE关系的启发。我们直接在特征空间中定义KDE,并放弃了对核特征映射可逆性的要求。在我们的方法中,特征不再像在原始GAN公式中那样针对线性可分性进行优化,而是针对特征空间中分布的更一般的区分。我们分析了我们的损失相对于特征表示的梯度,并表明它比原来的铰链损失表现得更好。我们使用所提出的基于KDE的损失进行实验,无论是作为训练损失还是正则化项,都在CIFAR 10和缩放版本的ImageNet上进行。我们使用BigGAN/SA-GAN作为主干和基线,因为我们的重点不是设计网络的架构。与基线相比,我们显示出生成的样品的质量相对于FID从10%提高到40%。代码将提供。
2021-07-13 cs.CV cs.LG
CKGAN: Training Generative Adversarial Networks Using Characteristic Kernel Integral Probability Metrics
Osaka University(大阪大学);Shenzhen University(深圳大学);Shenzhen Institute of Computing Sciences(深圳计算机科学研究院);Nagoya University(名古屋大学)
本文提出 CKGAN,利用特征核积分概率度量优化 MMD 下界训练 GAN,并通过将生成图像映射回噪声缓解模式坍塌,同时引入软选择方法自动学习核函数,在多个图像基准上优于其他基于 MMD 的 GAN。
2025-04-08 cs.AI cs.CV cs.LG
Watch out! Motion is Blurring the Vision of Your Deep Neural Networks
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Kyushu University(九州大学);Tianjin University(天津大学)
最先进的深度神经网络(DNN)容易受到具有加性类随机噪声扰动的对抗性示例的攻击。虽然这样的例子在物理世界中几乎找不到,但是另一方面,由对象运动引起的图像模糊效应在实践中通常发生,使得对其的研究非常重要,特别是对于广泛采用的实时图像处理任务(例如,目标检测、跟踪)。在本文中,我们首先全面研究了由物体运动引起的DNN模糊效应的潜在危害。我们提出了一种新的对抗攻击方法,可以生成视觉上自然的运动模糊对抗示例,命名为基于运动的对抗模糊攻击(ABBA)。为此,我们首先制定了基于内核预测的攻击,其中输入图像以像素方式与内核卷积,并且通过调整内核权重来实现误分类能力。为了生成视觉上更自然和合理的例子,我们进一步提出了显着性正则化对抗核预测,其中显着区域作为移动对象,预测的核被正则化以实现自然的视觉效果。此外,通过自适应调整目标和背景的平移,进一步增强了攻击。对NeurIPS的17个对抗性竞争数据集的综合评估通过考虑各种内核大小、平移和区域来证明ABBA的有效性。深入的研究进一步证实,与其他模糊方法相比,我们的方法对最先进的基于GAN的去模糊机制表现出更有效的穿透能力。我们将代码发布到https://github.com/tsingqguo/ABBA。
2020-11-09 cs.CV cs.LG
Image Translation with Kernel Prediction Networks for Semantic Segmentation
Stony Brook University(石溪大学);Microsoft Corporation(微软公司)
提出域对抗核预测网络(DA-KPN),通过估计像素级变换参数并使用多尺度判别器,保证合成图像与翻译结果间的语义匹配,在语义分割和人脸解析任务上优于现有GAN方法。
2025-07-11 cs.CV
Associative Adversarial Learning Based on Selective Attack
人类的注意力可以通过回忆他们以前见过的类似的未损坏的图像来直观地适应图像的损坏区域。这一观察激励我们通过考虑它们的干净对应物来提高对抗性图像的注意力。为了实现这一目标,我们将关联对抗学习(AAL)引入对抗学习中,以指导选择性攻击。我们将注意力和攻击(扰动)之间的内在关系表述为耦合优化问题,以改善它们的相互作用。这导致了一个注意力回溯算法,可以有效地提高注意力的对抗鲁棒性。我们的方法是通用的,可以用来解决各种任务,只需选择不同的内核的关联注意力,选择其他地区的特定攻击。实验结果表明,选择性攻击提高了模型的性能。我们表明,与基线相比,我们的方法将ImageNet上对抗训练的识别准确率提高了8.32%。它还将PascalVOC上的目标检测mAP提高了2.02%,并将miniImageNet上的少样本学习的识别准确率提高了1.63%。
2022-01-04 cs.CV
FaceGuard: A Self-Supervised Defense Against Adversarial Face Images
Michigan State University(密歇根州立大学)
针对对抗性人脸图像的流行防御机制往往过拟合训练集中的对抗性扰动,并且无法推广到看不见的对抗攻击。我们提出了一个新的自监督对抗防御框架,即FaceGuard,它可以自动检测,定位和净化各种各样的对抗面孔,而无需使用预先计算的对抗训练样本。在训练过程中,FaceGuard会自动合成具有挑战性和多样性的对抗攻击,使分类器能够学习将它们与真实人脸区分开来,而净化器则会尝试去除图像空间中的对抗性扰动。在LFW数据集上的实验结果表明,FaceGuard对6种不可见对抗攻击的检测准确率达到99.81%.此外,该方法可以提高人脸识别性能的ArcFace从34.27%TAR@0.1%FAR无防御下的77.46%TAR@0.1%FAR。
2021-04-05 cs.CV
Blind Image Deconvolution by Generative-based Kernel Prior and Initializer via Latent Encoding
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
针对盲图像去卷积中基于深度图像先验的方法对初始化核敏感的问题,提出利用深度生成模型预训练核生成器与初始化器,通过潜在空间编码提供高质量初始化并在紧凑流形内优化,显著提升了性能。
2024-07-20 cs.CV
Self-Supervised Representation Learning for Adversarial Attack Detection
Lancaster University(兰卡斯特大学)
本文提出一种基于自监督表示学习的对抗攻击检测框架,通过原型对比估计、判别库和并行轴向注意力编码器,在无需大量标注数据的情况下实现了优于现有监督和自监督方法的检测性能。
2024-07-05 cs.CV
Learnable Blur Kernel for Single-Image Defocus Deblurring in the Wild
Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
本文提出一种基于可学习模糊核和DefocusGAN的单图像模糊去模糊方法,通过无监督学习恢复高频率细节,实验表明在PSNR和LPIPS指标上达到最优性能。
2022-11-25 cs.CV eess.IV
Continuous Conversion of CT Kernel using Switchable CycleGAN with AdaIN
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Samsung Medical Center, Sungkyunkwan University School of Medicine(三星医疗中心,成均馆大学医学院)
X射线计算机断层扫描(CT)使用不同的滤波器内核来突出不同的结构。由于原始正弦图数据通常在重建后被移除,因此如果需要先前未生成的其他类型的内核图像,则可能需要再次扫描患者。因此,存在对从一个内核到另一内核的事后图像域转换而不牺牲图像质量的日益增长的需求。在本文中,我们提出了一种新的无监督连续核转换方法,使用周期一致的生成对抗网络(cycleGAN)与自适应实例归一化(AdaIN)。即使没有成对的训练数据,我们的网络不仅可以在两个不同的内核之间转换图像,而且还可以沿着两个内核域之间的插值路径转换图像。我们还表明,生成的图像的质量可以进一步提高,如果中间核域图像可用。实验结果证实,我们的方法不仅可以实现准确的内核转换,这是可比的监督学习方法,但也产生中间内核图像在看不见的领域,是有用的下咽癌的诊断。
2021-04-26 cs.CV cs.LG
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的,但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN,而不是一次训练GAN,提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段,如4x4和8x8训练相当快,后期阶段消耗大量的时间,可能需要几天才能完成模型训练。在我们的论文中,我们提出了一种新的流水线,结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像,这可以证明是一种有用的资源,可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用,因此成为一个热门话题。与传统算法相比,目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作,如超分辨率使用生成对抗网络(SRGAN)可以有效地恢复图像的纹理细节。然而,实验证明,由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像,改进了网络结构,提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练,并使用Set5,Set14,BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
Adversarial Training of Self-supervised Monocular Depth Estimation against Physical-World Attacks
Purdue University(普渡大学);Rochester Institute of Technology(罗切斯特理工学院)
提出一种基于视图合成的自监督单目深度估计对抗训练方法,利用L0范数受限扰动提升对物理世界攻击的鲁棒性,在几乎不损失良性性能的情况下优于现有方法。
2023-04-02 cs.AI cs.CV
Brain MRI super-resolution using 3D generative adversarial networks
Universitat Politècnica de Catalunya - BarcelonaTech(加泰罗尼亚理工大学 - 巴塞罗那理工大学)
在这项工作中,我们提出了一种对抗性学习方法来从低分辨率图像生成高分辨率MRI扫描。该体系结构,基于SRGAN模型,采用三维卷积来利用体积信息。对于训练,对抗性损失使用最小二乘法来稳定训练。对于生成器,损失函数是最小二乘对抗损失和基于均方误差和图像梯度的内容项的组合,以提高生成图像的质量。我们探索上采样阶段的不同解决方案。我们提出了有前途的结果,改善经典插值,显示潜力的三维医学成像超分辨率的方法。源代码可在https://github.com/imatge-upc/3D-GAN-superresolution获得
2018-12-29 cs.CV cs.LG stat.ML
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School(萨拉托加高中)
深度学习在医学成像任务(如分类)中的成功在很大程度上依赖于大规模数据集的可用性。然而,获取具有大量标记数据的数据集具有挑战性,因为标记是昂贵且耗时的。半监督学习(SSL)是完全监督学习的一种日益增长的替代方案,但需要未标记的样本进行训练。在医学成像中,许多数据集完全缺乏未标记的数据,因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络,以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中,这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明,改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成,以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Blur, Noise, and Compression Robust Generative Adversarial Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
生成对抗网络(GANs)由于其复制图像的能力而受到了相当大的关注。然而,它们可以忠实地重建训练图像,尽管图像以模糊,噪声和压缩的形式退化,生成类似的退化图像。为了解决这个问题,最近提出的噪声鲁棒性GAN(NR-GAN)提供了一个部分的解决方案,通过展示学习一个干净的图像生成器直接从噪声图像使用两个生成器模型,包括图像和噪声发生器的能力。然而,其应用仅限于噪声,由于其加性和可逆特性,噪声相对容易分解,并且其应用于不可逆图像退化,以模糊,压缩和所有组合的形式,仍然是一个挑战。为了解决这些问题,我们提出了模糊、噪声和压缩鲁棒的GAN(BNCR-GAN),它可以直接从退化图像中学习干净的图像生成器,而不需要知道退化参数(例如,模糊核类型、噪声量或质量因子值)。受NR-GAN的启发,BNCR-GAN使用由图像,模糊核,噪声和质量因子生成器组成的多生成器模型。然而,与NR-GAN相反,为了解决不可逆特性,我们引入了掩蔽架构,在降级之前和之后使用旁路以数据驱动的方式调整降级强度值。此外,为了抑制模糊,噪声和压缩的组合所造成的不确定性,我们引入了自适应一致性损失,根据退化强度在不可逆退化过程之间施加一致性。我们通过对CIFAR-10的大规模比较研究和对FFHQ的一般性分析,证明了BNCR-GAN的有效性。此外,我们证明了BNCR-GAN在图像复原中的适用性。
2021-06-23 cs.CV cs.LG eess.IV
Superpixel Attack: Enhancing Black-box Adversarial Attack with Image-driven Division Areas
Graduate School of Mathematics, Kyushu University(九州大学数学研究生院);Institute of Mathematics for Industry, Kyushu University(九州大学工业数学研究所)
本文提出超像素攻击,通过使用超像素和通用搜索方法提升黑盒对抗攻击的成功率,平均提高2.10%。
2025-11-29 cs.AI cs.CR cs.CV
Privacy-Preserving Image Acquisition Using Trainable Optical Kernel
Centre Suisse d’Electronique et de Microtechnique (CSEM)(瑞士电子与微技术中心(CSEM));École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
在传感器和摄像头无处不在的社会中,保护隐私是一个越来越受关注的问题。在这项工作中,我们首次提出了一种可训练的图像采集方法,该方法在到达图像传感器之前去除了光域中的敏感身份揭示信息。该方法受益于可训练的光学卷积核,其传输所需的信息,同时过滤掉敏感内容。由于敏感内容在到达图像传感器之前被抑制,因此它不会进入数字域,因此任何类型的隐私攻击都无法检索。这与当前的数字隐私保护方法形成对比,这些方法都容易受到直接存取攻击。此外,与之前无法训练的光学隐私保护方法相比,我们的方法是数据驱动的,并针对手头的特定应用进行了优化。此外,采集系统上不存在额外的计算、存储器或功率负担,因为该处理在光域中被动地发生,并且甚至可以一起使用并且在全数字隐私保护系统之上使用。该方法适用于不同的数字神经网络和内容。我们证明了它的几个场景,如微笑检测作为所需的属性,而性别作为敏感内容被过滤掉。我们结合两个对抗神经网络训练了光学内核,其中分析网络试图检测所需的属性,对抗网络试图检测敏感内容。我们表明,这种方法可以减少65.1%的敏感内容时,它被选择为性别,它只失去了7.3%的所需内容。此外,我们重建的原始人脸使用的深度重建方法,证实重建攻击的无效性,以获得敏感内容。
2021-06-28 cs.CR cs.CV cs.LG