Detecting Patch Adversarial Attacks with Image Residuals
Department of Electrical and Computer Engineering University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
我们介绍了一种基于图像残差的对抗性样本检测算法，专门用于防范基于补丁的攻击。图像残差是作为输入图像和它的去噪版本之间的差异获得的，并且训练一个神经网络来区分干净样本和对抗样本。更确切地说，我们使用小波域算法去噪图像，并证明所获得的残差作为数字指纹的对抗攻击。为了模拟物理对手的局限性，我们评估了我们的方法对本地化（基于补丁）对抗攻击的性能，包括在设置中的对手有完整的知识检测方案。我们的研究结果表明，所提出的检测方法推广到以前看不见的，更强的攻击，它能够降低成功率（相反，增加计算工作量）的自适应攻击。
2020-03-02 cs.CV eess.IV
Residual Channel Attention Generative Adversarial Network for Image Super-Resolution and Noise Reduction
InnoPeak Technology（英诺峰科技）
图像超分辨率是计算机视觉的重要技术之一，其目标是从低分辨率图像重建高分辨率图像。最近，基于深度学习的方法已经被证明用于图像超分辨率。然而，随着深度网络的深入，它们变得更加难以训练，并且更难以恢复更精细的纹理细节，特别是在现实世界的设置下。在本文中，我们提出了一种剩余信道注意力生成对抗网络（RCA-GAN）来解决这些问题。具体而言，提出了一种新的残余通道注意块形成RCA-GAN，它由一组具有快捷连接的残余块和通道注意机制来建模不同通道之间的特征表示的相互依赖性和相互作用。此外，生成对抗网络（GAN），以进一步产生现实和高度详细的结果。受益于这些改进，所提出的RCA-GAN比基线模型产生更好的视觉质量，具有更详细和更自然的纹理;并且与现实世界图像超分辨率的最先进方法相比，实现了相当或更好的性能。
2020-04-28 cs.CV eess.IV
RIS-GAN: Explore Residual and Illumination with Generative Adversarial Networks for Shadow Removal
Wuhan University of Science and Technology（武汉科技大学）；Kitware Inc.（Kitware公司）；Wuhan University（武汉大学）
残差图像和光照估计在图像增强中被证明是非常有用的。在本文中，我们提出了一个通用的和新颖的框架RIS-GAN，它利用生成对抗网络来探索残留和照明，以消除阴影。与粗略阴影去除图像相结合，估计的负残差图像和逆照明图可以用于生成间接阴影去除图像，从而以粗略到精细的方式将粗略阴影去除结果细化为精细无阴影图像。设计了三个鉴别器来区分预测的负残差图像、阴影去除图像和逆光照图与相应的地面实况信息相比较是真实的还是假的。据我们所知，我们是第一个探索残留和照明阴影去除。我们在两个基准数据集上评估我们提出的方法，即，SRD和ISTD，和广泛的实验表明，我们提出的方法实现了优越的性能，以国家的最先进的，虽然我们没有特别的阴影感知组件设计在我们的发电机。
2019-12-24 cs.CV eess.IV
Adversarial Attack via Dual-Stage Network Erosion
Army Military Transportation University（陆军军事交通学院）；Army Engineering University（陆军工程大学）
深度神经网络容易受到对抗性样本的攻击，这些样本可以通过添加细微的扰动来欺骗深度模型。虽然现有的攻击已经取得了可喜的成果，它仍然有很长的路要走，在黑盒设置下生成可转移的对抗性的例子。为此，本文提出提高对抗性示例的可移植性，并将双阶段特征级扰动应用于现有模型，以隐式地创建一组不同的模型。然后在迭代过程中利用纵向系综对这些模型进行融合。该方法被称为双阶段网络侵蚀（DSNE）。我们在非剩余和剩余网络上进行了全面的实验，并获得了更多可转移的对抗性示例，其计算成本与最先进的方法相似。特别地，对于残差网络，通过将残差块信息偏置到跳过连接，可以显著提高对抗性示例的可转移性。我们的工作为神经网络的结构脆弱性提供了新的见解，并对神经网络的鲁棒性提出了新的挑战。
2022-01-01 cs.CV eess.IV
Residual-Conditioned Optimal Transport: Towards Structure-Preserving Unpaired and Paired Image Restoration
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文提出RCOT框架，将非配对与配对图像复原建模为最优传输问题，利用傅里叶残差引导传输成本并设计两遍残差条件映射，以极小极大对抗训练实现更忠实的结构保持复原。
2024-05-11 cs.CV
Evaluating Robustness of Deep Image Super-Resolution against Adversarial Attacks
Yonsei University（延世大学）；University of California, Los Angeles（加州大学洛杉矶分校）
单图像超分辨率的目标是生成低分辨率图像的高分辨率版本，这是许多计算机视觉应用中的重要组成部分。本文研究了基于深度学习的超分辨率方法对对抗攻击的鲁棒性，这种攻击可以显著恶化超分辨率图像，而不会在受攻击的低分辨率图像中产生明显的失真。结果表明，国家的最先进的深超分辨率的方法是非常容易受到对抗攻击。从理论和实验上分析了不同方法的不同鲁棒性水平。我们还分析了攻击的可转移性，以及针对性攻击和通用攻击的可行性。
2019-10-02 cs.CV
Deep Residual Network for Joint Demosaicing and Super-Resolution
IC, EPFL（瑞士洛桑联邦理工学院（EPFL）集成电路实验室（IC））
在数字摄影中，两个图像复原任务已经被广泛研究并独立解决：去马赛克和超分辨率。这两个任务都与相机的分辨率限制有关。对去马赛克图像执行超分辨率只会加剧由去马赛克引入的伪像。在本文中，我们表明，这种积累的错误可以很容易地避免联合执行去马赛克和超分辨率。为此，我们提出了一个深度残差网络，用于学习Bayer图像和高分辨率图像之间的端到端映射。通过对高质量样本进行训练，我们的深度残差去马赛克和超分辨率网络能够在单步的中从低分辨率Bayer马赛克中恢复高质量的超分辨率图像，而不会产生这两种操作分开进行时常见的伪影。我们进行了大量的实验，以表明我们的深度残差网络实现了去马赛克和超分辨率图像，无论是在定性还是在PSNR和SSIM指标方面，都优于最先进的图像。
2018-02-19 cs.CV
Image Super-Resolution Using Very Deep Residual Channel Attention Networks
Northeastern University（东北大学）
卷积神经网络（CNN）深度对于图像超分辨率（SR）具有至关重要的意义。然而，我们观察到用于图像SR的更深的网络更难以训练。低分辨率输入和特征包含丰富的低频信息，这些信息在通道之间被平等对待，因此阻碍了CNN的代表能力。为了解决这些问题，我们提出了非常深的残留通道注意力网络（RCAN）。具体来说，我们提出了一种残差中残差（RIR）结构，以形成非常深的网络，它由几个残差组与长跳跃连接。每个残差组包含具有短跳过连接的一些残差块。同时，RIR允许通过多个跳过连接绕过丰富的低频信息，使主网络专注于学习高频信息。此外，我们提出了一个通道注意力机制，通过考虑通道之间的相互依赖性，自适应地重新缩放通道的功能。大量的实验表明，我们的RCAN实现了更好的准确性和视觉上的改进，对国家的最先进的方法。
2018-07-12 cs.CV
Deep Cyclic Generative Adversarial Residual Convolutional Networks for Real Image Super-Resolution
University of Udine（乌迪内大学）
最近基于深度学习的单图像超分辨率（SISR）方法大多在干净的数据域中训练其模型，其中低分辨率（LR）和高分辨率（HR）图像来自无噪声设置（相同域），这是由于双三次下采样假设。然而，这种降解过程在现实世界的环境中是不可用的。我们考虑了一种深度循环网络结构来保持LR和HR数据分布之间的域一致性，这是受到CycleGAN最近在图像到图像翻译应用中的成功的启发。我们提出了超分辨率残差循环生成对抗网络（SRResCycGAN），通过使用生成对抗网络（GAN）框架进行训练，以端到端的方式进行LR到HR域的转换。我们证明了我们提出的方法在定量和定性的实验，推广到真实图像的超分辨率，它是很容易部署的移动/嵌入式设备。此外，我们在AIM 2020 Real Image SR Challenge数据集上的SR结果表明，所提出的SR方法与其他最先进的方法取得了相当的结果。
2020-09-07 cs.CV eess.IV
ResViT: Residual vision transformers for multi-modal medical image synthesis
Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center (UMRAM)（国家磁共振研究中心（UMRAM））；Sabuncu Brain Research Center（萨本库脑研究中心）
具有卷积神经网络（CNN）主干的生成对抗模型最近已被建立为众多医学图像合成任务中的最新技术。然而，CNN被设计为使用紧凑的滤波器执行本地处理，这种归纳偏差会损害上下文特征的学习。在这里，我们提出了一种新的用于医学图像合成的生成对抗方法ResViT，它利用了Vision Transformers的上下文敏感性以及卷积运算符的精确性和对抗学习的真实性。ResViT的生成器采用了一个中央瓶颈，包括新的聚合残差Transformer（ART）块，协同组合残差卷积和Transformer模块。ART块中的剩余连接促进了捕获表示的多样性，而通道压缩模块则提取任务相关信息。在ART块之间引入权重共享策略以减轻计算负担。一个统一的实现，以避免需要重建不同的源-目标模态配置单独的合成模型。综合演示了如何合成多对比度MRI中的缺失序列和MRI中的CT图像。我们的研究结果表明ResViT在定性观察和定量指标方面优于竞争CNN和基于变换器的方法。
2022-03-06 cs.CV eess.IV
Architectural Resilience to Foreground-and-Background Adversarial Noise
对抗攻击以正常图像的不可感知的扰动形式存在，已经得到了广泛的研究。对于每一种新的防御方法，都发现了多种对抗性攻击对抗攻击。特别是，近年来流行的一种攻击风格，例如DeepFool和Carlini-Wagner，完全依赖于白盒场景，其中需要完全访问预测模型及其权重。在这项工作中，我们提出了不同的模型无关的基准扰动的图像，以调查不同的网络架构的弹性和鲁棒性。根据经验，结果确定，在大多数类型的卷积神经网络中增加深度通常会提高模型对一般攻击的弹性，随着模型变得更深，改进会稳步下降。此外，我们发现，一个显着的差异，在对抗性的鲁棒性之间存在的残留结构与跳过连接和类似的复杂性的非残留结构。我们的研究结果为未来理解剩余连接和深度对网络鲁棒性的影响提供了方向。
2020-06-07 cs.CV cs.LG eess.IV
PET Synthesis via Self-supervised Adaptive Residual Estimation Generative Adversarial Network
University of Sydney（悉尼大学）
针对低剂量PET合成中的纹理结构差异及分布偏移问题，提出SS-AEGAN，通过AE-Net自适应残差校正和自监督预训练提升图像质量，并在全身PET基准上优于现有方法。
2023-10-24 cs.CV cs.LG eess.IV
A Deep Residual Star Generative Adversarial Network for multi-domain Image Super-Resolution
University of Udine（乌迪内大学）
最近，大多数最先进的单图像超分辨率（SISR）方法通过使用深度卷积神经网络（DCNN）获得了令人印象深刻的性能。现有的SR方法具有有限的性能，由于一个固定的退化设置，即通常是一个双三次降尺度的低分辨率（LR）图像。然而，在现实世界的设置中，LR退化过程是未知的，其可以是双三次LR、双线性LR、最近邻LR或实LR。因此，大多数SR方法在处理单个网络内的多于一个降级设置时是无效且低效的。为了处理多重退化，即涉及多域图像超分辨率，我们提出了深度超分辨率残差星GAN（SR 2 *GAN），这是一种新颖且可扩展的方法，其仅使用单个模型对多个LR域的LR图像进行超分辨率。所提出的计划是在一个类似于StarGAN的网络拓扑中训练的，该网络拓扑具有单个生成器和多个网络。我们证明了我们提出的方法在定量和定性实验相比，其他国家的最先进的方法的有效性。
2021-07-07 cs.CV cs.LG eess.IV
Point Cloud Super Resolution with Adversarial Residual Graph Networks
点云超分辨率是三维重建和三维数据理解的基础问题。它以低分辨率（LR）点云作为输入，并生成具有丰富细节的高分辨率（HR）点云。本文提出了一种基于图网络和对抗损失的数据驱动的点云超分辨率方法。该网络的核心思想是利用点云的局部相似性和LR输入与HR输出之间的相似性。对于前者，我们设计了一个带有图卷积的深度网络。对于后者，我们建议将剩余连接添加到图卷积中，并在输入和输出之间引入跳过连接。该网络采用一种新的损失函数进行训练，该函数结合了倒角距离（CD）和图形对抗损失。这样的损失函数自动捕获HR点云的特征，而无需手动设计。我们进行了一系列的实验来评估我们的方法，并验证了优于其他方法。实验结果表明，该方法具有较好的性能，对未知数据具有较好的泛化能力。
2019-08-06 cs.GR eess.IV
Enhanced generative adversarial network for 3D brain MRI super-resolution
University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
磁共振成像（MRI）的单图像超分辨率（SISR）重建已经产生了显着的兴趣，因为它的潜力，不仅加快成像，但改善定量处理和分析可用的图像数据。生成对抗网络（GAN）已被证明在恢复图像纹理细节方面表现良好，因此已经提出了许多变体用于SISR。在这项工作中，我们通过引入一种新的残差中残差密集块（RRDG）生成器来开发一种增强功能，以解决基于GAN的3D SISR，该生成器既具有内存效率，又在PSNR（峰值信噪比），SSIM（结构相似性）和NRMSE（归一化根均方误差）度量方面实现了最先进的性能。我们还引入了一个补丁GAN改进收敛行为，以更好地模拟大脑图像纹理。我们提出了一种新的解剖逼真度评价的结果使用预先训练的大脑分割网络。最后，这些发展相结合，通过一个简单而有效的方法来平衡之间的图像和纹理质量在最终输出。
2019-07-15 cs.CV eess.IV
Advanced Single Image Resolution Upsurging Using a Generative Adversarial Network
Bangladesh Open University（孟加拉开放大学）；Dhaka International University（达卡国际大学）
图像的分辨率是评价图像质量的一个非常重要的标准。图像的较高分辨率总是优选的，因为较低分辨率的图像由于模糊质量而不适合。图像的更高分辨率对于各种领域都很重要，例如医学成像;天文学工作等，因为当它们的尺寸被放大时，较低分辨率的图像变得不清晰和模糊。近来，进行各种研究工作以从图像的较低分辨率生成图像的较高分辨率。在本文中，我们提出了一种在具有深度网络的残差密集块网络架构中使用残差从较低分辨率生成更高分辨率图像的技术。我们还比较了我们的方法与其他方法，证明我们的方法提供了更好的视觉质量的图像。
2020-05-30 cs.CV eess.IV
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）
目前大多数显示设备具有八位或更高的位深。然而，大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理，通过端到端的学习模式实现真实感去量化。到目前为止，这是第一次尝试将生成对抗网络（GAN）框架应用于图像去量化。具体来说，我们提出了密集的残余自我注意（DenseResAtt）模块，这是由密集的残余块武装的自我注意机制，更加关注高频信息。此外，顺序的DenseResAtt模块的串联连接形成了深度关注网络，在图像去量化中具有卓越的判别学习能力，对代表性特征图进行建模，以恢复尽可能多的有用信息。此外，由于对抗性学习框架可以可靠地生成高质量的自然图像，因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是，DAGAN能够生成照片级真实感的高比特深度图像，而没有条带伪影。在多个公共基准测试上的实验结果表明，DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
Efficient Structurally-Strengthened Generative Adversarial Network for MRI Reconstruction
Beijing Institute of Technology（北京理工大学）
基于压缩感知的磁共振成像（CS-MRI）为减少MRI扫描时间提供了一种有效的方法。最近，深度学习已被引入CS-MRI，以进一步提高图像质量并缩短重建时间。在本文中，我们提出了一种有效的结构增强生成对抗网络，称为ESSGAN，用于从高度欠采样的k空间数据重建MR图像。ESSGAN由一个结构加强的发电机（SG）和一个整流器组成。在SG中，我们引入了增强连接（SC）来提高所提出的增强卷积自动编码器（SCAE）之间的特征映射的利用率，其中每个SCAE都是典型卷积自动编码器的变体。此外，我们创造性地将残差块中的残差（RIRB）引入到SG中。RIRB增加了SG的深度，从而增强了SG的特征表达能力。此外，它可以给编码块和解码块更丰富的纹理特征。为了进一步减少伪影并保留更多的图像细节，我们引入了增强的结构损失SG。ESSGAN可以在不同子采样掩码的不同欠采样率下，以比最先进的基于深度学习的方法更少的模型参数提供更高的图像质量，并在数十毫秒内重建256*256的MR图像。
2019-08-11 cs.CV eess.IV
PUFA-GAN: A Frequency-Aware Generative Adversarial Network for 3D Point Cloud Upsampling
Shandong University（山东大学）；City University of Hong Kong（香港城市大学）；De Montfort University（德蒙福特大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
提出了一种用于点云上采样的生成对抗网络，该网络不仅可以使上采样点均匀分布在底层表面上，而且可以有效地生成干净的高频区域。我们的网络的生成器包括一个动态图分层残差聚合单元和一个分层残差聚合单元，分别用于点特征提取和上采样。前者提取多尺度逐点描述性特征，而后者则利用层次残差捕获丰富的特征细节。为了生成整齐的边缘，我们的算法使用图形过滤器来提取和保留高频点。生成的高分辨率点云和对应的高频点帮助机器学习器学习点云的全局和高频属性。我们还提出了一个身份分布损失函数，以确保上采样点保持在输入低分辨率点云的底层表面上。为了评估高频区域中上采样点的规律性，我们引入了两个评估指标。客观和主观的结果表明，我们的方法产生的上采样点云的视觉质量优于国家的最先进的方法。
2022-03-02 cs.CV cs.MM eess.IV
Image fusion using symmetric skip autoencodervia an Adversarial Regulariser
通过结合可见光图像的空间特征和红外图像的光谱内容来提取两个世界的最佳值是一项具有挑战性的任务。在这项工作中，我们提出了一个空间约束的对抗自动编码器，从红外和可见光图像中提取深度特征，以获得更详尽和全局的表示。在本文中，我们提出了一种残差自动编码器架构，通过残差对抗网络进行正则化，以生成更逼真的融合图像。残差模块作为编码器、解码器和对抗网络的主要构建，作为对称跳过连接的添加，执行将空间特征直接从编码器结构的初始层嵌入到网络的解码器部分的功能。在融合结构的编码器部分，通过在多个层次上添加特征映射，融合红外图像中的光谱信息，分别对可见光和红外图像进行推理。为了有效地优化网络的参数，我们提出了一个对抗正则化网络，它将对融合图像和原始视觉图像进行监督学习。
2020-06-04 cs.LG eess.IV stat.ML
Intensity Non-uniformity Correction in MR Imaging Using Residual Cycle Generative Adversarial Network
目的：校正或减少给定组织类型内的体素强度不均匀性（INU）的影响是日常临床实践中定量MRI图像分析的关键问题。在这项研究中，我们提出了一种基于深度学习的MRI图像INU校正方法。方法：我们开发了一个剩余循环生成对抗网络（res-cycle GAN），它将剩余块的概念集成到一个循环一致的GAN（cycle-GAN）。在cycle-GAN中，在INU未校正和校正MRI图像之间实施逆变换，以通过强制计算INU校正MRI和合成校正MRI来约束模型。在cycle-GAN生成器中应用了一个集成残差块的全卷积神经网络，以增强端到端的原始MRI到INU校正MRI的转换。一组30例腹部患者的T1加权MR INU图像和他们的校正与临床建立和常用的方法，即N4 ITK被用作一对，以评估拟议的res-cycle GAN为基础的INU校正算法。并与其他方法进行了定量比较。结果：与其他算法相比，我们的基于res-cycle GAN的方法具有更高的准确性和更好的组织均匀性。此外，一旦模型得到良好的训练，我们的方法可以在几分钟内自动生成校正的MR图像，无需手动设置参数。结论：在这项研究中，研究了MRI中基于深度学习的自动INU校正方法，即res-cycle GAN。结果表明，基于学习的方法可以实现有希望的精度，同时通过避免N4 ITK校正中不直观的参数调整过程，大大加快了校正速度。
2020-05-01 eess.IV physics.med-ph
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。
2022-07-29 cs.CV eess.IV
Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network
Zhejiang University（浙江大学）；Central Media Technology Institute, Huawei Technologies Co., Ltd（华为技术有限公司中央媒体技术研究院）
卷积神经网络（CNN）由于其优越的性能而被广泛应用于解决超分辨率（SR）任务。但由于CNN缺乏先验知识和小的感受野，超分辨率问题仍然具有挑战性。我们提出了分段-Piror自注意生成对抗网络（SPSAGAN），将分段先验和特征注意力结合到一个统一的框架中。这种组合是由精心设计的加权加法来平衡特征和分割注意力的影响，因此网络可以强调同一分割类别中的纹理，同时专注于长距离特征关系。我们还提出了一个轻量级的跳过连接架构称为残差中残差稀疏块（RRSB），以进一步提高超分辨率性能和节省计算。大量的实验表明，SPSAGAN可以生成更真实和视觉上令人愉快的纹理相比，最先进的SFTGAN和ESRGAN在许多SR数据集。
2020-03-07 cs.CV cs.LG eess.IV
Image Superresolution using Scale-Recurrent Dense Network
卷积神经网络（CNN）设计的最新进展在图像超分辨率（SR）性能方面取得了显着改善。性能的提升可以归因于这些网络的中间层中存在残余或密集连接。这种连接的有效组合可以大大减少参数的数量，同时保持恢复质量。在本文中，我们提出了一个规模经常性SR架构的单位包含一系列的密集连接内的残留块（残留密集块（RDBs）），允许从图像中提取丰富的局部特征。我们的规模递归设计提供了更高的比例因子的竞争力的性能，同时更有效的参数相比，目前最先进的方法。为了进一步提高网络的性能，我们在中间层中采用了多个残差连接（称为多残差密集块），这改善了现有层中的梯度传播。最近的研究发现，传统的损失函数可以引导网络产生具有高PSNR但感知较差的结果。我们通过利用基于生成对抗网络（GAN）的框架和深度特征（VGG）损失来训练我们的网络来缓解这个问题。我们通过实验证明，VGG损失和对抗性损失的不同加权组合使我们的网络输出能够沿着感知失真曲线遍历。所提出的网络在感知和客观上（基于PSNR）都优于现有方法，参数较少。
2022-01-28 cs.CV eess.IV
Multi-Attention Generative Adversarial Network for Remote Sensing Image Super-Resolution
图像超分辨率（SR）方法可以在不增加成本的情况下生成高空间分辨率的遥感图像，从而为获取高分辨率遥感图像提供了一条可行的途径，而高分辨率遥感图像由于获取设备成本高和天气复杂而难以获取。显然，图像超分辨率是一个严重的不适定问题。幸运的是，随着深度学习的发展，深度神经网络强大的拟合能力在一定程度上解决了这个问题。在本文中，我们提出了一个网络的基础上的生成对抗网络（GAN）生成高分辨率的遥感图像，命名为多注意生成对抗网络（MA-GAN）。我们首先为图像SR任务设计了一个基于GAN的框架。完成SR任务的核心是我们设计的具有后上采样功能的图像发生器。生成器的主体包含两个块;一个是剩余密集块（PCRDB）中的金字塔卷积，另一个是基于注意力的上采样（AUP）块。PCRDB块中的关注金字塔卷积（AttPConv）是一个结合多尺度卷积和通道关注的模块，可自动学习和调整残差的缩放以获得更好的结果。AUP模块是一个结合像素注意力（PA）以执行任意倍数上采样的模块。这两个模块一起工作，以帮助生成更高质量的图像。对于损失函数，我们设计了一个基于像素损失的损失函数，并引入了对抗损失和特征损失来指导生成器的学习。我们已经比较了我们的方法与几个国家的最先进的方法在遥感场景图像数据集，实验结果一致证明了所提出的MA-GAN的有效性。
2021-07-14 cs.CV eess.IV
ARPM-net: A novel CNN-based adversarial method with Markov Random Field enhancement for prostate and organs at risk segmentation in pelvic CT images
Washington University（华盛顿大学）；Washington University School of Medicine（华盛顿大学医学院）
目的：该研究旨在开发一种新的基于CNN的对抗性深度学习方法，以改善和加快CT图像的多器官语义分割，并在骨盆CT图像上生成准确的轮廓。研究方法：回顾性选择120例完整前列腺癌患者的计划CT和结构数据集，并进行10倍交叉验证。提出的对抗性多残差多尺度池马尔可夫随机场（MRF）增强网络（ARPM-net）实现了对抗性训练方案。将分割网络和递归网络联合训练，只使用分割网络进行预测。分割网络将新设计的MRF块集成到多残差U网的变体中。该方法将原始CT和预测/地面实况的乘积作为输入，并将输入分类为假/真。分割网络和递归网络可以作为一个整体进行联合训练，也可以在分割网络粗训练后使用递归网络进行微调。多尺度池化层被引入，以在池化期间使用与atrous卷积层相比更少的内存来保持空间分辨率。提出了一种自适应损失函数来增强对小或低对比度器官的训练。使用临床轮廓作为参考，以Dice相似系数（DSC）、平均Hausdorff距离（AHD）、平均表面Hausdorff距离（ASHD）和相对体积差（VD）测量建模轮廓的准确性。将所提出的ARPM网络方法与几种最先进的深度学习方法进行了比较。
2020-09-17 cs.CV eess.IV
Deep learning-based synthetic CT generation from MR images: comparison of generative adversarial and residual neural networks
目前，仅MRI放射治疗（RT）消除了在RT链中使用CT图像的一些问题，例如将MR图像配准到单独的CT，额外剂量输送以及重复成像的额外成本。然而，一个剩余的挑战是MRI的信号强度与生物组织的衰减系数无关。这项工作比较了两种最先进的深度学习模型的性能;生成对抗网络（GAN）和残差网络（ResNet），用于从MR图像生成合成CT（sCT）。对86例脑MRI和CT图像进行分析。使用六重交叉验证方案，实现GAN和ResNet模型，用于从3D T1加权MR图像生成合成CT。比较得到的sCT，将CT图像作为参考，使用标准度量，如平均绝对误差（MAE）、峰值信噪比（PSNR）和结构相似性指数（SSIM）。总体而言，ResNet模型在脑组织的描绘方面表现出更高的准确性。ResNet模型估计了整个头部区域的CT值，MAE为114.1 HU，而GAN模型获得的MAE=-10.9 HU。此外，两种模型都提供了相当的SSIM和PSNR值，尽管ResNet方法表现出略优于GAN方法的性能。我们比较了两种最先进的深度学习模型，用于基于MR的sCT生成任务。ResNet模型表现出优越的结果，从而证明其可用于PET/MR AC和仅MR RT计划中合成CT生成的挑战。
2021-03-02 eess.IV physics.med-ph
Enhanced Residual Networks for Context-based Image Outpainting
Worcester Polytechnic Institute（伍斯特理工学院）
尽管人类在预测图像边界之外存在的内容方面表现良好，但深度模型很难通过保留的信息来理解上下文和外推。这项任务被称为图像外画，涉及生成图像边界的逼真扩展。目前的模型使用生成式对抗网络来生成结果，这些结果缺乏局部图像特征的一致性，并且看起来很假。我们提出了两种方法来改善这个问题：使用本地和全局的编码器，并在网络的编码部分内添加残差块。我们的模型和基线的L1损失，均方误差（MSE）损失和定性差异的比较表明，我们的模型能够自然地扩展对象边界，并产生更内部一致的图像相比，目前的方法，但产生较低的保真度图像。
2020-05-14 cs.CV eess.IV
Adversarial Purification of Information Masking
Nanjing University of Science and Technology（南京理工大学）
本文提出一种名为 IMPure 的新型对抗净化方法，通过掩蔽并重构图像块及混合样本等策略彻底消除对抗扰动，在 ImageNet 数据集上抵御九种攻击达到最先进水平。
2023-11-26 cs.CR cs.CV cs.LG
Perception-oriented Single Image Super-Resolution via Dual Relativistic Average Generative Adversarial Networks
Wuhan University of Technology（武汉理工大学）；Hubei Key Laboratory of Broadband Wireless Communication and Sensor Networks（湖北省宽带无线通信与传感器网络重点实验室）；School of Civil Engineering & Architecture（土木工程与建筑学院）；School of Information Engineering（信息工程学院）；State Key Laboratory of Magnetic Resonance and Atomic Molecular Phys（磁共振与原子分子物理国家重点实验室）
残差和稠密神经网络的出现极大地促进了图像超分辨率的发展，并取得了令人瞩目的成果。根据我们的观察，虽然更多的层和连接总是可以提高性能，模型参数的增加不利于启动应用的SR算法。此外，由L1/L2损失监督的算法可以在诸如PSNR和SSIM的传统指标上实现相当大的性能，但导致模糊和过度平滑的输出，而没有足够的高频细节，即低感知指数（PI）。针对这些问题，本文提出了一种基于对偶相对论平均生成对抗网络的面向感知的单图像SR算法。在生成器部分，提出了一种新的残余通道注意块来重新校准特定通道的重要性，进一步增加了特征表达能力。每个块内的卷积层的参数被共享以扩展感受野，同时保持可调参数的量不变。使用子像素卷积对特征图进行子采样以获得重构的高分辨率图像。该算法由两个分别工作在像素域和特征域的相对论平均判别器组成，充分利用了小批量数据中有一半是假数据的先验知识。利用感知损失和对抗损失的不同加权组合来监督生成器平衡感知质量和客观结果。实验结果和消融研究表明，我们提出的算法可以媲美国家的最先进的SR算法，无论是感知（PI最小化）和客观（PSNR最大化）与较少的参数。
2020-02-20 cs.CV eess.IV
ClsGAN: Selective Attribute Editing Model Based On Classification Adversarial Network
Huazhong Agricultural University（华中农业大学）；Stony Brook University（石溪大学）
近年来，由于编码器-解码器结构和生成对抗网络（GAN）的出现，属性编辑取得了显著的进展。然而，它仍然具有挑战性，在生成高质量的图像与准确的属性转换。针对这些问题，该工作提出了一种新的基于分类对抗网络（简称ClsGAN）的选择性属性编辑模型，该模型在属性传输精度和照片级真实感图像之间表现出良好的平衡。考虑到编解码器结构中跳接导致编辑图像容易受到原始属性的影响，提出了一种上卷积残差网络（Tr-resnet）来选择性地提取源图像和目标标签中的信息。此外，为了进一步提高生成图像的迁移准确率，引入属性对抗分类器（Atta-cls），通过学习属性迁移图像的缺陷，从属性的角度指导生成器。在CelebA上的实验结果表明，我们的ClsGAN在图像质量和传输精度方面优于最先进的方法。此外，还设计了消融研究来验证Tr-resnet和Atta-cls的出色性能。
2020-07-29 cs.CV eess.IV
3D-VFD: A Victim-free Detector against 3D Adversarial Point Clouds
Sun Yat-sen University（中山大学）
基于点云的三维深度模型在计算机视觉中取得了良好的应用效果。然而，最近的研究表明，它们很容易受到3D对抗点云的影响。在本文中，我们把这些恶意点云作为3D隐写的例子，并提出了一个新的角度，3D隐写分析，以对付这样的例子。具体来说，我们提出了3D-VFD，一种针对3D对抗点云的无受害者检测器。它的核心思想是捕捉良性点云和敌对点云的剩余几何特征分布之间的差异，并将这些点云映射到一个更低维的空间，在那里我们可以有效地区分它们。与针对3D对抗点云的现有检测技术不同，3D-VFD不依赖于受害者3D深度模型的输出来进行区分。大量实验表明，3D-VFD实现了最先进的检测，能够有效检测基于点添加和点扰动的3D对抗攻击，同时保持快速的检测速度。
2023-02-15 cs.CV cs.MM eess.IV
Attention2AngioGAN: Synthesizing Fluorescein Angiography from Retinal Fundus Images using Generative Adversarial Networks
University of Nevada, Reno（内华达大学雷诺分校）；Deakin University（迪肯大学）；Houston Eye Associates（休斯顿眼科协会）
荧光素血管造影（FA）是一种采用指定相机进行眼底摄影的技术，包括激发和屏障过滤器。FA还需要静脉注射荧光素染料，这可能会导致恶心、呕吐甚至致命的过敏反应等不良反应。目前，没有其他快速和非侵入性的技术存在，可以产生FA不耦合眼底摄影。为了消除对侵入性FA提取过程的需要，我们引入了一个基于注意力的生成网络，可以从眼底图像合成血管造影。所提出的GAN在生成器中包含多个基于注意力的跳过连接，并且包括用于生成器和鉴别器的新颖的残差块。它利用重建，特征匹配和感知损失以及对抗训练来生成逼真的血管造影片，专家很难将其与真实的血管造影片区分开来。我们的实验证实，所提出的架构超越了最近的最先进的生成网络的眼底血管造影翻译任务。
2020-07-17 cs.CV eess.IV
Multi-level Wavelet-based Generative Adversarial Network for Perceptual Quality Enhancement of Compressed Video
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
在过去的几年里，通过深度学习来提高视频质量已经取得了快速的发展。现有的方法主要集中在提高压缩视频的客观质量，而忽略了其感知质量。在本文中，我们专注于提高压缩视频的感知质量。我们的主要观察是，提高感知质量主要依赖于恢复小波域中的高频子带。因此，我们提出了一种新的生成式对抗网络（GAN）的基础上，多级小波包变换（WPT），以提高压缩视频的感知质量，这被称为多级小波基GAN（MW-GAN）。在MW-GAN中，我们首先应用具有金字塔架构的运动补偿来获得时间信息。然后，我们提出了一个小波重构网络与小波密集残差块（WDRB）恢复高频细节。此外，通过WPT添加MW-GAN的对抗性损失，以进一步鼓励视频帧的高频细节恢复。实验结果证明了该方法的优越性。
2020-08-02 cs.CV eess.IV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的，但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN，而不是一次训练GAN，提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段，如4x4和8x8训练相当快，后期阶段消耗大量的时间，可能需要几天才能完成模型训练。在我们的论文中，我们提出了一种新的流水线，结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像，这可以证明是一种有用的资源，可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Architectural Adversarial Robustness: The Case for Deep Pursuit
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
尽管具有无与伦比的性能，但深度神经网络仍然容易受到几乎无法察觉的对抗性噪声水平的有针对性的攻击。虽然这种敏感性的根本原因还没有得到很好的理解，理论分析可以通过重构前馈网络的每一层作为稀疏编码问题的近似解决方案来简化。使用基追踪的迭代解决方案在理论上更稳定，并且具有更好的对抗鲁棒性。然而，级联逐层追踪实现在更深的网络中遭受错误积累。相比之下，我们新的深度追踪方法将所有层的激活近似为一个全局优化问题，使我们能够考虑具有跳过连接的更深层次的真实世界架构，例如剩余网络。实验上，我们的方法证明了对对抗性噪声的鲁棒性。
2020-11-29 cs.CR cs.CV cs.LG
Adversarial Convolutional Networks with Weak Domain-Transfer for Multi-Sequence Cardiac MR Images Segmentation
University of Dundee（邓迪大学）；Technical University of Munich（慕尼黑工业大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；Southern University of Science and Technology（南方科技大学）
心室和心肌的分析和建模在心脏疾病的诊断和治疗中具有重要意义。在心脏MR（CMR）扫描中手动描绘这些组织是费力且耗时的。边界的模糊性使得分割任务相当具有挑战性。此外，对某些模态（如晚期钆增强（LGE）MRI）的注释通常不可用。我们提出了一个基于卷积神经网络（CNN）和对抗学习的端到端分割框架。该方法采用扩张残差U型网络作为分割器生成预测模板，同时采用CNN作为预测模型判断分割质量。为了利用每个患者的模态之间的可用注释，将一个名为弱域转移损失的新损失函数引入到管道中。该模型在MICCAI 2019中由挑战组织者发布的公共数据集上进行了评估，该数据集由45组多序列CMR图像组成。我们证明了所提出的对抗管道优于基线深度学习方法。
2019-08-28 cs.CV eess.IV
Artifact Reduction in Fundus Imaging using Cycle Consistent Adversarial Neural Networks
眼底图像在识别各种眼科疾病中非常有用。然而，由于伪影的存在，视网膜的可见性受到严重影响。这可能导致疾病的误诊，从而导致更复杂的问题。由于深度学习是一种强大的工具，可以在没有太多人为干预的情况下从数据中提取模式，因此它们可以应用于图像到图像的翻译问题。在本文中，已经尝试自动纠正眼底图像中存在的这种伪影。我们使用基于CycleGAN的模型，该模型由残差块组成，以减少图像中的伪影。与现有技术相比，可以看到显着的改进。
2021-12-25 cs.CV cs.LG eess.IV
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee（印度理工学院鲁尔基分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）
压缩感知磁共振成像（CS-MRI）通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中，提出了一种新的生成对抗网络（GAN）为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失，专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构，以允许更容易的信息传输以及可变的网络长度。我们表明，我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外，毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School（萨拉托加高中）
深度学习在医学成像任务（如分类）中的成功在很大程度上依赖于大规模数据集的可用性。然而，获取具有大量标记数据的数据集具有挑战性，因为标记是昂贵且耗时的。半监督学习（SSL）是完全监督学习的一种日益增长的替代方案，但需要未标记的样本进行训练。在医学成像中，许多数据集完全缺乏未标记的数据，因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络，以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中，这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明，改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成，以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Quaternion-Hadamard Network: A Novel Defense Against Adversarial Attacks with a New Dataset
本文提出QHNet，一种基于四元数和哈达玛变换的高效对抗防御方法，通过去噪块提升恶劣天气图像恢复的鲁棒性和保真度。
2026-01-07 cs.LG eess.IV
