Generative Adversarial Classifier for Handwriting Characters Super-Resolution
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
生成对抗网络(GAN)由于在图像生成、图像变换和超分辨率等方面的优异性能,近年来受到了广泛的关注。然而,GAN很少被研究和训练用于分类,导致生成的图像可能不适合分类。在本文中,我们提出了一种新的生成对抗分类器(GAC),特别是低分辨率手写字符识别。具体地说,在普通GANs的训练过程中,额外引入一个分类器,对GAC进行校准,以学习合适的结构并恢复有利于分类的字符图像。实验结果表明,在基准数据CASIA-HWDB 1.1和MNIST上,该方法在手写字符8倍超分辨率上的性能较现有方法分别提高了约10%和20%。
2019-01-18 cs.AI cs.CV cs.LG
Evaluating Robustness of Deep Image Super-Resolution against Adversarial Attacks
Yonsei University(延世大学);University of California, Los Angeles(加州大学洛杉矶分校)
单图像超分辨率的目标是生成低分辨率图像的高分辨率版本,这是许多计算机视觉应用中的重要组成部分。本文研究了基于深度学习的超分辨率方法对对抗攻击的鲁棒性,这种攻击可以显著恶化超分辨率图像,而不会在受攻击的低分辨率图像中产生明显的失真。结果表明,国家的最先进的深超分辨率的方法是非常容易受到对抗攻击。从理论和实验上分析了不同方法的不同鲁棒性水平。我们还分析了攻击的可转移性,以及针对性攻击和通用攻击的可行性。
2019-10-02 cs.CV
Robust Real-World Image Super-Resolution against Adversarial Attacks
Sun Yat-sen University(中山大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
最近,深度神经网络(DNN)在现实世界的图像超分辨率(SR)方面取得了重大成功。然而,具有准不可感知噪声的对抗性图像样本可能会威胁到深度学习SR模型。在本文中,我们提出了一个鲁棒的深度学习框架,用于现实世界的SR,随机删除输入图像或特征的频域中的潜在对抗性噪声。基本原理是,在SR任务中,干净的图像或特征在频域中具有与被攻击的图像或特征不同的模式。针对现有的对抗攻击通常会在输入图像中加入高频噪声的问题,提出了一种新的随机频率屏蔽模块,该模块以随机的方式屏蔽掉可能包含有害扰动的高频分量。由于频率掩蔽不仅会破坏对抗性扰动,而且会影响干净图像中的尖锐细节,因此我们进一步开发了一个基于图像频域的对抗性样本分类器,以确定是否应用所提出的掩蔽模块。基于上述思想,我们设计了一个新的真实世界的图像SR框架,结合建议的频率掩模模块和建议的对抗性分类器与现有的超分辨率骨干网络。实验结果表明,该方法对对抗攻击更不敏感,比现有的模型和防御方法具有更稳定的SR结果。
2022-07-31 cs.CV eess.IV
Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution
University of Udine(乌迪内大学)
目前大多数基于深度学习的单图像超分辨率(SISR)方法都专注于设计更深/更宽的模型,以从大量配对(LR/HR)训练数据中学习低分辨率(LR)输入和高分辨率(HR)输出之间的非线性映射。他们通常假设LR图像是HR图像的双三次下采样版本。然而,这样的降级过程在现实世界的设置中是不可用的,即固有的传感器噪声、随机噪声、压缩伪影、图像降级过程与相机设备之间的可能失配。由于真实世界的图像损坏,它显着降低了当前SISR方法的性能。为了解决这些问题,我们提出了一个深度超分辨率残差卷积生成对抗网络(SRResCGAN),通过对抗训练模型,在HR域中从其生成的LR对应物中进行像素监督,来跟踪真实世界的退化设置。该网络通过使用强大的图像正则化和凸优化技术最小化基于能量的目标函数来利用残差学习。我们在定量和定性实验中证明了我们提出的方法,这些实验可以鲁棒地推广到真实输入,并且很容易部署到其他降尺度运营商和移动/嵌入式设备。
2020-05-03 cs.CV eess.IV
Super-Resolution for Overhead Imagery Using DenseNets and Adversarial Learning
The Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室)
生成对抗学习的最新进展允许通过学习低到高分辨率映射来实现图像超分辨率的新模式。在本文中,我们介绍了我们的工作,使用生成对抗网络(GANs)与应用程序的开销和卫星图像。我们已经尝试了几种最先进的架构。我们提出了一种基于GAN的架构,使用密集连接的卷积神经网络(DenseNets),能够以高达8倍的因子超分辨率处理开销图像。我们还研究了这些网络的分辨率限制。我们报告了几个公开数据集的结果,包括SpaceNet数据和IARPA多视图立体视觉挑战,并与其他最先进的架构进行了性能比较。
2017-11-28 cs.CV
Perceptual Image Super-Resolution with Progressive Adversarial Network
Xiaomi AI Lab(小米人工智能实验室)
单图像超分辨率(SISR)的目的是从单个图像中提高小尺寸低质量图像的分辨率。随着消费电子产品在我们日常生活中的普及,这个话题变得越来越吸引人。在本文中,我们认为维数灾难是限制最先进的算法的性能的根本原因。为了解决这个问题,我们提出了渐进对抗网络(PAN),它能够应对特定领域图像超分辨率的困难。PAN的关键原则是我们不应用任何基于距离的重建误差作为待优化的损失,从而摆脱了维数灾难的限制。为了保持忠实的重建精度,我们求助于U-网络和神经结构的渐进增长。编码器中的低层特征可以通过U-Net传输到解码器中,以增强纹理细节。渐进生长法可以逐步提高图像的分辨率,从而保持恢复图像的精度。此外,为了获得高保真输出,我们利用强大的StyleGAN框架来执行对抗学习。没有维数灾难,我们的模型可以超分辨率的大尺寸图像具有显着的照片般逼真的细节和很少的失真。大量的实验表明,我们的算法在定量和定性上都优于最先进的算法。
2020-03-19 cs.CV eess.IV
Practical License Plate Recognition in Unconstrained Surveillance Systems with Adversarial Super-Resolution
Gwangju Institute of Science and Technology(光州科学技术院)
虽然大多数当前的牌照(LP)识别应用程序已经显着先进,他们仍然局限于理想的环境中,训练数据仔细注释与受约束的场景。在本文中,我们提出了一种新的车牌识别方法来处理无约束的现实世界的交通场景。为了克服这些困难,我们使用对抗超分辨率(SR),和一个阶段的字符分割和识别。结合基于VGG-net的深度卷积网络,我们的方法提供了简单但合理的训练过程。此外,我们介绍了GIST-LP,一个具有挑战性的LP数据集,其中图像样本有效地从无约束的监控场景中收集。AOLP和GIST-LP数据集上的实验结果表明,我们的方法,没有任何特定场景的适应,优于目前的LP识别方法的准确性,并提供视觉增强我们的SR结果,更容易理解比原始数据。
2019-10-10 cs.CV cs.LG
SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network
Indian Institute of Information Technology(印度信息技术学院)
本文提出SRTransGAN,用基于Transformer的编码器-解码器生成器和视觉Transformer判别器实现2倍和4倍图像超分辨率,在PSNR和SSIM上平均优于现有方法4.38%。
2023-12-04 cs.CV eess.IV
An Adversarial Super-Resolution Remedy for Radar Design Trade-offs
University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
雷达在自动驾驶、安全和监控应用等许多领域都至关重要。然而,它遭受严格的限制,其设计参数化,导致多个权衡。例如,FMCW雷达中的带宽与最大无模糊距离和距离分辨率两者成反比。在这项工作中,我们介绍了一种新的方法来规避雷达设计权衡。我们建议使用计算机视觉的最新进展,更具体地说是生成对抗网络(GANs),将低分辨率雷达采集增强为更高分辨率的对应物,同时保持低分辨率参数化的优势。分别在微多普勒特征和FMCW均匀线阵雷达中,从速度分辨率和距离-方位折衷两个方面评估了该方法的性能。
2019-06-20 cs.CV
Learning Structral coherence Via Generative Adversarial Network for Single Image Super-Resolution
Sichuan University(四川大学)
单图像超分辨率(SISR)的主要挑战之一是恢复具有符合人类视觉系统的全局形状和局部细节的相干图像的能力。最近的生成对抗网络(GAN)的SISR方法已经产生了整体真实的SR图像,但是,总是有不愉快的纹理伴随着局部区域的结构失真。针对这些问题,我们将梯度分支引入到生成器中,通过恢复SR过程中的高分辨率梯度图来保留结构信息。此外,我们利用一个基于U-网的重建器来考虑整个图像和详细的每像素真实性,这可以鼓励生成器保持重建图像的整体一致性。此外,我们研究了目标函数和LPIPS感知损失增加,以产生更真实和自然的细节。实验结果表明,该方法在感知指数(PI)方面优于现有的感知驱动SR方法,在自然图像恢复中获得了更好的几何一致性和视觉效果.
2021-01-25 cs.CV eess.IV
RefSR-Adv: Adversarial Attack on Reference-based Image Super-Resolution Models
School of Computer Engineering and Science(计算机工程与科学学院)
RefSR-Adv提出了一种针对基于参考图像的超分辨率模型的对抗攻击方法,通过扰动参考图像来降低模型性能,揭示了模型对参考特征的过度依赖是关键安全漏洞。
2026-01-03 cs.AI cs.CV
Brain Graph Super-Resolution Using Adversarial Graph Neural Network with Application to Functional Brain Connectivity
Istanbul Technical University(伊斯坦布尔理工大学);University of Dundee(邓迪大学)
近年来,随着以不同分辨率获取的神经成像数据集的激增,脑图像分析已经取得了实质性的进展。近年来,脑图像超分辨率的研究发展迅速,但由于非欧图数据的复杂性,脑图超分辨率的研究还很薄弱。在本文中,我们提出了有史以来第一个深度图超分辨率(GSR)框架,该框架试图自动生成具有N'个节点的高分辨率(HR)脑图(即,从具有N个节点的低分辨率(LR)图中提取感兴趣的解剖区域(ROI),其中N <N '。首先,我们将GSR问题形式化为节点特征嵌入学习任务。一旦HR节点的嵌入被学习,大脑ROI之间的成对连接强度可以通过基于新颖的Graph U-Net架构的聚合规则来导出。虽然通常图U-Net是一个以节点为中心的架构,其中图嵌入主要取决于节点属性,但我们提出了一个以图为中心的架构,其中节点特征嵌入基于图拓扑。其次,受图谱理论的启发,我们通过使用GSR层和两个图卷积网络层超解析低分辨率脑图结构和节点内容来打破U-Net架构的对称性,以进一步学习HR图中的节点嵌入。第三,为了处理地面实况和预测的HR脑图之间的域转移,我们结合了对抗正则化来对齐它们各自的分布。我们提出的AGSR-Net框架在从低分辨率图像预测高分辨率功能脑图方面优于其变体。我们的AGSR-Net代码可以在GitHub上找到,网址是https://github.com/basiralab/AGSR-Net。
2021-05-02 cs.CV cs.LG eess.IV
Aerial Spectral Super-Resolution using Conditional Adversarial Networks
Rochester Institute of Technology(罗切斯特理工学院)
从基于地面的自然图像推断光谱特征在应用深度学习中获得了很多兴趣。与地面光谱图像相比,航空光谱图像空间分辨率低,受噪声干扰大。在本文中,我们训练一个条件对抗网络学习从三色空间到400到700 nm范围内的31个光谱波段的逆映射。该网络是在AeroCampus上训练的,AeroCampus是第一个航空高光谱数据集。AeroCampus由高空间分辨率彩色图像和低空间分辨率高光谱图像(HSI)组成。从31个光谱波段合成的彩色图像被用来训练我们的网络。合成RGB测试数据的基线均方根误差为2.48,我们表明,它是可能的,在航空图像中产生的光谱特征。
2017-12-23 cs.CV
Generative Adversarial Super-Resolution at the Edge with Knowledge Distillation
Politecnico di Torino(都灵理工大学);PIC4SeR PoliTo Interdepartmental Center for Service Robotics(PIC4SeR都灵理工大学服务机器人跨部门中心)
本文提出EdgeSRGAN,一种结合知识蒸馏的轻量级生成对抗网络,用于边缘设备上的实时单图像超分辨率,在保持图像质量的同时实现高达200fps的推理速度,并验证了其在移动机器人应用中的优势。
2023-05-09 cs.AI cs.CV cs.LG
Unregistered Spectral Image Fusion: Unmixing, Adversarial Learning, and Recoverability
Oregon State University(俄勒冈州立大学)
提出无监督框架,通过耦合光谱解混和潜在空间对抗学习同时超分辨未配准的高光谱和多光谱图像,并首次建立可恢复性理论保证。
2026-06-05 cs.CV eess.IV
Dual Adversarial Adaptation for Cross-Device Real-World Image Super-Resolution
Sun Yat-sen University(中山大学);Tencent America(美国腾讯公司)
由于复杂的成像过程,由不同相机捕获的相同场景可以表现出不同的成像模式,从而在来自不同设备的图像上训练的超分辨率(SR)模型之间引入不同的熟练程度。在本文中,我们研究了一种新颖而实用的任务编码跨设备SR,它致力于将在一个相机捕获的配对图像上训练的真实世界SR模型适应于由任意目标设备捕获的低分辨率(LR)图像。由于缺乏来自各种成像设备的配对数据,所提出的任务极具挑战性。为了解决这个问题,我们提出了一个无监督的域自适应机制,为现实世界的SR,命名为双ADVERSARIAL适应(DADA),它只需要LR图像在目标域与可用的真实配对数据从源相机。DADA采用领域不变注意(DIA)模块,即使没有人力资源监督,也可以建立目标模型训练的基础。此外,DADA的双重框架促进了针对来自两个域的两个LR输入图像的一个分支中的域间对抗适应(InterAA),以及针对LR输入图像的两个分支中的域内对抗适应(IntraAA)。InterAA和IntraAA一起提高了模型从源域到目标域的可移植性。我们凭经验进行实验,在六个真实的真实的适应设置之间的三个不同的相机,并实现优越的性能相比,现有的国家的最先进的方法。我们还评估了建议的DADA,以解决适应视频摄像机,这是一个有前途的研究课题,以促进现实世界的超分辨率的广泛应用。我们的源代码可在https://github.com/lonelyhope/DADA.git上…
2022-05-07 cs.CV eess.IV
AddSR: Accelerating Diffusion-based Blind Super-Resolution with Adversarial Diffusion Distillation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Southwest University(西南大学)
本文提出AddSR,通过结合蒸馏与ControlNet、引入预测自精炼策略和时间步自适应ADD,在提升盲超分辨率恢复质量的同时实现比SeeSR快7倍的推理速度。
2024-12-27 cs.CV eess.IV
Enhancing Perceptual Loss with Adversarial Feature Matching for Super-Resolution
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);International Institute of Information Technology Bhubaneswar(布巴内斯瓦尔国际信息技术学院)
单图像超分辨率(SISR)是一个不确定有效解个数的不适定问题。用神经网络解决这个问题需要获得丰富的经验,无论是作为自然图像上的大型训练集,还是来自另一个预训练网络的压缩表示。属于后一类的感知损失函数在SISR和其他几个计算机视觉任务中取得了突破性的成功。虽然感知损失在照片级真实感图像的生成中起着核心作用,但它也会在超分辨率输出中产生不期望的图案伪影。在本文中,我们证明了这些模式伪影的根本原因可以追溯到感知损失的预训练目标和超分辨率目标之间的不匹配。为了解决这个问题,我们建议用一种新的内容损失函数来增强现有的感知损失公式,该函数使用一个神经网络的潜在特征来过滤几个对抗相似度级别上不需要的伪影。此外,我们的修改对对抗训练中的非凸优化具有稳定作用。所提出的方法提供了显着的收益的感知质量的基础上,广泛的人类评价研究和主管重建保真度时,测试的客观评价指标。
2020-05-15 cs.CV eess.IV
Kernel Adversarial Learning for Real-world Image Super-resolution
The University of Adelaide(阿德莱德大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Surrey(萨里大学)
本文提出核对抗学习超分辨率框架KASR,通过自适应建模退化核与噪声,并结合高频选择性目标和迭代监督,提升真实世界图像超分辨率重建精度。
2024-09-05 cs.CV
The Double-Edged Sword of Data-Driven Super-Resolution: Adversarial Super-Resolution Models
Cyber Resilience and Intelligence Division, Oak Ridge National Laboratory(网络安全与智能 division,橡树岭国家实验室);Computer Science and Mathematics Division, Oak Ridge National Laboratory(计算机科学与数学 division,橡树岭国家实验室)
本文提出AdvSR,一种在模型层面嵌入对抗性行为的超分辨率模型,通过优化重建质量和对抗性结果,实现高攻击成功率且不影响图像质量。
2026-02-06 cs.AI cs.CV
Image Super-Resolution as a Defense Against Adversarial Attacks
Inception Institute of Artificial Intelligence(起点人工智能研究院);University of Canberra(堪培拉大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织数据61所);Beijing Institute of Technology(北京理工大学)
卷积神经网络在多个计算机视觉任务中取得了重大成功。然而,它们容易受到精心制作的、人类无法察觉的对抗性噪声模式的影响,这限制了它们在关键安全敏感系统中的部署。本文提出了一种计算效率高的图像增强方法,提供了一个强大的防御机制,有效地减轻这种对抗性扰动的影响。我们表明,深度图像复原网络学习映射函数,可以将流形外的对抗样本带到自然图像流形上,从而将分类恢复到正确的类别。我们的方法的一个显着特点是,除了提供对攻击的鲁棒性,它同时提高了图像质量,并保留模型在干净图像上的性能。此外,所提出的方法不修改分类器,也不需要单独的机制来检测对抗图像。该方案的有效性已经通过大量的实验证明,在灰盒设置中,它已被证明是一个强大的防御。该方案简单,具有以下优点:(1)它不需要任何模型训练或参数优化,(2)它补充了其他现有的防御机制,(3)它是不可知的攻击模型和攻击类型,(4)它提供了所有流行的攻击算法优越的性能。我们的代码可在https://github.com/aamir-mustafa/super-resolution-adversarial-defense上公开获取。
2019-09-02 cs.CV
Scale-Invariant Adversarial Attack against Arbitrary-scale Super-resolution
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);New York University(纽约大学)
本文提出尺度不变的任意尺度超分辨率对抗攻击方法SIAGT,利用连续表示的有限离散点构建资源节约型攻击,并通过坐标相关损失增强跨模型迁移性,在多个LIIF方法和数据集上验证了其有效性。
2025-03-12 cs.CV
Generative Adversarial Networks and Perceptual Losses for Video Super-Resolution
Northwestern University(西北大学);Universidad de Granada(格拉纳达大学)
视频超分辨率(VSR)已成为视频处理中的关键问题之一。在深度学习文献中,最近的工作已经显示出使用基于对抗性和感知损失来提高各种图像复原任务的性能的好处;然而,这些还没有应用于视频超分辨率。在这项工作中,我们提出了一个生成对抗网络(GAN)为基础的制定VSR。我们引入了一个新的生成器网络优化的VSR问题,命名为VSRResNet,以及一个新的神经网络架构,以正确指导VSRResNet在GAN训练。我们进一步增强了我们的VSR GAN制定与两个正则化,在特征空间和像素空间的距离损失,以获得我们最终的VSRResistance GAN模型。我们表明,用均方误差损失预训练我们的生成器仅在数量上超过当前最先进的VSR模型。最后,我们采用PercepDist度量(Zhang et al.,2018)来比较最先进的VSR模型。我们表明,与常用的PSNR/SSIM指标相比,该指标更准确地评估从神经网络获得的SR解决方案的感知质量。最后,我们表明,我们提出的模型,VSRRescultGAN模型,优于目前最先进的SR模型,无论是定量和定性。
2018-12-19 cs.CV
MaCo-GAN: Manifold-Contrastive Adversarial Learning for Single Image Super-Resolution
Department of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology, Gwangju, Republic of Korea(电气工程与计算机科学系,全州科学技术院,全州,韩国);Department of AI Convergence, Gwangju Institute of Science and Technology, Gwangju, Republic of Korea(人工智能融合系,全州科学技术院,全州,韩国)
提出MaCo-GAN,通过流形对比对抗学习替代传统对抗损失,利用动态假样本合成器生成保持低分辨率对应的假图像,实现感知-失真权衡的持续改进。
2026-06-03 cs.CV
QSMGAN: Improved Quantitative Susceptibility Mapping using 3D Generative Adversarial Networks with Increased Receptive Field
University of California, San Francisco(加州大学旧金山分校)
定量磁敏感性成像(QSM)是一种功能强大的MRI技术,在许多神经系统疾病的组织易感性定量方面显示出巨大的潜力。然而,固有的不适定偶极子反演问题极大地影响了磁化率图的准确性。我们建议QSMGAN:基于3D U-Net架构的3D深度卷积神经网络方法,与输出相比,输入相位的感受野增加,并使用具有梯度惩罚训练策略的WGAN进一步细化网络。我们的方法产生准确的QSM地图从单一方向相位图有效地和执行显着优于传统的非学习为基础的偶极子反演算法。通过将该算法应用于一个看不见的病理-脑肿瘤患者辐射诱导的脑微出血,验证了该算法的泛化能力。
2019-10-29 cs.LG eess.IV stat.ML
Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer
将低动态范围(LDR)图像转换为高动态范围(HDR)图像,即所谓的逆色调映射(iTM),是改善成像设备的视觉效果的重要成像技术。在本文中,我们提出了一种新的基于深度学习的iTM方法,该方法使用生成对抗正则化器学习逆色调映射网络。在交替优化的框架中,我们学习了一个基于U-Net的HDR图像生成器,将输入的LDR图像转换为HDR图像,并学习了一个简单的基于CNN的分类器,对真实的HDR图像和生成的图像进行分类。具体来说,在学习生成器时,我们将内容相关损失和生成对抗正则化器结合起来,以提高生成的HDR图像的稳定性和鲁棒性。使用学习的生成器作为建议的逆色调映射网络,我们实现了优越的iTM结果的国家的最先进的方法一致。
2018-04-20 eess.IV
Single MR Image Super-Resolution using Generative Adversarial Network
Ontario Tech University(安大略理工大学)
利用超分辨率方法可以提高医学图像的空间分辨率。实时增强超分辨率生成对抗网络(Real Enhanced Super Resolution Generative Adversarial Network,Real-ESRGAN)是近年来在输入图像分辨率较低的情况下生成更高分辨率图像的有效方法之一。在本文中,我们应用这种方法来提高二维MR图像的空间分辨率。在我们提出的方法中,我们稍微修改了Real-ESRGAN的结构,以训练取自脑肿瘤分割挑战(BraTS)2018数据集的2D磁共振图像(MRI)。通过计算SSIM(结构相似性指数度量)、NRMSE(归一化均方根误差)、MAE(平均绝对误差)和VIF(视觉信息保真度)值,定性和定量地验证了所获得的结果。
2022-07-16 cs.CV cs.LG eess.IV
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,基于深度学习的技术,如生成对抗网络(GANs),已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中,我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复,给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题,并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的,但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN,而不是一次训练GAN,提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段,如4x4和8x8训练相当快,后期阶段消耗大量的时间,可能需要几天才能完成模型训练。在我们的论文中,我们提出了一种新的流水线,结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像,这可以证明是一种有用的资源,可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
本文介绍了一种用于照片增强的分治启发对抗学习(DACAL)方法。其核心思想是将照片增强过程分解为层次化的多个子问题,自下而上可以更好地解决。在顶层,我们提出了一个基于感知的划分来学习加法和乘法分量,这是将低质量图像或视频转换为高质量图像或视频所需的。在中间层面,我们使用基于频率的划分与生成对抗网络(GAN)来弱监督照片增强过程。在底层,我们设计了一种基于维度的划分,使GAN模型能够更好地近似多个独立一维数据上的分布距离,以训练GAN模型。在考虑所有三个层次的同时,我们开发了多尺度和循环训练方法,以弱监督的方式优化图像和视频增强过程。定量和定性的结果都清楚地表明,所提出的DACAL实现了高分辨率图像和视频增强的最先进的性能。
2019-10-23 cs.CV cs.LG eess.IV
Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University(深圳大学);Central South University(中南大学);Harbin Engineering University(哈尔滨工程大学)
融合多模态医学图像,如MR和PET,可以提供有关人体的各种解剖或功能信息。但由于成本、辐射或其他限制等不同原因,PET数据总是不可用。在本文中,我们提出了一个3D端到端合成网络,称为双向映射生成对抗网络(BMGAN),其中图像上下文和潜在向量被有效地使用并联合优化用于大脑MR到PET合成。具体而言,设计了一种双向映射机制,将PET图像的语义信息嵌入到高维潜空间中。并进一步利用3D DenseU-Net生成器结构和扩展目标函数来提高合成结果的视觉质量。最吸引人的部分是,所提出的方法可以合成的感知逼真的PET图像,同时保留不同的大脑结构的不同主题。实验结果表明,该方法的性能优于其他竞争力的跨模态合成方法的定量措施,定性显示,分类评价。
2020-08-08 cs.LG eess.IV
Rapid tissue oxygenation mapping from snapshot structured-light images with adversarial deep learning
Johns Hopkins University(约翰斯·霍普金斯大学)
空间频域成像(SFDI)是一种功能强大的技术,用于在宽视场范围内绘制组织氧饱和度。然而,当前的SFDI方法要么需要具有不同照明模式的若干图像的序列,要么在单次快照光学特性(SSOP)的情况下,引入伪影并牺牲精度。为了避免这种权衡,我们引入了OxyGAN:一种数据驱动的内容感知方法,使用端到端生成对抗网络直接从单个结构光图像中估计组织氧合。常规SFDI用于在659 nm和851 nm正弦照明下获得离体人食管、体内手和脚以及体内猪结肠样本的真实组织氧合图。我们通过与SSOP和两步混合技术进行比较来对OxyGAN进行基准测试,该技术使用先前开发的深度学习模型来预测光学特性,然后使用物理模型来计算组织氧合。当在人脚上进行测试时,交叉验证的OxyGAN以96.5%的准确度绘制组织氧合图。当应用于训练集中未包括的样本类型时,例如人手和猪结肠,OxyGAN实现了93.0%的准确性,证明了对各种组织类型的鲁棒性。平均而言,OxyGAN在估计组织氧合方面分别优于SSOP和混合模型24.9%和24.7%。最后,我们优化了OxyGAN推理,使氧合图的计算速度比以前的工作快约10倍,实现了视频速率,25 Hz成像。由于其快速采集和处理速度,OxyGAN有可能实现实时、高保真的组织氧合标测,这可能对许多临床应用有用。
2020-07-01 cs.CV cs.LG eess.IV
Super-Resolution of 3D Micro-CT Images Using Generative Adversarial Networks: Enhancing Resolution and Segmentation Accuracy
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);EXPEC Advanced Research Center, Aramco(沙特阿美EXPEC高级研究中心)
本研究提出3D DC WGAN-GP模型,结合3D低分辨率micro-CT与2D高分辨率LSM图像训练,实现岩石micro-CT图像8倍超分辨与精准分割,拓展数字岩石物理学能力。
2025-01-12 cs.CV cs.LG eess.IV
A Hybrid Approach Between Adversarial Generative Networks and Actor-Critic Policy Gradient for Low Rate High-Resolution Image Compression
Imperial College London(帝国理工学院)
图像压缩是在不降低图像质量的情况下减少图像字节大小的基本方法。通常使用经典算法,但最近深度学习已成功应用。在这项工作中,提出了一种用于图像压缩的深度超分辨率工作流程,将低分辨率JPEG图像映射到高分辨率。流水线由两个部分组成:首先,编码器-解码器神经网络学习如何将下采样的JPEG图像转换为高分辨率。其次,生成对抗网络(GANs)和强化学习Actor-Critic(A3 C)损失之间的组合推动编码器-解码器间接最大化高峰值信噪比(PSNR)。虽然PSNR是一个完全可微分的指标,但这项工作为通过编码器-解码器网络和强化学习策略梯度方法之间的端到端方法最大化非微分指标的新解决方案打开了大门。
2019-06-13 cs.LG eess.IV stat.ML
Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network
Zhejiang University(浙江大学);Central Media Technology Institute, Huawei Technologies Co., Ltd(华为技术有限公司中央媒体技术研究院)
卷积神经网络(CNN)由于其优越的性能而被广泛应用于解决超分辨率(SR)任务。但由于CNN缺乏先验知识和小的感受野,超分辨率问题仍然具有挑战性。我们提出了分段-Piror自注意生成对抗网络(SPSAGAN),将分段先验和特征注意力结合到一个统一的框架中。这种组合是由精心设计的加权加法来平衡特征和分割注意力的影响,因此网络可以强调同一分割类别中的纹理,同时专注于长距离特征关系。我们还提出了一个轻量级的跳过连接架构称为残差中残差稀疏块(RRSB),以进一步提高超分辨率性能和节省计算。大量的实验表明,SPSAGAN可以生成更真实和视觉上令人愉快的纹理相比,最先进的SFTGAN和ESRGAN在许多SR数据集。
2020-03-07 cs.CV cs.LG eess.IV
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用,因此成为一个热门话题。与传统算法相比,目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作,如超分辨率使用生成对抗网络(SRGAN)可以有效地恢复图像的纹理细节。然而,实验证明,由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像,改进了网络结构,提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练,并使用Set5,Set14,BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
Semantic Segmentation of Medium-Resolution Satellite Imagery using Conditional Generative Adversarial Networks
Radiant Earth Foundation(Radiant Earth基金会);Benson Hill(Benson Hill公司);Sunbird AI(Sunbird AI公司)
卫星图像的语义分割是识别模式和检测地球周围变化的常用方法。大多数最先进的语义分割模型都是使用卷积神经网络(CNN)以完全监督的方式进行训练的。对于卫星图像,CNN的泛化性能较差,因为数据在景观类型、图像分辨率以及不同地理和季节的标签稀缺性方面可能非常多样化。因此,CNN的性能并不能很好地转化为来自看不见的地区或季节的图像。受基于条件生成对抗网络(CGAN)的高分辨率卫星影像图像间转换方法的启发,提出了一种基于CGAN的中分辨率Sentinel-2影像土地覆盖分类框架。我们发现,CGAN模型优于CNN模型的相似的复杂性的显着保证金上看不见的不平衡的测试数据集。
2020-12-05 cs.CV cs.LG eess.IV
ESRGAN+ : Further Improving Enhanced Super-Resolution Generative Adversarial Network
Université d'Antananarivo(塔那那利佛大学)
增强型超分辨率生成对抗网络(ESRGAN)是一种感知驱动的方法,用于单图像超分辨率,能够生成逼真的图像。尽管这些生成的图像的视觉质量,仍然有改进的空间。以这种方式,该模型被扩展以进一步提高图像的感知质量。我们设计了一种新颖的模块来取代原来ESRGAN使用的模块。此外,我们引入噪声输入的发电机网络,以利用随机变化。生成的图像呈现更逼真的纹理。该代码可在https://github.com/ncarraz/ESRGANplus上获得。
2020-07-15 cs.LG eess.IV
Real-World Image Super Resolution via Unsupervised Bi-directional Cycle Domain Transfer Learning based Generative Adversarial Network
Lakehead University(湖首大学);Western University(韦仕敦大学);Harbin Institute of Technology(哈尔滨工业大学);Nanjing University of Information Science and Technology(南京信息工程大学);Tianjin University(天津大学);Okanagan College(奥肯那根学院);The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
深度卷积神经网络(DCNN)在图像超分辨率任务中表现出令人印象深刻的性能。然而,这些基于深度学习的超分辨率方法在现实世界的超分辨率任务中表现不佳,其中成对的高分辨率和低分辨率图像不可用,并且低分辨率图像被复杂和未知的内核降级。为了打破这些限制,我们提出了基于无监督双向循环域迁移学习的生成对抗网络(UBCDTL-GAN),它由无监督双向循环域转移网络(UBCDTN)和语义编码器引导的超分辨率网络(SESRN)组成。首先,UBCDTN能够通过将LR图像从人工退化域转移到真实世界LR图像域来产生近似真实的LR图像。其次,SESRN具有将近似真实的LR图像超分辨率为照片般逼真的HR图像的能力。在未配对的真实世界图像基准数据集上进行的大量实验表明,与现有方法相比,该方法具有更好的性能。
2023-01-03 cs.CV cs.LG eess.IV
D-SRGAN: DEM Super-Resolution with Generative Adversarial Networks
University of Iowa(爱荷华大学)
激光雷达(光探测和测距)是一种光学遥感技术,它测量传感器和物体之间的距离,以及从物体反射的能量。多年来,激光雷达数据一直被用作数字高程模型(DEM)的主要来源。DEM已被用于各种应用,如道路提取,水文建模,洪水测绘和表面分析。洪水方面的一些研究表明,使用高分辨率DEM作为应用程序的输入可以提高整体可靠性和准确性。尽管高分辨率DEM很重要,但由于技术限制或数据汇集的成本,美国和世界上的许多地区无法获得高分辨率DEM。随着图形处理单元(GPU)和新算法的最新发展,深度学习技术因其在从高分辨率数据集学习特征方面的性能而对研究人员具有吸引力。已经提出了许多新方法,例如生成对抗网络(GANs),以创建纠正和增强大规模数据集的智能模型。在本文中,GAN为基础的模型开发和评估,灵感来自单图像超分辨率方法,提高空间分辨率的给定DEM数据集的4倍,而无需额外的信息相关的数据。
2020-04-16 cs.CV cs.LG eess.IV
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务,从单图像超分辨率GAN基础模型出发探索改进技术,发现时间平滑、LSTM层和时间损失函数效果最佳,整合后PSNR和SSIM较基线分别提升11.97%和8%,为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
Residual Channel Attention Generative Adversarial Network for Image Super-Resolution and Noise Reduction
InnoPeak Technology(英诺峰科技)
图像超分辨率是计算机视觉的重要技术之一,其目标是从低分辨率图像重建高分辨率图像。最近,基于深度学习的方法已经被证明用于图像超分辨率。然而,随着深度网络的深入,它们变得更加难以训练,并且更难以恢复更精细的纹理细节,特别是在现实世界的设置下。在本文中,我们提出了一种剩余信道注意力生成对抗网络(RCA-GAN)来解决这些问题。具体而言,提出了一种新的残余通道注意块形成RCA-GAN,它由一组具有快捷连接的残余块和通道注意机制来建模不同通道之间的特征表示的相互依赖性和相互作用。此外,生成对抗网络(GAN),以进一步产生现实和高度详细的结果。受益于这些改进,所提出的RCA-GAN比基线模型产生更好的视觉质量,具有更详细和更自然的纹理;并且与现实世界图像超分辨率的最先进方法相比,实现了相当或更好的性能。
2020-04-28 cs.CV eess.IV
High-Resolution Pelvic MRI Reconstruction Using a Generative Adversarial Network with Attention and Cyclic Loss
Yantai University(烟台大学);Fudan University(复旦大学);Royal Brompton Hospital(皇家布朗普顿医院);Imperial College London(帝国理工学院)
磁共振成像(MRI)是一种重要的医学成像方式,但由于生理条件的限制,其采集速度相当慢。最近,超分辨率方法在加速MRI方面表现出优异的性能。在某些情况下,即使延长扫描时间也难以获得高分辨率图像。因此,我们提出了一种新的超分辨率方法,该方法使用具有循环丢失和注意力机制的生成对抗网络(GAN),以2倍的因子从低分辨率MR图像生成高分辨率MR图像。我们在健康受试者的骨盆图像上实现了我们的模型作为训练和验证数据,而来自患者的数据则用于测试。使用不同的成像序列(包括T2、T2 W SPAIR和mDIXON-W)获得MR数据集。四种方法,即,使用BICUBIC、SRCNN、SRGAN和EDSR进行比较。以结构相似度、峰值信噪比、均方根误差和方差膨胀因子为计算指标,对所提方法的性能进行了评价。各种实验结果表明,我们的方法可以更好地恢复高分辨率MR图像的细节相比,其他方法。此外,重建的高分辨率MR图像可以提供更好的肿瘤患者的病变纹理,这是有希望用于临床诊断。
2021-07-21 cs.CV cs.LG eess.IV
Underwater Image Super-Resolution using Generative Adversarial Network-based Model
Ferdowsi University of Mashhad(马什哈德费尔多西大学)
本文针对水下图像超分辨率任务,在USR-248数据集上微调预训练Real-ESRGAN模型,使生成图像相比原模型更逼真且视觉质量更好。
2023-09-23 cs.CV eess.IV
Normalization of breast MRIs using Cycle-Consistent Generative Adversarial Networks
Duke University(杜克大学)
动态对比增强磁共振成像(DCE-MRI)被广泛用于补充乳腺癌早期检测和诊断过程中的超声检查和X射线乳腺摄影。然而,各种MRI扫描仪(例如GE Healthcare与Siemens)生成的图像在强度和噪声分布方面都不同,这使得在一台扫描仪的MRI上训练的算法无法成功地推广到其他扫描仪的数据。我们提出了一种图像归一化的方法来解决这个问题。MRI标准化是具有挑战性的,因为它需要标准化强度值和不同扫描仪的噪声分布之间的映射。我们利用周期一致的生成对抗网络来学习GE Healthcare和西门子扫描仪生产的MRI之间的双向映射。这使我们能够在没有匹配数据的情况下学习两种不同扫描仪类型之间的映射,这是不常见的。为了确保乳房形状和乳房内结构的保留,我们提出了两项技术创新。首先,我们将互信息损失与CycleGAN架构结合起来,以确保乳房的结构得到维护。其次,我们提出了一个修改后的EQUIPMENT架构,它利用一个较小的视野,以确保保存在乳腺组织中的更精细的细节。定量和定性评估表明,第二种方法能够始终如一地保持乳房结构的高水平细节,同时还执行适当的强度归一化和噪声映射。我们的研究结果表明,所提出的模型可以成功地学习不同供应商生产的MRI之间的双向映射,从而可能提高下游计算算法诊断和检测乳腺癌的准确性。本研究中使用的所有数据都是公开的。
2021-06-17 cs.CV cs.LG eess.IV
Semantically Accurate Super-Resolution Generative Adversarial Networks
Nearmap(Nearmap公司);University of Sydney(悉尼大学);Australian Centre for Field Robotics(澳大利亚现场机器人中心)
这项工作解决了语义分割和图像超分辨率的问题,通过共同考虑两者在训练生成对抗网络(GAN)中的性能。我们提出了一种新的架构和特定于域的特征丢失,允许超分辨率作为预处理步骤来操作,以提高下游计算机视觉任务的性能,特别是语义分割。我们使用Nearmap的航拍图像数据集来演示这种方法,该数据集以每像素5-7厘米的分辨率覆盖了数百个城市地区。我们表明,所提出的方法提高了感知图像质量以及所有预测类的定量分割精度,与最先进的单网络方法相比,在4倍和32倍超分辨率下,平均精度提高了11.8%和108%。这项工作表明,联合考虑基于图像和特定于任务的损失可以提高两者的性能,并推进了航空图像的语义感知超分辨率的最新技术。
2022-05-17 cs.CV eess.IV
Deep Cyclic Generative Adversarial Residual Convolutional Networks for Real Image Super-Resolution
University of Udine(乌迪内大学)
最近基于深度学习的单图像超分辨率(SISR)方法大多在干净的数据域中训练其模型,其中低分辨率(LR)和高分辨率(HR)图像来自无噪声设置(相同域),这是由于双三次下采样假设。然而,这种降解过程在现实世界的环境中是不可用的。我们考虑了一种深度循环网络结构来保持LR和HR数据分布之间的域一致性,这是受到CycleGAN最近在图像到图像翻译应用中的成功的启发。我们提出了超分辨率残差循环生成对抗网络(SRResCycGAN),通过使用生成对抗网络(GAN)框架进行训练,以端到端的方式进行LR到HR域的转换。我们证明了我们提出的方法在定量和定性的实验,推广到真实图像的超分辨率,它是很容易部署的移动/嵌入式设备。此外,我们在AIM 2020 Real Image SR Challenge数据集上的SR结果表明,所提出的SR方法与其他最先进的方法取得了相当的结果。
2020-09-07 cs.CV eess.IV
Advanced Single Image Resolution Upsurging Using a Generative Adversarial Network
Bangladesh Open University(孟加拉开放大学);Dhaka International University(达卡国际大学)
图像的分辨率是评价图像质量的一个非常重要的标准。图像的较高分辨率总是优选的,因为较低分辨率的图像由于模糊质量而不适合。图像的更高分辨率对于各种领域都很重要,例如医学成像;天文学工作等,因为当它们的尺寸被放大时,较低分辨率的图像变得不清晰和模糊。近来,进行各种研究工作以从图像的较低分辨率生成图像的较高分辨率。在本文中,我们提出了一种在具有深度网络的残差密集块网络架构中使用残差从较低分辨率生成更高分辨率图像的技术。我们还比较了我们的方法与其他方法,证明我们的方法提供了更好的视觉质量的图像。
2020-05-30 cs.CV eess.IV
Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization
自然图像可以被视为驻留在嵌入在高维欧几里得空间中的流形中。生成对抗网络(GANs)试图学习流形中真实图像的分布,以生成看起来真实的样本。但是,现有方法的结果仍然表现出许多令人不快的文物和失真,即使在所需的地面真实目标图像可用于监督学习的情况下,如在单图像超分辨率(SISR)。在本文中,我们探讨了如何减轻这些问题的监督GANs。我们显式地应用Lipschitz连续性条件(LCC)来正则化GAN。一个编码网络,映射的图像空间到一个新的最佳潜在的空间来自LCC,它是用来增强的GAN作为耦合组件。LCC也被转换为发电机损失函数中的新正则化项,以执行局部不变性。将GAN与编码网络一起进行优化,以使生成器收敛到更理想和更清晰的映射,从而生成更忠实于目标图像的样本。将所提出的模型应用于单幅图像的超分辨率问题时,其结果优于现有技术。
2021-01-09 cs.CV cs.LG eess.IV
An Approach to Super-Resolution of Sentinel-2 Images Based on Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种基于生成对抗网络的超分辨率(SR)方法(称为S2 GAN),以提高Sentinel-2光谱波段的空间分辨率。所提出的方法包括两个主要步骤。第一步的目标是通过缩放因子2和6分别增加具有20米和60米空间分辨率的波段的空间分辨率。为此,我们引入了一个生成器网络,该生成器网络通过利用具有剩余连接的卷积层和输入与输出之间的长跳跃连接,在与10 m空间分辨率相关联的频带的指导下,在较低分辨率频带上执行SR。第二步旨在将SR带与其地面真值带区分开。这是通过所提出的神经网络来实现的,该神经网络交替地表征两组频带的高级特征,并对提取的特征应用二进制分类。然后,我们将生成器和网络的对抗学习公式化为一个最小-最大博弈。在这个学习过程中,生成器的目标是尽可能多地产生真实的SR频带,以便SNR不正确地分类SR频带。在不同的Sentinel-2图像上获得的实验结果表明,与传统的和基于深度学习的SR方法相比,所提出的方法是有效的。
2020-02-07 cs.CV eess.IV
Fortifying Fully Convolutional Generative Adversarial Networks for Image Super-Resolution Using Divergence Measures
Electronics and Communication Sciences Unit (ECSU), Dolby Laboratories, India(电子与通信科学单元(ECSU),多利贝实验室,印度);Statistics and Mathematics Unit (SMU), Indian Statistical Institute, Kolkata, India(统计与数学单元(SMU),印度统计研究所,加尔各答,印度)
提出基于全卷积生成对抗网络的超分辨率生成器SuRGe,用可学习凸权重组合不同深度卷积特征,采用JS和GW损失辅助生成器,用带梯度惩罚的Wasserstein损失训练判别器,在多数据集上性能优于28种方法。
2026-07-07 cs.CV cs.LG eess.IV
A Deep Residual Star Generative Adversarial Network for multi-domain Image Super-Resolution
University of Udine(乌迪内大学)
最近,大多数最先进的单图像超分辨率(SISR)方法通过使用深度卷积神经网络(DCNN)获得了令人印象深刻的性能。现有的SR方法具有有限的性能,由于一个固定的退化设置,即通常是一个双三次降尺度的低分辨率(LR)图像。然而,在现实世界的设置中,LR退化过程是未知的,其可以是双三次LR、双线性LR、最近邻LR或实LR。因此,大多数SR方法在处理单个网络内的多于一个降级设置时是无效且低效的。为了处理多重退化,即涉及多域图像超分辨率,我们提出了深度超分辨率残差星GAN(SR 2 *GAN),这是一种新颖且可扩展的方法,其仅使用单个模型对多个LR域的LR图像进行超分辨率。所提出的计划是在一个类似于StarGAN的网络拓扑中训练的,该网络拓扑具有单个生成器和多个网络。我们证明了我们提出的方法在定量和定性实验相比,其他国家的最先进的方法的有效性。
2021-07-07 cs.CV cs.LG eess.IV
An Application of Generative Adversarial Networks for Super Resolution Medical Imaging
Parexel(帕雷塞尔)
采集高分辨率(HR)磁共振(MR)图像需要患者长时间保持静止,这会导致患者不适并增加运动引起图像伪影的可能性。一种可能的解决方案是获取低分辨率(LR)图像,并使用超分辨率生成对抗网络(SRGAN)处理它们以创建HR版本。与采集HR图像相比,采集LR图像所需的扫描时间更短,从而提高了患者舒适度和扫描仪吞吐量。这项工作将SRGAN应用于前列腺的MR图像,以将平面内分辨率提高4倍和8倍。本文中的术语“超分辨率”定义了医学图像的后处理增强,而“高分辨率”定义了在MR采集阶段采集的原始图像分辨率。我们还将SRGAN与其他三种模型进行了比较:SRCNN,SRResNet和稀疏表示。虽然SRGAN结果不具有最佳峰值信噪比(PSNR)或结构相似性(SSIM)指标,但它们在视觉上与原始HR图像最相似,如平均意见评分(MOS)结果所示。
2019-12-19 cs.CV eess.IV
Face Synthesis with Landmark Points from Generative Adversarial Networks and Inverse Latent Space Mapping
人脸特征点是指人脸图像上基本人脸点的定位。已经有大量的尝试从面部图像中检测这些点,然而,从来没有尝试合成一个随机的脸,并生成其相应的面部标志。本文提出了一种在潜在Z空间中增强数据集的框架,并将其应用于从2D面部数据集生成相应的地标集的回归问题。BEGAN框架已被用于训练的脸生成器从CelebA数据库。使用Adam优化器来实现生成器的逆,以生成与每个面部图像相对应的潜在向量,并且训练轻量级深度神经网络以将潜在Z空间向量映射到地标空间。初步结果是有希望的,并提供了一个通用的方法来增加额外的中间样本的注释图像数据集。
2018-02-01 eess.IV