High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore(新加坡国立大学)
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题,提出基于结果质量的退化控制器和特征对齐正则化器,通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Real-World Single Image Super-Resolution Under Rainy Condition
Old Dominion University(老道明大学)
图像超分辨率是计算机视觉领域的一个重要研究方向,在监控、医学成像等领域有着广泛的应用。在恶劣天气条件下,单图像超分辨率的提高还有很大的空间。本文提出了一种在雨天条件下实现真实世界单幅图像超分辨率的新算法。我们提出的方法可以减轻图像超分辨率过程中雨天条件的影响。实验结果表明,该算法可以实现图像的超分辨率,降低了降雨对图像的影响。
2022-06-16 cs.CV eess.IV
STRESS: Super-Resolution for Dynamic Fetal MRI using Self-Supervised Learning
MIT(麻省理工学院);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
在常规MR扫描时间范围内,胎儿运动是不可预测的且快速的。因此,旨在捕获胎儿运动和胎儿功能动态的动态胎儿MRI限于图像质量和分辨率折衷的快速成像技术。用于动态胎儿MRI的超分辨率仍然是一个挑战,特别是当用于过采样的图像切片的多方向堆叠不可用时,并且期望用于记录胎儿或胎盘的动态的高时间分辨率。此外,胎儿运动使得难以获取用于监督学习方法的高分辨率图像。为了解决这个问题,在这项工作中,我们提出了应力(时空分辨率增强与模拟扫描),一个自我监督的超分辨率框架动态胎儿MRI与交错切片采集。我们提出的方法模拟了交错切片采集沿高分辨率轴上的原始采集数据,以生成对低分辨率和高分辨率图像。然后,它通过利用MR时间序列中的空间和时间相关性来训练超分辨率网络,用于提高原始数据的分辨率。对模拟和子宫内数据的评估表明,我们提出的方法优于其他自监督超分辨率方法,提高了图像质量,这有利于其他下游任务和评估。
2021-06-30 cs.CV eess.IV
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI(人工智能初创研究所)
使用卷积神经网络(CNN)的现有技术磁共振(MR)图像超分辨率方法(ISR)由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers(ViT)可以更好地学习全局背景,有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合,以实现图像超分辨率,并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制,通过多个新的损失函数,保留结构和纹理信息,从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Multi-Reference Image Super-Resolution: A Posterior Fusion Approach
基于参考的超分辨率(RefSR)方法最近被提出来通过从高分辨率图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过允许并入更多信息来扩展此方法。本文提出了一种两步加权后验融合方法,将RefSR模型的输出与多个参考相结合。在CUFED 5数据集上的大量实验表明,所提出的方法可以应用于各种最先进的RefSR模型,以获得一致的图像质量改善。
2022-12-20 cs.CV eess.IV
Combination of Single and Multi-frame Image Super-resolution: An Analytical Perspective
University of Tehran(德黑兰大学)
超分辨率是从一个或多个低分辨率图像获得高分辨率图像的过程。单帧超分辨率(SISR)和多帧超分辨率(MFSR)方法已经发展了很多年。在这一领域被忽视的研究是寻找SISR和MFSR的最佳组合的理论分析。为了填补这一空白,我们提出了一种新的理论分析的基础上的迭代收缩和阈值算法。我们实现和比较几种方法相结合的SISR和MFSR,和模拟结果支持我们的理论分析,定量和定性的发现。
2023-03-06 cs.CV eess.IV
How Real is Real: Evaluating the Robustness of Real-World Super Resolution
University of Edinburgh(爱丁堡大学)
图像超分辨率(Image Super-resolution,SR)是计算机视觉中的一个领域,其关注于从相应的低分辨率图像重建高分辨率图像。然而,超分辨率是一个众所周知的不适定问题,因为大多数方法依赖于对高分辨率图像执行的下采样方法来形成已知的低分辨率图像。不幸的是,这在现实生活中的超分辨率应用程序中并不存在,例如提高手机上拍摄的照片的质量。在本文中,我们将评估多种最先进的超分辨率方法,并在呈现各种类型的真实图像时衡量它们的性能,并讨论每种方法的优点和缺点。我们还介绍了一个新的数据集,WideRealSR,包含来自各种来源的真实图像。最后,通过仔细的实验和评估,我们将提出一个潜在的解决方案,以减轻泛化问题,这是迫在眉睫的最先进的超分辨率模型。
2022-10-22 cs.CV eess.IV
Blind Image Super-Resolution with Spatial Context Hallucination
Department of Computing Science University of Alberta(阿尔伯塔大学计算机科学系)
由于高性能计算的惊人改进,深度卷积神经网络(CNN)在单图像超分辨率(SISR)中发挥着至关重要的作用。然而,大多数的超分辨率(SR)方法只专注于恢复双三次退化。从随机模糊和噪声的低分辨率图像重建高分辨率图像仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的空间上下文幻觉网络(SCHN)的盲超分辨率不知道退化核。我们发现,当模糊核未知时,单独的去模糊和超分辨率会因为误差的积累而限制性能。因此,我们将去噪,去模糊和超分辨率集成在一个框架内,以避免这样的问题。我们在两个高质量的数据集DIV2K和Flickr2K上训练我们的模型。当输入图像被随机模糊和噪声破坏时,我们的方法比最先进的方法表现得更好。
2020-09-25 cs.CV eess.IV
Multi-Spectral Multi-Image Super-Resolution of Sentinel-2 with Radiometric Consistency Losses and Its Effect on Building Delineation
University of Oxford(牛津大学);University of Valencia(瓦伦西亚大学)
高分辨率遥感图像用于广泛的任务,包括物体的探测和分类。然而,高分辨率图像价格昂贵,而低分辨率图像通常是免费提供的,公众可以将其用于各种社会公益用途。为此,我们策划了一个多光谱多图像超分辨率数据集,使用SpaceNet 7挑战赛的PlanetScope图像作为高分辨率参考,并对相同图像进行多次Sentinel-2重访作为低分辨率图像。我们提出的第一个结果应用多图像超分辨率(MISR)多光谱遥感图像。此外,我们在MISR模型中引入了辐射一致性模块,以保持Sentinel-2传感器的高辐射分辨率。我们表明,MISR优于单图像超分辨率和其他基线的图像保真度指标的范围。此外,我们对多图像超分辨率在建筑物描绘上的效用进行了首次评估,表明利用多个图像可以在这些下游任务中获得更好的性能。
2021-11-05 cs.CV eess.IV
SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference
近年来,使用最先进的基于深度学习的架构在图像超分辨率任务方面取得了一些进展。许多先前发布的基于超分辨率的技术需要高端和顶级的图形处理单元(GPU)来执行图像超分辨率。随着深度学习方法的不断进步,神经网络变得越来越需要计算。我们退一步,专注于创建一个实时高效的解决方案。我们提出了一个架构,更快,更小的内存占用。所提出的架构使用深度可分离卷积来提取特征,它与其他超分辨率GANs(生成对抗网络)的性能相当,同时保持实时推理和低内存占用。实时超分辨率使得即使在较差的带宽条件下也能够流式传输高分辨率媒体内容。在保持准确性和延迟之间的有效权衡的同时,我们能够产生一个相当的性能模型,其大小是超分辨率GANs的八分之一(1/8),计算速度比超分辨率GANs快74倍。
2021-11-29 cs.CV eess.IV
Magnitude-image based data-consistent deep learning method for MRI super resolution
Shanghai Starriver Bilingual School(上海星河湾双语学校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
磁共振成像(MRI)在临床上产生高分辨率图像用于诊断是重要的,但其采集时间长的高分辨率图像。基于深度学习的MRI超分辨率方法可以减少扫描时间,而无需复杂的序列编程,但由于训练数据和测试数据之间的差异,可能会产生额外的伪影。数据一致性层可以改善深度学习结果,但需要原始k空间数据。在这项工作中,我们提出了一种基于幅度图像的数据一致性深度学习MRI超分辨率方法,以提高超分辨率图像的质量,而无需原始k空间数据。实验结果表明,与不带数据一致性模块的相同卷积神经网络(CNN)块相比,该方法可以提高超分辨率图像的NRMSE和SSIM。
2022-09-07 cs.CV eess.IV
Coarse-Super-Resolution-Fine Network (CoSF-Net): A Unified End-to-End Neural Network for 4D-MRI with Simultaneous Motion Estimation and Super-Resolution
四维磁共振成像(4D-MRI)是图像引导放射治疗(IGRT)中肿瘤运动管理的新兴技术。然而,由于长的采集时间和患者的呼吸变化,当前的4D-MRI遭受低空间分辨率和强运动伪影;这些限制,如果管理不当,可能会对IGRT中的治疗计划和递送产生不利影响。在此,我们开发了一种称为粗-超-精网络(CoSF-Net)的新型深度学习框架,以在统一模型中实现同时的运动估计和超分辨率。我们通过充分挖掘4D-MRI的固有属性,并考虑到有限和不完全匹配的训练数据集,设计了CoSF-Net。我们在多个真实患者数据集上进行了广泛的实验,以验证所开发的网络的可行性和鲁棒性。与现有的网络和三种最先进的传统算法相比,CoSF-Net不仅准确地估计了4D-MRI的呼吸相位之间的可变形矢量场,而且同时提高了4D-MRI的空间分辨率,增强了解剖特征,产生了具有高时空分辨率的4D-MR图像。
2022-11-21 cs.CV eess.IV
Stochastic Frequency Masking to Improve Super-Resolution and Denoising Networks
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
超分辨率和去噪是病态的,但基本的图像恢复任务。在盲设置中,退化核或噪声水平是未知的。这使得恢复更具挑战性,特别是对于基于学习的方法,因为它们往往过拟合训练期间看到的退化。我们提出了一个分析,在频域中,超分辨率的退化内核过拟合,并介绍了一个条件学习的角度,扩展到超分辨率和去噪。在我们的公式的基础上,我们提出了一种用于训练的图像的随机频率掩蔽,以正则化网络并解决过拟合问题。我们的技术改进了具有不同合成核的盲超分辨率、实超分辨率、盲高斯去噪和实图像去噪的最新方法。
2020-07-23 cs.CV eess.IV
Model-Guided Network with Cluster-Based Operators for Spatio-Spectral Super-Resolution
Institute of Applied Computing and Community Code (IAC3)(应用计算与社区代码研究所);Dept. of Mathematics and Computer Science, Universitat de les Illes Balears(数学与计算机科学系,巴利阿里大学)
提出端到端模型驱动框架,将联合空间-光谱超分辨率分解为空间超分辨率、光谱超分辨率和融合任务,利用定制的可学习算子模块和非局部后处理,在多数据集上验证了有效性。
2025-05-30 cs.CV eess.IV
HST: Hierarchical Swin Transformer for Compressed Image Super-resolution
University of Science and Technology of China(中国科学技术大学)
压缩图像超分辨率是近年来受到广泛关注的一种图像降质方法。由于复杂的混合失真,单纯的超分辨率和压缩伪影去除的配合难以恢复失真图像。在本文中,我们采取了一个步骤,提出了分层Swin Transformer(HST)网络恢复低分辨率压缩图像,联合捕获的层次特征表示和增强每个尺度表示与Swin Transformer,分别。此外,我们发现,预训练与超分辨率(SR)的任务是至关重要的压缩图像超分辨率。为了探索不同SR预训练的效果,我们采用了常用的SR任务(例如,双三次和不同的实超分辨率模拟)作为预训练任务,揭示了SR在压缩图像超分辨率中具有不可替代的作用。在HST和预训练的配合下,我们的HST在低质量压缩图像超分辨率跟踪的AIM 2022挑战中获得了第五名,PSNR为23.51 dB。大量的实验和烧蚀研究验证了我们提出的方法的有效性。代码和模型可在https://github.com/USTC-IMCL/HST-for-Compressed-Image-SR上获得。
2022-12-02 cs.CV eess.IV
Unsupervised Learning for Real-World Super-Resolution
ETH Zürich(苏黎世联邦理工学院)
目前大多数超分辨率方法依赖于低分辨率和高分辨率图像对来以完全监督的方式训练网络。然而,这样的图像对在现实世界的应用中不可用。而不是直接解决这个问题,大多数作品采用流行的双三次下采样策略,人工生成相应的低分辨率图像。不幸的是,这种策略引入了显著的伪影,消除了自然传感器噪声和其他真实世界的特征。因此,在这种双三次图像上训练的超分辨率网络很难推广到自然图像。在这项工作中,我们提出了一种无监督的方法,图像超分辨率。仅给定未配对的数据,我们学习反转双三次下采样的效果,以恢复数据中存在的自然图像特征。这使我们能够生成逼真的图像对,忠实地反映真实世界图像的分布。因此,我们的超分辨率网络可以在高分辨率域中通过直接的像素监督进行训练,同时鲁棒地推广到真实输入。我们证明了我们的方法在定量和定性实验的有效性。
2019-09-20 cs.CV eess.IV
Unsupervised Super-Resolution: Creating High-Resolution Medical Images from Low-Resolution Anisotropic Examples
Amsterdam University Medical Centers(阿姆斯特丹大学医学中心);University of Amsterdam(阿姆斯特丹大学);Amsterdam Cardiovascular Sciences(阿姆斯特丹心血管科学研究所)
尽管在临床实践中需要高分辨率的各向同性3D医学图像,但是它们的采集并不总是可行的。相反,使用常规插值方法将较低分辨率图像上采样到较高分辨率。复杂的基于学习的超分辨率方法在临床环境中通常不可用,因为这种方法需要使用高分辨率各向同性示例进行训练。为了解决这个问题,我们提出了一种基于学习的超分辨率方法,可以使用单独的各向异性图像进行训练,即没有高分辨率的地面真实数据。该方法利用在各向异性图像上训练的自动编码器生成的潜在空间来提高低分辨率图像的空间分辨率。使用来自自动心脏诊断挑战(ACDC)的100个公开可用的心脏电影MR扫描对该方法进行了培训和评估。定量结果表明,该方法的性能优于传统的插值方法。此外,定性的结果表明,特别是更精细的心脏结构的合成具有高质量。该方法具有应用于其他解剖结构和模态的潜力,并且可以很容易地应用于任何3D各向异性医学图像数据集。
2020-10-25 cs.CV eess.IV
Deep Super-Resolution Network for Single Image Super-Resolution with Realistic Degradations
University of Udine(乌迪内大学)
单图像超分辨率(SISR)的目的是生成一个给定的低分辨率(LR)图像的高分辨率(HR)图像。现有的大多数基于卷积神经网络(CNN)的SISR方法通常假设LR图像只是HR图像的双三次下采样版本。然而,LR图像的真实退化(即LR图像是HR图像的双三次下采样、模糊和噪声版本)超出了广泛使用的双三次假设,这使得SISR问题具有逆问题的高度不适定性质。为了解决这个问题,我们提出了一个深度SISR网络,它适用于不同大小的模糊内核,以及统一的基于残差CNN的去噪网络中的不同噪声水平,这显着改善了实际应用中基于CNN的超解析器。在合成LR数据集和真实图像上的大量实验结果表明,我们提出的方法不仅可以在更真实的退化上产生更好的结果,而且对实际的SISR应用具有计算效率。
2019-09-09 cs.CV eess.IV
Variational AutoEncoder for Reference based Image Super-Resolution
Caritas Institute of Higher Education(明爱专上学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种基于变分自编码器(RefVAE)的参考图像超分辨率方法。现有的最先进的方法主要集中在单个图像的超分辨率上,其在大的上采样因子上不能很好地执行,例如,8 $\times$。我们提出了一种基于参考的图像超分辨率,其中任意图像可以作为超分辨率的参考。即使使用随机映射或低分辨率图像本身,所提出的RefVAE也可以将知识从参考转移到超分辨率图像。根据不同的参考文献,该方法可以从隐藏的超分辨率空间生成不同版本的超分辨率图像。除了使用不同的数据集进行PSNR和SSIM的一些标准评估外,我们还参加了NTIRE2021 SR Space挑战赛,并提供了我们方法的随机性评估结果。与其他最先进的方法相比,我们的方法实现了更高的多样性分数。
2021-06-08 cs.CV eess.IV
A New Super-Resolution Measurement of Perceptual Quality and Fidelity
超分辨率结果通常通过全参考图像质量度量或人类评级分数来测量。然而,这些评估方法是一般的图像质量测量,并且不考虑超分辨率问题的性质。本文基于超分辨率的一对多映射特性,分析了评价问题,提出了一种新的基于分布的超分辨率度量方法。从分布距离出发,我们推导出建议的度量,使其易于访问和计算。通过人体受试者的研究超分辨率,我们表明,该指标是高度相关的人类感知质量,并优于大多数现有的指标。此外,所提出的度量与基于感知的度量相比,与保真度度量具有更高的相关性。为了了解所提出的度量的属性,我们进行了广泛的评估,在其设计选择,并表明该度量是强大的设计选择。最后,我们表明,该度量可以用于训练超分辨率网络,以获得更好的感知质量。
2023-03-10 cs.CV eess.IV
Efficient Space-time Video Super Resolution using Low-Resolution Flow and Mask Upsampling
IIT Madras(印度理工学院马德拉斯分校);IIT Jodhpur(印度理工学院焦特布尔分校)
本文提出了一种有效的时空超分辨率解决方案,旨在从低分辨率和低帧率的视频生成高分辨率的慢动作视频。一个简单的解决方案是视频超分辨率和视频帧插值模型的顺序运行。然而,这类解的存储效率低,推理时间长,不能正确利用时空关系的性质。为此,我们首先使用二次建模在LR空间中插值。输入LR帧使用最先进的视频超分辨率方法进行超分辨率处理。利用双线性上采样技术,在HR空间中重用用于合成LR插值帧的流图和混合掩模。这导致对HR中间帧的粗略估计,其通常包含沿运动边界的伪影。我们使用一个细化网络,通过残差学习来提高HR中间帧的质量。我们的模型是轻量级的,并且在REDS STSR验证集中比当前最先进的模型表现更好。
2021-06-08 cs.CV eess.IV
GSR-Net: Graph Super-Resolution Network for Predicting High-Resolution from Low-Resolution Functional Brain Connectomes
Istanbul Technical University(伊斯坦布尔理工大学);BASIRA Lab(巴希拉实验室)
吸引人但严格的深度学习架构是为图像超分辨率(SR)量身定制的,然而,这些无法推广到非欧几里德数据,如大脑连接体。具体地,构建用于以较高分辨率(HR)超分辨低分辨率(LR)脑连接体的生成模型(即,添加新的图形节点/边)仍然是未探索的,尽管这将避免对昂贵的数据收集和解剖脑区域的手动标记(即,分割)的需要。为了填补这一空白,我们引入了GSR-Net(图形超分辨率网络),这是第一个对图形结构数据进行操作的超分辨率框架,可以从低分辨率图形生成高分辨率脑图。首先,我们采用了一个类似于U-Net的架构,该架构基于特定于非欧几里德数据的图卷积、池化和解池化操作。然而,与传统的U型网络不同,其中图节点表示样本,节点特征映射到低维空间(编码和解码节点属性或样本特征),我们的GSR-Net直接在单个连接体上操作:一个完全连接的图,其中传统上,节点表示大脑区域,节点没有特征,边权重表示两个感兴趣区域(ROI)之间的大脑连接强度。在没有原始节点特征的情况下,我们首先将身份特征向量分配给每个大脑ROI(节点),然后利用学习到的局部感受野来学习节点特征表示。其次,受频谱理论的启发,我们打破了U-Net架构的对称性,通过使用图形超分辨率(GSR)层和两个图形卷积网络层来预测HR图,同时保留LR输入的特征。我们提出的GSR-Net框架在从低分辨率连接体预测高分辨率脑功能连接体方面优于其变体。
2020-09-23 cs.CV eess.IV
CISRNet: Compressed Image Super-Resolution Network
KAIST(韩国科学技术院)
近年来,人们对单图像超分辨率进行了大量的研究。然而,据我们所知,这些研究很少主要集中在压缩图像。尽管该方法具有很高的实用价值,但其复杂的压缩伪影等问题阻碍了该研究的进展。为了解决这个问题,我们提出了CISRNet;这是一个采用两阶段粗到细学习框架的网络,主要针对压缩图像超分辨率问题进行了优化。具体来说,CISRNet由两个主要的子网络组成;粗网络和精网络,其中递归和残差学习分别在这两个网络中使用。大量的实验表明,通过仔细的设计选择,CISRNet在压缩图像超分辨率任务中与竞争的单图像超分辨率方法相比表现良好。
2022-01-16 cs.CV eess.IV
Style Transfer and Self-Supervised Learning Powered Myocardium Infarction Super-Resolution Segmentation
Imperial College London(帝国理工学院)
本文提出结合风格迁移与端到端超分辨率分割的流程,将DTI转换至LGE域,并利用多任务自监督预训练提升心肌梗死分割性能。
2023-09-27 cs.CV eess.IV
Self Super-Resolution for Magnetic Resonance Images using Deep Networks
The Johns Hopkins University(约翰斯·霍普金斯大学)
高分辨率磁共振~(MR)成像~(MRI)在许多临床应用中都是理想的,然而,分辨率、采集速度和噪声之间存在权衡。MR图像的平面分辨率(层厚)通常比平面内分辨率差。在这些MRI图像中,没有获取穿过平面方向上的高频信息,并且不能通过插值来解析。为了解决这个问题,已经开发了超分辨率方法来提高空间分辨率。作为一个不适定问题,现有的超分辨率方法依赖于外部/训练图谱的存在来学习从低分辨率~(LR)图像到高分辨率~(HR)图像的变换。由于若干原因,这样的HR图谱图像通常不可用于MRI序列。本文提出了一种自超分辨率~(SSR)算法,该算法不使用任何外部图谱图像,仅依靠获取的LR图像就能分辨HR图像。我们使用输入图像的模糊版本为最先进的超分辨率深度网络创建训练数据。将训练好的网络应用于原始输入图像以估计HR图像。我们的SSR结果表明,通过平面分辨率的显着改善相比,竞争SSR方法。
2018-02-26 cs.CV eess.IV
Multi-modality super-resolution loss for GAN-based super-resolution of clinical CT images using micro CT image database
Nagoya University(名古屋大学);Sapporo-Kosei General Hospital(札幌厚生综合医院);Sapporo Minami-sanjo Hospital(札幌南三条医院);Keiwakai Nishioka Hospital(惠和会西冈医院);National Institute of Informatics(国立信息学研究所)
本文新引入了用于基于GAN的超分辨率的多模态损失函数,可以在临床CT和微型CT体积的非配对训练数据集上保持图像结构和强度。肺癌的精确非侵入性诊断主要利用3D多探测器计算机断层扫描(CT)数据。另一方面,我们可以以50微米或更高的分辨率拍摄切除的肺标本的显微CT图像。然而,微型CT扫描不能应用于活体人体成像。为了从肺癌患者术前的临床CT体积中获得高度详细的信息,如癌浸润区域,将临床CT体积的超分辨率(SR)提高到$μ$ CT水平可能是替代解决方案之一。虽然大多数SR方法需要成对的低分辨率和高分辨率图像进行训练,但获得精确配对的临床CT和微型CT体积是不可行的。我们的目标是提出不成对的SR临床CT方法,使用基于不成对的图像翻译方法,如CycleGAN或UNIT的微型CT图像。由于临床CT和微型CT在结构和强度上有很大差异,因此在超分辨率中直接应用基于GAN的非配对图像平移方法往往会生成任意图像。针对这一问题,本文提出了一种新的损失函数--多模态损失函数,用于在超分辨率任务中保持输入图像与相应输出图像的相似性。实验结果表明,新提出的损失函数使CycleGAN和UNIT成功地将肺癌患者的临床CT图像SR到微CT级分辨率,而原始CycleGAN和UNIT在超分辨率方面失败。
2020-04-07 cs.CV eess.IV
Feature-based Recognition Framework for Super-resolution Images
在实际应用中,识别网络应用于超分辨率图像时,其性能往往会下降。在本文中,我们提出了一个基于特征的识别网络结合GAN(FGAN)。我们的网络通过从SR图像中提取更多有利于识别的特征来提高识别精度。在实验中,我们使用三种不同的超分辨率算法构建了三个数据集,与ReaNet50和DenseNet121相比,我们的网络将识别准确率提高了6%以上。
2021-12-04 cs.CV eess.IV
Improved Super-Resolution Convolution Neural Network for Large Images
单图像超分辨率(SISR)是当前研究的热点,具有重要的研究价值和实用价值。在日常生活中,我们将一幅大图像裁剪成子图像进行超分辨率,然后将它们合并在一起。虽然卷积神经网络在研究领域表现得很好,但如果我们用它来做超分辨率,我们可以很容易地从合并的图片中观察到切割线。为了解决这些问题,在本文中,我们提出了一种具有“对称填充”,“随机学习”和“剩余学习”的SRCNN的改进架构。此外,我们已经做了大量的实验,以证明我们的模型是最好的许多国家的最先进的方法。
2019-07-26 cs.CV eess.IV
Brain MRI Super Resolution Using 3D Deep Densely Connected Neural Networks
UCLA(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
高空间分辨率的磁共振成像(MRI)提供了详细的解剖信息,通常是精确定量分析所必需的。然而,高空间分辨率通常以较长的扫描时间、较小的空间覆盖和较低的信噪比(SNR)为代价。单图像超分辨率(SISR)是一种旨在从单个低分辨率(LR)输入图像恢复高分辨率(HR)细节的技术,最近深度学习的突破使其得到了显着改进。在本文中,我们介绍了一种新的神经网络架构,三维密集连接超分辨率网络(DCSRN)恢复结构脑MR图像的HR功能。通过对1,113个受试者的数据集进行实验,我们证明了我们的网络在恢复4倍分辨率降低的图像方面优于双三次插值和其他深度学习方法。
2018-01-08 cs.CV eess.IV
A Generative Model for Hallucinating Diverse Versions of Super Resolution Images
Université Laval(拉瓦尔大学);Mila(米拉)
传统上,图像超分辨率技术的主要焦点是使用一对一的低分辨率到高分辨率映射从低质量图像恢复最可能的高质量图像。这样做,我们忽略了一个事实,即通常有许多有效版本的高分辨率图像映射到给定的低分辨率图像。在这项工作中,我们正在解决使用生成对抗模型从同一低分辨率图像获取不同高分辨率版本的问题。我们的学习方法利用训练高分辨率图像中可用的高频率,以无监督的方式保存和探索这些图像中可用的结构信息。CelebA数据集上的实验结果证实了所提出的方法的有效性,它允许从低分辨率图像生成逼真和多样化的高分辨率图像。
2021-02-12 cs.CV eess.IV
Cross-sensor super-resolution of irregularly sampled Sentinel-2 time series
Université Bretagne Sud(南布列塔尼大学);IRISA(IRISA研究所);Université Gustave Eiffel(Gustave Eiffel大学);ENSG(法国国家地理科学学校);IGN(法国国家地理研究院);LASTIG(LASTIG实验室);Conservatoire national des arts et métiers(法国国立工艺学院);CEDRIC(CEDRIC研究所);Image Processing Laboratory (IPL)(图像处理实验室);Universitat de València(瓦伦西亚大学)
本研究扩展SRDiff和HighRes-net等深度超分辨率算法处理不规则采样的Sentinel-2时间序列,引入BreizhSR数据集,证明多图像提升性能并探讨光谱保真度与感知质量的权衡。
2024-04-25 cs.CV eess.IV
CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution
图像超分辨率作为图像复原的一种方法,首先得到了广泛的研究。如何对低分辨率图像进行变换以恢复其高分辨率图像信息是研究人员一直在探索的问题。在早期的物理变换方法中,这些方法生成的高分辨率图片总是存在严重的信息缺失问题,边缘和细节不能很好地恢复。随着硬件技术和数学的发展,人们开始将深度学习方法用于图像超分辨率任务,从直接深度学习模型、残余通道注意力网络、双向抑制网络,到带有Transformer网络模块的tr网络,逐渐取得了良好的效果。在多图超分辨率的研究中,得益于多图超分辨率数据集的建立,我们经历了从卷积模型到Transformer模型的演变,超分辨率的质量不断提升。然而,我们发现无论是纯卷积还是纯tr网络都不能很好地利用低分辨率图像信息。在此基础上,我们提出了一种新的端到端CoT-MISR网络。CoT-MISR网络利用卷积和树的优点,弥补了局部和全局信息的不足。在相同参数下的数据集验证表明,我们的CoT-MISR网络已经达到了最佳的得分指标。
2023-03-12 cs.CV eess.IV
Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,Telecom Paris,巴黎高等理工学院)
本文提出一种基于合成数据的无监督方法,用于提升遥感超光谱图像的空间分辨率,通过解混和神经网络训练实现有效重建。
2026-01-30 cs.CV eess.IV
Lossless Image Compression through Super-Resolution
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单有效的无损图像压缩算法。我们将图像的低分辨率版本存储为原始像素,然后进行几次无损超分辨率迭代。对于无损超分辨率,我们预测的高分辨率图像的概率,在低分辨率输入的条件下,并使用熵编码压缩这个超分辨率算子。基于超分辨率的压缩(SReC)能够在大型数据集上实现最先进的压缩率和实际运行时间。代码可在https://github.com/caoscott/SReC在线获得。
2020-04-06 cs.CV cs.LG eess.IV
LSwinSR: UAV Imagery Super-Resolution based on Linear Swin Transformer
University of Warwick(华威大学)
超分辨率技术是从低分辨率图像重建高分辨率图像的一种技术,近年来在计算机视觉和遥感领域得到了广泛的关注和研究。超分辨率技术对于无人机(UAV)尤其有利,因为UAV捕获的图像的数量和分辨率受到飞行高度和负载能力等物理约束的高度限制。随着深度学习方法在超分辨率任务中的成功应用,近年来,一系列超分辨率算法被开发出来。本文针对无人机图像的超分辨率问题,提出了一种基于Swin Transformer的高精度超分辨率网络。同时,由于无人机的重要应用之一是土地覆盖和土地利用监测,简单的图像质量评价如峰值信噪比(PSNR)和结构相似性指数(SSIM)不足以全面衡量算法的性能。因此,我们进一步研究了超分辨率方法的有效性,使用语义分割的准确性。该代码将在https://github.com/lironui/LSwinSR上提供。
2023-03-17 cs.CV cs.LG eess.IV
DeepSEE: Deep Disentangled Semantic Explorative Extreme Super-Resolution
Computer Vision Lab, ETH Zürich(苏黎世联邦理工学院计算机视觉实验室)
超分辨率(SR)是病态的。对于一个给定的低分辨率自然图像,有无限多的看似合理的高分辨率变体。目前大多数文献的目的是在一个单一的确定性的解决方案,无论是高重建保真度或照片逼真的感知质量。在这项工作中,我们提出了一个探索性的面部超分辨率框架,DeepSEE,深度解纠缠语义探索极端超分辨率。据我们所知,DeepSEE是第一种利用语义地图进行探索性超分辨率的方法。特别是,它提供了控制的语义区域,其解开的外观,它允许广泛的图像操作。我们在人脸上验证DeepSEE,放大倍数高达32倍,并探索超分辨率空间。我们的代码和模型可在https://mcbuehler.github.io/DeepSEE/上获得
2020-10-02 cs.CV cs.LG eess.IV
Single-photon Image Super-resolution via Self-supervised Learning
Zhejiang University(浙江大学)
单光子图像超分辨率(SPISR)是通过计算成像算法从含噪声的低分辨率光子计数立方体中恢复高分辨率光子计数立方体。在现实世界中,成对的训练样本通常是昂贵的或不可能获得的。通过扩展等变成像(EI)体积单光子数据,我们提出了一个自监督学习框架的SPISR任务。特别是,使用泊松无偏Kullback-Leibler风险估计和等方差,我们的方法能够从没有地面真理的噪声测量中学习。仿真和真实数据集上的综合实验表明,该方法实现了与监督学习相当的性能,并优于基于插值的方法。
2023-03-03 cs.CV cs.LG eess.IV
A new public Alsat-2B dataset for single-image super-resolution
Centre des Techniques Spatiales(空间技术中心)
目前,当可靠的训练数据集可用时,深度学习方法主导了图像超分辨率的解决方案。然而,对于遥感基准,获得高空间分辨率图像是非常昂贵的。大多数超分辨率方法使用下采样技术来模拟低和高空间分辨率对并构造训练样本。为了解决这个问题,本文介绍了一种新的公共遥感数据集(Alsat 2B)的低和高空间分辨率图像(分别为10米和2.5米)的单图像超分辨率任务。高分辨率图像是通过泛锐化。此外,一些超分辨率方法的性能进行评估的数据集上的基础上共同的标准。所获得的结果表明,所提出的方案是有前途的,并强调了数据集中的挑战,这表明需要先进的方法来把握低分辨率和高分辨率补丁之间的关系。
2021-03-21 cs.CV cs.LG eess.IV
Deep learning architectural designs for super-resolution of noisy images
IT Security Infrastructures Lab, University of Erlangen-N\"urnberg
深度学习的最新进展使单图像超分辨率(SR)研究得到了显着改进。然而,由于在上采样步骤期间噪声的放大,现有技术的方法通常无法从其低分辨率对应物的噪声版本重建高分辨率图像。然而,这对于来自未知相机的具有不可见类型的图像退化的图像尤其重要。在这项工作中,我们建议联合执行去噪和超分辨率。为此,我们研究了两种架构设计:“网络内”在特征级结合了这两项任务,而“预网络”首先执行去噪,然后执行超分辨率。我们的实验表明,这两种变体都具有特定的优势:对于任何降噪器的选择,当图像损坏的类型在训练和测试数据集中对齐时,网络内设计获得了最强的结果。预网络设计在看不见的图像损坏类型上表现出优越的性能,这是现有超分辨率模型的病理性失败情况。我们希望这些发现有助于实现超分辨率,也在不太受约束的情况下,源相机或成像条件没有得到很好的控制。源代码和预训练模型可在https://github.com/ angelvillar 96/超分辨率-noisy-images获得。
2021-02-09 cs.CV cs.MM eess.IV
Perceptual cGAN for MRI Super-resolution
Indian Institute of Technology Bombay(印度理工学院孟买分校);Whirlpool(惠而浦公司)
捕获高分辨率磁共振(MR)图像是一个耗时的过程,这使得它不适合医疗紧急情况和儿科患者。相比之下,低分辨率磁共振成像比高分辨率磁共振成像更快,但它会损害更精确诊断所需的细节。当应用于低分辨率MR图像时,超分辨率(SR)可以通过在很少的额外时间内合成生成高分辨率图像来帮助提高其效用。在本文中,我们提出了一种MR图像的SR技术,是基于生成对抗网络(GANs),这已被证明是非常有用的生成锐利的外观细节在SR。我们引入了一个条件GAN与感知损失,这是以输入的低分辨率图像为条件,提高了各向同性和各向异性MRI超分辨率的性能。
2022-01-23 cs.CV cs.LG eess.IV
Image Super-Resolution via Iterative Refinement
Google Research(谷歌研究院)
我们提出了SR 3,一种通过重复细化实现图像超分辨率的方法。SR 3将去噪扩散概率模型适应于条件图像生成,并通过随机去噪过程执行超分辨率。推理从纯高斯噪声开始,并使用在各种噪声水平下进行去噪训练的U-Net模型迭代地细化噪声输出。SR 3在不同放大倍数的超分辨率任务中表现出强大的性能,包括人脸和自然图像。我们在CelebA-HQ上对标准的8倍人脸超分辨率任务进行了人类评估,并与SOTA GAN方法进行了比较。SR 3实现了接近50%的愚弄率,这表明照片般逼真的输出,而GANs的愚弄率不超过34%。我们进一步展示了SR 3在级联图像生成中的有效性,其中生成模型与超分辨率模型链接在一起,在ImageNet上产生了11.3的竞争性FID分数。
2021-06-30 cs.CV cs.LG eess.IV
Advancing biological super-resolution microscopy through deep learning: a brief review
Institute of Biophysics, Chinese Academy of Sciences(中国科学院生物物理研究所);College of Life Sciences, University of Chinese Academy of Sciences(中国科学院大学生命科学学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
超分辨显微技术在空间分辨率上克服了传统光学显微技术的衍射极限。它以纳米级的分辨率和分子的特异性提供有关生物过程的新的空间或时空信息,在生命科学中发挥着越来越重要的作用。然而,它的技术限制需要权衡以平衡其空间分辨率、时间分辨率和样品的曝光。最近,深度学习在许多图像处理和计算机视觉任务中取得了突破性的表现。它还显示出极大的希望,推动超分辨率显微镜的性能信封。在这篇简短的综述中,我们概述了使用深度学习来增强超分辨率显微镜性能的最新进展。我们主要关注深度学习如何促进超分辨率图像的重建。讨论了相关的关键技术挑战。尽管面临挑战,但深度学习将在超分辨率显微镜的发展中发挥不可或缺的变革性作用。最后,我们展望了深度学习如何塑造新一代光学显微镜技术的未来。
2021-06-24 cs.CV eess.IV physics.bio-ph
Localized Super Resolution for Foreground Images using U-Net and MR-CNN
Vellore Institude of Technology(韦洛尔理工学院)
图像在通过视觉表示理解数据方面发挥着至关重要的作用。它在上下文中给出了对象的清晰表示。但是如果这个图像不清晰,它可能没有多大用处。因此,图像超分辨率的话题出现了,许多研究人员一直致力于应用计算机视觉和深度学习技术来提高图像的质量。超分辨率的应用之一是提高人像图像的质量。人像图像是主要集中于捕捉帧中主要对象的本质的图像,其中上下文中的对象被突出而背景被遮挡。执行超分辨率时,模型会尝试增加图像的整体分辨率。但在人像图像中,前景分辨率比背景分辨率更重要。在本文中,卷积神经网络(CNN)架构称为U-Net的超分辨率结合基于掩码区域的CNN(MR-CNN)的前景超分辨率的性能进行了分析。这种分析是基于局部超分辨率进行的,即我们将LR图像传递到预先训练的图像分割模型(MR-CNN),并对前景或分割图像执行超分辨率推断,并计算结构相似性指数(SSIM)和峰值信噪比(PSNR)指标进行比较。
2021-10-27 cs.CV cs.LG eess.IV
SRNR: Training neural networks for Super-Resolution MRI using Noisy high-resolution Reference data
用于超分辨率MRI的基于神经网络(NN)的方法通常需要在许多受试者中获取的高SNR高分辨率参考数据,这是耗时的并且是可行的和可访问的实现的障碍。我们建议使用噪声参考数据(SRNR)训练神经网络进行超分辨率,利用经典的基于神经网络的去噪方法Noise2Noise的机制。我们系统地证明了使用噪声和高SNR参考训练的NN的结果对于模拟数据和经验数据都是相似的。SRNR建议可以使用较少数量的高分辨率参考数据重复来简化超分辨率MRI的训练数据准备。
2022-11-10 eess.IV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China(中国传媒大学)
视频超分辨率(VSR)是指从相应的低分辨率(LR)视频重建高分辨率(HR)视频。近年来,振动时效越来越受到人们的关注。在本文中,我们提出了一种新的双稠密连接网络,可以产生高质量的超分辨率(SR)的结果。该方法将输入帧分为参考帧、时前组和时后组,分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息,而不会造成时间信息混乱。同时,我们提出了一种新的损失函数,这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明,该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
Reference-based Texture transfer for Single Image Super-resolution of Magnetic Resonance images
Indian Institute of Technology Madras (IITM)(印度理工学院马德拉斯分校);Healthcare Technology Innovation Centre (HTIC), IITM(印度理工学院马德拉斯分校医疗技术创新中心)
磁共振成像(MRI)是一种有价值的临床诊断方法,用于脊柱病理学,对感染、肿瘤、退行性变、骨折和疝有很好的表征。然而,在外科手术中,图像引导的脊柱手术继续依赖于CT和荧光透视,因为MRI切片分辨率通常不足。在最先进的单图像超分辨率的基础上,我们提出了一种基于参考的、不成对的多对比度纹理转移策略,用于基于深度学习的平面内和跨平面MRI超分辨率。我们使用的散射变换的图像补丁的纹理特征相关的不成对的参考图像补丁,并额外的多对比度纹理的损失项。我们将我们的方案应用于不同的超分辨率架构中,在大多数情况下观察到PSNR和SSIM在4倍超分辨率下的改善。
2021-02-10 cs.CV cs.LG eess.IV
Super-Efficient Super Resolution for Fast Adversarial Defense at the Edge
Arm Inc.(Arm 公司);Arm Research(Arm 研究院)
自治系统非常容易受到对深度神经网络(DNN)的各种对抗性攻击。无需训练的模型不可知防御最近因其速度,易于部署以及跨许多DNN工作的能力而受到欢迎。为此,出现了一种新技术来减轻对图像分类DNN的攻击,即使用超分辨率预处理对抗图像-将低质量输入放大为高分辨率图像。这种防御需要在受约束的自治系统上运行图像分类器和超分辨率模型。然而,超分辨率带来了沉重的计算成本。因此,在本文中,我们研究了以下问题:如果我们使用微小的超分辨率模型,图像分类器的鲁棒性是否会受到影响?为了回答这个问题,我们首先回顾了最近的一项工作,称为超高效超分辨率(SESR),它实现了与现有技术相似或更好的图像质量,同时需要2倍至330倍的乘法累加(MAC)操作。我们证明,尽管数量级小于现有的模型,SESR达到了相同的鲁棒性水平显着更大的网络。最后,我们估计了商用Arm Ethos-U 55微型NPU上基于超分辨率的防御的端到端性能。我们的研究结果表明,SESR实现了比基线高近3倍的FPS,同时实现了类似的鲁棒性。
2021-12-29 cs.CV cs.LG eess.IV
PSRFlow: Probabilistic Super Resolution with Flow-Based Models for Scientific Data
The Ohio State University(俄亥俄州立大学)
本文提出 PSRFlow,一种基于归一化流的科学数据超分辨率生成模型,通过高斯潜空间采样实现不确定性量化,并利用多尺度训练实现灵活超分辨率,性能优于插值和 GAN 方法。
2023-08-08 cs.CV cs.GR cs.LG
Nearly optimal resolution estimate for the two-dimensional super-resolution and a new algorithm for direction of arrival estimation with uniform rectangular array
在本文中,我们开发了一种新的技术,以获得近最佳估计的计算分辨率限制中介绍的应用。哈蒙Anal. 56(2022)402-446; IEEE Trans. Inf. Theory 67(7)(2021)4812-4827; Inverse Probl.37(10)(2021)104001。我们的主要贡献有五个方面:(i)我们的工作提高了二维超分辨率问题中的数字检测和位置恢复的分辨率估计,使其接近最优;(ii)因此,我们推导出二维超分辨率问题(或波达方向问题(DOA))中稀疏促进算法的稳定性结果。(iii)我们的技术为提高高维超分辨的分辨极限估计到接近最优铺平了道路;(iv)受这些新技术的启发,提出了一种新的基于坐标组合的模型阶检测二维DOA估计算法,并从理论上证明了其最优性能,(v)提出了一种新的基于坐标组合的超分辨二维DOA估计MUSIC算法。与传统的DOA估计算法相比,该算法具有很多优点。坐标组合的思想是一种很有前途的多维DOA估计方法。
2022-05-14 eess.IV
A mathematical theory of super-resolution and two-point resolution
本文研究超分辨率的稳定性与两点分辨率估计,提出位置-幅度恒等式以改进源恢复能力,并理论证明了多维空间中两点分辨率极限,发现SNR超过2时可突破瑞利极限。
2024-04-22 eess.IV
Sub-micron spatial resolution in far-field Raman imaging via positivity constrained super-resolution
拉曼显微镜是检测样品材料的物理和化学性质的有价值的工具。当探测纳米材料或纳米复合材料时,拉曼显微镜的空间分辨率并不总是足够的,因为它受到光学衍射极限的限制。超分辨率算法的数值后处理提供了一种提高分辨率的方法,并且可以直接应用。这项工作的目的是目前的邻点最小二乘法(IPLS)作为一个强大的工具,通过约束优化的超分辨率拉曼成像。IPLS的超分辨率的潜力说明了数字生成的测试图像。它的分辨能力证明了聚合物纳米线样品的拉曼光谱数据。相同样品的AFM数据的比较证实,所提出的方法是一种很有前途的技术,用于分析纳米材料样品。
2019-02-14 eess.IV physics.optics
Machine learning assisted quantum super-resolution microscopy
光学成像系统的主要特征之一是空间分辨率,其受到衍射极限的限制,大约为入射光波长的一半。随着最近发展的经典超分辨技术,旨在打破经典系统中的衍射极限,有一类量子超分辨技术,利用量子发射器辐射的光信号的非经典性质,所谓的反聚束超分辨显微镜。该方法可以通过测量n阶自相关函数来确保空间分辨率的$\sqrt{n}$改进因子。反聚束超分辨显微技术的主要瓶颈是多光子事件直方图的获取。我们提出了一种机器学习辅助的方法来实现快速反聚束超分辨率成像,并证明了12倍的速度相比,传统的,基于拟合的自相关测量。开发的框架为实际实现可扩展的量子超分辨率成像设备铺平了道路,这些设备可以与各种类型的量子发射器兼容。
2021-07-07 eess.IV physics.optics
NeurOp-Diff:Continuous Remote Sensing Image Super-Resolution via Neural Operator Diffusion
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室);Shenzhen University(深圳大学)
针对遥感数据分辨率低的问题,提出NeurOp-Diff,利用神经算子学习任意尺度表示并作为先验条件引导扩散模型去噪,有效解决了伪影与过度平滑问题,实现了高质量的连续超分辨率。
2025-11-05 cs.GR eess.IV
A mathematical theory of resolution limits for super-resolution of positive sources
本文研究了正源超分辨率的分辨率极限问题,通过引入计算分辨率极限并定量刻画其对截止频率、信噪比和稀疏性的依赖,发现正性先验信息不能提高分辨率阶数,有时甚至会恶化分辨率极限。
2023-07-28 eess.IV eess.SP