Sparse-based Domain Adaptation Network for OCTA Image Super-Resolution Reconstruction
Beijing Institute of Technology(北京理工大学);Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所);Cixi Institute of Biomedical Engineering(慈溪生物医学工程研究所);Ningbo University of Technology(宁波工程学院)
高分辨率视网膜光学相干断层血管成像(OCTA)对于视网膜血管的定量和分析具有重要意义。但是,在相同的采样频率下,OCTA图像的分辨率与视场成反比,不利于临床医生分析更大的血管区域。在本文中,我们提出了一种新的基于稀疏域自适应超分辨率网络(SASR)的重建现实6x6 mm 2/低分辨率(LR)OCTA图像的高分辨率(HR)表示。更具体地说,我们首先对3x 3 mm 2/高分辨率(HR)图像进行简单的降级,以获得合成LR图像。然后采用有效的配准方法将合成LR与其在6x6 mm 2图像内的对应3x 3 mm 2图像区域配准,以获得裁剪的真实LR图像。然后,我们提出了一个多层次的超分辨率模型的合成数据的全监督重建,指导现实LR图像的重建,通过生成对抗策略,使合成和现实LR图像在特征域中统一。最后,一种新的稀疏边缘感知损失的设计,以动态优化血管边缘结构。在两个OCTA集上的大量实验表明,我们的方法比最先进的超分辨率重建方法表现得更好。此外,我们还研究了重建结果在视网膜结构分割上的性能,这进一步验证了我们的方法的有效性。
2022-07-25 cs.CV eess.IV
Undertrained Image Reconstruction for Realistic Degradation in Blind Image Super-Resolution
Chiba University(千叶大学)
针对超分辨率模型在真实低分辨率图像上表现不佳的问题,提出利用欠训练图像重建模型生成具有多样退化的数据集,微调后提升了去噪和去模糊性能,并发现退化多样性有益而颜色差异有害。
2025-03-04 cs.CV eess.IV
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
CUHK - SenseTime Joint Lab(香港中文大学-商汤联合实验室);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
尽管卷积神经网络(CNN)最近已经证明了高质量的重建单图像超分辨率(SR),恢复自然和逼真的纹理仍然是一个具有挑战性的问题。在本文中,我们表明,它是可能的,以恢复纹理忠实于语义类。特别是,我们只需要在语义分割概率图的条件下调整单个网络中几个中间层的特征。这是通过一个新的空间特征变换(SFT)层,生成仿射变换参数的空间方式的功能调制。SFT层可以使用相同的损失函数与SR网络一起进行端到端训练。在测试过程中,它接受任意大小的输入图像,并生成一个高分辨率的图像,只有一个单一的前向传递条件的分类先验。我们的最终结果表明,与最先进的SRGAN和EnhanceNet相比,配备SFT的SR网络可以生成更逼真和视觉上令人愉悦的纹理。
2018-04-09 cs.CV
Towards Real Scene Super-Resolution with Raw Images
SenseTime Research(商汤科技研究院)
现有的超分辨率方法由于缺乏真实的训练数据和模型输入的信息丢失,在实际场景中表现不佳。为了解决第一个问题,我们提出了一个新的管道,通过模拟数码相机的成像过程来生成逼真的训练数据。为了弥补输入的信息丢失,我们开发了一个双卷积神经网络来利用原始图像中原始捕获的辐射信息。此外,我们建议学习一种空间变化的颜色变换,这有助于更有效的颜色校正。大量的实验表明,原始数据的超分辨率有助于恢复精细的细节和清晰的结构,更重要的是,所提出的网络和数据生成管道在真实场景中实现了单图像超分辨率的优异结果。
2019-05-29 cs.CV eess.IV
AFN: Attentional Feedback Network based 3D Terrain Super-Resolution
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
地形,代表地球表面的特征,在许多应用中起着至关重要的作用,例如模拟,路线规划,表面动力学分析,基于计算机图形的游戏,娱乐,电影,仅举几例。随着近年来数字技术的发展,这些应用要求在地形中存在高分辨率的细节。在本文中,我们提出了一种新的基于全卷积神经网络的超分辨率架构,以提高低分辨率数字高程模型(LRDEM)的分辨率,从相应的航空影像中提取的信息作为补充形式的帮助。我们使用一种基于注意力的反馈机制“注意力反馈网络”(AFN)来执行LRDEM的超分辨率,该机制选择性地融合来自LRDEM和航空图像的信息,以增强和注入高频特征,并真实地生成地形。我们比较所提出的架构与现有的国家的最先进的DEM超分辨率的方法,并表明,所提出的架构优于提高分辨率的输入LRDEM准确和现实的方式。
2020-10-04 cs.CV eess.IV
Efficient Deep Neural Network for Photo-realistic Image Super-Resolution
NAVER WEBTOON AI(NAVER WEBTOON人工智能);SUNY Korea(纽约州立大学韩国分校);Ajou University(亚洲大学)
基于深度学习的模型的最新进展显著改善了照片级真实感(或感知)单图像超分辨率。然而,尽管许多方法具有强大的性能,但由于计算要求很高,因此很难应用于现实世界的应用。为了便于在这种需求下使用深度模型,我们专注于在保持网络效率的同时保持其性能。详细地说,我们设计了一个架构,实现了一个级联机制上的残留网络,以提高性能有限的资源,通过多层次的特征融合。此外,我们提出的模型采用组卷积和递归方案,以达到极高的效率。我们通过采用对抗学习范式和多尺度学习方法进一步提高了输出的感知质量。我们的方法的性能进行了研究,通过广泛的内部实验和基准使用各种数据集。我们的研究结果表明,我们的模型优于最近的方法具有类似的复杂性,对于传统的基于像素和基于感知的任务。
2022-03-15 cs.CV
UltraVSR: Achieving Ultra-Realistic Video Super-Resolution with Efficient One-Step Diffusion Space
Xi'an Jiaotong University(西安交通大学);Nanjing University of Science and Technology(南京理工大学);Huawei Noah's Ark Lab(华为诺亚实验室)
本文提出UltraVSR框架,通过退化感知重建调度和轻量级循环时间移位模块,在单步扩散空间中实现超逼真且时间连贯的视频超分辨率,达到最先进性能。
2025-08-02 cs.CV
Human Guided Ground-truth Generation for Realistic Image Super-resolution
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院);Harbin Institute of Technology(哈尔滨工业大学)
如何生成真实感图像真值(GT)是训练真实感图像超分辨率(Real-ISR)模型的关键问题。现有的方法大多采用一组高分辨率(HR)图像作为GT,并应用各种退化来模拟其低分辨率(LR)对应物。虽然已经取得了很大的进展,这样的LR-HR对生成方案有几个限制。首先,HR图像的感知质量可能不够高,限制了Real-ISR输出的质量。第二,现有的方案在GT生成中没有考虑太多的人类感知,并且训练的模型往往会产生过度平滑的结果或令人不快的伪影。基于以上考虑,我们提出了一个人类引导的GT生成方案。我们首先精心训练多个图像增强模型来提高HR图像的感知质量,并使一个LR图像具有多个HR对应物。然后,涉及人类主体来将增强的HR图像中的高质量区域注释为GT,并将具有令人不快的伪影的区域标记为阴性样本。然后构造了一个包含正负样本的人引导GT图像数据集,并提出了一个损失函数来训练Real-ISR模型。实验表明,在我们的数据集上训练的Real-ISR模型可以产生感知上更真实的结果,同时具有更少的伪影。数据集和代码可在https://github.com/ChrisDud0257/HGGT上找到
2023-03-23 cs.CV
PixelBoost: Leveraging Brownian Motion for Realistic-Image Super-Resolution
CureBay;Korea Institute of Energy Technology(韩国能源技术研究院)
提出新型扩散模型 PixelBoost,通过在训练中引入受控布朗运动随机性与 S 型噪声排序方法,在加速推理的同时显著提升了图像超分辨率的逼真度、纹理与边缘重建质量。
2025-06-29 cs.AI cs.CV cs.MM
Rarity-Aware Discrete Diffusion with Spatially Consistent Decoding for Photo-Realistic Image Super-Resolution
针对图像超分辨率,提出DiMOO-SR框架。训练时用逆频率采样处理稀有令牌,推理时用空间一致性排名提高结构连贯性。实验表明该框架仅需少量并行解码步骤就能实现有竞争力的感知质量,凸显离散扩散在图像超分辨率中的潜力。
2026-07-23 cs.CV
RAW-Domain Degradation Models for Realistic Smartphone Super-Resolution
本文提出通过校准和未处理公开渲染图像生成不同智能手机的RAW域图像对,训练单图像RAW到RGB超分辨率模型,以提升真实场景下的超分辨率性能。
2026-03-12 cs.CV
Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution
Northwestern Polytechnical University(西北工业大学);Tsinghua-Fuzhou Institute for Data Technology(清华福州数据技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出SARGD,一种无需训练的自适应现实引导扩散方法,通过伪影检测器与RGR过程在潜空间中识别并减轻伪影传播,并引入SAG机制动态计算现实得分以增强真实潜表示锐度,实现了无伪影超分辨率,同时将采样步骤减少2倍。
2024-03-25 cs.CV eess.IV
Enhancing Super-Resolution Networks through Realistic Thick-Slice CT Simulation
Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
提出一种从薄层CT图像生成逼真厚层CT图像的简单方法以构建SR训练对,实验证明其生成的数据分布更接近真实数据,且提取的影像组学特征与死亡率显著相关,提升了CT SR模型在真实场景中的有效性。
2024-06-02 cs.AI cs.CV eess.IV
Learning Structral coherence Via Generative Adversarial Network for Single Image Super-Resolution
Sichuan University(四川大学)
单图像超分辨率(SISR)的主要挑战之一是恢复具有符合人类视觉系统的全局形状和局部细节的相干图像的能力。最近的生成对抗网络(GAN)的SISR方法已经产生了整体真实的SR图像,但是,总是有不愉快的纹理伴随着局部区域的结构失真。针对这些问题,我们将梯度分支引入到生成器中,通过恢复SR过程中的高分辨率梯度图来保留结构信息。此外,我们利用一个基于U-网的重建器来考虑整个图像和详细的每像素真实性,这可以鼓励生成器保持重建图像的整体一致性。此外,我们研究了目标函数和LPIPS感知损失增加,以产生更真实和自然的细节。实验结果表明,该方法在感知指数(PI)方面优于现有的感知驱动SR方法,在自然图像恢复中获得了更好的几何一致性和视觉效果.
2021-01-25 cs.CV eess.IV
PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
Duke University(杜克大学)
单图像超分辨率的主要目的是从相应的低分辨率(LR)输入构建高分辨率(HR)图像。在通常被监督的先前方法中,训练目标通常测量超分辨率(SR)图像与HR图像之间的逐像素平均距离。优化这些指标通常会导致模糊,特别是在高方差(详细)区域中。我们提出了一种替代配方的超分辨率问题的基础上创建逼真的SR图像,缩小正确。我们提出了一种算法来解决这个问题,脉冲(通过潜在空间探索的照片上采样),它产生高分辨率,逼真的图像在以前看不见的决议在文献中。它以完全自我监督的方式实现这一点,并且不限于在训练期间使用的特定退化算子,这与以前的方法不同(需要在LR-HR图像对的数据库上进行监督训练)。PULSE不是从LR图像开始慢慢添加细节,而是遍历高分辨率自然图像流形,搜索缩小到原始LR图像的图像。这是通过“降尺度损失”来形式化的,它通过生成模型的潜在空间来引导探索。通过利用高维高斯的性质,我们限制了搜索空间,以保证现实的输出。因此,PULSE生成的超分辨率图像既逼真又正确缩小。我们展示了我们的方法在人脸超分辨率领域的概念证明(即,脸幻觉)。我们还提出了一个讨论的局限性和偏见的方法,目前实施的一个附带的模型卡与相关指标。我们的方法优于国家的最先进的方法在更高的分辨率和比例因子比以前可能的感知质量。
2020-07-20 cs.CV cs.LG eess.IV
Mapping Low-Resolution Images To Multiple High-Resolution Images Using Non-Adversarial Mapping
Carleton University(卡尔顿大学)
最近已经提出了几种方法用于单图像超分辨率(SISR)问题。目前的方法假设一幅低分辨率图像只能产生一幅高分辨率图像。此外,所有这些方法都使用通过简单的双线性下采样人工生成的低分辨率图像。我们认为,首先,SISR的问题是低分辨率和所有可能的候选高分辨率图像之间的一对多映射问题,我们解决了学习如何现实地降低和下采样高分辨率图像的挑战性任务。为了解决这个问题,我们提出了SR-NAM,它利用了非对抗映射(NAM)技术。此外,我们提出了一个退化模型,学习如何将高分辨率图像转换为类似于现实拍摄的低分辨率照片的低分辨率图像。最后,一些定性的结果所提出的方法以及SR-NAM的弱点。
2020-06-30 cs.CV cs.LG eess.IV
Camera Lens Super-Resolution
University of Science and Technology of China(中国科学技术大学)
用于单个图像超分辨率(SR)的现有方法通常用诸如双三次或高斯下采样的合成退化模型来评估。在本文中,我们从相机镜头的角度研究SR,命名为CameraSR,其目的是减轻现实成像系统中分辨率(R)和视场(V)之间的内在权衡。具体来说,我们将R-V退化视为SR过程中的一个潜在模型,并学习使用现实的低分辨率和高分辨率图像对来逆转它。为了获得成对的图像,我们提出了两种新颖的数据采集策略,用于两种代表性的成像系统(即,DSLR和智能手机相机)。基于获得的City 100数据集,我们定量分析了常用的综合退化模型的性能,并证明了CameraSR作为一种实用的解决方案,以提高现有SR方法的性能的优越性。此外,CameraSR可以很容易地推广到不同的内容和设备,这是一个先进的数字变焦工具,在现实的成像系统。代码和数据集可在https://github.com/ngchc/CameraSR上获得。
2019-04-06 cs.CV
Pixel Recursive Super Resolution
Google Brain(谷歌大脑)
我们提出了一个像素递归超分辨率模型,合成到图像的真实细节,同时提高其分辨率。低分辨率图像可以对应于多个看似合理的高分辨率图像,因此用像素独立条件模型对超分辨率过程进行建模通常会导致对不同的细节进行平均,从而导致模糊的边缘。相比之下,我们的模型是能够代表一个多模态的条件分布,通过正确建模的高分辨率图像像素之间的统计依赖关系,条件是一个低分辨率的输入。我们采用PixelCNN架构来定义自然图像的强先验,并与深度条件卷积网络联合优化此先验。人类评估表明,我们提出的模型中的样本看起来比强大的L2回归基线更逼真。
2017-03-22 cs.CV cs.LG
New Techniques for Preserving Global Structure and Denoising with Low Information Loss in Single-Image Super-Resolution
Duke University(杜克大学)
本工作确定并解决了单图像超分辨率中的两个重要技术挑战:(1)如何在不放大噪声的情况下对图像进行上采样以及(2)如何在上采样时保持大尺度结构。我们总结了我们在2018年NTIRE超分辨率挑战赛中为轨道1(双三次下采样)的第二名参赛作品,轨道2(现实不利条件)的第七名参赛作品和轨道3(现实困难)的第七名参赛作品开发的技术。此外,我们提出了新的神经网络架构,专门解决上述两个挑战:去噪和大规模结构的保存。
2018-06-16 cs.CV
OmniScaleSR: Unleashing Scale-Controlled Diffusion Prior for Faithful and Realistic Arbitrary-Scale Image Super-Resolution
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);College of Information, Mechanical and Electrical Engineering, Shanghai Normal University(上海师范大学信息、机械与电气工程学院);Transsion in China(中国Transsion);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能教育部重点实验室)
OmniScaleSR通过显式扩散控制机制和多领域保真度增强,实现高保真和逼真任意尺度图像超分辨率。
2025-12-04 cs.CV
Domain Transfer in Latent Space (DTLS) Wins on Image Super-Resolution -- a Non-Denoising Model
Caritas Institute of Higher Education(明爱专上学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种基于域迁移的非去噪超分辨率模型,通过DNN学习相邻域统计差异实现渐进插值,并利用低分辨率图像条件化提升质量,在16倍超分辨率上超越现有扩散模型。
2023-12-21 cs.CV eess.IV
A Generative Model for Hallucinating Diverse Versions of Super Resolution Images
Université Laval(拉瓦尔大学);Mila(米拉)
传统上,图像超分辨率技术的主要焦点是使用一对一的低分辨率到高分辨率映射从低质量图像恢复最可能的高质量图像。这样做,我们忽略了一个事实,即通常有许多有效版本的高分辨率图像映射到给定的低分辨率图像。在这项工作中,我们正在解决使用生成对抗模型从同一低分辨率图像获取不同高分辨率版本的问题。我们的学习方法利用训练高分辨率图像中可用的高频率,以无监督的方式保存和探索这些图像中可用的结构信息。CelebA数据集上的实验结果证实了所提出的方法的有效性,它允许从低分辨率图像生成逼真和多样化的高分辨率图像。
2021-02-12 cs.CV eess.IV
Semi-Supervised Super-Resolution
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
超分辨率是一种通过提高低分辨率照片的合理分辨率来提高其质量的技术。计算机视觉社区已经广泛探索了超分辨率领域。然而,以前的超分辨率方法需要大量的数据进行训练,这在低分辨率、高分辨率对很少可用的领域中变得有问题。其中一个领域是统计降尺度,即越来越多地使用超分辨率从低分辨率数据中获取高分辨率气候信息。获取高分辨率的气候数据是极其昂贵和具有挑战性的。为了降低生成高分辨率气候信息的成本,超分辨率算法应该能够用有限数量的低分辨率、高分辨率对进行训练。本文试图通过引入一种半监督的方法来解决上述问题,以执行超分辨率,可以生成清晰,高分辨率的图像,只需500对样本。所提出的半监督技术可以用作任何基于监督GAN的超分辨率方法的即插即用模块,以提高其性能。我们定量和定性地分析了该模型的性能,并将其与完全监督的方法以及其他无监督技术进行了比较。综合评价表明,我们的方法优于其他方法在不同的指标。我们还提供了我们的方法在统计降尺度,以获得高分辨率的气候图像的适用性。
2022-04-19 cs.CV eess.IV
Learning Many-to-Many Mapping for Unpaired Real-World Image Super-resolution and Downscaling
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院)
本文提出无监督模型SDFlow,通过在潜空间解耦内容与退化信息并拟合条件分布,同时学习真实世界高低分辨率图像间的双向多对多映射,有效解决了现有方法忽略升降尺度相互依赖性及退化不适定性的问题,能生成多样逼真的LR和SR图像。
2023-10-08 cs.CV eess.IV
Benefiting from Bicubically Down-Sampled Images for Learning Real-World Image Super-Resolution
EPFL(洛桑联邦理工学院);Swisscom(瑞士电信);ITU(伊斯坦布尔理工大学)
超分辨率(SR)传统上是基于成对的高分辨率图像(HR)和它们的低分辨率(LR)对应物,这些图像是通过双三次下采样人工获得的。然而,在现实世界的SR,有各种各样的现实图像退化和分析建模这些现实退化可以证明是相当困难的。在这项工作中,我们建议处理现实世界的SR分裂成两个相对更适定性的步骤,这个不适定的问题。首先,我们训练一个网络,通过使用真实LR/HR对和合成对,以监督的方式将真实LR图像转换到双三次下采样图像的空间。其次,我们采用一个在双三次下采样图像上训练的通用SR网络来超分辨变换后的LR图像。流水线的第一步通过将大量退化图像配准到常见的、很好理解的图像空间来解决问题。然后,第二步利用SR在双三次下采样图像上已经令人印象深刻的性能,避开了在具有许多不同图像退化的数据集上进行端到端训练的问题。我们证明了我们提出的方法的有效性,通过比较它与最近的方法在现实世界的SR,并表明我们提出的方法优于国家的最先进的作品在定性和定量的结果,以及广泛的用户研究的结果进行了几个真实的图像数据集。
2020-11-05 cs.CV eess.IV
High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore(新加坡国立大学)
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题,提出基于结果质量的退化控制器和特征对齐正则化器,通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Expanding Synthetic Real-World Degradations for Blind Video Super Resolution
K|Lens GmbH(K|Lens有限公司);Saarland Informatics Campus(萨尔兰信息学园区);IIT Jammu(印度理工学院查谟分校);MPI Informatics(马克斯·普朗克信息学研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
针对真实世界视频超分辨率性能不佳的问题,提出在合成训练集上合成包含多种退化的SRWD,结合随机打乱策略训练端到端DNN,性能显著优于现有方法,并推出新的真实世界高分辨率视频基准数据集。
2023-05-04 cs.CV eess.IV
Fidelity- and Perception-Aware Local Implicit Attention for Arbitrary-Scale Image Super-Resolution
National Taiwan University(国立台湾大学);MediaTek Inc.(联发科技股份有限公司)
提出FPLIA框架,通过融合保真度导向特征与扩散管道,结合FPAM和FPSM模块,在任意尺度超分辨率中实现高感知真实度与重建精度。
2026-06-23 cs.CV
Super-Resolving Beyond Satellite Hardware Using Realistically Degraded Images
Swinburne University of Technology(斯威本科技大学);Planet Labs Inc.(行星实验室公司)
现代深度超分辨率(SR)网络已经成为图像重建和增强中有价值的技术。然而,这些网络通常在基准图像数据上进行训练和测试,这些基准图像数据缺乏真实图像中存在的典型图像退化噪声。在本文中,我们测试的可行性,使用深SR在真实的遥感有效载荷重建现实退化的卫星图像评估SR的性能。我们证明了一种称为增强型深度超分辨率网络(EDSR)的最先进SR技术,在没有特定领域预训练的情况下,可以在地面采样距离差的图像上恢复编码像素数据,前提是地面分辨率距离足够。然而,这一回收率在选定的地理类型之间存在差异。我们的研究结果表明,自定义训练有可能进一步改善头顶图像的重建,新的卫星硬件应该优先考虑光学性能,而不是最小化像素大小,因为深度SR可以克服后者的不足,但不能克服前者。
2021-03-10 cs.CV cs.LG eess.IV
Learning to Zoom-in via Learning to Zoom-out: Real-world Super-resolution by Generating and Adapting Degradation
The University of Adelaide(阿德莱德大学);Northwestern Polytechnical University(西北工业大学)
大多数基于学习的超分辨率(SR)方法旨在通过对LR-HR图像对的学习,从给定的低分辨率(LR)图像恢复高分辨率(HR)图像。由于人工合成图像和真实LR图像之间的域间隙,在合成数据上学习的SR方法在现实世界中表现不佳。因此,采取一些努力来捕获真实世界的图像对。然而,捕获的LR-HR图像对通常遭受不可避免的未对准,这阻碍了端到端学习的性能。在这里,关注真实世界的SR,我们提出了一个不同的问题:由于不对准是不可避免的,我们是否可以提出一种方法,根本不需要LR-HR图像配对和对准,并利用真实图像?因此,我们提出了一个框架,从任意一组未配对的LR和HR图像中学习SR,看看在这样一个现实和“无监督”的环境中,一步可以走多远。为此,我们首先训练退化生成网络以生成逼真的LR图像,更重要的是,捕获它们的分布(即,学习zoom out)。我们不是假设域间隙已经被消除,而是在学习降级自适应SR网络的同时最小化生成的数据和真实数据之间的差异(即,学习放大)。所提出的非配对方法在真实世界的图像上实现了最先进的SR结果,即使在更倾向于配对学习方法的数据集中也是如此。
2020-01-08 cs.CV eess.IV
Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization
Bytedance Inc.(字节跳动公司);The Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团)
针对现有基于稳定扩散的超分辨率与风格化方法像素结构保真度不足的问题,提出像素感知稳定扩散网络,通过像素感知交叉注意力等模块实现鲁棒的真实感超分与个性化风格化,效果经多任务验证。
2024-07-09 cs.CV
Rethinking Super-Resolution as Text-Guided Details Generation
Fudan University(复旦大学)
深度神经网络极大地提升了单图像超分辨率(SISR)的性能。传统的方法仍然采取恢复的单一高分辨率(HR)解决方案的基础上输入的图像模态。然而,图像级信息不足以预测足够的细节和照片般逼真的视觉质量,面对大的放大因子(x8,x16)。在本文中,我们提出了一个新的观点,认为SISR作为一个语义图像细节增强问题,以产生语义合理的HR图像是忠实于地面真相。为了提高语义准确性和重建图像的视觉质量,本文提出了一种文本引导的超分辨率(TGSR)框架,该框架可以有效地利用文本和图像模态的信息,从而探索了SISR中的多模态融合学习。与现有的方法不同,该方法可以通过由粗到细的过程生成与文本描述相匹配的HR图像细节。大量的实验和烧蚀研究证明了TGSR的效果,它利用文本参考来恢复逼真的图像。
2022-07-14 cs.CV
Exploiting Digital Surface Models for Inferring Super-Resolution for Remotely Sensed Images
CYENS Center of Excellence(塞浦路斯卓越中心)
尽管大量的成功的超分辨率重建(SRR)模型应用于自然图像,他们的应用遥感图像往往产生不佳的结果。遥感图像通常比自然图像更复杂,并且具有其特性,例如分辨率较低,它包含噪声,并且通常描绘大纹理表面。因此,在遥感图像上应用非专业的SRR模型会导致伪影和重建效果不佳。为了解决这些问题,本文提出了一个架构的启发,以前的研究工作,介绍了一种新的方法,迫使SRR模型输出逼真的遥感图像:而不是依赖于特征空间的相似性作为感知损失,该模型认为像素级信息推断的归一化数字表面模型(nDSM)的图像。该策略允许在模型训练期间应用更好的信息更新,该模型来自与遥感密切相关的任务(高程图推断)。尽管如此,在生产过程中不需要nDSM辅助信息,因此该模型推断出超分辨率图像,除了其低分辨率对之外没有任何附加数据。我们在两个不同空间分辨率的遥感数据集上评估了我们的模型,这些数据集还包含图像的DSM对:DFC2018数据集和包含卢森堡国家激光雷达飞越的数据集。基于视觉检查,推断的超分辨率图像表现出特别优异的质量。特别是,高分辨率DFC2018数据集的结果是真实的,几乎无法与地面实况图像区分开来。
2022-09-13 cs.CV cs.LG eess.IV
Unsupervised Real Image Super-Resolution via Generative Variational AutoEncoder
The Hong Kong Polytechnic University(香港理工大学);École polytechnique(巴黎综合理工学院)
受深度学习的影响,图像超分辨率已成为计算机视觉中最具发展前景的研究领域之一。取决于是否使用卷积器,深度卷积神经网络可以提供具有高保真度或更好感知质量的图像。由于在现实生活中缺乏地面真实图像,人们更喜欢具有低保真度的照片级真实图像,而不是具有高保真度的模糊图像。在本文中,我们回顾了经典的基于示例的图像超分辨率方法,并提出了一种新的生成模型的感知图像超分辨率。针对真实图像中存在的各种噪声和伪影,提出了一种基于变分自编码器的图像去噪和超分辨率联合模型。我们提出了一个条件变分自编码器来编码稠密特征向量的参考,然后将其传输到解码器进行目标图像去噪。该算法通过增加一个额外的超分辨率子网络开销,实现了去噪后图像的超分辨率化,并具有逼真的视觉效果。我们参加了NTIRE2020 Real Image超分辨率挑战赛。实验结果表明,通过使用该方法,我们可以获得放大图像与其他监督方法相比,清洁和愉快的功能。我们还在各种数据集上将我们的方法与最先进的方法进行了比较,以证明我们提出的无监督超分辨率模型的效率。
2020-04-27 cs.CV cs.MM eess.IV
Diffusion-based Blind Text Image Super-Resolution
Beijing Institute of Technology(北京理工大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
针对退化低分辨率文本图像,本文提出 DiffTSR,通过 IDM、TDM 与 MoM 协同建模图像和文本分布,在合成及真实数据集上实现更准确的结构与更真实的外观恢复。
2024-03-03 cs.CV
Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors
School of Informatics, Xiamen University(厦门大学信息学院);School of Computer Science(计算机科学学院);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);SSE, The Chinese University of Hong Kong(香港中文大学(深圳)SSE)
针对现实世界图像超分辨率难题,提出FeMaSR方法,在紧凑特征空间通过匹配LR与HR图像特征及解码来恢复逼真HR图像,利用预训练HR先验、语义正则化及残差连接,实验显示其效果优于以往方法。
2026-07-10 cs.CV
IEGAN: Multi-purpose Perceptual Quality Image Enhancement Using Generative Adversarial Network
Anyvision(安视维);Queen’s University Belfast(贝尔法斯特女王大学)
尽管在图像增强的质量上取得了突破,但对于低分辨率的退化图像,同时恢复更精细的纹理细节和锐度的端到端解决方案仍然没有解决。一些现有的方法集中于最小化逐像素重建误差,这导致高峰值信噪比。增强的图像不能提供高频细节并且在感知上不令人满意,即,它们不能与照片般逼真的图像中所期望的质量相匹配。在本文中,我们提出了图像增强生成对抗网络(IEGAN),一个通用的框架,能够推断出逼真的自然图像,同时去除伪影和超分辨率。此外,我们提出了一个新的损失函数的组合重建损失,功能损失和边缘损失的副本。特征丢失有助于将输出图像推到自然图像流形,边缘丢失则保留输出图像的清晰度。重建损失向生成器提供关于所生成的图像与原始图像相比的质量的低级语义信息。我们的方法已经被实验证明可以从公共基准测试和我们提出的高分辨率World100数据集上的严重压缩的低分辨率图像中恢复照片般逼真的纹理。
2018-11-22 cs.CV
Real-World Super-Resolution of Face-Images from Surveillance Cameras
Aalborg University(奥尔堡大学);Milestone Systems A/S(Milestone Systems公司)
现有的人脸图像超分辨率(SR)方法大多假设低分辨率(LR)图像是通过双三次插值从高分辨率(HR)图像中人工下采样得到的。该操作改变了自然图像特性并降低了噪声。因此,在这些数据上训练的SR方法在应用于真实LR图像时通常无法产生良好的结果。为了解决这个问题,我们提出了一个新的框架来生成现实的LR/HR训练对。我们的框架估计现实的模糊内核,噪声分布和JPEG压缩伪影生成LR图像与源域中的图像特征相似。这使我们能够使用高质量的人脸图像作为地面实况(GT)来训练SR模型。为了获得更好的感知质量,我们使用基于生成对抗网络(GAN)的SR模型,其中我们将常用的VGG损失[24]与LPIP损失[52]进行了交换。在真实和人为损坏的人脸图像上的实验结果表明,与现有的最新技术(SoTA)方法相比,我们的方法可以以更少的噪声进行更详细的重建。此外,我们还证明了传统的非参考图像质量评估(IQA)方法无法捕捉到这种改进,并证明了最近的NIMA度量[16]通过平均意见排名(MOR)与人类感知更好地相关。
2021-02-05 cs.CV
Local-Global Context-Aware and Structure-Preserving Image Super-Resolution
Indian Institute of Technology Bombay(印度班加罗尔理工学院)
提出一种局部-全局上下文感知注意力与分布-感知对齐条件机制的超分辨率框架,在像素空间保持结构并增强感知保真度,在多个基准上实现高保真重建。
2025-10-11 cs.CV
Lossless Image Compression through Super-Resolution
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单有效的无损图像压缩算法。我们将图像的低分辨率版本存储为原始像素,然后进行几次无损超分辨率迭代。对于无损超分辨率,我们预测的高分辨率图像的概率,在低分辨率输入的条件下,并使用熵编码压缩这个超分辨率算子。基于超分辨率的压缩(SReC)能够在大型数据集上实现最先进的压缩率和实际运行时间。代码可在https://github.com/caoscott/SReC在线获得。
2020-04-06 cs.CV cs.LG eess.IV
Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models
Uppsala University(乌普萨拉大学)
Refusion提出基于U-Net的潜在扩散模型,通过优化超参数和稳定压缩策略,实现大尺寸真实感图像复原,并在多项任务及NTIRE 2023阴影去除挑战赛中取得领先性能。
2023-04-17 cs.CV
Semantic Segmentation Prior for Diffusion-Based Real-World Super-Resolution
SenseTime Research(商汤科技研究院);Beijing University of Technology(北京工业大学)
针对真实世界图像超分辨率中显著对象识别不准确、语义模糊的问题,提出引入语义分割作为控制条件的SegSR双扩散框架,通过双模态桥接模块实现超分辨率与分割模型交互,有效保留语义结构并生成真实图像。
2024-12-04 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.(百度公司)
最近,图像超分辨率得到了广泛的研究,并通过利用深度卷积神经网络的能力取得了重大进展。然而,由于视频中复杂的时间模式,视频超分辨率(VSR)的进展有限。在本文中,我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息,而对原始图像超分辨率的开销可以忽略不计。此外,我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能,并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
Revisiting the Perception-Distortion Trade-off with Spatial-Semantic Guided Super-Resolution
本文提出SpaSemSR框架,通过空间-语义引导减少失真并提升感知质量,实验显示在多个基准上实现了更优的感知-失真平衡。
2026-03-14 cs.CV
A Review of Deep Learning Based Image Super-resolution Techniques
School of Computer and Software Engineering, Xihua University(西华大学计算机与软件工程学院)
图像超分辨率技术是从一幅或多幅低分辨率图像中获得高分辨率图像的过程。随着深度学习的发展,基于深度学习方法的图像超分辨率技术应运而生。综述了深度学习方法在图像超分辨率领域应用的研究进展,从几个方面介绍了这类超分辨率工作,并展望了深度学习方法在图像超分辨率领域的进一步应用。通过收集和统计深度学习在图像超分辨率领域应用的相关文献,初步总结了深度学习方法在图像超分辨率领域的应用成果,并报告了基于深度学习方法的图像超分辨率技术的最新进展。
2022-01-22 cs.CV
Exploiting Raw Images for Real-Scene Super-Resolution
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);University of California, Merced(加州大学默塞德分校)
超分辨率是计算机视觉中的一个基本问题,其目的是克服相机传感器的空间限制。虽然在单图像超分辨率方面取得了重大进展,但大多数算法仅在合成数据上表现良好,这限制了它们在实际场景中的应用。本文研究了真实场景下单幅图像的超分辨率问题,以弥补合成数据与真实采集图像之间的差距。针对现有超分辨率算法存在的两个问题:缺乏真实感的训练数据和对摄像机视觉信息利用不足。为了解决第一个问题,我们提出了一种方法来产生更逼真的训练数据通过模仿数码相机的成像过程。对于第二个问题,我们开发了一个双分支卷积神经网络,利用原始图像中记录的辐射信息。此外,我们提出了一个更好的图像复原,以及一个基于学习的指导过滤器网络有效的颜色校正密集通道注意块。我们的模型能够推广到不同的相机,而无需刻意训练来自特定相机类型的图像。实验结果表明,该算法能较好地恢复真实场景中的细节和结构,实现了高质量的单幅图像超分辨率。
2021-02-02 cs.AI cs.CV
Deep Depth Super-Resolution : Learning Depth Super-Resolution using Deep Convolutional Neural Network
Shandong University(山东大学)
深度图像的超分辨率是一个极具挑战性的任务,由于信息丢失的子采样。深度卷积神经网络在彩色图像超分辨率中得到了广泛的应用。令人惊讶的是,这种成功并没有与深度超分辨率相匹配。这主要是由于颜色和深度图像之间的固有差异。在本文中,我们弥补了这一差距,并将深度卷积神经网络的成功扩展到深度超分辨率。所提出的深度超分辨率方法以端到端的方式学习从低分辨率深度图像到高分辨率深度图像的映射。此外,为了更好地正则化学习的深度图,我们建议利用深度场统计和深度图像与彩色图像之间的局部相关性。这些先验被集成在能量最小化公式中,其中深度神经网络学习一元项,深度场统计用作全局模型约束,并且颜色-深度相关性被用来加强深度图像中的局部结构。在各种深度超分辨率基准数据集上进行的大量实验表明,我们的方法在一定程度上优于最先进的深度图像超分辨率方法。
2016-07-07 cs.CV
Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
人脸超分辨率方法通常旨在产生视觉上吸引人的结果,而不是为了进一步的人脸识别而保留显著特征。在这项工作中,我们提出了一种深度学习方法,用于在非常低分辨率的人脸图像上进行人脸验证,该方法涉及身份保留人脸超分辨率。我们的框架包括一个超分辨率网络和一个特征提取网络。我们训练了一个基于VGG的深度人脸识别网络(Parkhi et al. 2015),将其用作特征提取器。我们的超分辨率网络经过训练,以最小化高分辨率地面实况图像和超分辨率图像之间的特征距离,其中使用我们预先训练的特征提取网络提取特征。我们在FRGC,Multi-PIE,LFW-a和MegaFace数据集上进行了实验,以评估我们在受控和非受控环境中的方法。实验结果表明,该方法在低分辨率人脸验证中的性能优于传统的超分辨率方法。
2019-03-26 cs.CV
Deep Laplacian Pyramid Network for Text Images Super-Resolution
The University of Danang - University of Science and Technology(岘港大学 - 科技大学)
卷积神经网络最近已经证明了有趣的结果,单图像超分辨率。然而,这些网络被训练来处理自然图像上的超分辨率问题。在本文中,我们将一种用于自然图像超分辨率的深度网络应用于单个文本图像的超分辨率。为了评估网络,我们提出了我们的数据库为单一的文本图像超分辨率。此外,我们提出了结合梯度差分损失(GDL)和L1/L2损失来增强超分辨率图像的边缘。对我们的数据集进行的定量和定性评估表明,添加GDL改善了超分辨率结果。
2018-11-26 cs.CV
Learning Super-resolution 3D Segmentation of Plant Root MRI Images from Few Examples
University of Bonn(波恩大学)
分析植物根系对于了解植物在不同土壤环境中的表现至关重要。虽然磁共振成像(MRI)可以用于获得植物根部的3D图像,但是由于高噪声土壤环境和MRI图像的低分辨率,提取根部结构模型是具有挑战性的。为了提高对比度和分辨率,我们采用最先进的方法RefineNet在超分辨率的植物根部MRI图像的三维分割。该网络是从几个手动分割训练的,这些分割通过几何变换、真实噪声和其他可变性来增强。得到的分割包含大多数根结构,包括人类注释者未提取的分支。
2019-03-16 cs.CV cs.LG
Super-Resolution via Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
单图像超分辨率(SISR)是一个典型的问题,具有不同的应用。像SRGAN这样的领先方法产生的图像包含各种伪影,如高频噪声,幻觉颜色和形状失真,这对结果的真实性产生了不利影响。在本文中,我们提出了一种替代方法的基础上扩展的隐式最大似然估计(IMLE)的方法。我们在降噪和保留原始颜色和形状方面表现出更大的有效性,从而产生更逼真的超分辨率图像。
2018-10-02 cs.CV cs.GR cs.LG
Generating Highly Realistic Images of Skin Lesions with GANs
TU Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
与许多其他机器学习驱动的医学图像分析任务一样,皮肤图像分析长期缺乏标记数据和倾斜的类分布,这给训练鲁棒和良好泛化的模型带来了问题。合成皮肤病变的逼真图像的能力可以作为上述问题的缓解剂。生成对抗网络(GANs)已成功用于合成逼真的医学图像,但仅限于低分辨率,而用于皮肤病变分割或分类等具有挑战性的任务的机器学习模型则受益于更高分辨率的数据。在这项工作中,我们成功地合成了具有如此高分辨率的GANs的皮肤病变的逼真图像。因此,我们利用渐进增长的概念,我们定量和定性地比较其他GAN架构,如DCGAN和LAPGAN。我们的研究结果表明,在渐进式生长的帮助下,我们可以合成高度逼真的皮肤病变皮肤镜图像,即使是专家皮肤科医生也很难与真实皮肤区分开来。
2018-09-06 cs.CV eess.IV
ImagePairs: Realistic Super Resolution Dataset via Beam Splitter Camera Rig
Microsoft(微软)
超分辨率是从同一场景的单个或多个低分辨率图像恢复高分辨率图像的问题。这是一个不适定的问题,因为高频率的视觉细节的场景是完全丢失在低分辨率的图像。为了克服这一点,已经提出了许多机器学习方法,旨在训练模型以恢复新场景中丢失的细节。这些方法包括最近利用深度学习技术解决超分辨率问题的成功努力。事实证明,数据本身在机器学习过程中发挥着重要作用,尤其是深度学习方法,这些方法需要大量数据。因此,为了解决这个问题,收集数据及其形成的过程可能与所使用的机器学习技术一样重要。在这里,我们提出了一种新的数据采集技术,用于收集真实的图像数据集,可以用作超分辨率,噪声消除和质量增强技术的输入。我们使用分束器来捕获低分辨率相机和高分辨率相机的同一场景。由于我们还发布了原始图像,因此这个大规模数据集可以用于其他任务,例如ISP生成。与目前用于这些任务的小规模数据集不同,我们提出的数据集包括11,421对不同场景的低分辨率高分辨率图像。据我们所知,这是最完整的超分辨率,ISP和图像质量增强数据集。基准测试结果表明,新数据集可以成功地用于显着提高真实世界图像超分辨率的质量。
2020-04-18 cs.CV eess.IV
GP-GAN: Towards Realistic High-Resolution Image Blending
CRISE, CASIA(中国科学院自动化研究所模式识别国家重点实验室);UCAS(中国科学院大学);University of Oxford(牛津大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
在自动照片编辑应用中,解决高分辨率图像混合是一个常见但具有挑战性的问题。在本文中,我们想集中解决的问题,高分辨率的图像混合,其中的合成图像提供。我们提出了一个称为高斯-泊松生成对抗网络(GP-GAN)的框架,以利用经典的基于梯度的方法和生成对抗网络的优势。据我们所知,这是第一个工作,探讨了GANs在高分辨率图像融合任务的能力。具体地说,我们提出了高斯-泊松方程来描述高分辨率图像混合问题,这是一个由梯度和颜色信息约束的联合优化问题。受前人工作的启发,我们通过应用梯度滤波器来获得梯度信息。为了生成颜色信息,我们提出了一个混合GAN来学习合成图像和混合良好的图像之间的映射。与其他方法相比,我们的方法可以提供高分辨率,逼真的图像,更少的模糊和不愉快的文物。实验证明,我们的方法达到了国家的最先进的性能上的瞬态属性数据集。Amazon Mechanical Turk上的一项用户研究发现,大多数工人都赞成这种方法。
2019-08-05 cs.CV