Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
A Review of Deep Learning Based Image Super-resolution Techniques
School of Computer and Software Engineering, Xihua University（西华大学计算机与软件工程学院）
图像超分辨率技术是从一幅或多幅低分辨率图像中获得高分辨率图像的过程。随着深度学习的发展，基于深度学习方法的图像超分辨率技术应运而生。综述了深度学习方法在图像超分辨率领域应用的研究进展，从几个方面介绍了这类超分辨率工作，并展望了深度学习方法在图像超分辨率领域的进一步应用。通过收集和统计深度学习在图像超分辨率领域应用的相关文献，初步总结了深度学习方法在图像超分辨率领域的应用成果，并报告了基于深度学习方法的图像超分辨率技术的最新进展。
2022-01-22 cs.CV
Deep Depth Super-Resolution : Learning Depth Super-Resolution using Deep Convolutional Neural Network
Shandong University（山东大学）
深度图像的超分辨率是一个极具挑战性的任务，由于信息丢失的子采样。深度卷积神经网络在彩色图像超分辨率中得到了广泛的应用。令人惊讶的是，这种成功并没有与深度超分辨率相匹配。这主要是由于颜色和深度图像之间的固有差异。在本文中，我们弥补了这一差距，并将深度卷积神经网络的成功扩展到深度超分辨率。所提出的深度超分辨率方法以端到端的方式学习从低分辨率深度图像到高分辨率深度图像的映射。此外，为了更好地正则化学习的深度图，我们建议利用深度场统计和深度图像与彩色图像之间的局部相关性。这些先验被集成在能量最小化公式中，其中深度神经网络学习一元项，深度场统计用作全局模型约束，并且颜色-深度相关性被用来加强深度图像中的局部结构。在各种深度超分辨率基准数据集上进行的大量实验表明，我们的方法在一定程度上优于最先进的深度图像超分辨率方法。
2016-07-07 cs.CV
Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
人脸超分辨率方法通常旨在产生视觉上吸引人的结果，而不是为了进一步的人脸识别而保留显著特征。在这项工作中，我们提出了一种深度学习方法，用于在非常低分辨率的人脸图像上进行人脸验证，该方法涉及身份保留人脸超分辨率。我们的框架包括一个超分辨率网络和一个特征提取网络。我们训练了一个基于VGG的深度人脸识别网络（Parkhi et al. 2015），将其用作特征提取器。我们的超分辨率网络经过训练，以最小化高分辨率地面实况图像和超分辨率图像之间的特征距离，其中使用我们预先训练的特征提取网络提取特征。我们在FRGC，Multi-PIE，LFW-a和MegaFace数据集上进行了实验，以评估我们在受控和非受控环境中的方法。实验结果表明，该方法在低分辨率人脸验证中的性能优于传统的超分辨率方法。
2019-03-26 cs.CV
Deep Laplacian Pyramid Network for Text Images Super-Resolution
The University of Danang - University of Science and Technology（岘港大学 - 科技大学）
卷积神经网络最近已经证明了有趣的结果，单图像超分辨率。然而，这些网络被训练来处理自然图像上的超分辨率问题。在本文中，我们将一种用于自然图像超分辨率的深度网络应用于单个文本图像的超分辨率。为了评估网络，我们提出了我们的数据库为单一的文本图像超分辨率。此外，我们提出了结合梯度差分损失（GDL）和L1/L2损失来增强超分辨率图像的边缘。对我们的数据集进行的定量和定性评估表明，添加GDL改善了超分辨率结果。
2018-11-26 cs.CV
Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯农工大学）
提出一种基于算子学习的任意尺度科学数据超分辨率方法，通过分层 Galerkin 注意力神经算子、Sinc 滤波和可学习频谱损失先验，实现跨数据集的稳定性能提升。
2024-05-20 cs.AI cs.CV
Super-NeRF: View-consistent Detail Generation for NeRF super-resolution
Tsinghua University（清华大学）
本文提出 Super-NeRF，通过一致性控制模块和逐视图可优化潜码，仅利用多视图低分辨率输入生成视图一致的高分辨率 NeRF，并在多类数据集上达到最先进性能。
2023-04-26 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham（诺丁汉大学）
本文解决了两个具有挑战性的任务：提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此，我们做出了以下5个贡献：（a）我们提出了Super-FAN：第一个同时解决这两个任务的端到端系统，即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐，从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像（如先前的工作）上，而且在整个面部姿势谱上，不仅在合成低分辨率图像（如先前的工作）上，而且在真实世界图像上，都取得了良好的结果，来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构，以改善最先进的人脸超分辨率。(d)量化，我们表现出很大的改善，在国家的最先进的人脸超分辨率和对齐。(e)质量，我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
Some medical applications of example-based super-resolution
基于样本的超分辨率（EBSR）在给定高分辨率图像的训练集的情况下从低分辨率图像重建高分辨率图像。在这篇文章中，我提出了EBSR在医学成像中的一些应用。一个特别有趣的应用，我称之为“x射线体素化”，它近似于x射线图像的CT扫描结果。
2016-04-17 cs.CV
Double Sparse Multi-Frame Image Super Resolution
Waseda University（早稻田大学）；University of Tsukuba（筑波大学）
基于稀疏编码的图像超分辨率算法被大量提出，其中一些算法实现了多帧超分辨率。在基于稀疏编码的多帧超分辨率图像处理中，既需要精确的图像配准，又需要稀疏编码。以往基于稀疏编码的多帧超分辨率研究首先采用块匹配进行图像配准，然后通过稀疏编码提高图像分辨率。在本文中，这两个问题是通过优化一个单一的目标函数。数值实验结果表明了该方法的有效性。
2015-12-02 cs.CV
Learning from a Handful Volumes: MRI Resolution Enhancement with Volumetric Super-Resolution Forests
e.solutions GmbH（e.solutions有限公司）
磁共振成像（MRI）能够对解剖结构进行三维成像。然而，具有高空间分辨率的MR体积的采集导致长扫描时间。为此，我们提出体积超分辨率森林（VSRF），以提高MRI分辨率回顾。我们的方法通过采用随机森林回归来学习低分辨率和高分辨率体积图像块之间的局部线性映射。我们自定义的功能适合体积MRI训练的随机森林，并提出了一个稳健的回归中位数树集成。VSRF在不同MRI数据集的模型训练和推理的图像质量和效率方面优于最先进的基于示例的超分辨率。它也优于无监督的方法，只需少量甚至单个卷来组装训练数据。
2018-02-15 cs.CV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University（武汉大学）；Hubei University of Economics（湖北经济学院）；Central China Normal University（华中师范大学）；Arizona State University（亚利桑那州立大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
视频超分辨率是当前计算机视觉中最活跃的研究课题之一，因为它在许多视觉应用中起着重要的作用。通常，视频超分辨率包含重要分量，即，运动补偿，其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动，是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用，本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题：超分辨率的功能（即，为什么我们需要超分辨率）;视频超分辨率的概念（即，什么是视频超分辨率）;评估度量的描述（即，（视频）超分辨率如何执行）;引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究，并对几种典型算法进行了分析和比较。此外，我们强调了一些有前途的研究方向和开放的问题，应进一步解决。
2022-03-20 cs.CV
Super-resolution Using Constrained Deep Texture Synthesis
Brown University（布朗大学）；Georgia Institute of Technology（佐治亚理工学院）
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功，并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成，以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
Evaluating Robustness of Deep Image Super-Resolution against Adversarial Attacks
Yonsei University（延世大学）；University of California, Los Angeles（加州大学洛杉矶分校）
单图像超分辨率的目标是生成低分辨率图像的高分辨率版本，这是许多计算机视觉应用中的重要组成部分。本文研究了基于深度学习的超分辨率方法对对抗攻击的鲁棒性，这种攻击可以显著恶化超分辨率图像，而不会在受攻击的低分辨率图像中产生明显的失真。结果表明，国家的最先进的深超分辨率的方法是非常容易受到对抗攻击。从理论和实验上分析了不同方法的不同鲁棒性水平。我们还分析了攻击的可转移性，以及针对性攻击和通用攻击的可行性。
2019-10-02 cs.CV
Sparse Coding Approach for Multi-Frame Image Super Resolution
Waseda University（早稻田大学）；University of Tsukuba（筑波大学）
提出了一种基于低分辨率图像多次观测的图像超分辨率方法。该方法是基于亚像素精度块匹配估计观测图像的相对位移，和稀疏信号表示估计相应的高分辨率图像。观测到的低分辨率图像的小补丁的相对位移准确估计的计算效率块匹配方法。由于估计的位移也被视为图像退化过程中的变形分量，匹配结果直接用于生成稀疏图像表示的低分辨率字典。利用块匹配的匹配分数选择低分辨率图像块的子集来重建高分辨率图像块，即实现了信息量大的低分辨率图像的自适应选择。当只有一幅低分辨率图像时，该方法可以作为单帧超分辨率方法。通过使用各种真实世界数据集的实验，所提出的方法表现出与传统的单帧和多帧超分辨率方法相当或更好。
2014-02-17 cs.CV
Brain MRI Image Super Resolution using Phase Stretch Transform and Transfer Learning
UCLA（加州大学洛杉矶分校）；Tsinghua University（清华大学）
证明了一种无幻觉和计算效率高的算法，用于提高脑MRI图像的分辨率。
2018-07-31 cs.CV
Deep Residual Network for Joint Demosaicing and Super-Resolution
IC, EPFL（瑞士洛桑联邦理工学院（EPFL）集成电路实验室（IC））
在数字摄影中，两个图像复原任务已经被广泛研究并独立解决：去马赛克和超分辨率。这两个任务都与相机的分辨率限制有关。对去马赛克图像执行超分辨率只会加剧由去马赛克引入的伪像。在本文中，我们表明，这种积累的错误可以很容易地避免联合执行去马赛克和超分辨率。为此，我们提出了一个深度残差网络，用于学习Bayer图像和高分辨率图像之间的端到端映射。通过对高质量样本进行训练，我们的深度残差去马赛克和超分辨率网络能够在单步的中从低分辨率Bayer马赛克中恢复高质量的超分辨率图像，而不会产生这两种操作分开进行时常见的伪影。我们进行了大量的实验，以表明我们的深度残差网络实现了去马赛克和超分辨率图像，无论是在定性还是在PSNR和SSIM指标方面，都优于最先进的图像。
2018-02-19 cs.CV
Super-resolution 3D Human Shape from a Single Low-Resolution Image
University of Surrey（萨里大学）
我们提出了一种新的框架，从一个单一的低分辨率输入图像重建超分辨率人体形状。该方法克服了现有方法的局限性，从一个单一的图像重建三维人体形状，这需要高分辨率的图像与辅助数据，如表面法线或参数模型，以重建高细节的形状。建议的框架表示重建的形状与高细节的隐式功能。类似于二维图像超分辨率的目标，该方法学习从低分辨率形状到其高分辨率对应物的映射，并将其应用于从低分辨率图像重建三维形状细节。该方法采用一种新的损失函数进行端到端的训练，该函数估计相同3D表面形状的低分辨率和高分辨率表示之间的信息损失。通过对一幅服装人体图像的重建实验表明，该方法能够在不需要辅助数据的情况下，从低分辨率图像重建出高细节的人体表面。大量的实验表明，所提出的方法可以估计超分辨率人体几何形状与显着更高的细节水平比以前的方法时，应用于低分辨率图像。
2022-08-23 cs.CV
SRGAN-CKAN: Expressive Super-Resolution with Nonlinear Functional Operators under Minimal Resources
Cinvestav, Unidad Guadalajara（Cinvestav，瓜达拉哈拉分校）；Cinvestav, Unidad Tamaulipas（Cinvestav，塔毛利帕斯分校）
本文提出SRGAN-CKAN框架，通过整合卷积Kolmogorov-Arnold网络，利用非线性分块变换提升局部算子的表达能力，在最小资源下实现高质量超分辨率。
2026-05-08 cs.AI cs.CV
The False Promise of Zero-Shot Super-Resolution in Machine-Learned Operators
University of Chicago（芝加哥大学）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；University of Stuttgart（斯图加特大学）；Dartmouth College（达特茅斯学院）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
本文研究了机器学习算子在零样本超分辨率中的局限性，提出了一种数据驱动的多分辨率训练方法以提高泛化能力。
2026-02-26 cs.AI cs.CV cs.LG
Radiative-Structured Neural Operator for Continuous Spectral Super-Resolution
School of Statistics and Data Science, LEBPS, KLMDASR and LPMC（统计与数据科学学院，LEBPS，KLMDASR和LPMC）；Image Processing Center, School of Astronautics（图像处理中心，航天学院）
本文提出辐射结构神经算子用于连续光谱超分辨，通过物理一致性约束和角一致投影方法提升超光谱重建的准确性与物理合理性。
2026-03-12 cs.CV eess.IV
Semi-Supervised Super-Resolution
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
超分辨率是一种通过提高低分辨率照片的合理分辨率来提高其质量的技术。计算机视觉社区已经广泛探索了超分辨率领域。然而，以前的超分辨率方法需要大量的数据进行训练，这在低分辨率、高分辨率对很少可用的领域中变得有问题。其中一个领域是统计降尺度，即越来越多地使用超分辨率从低分辨率数据中获取高分辨率气候信息。获取高分辨率的气候数据是极其昂贵和具有挑战性的。为了降低生成高分辨率气候信息的成本，超分辨率算法应该能够用有限数量的低分辨率、高分辨率对进行训练。本文试图通过引入一种半监督的方法来解决上述问题，以执行超分辨率，可以生成清晰，高分辨率的图像，只需500对样本。所提出的半监督技术可以用作任何基于监督GAN的超分辨率方法的即插即用模块，以提高其性能。我们定量和定性地分析了该模型的性能，并将其与完全监督的方法以及其他无监督技术进行了比较。综合评价表明，我们的方法优于其他方法在不同的指标。我们还提供了我们的方法在统计降尺度，以获得高分辨率的气候图像的适用性。
2022-04-19 cs.CV eess.IV
A Single Video Super-Resolution GAN for Multiple Downsampling Operators based on Pseudo-Inverse Image Formation Models
Universidad de Granada（格拉纳达大学）；Northwestern University（西北大学）
高清晰度和超高清晰度显示器的普及已经导致需要用于改进已经以低得多的分辨率获得的视频的质量的方法。当前的视频超分辨率方法对于训练和测试退化模型之间的失配不鲁棒，因为它们是针对单个退化模型（通常是双三次下采样）训练的。这导致它们在实际应用中的性能下降。同时，在学习过程中仅使用均方误差会导致生成的图像过于平滑。在这项工作中，我们提出了一种新的卷积神经网络的视频超分辨率，这是强大的多个退化模型。在对具有缓慢和快速运动的场景的大数据集执行的训练期间，除了消除源自这些感知损失的伪影的平滑度约束之外，它还使用伪逆图像形成模型作为与感知损失结合的网络架构的一部分。实验验证表明，我们的方法优于当前国家的最先进的方法，是强大的多重退化。
2019-07-02 cs.CV cs.LG stat.ML
High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore（新加坡国立大学）
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题，提出基于结果质量的退化控制器和特征对齐正则化器，通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Signal reconstruction via operator guiding
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；University of Bergen（卑尔根大学）
使用正交投影仪从样品到引导子空间的信号重建在理论上是合理的，但实际上可能难以实现。我们提出了更一般的引导算子，其相对于互补子空间中的信号分量增加引导子空间中的信号分量，例如，用于图像超分辨率的迭代低通边缘保持滤波器。超分辨率的两个示例说明了我们的技术：使用高分辨率闪光RGB照片引导的无闪光RGB照片，以及使用高分辨率RGB照片引导的深度图像。
2017-05-09 cs.CV cs.GR cs.IT
Real-World Single Image Super-Resolution Under Rainy Condition
Old Dominion University（老道明大学）
图像超分辨率是计算机视觉领域的一个重要研究方向，在监控、医学成像等领域有着广泛的应用。在恶劣天气条件下，单图像超分辨率的提高还有很大的空间。本文提出了一种在雨天条件下实现真实世界单幅图像超分辨率的新算法。我们提出的方法可以减轻图像超分辨率过程中雨天条件的影响。实验结果表明，该算法可以实现图像的超分辨率，降低了降雨对图像的影响。
2022-06-16 cs.CV eess.IV
Learn From Orientation Prior for Radiograph Super-Resolution: Orientation Operator Transformer
Tohoku University（东北大学）；Harvard Medical School（哈佛医学院）
针对放射图像超分辨率中模式特征有限的问题，提出方向算子Transformer（$O^{2}$former），通过方向先验和多尺度特征融合，在$\times 4$上采样下取得最优或次优性能。
2023-12-27 cs.CV cs.LG eess.IV
A Novel Fast 3D Single Image Super-Resolution Algorithm
University of Toulouse（图卢兹大学）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；IRIT（信息处理研究所（IRIT））；CNRS UMR 5505（法国国家科学研究中心 UMR 5505（CNRS UMR 5505））
本文介绍了一种新的计算效率高的方法来解决3D单图像超分辨率（SR）问题，即，从其低分辨率对应物重建高分辨率体积。主要贡献在于原始的方式同时处理相关的抽取和模糊算子，基于其在频域中的基本属性。特别是，所提出的3D抽取算子的分解技术允许直接实现Tikhonov正则化，并且可以进一步用于考虑其他正则化函数，例如总变差，从而使最先进算法的计算成本大大降低。数值实验表明，该方法优于现有的三维SR方法。
2020-10-29 cs.CV eess.IV
Auxiliary Features-Guided Super Resolution for Monte Carlo Rendering
Portland State University（波特兰州立大学）
本文提出利用高分辨率辅助特征引导低分辨率渲染的超分辨率方法，通过跨模态Transformer网络和残差密集连接的Swin Transformer组融合特征，有效加速蒙特卡洛渲染并提升渲染质量。
2023-10-20 cs.CV cs.GR
STRESS: Super-Resolution for Dynamic Fetal MRI using Self-Supervised Learning
MIT（麻省理工学院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
在常规MR扫描时间范围内，胎儿运动是不可预测的且快速的。因此，旨在捕获胎儿运动和胎儿功能动态的动态胎儿MRI限于图像质量和分辨率折衷的快速成像技术。用于动态胎儿MRI的超分辨率仍然是一个挑战，特别是当用于过采样的图像切片的多方向堆叠不可用时，并且期望用于记录胎儿或胎盘的动态的高时间分辨率。此外，胎儿运动使得难以获取用于监督学习方法的高分辨率图像。为了解决这个问题，在这项工作中，我们提出了应力（时空分辨率增强与模拟扫描），一个自我监督的超分辨率框架动态胎儿MRI与交错切片采集。我们提出的方法模拟了交错切片采集沿高分辨率轴上的原始采集数据，以生成对低分辨率和高分辨率图像。然后，它通过利用MR时间序列中的空间和时间相关性来训练超分辨率网络，用于提高原始数据的分辨率。对模拟和子宫内数据的评估表明，我们提出的方法优于其他自监督超分辨率方法，提高了图像质量，这有利于其他下游任务和评估。
2021-06-30 cs.CV eess.IV
AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos
Tencent PCG（腾讯平台与内容事业群）；Tencent Online Video（腾讯在线视频）
本文研究了动画视频的真实世界视频超分辨率（VSR）问题，并提出了三个关键的改进，为实际的动画VSR。首先，最近的现实世界的超分辨率方法通常依赖于退化模拟使用基本运营商没有任何学习能力，如模糊，噪声和压缩。在这项工作中，我们建议从真实的低质量动画视频中学习这些基本运算符，并将学习到的运算符纳入退化生成管道中。这种基于神经网络的基本运算符可以帮助更好地捕捉实际退化的分布。其次，建立了一个大规模的高质量动画视频数据集AVC，以便于对动画VSR进行全面的训练和评估。第三，我们进一步研究了一个有效的多尺度网络结构。它利用单向递归网络的效率和基于滑动窗口的方法的有效性。由于上述微妙的设计，我们的方法，AnimeSR，能够有效地恢复真实世界的低质量动画视频，实现了优越的性能，以前的国家的最先进的方法。代码和模型可在https://github.com/TencentARC/AnimeSR上获得。
2023-01-17 cs.AI cs.CV
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI（人工智能初创研究所）
使用卷积神经网络（CNN）的现有技术磁共振（MR）图像超分辨率方法（ISR）由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers（ViT）可以更好地学习全局背景，有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合，以实现图像超分辨率，并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制，通过多个新的损失函数，保留结构和纹理信息，从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Multi-Reference Image Super-Resolution: A Posterior Fusion Approach
基于参考的超分辨率（RefSR）方法最近被提出来通过从高分辨率图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过允许并入更多信息来扩展此方法。本文提出了一种两步加权后验融合方法，将RefSR模型的输出与多个参考相结合。在CUFED 5数据集上的大量实验表明，所提出的方法可以应用于各种最先进的RefSR模型，以获得一致的图像质量改善。
2022-12-20 cs.CV eess.IV
Combination of Single and Multi-frame Image Super-resolution: An Analytical Perspective
University of Tehran（德黑兰大学）
超分辨率是从一个或多个低分辨率图像获得高分辨率图像的过程。单帧超分辨率（SISR）和多帧超分辨率（MFSR）方法已经发展了很多年。在这一领域被忽视的研究是寻找SISR和MFSR的最佳组合的理论分析。为了填补这一空白，我们提出了一种新的理论分析的基础上的迭代收缩和阈值算法。我们实现和比较几种方法相结合的SISR和MFSR，和模拟结果支持我们的理论分析，定量和定性的发现。
2023-03-06 cs.CV eess.IV
How Real is Real: Evaluating the Robustness of Real-World Super Resolution
University of Edinburgh（爱丁堡大学）
图像超分辨率（Image Super-resolution，SR）是计算机视觉中的一个领域，其关注于从相应的低分辨率图像重建高分辨率图像。然而，超分辨率是一个众所周知的不适定问题，因为大多数方法依赖于对高分辨率图像执行的下采样方法来形成已知的低分辨率图像。不幸的是，这在现实生活中的超分辨率应用程序中并不存在，例如提高手机上拍摄的照片的质量。在本文中，我们将评估多种最先进的超分辨率方法，并在呈现各种类型的真实图像时衡量它们的性能，并讨论每种方法的优点和缺点。我们还介绍了一个新的数据集，WideRealSR，包含来自各种来源的真实图像。最后，通过仔细的实验和评估，我们将提出一个潜在的解决方案，以减轻泛化问题，这是迫在眉睫的最先进的超分辨率模型。
2022-10-22 cs.CV eess.IV
Blind Image Super-Resolution with Spatial Context Hallucination
Department of Computing Science University of Alberta（阿尔伯塔大学计算机科学系）
由于高性能计算的惊人改进，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中发挥着至关重要的作用。然而，大多数的超分辨率（SR）方法只专注于恢复双三次退化。从随机模糊和噪声的低分辨率图像重建高分辨率图像仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的空间上下文幻觉网络（SCHN）的盲超分辨率不知道退化核。我们发现，当模糊核未知时，单独的去模糊和超分辨率会因为误差的积累而限制性能。因此，我们将去噪，去模糊和超分辨率集成在一个框架内，以避免这样的问题。我们在两个高质量的数据集DIV2K和Flickr2K上训练我们的模型。当输入图像被随机模糊和噪声破坏时，我们的方法比最先进的方法表现得更好。
2020-09-25 cs.CV eess.IV
Robust Single-Image Super-Resolution via CNNs and TV-TV Minimization
Heriot-Watt University（赫瑞-瓦特大学）
单图像超分辨率是指通过提高图像的分辨率，从低分辨率图像获得高分辨率图像的过程。通过利用大型训练数据集，卷积神经网络（CNN）目前在这项任务中实现了最先进的性能。然而，在测试/部署过程中，它们无法强制HR和LR图像之间的一致性：如果我们对输出HR图像进行下采样，它永远不会匹配LR输入。基于这一观察结果，我们建议用一个优化问题对CNN输出进行后处理，我们称之为TV-TV最小化，这可以加强一致性。正如我们大量的实验所示，这种后处理不仅在PSNR和SSIM方面提高了图像的质量，而且还使超分辨率任务对操作员失配具有鲁棒性，即，当真实的下采样算子与用于创建训练数据集的算子不同时。
2020-04-02 cs.CV cs.LG math.OC
Lossless Image Compression through Super-Resolution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单有效的无损图像压缩算法。我们将图像的低分辨率版本存储为原始像素，然后进行几次无损超分辨率迭代。对于无损超分辨率，我们预测的高分辨率图像的概率，在低分辨率输入的条件下，并使用熵编码压缩这个超分辨率算子。基于超分辨率的压缩（SReC）能够在大型数据集上实现最先进的压缩率和实际运行时间。代码可在https://github.com/caoscott/SReC在线获得。
2020-04-06 cs.CV cs.LG eess.IV
HNOSeg-XS: Extremely Small Hartley Neural Operator for Efficient and Resolution-Robust 3D Image Segmentation
IBM Research – Almaden Research Center（IBM研究院阿尔马登研究中心）
提出分辨率鲁棒的HNOSeg-XS架构，通过Hartley变换和频域重构实现极小参数量、高内存与推理效率的3D医学图像分割。
2025-07-10 cs.CV
FNOSeg3D: Resolution-Robust 3D Image Segmentation with Fourier Neural Operator
IBM Research -- Almaden Research Center（IBM研究院——阿尔马登研究中心）
针对降采样训练的卷积神经网络在原始分辨率图像上分割准确率不佳的问题，提出基于改进FNO的FNOSeg3D模型，在BraTS'19数据集上以不足对比模型1%的参数量实现更优的分辨率鲁棒性。
2023-10-05 cs.CV eess.IV
FNOPT: Resolution-Agnostic, Self-Supervised Cloth Simulation using Meta-Optimization with Fourier Neural Operators
CNRS, École Centrale de Lyon, INSA Lyon, Université Claude Bernard Lyon 1, LIRIS, UMR5205, France（法国国家科学研究中心、里昂中央理工大学、里昂国家应用科学学院、里昂第一大学、LIRIS、UMR5205）
FNOpt通过元优化和傅里叶神经算子实现自监督布料模拟，无需重新训练即可在不同分辨率和运动模式下保持稳定和准确。
2025-12-05 cs.CV cs.GR
Resolution-Invariant Image Classification based on Fourier Neural Operators
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Deutsches Elektronen-Synchrotron（德国电子同步加速器研究所）；Universität Hamburg（汉堡大学）
本文研究将傅里叶神经算子（FNOs）用于图像分类，推导了其作为勒贝格空间上连续且Fréchet可微神经算子的架构，展示了与CNNs的相互转换，并提出插值等变的改进。
2023-04-02 cs.CV cs.LG cs.NA
Resolution-Agnostic Neural Operators for Multi-Rate Sparse-View CT
Caltech（加州理工学院）；IIT Kanpur（印度理工学院坎普尔分校）；Stanford University（斯坦福大学）
CTO提出一种分辨率无关的神经算子框架，通过连续函数空间实现多速率稀疏视角CT重建的泛化，提升重建质量和效率。
2026-08-10 cs.CV eess.IV
DFU: scale-robust diffusion model for zero-shot super-resolution image generation
Georgia Institute of Technology（佐治亚理工学院）
本文提出 Dual-FNO UNet（DFU）扩散架构，利用多分辨率空间与频谱信息逼近分数算子，实现跨分辨率泛化和零样本超分辨率生成，并通过微调在 FFHQ 上取得领先 FID。
2024-01-22 cs.CV cs.LG
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用，因此成为一个热门话题。与传统算法相比，目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作，如超分辨率使用生成对抗网络（SRGAN）可以有效地恢复图像的纹理细节。然而，实验证明，由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像，改进了网络结构，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练，并使用Set5，Set14，BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
FourCastNet: Accelerating Global High-Resolution Weather Forecasting using Adaptive Fourier Neural Operators
NVIDIA（英伟达）；Lawrence Berkeley Lab（劳伦斯伯克利实验室）；Caltech（加州理工学院）
极端天气在气候变化的放大下，正在全球范围内造成日益严重的破坏性影响。目前使用的物理为基础的数值天气预报（NWP）的准确性有限，由于高计算成本和严格的时间到解决方案的限制。我们报告说，数据驱动的深度学习地球系统仿真器FourCastNet可以预测全球天气，并生成比NWP快五个数量级的中期预报，同时接近最先进的准确性。FourCast-Net在三个超级计算系统上进行了优化和有效扩展：Selene，Perlmutter和JUWELS Booster，最多可达3，808个NVIDIA A100 GPU，混合精度达到140.8 petaFLOPS（该规模峰值的11.9%）。在3，072个GPU上的JUWELS Booster上测量的训练FourCastNet的求解时间为67.4分钟，相对于最先进的NWP，推理的求解时间快了80，000倍。FourCastNet可以提前一周生成准确的即时天气预报，支持更好地捕捉极端天气的巨大集合，并支持更高的全球预报分辨率。
2022-08-08 cs.AI cs.CV cs.LG
