Correction Filter for Single Image Super-Resolution: Robustifying Off-the-Shelf Deep Super-Resolvers
Tel Aviv University（特拉维夫大学）
单图像超分辨率问题是近十年来研究最多的逆问题之一。近年来，深度神经网络（DNN）在采集过程使用固定的已知下采样内核（通常为双三次内核）时，表现出优于替代方法的性能。然而，最近的几项工作表明，在实际场景中，测试数据与训练数据不匹配（例如，当下采样内核不是双三次内核或在训练时不可用时），领先的DNN方法遭受巨大的性能下降。受广义采样文献的启发，在这项工作中，我们提出了一种方法，用于提高DNN的性能，DNN已经用固定的内核对其他内核获得的观察进行了训练。对于一个已知的内核，我们设计了一个封闭形式的校正滤波器，该滤波器修改低分辨率图像以匹配由另一个内核（例如双三次）获得的图像，从而改进了现有预训练DNN的结果。对于一个未知的内核，我们扩展了这个想法，并提出了一个算法所需的校正滤波器的盲估计。我们表明，我们的方法优于其他超分辨率的方法，这是专为一般的下采样内核。
2020-05-24 cs.CV cs.LG eess.IV
Strict Enforcement of Conservation Laws and Invertibility in CNN-Based Super Resolution for Scientific Datasets
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Climate AI
最近，深度卷积神经网络（CNN）彻底改变了图像超分辨率（SR），大大优于过去用于增强图像分辨率的方法。它们可能是涉及图像或网格数据集的许多科学领域的福音：卫星遥感，雷达气象学，医学成像，数值建模等不幸的是，虽然SR-CNN产生视觉上引人注目的输出，但当应用于科学数据集时，它们可能会打破物理守恒定律。这里，提出了一种在SR-CNN中进行“下采样执行”的方法。推导出可微分算子，当作为CNN的最终传递函数应用时，其确保高分辨率输出在2D平均下采样下精确地再现低分辨率输入，同时提高SR方案的性能。该方法被证明在七个现代的基于CNN的SR计划在几个基准图像数据集，天气雷达，卫星成像仪和气候模式数据的应用程序也显示。该方法提高了训练时间和性能，同时确保超分辨率和低分辨率数据之间的物理一致性。
2021-10-26 cs.CV eess.IV
Next-Scale Prediction: A Self-Supervised Approach for Real-World Image Denoising
College of Computer Science, Sichuan University（四川大学计算机科学学院）；National Key Laboratory of Fundamental Algorithms and Models for Engineering Numerical Simulation, Sichuan University（四川大学工程数值模拟基础算法与模型全国重点实验室）
本文提出Next-Scale Prediction方法，通过构建跨尺度训练对，解决现实世界图像去噪中噪声去相关与细节保留的矛盾，实现自监督去噪的突破。
2026-04-01 cs.CV
Designing a Practical Degradation Model for Deep Blind Image Super-Resolution
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；KU Leuven（比利时鲁汶大学）；Computer Vision Lab, ETH Zurich, Switzerland（苏黎世联邦理工学院计算机视觉实验室，瑞士）
人们普遍认为，单图像超分辨率（SISR）方法将无法很好地执行，如果假设的退化模型偏离那些在真实图像。虽然一些退化模型考虑了其他因素，如模糊，但它们仍然不足以覆盖真实图像的各种退化。为了解决这个问题，本文提出设计一个更复杂但实用的退化模型，包括随机混洗模糊，下采样和噪声退化。具体地说，模糊是近似的两个卷积与各向同性和各向异性高斯内核;下采样是随机选择的最近，双线性和双三次插值;该噪声是通过加入不同噪声等级的高斯噪声，采用不同质量因子的JPEG压缩，以及通过反向-正向相机图像信号处理（ISP）流水线模型和RAW图像噪声模型生成处理后的相机传感器噪声。为了验证新退化模型的有效性，我们训练了一个深度盲ESRGAN超分辨器，然后将其应用于具有不同退化的合成和真实图像的超分辨。实验结果表明，新的退化模型可以显著提高深度超分辨器的实用性，为实际SISR应用提供了一种强有力的替代解决方案。
2021-09-30 cs.CV eess.IV
Deep Hierarchical Super Resolution for Scientific Data
The Ohio State University（俄亥俄州立大学）；Argonne National Laboratory（阿贡国家实验室）
我们提出了一种新的分层超分辨率（SR）与神经网络（NNs），体积数据表示的八叉树数据结构，以八叉树节点边界上的接缝文物最小的高分辨率均匀网格升级的技术。我们的方法使用现有的最先进的SR模型，并增加了灵活性，以放大输入数据与不同层次的细节在整个域，而不是只有统一的网格数据，在以前的方法中支持。关键是使用SR NN的层次结构，每个NN都经过训练，可以在两个细节级别之间执行2x SR，分层SR算法可以通过从粗细节级别开始并逐步增加来最大限度地减少接缝伪影。我们证明了我们的分层方法优于基线插值和分层放大方法，并证明了我们提出的方法在三个用例中的有用性，包括使用分层下采样+SR而不是均匀下采样+SR的数据缩减，分层有限时间Lyapunov指数场计算的计算节省，以及高分辨率近似可视化的超分辨率低分辨率模拟结果。
2022-10-14 cs.CV cs.LG eess.IV
TM-BSN: Triangular-Masked Blind-Spot Network for Real-World Self-Supervised Image Denoising
Department of ECE, INMC, Seoul National University（首尔大学电气与计算机工程系、INMC）；IPAI, Seoul National University（首尔大学IPAI）
本文提出TM-BSN网络，通过三角掩码建模真实sRGB噪声的空间相关性，无需下采样即可实现高效自监督图像去噪，实验表明其性能优于现有方法。
2026-04-06 cs.CV eess.IV
Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，自监督图像去噪（SSID）取得了重大进展。然而，大多数方法都集中在处理空间无关的噪声，他们对现实世界的sRGB图像与空间相关的噪声几乎没有实用性。虽然像素重排下采样已经被建议用于打破噪声相关性，但它破坏了图像的原始信息，这限制了去噪性能。在本文中，我们提出了一个新的视角来解决这个问题，即，寻求用于现实世界sRGB图像去噪的空间自适应监督。具体来说，我们考虑到噪声图像中的平坦和纹理区域的各自特性，并分别为它们构建监督。对于平坦区域，监督可以安全地从非相邻像素导出，这些像素远离当前像素以排除噪声相关像素的影响。我们将盲点网络扩展为盲邻域网络（BNN），用于在平坦区域提供监督。对于纹理区域，监督必须与相邻像素的内容密切相关。我们提出了一个局部感知网络（LAN），以满足这一要求，而LAN本身是有选择地监督与输出的BNN。结合这两个监督，去噪网络（例如，U-Net）可以很好地训练。大量的实验表明，我们的方法表现良好，对国家的最先进的SSID方法对现实世界的sRGB照片。该代码可在https://github.com/nagejacob/SpatiallyAdaptiveSSID上获得。
2023-03-27 cs.CV eess.IV
Simon-SR: Spatially Adaptive Modulation and Visual Prompt Adaptation for Text-Reinforced Super-Resolution
College of Electronic Science and Engineering, Jilin University（吉林大学电子科学与工程学院）
针对单图像超分辨率问题，提出Simon-SR框架，利用可学习提示进行语义挖掘和文本-图像融合，结合对比提示学习与空间自适应细化，实验证明该方法超越现有技术，在多项指标上有明显提升。
2026-10-01 cs.CV
Multi-frame Super-resolution from Noisy Data
Saarland University（萨尔兰大学）
由于问题的不适定性质，从具有剪切噪声的低分辨率数据获得高分辨率图像在算法上具有挑战性。到目前为止，这些问题几乎没有得到解决，现有的几种方法使用简单的正则化器。我们展示了两个基于各向异性扩散思想的自适应正则化器的有用性：除了评估经典的边缘增强各向异性扩散正则化器之外，我们还引入了一种具有单侧差异和优越性能的新型非局部正则化器。这被称为部门扩散。我们将其与经典超分辨率观测模型的所有六种变体相结合，这些变体是由其三个算子的排列产生的，用于翘曲，模糊和下采样。令人惊讶的是，在实际相关的噪声场景中的评估产生了与我们之前的工作（SSVM 2017）中无噪声设置不同的排名。
2021-03-25 cs.CV eess.IV
Cross-Modality Structural Guidance in 3D Latent Diffusion for Robust FLAIR Super-Resolution
University of Southern California（南加州大学）；Yale University（耶鲁大学）
提出MR-DiffuSR框架，利用HR T1w结构先验通过跨模态结构swin注意力引导厚层FLAIR超分辨率，采用混合尺度退化策略和DINOv3感知损失，在ADNI-4数据集上优于CNN和2D扩散方法，并在下游白质高信号分割中保持鲁棒性。
2026-09-28 cs.CV
HyperBench: Standardizing and Scaling Synthetic Evaluation for Hyperspectral Super-Resolution
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出HyperBench框架，通过标准化和扩展合成实验来评估超光谱超分辨率方法，以解决现有评估方法中配置不一致、结果难以比较和复现的问题。
2026-05-20 cs.CV eess.IV
ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and Multispectral Data Fusion
Guangdong University of Technology（广东工业大学）；Rocket Force University of Engineering（火箭军工程大学）；Sun Yat-sen University（中山大学）
针对高光谱与多光谱融合中训练数据不足的问题，提出对抗性自动增强框架ADASR，通过联合优化增强与下采样网络提升融合性能，并在两个公开数据集上验证其有效性。
2023-10-11 cs.CV eess.IV
Frequency-Aware Physics-Inspired Degradation Model for Real-World Image Super-Resolution
John Hopcroft Center for Computer Science, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特计算机科学中心）；Institute of Image Communication and Network Engineering,Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Department of Electrical and Computer Engineering, University of Alabama（阿拉巴马大学电气与计算机工程系）；State Key Lab of Advanced Optical Communication Systems and Networks, Shanghai Jiao Tong University（上海交通大学先进光通信系统与网络国家重点实验室）
当前基于学习的单图像超分辨率（SISR）算法在实际数据上表现不佳，这是由于假设的退化过程与真实场景中的退化过程存在偏差。传统的降级过程考虑在高分辨率（HR）图像上应用模糊、噪声和下采样（通常是双三次下采样）来合成低分辨率（LR）对应物。然而，关于退化建模的工作很少考虑光学成像系统的物理方面。本文对成像系统进行了光学分析，并在空间频域中研究了真实世界中LR-HR对的特性。我们制定了一个现实世界的物理启发degradationmodel通过考虑bothopticsandsensordegradation成像系统的物理退化建模为一个低通滤波器，其截止频率由物距，透镜的焦距，和图像传感器的像素大小。特别是，我们建议使用卷积神经网络（CNN）来学习真实世界退化过程的截止频率。然后将学习的网络应用于从未配对的HR图像合成LR图像。合成的HR-LR图像对随后用于训练SISR网络。我们评估的有效性和推广能力的建议退化模型对现实世界的图像捕获不同的成像系统。实验结果表明，使用我们的合成数据训练的SISR网络表现出良好的网络使用传统的退化模型。此外，我们的结果与使用真实世界LR-HR对训练的相同网络获得的结果相当，这在真实场景中具有挑战性。
2022-02-11 cs.CV eess.IV
On training deep networks for satellite image super-resolution
Future Processing（未来处理公司）；Silesian University of Technology（西里西亚工业大学）
超分辨率重建（SRR）--用于增强图像空间分辨率的技术--的能力最近通过使用深度卷积神经网络而得到显著提高。通常，这种网络是使用由原始图像及其低分辨率对应图像组成的巨大训练集来学习的，这些图像是通过双三次下采样获得的。在本文中，我们研究如何影响SRR性能的方式，这样的低分辨率训练数据获得，这还没有探索到最新的。大量的实验研究表明，训练数据的特性对重建精度有很大的影响，并且广泛采用的方法对于处理卫星图像并不是最有效的。总体而言，我们认为，开发更好的训练数据准备例程可能是关键，使SRR适合现实世界的应用。
2019-06-16 cs.CV eess.IV
How Real is Real: Evaluating the Robustness of Real-World Super Resolution
University of Edinburgh（爱丁堡大学）
图像超分辨率（Image Super-resolution，SR）是计算机视觉中的一个领域，其关注于从相应的低分辨率图像重建高分辨率图像。然而，超分辨率是一个众所周知的不适定问题，因为大多数方法依赖于对高分辨率图像执行的下采样方法来形成已知的低分辨率图像。不幸的是，这在现实生活中的超分辨率应用程序中并不存在，例如提高手机上拍摄的照片的质量。在本文中，我们将评估多种最先进的超分辨率方法，并在呈现各种类型的真实图像时衡量它们的性能，并讨论每种方法的优点和缺点。我们还介绍了一个新的数据集，WideRealSR，包含来自各种来源的真实图像。最后，通过仔细的实验和评估，我们将提出一个潜在的解决方案，以减轻泛化问题，这是迫在眉睫的最先进的超分辨率模型。
2022-10-22 cs.CV eess.IV
Adaptive Blind Super-Resolution Network for Spatial-Specific and Spatial-Agnostic Degradations
VCIP, College of Computer Science, Nankai University, Tianjin, 300350, China（VCIP，计算机科学学院，南开大学，天津，300350，中国）；School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University, Shenzhen 518107, P.R. China（网络安全科学与技术学院，深圳校区，中山大学，深圳 518107，中华人民共和国中国）；College of Artificial Intelligence, Nankai University, Tianjin, 300350, China（人工智能学院，南开大学，天津，300350，中国）；Laboratory of Science and Technology on Integrated Logistics Support, National University of Defense Technology, Changsha 410073, China（集成物流支持科学技术实验室，国防科技大学，长沙 410073，中国）
本文针对下采样、噪声等空间无关退化与模糊等空间特定退化，提出融合全局注意力动态卷积和局部空间自适应滤波的双分支网络，在合成与真实数据集上均超过现有盲超分辨率方法。
2025-06-09 cs.CV eess.IV
Physics-Inspired Degradation Models for Hyperspectral Image Fusion
Beijing Institute of Technology（北京理工大学）；Hunan University（湖南大学）；University of Science and Technology of China（中国科学技术大学）；Beijing Normal University（北京师范大学）
提出物理启发的退化模型（PIDM），通过空间与光谱退化网络模拟实际退化过程，采用自监督训练，提升高光谱与多光谱图像融合在实际场景中的性能。
2024-02-04 cs.CV eess.IV
Channel Attention based Iterative Residual Learning for Depth Map Super-Resolution
Baidu Research（百度研究院）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术与应用国家工程实验室）；Northwestern Polytechnical University（西北工业大学）；Shandong University（山东大学）；Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Kentucky（肯塔基大学）
尽管基于深度学习的深度图超分辨率（DSR）取得了显著进展，但如何解决低分辨率（LR）深度图的真实世界退化仍然是一个重大挑战。现有的DSR模型通常是在合成数据集上训练和测试的，这与从真实深度传感器获得的数据有很大不同。在本文中，我们认为在这种设置下训练的DSR模型是限制性的，在处理现实世界的DSR任务时无效。我们在解决不同深度传感器的真实退化方面做出了两个贡献。首先，我们建议将LR深度图的生成分为两种类型：带噪声的非线性下采样和区间下采样，并相应地学习DSR模型。其次，我们提出了一个新的真实世界DSR框架，它由四个模块组成：1）一个迭代的残差学习模块，深度监督，以学习有效的深度图的高频成分，在粗到细的方式; 2）一个通道的注意力策略，以增强通道丰富的高频成分; 3）多级融合模块，用于有效地重新利用粗到细过程中的结果;以及4）深度细化模块，用于通过TGV正则化和输入损失来改进深度图。在基准数据集上的大量实验表明，我们的方法优于当前最先进的DSR方法。
2020-06-02 cs.CV
Toward Real-World Light Field Super-Resolution
University of Science and Technology of China（中国科学技术大学）
本文针对真实世界光场超分辨率问题，提出首个真实光场SR数据集LytroZoom和全频投影网络OFPNet，通过分解并迭代增强全频分量来处理空间变化退化，实验证明其优于合成数据训练模型并具备良好泛化性。
2023-05-30 cs.CV eess.IV
Real-Time Super-Resolution for Real-World Images on Mobile Devices
OPPO US Research Center（OPPO美国研究中心）
图像超分辨率（ISR），旨在从相应的低分辨率（LR）图像中恢复高分辨率（HR）图像。虽然最近ISR的进展是显著的。然而，它们的计算量太大，无法部署在边缘设备上，因为最近的大多数方法都是基于深度学习的。此外，这些方法在真实场景中总是失败，因为它们中的大多数采用简单固定的“理想”双三次下采样内核从高质量图像中构建LR/HR训练对，这可能会丢失与频率相关的细节。在这项工作中，实时的【形】ISR的移动设备上，这是能够处理在现实世界中的情况下，范围广泛的退化的方法。在传统的超分辨率数据集（Set 5，Set 14，BSD 100，Urban 100，Manga 109，DIV 2K）和真实图像上进行的大量实验表明，该方法优于现有方法，具有更高的PSNR和SSIM，更低的噪声和更好的视觉质量。最重要的是，我们的方法在移动或边缘设备上实现实时的【形】性能。
2022-06-03 cs.CV eess.IV
New Techniques for Preserving Global Structure and Denoising with Low Information Loss in Single-Image Super-Resolution
Duke University（杜克大学）
本工作确定并解决了单图像超分辨率中的两个重要技术挑战：（1）如何在不放大噪声的情况下对图像进行上采样以及（2）如何在上采样时保持大尺度结构。我们总结了我们在2018年NTIRE超分辨率挑战赛中为轨道1（双三次下采样）的第二名参赛作品，轨道2（现实不利条件）的第七名参赛作品和轨道3（现实困难）的第七名参赛作品开发的技术。此外，我们提出了新的神经网络架构，专门解决上述两个挑战：去噪和大规模结构的保存。
2018-06-16 cs.CV
GAN Prior based Null-Space Learning for Consistent Super-Resolution
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
一致性和真实性一直是图像超分辨率的两个关键问题。虽然真实度已经通过使用GAN prior而显著提高，但是现有技术的方法仍然遭受局部结构和颜色的不一致（例如，牙齿和眼睛）。在本文中，我们表明，这些不一致性可以通过学习零空间分量，而固定的范围空间的一部分，分析消除。此外，我们设计了一个基于池化的分解（PD），一个通用的范围零空间分解的超分辨率任务，这是简洁，快速，参数自由。PD可以很容易地应用于最先进的基于GAN先验的SR方法，以消除它们的不一致性，既不损害真实性，也不带来额外的参数或计算成本。此外，我们的消融研究表明，PD可以取代用于训练的像素损失，并在面对不可见的下采样甚至真实世界退化时实现更好的泛化性能。实验表明，PD的使用刷新了最先进的SR性能，并加快了训练的收敛速度高达2~10倍。
2022-11-24 cs.CV eess.IV
FANVIDv2: Evaluating Video Super-Resolution by Face and Licence-Plate Recognition Under Compound Degradation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
FANVIDv2基准通过人脸和车牌识别指标评估视频超分辨率，采用复合退化生成低分辨率视频，实验表明RCDM基线显著提升识别性能。
2026-10-01 cs.CV
Pairwise Distance Distillation for Unsupervised Real-World Image Super-Resolution
National University of Singapore（新加坡国立大学）；Korea University（高丽大学）
针对真实世界超分辨率存在未知退化且缺乏成对训练数据的问题，提出成对距离蒸馏框架，通过蒸馏专用模型与通用模型的内、间距离实现退化适配，在多数据集上保真度与感知质量均优于现有最优方法。
2024-07-10 cs.CV eess.IV
Efficient Difficulty-Aware Dynamic Routing for Diffusion-Based Real-World Image Super-Resolution
研究基于扩散的真实世界图像超分辨率方法的局限，提出难度感知动态路由（DDR）策略，设计难度估计器并构建不同容量网络，实验证明该模型相比现有方法在效率和有效性上更具优势。
2026-07-20 cs.AI cs.CV
DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier Convolution for Low-light Image Enhancement
Shandong Normal University（山东师范大学）；Nanjing University of Science and Technology（南京理工大学）
弱光图像增强是一个经典的计算机视觉问题，旨在从弱光图像恢复正常曝光图像。然而，该领域常用的卷积神经网络擅长在空间域中对低频局部结构特征进行采样，导致重建图像的纹理细节不清晰。为了缓解这个问题，我们提出了一种新的模块，使用傅立叶系数，它可以恢复高质量的纹理细节下的语义约束下，在频率相位和补充空间域。此外，我们设计了一个简单而有效的模块的图像空间域使用不同的感受野扩张卷积，以减轻频繁下采样造成的细节损失。我们将上述部分集成到一个端到端的双分支网络中，并设计了一个新颖的损失委员会和自适应融合模块，以引导网络灵活地结合空间和频域特征，以产生更令人愉悦的视觉效果。最后，我们在公共基准上评估了所提出的网络。大量的实验结果表明，我们的方法优于许多现有的国家的最先进的，表现出出色的性能和潜力。
2022-09-16 cs.CV eess.IV
Adaptive Densely Connected Super-Resolution Reconstruction
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；China Electronic Science and Technology Network Information Security Co., Ltd.（中国电子科技网络信息安全有限公司）
为了提高单幅图像的超分辨率性能，提出了一种基于自适应稠密连接的图像超分辨率算法。该算法分为两部分：BODY和SKIP。BODY通过自适应密集连接提高了卷积特征的利用率。此外，我们开发了一个自适应亚像素重建层（AFSL）来重建身体输出的功能。我们预先训练了SKIP，让BODY专注于高频特征学习。PSNR，SSIM和视觉效果的比较验证了我们的方法的优越性，最先进的算法。
2019-12-18 cs.CV eess.IV
Super-Resolution of Real-World Faces
Indian Institute of Technology, Madras（马德拉斯印度理工学院）
真实的低分辨率（LR）人脸图像包含退化，这些退化变化太大且太复杂，以至于无法通过已知的下采样内核和信号无关噪声来捕获。因此，为了成功地超分辨真实人脸，一种方法需要对大范围的噪声、模糊、压缩伪影等具有鲁棒性。最近的一些作品试图使用生成对抗网络（GAN）从真实图像的数据集对这些退化进行建模。他们生成合成退化的LR图像，并使用它们与相应的真实高分辨率（HR）图像训练一个超分辨率（SR）网络使用的像素级损失和对抗性损失的组合。在本文中，我们提出了一个两个模块的超分辨率网络，其中特征提取器模块从LR图像中提取鲁棒特征，SR模块仅使用这些鲁棒特征生成HR估计。我们训练退化GAN将双三次下采样的干净图像转换为真正的退化图像，并在所获得的退化LR图像和其干净LR对应图像之间进行插值。然后，将该插值LR图像与其对应的HR对应物一起用于从端到端训练超分辨率网络。熵正则化Wasserstein散度用于强制从干净和退化图像中学习的编码特征与从插值图像中提取的编码特征非常相似，以确保鲁棒性。
2022-02-08 cs.CV eess.IV
OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer
ARC, Tencent PCG（腾讯平台与内容事业群ARC实验室）；The University of Tokyo（东京大学）；Platform Technologies, Tencent Online Video（腾讯在线视频平台技术部）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Lab（上海人工智能实验室）
全方位图像（ODI）在沉浸式体验中得到了广泛的研究兴趣。虽然ODI需要极高的分辨率来捕捉整个场景的细节，但大多数ODI的分辨率都不够。以前的方法试图解决这个问题的图像超分辨率（SR）等矩形投影（ERP）图像。然而，他们忽略了ERP在退化过程中的几何特性，并且他们的模型很难推广到真实的ERP图像。在本文中，我们提出了鱼眼下采样，它模仿现实世界的成像过程，合成更真实的低分辨率样本。在此基础上，我们设计了一个失真感知的Transformer（OSRT），对ERP的失真进行连续、自适应的调制。在没有繁琐的处理过程的情况下，OSRT比以前的方法在PSNR上提高了约0.2dB。此外，我们提出了一种方便的数据增强策略，该策略从普通图像合成伪ERP图像。这种简单的策略可以缓解大型网络的过拟合问题，并显着提高ODISR的性能。大量的实验已经证明了我们的OSRT的最先进的性能。代码和模型将在https://github.com/Fanghua-Yu/OSRT上提供。
2023-02-09 cs.CV eess.IV
Learning Generalizable Latent Representations for Novel Degradations in Super Resolution
Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；Harbin Institute of Technology（哈尔滨工业大学）
典型的盲图像超分辨率（SR）的方法集中在处理未知的退化直接估计他们或学习的退化表示在一个潜在的空间。这些方法的潜在限制在于，它们假设可以通过集成各种手工降级（例如，双三次下采样），这不一定是真的。真实世界的退化可以超出仿真范围的手工退化，这被称为新的退化。在这项工作中，我们建议学习退化的潜在表示空间，它可以从手工制作的（基础）退化推广到新的退化。然后利用在该潜在空间中获得的新退化的表示来生成与新退化一致的退化图像，以组成用于SR模型的成对训练数据。此外，我们执行变分推断以将潜在表示空间中的退化的后验与先验分布（例如，高斯分布）。因此，我们能够为一种新的退化采样更多的高质量表示，以增加SR模型的训练数据。我们在合成和真实世界的数据集上进行了广泛的实验，以验证我们的方法在具有新退化的盲超分辨率方面的有效性和优势。
2022-07-25 cs.CV eess.IV
ΩSFormer: Dual-Modal Ω-like Super-Resolution Transformer Network for Cross-scale and High-accuracy Terraced Field Vectorization Extraction
Central China Normal University（华中师范大学）；Industry and Information Technology Bureau of Lingbao City（灵宝市工业和信息化局）；Wuhan University（武汉大学）
针对梯田矢量化提取问题，首次提出双模态Ω形超分辨率Transformer网络ΩSFormer，通过融合高分辨率与下采样特征、Ω形结构整合跨模态特征等，提升提取精度并创建DMRVD数据集。
2024-11-26 cs.CV
Data Acquisition and Preparation for Dual-reference Deep Learning of Image Super-Resolution
基于深度学习的图像超分辨率（SR）方法的性能取决于用于训练的成对低分辨率和高分辨率图像对真实相机的采样过程的准确程度。由退化模型合成的低分辨率和高分辨率（LR $\sim$ HR）图像对（例如，双三次下采样）偏离现实中的那些;因此，当应用于真实世界图像时，合成训练的DCNN SR模型会不一致地工作。为了解决这个问题，我们提出了一种新的数据采集过程中拍摄一个大的LR $\sim$ HR图像对使用真正的相机。图像显示在超高质量的屏幕上，并以不同的分辨率拍摄。通过一种新的空频双域配准方法，可以将得到的LR $\sim$ HR图像对以极高的亚像素精度进行配准，从而为超分辨率的学习任务提供更合适的训练数据。此外，捕获的HR图像和原始数字图像提供了双重参考，以加强监督学习。实验结果表明，使用LR $\sim$ HR数据集训练超分辨率DCNN比使用文献中的其他数据集训练DCNN获得更高的图像质量。此外，所提出的屏幕捕获数据收集过程可以自动化;它可以轻松且低成本地针对任何目标相机进行，提供了一种针对每个给定相机单独定制DCNN SR模型训练的实用方法。
2022-06-19 cs.CV eess.IV
Rethinking Degradation: Radiograph Super-Resolution via AID-SRGAN
Tohoku University（东北大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种用于地理图像超分辨率的医学AttentIon去噪超分辨率生成对抗网络（AID-SRGAN）。首先，我们提出了一个医疗实用的退化模型，考虑各种退化因素以外的下采样。据我们所知，这是第一个复合退化模型提出的射线照相图像。此外，我们提出了AID-SRGAN，它可以同时去噪和生成高分辨率（HR）射线照片。在该模型中，我们在去噪模块中引入了注意机制，使其对复杂的退化更具鲁棒性。最后，SR模块使用“干净的”低分辨率（LR）射线照片重建HR射线照片。此外，我们提出了一个单独的联合训练方法来训练的模型，并进行了大量的实验，表明所提出的方法是优于它的同行。例如，在一个实施例中，我们提出的方法实现了PSNR的$31.90$，其比例因子为$4 \times$，其$7.05 \%$高于最近的工作SPSR [16]所获得的比例因子。我们的数据集和代码将在https://github.com/yongsongH/AIDSRGAN-MICCAI2022上提供。
2022-08-05 cs.CV cs.LG eess.IV
Accurate Spectral Super-resolution from Single RGB Image Using Multi-scale CNN
Northwestern Polytechnical University（西北工业大学）；Sun Yat-Sen University（中山大学）
与传统的高光谱超分辨率方法主要是提高图像的空间分辨率不同，光谱超分辨率方法的目标是从RGB观测数据中获得高分辨率的高光谱图像，并在光谱域实现超分辨率。然而，从每个像素处的三个离散强度值准确地重建高维连续光谱是具有挑战性的，因为在潜高光谱图像被下采样的过程期间丢失了太多信息（例如，比例因子为x10）在光谱域中产生RGB观察结果。为了解决这个问题，我们提出了一个多尺度深度卷积神经网络（CNN），以显式地将输入RGB图像映射到高光谱图像。通过对称下采样和上采样的中间特征图在级联范例，局部和非局部图像信息可以联合编码的光谱表示，最终提高光谱重建精度。在一个大型高光谱数据集上的实验证明了该方法的有效性。
2018-11-29 cs.CV
VoLUT: Efficient Volumetric streaming enhanced by LUT-based super-resolution
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Southern California（南加州大学）；Microsoft Research Asia（微软亚洲研究院）
VoLUT通过基于LUT的超分辨率算法，在移动设备上实现高效体积视频流媒体，减少带宽使用并提升用户体验。
2025-12-04 cs.CV cs.SY eess.SY
Text-guided Explorable Image Super-resolution
Institute for Vision and Graphics, University of Siegen（锡根大学视觉与图形研究所）
研究零样本文本引导的开放域图像超分辨率，通过修改 T2I 扩散生成过程并引入语言引导，在大下采样因子下生成语义准确、数据一致且多样可探索的复原结果。
2024-03-02 cs.CV
Fine-structure Preserved Real-world Image Super-resolution via Transfer VAE Training
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
针对 SD 类 Real-ISR 方法因 VAE 8×下采样导致精细结构丢失的问题，本文提出 TVT 将 VAE 转为 4×并对齐预训练 UNet，结合紧凑架构以更低 FLOPs 提升细节保持。
2025-07-27 cs.CV
Hierarchical Prior-based Super Resolution for Point Cloud Geometry Compression
Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对G-PCC有损模式下几何量化导致的失真问题，提出一种基于分层先验的点云几何超分辨率方法，在解码端实现由粗到细的重建，在MPEG Cat1A数据集上显著节省比特率并超越G-PCC v14。
2024-02-17 cs.CV cs.MM eess.IV
Camera Lens Super-Resolution
University of Science and Technology of China（中国科学技术大学）
用于单个图像超分辨率（SR）的现有方法通常用诸如双三次或高斯下采样的合成退化模型来评估。在本文中，我们从相机镜头的角度研究SR，命名为CameraSR，其目的是减轻现实成像系统中分辨率（R）和视场（V）之间的内在权衡。具体来说，我们将R-V退化视为SR过程中的一个潜在模型，并学习使用现实的低分辨率和高分辨率图像对来逆转它。为了获得成对的图像，我们提出了两种新颖的数据采集策略，用于两种代表性的成像系统（即，DSLR和智能手机相机）。基于获得的City 100数据集，我们定量分析了常用的综合退化模型的性能，并证明了CameraSR作为一种实用的解决方案，以提高现有SR方法的性能的优越性。此外，CameraSR可以很容易地推广到不同的内容和设备，这是一个先进的数字变焦工具，在现实的成像系统。代码和数据集可在https://github.com/ngchc/CameraSR上获得。
2019-04-06 cs.CV
CLAIRE -- Parallelized Diffeomorphic Image Registration for Large-Scale Biomedical Imaging Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Stuttgart（斯图加特大学）；University of Houston（休斯顿大学）
我们研究了CLAIRE的性能-一个同构多节点，多GPU图像配准算法和软件-在大规模生物医学成像应用中具有数十亿的体素。在这样的分辨率下，大多数现有的用于同构图像配准的软件包都非常昂贵。因此，从业者首先对原始图像进行显著的下采样，然后使用现有的工具进行配准。我们的主要贡献是对下采样对配准性能的影响进行了广泛的分析。我们通过比较CLAIRE获得的全分辨率配准与合成和真实世界成像数据集的低分辨率配准来研究这种影响。我们的研究结果表明，在全分辨率注册可以产生一个优越的注册质量-但并不总是。例如，将合成图像从$1024^3$下采样到$256^3$将Dice系数从92%减小到79%。然而，对于有噪声或低对比度的高分辨率图像，差异不太明显。CLAIRE使我们不仅可以在几秒钟内配准临床相关尺寸的图像，还可以在合理的时间内以前所未有的分辨率配准图像。考虑的最高分辨率是尺寸为$2816\times3016\times1162$的清晰度图像。据我们所知，这是第一次研究图像配准质量在这样的分辨率。
2022-09-16 cs.CV cs.DC
Two Heads Better than One: Dual Degradation Representation for Blind Super-Resolution
本文提出双退化表示方法，通过双分支网络预测模糊和噪声嵌入，提升盲超分辨率任务的性能。
2025-11-21 cs.CV
Efficient Face Super-Resolution via Wavelet-based Feature Enhancement Network
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于小波的特征增强网络（WFEN），通过小波变换无损分解高低频特征并引入全域 Transformer，在不堆叠模块的前提下高效平衡了人脸超分辨率的性能、模型大小与速度。
2024-07-30 cs.CV
Incorporating Degradation Estimation in Light Field Spatial Super-Resolution
University of Science and Technology of China（中国科学技术大学）
本文提出盲光场超分辨率方法 LF-DEST，通过联合估计模糊核和噪声图，并利用调制选择性融合引导光场复原，在多种退化场景下取得优于现有方法的性能。
2024-05-11 cs.CV
SimUSR: A Simple but Strong Baseline for Unsupervised Image Super-resolution
Ajou University（亚洲大学）；EPFL（洛桑联邦理工学院）
在本文中，我们解决了完全无监督的超分辨率问题，即既没有配对图像也没有地面真实HR图像。我们假设低分辨率（LR）图像与高分辨率（HR）图像相比相对容易收集。通过允许多个LR图像，我们通过对LR图像进行去噪和下采样来构建一组伪对，并将原始的无监督问题转换为监督学习问题，但在低一个级别上。虽然这条研究路线很容易想到，因此应该在任何复杂的无监督方法之前进行研究，但令人惊讶的是，目前还没有。更重要的是，我们证明了这种简单的方法优于最先进的无监督方法，在运行时具有更短的延迟，并显着减少了与HR监督模型的差距。我们在NTIRE 2020超分辨率挑战赛中提交了我们的方法，并获得了PSNR第一名，SSIM第二名和LPIPS第13名。这种简单的方法应该被用作将来跳动的基线，特别是当在训练阶段允许多个LR图像时。然而，即使在zero-shot条件下，我们认为这种方法可以作为一个有用的基线，看看监督和无监督框架之间的差距。
2020-04-23 cs.CV
Robust Single-Image Super-Resolution via CNNs and TV-TV Minimization
Heriot-Watt University（赫瑞-瓦特大学）
单图像超分辨率是指通过提高图像的分辨率，从低分辨率图像获得高分辨率图像的过程。通过利用大型训练数据集，卷积神经网络（CNN）目前在这项任务中实现了最先进的性能。然而，在测试/部署过程中，它们无法强制HR和LR图像之间的一致性：如果我们对输出HR图像进行下采样，它永远不会匹配LR输入。基于这一观察结果，我们建议用一个优化问题对CNN输出进行后处理，我们称之为TV-TV最小化，这可以加强一致性。正如我们大量的实验所示，这种后处理不仅在PSNR和SSIM方面提高了图像的质量，而且还使超分辨率任务对操作员失配具有鲁棒性，即，当真实的下采样算子与用于创建训练数据集的算子不同时。
2020-04-02 cs.CV cs.LG math.OC
PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising
Seoul National University（首尔国立大学）；Ewha Womans University（梨花女子大学）
针对自监督图像去噪中J不变性与架构灵活性受限的问题，提出PUCA，一种结合补丁反洗牌/洗牌和扩张注意力块的J不变U-Net架构，实现了最先进的去噪性能。
2023-10-16 cs.CV cs.LG eess.IV
Unsupervised Degradation Representation Learning for Blind Super-Resolution
National University of Defense Technology（国防科技大学）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所先进智能研究中心）
大多数现有的基于CNN的超分辨率（SR）方法是基于这样的假设开发的：退化是固定的且已知的（例如，双三次下采样）。然而，这些方法遭受严重的性能下降时，实际的退化是不同于他们的假设。为了处理各种未知的退化在现实世界中的应用，以前的方法依赖于退化估计重建SR图像。然而，退化估计方法通常是耗时的，并可能导致SR失败，由于大的估计误差。在本文中，我们提出了一个无监督的退化表示学习计划盲SR没有显式退化估计。具体来说，我们学习抽象表示来区分表示空间中的各种退化，而不是像素空间中的显式估计。此外，我们引入了一个降级感知SR（DASR）网络，具有灵活的适应各种退化的基础上学习表示。结果表明，我们的退化表示学习方案可以提取的歧视性表示，以获得准确的退化信息。在合成图像和真实图像上的实验表明，我们的网络在盲SR任务中达到了最先进的性能。代码可在：https://github.com/LongguangWang/DASR.
2021-04-01 cs.CV
Convolutional Block Design for Learned Fractional Downsampling
卷积神经网络（CNN）的层可以用来改变其输入的分辨率，但缩放因子仅限于整数值。然而，在许多图像和视频处理应用中，通过分数因子调整大小的能力将是有利的。一个示例是在针对视频压缩标准化的分辨率之间的转换，诸如从1080p到720p。为了解决这个问题，我们提出了一个替代的构建块，制定为一个传统的卷积层，然后是一个可微分的大小调整器。更具体地说，卷积层保留了输入的分辨率，而缩放操作完全由调整器处理。以这种方式，任何CNN架构都可以适用于非整数卷积。作为一个应用，我们用所提出的构建块替换了现代深度下采样模型的卷积层，并将其应用于自适应比特率视频流场景。我们的实验结果表明，传统的Lanczos算法的编码效率得到了改善，在测试视频的PSNR，SSIM，和VMAF方面。
2021-05-20 cs.MM eess.IV
Enhance the Image: Super Resolution using Artificial Intelligence in MRI
Tsinghua University（清华大学）；University of Oxford（牛津大学）；Tianjin University（天津大学）；Stanford University（斯坦福大学）
本文综述了基于深度学习的MRI超分辨率技术，涵盖CNN、GAN、transformer、扩散模型等方法，并探讨其对临床与神经科学评估的影响及未来挑战。
2024-06-19 cs.AI cs.CV physics.med-ph
Blind Super-Resolution With Iterative Kernel Correction
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于深度学习的方法由于其在有效性和效率方面的显著性能而主导了超分辨率（SR）领域。这些方法中的大多数假设下采样期间的模糊核是预定义的/已知的（例如，双三次）。然而，在实际应用中涉及的模糊核是复杂和未知的，导致严重的性能下降先进的SR方法。针对模糊核未知的盲超分辨率问题，提出了一种迭代核校正（IKC）方法。我们得出的观察，内核失配可能会带来规则的文物（过度锐化或过度平滑），这可以应用于纠正不准确的模糊内核。因此，我们引入了一种迭代校正方案- IKC，取得了比直接核估计更好的结果。我们进一步提出了一个有效的SR网络架构，使用空间特征变换（SFT）层来处理多个模糊内核，命名为SFTMD。在合成图像和真实图像上的实验表明，本文提出的基于SFTMD的IKC方法可以提供视觉上良好的SR结果，并且在盲SR问题中具有最先进的性能。
2019-05-29 cs.CV
From General to Specific: Online Updating for Blind Super-Resolution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
大多数基于深度学习的超分辨率（SR）方法不是特定于图像的：1）它们在通过预定义降级（例如，双三次下采样）合成的样本上训练，而不管训练数据和测试数据之间的域间隙。2)在测试过程中，他们通过相同的模型权重集对所有图像进行超分辨率处理，忽略了退化的变化。因此，大多数以前的方法可能遭受性能下降时，测试图像的退化是未知的和各种（即盲SR的情况下）。为了解决这些问题，我们提出了一个在线SR（ONSR）的方法。它不依赖于预定义的退化，并允许根据测试图像的退化来更新模型权重。具体来说，ONSR由两个分支组成，即内部分支（IB）和外部分支（EB）。IB可以学习给定测试LR图像的特定退化，并且EB可以学习超分辨由学习的退化退化的图像。通过这种方式，ONSR可以为每个测试图像定制特定的模型，从而对各种退化具有更强的鲁棒性。在合成图像和真实图像上的大量实验表明，ONSR可以生成视觉上更好的SR结果，并在盲SR中实现最先进的性能。
2022-03-15 cs.CV
Lightweight Image Super-Resolution with Adaptive Weighted Learning Network
Shanghai University（上海大学）
近年来，深度学习已成功应用于单图像超分辨率（SISR）任务，并取得了很好的效果。然而，大多数基于卷积神经网络的SR模型需要大量的计算，这限制了它们的实际应用。在这项工作中，一个轻量级的SR网络，自适应加权超分辨率网络（AWSRN），提出了SISR解决这个问题。在AWSRN中设计了一种新的局部融合块（LFB），它由堆叠的自适应加权残差单元（AWRU）和局部残差融合单元（LRFU）组成。此外，提出了一种自适应加权多尺度（AWMS）模块，以充分利用重建层的特征。AWMS由多个不同尺度的卷积组成，根据AWMS中自适应权值的贡献去除冗余尺度分支，实现轻量级网络。在常用数据集上的实验结果表明，该轻量级AWSRN在x2、x3、x4和x8比例因子上的性能优于具有相似参数和计算开销的现有方法.代码可在：www.example.com
2019-04-04 cs.CV
Joint Degradation-Aware Arbitrary-Scale Super-Resolution for Variable-Rate Extreme Image Compression
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院）；Department of Electronic Engineer and Information Science, University of Science and Technology of China（中国科学技术大学电子工程与信息科学系）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室）
本文提出ASSR-EIC框架，利用任意尺度超分辨率支持可变速率极值图像压缩，通过联合退化感知解码器实现率自适应重建，提升低比特率下的图像恢复质量。
2026-03-18 cs.AI cs.CV
AlphaNet: An Attention Guided Deep Network for Automatic Image Matting
Fynd
在本文中，我们提出了一个端到端的解决方案，即从自然图像中高精度提取前景物体的图像抠图。当背景是纯绿色或蓝色时，可以在工作室设置中通过色度键控轻松实现图像抠图和背景检测。尽管如此，在具有复杂且不均匀深度背景的自然场景中的图像抠图仍然是需要人为干预的繁琐任务。为了在自然场景中实现完整的自动前景提取，我们提出了一种方法，该方法将语义分割和深度图像抠图过程同化到单个网络中，以生成用于图像合成任务的详细语义抠图。我们提出的方法的贡献是双重的，首先，它可以被解释为一个完全自动化的语义图像抠图方法，其次作为现有的语义分割模型的细化。我们提出了一种新的模型架构，作为分割和抠图的组合，将上采样和下采样算子的功能与注意力的概念统一起来。如我们的工作所示，注意力引导下采样和上采样可以提取高质量的边界细节，不像其他正常的下采样和上采样技术。为了实现同样的目标，我们利用了一个注意力引导的编码器-解码器框架，该框架进行无监督学习，用于从数据中自适应地生成注意力图，以服务和指导上采样和下采样算子。我们还构建了一个以时尚电子商务为重点的数据集，其中包含高质量的alpha蒙版，以便于图像蒙版的训练和评估。
2020-03-07 cs.CV cs.LG eess.IV
