NTIRE 2021 Challenge on Video Super-Resolution
Seoul National University（首尔大学）
超分辨率（SR）是一项基本的计算机视觉任务，旨在从给定的低分辨率图像中获得高分辨率的干净图像。本文回顾了NTIRE 2021年视频超分辨率挑战赛。我们目前的评估结果，从两个竞争的轨道，以及提出的解决方案。轨道1旨在开发传统的视频SR方法，专注于恢复质量。轨道2假设具有较低帧速率的更具挑战性的环境，从而引发时空SR问题。在每一项比赛中，分别有247名和223名参赛者登记。在最后的测试阶段，14个团队在每个赛道上竞争，以实现视频SR任务的最先进性能。
2021-05-10 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.（百度公司）
最近，图像超分辨率得到了广泛的研究，并通过利用深度卷积神经网络的能力取得了重大进展。然而，由于视频中复杂的时间模式，视频超分辨率（VSR）的进展有限。在本文中，我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息，而对原始图像超分辨率的开销可以忽略不计。此外，我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能，并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
A Review of Deep Learning Based Image Super-resolution Techniques
School of Computer and Software Engineering, Xihua University（西华大学计算机与软件工程学院）
图像超分辨率技术是从一幅或多幅低分辨率图像中获得高分辨率图像的过程。随着深度学习的发展，基于深度学习方法的图像超分辨率技术应运而生。综述了深度学习方法在图像超分辨率领域应用的研究进展，从几个方面介绍了这类超分辨率工作，并展望了深度学习方法在图像超分辨率领域的进一步应用。通过收集和统计深度学习在图像超分辨率领域应用的相关文献，初步总结了深度学习方法在图像超分辨率领域的应用成果，并报告了基于深度学习方法的图像超分辨率技术的最新进展。
2022-01-22 cs.CV
AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results
本文综述了AIM 2022上压缩图像和视频的超分辨率挑战。这一挑战包括两个方面。磁道1针对压缩图像的超分辨率，磁道2针对压缩视频的超分辨率。在Track 1中，我们使用流行的数据集DIV2K作为训练、验证和测试集。在Track 2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个额外的视频。在本次挑战赛中，分别有12支队伍和2支队伍将最终成绩提交给了第一轨道和第二轨道。所提出的方法和解决方案衡量了压缩图像和视频的超分辨率的最新技术水平。拟议的LDV 3.0数据集可在https://github.com/RenYang-home/LDV_dataset上获得。这个挑战的主页是https://github.com/RenYang-home/AIM22_CompressSR。
2022-08-25 cs.CV eess.IV
Deep Depth Super-Resolution : Learning Depth Super-Resolution using Deep Convolutional Neural Network
Shandong University（山东大学）
深度图像的超分辨率是一个极具挑战性的任务，由于信息丢失的子采样。深度卷积神经网络在彩色图像超分辨率中得到了广泛的应用。令人惊讶的是，这种成功并没有与深度超分辨率相匹配。这主要是由于颜色和深度图像之间的固有差异。在本文中，我们弥补了这一差距，并将深度卷积神经网络的成功扩展到深度超分辨率。所提出的深度超分辨率方法以端到端的方式学习从低分辨率深度图像到高分辨率深度图像的映射。此外，为了更好地正则化学习的深度图，我们建议利用深度场统计和深度图像与彩色图像之间的局部相关性。这些先验被集成在能量最小化公式中，其中深度神经网络学习一元项，深度场统计用作全局模型约束，并且颜色-深度相关性被用来加强深度图像中的局部结构。在各种深度超分辨率基准数据集上进行的大量实验表明，我们的方法在一定程度上优于最先进的深度图像超分辨率方法。
2016-07-07 cs.CV
Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
人脸超分辨率方法通常旨在产生视觉上吸引人的结果，而不是为了进一步的人脸识别而保留显著特征。在这项工作中，我们提出了一种深度学习方法，用于在非常低分辨率的人脸图像上进行人脸验证，该方法涉及身份保留人脸超分辨率。我们的框架包括一个超分辨率网络和一个特征提取网络。我们训练了一个基于VGG的深度人脸识别网络（Parkhi et al. 2015），将其用作特征提取器。我们的超分辨率网络经过训练，以最小化高分辨率地面实况图像和超分辨率图像之间的特征距离，其中使用我们预先训练的特征提取网络提取特征。我们在FRGC，Multi-PIE，LFW-a和MegaFace数据集上进行了实验，以评估我们在受控和非受控环境中的方法。实验结果表明，该方法在低分辨率人脸验证中的性能优于传统的超分辨率方法。
2019-03-26 cs.CV
Deep Laplacian Pyramid Network for Text Images Super-Resolution
The University of Danang - University of Science and Technology（岘港大学 - 科技大学）
卷积神经网络最近已经证明了有趣的结果，单图像超分辨率。然而，这些网络被训练来处理自然图像上的超分辨率问题。在本文中，我们将一种用于自然图像超分辨率的深度网络应用于单个文本图像的超分辨率。为了评估网络，我们提出了我们的数据库为单一的文本图像超分辨率。此外，我们提出了结合梯度差分损失（GDL）和L1/L2损失来增强超分辨率图像的边缘。对我们的数据集进行的定量和定性评估表明，添加GDL改善了超分辨率结果。
2018-11-26 cs.CV
Super-NeRF: View-consistent Detail Generation for NeRF super-resolution
Tsinghua University（清华大学）
本文提出 Super-NeRF，通过一致性控制模块和逐视图可优化潜码，仅利用多视图低分辨率输入生成视图一致的高分辨率 NeRF，并在多类数据集上达到最先进性能。
2023-04-26 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham（诺丁汉大学）
本文解决了两个具有挑战性的任务：提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此，我们做出了以下5个贡献：（a）我们提出了Super-FAN：第一个同时解决这两个任务的端到端系统，即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐，从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像（如先前的工作）上，而且在整个面部姿势谱上，不仅在合成低分辨率图像（如先前的工作）上，而且在真实世界图像上，都取得了良好的结果，来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构，以改善最先进的人脸超分辨率。(d)量化，我们表现出很大的改善，在国家的最先进的人脸超分辨率和对齐。(e)质量，我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
Some medical applications of example-based super-resolution
基于样本的超分辨率（EBSR）在给定高分辨率图像的训练集的情况下从低分辨率图像重建高分辨率图像。在这篇文章中，我提出了EBSR在医学成像中的一些应用。一个特别有趣的应用，我称之为“x射线体素化”，它近似于x射线图像的CT扫描结果。
2016-04-17 cs.CV
Double Sparse Multi-Frame Image Super Resolution
Waseda University（早稻田大学）；University of Tsukuba（筑波大学）
基于稀疏编码的图像超分辨率算法被大量提出，其中一些算法实现了多帧超分辨率。在基于稀疏编码的多帧超分辨率图像处理中，既需要精确的图像配准，又需要稀疏编码。以往基于稀疏编码的多帧超分辨率研究首先采用块匹配进行图像配准，然后通过稀疏编码提高图像分辨率。在本文中，这两个问题是通过优化一个单一的目标函数。数值实验结果表明了该方法的有效性。
2015-12-02 cs.CV
Learning from a Handful Volumes: MRI Resolution Enhancement with Volumetric Super-Resolution Forests
e.solutions GmbH（e.solutions有限公司）
磁共振成像（MRI）能够对解剖结构进行三维成像。然而，具有高空间分辨率的MR体积的采集导致长扫描时间。为此，我们提出体积超分辨率森林（VSRF），以提高MRI分辨率回顾。我们的方法通过采用随机森林回归来学习低分辨率和高分辨率体积图像块之间的局部线性映射。我们自定义的功能适合体积MRI训练的随机森林，并提出了一个稳健的回归中位数树集成。VSRF在不同MRI数据集的模型训练和推理的图像质量和效率方面优于最先进的基于示例的超分辨率。它也优于无监督的方法，只需少量甚至单个卷来组装训练数据。
2018-02-15 cs.CV
Optical Flow for Video Super-Resolution: A Survey
Wuhan University（武汉大学）；Hubei University of Economics（湖北经济学院）；Central China Normal University（华中师范大学）；Arizona State University（亚利桑那州立大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
视频超分辨率是当前计算机视觉中最活跃的研究课题之一，因为它在许多视觉应用中起着重要的作用。通常，视频超分辨率包含重要分量，即，运动补偿，其用于估计连续视频帧之间的位移以进行时间对准。光流可以在连续帧之间提供密集的亚像素运动，是用于该任务的最常见的方法之一。为了更好地理解光流在视频超分辨率中的作用，本文首次对这一问题进行了全面的综述。本研究涵盖以下主要主题：超分辨率的功能（即，为什么我们需要超分辨率）;视频超分辨率的概念（即，什么是视频超分辨率）;评估度量的描述（即，（视频）超分辨率如何执行）;引入基于光流的视频超分辨率;研究使用光流来捕获视频超分辨率的时间依赖性。重点对基于深度学习的视频超分辨率方法进行了深入研究，并对几种典型算法进行了分析和比较。此外，我们强调了一些有前途的研究方向和开放的问题，应进一步解决。
2022-03-20 cs.CV
Super-resolution Using Constrained Deep Texture Synthesis
Brown University（布朗大学）；Georgia Institute of Technology（佐治亚理工学院）
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功，并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成，以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
Evaluating Robustness of Deep Image Super-Resolution against Adversarial Attacks
Yonsei University（延世大学）；University of California, Los Angeles（加州大学洛杉矶分校）
单图像超分辨率的目标是生成低分辨率图像的高分辨率版本，这是许多计算机视觉应用中的重要组成部分。本文研究了基于深度学习的超分辨率方法对对抗攻击的鲁棒性，这种攻击可以显著恶化超分辨率图像，而不会在受攻击的低分辨率图像中产生明显的失真。结果表明，国家的最先进的深超分辨率的方法是非常容易受到对抗攻击。从理论和实验上分析了不同方法的不同鲁棒性水平。我们还分析了攻击的可转移性，以及针对性攻击和通用攻击的可行性。
2019-10-02 cs.CV
Sparse Coding Approach for Multi-Frame Image Super Resolution
Waseda University（早稻田大学）；University of Tsukuba（筑波大学）
提出了一种基于低分辨率图像多次观测的图像超分辨率方法。该方法是基于亚像素精度块匹配估计观测图像的相对位移，和稀疏信号表示估计相应的高分辨率图像。观测到的低分辨率图像的小补丁的相对位移准确估计的计算效率块匹配方法。由于估计的位移也被视为图像退化过程中的变形分量，匹配结果直接用于生成稀疏图像表示的低分辨率字典。利用块匹配的匹配分数选择低分辨率图像块的子集来重建高分辨率图像块，即实现了信息量大的低分辨率图像的自适应选择。当只有一幅低分辨率图像时，该方法可以作为单帧超分辨率方法。通过使用各种真实世界数据集的实验，所提出的方法表现出与传统的单帧和多帧超分辨率方法相当或更好。
2014-02-17 cs.CV
Brain MRI Image Super Resolution using Phase Stretch Transform and Transfer Learning
UCLA（加州大学洛杉矶分校）；Tsinghua University（清华大学）
证明了一种无幻觉和计算效率高的算法，用于提高脑MRI图像的分辨率。
2018-07-31 cs.CV
Deep Residual Network for Joint Demosaicing and Super-Resolution
IC, EPFL（瑞士洛桑联邦理工学院（EPFL）集成电路实验室（IC））
在数字摄影中，两个图像复原任务已经被广泛研究并独立解决：去马赛克和超分辨率。这两个任务都与相机的分辨率限制有关。对去马赛克图像执行超分辨率只会加剧由去马赛克引入的伪像。在本文中，我们表明，这种积累的错误可以很容易地避免联合执行去马赛克和超分辨率。为此，我们提出了一个深度残差网络，用于学习Bayer图像和高分辨率图像之间的端到端映射。通过对高质量样本进行训练，我们的深度残差去马赛克和超分辨率网络能够在单步的中从低分辨率Bayer马赛克中恢复高质量的超分辨率图像，而不会产生这两种操作分开进行时常见的伪影。我们进行了大量的实验，以表明我们的深度残差网络实现了去马赛克和超分辨率图像，无论是在定性还是在PSNR和SSIM指标方面，都优于最先进的图像。
2018-02-19 cs.CV
Super-resolution 3D Human Shape from a Single Low-Resolution Image
University of Surrey（萨里大学）
我们提出了一种新的框架，从一个单一的低分辨率输入图像重建超分辨率人体形状。该方法克服了现有方法的局限性，从一个单一的图像重建三维人体形状，这需要高分辨率的图像与辅助数据，如表面法线或参数模型，以重建高细节的形状。建议的框架表示重建的形状与高细节的隐式功能。类似于二维图像超分辨率的目标，该方法学习从低分辨率形状到其高分辨率对应物的映射，并将其应用于从低分辨率图像重建三维形状细节。该方法采用一种新的损失函数进行端到端的训练，该函数估计相同3D表面形状的低分辨率和高分辨率表示之间的信息损失。通过对一幅服装人体图像的重建实验表明，该方法能够在不需要辅助数据的情况下，从低分辨率图像重建出高细节的人体表面。大量的实验表明，所提出的方法可以估计超分辨率人体几何形状与显着更高的细节水平比以前的方法时，应用于低分辨率图像。
2022-08-23 cs.CV
Learned Multi-View Texture Super-Resolution
ETH Zurich（苏黎世联邦理工学院）；IBM Research Zurich（IBM苏黎世研究院）；Microsoft Zurich（微软苏黎世）
我们提出了一种超分辨率的方法，能够创建一个高分辨率的纹理映射的虚拟3D对象从一组较低分辨率的图像，该对象。我们的架构统一了以下概念：（i）基于重叠视图冗余的多视图超分辨率和（ii）基于高分辨率（HR）图像结构的学习先验的单视图超分辨率。多视点超分辨率的原理是反转图像形成过程，从多个较低分辨率的投影中恢复潜在的HR纹理。我们将逆问题映射到一个适当设计的神经网络层块中，并将其与标准的编码器-解码器网络相结合，用于学习单图像超分辨率。将图像形成模型连接到网络中可以避免学习从纹理到图像的透视映射，并优雅地处理不同数量的输入视图。实验表明，多视角观察和学习的先验知识的组合产生改进的纹理图。
2020-01-14 cs.CV
Fidelity-Naturalness Evaluation of Single Image Super Resolution
UCLA（加州大学洛杉矶分校）；Northwestern Polytechnical University（西北工业大学）
研究了超分辨率方法的评价问题。传统的评价方法通常是根据超分辨率图像与原始高分辨率图像的差异来判断超分辨率图像的质量。在本文中，我们提出了使用保真度（与原始图像的差异）和自然度（人类对超分辨率图像的视觉感知）进行评估。在保真度评价方面，提出了一种新的评价指标，解决了传统评价方法存在的偏差问题。对于自然度评价，我们让人类使用成对比较的方式对超分辨率结果进行偏好标注，并测试人类标注结果与图像质量评价指标输出之间的相关性。实验结果表明，该方法的真实度-自然度评价结果优于传统的超分辨率评价方法，为今后单图像超分辨率的研究提供了参考。
2015-11-21 cs.CV
Fast single image super-resolution based on sigmoid transformation
单幅图像超分辨率是指从一幅低分辨率的图像生成一幅高分辨率的图像，具有广泛的应用价值。作为一个不适定问题，已经提出了许多方法来重建丢失的图像细节的基础上的样本或先验。在本文中，我们提出了一种快速和简单的单图像超分辨率的策略，利用分片sigmoid变换作为一个强加的锐化正则化项的重建，实现了惊人的重建性能。大量的实验与其他国家的最先进的方法相比，证明了所提出的算法的优越性和效率。
2017-11-05 cs.CV
Image Denoising and Super-Resolution using Residual Learning of Deep Convolutional Network
Indian Institute of Science（印度科学学院）
图像超分辨率和去噪是图像处理中的两个重要任务，可以导致图像质量的改善。图像超分辨率是将低分辨率图像映射到高分辨率图像的任务，而去噪是从噪声输入中学习干净图像的任务。我们提出并训练一个深度学习网络，我们称之为SuRDCNN（超分辨率和去噪卷积神经网络），以同时执行这两项任务。我们的模型几乎复制了现有最先进的深度学习模型的架构，用于超分辨率和去噪。我们使用经过验证的剩余学习策略，并得到该领域最先进网络的支持。我们训练的SuRDCNN能够在存在高斯噪声，泊松噪声或这两种噪声的任何随机组合的情况下超分辨率图像。
2018-09-21 cs.CV
End-to-End Learning of Video Super-Resolution with Motion Compensation
University of Freiburg（弗莱堡大学）
学习方法已经在给定低分辨率输入的超分辨率图像的任务中显示出巨大的成功。视频超分辨率的目的是利用额外的信息，从多个图像。典型地，图像经由光流和连续图像扭曲而相关。在本文中，我们提供了一个端到端的视频超分辨率网络，与以前的作品相比，包括估计的光流在整个网络架构。我们分析了用于视频超分辨率的光流的使用，并且发现常见的现成的图像变形不允许视频超分辨率从光流中受益很多。相反，我们提出了一种用于运动补偿的操作，其直接执行从低到高分辨率的扭曲。我们表明，这种网络配置，视频超分辨率可以受益于光流，我们得到了最先进的流行的测试集上的结果。我们还表明，整个图像的处理，而不是独立的补丁是负责一个大的准确性增加。
2017-07-03 cs.CV
WiSoSuper: Benchmarking Super-Resolution Methods on Wind and Solar Data
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；Defense Innovation Unit（国防创新单元）
向绿色能源电网的过渡取决于详细的风能和太阳能预测，以优化可再生能源发电的选址和调度。然而，数值天气预报模型的业务预报只有10至20公里的空间分辨率，这导致可再生能源农场的使用和发展不够理想。气象科学家一直在开发超分辨率方法来提高分辨率，但通常依赖于简单的插值技术或计算昂贵的基于微分方程的模型。最近，基于机器学习的模型，特别是物理信息的分辨率增强生成对抗网络（PhIREGAN），已经优于传统的降尺度方法。我们提供了领先的基于深度学习的超分辨率技术的全面和可扩展的基准，包括增强型超分辨率生成对抗网络（ESRGAN）和增强型深度超分辨率（EDSR）网络，用于风能和太阳能数据。我们伴随着一个新的公共，处理，机器学习准备数据集的基准测试超分辨率方法对风能和太阳能数据。
2021-09-23 cs.CV
Noise Conditional Flow Model for Learning the Super-Resolution Space
Seoul National University（首尔国立大学）；Lomin Inc.（Lomin公司）；Deepest
从根本上说，超分辨率是一个不适定问题，因为低分辨率图像可以从许多高分辨率图像。最近对超分辨率的研究不能创建多样化的超分辨率图像。尽管SRFlow试图通过在给定低分辨率图像的情况下预测多个高分辨率图像来解释超分辨率的不适定性质，但是存在改进多样性和视觉质量的空间。本文提出了一种适用于超分辨率的噪声条件流模型NCSR，通过噪声条件层提高图像的视觉质量和多样性。为了学习更多样化的数据分布，我们向训练数据添加噪声。然而，低质量的图像是由于添加噪声。我们提出了噪声条件层来克服这种现象。噪声条件层使我们的模型生成更多样化的图像，具有更高的视觉质量比其他作品。此外，我们表明，这一层可以克服数据分布不匹配，在规范化流模型中出现的问题。凭借这些优势，NCSR在多样性和视觉质量方面优于基线，并实现了比传统的基于GAN的模型更好的视觉质量。我们在NTIRE 2021挑战赛中也取得了优异的成绩。
2021-06-06 cs.CV
Memory-Augmented Non-Local Attention for Video Super-Resolution
JD AI Research（京东人工智能研究院）；JD Finance America Corporation（京东金融美国公司）
本文提出了一种新的视频超分辨率方法，旨在从低分辨率（LR）视频生成高保真高分辨率（HR）视频。先前的方法主要利用时间相邻帧来辅助当前帧的超分辨率。这些方法实现有限的性能，因为它们遭受空间帧对准的挑战和缺乏来自相似LR相邻帧的有用信息。相比之下，我们设计了一种跨帧非局部注意力机制，允许视频超分辨率而无需帧对齐，从而对视频中的大运动更加鲁棒。此外，为了获取相邻帧以外的信息，我们设计了一种新的记忆增强注意模块，用于在超分辨率训练过程中记忆一般视频细节。实验结果表明，我们的方法可以实现更优越的性能在大的运动视频相比，国家的最先进的方法没有对齐帧。我们的源代码将被释放。
2021-08-25 cs.CV
Multi-resolution Data Fusion for Super-Resolution Electron Microscopy
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Massachusetts Institute of Technology（麻省理工学院）；Air Force Research Laboratory（空军研究实验室）
也许令人惊讶的是，迄今为止收集的电子显微镜（EM）数据总量不到一立方毫米。因此，在材料和生物科学中存在以更高的速度和更低的剂量成像同时保持分辨率的巨大需求。基于均匀光栅顺序扫描的传统EM成像严重限制了可以收集的高分辨率数据的量，并且对理解诸如材料变形、裂纹扩展和热解的物理过程提出了根本性的限制。提出了一种新的超分辨率计算电磁多分辨率数据融合方法。我们的方法结合了创新的数据采集与新的算法技术，大大提高了分辨率/体积/速度的权衡。我们方法的关键是以低分辨率收集整个样本，同时以高分辨率收集一小部分数据。高分辨率测量然后用于创建在“即插即用”框架内使用的材料特定的块库，以显著提高低分辨率数据的超分辨率。我们目前的结果使用FEI电子显微镜的数据，证明超分辨率的因素，4倍，8倍和16倍，同时基本上保持高图像质量和减少剂量。
2016-11-28 cs.CV
Advances on CNN-based super-resolution of Sentinel-2 images
University Federico II（费德里科二世大学）
由于其时空覆盖范围和免费访问，Sentinel-2图像对社区来说非常有趣。然而，与现有技术的商业产品相比，相对粗糙的空间分辨率促使研究超分辨率技术以减轻这种限制。具体地说，第三个波段被同时感测，但在不同的空间分辨率：10，20和60米，这取决于光谱位置。在这里，基于我们以前的基于卷积神经网络（CNN）的方法，我们提出了一种改进的CNN解决方案，以超分辨率的20米分辨率频带，受益于伴随的10米光谱带传达的空间细节。
2019-02-07 cs.CV
Implicit Neural Representation for Video and Image Super-Resolution
Clemson University（克莱姆森大学）
本研究提出基于隐式神经表示的SR-INR方法，仅需低分辨率输入和3D高分辨率网格即可实现图像和视频超分辨率，无需光流或运动估计，在保持时序稳定性的同时降低了计算需求，性能优于现有先进方法。
2025-03-06 cs.CV
Joint-SRVDNet: Joint Super Resolution and Vehicle Detection Network
National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）；West Virginia University（西弗吉尼亚大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰伦公司）
在许多国内和军事应用中，飞行器检测和超分辨率算法经常被独立开发和应用。然而，由于超分辨率图像中缺乏区分信息，因此在超分辨率图像上进行飞行器检测仍然是一项具有挑战性的任务。为了解决这个问题，我们提出了一个联合超分辨率和车辆检测网络（联合SRVDNet），试图从低分辨率的航空图像中生成有区别的，高分辨率的车辆图像。首先，使用多尺度生成对抗网络（MsGAN）将航空图像放大4倍，该网络具有多个中间输出，分辨率不断增加。其次，在使用MsGAN架构放大4倍的超分辨率图像上训练检测器，最后，将检测损失与超分辨率损失一起最小化，以鼓励目标检测器对后续的超分辨率训练敏感。该网络联合学习目标的分层和区分特征，并产生最佳的超分辨率结果。我们执行定量和定性评估我们提出的网络上VEDAI，xView和DOTA数据集。实验结果表明，与现有的4倍放大倍数的航空超分辨率方法相比，本文提出的框架实现了更好的视觉质量，提高了车辆检测的准确性.
2020-05-03 cs.CV
Face hallucination using cascaded super-resolution and identity priors
University of Ljubljana, Faculty of Electrical Engineering（卢布尔雅那大学电气工程学院）；University of Notre Dame, Department of Computer Science and Engineering（圣母大学计算机科学与工程系）
在本文中，我们解决的问题，幻觉高分辨率的面部图像从未对齐的低分辨率输入在高放大倍数。我们用卷积神经网络（CNN）来解决这个问题，并提出了一种新的（深度）人脸幻觉模型，该模型将身份先验纳入学习过程。该模型由两个主要部分组成：i）级联的超分辨率网络，其放大低分辨率图像，以及ii）在训练期间充当超分辨率网络的身份先验的人脸识别模型的集合。不同于竞争超分辨率方法，通常依赖于一个单一的模型进行放大（即使放大倍数很大），我们的网络使用级联的多个SR模型，逐步放大低分辨率图像使用步骤$2\times$。这一特性使我们能够在不同的分辨率下应用监督信号（目标外观），并在多尺度上结合身份约束。我们的模型能够放大在不受约束的条件下捕获的（非常）低分辨率图像，并产生视觉上令人信服的结果。我们在大型面部图像数据集上严格评估了所提出的模型，并报告了与最先进技术相比的优越性能。
2019-02-11 cs.CV
Reference-Conditioned Super-Resolution by Neural Texture Transfer
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Adobe Research（奥多比研究院）
随着深度学习技术的发展，我们见证了单图像超分辨率的巨大进步。然而，由于图像缩小过程的显著信息损失，进一步推进现有技术变得极具挑战性，特别是对于大的放大因子。本文提出了一种新的超分辨率研究方向，即参考条件下的超分辨率，即在低分辨率图像的基础上，增加一幅包含所需高分辨率纹理细节的参考图像。我们专注于将参考图像的高分辨率纹理转换为超分辨率过程，而不受参考图像和目标图像之间的内容相似性的约束，这是与以前基于示例的方法的关键区别。受最近图像风格化工作的启发，我们通过神经纹理转移来解决这个问题。我们设计了一个端到端的可训练深度模型，该模型通过自适应地融合来自低分辨率图像的内容与来自参考图像的纹理图案来生成细节丰富的结果。我们为基于参考的超分辨率的一般研究创建了一个基准数据集，其中包含与具有不同相似度的低分辨率输入配对的参考图像。客观和主观的评价表明，使用参考图像的巨大潜力，以及我们的结果优于其他国家的最先进的方法。
2018-04-10 cs.CV
Label Super Resolution with Inter-Instance Loss
Stony Brook University（石溪大学）；Microsoft Research（微软研究院）；Yale University（耶鲁大学）
对于语义分割的任务，收集高分辨率（像素级）基础事实是非常昂贵的，特别是对于诸如千兆像素病理图像的高分辨率图像。另一方面，为这些高分辨率图像收集低分辨率标签（像素块的标签）更具成本效益。在这些低分辨率标签上训练的传统方法只能给出低分辨率的预测。现有的最先进的标签超分辨率（LSR）方法能够预测高分辨率标签，仅使用低分辨率监督，给定低分辨率和高分辨率标签之间的联合分布。然而，它没有考虑在理想的数学公式中至关重要的实例间方差。在这项工作中，我们提出了一种新的损失函数建模的实例间方差。我们测试我们的方法在现实世界中的应用：浸润性乳腺癌区域分割的组织病理学幻灯片。实验结果表明了该方法的有效性。
2020-01-07 cs.CV
Variational local structure estimation for image super-resolution
Brown University（布朗大学）
超分辨率是图像/视频处理中一个重要但困难的问题。如果除了给定的低分辨率图像之外的视频序列或一些训练集是可用的，则这种额外信息可以极大地帮助重构高分辨率图像。如果手头上只有一张低分辨率的图像，这个问题就更加困难了。主要设计用于去噪的图像重建方法不足以解决超分辨率问题，因为它倾向于在基本上没有噪声的情况下过度平滑图像。本文基于变分方法，受局部线性嵌入（LLE）的启发，提出了一种新的自适应线性插值方法。实验结果表明，该方法避免了过平滑问题，较好地保留了图像结构。
2007-09-12 cs.CV
Deep Learning for Isotropic Super-Resolution from Non-Isotropic 3D Electron Microscopy
HHMI Janelia Research Campus（霍华德·休斯医学研究所珍妮莉亚研究园区）
从非各向同性电子显微镜（EM）生成3D各向同性超分辨率（SR）的最复杂的现有方法是基于学习字典的。不幸的是，现有的方法都没有产生实际上令人满意的结果。对于2D自然图像，最近开发的使用深度学习的超分辨率方法已被证明显著优于先前的最先进技术。我们将最成功的架构之一（FSRCNN）用于3D超分辨率，并将其性能与之前未用于生成超分辨率的3D U-Net架构进行了比较。我们在来自聚焦离子束铣削扫描EM（FIB-SEM）的人工缩小的各向同性地面实况上训练了这两种架构，并测试了各种超参数设置的性能。我们的研究结果表明，这两种架构都可以成功地从非各向同性EM中生成3D各向同性超分辨率，其中U-Net的性能始终更好。我们提出了几个有前途的实际应用方向。
2017-06-09 cs.CV
Learning a No-Reference Quality Metric for Single-Image Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；University of California at Merced（加州大学默塞德分校）
文献中已经提出了许多单图像超分辨率算法，但很少有研究解决基于视觉感知的性能评估问题。虽然大多数超分辨率图像都是通过全参考指标进行评估的，但其有效性并不清楚，而且在实践中所需的地面实况图像并不总是可用的。为了解决这些问题，我们进行人类受试者的研究，使用一个大的超分辨率图像集，并提出了一个无参考度量从视觉感知分数。具体来说，我们在空间和频率域中设计了三种类型的低级统计特征来量化超分辨率伪影，并学习两阶段回归模型来预测超分辨率图像的质量分数，而无需参考地面实况图像。大量的实验结果表明，该指标是有效的和高效的评价超分辨率图像的质量基于人类的感知。
2016-12-18 cs.CV
Semantic-Aware Depth Super-Resolution in Outdoor Scenes
NICTA（澳大利亚国家信息与通信技术研究院）；EPFL（洛桑联邦理工学院）
虽然深度传感器越来越受欢迎，但它们的空间分辨率通常仍然有限。因此，深度超分辨率作为该问题的解决方案而出现。尽管取得了很大进展，但现有技术存在两个缺点：（i）它们依赖于强度边缘与深度不连续性重合的假设，不幸的是，这仅在受控环境中是真实的;以及（ii）它们通常利用高分辨率训练深度图的可用性，由于传感器的限制，在实践中通常不能获取高分辨率训练深度图。相比之下，在这里，我们介绍了一种在更具挑战性的条件下（例如在户外场景中）执行深度超分辨率的方法。为此，我们首先提出利用语义信息来更好地约束超分辨率过程。特别是，我们设计了一个共稀疏分析模型，从联合强度，深度和语义信息中学习过滤器。此外，我们还展示了如何在我们的学习策略中使用低分辨率训练深度图。我们证明了我们的方法的好处，超过国家的最先进的深度超分辨率方法在两个室外场景数据集。
2016-05-31 cs.CV
Depth Super-Resolution Meets Uncalibrated Photometric Stereo
Computer Vision Group, Technical University of Munich（慕尼黑工业大学计算机视觉组）；Erasmus Mundus Masters in Vision and Robotics (VIBOT)（伊拉斯谟世界计划视觉与机器人硕士项目（VIBOT））
提出了一种新的RGB-D传感器深度超分辨率方法。它通过高分辨率光度线索消除深度超分辨率的歧义，并且对称地，它通过低分辨率深度线索消除未校准的光度立体。为此，从相同的视角获取RGB-D序列，同时从各种未校准的方向照射场景。这个序列是由一个变分框架，适合高分辨率的形状和反射率，以及照明，低分辨率的深度测量和高分辨率的RGB的。关键的新颖之处在于一个新的基于PDE的光度立体正则化隐式确保表面的规则性。这允许以纯数据驱动的方式执行深度超分辨率，而不需要任何特定的先前或材料校准。使用开箱即用的RGB-D传感器和手持式LED光源进行真实世界的实验。
2017-08-24 cs.CV
Deep Back-Projection Networks For Super-Resolution
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
最近提出的深度超分辨率网络的前馈架构学习低分辨率输入的表示，以及从这些到高分辨率输出的非线性映射。然而，这种方法不能完全解决低分辨率和高分辨率图像的相互依赖性。我们提出了深度反投影网络（DBPN），它利用迭代的上下采样层，为每个阶段的投影误差提供误差反馈机制。我们构建相互连接的上采样和下采样阶段，每个阶段代表不同类型的图像退化和高分辨率组件。我们表明，扩展这一想法，允许跨上采样和下采样阶段（密集DBPN）的功能级联，使我们能够重建进一步提高超分辨率，产生更好的结果，特别是建立新的最先进的结果，如跨多个数据集的8倍大比例因子。
2018-03-07 cs.CV
Task-driven single-image super-resolution reconstruction of document scans
Silesian University of Technology（西里西亚工业大学）
本文提出任务驱动的单图像超分辨率深度网络，通过融合文本检测与图像相似性的多任务损失改进文档扫描的OCR预处理。
2025-03-18 cs.CV
Compressed Depth Map Super-Resolution and Restoration: AIM 2024 Challenge Results
University of Würzburg（维尔茨堡大学）；Sony PlayStation（索尼互动娱乐 PlayStation）；Meta Reality Labs（元宇宙实境实验室）
本文总结了AIM 2024挑战赛结果，针对压缩深度图尺寸大且易因压缩损失质量的问题，提出开发创新的深度上采样技术以从压缩数据中重建高质量深度图，旨在推进深度处理技术并提升AR/VR用户体验。
2024-09-24 cs.CV eess.IV
AIM 2020 Challenge on Efficient Super-Resolution: Methods and Results
ETH Zurich（苏黎世联邦理工学院）
本文回顾了AIM 2020在高效单图像超分辨率方面的挑战，重点介绍了提出的解决方案和结果。挑战任务是基于一组先前的低分辨率图像和对应的高分辨率图像的示例，以放大因子x4超分辨率地解析输入图像。我们的目标是设计一个网络，减少一个或几个方面，如运行时间，参数计数，FLOP，激活和内存消耗，同时至少保持MSRResNet的PSNR。该赛道有150名注册参赛者，25支球队提交了最终结果。他们衡量了最先进的高效单图像超分辨率。
2020-09-15 cs.CV eess.IV
Semi-Supervised Super-Resolution
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
超分辨率是一种通过提高低分辨率照片的合理分辨率来提高其质量的技术。计算机视觉社区已经广泛探索了超分辨率领域。然而，以前的超分辨率方法需要大量的数据进行训练，这在低分辨率、高分辨率对很少可用的领域中变得有问题。其中一个领域是统计降尺度，即越来越多地使用超分辨率从低分辨率数据中获取高分辨率气候信息。获取高分辨率的气候数据是极其昂贵和具有挑战性的。为了降低生成高分辨率气候信息的成本，超分辨率算法应该能够用有限数量的低分辨率、高分辨率对进行训练。本文试图通过引入一种半监督的方法来解决上述问题，以执行超分辨率，可以生成清晰，高分辨率的图像，只需500对样本。所提出的半监督技术可以用作任何基于监督GAN的超分辨率方法的即插即用模块，以提高其性能。我们定量和定性地分析了该模型的性能，并将其与完全监督的方法以及其他无监督技术进行了比较。综合评价表明，我们的方法优于其他方法在不同的指标。我们还提供了我们的方法在统计降尺度，以获得高分辨率的气候图像的适用性。
2022-04-19 cs.CV eess.IV
High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore（新加坡国立大学）
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题，提出基于结果质量的退化控制器和特征对齐正则化器，通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Real-World Single Image Super-Resolution Under Rainy Condition
Old Dominion University（老道明大学）
图像超分辨率是计算机视觉领域的一个重要研究方向，在监控、医学成像等领域有着广泛的应用。在恶劣天气条件下，单图像超分辨率的提高还有很大的空间。本文提出了一种在雨天条件下实现真实世界单幅图像超分辨率的新算法。我们提出的方法可以减轻图像超分辨率过程中雨天条件的影响。实验结果表明，该算法可以实现图像的超分辨率，降低了降雨对图像的影响。
2022-06-16 cs.CV eess.IV
Auxiliary Features-Guided Super Resolution for Monte Carlo Rendering
Portland State University（波特兰州立大学）
本文提出利用高分辨率辅助特征引导低分辨率渲染的超分辨率方法，通过跨模态Transformer网络和残差密集连接的Swin Transformer组融合特征，有效加速蒙特卡洛渲染并提升渲染质量。
2023-10-20 cs.CV cs.GR
STRESS: Super-Resolution for Dynamic Fetal MRI using Self-Supervised Learning
MIT（麻省理工学院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
在常规MR扫描时间范围内，胎儿运动是不可预测的且快速的。因此，旨在捕获胎儿运动和胎儿功能动态的动态胎儿MRI限于图像质量和分辨率折衷的快速成像技术。用于动态胎儿MRI的超分辨率仍然是一个挑战，特别是当用于过采样的图像切片的多方向堆叠不可用时，并且期望用于记录胎儿或胎盘的动态的高时间分辨率。此外，胎儿运动使得难以获取用于监督学习方法的高分辨率图像。为了解决这个问题，在这项工作中，我们提出了应力（时空分辨率增强与模拟扫描），一个自我监督的超分辨率框架动态胎儿MRI与交错切片采集。我们提出的方法模拟了交错切片采集沿高分辨率轴上的原始采集数据，以生成对低分辨率和高分辨率图像。然后，它通过利用MR时间序列中的空间和时间相关性来训练超分辨率网络，用于提高原始数据的分辨率。对模拟和子宫内数据的评估表明，我们提出的方法优于其他自监督超分辨率方法，提高了图像质量，这有利于其他下游任务和评估。
2021-06-30 cs.CV eess.IV
AIM 2024 Challenge on Efficient Video Super-Resolution for AV1 Compressed Content
University of Würzburg（维尔茨堡大学）；Sony PlayStation（索尼 PlayStation）；Meta；Netflix Inc.（网飞公司）
本报告总结了 AIM 2024 挑战赛，提出端到端实时视频超分辨率框架，通过减少参数和计算量实现高帧率，并在 VMAF 和 PSNR 上优于插值基线。
2024-09-25 cs.CV cs.GR cs.MM
Improved Super Resolution of MR Images Using CNNs and Vision Transformers
Inception Institute of AI（人工智能初创研究所）
使用卷积神经网络（CNN）的现有技术磁共振（MR）图像超分辨率方法（ISR）由于CNN的有限空间覆盖而利用有限的上下文信息。Vision Transformers（ViT）可以更好地学习全局背景，有助于生成高质量的HR图像。我们将CNN的局部信息和ViTs的全局信息相结合，以实现图像超分辨率，并输出比最先进方法产生的图像质量更高的超分辨率图像。我们包括额外的限制，通过多个新的损失函数，保留结构和纹理信息，从低分辨率到高分辨率的图像。
2022-07-24 cs.CV eess.IV
Multi-Reference Image Super-Resolution: A Posterior Fusion Approach
基于参考的超分辨率（RefSR）方法最近被提出来通过从高分辨率图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过允许并入更多信息来扩展此方法。本文提出了一种两步加权后验融合方法，将RefSR模型的输出与多个参考相结合。在CUFED 5数据集上的大量实验表明，所提出的方法可以应用于各种最先进的RefSR模型，以获得一致的图像质量改善。
2022-12-20 cs.CV eess.IV
Combination of Single and Multi-frame Image Super-resolution: An Analytical Perspective
University of Tehran（德黑兰大学）
超分辨率是从一个或多个低分辨率图像获得高分辨率图像的过程。单帧超分辨率（SISR）和多帧超分辨率（MFSR）方法已经发展了很多年。在这一领域被忽视的研究是寻找SISR和MFSR的最佳组合的理论分析。为了填补这一空白，我们提出了一种新的理论分析的基础上的迭代收缩和阈值算法。我们实现和比较几种方法相结合的SISR和MFSR，和模拟结果支持我们的理论分析，定量和定性的发现。
2023-03-06 cs.CV eess.IV
How Real is Real: Evaluating the Robustness of Real-World Super Resolution
University of Edinburgh（爱丁堡大学）
图像超分辨率（Image Super-resolution，SR）是计算机视觉中的一个领域，其关注于从相应的低分辨率图像重建高分辨率图像。然而，超分辨率是一个众所周知的不适定问题，因为大多数方法依赖于对高分辨率图像执行的下采样方法来形成已知的低分辨率图像。不幸的是，这在现实生活中的超分辨率应用程序中并不存在，例如提高手机上拍摄的照片的质量。在本文中，我们将评估多种最先进的超分辨率方法，并在呈现各种类型的真实图像时衡量它们的性能，并讨论每种方法的优点和缺点。我们还介绍了一个新的数据集，WideRealSR，包含来自各种来源的真实图像。最后，通过仔细的实验和评估，我们将提出一个潜在的解决方案，以减轻泛化问题，这是迫在眉睫的最先进的超分辨率模型。
2022-10-22 cs.CV eess.IV
Blind Image Super-Resolution with Spatial Context Hallucination
Department of Computing Science University of Alberta（阿尔伯塔大学计算机科学系）
由于高性能计算的惊人改进，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中发挥着至关重要的作用。然而，大多数的超分辨率（SR）方法只专注于恢复双三次退化。从随机模糊和噪声的低分辨率图像重建高分辨率图像仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的空间上下文幻觉网络（SCHN）的盲超分辨率不知道退化核。我们发现，当模糊核未知时，单独的去模糊和超分辨率会因为误差的积累而限制性能。因此，我们将去噪，去模糊和超分辨率集成在一个框架内，以避免这样的问题。我们在两个高质量的数据集DIV2K和Flickr2K上训练我们的模型。当输入图像被随机模糊和噪声破坏时，我们的方法比最先进的方法表现得更好。
2020-09-25 cs.CV eess.IV
