A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data
Systems and Technology Research(系统与技术研究院)
随着超分辨率(SR)作为一个研究课题的成熟,它已被应用到图像重建以外的其他课题。特别地,将分类或目标检测任务与超分辨率预处理阶段相结合已经产生了准确性的改进,特别是对于相对于场景较小的对象。虽然SR已经显示出前景,但是还没有进行比较SR和朴素的放大方法(诸如最近邻(NN)插值)在作为目标检测的预处理步骤时的研究。我们将该主题应用于卫星数据,并将多尺度深度超分辨率(MDSR)系统与xView挑战数据集上的NN进行比较。为此,我们提出了一个处理卫星数据的管道,它结合了多级图像拼接和放大,YOLOv2目标检测架构和标签拼接。我们比较了使用放大因子为4的训练模型的效果,将图像从30 cm地面样本距离(GSD)放大到7.5 cm的有效GSD。通过该因子进行升级可以显著改善检测结果,将一般车辆类别的平均精度(AP)提高23%。我们证明了,虽然SR产生的放大图像比NN对应的图像在视觉上更令人愉悦,但目标检测网络在准确性上几乎没有差异,使用NN进行上采样的图像与MDSRx4增强图像的结果几乎相同,两种方法之间的差异为0.0002 AP。
2019-07-08 cs.CV cs.LG eess.IV
MagnifiQ: Patch-aware Text Guided Progressive Upscaling for High-Resolution Image Restoration
Qualcomm AI Research(高通人工智能研究中心)
MagnifiQ是一种跨分辨率渐进式上采样的图像修复框架,替换扩散模型自注意力层为线性计算卷积,采用补丁文本提示,在4K图像修复中性能优于现有方法,实现速度与质量的实用权衡。
2026-08-17 cs.CV
Invertible Image Rescaling
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Toronto University(多伦多大学)
高分辨率的数字图像通常被缩小以适应不同的显示屏幕或节省存储和带宽的成本,同时后放大被用来恢复原始分辨率或放大图像中的细节。然而,典型的图像降尺度是一个非内射映射,由于高频信息的丢失,导致逆升尺度过程的不适定问题,给从降尺度后的低分辨率图像中恢复细节带来了很大的挑战。单纯的图像超分辨率方法会导致图像恢复效果不理想。在这项工作中,我们建议解决这个问题,从一个新的角度,即可逆的双射变换,它可以在很大程度上减轻不适定性的图像放大建模的降尺度和升尺度的过程。我们开发了一个可逆的重新缩放网络(IRN)与故意设计的框架和目标,以产生视觉上令人愉快的低分辨率图像,同时捕获丢失的信息的分布使用一个潜变量遵循指定的分布在降尺度过程中。通过这种方式,通过将随机绘制的潜变量与低分辨率图像反向传递通过网络,使放大变得易于处理。实验结果表明,我们的模型显着改善现有的方法在定量和定性评价的图像放大重建从降尺度图像。
2020-05-12 cs.CV cs.LG eess.IV
Multi-scale deep neural networks for real image super-resolution
Fudan University(复旦大学)
单图像超分辨率(SR)是非常困难的,如果图像对的放大因子是未知的,并且彼此不同,这是常见的在真实图像SR。为了解决这个困难,我们在这项工作中开发了两个多尺度深度神经网络(MsDNN)。首先,由于高分辨率空间的高计算复杂度,我们主要在两个不同的降尺度空间中处理输入图像,这可以大大降低GPU内存的使用。然后,为了重建图像的细节,我们设计了一个多尺度残差网络(MsRN)在降尺度空间的基础上的残差块。此外,我们提出了一个多尺度的密集网络的基础上的密集块与MsRN进行比较。最后,我们的实证实验表明,MsDNN的鲁棒性图像SR时,放大因子是未知的。根据NTIRE 2019图像SR挑战赛的初步结果,我们的团队(ZXHresearch@fudan)在所有参与者中排名第21位。MsDNN的实现发布于https://github.com/shangqigao/gsq-image-SR
2019-04-24 cs.CV
Multi-scale Super-resolution Magnetic Resonance Spectroscopic Imaging with Adjustable Sharpness
Yale University(耶鲁大学);Medical University of Vienna(维也纳医科大学)
磁共振波谱成像(MRSI)是研究人体代谢活动的重要工具,但目前的应用局限于低空间分辨率。现有的基于深度学习的MRSI超分辨率方法需要为每个放大因子训练单独的网络,这是耗时且内存效率低的。我们使用滤波器缩放策略来解决这个多尺度超分辨率问题,该策略基于放大因子来调制卷积滤波器,使得单个网络可以用于各种放大因子。观察到每个代谢物具有不同的空间特征,我们还根据特定的代谢物调节网络。此外,我们的网络以对抗性损失的权重为条件,以便可以在单个网络内调整超分辨率代谢图的感知锐度。我们将这些网络条件使用一种新的多条件模块。实验在15例高级别胶质瘤患者的1H-MRSI数据集上进行。结果表明,该网络实现了最好的性能在几个多尺度的超分辨率方法,并可以提供超分辨率代谢地图与可调的清晰度。
2022-06-17 cs.CV cs.LG eess.IV
edge-SR: Super-Resolution For The Masses
BOE Technology Group Co., Ltd.(京东方科技集团股份有限公司)
经典的图像缩放(例如双三次)可以被视为一个卷积层和一个放大滤波器。其实现在所有显示器和图像处理软件中普遍存在。在过去的十年中,深度学习系统被引入用于图像超分辨率(SR)任务,使用多个卷积层和大量过滤器。这些方法已经接管了升级任务的图像质量基准。是否有可能在显示面板、平板电脑、膝上计算机等边缘设备上用深度学习架构取代经典的升级器?一方面,目前Edge-AI芯片的趋势显示出这一方向的光明前景,可以有效运行深度学习任务的硬件正在快速发展。另一方面,在镜像SR中,只有少数架构将极限推到了可以在边缘设备上实时运行的极小尺寸。我们探索这个问题的可能解决方案,旨在填补经典升级器和小型深度学习配置之间的空白。作为从经典到深度学习升级的过渡,我们提出了边缘SR(eSR),这是一组使用可解释机制来升级图像的单层架构。当然,单层架构无法达到深度学习系统的质量。然而,我们发现,对于高速要求,eSR在权衡图像质量和运行时性能方面变得更好。填补经典和深度学习架构之间的图像升级差距对于大规模采用这项技术至关重要。同样重要的是要有一个可解释的系统,可以揭示解决这个问题的内在策略,并指导我们未来的改进和更好地理解更大的网络。
2021-10-15 cs.CV cs.LG eess.IV
Deep Learning based Super-Resolution for Medical Volume Visualization with Direct Volume Rendering
University of Central Florida(中佛罗里达大学)
现代显示系统需要高质量的渲染。然而,以更高的分辨率渲染需要大量的数据样本并且在计算上昂贵。基于深度学习的图像和视频超分辨率技术的最新进展促使我们研究这种网络,以将以较低分辨率渲染的帧高保真度提升到更高分辨率。虽然我们的工作主要集中在超分辨率的医学体可视化与直接体渲染,它也适用于体可视化与其他渲染技术。我们提出了一种基于学习的技术,我们提出的系统使用颜色信息以及从我们的体积渲染器收集的其他补充功能,以学习有效的提升低分辨率渲染到更高分辨率的空间。此外,为了提高时间稳定性,我们还实现了时间重投影技术,积累历史样本的体积绘制。
2022-10-14 cs.CV cs.GR cs.LG
Super Efficient Neural Network for Compression Artifacts Reduction and Super Resolution
Amazon Lab126(亚马逊Lab126)
针对流媒体低码率下压缩伪影及现有方法无法同步消伪影与超分的问题,提出带增强特征层和定制数据集的轻量CNN算法,可同步完成两项任务,VMAF得分较传统方法提升4-6分。
2024-01-26 cs.CV eess.IV
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge(剑桥大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心);University of Warwick(华威大学)
基于深度学习的盲超分辨率(SR)方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率(LR)图像中准确地估计未知的降尺度内核,以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的,但它们主要是基于图像的,因此不利用多个视频帧中内核的时间特性。在本文中,我们研究了内核的时间特性,并强调了其在盲视频超分辨率任务中的重要性。具体来说,我们测量了真实世界的视频的内核时间一致性,并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解,我们重新审视了以前流行的视频SR方法,并表明,在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时,放大现实世界的视频。为了抵消这一点,我们定制了现有的单图像和视频SR技术,以利用内核的一致性,在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明,在定量和定性上都有很大的恢复收益,实现了盲视频SR的最新技术水平,并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
Enhancing Image Rescaling using Dual Latent Variables in Invertible Neural Network
University of Southern California(南加州大学);Baidu Research (USA)(百度研究院(美国))
归一化流模型通过可逆神经网络(INN)将自然图像的复杂分布近似为潜在空间中的简单易处理分布,已成功地用于生成图像超分辨率(SR)。这些模型可以使用潜空间中的随机采样点从一个低分辨率(LR)输入生成多个真实的SR图像,模拟图像放大的不适定性质,其中多个高分辨率(HR)图像对应于相同的LR。最近,INN中的可逆过程也已成功地用于双向图像重新缩放模型,如IRN和HCFlow,用于联合优化降尺度和逆升尺度,从而显着提高了升尺度图像质量。虽然它们也针对图像缩小进行了优化,但没有考虑图像缩小的不适定性质,其中一个HR图像可以根据不同的插值内核和重新缩放方法缩小为多个LR图像。一个新的降尺度潜变量,除了原来的一个代表图像放大的不确定性,被引入到模型中的图像降尺度过程中的变化。这种双潜变量增强适用于不同的图像缩放模型,它是在广泛的实验表明,它可以提高图像放大精度一致,而不牺牲图像质量在缩小LR图像。它也被证明是有效的,在增强其他基于INN的模型,如图像隐藏的图像复原应用。
2022-07-24 cs.CV eess.IV
MUJICA: Reforming SISR Models for PBR Material Super-Resolution via Cross-Map Attention
提出跨图注意力适配器MUJICA,重构预训练SISR模型以解决PBR材质超分辨率中的跨图不一致等问题,在有限资源下实现高效训练并取得SOTA性能。
2025-08-13 cs.CV
Convolutional Neural Networks with Intermediate Loss for 3D Super-Resolution of CT and MRI Scans
University of Bucharest(布加勒斯特大学);``Carol Davila'' University of Medicine and Pharmacy(“卡罗尔·达维拉”医药大学);Colțea Hospital(科尔采亚医院)
提出一种基于10层卷积层和中间上采样层的深度CNN方法,用于CT和MRI扫描的3D超分辨率,通过中间损失和可变标准差高斯平滑提升性能,在2D和3D超分辨率任务上优于现有方法和插值基线。
2023-04-06 cs.CV cs.LG eess.IV
Deep Learning for Cornea Microscopy Blind Deblurring
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
该项目的目标是构建一个深度学习解决方案,用于消除角膜扫描的模糊,用于医疗检查。眼睛的球形形状使眼科医生无法获得完全清晰的图像。我们的方法是建立一个模型,使用SR(超分辨率)网络执行图像的放大。
2020-06-25 cs.CV
Implicit Neural Representation for Video Restoration
Clemson University, School of Computing(克莱姆森大学计算机学院)
提出基于隐式神经表示的 VR-INR,仅用 ×4 尺度训练即可泛化到任意超分辨率尺度,并对含噪视频实现零样本去噪,重建质量优于现有方法。
2025-06-05 cs.CV
You Only Landmark Once: Lightweight U-Net Face Super Resolution with YOLO-World Landmark Heatmaps
Università degli Studi di Milano(米兰大学);Istituto Italiano di Tecnologia(意大利理工学院)
提出轻量级U-Net,利用YOLO-World生成的地标热图作为监督,无需额外训练辅助网络,实现8倍人脸超分辨率重建,提升关键区域细节。
2026-06-05 cs.CV
Effective Invertible Arbitrary Image Rescaling
Baidu Research (USA)(百度研究院(美国));Baidu Inc.(百度公司)
使用深度学习技术进行固定尺度的图像超分辨率(SR)已经取得了巨大的成功。为了增加其在现实世界中的适用性,许多模型也被提出来恢复具有任意比例因子的SR图像,包括不对称的模型,其中图像沿着水平和垂直方向被调整到不同的尺度。虽然大多数模型仅针对单向放大任务进行优化,同时假设低分辨率(LR)输入的预定义缩小内核,但最近基于可逆神经网络(INN)的模型能够通过联合优化缩小和放大周期来显着提高放大精度。然而,受INN架构的限制,它受限于固定的整数比例因子,并且每个比例需要一个模型。在不增加模型复杂度的前提下,提出了一种简单有效的可逆任意尺度变换网络(IARN),通过训练一个模型实现任意图像尺度变换。通过使用位置感知尺度编码和抢占式通道分割等创新组件,网络经过优化,可将不可逆的重新缩放周期转换为有效的可逆过程。它示出,以实现一个国家的最先进的(SOTA)的性能,在双向任意重新缩放,而不影响LR输出的感知质量。它也被证明可以在使用相同网络架构的非对称规模的测试中表现良好。
2022-09-26 cs.CV eess.IV
Advanced Super-Resolution using Lossless Pooling Convolutional Networks
Queen Mary University of London(伦敦玛丽女王大学)
在本文中,我们提出了一种用于静态图像超分辨率的基于深度学习的新方法,与主流模型不同,该方法不仅依赖于输入的低分辨率图像来进行高质量上采样,而且利用了一组人工创建的输入图像的辅助自副本,这些副本被并入神经网络中以创建增强且准确的上尺度方案。包含所提出的无损池化层和输入自副本的融合使模型能够利用相同内容的多个实例之间的高相关性,并最终导致超分辨率的质量的显著改善,这是通过广泛的评估确认的。
2018-12-14 cs.CV
QuickSRNet: Plain Single-Image Super-Resolution Architecture for Faster Inference on Mobile Platforms
Qualcomm AI Research(高通人工智能研究院)
QuickSRNet提出一种简洁高效的单图像超分辨率架构,在移动平台上实现更优的精度-延迟权衡,通过训练技巧加速残差网络并保持量化鲁棒性,2倍放大至1080p仅需2.2毫秒,适合高帧率实时应用。
2023-05-14 cs.CV cs.LG eess.IV
MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors
Samsung AI Center(三星人工智能中心);University of Oxford(牛津大学)
近年来,卷积网络在超分辨率(SR)图像复原任务中表现出前所未有的性能。SR需要放大单个低分辨率图像以满足特定应用的图像质量需求,并且在移动设备中起着关键作用。为了遵守隐私法规并减少云计算的开销,在设备上本地执行SR模型构成了一种关键的替代方法。然而,SR工作负载的过度计算和存储器需求对在资源受限的移动平台上映射SR网络提出了挑战。这项工作提出了一种新的框架,用于执行高效的超分辨率的设备上的WGSR。给定一个目标移动平台,所提出的框架认为流行的模型压缩技术和遍历的设计空间,以达到最高性能的图像质量和处理速度之间的权衡。在运行时间,一种新的调度程序调度传入的图像补丁到适当的模型引擎对补丁的估计的放大难度的基础上,以满足所需的图像质量与最小的处理延迟。定量评估表明,所提出的框架产生的设备上SR设计,实现了2.13倍的平均加速比高度优化的并行困难,不知道映射和4.79倍的高度优化的单计算引擎实现。
2019-08-21 cs.CV cs.DC
Deep Learning-based Image Super-Resolution Considering Quantitative and Perceptual Quality
Yonsei University(延世大学)
最近,已经表明,在超分辨率中,在超分辨率图像的定量和感知质量之间存在折衷关系,其分别对应于与地面实况图像的相似性和自然度。在本文中,我们提出了一种新的超分辨率方法,可以提高感知质量的放大图像,同时保持传统的定量性能。所提出的方法采用深度网络进行多遍升级,同时使用一个神经网络和两个定量分数预测器网络。实验结果表明,该方法实现了定量和感知质量的良好平衡,表现出更令人满意的结果比现有的方法。
2019-04-19 cs.CV
Image Super-Resolution Using T-Tetromino Pixels
提出由四个 T 形四格拼板构成的像素合并布局,并结合 LFCR 网络重建,在低光照或高帧率成像下显著提升单图像超分辨率质量。
2023-03-22 cs.CV eess.IV
BLADE: Filter Learning for General Purpose Computational Photography
Google Research(谷歌研究院)
Romano、Isidoro和Milanfar的快速准确图像超分辨率(RAISR)方法是一种使用一组训练过的滤波器的计算效率高的图像放大方法。我们描述了一个泛化的RAISR,我们命名为最佳线性自适应增强(BLADE)。这种方法是一种可训练的边缘自适应滤波框架,它是通用的,简单的,计算效率高,适用于计算摄影中的各种问题。我们展示了可能出现在相机管道中的操作的应用程序,包括去噪,去马赛克和风格化。
2017-12-07 cs.CV
Large Receptive Field Networks for High-Scale Image Super-Resolution
Ryerson University(瑞尔森大学)
卷积神经网络是近年来单图像超分辨率快速发展的支柱。然而,现有的网络非常深,具有许多网络参数,因此具有大的存储器占用并且对训练具有挑战性。我们提出了大感受野网络,它致力于直接扩大超分辨率网络的感受野,而不增加深度或参数计数。特别是,我们使用两种不同的方法来扩大网络的感受野:1-D可分离的内核和atrous卷积。我们进行了大量的实验来研究1-D可分离内核和atrous卷积的各种排列方案在精度(PSNR / SSIM),参数计数和速度方面的性能,同时专注于更具挑战性的高升级因子。广泛的基准评估证明了我们的方法的有效性。
2018-04-22 cs.CV
Towards High-Quality and Efficient Video Super-Resolution via Spatial-Temporal Data Overfitting
Clemson University(克莱姆森大学);William & Mary(威廉与玛丽学院)
提出利用时空信息划分视频块并过拟合的STDO方法,实现高质量实时视频超分辨率,较现有方法速度提升14倍、PSNR提高2.29 dB。
2023-06-18 cs.CV cs.LG cs.NE
Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
Twitter(推特)
最近,基于深度神经网络的几个模型在重建精度和计算性能方面都取得了巨大的成功,用于单图像超分辨率。在这些方法中,低分辨率(LR)输入图像在重建之前使用单个滤波器(通常为双三次插值)被放大到高分辨率(HR)空间。这意味着在HR空间中执行超分辨率(SR)操作。我们证明,这是次优的,并增加了计算复杂性。在本文中,我们提出了第一个卷积神经网络(CNN),能够在单个K2 GPU上对1080 p视频进行实时的【形】SR。为了实现这一点,我们提出了一种新的CNN架构,其中的特征图提取在LR空间。此外,我们还引入了一个高效的子像素卷积层,它学习一系列放大滤波器,以将最终的LR特征映射放大到HR输出中。通过这样做,我们有效地将SR流水线中手工制作的双三次滤波器替换为针对每个特征图专门训练的更复杂的放大滤波器,同时还降低了整个SR操作的计算复杂性。我们使用来自公开数据集的图像和视频对所提出的方法进行了评估,结果表明它的性能明显更好(图像上为+0.15dB,视频上为+0.39dB),并且比以前基于CNN的方法快一个数量级。
2016-09-23 cs.CV stat.ML
Enhanced Deep Residual Networks for Single Image Super-Resolution
Seoul National University(首尔大学)
随着深度卷积神经网络(DCNN)的发展,最近对超分辨率的研究取得了进展。特别是,残差学习技术表现出改进的性能。在本文中,我们开发了一种增强的深度超分辨率网络(EDSR),其性能超过了当前最先进的SR方法。我们的模型的显着性能改善是由于通过删除传统残差网络中不必要的模块进行优化。通过扩大模型大小,同时稳定训练过程,进一步提高了性能。我们还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法,它可以在单个模型中重建不同放大因子的高分辨率图像。所提出的方法在基准数据集上显示出优于最先进方法的性能,并通过赢得NTIRE2017超分辨率挑战赛证明了其卓越性。
2017-07-10 cs.CV
Super-Resolution with Deep Adaptive Image Resampling
KU Leuven(鲁汶大学)
基于深度学习的方法最近推动了单图像超分辨率(SISR)问题的最新发展。在这项工作中,我们重新审视了更传统的基于插值的方法,这些方法以前很流行,现在在深度学习的帮助下。特别是,我们建议使用卷积神经网络(CNN)来估计空间变化的插值内核,并自适应地将估计的内核应用于图像中的每个位置。整个模型以端到端的方式进行训练。我们探索了两种方法来改善大尺度因子的情况下的结果,并提出了我们的基本模型的递归扩展。这实现了与最先进的方法相当的结果。我们可视化估计的自适应插值内核,以更深入地了解所提出的方法的有效性。我们还将该方法扩展到联合图像滤波的任务,并再次实现最先进的性能。
2017-12-18 cs.CV
Downscaled Representation Matters: Improving Image Rescaling with Collaborative Downscaled Images
South China University of Technology(华南理工大学)
深度网络在图像重新缩放(IR)任务中取得了巨大成功,该任务旨在学习最佳的缩小表示,即,低分辨率(LR)图像,以重建原始高分辨率(HR)图像。与考虑固定降尺度方案的超分辨率方法相比,双三次IR通常由于学习到的降尺度表示而实现显著更好的重建性能。这突出了在图像重建任务中良好的降尺度表示的重要性。现有的IR方法主要通过联合优化降尺度和升尺度模型来学习降尺度表示。与他们不同的是,我们试图通过一种不同的、更直接的方式来改进缩小的表示:优化缩小的图像本身,而不是缩小/放大模型。具体来说,我们提出了一个合作的降尺度方案,直接产生的合作LR的例子下降的梯度w.r.t.他们的重建损失,以利于IR过程。此外,由于LR图像是从对应的HR图像缩减的,因此如果我们在HR域中具有更好的表示,则还可以改进缩减的表示。受此启发,我们提出了一种分层协作降尺度(HCD)方法,在HR和LR域中执行梯度下降,以改善降尺度表示。大量的实验表明,我们的HCD显着提高重建性能的定量和定性。此外,我们还强调了我们的HCD的灵活性,因为它可以很好地概括不同的IR模型。
2022-11-19 cs.CV
Multigrid Backprojection Super-Resolution and Deep Filter Visualization
BOE Technology Group Inc., Ltd.(京东方科技集团股份有限公司);Beijing(北京(注意:根据提取规则,城市名称不属于机构,此处仅为原文出现的地点信息,若严格按规则,可能不满足,但根据问题中“明确出现作者单位时才输出”,此处“Beijing”可能被误标,但按原文处理))
我们介绍了一种新的深度学习架构,用于基于原始高分辨率图像的示例进行大因子(例如4x,8x)的图像放大。我们的目标是重建高分辨率的图像,从他们的缩小版本。所提出的系统执行多级渐进式放大,从小因子(2x)开始,并针对更高因子(4x和8x)进行更新。该系统是递归的,因为它在每一级重复相同的过程。它也是残差,因为我们使用网络来更新经典升频器的输出。通过在卷积网络的特征中计算的迭代反投影(IBP)来改进网络残差。工作在多个层次上,我们扩展了标准的反投影算法,使用递归类似于多网格算法通常用作大型线性方程组的求解器。最后,我们展示了如何将该网络解释为标准的上采样和滤波放大器,并具有适应几何形状的空变滤波器。这种方法使我们能够可视化网络如何学习升级。最后,我们的系统达到了最先进的质量与相对较少的参数数量的模型。
2019-01-29 cs.CV cs.LG eess.IV
Scale-arbitrary Invertible Image Downscaling
The Chinese University of Hong Kong(香港中文大学)
传统的社交媒体平台通常将HR图像缩小以将其分辨率限制到特定大小以节省传输/存储成本,这导致超分辨率(SR)是高度不适定的。最近的可逆图像降尺度方法联合模型的降尺度/升尺度的问题,并取得显着的改善。然而,他们只考虑固定的整数比例因子,无法缩小具有各种分辨率的HR图像以满足社交媒体平台的分辨率限制。在本文中,我们提出了一个尺度-任意可逆图像降尺度网络(AIDN),本机降尺度的HR图像与任意比例因子。同时,HR信息以几乎不可感知的形式嵌入到缩减的低分辨率(LR)对应物中,使得我们的AIDN也可以仅从LR图像恢复原始HR图像。支持任意比例因子的关键是我们提出的条件恢复模块(CRM),它根据比例因子和图像内容来调节缩小/放大内核和采样位置。大量的实验结果表明,我们的AIDN实现可逆的降尺度与任意整数和非整数比例因子的最佳性能。代码将在发布时发布。
2022-03-09 cs.CV eess.IV
Transformer-based Selective Super-Resolution for Efficient Image Refinement
University of Minnesota(明尼苏达大学);Arizona State University(亚利桑那州立大学);Cornell Tech(康奈尔科技学院)
针对传统超分辨率方法计算成本高、易引入无关背景信息的问题,提出基于Transformer的SSR算法,通过分块、金字塔多尺度选块仅重建感兴趣图块,在三个数据集上实现性能提升与计算成本下降。
2023-12-10 cs.CV
Fingerprints of Super Resolution Networks
Portland State University(波特兰州立大学)
本研究将图像生成模型的指纹识别研究拓展至单图像超分辨率网络,验证了高放大倍数或对抗损失训练的SISR网络存在独特指纹,且部分超参数可逆向推导,拓展了指纹研究的适用范围。
2024-10-29 cs.CV
Rethinking Super-Resolution as Text-Guided Details Generation
Fudan University(复旦大学)
深度神经网络极大地提升了单图像超分辨率(SISR)的性能。传统的方法仍然采取恢复的单一高分辨率(HR)解决方案的基础上输入的图像模态。然而,图像级信息不足以预测足够的细节和照片般逼真的视觉质量,面对大的放大因子(x8,x16)。在本文中,我们提出了一个新的观点,认为SISR作为一个语义图像细节增强问题,以产生语义合理的HR图像是忠实于地面真相。为了提高语义准确性和重建图像的视觉质量,本文提出了一种文本引导的超分辨率(TGSR)框架,该框架可以有效地利用文本和图像模态的信息,从而探索了SISR中的多模态融合学习。与现有的方法不同,该方法可以通过由粗到细的过程生成与文本描述相匹配的HR图像细节。大量的实验和烧蚀研究证明了TGSR的效果,它利用文本参考来恢复逼真的图像。
2022-07-14 cs.CV
Block-Based Multi-Scale Image Rescaling
Hunan University(湖南大学)
针对高分辨率图像信息分布不均导致传统缩放方法效果不佳的问题,提出基于块的多尺度图像缩放框架BBMR,通过动态分配子块缩放率并联合超分辨率消除伪影,在2K和4K数据集上显著提升图像质量。
2024-12-16 cs.CV eess.IV
Your Super Resolution Model is not Enough for Tackling Real-World Scenarios
HDC LABS(HDC实验室)
本文提出SAAM模块,通过轻量级特征提取和注意力机制,提升超分辨率模型在多种缩放因子下的泛化能力,实现高效且鲁棒的多尺度上采样。
2026-01-13 cs.CV
Face hallucination using cascaded super-resolution and identity priors
University of Ljubljana, Faculty of Electrical Engineering(卢布尔雅那大学电气工程学院);University of Notre Dame, Department of Computer Science and Engineering(圣母大学计算机科学与工程系)
在本文中,我们解决的问题,幻觉高分辨率的面部图像从未对齐的低分辨率输入在高放大倍数。我们用卷积神经网络(CNN)来解决这个问题,并提出了一种新的(深度)人脸幻觉模型,该模型将身份先验纳入学习过程。该模型由两个主要部分组成:i)级联的超分辨率网络,其放大低分辨率图像,以及ii)在训练期间充当超分辨率网络的身份先验的人脸识别模型的集合。不同于竞争超分辨率方法,通常依赖于一个单一的模型进行放大(即使放大倍数很大),我们的网络使用级联的多个SR模型,逐步放大低分辨率图像使用步骤$2\times$。这一特性使我们能够在不同的分辨率下应用监督信号(目标外观),并在多尺度上结合身份约束。我们的模型能够放大在不受约束的条件下捕获的(非常)低分辨率图像,并产生视觉上令人信服的结果。我们在大型面部图像数据集上严格评估了所提出的模型,并报告了与最先进技术相比的优越性能。
2019-02-11 cs.CV
Accelerating the Super-Resolution Convolutional Neural Network
The Chinese University of Hong Kong(香港中文大学)
超分辨率卷积神经网络(SRCNN)作为一种成功应用于图像超分辨率(SR)的深度模型,在速度和恢复质量上都表现出了优于以往手工模型的性能。然而,高计算成本仍然阻碍了它的实际使用,需要实时性能(24 fps)。本文旨在加速当前的SRCNN,并提出了一种紧凑的沙漏形CNN结构,以实现更快更好的SR。我们主要从三个方面重新设计了SRCNN结构。首先,我们在网络的末端引入一个反卷积层,然后直接从原始低分辨率图像(没有插值)到高分辨率图像的映射。其次,我们重新制定映射层,在映射之前缩小输入特征维度,之后再扩大。第三,我们采用更小的过滤器大小,但更多的映射层。该模型实现了超过40倍的速度,甚至更优越的恢复质量。此外,我们提出的参数设置,可以实现通用CPU的实时性能,同时仍然保持良好的性能。针对不同尺度因子的快速训练和测试,提出了相应的迁移策略。
2016-08-01 cs.CV
Raising The Limit Of Image Rescaling Using Auxiliary Encoding
Baidu(百度)
使用可逆神经网络(INN)的归一化流模型已经被广泛研究用于通过学习潜变量$z$的正态分布与给出低分辨率(LR)输入的高分辨率(HR)图像的条件分布之间的转换来成功地生成图像超分辨率(SR)。最近,像IRN这样的图像缩放模型利用INN的双向性质,通过联合优化缩小和放大步骤来推动图像放大的性能极限。虽然潜变量$z$的随机采样在生成不同的照片级真实感图像中是有用的,但是当HR图像的精确恢复更重要时,不期望图像重新缩放。因此,在随机采样的$z$的地方,我们提出了辅助编码模块,以进一步推动图像缩放性能的限制。提出了两种将编码的潜变量存储在缩小的LR图像中的选项,这两种选项都容易在现有的图像文件格式中得到支持。一个保存为alpha通道,另一个保存为图像头中的元数据,相应的模块分别表示为后缀-A和-M。最佳的网络架构的变化进行了调查,这两个选项,以证明他们的有效性,在不同的基线模型,包括IRN和DLV-IRN提高重新缩放性能限制。
2023-03-12 cs.CV eess.IV
Cutting-Edge Techniques for Depth Map Super-Resolution
University of Texas at Dallas(德克萨斯大学达拉斯分校)
为了克服导致低分辨率深度图的市售深度传感器中的硬件限制,深度图超分辨率(DMSR)是实用且有价值的计算机视觉任务。DMSR需要将低分辨率(LR)深度图放大到高分辨率(HR)空间。已使用空间不变和空间变化卷积神经网络(CNN)方法应用用于DMSR的联合图像滤波。在这个项目中,我们提出了一种新的联合图像滤波DMSR算法使用Swin Transformer架构。此外,我们介绍了一个非线性激活自由(NAF)网络的基础上,传统的CNN模型用于尖端的图像复原应用和比较的技术的性能。通过数值研究和可视化示例验证了所提出的算法,该算法在保持噪声深度图超分辨率的竞争力计算时间的同时,提高了最先进的性能。
2023-06-27 cs.CV eess.IV
Binary Document Image Super Resolution for Improved Readability and OCR Performance
Indian Institute Of Science(印度科学学院);IIT Guwahati(印度理工学院古瓦哈提分校)
有一个信息检索的低分辨率(LR)的二进制文档图像,可以在世界各地的数字图书馆,其中高分辨率(HR)的副本是不可用的大集合的需要。这就产生了二进制文档图像超分辨率(BDISR)的问题。本文的目的是解决有趣的和具有挑战性的问题,超分辨率的二进制泰米尔文文件图像,以提高可读性和更好的光学字符识别(OCR)。我们提出了多个深度神经网络架构来解决这个问题并分析它们的性能。所提出的模型都是单图像超分辨率技术,它学习LR和HR二进制文档图像之间的广义空间对应关系。我们采用卷积层进行特征提取,然后采用转置卷积和子像素卷积层来放大特征。由于神经网络的输出是灰度级,我们利用幂律变换作为后处理技术的优势,以提高字符级像素的连接。我们的模型的性能进行了评估,通过比较OCR的准确性和平均意见分数由人类评价LR图像和相应的模型生成的HR图像。
2018-12-06 cs.CV
Perceptual Video Super Resolution with Enhanced Temporal Consistency
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Amazon Research(亚马逊研究院)
随着感知损失函数的出现,超分辨率的新可能性已经出现,我们目前已经有模型成功地从低分辨率观测中生成接近照片真实的高分辨率图像。然而,到目前为止,这种方法仅限于单个图像超分辨率。感知损失函数在视频处理上的应用仍然需要若干挑战,主要涉及所生成图像的时间一致性的缺乏,即,闪烁的伪影在这项工作中,我们提出了一种新的对抗性递归网络,用于视频放大,能够以时间一致的方式产生逼真的纹理。所提出的架构自然地利用来自先前帧的信息,这是由于其循环架构,即生成器的输入由低分辨率图像以及前一步网络的扭曲输出组成。连同视频序列,我们还提出了额外的损失函数,以进一步加强所生成的序列的时间一致性。我们的算法的实验验证表明,我们的方法的有效性,获得高感知质量和改善的时间一致性的图像。
2019-05-02 cs.CV
Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images
Tsinghua University(清华大学);ZhuoHe Tech(卓合科技);Northeastern University(东北大学);Beijing Institute of Technology(北京理工大学);Tianjin University(天津大学)
相机的各种组合丰富了计算摄影,其中基于参考的超分辨率(RefSR)在多尺度成像系统中起着至关重要的作用。然而,现有的RefSR方法不能在大分辨率间隙下实现高保真度超分辨率,例如,8倍放大,由于对底层场景结构的考虑较少。在本文中,我们的目标是解决实际的多尺度相机系统中的RefSR问题的启发多平面图像(MPI)表示。具体来说,我们提出了交叉MPI,一个端到端RefSR网络组成的一个新的平面感知的注意力为基础的MPI机制,多尺度引导上采样模块,以及一个超分辨率(SR)的合成和融合模块。所提出的平面感知注意力机制充分利用隐藏的场景结构进行有效的基于注意力的对应搜索,而不是使用跨尺度立体之间的直接和穷举匹配。进一步结合一个温和的粗到细的指导上采样策略,建议交叉MPI可以实现一个强大的和准确的细节传输。数字合成和光学变焦跨尺度数据的实验结果表明,交叉MPI框架可以实现优于现有的RefSR方法的性能,是一个真正适合实际的多尺度相机系统,即使有大规模的差异。
2021-03-29 cs.CV
A hybrid approach of interpolations and CNN to obtain super-resolution
Indian Institute of Science(印度科学学院)
我们提出了一种新的架构,学习一个端到端的映射函数,以提高输入的自然图像的空间分辨率。该模型的独特之处在于使用卷积神经网络形成三种传统插值技术的非线性组合。另一种提出的架构使用了跳跃连接与最近邻插值,实现了几乎相似的结果。该架构经过精心设计,以确保重建图像精确地位于高分辨率图像的流形中,从而保留具有精细细节的高频分量。我们与最新的基于深度学习的自然图像超分辨率技术进行了比较,发现我们的方法能够保留图像中的清晰细节,同时还获得了与它们相当或更好的PSNR。由于我们的方法仅使用传统的插值和具有较少数量的较小滤波器的浅CNN,因此计算成本保持较低。我们已经报告了五个标准数据集上的两个拟议架构的结果,其中一个放大因子为2。我们的方法在大多数情况下都能很好地推广,这从越来越复杂的数据集获得的更好的结果中可以看出。对于4倍放大,我们设计了类似的架构,与其他方法进行比较。
2018-05-23 cs.CV
Reference-Conditioned Super-Resolution by Neural Texture Transfer
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Adobe Research(奥多比研究院)
随着深度学习技术的发展,我们见证了单图像超分辨率的巨大进步。然而,由于图像缩小过程的显著信息损失,进一步推进现有技术变得极具挑战性,特别是对于大的放大因子。本文提出了一种新的超分辨率研究方向,即参考条件下的超分辨率,即在低分辨率图像的基础上,增加一幅包含所需高分辨率纹理细节的参考图像。我们专注于将参考图像的高分辨率纹理转换为超分辨率过程,而不受参考图像和目标图像之间的内容相似性的约束,这是与以前基于示例的方法的关键区别。受最近图像风格化工作的启发,我们通过神经纹理转移来解决这个问题。我们设计了一个端到端的可训练深度模型,该模型通过自适应地融合来自低分辨率图像的内容与来自参考图像的纹理图案来生成细节丰富的结果。我们为基于参考的超分辨率的一般研究创建了一个基准数据集,其中包含与具有不同相似度的低分辨率输入配对的参考图像。客观和主观的评价表明,使用参考图像的巨大潜力,以及我们的结果优于其他国家的最先进的方法。
2018-04-10 cs.CV
VoLUT: Efficient Volumetric streaming enhanced by LUT-based super-resolution
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Southern California(南加州大学);Microsoft Research Asia(微软亚洲研究院)
VoLUT通过基于LUT的超分辨率算法,在移动设备上实现高效体积视频流媒体,减少带宽使用并提升用户体验。
2025-12-04 cs.CV cs.SY eess.SY
Generative Collaborative Networks for Single Image Super-Resolution
CEA(法国原子能委员会);CentraleSupelec(中央理工高等电力学院);ISIT-UMR6284 CNRS/Auvergne University(法国奥弗涅大学)
用于单图像超分辨率(SISR)问题的基于深度神经网络的方法的常见问题是当以大的放大因子进行超分辨率时恢复更精细的纹理细节。这个问题特别与目标损失函数的选择有关。特别是,最近的工作提出了使用VGG损失,其中包括最小化生成的高分辨率图像与卷积神经网络(VGG 19)的特征空间中的地面实况之间的误差,该网络在非常“大”的ImageNet数据集上进行了预训练。当考虑分布“远离”ImageNet图像分布(\textit{e.g.,}卫星图像)的超分辨率图像的问题时,他们提出的\textit{fixed} VGG损失不再相关。在本文中,我们提出了一个通用的框架命名为\textit{Generative Collaborative Networks}(GCN),其中的想法包括在优化的\textit{generator}(感兴趣的映射)在特征空间的\textit{features extractor}网络。这两个网络(生成器和提取器)是\textit{collaborative},因为后者通过构建有区别的相关特征(不一定是\textit{fixed},也可能是通过生成器学习的\textit{mutually})来“帮助”前者。我们在SISR的背景下评估GCN框架,并表明它导致了一种适用于“远离”ImageNet域的超分辨率域的方法。
2019-03-12 cs.CV
Z-upscaling: Optical Flow Guided Frame Interpolation for Isotropic Reconstruction of 3D EM Volumes
Center for Bioimage Informatics, St. Jude Children’s Research Hospital(圣犹大儿童研究医院生物图像信息中心);University of Memphis(孟菲斯大学)
本研究提出Z-upscaling光流引导帧插值方法,将视频光流估计与迁移学习用于3D EM体数据轴向分辨率提升,在公开超微结构数据集上验证了各向同性重建的有效性。
2024-10-09 cs.CV eess.IV
Super-Resolution for Practical Automated Plant Disease Diagnosis System
Hosei University(法政大学);Saitama Agricultural Technology Research Center(埼玉县农业技术研究中心)
使用从远处拍摄的图像的自动化设备诊断通常分辨率不足,并且由于症状的重要外部特征丢失而降低诊断准确性。在本文中,我们首先提出了一个有效的预处理方法,提高性能的自动植物病害诊断系统使用超分辨率技术。我们研究了两种不同的超分辨率方法的效率,通过比较实际的原始高分辨率,低分辨率和超分辨率黄瓜图像的疾病诊断性能。我们的方法生成的超分辨率图像看起来非常接近自然图像,具有4个$\times$放大因子,并且能够恢复丢失的详细症状,大大提高了诊断性能。我们的模型将疾病分类准确率提高了26.9%,而双三次插值方法的准确率为65.6%,并且与原始结果95.5%之间存在微小差距(低3%)。
2019-11-26 cs.CV eess.IV
Continuous Space-Time Video Super-Resolution with 3D Fourier Fields
ETH Zurich(苏黎世联邦理工学院)
本文提出基于3D傅里叶场的连续时空视频超分辨率方法,通过神经编码器预测傅里叶基函数系数,实现高效且高质量的时空超分辨率重建。
2026-03-04 cs.CV
Fast, faithful and photorealistic diffusion-based image super-resolution with enhanced Flow Map models
Jasper Research(Jasper研究机构);CMAP, CNRS, Ecole polytechnique(CMAP、CNRS、巴黎高等师范学院)
本文提出FlowMapSR,一种基于扩散的图像超分辨率框架,通过增强流图模型和对抗微调提升效率和逼真度,实现高 fidelity 和快速推理。
2026-01-23 cs.CV cs.LG eess.IV
Self-Asymmetric Invertible Network for Compression-Aware Image Rescaling
Bytedance Inc., Shenzhen, China(字节跳动有限公司(深圳));Bytedance Inc., San Diego, CA, 92122 USA(字节跳动有限公司(圣迭戈))
高分辨率(HR)图像通常被缩小到低分辨率(LR)图像以获得更好的显示效果,然后再放大到原始大小以恢复细节。最近在图像缩放方面的工作将缩小和放大作为一个统一的任务,并通过可逆网络学习HR和LR之间的双射映射。然而,在现实世界的应用中(例如,社交媒体),大多数图像都被压缩用于传输。有损压缩会导致LR图像上的信息不可逆地丢失,从而破坏逆升尺度过程并降低重建精度。在本文中,我们提出了自非对称可逆网络(SAIN)的压缩感知图像缩放。为了解决分布偏移,我们首先开发了一个端到端的非对称框架,分别针对高质量和压缩的LR图像具有两个单独的双射映射。然后,基于这个框架的实证分析,我们使用各向同性高斯混合模型的分布丢失的信息(包括降尺度和压缩),并提出了增强的可逆块,以获得高质量/压缩LR图像在一个向前通过。此外,我们设计了一组损失来正则化学习的LR图像并增强可逆性。大量的实验证明了SAIN在标准图像压缩格式(即,JPEG和WebP)。
2023-03-11 cs.CV cs.MM eess.IV
DISRQAD: Diffusion Image Super-Resolution Quality Assessment Dataset and Benchmark
Lomonosov Moscow State University(莫斯科国立大学);MSU Institute for AI, Lomonosov Moscow State University(莫斯科国立大学人工智能研究所)
针对扩散超分辨率图像质量评估,提出DISRQAD数据集与基准,发现现有指标在扩散输出上一致性显著下降,为开发扩散感知质量模型奠定基础。
2026-10-08 cs.CV
NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices
Gdańsk University of Technology(格但斯克工业大学)
研究针对边缘设备视频超分辨率计算开销大问题,提出NanoVSR架构,利用结构重参数化实现硬件兼容与低开销,通过渐进训练隐式学习时空对齐,在REDS4基准测试中平衡精度与效率,提升边缘设备超分辨率性能。
2026-11-02 cs.CV
RAISR: Rapid and Accurate Image Super Resolution
Google Research(谷歌研究院);Technion – Israel Institute of Technology(以色列理工学院)
给定一张图像,我们希望生成一张尺寸更大、像素更多、图像质量更高的图像。这通常被称为单图像超分辨率(SISR)问题。想法是,利用足够的训练数据(对应的低分辨率图像和高分辨率图像对),我们可以学习滤波器集合(即,映射),当应用于不在训练集合中的给定图像时,将产生它的更高分辨率版本,其中学习优选地是低复杂度的。在我们提出的方法中,运行时间比目前可用的最佳竞争方法快一到两个数量级以上,同时产生与最新技术相当或更好的结果。一个密切相关的主题是图像锐化和对比度增强,即,通过放大潜在的细节(广泛的频率范围)来改善模糊图像的视觉质量。我们的方法还包括一种非常有效的方法来产生比输入模糊图像更清晰的图像,而不会引入光晕和噪声放大等伪影。我们说明了这种有效的锐化算法,除了是独立的利益,可以被用作预处理步骤,以诱导学习更有效的放大滤波器与内置的锐化和对比度增强效果。
2016-10-04 cs.CV