Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning
University of California, Riverside(加州大学河滨分校)
现有的有监督时空视频超分辨率(STVSR)研究大多依赖于由成对的低分辨率低帧率(LR-LFR)和高分辨率高帧率(HR-HFR)视频组成的大规模外部数据集。尽管它们的显着的性能,这些方法作出了一个先验的假设,即低分辨率的视频是通过使用一个已知的退化内核,这并不成立,在实际的设置中,通过缩小高分辨率的视频。这些方法的另一个问题是它们不能在测试时利用视频的实例特定的内部信息。最近,深度内部学习方法由于能够利用视频的实例特定统计数据而受到关注。然而,这些方法的推理时间很长,因为它们需要数千次梯度更新来学习数据的内在结构。在这项工作中,我们提出了AdaptiveVideoSuper-Resolution(Ada-VSR),它分别通过元迁移学习和内部学习来利用外部和内部信息。具体地,元学习被用来使用大规模外部数据集来获得自适应参数,其可以在内部学习任务期间快速适应给定测试视频的新条件(降级模型),从而利用视频的外部和内部信息来进行超分辨率。使用我们的方法训练的模型可以快速适应特定的视频条件,只需进行几次梯度更新,从而显着减少推理时间。在标准数据集上进行的大量实验表明,我们的方法与各种最先进的方法相比表现良好。
2021-08-05 cs.CV eess.IV
A statistically constrained internal method for single image super-resolution
ONERA(法国航空航天研究院);Université Paris Saclay(巴黎萨克雷大学);Télécom Paris(巴黎电信学院);IP Paris(巴黎理工学院)
基于深度学习的单图像超分辨率(SR)方法最近引起了很多关注。特别是,各种论文已经表明,学习阶段可以在单个图像上执行,从而导致所谓的内部方法。SinGAN方法就是其中之一,其中图像块的分布是在手头的图像上学习的,并以更精细的尺度传播。现在,有一些情况下,可以假设一些统计先验的最终图像。特别地,许多自然现象产生具有幂律傅立叶谱的图像,诸如云和其他纹理图像。在这项工作中,我们展示了如何将这样的先验信息集成到内部超分辨率方法中,通过限制SinGAN的学习上采样过程。我们考虑各种类型的约束,相关的傅立叶功率谱,颜色直方图和一致性的上采样方案。我们在各种实验中证明,这些约束确实是满足的,但也可以通过所提出的方法来提高一些感知质量的措施。
2023-02-03 cs.CV eess.IV
Super-Resolution via Image-Adapted Denoising CNNs: Incorporating External and Internal Learning
Tel Aviv University(特拉维夫大学)
虽然深度神经网络在具有固定的已知获取过程(例如,双三次降尺度内核),当真实的观察模型与训练中使用的模型不匹配时,它们会经历巨大的性能损失。最近,提出了两种不同的技术来减轻这种缺陷,即,享受深度学习的优势,不受训练阶段的限制。第一个遵循即插即用(P&P)方法,解决一般的逆问题(例如,SR)通过使用高斯去噪器来处理基于模型的优化方案中的先验项。第二种方法建立在单个图像内部信息的内部递归基础上,并在测试时对从低分辨率图像合成的示例训练超级解析器网络。我们的工作结合了这两个独立的策略,享受了深度学习令人印象深刻的泛化能力,第一个被捕获,并在测试时通过内部学习进一步改进它。首先,我们应用最近的P&P策略SR。然后,我们将展示它如何在测试时成为图像自适应的。这种技术在流行的数据集上优于上述两种策略,并且在观测模型不精确或事先未知的实际情况下,比其他最先进的方法给出了更好的结果。
2019-05-29 cs.CV cs.LG
Cryo-ZSSR: multiple-image super-resolution based on deep internal learning
Duke University(杜克大学);Duke University School of Medicine(杜克大学医学院)
单粒子冷冻电子显微镜(cryo-EM)是一种新兴的成像方式,能够以近原子分辨率可视化蛋白质和大分子复合物。用于防止样品辐射损伤的低电子剂量导致噪声功率比信号功率大100倍的图像。为了克服低SNR,在几天的数据收集中获得的数十万个粒子投影在3D中进行平均,以确定感兴趣的结构。与此同时,最近的图像超分辨率(SR)技术的基础上,神经网络已经显示出最先进的自然图像的性能。在这些进展的基础上,我们提出了一种基于深度内部学习的多图像SR算法,专门用于低SNR条件下。我们的方法利用了cryo-EM电影的内部图像统计数据,并且不需要对地面真实数据进行训练。当应用到一个单粒子数据集的脱铁蛋白,我们表明,从SR显微照片获得的三维结构的分辨率可以超过成像系统所施加的限制。我们的研究结果表明,低放大率成像与图像SR相结合,有可能加快冷冻EM数据收集,而不牺牲分辨率。
2020-11-22 cs.CV cs.LG eess.IV
"Zero-Shot" Super-Resolution using Deep Internal Learning
The Weizmann Institute of Science(魏茨曼科学研究所);Institute for Advanced Study, Princeton(普林斯顿高等研究院)
在过去的几年里,深度学习导致了超分辨率(SR)性能的巨大飞跃。然而,在被监督的情况下,这些SR方法限于特定的训练数据,其中从其高分辨率(HR)对应物获取低分辨率(LR)图像是预定的(例如,双三次降尺度),而没有任何分散注意力的伪像(例如,传感器噪声、图像压缩、非理想PSF等)。然而,真正的LR图像很少遵守这些限制,从而导致SotA(最新技术水平)方法的SR结果不佳。在本文中,我们介绍了“Zero-Shot”SR,它利用了深度学习的力量,但不依赖于先前的训练。我们利用单个图像内部信息的内部递归,并在测试时对仅从输入图像本身提取的示例进行训练一个小型图像特定的CNN。因此,它可以适应每个图像的不同设置。这允许对真实的旧照片、噪声图像、生物数据和采集过程未知或不理想的其他图像执行SR。在这样的图像上,我们的方法优于SotA基于CNN的SR方法,以及以前的无监督SR方法。据我们所知,这是第一个无监督的基于CNN的SR方法。
2017-12-17 cs.CV cs.LG cs.NE
DCIL: Deep Contextual Internal Learning for Image Restoration and Image Retargeting
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
最近,人们对开发独立于训练样本的方法(例如深度图像先验、zero-shot学习和内部学习)有着极大的兴趣。上述方法基于最大化从单个图像学习的图像特征的共同目标,尽管固有的技术多样性。在这项工作中,我们弥合了上述各种无监督方法之间的差距,并提出了一个通用的图像恢复和图像重定向框架。我们使用上下文特征学习和内部学习来改进源图像和目标图像之间的结构相似性。我们在以下设置中执行图像大小调整应用程序:经典的图像大小调整使用超分辨率,一个具有挑战性的图像大小调整,其中低分辨率图像包含噪声,和内容感知的图像大小调整使用图像重定向。我们还提供了相关国家的最先进的方法进行比较。
2019-12-09 cs.CV eess.IV
Single Image Internal Distribution Measurement Using Non-Local Variational Autoencoder
Rajshahi University of Engineering & Technology(拉杰沙希工程技术大学);Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
基于深度学习的超分辨率方法已经显示出巨大的前景,特别是对于单图像超分辨率(SISR)任务。尽管性能有所提高,但这些方法由于依赖于大量数据进行模型训练而受到限制。此外,监督SISR解决方案依赖于局部邻域信息,仅关注用于重建低维图像的特征学习过程。此外,由于其受限制的接受领域,他们未能利用全球环境。为了应对这些挑战,本文提出了一种新的图像特定的解决方案,即非局部变分自动编码器(\texttt{NLVAE}),重建一个高分辨率(HR)图像从一个单一的低分辨率(LR)图像,而不需要任何事先训练。为了收获最大的细节,为各种接受区域和高品质的合成图像,\texttt{NLVAE}被引入作为一个自我监督的策略,重建高分辨率的图像,使用从非本地邻域解开的信息。在7个基准数据集上的实验结果证明了\texttt{NLVAE}模型的有效性。此外,我们提出的模型优于一些基线和国家的最先进的方法,通过广泛的定性和定量评估证实。
2022-04-02 cs.CV eess.IV
Designing A Composite Dictionary Adaptively From Joint Examples
Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所);Snapchat Inc(Snapchat公司)
我们研究了图像复原中外部样本和内部样本的互补行为,并提出了一个复合字典设计框架。复合字典由从外部示例学习的全局部分和从内部示例学习的样本特定部分组成。这两个部分中的字典原子进一步自适应加权,以强调其模型统计。实验结果表明,联合利用外部和内部的例子,导致实质性的改善,在图像去噪和超分辨率的成功应用。
2015-09-08 cs.CV
Adapting Image Super-Resolution State-of-the-arts and Learning Multi-model Ensemble for Video Super-Resolution
Baidu Inc.(百度公司)
最近,图像超分辨率得到了广泛的研究,并通过利用深度卷积神经网络的能力取得了重大进展。然而,由于视频中复杂的时间模式,视频超分辨率(VSR)的进展有限。在本文中,我们研究如何适应国家的最先进的图像超分辨率的视频超分辨率的方法。所提出的自适应方法是直接的。该方法充分利用了相邻帧间的信息,而对原始图像超分辨率的开销可以忽略不计。此外,我们提出了一种基于学习的方法来集成多个超分辨率模型的输出。我们的方法表现出卓越的性能,并在NTIRE2019视频超分辨率挑战赛第一轮中排名第二。
2019-05-07 cs.CV
A Review of Deep Learning Based Image Super-resolution Techniques
School of Computer and Software Engineering, Xihua University(西华大学计算机与软件工程学院)
图像超分辨率技术是从一幅或多幅低分辨率图像中获得高分辨率图像的过程。随着深度学习的发展,基于深度学习方法的图像超分辨率技术应运而生。综述了深度学习方法在图像超分辨率领域应用的研究进展,从几个方面介绍了这类超分辨率工作,并展望了深度学习方法在图像超分辨率领域的进一步应用。通过收集和统计深度学习在图像超分辨率领域应用的相关文献,初步总结了深度学习方法在图像超分辨率领域的应用成果,并报告了基于深度学习方法的图像超分辨率技术的最新进展。
2022-01-22 cs.CV
Deep Depth Super-Resolution : Learning Depth Super-Resolution using Deep Convolutional Neural Network
Shandong University(山东大学)
深度图像的超分辨率是一个极具挑战性的任务,由于信息丢失的子采样。深度卷积神经网络在彩色图像超分辨率中得到了广泛的应用。令人惊讶的是,这种成功并没有与深度超分辨率相匹配。这主要是由于颜色和深度图像之间的固有差异。在本文中,我们弥补了这一差距,并将深度卷积神经网络的成功扩展到深度超分辨率。所提出的深度超分辨率方法以端到端的方式学习从低分辨率深度图像到高分辨率深度图像的映射。此外,为了更好地正则化学习的深度图,我们建议利用深度场统计和深度图像与彩色图像之间的局部相关性。这些先验被集成在能量最小化公式中,其中深度神经网络学习一元项,深度场统计用作全局模型约束,并且颜色-深度相关性被用来加强深度图像中的局部结构。在各种深度超分辨率基准数据集上进行的大量实验表明,我们的方法在一定程度上优于最先进的深度图像超分辨率方法。
2016-07-07 cs.CV
Single Pair Cross-Modality Super Resolution
Tel-Aviv University(特拉维夫大学);Elbit Systems(埃尔比特系统公司)
非视觉成像传感器在工业中被广泛用于不同的目的。这些传感器比视觉(RGB)传感器更昂贵,并且通常产生分辨率较低的图像。为此,引入了跨模态超分辨率方法,其中高分辨率的RGB图像有助于提高低分辨率模态的分辨率。然而,融合来自不同模态的图像并不是一项微不足道的任务;输出必须是无伪影的,并且保持忠于目标模态的特征。此外,输入图像从未完全对准,这导致在融合过程期间的进一步伪影。我们提出了CMSR,一种用于跨模态超分辨率的深度网络,与以前的方法不同,它旨在处理弱对齐图像。该网络仅在两个输入图像上进行训练,学习它们的内部统计数据和相关性,并应用它们对目标模态进行上采样。CMSR包含一个内部Transformer,它与上采样过程本身一起进行实时训练,无需明确的监督。我们表明,CMSR成功地提高了输入图像的分辨率,从其RGB对应物中获得有价值的信息,但在一个保守的方式,而不引入文物或不相关的细节。
2021-01-22 cs.CV cs.LG eess.IV
Semi-Supervised Super-Resolution
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
超分辨率是一种通过提高低分辨率照片的合理分辨率来提高其质量的技术。计算机视觉社区已经广泛探索了超分辨率领域。然而,以前的超分辨率方法需要大量的数据进行训练,这在低分辨率、高分辨率对很少可用的领域中变得有问题。其中一个领域是统计降尺度,即越来越多地使用超分辨率从低分辨率数据中获取高分辨率气候信息。获取高分辨率的气候数据是极其昂贵和具有挑战性的。为了降低生成高分辨率气候信息的成本,超分辨率算法应该能够用有限数量的低分辨率、高分辨率对进行训练。本文试图通过引入一种半监督的方法来解决上述问题,以执行超分辨率,可以生成清晰,高分辨率的图像,只需500对样本。所提出的半监督技术可以用作任何基于监督GAN的超分辨率方法的即插即用模块,以提高其性能。我们定量和定性地分析了该模型的性能,并将其与完全监督的方法以及其他无监督技术进行了比较。综合评价表明,我们的方法优于其他方法在不同的指标。我们还提供了我们的方法在统计降尺度,以获得高分辨率的气候图像的适用性。
2022-04-19 cs.CV eess.IV
High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore(新加坡国立大学)
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题,提出基于结果质量的退化控制器和特征对齐正则化器,通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Non-discriminative data or weak model? On the relative importance of data and model resolution
Google Research(谷歌研究院)
我们探讨的问题是,当与隐藏层的分辨率(“内部分辨率”)相比时,输入图像的分辨率(“输入分辨率”)如何影响神经网络的性能。调整这些特性经常被用作超参数,在模型性能和准确性之间提供权衡。一个直观的解释是,低分辨率输入中减少的信息内容导致准确度下降。在本文中,我们表明,在一定程度上,输入分辨率单独对网络性能的作用很小,内部分辨率是模型质量的关键驱动因素。然后,我们在这些见解的基础上开发新的神经网络架构,我们称之为\emph{Isometric Neural Networks}。这些模型在其整个深度内保持固定的内部分辨率。我们证明,他们导致高精度模型与低激活足迹和参数计数。
2019-10-17 cs.CV
IE-SRGS: An Internal-External Knowledge Fusion Framework for High-Fidelity 3D Gaussian Splatting Super-Resolution
Xiang Feng 1,2(XX大学);Tieshi Zhong 1(XX大学);Shuo Chang 1(XX大学);Weiliu Wang 1(XX大学);Chengkai Wang 1(XX大学);Yifei Chen 3(XX大学);Yuhe Wang 1(XX大学);Zhenzhong Kuang 1(XX大学);Xuefei Yin 4(XX大学);Yanming Zhu 4(XX大学)
IE-SRGS通过融合外部2DSR先验和内部3DGS特征,提升3D高斯溅射超分辨率的高保真重建性能。
2025-11-27 cs.CV
MR Slice Profile Estimation by Learning to Match Internal Patch Distributions
Johns Hopkins University(约翰斯·霍普金斯大学)
为了超分辨多切片2D磁共振(MR)图像的通过平面的方向,其切片选择轮廓可以用作从高分辨率(HR)到低分辨率(LR)的退化模型,以在训练监督算法时创建成对数据。现有的超分辨率算法对切片选择轮廓进行假设,因为对于给定图像,切片选择轮廓不容易知道。在这项工作中,我们估计一个特定的图像切片选择配置文件通过学习匹配其内部补丁分布。具体地,我们假设在应用正确的切片选择轮廓之后,沿着HR平面内方向的图像块分布应当匹配沿着LR穿过平面方向的分布。因此,我们将切片选择配置文件的估计作为生成对抗网络(GAN)中学习生成器的一部分。以这种方式,可以在没有任何外部数据的情况下学习切片选择简档。我们的算法进行了测试,使用模拟从各向同性MR图像,纳入通过平面超分辨率算法,以证明其好处,也被用作一种工具来测量图像分辨率。我们的代码在https://github.com/shuohan/espreso2。
2021-03-31 cs.CV eess.IV
"Zero-Shot" Point Cloud Upsampling
Wayne State University(韦恩州立大学);Tsinghua University(清华大学)
最近的监督点云上采样方法受到训练数据大小的限制,并且在覆盖所有对象形状方面受到限制。除了由于数据采集而面临的挑战外,网络还很难对看不见的记录进行概括。在本文中,我们提出了一种内部点云上采样方法在整体水平称为“Zero-Shot”点云上采样(ZSPU)。我们的方法与数据无关,仅依赖于特定点云提供的内部信息,而不会在自我训练和测试阶段进行修补。这种单流设计通过学习低分辨率(LR)点云与其高(原始)分辨率(HR)对应点云之间的关系,显著减少了训练时间。当原始点云被加载为输入时,该关联将提供超分辨率(SR)输出。与其他上采样方法相比,ZSPU在基准数据集上实现了具有竞争力/优越的定量和定性性能。
2022-04-18 cs.CV
ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution
提出一种可靠性感知的频率建模框架,通过几何引导的细节需求先验和频率感知的可靠性图,指导低分辨率3DGS重建中高频细节的注入,提升保真度和感知质量。
2026-05-24 cs.CV
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion
University of East Anglia(东英吉利大学)
用于深度估计的自监督学习使用图像序列中的几何形状进行监督,并显示出有希望的结果。与许多计算机视觉任务一样,深度网络的性能取决于从图像中学习准确的空间和语义表示的能力。因此,利用语义分割网络进行深度估计是很自然的。在这项工作中,基于一个成熟的语义分割网络HRNet,我们提出了一种新的深度估计网络HRNet,它可以利用语义信息的下采样和上采样过程。通过应用特征融合和注意力机制,我们提出的方法在KITTI基准测试中的性能优于最先进的单目深度估计方法。我们的方法在更高分辨率的训练数据上也表现出更大的潜力。我们提出了一个额外的扩展评估策略,通过建立一个测试集的挑战性的情况下,经验来自标准基准。
2021-11-19 cs.CV
Using Motion and Internal Supervision in Object Recognition
Weizmann Institute of Science(魏茨曼科学研究所)
在这篇论文中,我们将讨论视觉对象识别的两个相关方面:运动信息的使用和内部监督的使用,以帮助无监督学习。这两个方面是相互关联的,在目前的研究中,因为图像运动是用于内部监督,通过检测时空事件的主动运动和使用跟踪。当前的大多数目标识别工作都是在学习和识别过程中处理静态图像。相比之下,我们感兴趣的是一个动态的场景中的视觉过程,如检测运动事件和跟踪,有助于时空信息,这是有用的对象注意,运动分割,3-D理解和对象交互。我们探索使用这些信息来源的学习和识别过程。在第一部分的工作中,我们演示了如何运动可以用于自适应检测的对象部分在动态环境中,同时自动学习新的对象外观和姿态。在研究的第二部分和主要部分,我们开发了使用特定类型的视觉运动来解决无监督视觉学习中的两个难题的方法:学习通过外观和上下文来识别手,以及学习提取凝视方向。我们使用我们在这一部分的结论,提出了一个模型,从他们的视觉环境中学习的几个方面的人类婴儿。
2018-12-13 cs.CV
SRSplat: Feed-Forward Super-Resolution Gaussian Splatting from Sparse Multi-View Images
针对稀疏低分辨率图像前馈三维重建易丢失精细纹理的问题,提出SRSplat框架,融合外部参考图像与内部纹理线索优化高斯预测,在多数据集上性能领先且泛化性强。
2025-11-15 cs.CV
ZS-SRT: An Efficient Zero-Shot Super-Resolution Training Method for Neural Radiance Fields
School of Computer Science and Technology, Hangzhou Dianzi University(杭州电子科技大学计算机科学与技术学院);AI Lab at Lenovo Research(联想研究院人工智能实验室)
ZS-SRT提出了一种无需高分辨率数据的NeRF超分辨率训练方法,通过内部学习和反向渲染提升训练效率与图像质量。
2023-12-19 cs.CV cs.GR
Revisiting Multi-Scale Feature Fusion for Semantic Segmentation
Google Research(谷歌研究院);Waymo Inc.(Waymo公司)
通常认为,高内部分辨率与昂贵的操作(例如,无环卷积)相结合对于准确的语义分割是必要的,这导致速度慢和大量的存储器使用。在本文中,我们质疑这种信念,并证明,既不需要高的内部分辨率,也不需要atrous卷积。我们的直觉是,虽然分割是一个密集的每像素预测任务,每个像素的语义往往取决于附近的邻居和遥远的上下文;因此,一个更强大的多尺度特征融合网络起着至关重要的作用。根据这种直觉,我们重新审视了传统的多尺度特征空间(通常以P5为上限),并将其扩展到更丰富的空间,直到P9,其中最小的特征仅为输入大小的1/512,因此具有非常大的感受野。为了处理如此丰富的特征空间,我们利用最近的BiFPN来融合多尺度特征。基于这些见解,我们开发了一个简化的分割模型,命名为ESeg,它既没有高的内部分辨率,也没有昂贵的atrous卷积。也许令人惊讶的是,我们的简单方法可以在多个数据集上以比现有技术更快的速度实现更好的准确性。在实时设置中,ESeg-Lite-S在CityScapes上以189 FPS实现了76.0%的mIoU [12],优于FasterSeg [9](170 FPS时为73.1% mIoU)。我们的ESeg-Lite-L运行速度为79 FPS,实现了80.1%的mIoU,大大缩小了实时和高性能分割模型之间的差距。
2022-06-14 cs.AI cs.CV