Reference-based Image and Video Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学);Tencent PCG(腾讯平台与内容事业群)
基于参考的超分辨率(Ref-SR)最近已经成为通过引入附加的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像或视频的有前景的范例。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间的两个间隙,执行局部转移是困难的:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR)。为了应对这些挑战,我们提出了C2-Matching,它执行显式的鲁棒匹配交叉变换和分辨率。1)为了弥合变换差距,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)为了解决分辨率差距,我们采用师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态的聚合模块,以解决潜在的输入图像和参考图像之间的不对齐问题。此外,为了忠实地评估基于参考的图像超分辨率在现实环境下的性能,我们贡献了Webly参考SR(WR-SR)数据集,模仿实际使用场景。我们还将C2匹配扩展到基于参考的视频超分辨率任务,其中在相似场景中拍摄的图像用作HR参考图像。大量的实验表明,我们提出的C2-Matching显着优于标准CUFED 5基准的艺术状态,也提高了视频SR的性能,通过将C2-Matching组件到视频SR管道。
2023-03-19 cs.CV
CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping
Tsinghua University(清华大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Hong Kong University of Science and Technology(香港科技大学)
基于参考的超分辨率(RefSR)在给定外部高分辨率(HR)参考图像的情况下对低分辨率(LR)图像进行超分辨率处理,其中参考图像和LR图像共享相似的视点,但具有显著的分辨率差距x8。现有的RefSR方法以级联的方式工作,例如块匹配,然后是具有两个独立定义的目标函数的合成流水线,导致块间不对齐,网格效应和低效的优化。为了解决这些问题,我们提出了CrossNet,这是一个使用跨尺度翘曲的端到端和全卷积深度神经网络。我们的网络包含图像编码器,跨尺度扭曲层和融合解码器:编码器用于从LR和参考图像中提取多尺度特征;跨尺度扭曲层在空间上将参考特征图与LR特征图对齐;解码器最终聚合来自两个域的特征图以合成HR输出。使用跨尺度扭曲,我们的网络能够以端到端的方式在像素级执行空间对齐,这在精度(约2dB-4dB)和效率(快100倍以上)方面都提高了现有方案。
2018-07-27 cs.CV
RefVSR++: Exploiting Reference Inputs for Reference-based Video Super-resolution
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院);RIKEN Center for AIP(理化学研究所AIP中心)
本文提出RefVSR++方法,通过在时间方向上并行聚合低分辨率和参考图像并改进特征对齐机制,显著提升了基于参考的视频超分辨率性能,在PSNR上超越以往工作1dB以上。
2025-06-30 cs.CV
HiTSR: A Hierarchical Transformer for Reference-based Super-Resolution
University of Saskatchewan(萨斯喀彻温大学)
本文提出HiTSR,一种基于层次化Transformer的参考图像超分辨率模型,通过双注意力块、门控注意力融合和squeeze-and-excitation模块简化架构,在多个数据集上取得最先进性能。
2024-08-30 cs.CV
DARTS: Double Attention Reference-based Transformer for Super-resolution
University of Saskatchewan(萨斯喀彻温大学)
本研究提出用于基于参考的图像超分辨率的DARTS Transformer模型,借鉴GAN的双注意力模块并通过门控策略结合自注意力与交叉注意力,简化架构与训练流程,在SUN80数据集上取得SOTA性能,证明仅注意力机制即可完成该任务。
2023-07-17 cs.CV
Proba-V-ref: Repurposing the Proba-V challenge for reference-aware super resolution
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心);Kayrros SAS(凯罗斯公司)
PROBA-V超分辨率挑战赛分发真实的低分辨率图像系列和相应的高分辨率目标,以推进卫星图像多图像超分辨率(MISR)的研究。然而,在PROBA-V数据集中,与高分辨率目标对应的低分辨率图像未被识别。我们认为,在这样做的时候,挑战排名提出的方法不仅通过他们的MISR性能,但主要是通过用于猜测该系列中的图像是最相似的高分辨率目标的算法。我们证明了这一点,通过提高性能的挑战,只有通过使用不同的参考图像,我们计算以下一个简单的启发式。在此基础上,我们提出了PROBA-V-REF的PROBA-V数据集的变体,其中提供了低分辨率系列中的参考图像,并显示了在此设置中方法之间的排名变化。这与MISR的许多实际用例相关,其中目标是超分辨率系列的特定图像,即参考是已知的。拟议的PROBA-V-REF应该更好地反映这种参考感知MISR问题的不同方法的性能。
2021-01-26 cs.CV
Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution
Fudan University(复旦大学)
近来的多视图多媒体应用在高分辨率(HR)视觉体验和存储或带宽约束之间挣扎。因此,本文提出了一种多视点图像超分辨率(MVISR)任务。它旨在提高从同一场景捕获的多视图图像的分辨率。一种解决方案是应用图像或视频超分辨率(SR)方法来从低分辨率(LR)输入视图重建HR结果。然而,这些方法不能处理视图之间的大角度变换,并且不能利用所有多视图图像中的信息。为了解决这些问题,我们提出了MVSRnet,它使用的几何信息提取尖锐的细节,从所有LR多视图,以支持SR LR输入视图。具体而言,MVSRnet中提出的几何感知参考合成模块使用几何信息和所有多视图LR图像来合成像素对齐的HR参考图像。然后,建议的动态高频搜索网络充分利用参考图像中的高频纹理细节SR。在几个基准上的大量实验表明,我们的方法显着提高了国家的最先进的方法。
2022-07-21 cs.CV
Learning a No-Reference Quality Metric for Single-Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);University of California at Merced(加州大学默塞德分校)
文献中已经提出了许多单图像超分辨率算法,但很少有研究解决基于视觉感知的性能评估问题。虽然大多数超分辨率图像都是通过全参考指标进行评估的,但其有效性并不清楚,而且在实践中所需的地面实况图像并不总是可用的。为了解决这些问题,我们进行人类受试者的研究,使用一个大的超分辨率图像集,并提出了一个无参考度量从视觉感知分数。具体来说,我们在空间和频率域中设计了三种类型的低级统计特征来量化超分辨率伪影,并学习两阶段回归模型来预测超分辨率图像的质量分数,而无需参考地面实况图像。大量的实验结果表明,该指标是有效的和高效的评价超分辨率图像的质量基于人类的感知。
2016-12-18 cs.CV
DuSRFlow: Dual-Lens Super-Resolution via Parallax-Aware Flow Estimation and Complementary Reference Warping
Tianjin University(天津大学);School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出DuSRFlow双镜头超分辨率框架,通过DuFlowNet光流估计器与互补参考扭曲策略提升参考利用,构建DuSR-RealV2基准,在多基准上实现最优性能。
2026-10-14 cs.CV
RefQSR: Reference-based Quantization for Image Super-Resolution Networks
Korea University(高丽大学)
RefQSR利用图像自相似性,对代表性图像块采用高位量化作为参考,指导其余图像块的低位量化,从而在保持超分辨率性能的同时降低计算成本。
2024-04-02 cs.CV
RASR: Retrieval-Augmented Super Resolution for Practical Reference-based Image Restoration
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);State Key Laboratory of Internet of Things for Smart City(物联网智慧城市国家重点实验室);Department of Computer Science and Information Science, University of Macau(澳门大学计算机科学与信息科学系)
提出检索增强超分辨率(RASR)范式,通过自动检索参考图像实现实际场景下的参考超分辨率,并构建基准数据集RASR-Flickr30及基线模型RASRNet。
2026-05-27 cs.CV
Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation for Reference-based Super-Resolution
Tsinghua University(清华大学);University of Rochester(罗切斯特大学)
基于参考的超分辨率(RefSR)在使用外部参考(Ref)图像产生真实感纹理方面取得了重大进展。然而,现有的RefSR方法获得高质量的对应匹配消耗二次计算资源的输入大小,限制了其应用。此外,这些方法通常遭受低分辨率(LR)图像和Ref图像之间的尺度不对准。本文提出了一种用于基于参考的超分辨率的加速多尺度聚合网络(AMSA),包括粗到细嵌入式补丁匹配(CFE-PatchMatch)和多尺度动态聚合(MSDA)模块。为了提高匹配效率,我们设计了一种新的嵌入式PatchMacth方案与随机样本传播,其中包括端到端的训练与渐近线性计算成本的输入大小。为了进一步降低计算成本并加快收敛速度,我们在嵌入式PatchMacth上应用由粗到细的策略,构成CFE-PatchMatch。为了充分利用跨多个尺度的参考信息并增强对尺度不对齐的鲁棒性,我们开发了由动态聚合和多尺度聚合组成的MSDA模块。动态聚合通过动态聚合特征来纠正较小的尺度错位,而多尺度聚合通过融合多尺度信息来带来对大尺度错位的鲁棒性。实验结果表明,所提出的AMSA实现了优越的性能,在定量和定性评价的最先进的方法。
2022-03-10 cs.CV
Reference-based Image Super-Resolution with Deformable Attention Transformer
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
基于参考的图像超分辨率(RefSR)旨在利用辅助参考(Ref)图像来超分辨率低分辨率(LR)图像。最近,RefSR已经引起了极大的关注,因为它提供了一种替代的方式来超越单图像SR。然而,解决RefSR问题有两个关键的挑战:(i)当LR和Ref图像显著不同时,难以匹配LR和Ref图像之间的对应关系;(ii)如何从Ref图像转移相关纹理以补偿LR图像的细节是非常具有挑战性的。为了解决RefSR的这些问题,提出了一种多尺度的可变形注意力Transformer,即DATSR,每个可变形注意力包括纹理特征编码器(TFE)模块、基于参考的可变形注意力(RDA)模块和残余特征聚合(RFA)模块。具体地,TFE首先提取图像变换(例如,为了减少LR和Ref图像的亮度(亮度)不敏感特征,RDA然后可以利用多个相关纹理来补偿LR特征的更多信息,并且RFA最后聚合LR特征和相关纹理以获得视觉上更令人愉快的结果。大量的实验表明,我们的DATSR达到最先进的性能基准数据集定量和定性。
2022-08-04 cs.CV
Multi-Reference Image Super-Resolution: A Posterior Fusion Approach
基于参考的超分辨率(RefSR)方法最近被提出来通过从高分辨率图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过允许并入更多信息来扩展此方法。本文提出了一种两步加权后验融合方法,将RefSR模型的输出与多个参考相结合。在CUFED 5数据集上的大量实验表明,所提出的方法可以应用于各种最先进的RefSR模型,以获得一致的图像质量改善。
2022-12-20 cs.CV eess.IV
RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);School of Future Technology, UCAS(中国科学院大学未来技术学院);Center for Artificial Intelligence and Robotics, HKISI_CAS(中国科学院香港创新研究院人工智能与机器人创新中心)
基于参考的图像超分辨率(RefSR)是一个很有前途的超分辨率分支,在克服单幅图像超分辨率的局限性方面显示出巨大的潜力。虽然先前的最先进的RefSR方法主要集中于提高参考特征转移的功效和鲁棒性,但通常忽略了良好重建的SR图像在被称为时应该能够对其类似的LR图像进行更好的SR重建。因此,在这项工作中,我们提出了一个互惠学习框架,可以适当地利用这样的事实,以加强RefSR网络的学习。此外,我们特意设计了一个渐进的特征对齐和选择模块,以进一步改善RefSR任务。新提出的模块在多尺度特征空间对齐参考输入图像,并以渐进的方式执行参考感知的特征选择,从而可以将更精确的参考特征转换为输入特征,并增强网络的能力。我们的互惠学习范式是模型不可知的,它可以应用于任意RefSR模型。我们的经验表明,多个最近的国家的最先进的RefSR模型可以不断改善我们的互惠学习范式。此外,我们提出的模型与互惠学习策略一起在多个基准上设置了新的最先进的性能。
2022-11-08 cs.CV
Cardiac MRI Through-Plane Super-Resolution Guided by Reference and Memory
University of Texas at Arlington(德克萨斯大学阿灵顿分校);New York University Grossman School of Medicine(纽约大学格罗斯曼医学院)
研究针对临床心脏MRI平面间分辨率粗糙的问题,提出STRMSR框架,利用参考视图和中间结果重建高分辨率心脏容积,通过粗到细匹配、动态特征聚合等方法,在WHS数据集实验中,相比基线在不同上采样因子下有一致改进。
2026-08-12 cs.CV
MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution
The Chinese University of Hong Kong(香港中文大学);Kuaishou(快手);SmartMore(思谋科技)
基于参考的图像超分辨率(RefSR)通过利用外部参考图像(Ref)在恢复高频细节方面已经显示出有希望的成功。在这个任务中,纹理细节从Ref图像转移到低分辨率(LR)图像根据其点或块式对应。因此,高质量的对应匹配至关重要。还期望在计算上高效。此外,现有的RefSR方法往往忽略LR和Ref图像之间的分布的潜在的大的差异,这损害了信息利用的有效性。在本文中,我们提出了MASA网络RefSR,其中两个新的模块设计来解决这些问题。建议的匹配和提取模块显着降低了计算成本,由粗到细的对应匹配方案。空间自适应模块学习LR和Ref图像之间的分布差异,并以空间自适应的方式将Ref特征的分布重新映射到LR特征的分布。该方案使网络能够鲁棒地处理不同的参考图像。大量的定量和定性实验验证了我们提出的模型的有效性。
2021-06-04 cs.CV
Self-Supervised Face Image Restoration with a One-Shot Reference
McMaster University(麦克马斯特大学);Amazon(亚马逊)
针对现有基于生成模型先验的图像修复方法易出现语义歧义的问题,提出语义感知隐空间探索方法SAIR,借助单参考图像语义信息实现严重退化人脸图像的高保真、语义正确修复,性能优于现有方法。
2023-12-19 cs.CV
Variational AutoEncoder for Reference based Image Super-Resolution
Caritas Institute of Higher Education(明爱专上学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种基于变分自编码器(RefVAE)的参考图像超分辨率方法。现有的最先进的方法主要集中在单个图像的超分辨率上,其在大的上采样因子上不能很好地执行,例如,8 $\times$。我们提出了一种基于参考的图像超分辨率,其中任意图像可以作为超分辨率的参考。即使使用随机映射或低分辨率图像本身,所提出的RefVAE也可以将知识从参考转移到超分辨率图像。根据不同的参考文献,该方法可以从隐藏的超分辨率空间生成不同版本的超分辨率图像。除了使用不同的数据集进行PSNR和SSIM的一些标准评估外,我们还参加了NTIRE2021 SR Space挑战赛,并提供了我们方法的随机性评估结果。与其他最先进的方法相比,我们的方法实现了更高的多样性分数。
2021-06-08 cs.CV eess.IV
Learning to Balance: Decoupled Siamese Diffusion Transformer for Reference-Based Remote Sensing Image Super-Resolution
Tsinghua Shenzhen International Graduate School, Shenzhen, China(清华大学深圳国际研究生院);Sun Yat-sen University, Zhuhai, China(中山大学);National Supercomputing Center in Shenzhen, Shenzhen, China(深圳国家超算中心);Tsinghua University, Beijing, China(清华大学)
本文提出DS-DiT解耦孪生扩散变换器,通过在注意力层面解耦低分辨率和参考信息交互,解决参考基于超分辨率中参考信息依赖过重和利用不足的问题,提升生成质量。
2026-06-29 cs.CV
Attention-based Multi-Reference Learning for Image Super-Resolution
Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心);University of Surrey(萨里大学)
本文提出了一种新的基于注意力的多参考超分辨率网络(AMRSR),该网络在给定低分辨率图像的情况下,学习自适应地将多个参考图像中最相似的纹理传输到超分辨率输出,同时保持空间相干性。使用多个参考图像与基于注意力的采样一起被证明在多个基准数据集上实现比最先进的参考超分辨率方法显著提高的性能。参考超分辨率方法最近被提出来通过从高分辨率参考图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过提供更多样化的图像特征池来扩展这种方法,以克服固有的信息不足,同时保持存储器效率。提出了一种新的基于注意力的分层采样方法,该方法基于感知损失来学习低分辨率图像特征与多个参考图像之间的相似性。消融演示了多参考和分层注意抽样的整体性能的贡献。感知和定量地面实况评估表明,即使参考图像偏离目标图像显着的性能显着改善。该项目的网站可以在https://marcopesavento.github.io/AMRSR/上找到
2021-08-31 cs.AI cs.CV cs.LG
A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution
Zhejiang Normal University(浙江师范大学);ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
针对 RefSR 中感知与对抗损失影响纹理迁移的问题,提出可泛化的特征复用框架及单图像特征嵌入、纹理自适应聚合模块,提升多种方法性能。
2023-06-02 cs.CV
Controllable Reference Guided Diffusion with Local Global Fusion for Real World Remote Sensing Image Super Resolution
School of Remote Sensing and Information Engineering, Wuhan University(遥感与信息工程学院,武汉大学)
针对真实遥感 RefSR 中跨传感器差异、地物变化及参考依赖问题,提出 CRefDiff 扩散模型,通过双分支局部-全局融合、参考强度控制和 Better Start 加速推理,并构建 RealRefRSSRD 数据集,实现 SOTA 性能。
2025-09-28 cs.CV
GraftSR: Grafting Authentic Textures for Real-World Image Super-Resolution via Identical-Instance Guidance
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团);University of Chinese Academy of Sciences(中国科学院大学)
针对扩散图像超分辨率的纹理幻觉问题,提出GraftSR框架,采用双掩码参考引导机制,构建TexRefSR-141K数据集,在新基准上实现SOTA,LPIPS降低20.2%。
2026-08-27 cs.CV
TDAN: Temporally Deformable Alignment Network for Video Super-Resolution
University of Rochester(罗切斯特大学);Northeastern University(东北大学)
视频超分辨率(VSR)旨在从其对应的低分辨率(LR)帧(参考帧)和多个相邻帧(支持帧)恢复照片般逼真的高分辨率(HR)视频帧。由于摄像机或物体的不同运动,参考框架和每个支撑框架不对齐。因此,时间对齐是一个具有挑战性的,但VSR的重要问题。以往的VSR方法通常利用参考帧和每个支撑帧之间的光流来包裹支撑帧以进行时间对准。因此,这些基于图像级包裹的模型的性能将高度依赖于光流的预测精度,并且不准确的光流将导致包裹的支持帧中的伪影,其也将传播到重构的HR视频帧中。为了克服这一局限性,本文提出了一种时间可变形对齐网络(TDAN),在不计算光流的情况下,在特征级自适应地对齐参考帧和每个支持帧。TDAN使用来自参考帧和每个支持帧的特征来动态预测采样卷积核的偏移。通过使用相应的核,TDAN变换支持框架以与参考框架对齐。为了预测HR视频帧,利用采用对准帧和参考帧的重建网络。实验结果验证了所提出的基于TDAN的VSR模型的有效性。
2018-12-07 cs.CV
RefGC-SR$^2$: Reference-guided Super-Resolution and Refinement of AI Generated Content
CMLab, Chung-Ang University(Chung-Ang 大学 CMLab);Adobe Research(Adobe 研究院)
针对生成管道中参考图像下采样导致细节丢失和伪影问题,提出RefGC-SR$^2$任务,利用原始高分辨率参考图像同时恢复细节、精炼伪影并提升分辨率,构建首个真实三元组数据生成管道并设计频率感知扩散Transformer模型。
2026-10-07 cs.CV
PR-IQA: Partial-Reference Image Quality Assessment for Diffusion-Based Novel View Synthesis
Dongguk University(东国大学);NAVER WEBTOON AI
PR-IQA通过部分参考图像评估扩散生成的视角合成图像质量,提升3D重建效果,无需真实地面真值。
2026-04-07 cs.CV
RefSR-Adv: Adversarial Attack on Reference-based Image Super-Resolution Models
School of Computer Engineering and Science(计算机工程与科学学院)
RefSR-Adv提出了一种针对基于参考图像的超分辨率模型的对抗攻击方法,通过扰动参考图像来降低模型性能,揭示了模型对参考特征的过度依赖是关键安全漏洞。
2026-01-03 cs.AI cs.CV
Blind Super Resolution with Reference Images and Implicit Degradation Representation
National Yang Ming Chiao Tung University, Taiwan(国立阳明交通大学)
本文提出利用HR参考图像建立尺度感知退化核,并通过下采样生成额外LR-HR配对数据,在盲超分辨率任务中同时考虑模糊核与尺度因子,显著提升已有模型和零样本方法的性能。
2025-07-18 cs.CV eess.IV
Ensemble Super-Resolution with A Reference Dataset
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Wuhan University(武汉大学)
近年来,通过发展先进的图像先验知识或设计更深的结构,各种图像超分辨率(SR)方法被提出并取得了非常有前途的性能。一个自然出现的问题是,这些方法是否可以重新制定成一个统一的框架,这个框架是否有助于SR重建?在本文中,我们提出了一个简单而有效的单图像SR方法集成学习的基础上,它可以产生一个更好的性能比可以从任何SR方法被集成(或称为组件超分辨器)。基于更好的分量超解析器在进行SR重构时应该具有更大的集成权重的假设,我们提出了一种最大后验概率(MAP)估计框架来推断最佳集成权重。特别地,我们引入了一个参考数据集,它是由高分辨率(HR)和低分辨率(LR)的图像对,以衡量超分辨率能力(先验知识)的不同组件的超分辨率。为了获得最佳的集成权重,我们建议将重建约束,这表明退化的HR图像应该等于LR观测值,以及集成权重的先验知识到MAP估计框架中。此外,所提出的优化问题可以通过解析解来解决。通过与四种最新的非深度学习方法、四种最新的基于深度学习的方法和一种基于集成学习的方法进行比较,研究了该方法的性能,并在三个公开数据集上证明了其有效性和优越性。
2019-05-12 cs.CV
Can No-Reference Quality-Assessment Methods Serve as Perceptual Losses for Super-Resolution?
Lomonosov Moscow State University(莫斯科罗蒙诺索夫大学)
本文研究将无参考图像质量评估方法作为感知损失直接优化视频超分辨率模型,发现直接优化会产生伪影,但特殊训练流程可缓解此问题。
2024-05-30 cs.CV eess.IV
BadRefSR: Backdoor Attacks Against Reference-based Image Super Resolution
University of Electronic Science and Technology of China(电子科技大学);XinJiang University(新疆大学);Chengdu University of Technology(成都理工大学)
提出BadRefSR,首个针对基于参考图像的超分辨率(RefSR)模型的后门攻击框架,通过向参考图像添加触发器并训练混合损失函数嵌入后门,实验证明其在多种设置下有效,提醒相关安全风险。
2025-02-28 cs.CV eess.IV
HSTR-Net: Reference Based Video Super-resolution with Dual Cameras
University of Arizona(亚利桑那大学);Ozyegin University(奥兹耶金大学);Istanbul Medipol University(伊斯坦布尔梅迪波尔大学)
本文提出双摄像头 HSTR-Net,通过融合 HSLF 与 LSHF 视频并结合光流和注意力机制进行 RefSR,在指标和无人机空中监测实时性上均表现优异。
2024-09-06 cs.CV
Ultra-High-Definition Reference-Based Landmark Image Super-Resolution with Generative Diffusion Prior
针对现有扩散模型对齐困难和数据集分辨率低的问题,提出TriFlowSR框架通过参考匹配策略实现低清与参考图像的模式匹配,并构建首个超高清地标数据集Landmark-4K,显著提升了真实退化场景下的图像恢复质量。
2025-08-14 cs.AI cs.CV
Reference-Based Face Super-Resolution Using the Spatial Transformer
Brandeis University(布兰迪斯大学)
研究人脸超分辨率问题,提出基于参考图像的解决方案,利用空间变换器对齐模块和聚合函数,实现高保真超分辨率,较小模型在多数据集达最优结果。
2026-07-14 cs.CV cs.LG
Dual Recovery Network with Online Compensation for Image Super-Resolution
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);Cooperative Medianet Innovation Center(协同媒体网创新中心)
当在不使用外部参考的情况下从低分辨率(LR)图像预测高分辨率(HR)图像时,图像超分辨率(SR)方法本质上会导致一些高频(HF)信息的丢失。为了解决这个问题,我们还利用在线检索的数据,以促进图像SR在一个统一的深度框架。提出了一种新的双高频恢复网络(DHN)预测HR图像的三个部分:LR图像,内部推断HF(IHF)地图(HF缺失部分仅从LR图像推断)和外部提取HF(EHF)地图。特别是,我们推断的HF信息的基础上的LR图像和类似的HR参考检索在线。对于EHF地图,我们用仿射变换对齐参考,然后在对齐的参考中,部分HF信号被所提出的DHN提取以补偿HF损失。大量的实验结果表明,我们的DHN实现了显着更好的性能比国家的最先进的SR方法。
2018-06-18 cs.CV
Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部)
本文提出自监督学习方法 SelfDZSR,利用智能手机长焦图像作为参考超分辨超广角图像,并通过光流对齐、辅助LR引导和局部重叠切片Wasserstein损失提升效果,同时提出多焦段渐进融合方案,性能优于现有方法。
2024-05-03 cs.CV
Video Super-Resolution with Long-Term Self-Exemplars
HKUST(香港科技大学);DJI(大疆创新)
现有的视频超分辨率方法通常利用几个相邻帧来为每个帧生成更高分辨率的图像。然而,在这些方法中,远距离帧之间的冗余信息尚未被充分利用:相同实例的对应补丁出现在不同尺度的远距离帧中。基于这一观察,我们提出了一种视频超分辨率方法与长期的跨尺度聚合,利用类似的补丁(自我样本)在遥远的帧。我们的模型还包括一个多参考对齐模块,用于融合来自相似块的特征:我们融合远距离参考的特征以执行高质量的超分辨率。我们还提出了一种新颖实用的基于参考的超分辨率训练策略。为了评估我们所提出的方法的性能,我们对收集的CarCam数据集和Waymo Open数据集进行了广泛的实验,结果表明我们的方法优于最先进的方法。我们的源代码将公开。
2021-06-24 cs.CV
Reference-based Texture transfer for Single Image Super-resolution of Magnetic Resonance images
Indian Institute of Technology Madras (IITM)(印度理工学院马德拉斯分校);Healthcare Technology Innovation Centre (HTIC), IITM(印度理工学院马德拉斯分校医疗技术创新中心)
磁共振成像(MRI)是一种有价值的临床诊断方法,用于脊柱病理学,对感染、肿瘤、退行性变、骨折和疝有很好的表征。然而,在外科手术中,图像引导的脊柱手术继续依赖于CT和荧光透视,因为MRI切片分辨率通常不足。在最先进的单图像超分辨率的基础上,我们提出了一种基于参考的、不成对的多对比度纹理转移策略,用于基于深度学习的平面内和跨平面MRI超分辨率。我们使用的散射变换的图像补丁的纹理特征相关的不成对的参考图像补丁,并额外的多对比度纹理的损失项。我们将我们的方案应用于不同的超分辨率架构中,在大多数情况下观察到PSNR和SSIM在4倍超分辨率下的改善。
2021-02-10 cs.CV cs.LG eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon(亚马逊)
这项工作的重点是低比特率的视频流场景(例如50 - 200 Kbps),其中视频质量严重受损。我们提出了一系列新颖的深度生成模型,用于通过执行超分辨率来增强此类流的感知视频质量,同时还去除压缩伪影。我们的模型,我们称之为SuperTran,除了低质量,低分辨率的视频流之外,还需要输入一个高质量,高分辨率的参考图像。因此,模型学习如何从参考图像借用或复制视觉元素(如纹理),并填充低分辨率流中的剩余细节,以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次,也可以从图库中检索。重要的是,所得到的输出具有比仅使用低分辨率输入的方法(例如SuperVEGAN方法)可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作(高达30帧/秒)。
2022-11-22 cs.CV cs.LG eess.IV
Physics-Informed Deep Learning Model for Cross-Modality Super-Resolution in Fluorescence Microscopy
研究针对荧光显微镜跨模态超分辨率问题,提出将显微镜特定点扩散函数信息纳入训练目标的物理信息生成对抗网络,经实验验证该方法能提高模型结构保真度和物理合理性。
2026-07-24 cs.CV
Building Bridges across Spatial and Temporal Resolutions: Reference-Based Super-Resolution via Change Priors and Conditional Diffusion Model
Tsinghua University(清华大学);Tsinghua University - Xi’an Institute of Surveying and Mapping Joint Research Center(清华大学-西安测绘联合研究中心);The University of Hong Kong(香港大学);National Supercomputing Center in Shenzhen(深圳国家超级计算中心);Sun Yat-Sen University(中山大学)
针对参考引导超分辨率在大缩放因子下内容保真度与纹理迁移受限的问题,提出变化感知扩散模型Ref-Diff,利用土地覆盖变化先验显式指导去噪过程,解耦语义与纹理引导去噪,显著提升了重建效果与鲁棒性。
2024-03-26 cs.CV eess.IV
Bridging the Domain Gap: A Simple Domain Matching Method for Reference-based Image Super-Resolution in Remote Sensing
针对遥感场景中参考图与低分辨率图存在域差距导致RefSR性能下降的问题,提出即插即用的域匹配模块,首次将基于域匹配的RefSR用于遥感图像处理,有效提升超分辨率效果。
2024-01-29 cs.AI cs.CV
Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment
Harbin Institute of Technology(哈尔滨工业大学);Dalian Maritime University(大连海事大学);Peng Cheng Laboratory(鹏城实验室)
全参考图像质量评价(Full-reference image quality assessment,IQA)通过测量失真图像与原始图像质量参考图像的视觉差异来评价失真图像的视觉质量,已广泛应用于低水平视觉任务。在训练FR-IQA模型时,需要使用具有平均意见得分(MOS)的成对标记数据,但这些数据的收集耗时且繁琐,而未标记数据则可以从图像退化或恢复过程中轻松收集,因此利用未标记训练数据来提高FR-IQA性能是一个很有前途的研究方向。此外,由于标记数据和未标记数据之间的分布不一致性,未标记数据中可能会出现离群值,进一步增加了训练难度。在本文中,我们建议结合半监督和正未标记(PU)学习来利用未标记数据,同时减轻离群值的不利影响。特别地,通过将所有标记的数据视为正样本,PU学习被利用来识别负样本(即,离群值)。半监督学习(SSL)进一步部署,利用积极的未标记的数据,动态生成伪MOS。我们采用了一个双分支网络,包括参考和失真分支。此外,在参考分支中引入空间注意力,使其更集中于信息区域,并使用切片Wasserstein距离进行稳健的差异图计算,以解决由GAN模型恢复的图像引起的错位问题。大量的实验表明,我们的方法在基准数据集PIPAL,KADID-10 k,TID 2013,LIVE和CSIQ上的性能优于最先进的方法。
2022-04-19 cs.CV eess.IV
A No-Reference Deep Learning Quality Assessment Method for Super-resolution Images Based on Frequency Maps
Shanghai Jiao Tong University(上海交通大学)
为了支持高分辨率图像的应用场景,人们开发了各种单图像超分辨率(SISR)算法。然而,SISR是一个不适定的逆问题,可能会给重建图像带来纹理移位、模糊等伪影,因此有必要对超分辨率图像的质量进行评价。请注意,大多数现有的图像质量评估(IQA)方法是针对合成失真图像开发的,这可能不适用于SRI,因为它们的失真更加多样和复杂。因此,在本文中,我们提出了一种基于频率图的无参考深度学习图像质量评估方法,因为SISR算法引起的伪影对频率信息非常敏感。具体地说,我们首先利用Sobel算子和分段光滑图像近似得到SRI的高频图(HM)和低频图(LM)。然后,一个双流网络被用来提取两个频率图的质量感知特征。最后,使用完全连接的层将特征回归为单个质量值。实验结果表明,我们的方法优于所有比较的IQA模型在选定的三个超分辨率质量评估(SRQA)数据库。
2022-06-09 cs.CV eess.IV
Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance
基于融合的高光谱图像(HSI)超分辨率由于其能够从成对的高分辨率(HR)RGB参考图像中整合高频空间信息而变得越来越普遍。然而,大多数现有的方法要么严重依赖于低分辨率(LR)HSI和RGB图像之间的精确对齐,要么只能处理由刚性几何变换生成的模拟未对齐的RGB图像,这削弱了它们对真实场景的有效性。在本文中,我们探讨了基于融合的HSI超分辨率与真正的RGB参考图像,刚性和非刚性错位。为了解决现有方法对未对齐参考图像的局限性,我们提出了一种HSI融合网络,具有异构特征提取,多阶段特征对齐和关注特征融合。具体来说,我们的网络首先分别使用HSI编码器和RGB编码器将输入的HSI和RGB图像转换为两组多尺度特征。RGB参考图像的特征然后由多级对准模块处理,以将RGB参考图像的特征与LR HSI显式地对准。最后,通过自适应注意力模块对RGB参考图像的对齐特征进行调整,使其更加集中于有区别的区域,然后将其发送到融合解码器,以生成重构的HR HSI。此外,我们收集了一个真实世界的HSI融合数据集,包括成对的HSI和未对齐的RGB参考,以支持评估所提出的模型的真实场景。在模拟数据集和真实数据集上进行了大量的实验,结果表明,该方法在定量评估和视觉比较方面均优于现有的单图像和基于融合的超分辨率方法。
2023-02-13 cs.CV eess.IV
OracleZoom: Reference-Constrained Recursive Image Super-Resolution Beyond Ground Truth
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
OracleZoom提出一种受在策略蒸馏启发的参考约束递归超分辨率框架,通过携带真实标签证据并采用无参考质量目标,在七个数据集上实现最先进的超分辨率质量,平均CLIPIQA达0.713,并显著减少幻觉。
2026-11-19 cs.AI cs.CL cs.CV
No-Clean-Reference Image Super-Resolution: Application to Electron Microscopy
A. I. Virtanen Institute for Molecular Sciences, Faculty of Health Sciences, University of Eastern Finland(东芬兰大学健康科学学院A. I. Virtanen分子科学研究所);Technical University of Munich(慕尼黑工业大学)
针对大体积脑组织难以获取干净高分辨率电镜图像的问题,提出无干净参考的超分辨率网络EMSR,对比多种训练策略,在9个脑部数据集上验证了方法的有效性与竞争力。
2024-01-26 cs.AI cs.CV
Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
在本文中,我们考虑了基于参考的超分辨率(RefSR)中的两个具有挑战性的问题,(i)如何选择合适的参考图像,以及(ii)如何以自监督的方式学习真实世界的RefSR。特别是,我们提出了一种新的自监督学习方法,从双摄像机变焦(SelfDoppler R)的观察真实世界的图像SR。考虑到多个相机在现代智能手机中的普及,更变焦(长焦)的图像可以自然地被用作参考以引导更少变焦(短焦)的图像的SR。此外,SelfDoppler R学习深度网络以获得短焦图像的SR结果,以具有与长焦图像相同的分辨率。为此,我们采取的长焦图像,而不是一个额外的高分辨率图像作为监督信息,并从中选择一个中心补丁作为参考,超分辨率相应的短焦图像补丁。为了减轻短焦低分辨率(LR)图像和长焦地面实况(GT)图像之间的不对准的影响,我们设计了一个伪LR生成器,并将GT映射到伪LR,同时保持空间位置不变。然后利用自适应空间Transformer网络(AdaR)对LR特征进行变形,并将Ref特征与GT进行匹配。在测试过程中,SelfDADaR可以直接部署,以长焦图像为参考对整个短焦图像进行超求解。实验表明,我们的方法实现了更好的定量和定性性能对国家的艺术。代码可在https://github.com/cszhilu1998/SelfDZSR上获得。
2022-07-20 cs.CV eess.IV
High-Resolution Reference Image Assisted Volumetric Super-Resolution of Cardiac Diffusion Weighted Imaging
Department of Bioengineering, Imperial College London(帝国理工学院生物工程系);Cardiovascular Magnetic Resonance Unit, Royal Brompton Hospital(皇家布里托尼医院心血管磁共振单位);National Heart and Lung Institute, Imperial College London(帝国理工学院国家心脏和肺研究所)
本文提出一种基于深度学习的体积分辨率提升框架,利用高分辨率b0 DWI作为输入,提升心脏扩散加权成像的图像质量,并证明了该框架在未见b值下的泛化能力。
2026-05-16 cs.CV eess.IV
Robust Reference-based Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学)
基于参考的超分辨率(Ref-SR)最近已经成为一种有前途的范例,通过引入额外的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间存在两个间隙:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR),因此难以执行局部转移。为了应对这些挑战,我们提出了C2-Matching,它产生显式的鲁棒匹配交叉变换和分辨率。1)对于变换间隙,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)对于分辨率差距,我们采用了师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态聚合模块来解决潜在的不对齐问题。此外,为了忠实地评估Ref-SR在现实环境下的性能,我们贡献了Webly引用的SR(WR-SR)数据集,模仿实际使用场景。大量的实验表明,我们提出的C2匹配显着优于国家的艺术超过1dB的标准CUFED 5基准。值得注意的是,它在WR-SR数据集上也表现出很强的泛化能力,以及在大规模和旋转变换中的鲁棒性。
2021-06-03 cs.CV cs.LG eess.IV
Data Acquisition and Preparation for Dual-reference Deep Learning of Image Super-Resolution
基于深度学习的图像超分辨率(SR)方法的性能取决于用于训练的成对低分辨率和高分辨率图像对真实相机的采样过程的准确程度。由退化模型合成的低分辨率和高分辨率(LR $\sim$ HR)图像对(例如,双三次下采样)偏离现实中的那些;因此,当应用于真实世界图像时,合成训练的DCNN SR模型会不一致地工作。为了解决这个问题,我们提出了一种新的数据采集过程中拍摄一个大的LR $\sim$ HR图像对使用真正的相机。图像显示在超高质量的屏幕上,并以不同的分辨率拍摄。通过一种新的空频双域配准方法,可以将得到的LR $\sim$ HR图像对以极高的亚像素精度进行配准,从而为超分辨率的学习任务提供更合适的训练数据。此外,捕获的HR图像和原始数字图像提供了双重参考,以加强监督学习。实验结果表明,使用LR $\sim$ HR数据集训练超分辨率DCNN比使用文献中的其他数据集训练DCNN获得更高的图像质量。此外,所提出的屏幕捕获数据收集过程可以自动化;它可以轻松且低成本地针对任何目标相机进行,提供了一种针对每个给定相机单独定制DCNN SR模型训练的实用方法。
2022-06-19 cs.CV eess.IV
Reference-based OCT Angiogram Super-resolution with Learnable Texture Generation
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学)
针对OCTA成像中视野增大导致分辨率下降的问题,提出基于参考的超分辨率框架LTGNet,用可学习纹理生成器替代参考图像搜索,扩大纹理空间,无需参考图像,实验证明性能与鲁棒性优于现有方法。
2023-05-10 cs.CV cs.LG eess.IV
Perception- and Fidelity-aware Reduced-Reference Super-Resolution Image Quality Assessment
College of Electronics and Information Engineering, Sichuan University(四川大学电子信息工程学院);Guangxi Normal University(广西师范大学);Yunnan University(云南大学)
本文提出双分支降参考超分辨率图像质量评估网络PFIQA,利用LR图像和缩放因子分别评估SR图像的感知质量与重建保真度,在多个基准上超越现有方法。
2024-07-27 cs.CV eess.IV