Video Super-resolution with Temporal Group Attention
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
视频超分辨率是一种将低分辨率视频转换为高分辨率视频的技术,近年来受到越来越多的关注。在这项工作中,我们提出了一种新的方法,可以有效地将时间信息在一个层次的方式。输入序列被分成若干组,每组对应于一种帧速率。这些组提供补充信息以恢复参考帧中丢失的细节,其进一步与注意模块和深度组内融合模块集成。此外,提出了一种快速的空间对齐来处理具有大运动的视频。大量的结果表明,该模型在处理各种运动的视频的能力。它在几个基准数据集上实现了对最先进方法的良好性能。
2020-07-21 cs.CV
Learning Spatial Attention for Face Super-Resolution
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
一般的图像超分辨率技术在应用于低分辨率人脸图像时,难以恢复人脸的细节结构。最近针对人脸图像定制的基于深度学习的方法通过与诸如人脸解析和地标预测之类的附加任务联合训练来实现改进的性能。然而,多任务学习需要额外的手动标记数据。此外,大多数现有的工作只能生成相对低分辨率的人脸图像(例如,$128\times128$),因此它们的应用受到限制。在本文中,我们介绍了一种新的空间注意力残差网络(SPARNet)建立在我们新提出的人脸注意力单元(FAU)的人脸超分辨率。具体来说,我们引入了一个空间的注意力机制香草残留块。这使得卷积层能够自适应地引导与关键面部结构相关的特征,并且较少关注那些特征不丰富的区域。这使得训练更加有效和高效,因为关键面部结构仅占面部图像的非常小的部分。注意力地图的可视化显示,我们的空间注意力网络可以很好地捕捉关键的人脸结构,即使是非常低分辨率的人脸(例如,$16\times16$)。各种指标(包括PSNR,SSIM,身份相似性和地标检测)的定量比较表明,我们的方法优于当前的国家的艺术。我们进一步扩展SPARNet与多尺度鉴别器,命名为SPARNetHD,以产生高分辨率的结果(即,$512\times512$)。我们表明,SPARNetHD训练与合成数据不仅可以产生高质量和高分辨率的输出综合退化的人脸图像,但也表现出良好的泛化能力,以现实世界的低质量人脸图像。
2020-12-04 cs.CV
MAANet: Multi-view Aware Attention Networks for Image Super-Resolution
Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学)
近年来,基于深度卷积神经网络(DCNN)的图像超分辨率(SR)在多媒体和计算机视觉领域获得了越来越多的关注,其重点是从低分辨率(LR)图像恢复高分辨率(HR)图像。然而,基于DCNN的方法的一个不可忽视的缺陷是,它们中的大多数不能从具有低频信息冗余的低分辨率图像恢复包含足够高频信息的高分辨率图像。更糟糕的是,随着DCNN深度的增加,训练很容易遇到梯度消失的问题,这使得训练变得更加困难。这些问题阻碍了DCNN在图像SR任务中的有效性。为了解决这些问题,我们提出了多视图感知注意力网络(MAANet)的图像SR任务。具体来说,我们提出了本地意识(LA)和全球意识(GA)的注意力处理LR功能在不平等的方式,它可以突出的高频成分和区分每个功能从LR图像在本地和全球的意见,分别。此外,我们提出了本地注意剩余密集(LARD)块,它结合了LA注意与多个剩余和密集的连接,以适应更深但易于训练的架构。实验结果表明,我们提出的方法可以实现显着的性能相比,其他国家的最先进的方法。
2019-04-12 cs.CV
CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution
ETH Zürich(苏黎世联邦理工学院);Huawei Inc.(华为公司);University of Wurzburg(维尔茨堡大学);KU Leuven(鲁汶大学);Google(谷歌公司)
本文提出CiaoSR,通过连续隐式注意力嵌套网络学习局部特征集成权重,并嵌入尺度感知注意力利用非局部信息,在任意尺度图像超分辨率任务中取得最先进性能,且可灵活集成到任何骨干网络。
2023-04-13 cs.CV
RealViformer: Investigating Attention for Real-World Video Super-Resolution
National University of Singapore(新加坡国立大学)
针对真实世界视频超分辨率中伪影传播问题,探究通道注意力优于空间注意力,提出RealViformer框架,以更少参数和更快速度在真实数据集上达到最优性能。
2024-07-19 cs.CV
HiTSR: A Hierarchical Transformer for Reference-based Super-Resolution
University of Saskatchewan(萨斯喀彻温大学)
本文提出HiTSR,一种基于层次化Transformer的参考图像超分辨率模型,通过双注意力块、门控注意力融合和squeeze-and-excitation模块简化架构,在多个数据集上取得最先进性能。
2024-08-30 cs.CV
Efficient Super Resolution For Large-Scale Images Using Attentional GAN
Expedia Group(亿客行集团);Worcester Polytechnic Institute(伍斯特理工学院)
单图像超分辨率(SISR)是一个研究得很好的问题,具有广泛的商业意义。然而,大多数SISR文献都集中在500 px以下的小尺寸图像上,而业务需求可能会要求生成非常高分辨率的图像。在Expedia集团,我们的任务是生成至少2000 px的图像,以显示在网站上,比文献中通常报道的尺寸大四倍。这一要求提出了一个挑战,在小图像上验证的最先进的模型尚未被证明可以处理。在本文中,我们调查的问题,产生高品质的图像,在商业环境中的大规模超分辨率的解决方案。我们发现,使用大规模住宿图像数据集从头开始训练具有注意力的生成对抗网络(GAN)生成具有高PSNR和SSIM分数的图像。我们描述了一种新的注意力SISR模型的大规模图像,A-SRGAN,使用灵活的自我注意力层,使大规模图像的处理。我们还描述了一种分布式算法,它可以将训练速度提高大约五倍。
2019-01-13 cs.CV
Crafting Query-Aware Selective Attention for Single Image Super-Resolution
POSTECH(浦项科技大学);Kyunghee University(庆熙大学);UNIST(蔚山科学技术院);Sogang University(西江大学)
本文提出 SSCAN,通过查询感知的窗口选择策略动态聚焦最相关的键值窗口,在降低计算复杂度和内存占用的同时提升单图像超分辨率的重建质量。
2025-04-09 cs.CV
Pyramidal Edge-maps and Attention based Guided Thermal Super-resolution
Computational Imaging Lab, IIT Madras(印度理工学院马德拉斯分校计算成像实验室)
由于可见光图像之间的光谱范围差异,使用可见光图像的热图像的引导超分辨率(GSR)是具有挑战性的。这又意味着图像之间存在显著的纹理失配,其表现为超分辨率热图像中的模糊和重影伪影。为了解决这个问题,我们提出了一种新的算法GSR的基础上金字塔边缘图提取的可见光图像。我们提出的网络有两个子网络。第一个子网络对低分辨率的热图像进行超分辨,而第二个子网络以不断增长的感知尺度从可见光图像中获得边缘图,并借助基于注意力的融合将它们集成到超分辨率子网络中。多级边缘的提取和整合允许超分辨率网络渐进地处理纹理到对象级信息,从而能够更直接地识别输入图像之间的重叠边缘。大量的实验表明,我们的模型优于国家的最先进的GSR方法,定量和定性。
2020-09-30 cs.CV
Component Attention Guided Face Super-Resolution Network: CAGFace
The University of Auckland(奥克兰大学);Purdue University(普渡大学);The Australian National University(澳大利亚国立大学)
为了充分利用人脸的底层结构、人脸数据集的集体信息以及上采样过程中的中间估计,这里我们介绍了一种用于人脸图像的4 $\times$超分辨率的全卷积多级神经网络。我们使用分割网络隐式地施加面部组件式注意力地图,以使我们的网络专注于面部固有模式。我们网络的每个阶段都由一个主干层、一个残差主干层和空间上采样层组成。我们循环地应用阶段来重建中间图像,然后重用其空间到深度转换的版本来逐步引导和增强图像质量。我们的实验表明,我们的脸超分辨率方法实现定量优越和感知愉悦的结果相比,最先进的。
2019-10-19 cs.CV
EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
MIT(麻省理工学院);Zhejiang University(浙江大学);Tsinghua University(清华大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
EfficientViT通过多尺度线性注意力实现全局感受野与多尺度学习,以轻量高效操作在高分辨率密集预测中大幅加速并保持性能,适用于多种硬件平台。
2024-02-06 cs.CV
GRAN: Ghost Residual Attention Network for Single Image Super Resolution
Northwestern Polytechnical University(西北工业大学)
近年来,许多研究者设计了更宽、更深的网络来实现更高的图像超分辨率性能。尽管它们具有出色的性能,但它们仍然受到高计算资源的影响,使其无法直接应用于嵌入式设备。为了减少计算资源和保持性能,我们提出了一种新的幽灵剩余注意力网络(GRAN)的高效超分辨率。本文引入了Ghost Residual Attention Block(GRAB)组来克服标准卷积运算的缺点,即,中间特征的冗余。GRAB由Ghost模块和通道与空间注意力模块(CSAM)组成,以减少冗余特征的生成。具体来说,Ghost Module可以通过使用线性运算来代替标准卷积来揭示内在特征的信息。通过Ghost模块减少冗余功能,我们的模型降低了网络中的内存和计算资源需求。CSAM更全面地关注特征提取在哪里和提取什么,这对恢复图像细节至关重要。在基准数据集上进行的实验表明,我们的方法在定性和定量方面都具有优异的性能。与基准模型相比,我们以更低的计算资源实现了更高的性能,其参数和FLOPs降低了十倍以上。
2023-03-02 cs.CV
MaxSR: Image Super-Resolution Using Improved MaxViT
Nanjing University(南京大学)
本文提出基于改进 MaxViT 的单幅图像超分辨率模型 MaxSR,通过自适应块注意力与网格注意力建模全局自相似性,并提供经典与轻量版本,实验取得新的最先进性能。
2023-07-14 cs.CV
Image Super-Resolution Using Very Deep Residual Channel Attention Networks
Northeastern University(东北大学)
卷积神经网络(CNN)深度对于图像超分辨率(SR)具有至关重要的意义。然而,我们观察到用于图像SR的更深的网络更难以训练。低分辨率输入和特征包含丰富的低频信息,这些信息在通道之间被平等对待,因此阻碍了CNN的代表能力。为了解决这些问题,我们提出了非常深的残留通道注意力网络(RCAN)。具体来说,我们提出了一种残差中残差(RIR)结构,以形成非常深的网络,它由几个残差组与长跳跃连接。每个残差组包含具有短跳过连接的一些残差块。同时,RIR允许通过多个跳过连接绕过丰富的低频信息,使主网络专注于学习高频信息。此外,我们提出了一个通道注意力机制,通过考虑通道之间的相互依赖性,自适应地重新缩放通道的功能。大量的实验表明,我们的RCAN实现了更好的准确性和视觉上的改进,对国家的最先进的方法。
2018-07-12 cs.CV
A HVS-inspired Attention to Improve Loss Metrics for CNN-based Perception-Oriented Super-Resolution
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
深度卷积神经网络(CNN)特征已被证明是有效的感知质量特征。基于预训练的CNN的特征图的感知损失已经被证明对于基于CNN的感知图像复原问题是非常有效的。在这项工作中,从人类视觉系统(HVS)和视觉感知的启发,我们提出了一个空间注意力机制的基础上依赖于人类的对比敏感度的空间频率。我们根据潜在的空间频率识别输入图像中的区域,这些区域在超分辨率期间通常不能很好地重建,但在视觉灵敏度方面是最重要的。基于这一先验,我们设计了一个空间注意力图,应用于感知损失及其变体中的特征图,帮助它们识别更具感知重要性的区域。结果表明,我们的技术提高了感知损失和上下文损失的能力,在基于CNN的超分辨率中提供更自然的图像。
2019-07-27 cs.CV
Fidelity- and Perception-Aware Local Implicit Attention for Arbitrary-Scale Image Super-Resolution
National Taiwan University(国立台湾大学);MediaTek Inc.(联发科技股份有限公司)
提出FPLIA框架,通过融合保真度导向特征与扩散管道,结合FPAM和FPSM模块,在任意尺度超分辨率中实现高感知真实度与重建精度。
2026-06-23 cs.CV
Dual-Camera Super-Resolution with Aligned Attention Modules
HKUST(香港科技大学);SenseTime Research(商汤科技研究院)
提出了一种基于参考图像的超分辨率(RefSR)方法,重点研究了双摄像头超分辨率(DCSR)方法,该方法利用参考图像获得高质量和高保真度的图像。我们提出的方法推广了标准的基于块的空间对齐操作的特征匹配。我们进一步探索了双摄像头超分辨率,这是RefSR的一个有前途的应用,并建立了一个数据集,由146个图像对从智能手机中的主摄像头和长焦摄像头。为了弥补真实世界图像和训练图像之间的领域差距,我们提出了一种用于真实世界图像的自监督领域自适应策略。在我们的数据集和公共基准上进行的大量实验表明,我们的方法在定量评估和视觉比较方面都比现有技术有了明显的改进。
2021-09-06 cs.CV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing(北京科技大学);Microsoft Research(微软研究院);Shunde Graduate School of University of Science and Technology Beijing(北京科技大学顺德研究生院)
压缩视频超分辨率(VSR)旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展,但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战,因为大多数帧通常都是高度退化的。在本文中,我们提出了一种新的频率变换器压缩视频超分辨率(FTVSR),进行自关注的联合空间-时间-频率域。首先,我们将一个视频帧分成补丁,并将每个补丁转换成DCT频谱图,其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注,使得可以将真实的视觉纹理与伪影区分开,并且进一步用于视频帧恢复。其次,我们研究了不同的自注意方案,并发现一个分开的注意,进行联合空间频率注意之前,每个频带上应用时间注意,导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明,FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Multi-scale interaction network for stereo image super-resolution
Ocean University of China(中国海洋大学)
本文提出了一种多尺度交互网络,用于立体图像超分辨率,通过改进视内特征提取和视间匹配精度,实现了更优的超分辨率效果。
2026-05-21 cs.CV
Reference-based Image Super-Resolution with Deformable Attention Transformer
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
基于参考的图像超分辨率(RefSR)旨在利用辅助参考(Ref)图像来超分辨率低分辨率(LR)图像。最近,RefSR已经引起了极大的关注,因为它提供了一种替代的方式来超越单图像SR。然而,解决RefSR问题有两个关键的挑战:(i)当LR和Ref图像显著不同时,难以匹配LR和Ref图像之间的对应关系;(ii)如何从Ref图像转移相关纹理以补偿LR图像的细节是非常具有挑战性的。为了解决RefSR的这些问题,提出了一种多尺度的可变形注意力Transformer,即DATSR,每个可变形注意力包括纹理特征编码器(TFE)模块、基于参考的可变形注意力(RDA)模块和残余特征聚合(RFA)模块。具体地,TFE首先提取图像变换(例如,为了减少LR和Ref图像的亮度(亮度)不敏感特征,RDA然后可以利用多个相关纹理来补偿LR特征的更多信息,并且RFA最后聚合LR特征和相关纹理以获得视觉上更令人愉快的结果。大量的实验表明,我们的DATSR达到最先进的性能基准数据集定量和定性。
2022-08-04 cs.CV
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution
The Hong Kong Polytechnic University(香港理工大学);OPPO Research(OPPO研究院)
场景文本图像超分辨率的目的是提高低分辨率图像中文本的分辨率和可读性。虽然深度卷积神经网络(CNN)已经取得了显着的改善,它仍然很难重建高分辨率的图像空间变形的文本,特别是旋转和曲线形状的。这是因为当前基于CNN的方法采用基于局部的操作,这对于处理由变形引起的变化是无效的。在本文中,我们提出了一个基于CNN的文本注意网络(TATT)来解决这个问题。首先通过文本识别模块提取文本的语义作为文本的先验信息。然后,我们设计了一个新的基于transformer的模块,它利用全局注意力机制,发挥文本的语义指导之前的文本重建过程。此外,我们提出了一个文本结构的一致性损失,以改善的视觉外观,通过施加结构的一致性重建的规则和变形的文本。在TextZoom基准数据集上的实验表明,该算法不仅在PSNR/SSIM指标上达到了最佳性能,而且在后续文本识别任务中显著提高了识别精度,尤其是对于多方向和弯曲形状的文本实例。代码可在https://github.com/mjq11302010044/TATT上获得。
2022-03-18 cs.CV
Learning Parallax Attention for Stereo Image Super-Resolution
College of Electronic Science and Technology, National University of Defense Technology, China(国防科技大学电子科学与技术学院);National Key Laboratory of Science and Technology on Blind Signal Processing, China(中国盲信号处理国防科技重点实验室)
立体图像对可用于改善超分辨率(SR)的性能,因为从第二视点提供附加信息。然而,由于立体图像之间的视差变化很大,因此将此信息用于SR是具有挑战性的。在本文中,我们提出了一个视差-注意立体超分辨率网络(PASSRnet),以整合从一个立体图像对SR的信息。具体来说,我们引入了一个视差-注意力机制与沿极线的全局感受野处理不同的立体图像与大的视差变化。我们还提出了一个新的和最大的数据集立体图像SR(即,Flickr 1024)。大量的实验表明,视差-注意力机制可以捕捉立体图像之间的对应关系,以提高SR性能与小的计算和存储成本。比较结果表明,我们的PASSRnet在Middlebury,KITTI 2012和KITTI 2015数据集上实现了最先进的性能。
2019-03-19 cs.CV
Emulating Self-attention with Convolution for Efficient Image Super-Resolution
Machine Intelligence Laboratory, University of Seoul(首尔大学人工智能实验室)
针对Transformer图像超分辨率计算开销大的问题,提出卷积注意力模块模拟自注意力,并结合flash attention扩大窗口,在保持表征能力的同时显著降低了延迟与内存。
2025-06-30 cs.CV
Efficient Long-Range Attention Network for Image Super-resolution
The Hong Kong Polytechnic University(香港理工大学);OPPO Research(OPPO研究院)
最近,基于变换的方法已经在各种视觉任务中表现出令人印象深刻的结果,包括图像超分辨率(SR),通过利用自注意(SA)的特征提取。然而,在大多数现有的基于Transformer的模型中,SA的计算是非常昂贵的,而一些所采用的操作对于SR任务来说可能是冗余的。这限制了SA计算的范围,并因此限制了SR性能。在这项工作中,我们提出了一个有效的远程注意网络(ELAN)的图像SR。具体来说,我们首先采用移位卷积(shift-conv)来有效地提取图像局部结构信息,同时保持与1x1卷积相同的复杂度,然后提出了一种分组多尺度自注意(GMSA)模块,其使用不同的窗口大小来计算关于非重叠的特征组的SA,以利用远程图像依赖性。一个高效的远程注意力块(ELAB),然后建立简单的级联两个shift-conv与GMSA模块,这是进一步加速使用共享的注意力机制。没有花里胡哨,我们的ELAN遵循一个相当简单的设计,通过顺序级联ELAB。大量的实验表明,ELAN获得更好的结果对基于变压器的SR模型,但具有显着降低的复杂性。源代码可以在www.example.com上找到。
2022-03-13 cs.CV
A Lightweight Recurrent Grouping Attention Network for Video Super-Resolution
Communication University of China(中国传媒大学)
针对视频超分辨率模型参数量大、设备负担重的问题,提出轻量级循环分组注意力网络,通过双向特征提取、分组机制、注意力补充与特征重建,以0.878M参数在多个数据集上达到SOTA性能。
2023-09-25 cs.CV
Triple Attention Mixed Link Network for Single Image Super Resolution
Nanjing University of Science and Technology(南京理工大学)
单帧图像的超分辨率作为一项底层计算机视觉任务具有重要意义。最近的深度卷积神经网络方法已经取得了令人印象深刻的性能。然而,现有的架构有局限性,由于不太复杂的结构,以及不太强的代表性的力量。在这项工作中,为了显着增强特征表示,我们提出了三重注意力混合链接网络(TAN),它包括1)三个不同的方面(即,注意力机制的核心、空间和通道)和2)强大的剩余连接和密集连接两者的融合(即,混合链接)。具体来说,多核网络在不同的感受野下学习多层次表征。输出特征通过有效核和通道注意力重新校准,并部分残差和部分稠密地馈送到下一层,过滤信息,使网络能够学习更强大的表示。这些特征最终通过重构网络中的空间注意力,产生局部和全局信息的融合,让网络恢复更多的细节,提高重构图像的质量。由于不同的功能重新校准和先进的信息流拓扑结构,我们提出的模型是强大的,足以执行对国家的最先进的方法对基准评估。
2018-10-08 cs.CV
DLGSANet: Lightweight Dynamic Local and Global Self-Attention Networks for Image Super-Resolution
Nanjing University of Science and Technology(南京理工大学)
提出了一种有效的轻量级动态局部和全局自注意网络(DLGSANet)来解决图像超分辨率问题。我们的方法探讨了Transformers的属性,同时具有较低的计算成本。受Transformers网络设计的启发,我们开发了一个简单而有效的多头动态局部自注意(MHDLSA)模块来有效地提取局部特征。此外,我们注意到,现有的Transformers通常探索查询和特征聚合的键之间的标记的所有相似性。然而,并不是所有的令牌从查询是相关的那些在关键字,使用所有的相似性并不能有效地促进高分辨率图像重建。为了克服这个问题,我们开发了一个稀疏全局自注意(SparseGSA)模块来选择最有用的相似度值,以便最有用的全局特征可以更好地用于高分辨率图像重建。我们开发了一个混合动态变压器块(HDTB),集成了MHDLSA和SparseGSA的本地和全球的功能探索。为了简化网络训练,我们将HDTB制定为残余混合动态变压器组(RHDTG)。通过将RHDTG嵌入到端到端的可训练网络中,我们表明我们提出的方法具有更少的网络参数和更低的计算成本,同时在准确性方面与最先进的方法相比具有竞争力的性能。更多信息请访问https://neonleexiang.github.io/DLGSANet/
2023-01-05 cs.CV
Symmetric Parallax Attention for Stereo Image Super-Resolution
National University of Defense Technology(国防科技大学)
虽然近年来立体图像超分辨率(SR)技术取得了很大的进展,但双目系统提供的有益信息并没有得到充分利用。由于立体图像在极线约束下是高度对称的,本文利用立体图像对中的对称线索来提高立体图像SR的性能。具体来说,我们提出了一个对称的双向视差注意模块(biPAM)和内联遮挡处理方案,以有效地交互跨视图信息。然后,我们设计了一个暹罗网络配备了一个biPAM超解析双方的意见,在一个高度对称的方式。最后,我们设计了几个照明鲁棒损失,以提高立体一致性。在四个公共数据集上的实验证明了该方法的优越性能。源代码可在https://github.com/YingqianWang/iPASSR上获得。
2021-04-20 cs.CV
Progressive Face Super-Resolution via Attention to Facial Landmark
人脸超分辨率(SR)是SR域的一个子字段,专门针对人脸图像的重建。人脸重建的主要挑战是在不失真的情况下恢复基本的面部特征。我们提出了一种新的人脸SR方法,该方法可以生成逼真的8倍超分辨率人脸图像,并完全保留面部细节。为此,我们采用了渐进式训练方法,通过将网络分成连续的步骤来实现稳定的训练,每个步骤都产生具有逐渐更高分辨率的输出。我们还提出了一种新的面部注意力损失,并将其应用于每一步,通过乘以像素差和热图值来专注于更详细地恢复面部属性。最后,我们提出了一个压缩版本的最先进的人脸对齐网络(FAN)的地标热图提取。通过提出的FAN,我们可以提取适合人脸SR的热图,并减少整体训练时间。实验结果表明,我们的方法优于国家的最先进的方法在定性和定量测量,特别是在感知质量。
2019-08-22 cs.CV
High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Taobao (China) Software Co.,Ltd.(淘宝(中国)软件有限公司);Tsinghua University(清华大学)
深度图记录了视点与场景中物体之间的距离,在许多实际应用中起着至关重要的作用。然而,由消费级RGB-D相机捕获的深度图遭受低空间分辨率。引导深度图超分辨率(DSR)是解决这个问题的流行方法,其尝试从输入的低分辨率(LR)深度及其耦合的HR RGB图像(用作引导)恢复高分辨率(HR)深度图。如何正确地选择一致结构并传播它们,以及如何正确地处理不一致结构,是引导DSR最具挑战性的问题。在本文中,我们提出了一种新的基于注意力的层次多模态融合(AHMF)网络引导DSR。具体来说,为了有效地从LR深度和HR指导中提取和组合相关信息,我们提出了一种用于分层卷积层的基于多模态注意力的融合(MMAF)策略,包括一个用于选择有价值特征的特征增强块和一个用于统一具有不同外观特征的模态的相似性度量的特征重新校准块。此外,我们提出了一个双向的层次特征协作(BHFC)模块,充分利用低层次的空间信息和多尺度特征之间的高层结构信息。实验结果表明,我们的方法优于国家的最先进的方法在重建精度,运行速度和内存效率。
2021-12-10 cs.CV
Combining Attention Module and Pixel Shuffle for License Plate Super-Resolution
Federal University of Paraná(巴拉那联邦大学);Brazilian Federal Police(巴西联邦警察);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学)
在过去的十年中,由于新颖的深度学习方法与训练数据的可用性增加相结合,车牌识别(LPR)领域取得了令人印象深刻的进步。然而,它仍然有一些开放的问题,特别是当数据来自低分辨率(LR)和低质量的图像/视频时,如在监控系统中。本文主要研究低分辨率和低质量图像中的车牌重建问题。我们提出了一个单图像超分辨率(SISR)的方法,扩展注意力/Transformer模块的概念,通过利用PixelShuffle层的能力,并有一个改进的损失函数的基础上LPR预测。为了训练所提出的架构,我们使用通过将结构相似性指数度量(SSIM)中的重高斯噪声应用于原始高分辨率(HR)图像而生成的合成图像。在我们的实验中,所提出的方法优于基线定量和定性。我们为这项工作创建的数据集可在https://github.com/valfride/lpr-rsr/上公开提供给研究社区
2022-10-30 cs.CV
UCAN: Unified Convolutional Attention Network for Expansive Receptive Fields in Lightweight Super-Resolution
Ho Chi Minh City Open University(胡志明市开放大学);AI Tech Lab, Ho Chi Minh City University of Technology(胡志明市科技大学人工智能技术实验室);Code Mely AI Research Team(Code Mely 人工智能研究团队);Global College, Shanghai Jiao Tong University(上海交通大学全球学院);Ha Noi University of Science and Technology(河内科技大学);University of Manitoba(曼尼托巴大学)
UCAN通过融合卷积与注意力机制,有效扩展感受野,采用Hedgehog注意力和蒸馏模块实现高效轻量化,适用于资源受限设备的超分辨率恢复。
2026-04-07 cs.CV
Efficient Attention-Sharing Information Distillation Transformer for Lightweight Single Image Super-Resolution
Seoul National University(首尔大学);Gwangju Institute of Science and Technology(光州科学技术院)
本文提出轻量级超分辨率网络ASID,通过改进信息蒸馏结构并引入跨块注意力共享,在仅约300K参数下实现与现有方法相当甚至更优的性能。
2025-02-04 cs.CV
C2D-ISR: Optimizing Attention-based Image Super-resolution from Continuous to Discrete Scales
University of Bristol(布里斯托大学);Netflix Inc.(网飞公司)
提出 C2D-ISR 框架,通过连续尺度训练与分层编码机制优化注意力超分模型,在多个骨干上实现最高 0.2dB 性能提升和 11% 复杂度降低。
2025-03-17 cs.CV
Deformable Kernel Convolutional Network for Video Extreme Super-Resolution
West Virginia University(西弗吉尼亚大学);Huazhong University of Science and Technology(华中科技大学)
视频超分辨率是一种将低分辨率视频帧重构为高分辨率视频帧的技术,近年来受到越来越多的关注。大多数现有方法选择使用可变形卷积来在时间上对齐相邻帧,并应用传统的空间注意力机制(基于卷积)来增强重构特征。然而,这种仅空间的策略不能充分利用视频帧之间的时间依赖性。在本文中,我们提出了一种新的深度学习为基础的VSR算法,命名为变形核空间注意力网络(DKSAN)。由于新设计的可变形核卷积对齐(DKC_Align)和可变形核空间注意力(DKSA)模块,DKSAN可以更好地利用空间和时间冗余,以促进跨不同层的信息传播。我们已经在AIM 2020 Video Extreme超分辨率挑战赛上测试了DKSAN,以获得比例因子高达16的超分辨率视频。实验结果表明,我们提出的DKSAN可以实现更好的主观和客观的性能相比,现有的最先进的EDVR的Vid3oC和IntVID数据集。
2020-10-01 cs.CV
Deep Interleaved Network for Image Super-Resolution With Asymmetric Co-Attention
Beijing Jiaotong University(北京交通大学)
最近,基于卷积神经网络(CNN)的图像超分辨率(SR)在文献中显示出显著的成功。然而,这些方法被实现为单路径流,以从输入中丰富特征图用于最终预测,这未能将先前的低级特征完全结合到后来的高级特征中。在本文中,为了解决这个问题,我们提出了一个深度交织网络(DIN)来学习如何将不同状态的信息结合起来用于图像SR,其中浅层信息指导深层代表性特征预测。我们的DIN遵循多分支模式,允许多个互连分支在不同状态下交错和融合。此外,提出了非对称共同注意力算法(AsyCA),并对交织节点进行攻击,自适应地强调不同状态的信息特征,提高网络的区分能力。大量的实验表明,我们提出的DIN相比,国家的最先进的SR方法的优越性。
2020-04-24 cs.CV
PEAN: A Diffusion-Based Prior-Enhanced Attention Network for Scene Text Image Super-Resolution
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文提出基于扩散的先验增强注意力网络(PEAN),通过注意力模块感知文本图像局部与全局依赖,并利用扩散模块增强文本先验,结合多任务学习在TextZoom基准上达到SOTA。
2024-07-23 cs.CV
Hybrid Transformer and CNN Attention Network for Stereo Image Super-resolution
ByteDance Inc(字节跳动公司);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
针对立体图像超分辨率中Transformer无法利用立体信息且依赖数据的问题,提出混合Transformer和CNN注意力网络(HTCAN),结合多块训练等技术,在NTIRE 2023挑战赛Track 1中获胜。
2023-05-09 cs.CV
Recurrent Structure Attention Guidance for Depth Super-Resolution
Nanjing University of Science and Technology(南京理工大学)
图像引导是实现深度超分辨率的有效策略。通常,大多数现有方法采用手工制作的算子来从低分辨率深度图中分解高频(HF)和低频(LF)成分,并通过直接将它们与图像特征连接来引导HF成分。然而,手工设计的操作符通常导致较差的HF图(例如,失真或结构缺失),这是由于复杂深度图的不同外观。此外,直接拼接通常会导致指导较弱,因为并非所有图像特征都对HF地图产生积极影响。在本文中,我们开发了一个递归结构注意引导(RSAG)框架,包括两个重要部分。首先,我们介绍了一种用于自适应频域分离的多尺度滤波器深度对比网络,该网络采用从大到小的对比网络来计算像素对比度,以实现自适应高质量HF预测。其次,我们提出了一个递归的结构注意块,而不是粗略的级联指导,它迭代地利用最新的深度估计和图像特征,以联合选择清晰的模式和边界,旨在提供精确的深度恢复精细的指导。此外,我们融合的HF地图的功能,以增强边缘结构的分解LF地图。大量的实验表明,我们的方法相比,国家的最先进的深度超分辨率方法获得了优越的性能。
2023-01-31 cs.CV
RAGSR: Regional Attention Guided Diffusion for Image Super-Resolution
School of Computer Science, Wuhan University(武汉大学计算机学院);Amap, Alibaba Group(阿里巴巴集团阿里的)
针对多物体图像超分辨率中区域细节模糊的问题,提出RAGSR方法,通过区域定位、细粒度区域-文本对和区域引导注意力机制,实现对文本与图像融合的精细控制,在基准数据集上取得更优的感知真实细节与上下文一致性。
2025-08-22 cs.CV
High-Throughput Generative Video Super-Resolution on a Single Consumer GPU
Ethical AI Novelties(伦理人工智能创新机构);Cyprus University of Technology(塞浦路斯理工大学)
该研究提出一种零样本生成式视频超分辨率框架,通过解耦空间增强与时间稳定等设计,在单消费级GPU上实现高吞吐量,权衡速度与感知质量,缓解了运动处理局限。
2026-10-12 cs.CV
MAT: Multi-Range Attention Transformer for Efficient Image Super-Resolution
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算与人工智能学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);INSAIT(INSAIT研究院);Ant Group(蚂蚁集团);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
针对现有Transformer图像超分辨率模型窗口固定、计算成本高的问题,提出结合空洞运算与自注意力的多范围注意力Transformer MAT,可高效捕获多尺度特征,性能优于现有SOTA模型且速度约为SRFormer-light的3.3倍。
2025-03-19 cs.CV
Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks
School of Computer and Artificial Intelligence, Zhengzhou University(计算机与人工智能学院,郑州大学);Wuhan University(武汉大学);Harbin Institution of Technology(哈尔滨理工大学);Dalian Maritime University(大连海事大学);National Tsinghua University(清华大学)
本文提出基于注意力尖峰神经网络的高效遥感图像超分辨率方法,通过尖峰注意力块优化膜电位并利用全局自相似性,在多个基准上达到最先进性能。
2025-10-09 cs.CV
Streaming-Aware Diffusion for Real-Time Video Super-Resolution via Cross-Step Attention
Ethical AI Novelties(伦理AI创新公司);Cyprus University of Technology(塞浦路斯理工大学)
该研究提出流感知扩散框架,通过跨步注意力和轨迹耦合扩散调度降低计算复杂度,在REDS4等数据集上实现512×512分辨率下超40 FPS的实时视频超分辨率。
2026-10-09 cs.CV
Channel Attention and Multi-level Features Fusion for Single Image Super-Resolution
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Broadcasting Science(广播科学研究院)
卷积神经网络(CNN)在超分辨率(SR)方面表现出优越的性能。然而,大多数基于CNN的SR方法忽略了不同的重要性之间的特征通道或未能充分利用层次特征。为了解决这些问题,本文提出了一种新的递归单元。首先,在每个单元的开始,我们采用一个紧凑的通道注意力机制,自适应地重新校准输入特征的通道重要性。然后,多层次的功能,而不是只有深层次的功能,提取和融合。此外,我们发现它将迫使我们的模型通过使用可学习的上采样方法(即,转置卷积)(而不是在残差分支和恒等分支上都使用它),同时在另一个分支上使用双三次插值。分析实验表明,我们的方法取得了竞争力的结果相比,国家的最先进的方法,并保持更快的速度以及。
2018-10-16 cs.CV
SRFormerV2: Taking a Closer Look at Permuted Self-Attention for Image Super-Resolution
Nankai University(南开大学);NUDT(国防科技大学)
针对大窗口Transformer超分辨率模型计算开销高的问题,提出基于置换自注意力的SRFormer,平衡通道与空间信息,在更低参数量和计算量下性能优于SwinIR,扩展后的SRFormerV2达到当前最优水平。
2024-08-14 cs.CV
STDAN: Deformable Attention Network for Space-Time Video Super-Resolution
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Meta Reality Labs(Meta现实实验室)
本文提出用于时空视频超分辨率的可变形注意力网络STDAN,通过长短时特征插值模块和时空可变形特征聚合模块,充分利用连续帧信息流与时空上下文,在多个数据集上优于现有方法。
2022-07-15 cs.CV
Parameter-Free Channel Attention for Image Classification and Super-Resolution
Nankai University(南开大学);Sun Yat-sen University(中山大学);Tiktok Inc(抖音公司);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司)
通道注意机制是一种广泛用于深度卷积神经网络的有用技术,用于提高图像处理任务的性能,例如图像分类和图像超分辨率。它通常被设计为一个参数化的子网络,并嵌入到网络的卷积层中,以学习更强大的特征表示。然而,当前信道注意力引入更多的参数,因此导致更高的计算成本。为了解决这个问题,在这项工作中,我们提出了一个无参数通道注意力(PFCA)模块,以提高流行的图像分类和图像超分辨率网络的性能,但完全扫除了通道注意力的参数增长。在CIFAR-100、ImageNet和DIV 2K上的实验验证了我们的PFCA模块分别提高了ResNet在图像分类上的性能和MSRResNet在图像超分辨率任务上的性能,同时几乎没有带来参数和FLOP的增长。
2023-03-20 cs.CV eess.IV
AFN: Attentional Feedback Network based 3D Terrain Super-Resolution
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
地形,代表地球表面的特征,在许多应用中起着至关重要的作用,例如模拟,路线规划,表面动力学分析,基于计算机图形的游戏,娱乐,电影,仅举几例。随着近年来数字技术的发展,这些应用要求在地形中存在高分辨率的细节。在本文中,我们提出了一种新的基于全卷积神经网络的超分辨率架构,以提高低分辨率数字高程模型(LRDEM)的分辨率,从相应的航空影像中提取的信息作为补充形式的帮助。我们使用一种基于注意力的反馈机制“注意力反馈网络”(AFN)来执行LRDEM的超分辨率,该机制选择性地融合来自LRDEM和航空图像的信息,以增强和注入高频特征,并真实地生成地形。我们比较所提出的架构与现有的国家的最先进的DEM超分辨率的方法,并表明,所提出的架构优于提高分辨率的输入LRDEM准确和现实的方式。
2020-10-04 cs.CV eess.IV
Learning Texture Transformer Network for Image Super-Resolution
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学)
本文研究图像超分辨率(SR),旨在从低分辨率(LR)图像中恢复真实感纹理。最近的进展已经取得了高分辨率的图像作为参考(参考),使相关的纹理可以转移到LR图像。然而,现有的SR方法忽略了使用注意力机制从Ref图像转移高分辨率(HR)纹理,这限制了这些方法在具有挑战性的情况下。在本文中,我们提出了一种新的纹理Transformer网络图像超分辨率(TTSR),其中LR和Ref图像被制定为查询和键在一个Transformer,分别。TTSR由四个密切相关的模块组成,这些模块针对图像生成任务进行了优化,包括DNN的可学习纹理提取器、相关嵌入模块、用于纹理传输的硬注意模块和用于纹理合成的软注意模块。这种设计鼓励LR和Ref图像之间的联合特征学习,其中可以通过注意力发现深度特征对应关系,从而可以传递准确的纹理特征。所提出的纹理Transformer可以进一步以跨尺度方式堆叠,这使得能够从不同级别(例如,从1x到4x放大)。大量的实验表明,TTSR实现了显着的改进,国家的最先进的方法,在定量和定性评价。
2020-06-22 cs.CV
FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring
KAIST(韩国科学技术院);Chung-Ang University(中央大学)
本文提出FMA-Net,通过流引导动态滤波和带多注意力的迭代特征细化,并引入时间锚损失,有效解决视频超分辨率与去模糊的联合恢复问题,性能优于现有方法。
2024-03-28 cs.CV
DACN: Dual-Attention Convolutional Network for Hyperspectral Image Super-Resolution
Department of Computer Science, Aalto University(奥卢大学计算机科学系)
本文提出双注意力卷积网络DACN,通过融合多头注意力与通道-空间注意力并设计空间-光谱梯度损失,提升高光谱图像超分辨率性能。
2025-06-05 cs.CV eess.IV
IGAF: Incremental Guided Attention Fusion for Depth Super-Resolution
School of Physics and Astronomy, University of Glasgow(格拉斯哥大学物理与天文学院);School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
本文提出增量引导注意力融合模块IGAF,用于融合RGB图像与低分辨率深度图特征,实现引导深度超分辨率,并在多个基准数据集上取得领先性能。
2025-01-03 cs.CV
Hierarchical Residual Attention Network for Single Image Super-Resolution
Computer Vision Center(计算机视觉中心);Element AI;Herta Security
卷积神经网络是单图像超分辨率中最成功的模型。更深层次的网络、残余连接和注意力机制进一步提高了他们的表现。然而,这些策略往往提高重建性能的代价是大大增加了计算成本。本文提出了一种新的轻量级超分辨率模型的基础上,一个有效的方法,残余特征和注意力聚合。为了有效地利用剩余特征,这些特征被分层聚合到特征库中,以便在网络输出处进行后验使用。并行地,一个轻量级的分层注意力机制从网络中提取最相关的特征到注意力银行,以提高最终输出,并防止通过网络内部的连续操作的信息丢失。因此,处理被分成两个独立的计算路径,可以同时进行,从而产生一个高效和有效的模型,用于从低分辨率图像重建高分辨率图像的细节。我们提出的架构在几个数据集中超越了最先进的性能,同时保持相对较低的计算和内存占用。
2020-12-08 cs.CV eess.IV