Spatial Attention-based Non-reference Perceptual Quality Prediction Network for Omnidirectional Images
Beihang University(北京航空航天大学)
由于视觉注意和感知质量之间的强相关性,许多方法试图使用人类显著性信息来进行图像质量评估。虽然这种机制可以获得良好的性能,但网络需要人类显著性标签,这对于全向图像(ODI)来说并不容易获得。为了缓解这个问题,我们提出了一个基于空间注意力的感知质量预测网络ODI(SAP网)的非参考质量评估。为了驱动SAP网络,我们建立了一个大规模的ODI IQA数据集(IQA-ODI),该数据集由200名受试者对1,080个ODI的主观评分组成。在IQA-ODI中,有120个高质量的ODI作为参考,960个ODI在JPEG压缩和地图投影中都有损伤。在没有任何人类显著性标签的情况下,我们的网络可以通过自我注意的方式自适应地估计受损ODI上的人类感知质量,这显著地提高了质量分数的预测性能。此外,我们的方法大大降低了计算复杂性的质量评估任务上的ODI。大量的实验验证了我们的网络优于9个国家的最先进的方法对ODI的质量评估。数据集和代码已在\url{ https://github.com/yanglixiaoshen/SAP-Net}上提供。
2021-03-10 cs.CV cs.MM eess.IV
Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿业大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(沙特数据与人工智能局-法赫德国王石油与矿业大学人工智能联合研究中心)
该研究针对无参考图像质量评估任务,结合注意力下采样Transformer与CNN提取多尺度特征,引入相对排序强化主客观评估关联,提出自一致性自监督方法提升模型鲁棒性,在多个数据集上取得SOTA性能,小数据集优势更明显。
2024-09-11 cs.AI cs.CV cs.LG
MS-SCANet: A Multiscale Transformer-Based Architecture with Dual Attention for No-Reference Image Quality Assessment
Department of Computer Science Texas State University San Marcos, USA(计算机科学系得克萨斯州立大学桑马科斯分校)
MS-SCANet通过多尺度变换器架构和双注意力机制,实现无参考图像质量评估的高精度与高效性。
2026-02-03 cs.CV cs.MM eess.IV
Hierarchical Graph Attention Network for No-Reference Omnidirectional Image Quality Assessment
针对全景图像局部非均匀失真评估难题,提出基于图神经网络的OIQA框架,结合Fibonacci球面采样、GAT与图transformer全面建模视口间空间依赖,显著提升评估性能与泛化能力。
2025-08-13 cs.CV
A Novel Just-Noticeable-Difference-based Saliency-Channel Attention Residual Network for Full-Reference Image Quality Predictions
最近,由于深度卷积神经网络(CNN)的强大,已经研究了许多基于CNN的图像质量评估(IQA)模型。然而,以前的基于CNN的IQA模型可能还没有充分利用人类视觉系统(HVS)的特性来解决IQA问题,因为它们只是将一切都委托给CNN,期望它从训练数据集中学习。然而,在本文中,我们提出了一种新的显着性通道注意力残差网络的基础上的JND概念的全参考图像质量评估(FR-IQA)。它被称为JND-SalCAR,在具有各种类型失真的大型IQA数据集上显示出显着的改进。建议JND-SalCAR有效地学习如何将人类的心理物理特征,如视觉显着性和JND,图像质量预测。在所提出的网络中,设计了一个SalCAR块,以便在基于显着性的空间注意力和通道注意力方案的帮助下提取感知上重要的特征。此外,显着图作为预测补丁权重图的指南,以便为JND-SalCAR提供稳定的端到端优化训练。据我们所知,我们的工作提出了第一个HVS启发的可训练FR-IQA网络,该网络考虑了HVS的视觉显著性和JND特性。当视觉显着性图和JND概率图被明确地作为先验信息时,它们可以有效地结合起来,更精确地预测人类评定的IQA分数,最终导致性能改进和更快的收敛。实验结果表明,JND-SalCAR在Spearman秩序系数(SRCC)和Pearson线性相关系数(PLCC)方面的性能明显优于目前所有的FR-IQA方法。
2020-10-16 cs.CV
An Attention-Driven Approach of No-Reference Image Quality Assessment
Peking University(北京大学);North Carolina State University(北卡罗来纳州立大学)
在本文中,我们提出了一种新的方法,无参考图像质量评估(NR-IQA),这是预测的感知质量分数的给定图像,而不使用任何参考图像。所提出的方法利用三个功能(i)视觉注意力机制,它影响视觉感知的许多方面,包括图像质量评估,然而,在NR-IQA文献中被忽视。该方法假设图像上的注视区域包含IQA过程的关键信息。(ii)鲁棒平均策略,这是一种由心理学研究支持的方法,用于整合多个/逐步证据以做出最终的感知判断。(iii)多任务学习被认为是形成表示学习的有效手段,并可能导致更普遍的模型。为了利用三者的协同作用,我们将NR-IQA视为一个动态感知过程,其中模型对一系列“信息”区域进行采样,并汇总信息以学习联合预测图像质量分数和失真类型的任务的表示。模型学习通过强化策略实现,其中两个任务的奖励引导学习最优采样策略以获取“任务信息”图像区域,从而可以准确有效地进行预测(就采样步骤而言)。强化学习通过具有策略梯度方法的深度网络实现,并通过反向传播进行训练。在实验中,该模型在TID 2008数据集上进行了测试,其性能优于几种最先进的方法。此外,该模型是非常有效的意义上说,少量的固定使用NR-IQA。
2017-05-29 cs.CV
LFACon: Introducing Anglewise Attention to No-Reference Quality Assessment in Light Field Space
University of Sydney(悉尼大学);Beijing Technology and Business University(北京工商大学)
针对光场图像质量评估缺乏有效反映角度一致性的指标及现有方法计算成本高的问题,本文提出引入角度注意力的LFACon模型,通过三种注意力核实现高效特征提取,实验表明其性能优于现有指标且计算更高效。
2023-03-20 cs.CV cs.MM eess.IV
A Multi-Scale Spatial Attention-Based Zero-Shot Learning Framework for Low-Light Image Enhancement
School of Information Engineering, Xi’an Eurasia University, Xi’an, 710065, Shaanxi, China(西安欧亚大学信息工程学院);Department of Electrical Engineering, University of Engineering and Technology Lahore(拉合尔工程与技术大学电气工程系);Department of Computer Science, University of Engineering and Technology Lahore(拉合尔工程与技术大学计算机科学系)
本文提出LucentVisionNet,一种结合多尺度空间注意力和深度曲线估计的零样本低光图像增强框架,采用循环增强和六组件复合损失,在多个基准上超越现有方法,适用于移动摄影等实际场景。
2025-06-23 cs.AI cs.CV eess.IV
An Anisotropic Cross-View Texture Transfer with Multi-Reference Non-Local Attention for CT Slice Interpolation
Department of Artificial Intelligence, Gachon University(人工智能系,加荣大学);Department of Electrical Engineering, Korea University(电气工程系,韩国大学);Department of Urology, The Catholic University of Korea(泌尿科,韩国天主大学)
针对CT体数据各向异性导致的层间分辨率低问题,提出利用平面内高分辨率纹理作为参考,通过多参考非局部注意力模块进行跨视角纹理迁移,实现更优的CT切片插值。
2025-09-24 cs.CV
RZSR: Reference-based Zero-Shot Super-Resolution with Depth Guided Self-Exemplars
Korea University(高丽大学)
最近的单图像超分辨率(SISR)的方法已经证明了从低分辨率(LR)图像生成高分辨率(HR)图像的出色性能。然而,大多数这些方法显示出其优越性,使用合成生成的LR图像,其推广到现实世界的图像往往是不令人满意的。在本文中,我们注意到两个众所周知的战略发展的鲁棒超分辨率(SR),即,基于参考的SR(RefSR)和zero-shot SR(ZSSR),并提出了一种集成的解决方案,称为基于参考的zero-shot SR(RSR)。根据ZSSR的原理,我们训练一个图像特定的SR网络在测试时使用的训练样本只从输入图像本身提取。为了提高ZSSR,我们获得了参考图像补丁,丰富的纹理和高频细节,也只从输入图像中提取,使用跨尺度匹配。为此,我们构建一个内部参考数据集,并使用深度信息从数据集中检索参考图像块。使用LR补丁和它们相应的HR参考补丁,我们训练一个RefSR网络,该网络包含一个非局部注意模块。实验结果表明,该方法的优越性与以前的ZSSR方法和鲁棒性看不见的图像相比,其他完全监督的SISR方法。
2022-08-24 cs.CV
LMR: A Large-Scale Multi-Reference Dataset for Reference-based Super-Resolution
Baidu Inc.(百度公司);CASIA(中国科学院自动化研究所)
人们普遍认为,与单图像超分辨率(SISR)相比,基于参考的超分辨率(RefSR)通过参考类似的高质量图像来实现更优越的结果。直觉上,引用越多,性能越好。然而,以前的RefSR方法都集中在单参考图像训练上,而在测试或实际应用中通常可以使用多个参考图像。这种训练-测试不匹配的根本原因是缺乏公开可用的多参考SR训练数据集,这极大地阻碍了多参考超分辨率的研究工作。为此,我们构建了一个大规模,多参考超分辨率数据集,命名为LMR。它包含112,142组300 x300训练图像,是现有最大RefSR数据集的10倍。图像尺寸也大得多。更重要的是,每个组配备有5个具有不同相似度的参考图像。此外,我们提出了一种新的基线方法多参考超分辨率:MRefSR,包括一个多参考注意模块(MAM)的特征融合的任意数量的参考图像,和一个空间感知滤波模块(SAFM)的融合特征选择。拟议的MRefSR实现了显着的改进,国家的最先进的方法,定量和定性评价。我们的代码和数据将很快提供。
2023-03-09 cs.CV
RefSR-Adv: Adversarial Attack on Reference-based Image Super-Resolution Models
School of Computer Engineering and Science(计算机工程与科学学院)
RefSR-Adv提出了一种针对基于参考图像的超分辨率模型的对抗攻击方法,通过扰动参考图像来降低模型性能,揭示了模型对参考特征的过度依赖是关键安全漏洞。
2026-01-03 cs.AI cs.CV
Ultra-High-Definition Reference-Based Landmark Image Super-Resolution with Generative Diffusion Prior
针对现有扩散模型对齐困难和数据集分辨率低的问题,提出TriFlowSR框架通过参考匹配策略实现低清与参考图像的模式匹配,并构建首个超高清地标数据集Landmark-4K,显著提升了真实退化场景下的图像恢复质量。
2025-08-14 cs.AI cs.CV
Reference-Based Face Super-Resolution Using the Spatial Transformer
Brandeis University(布兰迪斯大学)
研究人脸超分辨率问题,提出基于参考图像的解决方案,利用空间变换器对齐模块和聚合函数,实现高保真超分辨率,较小模型在多数据集达最优结果。
2026-07-14 cs.CV cs.LG
Dual-Camera Super-Resolution with Aligned Attention Modules
HKUST(香港科技大学);SenseTime Research(商汤科技研究院)
提出了一种基于参考图像的超分辨率(RefSR)方法,重点研究了双摄像头超分辨率(DCSR)方法,该方法利用参考图像获得高质量和高保真度的图像。我们提出的方法推广了标准的基于块的空间对齐操作的特征匹配。我们进一步探索了双摄像头超分辨率,这是RefSR的一个有前途的应用,并建立了一个数据集,由146个图像对从智能手机中的主摄像头和长焦摄像头。为了弥补真实世界图像和训练图像之间的领域差距,我们提出了一种用于真实世界图像的自监督领域自适应策略。在我们的数据集和公共基准上进行的大量实验表明,我们的方法在定量评估和视觉比较方面都比现有技术有了明显的改进。
2021-09-06 cs.CV
Reference-based Texture transfer for Single Image Super-resolution of Magnetic Resonance images
Indian Institute of Technology Madras (IITM)(印度理工学院马德拉斯分校);Healthcare Technology Innovation Centre (HTIC), IITM(印度理工学院马德拉斯分校医疗技术创新中心)
磁共振成像(MRI)是一种有价值的临床诊断方法,用于脊柱病理学,对感染、肿瘤、退行性变、骨折和疝有很好的表征。然而,在外科手术中,图像引导的脊柱手术继续依赖于CT和荧光透视,因为MRI切片分辨率通常不足。在最先进的单图像超分辨率的基础上,我们提出了一种基于参考的、不成对的多对比度纹理转移策略,用于基于深度学习的平面内和跨平面MRI超分辨率。我们使用的散射变换的图像补丁的纹理特征相关的不成对的参考图像补丁,并额外的多对比度纹理的损失项。我们将我们的方案应用于不同的超分辨率架构中,在大多数情况下观察到PSNR和SSIM在4倍超分辨率下的改善。
2021-02-10 cs.CV cs.LG eess.IV
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon(亚马逊)
这项工作的重点是低比特率的视频流场景(例如50 - 200 Kbps),其中视频质量严重受损。我们提出了一系列新颖的深度生成模型,用于通过执行超分辨率来增强此类流的感知视频质量,同时还去除压缩伪影。我们的模型,我们称之为SuperTran,除了低质量,低分辨率的视频流之外,还需要输入一个高质量,高分辨率的参考图像。因此,模型学习如何从参考图像借用或复制视觉元素(如纹理),并填充低分辨率流中的剩余细节,以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次,也可以从图库中检索。重要的是,所得到的输出具有比仅使用低分辨率输入的方法(例如SuperVEGAN方法)可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作(高达30帧/秒)。
2022-11-22 cs.CV cs.LG eess.IV
Reference-Conditioned Super-Resolution by Neural Texture Transfer
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Adobe Research(奥多比研究院)
随着深度学习技术的发展,我们见证了单图像超分辨率的巨大进步。然而,由于图像缩小过程的显著信息损失,进一步推进现有技术变得极具挑战性,特别是对于大的放大因子。本文提出了一种新的超分辨率研究方向,即参考条件下的超分辨率,即在低分辨率图像的基础上,增加一幅包含所需高分辨率纹理细节的参考图像。我们专注于将参考图像的高分辨率纹理转换为超分辨率过程,而不受参考图像和目标图像之间的内容相似性的约束,这是与以前基于示例的方法的关键区别。受最近图像风格化工作的启发,我们通过神经纹理转移来解决这个问题。我们设计了一个端到端的可训练深度模型,该模型通过自适应地融合来自低分辨率图像的内容与来自参考图像的纹理图案来生成细节丰富的结果。我们为基于参考的超分辨率的一般研究创建了一个基准数据集,其中包含与具有不同相似度的低分辨率输入配对的参考图像。客观和主观的评价表明,使用参考图像的巨大潜力,以及我们的结果优于其他国家的最先进的方法。
2018-04-10 cs.CV
Multi-Reference Image Super-Resolution: A Posterior Fusion Approach
基于参考的超分辨率(RefSR)方法最近被提出来通过从高分辨率图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过允许并入更多信息来扩展此方法。本文提出了一种两步加权后验融合方法,将RefSR模型的输出与多个参考相结合。在CUFED 5数据集上的大量实验表明,所提出的方法可以应用于各种最先进的RefSR模型,以获得一致的图像质量改善。
2022-12-20 cs.CV eess.IV
Variational AutoEncoder for Reference based Image Super-Resolution
Caritas Institute of Higher Education(明爱专上学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种基于变分自编码器(RefVAE)的参考图像超分辨率方法。现有的最先进的方法主要集中在单个图像的超分辨率上,其在大的上采样因子上不能很好地执行,例如,8 $\times$。我们提出了一种基于参考的图像超分辨率,其中任意图像可以作为超分辨率的参考。即使使用随机映射或低分辨率图像本身,所提出的RefVAE也可以将知识从参考转移到超分辨率图像。根据不同的参考文献,该方法可以从隐藏的超分辨率空间生成不同版本的超分辨率图像。除了使用不同的数据集进行PSNR和SSIM的一些标准评估外,我们还参加了NTIRE2021 SR Space挑战赛,并提供了我们方法的随机性评估结果。与其他最先进的方法相比,我们的方法实现了更高的多样性分数。
2021-06-08 cs.CV eess.IV
Learning to Balance: Decoupled Siamese Diffusion Transformer for Reference-Based Remote Sensing Image Super-Resolution
Tsinghua Shenzhen International Graduate School, Shenzhen, China(清华大学深圳国际研究生院);Sun Yat-sen University, Zhuhai, China(中山大学);National Supercomputing Center in Shenzhen, Shenzhen, China(深圳国家超算中心);Tsinghua University, Beijing, China(清华大学)
本文提出DS-DiT解耦孪生扩散变换器,通过在注意力层面解耦低分辨率和参考信息交互,解决参考基于超分辨率中参考信息依赖过重和利用不足的问题,提升生成质量。
2026-06-29 cs.CV
Trust but Verify: Adaptive Conditioning for Reference-Based Diffusion Super-Resolution via Implicit Reference Correlation Modeling
VCIP, School of Computer Science, Nankai University(VCIP,计算机科学学院,南开大学);vivo Mobile Communication Co., Ltd.(vivo移动通信有限公司)
本文提出Ada-RefSR,通过自适应隐式相关性门控机制,在扩散模型中实现基于参考的超分辨率,提升图像恢复的准确性和鲁棒性。
2026-02-02 cs.CV
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH(浦项科技大学)
我们提出了第一个基于参考的视频超分辨率(RefVSR)的方法,利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR,我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络,该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播,我们提出了一个传播时间融合模块。为了学习和评估我们的网络,我们提出了第一个RefVSR数据集,该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略,充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法,结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
Detail-Enhancing Framework for Reference-Based Image Super-Resolution
Shanghai Institution of Micro-system and Information Technology, University of Chinese Academy of Science(中国科学院大学上海微系统与信息技术研究所);School of Information Science and Technology, Shanghai Tech University(上海科技大学信息科学与技术学院);Computer Vision Laboratory, Department of Electrical Engineering, LiU, Sweden(瑞典林雪平大学电气工程系计算机视觉实验室)
本文提出细节增强框架DEF,利用扩散模型生成并增强低分辨率图像中的潜在细节,在参考图像有对应部分时促进严格对齐,缺失时避免其影响,从而在保持数值结果可比的同时提升视觉质量。
2024-05-01 cs.CV
Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution
Tsinghua University(清华大学)
针对多对比度MRI超分辨率中特征匹配不当及通道注意力缺失的问题,提出CANM-Net,通过复合自注意力和邻域特征匹配融合多对比度信息,在多个数据集上优于现有方法。
2023-09-16 cs.CV eess.IV
EFENet: Reference-based Video Super-Resolution with Enhanced Flow Estimation
Tsinghua University(清华大学);Hikvision(海康威视)
在本文中,我们考虑基于参考的视频超分辨率(RefVSR)问题,即,如何利用高分辨率(HR)参考帧来超分辨低分辨率(LR)视频序列。RefVSR的现有方法基本上试图在存在分辨率间隙和长时间范围的情况下对齐参考序列和输入序列。然而,它们要么忽略输入序列内的时间结构,要么遭受累积对准误差。为了解决这些问题,我们建议EFENet同时利用HR参考中包含的视觉线索和LR序列中包含的时间信息。EFENet首先全局估计参考帧和每个LR帧之间的跨尺度流。然后,我们的新的EFENet的流细化模块使用所有估计的流,这利用了序列内的全局时间信息,从而有效地减少了对齐错误的最远帧的流细化。我们提供全面的评估,以验证我们的方法的优势,并证明所提出的框架优于国家的最先进的方法。代码可在https://github.com/IndigoPurple/EFENet上获得。
2021-10-28 cs.CV
A survey on IQA
University of Electronic Science and Technology of China(电子科技大学)
图像质量评估(IQA)对于基于图像的应用越来越重要。其目的是建立一种能够代替人类准确评价图像质量的模型。根据参考图像是否完整和可用,图像质量评价可分为三类:全参考(FR)、减少参考(RR)和非参考(NR)图像质量评价。由于深度学习的蓬勃发展和研究人员的广泛关注,近年来提出了几种基于深度学习的非参考图像质量评估方法,有些已经超过了减少参考甚至全参考图像质量评估模型的性能。本文将回顾图像质量评估和视频质量评估的概念和指标,简要介绍全参考和半参考图像质量评估方法,重点介绍基于深度学习的非参考图像质量评估方法。然后介绍了常用的合成数据库和真实世界数据库。最后,总结并提出挑战。
2022-01-11 cs.CV eess.IV
Structural Similarity in Deep Features: Image Quality Assessment Robust to Geometrically Disparate Reference
Fuzhou University(福州大学);University of Waterloo(滑铁卢大学)
本文提出统一的无需训练的深度结构相似性方法 DeepSSIM,通过评估深度特征结构相似性并结合注意力校准,在单一框架内同时解决对齐参考和几何不一致参考的图像质量评估问题,并在多个任务中展现出强鲁棒性和泛化能力。
2024-12-27 cs.CV eess.IV
Reference-based Image and Video Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学);Tencent PCG(腾讯平台与内容事业群)
基于参考的超分辨率(Ref-SR)最近已经成为通过引入附加的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像或视频的有前景的范例。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间的两个间隙,执行局部转移是困难的:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR)。为了应对这些挑战,我们提出了C2-Matching,它执行显式的鲁棒匹配交叉变换和分辨率。1)为了弥合变换差距,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)为了解决分辨率差距,我们采用师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态的聚合模块,以解决潜在的输入图像和参考图像之间的不对齐问题。此外,为了忠实地评估基于参考的图像超分辨率在现实环境下的性能,我们贡献了Webly参考SR(WR-SR)数据集,模仿实际使用场景。我们还将C2匹配扩展到基于参考的视频超分辨率任务,其中在相似场景中拍摄的图像用作HR参考图像。大量的实验表明,我们提出的C2-Matching显着优于标准CUFED 5基准的艺术状态,也提高了视频SR的性能,通过将C2-Matching组件到视频SR管道。
2023-03-19 cs.CV
CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping
Tsinghua University(清华大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Hong Kong University of Science and Technology(香港科技大学)
基于参考的超分辨率(RefSR)在给定外部高分辨率(HR)参考图像的情况下对低分辨率(LR)图像进行超分辨率处理,其中参考图像和LR图像共享相似的视点,但具有显著的分辨率差距x8。现有的RefSR方法以级联的方式工作,例如块匹配,然后是具有两个独立定义的目标函数的合成流水线,导致块间不对齐,网格效应和低效的优化。为了解决这些问题,我们提出了CrossNet,这是一个使用跨尺度翘曲的端到端和全卷积深度神经网络。我们的网络包含图像编码器,跨尺度扭曲层和融合解码器:编码器用于从LR和参考图像中提取多尺度特征;跨尺度扭曲层在空间上将参考特征图与LR特征图对齐;解码器最终聚合来自两个域的特征图以合成HR输出。使用跨尺度扭曲,我们的网络能够以端到端的方式在像素级执行空间对齐,这在精度(约2dB-4dB)和效率(快100倍以上)方面都提高了现有方案。
2018-07-27 cs.CV
CrossScore: Towards Multi-View Image Evaluation and Scoring
提出一种基于交叉注意力机制的交叉参考图像质量评估方法 CrossScore,通过比较同一场景的多视图,在无需真实参考图像的情况下实现了与 SSIM 高度相关的准确评估,填补了新视图合成等任务中的评估空白。
2024-07-23 cs.CV
Center Emphasized Visual Saliency and a Contrast-based Full Reference Image Quality Index
Kyung Hee University(庆熙大学);University of Dhaka(达卡大学)
客观图像质量评估(IQA)是必要的,在当前的多媒体密集的世界,以评估图像的视觉质量接近人类的能力水平。许多参数,如颜色强度、结构、锐度、对比度、物体的存在等,把人类的注意力吸引到图像上。心理视觉研究表明,人类视觉偏向图像和显示屏的中心区域。因此,如果中心部分包含任何视觉上显著的信息,它会吸引更多的人的注意力,并且该部分中的任何失真都会比其他部分更好地感知。据我们所知,以前的IQA方法没有考虑这一事实。在本文中,我们提出了一个完整的参考图像质量评估(FR-IQA)的方法,使用视觉显着性和对比度,但是,我们给予额外的关注,在该地区的相似性地图的敏感性增加的中心。我们评估了我们的方法在三个大规模的流行的基准数据库使用的大多数当前IQA的研究人员(TID 2008,CSIQ~和LIVE),共有3345失真的图像与28种不同的失真。我们的~方法与13个国家的最先进的方法进行了比较。这种比较揭示了我们的方法与人类评估值的更强相关性。预测的质量分数是一致的失真特定以及失真独立的情况下。此外,更快的处理速度使其适用于任何实时应用程序。MATLAB代码是公开的,可以在http://layek.khu.ac.kr/CEQI上在线找到。
2019-02-26 cs.CV
RefVSR++: Exploiting Reference Inputs for Reference-based Video Super-resolution
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院);RIKEN Center for AIP(理化学研究所AIP中心)
本文提出RefVSR++方法,通过在时间方向上并行聚合低分辨率和参考图像并改进特征对齐机制,显著提升了基于参考的视频超分辨率性能,在PSNR上超越以往工作1dB以上。
2025-06-30 cs.CV
Blind Super Resolution with Reference Images and Implicit Degradation Representation
National Yang Ming Chiao Tung University, Taiwan(国立阳明交通大学)
本文提出利用HR参考图像建立尺度感知退化核,并通过下采样生成额外LR-HR配对数据,在盲超分辨率任务中同时考虑模糊核与尺度因子,显著提升已有模型和零样本方法的性能。
2025-07-18 cs.CV eess.IV
Can No-Reference Quality-Assessment Methods Serve as Perceptual Losses for Super-Resolution?
Lomonosov Moscow State University(莫斯科罗蒙诺索夫大学)
本文研究将无参考图像质量评估方法作为感知损失直接优化视频超分辨率模型,发现直接优化会产生伪影,但特殊训练流程可缓解此问题。
2024-05-30 cs.CV eess.IV
BadRefSR: Backdoor Attacks Against Reference-based Image Super Resolution
University of Electronic Science and Technology of China(电子科技大学);XinJiang University(新疆大学);Chengdu University of Technology(成都理工大学)
提出BadRefSR,首个针对基于参考图像的超分辨率(RefSR)模型的后门攻击框架,通过向参考图像添加触发器并训练混合损失函数嵌入后门,实验证明其在多种设置下有效,提醒相关安全风险。
2025-02-28 cs.CV eess.IV
RefAdapt-DiT: Adaptive Joint Attention for Reference-Conditioned Diffusion Transformers
提出RefAdapt,一种免训练框架,通过结合目标准变化与目标对参考的注意力权重,在块粒度上自适应控制参考计算,实现最高3.54倍加速并保持视觉质量。
2026-09-29 cs.CV
Invariant Slot Attention: Object Discovery with Slot-Centric Reference Frames
Northeastern University(东北大学);Google Research(谷歌研究院)
针对现有基于槽的目标发现模型难以捕捉空间对称性、样本效率低的问题,提出不变槽注意力方法,通过变换位置编码引入姿态等变性,在多个合成基准和真实数据集上提升了目标发现性能与数据效率。
2023-07-21 cs.AI cs.CV cs.LG
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH(浦项科技大学);Disney Research(迪士尼研究院)
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务,并且通常需要解决问题之间的视觉参考。这个问题与视觉问答(VQA)不同,视觉问答依赖于空间注意力(又名视觉基础)从图像和问题对估计。我们提出了一种新的注意力机制,利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前(注意,关键)对。从这个记忆中,模型检索先前的注意力,考虑到与当前问题最相关的新近度,以解决潜在的模糊引用。然后,该模型将检索到的注意力与试探性的注意力合并,以获得当前问题的最终注意力;具体地说,我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验,我们表明,我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型(约16%)。此外,所提出的模型在Visual Dialog数据集中实现了卓越的性能(约2%的点改进),尽管参数比基线少得多。
2018-08-06 cs.CV
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University(首尔国立大学);Surromind Robotics(Surromind机器人公司)
可视化对话(VisDial)是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答(VQA)不同,这一系列问题应该能够从对话历史中捕获时间上下文,并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战,要求智能体解决给定问题中的模糊参考,并在给定图像中找到参考。在本文中,我们提出了双注意力网络(DAN)的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说,REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示(即,REFER模块的输出)作为输入,并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估,结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Mind the RefGAP: Correcting Reference Attention in Diffusion-Based Visual Editing
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);United Arab Emirates University(阿联酋大学)
针对扩散编辑模型参考注意力分配不足的问题,提出无需训练的RefGAP方法,在线校正logit偏移以增强参考使用,在七个编辑模型上提升身份保真度并保持良好权衡。
2026-11-16 cs.CV
MangaDiT: Reference-Guided Line Art Colorization with Hierarchical Attention in Diffusion Transformers
本文提出MangaDiT模型,通过引入层次注意力机制和动态注意力加权策略,隐式发现语义对应关系,解决了参考引导线稿上色中的区域级颜色一致性问题,在定性和定量评估中均优于现有方法。
2025-08-13 cs.CV
Normal Reference Attention and Defective Feature Perception Network for Surface Defect Detection
Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
视觉异常检测在工业自动化产品质量检测中具有重要的意义。由于正常和异常数据量的极大不平衡,越来越多的注意力已经给予了无监督的方法进行缺陷检测。虽然现有的基于重建的方法已经得到了广泛的研究,最近,建立一个强大的重建模型,各种纹理表面缺陷检测仍然是一个具有挑战性的任务,由于均匀和不规则的表面纹理。在本文中,我们提出了一种新的无监督重建为基础的方法称为正常参考注意和缺陷特征感知网络(NDP-网),以准确地检查各种纹理缺陷。与大多数基于重建的方法不同,我们的NDP-网络首先采用了一个编码模块,该模块提取表面纹理的多尺度判别特征,该模块通过提出的人工缺陷和新颖的像素级缺陷感知损失来增强缺陷判别能力。随后,提出了一种新型的基于参考的注意力模块(RBAM),利用固定参考图像的正常特征来修复缺陷特征并抑制缺陷的重建。接着,将修复后的特征送入解码模块以重建正常纹理背景。最后,新的多尺度缺陷分割模块(MSDSM)被引入精确的缺陷检测和分割。此外,一个两阶段的培训策略是用来提高检查性能。
2023-01-13 cs.AI cs.CV
RefRoute: Decoupling Conditioning Cost from References via Compact Residual Conditioning and Spatial Routing
Dartmouth College(达特茅斯学院)
RefRoute通过紧凑残差条件化和空间路由减少多参考图像生成中的token数量与注意力开销,在ManyRef100上显著优于FLUX基线,实现高效可扩展生成。
2026-10-07 cs.CV cs.LG
Beyond Attention Masks: Instruction Anchoring for Efficient In-Context Diffusion Generation
Harbin Institute of Technology(哈尔滨工业大学);KlingAI Research(KlingAI研究院)
该研究针对上下文扩散Transformer中引用增多导致计算量过大的问题,提出掩码外锚定指令的精确引用缓存方法,通过静态文本锚点结合速度蒸馏实现高效图像编辑,在保持生成质量的同时大幅提升了去噪速度。
2026-09-25 cs.CV
CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers
本文提出 CustomVideoX 框架,通过仅训练 LoRA、3D Reference Attention、TAB 与 ERAE 实现参考图像驱动的零样本个性化视频生成,并构建 VideoBench 验证其一致性和质量优势。
2025-02-20 cs.CV
Improving Multi-Subject Consistency in Open-Domain Image Generation with Isolation and Reposition Attention
Sun Yat-Sun University(中山大学)
本文提出免训练扩散模型IR-Diffusion,通过隔离注意力消除主体收敛、重定位注意力对齐参考与目标图像中的主体位置,显著提升开放域多主体图像生成的一致性。
2025-03-09 cs.CV
Eliminating Gradient Conflict in Reference-based Line-Art Colorization
University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学);JD Explore Academy(京东探索研究院)
基于参考的线画彩色化是计算机视觉中一个具有挑战性的课题。颜色、纹理和阴影都是基于抽象草图渲染的,这在很大程度上依赖于草图和引用之间精确的远程依赖建模。跨模态信息的桥接和远程依赖建模的流行技术采用注意力机制。然而,在基于参考的艺术线条着色的背景下,一些技术会加剧现有的注意力训练难度,例如,自我监督训练协议和基于GAN的损失。为了理解训练中的不稳定性,我们检测注意力的梯度流,观察注意力分支之间的梯度冲突。这种现象促使我们通过保留主导梯度分支同时去除冲突分支来缓解梯度问题。我们提出了一种新的注意力机制使用这种训练策略,停止梯度注意力(SGA),表现出更好的训练稳定性的注意力基线的大幅度。与最先进的线条着色模块相比,我们的方法在几个基准测试中表现出Fréchet起始距离(FID,高达27.21%)和结构相似性指数(SSIM,高达25.67%)的显着改进。SGA的代码可在https://github.com/kunkun0w0/SGA上获得。
2022-07-20 cs.CV
PARIC: Probabilistic Attention Regularization for Language Guided Image Classification from Pre-trained Vison Language Models
Uppsala University(乌普萨拉大学);IT University of Copenhagen(哥本哈根信息技术大学);Science for Life Laboratory(生命科学实验室)
针对预训练视觉语言模型确定性注意力图忽视跨模态映射多值性的问题,本文提出概率框架 PARIC,通过生成含不确定性的参考注意力图提升分类准确率、公平性、一致性与鲁棒性。
2025-03-14 cs.AI cs.CV cs.LG
Attention-guided reference point shifting for Gaussian-mixture-based partial point set registration
本文探讨了在平移和旋转下基于深度学习和高斯混合模型的点集配准中特征向量不变性的影响,提出基于注意力的参考点位移层以提高DeepGMR及其变体的性能。
2026-04-01 cs.CV cs.GR
RePAST: Relative Pose Attention Scene Representation Transformer
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Google Research(谷歌研究院)
针对SRT对输入视角顺序不具备不变性而难以应用于大规模场景的问题,提出RePAST,将成对相对相机位姿直接注入Transformer注意力机制,实现全局参考系不变性且不损失渲染质量。
2023-04-10 cs.AI cs.CV cs.GR
Leveraging the Powerful Attention of a Pre-trained Diffusion Model for Exemplar-based Image Colorization
Institute of Integrated Research, Institute of Science Tokyo(综合研究所,科学研究所东京)
提出一种无需微调的预训练扩散模型着色方法,利用双注意力引导颜色迁移和无分类器引导,提升图像质量和参考保真度,FID达95.27,SI-FID达5.51。
2025-05-21 cs.CV
Structured Co-reference Graph Attention for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出了一种基于视频的对话系统,称为结构化共指图注意力(SCGA),用于解码关于给定视频的问题的答案序列,同时跟踪对话上下文。虽然最近的努力在提高反应质量方面取得了很大进展,但执行情况仍远不能令人满意。主要有两个挑战性的问题:(1)如何推断多模态之间的共指;(2)如何推理具有复杂时空动态的视频的丰富的底层语义结构。为此,SCGA基于(1)结构化共指解析器,其通过在多个模态上构建结构化图来执行解引用,(2)时空视频推理器,其通过逐渐相邻的图关注来捕获视频的局部到全局动态。SCGA利用指针网络动态复制问题的部分内容来解码答案序列。在AVSD @ DSTC 7和AVSD @ DSTC 8数据集(一个具有挑战性的视频对话基准)和TVQA数据集(一个大规模的视频问答基准)上证明了所提出的SCGA的有效性。我们的实证结果表明,SCGA优于其他国家的最先进的对话系统的基准,而广泛的消融研究和定性分析显示性能增益和改善的可解释性。
2021-03-24 cs.CV
Point Cloud Quality Assessment Using the Perceptual Clustering Weighted Graph (PCW-Graph) and Attention Fusion Network
Mohammed V University in Rabat(拉巴特穆罕默德五世大学)
本文提出结合感知聚类加权图与注意力融合网络的无参考点云质量评估方法,用于在缺少参考模型时评价3D内容质量。
2025-06-04 cs.CV