SROBB: Targeted Perceptual Loss for Single Image Super-Resolution
SROBB: Targeted Perceptual Loss for Single Image Super-Resolution（SROBB：面向单幅图像超分辨率的感知损失）
通过感知损失的好处，最近的研究已经显着提高了性能的超分辨率任务，其中高分辨率的图像是从其低分辨率的对应解决。虽然这样的目标函数生成接近照片真实感的结果，但它们的能力是有限的，因为它们以相同的方式估计整个图像的重建误差，而不考虑任何语义信息。在本文中，我们提出了一种新的方法，以更客观的方式从感知损失中受益。我们使用有针对性的目标函数优化了基于深度网络的解码器，该目标函数使用相应的术语对不同语义级别的图像进行惩罚。特别是，所提出的方法利用我们提出的OBB（对象，背景和边界）标签，从分割标签生成，估计一个合适的感知损失的边界，同时考虑纹理相似性的背景。我们表明，我们提出的方法的结果更逼真的纹理和更尖锐的边缘，并优于其他国家的最先进的算法在标准的基准和广泛的用户研究的结果的定性结果。
2019-08-20 cs.CV
A HVS-inspired Attention to Improve Loss Metrics for CNN-based Perception-Oriented Super-Resolution
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
深度卷积神经网络（CNN）特征已被证明是有效的感知质量特征。基于预训练的CNN的特征图的感知损失已经被证明对于基于CNN的感知图像复原问题是非常有效的。在这项工作中，从人类视觉系统（HVS）和视觉感知的启发，我们提出了一个空间注意力机制的基础上依赖于人类的对比敏感度的空间频率。我们根据潜在的空间频率识别输入图像中的区域，这些区域在超分辨率期间通常不能很好地重建，但在视觉灵敏度方面是最重要的。基于这一先验，我们设计了一个空间注意力图，应用于感知损失及其变体中的特征图，帮助它们识别更具感知重要性的区域。结果表明，我们的技术提高了感知损失和上下文损失的能力，在基于CNN的超分辨率中提供更自然的图像。
2019-07-27 cs.CV
MeanSR: Restoration Trajectory Learning for One-Step Perceptual Super-Resolution
MeanSR是一种单步感知超分辨率方法，通过学习LR条件平均速度场并引入阶段感知时间采样策略，在CLIPIQA等指标上优于CTMSR，同时降低计算成本与延迟，提升了重建质量。
2026-08-11 cs.CV
Perceptual Video Super Resolution with Enhanced Temporal Consistency
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
随着感知损失函数的出现，超分辨率的新可能性已经出现，我们目前已经有模型成功地从低分辨率观测中生成接近照片真实的高分辨率图像。然而，到目前为止，这种方法仅限于单个图像超分辨率。感知损失函数在视频处理上的应用仍然需要若干挑战，主要涉及所生成图像的时间一致性的缺乏，即，闪烁的伪影在这项工作中，我们提出了一种新的对抗性递归网络，用于视频放大，能够以时间一致的方式产生逼真的纹理。所提出的架构自然地利用来自先前帧的信息，这是由于其循环架构，即生成器的输入由低分辨率图像以及前一步网络的扭曲输出组成。连同视频序列，我们还提出了额外的损失函数，以进一步加强所生成的序列的时间一致性。我们的算法的实验验证表明，我们的方法的有效性，获得高感知质量和改善的时间一致性的图像。
2019-05-02 cs.CV
Image Super-Resolution using Explicit Perceptual Loss
Toyota Technological Institute（丰田工业大学）
本文提出了一种显式的方法来优化超分辨率网络，以生成视觉上令人愉悦的图像。以前的方法使用几个损失函数，这是很难解释的，并具有隐含的关系，以提高感知得分。我们展示了如何利用基于机器学习的模型，该模型直接经过训练，以提供生成图像的感知分数。相信这些模型可以用来优化超分辨率网络，更容易解释。我们进一步分析了现有的损失和我们提出的明确的感知损失的特点，以更好地解释。实验结果表明，外显方法比其他方法具有更高的感知得分。最后，我们使用主观评价来证明外显知觉损失与视觉愉悦图像之间的关系。
2020-09-01 cs.CV eess.IV
Augmenting Perceptual Super-Resolution via Image Quality Predictors
AI Center – Toronto, Samsung Electronics（AI中心–多伦多，三星电子）
本研究利用无参考图像质量评估模型增强超分辨率，通过数据采样调整和直接优化质量分数，实现更符合人类感知的感知-失真平衡。
2025-04-25 cs.CV
Perceptually Optimizing Deep Image Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Netflix Inc.（Netflix公司）
均方误差（MSE）和$\ell_p$范数由于其简单性和分析特性，在很大程度上主导了神经网络中损失的测量。然而，当用于评估视觉信息损失时，这些简单的规范与人类的感知并不高度一致。在这里，我们提出了一种不同的代理方法来优化图像分析网络对定量感知模型。具体来说，我们构建了一个代理网络，它模仿感知模型，同时作为网络的损耗层。我们通过实验演示了如何将此优化框架应用于训练端到端优化的图像压缩网络。通过建立在现代深度图像压缩模型之上，我们能够证明在给定特定感知质量（VMAF）水平的情况下，在MSE优化上$28.7\%$的平均比特率降低。
2020-07-09 cs.CV eess.IV
PerCo (SD): Open Perceptual Compression
Technical University of Munich（慕尼黑工业大学）；University of Applied Sciences Landshut（兰休应用科学大学）；TU Wien（维也纳工业大学）
本文提出基于 Stable Diffusion v2.1 的开放感知图像压缩方法 PerCo (SD)，作为闭源 PerCo 的替代方案，在超低码率下实现改进的感知质量，并公开代码与模型。
2024-09-30 cs.CV
FaithIR: Rethinking Infrared Image Super-Resolution from Perceptual Sharpness to Task Relevant Fidelity
针对现有红外图像超分辨率方法易扭曲结构与语义信息的问题，提出FaithIR框架，在像素域结合全局与局部分支实现忠实重建，提升了跨数据集泛化及下游任务性能。
2026-08-05 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而，由于自然场景的复杂退化，从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络，这些神经网络经过针对自然图像重建而设计的像素级损失训练，忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而，他们只关注文本识别器的准确性，而重建的图像可能仍然是模糊的人类。此外，它们在处理跨语言时通常具有较弱的通用性。为此，我们提出了TATSR，一个文本感知的文本超分辨率框架，它有效地学习独特的文本特征，使用交叉Transformer块（CCTBs）和一种新的内容感知（CP）损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构，有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明，TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a Few More Images
Signal Processing Lab (LTS5) EPFL（信号处理实验室（LTS5）洛桑联邦理工学院）
现有的基于参考（RF）的超分辨率（SR）模型试图在测试时与低分辨率（LR）输入配对的高分辨率RF图像的可用性的假设下改善SR中的感知质量。由于RF图像在内容、颜色、对比度等方面应与测试图像相似，这妨碍了在实际场景中的适用性。其他提高图像感知质量的方法，包括感知损失和对抗损失，往往会通过显著降低PSNR/SSIM来显著降低对地面实况的保真度。为了解决这两个问题，我们提出了一种简单而通用的方法，通过进一步微调SR网络对来自训练数据集的图像子集的感知质量，来改善给定LR输入上的预训练SR网络的HR预测，其中训练数据集具有与初始HR预测相似的激活模式，相对于特征提取器的过滤器。特别是，我们展示了微调对这些图像的感知质量和PSNR/SSIM值的影响。与感知驱动的方法相反，我们证明了微调网络产生的HR预测具有更高的感知质量和相对于初始HR预测的PSNR/SSIM的最小变化。此外，我们提出了新的数值实验关于SR网络的过滤器，我们通过过滤器相关性，我们的方法微调网络的过滤器更接近“理想”的过滤器，比基线网络或网络微调随机图像。
2021-04-06 cs.CV
Can No-Reference Quality-Assessment Methods Serve as Perceptual Losses for Super-Resolution?
Lomonosov Moscow State University（莫斯科罗蒙诺索夫大学）
本文研究将无参考图像质量评估方法作为感知损失直接优化视频超分辨率模型，发现直接优化会产生伪影，但特殊训练流程可缓解此问题。
2024-05-30 cs.CV eess.IV
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University（麦克马斯特大学）；Sharif University of Technology（谢里夫理工大学）
最近，深度卷积神经网络（DCNN）利用对抗训练框架进行图像复原和增强，显著提高了处理后图像的清晰度。令人惊讶的是，尽管这些DCNN在视觉上比其他方法产生更清晰的图像，但当采用流行的措施来评估它们时，它们可能会得到较低的质量分数。因此，有必要制定一个定量指标来反映他们的表现，这是很好地与图像的感知质量对齐。著名的定量指标，如峰值信噪比（PSNR），结构相似性指数测度（SSIM）和感知指数（PI）与图像的平均意见评分（MOS）没有很好的相关性，特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络，它是对传统的连体网络结构的扩展，称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制，以提高我们的方法的性能。最后，我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失，以增加斯皮尔曼的排名相关系数，而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Journey Towards Tiny Perceptual Super-Resolution
Samsung AI Center（三星人工智能中心）；University of Warwick（华威大学）；University of Cambridge（剑桥大学）
最近在单图像感知超分辨率（SR）方面的工作已经证明了通过深度卷积网络生成逼真纹理的前所未有的性能。然而，这些卷积模型过于庞大和昂贵，阻碍了它们在终端设备上的有效部署。在这项工作中，我们提出了一种神经架构搜索（NAS）方法，该方法将NAS和生成对抗网络（GANs）与感知SR的最新进展相结合，并提高了小型感知SR模型的效率，以促进设备上的执行。具体来说，我们搜索的架构的发电机和连续的，突出的独特的挑战和关键的意见，搜索SR优化的连续的，并将它们与现有的连续的架构在文献中。我们的微型感知SR（TPSR）模型在全参考感知度量（LPIPS）和失真度量（PSNR）方面都优于SRGAN和EnhanceNet，同时分别提高了26.4 $\times$的内存效率和33.6 $\times$的计算效率。
2020-07-08 cs.CV eess.IV
Frequency Domain-based Perceptual Loss for Super Resolution
University of British Columbia（不列颠哥伦比亚大学）
我们引入频域感知损失（FDPL），一个损失函数的单图像超分辨率（SR）。与之前用于训练SR模型的损失函数不同，这些损失函数都是在像素（空间）域中计算的，FDPL是在频域中计算的。通过在频域中工作，我们可以鼓励给定的模型学习一个映射，该映射优先考虑与人类感知最相关的频率。虽然FDPL的目标不是最大化峰值信噪比（PSNR），但我们发现降低FDPL和增加PSNR之间存在相关性。使用FDPL训练模型的平均PSRN（30.94）高于使用像素丢失（30.59）训练的相同模型，如在Set5图像数据集上测量的。我们还表明，我们的方法实现了更高的定性结果，这是感知损失函数的目标。然而，尚不清楚改善的感知质量是由于略高的PSNR还是FDPL的感知性质。
2020-07-23 cs.CV eess.IV
Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision
The University of Hong Kong（香港大学）
没有成对无雾图像的图像去雾非常重要，因为获取成对图像通常需要大量成本。然而，我们观察到，以前的不成对图像去雾方法往往会受到深度边界附近的性能下降，其中深度往往会突然变化。因此，我们提出了退火的深度边界退化的非成对图像去雾与循环感知深度监督。再加上双路径特征重用生成器和鉴别器的主干，我们的模型在NYU Depth V2数据集上实现了$\mathbf{20.36}$峰值信噪比（PSNR），显著优于其前任，减少了浮点运算（FLOPs）。
2020-07-10 cs.CV eess.IV
ProxIQA: A Proxy Approach to Perceptual Optimization of Learned Image Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Netflix Inc.（奈飞公司）
$\ell_p$ $(p=1,2)$范数的使用由于其简单性和分析特性而在很大程度上主导了神经网络中损失的测量。然而，当用于评估视觉信息的损失时，这些简单的规范与人类的感知并不十分一致。在这里，我们描述了一种不同的“近端”方法来优化图像分析网络对定量感知模型。具体来说，我们构建了一个代理网络，广义上称为ProxIQA，它模仿感知模型，同时作为网络的损失层。我们通过实验演示了如何将此优化框架应用于训练端到端优化的图像压缩网络。通过建立在现有的深度图像压缩模型之上，我们能够证明在给定的感知质量（VMAF）水平下，与MSE优化相比，比特率降低多达$31\%$。
2020-10-29 cs.CV cs.LG eess.IV
A New Super-Resolution Measurement of Perceptual Quality and Fidelity
超分辨率结果通常通过全参考图像质量度量或人类评级分数来测量。然而，这些评估方法是一般的图像质量测量，并且不考虑超分辨率问题的性质。本文基于超分辨率的一对多映射特性，分析了评价问题，提出了一种新的基于分布的超分辨率度量方法。从分布距离出发，我们推导出建议的度量，使其易于访问和计算。通过人体受试者的研究超分辨率，我们表明，该指标是高度相关的人类感知质量，并优于大多数现有的指标。此外，所提出的度量与基于感知的度量相比，与保真度度量具有更高的相关性。为了了解所提出的度量的属性，我们进行了广泛的评估，在其设计选择，并表明该度量是强大的设计选择。最后，我们表明，该度量可以用于训练超分辨率网络，以获得更好的感知质量。
2023-03-10 cs.CV eess.IV
Enhancing Perceptual Loss with Adversarial Feature Matching for Super-Resolution
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；International Institute of Information Technology Bhubaneswar（布巴内斯瓦尔国际信息技术学院）
单图像超分辨率（SISR）是一个不确定有效解个数的不适定问题。用神经网络解决这个问题需要获得丰富的经验，无论是作为自然图像上的大型训练集，还是来自另一个预训练网络的压缩表示。属于后一类的感知损失函数在SISR和其他几个计算机视觉任务中取得了突破性的成功。虽然感知损失在照片级真实感图像的生成中起着核心作用，但它也会在超分辨率输出中产生不期望的图案伪影。在本文中，我们证明了这些模式伪影的根本原因可以追溯到感知损失的预训练目标和超分辨率目标之间的不匹配。为了解决这个问题，我们建议用一种新的内容损失函数来增强现有的感知损失公式，该函数使用一个神经网络的潜在特征来过滤几个对抗相似度级别上不需要的伪影。此外，我们的修改对对抗训练中的非凸优化具有稳定作用。所提出的方法提供了显着的收益的感知质量的基础上，广泛的人类评价研究和主管重建保真度时，测试的客观评价指标。
2020-05-15 cs.CV eess.IV
Iterative Inference-time Scaling with Adaptive Frequency Steering for Image Super-Resolution
University of Science and Technology of China（中国科学技术大学）
本文提出IAFS框架，通过迭代精炼和频率感知粒子融合，解决图像超分辨率中感知质量与结构保真度的平衡问题，实验表明其在多模型上均优于现有方法。
2026-04-13 cs.CV
Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN
Liaoning University of Technology（辽宁工业大学）；Dalian University（大连大学）
感知损失的提出解决了逐像素差分损失函数导致重建图像过于平滑的问题，在单幅图像超分辨率重建领域取得了重大进展。此外，将生成对抗网络（GAN）应用于超分辨率领域，有效地提高了重建图像的视觉质量。然而，在高尺度因子条件下，网络过度的异常推理会产生一些扭曲的结构，使得重建图像与地面真实图像存在一定的偏差。为了从根本上提高重建图像的质量，提出了一种有效的双感知损失（Dual Perceptual Loss，DP Loss）方法，用来代替原有的感知损失来解决单幅图像的超分辨率重建问题。由于VGG特征和ResNet特征之间的互补性，提出的DP Loss兼顾了两种特征同时学习的优点，显著提高了图像的重建效果。基准数据集上的定性和定量分析表明，我们提出的方法比最先进的超分辨率方法的优越性。
2022-01-17 cs.CV eess.IV
Bi-GANs-ST for Perceptual Image Super-resolution
Xiamen University（厦门大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
图像质量度量是图像超分辨率（SR）算法的关键问题。通常，它们是由一些众所周知的客观指标来评估的，例如，PSNR和SSIM，但这些指标不能提供符合人类感知的结果。最近，[1]中提出了一种更合理的感知测量方法，该方法也被PIRM-SR 2018挑战所采用。在本文中，受[1]的启发，我们的目标是生成一个高质量的SR结果，该结果在两个指标之间进行平衡，即，感知指数和均方根误差（RMSE）。为此，我们设计了一个新的深度SR框架，称为Bi-GANs-ST，通过集成两个互补的生成对抗网络（GAN）分支。一种是记忆残差SRGAN（MR-SRGAN），它侧重于提高目标性能，如降低RMSE。另一种是权重感知SRGAN（WP-SRGAN），它通过两阶段对抗训练机制获得更好的主观感知结果。然后，为了产生具有良好感知分数和RMSE的最终结果，我们使用软阈值方法合并由两个GANs产生的结果。我们的方法在Pennsylvania 2018挑战赛的感知图像超分辨率任务中表现良好。五个基准测试的实验结果表明，我们的建议实现了非常称职的性能相比，其他国家的最先进的方法。
2018-11-01 cs.CV
Towards Adaptive Super-Resolution and Quality Assessment via Test-Time Adaptation
Indian Institute of Technology Jammu（贾姆穆印度理工学院）
该研究针对真实场景下VSR泛化不足的问题，提出基于TTA的无参考VQA框架、Transformer屏幕内容超分辨率架构及区域感知TTA策略，在多基准上实现感知质量与可读性的提升。
2026-08-11 cs.CV
MILO: A Lightweight Perceptual Quality Metric for Image and Latent-Space Optimization
Max Planck Institute for Informatics（马克斯·普朗克研究所（信息研究所））
本研究提出轻量级多尺度感知质量度量MILO，通过伪MOS监督训练，在FR-IQA基准上性能优于现有方法，还可作为感知损失结合空间掩蔽与课程学习，提升生成式任务性能并降低计算开销。
2025-09-01 cs.CV
Image Deblurring by Exploring In-depth Properties of Transformer
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
针对图像去模糊难以同时提升感知质量与量化评分的问题，该研究利用预训练ViT的深度特征提出两类感知损失，在散焦与运动去模糊任务上实现了性能提升。
2024-01-27 cs.CV
Perceptually Regularized Diffusion Model for Image Super-Resolution
University of North Carolina（北卡罗来纳大学）；Texas Tech University（德克萨斯理工大学）；Case Western Reserve University（凯斯西储大学）；University of Houston（休斯顿大学）；University of Kentucky（肯塔基大学）
针对扩散模型图像超分辨率的像素域噪声预测损失易致过平滑的问题，提出感知正则化扩散框架，实验证实其可提升感知质量与失真度量表现。
2026-09-03 cs.CV cs.LG eess.IV
An Unsupervised Information-Theoretic Perceptual Quality Metric
Google Research（谷歌研究院）
人类感知的易处理模型已经证明是具有挑战性的建设。手工设计的模型，如MS-SSIM仍然是流行的预测人类图像质量的判断，由于其简单性和速度。最近的现代深度学习方法可以表现得更好，但它们依赖于收集成本高昂的监督数据：大量的类标签，如ImageNet，图像质量评级，或两者兼而有之。我们将信息理论目标函数的最新进展与人类视觉系统的生理学和对视频帧的无监督训练所告知的计算架构相结合，产生了我们的感知信息度量（PIM）。我们表明，PIM与最近和具有挑战性的BAPPS图像质量评估数据集上的监督度量具有竞争力，并且在预测CLIC 2020中图像压缩方法的排名方面优于它们。我们还使用ImageNet-C数据集进行定性实验，并建立PIM是强大的建筑细节。
2021-01-10 cs.CV
Perceptual Extreme Super Resolution Network with Receptive Field Block
OPPO Research（OPPO研究院）
由于不同图像的纹理细节差异很大，因此对单幅图像进行感知极高分辨率是非常困难的。为了解决这个问题，我们开发了一个超分辨率网络与感受野块的基础上增强SRGAN。我们将我们的网络称为RFB-ESRGAN。主要贡献如下。首先，为了提取多尺度信息，增强特征的可分辨性，我们将感受野块（RFB）用于超分辨率。RFB在目标检测和分类方面取得了有竞争力的成果。其次，在多尺度感受野块中使用几个小核，而不是使用大的卷积核，这使得我们能够提取详细的特征，并降低计算复杂度。第三，在上采样阶段交替使用不同的上采样方法，以降低高计算复杂度，并仍然保持令人满意的性能。第四，我们使用不同迭代的10个模型的集成，以提高模型的鲁棒性和减少每个单独的模型引入的噪声。实验结果表明RFB-ESRGAN具有较好的性能。根据NTIRE 2020感知极限超分辨率挑战赛的初步结果，我们的解决方案在所有参赛者中排名第一。
2020-05-26 cs.CV eess.IV
SR-Prominence: A Crowdsourced Protocol and Dataset Suite for Perceptually-Weighted Super-Resolution Artifact Evaluation
AI Center, Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学人工智能中心）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Innopolis University（因诺皮里斯大学）
本文提出SR-Prominence数据集套件，通过众包标注协议评估超分辨率伪影的感知影响，发现经典全参考指标在局部 prominence 信号上表现优异，而无参考IQA方法和专用伪影检测器在跨数据集和参考设置时表现不佳。
2026-10-16 cs.CV
Beyond Image Super-Resolution for Image Recognition with Task-Driven Perceptual Loss
Dept. of ECE&ASRI（电气与电子工程系及先进科学技术研究院）；IPAI, Seoul National University（首尔大学 IPAI 研究院）
本文提出SR4IR框架，利用任务驱动感知损失、跨质量图像块混合和交替训练，使超分辨率图像更有利于语义分割、目标检测和分类等识别任务。
2024-04-04 cs.CV
Perceptually-inspired super-resolution of compressed videos
University of Bristol（布里斯托大学）
空间分辨率自适应是一种在视频压缩中经常采用的提高编码效率的技术。这种方法对输入视频的较低分辨率版本进行编码，并在解码期间重建原始分辨率。最近的工作采用了基于卷积神经网络（CNN）的高级超分辨率方法，而不是使用传统的上采样滤波器，以进一步提高重建质量。这些方法通常被训练为最小化基于像素的损失，例如均方误差（MSE），尽管这种类型的损失度量与主观意见没有很好的相关性。在本文中，感知启发的超分辨率方法（M-SRGAN）提出了使用修改后的CNN模型，已使用生成对抗网络（GAN）与感知损失函数的压缩内容上训练的压缩视频的空间上采样。所提出的方法与HEVC HM 16.20集成，并且已经使用随机访问配置在JVET公共测试条件（UHD测试序列）上进行了评估。结果显示，与原始HM 16.20相比，感知质量有了明显的改善，基于感知质量度量VMAF的平均比特率节省了35.6%（Bjøntegaard Delta测量）。
2021-06-15 cs.CV cs.LG eess.IV
Burst Super-Resolution with Diffusion Models for Improving Perceptual Quality
Toyota Technological Institute（丰田工业大学）
针对 burst 超分辨率中确定性网络输出模糊及扩散模型未适配的问题，提出用 burst LR 特征生成初始 SR 图并从扩散中间步反向去噪，以跳过全局结构生成并细化纹理，提升感知质量。
2024-04-08 cs.CV
Local-Global Context-Aware and Structure-Preserving Image Super-Resolution
Indian Institute of Technology Bombay（印度班加罗尔理工学院）
提出一种局部-全局上下文感知注意力与分布-感知对齐条件机制的超分辨率框架，在像素空间保持结构并增强感知保真度，在多个基准上实现高保真重建。
2025-10-11 cs.CV
Auto-Encoded Supervision for Perceptual Image Super-Resolution
Sungkyunkwan University（成均馆大学）
本文提出自编码监督损失AESOP，用预训练自编码器空间中的距离替代像素级损失，以解决GAN超分辨率中保真度与感知质量的权衡问题，在不损害感知质量的前提下提供有效重建引导。
2025-04-11 cs.CV eess.IV
Perceptual Quality Optimization of Image Super-Resolution
School of Computer Science and Informatics, Cardiff University, UK（计算机科学与信息学学院，卡迪夫大学）；Christian Doppler Laboratory ATHENA, Alpen-Adria-Universität, Klagenfurt, Austria（Christian Doppler实验室ATHENA，阿尔卑斯-亚得里亚大学）；XiaomiEV, China（小米EV，中国）；Centre for Vision, Speech and Signal Processing, University of Surrey, UK（视觉、语音和信号处理中心，萨里大学）
本文提出Efficient-PBAN网络，通过优化图像超分辨率的感知质量，结合人类主观评分数据集提升重建质量。
2026-02-25 cs.CV cs.MM eess.IV
Fourier Space Losses for Efficient Perceptual Image Super-Resolution
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
许多超分辨率（SR）模型仅针对高性能进行优化，因此由于模型复杂性大而缺乏效率。由于大型模型在实际应用中往往不实用，我们研究并提出了新的损失函数，以使SR具有更高的感知质量，从更有效的模型。对于一个给定的低复杂度发电机网络的代表性功率只能通过对最佳参数集的强有力指导来充分利用。我们表明，它是可能的，以提高最近推出的高效发电机架构的性能，仅与我们提出的损失函数的应用。特别是，我们使用傅立叶空间监督损失的改进恢复丢失的高频（HF）的内容从地面实况图像和设计一个直接在傅立叶域工作，以更好地匹配目标HF分布的嵌入式架构。我们表明，我们的损失直接强调傅立叶空间中的频率显着提高感知图像质量，同时保持高恢复质量相比，以前提出的损失函数这项任务。通过利用空间和频域损失的组合，性能得到进一步改善，因为两种表示在训练期间提供互补信息。最重要的是，经过训练的生成器实现了与最先进的感知SR方法RankSRGAN和SRFlow相当的结果，并且分别快2.4倍和48倍。
2021-06-01 cs.CV eess.IV
DP$^2$O-SR: Direct Perceptual Preference Optimization for Real-World Image Super-Resolution
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）；City University of Hong Kong（香港城市大学）
针对真实世界图像超分辨率中T2I模型输出感知质量不稳定的问题，提出DP²O-SR框架，结合混合奖励信号与分层偏好优化，无需人工标注即可提升生成效果与泛化性。
2025-10-21 cs.AI cs.CV
PIGUIQA: A Physical Imaging Guided Perceptual Framework for Underwater Image Quality Assessment
Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所）；Harbin Institute of Technology（哈尔滨工业大学）；Faculty of Computing（计算机学院）；School of Computer Science（计算机科学学院）；University of Macau（澳门大学）；Institute for Infocomm Research（信息与通信研究所以）
PIGUIQA提出一种基于物理成像的感知框架，通过整合物理模型和局部感知机制，实现水下图像质量评估的高精度预测。
2025-12-20 cs.CV eess.IV
Textural-Perceptual Joint Learning for No-Reference Super-Resolution Image Quality Assessment
School of Software, Dalian University of Technology（大连理工大学软件学院）；International School of Information Science and Engineering, Dalian University of Technology（大连理工大学国际信息与工程学院）
针对超分辨率图像纹理与感知退化难以无参考评估的问题，提出双流网络TPNet，通过空间注意力和F-Norm联合学习两类信息，提升评分准确性及与人眼感知的一致性。
2022-11-16 cs.CV eess.IV
Perception-Oriented Stereo Image Super-Resolution
Fudan University（复旦大学）
近年来基于深度学习的立体图像超分辨率（StereoSR）研究推动了立体图像超分辨率的发展。然而，现有的StereoSR模型主要集中在提高定量评价指标，忽略了超分辨率立体图像的视觉质量。为了提高感知性能，本文提出了第一个面向感知的立体图像超分辨率的方法，利用反馈，通过对StereoSR结果的感知质量的评价提供。为了给StereoSR模型提供准确的指导，我们开发了第一个特殊的立体图像超分辨率质量评估（StereoSRQA）模型，并进一步构建了StereoSRQA数据库。大量的实验表明，我们的StereoSR方法显着提高了感知质量，提高了立体图像的视差估计的可靠性。
2022-07-14 cs.CV eess.IV
The Unreasonable Effectiveness of Texture Transfer for Single Image Super-resolution
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
虽然隐式生成模型（如GANs）在使用各种损失的组合进行高质量图像重建和操作方面表现出令人印象深刻的结果，但我们考虑了一种更简单的方法，从而获得令人惊讶的强大结果。我们表明，纹理损失单独允许生成感知高质量的图像。我们提供了一个更好的理解纹理约束机制，并开发了一种新的语义引导纹理约束方法进一步改进。使用最近开发的感知度量，采用“深度特征”，并称为LPIPS，该方法获得了最先进的结果。此外，我们表明，这些深层特征的纹理表示比原始的深层特征更好地捕捉图像的感知质量。使用纹理信息，现成的深度分类网络（未经训练）的性能与性能最佳（调整和校准）的LPIPS指标一样好。代码是公开的。
2018-07-31 cs.CV
NTIRE 2020 Challenge on Perceptual Extreme Super-Resolution: Methods and Results
ETH Zurich（苏黎世联邦理工学院）
本文回顾了NTIRE 2020年关于感知极端超分辨率的挑战，重点是提出的解决方案和结果。挑战任务是基于一组先前的低分辨率图像和相应的高分辨率图像的示例，以放大因子16对输入图像进行超分辨率处理。我们的目标是获得一个网络设计，能够产生高分辨率的结果与最佳的感知质量和类似的地面真理。该赛道有280名注册参赛者，19支球队提交了最终结果。他们衡量了最先进的单图像超分辨率。
2020-05-03 cs.CV eess.IV
Perceptual cGAN for MRI Super-resolution
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Whirlpool（惠而浦公司）
捕获高分辨率磁共振（MR）图像是一个耗时的过程，这使得它不适合医疗紧急情况和儿科患者。相比之下，低分辨率磁共振成像比高分辨率磁共振成像更快，但它会损害更精确诊断所需的细节。当应用于低分辨率MR图像时，超分辨率（SR）可以通过在很少的额外时间内合成生成高分辨率图像来帮助提高其效用。在本文中，我们提出了一种MR图像的SR技术，是基于生成对抗网络（GANs），这已被证明是非常有用的生成锐利的外观细节在SR。我们引入了一个条件GAN与感知损失，这是以输入的低分辨率图像为条件，提高了各向同性和各向异性MRI超分辨率的性能。
2022-01-23 cs.CV cs.LG eess.IV
Joint Demosaicing and Super-Resolution (JDSR): Network Design and Perceptual Optimization
West Virginia University（西弗吉尼亚大学）；Case Western Reserve University（凯斯西储大学）
图像去马赛克和超分辨率是彩色图像处理中的两个重要任务。到目前为止，它们大多是在深度学习的开放文献中独立研究的;对于制定联合去马赛克和超分辨率（JDSR）问题的潜在好处知之甚少。在本文中，我们提出了一个端到端的JDSR问题的优化解决方案，并证明其在计算成像的实际意义。我们的技术贡献主要有两方面。在网络设计上，我们开发了一个由预去马赛克网络（PDNet）作为预处理步骤支持的残差密集压缩和激励网络（RDSEN）。我们解决了彩色滤光片阵列（CFA）数据的空间光谱注意力的问题，并讨论了如何实现更好的信息流，通过串联剩余密集的挤压和激发块（RDSEBs）的JDSR。实验结果表明，显着的PSNR/SSIM增益可以实现RDSEN在以前的网络架构，包括国家的最先进的RCAN。在感知优化方面，我们提出利用最新的思想，包括相对论性的优化和预激励感知损失函数，以进一步提高重建图像中纹理区域的视觉质量。我们广泛的实验结果表明，纹理增强相对论平均生成对抗网络（TRa GAN）可以产生主观上更愉快的图像和客观上更低的感知失真分数比标准GAN的JDSR。最后，我们已经验证了JDSR的好处，以高质量的图像重建从现实世界中的拜耳模式数据收集的NASA火星探测器。
2020-08-04 cs.CV eess.IV
Perceptual-Distortion Balanced Image Super-Resolution is a Multi-Objective Optimization Problem
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
本文提出 MOBOSR 框架，利用多目标贝叶斯优化自动搜索 SISR 损失权重，在感知质量与失真之间取得更优 Pareto 折中。
2024-09-05 cs.CV eess.IV
Image Quality Assessment: Investigating Causal Perceptual Effects with Abductive Counterfactual Inference
针对现有 FR-IQA 方法无法捕捉感知因果机制的问题，提出基于溯因反事实推理的方法，结合因果推理与特征比较构建模型，在多个基准上实现了具竞争力的质量预测并提升了可解释性。
2024-12-22 cs.CV
Conformer and Blind Noisy Students for Improved Image Quality Assessment
University of Würzburg（维尔茨堡大学）；Institute of Computer Science（计算机科学研究所）
用于图像恢复、增强和生成的生成模型显著提高了生成图像的质量。令人惊讶的是，这些模型比其他方法产生更令人愉悦的图像，然而，使用传统的感知质量度量（如PSNR或SSIM），它们可能会得到较低的感知质量分数。因此，有必要制定一个量化指标来反映新算法的性能，该指标应与个人的平均意见评分（MOS）保持一致。基于学习的感知图像质量评估（IQA）方法通常需要失真图像和参考图像来准确测量感知质量。然而，通常只有失真或生成的图像可用。在这项工作中，我们探讨了基于变压器的全参考IQA模型的性能。我们还提出了一种基于半监督知识蒸馏的方法，从全参考教师模型到盲学生模型，使用噪声伪标记数据的IQA。我们的方法在NTIRE 2022感知图像质量评估挑战赛中取得了有竞争力的结果：我们的全参考模型在70名参与者中排名第四，我们的盲人吵闹学生在各自的赛道中排名第三。
2022-04-27 cs.CV eess.IV
One-to-many Approach for Improving Super-Resolution
Goldsmiths, University of London（伦敦大学金史密斯学院）；Paul Math School（保罗数学学校）
最近，已经有关于超分辨率的不适定性的讨论，即对于给定的低分辨率图像存在多个可能的重建。使用归一化流，SRflow[23]通过学习输出的分布而不是确定性输出到一个估计来实现最先进的感知质量。在本文中，我们采用SRFlow的概念，通过适当地实现一对多属性来改进基于GAN的超分辨率。我们修改生成器来估计分布作为随机噪声的映射。我们改进了妨碍感知训练目标的内容损失。我们还提出了额外的训练技术，以进一步提高生成的图像的感知质量。使用我们提出的方法，我们能够提高ESRGAN[1]在x4感知SR中的性能，并通过将我们的方法应用于RFB-ESRGAN[21]，在x16感知极端SR中实现最先进的LPIPS分数。
2021-08-19 cs.CV cs.LG eess.IV
MGHF: Multi-Granular High-Frequency Perceptual Loss for Image Super-Resolution
West Virginia University（西弗吉尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对现有感知损失信息丢失和架构复杂的问题，提出基于可逆神经网络的多粒度高频感知损失框架，通过多约束保留纹理、内容及局部细节，显著提升多种超分辨率算法的性能。
2025-06-23 cs.CV cs.LG
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种替代方法来实现高空间分辨率和图像质量，而无需额外的采集成本。在过去的几十年里，深度神经网络的快速发展促进了超分辨率性能，具有新颖的网络架构，损失函数和评估指标。具体来说，Vision Transformers在广泛的计算机视觉任务中占主导地位，但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合，以实现有效的单图像超分辨率（SISR）的医疗模式。此外，我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面，通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较，在七种模态中，该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面，对于SOTA方法，包括CNN和Vision Transformers，基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外，我们还进行了全面的消融研究，以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
Perceptual deep depth super-resolution
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Higher School of Economics（高等经济学院）；New York University（纽约大学）
RGBD图像结合了来自各种类型深度传感器的高分辨率颜色和低分辨率深度，越来越常见。人们可以通过利用颜色信息来显著提高深度图的分辨率;深度学习方法使颜色和深度信息的组合变得特别容易。然而，融合这两个数据源可能会导致各种工件。如果使用深度图来重建3D形状，例如，对于虚拟现实应用，上采样图像的视觉质量是特别重要的。我们的方法的主要思想是使用生成的3D表面的渲染来测量深度图上采样的质量。我们证明了一个简单的基于视觉外观的损失，当与训练的CNN或简单的深度先验一起使用时，会产生显着改善的3D形状，如通过许多现有的感知度量所测量的。我们比较这种方法与现有的一些优化和学习为基础的技术。
2019-09-09 cs.CV cs.GR cs.LG
PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
图像质量评价是图像恢复算法快速发展的关键。基于生成对抗网络（GANs）的最新IR方法在视觉性能上取得了显着的改善，但也提出了定量评估的巨大挑战。值得注意的是，我们观察到感知质量和评估结果之间越来越不一致。然后我们提出两个问题：（1）现有的IQA方法能否客观地评价最近的IR算法？(2)当专注于击败当前的基准时，我们是否得到了更好的IR算法？为了回答这些问题，促进IQA方法的发展，我们提供了一个大规模的IQA数据集，称为感知图像处理算法（PIPAL）数据集。特别是，该数据集包括基于GAN的方法的结果，这些结果在以前的数据集中缺失。我们收集了超过113万个人类判断，使用更可靠的“Elo系统”为PIPAL图像分配主观评分。基于PIPAL，我们提出了新的基准IQA和超分辨率方法。我们的研究结果表明，现有的IQA方法不能公平地评估基于GAN的IR算法。虽然使用适当的评估方法是重要的，IQA方法也应该随着IR算法的发展而更新。最后，我们通过引入抗混叠池来提高IQA网络对基于GAN的失真的性能。实验证明了该方法的有效性。
2020-09-26 cs.CV eess.IV
High-Fidelity Generative Image Compression
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
我们广泛研究了如何将生成对抗网络和学习压缩相结合，以获得最先进的生成有损压缩系统。特别是，我们研究了归一化层，生成器和递归架构，训练策略以及感知损失。与以前的工作相比，i）我们获得了视觉上与输入相似的视觉上令人愉悦的重建，ii）我们在广泛的比特率范围内操作，iii）我们的方法可以应用于高分辨率图像。我们弥合率失真感知理论和实践之间的差距，通过评估我们的方法定量与各种感知指标，并与用户研究。研究表明，我们的方法优于以前的方法，即使它们使用超过2倍的比特率。
2020-10-23 cs.CV cs.LG eess.IV
Perception-Distortion Balanced ADMM Optimization for Single-Image Super-Resolution
National University of Singapore（新加坡国立大学）；HiSilicon Technologies（海思半导体）
在图像超分辨率中，逐像素精度和感知保真度都是期望的。然而，由于感知失真的权衡，大多数深度学习方法只能在一个方面实现高性能，并且成功平衡权衡的工作依赖于融合来自单独训练的模型的结果与ad-hoc后处理。在本文中，我们提出了一种新的超分辨率模型与低频约束（LFc-SR），通过一个单一的模型，平衡的客观和感知质量，并产生超分辨率图像具有高的PSNR和感知分数。我们进一步介绍了一种基于ADMM的交替优化方法的非平凡学习的约束模型。实验表明，该方法无需繁琐的后处理过程，达到了最先进的性能。该代码可在https://github.com/Yuehan717/PDASR上获得。
2022-08-16 cs.CV eess.IV
