NTIRE 2022 Challenge on Perceptual Image Quality Assessment
本文报告了NTIRE 2022感知图像质量评估（IQA）挑战赛，该挑战赛与CVPR 2022上的图像复原和增强研讨会（NTIRE）新趋势研讨会一起举行。这一挑战是为了通过感知图像处理算法来解决IQA的新兴挑战。这些算法的输出图像具有与传统失真完全不同的特征，并包含在本次挑战中使用的PIPAL数据集中。该挑战分为两个轨道，一个是与之前的NTIRE IQA挑战类似的完整参考IQA轨道，另一个是专注于无参考IQA方法的新轨道。挑战赛有192名和179名注册参与者参加两个轨道。在最后的测试阶段，7和8个参与团队提交了他们的模型和情况说明书。几乎所有的方法都取得了比现有的IQA方法更好的结果，并且获胜的方法可以展示最先进的性能。
2022-06-23 cs.CV eess.IV
AU-IQA: A Benchmark Dataset for Perceptual Quality Assessment of AI-Enhanced User-Generated Content
Shanghai Jiao Tong University（上海交通大学）；McMaster University（麦斯特大学）；Suzhou Key Laboratory of Artificial Intelligence（苏州人工智能重点实验室）
针对AI增强用户生成内容缺乏专门感知质量评估模型的问题，构建了包含4800张图像的AU-IQA基准数据集，并全面评估了现有IQA方法与大型多模态模型在该数据集上的表现。
2025-08-11 cs.CV eess.IV
Perceptual Conversational Head Generation with Regularized Driver and Enhanced Renderer
Megvii Research（旷视研究院）；Wuhan University（武汉大学）
本文报告了我们为ACM Multimedia ViCo 2022对话头部生成挑战赛提供的解决方案，该挑战赛旨在基于音频和参考图像生成生动的面对面对话视频。我们的解决方案专注于使用正则化训练通用音频到头驱动程序，并组装高视觉质量的渲染器。我们仔细调整了音频到行为模型，并使用前景-背景融合模块对生成的视频进行后处理。在官方排行榜上，我们在倾听头生成轨道中获得第一名，在说话头生成轨道中获得第二名。我们的代码可在https://github.com/megvii-research/MM2022-ViCoPerceptualHeadGeneration上获得。
2022-08-02 cs.CV
Point Cloud Quality Assessment Using the Perceptual Clustering Weighted Graph (PCW-Graph) and Attention Fusion Network
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
本文提出结合感知聚类加权图与注意力融合网络的无参考点云质量评估方法，用于在缺少参考模型时评价3D内容质量。
2025-06-04 cs.CV
Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
提出一种基于Transformer的无参考图像质量评估模型，通过预训练模型生成预测误差图并结合视觉Transformer提取感知质量令牌进行特征融合，在真实和合成图像数据库上均超越现有最先进方法。
2023-05-16 cs.CV eess.IV
Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics
POSTECH（浦项科技大学）；KRAFTON（克拉夫顿）；KAIST（韩国科学技术院）
本文提出时间同步性、唇部可读性和表现力三项标准，引入语音-网格同步表示作为感知损失和评估指标，显著提升了3D说话头生成的唇部同步感知准确度。
2025-03-31 cs.CV cs.GR
Conformer and Blind Noisy Students for Improved Image Quality Assessment
University of Würzburg（维尔茨堡大学）；Institute of Computer Science（计算机科学研究所）
用于图像恢复、增强和生成的生成模型显著提高了生成图像的质量。令人惊讶的是，这些模型比其他方法产生更令人愉悦的图像，然而，使用传统的感知质量度量（如PSNR或SSIM），它们可能会得到较低的感知质量分数。因此，有必要制定一个量化指标来反映新算法的性能，该指标应与个人的平均意见评分（MOS）保持一致。基于学习的感知图像质量评估（IQA）方法通常需要失真图像和参考图像来准确测量感知质量。然而，通常只有失真或生成的图像可用。在这项工作中，我们探讨了基于变压器的全参考IQA模型的性能。我们还提出了一种基于半监督知识蒸馏的方法，从全参考教师模型到盲学生模型，使用噪声伪标记数据的IQA。我们的方法在NTIRE 2022感知图像质量评估挑战赛中取得了有竞争力的结果：我们的全参考模型在70名参与者中排名第四，我们的盲人吵闹学生在各自的赛道中排名第三。
2022-04-27 cs.CV eess.IV
PIGUIQA: A Physical Imaging Guided Perceptual Framework for Underwater Image Quality Assessment
Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所）；Harbin Institute of Technology（哈尔滨工业大学）；Faculty of Computing（计算机学院）；School of Computer Science（计算机科学学院）；University of Macau（澳门大学）；Institute for Infocomm Research（信息与通信研究所以）
PIGUIQA提出一种基于物理成像的感知框架，通过整合物理模型和局部感知机制，实现水下图像质量评估的高精度预测。
2025-12-20 cs.CV eess.IV
Image Quality Assessment: Enhancing Perceptual Exploration and Interpretation with Collaborative Feature Refinement and Hausdorff distance
Chongqing University（重庆大学）；Lingnan University（岭南大学）
针对现有FR-IQA方法忽略高低频失真差异的问题，提出一种免训练方法，利用协同特征细化模块和基于Hausdorff距离的分布相似性测量模块模拟人类视觉系统，在多个基准上取得优于SOTA的性能。
2024-12-20 cs.CV eess.IV
Textural-Perceptual Joint Learning for No-Reference Super-Resolution Image Quality Assessment
School of Software, Dalian University of Technology（大连理工大学软件学院）；International School of Information Science and Engineering, Dalian University of Technology（大连理工大学国际信息与工程学院）
针对超分辨率图像纹理与感知退化难以无参考评估的问题，提出双流网络TPNet，通过空间注意力和F-Norm联合学习两类信息，提升评分准确性及与人眼感知的一致性。
2022-11-16 cs.CV eess.IV
DPC-QA Net: A No-Reference Dual-Stream Perceptual and Cellular Quality Assessment Network for Histopathology Images
University of Manchester（曼彻斯特大学）；Beihang University（北航大学）
本文提出无参考双流网络 DPC-QA Net，结合小波全局感知与细胞核/膜质量评估，在多个数据集上以超过92%准确率检测染色与细胞问题，并优于现有 NR-IQA 方法，可用于计算病理学 WSI 区域预筛选。
2025-09-19 cs.CV eess.IV
THQA: A Perceptual Quality Assessment Database for Talking Heads
Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）；Toronto Metropolitan University（多伦多都会大学）
针对现有说话人头生成视频质量缺乏统一评估基准的问题，本文构建了含8种语音驱动方法生成的800段视频的THQA数据库，经实验验证其特征丰富性，同时指出现有主流质量评估方法存在局限，为相关研究提供了公开基准资源。
2024-04-13 cs.CV eess.IV
Power of Tempospatially Unified Spectral Density for Perceptual Video Quality Assessment
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个感知视频质量评估（PVQA）指标失真的视频通过分析一组图片的功率谱密度（PSD）。这是一种估计方法，其依赖于在频域中计算的视频动态的变化，并且主要由失真引起。我们通过处理从一组失真帧获得的3D PSD张量来获得特征图。这是一个完全参考时空的方法，考虑时间和空间PSD特性。这使得它普遍适用于具有不同运动模式和空间内容的视频。我们的技术不对编码条件、流条件或失真做出任何假设。这种方法在计算上也是廉价的，这使得它对于实时和实际的实现是可行的。我们验证我们提出的度量测试它的各种扭曲的序列从PVQA数据库。结果表明，我们的度量估计的感知质量在序列水平准确。我们报告的相关系数与数据库中报告的差异平均意见得分（DMOS）。结果表明，与最先进的技术相比，高和竞争的相关性。
2018-12-12 cs.CV eess.IV
NTIRE 2021 Challenge on Perceptual Image Quality Assessment
本文报告了NTIRE 2021感知图像质量评估（IQA）挑战赛，该挑战赛与CVPR 2021的图像恢复和增强研讨会（NTIRE）新趋势研讨会一起举行。作为一种新型的图像处理技术，基于生成对抗网络（GAN）的感知图像处理算法能够产生具有更真实纹理的图像。这些输出图像具有与传统畸变完全不同的特征，这对IQA方法评价其视觉质量提出了新的挑战。与之前的IQA挑战相比，本次挑战中的训练和测试数据集包括感知图像处理算法的输出和相应的主观分数。因此，它们可以用于开发和评估基于GAN的失真的IQA方法。本次挑战赛共有270名注册参与者。在最后的测试阶段，13个参与团队提交了他们的模型和情况说明书。几乎所有的方法都取得了比现有的IQA方法更好的结果，而获胜的方法可以展示最先进的性能。
2021-06-28 cs.CV eess.IV
Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views
University of Cambridge（剑桥大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本文首次对NVS和NeRF变体进行感知评估，构建了含参考视频序列的数据集，通过受控实验和多种指标分析合成视频质量，为NVS评估的数据集与指标选择提供建议。
2023-10-24 cs.CV eess.IV
Perceptual Assessment and Optimization of HDR Image Rendering
City University of Hong Kong（香港城市大学）；University of Cambridge（剑桥大学）；Shenzhen Research Institute, City University of Hong Kong（香港城市大学深圳研究院）
本文提出通过逆显示模型将 HDR 图像分解为多曝光 LDR 图像并借用成熟 LDR 指标评估的 HDR 质量度量，在四个数据集和 HDR 新视角合成优化中表现优于现有方法。
2024-09-10 cs.CV eess.IV
A study of deep perceptual metrics for image quality assessment
ENSTA Paris, Institut Polytechnique de Paris（巴黎高等先进技术学院，巴黎理工学院）；Safrantech, Safran Group（赛峰科技，赛峰集团）
有几种度量标准可以量化图像之间的相似性，但当涉及到测量高度失真图像的相似性时，它们的效率很低。在这项工作中，我们提出了基于深度神经网络的感知度量来解决图像质量评估（IQA）任务。我们根据不同的超参数（如网络的架构或训练过程）来研究深度感知指标。最后，我们提出了我们的多分辨率感知度量（MR-感知），它允许我们在不同的分辨率下聚合感知信息，并在具有不同图像变形的IQA任务上优于标准感知度量。我们的代码可在https://github.com/ENSTA-U2IS/MR_perceptual上获得
2022-02-17 cs.AI cs.CV cs.GR
MRI-GAN: A Generalized Approach to Detect DeepFakes using Perceptual Image Assessment
San José State University（圣何塞州立大学）
DeepFakes是通过将原始图像的面部与其他人的面部交换而生成的合成视频。在本文中，我们描述了我们开发基于深度学习的通用模型来对DeepFake内容进行分类的工作。我们提出了一个新的框架，使用生成对抗网络（GAN）为基础的模型，我们称之为MRI-GAN，利用图像中的感知差异来检测合成视频。我们使用DeepFake Detection Challenge Dataset测试了我们的MRI-GAN方法和基于纯帧的模型。我们的基于普通框架的模型达到了91%的测试准确度，而使用我们的MRI-GAN框架和结构相似性指数测量（SSIM）的感知差异模型达到了74%的测试准确度。MRI-GAN的结果是初步的，并且可以通过修改损失函数的选择、调谐超参数或通过使用更高级的感知相似性度量来进一步改进。
2022-02-28 cs.CV cs.LG eess.IV
A Comparative Study of Perceptual Quality Metrics for Audio-driven Talking Head Videos
Shanghai Jiao Tong University（上海交通大学）
针对音频驱动说话人头部视频缺乏可靠评估的问题，本文通过四种生成方法的视频与受控人类心理物理实验，比较感知质量指标并找出更符合人类判断的度量。
2024-03-11 cs.CV
CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation
Shanghai Jiao Tong University（上海交通大学）；Eindhoven University of Technology（埃因霍温理工大学）
本研究推出首个相机控制型世界视频生成质量评估基准CamWorldQA，并提出含三分支的无参考评估网络CWQA，实验显示其性能优于现有方法。
2026-08-20 cs.CV
Hybrid Image Resolution Quality Metric (HIRQM):A Comprehensive Perceptual Image Quality Assessment Framework
Indian Institute of Information Technology–Manipur（印度信息技术学院—曼ipur）
本文提出混合图像分辨率质量度量 HIRQM，融合统计、多尺度和 VGG16 深度特征，并通过动态加权机制提升感知对齐，在 TID2013 和 LIVE 上取得优于传统度量的相关性能。
2025-05-04 cs.CV eess.IV
PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing
Technical University of Munich（慕尼黑技术大学）
提出PercHead方法，通过基于DINOv2和SAM2.1的感知监督策略及Gaussian Splatting渲染，实现高质量的单图像3D头部重建，并支持通过分割图和文本或图像提示进行直观的语义3D编辑。
2025-11-04 cs.CV
Perceptual Depth Quality Assessment of Stereoscopic Omnidirectional Images
School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系）
针对立体全向图像深度质量评估研究匮乏的问题，提出基于人类视觉系统特性的无参考深度质量指数DQI，其性能优于现有方法，且结合现有图像质量评估方法可提升3D全向图像整体质量预测效果。
2024-08-19 cs.CV cs.MM eess.IV
Perceptual representations of structural information in images: application to quality assessment of synthesized view in FTV scenario
University of Nantes（南特大学）；Tencent（腾讯）
随着自由视点电视（FTV）等沉浸式多媒体技术以惊人的速度发展，用户对高质量沉浸式内容的需求急剧增加。与传统的均匀伪影不同，沉浸式内容内的失真可能是非均匀结构相关的，因此对于常用的质量度量是具有挑战性的。最近的研究表明，视觉特征的表示可以从多个层次中提取。受人类视觉系统（HVS）中的分层表征机制的启发，本文尝试采用结构化表征来定量度量FTV场景中结构相关失真对感知质量的影响。更具体地，基于1）低级轮廓描述符; 2）中级轮廓类别描述符;和3）面向任务的非自然结构描述符，提出了生物启发的全参考图像质量度量。实验结果表明，该模型明显优于国家的最先进的度量。
2019-07-08 cs.CV eess.IV
Hierarchical Semantic Perceptual Listener Head Video Generation: A High-performance Pipeline
Du Xiaoman Financial（度小满金融）；Shanghai Jiao Tong University（上海交通大学）
针对二元互动中倾听者响应式头部视频生成任务，研究团队基于ViCo基线优化音频编码器、解码器等模块，提出高性能分层语义感知生成方案，在相关挑战赛倾听头部生成赛道官方排行榜夺冠。
2023-07-19 cs.CV cs.MM
Perceptual Image Quality Assessment through Spectral Analysis of Error Representations
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们分析了误差信号的统计来评估图像的感知质量。具体来说，我们专注于从参考和失真图像的差异获得的误差图像的幅度谱。分析灰度图像上的光谱统计部分地模拟了视觉系统所表现出的空间谐波失真中的干扰，但它忽略了视觉系统的颜色信息、选择性和层次性。为了克服这些缺点，我们介绍了一种基于多尺度和多通道误差表示的谱理解的图像质量评估算法，表示为SUMMER。我们验证了质量评估性能超过3个数据库，约30失真类型。这些失真类型分为7个主要类别，压缩伪影，图像噪声，颜色伪影，通信错误，模糊，全局和局部失真。总的来说，我们使用5个性能指标来衡量线性度，单调性，准确性和一致性，对17种算法以及所提出的算法的性能进行了基准测试。除了标准的性能指标的实验，我们分析了分布的客观和主观的分数与直方图差异度量和散点图。此外，我们分析了质量评估算法的分类性能，以及它们的统计显著性检验。基于我们的实验，SUMMER在所有基准类别中的性能都明显优于大多数比较方法
2018-11-13 cs.CV eess.IV
MPJudge: Towards Perceptual Assessment of Music-Induced Paintings
MPJudge通过调制融合机制和直接偏好优化，提升音乐诱导绘画的感知评估精度。
2026-01-03 cs.CV
PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
图像质量评价是图像恢复算法快速发展的关键。基于生成对抗网络（GANs）的最新IR方法在视觉性能上取得了显着的改善，但也提出了定量评估的巨大挑战。值得注意的是，我们观察到感知质量和评估结果之间越来越不一致。然后我们提出两个问题：（1）现有的IQA方法能否客观地评价最近的IR算法？(2)当专注于击败当前的基准时，我们是否得到了更好的IR算法？为了回答这些问题，促进IQA方法的发展，我们提供了一个大规模的IQA数据集，称为感知图像处理算法（PIPAL）数据集。特别是，该数据集包括基于GAN的方法的结果，这些结果在以前的数据集中缺失。我们收集了超过113万个人类判断，使用更可靠的“Elo系统”为PIPAL图像分配主观评分。基于PIPAL，我们提出了新的基准IQA和超分辨率方法。我们的研究结果表明，现有的IQA方法不能公平地评估基于GAN的IR算法。虽然使用适当的评估方法是重要的，IQA方法也应该随着IR算法的发展而更新。最后，我们通过引入抗混叠池来提高IQA网络对基于GAN的失真的性能。实验证明了该方法的有效性。
2020-09-26 cs.CV eess.IV
Perceptual Quality Assessment of UGC Gaming Videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc（谷歌公司）
近年来，随着电子游戏行业的蓬勃发展，游戏视频在YouTube等主要视频网站上的比例急剧增加。然而，对游戏视频的自动质量预测的研究相对较少，特别是那些属于“用户生成内容”（UGC）类别的视频。由于目前领先的通用视频质量评估（VQA）模型在这类游戏视频上表现不佳，我们创建了一个新的VQA模型，专门用于UGC游戏视频，我们称之为游戏视频质量预测器（GAME-VQP）。GAME-VQP通过利用在修改的自然场景统计模型下设计的特征，结合卷积神经网络学习的游戏特定特征，成功预测了游戏视频的独特统计特征。我们研究了GAME-VQP在一个最近的大型UGC游戏视频数据库LIVE-YT-Gaming上的性能，发现它既优于其他主流的通用VQA模型，也优于专门为游戏视频设计的VQA模型。新模型将在论文被接受后公布。
2022-04-13 cs.CV eess.IV
The Unanticipated Asymmetry Between Perceptual Optimization and Assessment
Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）；Beihang University（北航）；The Hong Kong Polytechnic University（香港理工大学）；City University of Hong Kong（香港城市大学）
本文系统分析发现感知优化与图像质量评估之间存在非对称性：IQA中优秀的保真度指标未必利于优化，且判别器设计（补丁级/卷积优于普通/Transformer）对细节重建起关键作用。
2025-09-25 cs.CV
ScenePercept: Scenario-Conditioned Perceptual Assessment of Real-World User-Generated Content Images
Beijing University of Posts and Telecommunications（北京邮电大学）；Amap, Alibaba Group（阿里巴巴集团高德地图）；Minzu University of China（中央民族大学）
针对现有UGC图像感知基准无法适配场景多样性的问题，本文构建了ScenePercept-Bench基准，并提出SCPA框架，实现了UGC图像感知的最优性能及跨基准的有效泛化。
2026-10-27 cs.CV
Perceptual Constancy Constrained Single Opinion Score Calibration for Image Quality Assessment
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
本文提出感知恒常性约束校准（PC3）方法，通过自监督质量感知表示和可学习相对质量度量，从单一直观评分高效估计平均直观评分，显著提升仅有SOS时的图像质量评估模型学习效果。
2024-04-30 cs.CV eess.IV
CSV: Image Quality Assessment Based on Color, Structure, and Visual System
Center for Signal and Information Processing（信号与信息处理中心）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于颜色、结构和视觉系统特征的全参考图像质量估计器，称为CSV。与大多数现有方法相比，我们量化了感知颜色退化，而不是绝对的像素变化。我们使用CIEDE2000色差公式来量化低水平的颜色退化和颜色名称描述符之间的地球移动器的距离来测量显着的颜色退化。除了感知颜色差异，CSV还包含结构和感知差异。结构特征图通过均值减法和除法归一化获得，感知特征图从视网膜神经节细胞的对比敏感度公式获得。在LIVE、Multiply Distorted LIVE和TID 2013数据库上对所提出的质量估计器CSV进行了测试，并且在至少排名、单调行为或线性方面，它始终是性能最好的两个质量估计器之一。
2018-11-13 cs.CV eess.IV
Evaluating Vision-Language Models for Image Quality Assessment using Psychophysical Data
School of Engineering, University of Galway（Galway大学工程学院）；State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光信息获取国家重点实验室）
本文研究视觉语言模型是否能近似人类对图像质量的感知判断，通过对比心理物理数据，发现模型在颜色丰富度上表现优异，但在对比度上表现较差，且模型一致性与人类对齐性存在矛盾。
2026-09-09 cs.CV eess.IV
AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文构建了首个大规模AI生成全向图像质量评估数据库AIGCOIQA2024，通过主观实验从质量、舒适度和对应性三方面评估人类偏好，并基准测试现有IQA模型性能。
2024-04-01 cs.CV eess.IV
Perceptual Video Quality Assessment: A Survey
Shanghai Jiao Tong University（上海交通大学）
本文综述了感知视频质量评估领域，涵盖主观与客观方法、通用及特定应用（如流媒体、UGC、VR/AR等），并比较了最新技术的性能，为研究者提供系统参考。
2024-02-05 cs.CV cs.MM eess.IV
Spatial Attention-based Non-reference Perceptual Quality Prediction Network for Omnidirectional Images
Beihang University（北京航空航天大学）
由于视觉注意和感知质量之间的强相关性，许多方法试图使用人类显著性信息来进行图像质量评估。虽然这种机制可以获得良好的性能，但网络需要人类显著性标签，这对于全向图像（ODI）来说并不容易获得。为了缓解这个问题，我们提出了一个基于空间注意力的感知质量预测网络ODI（SAP网）的非参考质量评估。为了驱动SAP网络，我们建立了一个大规模的ODI IQA数据集（IQA-ODI），该数据集由200名受试者对1，080个ODI的主观评分组成。在IQA-ODI中，有120个高质量的ODI作为参考，960个ODI在JPEG压缩和地图投影中都有损伤。在没有任何人类显著性标签的情况下，我们的网络可以通过自我注意的方式自适应地估计受损ODI上的人类感知质量，这显著地提高了质量分数的预测性能。此外，我们的方法大大降低了计算复杂性的质量评估任务上的ODI。大量的实验验证了我们的网络优于9个国家的最先进的方法对ODI的质量评估。数据集和代码已在\url{ https://github.com/yanglixiaoshen/SAP-Net}上提供。
2021-03-10 cs.CV cs.MM eess.IV
Image Quality Assessment: Investigating Causal Perceptual Effects with Abductive Counterfactual Inference
针对现有 FR-IQA 方法无法捕捉感知因果机制的问题，提出基于溯因反事实推理的方法，结合因果推理与特征比较构建模型，在多个基准上实现了具竞争力的质量预测并提升了可解释性。
2024-12-22 cs.CV
Deep Ensembling for Perceptual Image Quality Assessment
University of Engineering and Technology, Lahore（拉合尔工程技术大学）
针对盲图像质量评估中参考信息缺失和数据不足的问题，提出包含两个CNN子单元的深度集成架构，并构建BIQ2021自然失真数据库，通过大规模预训练和基准重训练在六个数据库上验证了其优越的泛化性能和相关性表现。
2023-05-16 cs.CV eess.IV
Multidimensional Observer Model and Perceptual Dimensions of Human Image Quality Assessment
University of Rochester（罗切斯特大学）
本文提出多维观察者模型，将图像表示为潜在感知空间分布，以理解人类图像质量判断，发现感知空间维度极低且结构随任务变化。
2026-10-01 cs.CV
Image Quality Assessment for Perceptual Image Restoration: A New Dataset, Benchmark and Metric
The University of Sydney（悉尼大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
图像质量评价是图像恢复算法快速发展的关键。基于生成对抗网络（GANs）的感知IR算法在视觉性能上有了显著的提高，但也给定量评估带来了很大的挑战。值得注意的是，我们观察到感知质量和评估结果之间越来越不一致。我们提出了两个问题：现有的IQA方法可以客观地评估最近的IR算法？随着专注于击败当前的基准，我们是否正在获得更好的IR算法？为了回答这些问题，促进IQA方法的发展，我们提供了一个大规模的IQA数据集，称为感知图像处理ALtaxms（PIPAL）数据集。特别是，该数据集包括基于GAN的IR算法的结果，这些结果在以前的数据集中缺失。我们收集了超过113万个人类判断，使用更可靠的Elo系统为PIPAL图像分配主观评分。基于PIPAL，我们提出了新的基准IQA和SR方法。我们的研究结果表明，现有的IQA方法不能公平地评估基于GAN的IR算法。虽然使用适当的评估方法是重要的，IQA方法也应该随着IR算法的发展而更新。最后，我们阐明了如何提高基于GAN的失真的IQA性能。受发现现有IQA方法对基于GAN的失真的性能不令人满意的启发，部分原因是它们对空间未对准的容忍度低，我们建议通过明确考虑这种未对准来提高IQA网络对基于GAN的失真的性能。我们提出了空间扭曲差分网络，它包括新的l_2池层和空间扭曲差分层。实验证明了该方法的有效性。
2020-11-30 cs.CV eess.IV
Exploring Semantic Feature Discrimination for Perceptual Image Super-Resolution and Opinion-Unaware No-Reference Image Quality Assessment
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）
针对GAN超分辨率缺乏语义判别的问题，提出语义特征判别方法SFD，通过特征判别器和文本引导判别增强纹理生成，并衍生出无参考图像质量评估方法SFD-IQA，实验验证有效。
2025-03-25 cs.CV eess.IV
Perceptual Quality Assessment of Omnidirectional Images as Moving Camera Videos
Jiangxi University of Finance and Economics（江西财经大学）；City University of Hong Kong（香港城市大学）
全向图像（也称为静态360 °全景）施加的观看条件与常规2D图像的观看条件大不相同。人类如何感知沉浸式虚拟现实环境中的图像失真是一个重要的问题，但很少受到关注。我们认为，除了扭曲的全景本身，两种类型的VR观看条件是至关重要的，在决定用户的观看行为和感知质量的全景：起点和探索时间。我们首先进行了一个心理物理实验，以调查VR观看条件，用户观看行为和360 °图像感知质量之间的相互作用。然后，我们对收集的人类数据进行了全面分析，得出了几个有趣的发现。此外，我们提出了一个计算框架的客观质量评估的360 °图像，体现在一个愉快的方式观看条件和行为。具体来说，我们首先将一个全向图像转换为几个视频表示使用不同的用户观看行为在不同的观看条件下。然后，我们利用先进的2D全参考视频质量模型来计算感知质量。我们在建议的框架内构建了一套具体的质量指标，并在三个VR质量数据库上展示了它们的承诺。
2021-01-05 cs.CV eess.IV
PerSIM: Multi-resolution Image Quality Assessment in the Perceptually Uniform Color Domain
Georgia Institute of Technology（佐治亚理工学院）
一个普通的观察者感知世界的颜色，而不是黑色和白色。此外，视觉系统关注的是结构和片段，而不是单个像素。基于这些观察，我们提出了一个完整的参考客观图像质量度量建模视觉系统的特性和色度相似性在感知均匀的颜色域（Lab）。在L通道中获得高斯拉普拉斯特征以模拟人类视觉系统中的视网膜神经节细胞，并且在a和b通道上计算颜色相似性。在所提出的感知相似性指数（PerSIM），多分辨率的方法来模仿人类视觉系统的分层性质。在验证中使用了LIVE和TID 2013数据库，PerSIM在排名、单调行为和线性方面优于整个数据库中的所有比较指标。
2018-11-18 cs.CV cs.MM eess.IV
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research（商汤科技研究院）；Tetras AI
随着非专业人员拍摄的野外视频的快速增长，盲视频质量评估（VQA）已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题，但仍然不清楚人类视觉系统（HVS）如何与视频的时间质量相关。同时，最近的工作已经发现，自然视频的帧被转换到HVS的感知域，往往会形成一个直线轨迹的表示。与所获得的洞察，失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示，我们提出了一个时间感知质量指数（TPQI）来衡量时间失真描述的图形形态的表示。具体来说，我们首先提取视频感知表示从外侧膝状体核（LGN）和初级视觉区（V1）的HVS，然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明，HVS中的感知表示是预测主观时间质量的有效方法，因此TPQI可以首次实现与空间质量度量相当的性能，并且在评估具有较大时间变化的视频时更加有效。我们进一步证明，通过结合NIQE，一个空间质量度量，TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是，TPQI不需要任何额外的信息，因此可以应用于任何数据集，而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
PEA265: Perceptual Assessment of Video Compression Artifacts
Fuzhou University（福州大学）；University of Waterloo（滑铁卢大学）
构建了首个包含H.265/HEVC压缩视频的大规模主观标注PEA265数据库，涵盖6种时空可感知编码伪影，并利用CNN（如ResNeXt）实现高精度客观识别与量化，推动视频质量评估与编码器发展。
2019-03-01 cs.CV eess.IV
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University（麦克马斯特大学）；Sharif University of Technology（谢里夫理工大学）
最近，深度卷积神经网络（DCNN）利用对抗训练框架进行图像复原和增强，显著提高了处理后图像的清晰度。令人惊讶的是，尽管这些DCNN在视觉上比其他方法产生更清晰的图像，但当采用流行的措施来评估它们时，它们可能会得到较低的质量分数。因此，有必要制定一个定量指标来反映他们的表现，这是很好地与图像的感知质量对齐。著名的定量指标，如峰值信噪比（PSNR），结构相似性指数测度（SSIM）和感知指数（PI）与图像的平均意见评分（MOS）没有很好的相关性，特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络，它是对传统的连体网络结构的扩展，称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制，以提高我们的方法的性能。最后，我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失，以增加斯皮尔曼的排名相关系数，而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Fine-grained Image Quality Assessment for Perceptual Image Restoration
本文提出细粒度图像质量评估数据集FGRestore，用于改进图像恢复任务中的质量评估，提出FGResQ模型在细粒度质量评估中表现优异。
2026-03-31 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of Virtual Reality Videos in the Wild
City University of Hong Kong（香港城市大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Jiangxi University of Finance and Economics（江西财经大学）；Bytedance Inc.（字节跳动公司）；National University of Defense Technology（国防科技大学）
本研究构建了包含502个用户生成视频的VRVQW数据库，通过心理学物理实验分析观看条件影响，并提出基于伪圆柱表示和卷积的客观质量评估模型，优于现有方法。
2024-03-15 cs.CV eess.IV
Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation
Jiangxi University of Finance and Economics（江西财经大学）；City University of Hong Kong（香港城市大学）；University of Waterloo（滑铁卢大学）
针对360°图像质量评估忽视观看行为多样性的问题，提出生成式扫描路径表示（GSR）与计算框架，通过聚合多假设用户的动态视觉注视，有效提升了不同观看条件下局部失真图像质量预测与人类感知的一致性。
2023-09-07 cs.CV eess.IV
Multitask Auxiliary Network for Perceptual Quality Assessment of Non-Uniformly Distorted Omnidirectional Images
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算与人工智能学院）；Jiangxi Provincial Key Laboratory of Multimedia Intelligent Processing（江西省多媒体智能处理重点实验室）；Harvard Medical School, Harvard University（哈佛大学医学院）
针对非均匀失真全景图像质量评估，提出多任务辅助网络，通过联合训练主任务与辅助任务捕捉局部失真和全局质量变化，在两个大规模数据库上优于现有方法。
2025-01-20 cs.CV eess.IV
A new Image Similarity Metric for a Perceptual and Transparent Geometric and Chromatic Assessment
Institute for High-Performance Computing and Networking (ICAR) - National Research Council (CNR)（高性能计算与网络研究所（ICAR）- 国家研究理事会（CNR））；University of Naples Federico II（那不勒斯费德里科二世大学）；University of Naples Parthenope（那不勒斯帕尔泰诺大学）
本文提出了一种结合纹理和色彩差异的新型图像相似性度量方法，通过Earth Mover's Distance和Oklab色彩空间提升感知评估的透明性和准确性。
2026-01-27 cs.CV
RBFIM: Perceptual Quality Assessment for Compressed Point Clouds Using Radial Basis Function Interpolation
School of Electronics and Information, Northwestern Polytechnical University（电子与信息学院，西北工业大学）；School of Engineering, Royal Melbourne Institute of Technology（工程学院，皇家墨尔本理工学院）；Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学）；School of Telecommunication Engineering, Xidian University（电信工程学院，西安电子科技大学）
RBFIM通过径向基函数插值提升压缩点云的感知质量评估，有效解决点云对应问题，为PCC优化提供支持。
2025-03-18 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of Omnidirectional Images
Shanghai Jiao Tong University（上海交通大学）
全方位的图像和视频可以在虚拟现实（VR）环境中提供真实世界场景的沉浸式体验。我们提出了一个感知全方位图像质量评估（IQA）的研究在本文中，因为它是非常重要的VR环境下提供一个良好的体验质量。我们首先建立了一个全方位IQA（OIQA）数据库，其中包括16幅源图像和320幅失真图像，这些失真图像分别采用JPEG压缩、JPEG2000压缩、高斯模糊和高斯噪声4种常见的失真方式进行降质。在此基础上，对OIQA数据库在VR环境下的主观质量评价进行了研究。考虑到人类在VR环境中只能在一次移动中看到场景的一部分，视觉注意力变得非常重要。因此，我们也跟踪头部和眼睛的运动数据在质量评级实验。原始和失真的全向图像、主观质量评级以及头部和眼睛运动数据一起构成OIQA数据库。最先进的全参考（FR）的IQA措施进行了测试的OIQA数据库，并提出了一些新的观察不同于传统的IQA。
2022-07-06 cs.CV
