Full-Reference Calibration-Free Image Quality Assessment
University of Rome “La Sapienza”(罗马大学(智慧大学))
客观图像质量评估(IQA)方法的一个主要问题是它们的质量估计相对于由人类受试者表达的分数缺乏线性。出于这个原因,通常IQA指标经历基于主观质量示例的校准过程。然而,基于示例的训练使得泛化成为问题,阻碍了不同应用和操作条件之间的结果比较。在本文中,新的全参考(FR)技术,提供估计线性相关的人的分数,而不使用校准。为了达到这一目标,这些技术深深植根于原则和理论约束。限制对自然图像集的IQA的兴趣,首先认识到将估计理论和心理物理原理应用于由高斯模糊退化的图像导致所谓的规范IQA方法,其估计不仅与主观分数高度线性相关,而且与观看距离(VD)直接相关。然后,它表明,主流的IQA方法可以重新进行的规范方法应用一个初步的度量转换的基础上,一个独特的样本图像。该方案的应用,然后扩展到一个显着的一类退化图像以外的高斯模糊,包括噪声和压缩图像。由此产生的免校准FR IQA方法适用于不同成像系统和不同VD之间的可比性和互操作性是主要要求的应用。最后,他们的统计性能与一些传统的校准倾向的方法进行比较。
2022-05-24 cs.CV eess.IV
Norm-in-Norm Loss with Faster Convergence and Better Performance for Image Quality Assessment
Peking University(北京大学)
目前,大多数图像质量评估(IQA)模型是监督的MAE或MSE损失与经验缓慢收敛。众所周知,归一化可以促进快速收敛。因此,我们探索归一化损失函数的设计IQA。具体来说,我们首先将预测的质量分数和相应的主观质量分数归一化。然后,根据这些标准化值之间的差异的范数来定义损失。由此产生的“标准中的标准”损失鼓励IQA模型对主观质量分数进行线性预测。在训练之后,应用最小二乘回归来确定从预测质量到主观质量的线性映射。结果表明,新的损失是密切相关的两个常见的IQA性能标准(PLCC和RMSE)。通过理论分析,证明了嵌入归一化使损失函数的梯度更稳定、更可预测,有利于IQA模型更快收敛。此外,为了实验验证所提出的损失的有效性,它被应用到解决一个具有挑战性的问题:在野外图像的质量评估。在两个相关数据集(KonIQ-10 k和CLIVE)上的实验表明,与MAE或MSE损失相比,新的损失使IQA模型的收敛速度提高了约10倍,最终模型获得了更好的性能。该模型还实现了最先进的预测性能在这个具有挑战性的问题。对于可重复的科学研究,我们的代码可在https://github.com/lidq92/LinearityIQA上公开获取。
2020-08-10 cs.CV cs.MM eess.IV
Subjective and Objective Quality Assessment for in-the-Wild Computer Graphics Images
Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学)
本文构建了包含6000张真实场景CGIs的CGIQA-6k数据库,并提出一种结合失真与美学表示的无参考深度IQA模型,在CGIQA任务上取得最优性能。
2023-11-01 cs.CV eess.IV
Comparison of Image Quality Models for Optimization of Image Processing Systems
City University of Hong Kong(香港城市大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所);New York University(纽约大学)
客观图像质量评估(IQA)模型的性能主要通过比较模型预测人类的质量判断进行评估。为此目的收集的感知数据集为改进IQA方法提供了有用的基准,但它们的大量使用会产生过度拟合的风险。在这里,我们进行了大规模的比较IQA模型在他们的使用作为目标的图像处理算法的优化。具体来说,我们使用11个完全参考的IQA模型来训练深度神经网络,以完成四个低级视觉任务:去噪、去模糊、超分辨率和压缩。主观测试的优化图像,使我们能够排名的竞争模型的感知性能,阐明他们在这些任务中的相对优势和劣势,并提出了一套理想的属性纳入未来的IQA模型。
2020-12-08 cs.CV eess.IV
Deep Neural Networks for Blind Image Quality Assessment: Addressing the Data Challenge
University of Waterloo(滑铁卢大学)
自然图像的巨大空间和多样性通常由几个小规模的人工图像质量评估(IQA)数据集来表示。这给基于深度神经网络(DNN)的盲IQA(BIQA)带来了巨大的挑战,BIQA需要代表自然图像分布的大规模训练数据。由于主观测试的限制,很难创建由数百万张图像组成的人工评级IQA数据集。虽然许多努力都集中在设计创新上,以提高基于DNN的BIQA的性能,但解决标记IQA数据稀缺的尝试仍然令人惊讶地缺失。为了解决这一数据挑战,我们构建了迄今为止最大的IQA数据库,即Waterloo Exploration-II,其中包含3,570个原始参考和大约345万张单次和多次失真图像。由于对如此大的数据集进行主观测试几乎是不可能的,我们开发了一种新的机制,该机制将感知质量标签综合分配给失真图像。我们构建了一个名为EONSS的基于DNN的BIQA模型,在Waterloo Exploration-II上对其进行训练,并在9个主题评级的IQA数据集上对其进行测试,无需任何重新训练或微调。结果表明,通过简单的DNN架构,EONSS能够在质量预测性能和执行速度方面超越BIQA中最先进的技术。这项研究强烈支持这样一种观点,即有意义的注释训练数据的数量和质量,而不是复杂的网络架构或训练策略,是决定基于DNN的BIQA模型性能的主要因素。(Note:由于这是一个正在进行的项目,Waterloo Exploration-II数据库…
2021-09-24 cs.CV eess.IV
VR IQA NET: Deep Virtual Reality Image Quality Assessment using Adversarial Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的虚拟现实图像质量评估(VR IQA)与对抗学习的全向图像。考虑到全向图像的特点,我们设计了深度网络,包括新的质量分数预测器和人类感知引导器。提出的质量分数预测器自动预测失真图像的质量分数使用潜在的空间和位置特征。所提出的人类感知引导器使用对抗性学习用人类感知得分来批评预测器的预测质量得分。为了评估,我们进行了广泛的主观实验与全向图像数据集。实验结果表明,所提出的VR IQA指标优于2-D IQA和最先进的VR IQA。
2018-04-11 cs.CV
TRIQA: Image Quality Assessment by Contrastive Pretraining on Ordered Distortion Triplets
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony Interactive Entertainment(索尼互动娱乐)
本文提出TRIQA方法,通过有限参考图像构建有序失真三元组数据集,并以对比学习训练融合内容与质量特征的无参考IQA模型,实现少样本高效训练和强泛化性能。
2025-07-16 cs.CV eess.IV
Black-box Adversarial Attacks Against Image Quality Assessment Models
Guangzhou University(广州大学)
本文首次研究针对NR-IQA模型的黑盒对抗攻击,通过最大化原始与扰动图像质量分数偏差并设计双向损失函数,提出高效攻击方法,实验证明各模型均存在脆弱性且扰动不可迁移。
2024-02-28 cs.CV eess.IV
Subjective Annotation for a Frame Interpolation Benchmark using Artefact Amplification
University of Konstanz(康斯坦茨大学);University of Stuttgart(斯图加特大学)
用于光流算法的当前基准通过将预测流场与地面实况进行比较来直接评估估计,或者通过将预测流场用于帧内插并且然后将内插帧与实际帧进行比较来间接评估估计。在后一种情况下,通常采用诸如均方误差之类的客观质量度量。然而,众所周知,对于图像质量评估,用户所体验的实际质量不能从这样的简单测量中完全推断出来。因此,我们进行了一个主观质量评估crowdsourcing研究的光流基准之一,米德尔伯里基准提供的内插帧。我们收集了内插图像和相应的地面实况之间的强制选择配对比较。为了提高观察者在判断配对比较中微小差异时的灵敏度,我们在全参考品质量评估领域引入了一种新方法,称为伪影放大。从众包数据中,我们根据Thurstone模型重建了绝对质量量表值。结果,我们对155个参与算法进行了重新排名内插帧的视觉质量。这种重新排序不仅显示了视觉质量评估作为光流和帧插值基准的另一个评价指标的必要性,结果还提供了地面真理设计新的图像质量评估(IQA)方法,致力于感知质量的插值图像。作为第一步,我们提出了这样一种新的全参考方法,称为WAE-IQA。通过权衡插值图像与其地面实况之间的局部差异,WAE-IQA的表现略好于文献中目前最好的FR-IQA方法。
2020-04-28 cs.CV
A Shift-insensitive Full Reference Image Quality Assessment Model Based on Quadratic Sum of Gradient Magnitude and LOG signals
图像质量评价是对图像主观质量的评价,建立模型来评价图像在不同应用中的感知质量。基于人类视觉系统(HVS)对结构信息高度敏感的特性,边缘信息提取在各种图像质量评价指标中得到了广泛的应用。根据以往的研究,图像梯度幅度(GM)和高斯拉普拉斯算子(LLS)是两个有效的结构特征在IQA任务。然而,大多数IQA指标只有在失真图像与参考图像完全配准时才能达到良好的性能,而在具有小平移的图像上则无法执行。在本文中,我们提出了一个FR-IQA模型的GM和的二次和的信号,它获得了良好的性能,在图像质量估计考虑平移不敏感属性的参考和失真图像对。实验结果表明,该模型在3个包含多种失真类型和失真程度的大规模主观IQA数据库上均具有较好的鲁棒性,无论是对单一失真类型还是对整个数据库,都能保持现有FR-IQA模型的稳定性。此外,我们验证了所提出的度量表现出更好的平移不敏感的属性相比,CW-SSIM度量,被认为是平移不敏感的IQA到目前为止。同时,该模型比CW-SSIM模型简单,易于应用。
2020-12-21 cs.CV eess.IV
PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);SenseTime Research(商汤科技研究院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
图像质量评价是图像恢复算法快速发展的关键。基于生成对抗网络(GANs)的最新IR方法在视觉性能上取得了显着的改善,但也提出了定量评估的巨大挑战。值得注意的是,我们观察到感知质量和评估结果之间越来越不一致。然后我们提出两个问题:(1)现有的IQA方法能否客观地评价最近的IR算法?(2)当专注于击败当前的基准时,我们是否得到了更好的IR算法?为了回答这些问题,促进IQA方法的发展,我们提供了一个大规模的IQA数据集,称为感知图像处理算法(PIPAL)数据集。特别是,该数据集包括基于GAN的方法的结果,这些结果在以前的数据集中缺失。我们收集了超过113万个人类判断,使用更可靠的“Elo系统”为PIPAL图像分配主观评分。基于PIPAL,我们提出了新的基准IQA和超分辨率方法。我们的研究结果表明,现有的IQA方法不能公平地评估基于GAN的IR算法。虽然使用适当的评估方法是重要的,IQA方法也应该随着IR算法的发展而更新。最后,我们通过引入抗混叠池来提高IQA网络对基于GAN的失真的性能。实验证明了该方法的有效性。
2020-09-26 cs.CV eess.IV
Perceptual Quality Assessment of Omnidirectional Images
Shanghai Jiao Tong University(上海交通大学)
全方位的图像和视频可以在虚拟现实(VR)环境中提供真实世界场景的沉浸式体验。我们提出了一个感知全方位图像质量评估(IQA)的研究在本文中,因为它是非常重要的VR环境下提供一个良好的体验质量。我们首先建立了一个全方位IQA(OIQA)数据库,其中包括16幅源图像和320幅失真图像,这些失真图像分别采用JPEG压缩、JPEG2000压缩、高斯模糊和高斯噪声4种常见的失真方式进行降质。在此基础上,对OIQA数据库在VR环境下的主观质量评价进行了研究。考虑到人类在VR环境中只能在一次移动中看到场景的一部分,视觉注意力变得非常重要。因此,我们也跟踪头部和眼睛的运动数据在质量评级实验。原始和失真的全向图像、主观质量评级以及头部和眼睛运动数据一起构成OIQA数据库。最先进的全参考(FR)的IQA措施进行了测试的OIQA数据库,并提出了一些新的观察不同于传统的IQA。
2022-07-06 cs.CV
MD-IQA: Learning Multi-scale Distributed Image Quality Assessment with Semi Supervised Learning for Low Dose CT
Subtle Medical(深睿医疗);Fudan University(复旦大学);East China Normal University(华东师范大学);Shanghai Sixth People's Hospital(上海市第六人民医院)
提出MD-IQA方法,结合多尺度分布回归、双分支对齐网络和半监督学习,提升低剂量CT图像质量评估的泛化性和准确性。
2023-11-14 cs.CV cs.LG eess.IV
No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning
Carnegie Mellon University(卡内基梅隆大学)
盲或无参考图像质量评估(NR-IQA)是一个基本的,未解决的,但由于参考图像的不可用性具有挑战性的问题。它对每天影响数十亿观众的流媒体和社交媒体行业至关重要。虽然以前的NR-IQA方法利用不同的特征提取方法,性能瓶颈仍然存在。在本文中,我们提出了一个简单而有效的通用无参考(NR)图像质量评估(IQA)框架的基础上多任务学习。我们的模型采用失真类型以及主观人类分数来预测图像质量。我们提出了一种特征融合的方法,利用失真信息,以提高质量分数估计任务。在我们的实验中,我们证明,通过利用多任务学习和我们提出的特征融合方法,我们的模型产生更好的性能为NR-IQA任务。为了证明我们的方法的有效性,我们在七个标准数据集上测试了我们的方法,并表明我们在各种数据集上获得了最先进的结果。
2020-06-06 cs.CV eess.IV
KonX: Cross-Resolution Image Quality Assessment
University of Konstanz(康斯坦茨大学);Northwestern Polytechnical University(西北工业大学)
尺度不变性是计算机视觉许多子领域的一个公开问题。例如,对象标签应该在不同尺度上保持不变,但模型预测在许多情况下会出现分歧。这个问题在地面实况标签随着呈现尺度而变化的任务中变得更加困难。在图像质量评估(IQA)中,下采样衰减损伤,例如,模糊或压缩伪影,这可能会对主观研究中产生的印象产生积极影响。为了准确地预测感知图像质量,交叉分辨率IQA方法因此必须考虑由模型不足引起的分辨率相关误差以及地面真值中的感知标签偏移。我们提出了第一个研究,解开和检查这两个问题分别通过KonX,一个新颖的,精心制作的跨分辨率IQA数据库。本文的主要贡献如下:1.通过KonX,我们提供了由呈现分辨率变化引起的标签偏移的经验证据。2.我们发现,客观的IQA方法有一个规模的偏见,这降低了他们的预测性能。3.我们提出了一种多尺度和多列DNN架构,该架构与先前最先进的IQA模型(包括最近的Transformers)相比提高了性能。因此,我们提出并解决了一个新的研究问题,在图像质量评估。
2022-12-12 cs.CV eess.IV
Causal Perception Inspired Representation Learning for Trustworthy Image Quality Assessment
University of Electronic Science and Technology of China(电子科技大学)
本文提出因果感知启发的表示学习CPRL,通过分离因果感知表示与非因果感知表示并利用软排序通道激活和极小极大博弈优化,构建兼具高精度与高鲁棒性的可信图像质量评价模型。
2024-04-30 cs.CV eess.IV
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
无参考图像质量评价(NR-IQA)的目标是根据主观评价来估计图像的感知质量,由于缺乏原始参考图像,这是一个复杂且尚未解决的问题。在本文中,我们提出了一种新的模型来解决NR-IQA任务,利用混合方法,受益于卷积神经网络(CNN)和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息,然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示,我们在提取的特征上使用Transformers,将其建模为Transformer模型的顺序输入。此外,为了改善主观和客观分数之间的单调性相关性,我们利用每批图像之间的相对距离信息,并执行它们之间的相对排名。最后但并非最不重要的是,我们观察到,当我们对输入应用等变变换(例如水平翻转)时,NR-IQA模型的性能会下降。因此,我们提出了一种方法,利用自我一致性作为自我监督的来源,以提高NRIQA模型的鲁棒性。具体来说,我们对每个图像的质量评估模型的输出及其转换(水平翻转)之间进行自我一致性,以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性,我们在七个标准IQA数据集(合成和真实)上进行了评估,并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
Image Quality Assessment for Perceptual Image Restoration: A New Dataset, Benchmark and Metric
The University of Sydney(悉尼大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);SenseTime Research(商汤科技研究院);Shanghai Jiao Tong University(上海交通大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院)
图像质量评价是图像恢复算法快速发展的关键。基于生成对抗网络(GANs)的感知IR算法在视觉性能上有了显著的提高,但也给定量评估带来了很大的挑战。值得注意的是,我们观察到感知质量和评估结果之间越来越不一致。我们提出了两个问题:现有的IQA方法可以客观地评估最近的IR算法?随着专注于击败当前的基准,我们是否正在获得更好的IR算法?为了回答这些问题,促进IQA方法的发展,我们提供了一个大规模的IQA数据集,称为感知图像处理ALtaxms(PIPAL)数据集。特别是,该数据集包括基于GAN的IR算法的结果,这些结果在以前的数据集中缺失。我们收集了超过113万个人类判断,使用更可靠的Elo系统为PIPAL图像分配主观评分。基于PIPAL,我们提出了新的基准IQA和SR方法。我们的研究结果表明,现有的IQA方法不能公平地评估基于GAN的IR算法。虽然使用适当的评估方法是重要的,IQA方法也应该随着IR算法的发展而更新。最后,我们阐明了如何提高基于GAN的失真的IQA性能。受发现现有IQA方法对基于GAN的失真的性能不令人满意的启发,部分原因是它们对空间未对准的容忍度低,我们建议通过明确考虑这种未对准来提高IQA网络对基于GAN的失真的性能。我们提出了空间扭曲差分网络,它包括新的l_2池层和空间扭曲差分层。实验证明了该方法的有效性。
2020-11-30 cs.CV eess.IV
Image Quality Assessment: From Human to Machine Preference
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室);Moonshot AI(月之暗面);Nanyang Technological University(南洋理工大学)
本文首次提出面向机器视觉的图像质量评估,定义机器偏好并构建含225万标注、3万图像对的MPD,验证现有以人为中心的IQA指标难以表征机器偏好。
2025-03-13 cs.CV cs.MM eess.IV
Image Quality Assessment With Compressed Sampling
Harbin Institute of Technology(哈尔滨工业大学)
针对现有无参考图像质量评估方法处理高分辨率图像需调整尺寸的问题,提出两种结合压缩采样的NR-IQA网络,通过多模块结构实现,在多数据集上以更少数据量取得更优性能。
2024-09-11 cs.CV eess.IV
Scale Guided Hypernetwork for Blind Super-Resolution Image Quality Assessment
针对盲超分辨率图像质量评价忽略尺度信息的问题,提出尺度引导超网络框架,按内容感知、规则生成和质量预测实现尺度自适应评价,并提升多种盲IQA指标的性能与泛化能力。
2023-06-04 cs.CV eess.IV
Algorithm Selection for Image Quality Assessment
University of Adelaide(阿德莱德大学);University of Konstanz(康斯坦茨大学);University of Kent(肯特大学)
主观感知图像质量可以在实验室研究中由人类观察者评估。客观图像质量评估(IQA)是指用于估计平均主观质量评级的算法。已经提出了许多这样的方法,无论是盲IQA,其中没有原始参考图像是可用的,以及为全参考的情况下。我们比较了8个最先进的盲IQA算法,并表明,一个预言机,能够预测任何给定的输入图像的最佳性能的方法,产生一个混合的方法,甚至可以优于最好的单一现有方法的大幅度。在这方面的贡献,我们解决的研究问题是否建立的方法来学习这样一个预言可以提高盲IQA。我们应用了AutoFolio,这是一个最先进的系统,可以训练算法选择器为给定实例选择性能良好的算法。我们还训练了深度神经网络来预测最佳方法。我们的研究结果没有给出肯定的答案,算法选择并没有产生比单一最佳方法显著的改善。深入研究结果,我们观察到图像中的噪声可能在我们训练的分类器无法预测预言的原因中发挥了作用。这激发了IQA方法中对噪声的考虑,这是一种迄今为止尚未观察到的属性,它开辟了几个有趣的新研究问题和应用。
2019-08-19 cs.CV
Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对现有无参考图像质量评估方法在未知真实失真数据集上性能有限的问题,提出基于监督对比学习和Transformer的SaTQA模型,通过多流骨干网络和补丁注意力模块融合特征,在7个标准数据集上性能优于现有最优方法。
2023-12-12 cs.CV eess.IV
AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
本文构建了首个大规模AI生成全向图像质量评估数据库AIGCOIQA2024,通过主观实验从质量、舒适度和对应性三方面评估人类偏好,并基准测试现有IQA模型性能。
2024-04-01 cs.CV eess.IV
Exploring Rich Subjective Quality Information for Image Quality Assessment in the Wild
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);Peng Cheng Laboratory (PCL)(鹏城实验室);The Hong Kong Polytechnic University(香港理工大学)
本文提出 RichIQA,通过三阶段 CvT 网络与融合 MOS、SOS、DOS 的多标签训练,预测图像质量分布并提升野外 IQA 性能。
2024-09-09 cs.CV cs.MM
Regression-free Blind Image Quality Assessment with Content-Distortion Consistency
Sun Yat-sen University(中山大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Nanyang Technological University(南洋理工大学)
针对基于回归的盲图像质量评估因数据偏差导致参数估计有偏的问题,提出基于内容-失真一致性的无回归框架,利用分层k-NN算法结合语义和失真特征检索相似实例并聚合主观分数,在无需训练主观分数的情况下取得了优于SOTA的性能。
2023-10-21 cs.CV eess.IV
CDI: Blind Image Restoration Fidelity Evaluation based on Consistency with Degraded Image
针对盲图像恢复中现有全参考IQA评估不准确的问题,提出基于与退化图像一致性的CDI评估方法,包括参考引导和参考无关两种算法,并构建DISDCD数据集验证其优越性。
2025-08-08 cs.CV eess.IV
NTIRE 2021 Challenge on Perceptual Image Quality Assessment
本文报告了NTIRE 2021感知图像质量评估(IQA)挑战赛,该挑战赛与CVPR 2021的图像恢复和增强研讨会(NTIRE)新趋势研讨会一起举行。作为一种新型的图像处理技术,基于生成对抗网络(GAN)的感知图像处理算法能够产生具有更真实纹理的图像。这些输出图像具有与传统畸变完全不同的特征,这对IQA方法评价其视觉质量提出了新的挑战。与之前的IQA挑战相比,本次挑战中的训练和测试数据集包括感知图像处理算法的输出和相应的主观分数。因此,它们可以用于开发和评估基于GAN的失真的IQA方法。本次挑战赛共有270名注册参与者。在最后的测试阶段,13个参与团队提交了他们的模型和情况说明书。几乎所有的方法都取得了比现有的IQA方法更好的结果,而获胜的方法可以展示最先进的性能。
2021-06-28 cs.CV eess.IV
FS-IQA: Certified Feature Smoothing for Robust Image Quality Assessment
提出FS-IQA,一种基于特征空间随机平滑的IQA认证防御方法,通过分析雅可比矩阵奇异值连接特征与输入扰动,无需修改架构,推理时间大幅降低,相关性最高提升30.9%。
2025-08-07 cs.CV
Dog-IQA: Standard-guided Zero-shot MLLM for Mix-grained Image Quality Assessment
Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Ltd.(华为技术有限公司)
提出无需训练的零样本混合粒度图像质量评估方法 Dog-IQA,通过模仿人类专家的推理流水线结合局部与全局信息进行标准引导的客观评分,在跨数据集场景下达到SOTA性能。
2024-10-10 cs.AI cs.CV
Region-Adaptive Deformable Network for Image Quality Assessment
Tsinghua University(清华大学)
图像质量评估(IQA)旨在评估图像的感知质量。预期IQA算法的输出与人类主观感知一致。在图像复原和增强任务中,生成对抗网络(GAN)生成的图像可以获得比传统CNN生成的图像更好的视觉性能,尽管它们具有空间偏移和纹理噪声。不幸的是,现有的IQA方法对基于GAN的失真的性能不令人满意,部分原因是它们对空间未对准的容忍度低。为此,我们提出了面向参考的可变形卷积,它可以通过自适应地考虑这种不对准来提高IQA网络对基于GAN的失真的性能。我们进一步提出了一个补丁级的注意力模块,以提高不同的补丁区域之间的相互作用,这是独立地处理在以前的补丁为基础的方法。通过对经典的残差块进行修改,构造了一个基于补丁区域的基线,称为WResNet,从而提出了修改的残差块。装备这个基线与两个建议的模块,我们进一步提出了区域自适应变形网络(RADN)。在NTIRE 2021感知图像质量评估挑战赛数据集上的实验结果显示了RADN的优越性能,集成方法在挑战赛的最终测试阶段获得了第四名。代码可在https://github.com/IIGROUP/RADN上获得。
2021-04-23 cs.CV eess.IV
Terahertz Security Image Quality Assessment by No-reference Model Observers
Institute of Image Communication and Information Processing, Shanghai Jiao Tong University(上海交通大学图像通信与信息处理研究所);BOCOM Smart Network Technologies Inc.(交银智能网络技术有限公司)
为实现THz安全图像的客观质量评价(IQA),构建了包含181幅分辨率为127*380的THz安全图像的THz安全图像数据库(THSID)。首先分析了太赫兹安全图像的主要失真类型,设计了主观评价标准,获得了平均意见得分。随后,现有的无参考IQA算法,这是5个意见感知的方法,即,NFERM、GMLF、DIIVINE、BRISQUE和BLIINDS 2,以及8种不了解意见的方法,即,执行QAC、SISBLIM、NIQE、FISBLIM、CPBD、S3和Fish_bb,以评价THz安全图像质量。统计结果表明,Fish_bb优于其他测试IQA方法,用于评估THz图像质量,PLCC(SROCC)值为0.8925(-0.8706),RMSE值为0.3993。线性回归分析和Bland-Altman图进一步验证了Fish_bb可以替代主观IQA。尽管如此,对于THz安全图像的分类,我们倾向于使用S3作为THz安全图像等级的分级标准,因为将不良THz图像质量分类为可接受类别的假阳性率相对较低(24.69%)。有趣的是,由于太赫兹图像的特殊性,平均像素强度给出了最好的性能比上述复杂的IQA算法,PLCC,SROCC和RMSE分别为0.9001,-0.8800和0.3857。该研究将有助于研究人员或安全人员等用户获得高质量的太赫兹安全图像。目前,我们的研究小组正在努力使这项研究更加全面。
2017-10-03 cs.CV
Beyond Score Changes: Adversarial Attack on No-Reference Image Quality Assessment from Two Perspectives
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
针对NR-IQA模型对抗攻击忽略图像集内分数相关性的问题,提出两阶段SMA框架同时扰动排序相关性与预测误差,显著破坏SROCC并保持单图分数变化,实现多指标最优。
2024-04-24 cs.CV eess.IV
High Dynamic Range Image Quality Assessment Based on Frequency Disparity
City University of Hong Kong(香港城市大学);Tongji University(同济大学)
针对高动态范围(HDR)图像,提出了一种新的基于频率视差的图像质量评价(IQA)算法--局部-全局频率特征模型(LGFM)。基于人类视觉系统在感知视觉场景时高度适应于提取结构信息和部分频率的假设,将Gabor和Butterworth滤波器应用于HDR图像的亮度以分别提取局部和全局频率特征。对频率特征顺序地执行相似性测量和特征池化以获得预测质量分数。在四个广泛使用的基准测试上进行的实验表明,与最先进的HDR IQA方法相比,所提出的LGFM可以提供与主观感知更高的一致性。我们的代码可从以下网址获得:\url{https://github.com/eezkni/LGFM}。
2022-09-06 cs.CV eess.IV
Non-Aligned Reference Image Quality Assessment for Novel View Synthesis
Sony Interactive Entertainment(索尼互动娱乐);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对新视角合成(NVS)图像缺乏像素对齐真实参考时的质量评估难题,提出非对齐参考(NAR-IQA)框架,构建含时间感兴趣区域(TROI)合成失真的数据集,基于对比学习融合LoRA增强的DINOv2嵌入,仅用合成失真训练提升泛化能力,性能优于现有方法且与人类主观评分高度相关。
2025-11-11 cs.CV
Image Quality Assessment in the Modern Age
City University of Hong Kong(香港城市大学);Jiangxi University of Finance and Economics(江西财经大学)
本教程为观众提供了图像质量评估(IQA)的基本理论,方法和最新进展。从可操作的角度来看,我们将首先回顾几种主观质量评估方法,重点是如何正确选择视觉刺激。然后,我们将详细介绍客观质量评估模型的设计原则,并对其优缺点进行深入分析。将涵盖手工设计和(深度)学习方法。此外,传统的模型比较方法的客观质量模型的局限性将被指出,和新的比较方法,如那些基于“综合分析”的理论将被介绍。最后,我们将讨论IQA在现实世界中的应用,并给出一个开放的挑战性问题的列表,希望鼓励越来越多的有才华的研究人员和工程师致力于这个令人兴奋的和有价值的研究领域。
2021-10-19 cs.CV eess.IV
Image Quality Assessment for Magnetic Resonance Imaging
Philips Research(飞利浦研究院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Eindhoven University of Technology(埃因霍温理工大学)
图像质量评价(IQA)算法旨在再现人类对图像质量的感知。图像增强、生成和恢复模型的日益普及促使了许多方法的发展,以评估其性能。然而,大多数IQA解决方案被设计用于预测一般领域的图像质量,对于特定领域(如医学成像)的适用性仍然存在疑问。此外,为特定任务选择这些IQA指标通常涉及故意引起的失真,例如手动添加的噪声或人工模糊;然而,所选择的指标随后用于判断现实计算机视觉模型的输出。在这项工作中,我们希望通过开展迄今为止最广泛的磁共振成像(MRI)IQA评估研究(14,700个主观评分)来填补这些空白。我们使用训练的神经网络模型的输出来解决与MRI相关的问题,包括扫描加速中的图像重建、运动校正和去噪。我们的重点是反映放射科医生对重建图像的感知,衡量MRI扫描质量的最具诊断影响力的标准:信噪比,对比度噪声比和伪影的存在。七位训练有素的放射科医生评估这些失真的图像,然后将他们的判决与35种不同的图像质量指标(考虑全参考,无参考和基于分布的指标)相关联。表现最好的-- DISTS、HaarPSI、VSI和FID-VGG 16--在三个拟议的质量标准中,对于所有考虑的解剖结构和目标任务都是有效的。
2022-07-01 cs.CV eess.IV
Beyond MOS: Subjective Image Quality Score Preprocessing Method Based on Perceptual Similarity
University of Electronic Science and Technology of China(电子科技大学)
本文提出PSP方法,利用图像感知相似度建模主观评分并通过相似度正则化EMA预处理分数,有效缓解主观偏差并提升下游IQA任务性能。
2024-04-30 cs.CV eess.IV
GMC-IQA: Exploiting Global-correlation and Mean-opinion Consistency for No-reference Image Quality Assessment
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shenzhen Heytap Technology Corp., Ltd.(深圳嘿哟科技有限公司);Alibaba Group(阿里巴巴集团);Nanchang Hangkong University(南昌航空大学)
针对无参考IQA中训练损失与GCC评价指标不一致的问题,本文提出GMC-IQA,通过可微的成对秩估计与队列机制构建GCC损失,并结合多意见特征网络提升精度、泛化性和训练稳定性。
2024-01-19 cs.CV
Subjective Image Quality Assessment with Boosted Triplet Comparisons
University of Konstanz(康斯坦茨大学)
在主观全参考图像质量评估中,通常使用退化类别评级(DCR)来评估参考图像及其失真版本的感知图像质量之间的差异。然而,DCR一直受到批评,因为在这个顺序量表上的评级类别之间的差异可能不是感知等距的,观察者可能对类别有不同的理解。对比较(PC)的扭曲的图像,其次是瑟斯顿重建的规模值,克服了这些问题。此外,PC比DCR更敏感,并且它可以以分数、刚刚可察觉的差异(JND)单位提供尺度值,其表达精确的感知解释。尽管如此,几乎相同质量的图像的比较可能是困难的。我们引入了嵌入在更一般的三重比较(TC)中的增强技术,从而进一步提高了灵敏度。增强放大失真图像的伪影,通过缩放放大它们的视觉表示,通过闪烁效果增加失真的可见性,或者结合上述的一些。实验结果表明,增强TC的有效性为七种类型的失真。我们众包了超过170万个三重问题的答案。详细的分析表明,提升提高了区分能力,并允许减少主观评级的数量,而不会牺牲所得到的相对图像质量值的准确性。我们的技术为细粒度图像质量数据集铺平了道路,允许更多的失真水平,但具有高质量的主观注释。我们还提供了从TC和我们的注释数据集,KonFiG-IQA,包含10个源图像,使用7种失真类型在12个甚至30个级别,均匀分布在3个JND单位的跨度处理瑟斯顿尺度重建的细节。
2021-07-31 cs.CV eess.IV
AIGCIQA2023: A Large-scale Image Quality Assessment Database for AI Generated Images: from the Perspectives of Quality, Authenticity and Correspondence
Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学);Shanghai Second Polytechnic University(上海第二工业大学)
该研究构建 AIGCIQA2023 大规模 AIGC 图像质量评估数据库,通过主观实验从质量、真实性和对应性标注人类偏好,并基准评估多种先进 IQA 指标。
2023-07-15 cs.CV eess.IV
Spatial Attention-based Non-reference Perceptual Quality Prediction Network for Omnidirectional Images
Beihang University(北京航空航天大学)
由于视觉注意和感知质量之间的强相关性,许多方法试图使用人类显著性信息来进行图像质量评估。虽然这种机制可以获得良好的性能,但网络需要人类显著性标签,这对于全向图像(ODI)来说并不容易获得。为了缓解这个问题,我们提出了一个基于空间注意力的感知质量预测网络ODI(SAP网)的非参考质量评估。为了驱动SAP网络,我们建立了一个大规模的ODI IQA数据集(IQA-ODI),该数据集由200名受试者对1,080个ODI的主观评分组成。在IQA-ODI中,有120个高质量的ODI作为参考,960个ODI在JPEG压缩和地图投影中都有损伤。在没有任何人类显著性标签的情况下,我们的网络可以通过自我注意的方式自适应地估计受损ODI上的人类感知质量,这显著地提高了质量分数的预测性能。此外,我们的方法大大降低了计算复杂性的质量评估任务上的ODI。大量的实验验证了我们的网络优于9个国家的最先进的方法对ODI的质量评估。数据集和代码已在\url{ https://github.com/yanglixiaoshen/SAP-Net}上提供。
2021-03-10 cs.CV cs.MM eess.IV
MetaQAP - A Meta-Learning Approach for Quality-Aware Pretraining in Image Quality Assessment
Department of Informatics and Systems(信息学与系统系);University of Management and Technology(管理与技术大学);Faculty of Information Technology and Computer Science(信息技术与计算机科学学院);University of Central Punjab(中央理工大学);Department of Information Systems(信息系统系);College of Computer and Information Sciences(计算机与信息科学学院);Princess Nourah bint Abdulrahman University(努拉·阿卜杜勒拉赫曼女王大学);Department of Informatics and Computer Systems(信息学与计算机系统系);College of Computer Science(计算机科学学院);King Khalid University(卡利德大学)
提出MetaQAP无参考图像质量评估模型,结合质量感知预训练与元学习集成,在三个基准数据集上取得最优性能,并验证了泛化能力。
2025-10-15 cs.CV eess.IV
Image Quality Assessment for Embodied AI
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室);Nanyang Technological University(南洋理工大学)
本文首次提出具身智能图像质量评估课题,构建感知-认知-决策-执行流水线,建立含3.6万对图像和500万条标注的Embodied-IQA数据库,验证主流IQA方法不足,旨在推动具身智能在现实复杂失真下的应用。
2025-10-14 cs.CV cs.RO
CBCT-IQ: A Publicly Available Annotated Cone-Beam CT Dataset for Image Quality Assessment and Benchmarking
Austrian Center for Medical Innovation and Technology (ACMIT)(奥地利医学创新与技术中心(ACMIT));Danube Private University(多瑙河私立大学);Medical University of Vienna(维也纳医科大学);University of Cambridge(剑桥大学);University of Applied Sciences Technikum Wien(维也纳技术应用科学大学);University Hospital Vienna(维也纳大学医院);Montpellier Cancer Institute(蒙彼利埃癌症研究所);University of Montpellier(蒙彼利埃大学);Urmia University of Medical Science(乌尔米耶医科大学);University Hospital Wiener Neustadt(维也纳新城大学医院);University of Sydney(悉尼大学)
本研究构建首个公开标注的CBCT-IQ数据集,含1764张经专家评分的CBCT图像,对26种IQA指标基准测试并提出排名方法,为CBCT IQA研究提供标准化资源。
2026-08-03 cs.CV physics.med-ph
An Image Quality Assessment Dataset for Portraits
DXOMARK;New York University(纽约大学)
本文提出PIQ23人像IQA数据集,含100部手机拍摄的5116张图像,由专家成对比较标注三个属性,并证明语义信息可提升盲图像质量评估预测性能。
2023-04-12 cs.CV
Confusing Image Quality Assessment: Towards Better Augmented Reality Experience
Shanghai Jiao Tong University(上海交通大学);Polytech Nantes(南特综合理工学院);Université de Nantes(南特大学)
随着多媒体技术的发展,增强现实(Augmented Reality,简称AR)已成为下一代移动平台的发展趋势。增强现实的主要价值在于促进数字内容与现实环境的融合,然而,关于这种融合如何影响这两个组件的体验质量(QoE)的研究还很缺乏。为了获得更好的AR的QoE,其两个层相互影响,重要的是首先评估其感知质量。本文将增强现实技术看作是虚拟场景和真实场景的叠加,并引入视觉混淆作为其基本理论。首先提出了一个更一般的问题,即评估叠加图像的感知质量,混淆图像质量评估。建立了一个融合图像质量评价(CFIQA)数据库,该数据库包括600幅参考图像和300幅由成对参考图像混合生成的失真图像。然后进行主观质量感知研究和客观模型评价实验,以更好地理解人类如何感知混淆图像。一个客观的度量称为CFIQA也提出了更好地评估混乱的图像质量。此外,在CFIQA研究的基础上进一步进行了扩展的ARIQA研究。我们建立了一个ARIQA数据库,以更好地模拟真实的AR应用场景,其中包含20个AR参考图像,20个背景(BG)参考图像,以及由AR和BG参考生成的560个失真图像,以及相应收集的主观质量评级。我们还设计了三种类型的全参考(FR)IQA指标,研究我们是否应该考虑视觉混乱时,设计相应的IQA算法。为了更好地评价AR图像的感知质量,提出了一种ARIQA度量。
2022-10-31 cs.CV eess.IV
A Deep-Learning-Based Label-free No-Reference Image Quality Assessment Metric: Application in Sodium MRI Denoising
University of Cambridge(剑桥大学);Universitat de Barcelona(巴塞罗那大学);Haukeland University Hospital(霍克兰大学医院);University of York(约克大学);Manchester Metropolitan University(曼彻斯特城市大学)
本文提出一种基于深度学习的无参考图像质量评估指标MSM,利用模型对训练集的专用化特性,通过测量输入图像与模型预测之间的差异来评估图像质量,无需真实标签,在钠MRI去噪等任务中优于现有NR-IQA指标。
2024-09-02 cs.CV eess.IV
A Perceptually Weighted Rank Correlation Indicator for Objective Image Quality Assessment
University of Electronic Science and Technology of China(电子科技大学);Chinese University of Hong Kong(香港中文大学)
在客观图像质量评价(IQA)领域,Spearman的$ρ$和Kendall的$τ$是两种最流行的等级相关指标,它们直接为所有质量等级分配统一的权重,并假设每对图像都是可排序的。它们成功地测量了IQA度量在对多个处理图像进行排名时的平均准确度。然而,他们也忽略了两个重要的感知特性。首先,在许多现实世界的应用中,高质量图像的排序精度(SA)通常比低质量图像更重要,其中只有排名靠前的图像才会被推送给用户。其次,由于主观判断的不确定性,两个感知相似的图像通常是很难排序的,其排名没有贡献的IQA度量的评价。为了更准确地比较不同的IQA算法,我们在本文中探索了一种感知加权等级相关性指标,该指标奖励正确排名高质量图像的能力,并抑制对不敏感的排名错误的关注。更具体地说,我们专注于激活“有效的”成对比较图像质量,其差异超过了给定的感官阈值(ST)。同时,每个图像对被分配一个唯一的权重,这是由质量水平和秩偏差。通过修改感知阈值,我们可以用更复杂的SA-ST曲线来说明分类准确性,而不是单一的秩相关系数。该指标为解释视觉感知行为提供了新的视角。此外,我们的指标的适用性进行了验证,在建议强大的IQA指标的退化和增强的图像数据。
2017-05-15 cs.CV
Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback
ZOZO Research(ZOZO研究所);ZOZO Inc.(ZOZO公司);Keio University(庆应义塾大学)
提出无参考框架VTON-IQA,通过构建大规模人工标注数据集VTON-QBench,实现与人类感知对齐的虚拟试穿图像质量评估。
2026-07-01 cs.CV
Image Intrinsic Scale Assessment: Bridging the Gap Between Quality and Resolution
Sony AI(索尼人工智能)
本文提出图像内在尺度(IIS)及IISA任务,构建了IISA-DB数据集,并提出WIISA弱标注策略,通过利用图像缩小时的IIS变化生成弱标签,持续提升IQA方法在IISA任务上的性能。
2025-08-13 cs.CV
AGIQA-3K: An Open Database for AI-Generated Image Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
针对AI生成图像质量差异大、缺乏符合人类感知的质量评估模型的问题,构建了目前最全面的AGI主观质量数据库AGIQA-3K,并提出StairReward方法提升文图对齐评估性能,为后续AGI质量模型优化提供支撑。
2023-06-12 cs.AI cs.CV eess.IV
Adaptable image quality assessment using meta-reinforcement learning of task amenability
University College London(伦敦大学学院);InstaDeep;University College Hospital NHS Foundation Trust(伦敦大学学院医院NHS基金会信托);Stanford School of Medicine(斯坦福医学院)
许多医学图像分析任务的性能与图像数据质量密切相关。在开发现代深度学习算法时,任务顺应性可能会提供特定于任务的图像质量的客观度量,而不是依赖于主观(基于人类的)图像质量评估(IQA)。为了预测任务可服从性,使用具有同时优化的任务预测器(诸如分类或分割神经网络)的强化学习(RL)来训练IQA代理。在这项工作中,我们开发了迁移学习或适应策略,以提高IQA代理和任务预测器的适应性,使它们更少地依赖于高质量的专家标记的训练数据。提出的迁移学习策略重新制定了原来的强化学习问题的任务顺从性的Meta强化学习(元RL)框架。由此产生的算法有利于有效地适应代理的图像质量的不同定义,每个都有自己的马尔可夫决策过程环境,包括不同的图像,标签和自适应的任务预测。我们的工作表明,IQA代理预先训练的非专家任务标签可以适应预测任务的顺从性定义的专家任务标签,只使用一小组的专家标签。使用来自249名前列腺癌患者的6644张临床超声图像,我们的图像分类和分割任务的结果表明,所提出的IQA方法可以使用分别只有19.7%和29.6%专家评审共识标签的数据进行调整,并且仍然可以实现相当的IQA和任务性能,否则需要具有100%专家标签的训练数据集。
2021-07-31 cs.CV cs.LG
Subjective and Objective Quality Assessment of Non-Uniformly Distorted Omnidirectional Images
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics(江西财经大学计算与人工智能学院);Harvard Medical School, Harvard University(哈佛大学医学院)
针对全景图像非均匀失真评估问题,构建大型数据库并开展主观实验,提出感知引导的OIQA模型,优于现有方法。
2025-01-20 cs.CV eess.IV