Blind Image Quality Assessment: A Brief Survey
Shenzhen University（深圳大学）
本综述全面梳理盲图像质量评估领域的最新进展，涵盖基于手工特征、深度学习及多模态方法，并介绍代表性数据库，为视觉质量社区提供宝贵见解。
2023-12-27 cs.CV cs.MM
BlessMark: A Blind Diagnostically-Lossless Watermarking Framework for Medical Applications Based on Deep Neural Networks
目前，随着公共网络使用的发展，医疗信息在整个医院中传输。水印系统可以帮助在互联网上分发的医疗信息的机密性。在医学图像中，感兴趣区域（ROI）包含诊断信息。水印应只嵌入到非感兴趣区域（NROI），以保持不失真的诊断信息。近年来，基于感兴趣区域的水印技术引起了医学界的广泛关注。ROI图可以用作用于提高机密性保护目的的嵌入密钥。然而，在大多数现有的作品中，用于嵌入过程的ROI图必须作为边信息与水印图像一起发送。该边信息是一个缺点，并且使得提取过程是非盲的。而且，大多数现有的算法在提取水印后都没有恢复原始封面图像的NROI。在本文中，我们提出了一个框架，盲诊断无损水印，迭代嵌入到NROI。所提出的框架的意义在于通过盲水印系统满足患者信息的机密性，同时在整个水印过程中保留图像的诊断/医疗信息。深度神经网络用于在嵌入、提取和恢复过程中识别ROI图。在提取过程中，识别嵌入过程的相同ROI图，而不需要任何附加信息。因此，水印是从NROI中盲提取的。
2020-05-11 cs.MM
Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation
Ningbo University（宁波大学）；University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）
盲图像质量评估（BIQA）是一种在没有任何原始参考信息的情况下准确预测图像质量的方法，在过去的几十年里受到了广泛的关注。特别是在深度神经网络的帮助下，取得了很大的进展。然而，它仍然是较少的研究夜间图像（NTIs），通常遭受复杂的真实失真，如能见度降低，低对比度，加性噪声，和颜色失真的BIQA。这些不同的真实退化特别挑战了用于盲NTI质量评估（NTIQE）的有效深度神经网络的设计。在本文中，我们提出了一种新的深度分解和双线性池化网络（DDB-Net）来更好地解决这个问题。DDB-Net包含三个模块，即，图像分解模块、特征编码模块和双线性池化模块。图像分解模块受到Retinex理论的启发，并且涉及将输入NTI解耦为负责照明信息的照明层组件和负责内容信息的反射层组件。然后，特征编码模块涉及学习分别植根于两个解耦分量的退化的特征表示。最后，通过将照明相关和内容相关的劣化建模为双因素变化，将两个特征集双线性地汇集在一起以形成用于质量预测的统一表示。通过在多个基准数据集上的大量实验，验证了所提出的DDB-Net的优越性。源代码将很快提供。
2022-08-29 cs.CV cs.MM
Blind 3D Model Watermarking Based on Multi-Resolution Representation and Fuzzy Logic
将文本消息、音频数据或/和图像插入到另一图像或3D模型中被称为水印处理。数字水印有着广泛的应用，如：版权保护、所有者识别、版权保护和数据隐藏等，这取决于水印插入算法的类型。水印在应用各种攻击后仍然保留在内容中，而不会发生任何失真。该系统中使用的盲水印方法是基于小波变换，模糊推理系统和三维模型的多分辨率表示（MRR）。将经过Arnold变换置乱后的水印嵌入到MRR第三分辨率的小波系数中。该方法采用模糊逻辑方法，通过精确的比例因子来逼近最佳增益，使水印保持不可见。在3D模型中为每个小波系数计算模糊输入变量。模糊系统的输出是一个单一的值，这是一个感性的每个相应的小波系数值。因此，模糊感知掩码结合所有这些非线性变量来构建简单、易于使用的HVS模型。实验结果表明，该系统对仿射变换、平滑、剪切和噪声攻击具有较好的鲁棒性。
2012-03-12 cs.MM
Forgetting to Remember: A Scalable Incremental Learning Framework for Cross-Task Blind Image Quality Assessment
University of Electronic Science and Technology of China（电子科技大学）
近年来，盲图像质量评估（BIQA）在各种特定任务场景中取得了巨大的成功，这些场景提供了不变的失真类型和评估标准。然而，由于结构和学习框架的刚性，它们不能适用于跨任务的BIQA场景，其中失真类型和评估标准在实际应用中不断变化。本文提出了一个可扩展的增量学习框架（SILF），可以顺序进行跨多个评价任务的BIQA有限的内存容量。更具体地说，我们开发了一个动态的参数隔离策略，顺序更新的任务特定的参数子集，这是不重叠的。每个参数子集被临时设置以记住对其对应任务的一个评价偏好，并且先前设置的参数子集可以在后续BIQA中基于任务相关性自适应地重用以实现更好的性能。为了抑制顺序任务学习中记忆容量的无限制膨胀，我们通过逐步地、有选择地从先前确定的参数子集中修剪不重要的神经元，开发了一个可扩展的记忆单元，使我们能够忘记部分先前的经验，释放有限的记忆容量，以适应新出现的任务。在11个IQA数据集上的实验表明，该方法在跨任务BIQA中的性能明显优于其他最先进的方法。所提出的方法的源代码可在https://github.com/maruiperfect/SILF获得。
2023-02-07 cs.CV cs.MM
Deep Shape-Texture Statistics for Completely Blind Image Quality Evaluation
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；Xidian University（西安电子科技大学）
本文提出深度形状-纹理统计方法DSTS，通过STAF模块融合形状与纹理深度特征，利用内外统计量的马氏距离实现完全盲图像质量评价，在人工和真实失真上达到SOTA性能。
2024-01-16 cs.CV cs.MM
Enhancing Blind Video Quality Assessment with Rich Quality-aware Features
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出RQ-VQA方法，通过整合多源特征提升盲视频质量评估的泛化能力与准确性。
2026-01-04 cs.CV cs.MM eess.IV
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research（商汤科技研究院）；Tetras AI
随着非专业人员拍摄的野外视频的快速增长，盲视频质量评估（VQA）已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题，但仍然不清楚人类视觉系统（HVS）如何与视频的时间质量相关。同时，最近的工作已经发现，自然视频的帧被转换到HVS的感知域，往往会形成一个直线轨迹的表示。与所获得的洞察，失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示，我们提出了一个时间感知质量指数（TPQI）来衡量时间失真描述的图形形态的表示。具体来说，我们首先提取视频感知表示从外侧膝状体核（LGN）和初级视觉区（V1）的HVS，然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明，HVS中的感知表示是预测主观时间质量的有效方法，因此TPQI可以首次实现与空间质量度量相当的性能，并且在评估具有较大时间变化的视频时更加有效。我们进一步证明，通过结合NIQE，一个空间质量度量，TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是，TPQI不需要任何额外的信息，因此可以应用于任何数据集，而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
Binocular Rivalry Oriented Predictive Auto-Encoding Network for Blind Stereoscopic Image Quality Measurement
由于3D内容的广泛使用，立体图像质量测量（SIQM）对于指导立体图像处理和交换系统变得越来越重要。与依赖手工特征的传统方法相比，面向深度学习的测量近年来取得了显着的性能。然而，大多数现有的深度SIQM评估器不是专门为立体内容构建的，并且在网络设计中很少考虑3D人类视觉系统（HVS）的先验领域知识。本文提出了一种用于盲/无参考立体图像质量测量的预测自动编码网络（PAD-Net）。在第一阶段，受预测编码理论的启发，认知系统试图匹配自下而上的视觉信号与自上而下的预测，我们采用编码器-解码器架构来重建失真的输入。此外，出于双目竞争现象，我们利用的似然和先验映射产生的预测编码过程中的暹罗框架，以协助SIQM。在第二阶段中，质量回归网络被应用于融合图像以获得感知质量预测。PAD-Net的性能已经在三个基准数据库上进行了广泛的评估，其优越性在各种失真类型下的对称和非对称失真立体图像上得到了很好的验证。
2020-11-01 cs.MM eess.IV
KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment
University of Konstanz（康斯坦茨大学）；Institute for Computer Science and Control (SZTAKI)（计算机科学与控制研究所（SZTAKI））
用于图像质量评估（IQA）的深度学习方法由于现有数据集的小尺寸而受到限制。大量的数据集需要大量的资源来生成可扩展的内容并准确地对其进行注释。我们提出了一种系统的和可扩展的方法来创建KonIQ-10 k，这是迄今为止最大的IQA数据集，由10，073张质量评分图像组成。这是第一个以生态有效性为目标的野外数据库，涉及扭曲的真实性，内容的多样性和质量相关指标。通过使用众包，我们从1，459名众包工作者那里获得了120万个可靠的质量评级，为更通用的IQA模型铺平了道路。我们提出了一个新的深度学习模型（KonCept 512），以显示出超越测试集（0.921 SROCC）的出色泛化能力，并将其推广到当前最先进的数据库LIVE-in-the-Wild（0.825 SROCC）。该模型的核心性能来自InceptionResNet架构，其训练分辨率高于以前的模型（512 x384）。相关性分析表明，KonCept 512的表现类似于每个测试图像具有9个主观分数。
2020-05-27 cs.CV cs.MM
Blind Quality Assessment for Image Superresolution Using Deep Two-Stream Convolutional Networks
许多图像超分辨率（SR）算法已经被提出用于从具有较低空间分辨率的输入图像重建高分辨率（HR）图像。然而，有效地评估SR图像的感知质量仍然是一个具有挑战性的研究问题。在本文中，我们提出了一种基于无参考/盲深度神经网络的SR图像质量评估器（DeepSRQ）。为了学习各种失真SR图像的更多区别性特征表示，所提出的DeepSRQ是一个双流卷积网络，包括用于失真结构和纹理SR图像的两个子组件。与传统的图像失真不同，超分辨率图像的伪影会导致图像结构和纹理质量的下降。因此，我们选择了双流方案，它捕获SR输入的不同属性，而不是直接从一个图像流中学习特征。考虑到人类视觉系统（HVS）的特性，结构流侧重于提取结构退化中的特征，而纹理流则侧重于纹理分布的变化。此外，为了增加训练数据并确保类别平衡，我们提出了一种基于步幅的自适应裁剪方法，以进一步改进。在三个公开的SR图像质量数据库上的实验结果表明，与最先进的图像质量评估算法相比，我们提出的DeepSRQ方法的有效性和泛化能力。
2020-04-13 cs.CV cs.MM eess.IV
Learning Detail-Structure Alternative Optimization for Blind Super-Resolution
Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）
现有的基于卷积神经网络（CNN）的图像超分辨率（SR）方法在双三次核上取得了令人印象深刻的性能，但这对于处理现实世界应用中的未知退化是无效的。最近的盲SR方法建议重建依赖于模糊核估计的SR图像。然而，由于估计误差，它们的结果仍然存在可见的伪影和细节失真。为了缓解这些问题，在本文中，我们提出了一个有效的和无核网络，即DSSR，它使经常性的细节结构替代优化，而无需模糊核事先纳入盲SR。具体来说，在我们的DSSR，一个细节结构调制模块（DSMM）建立利用图像细节和结构的相互作用和协作。DSMM由两部分组成：细节恢复单元（DRU）和结构调制单元（SMU）。前者旨在从LR结构背景中回归中间HR细节重建，后者在HR和LR空间中以学习的细节图为条件进行结构背景调制。此外，我们使用DSMM的输出作为隐藏状态，并从递归卷积神经网络（RCNN）的角度设计我们的DSSR结构。通过这种方式，网络可以交替优化图像细节和结构背景，实现跨时间的协同优化。此外，配备了经常性的连接，我们的DSSR允许低层次和高层次的功能表示互补，通过观察以前的HR细节和上下文在每个展开时间。在合成数据集和真实图像上的大量实验表明，我们的方法与现有方法相比达到了最先进的水平。源代码可以在https://github.com/Arcananana/DSSR上找到。
2022-12-03 cs.CV cs.MM
Blind Multimodal Quality Assessment of Low-light Images
Shenzhen University（深圳大学）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
针对现有低光照图像盲质量评估多为单模态、不符合人类感知模式的问题，本文构建多模态MLIQ与单模态Dark-4K数据库，提出融合多模态表征、特征对齐与混合学习的BMQA方法，在两类基准上均取得更优性能，相关资源已公开。
2023-10-07 cs.CV cs.MM
Deep Neural Network for Blind Visual Quality Assessment of 4K Content
Shanghai Jiao Tong University（上海交通大学）；Bilibili Inc（哔哩哔哩公司）
由于空间分辨率的巨大提升，4K内容可以为消费者提供更加身临其境的视觉体验。然而，现有的盲图像质量评估（BIQA）方法是不适合的原始和放大的4K内容，由于扩展的分辨率和特定的失真。本文提出了一种基于深度学习的4K内容BIQA模型，一方面可以识别真假4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率能表现更丰富的高频信息的特点，本文首先提出了一种基于灰度共生矩阵（GLCM）的纹理复杂度度量方法，从4K图像中选取3个具有代表性的图像块，降低了计算复杂性，实验证明该方法对整体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层提取不同种类的视觉特征，并将它们集成到质量感知特征表示中。最后，两个多层感知（MLP）网络被用来映射的质量感知功能到类概率和质量得分分别为每个补丁。整体质量指标是通过平均池的补丁结果。该模型通过多任务学习方式进行训练，并引入不确定性原则来平衡分类和回归任务的损失。实验结果表明，该模型在4个4K内容质量评估数据库上的性能优于所有BIQA指标。
2022-06-09 cs.CV cs.MM
Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models
Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究所）；City University of Hong Kong（香港城市大学）；National University of Defense Technology（国防科技大学）；Shenzhen Research Institute, City University of Hong Kong（香港城市大学深圳研究院）
本文通过设计仅由基本模块构成的极简盲视频质量评估模型，系统分析八个VQA数据集，揭示其普遍存在“简单数据集问题”，质疑当前BVQA进展并为未来数据集与模型构建提供指导。
2024-04-03 cs.CV cs.MM eess.IV
