Investigating Correlations of Automatically Extracted Multimodal Features and Lecture Video Quality
多媒体内容（例如视频）的排名和推荐通常相对于与用户查询的相关性来实现。然而，对于讲座视频和MOOC（大规模开放式在线课程），不仅需要检索相关视频，而且特别需要找到促进学习的高质量讲座视频，例如，独立于视频或演讲者的受欢迎程度。因此，关于讲座视频质量的元数据是学习上下文的关键特征，例如，讲座视频推荐在搜索作为学习场景。在本文中，我们调查是否自动提取的功能相关的视频质量方面。一组来自大众开放式在线课程（MOOC）的学术视频进行了音频，语言和视觉特征的分析。此外，提出了一组跨模态的功能，这是通过结合成绩单，音频，视频和幻灯片内容。进行用户研究，调查自动收集的功能和人类的评价质量方面的讲座视频之间的相关性。最后，我们的功能上的知识获得的参与者的影响进行了讨论。
2020-05-28 cs.MM
Perceptual quality comparison between single-layer and scalable videos at the same spatial, temporal and amplitude resolutions
在本文中，感知质量之间的差异，可伸缩和单层视频编码在相同的空间，时间和幅度分辨率（STAR）的影响，通过主观测试，使用移动平台。考虑三个源视频，并且对于每个源视频，在9个不同的STAR处比较单层和可伸缩视频。我们利用配对比较方法，有和没有领带选项。从无“领带”选项中的10名受试者和有“领带”选项中的6名受试者收集的结果表明，当以相同STAR编码时，可伸缩视频和单层视频之间没有显著的质量差异。还进行方差分析（ANOVA）检验以进一步证实该发现。
2012-06-08 cs.MM
VideoSet: A Large-Scale Compressed Video Quality Dataset Based on JND Measurement
提出了一种基于最小可察觉差（JND）的编码图像/视频质量评价方法。南加州大学的媒体通信实验室发布了几个基于JND的小型图像/视频质量数据集。在这项工作中，我们提出了一个努力建立一个大规模的基于JND编码的视频质量数据集。该数据集由四种分辨率的220个5秒序列组成（即，$1920 \times 1080$、$1280 \times 720$、$960 \times 540$和$640 \times 360$）。对于880个视频片段中的每一个，我们使用H.264编解码器和$QP=1, \cdots, 51$对其进行编码，并测量30多个受试者的前三个JND点。该数据集被称为“VideoSet”，是“视频主题评估测试（SET）”的首字母缩写。这项工作描述了主观测试程序，检测和删除离群测量数据，和收集的JND数据的属性。最后指出了VideoSet对未来视频编码研究和标准化工作的意义和启示。所有源/编码的视频剪辑以及测量的JND数据包括在视频集是提供给公众在IEEE数据端口。
2017-01-15 cs.MM
Evaluation of No Reference Bitstream-based Video Quality Assessment Methods
在过去的几年中，已经提出了许多不同的视频质量评估的参数模型。本文介绍了一个审查最近的九个模型，涵盖了广泛的方法，并已被验证用于估计视频质量，由于不同的退化因素。每个模型都简要介绍了关键算法和相关的参数公式。每个模型的泛化能力，以估计在实际应用场景中的视频质量进行评估，并与其他模型进行比较，使用从实际应用中的视频序列创建的数据集。这些视频序列涵盖了广泛的可能的现实编码参数，通过主观测试的平均意见分数（MOS）标记。指出了各模型的优缺点。最后，对一个更一般的参数模型，可以适用于更广泛的应用程序的未来工作进行了讨论。
2017-06-30 cs.MM
Backward-Shifted Coding (BSC) based on Scalable Video Coding for HAS
HTTP自适应流媒体的主要任务是在可变的网络条件下动态地调整视频质量。这是多媒体传送的关键特征，尤其是当服务质量不能在网络范围内被授予时，吞吐量可能遭受短期波动。因此，鲁棒的比特率自适应方案变得至关重要，以提高视频质量。在这种情况下，目标是控制回放缓冲器的填充水平并最大化视频的质量，同时避免不必要的视频质量变化。在本文中，我们研究的比特率自适应算法的基础上后移编码（BSC），可伸缩的视频编码方案，能够大大提高视频质量。我们设计的比特率自适应算法，平衡视频速率平滑和高网络容量利用率，利用基于吞吐量和基于缓冲区的自适应机制。使用合成和真实世界的视频流量跟踪的广泛模拟表明，即使在具有挑战性的网络条件下，该方案也表现得非常好。
2016-10-07 cs.MM
Modeling the Time-varying Subjective Quality of HTTP Video Streams with Rate Adaptations
新开发的基于HTTP的视频流技术能够在不同的信道条件下实现灵活的速率自适应。因此，准确地预测速率自适应HTTP视频流的用户体验质量（QoE）对于实现效率至关重要。理解和建模QoE的一个重要方面是预测视频在播放时的最新主观质量，由于人类行为响应中的滞后效应和非线性，这是困难的。提出了一种用于预测码率自适应视频时变主观质量的Hammerstein-Wiener模型。为了收集用于模型参数化和验证的数据，建立了具有时变失真的较长持续时间视频的数据库，并在大规模主观研究中测量了视频的TVSQ。该方法能够可靠地预测速率自适应视频的TVSQ。由于Hammerstein-Wiener模型具有非常简单的结构，因此所提出的方法适用于基于HTTP的流媒体中的在线TVSQ预测。
2013-11-25 cs.MM
A JND-based Video Quality Assessment Model and Its Application
基于JND准则，最近构建了一个主观视频质量评估数据集，称为VideoSet。在这项工作中，我们提出了一个基于JND的VQA模型，使用概率框架来分析和清理收集到的主观测试数据。虽然大多数传统的VQA模型侧重于内容的可变性，我们提出的VQA模型同时考虑到主题和内容的可变性。通过求解最大似然估计（MLE）问题来联合优化用于描述主题和内容可变性的模型参数。作为一个应用，新的主观VQA模型被用来过滤不可靠的视频质量分数收集在VideoSet。最后通过实验验证了该模型的有效性。
2018-07-02 cs.MM
Rate Adaptation and Admission Control for Video Transmission with Subjective Quality Constraints
在流媒体期间调整视频数据率可以有效降低因频道吞吐量波动而导致播放中断的风险。然而，速率的变化也引入视频质量波动，并且因此潜在地影响观看者的体验质量（QoE）。我们展示了如何通过速率自适应和准入控制来提高视频用户的QoE。我们进行了一项主观研究，其中我们发现观众的QoE与预测视频质量的经验累积分布函数（eCDF）密切相关。基于这一观察，我们提出了一种速率自适应算法，可以将QoE约束的经验累积质量分布每个用户。然后，我们提出了一个基于阈值的准入控制策略，以阻止用户的经验累积质量分布是不可能满足他们的QoE约束。我们进一步设计了一个在线自适应算法来自动优化阈值。大量的仿真结果表明，该方案可以减少$40\%$比传统的平均质量最大化速率自适应算法的网络资源消耗。
2013-11-25 cs.MM
Learning Quality from Complexity and Structure: A Feature-Fused XGBoost Model for Video Quality Assessment
面向部分参考视频质量评估，提出融合 VCA 时空特征、SSIM、时间池化与残差特征的 XGBoost 模型，在无需深度网络和 GPU 的情况下实现具竞争力的主观质量预测。
2025-06-11 cs.MM
Visual Infrared Video Fusion for Night Vision using Background Estimation
视频融合是将来自不同传感器的视觉数据进行组合，以获得保留源信息的单个复合视频的过程。一个系统的可用性，提高人类感知所观察到的场景的能力，是至关重要的，以提高监控系统的性能。红外（IR）摄像机在夜间环境中捕获物体的热图像，而RGB摄像机只能捕获有限的视觉信息。由IR传感器和可见RGB相机记录的数据的融合可以产生通过单独查看传感器输出而无法获得的信息。在本文中，我们考虑的问题，融合由RGB摄像机和红外传感器获得的两个视频流。红外视频清晰地捕捉到的行人被分离出来，并与RGB视频融合。实现的算法涉及估计的背景，然后从红外视频检测对象，必要的去噪后。最后采用合适的融合算法将提取的行人与视觉输出相结合。所得到的结果清楚地表明，所提出的视频融合方案的有效性，夜视。
2010-04-26 cs.MM
Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务，但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析，提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能（吞吐量）和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制，而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要，这不能通过其他客观指标（如PSNR、SSIM和缓冲区欠载或暂停频率）进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试，使用一系列的视频剪辑。它表明，暂停强度是密切相关的观众的意见分数，无论有很大的不同组成的个别元素，如暂停持续时间和暂停频率，共同构成这个新的质量指标。研究还表明，停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
An Augmented Autoregressive Approach to HTTP Video Stream Quality Prediction
基于HTTP的视频流技术允许灵活的速率选择策略，该策略考虑到随时间变化的网络条件。这样的速率变化可能对用户的体验质量产生不利影响;因此，对时变主观质量的在线预测可以导致感知上优化的比特率分配策略。最近的研究提出了使用动态网络方法进行连续时间预测，但他们不考虑多个视频质量模型作为输入，也不考虑预测合奏。在这里，我们解决的问题，预测连续时间的主观质量使用多个输入馈送到一个非线性自回归网络。通过考虑多个网络配置和应用简单的平均预测技术，我们能够大大提高预测性能，减少预测误差。
2017-07-10 cs.MM
Encoding Bitrate Optimization Using Playback Statistics for HTTP-based Adaptive Video Streaming
HTTP视频流被广泛用于在互联网上传输视频。通过HTTP自适应流传输，视频回放基于可用带宽和视口（屏幕）大小从预编码表示中动态选择视频流。因此，观看者的视频质量受到编码比特率的影响。我们最小化的平均交付的比特率受到质量下限的基础上，每个块通过建模的概率，玩家选择一个特定的编码。通过仿真和实际实验，该方法在保证平均视频传输质量的前提下，与现有技术相比节省了9.6%的带宽。
2017-10-13 cs.MM
UGC-VIDEO: perceptual quality assessment of user-generated videos
近年来，互联网上的用户生成内容（UGC）视频数量不断增长。然而，UGC视频感知质量评估的进展仍然相当有限。在完整的视频制作和交付链中，UGC视频有许多突出的特点，与视频质量密切相关的一个重要属性是，在上传到托管平台后，不存在原始源，因此在最终观看之前，它们通常经过多个压缩阶段。为了方便UGC视频质量评估，我们创建了UGC视频感知质量评估数据库。它包含从TikTok收集的50个源视频，内容多样，以及通过不同量化级别和编码标准压缩生成的多个失真版本。采用主观质量评价方法对视频质量进行评价。此外，我们使用现有的质量评估算法对数据库进行基准测试，并观察到未来提高UGC视频质量测量准确性的潜在空间。
2019-09-12 cs.MM eess.IV
Objective video quality metrics application to video codecs comparisons: choosing the best for subjective quality estimation
Lomonosov Moscow State University（莫斯科国立大学）；Dubna State University（杜布纳国立大学）
质量评估在创建和比较视频压缩算法中起着关键作用。尽管开发了大量的新方法来评估质量，但公认的和众所周知的编解码器比较主要使用经典方法，如PSNR，SSIM和新方法VMAF。这些方法可以按照不同的规则计算：它们可以使用不同的逐帧平均技术或不同的颜色分量总和。在本文中，一个基本的比较各种版本的普遍接受的指标进行，以找到最相关的和推荐的版本的视频质量指标用于编解码器的比较。为了进行比较，我们使用了一组用不同标准的视频编解码器编码的视频，以及从2018年到2021年收集的视频流的视觉质量分数
2021-07-21 cs.CV cs.MM
DaI: Decrypt and Infer the Quality of Real-Time Video Streaming
对网络服务质量的推断是网络运营商进行优化的重要依据。然而，主流的实时的【形】视频流应用采用加密的安全性，留下了一个问题，提取实时的【形】视频的服务质量（QoS）指标。在本文中，我们提出了DaI，一个基于流量的实时的【形】视频质量估计。DaI可以部分解密加密的实时的【形】视频数据，并应用机器学习方法来估计实时的【形】视频的关键客观体验质量（QoE）度量。根据实验结果，DaI可以估计客观的QoE指标，平均准确率为79%。
2022-11-04 cs.MM cs.NI
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的，即，它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好，但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡，Netflix开发了视频多方法评估融合（VMAF）框架，该框架集成了多个质量感知功能来预测视频质量。然而，这种融合框架并没有充分利用时间视频质量测量，这是相关的时间视频失真。为此，我们提出了两个改进的VMAF框架：时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征，这些特征被馈送到单个或多个回归模型中。为了训练我们的模型，我们设计了一个大型的主观数据库，并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
On Evaluating Perceptual Quality of Online User-Generated Videos
本文讨论的问题的感知质量评价的用户生成的视频在线共享，这是一个重要的一步，设计视频共享服务，最大限度地提高用户的满意度在质量方面。我们首先分析观众的质量感知模式，应用图形分析技术的主观评级数据。然后，我们检查现有的国家的最先进的客观指标的用户生成的视频的质量估计的性能。此外，我们调查的可行性元数据伴随着视频在线视频共享服务的质量估计。最后，讨论了在线用户生成视频质量评估中的各种问题，包括困难和机遇。
2018-09-14 cs.MM eess.IV
Deep Local and Global Spatiotemporal Feature Aggregation for Blind Video Quality Assessment
近年来，深度学习在多媒体质量评估，特别是图像质量评估（IQA）方面取得了巨大的成功。然而，由于视频中存在更复杂的时间特性，因此通过利用强大的深度卷积神经网络（DCNN）对视频质量评估（VQA）进行的工作很少。在本文中，我们提出了一种高效的VQA方法，称为深度时空视频质量评估器（DeepSTQ），以无参考的方式预测各种失真视频的感知质量。在提出的DeepSTQ中，我们首先通过预训练的深度学习模型提取局部和全局时空特征，而无需从头开始进行微调或训练。合成的特征考虑了失真的视频帧以及来自全局和局部视图的帧差异图。然后，通过回归模型进行特征聚合以预测感知视频质量。最后，实验结果表明，我们提出的DeepSTQ优于最先进的质量评估算法。
2020-09-07 cs.MM eess.IV
User-generated Video Quality Assessment: A Subjective and Objective Study
最近，我们观察到用户生成内容（UGC）视频呈指数级增长。UGC视频的独特性源于视频制作和交付链，因为它们通常由非专业用户获取和处理，然后上传到托管平台进行分享。因此，这些视频通常在最终被观看之前经历可能影响视觉质量的多个失真阶段。受视频编码和处理的优化应完全由感知质量驱动的共识的启发，本文提出从客观和主观两个角度研究UGC视频的质量。我们首先建立了一个UGC视频质量评估（VQA）数据库，旨在为托管平台中的UGC视频编码和处理提供有用的指导。该数据库包含上传到平台的源UGC视频及其最终由最终用户欣赏的转码版本，以及他们的主观评分。此外，我们开发了一个客观的质量评估算法，自动评估质量的转码视频的基础上损坏的参考，这是根据UGC视频共享在托管平台的应用场景。来自损坏的参考的信息被很好地利用，并且质量基于利用深度神经网络（DNN）推断的质量图来预测。实验结果表明，该方法具有优越的性能。对UGC视频的主观和客观评价也为感知UGC视频编码的设计提供了启示。
2020-05-18 cs.MM eess.IV
FPGA implementation of the procedures for video quality assessment
各种媒体中使用的视频分辨率不断提高。虽然制造商努力完善他们的屏幕，但确保显示图像的高质量也很重要。总体质量可以使用平均意见得分（MOS）来衡量。视频质量可能会受到各种各样的伪影的影响，这些伪影出现在视频创建和传输的每个阶段。在本文中，我们提出了一个解决方案，以计算四个不同的视频质量指标，可以应用于一个实时的视频质量评估系统。我们的评估模块能够以每秒30帧的速度实时的处理8 K分辨率。2.19 GB/s的吞吐量超过了纯软件解决方案的性能。为了专注于架构优化，该模块使用高级语言创建。
2017-05-03 cs.MM cs.PF
Quality of Service (QoS): Measurements of Video Streaming
如今，视频流在社交云上不断增长，最终用户总是希望在朋友之间分享高清（HD）视频。大多数视频是通过智能手机和其他高清设备录制的，短时间视频的文件大小很大。大文件的视频需要高带宽上传和下载在互联网上，也需要更多的时间加载在网页上播放。因此，避免这个问题的社会云压缩视频在上传过程中流畅播放和快速加载的网页。压缩降低了视频质量，这也降低了最终用户的体验质量。在本文中，我们测量不同的标准视频文件格式的社交云的QoS，他们从彼此不同的分辨率，音频/视频比特率和存储大小。
2020-08-27 cs.MM cs.PF
Video compression dataset and benchmark of learning-based video-quality metrics
ISP RAS（俄罗斯科学院信息传输问题研究所）；Research Center for Trusted Artificial Intelligence（可信人工智能研究中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）
视频质量测量是视频处理中的一项重要任务。如今，许多新编码标准的实现（如AV1、VVC和LCEVC）都使用基于深度学习的解码算法，并将感知指标作为优化目标。但是，对现代视频和图像质量指标性能的调查通常使用使用旧标准（如AVC）压缩的视频。在本文中，我们提出了一个新的基准视频质量指标，评估视频压缩。它基于一个新数据集，由大约2，500个使用不同标准编码的流组成，包括AVC、HEVC、AV 1、VP 9和VVC。使用众包成对比较收集主观评分。评估的指标列表包括基于机器学习和神经网络的最新指标。结果表明，新的无参考指标表现出与主观质量的高度相关性，并接近顶级全参考指标的能力。
2023-02-07 cs.CV cs.MM
Video Tester -- A multiple-metric framework for video quality assessment over IP networks
本文提出了一个可扩展和可重用的框架，解决了IP网络视频质量评估的问题。建议的工具（称为视频测试仪）支持原始未压缩视频编码和解码。它还包括不同的IP视频传输方法（即：UDP单播和多播上的RTP，以及TCP上的RTP）。此外，它还具有丰富的离线分析功能。Video-Tester分析包括QoS和比特流参数估计（即：带宽、分组到达间隔时间、抖动和丢失率，以及GOP大小和I帧丢失率）。由于采用了基于Python的模块化方法，我们的设计促进了几乎任何现有视频质量指标的集成。Video-Tester目前提供PSNR、SSIM、ITU-T G.1070视频质量指标、DIV和基于PSNR的MOS估计。为了促进其使用和扩展，Video-Tester是开放的，可公开获取。
2013-01-24 cs.MM cs.PF
Quality-Aware Popularity Based Bandwidth Allocation for Scalable Video Broadcast over Wireless Access Networks
在无线接入网络上进行视频广播/组播是无线通信领域的一个研究热点。随着各种无线网络技术的快速发展，现在可以通过无线网络提供高质量的视频传输。高质量的视频流需要更高的带宽。因此，在通过无线网络进行视频传输时，最大限度地利用有限的带宽是非常重要的。因此，当许多广播视频会话是活动的时，可以基于视频会话（节目）的流行度来分配每个视频会话的带宽。而不是分配相等的带宽给他们中的每一个，我们提出的方案分配带宽每个广播视频会话的基础上流行的视频节目。当系统带宽不足以为所有活动视频会话分配所需的带宽时，我们提出的方案有效地在所有可伸缩活动视频会话之间分配总系统带宽，以这样一种方式将更高的带宽分配给更高的流行度。通过数学和仿真分析，我们证明了该方案最大化了平均用户满意度，并实现了最佳的带宽利用率。仿真结果表明，大量的用户可以接收到显着改善的视频质量。为了提高大量订户的视频质量，唯一的折衷是极少数订户接收略微降级的视频质量。
2015-10-14 cs.MM cs.NI
Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution
近十年来，视频流的自适应质量控制和超分辨率技术得到了深入的研究。随着边缘设备的改进，使其具有比以往任何时候都更出色的处理能力，流媒体用户可以提高接收到的图像质量，从而允许发射机压缩图像以节省功率或追求网络效率。在这个意义上说，本文提出了一种新的动态视频流算法，自适应压缩视频块在发送器和单独提高在接收器使用SR的质量。为了允许传输的视频块具有不同的压缩级别和控制的计算负担，我们提出了自适应SR网络，这是通过最小化从不同层输出提取的损失的加权和优化。用于动态视频流。此外，我们共同编排视频传输和资源使用，和建议的视频传输方案之间的平均视频质量，排队延迟，缓冲时间，传输功率和计算能力的权衡很好地平衡。仿真结果表明，该方案在不需要收发双方协作和非自适应SR网络的情况下，对视频流服务质量（QoS）的追求优于自适应质量控制。
2021-10-12 cs.DC cs.MM
No Reference Stereoscopic Video Quality Assessment Using Joint Motion and Depth Statistics
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们提出了一个无参考（NR）的质量评估算法评估自然立体3D（S3D）视频的感知质量。这项工作的灵感来自于我们的发现，自然S3D视频的运动（光流或运动矢量幅度）和深度（视差图）的子带系数的联合统计具有独特的签名。具体来说，我们经验表明，联合统计的运动和深度子带系数的S3D视频帧可以准确地使用双变量广义高斯分布（BGGD）建模。然后，我们证明了BGGD模型的参数具有辨别S3D视频中的质量变化的能力。因此，采用BGGD模型参数作为运动和深度质量特征。除了这些功能，我们依赖于帧级的空间质量特征，使用一个强大的现成的NR图像质量评估（IQA）算法计算。这些帧级运动、深度和空间特征被合并并与对应的S3D视频的差异平均意见得分（DMOS）标签一起用于使用支持向量回归（SVR）的监督学习。S3 D视频的总体质量是通过对组成视频帧的帧级质量预测求平均值来计算的。所提出的算法，被称为视频质量评估使用运动和深度统计（VQUEMODES）的最先进的方法进行评估时，IRCCYN和LFOVIA S3D主观质量评估数据库。
2017-11-15 cs.CV cs.MM
Perceptual Video Quality Assessment: A Survey
Shanghai Jiao Tong University（上海交通大学）
本文综述了感知视频质量评估领域，涵盖主观与客观方法、通用及特定应用（如流媒体、UGC、VR/AR等），并比较了最新技术的性能，为研究者提供系统参考。
2024-02-05 cs.CV cs.MM eess.IV
Multi-Frame Quality Enhancement for Compressed Video
Beihang University（北京航空航天大学）
在过去的几年里，我们见证了应用深度学习来提高压缩图像/视频质量的巨大成功。现有的方法主要集中在提高单帧图像的质量，而忽略了相邻帧之间的相似性。在本文中，我们研究了严重的质量波动存在于压缩视频帧，因此低质量的帧可以增强使用相邻的高质量帧，被称为多帧质量增强（MFQE）。因此，本文提出了一个MFQE方法压缩视频，作为第一次尝试在这个方向。在我们的方法中，我们首先开发了一个基于支持向量机（SVM）的检测器来定位压缩视频中的峰值质量帧（PQF）。然后，设计了一种新的多帧卷积神经网络（MF-CNN）来提高压缩视频的质量，其中非PQF及其最近的两个PQF作为输入。MF-CNN通过运动补偿子网（MC-子网）补偿非PQF和PQF之间的运动。随后，质量增强子网（QE子网）在其最近的PQF的帮助下减少非PQF的压缩伪影。最后，实验验证了我们的MFQE方法的有效性和通用性，在推进国家的最先进的压缩视频质量增强。我们的MFQE方法的代码可在https://github.com/ryangBUAA/MFQE.git上获得
2018-03-16 cs.CV cs.MM
Predictive No-Reference Assessment of Video Quality
Eindhoven University of Technology（埃因霍温理工大学）
在评估视频流质量的各种手段中，无参考（NR）方法具有低计算量并且可以在瘦客户端上执行。因此，NR算法将是实时质量评估，自动质量控制，特别是自适应移动流媒体的情况下，完美的候选人。然而，现有的NR方法往往是不准确的，相比全参考（FR）算法，特别是在有损网络条件下。在这项工作中，我们提出了一种NR方法，结合机器学习与简单的NR指标，以实现一个质量指标，如视频质量指标（VQM）的全参考算法一样准确。我们的方法在一个广泛的数据集（960个视频），在有损网络条件下，并考虑九种不同的机器学习算法进行了测试。总体而言，我们实现了与VQM的97%以上的相关性，同时允许在现实的流媒体场景中实时评估视频体验质量。
2016-04-27 cs.AI cs.MM
Streaming Video over HTTP with Consistent Quality
在传统的基于HTTP的自适应流传输（HAS）中，视频源以恒定比特率表示的多个级别进行编码，并且客户端根据测量的网络带宽进行其表示选择。虽然极大地简化了对变化的网络条件的适应，但这种策略并不是优化最终用户体验的视频质量的最佳方法。如果考虑到视频内容的自然变化，则可以减少质量波动。在这项工作中，我们研究了客户端速率自适应算法的设计，以产生一致的视频质量。我们假设客户端在有限的范围内可以看到传入的视频。我们还利用客户端视频缓冲区，将其用作呼吸空间，不仅用于网络带宽变化，还用于视频比特率变化。然而，挑战在于如何平衡这两个可变性，以产生一致的视频质量，而不冒缓冲区欠载的风险。我们提出了一个优化解决方案，使用在线算法来适应视频比特率逐步，而应用动态规划在每一步。我们将我们的解决方案，PANDA -一个实用的速率自适应算法设计的HAS部署规模。
2014-01-21 cs.MM cs.NI
NOVA: QoE-driven Optimization of DASH-based Video Delivery in Networks
我们考虑的问题，优化视频传输的网络支持视频客户端流存储的视频。具体而言，我们考虑的问题，联合优化网络资源分配和视频质量的适应。我们的目标是公平地最大限度地提高视频客户端的体验质量（QoE），实现平均质量，质量的时间变化和公平性之间的权衡，结合用户对重新缓冲和视频传输成本的偏好。我们提出了一个简单的渐近最优在线算法，NOVA，来解决这个问题。NOVA是异步的，并且使用最少的通信，将资源分配的任务分配给网络控制器，并且将质量适配分配给各个视频客户端。NOVA中的视频质量适配对于独立视频客户端也是最佳的，并且非常适合与DASH框架一起使用。此外，我们扩展NOVA用于更一般的QoE模型，与其他流量负载共享的网络和使用固定/传统资源分配的网络。
2013-09-25 cs.MM cs.NI
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）；Ningbo University（宁波大学）
自适应视频流的体验质量（QoE）评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案（DASH）的情况下尤其具有挑战性，其具有包括附加回放问题的日益复杂的特性。在本文中，我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后，我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析，我们观察到，混合模型的性能优于服务质量（QoS）驱动的QoE方法和信号保真度测量。此外，对于相同的设置，基于机器学习的模型略微优于不使用机器学习的模型。此外，我们发现，现有的视频流QoE评估模型仍然有有限的性能，这使得它很难在实际的通信系统中应用。因此，基于传统视频质量预测的深度学习特征表示的成功，我们还应用了现成的深度卷积神经网络（DCNN）来评估流视频的感知质量，其中考虑了流视频的时空特性。实验证明了它的优越性，这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
Valid Information Guidance Network for Compressed Video Quality Enhancement
BOE Technology Group Co., LTD.（京东方科技集团股份有限公司）
近年来，深度学习方法在压缩视频质量增强任务中显示出巨大的优越性。现有的方法通常将原始视频作为地面实况，并从包含各种伪影的连续帧中提取实用信息。然而，他们没有充分利用压缩和原始视频的有效信息来指导压缩视频的质量增强。在本文中，我们提出了一个独特的有效信息指导计划（VIG），以提高压缩视频的质量，从压缩视频和原始视频挖掘有效信息。具体来说，我们提出了一个有效的框架，压缩冗余过滤（CRF）网络，以平衡速度和增强。CRF通过对信息进行滤波去除冗余信息后，利用压缩视频的有效信息进行纹理重构。此外，我们提出了一个渐进的真理指导蒸馏（TGD）策略，它不需要设计额外的教师模型和蒸馏损失函数。通过仅使用地面真实值作为输入来引导模型在原始帧之间聚合正确的时空对应关系，TGD可以显着提高增强效果，而不会增加额外的训练成本。大量的实验表明，我们的方法实现了国家的最先进的性能压缩视频质量增强的准确性和效率。
2023-02-28 cs.CV cs.MM
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Bilibili Inc.（哔哩哔哩公司）
针对现有视频质量评估模型仅提供总体评分的问题，构建了首个大规模细粒度UGC视频质量数据库FineVD，并提出FineVQ模型实现质量评级、评分与归因，达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
Rate-Quality or Energy-Quality Pareto Fronts for Adaptive Video Streaming?
本文提出基于解码能耗-质量曲线而非传统码率-质量曲线构建自适应视频流传输的码率阶梯，在YouTube-UGC数据集上评估表明该方法在体验质量可比时平均降低28-31%能耗。
2024-02-10 cs.MM eess.IV
RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google LLC（谷歌有限责任公司）
用户生成内容（UGC）的盲或无参考视频质量评估已经成为一个趋势，具有挑战性，迄今尚未解决的问题。因此，非常需要适合该内容的准确和高效的视频质量预测器，以实现对UGC视频的更智能的分析和处理。先前的研究表明，自然场景统计和深度学习特征都足以捕获空间失真，这是UGC视频质量问题的一个重要方面。然而，在实际应用中，这些模型对于预测复杂多样的UGC视频的质量是无能为力或效率低下的。在这里，我们为UGC内容介绍了一个有效和高效的视频质量模型，我们称之为快速准确的视频质量评估器（RAPIQUE），我们显示它可以执行最先进的（SOTA）模型，但运行时间更快。RAPIQUE结合并利用了质量感知场景统计特征和语义感知深度卷积特征的优势，使我们能够设计第一个通用且高效的空间和时间（时空）带通统计模型，用于视频质量建模。我们在最近的大规模UGC视频质量数据库上的实验结果表明，RAPIQUE在所有数据集上都能以相当低的计算开销提供最佳性能。我们希望这项工作能够促进和激励进一步的努力，为潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公众使用，RAPIQUE的一个实施方案已在网上免费提供：\url{https://github.com/vztu/RAPIQUE}。
2021-11-14 cs.CV cs.MM eess.IV
Sphere-GAN: a GAN-based Approach for Saliency Estimation in 360° Videos
Department of Information Engineering University of Padova（信息工程系 佩鲁贾大学）
本文提出Sphere-GAN，一种基于球面卷积生成对抗网络的360°视频显著性检测模型，实验证明其在公共数据集上准确预测显著性图的能力优于现有最先进模型。
2025-09-15 cs.CV cs.MM eess.IV
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research（商汤科技研究院）；Tetras AI
随着非专业人员拍摄的野外视频的快速增长，盲视频质量评估（VQA）已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题，但仍然不清楚人类视觉系统（HVS）如何与视频的时间质量相关。同时，最近的工作已经发现，自然视频的帧被转换到HVS的感知域，往往会形成一个直线轨迹的表示。与所获得的洞察，失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示，我们提出了一个时间感知质量指数（TPQI）来衡量时间失真描述的图形形态的表示。具体来说，我们首先提取视频感知表示从外侧膝状体核（LGN）和初级视觉区（V1）的HVS，然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明，HVS中的感知表示是预测主观时间质量的有效方法，因此TPQI可以首次实现与空间质量度量相当的性能，并且在评估具有较大时间变化的视频时更加有效。我们进一步证明，通过结合NIQE，一个空间质量度量，TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是，TPQI不需要任何额外的信息，因此可以应用于任何数据集，而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能公司）
用户生成内容（UGC）视频的快速增长要求开发有效的视频质量评估（VQA）算法。然而，UGC-VQA问题的目标仍然是模糊的，可以从两个角度来看：技术的角度来看，测量失真的感知;和美学的角度来看，这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见，我们进行了一项大规模的主观研究，以收集人类对视频整体质量的意见，以及从美学和技术角度的看法。收集的视频质量数据库（DIVIDE-3 k）证实，人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此，我们提出了解纠缠客观视频质量评估器（DOVER）学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中，我们进一步提出了DOVER++，这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
Barriers towards no-reference metrics application to compressed video quality analysis: on the example of no-reference metric NIQE
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Dubna State University（杜布纳国立大学）
本文分析了无参考度量NIQE在视频编解码器比较任务中的应用。检测并描述了视频度量行为中的一些问题。该指标在黑色和纯色框架上具有外围分数。所提出的度量质量分数的平均技术在某些情况下有助于改善结果。此外，NIQE对于具有详细纹理的视频具有低质量分数，并且由于压缩后这些纹理的模糊，对于较低比特率的视频具有较高分数。虽然NIQE显示了许多测试视频的自然结果，但它并不通用，目前无法用于视频编解码器比较。
2019-08-29 cs.CV cs.GR cs.MM
Real Time Video Quality Representation Classification of Encrypted HTTP Adaptive Video Streaming - the Case of Safari
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Ariel University（阿里尔大学）
HTTP自适应视频流服务的日益普及大大增加了运营商网络的带宽要求，运营商网络试图通过深度数据包检测（DPI）来塑造其流量。不过，谷歌和某些内容提供方已经开始对他们的视频服务进行加密。因此，运营商在通过DPI塑造其加密视频流量时经常遇到困难。这突出了对加密HTTP自适应视频流的新流量分类方法的需求，以实现智能流量整形。这些新方法必须有效地估计质量表示层和播放缓冲区。我们提出了一种新的方法，并首次表明（YouTube）加密HTTP自适应流的视频质量表示分类是可能的。我们分析了这种分类方法与Safari在HTTPS上的性能。基于大量的离线和在线流量分类实验，我们证明了它可以独立地分类，在实时的，每个视频片段到一个质量表示层，平均准确率为97.18%。
2016-02-19 cs.CR cs.LG cs.MM
Coding Estimation based on Rate Distortion Control of H.264 Encoded Videos for Low Latency Applications
本文针对低时空分辨率视频，研究了H.264编码条件对感知质量的影响，通过120种测试场景分析发现，视频质量问题并非源于糟糕编码，而是由率失真控制追踪出的信道容量所致。
2023-03-16 cs.IT cs.MM math.IT
GAMIVAL: Video Quality Prediction on Mobile Cloud Gaming Content
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Platforms Inc.（Meta平台公司）
GAMIVAL通过结合空间和时间失真场景统计模型、神经噪声模型和深度语义特征，实现对移动云游戏内容视频质量的高效预测。
2023-08-29 cs.CV cs.LG cs.MM
Enabling Quality-Driven Scalable Video Transmission over Multi-User NOMA System
最近，已经提出了非正交多址（NOMA）以实现比传统正交多址更高的频谱效率。尽管它有潜力满足日益增长的视频服务需求，但提供高性能的视频流仍然具有挑战性。在这项研究中，我们调查，为第一次，多用户NOMA系统设计的视频传输。在吞吐量或可靠性方面，已经提出了各种NOMA系统用于数据传输。然而，感知质量或用户的体验质量对于视频传输更为关键。基于此，我们设计了一个质量驱动的可伸缩视频传输框架，跨层支持多用户NOMA。为了实现低复杂度的多用户NOMA操作，提出了一种新的用户分组策略。在建议的框架中的关键功能包括编码视频的质量模型与NOMA传输的物理层模型的集成，和制定多用户基于NOMA的视频传输作为一个质量驱动的功率分配问题。由于该问题是非凹的，基于隐单调性给出了一个全局最优算法和一个多项式时间复杂度的次优算法。仿真结果表明，所提出的多用户NOMA系统优于现有的方案在各种视频传输场景。
2018-01-16 cs.IT cs.MM cs.NI
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库，并提出FAVOR质量评估指标，系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
