Optimal Quality and Efficiency in Adaptive Live Streaming with JND-Aware Low latency Encoding
针对HTTP自适应直播流编码质量与效率优化问题,提出JND感知低延迟编码方案JALE,通过随机森林模型联合优化编码器预设与线程数,在维持编码速度的同时显著提升画质并降低存储、CPU用量与编码时间。
2024-01-27 cs.MM
PC-JND: Subjective Study and Dataset on Just Noticeable Difference for Point Clouds in 6DoF Virtual Reality
该研究在6DoF VR环境下探究点云恰可察觉差(PCJND)特性,发现纹理PCJND小于几何PCJND、色彩丰富度与纹理PCJND相关,并发布了PC-JND数据集以支撑沉浸式媒体感知优化研究。
2025-07-29 cs.MM
A GMM-Based Stair Quality Model for Human Perceived JPEG Images
University of Southern California(南加州大学)
基于最小可察觉差异(JND)的概念,最近提出了一种阶梯质量函数(SQF)来模拟人类对JPEG图像的感知。此外,采用k-均值聚类算法来聚合从多个受试者收集的JND数据以生成单个SQF。在这项工作中,我们提出了一种新的方法来推导SQF使用高斯混合模型(GMM)。新导出的SQF可以被解释为表征平均观看者体验的方式。此外,它具有比前一个更低的信息准则(BIC)值,表明它提供了更好的模型。最后通过一个具体的算例说明了该方法的优越性。
2015-11-11 cs.CV cs.MM
Predicting Encoding Energy from Low-Pass Anchors for Green Video Streaming
Institute of Information Technology, University of Klagenfurt(克拉根福大学信息技术研究所)
本文提出一种轻量级能耗预测方法,利用低分辨率参考编码估计高分辨率视频编码能耗,在保持感知质量的同时实现超50%的编解码节能。
2025-11-01 cs.MM
Quality-Aware Dynamic Resolution Adaptation Framework for Adaptive Video Streaming
提出QADRA框架,利用XGBoost预测XPSNR,在线优化编码分辨率与QP,并消除感知冗余表示,以提升自适应视频流质量并控制编码解码时间。
2024-03-16 cs.MM
Video Super-Resolution for Optimized Bitrate and Green Online Streaming
本文提出ViSOR方案,利用视频超分辨率在时延约束下优化编码分辨率,降低码率与能耗,实验显示码率降低24.65%-32.70%,存储和能耗分别减少79.32%和68.21%。
2024-02-05 cs.MM
Watching Videos with Certain and Constant Quality: PID-based Quality Control Method
在视频编码中,具有确定和恒定质量的压缩视频可以确保体验质量(QoE)。为此,本文提出了一种新的基于PID的视频编码质量控制(PQC)方法。具体地说,一个配方建模,以控制视频编码的质量有两个目标:最大限度地减少控制误差和质量波动。然后,我们应用拉普拉斯域分析模型的量化参数(QP)和控制误差之间的关系,在这个公式。鉴于QP和控制误差之间的关系,我们提出了一个解决方案的PQC制定,这样视频可以压缩在一定的和恒定的质量。最后,实验结果表明,我们的PQC方法是有效的控制精度和质量波动。
2017-10-27 cs.MM
A hybrid video quality metric for analyzing quality degradation due to frame drop
在过去的十年中,不断发展的互联网技术提供了平台,共享多媒体数据之间的不同社区。由于最终用户是关注视觉信息质量的人类主体,因此通常希望视频具有良好的恢复感知质量,从而产生了质量评估的需要。本文提出了一种全参考混合视频质量度量,它能够分析视频质量的空间或时间(帧丢失)或时空失真的视频序列。仿真结果表明,该方法能有效地分析图像质量的下降,更接近于人类视觉系统的发展
2014-05-21 cs.MM
Pano: Optimizing 360° Video Streaming with a Better Understanding of Quality Perception
流式传输360°视频比非360°视频需要更多的带宽。这是因为当前的解决方案假设用户以与他们感知非360°视频的质量相同的方式感知360 °视频的质量。这意味着带宽需求必须与用户视野的大小成比例。然而,我们发现了360°视频特有的几个质量决定因素,这有助于降低带宽需求。它们包括用户视点(用户视野的中心)的移动速度、视频亮度的最近变化以及视点周围的视觉对象的景深差异。本文介绍了Pano,一个利用360°视频特定因素的360°视频流系统。我们做了三个贡献。(1)我们为360°视频构建了一个新的质量模型,该模型捕捉了360°视频特定因素的影响。(2)Pano提出了一种可变大小的平铺方案,以便在感知质量和视频编码效率之间取得平衡。(3)Pano提出了一种新的质量自适应逻辑,可以最大限度地提高360°视频用户感知的质量,并且易于部署。我们的评估(基于用户研究和跟踪分析)表明,与最先进的技术相比,Pano可以节省41-46%的带宽而不会降低感知质量,或者可以在不使用更多带宽的情况下将感知质量(用户评级)提高25%-142%。
2019-11-11 cs.MM
Analysis of video quality losses in the homogenous HEVC video transcoding
定量分析了同构HEVC视频转码器中的视频质量损失。通过使用HM15.0参考软件和一组测试视频序列,级联像素域视频转码器(CPDT)的概念已被用于收集分析所需的所有必要数据。该实验针对宽范围的源和目标比特率进行。这项工作的主要结果是广泛的评估CPDT,通常用作有效的视频转码工作的参考。到目前为止,文献中还没有这样广泛进行的研究。已经报道了转码视频与将原始视频以与转码视频相同的比特率直接压缩的视频之间的质量劣化。由转码引起的质量降级与转码数据流的比特率变化之间的依赖性在图上清楚地呈现。
2017-02-24 cs.MM
QARC: Video Quality Aware Rate Control for Real-Time Video Streaming via Deep Reinforcement Learning
由于各种网络条件下吞吐量的波动性,如何自适应地选择合适的比特率来传输实时的【形】视频流成为一个即将到来的有趣的问题。最近的工作集中在提供高视频比特率,而不是视频质量。然而,我们注意到在发送比特率和视频质量之间存在权衡,这促使我们关注如何在它们之间取得平衡。在本文中,我们提出了QARC(视频质量感知速率控制),一种速率控制算法,其目的是有一个更高的感知视频质量与可能较低的发送速率和传输延迟。从头开始,QARC使用深度强化学习(DRL)算法来训练一个神经网络,以根据先前观察到的网络状态和过去的视频帧来选择未来的比特率,我们设计了一个神经网络来预测未来的感知视频质量,作为替代DRL输入中原始图片的向量。我们通过跟踪驱动的仿真来评估QARC。作为例外,QARC改进了现有的方法。
2018-10-27 cs.MM
Multi-feature 360 Video Quality Estimation
我们提出了一种新的360度(全向)视频的视觉质量评估方法。该方法基于从360度视频中提取的视点上的多个时空客观质量特征的计算。一个新的模型被学习,以适当地将这些特征组合成一个与主观质量分数密切匹配的度量。所提出的方法的主要动机是:1)在视口上计算的质量度量比在投影域上计算的度量更好地捕获用户体验; 2)视口的使用容易支持当前360度视频系统中使用的不同投影方法;以及3)没有一个单独的客观图像质量度量对于所有类型的视觉失真总是表现最好,而它们的学习组合能够适应不同的条件。基于最大的360度视频质量数据集和交叉数据集验证的实验结果表明,所提出的度量优于最先进的360度和2D视频质量度量。
2021-05-02 cs.MM
Investigating Correlations of Automatically Extracted Multimodal Features and Lecture Video Quality
多媒体内容(例如视频)的排名和推荐通常相对于与用户查询的相关性来实现。然而,对于讲座视频和MOOC(大规模开放式在线课程),不仅需要检索相关视频,而且特别需要找到促进学习的高质量讲座视频,例如,独立于视频或演讲者的受欢迎程度。因此,关于讲座视频质量的元数据是学习上下文的关键特征,例如,讲座视频推荐在搜索作为学习场景。在本文中,我们调查是否自动提取的功能相关的视频质量方面。一组来自大众开放式在线课程(MOOC)的学术视频进行了音频,语言和视觉特征的分析。此外,提出了一组跨模态的功能,这是通过结合成绩单,音频,视频和幻灯片内容。进行用户研究,调查自动收集的功能和人类的评价质量方面的讲座视频之间的相关性。最后,我们的功能上的知识获得的参与者的影响进行了讨论。
2020-05-28 cs.MM
Perceptual quality comparison between single-layer and scalable videos at the same spatial, temporal and amplitude resolutions
在本文中,感知质量之间的差异,可伸缩和单层视频编码在相同的空间,时间和幅度分辨率(STAR)的影响,通过主观测试,使用移动平台。考虑三个源视频,并且对于每个源视频,在9个不同的STAR处比较单层和可伸缩视频。我们利用配对比较方法,有和没有领带选项。从无“领带”选项中的10名受试者和有“领带”选项中的6名受试者收集的结果表明,当以相同STAR编码时,可伸缩视频和单层视频之间没有显著的质量差异。还进行方差分析(ANOVA)检验以进一步证实该发现。
2012-06-08 cs.MM
Evaluation of No Reference Bitstream-based Video Quality Assessment Methods
在过去的几年中,已经提出了许多不同的视频质量评估的参数模型。本文介绍了一个审查最近的九个模型,涵盖了广泛的方法,并已被验证用于估计视频质量,由于不同的退化因素。每个模型都简要介绍了关键算法和相关的参数公式。每个模型的泛化能力,以估计在实际应用场景中的视频质量进行评估,并与其他模型进行比较,使用从实际应用中的视频序列创建的数据集。这些视频序列涵盖了广泛的可能的现实编码参数,通过主观测试的平均意见分数(MOS)标记。指出了各模型的优缺点。最后,对一个更一般的参数模型,可以适用于更广泛的应用程序的未来工作进行了讨论。
2017-06-30 cs.MM
Backward-Shifted Coding (BSC) based on Scalable Video Coding for HAS
HTTP自适应流媒体的主要任务是在可变的网络条件下动态地调整视频质量。这是多媒体传送的关键特征,尤其是当服务质量不能在网络范围内被授予时,吞吐量可能遭受短期波动。因此,鲁棒的比特率自适应方案变得至关重要,以提高视频质量。在这种情况下,目标是控制回放缓冲器的填充水平并最大化视频的质量,同时避免不必要的视频质量变化。在本文中,我们研究的比特率自适应算法的基础上后移编码(BSC),可伸缩的视频编码方案,能够大大提高视频质量。我们设计的比特率自适应算法,平衡视频速率平滑和高网络容量利用率,利用基于吞吐量和基于缓冲区的自适应机制。使用合成和真实世界的视频流量跟踪的广泛模拟表明,即使在具有挑战性的网络条件下,该方案也表现得非常好。
2016-10-07 cs.MM
Modeling the Time-varying Subjective Quality of HTTP Video Streams with Rate Adaptations
新开发的基于HTTP的视频流技术能够在不同的信道条件下实现灵活的速率自适应。因此,准确地预测速率自适应HTTP视频流的用户体验质量(QoE)对于实现效率至关重要。理解和建模QoE的一个重要方面是预测视频在播放时的最新主观质量,由于人类行为响应中的滞后效应和非线性,这是困难的。提出了一种用于预测码率自适应视频时变主观质量的Hammerstein-Wiener模型。为了收集用于模型参数化和验证的数据,建立了具有时变失真的较长持续时间视频的数据库,并在大规模主观研究中测量了视频的TVSQ。该方法能够可靠地预测速率自适应视频的TVSQ。由于Hammerstein-Wiener模型具有非常简单的结构,因此所提出的方法适用于基于HTTP的流媒体中的在线TVSQ预测。
2013-11-25 cs.MM
Rate Adaptation and Admission Control for Video Transmission with Subjective Quality Constraints
在流媒体期间调整视频数据率可以有效降低因频道吞吐量波动而导致播放中断的风险。然而,速率的变化也引入视频质量波动,并且因此潜在地影响观看者的体验质量(QoE)。我们展示了如何通过速率自适应和准入控制来提高视频用户的QoE。我们进行了一项主观研究,其中我们发现观众的QoE与预测视频质量的经验累积分布函数(eCDF)密切相关。基于这一观察,我们提出了一种速率自适应算法,可以将QoE约束的经验累积质量分布每个用户。然后,我们提出了一个基于阈值的准入控制策略,以阻止用户的经验累积质量分布是不可能满足他们的QoE约束。我们进一步设计了一个在线自适应算法来自动优化阈值。大量的仿真结果表明,该方案可以减少$40\%$比传统的平均质量最大化速率自适应算法的网络资源消耗。
2013-11-25 cs.MM
Learning Quality from Complexity and Structure: A Feature-Fused XGBoost Model for Video Quality Assessment
面向部分参考视频质量评估,提出融合 VCA 时空特征、SSIM、时间池化与残差特征的 XGBoost 模型,在无需深度网络和 GPU 的情况下实现具竞争力的主观质量预测。
2025-06-11 cs.MM
Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务,但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析,提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能(吞吐量)和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制,而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要,这不能通过其他客观指标(如PSNR、SSIM和缓冲区欠载或暂停频率)进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试,使用一系列的视频剪辑。它表明,暂停强度是密切相关的观众的意见分数,无论有很大的不同组成的个别元素,如暂停持续时间和暂停频率,共同构成这个新的质量指标。研究还表明,停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
An Augmented Autoregressive Approach to HTTP Video Stream Quality Prediction
基于HTTP的视频流技术允许灵活的速率选择策略,该策略考虑到随时间变化的网络条件。这样的速率变化可能对用户的体验质量产生不利影响;因此,对时变主观质量的在线预测可以导致感知上优化的比特率分配策略。最近的研究提出了使用动态网络方法进行连续时间预测,但他们不考虑多个视频质量模型作为输入,也不考虑预测合奏。在这里,我们解决的问题,预测连续时间的主观质量使用多个输入馈送到一个非线性自回归网络。通过考虑多个网络配置和应用简单的平均预测技术,我们能够大大提高预测性能,减少预测误差。
2017-07-10 cs.MM
Encoding Bitrate Optimization Using Playback Statistics for HTTP-based Adaptive Video Streaming
HTTP视频流被广泛用于在互联网上传输视频。通过HTTP自适应流传输,视频回放基于可用带宽和视口(屏幕)大小从预编码表示中动态选择视频流。因此,观看者的视频质量受到编码比特率的影响。我们最小化的平均交付的比特率受到质量下限的基础上,每个块通过建模的概率,玩家选择一个特定的编码。通过仿真和实际实验,该方法在保证平均视频传输质量的前提下,与现有技术相比节省了9.6%的带宽。
2017-10-13 cs.MM
Video Quality Assessment with Texture Information Fusion for Streaming Applications
本文提出VQ-TIF模型,通过融合DCT能量、SSIM和时空特征并利用LSTM估计视频视觉质量,在保持高相关性的同时显著提升计算速度并降低能耗。
2024-01-24 cs.MM
Enhancing Quality for HEVC Compressed Videos
最新的高效视频编码(HEVC)标准已经越来越多地应用于通过互联网生成视频流。然而,HEVC压缩视频可能导致严重的质量劣化,特别是在低比特率下。因此,有必要在解码器侧增强HEVC视频的视觉质量。为此,本文提出了一种质量增强卷积神经网络(QE-CNN)方法,该方法不需要对编码器进行任何修改来实现HEVC的质量增强。特别地,我们的QE-CNN方法学习QE-CNN-I和QE-CNN-P模型,以分别减少HEVC I和P帧的失真。所提出的方法不同于现有的基于CNN的质量增强方法,其仅处理帧内编码失真,因此不适合于P帧。我们的实验结果验证了我们的QE-CNN方法在增强HEVC视频的I帧和P帧的质量方面是有效的。为了将我们的QE-CNN方法应用于时间受限的场景,我们进一步提出了一种时间受限的质量增强优化(TQEO)方案。我们的TQEO方案控制QE-CNN的计算时间以满足目标,同时最大限度地提高质量。接下来,实验结果表明,我们的TQEO方案的有效性,从时间控制精度和质量增强方面在不同的时间约束。最后,我们设计了一个原型来实现我们的TQEO计划在实时场景。
2018-07-06 cs.MM
UGC-VIDEO: perceptual quality assessment of user-generated videos
近年来,互联网上的用户生成内容(UGC)视频数量不断增长。然而,UGC视频感知质量评估的进展仍然相当有限。在完整的视频制作和交付链中,UGC视频有许多突出的特点,与视频质量密切相关的一个重要属性是,在上传到托管平台后,不存在原始源,因此在最终观看之前,它们通常经过多个压缩阶段。为了方便UGC视频质量评估,我们创建了UGC视频感知质量评估数据库。它包含从TikTok收集的50个源视频,内容多样,以及通过不同量化级别和编码标准压缩生成的多个失真版本。采用主观质量评价方法对视频质量进行评价。此外,我们使用现有的质量评估算法对数据库进行基准测试,并观察到未来提高UGC视频质量测量准确性的潜在空间。
2019-09-12 cs.MM eess.IV
Objective video quality metrics application to video codecs comparisons: choosing the best for subjective quality estimation
Lomonosov Moscow State University(莫斯科国立大学);Dubna State University(杜布纳国立大学)
质量评估在创建和比较视频压缩算法中起着关键作用。尽管开发了大量的新方法来评估质量,但公认的和众所周知的编解码器比较主要使用经典方法,如PSNR,SSIM和新方法VMAF。这些方法可以按照不同的规则计算:它们可以使用不同的逐帧平均技术或不同的颜色分量总和。在本文中,一个基本的比较各种版本的普遍接受的指标进行,以找到最相关的和推荐的版本的视频质量指标用于编解码器的比较。为了进行比较,我们使用了一组用不同标准的视频编解码器编码的视频,以及从2018年到2021年收集的视频流的视觉质量分数
2021-07-21 cs.CV cs.MM
DaI: Decrypt and Infer the Quality of Real-Time Video Streaming
对网络服务质量的推断是网络运营商进行优化的重要依据。然而,主流的实时的【形】视频流应用采用加密的安全性,留下了一个问题,提取实时的【形】视频的服务质量(QoS)指标。在本文中,我们提出了DaI,一个基于流量的实时的【形】视频质量估计。DaI可以部分解密加密的实时的【形】视频数据,并应用机器学习方法来估计实时的【形】视频的关键客观体验质量(QoE)度量。根据实验结果,DaI可以估计客观的QoE指标,平均准确率为79%。
2022-11-04 cs.MM cs.NI
SpatioTemporal Feature Integration and Model Fusion for Full Reference Video Quality Assessment
感知视频质量评估模型是基于帧的或基于视频的,即,它们应用时空滤波或运动估计来捕获时间视频失真。尽管基于视频的方法在视频质量数据库上表现良好,但它们耗时且难以有效部署。为了在高性能和计算效率之间取得平衡,Netflix开发了视频多方法评估融合(VMAF)框架,该框架集成了多个质量感知功能来预测视频质量。然而,这种融合框架并没有充分利用时间视频质量测量,这是相关的时间视频失真。为此,我们提出了两个改进的VMAF框架:时空VMAF和Ensemble VMAF。这两种算法都利用了有效的时间视频特征,这些特征被馈送到单个或多个回归模型中。为了训练我们的模型,我们设计了一个大型的主观数据库,并评估了所提出的模型对国家的最先进的方法。比较的算法将作为开放源代码包的一部分在https://github.com/Netflix/vmaf上提供。
2018-04-13 cs.MM eess.IV
On Evaluating Perceptual Quality of Online User-Generated Videos
本文讨论的问题的感知质量评价的用户生成的视频在线共享,这是一个重要的一步,设计视频共享服务,最大限度地提高用户的满意度在质量方面。我们首先分析观众的质量感知模式,应用图形分析技术的主观评级数据。然后,我们检查现有的国家的最先进的客观指标的用户生成的视频的质量估计的性能。此外,我们调查的可行性元数据伴随着视频在线视频共享服务的质量估计。最后,讨论了在线用户生成视频质量评估中的各种问题,包括困难和机遇。
2018-09-14 cs.MM eess.IV
Deep Local and Global Spatiotemporal Feature Aggregation for Blind Video Quality Assessment
近年来,深度学习在多媒体质量评估,特别是图像质量评估(IQA)方面取得了巨大的成功。然而,由于视频中存在更复杂的时间特性,因此通过利用强大的深度卷积神经网络(DCNN)对视频质量评估(VQA)进行的工作很少。在本文中,我们提出了一种高效的VQA方法,称为深度时空视频质量评估器(DeepSTQ),以无参考的方式预测各种失真视频的感知质量。在提出的DeepSTQ中,我们首先通过预训练的深度学习模型提取局部和全局时空特征,而无需从头开始进行微调或训练。合成的特征考虑了失真的视频帧以及来自全局和局部视图的帧差异图。然后,通过回归模型进行特征聚合以预测感知视频质量。最后,实验结果表明,我们提出的DeepSTQ优于最先进的质量评估算法。
2020-09-07 cs.MM eess.IV
User-generated Video Quality Assessment: A Subjective and Objective Study
最近,我们观察到用户生成内容(UGC)视频呈指数级增长。UGC视频的独特性源于视频制作和交付链,因为它们通常由非专业用户获取和处理,然后上传到托管平台进行分享。因此,这些视频通常在最终被观看之前经历可能影响视觉质量的多个失真阶段。受视频编码和处理的优化应完全由感知质量驱动的共识的启发,本文提出从客观和主观两个角度研究UGC视频的质量。我们首先建立了一个UGC视频质量评估(VQA)数据库,旨在为托管平台中的UGC视频编码和处理提供有用的指导。该数据库包含上传到平台的源UGC视频及其最终由最终用户欣赏的转码版本,以及他们的主观评分。此外,我们开发了一个客观的质量评估算法,自动评估质量的转码视频的基础上损坏的参考,这是根据UGC视频共享在托管平台的应用场景。来自损坏的参考的信息被很好地利用,并且质量基于利用深度神经网络(DNN)推断的质量图来预测。实验结果表明,该方法具有优越的性能。对UGC视频的主观和客观评价也为感知UGC视频编码的设计提供了启示。
2020-05-18 cs.MM eess.IV
FPGA implementation of the procedures for video quality assessment
各种媒体中使用的视频分辨率不断提高。虽然制造商努力完善他们的屏幕,但确保显示图像的高质量也很重要。总体质量可以使用平均意见得分(MOS)来衡量。视频质量可能会受到各种各样的伪影的影响,这些伪影出现在视频创建和传输的每个阶段。在本文中,我们提出了一个解决方案,以计算四个不同的视频质量指标,可以应用于一个实时的视频质量评估系统。我们的评估模块能够以每秒30帧的速度实时的处理8 K分辨率。2.19 GB/s的吞吐量超过了纯软件解决方案的性能。为了专注于架构优化,该模块使用高级语言创建。
2017-05-03 cs.MM cs.PF
Quality of Service (QoS): Measurements of Video Streaming
如今,视频流在社交云上不断增长,最终用户总是希望在朋友之间分享高清(HD)视频。大多数视频是通过智能手机和其他高清设备录制的,短时间视频的文件大小很大。大文件的视频需要高带宽上传和下载在互联网上,也需要更多的时间加载在网页上播放。因此,避免这个问题的社会云压缩视频在上传过程中流畅播放和快速加载的网页。压缩降低了视频质量,这也降低了最终用户的体验质量。在本文中,我们测量不同的标准视频文件格式的社交云的QoS,他们从彼此不同的分辨率,音频/视频比特率和存储大小。
2020-08-27 cs.MM cs.PF
Video compression dataset and benchmark of learning-based video-quality metrics
ISP RAS(俄罗斯科学院信息传输问题研究所);Research Center for Trusted Artificial Intelligence(可信人工智能研究中心);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学)
视频质量测量是视频处理中的一项重要任务。如今,许多新编码标准的实现(如AV1、VVC和LCEVC)都使用基于深度学习的解码算法,并将感知指标作为优化目标。但是,对现代视频和图像质量指标性能的调查通常使用使用旧标准(如AVC)压缩的视频。在本文中,我们提出了一个新的基准视频质量指标,评估视频压缩。它基于一个新数据集,由大约2,500个使用不同标准编码的流组成,包括AVC、HEVC、AV 1、VP 9和VVC。使用众包成对比较收集主观评分。评估的指标列表包括基于机器学习和神经网络的最新指标。结果表明,新的无参考指标表现出与主观质量的高度相关性,并接近顶级全参考指标的能力。
2023-02-07 cs.CV cs.MM
Video Tester -- A multiple-metric framework for video quality assessment over IP networks
本文提出了一个可扩展和可重用的框架,解决了IP网络视频质量评估的问题。建议的工具(称为视频测试仪)支持原始未压缩视频编码和解码。它还包括不同的IP视频传输方法(即:UDP单播和多播上的RTP,以及TCP上的RTP)。此外,它还具有丰富的离线分析功能。Video-Tester分析包括QoS和比特流参数估计(即:带宽、分组到达间隔时间、抖动和丢失率,以及GOP大小和I帧丢失率)。由于采用了基于Python的模块化方法,我们的设计促进了几乎任何现有视频质量指标的集成。Video-Tester目前提供PSNR、SSIM、ITU-T G.1070视频质量指标、DIV和基于PSNR的MOS估计。为了促进其使用和扩展,Video-Tester是开放的,可公开获取。
2013-01-24 cs.MM cs.PF
Quality-Aware Popularity Based Bandwidth Allocation for Scalable Video Broadcast over Wireless Access Networks
在无线接入网络上进行视频广播/组播是无线通信领域的一个研究热点。随着各种无线网络技术的快速发展,现在可以通过无线网络提供高质量的视频传输。高质量的视频流需要更高的带宽。因此,在通过无线网络进行视频传输时,最大限度地利用有限的带宽是非常重要的。因此,当许多广播视频会话是活动的时,可以基于视频会话(节目)的流行度来分配每个视频会话的带宽。而不是分配相等的带宽给他们中的每一个,我们提出的方案分配带宽每个广播视频会话的基础上流行的视频节目。当系统带宽不足以为所有活动视频会话分配所需的带宽时,我们提出的方案有效地在所有可伸缩活动视频会话之间分配总系统带宽,以这样一种方式将更高的带宽分配给更高的流行度。通过数学和仿真分析,我们证明了该方案最大化了平均用户满意度,并实现了最佳的带宽利用率。仿真结果表明,大量的用户可以接收到显着改善的视频质量。为了提高大量订户的视频质量,唯一的折衷是极少数订户接收略微降级的视频质量。
2015-10-14 cs.MM cs.NI
Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution
近十年来,视频流的自适应质量控制和超分辨率技术得到了深入的研究。随着边缘设备的改进,使其具有比以往任何时候都更出色的处理能力,流媒体用户可以提高接收到的图像质量,从而允许发射机压缩图像以节省功率或追求网络效率。在这个意义上说,本文提出了一种新的动态视频流算法,自适应压缩视频块在发送器和单独提高在接收器使用SR的质量。为了允许传输的视频块具有不同的压缩级别和控制的计算负担,我们提出了自适应SR网络,这是通过最小化从不同层输出提取的损失的加权和优化。用于动态视频流。此外,我们共同编排视频传输和资源使用,和建议的视频传输方案之间的平均视频质量,排队延迟,缓冲时间,传输功率和计算能力的权衡很好地平衡。仿真结果表明,该方案在不需要收发双方协作和非自适应SR网络的情况下,对视频流服务质量(QoS)的追求优于自适应质量控制。
2021-10-12 cs.DC cs.MM
No Reference Stereoscopic Video Quality Assessment Using Joint Motion and Depth Statistics
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们提出了一个无参考(NR)的质量评估算法评估自然立体3D(S3D)视频的感知质量。这项工作的灵感来自于我们的发现,自然S3D视频的运动(光流或运动矢量幅度)和深度(视差图)的子带系数的联合统计具有独特的签名。具体来说,我们经验表明,联合统计的运动和深度子带系数的S3D视频帧可以准确地使用双变量广义高斯分布(BGGD)建模。然后,我们证明了BGGD模型的参数具有辨别S3D视频中的质量变化的能力。因此,采用BGGD模型参数作为运动和深度质量特征。除了这些功能,我们依赖于帧级的空间质量特征,使用一个强大的现成的NR图像质量评估(IQA)算法计算。这些帧级运动、深度和空间特征被合并并与对应的S3D视频的差异平均意见得分(DMOS)标签一起用于使用支持向量回归(SVR)的监督学习。S3 D视频的总体质量是通过对组成视频帧的帧级质量预测求平均值来计算的。所提出的算法,被称为视频质量评估使用运动和深度统计(VQUEMODES)的最先进的方法进行评估时,IRCCYN和LFOVIA S3D主观质量评估数据库。
2017-11-15 cs.CV cs.MM
Multi-Frame Quality Enhancement for Compressed Video
Beihang University(北京航空航天大学)
在过去的几年里,我们见证了应用深度学习来提高压缩图像/视频质量的巨大成功。现有的方法主要集中在提高单帧图像的质量,而忽略了相邻帧之间的相似性。在本文中,我们研究了严重的质量波动存在于压缩视频帧,因此低质量的帧可以增强使用相邻的高质量帧,被称为多帧质量增强(MFQE)。因此,本文提出了一个MFQE方法压缩视频,作为第一次尝试在这个方向。在我们的方法中,我们首先开发了一个基于支持向量机(SVM)的检测器来定位压缩视频中的峰值质量帧(PQF)。然后,设计了一种新的多帧卷积神经网络(MF-CNN)来提高压缩视频的质量,其中非PQF及其最近的两个PQF作为输入。MF-CNN通过运动补偿子网(MC-子网)补偿非PQF和PQF之间的运动。随后,质量增强子网(QE子网)在其最近的PQF的帮助下减少非PQF的压缩伪影。最后,实验验证了我们的MFQE方法的有效性和通用性,在推进国家的最先进的压缩视频质量增强。我们的MFQE方法的代码可在https://github.com/ryangBUAA/MFQE.git上获得
2018-03-16 cs.CV cs.MM
Predictive No-Reference Assessment of Video Quality
Eindhoven University of Technology(埃因霍温理工大学)
在评估视频流质量的各种手段中,无参考(NR)方法具有低计算量并且可以在瘦客户端上执行。因此,NR算法将是实时质量评估,自动质量控制,特别是自适应移动流媒体的情况下,完美的候选人。然而,现有的NR方法往往是不准确的,相比全参考(FR)算法,特别是在有损网络条件下。在这项工作中,我们提出了一种NR方法,结合机器学习与简单的NR指标,以实现一个质量指标,如视频质量指标(VQM)的全参考算法一样准确。我们的方法在一个广泛的数据集(960个视频),在有损网络条件下,并考虑九种不同的机器学习算法进行了测试。总体而言,我们实现了与VQM的97%以上的相关性,同时允许在现实的流媒体场景中实时评估视频体验质量。
2016-04-27 cs.AI cs.MM
Streaming Video over HTTP with Consistent Quality
在传统的基于HTTP的自适应流传输(HAS)中,视频源以恒定比特率表示的多个级别进行编码,并且客户端根据测量的网络带宽进行其表示选择。虽然极大地简化了对变化的网络条件的适应,但这种策略并不是优化最终用户体验的视频质量的最佳方法。如果考虑到视频内容的自然变化,则可以减少质量波动。在这项工作中,我们研究了客户端速率自适应算法的设计,以产生一致的视频质量。我们假设客户端在有限的范围内可以看到传入的视频。我们还利用客户端视频缓冲区,将其用作呼吸空间,不仅用于网络带宽变化,还用于视频比特率变化。然而,挑战在于如何平衡这两个可变性,以产生一致的视频质量,而不冒缓冲区欠载的风险。我们提出了一个优化解决方案,使用在线算法来适应视频比特率逐步,而应用动态规划在每一步。我们将我们的解决方案,PANDA -一个实用的速率自适应算法设计的HAS部署规模。
2014-01-21 cs.MM cs.NI
NOVA: QoE-driven Optimization of DASH-based Video Delivery in Networks
我们考虑的问题,优化视频传输的网络支持视频客户端流存储的视频。具体而言,我们考虑的问题,联合优化网络资源分配和视频质量的适应。我们的目标是公平地最大限度地提高视频客户端的体验质量(QoE),实现平均质量,质量的时间变化和公平性之间的权衡,结合用户对重新缓冲和视频传输成本的偏好。我们提出了一个简单的渐近最优在线算法,NOVA,来解决这个问题。NOVA是异步的,并且使用最少的通信,将资源分配的任务分配给网络控制器,并且将质量适配分配给各个视频客户端。NOVA中的视频质量适配对于独立视频客户端也是最佳的,并且非常适合与DASH框架一起使用。此外,我们扩展NOVA用于更一般的QoE模型,与其他流量负载共享的网络和使用固定/传统资源分配的网络。
2013-09-25 cs.MM cs.NI
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo(滑铁卢大学);Shanghai Jiao Tong University(上海交通大学);Ningbo University(宁波大学)
自适应视频流的体验质量(QoE)评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案(DASH)的情况下尤其具有挑战性,其具有包括附加回放问题的日益复杂的特性。在本文中,我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后,我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析,我们观察到,混合模型的性能优于服务质量(QoS)驱动的QoE方法和信号保真度测量。此外,对于相同的设置,基于机器学习的模型略微优于不使用机器学习的模型。此外,我们发现,现有的视频流QoE评估模型仍然有有限的性能,这使得它很难在实际的通信系统中应用。因此,基于传统视频质量预测的深度学习特征表示的成功,我们还应用了现成的深度卷积神经网络(DCNN)来评估流视频的感知质量,其中考虑了流视频的时空特性。实验证明了它的优越性,这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
Valid Information Guidance Network for Compressed Video Quality Enhancement
BOE Technology Group Co., LTD.(京东方科技集团股份有限公司)
近年来,深度学习方法在压缩视频质量增强任务中显示出巨大的优越性。现有的方法通常将原始视频作为地面实况,并从包含各种伪影的连续帧中提取实用信息。然而,他们没有充分利用压缩和原始视频的有效信息来指导压缩视频的质量增强。在本文中,我们提出了一个独特的有效信息指导计划(VIG),以提高压缩视频的质量,从压缩视频和原始视频挖掘有效信息。具体来说,我们提出了一个有效的框架,压缩冗余过滤(CRF)网络,以平衡速度和增强。CRF通过对信息进行滤波去除冗余信息后,利用压缩视频的有效信息进行纹理重构。此外,我们提出了一个渐进的真理指导蒸馏(TGD)策略,它不需要设计额外的教师模型和蒸馏损失函数。通过仅使用地面真实值作为输入来引导模型在原始帧之间聚合正确的时空对应关系,TGD可以显着提高增强效果,而不会增加额外的训练成本。大量的实验表明,我们的方法实现了国家的最先进的性能压缩视频质量增强的准确性和效率。
2023-02-28 cs.CV cs.MM
Rate-Quality or Energy-Quality Pareto Fronts for Adaptive Video Streaming?
本文提出基于解码能耗-质量曲线而非传统码率-质量曲线构建自适应视频流传输的码率阶梯,在YouTube-UGC数据集上评估表明该方法在体验质量可比时平均降低28-31%能耗。
2024-02-10 cs.MM eess.IV
NU-Class Net: A Novel Approach for Video Quality Enhancement
University of Tehran(塔里班大学);College of Engineering, University of Tehran(塔里班大学工程学院);QCRI / HBKU
本文提出NU-Class Net模型,通过深度学习减少视频压缩伪影,提升低比特率视频的可感知质量,有效降低计算和带宽需求。
2024-06-03 cs.CV cs.MM
SENSEI: Aligning Video Streaming Quality with Dynamic User Sensitivity
本文旨在通过利用一个简单的观察来改善视频流:用户对视频某些部分的低质量比其他部分更敏感。例如,在体育视频的关键时刻(例如,在进球之前)比在正常游戏过程中重新缓冲更烦人。然而,这种动态质量敏感度很少被当前方法捕获,当前方法使用过于简单而无法理解视频内容的细微差别的一刀切的方法来预测QoE(体验质量)。我们没有提出另一种启发式方法,而是采取了一种不同的方法:我们为每个视频运行一个单独的众包实验,以获得用户对视频不同部分的质量敏感度。当然,大规模这样做的成本可能是令人望而却步的,但我们表明,仔细的实验设计与一套修剪技术相结合,可以使成本可以忽略不计相比,内容提供方投资于内容生成和分发。我们能够准确地分析随时间变化的用户敏感度,这启发了一种新的方法:动态地将更高(更低)的质量与更高(更低)的敏感度周期对齐。我们提出了一个新的视频流系统称为SENSEI,将动态质量的灵敏度到现有的质量自适应算法。我们将SENSEI应用于两种最先进的自适应算法。SENSEI可以采取看似不寻常的行动:例如,即使在带宽足够时也降低比特率(或发起再缓冲事件),使得当质量敏感度在不久的将来变得更高时,它可以保持更高的比特率而不进行再缓冲。与最先进的方法相比,SENSEI将QoE提高了15.1%,或者在平均减少26.8%的带宽的情况下实现相同的QoE。
2020-08-11 cs.MM cs.NI
Anticipatory Buffer Control and Quality Selection for Wireless Video Streaming
最近的研究表明,移动用户对视频流的需求很高。然而,在蜂窝网络中,不可靠的无线信道导致两个主要问题。当用户无法充分填充其本地播放缓冲区时,较差的通道状态会降低视频质量并中断播放:发生缓冲区欠载。与此相反,良好的信道条件会导致常见的贪婪缓冲方案堆积非常长的缓冲区。这种过度缓冲浪费了昂贵的无线信道容量。为了保持缓冲的平衡,我们采用了一种新的方法。假设我们可以预测数据率,我们提前计划视频片段的质量和下载时间。这种预期调度通过在信道中断发生之前下载大量段来避免缓冲器欠载,而不会通过过度缓冲浪费无线容量。我们将这种方法形式化为一个优化问题,并推导出分段视频流协议的实用算法(例如,HLS或MPEG DASH)。仿真结果和测试台测量表明,我们的解决方案基本上消除了播放中断,而不会显着降低视频质量。
2014-08-22 cs.MM cs.NI
Metrics for Video Quality Assessment in Mobile Scenarios
随着蜂窝网络中视频流量的指数级增长,对优化视频传输质量的需求日益增加。4G网络(高级长期演进或LTE A)正在全球许多国家中引入,其允许在单个基站上的高达1Gbps的下行链路速度和100Mbps的上行链路速度。这有力地推动了LTE网络上的视频广播,表征了其性能并开发了可用于提供视频质量用户反馈并将其反馈给网络运营商以微调网络的指标。在本文中,我们使用流行的视频质量指标,如SSIM,阻塞,模糊,NIQE和BRISQUE的LTE A物理层上的视频传输的性能。我们进行实验,以找到一个合适的无参考指标的移动场景,并发现阻塞的压缩比是最有前途的情况下,信道或调制的变化,但它并没有表现得很好,以消除压缩比的变化。度量BRISQUE在量化这种失真方面非常有效,并且在网络变化的情况下也表现良好。
2013-04-13 cs.MM cs.NI
Perceptual Video Quality Assessment: A Survey
Shanghai Jiao Tong University(上海交通大学)
本文综述了感知视频质量评估领域,涵盖主观与客观方法、通用及特定应用(如流媒体、UGC、VR/AR等),并比较了最新技术的性能,为研究者提供系统参考。
2024-02-05 cs.CV cs.MM eess.IV
RAPIQUE: Rapid and Accurate Video Quality Prediction of User Generated Content
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google LLC(谷歌有限责任公司)
用户生成内容(UGC)的盲或无参考视频质量评估已经成为一个趋势,具有挑战性,迄今尚未解决的问题。因此,非常需要适合该内容的准确和高效的视频质量预测器,以实现对UGC视频的更智能的分析和处理。先前的研究表明,自然场景统计和深度学习特征都足以捕获空间失真,这是UGC视频质量问题的一个重要方面。然而,在实际应用中,这些模型对于预测复杂多样的UGC视频的质量是无能为力或效率低下的。在这里,我们为UGC内容介绍了一个有效和高效的视频质量模型,我们称之为快速准确的视频质量评估器(RAPIQUE),我们显示它可以执行最先进的(SOTA)模型,但运行时间更快。RAPIQUE结合并利用了质量感知场景统计特征和语义感知深度卷积特征的优势,使我们能够设计第一个通用且高效的空间和时间(时空)带通统计模型,用于视频质量建模。我们在最近的大规模UGC视频质量数据库上的实验结果表明,RAPIQUE在所有数据集上都能以相当低的计算开销提供最佳性能。我们希望这项工作能够促进和激励进一步的努力,为潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公众使用,RAPIQUE的一个实施方案已在网上免费提供:\url{https://github.com/vztu/RAPIQUE}。
2021-11-14 cs.CV cs.MM eess.IV
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc.(哔哩哔哩公司)
针对现有视频质量评估模型仅提供总体评分的问题,构建了首个大规模细粒度UGC视频质量数据库FineVD,并提出FineVQ模型实现质量评级、评分与归因,达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM
Exploring the Effectiveness of Video Perceptual Representation in Blind Video Quality Assessment
Sensetime Research(商汤科技研究院);Tetras AI
随着非专业人员拍摄的野外视频的快速增长,盲视频质量评估(VQA)已经成为一个具有挑战性和要求的问题。虽然已经做了很多努力来解决这个问题,但仍然不清楚人类视觉系统(HVS)如何与视频的时间质量相关。同时,最近的工作已经发现,自然视频的帧被转换到HVS的感知域,往往会形成一个直线轨迹的表示。与所获得的洞察,失真损害感知的视频质量和结果在一个弯曲的轨迹的感知表示,我们提出了一个时间感知质量指数(TPQI)来衡量时间失真描述的图形形态的表示。具体来说,我们首先提取视频感知表示从外侧膝状体核(LGN)和初级视觉区(V1)的HVS,然后测量直线度和紧凑性的轨迹量化退化的自然性和内容的连续性。实验表明,HVS中的感知表示是预测主观时间质量的有效方法,因此TPQI可以首次实现与空间质量度量相当的性能,并且在评估具有较大时间变化的视频时更加有效。我们进一步证明,通过结合NIQE,一个空间质量度量,TPQI可以实现最佳性能超过流行的野外视频数据集。更重要的是,TPQI不需要任何额外的信息,因此可以应用于任何数据集,而无需参数调整。源代码可在https://github.com/UoLMM/TPQI-VQA上获得。
2022-07-08 cs.CV cs.MM eess.IV
DCNGAN: A Deformable Convolutional-Based GAN with QP Adaptation for Perceptual Quality Enhancement of Compressed Video
Xidian University(西安电子科技大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Northwestern Polytechnical University(西北工业大学)
在本文中,我们提出了一种基于可变形卷积的生成对抗网络(DCNGAN),用于压缩视频的感知质量增强。DCNGAN也是自适应的量化参数(QP)。与光流相比,可变形卷积更有效和高效地对齐帧。可变形卷积可以对多个帧进行操作,从而利用更多的时间信息,这有利于增强压缩视频的感知质量。代替以成对方式对齐帧,可变形卷积可以同时处理多个帧,这导致较低的计算复杂度。实验结果表明,提出的DCNGAN优于其他国家的最先进的压缩视频质量增强算法。
2022-01-28 cs.CV cs.MM eess.IV