A QoE Model in Point Cloud Video Streaming
点云视频已经被增强现实（AR）和虚拟现实（VR）应用广泛使用，因为它允许用户具有六个自由度（6DoF）的沉浸式体验。然而，目前还缺乏对点云视频流的体验质量（QoE）模型的研究，无法为流媒体系统提供优化指标。此外，点云视频中每个像素所包含的位置和颜色信息，以及6自由度观看过程中产生的视口距离效应，使得传统的客观质量评价指标不能直接应用于点云视频流系统。本文首先分析了影响QoE模型的主客观因素。建立了一个模拟点云视频流的实验系统，并进行了详细的主观质量评价实验。基于收集的平均意见得分（MOS）数据，我们提出了一个点云视频流的QoE模型。通过实际主观评分对模型进行了验证，结果表明所提出的QoE模型能够准确反映用户的视觉感知。我们还公开了实验数据库，以促进点云视频流的QoE研究。
2022-01-21 cs.MM eess.IV
Model and Performance of a No-Reference Quality Assessment Metric for Video Streaming
通过TCP网络的视频流已经成为一种流行的和高要求的服务，但其质量评估在客观和主观方面还没有得到适当的解决。本文基于统计分析，提出了一种用于视频质量评价的无参考客观度量--灰度强度的完整分析模型。该模型表征了与网络性能（吞吐量）和视频播放速率相关的视频播放缓冲区行为。这允许即时质量测量和控制，而不需要参考视频。带宽强度专门解决了在TCP流视频播放的连续性方面评估质量问题的需要，这不能通过其他客观指标（如PSNR、SSIM和缓冲区欠载或暂停频率）进行适当测量。的分析模型的性能进行了严格验证的仿真结果和主观测试，使用一系列的视频剪辑。它表明，暂停强度是密切相关的观众的意见分数，无论有很大的不同组成的个别元素，如暂停持续时间和暂停频率，共同构成这个新的质量指标。研究还表明，停顿强度的相关性能是一致的和内容无关的。
2013-08-08 cs.MM
Video Quality Assessment for Resolution Cross-Over in Live Sports
针对自适应流媒体中分辨率交叉切换预测不准确的问题，提出新指标RCQL衡量质量损失，并构建直播场景数据集LSCO，证明成对比较方法优于ACR。
2025-04-01 cs.MM
Rate-Utility Optimized Streaming of Volumetric Media for Augmented Reality
体积媒体（通常称为全息图）需要使用点播和直播方式交付给用户，以获得新的增强现实（AR）和虚拟现实（VR）体验。与视频流一样，全息流必须支持网络自适应性和快速启动，但也必须适度大带宽，多个同时流式传输对象和频繁的用户交互，这需要低延迟。在本文中，我们介绍了第一个系统，我们的知识专门为流式体积媒体设计。该系统通过引入3D图块来降低带宽，并且根据它们与用户的视见平截头体的关系和到用户的距离来剔除它们或降低它们的细节水平。我们的系统通过引入基于窗口的缓冲区来减少延迟，与基于窗口的缓冲区相比，基于窗口的缓冲区允许在缓冲区的头部附近插入，而不仅仅是在缓冲区的尾部，以快速响应用户交互。为了在多个对象的不同瓦片之间分配比特，我们引入了一个简单的贪婪但可证明是最优的算法来进行速率效用优化。我们引入实用措施的基础上，不仅代表的基本质量，但相对于用户的观点和设备分辨率的细节水平。仿真结果表明，该算法提供了优越的质量相比，现有的视频流的方法，适用于全息流，在效用和用户体验在可变的，吞吐量受限的网络。
2018-04-26 cs.MM
Cumulative Quality Modeling for HTTP Adaptive Streaming
由于Web平台和宽带连接的丰富性，HTTP自适应流已经成为当今多媒体传输的事实上的选择。然而，由于带宽波动，自适应视频流传输的视觉质量在会话期间可能强烈波动。因此，随着时间的推移评估流会话的质量是很重要的。在本文中，我们提出了一个模型来估计HTTP自适应流的累积质量。在该模型中，一个滑动窗口的视频片段被用作基本的构建块。通过使用主观数据集的统计分析，我们确定了累积质量模型的三个重要组成部分，即最小窗口质量，最后一个窗口质量和平均窗口质量。实验结果表明，该模型具有较高的预测性能，优于相关的质量模型。此外，所提出的模型的另一个优点是它的简单性和有效性的部署在实时估计。拟议模型的源代码已在https://github.com/TranHuyen1191/CQM上向公众提供。
2020-02-25 cs.MM
Assessing the Quality-of-Experience of Adaptive Bitrate Video Streaming
视频传输管道的多样性对自适应比特率（ABR）流媒体算法和客观体验质量（QoE）模型的评估提出了巨大的挑战。在这里，我们介绍了迄今为止同类中最大的主题分级数据库，即WaterlooSQoE-IV，由1350个自适应流媒体视频组成，这些视频是从不同的源内容、视频编码器、网络跟踪、ABR算法和观看设备创建的。我们通过一系列精心设计的主观实验收集每个视频的人类意见。随后的数据分析和使用数据库的ABR算法和QoE模型的测试/比较导致了一系列新颖的观察和有趣的发现，在主观实验方法的有效性，用户体验和源内容之间的相互作用，观看设备和编码器类型，用户体验的偏差和偏好的异质性，ABR算法的行为，以及客观QoE模型的性能。最重要的是，我们的研究结果表明，一个更好的客观QoE模型，或者更好地理解人类的感知体验和行为，是提高ABR算法性能的最主要因素，而不是先进的优化框架，机器学习策略或带宽预测器，在过去的十年中，大多数ABR研究都集中在这些方面。另一方面，我们对11个QoE模型的性能评估显示，最先进的QoE模型和主观评分之间只有适度的相关性，这意味着QoE建模和ABR算法都有改进的空间。该数据库在以下网址公开提供：\url{https://ece.uwaterloo.ca/~zduanmu/waterloosqoe4/}。
2020-08-20 cs.MM eess.IV
Media Objects in Time - A Multimedia Streaming System
嵌入在优质的基础设施中的网络多媒体潜力的广泛可用性在远程教学和互联网演示领域产生了新的方法：专业风格的多媒体流的分布已经落入了可能性的领域。本文提出了一个原型-模型和运行时环境-的时间导向媒体系统处理任何一种可重用的媒体对象组件的表示的贡献。插件免费运行时系统是基于数据库，并允许静态媒体类型的灵活支持，以及流媒体服务器的简单扩展。原型实现包括一个初步的Web创作平台。
2001-12-28 cs.MM cs.NI
Serverless Streaming for Emerging Media: Towards 5G Network-Driven Cost Optimization
沉浸式3D媒体是一种新兴的媒体类型，其捕获、编码和重建人和物体的3D外观，在远程呈现、电话会议、娱乐、游戏和其他领域中具有应用。在本文中，我们讨论了一个新的概念，在无服务器设置的现场3D沉浸式媒体流。特别是，我们提出了一种新的网络为中心的自适应流框架，它偏离了传统的基于客户端的自适应流在2D视频。在我们的框架中，通过考虑消费者指标与供应成本并基于它们推断预期的消费者体验和行为质量，以集中的方式做出转码配置文件的生产决策。此外，我们还证明了在一些常见的沉浸式3D媒体场景下，无服务器模式的天真应用程序可能是次优的。
2021-02-09 cs.MM cs.NI
Rate Adaptation and Admission Control for Video Transmission with Subjective Quality Constraints
在流媒体期间调整视频数据率可以有效降低因频道吞吐量波动而导致播放中断的风险。然而，速率的变化也引入视频质量波动，并且因此潜在地影响观看者的体验质量（QoE）。我们展示了如何通过速率自适应和准入控制来提高视频用户的QoE。我们进行了一项主观研究，其中我们发现观众的QoE与预测视频质量的经验累积分布函数（eCDF）密切相关。基于这一观察，我们提出了一种速率自适应算法，可以将QoE约束的经验累积质量分布每个用户。然后，我们提出了一个基于阈值的准入控制策略，以阻止用户的经验累积质量分布是不可能满足他们的QoE约束。我们进一步设计了一个在线自适应算法来自动优化阈值。大量的仿真结果表明，该方案可以减少$40\%$比传统的平均质量最大化速率自适应算法的网络资源消耗。
2013-11-25 cs.MM
Dynamic resolution switching for live streaming
Amazon Prime Video（亚马逊Prime视频）
本文提出动态分辨率切换框架，通过实时分析用户带宽和交叉区域，优化实时流媒体的分辨率切换，提升流媒体效率和质量。
2026-05-15 cs.MM eess.IV
Dynamic Adaptive Point Cloud Streaming
高质量的点云最近作为一种新兴的表现沉浸式3D图形的形式获得了关注。不幸的是，这些3D媒体体积庞大且严重占用带宽，这使得难以流传输到资源有限的移动设备。这就要求研究人员提出高效和自适应的方法来流式传输高质量的点云。在本文中，我们对动态自适应点云流进行了初步研究，并将HTTP上的动态自适应流（DASH）的概念扩展到DASH-PC，一个动态自适应带宽效率和视图感知的点云流系统。DASH-PC可以解决密集点云流的巨大带宽需求，同时可以在语义上与人类视觉敏锐度相关联，以在需要时保持高视觉质量。为了描述各种质量表示，我们提出了多种细化方法来在3D空间中对点云进行空间子采样，并设计了一个专门用于点云流的DASH媒体呈现描述清单。我们的初步评估表明，我们可以实现显着的带宽和性能提高密集的点云流与轻微的负面质量影响相比，基线方案时，没有适应。
2019-04-08 cs.MM
Landmarking for Navigational Streaming of Stored High-Dimensional Media
诸如360度视频和光场（LF）图像的现代媒体数据通常以比观察者的视觉显示高得多的维度来捕获。为了在带宽受限的网络上有效地浏览高维媒体，考虑了导航流模型：客户端通过向服务器指示导航路径来导航大媒体空间，服务器作为响应将相应的预编码媒体数据单元（MDU）依次一个接一个地发送到客户端。对MDU（I-MDU）进行帧内编码将导致大比特率，但是可以随机访问I-MDU，而使用另一MDU作为预测器对MDU（P-MDU）进行帧间编码引起小的编码成本，但是强加了必须首先发送和解码预测器的顺序。从压缩的角度来看，技术挑战是：如何通过MDU的帧间编码实现编码增益，同时实现足够的随机访问以实现令人满意的用户导航。为了解决这个问题，我们提出了地标，从高维媒体的关键MDU的选择。使用地标作为预测器，局部邻域中的附近MDU被互编码，从而产生具有受控编码成本的预测MDU结构。这意味着任何请求的MDU都可以通过至多发送地标和帧间编码的MDU来解码，从而实现导航随机访问。为了建立一个地标MDU结构，我们采用树结构的矢量量化器（TSVQ），首先优化地标位置，然后迭代地添加/删除帧间编码的MDU作为使用快速分支定界技术的改进。以交互式LF图像和视口自适应360图像作为说明性应用，I-，P-和以前提出的合并帧内和帧间编码MDU，我们的实验表明，地标MDU结构可以显着降低预期的传输成本相比，MDU结构没有地标。
2022-02-08 cs.MM
Toward One-Second Latency: Evolution of Live Media Streaming
本综述系统梳理直播媒体流从传统高延迟到低延迟的演进，分析延迟来源与协议，介绍低延迟技术使能因素及Twitch挑战发现，为理解低延迟直播流现状与未来提供一站式参考。
2025-03-28 cs.MM cs.NI
Evaluating the Impact of Tiled User-Adaptive Real-Time Point Cloud Streaming on VR Remote Communication
远程通信已迅速成为日常生活的一部分，在专业和个人环境。然而，流行的视频会议应用在通信质量、沉浸感和社会意义方面存在限制。VR远程通信应用程序提供了远程用户之间更大的共同存在感和情感的相互感知。以前对这些应用程序的研究表明，与合成用户化身相比，逼真的点云用户重建提供了更好的沉浸感和交流。然而，真实感点云需要每帧大量的数据，并且在带宽有限的网络上传输具有挑战性。最近的研究表明，通过使用用户自适应流媒体，基于用户视口的位置和方向来优化带宽的使用，感知质量得到了显着改善。在这项工作中，我们开发了一个实时的【形】VR通信应用程序，具有适应引擎，其功能是基于用户行为的平铺用户自适应流。该应用程序还支持传统的网络自适应流。这项工作的贡献是评估平铺的用户自适应流媒体对通信质量，视觉质量，系统性能和任务完成的影响，在一个功能活VR远程通信系统。我们与33名用户进行主观评价，比较不同的流条件与颈部运动训练任务。作为一个基线，我们使用未压缩的流，需要ca。300 Mbps，我们的解决方案实现了类似的视觉质量与平铺自适应流在14 Mbps。我们还展示了统计上显着的收益，互动的质量和改善系统性能和CPU消耗与平铺自适应流相比，更传统的网络自适应流。
2022-05-10 cs.MM
Immersive Experiences and XR: A Game Engine or Multimedia Streaming Problem?
延展实境（XR）技术的最新改进推动了行业中XR产品和解决方案的增加，同时也对新的或改进的架构概念提出了新的要求。这种需求可能特别复杂，因为XR应用通常涉及3D几何渲染和多媒体范例。本文从游戏工程和多媒体流系统的角度概述了与XR相关的主要概念。XR需要新的元数据和媒体/游戏编排，以允许用户、对象和（体积）多媒体内容之间的复杂交互，这也导致了对同步的新要求（即，用于全局对象状态和定位）。此外，本文还介绍了新XR系统架构所需的功能块，以及它们如何将两个（游戏和媒体）空间粘合在一起。功能组件和架构的讨论与Khronos、MPEG和3GPP等相关标准化机构正在进行的活动有关。为了使XR长期成功，业界需要就互操作解决方案以及如何合并游戏和媒体模式以支持复杂的多用户XR应用达成一致。
2022-01-14 cs.MM
Codec Compression Efficiency Evaluation of MPEG-5 part 2 (LCEVC) using Objective and Subjective Quality Assessment
随着诸如HEVC、AV 1和VVC等较新的编解码器实现的视频压缩效率的不断提高，以及智能编码策略，以及带宽可用性的提高，诸如Netflix、Twitch等较新的服务已经得到了扩散和接受。然而，这种更高的压缩效率是以更高的复杂度和编码延迟为代价来实现的，而许多应用是延迟敏感的。因此，需要更快、更有效的编解码器来实现更高的编码效率，而在复杂度和速度方面没有显著的折衷。在这项工作中，我们提出了最新的MPEG-5第2部分低复杂度增强视频编码（LCEVC）的实时游戏视频流应用的评估。结果提出的比特率节省使用主观和客观的质量措施，以及编码速度的比较。我们的结果表明，对于本工作中使用的编码设置，LCEVC在使用VMAF的比特率节省方面优于x264和x265编解码器，分别约为42%和38%。使用主观结果，发现LCEVC优于相应的基本编解码器，特别是对于低比特率。这种效果对于x264比对于x265更明显，即，对于后者，质量分数的绝对改善较小。客观和主观结果以及示例视频序列作为开放数据集LCEVC-LiveGaming的一部分在https://github.com/NabajeetBarman/LCEVC-LiveGaming上提供。
2022-04-12 cs.MM
Access-Network Association Policies for Media Streaming in Heterogeneous Environments
我们研究的设计中存在多种异构的无线接入方法，不同的吞吐量和成本的媒体流应用程序。我们的目标是分析表征的使用成本和用户体验质量（QoE），这是表示在媒体播放中断的概率和初始等待时间之间的权衡。我们将每个接入网络建模为服务器，根据具有一定速率和成本的泊松过程向用户提供分组。使用随机线性码对块进行编码以减轻重复分组接收问题。用户必须决定在播放前缓冲多少数据包，以及在播放期间访问哪些网络。我们设计、分析和比较了几种具有门限结构的控制策略。我们制定的问题，找到最优控制政策作为一个MDP的概率约束。通过扩展状态空间，给出了该问题的HJB方程，并将其作为控制律最优性的验证方法。
2010-04-20 cs.MM math.OC
MultiMoQ: Multi-Access Media-Over-QUIC for Robust Immersive Video Streaming
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出基于MoQ的多接入分块流框架MultiMoQ，通过重新设计传输机制提升沉浸式视频流的鲁棒性，经仿真验证其在吞吐量、延迟及播放连续性上优于DASH和标准MoQ。
2026-08-07 cs.MM cs.NI
A Survey on 360-Degree Video: Coding, Quality of Experience and Streaming
虚拟现实（VR）头显的商业化使得沉浸式和360度视频流成为行业和研究界的热门话题。虽然视频流的基本原理是相同的，但沉浸式视频提出了一系列需要解决的具体挑战。在本次调查中，我们介绍了相关文献中四个最重要的方面的最新进展：（i）全向视频编码和压缩，（ii）主观和客观体验质量（QoE）及其影响因素，（iii）显着性测量和视野（FoV）预测，以及（iv）沉浸式360度视频的自适应流媒体。该调查的最终目的是概述沉浸式视频流系统的所有元素的研究，让读者了解它们的相互作用和性能。
2021-02-16 cs.MM cs.NI eess.IV
Avoiding Interruptions - QoE Trade-offs in Block-coded Streaming Media Applications
本文采用分析的方法研究视频流应用的用户体验质量。首先，我们表明，随机线性网络编码应用到块的视频帧可以显着简化在网络层的数据包请求，并通过避免重复的数据包接收节省资源。网络编码允许我们将接收器的缓冲区建模为具有泊松到达和确定性离开的队列。我们考虑视频播放中断的概率以及初始缓冲的数据包的数量（初始等待时间）作为QoE指标。我们的特点是这些指标之间的最佳权衡提供的最小初始缓冲区大小的上限和下限，需要达到一定程度的中断概率为不同制度的系统参数。当文件大小趋于无穷大时，我们的边界是渐近紧的。
2010-02-04 cs.MM cs.NI
MultiStream: A Simple and Fast Multiple Cameras Visual Monitor and Directly Streaming
Shenzhen Research Institute of Big Data（深圳大数据研究院）
监控和流式传输是实时的摄像机最重要的应用之一。本文的研究提供了一种新颖的设计思路，即利用FFmpeg和Tkinter，结合OpenCV和PIL库，开发一个简单快速的流媒体工具包MultiSteam，实现对多个流媒体同时进行可视监控的功能。MultiStream能够自动排列多个摄像头窗口的显示布局，并智能分析输入的流媒体URL，以选择正确的相应流媒体通信协议。多个摄像机可以使用不同的通信协议或相同的协议进行流式传输。此外，本文还测试了不同的摄像头流媒体协议的不同流媒体速度。MultiStream能够获取计算机上媒体设备的信息。媒体ID选择和多摄像机流的配置信息可以保存为json文件。
2022-07-13 cs.CV cs.MM
Quality-Aware Dynamic Resolution Adaptation Framework for Adaptive Video Streaming
提出QADRA框架，利用XGBoost预测XPSNR，在线优化编码分辨率与QP，并消除感知冗余表示，以提升自适应视频流质量并控制编码解码时间。
2024-03-16 cs.MM
Study on the Assessment of the Quality of Experience of Streaming Video
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
HTTP上的动态自适应流传输提供了大多数多媒体服务的工作，然而，该技术的性质使QoE（体验质量）的评估进一步复杂化。本文研究了各种客观因素对流视频QoE主观估计的影响。本文介绍了标准和手工制作的功能，显示了它们的相关性和p值的意义。提出了一种基于回归和梯度提升的视频质量评估模型，其SRCC在验证子样本上达到0.9647。所提出的回归模型适用于所应用的应用（具有和不具有参考视频两者）;梯度提升回归量模型是进一步改进质量估计模型的前景。我们采用SQOE-III数据库，迄今为止同类数据库中最大和最真实的数据库。VQA（视频质量评估）模型可在https://github.com/AleksandrIvchenko/QoE-assesment上获得
2020-12-08 cs.LG cs.MM
Buffer Map Message Compression Based on Relevant Window in P2P Streaming Media System
流行的对等流媒体系统，如PPLive和UUSee，依赖于对等体之间的定期缓冲区映射交换，以实现正确的操作。缓冲区映射交换包含冗余信息，这会导致不可忽略的开销。在本文中，我们提出了一个理论框架，研究如何可以降低开销。与传统的数据压缩方法不同的是，我们不把每个缓冲区映射作为一个孤立的数据块，而是考虑顺序交换的缓冲区映射之间的相关性。在此框架下，提出了两种缓冲映射压缩方案，并从数学上证明了方案的正确性。此外，我们推导了基于概率论和信息论的压缩增益的理论极限。基于UUSee（一种流行的P2P流媒体平台）的系统参数，我们的模拟表明，应用我们的方案后，缓冲区映射大小分别减少了86%和90%（从456位减少到仅66位和46位）。此外，通过与传统的压缩方法（对单个块）相结合，大小分别减少了91%和95%（到42位和24位）。本文的研究为开发实用的压缩算法提供了指导。
2011-09-28 cs.IT cs.MM math.IT
PC-JND: Subjective Study and Dataset on Just Noticeable Difference for Point Clouds in 6DoF Virtual Reality
该研究在6DoF VR环境下探究点云恰可察觉差（PCJND）特性，发现纹理PCJND小于几何PCJND、色彩丰富度与纹理PCJND相关，并发布了PC-JND数据集以支撑沉浸式媒体感知优化研究。
2025-07-29 cs.MM
A Review on P2P Video Streaming
本文的主要目的是提供一个基于P2P的视频点播和流媒体直播服务的概述。本文首先介绍了媒体流及其简化的架构。讨论了在互联网广泛使用的背景下提供视频流的各种解决方案。然后简要介绍了P2P网络及其应用。本章主要讨论了各种P2P流媒体方案和P2P流媒体应用。最后，简要讨论了P2P视频流的安全问题和解决方案。
2013-04-04 cs.MM cs.NI
fybrrStream: A WebRTC based Efficient and Scalable P2P Live Streaming Platform
对流媒体和实时视频会议的需求正处于高峰期，预计将进一步增长，因此对具有更好质量和更低延迟的低成本流媒体服务的需求至关重要。因此，在本文中，我们提出了一种新的对等（P2P）直播平台，称为fybrrStream，其中逻辑网格和物理树，即，基于混合拓扑方法被用于低等待时间流传输。fybrrStream通过考虑参与对等体的网络带宽、网络延迟和节点稳定性，以分层方式将负载分配到参与对等体上。fybrrStream的成本与托管轻量级网站的成本一样低，性能与现有的最先进的媒体流服务相当。我们使用分布在印度的50多个用户进行了实地实验，对所提出的fybrrStream平台进行了评估和测试，结果显示，与其他方案相比，实时流媒体性能有了显着改善。
2021-05-17 cs.MM cs.NI cs.SI
QoE-aware Media Streaming in Technology and Cost Heterogeneous Networks
Massachusetts Institute of Technology（麻省理工学院）
针对技术和成本异构网络中的媒体流传输问题，提出基于随机线性网络编码和马尔可夫决策过程的框架，分析接入成本与用户体验的权衡，并证明阈值策略的最优性。
2012-03-15 cs.MM cs.NI cs.SY
Context-Aware Adaptive Prefetching for DASH Streaming over 5G Networks
针对5G网络中DASH流媒体传输，本文提出一种基于机器学习分类模型的MEC上下文感知自适应预取机制，利用媒体会话指标选择预取片段，以降低网络流量并提升QoS和QoE。
2023-11-13 cs.MM cs.NI
Scalable On-the-fly Transcoding for Adaptive Streaming of Dynamic Point Clouds
Leibniz University Hannover（汉诺威莱布尼茨大学）；IDLab, Ghent University - imec（根特大学 IDLab-imec）
本文提出了一种动态点云流媒体系统，通过实时转码技术降低存储需求并提升并发客户端的可扩展性。
2026-03-09 cs.MM
Secure Video Streaming Plug-In
YouTube、Metacafe、Dailymotion、Vimeo等视频分享网站为用户之间的媒体内容分享提供了一个平台。其中一些视频受版权保护，并限制下载和保存。但用户可以使用各种下载管理器或应用程序来下载和保存这些视频。这会影响这些网站的访问量，降低其点击率，从而减少其收入。Adobe Flash Player是观看在线视频最常用的播放器。它使用RTMP（实时的消息协议）通过互联网在Flash Player和Adobe Flash Media Server之间传输音频、视频和数据。在这里，我们提出了一个插件，使网站所有者能够控制从此类网站下载视频。经用户同意后，将在客户端安装该插件。播放视频时，此插件将向媒体服务器发送唯一密钥。服务器将在验证密钥后继续流式传输视频。下载管理器或应用程序将无法下载视频，因为它们无法创建需要发送到服务器的唯一密钥。
2013-03-07 cs.CR cs.MM
Optimal Network-Assisted Multi-user DASH Video Streaming
流媒体视频正在成为互联网上的主要流量类型，有报告预测到2019年视频内容将占所有流量的80%。随着对互联网骨干网的大量投资，主要瓶颈仍然存在于边缘服务器（例如，WiFi接入点、小型小区等）。在这项工作中，我们提出并证明了最优的多用户资源分配机制，在边缘服务器上运行，最大限度地减少了视频流由于缓冲区下溢失速的概率。我们提出的策略利用客户端的媒体呈现描述（MPD）文件，该客户端的媒体呈现描述（MPD）文件是按照HTTP上的动态自适应流传输（DASH）协议发送的，以认识到要由客户端显示的每个媒体文件的截止日期。然后，该策略按照截止日期的顺序调度用户。在建立了最优的策略，以尽量减少与固定的损失率的链路的网络的失速概率，该算法的实用性进行了验证，在现实的网络条件下，详细的NS-3模拟。
2017-12-29 cs.MM cs.NI
Spatiotemporal Rate Adaptive Tiled Scheme for 360 Sports Events
最近人们对虚拟现实（VR）的兴趣越来越浓厚，这是因为商业VR产品的出现，例如Oculus和其他供应商开发的盔装显示器（HMD）。最近采用的虚拟现实的主要应用之一是流式传输体育赛事。例如，在里约热内卢举行的上一届奥运会通过互联网进行流媒体传输，供用户使用VR耳机或使用360视频播放器观看。流媒体VR体育赛事的一大挑战是用户有限的带宽和传输360视频所需的数据量。虽然360视频需要高带宽，但在任何时刻，用户都只能根据HMD的视场（FOV）观看视频的一小部分。在文献中已经提出了许多方法，例如提出新的表示（例如金字塔和偏移立方体图）以及平铺视频和流式传输当前正在观看的瓦片。在本文中，我们提出了一个平铺流媒体框架，在这里我们提供了一个降级的质量模型类似于最先进的偏移立方体映射，同时最大限度地减少其在服务器端的存储要求。我们进行客观的研究，显示我们的方法的有效性，提供从用户FOV到360度空间后面的平滑质量降级。此外，我们进行主观的研究表明，用户往往更喜欢我们提出的计划，在低带宽连接的偏移立方映射，他们不觉得差异较高的带宽连接。也就是说，我们实现了更好的感知质量，存储节省高达670%。
2017-05-14 cs.MM
GenStream: Semantic Streaming Framework for Generative Reconstruction of Human-centric Media
Alpen-Adria-Universitaet（阿尔卑斯-亚得里亚大学）
GenStream提出用骨骼关键点、相机参数和静态3D背景等元数据替代视频帧传输，经生成模型重建，实现99.9%以上带宽压缩，为以人为中心媒体流式传输开辟新方向。
2026-09-17 cs.AI cs.CV cs.MM
Media-TCP: A Quality-Centric TCP-Friendly Congestion Control for Multimedia Transmission
在本文中，我们提出了一个以质量为中心的拥塞控制的多媒体流在IP网络，我们称之为媒体TCP。与现有的拥塞控制计划，适应用户的发送速率仅网络条件不同，我们的解决方案适应发送速率的网络条件和应用程序的特点，明确考虑失真的影响，延迟的最后期限，和不同的视频包类的相互依赖性。因此，我们的媒体感知解决方案能够提供不同的服务，用于传输各种数据包类，从而进一步提高多媒体流的质量。我们这个问题使用的时域马尔可夫决策过程（FHMDP）建模，并确定最佳的拥塞控制政策，最大限度地提高长期的多媒体质量，同时坚持时域TCP友好的约束，确保长期的公平性与现有的TCP应用。我们表明，FHMDP问题可以分解成多个最佳停止问题，承认一个低复杂度的阈值为基础的解决方案。此外，不同于现有的拥塞控制方法，它专注于维护基于吞吐量的公平性之间的用户，建议的媒体TCP的目的是实现基于质量的公平性之间的多媒体用户。我们也得到了充分条件，多个多媒体用户，以实现基于质量的公平使用媒体TCP拥塞控制。我们的仿真结果表明，建议的媒体TCP实现了超过3dB的改善，在PSNR方面比传统的TCP拥塞控制方法，与最大的改善，观察到的实时流媒体应用需要严格的播放延迟。
2009-10-21 cs.MM cs.NI
Subjective assessment of the impact of a content adaptive optimiser for compressing 4K HDR content with AV1
本文通过42名受试者的主观质量评估，研究内容自适应优化器对4K HDR/AV1压缩的影响，分析主观评分与客观指标的相关性，并就HDR研究中专家与非专家的使用及胶片颗粒的主观影响提出建议。
2023-06-26 cs.HC cs.MM eess.IV
Evaluation of the Performance of Adaptive HTTP Streaming Systems
通过HTTP的自适应视频流在我们的日常生活中变得无处不在。在过去，数十篇研究论文提出了新的方法来解决自适应流媒体的不同方面，并且有相当数量的播放器实现（商业和开源）可用。然而，最先进的评估有时是肤浅的，因为许多提案只调查问题的某个方面或关注特定的平台-在实际服务中使用的播放器实现很少被考虑。HTML5现在可以在许多平台上使用，并促进了自适应媒体流应用程序的部署。我们提出了一个通用的自适应HTML5播放器的评估框架，并通过评估实际部署在现实世界的服务中的八个不同的播放器来证明其适用性。
2017-10-06 cs.MM cs.NI
Toward Accessible and Safe Live Streaming Using Distributed Content Filtering with MoQ
Baylor University（贝勒大学）
本文扩展 Media over QUIC Transport 协议，通过分布式实时内容分析仅过滤违规视频片段，在低延迟下支持安全可访问的一对多直播。
2025-05-13 cs.CV cs.DC cs.MM
Dialogue Understandability: Why are we streaming movies with subtitles?
本研究提出“对话可懂度”概念，定义并分类了影响流媒体观影体验的因素，将其映射至QoE框架，通过初步实验评估测量工具，并指出了未来研究趋势。
2024-03-22 cs.MM eess.AS
Optimizing Adaptive Video Streaming with Human Feedback
本文提出Jade，通过RLHF和基于排序的QoE模型结合线性与DNN架构及熵感知强化机制，优化自适应视频流，在不同网络条件下将QoE提升8.09%-38.13%。
2023-08-10 cs.MM cs.NI
Point Cloud Streaming with Latency-Driven Implicit Adaptation using MoQ
Baylor University（贝勒大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本研究提出一种基于延迟驱动的隐式适应方法，利用MoQ协议实现点云流媒体的动态质量调整，根据客户端延迟需求自动优化视频质量。
2026-01-21 cs.MM cs.NI
Crowdsourced Live Streaming over the Cloud
在当今用于媒体生成和分发的丰富工具以及方便的互联网接入的支持下，众包流媒体通过包括视频频道的大量贡献者来推广单源流媒体范例。它调用了从众包到流媒体服务器到最终用户的路径上的联合优化，以最大限度地减少整体延迟。视频源的动态性、全球化的请求需求以及来自每个源的高计算需求使得众包直播流具有挑战性，即使具有来自现代云计算的强大支持。在本文中，我们提出了一个通用的框架，促进了具有成本效益的云服务的众包直播。通过自适应租赁，云服务器可以以细粒度提供，以适应地理分布的视频众包。针对不同租赁价格的云实例间的服务迁移问题，提出了一种最优的解决方案。它还解决了位置对流式传输质量的影响。为了了解所提出的策略在现实世界中的性能，我们构建了一个在planetlab和Amazon/Microsoft Cloud上运行的原型系统。我们广泛的实验表明，我们的解决方案在部署成本和流媒体质量方面的有效性。
2015-02-23 cs.MM cs.NI
Beyond Interpretability: Exploring the Comprehensibility of Adaptive Video Streaming through Large Language Models
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算机科学系）；Beijing National Research Center for Information Science and Technology（北京信息科学国家研究中心）
本文提出ComTree框架，通过生成满足性能要求的决策树并利用大语言模型评估开发者可理解性，在保持码率自适应性能的同时显著提升算法可理解性。
2025-08-22 cs.LG cs.MM eess.IV
Low-Delay Adaptive Video Streaming Based on Short-Term TCP Throughput Prediction
近年来，基于HTTP的自适应流媒体已经成为互联网上视频流媒体的事实标准。它允许客户端根据不同的网络条件调整媒体特性，以最大限度地提高体验质量（QoE）。在直播的情况下，这项任务变得特别具有挑战性。可能有助于提高性能的一个重要因素是正确预测短到中时间尺度上的网络吞吐量动态的能力。在经常受到连续吞吐量波动影响的无线网络中，这变得特别困难。在目前的工作中，我们开发了一种自适应算法，基于HTTP的自适应直播，对于每个自适应决策，最大限度地提高基于QoE的效用函数取决于播放中断的概率，平均视频质量，和视频质量波动的量。为了计算效用函数，该算法利用吞吐量预测和动态估计的预测精度。我们正试图缩小由于缺乏在中短期内分析TCP吞吐量的研究而造成的差距。研究了几种时间序列预测方法及其误差分布。我们观察到简单移动平均线在大多数情况下表现最好。我们还观察到，相对低估误差最好由截断正态分布表示，而相对高估误差最好由Lomax分布表示。此外，低估和高估表现出时间相关性，我们使用它来进一步提高预测精度。我们比较所提出的算法与基线方法，使用一个固定的利润率之间的过去的吞吐量和选定的媒体比特率，和一个基于Oracle的方法，具有完善的知识，在未来的吞吐量为一定的时间范围。
2016-03-03 cs.MM cs.NI
EyeNexus: Adaptive Gaze-Driven Quality and Bitrate Streaming for Seamless VR Cloud Gaming Experiences
针对VR云游戏中网络波动导致的体验下降，提出EyeNexus系统，结合实时视线驱动的空间压缩与视频编码，动态调整注视点区域，显著降低延迟并提升视觉质量。
2025-09-15 cs.MM eess.IV
Subjective and Objective Quality Assessment of High Frame Rate Videos
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
高帧速率（HFR）视频随着诸如体育的实况高动作流传输内容的巨大流行而变得越来越普遍。虽然HFR内容通常具有非常高的质量，但是高带宽要求使得它们在保持质量的同时高效地传送具有挑战性。为了优化带宽要求和视频质量之间的折衷，在帧速率自适应方面，必须理解帧速率和感知视频质量之间的复杂关系。为了推进这一方向的发展，我们设计了一个新的主观资源，称为LIVE-YouTube-HFR（LIVE-YT-HFR）数据集，它由480个视频组成，具有6种不同的帧速率，从16个不同的内容中获得。为了了解压缩和帧速率调整的组合效果，我们还在每个帧速率下处理了5个压缩级别的视频。为了获得视频上的主观标签，我们进行了一项人类研究，从85名人类受试者中获得了19，000个人类质量评级。我们还对现有的最先进的完整和无参考视频质量算法进行了全面评估，并在新数据库上对其性能进行了统计基准测试。LIVE-YT-HFR数据库已在线提供，供公众使用和评估，希望它将有助于推进这一令人兴奋的视频技术方向的研究。可在\url{https://live.ece.utexas.edu/research/LIVE_YT_HFR/LIVE_YT_HFR/index.html}获取
2021-09-27 cs.CV cs.MM eess.IV
