Encoding Bitrate Optimization Using Playback Statistics for HTTP-based Adaptive Video Streaming
HTTP视频流被广泛用于在互联网上传输视频。通过HTTP自适应流传输，视频回放基于可用带宽和视口（屏幕）大小从预编码表示中动态选择视频流。因此，观看者的视频质量受到编码比特率的影响。我们最小化的平均交付的比特率受到质量下限的基础上，每个块通过建模的概率，玩家选择一个特定的编码。通过仿真和实际实验，该方法在保证平均视频传输质量的前提下，与现有技术相比节省了9.6%的带宽。
2017-10-13 cs.MM
REVISION: A Roadmap on Adaptive Video Streaming Optimization
本文提出REVISION路线图，通过优化三角形和三层架构系统梳理自适应视频流媒体的目标、输入与动作，以提升消费电子设备的QoE。
2024-09-09 cs.MM
EVSO: Environment-aware Video Streaming Optimization of Power Consumption
流媒体服务逐渐支持高质量的视频，以获得更好的用户体验。然而，在移动设备上流式传输高质量视频会消耗相当多的能量。本文介绍了EVSO的设计和原型，它通过对部分视频应用自适应帧速率来实现节能，而用户体验略有下降。EVSO采用了一种新的感知相似性测量方法，基于人类视觉感知专门用于视频编码器。我们还扩展了媒体呈现描述，其中仅基于网络带宽选择视频内容，以允许额外考虑用户的电池状态。EVSO的流媒体服务器根据视频的各个部分的相似度强度，将视频预处理成若干个处理后的视频，然后向客户端提供适合客户端移动终端的网络带宽和电池状态的处理后的视频。EVSO系统在常用的H. 264/AVC编码器上实现。我们进行了各种实验和用户研究与九个视频。我们的实验结果表明，EVSO有效地降低了移动设备使用流媒体服务时的能耗，平均降低22%，最高可达27%，同时保持了用户体验的质量。
2019-05-16 cs.MM
QoE-driven Coupled Uplink and Downlink Rate Adaptation for 360-degree Video Live Streaming
360-360度视频提供了沉浸式360度观看体验，并且已经在许多领域中被广泛使用。360度视频直播系统涉及捕获、压缩、上行链路（摄像机到视频服务器）和下行链路（视频服务器到用户）传输。然而，很少有研究联合研究这样的复杂系统，特别是在有限的带宽约束下的360度视频流的耦合的上行链路和下行链路的速率自适应。在这封信中，我们提出了一个体验质量（QoE）驱动的360度视频直播系统，其中视频服务器执行速率自适应的基础上，上行链路和下行链路带宽和信息有关的每个用户的实时视野（FOV）。将其转化为一个非线性整数规划问题，提出了一种结合KKT条件和分枝定界法的优化算法，数值结果表明，与其他基准方案相比，该优化模型能显著提高用户的QoE.
2020-01-10 cs.MM
PARIMA: Viewport Adaptive 360-Degree Video Streaming
随着用于捕获360°视频的技术的不断进步，流式传输此类视频的进步已经成为热门的研究主题。然而，流式传输360°视频需要高带宽，因此需要开发优化的流式传输算法。研究人员已经提出了各种方法来解决这个问题，考虑网络带宽或尝试提前预测未来的视口。然而，大多数现有的作品或者（1）不考虑视频内容来预测用户视口，或者（2）不动态地适应用户偏好，或者（3）需要用于新视频的大量训练数据，从而使得它们潜在地不适合视频流传输目的。我们开发了PARIMA，一种快速高效的在线视口预测模型，它使用用户过去的视口以及主要对象的轨迹作为视频内容的代表来预测未来的视口。我们声称，用户的头部运动主要取决于视频中主要对象的轨迹。我们采用了一个基于ARIMA的比特率分配方案，并进行了全面的性能评估。在我们的评估中，我们表明，PARIMA优于国家的最先进的方法，提高了超过30%的体验质量，同时保持较短的响应时间。
2021-08-20 cs.MM
Foveated Video Streaming for Cloud Gaming
云游戏和基于云的VR等基于云的交互式多媒体应用要获得良好的用户体验，同时需要较低的端到端延迟和大量的下游网络带宽。在本文中，我们提出了一个中心凹视频流系统的云游戏。该系统通过动态调整编码参数以匹配玩家的注视位置来调整视频流质量。我们使用为云游戏系统开发的原型与眼动仪硬件进行测量。评估结果表明，这种聚焦流可以减少带宽要求甚至超过50%，这取决于参数化的聚焦视频编码，它是可行的延迟的角度来看。
2017-06-15 cs.MM
Viewport-aware adaptive 360° video streaming using tiles for virtual reality
在虚拟现实（VR）的背景下，360°视频吸引了越来越多的关注。由于其非常高的分辨率要求，用于360°视频的现有专业流媒体服务存在严重的缺点。本文介绍了一种新颖的端到端流媒体系统，从编码到显示，传输8 K分辨率的360°视频，并使用盔装显示器（HMD）提供增强的VR体验。所提出的系统的主要贡献是关于平铺，MPEG-HTTP动态自适应流（DASH）标准的集成，以及视口感知比特率级别选择。平铺和自适应流使得所提出的系统能够以良好的视觉质量提供非常高分辨率的360°视频。此外，所提出的视口感知比特率分配以视口感知方式为每个区块选择最佳DASH表示。所提出的系统的质量性能进行了验证，在不同的网络带宽，从用户实验记录的逼真的视图轨迹的模拟。我们的研究结果表明，所提出的流媒体系统相比，现有的方法在PSNR和SSIM内的视口。
2017-11-07 cs.MM
Sequential Reinforced 360-Degree Video Adaptive Streaming with Cross-user Attentive Network
在基于瓦片的360度视频流中，预测用户的未来视点和开发自适应比特率（ABR）算法对于优化用户体验质量（QoE）至关重要。传统的基于单用户的视点预测方法在长期预测中无法取得良好的性能，而最近提出的基于强化学习（RL）的ABR算法在传统视频流中的应用由于动作空间的指数性而不能直接应用于基于瓦片的360度视频流。因此，我们提出了一个顺序增强的360度视频流方案与跨用户注意网络。首先，考虑到不同用户对同一视频可能具有相似的观看偏好，提出了一种跨用户注意网络（CUAN），通过选择性地利用跨用户信息来提高长期视点预测的性能。其次，我们提出了一个顺序的基于RL（360 SRL）的ABR方法，通过引入一个顺序的决策结构，将每个决策步骤的动作空间大小从指数转换为线性。我们使用跟踪驱动的实验和实验结果表明，CUAN和360SRL优于现有的视点预测和ABR方法，具有显着的利润。
2020-09-29 cs.MM
Towards AI-Assisted Sustainable Adaptive Video Streaming Systems: Tutorial and Survey
本综述全面概述了视频流生命周期及AI技术应用，重点分析了AI驱动方法如何提升视频流系统端到端各环节的能效，并探讨了未来节能感知系统的研究方向。
2024-06-04 cs.MM
Adaptive 360 VR Video Streaming based on MPEG-DASH SRD
我们展示了一个基于MPEG-DASH SRD的自适应带宽高效的360 VR视频流系统。我们将MPEG-DASH SRD扩展到360 VR视频的3D空间，并展示了一种动态视图感知自适应技术，以解决将360 VR视频流传输到无线VR头显的高带宽需求。我们在空间上将底层3D网格划分为多个3D子网格，并构造一个高效的3D几何网格称为hexaface球体，以最佳地表示3D空间中的平铺360 VR视频。然后，我们在编码和打包时将360个视频在空间上划分为多个区块，使用MPEG-DASH SRD来描述3D空间中区块的空间关系，并优先考虑视场（FoV）中的区块以进行视图感知自适应。我们的初步评估结果表明，与未应用自适应的基线场景相比，我们可以节省高达72%的360 VR视频流所需带宽，并且对质量的影响较小。
2017-01-23 cs.MM
Estimation of optimal encoding ladders for tiled 360° VR video in adaptive streaming systems
鉴于虚拟现实（VR）需求的显着工业增长，360°视频流是最重要的VR应用之一，需要成本最优的解决方案来实现VR技术的广泛普及。由于数据密集型内容类型的固有可变性及其基于平铺的编码和流传输，360°视频需要自适应流传输系统中的新编码阶梯，以实现成本最优和沉浸式流传输体验。在此背景下，本文针对提供商和客户端的角度，并介绍了一种新的内容感知编码阶梯估计方法的自适应流媒体系统中的平铺360° VR视频。该方法首先根据360°视频编码复杂度的特点对视频进行分类，然后根据提出的失真和资源代价模型估计每个比特率级别的视觉失真和资源代价。然后，通过考虑实际约束条件，使用所提出的整数线性规划（ILP）算法形成最优编码阶梯。所提出的方法的实验结果进行了比较，推荐的专业流媒体服务提供商的编码阶梯。评估表明，所提出的编码阶梯提供更好的结果相比，推荐的编码阶梯的客观质量为360°视频，提供最佳的编码阶梯使用一组服务提供商的约束参数。
2017-11-09 cs.MM
Green Video Complexity Analysis for Efficient Encoding in Adaptive Video Streaming
本文优化基于 DCT 能量的 VCA，提出多线程、SIMD 与低通 DCT 加速方案，使超高清视频复杂度分析更快、更准且显著节能。
2023-04-24 cs.MM
Backward-Shifted Strategies Based on SVC for HTTP Adaptive Video Streaming
虽然基于HTTP的视频流可以轻松穿透防火墙并从Web缓存中获利，但底层TCP可能会在突然容量丢失的情况下引入大量延迟。为了避免中断的视频流在这种情况下，我们提出了后移编码（BSC）。基于可伸缩视频编码（SVC），BSC增加了一个时移层的冗余视频流，使未来的帧在任何时刻下载。这种预取的内容即使在高度变化的网络条件下也能保持流畅的视频流，并带来高质量的体验（QoE）。我们通过使用投票定理分析初始缓冲时间、重新缓冲时间和内容分辨率来表征这种QoE增益。回放中断和初始缓冲等待时间的概率生成函数以封闭形式提供。我们进一步计算视频质量的准静态分布，以计算平均质量以及视频质量的时间变化。使用这些分析结果来优化QoE显示了有趣的权衡和出色流畅的视频流。
2016-05-12 cs.MM
Traffic Profiling for Mobile Video Streaming
本文描述了一种新的系统，提供HTTP自适应流（HAS）会话的关键参数的协议栈的低层。提出了一种非侵入式流量分析解决方案，该解决方案观察基站、边缘路由器或网关的发送队列处的分组流。通过实时的分析IP流，该方案识别HAS会话的不同阶段，并估计重要的应用层参数，如回放缓冲区状态和视频编码速率。引入的估计器仅使用IP层信息，不需要标准化，甚至可以使用通过传输层安全性（TLS）加密的流量。一个流行的视频流服务的实验结果清楚地验证了所提出的解决方案的高精度。因此，流量分析为跨层信令和深度分组检测（DPI）提供了有价值的替代方案，以便为视频流执行有效的网络优化。
2017-05-24 cs.MM
Viewport-Driven Rate-Distortion Optimized 360° Video Streaming
虚拟和增强现实通信以及360°视频流的日益普及正在将视频通信系统移动到更加动态和资源有限的操作设置中。360°视频的巨大数据量需要有效利用网络带宽，以保持最终用户所需的体验质量。为此，我们提出了一个视口驱动的率失真优化的360°视频流的框架，该框架集成了用户视图导航模式和360°视频内容的时空率失真特性，以最大限度地提高给定网络/系统资源的用户体验质量。该框架包括用于构建动态热图的方法，该动态热图捕获用户随时间推移导航360°视频的不同空间段的可能性，其时空率失真特性的分析和表征，其利用360°视图球体的预处理空间填充，以及优化问题公式化，其在给定用户导航模式，360°视频编码决策，以及可用的系统/网络资源。我们的实验结果表明，我们的框架的优势，超过传统的方法流单片均匀编码的360°视频和最先进的参考方法。在两个流行的4K 360°视频的情况下，证明了4 - 5 dB的相当大的视频质量增益。
2018-03-21 cs.MM
Joint Communication and Computational Resource Allocation for QoE-driven Point Cloud Video Streaming
点云视频是最流行的全息图表示，它是VR/AR/MR中自然内容的媒介，有望成为下一代视频。点云视频系统为用户提供六个自由度的沉浸式观看体验，在在线教育、娱乐等领域有着广泛的应用。为了进一步增强这些应用程序，点云视频流的需求至关重要。固有的挑战在于，由于除了颜色信息之外还需要记录三维坐标，因此尺寸大，并且编码的计算复杂度高。为此，提出了一种面向QoE驱动的点云视频流的通信和计算资源分配方案。特别地，我们通过选择不同的数量、传输形式和质量等级瓦片来最大化系统资源利用率，以最大化体验质量。仿真结果表明，该方案优于现有方案
2020-02-20 cs.MM
A User-experience Driven SSIM-Aware Adaptation Approach for DASH Video Streaming
HTTP上的动态自适应流传输（DASH）是大量使用的视频流传输技术。一个关键点是驻留在客户端的适配机制。该机制极大地影响视频流的整体体验质量（QoE）。在本文中，我们提出了一种新的自适应算法，即基于SSIM的自适应（SBA）。该机制是用户体验驱动的：其使用结构相似性指数测量（SSIM）作为主要视频感知质量指标;此外，该适配基于SSIM指标和物理资源（缓冲器占用、带宽）的联合考虑，以便最小化缓冲器饥饿（再缓冲）和视频质量不稳定性，以及最大化整体视频质量（通过SSIM）。为了评估我们的提案的性能，我们使用真实的流量轨迹（在真实的移动网络中捕获）进行了轨迹驱动的仿真。通过主要QoE指标与一些代表性算法（BBA，FESTIVE，OSMF）的比较表明，我们的自适应算法SBA实现了有效的自适应，最大限度地减少了再缓冲和不稳定性，而显示的视频保持在高水平的比特率。
2020-12-10 cs.MM
Learning to Predict Streaming Video QoE: Distortions, Rebuffering and Memory
移动流媒体视频数据占无线网络流量的很大比例，并且比例不断增加。现代无线网络的可用带宽通常不稳定，导致难以提供流畅、高质量的视频。Netflix和YouTube等流媒体服务提供商试图通过改变视频比特率来调整其系统以响应于这些带宽限制，或者如果失败，则允许回放中断（重新缓冲）。能够预测由这些调整产生的终端用户的体验质量（QoE）可以导致感知驱动的网络资源分配策略，其将向客户端递送更高质量的流传输内容，同时对于提供商来说是成本有效的。现有的客观QoE模型仅考虑视频质量变化或播放中断对用户QoE的影响。对于流媒体应用，自适应网络策略可能涉及动态比特率分配以及当可用带宽达到非常低的值时的回放中断的组合。为了有效地预测用户QoE，我们提出了时间伪影和失速的视频评估（Video ATLAS）：一个机器学习框架，在该框架中，我们结合了许多与QoE相关的特征，包括客观质量特征、拒绝感知特征和记忆驱动特征来进行QoE预测。我们在最近设计的LIVE-Netflix视频QoE数据库上评估了我们基于学习的QoE预测模型，该数据库由实际播放模式组成，其中视频受到质量变化和重新缓冲事件的影响，并发现它提供了改进的性能。所提出的算法在http://live.ece.utexas.edu/research/Quality/VideoATLAS release_v2.rar上公开提供。
2017-03-02 cs.MM
QARC: Video Quality Aware Rate Control for Real-Time Video Streaming via Deep Reinforcement Learning
由于各种网络条件下吞吐量的波动性，如何自适应地选择合适的比特率来传输实时的【形】视频流成为一个即将到来的有趣的问题。最近的工作集中在提供高视频比特率，而不是视频质量。然而，我们注意到在发送比特率和视频质量之间存在权衡，这促使我们关注如何在它们之间取得平衡。在本文中，我们提出了QARC（视频质量感知速率控制），一种速率控制算法，其目的是有一个更高的感知视频质量与可能较低的发送速率和传输延迟。从头开始，QARC使用深度强化学习（DRL）算法来训练一个神经网络，以根据先前观察到的网络状态和过去的视频帧来选择未来的比特率，我们设计了一个神经网络来预测未来的感知视频质量，作为替代DRL输入中原始图片的向量。我们通过跟踪驱动的仿真来评估QARC。作为例外，QARC改进了现有的方法。
2018-10-27 cs.MM
Behavioral Systel Level Power Consumption Modeling of Mobile Video Streaming applications
如今，移动应用和终端的使用面临着与能源约束相关的根本挑战。这是由于与不断增长的硬件演进相比，电池寿命有限。视频流是移动系统中最耗能的应用之一，因为其密集使用带宽、存储器和处理能力。在这项工作中，我们的目标是提出一种方法来构建和验证一个高层次的全球功耗模型，包括硬件和软件元素。我们的方法是基于利用独立系统的功耗子模型之间的相互作用的角度来建立更准确的全局模型。的互动研究的独家背景下的视频流应用程序，是最常用的移动应用程序之一。
2012-08-31 cs.MM
Understanding Performance of Edge Content Caching for Mobile Video Streaming
如今的互联网见证了移动视频流的普及，预计到2019年将超过全球移动数据流量的3/4。为了满足大量的移动视频请求，视频服务提供商一直在将其内容交付基础设施推向边缘网络-从区域CDN服务器到对等CDN服务器（例如，用户家中的智能路由器）--缓存内容并为用户提供附近的存储和网络资源。在边缘网络内容缓存范例中，Wi-Fi接入点缓存和蜂窝基站缓存已经成为两种主流解决方案。因此，了解这些解决方案在大规模移动视频传输中的有效性和性能非常重要。然而，在实际的无线网络中，移动视频流的特性和请求模式并不清楚。在本文中，我们使用包含近200万用户的5000万个跟踪项的真实数据集，这些用户在中国的一个大城市使用移动设备观看了超过30万个独特的视频，时间超过2周，不仅要了解移动视频流中的请求模式和用户行为，还要评估基于Wi-Fi和蜂窝的边缘内容缓存解决方案的有效性。为了了解移动视频流的边缘内容缓存的性能，我们首先提出了时间和空间的视频请求模式，我们使用频域和熵分析方法分析其对缓存性能的影响。然后，我们研究了移动视频用户的行为，包括他们的移动性和地理迁移行为。使用跟踪驱动的实验，我们比较了边缘内容缓存的策略，包括LRU和LFU，在支持移动视频请求。此外，我们设计了一个有效的缓存策略的基础上的测量见解和实验评估其性能。
2017-02-24 cs.MM
Modeling the Impacts of Swipe Delay on User Quality of Experience in Short Video Streaming
本文研究滑动延迟对短视频流媒体用户体验的影响，通过132种滑动延迟模式的主观评估，发现延迟时长、次数及时间位置均影响用户体验，提出新的QoE模型以准确预测用户感受。
2026-03-19 cs.MM
A Review on P2P Video Streaming
本文的主要目的是提供一个基于P2P的视频点播和流媒体直播服务的概述。本文首先介绍了媒体流及其简化的架构。讨论了在互联网广泛使用的背景下提供视频流的各种解决方案。然后简要介绍了P2P网络及其应用。本章主要讨论了各种P2P流媒体方案和P2P流媒体应用。最后，简要讨论了P2P视频流的安全问题和解决方案。
2013-04-04 cs.MM cs.NI
Investigating Streaming Techniques and Energy Efficiency of Mobile Video Services
我们报告的结果从三个视频流媒体服务，YouTube，Dailymotion和Vimeo在六个不同的智能手机的测量研究。我们测量并分析了通过Wi-Fi和3G传输不同质量视频时的流量和能耗。我们确定了五种不同的技术来提供视频，并表明特定技术的使用取决于设备，播放器，质量和服务。根据所使用的流技术，设备、服务和视频质量之间的能耗差异很大。因此，我们提出了如何提高移动视频流媒体服务的能源效率的建议。
2012-09-13 cs.MM cs.NI
SQP: Congestion Control for Low-Latency Interactive Video Streaming
本文介绍了SQP的设计和评估，一个拥塞控制算法（CCA）的交互式视频流应用，需要流高比特率压缩视频与非常低的端到端帧延迟（如。AR流媒体、云游戏）。SQP使用帧耦合的、步调一致的分组序列来对网络带宽进行采样，并使用自适应单向延迟测量来从排队中恢复，以获得低的、有界的排队延迟。SQP快速适应链路带宽的变化，确保高利用率和低帧延迟，并且在可接受的延迟包络内与正在构建的流竞争时，还实现了有竞争力的带宽共享。SQP具有良好的公平性，并且在具有浅缓冲区的链路上工作得很好。在Google的AR流媒体平台中，SQP与Copa的实际A/B测试中，SQP在LTE和Wi-Fi的高比特率和低帧延迟下分别实现了27%和15%的会话。当与Cubic和BBR等构建流量竞争时，SQP的带宽比GoogCC（WebRTC）、Sunday和PCC-Vivace高2- 3倍，性能与Copa相当（带模式切换）。
2022-07-25 cs.MM cs.NI
Smart Streaming for Online Video Services
带宽消耗是在线视频服务提供商的一个重要问题。实际的视频流系统通常使用某种形式的HTTP流（渐进式下载），让用户以比视频比特率更快的速率下载视频。然而，由于用户可能在观看完整视频之前退出，因此许多下载的视频将被“浪费”。在某种程度上，用户的离开行为可以预测，我们开发智能流媒体，可用于提高用户的QoE与有限的服务器带宽或节省带宽成本与无限的服务器带宽。通过测量，我们提取了某些用户行为属性，用于实现这种智能流媒体，并使用原型实现以及模拟来展示其优势。
2014-04-10 cs.MM cs.PF
PDStream: Slashing Long-Tail Delay in Interactive Video Streaming via Pseudo-Dual Streaming
PDStream提出伪双流机制，仅在关键帧出现时短暂激活双流，将播放与参考功能分离，在保持清晰度的同时显著削减交互式视频流的长尾延迟。
2025-02-07 cs.MM cs.NI
A Brief Survey on Adaptive Video Streaming Quality Assessment
University of Waterloo（滑铁卢大学）；Shanghai Jiao Tong University（上海交通大学）；Ningbo University（宁波大学）
自适应视频流的体验质量（QoE）评估在高级网络管理系统中起着重要作用。在HTTP上的动态自适应流传输方案（DASH）的情况下尤其具有挑战性，其具有包括附加回放问题的日益复杂的特性。在本文中，我们提供了一个简短的概述自适应视频流质量评估。在回顾相关工作后，我们分析和比较了使用或不使用自适应视频流的机器学习技术的客观Qoe评估模型的不同变体。通过性能分析，我们观察到，混合模型的性能优于服务质量（QoS）驱动的QoE方法和信号保真度测量。此外，对于相同的设置，基于机器学习的模型略微优于不使用机器学习的模型。此外，我们发现，现有的视频流QoE评估模型仍然有有限的性能，这使得它很难在实际的通信系统中应用。因此，基于传统视频质量预测的深度学习特征表示的成功，我们还应用了现成的深度卷积神经网络（DCNN）来评估流视频的感知质量，其中考虑了流视频的时空特性。实验证明了它的优越性，这揭示了专门设计的深度学习框架的自适应视频流质量评估的未来发展。我们相信这项调查可以作为自适应视频流的QoE评估的指导方针。
2022-02-25 cs.CV cs.MM
Network Characteristics of Video Streaming Traffic
视频流代表了互联网流量的很大一部分。令人惊讶的是，很少有人知道这种流量的网络特性。在本文中，我们研究了两个最流行的视频流服务，Netflix和YouTube的网络特性。我们表明，流媒体策略随应用程序的类型（Web浏览器或本机移动应用程序）和用于视频流的容器类型（Silverlight，Flash或HTML5）而变化。特别是，我们确定了三种不同的流媒体策略，从非ACK时钟的ON-OFF周期批量TCP传输产生的流量模式。然后，我们提出了一个分析模型来研究这些流媒体策略对总流量的潜在影响，并提出相应的建议。
2011-11-03 cs.MM cs.NI
StreamingEval: A Unified Evaluation Protocol towards Realistic Streaming Video Understanding
East China Normal University（华东师范大学）
本文提出StreamingEval评估框架，用于评估视频大语言模型在真实资源约束下的流媒体视频理解能力，通过标准化协议测试效率、存储与准确性的平衡，揭示当前模型与实际应用需求的差距。
2026-03-23 cs.CV cs.MM
A Survey on Mobile Edge Computing for Video Streaming: Opportunities and Challenges
5G通信通过实现更高的吞吐量和更低的延迟，在提供给各种应用的服务质量方面带来了实质性的改进。然而，交互式多媒体应用（例如，超高清视频会议、3D和多视图视频流、众包视频流、云游戏、虚拟和增强现实）正变得越来越雄心勃勃，高容量和低延迟视频流对已经拥塞的网络提出了严格的要求。移动边缘计算（MEC）是将云计算能力扩展到网络边缘的新兴范例，即，在基站级别。为了满足延迟要求并避免与远程云数据中心的端到端通信，MEC允许存储和处理视频内容（例如，高速缓存、代码转换、预处理）。视频点播和直播视频流都可以利用MEC来改进现有服务并开发新的用例，例如视频分析和有针对性的广告。MEC有望通过提供超可靠和低延迟的流媒体（例如，在增强现实、虚拟现实和自主车辆中），普及计算（例如，在实时视频分析中），以及用于安全直播的区块链架构。本文对MEC支持的视频流的最新发展进行了全面调查，带来了前所未有的改进，以实现新的用例。详细回顾了最新的高速缓存方案、最佳计算卸载、协作高速缓存和卸载以及人工智能的使用（即，机器学习、深度学习和强化学习）。
2022-09-13 cs.MM cs.NI
Coffee: Cost-Effective Edge Caching for 360 Degree Live Video Streaming
针对360度直播视频的带宽与成本问题，提出结合FoV预测和瓦片预取的边缘缓存算法Coffee及转码感知变体TransCoffee，显著降低回传流量与流媒体成本。
2024-01-28 cs.MM cs.NI
A QoE Model in Point Cloud Video Streaming
点云视频已经被增强现实（AR）和虚拟现实（VR）应用广泛使用，因为它允许用户具有六个自由度（6DoF）的沉浸式体验。然而，目前还缺乏对点云视频流的体验质量（QoE）模型的研究，无法为流媒体系统提供优化指标。此外，点云视频中每个像素所包含的位置和颜色信息，以及6自由度观看过程中产生的视口距离效应，使得传统的客观质量评价指标不能直接应用于点云视频流系统。本文首先分析了影响QoE模型的主客观因素。建立了一个模拟点云视频流的实验系统，并进行了详细的主观质量评价实验。基于收集的平均意见得分（MOS）数据，我们提出了一个点云视频流的QoE模型。通过实际主观评分对模型进行了验证，结果表明所提出的QoE模型能够准确反映用户的视觉感知。我们还公开了实验数据库，以促进点云视频流的QoE研究。
2022-01-21 cs.MM eess.IV
Volumetric video streaming: Current approaches and implementations
具有增加的保真度和沉浸感的用于3D中的对象和场景的捕获系统的兴起已经导致可以在6个自由度导航中从任何位置和角度看到的体积视频内容的流行。这些内容需要大量的数据来准确地表示真实世界。因此，需要新的优化解决方案和交付系统，以使容量视频流在带宽有限的网络。在本章中，我们将讨论通过压缩解决方案以及网络和用户自适应，为高端和低功耗设备进行体积视频流优化的理论方法。此外，我们提出了现有的端到端系统的概述，我们指出体积视频流的未来。
2022-09-05 cs.MM eess.IV
DaI: Decrypt and Infer the Quality of Real-Time Video Streaming
对网络服务质量的推断是网络运营商进行优化的重要依据。然而，主流的实时的【形】视频流应用采用加密的安全性，留下了一个问题，提取实时的【形】视频的服务质量（QoS）指标。在本文中，我们提出了DaI，一个基于流量的实时的【形】视频质量估计。DaI可以部分解密加密的实时的【形】视频数据，并应用机器学习方法来估计实时的【形】视频的关键客观体验质量（QoE）度量。根据实验结果，DaI可以估计客观的QoE指标，平均准确率为79%。
2022-11-04 cs.MM cs.NI
Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution
近十年来，视频流的自适应质量控制和超分辨率技术得到了深入的研究。随着边缘设备的改进，使其具有比以往任何时候都更出色的处理能力，流媒体用户可以提高接收到的图像质量，从而允许发射机压缩图像以节省功率或追求网络效率。在这个意义上说，本文提出了一种新的动态视频流算法，自适应压缩视频块在发送器和单独提高在接收器使用SR的质量。为了允许传输的视频块具有不同的压缩级别和控制的计算负担，我们提出了自适应SR网络，这是通过最小化从不同层输出提取的损失的加权和优化。用于动态视频流。此外，我们共同编排视频传输和资源使用，和建议的视频传输方案之间的平均视频质量，排队延迟，缓冲时间，传输功率和计算能力的权衡很好地平衡。仿真结果表明，该方案在不需要收发双方协作和非自适应SR网络的情况下，对视频流服务质量（QoS）的追求优于自适应质量控制。
2021-10-12 cs.DC cs.MM
Ten Ways in which Virtual Reality Differs from Video Streaming
本文对比虚拟现实（VR）与视频流（尤其是存储式2D视频流）的差异，分析VR独特特征对相关机制设计的影响，探讨重新构建VR系统与网络支持的思路。
2024-11-29 cs.MM cs.NI cs.PF
Network-Assisted Delivery of Adaptive Video Streaming Services through CDN, SDN, and MEC
针对高分辨率低延迟视频流对带宽和延迟的挑战，本论文通过引入具有全局网络视野的网络内组件，结合 CDN、SDN 和 MEC 技术，提出完全透明的网络辅助视频流（NAVS）解决方案以提升服务效率。
2024-03-25 cs.MM cs.NI
A Knowledge-Driven Quality-of-Experience Model for Adaptive Streaming Videos
自适应流媒体视频的巨大空间和主观实验容量的有限性之间的根本冲突给客观体验质量（QoE）预测带来了重大挑战。现有的客观QoE模型表现出复杂的函数形式，未能在不同的流媒体环境中很好地推广。在这项研究中，我们提出了一个客观的QoE模型，即知识驱动的流媒体质量指数（KSQI）整合先验知识的人类视觉系统和人类注释数据的原则性的方式。通过分析对流媒体视频的主观特征，从主观研究的语料库，我们表明，家庭的QoE功能在于一个凸集。使用投影梯度下降的变体，我们在训练视频的数据库上优化客观QoE模型。拟议的KSQI表现出强大的通用性，以不同的流媒体环境，明显的国家的最先进的性能在四个公开的基准数据集。
2019-11-18 cs.MM cs.NI
Adaptive Bitrate Streaming Over Cellular Networks: Rate Adaptation and Data Savings Strategies
自适应比特率流（ABR）已成为互联网上视频流的事实技术。尽管出现了一系列技术，但在蜂窝网络上实现高质量的ABR流仍然是一个巨大的挑战。首先，ABR方案的设计需要平衡视频质量、质量变化、停顿和启动性能等相互冲突的体验质量（QoE）指标，这在蜂窝网络的高动态带宽下更加困难。其次，流媒体提供商已经转向使用可变比特率（VBR）编码的视频内容，这引入了新的挑战ABR流，其性质和含义是鲜为人知的。第三，移动视频流消耗大量数据。尽管许多视频和网络提供商目前提供数据保存选项，但现有做法在QoE和资源使用方面并不理想。最后，当音频和视频轨道分开存储时，视频和音频速率适配需要动态协调以实现良好的整体流体验，这提出了有趣的挑战，而令人惊讶的是，研究界几乎没有关注。在这篇论文中，我们解决了上述四个挑战。
2021-05-14 cs.MM cs.NI
Quality of Service (QoS): Measurements of Video Streaming
如今，视频流在社交云上不断增长，最终用户总是希望在朋友之间分享高清（HD）视频。大多数视频是通过智能手机和其他高清设备录制的，短时间视频的文件大小很大。大文件的视频需要高带宽上传和下载在互联网上，也需要更多的时间加载在网页上播放。因此，避免这个问题的社会云压缩视频在上传过程中流畅播放和快速加载的网页。压缩降低了视频质量，这也降低了最终用户的体验质量。在本文中，我们测量不同的标准视频文件格式的社交云的QoS，他们从彼此不同的分辨率，音频/视频比特率和存储大小。
2020-08-27 cs.MM cs.PF
Bandwidth-Efficient Multi-video Prefetching for Short Video Streaming
近年来，允许分享用户创建的短视频的应用程序迅速流行起来。典型的短视频应用允许用户滑动离开正在观看的当前视频并开始观看视频队列中的下一个视频。如果用户在结束观看之前频繁地将视频扫走，则这样的用户界面导致显著的带宽浪费。需要在不损害体验质量（QoE）的情况下减少带宽浪费的解决方案。解决该问题需要自适应地预取短视频块，这是具有挑战性的，因为下载策略需要匹配未知的用户观看行为和网络条件。在我们的工作中，我们首先制定了短视频流的自适应多视频预取的问题。然后，为了便于集成和比较研究人员的算法对解决问题，我们设计和实现了一个离散事件模拟器，我们发布的开源。最后，结合2022年ACM Multimedia短视频流媒体大挑战赛的组织情况，对参赛者的算法进行了分析和总结，以期推动研究界对这一问题的解决。
2022-06-25 cs.MM cs.NI
Improving Mobile Video Streaming with Mobility Prediction and Prefetching in Integrated Cellular-WiFi Networks
我们提出并评估了一个程序，利用移动性和吞吐量预测预取视频流数据在集成的蜂窝和WiFi网络。这种异构无线技术的有效集成对于在无处不在的网络环境中支持高性能和节能的视频流将是重要的。我们的评估是基于跟踪驱动的模拟，考虑经验测量，并显示了各种系统参数如何影响性能，暂停视频帧的数量和能耗方面，这些参数包括视频流的数量，移动，WiFi和ADSL回程吞吐量，以及WiFi热点的数量。此外，我们评估的过程的鲁棒性的时间和吞吐量的变化。最后，我们提出了我们的初始原型，实现所提出的方法。
2013-10-23 cs.MM cs.NI
A Survey on 360-Degree Video: Coding, Quality of Experience and Streaming
虚拟现实（VR）头显的商业化使得沉浸式和360度视频流成为行业和研究界的热门话题。虽然视频流的基本原理是相同的，但沉浸式视频提出了一系列需要解决的具体挑战。在本次调查中，我们介绍了相关文献中四个最重要的方面的最新进展：（i）全向视频编码和压缩，（ii）主观和客观体验质量（QoE）及其影响因素，（iii）显着性测量和视野（FoV）预测，以及（iv）沉浸式360度视频的自适应流媒体。该调查的最终目的是概述沉浸式视频流系统的所有元素的研究，让读者了解它们的相互作用和性能。
2021-02-16 cs.MM cs.NI eess.IV
StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation
BAAI（北京智源人工智能研究院）；PKU（北京大学）；Kling；THU（清华大学）；USTC（中国科学技术大学）
该研究针对现有基准无法捕捉流式音视频生成特性的问题，推出首个综合基准StreamAV-Bench，构建含双赛道的评估框架并评估13个系统，揭示当前模型的缺陷并给出模型开发见解。
2026-08-28 cs.CV cs.MM cs.SD
A Holistic Survey of Wireless Multipath Video Streaming
当今的大多数移动设备都配备了多个网络接口，并且将受益于多路径通信的主要带宽需求应用之一是无线视频流。然而，大多数当前的传输协议不匹配的视频流应用程序的要求，或没有被设计为解决相关的问题，如延迟约束，网络异构性，和线头阻塞问题。本次调查提供了一个全面的多路径无线视频流的文献综述，从端到端分层堆栈的角度来看，揭示了不同的替代品，揭示了每种方法的权衡，并提出了一个合适的分类法来分类的最先进的。最后，我们讨论了开放的问题和未来工作的途径。
2021-09-21 cs.MM cs.NI
An Experimental Study of Low-Latency Video Streaming over 5G
针对5G低延迟视频流缺乏真实行为研究的问题，本文通过商用5G网络在静态与移动场景下关联应用层QoE和RAN指标，证明设备侧RAN信息可提升吞吐量估计与抗网络扰动能力。
2024-03-01 cs.MM cs.PF
Peer-to-Peer Live Streaming and Video On Demand Design Issues and its Challenges
P2P直播和视频点播是近年来互联网上最流行的媒体应用。这些系统减少了服务器上的负载，并提供了可伸缩的内容分发。P2P网络是一种新的协作模式，它在现有网络上构建大型分布式视频应用，但P2P流媒体、直播和视频点播系统的设计问题是相同的。因此，需要进行全面的设计比较，以建立这样的系统架构。因此，在本文中，我们详细研究了传统的P2P流媒体架构的方法，其关键的设计问题，以及实际的挑战。因此，我们在本文中的研究清楚地指出有形的设计问题和挑战，以及其他无形的问题提供P2P视频点播服务。
2011-11-29 cs.MM cs.NI
Cybersickness-aware Tile-based Adaptive 360° Video Streaming
与传统视频相比，虚拟现实（VR）中的成像是360°的，并且它消耗更大的带宽来传输视频内容。为了减少带宽消耗，已经提出了基于瓦片的流传输来传送视频的聚焦部分，而不是整个视频。另一方面，减轻晕动病的技术，这是类似于晕动病和使用数字显示器时发生的，还没有与VR中的瓷砖选择共同探索。在本文中，我们研究了自适应360°视频流系统中的晕电控制（TSCC）的瓷砖选择与晕电缓解。我们提出了一个m-竞争的在线算法与Cybersickness指标（CI）和视频丢失指标（VLI）来评估即时cybersickness和视频质量的总损失。此外，该算法利用疾病迁移指标（SMI），以评估随着时间的推移和增加的光流，以提高瓦片质量分配的cybersickness积累。一个真实的网络数据集的模拟表明，我们的算法优于基线的视频质量和cybersickness积累。
2021-10-04 cs.MM cs.NI
A Gossip-based optimistic replication for efficient delay-sensitive streaming using an interactive middleware support system
在共享资源的同时，由于缺乏以多客户端支持方式提供的所需资源，效率大大降低。这些资源通常会受到许多因素的影响，例如可用性的时间约束或所请求的复制文件块的节点洪泛。因此，复制的文件块应该被有效地传播，以使移动用户按需提供资源。这项工作考虑了一个跨层的中间件支持系统，通过使用每个设备的连接和社交互动，在跨层的方式，有效的延迟敏感的流。协作流式传输是通过虚拟复制的文件块策略实现的，该策略使用具有易感、感染、恢复和死亡状态的传染病的链式模型的基于转换的方法。基于Gossip的有状态模型强制移动节点是否托管一个文件块或没有，或者，当不再是一个块是需要的，以清除it.The建议的模型进行了彻底的评估，通过实验模拟采取措施的有效吞吐量EFF作为一个函数的数据包丢失参数的有效性相比，复制Gossip为基础的政策。
2010-09-09 cs.DC cs.MM
High Quality of Service on Video Streaming in P2P Networks using FST-MDC
视频流应用新近吸引了分发网络中的大量参与者。传统的基于客户端-服务器的视频流解决方案在服务器上维持宝贵的带宽供应率。近来，已经组织了若干P2P流传输系统以在无线网络上以降低的服务器成本提供点播和实况视频流传输服务。对等计算（Peer-to-Peer，P2P）是构建分布式网络应用的一种新模式。典型的差错控制技术不是很好地匹配的，另一方面，对于视频传输，通过无线网络和IP。这两个事实结合在一起，提供了一套新的技术（错误隐藏）的发展，能够处理视频系统中的传输错误的基本动机。在本文中，我们提出了一种灵活的多描述编码方法命名为灵活的时空（FST），提高了错误的弹性在独立路径的帧丢失的可能性。该算法在接收端引入了空域和时域相结合的隐藏技术，更有效地隐藏了丢失的帧。实验结果表明，该方法在P2P无线网络中获得了合理的视频质量性能。
2011-05-27 cs.DC cs.MM
User Digital Twin-Driven Video Streaming for Customized Preferences and Adaptive Transcoding
本研究提出融合用户数字孪生与传统视频流系统的新方法，通过机器学习持续更新用户数字孪生以指导自适应转码，在提升内容个性化的同时降低带宽占用、优化播放质量，推动用户-centric多媒体服务发展。
2025-08-01 cs.MM cs.NI
Multiuser Video Streaming Rate Adaptation: A Physical Layer Resource-Aware Deep Reinforcement Learning Approach
我们考虑一个多用户视频流服务的优化问题，在一个时变和相互干扰的多小区无线网络。关键的研究挑战是根据射频环境（例如，信道衰落和干扰水平）和服务需求（例如，播放请求），从而可以优化用户观看视频的长期体验。为了解决上述挑战，我们提出了一种新的两级跨层优化框架，多用户自适应视频流在无线网络上。其核心思想是联合设计基于物理层优化的波束形成方案（在基站处执行）和基于应用层深度强化学习（DRL）的方案（在用户终端处执行），使得高度复杂的多用户、跨层、时变视频流问题可以被分解为相对简单的问题并得到有效解决。我们的策略代表了对现有方案的重大偏离，其中考虑短期用户体验优化，或者仅考虑单用户点对点长期优化。基于真实数据集的大量仿真表明，所提出的跨层设计是有效的和有前途的。
2019-02-02 cs.MM eess.SP
Scalable Event-Based Video Streaming for Machines with MoQ
Baylor University（贝勒大学）
本文针对神经形态事件传感器视频传输被忽视的问题，综述现有事件视频系统，并基于Media Over QUIC协议提出一种低延迟可扩展的事件流传输格式。
2025-08-20 cs.CV cs.MM eess.IV
