Cross-Layer Effects on Training Neural Algorithms for Video Streaming
目前，HTTP上的动态自适应流（DASH）是互联网上用于多媒体流的最流行的解决方案，并且负责大部分全球流量。DASH使用自适应比特率（ABR）算法，该算法考虑诸如吞吐量和播放缓冲器水平的性能度量来选择视频质量。Pensieve是一个允许在模拟网络环境中使用强化学习来训练ABR算法的系统，并且在实现的性能方面优于现有方法。在本文中，我们证明了训练的ABR算法的性能取决于用于训练的神经网络的模拟环境的实施。我们还表明，所使用的拥塞控制算法的影响，由于跨层效应的算法的性能。
2018-09-27 cs.MM cs.NI
Assessing the Quality-of-Experience of Adaptive Bitrate Video Streaming
视频传输管道的多样性对自适应比特率（ABR）流媒体算法和客观体验质量（QoE）模型的评估提出了巨大的挑战。在这里，我们介绍了迄今为止同类中最大的主题分级数据库，即WaterlooSQoE-IV，由1350个自适应流媒体视频组成，这些视频是从不同的源内容、视频编码器、网络跟踪、ABR算法和观看设备创建的。我们通过一系列精心设计的主观实验收集每个视频的人类意见。随后的数据分析和使用数据库的ABR算法和QoE模型的测试/比较导致了一系列新颖的观察和有趣的发现，在主观实验方法的有效性，用户体验和源内容之间的相互作用，观看设备和编码器类型，用户体验的偏差和偏好的异质性，ABR算法的行为，以及客观QoE模型的性能。最重要的是，我们的研究结果表明，一个更好的客观QoE模型，或者更好地理解人类的感知体验和行为，是提高ABR算法性能的最主要因素，而不是先进的优化框架，机器学习策略或带宽预测器，在过去的十年中，大多数ABR研究都集中在这些方面。另一方面，我们对11个QoE模型的性能评估显示，最先进的QoE模型和主观评分之间只有适度的相关性，这意味着QoE建模和ABR算法都有改进的空间。该数据库在以下网址公开提供：\url{https://ece.uwaterloo.ca/~zduanmu/waterloosqoe4/}。
2020-08-20 cs.MM eess.IV
Sensor-Augmented Neural Adaptive Bitrate Video Streaming on UAVs
Huazhong University of Science and Technology（华中科技大学）；Hong Kong University of Science and Technology（香港科技大学）
无人机（UAV）技术的最新进展已经彻底改变了广泛的民用和军用应用。然而，使无人机和地面客户端之间的高清视频实时流传输成为可能的无线技术的设计提出了一个难题。现有的自适应比特率（ABR）算法大多没有针对空地链路进行优化，而空地链路通常会因无人机的动态飞行状态而发生剧烈波动。在本文中，我们提出了SA-ABR，一个新的传感器增强系统，产生ABR视频流算法的各种固有的传感器数据，用于试点无人机的援助。通过将固有的传感器数据与网络观测相结合，SA-ABR训练深度强化学习（DRL）模型，以从飞行状态信息中提取显著特征，并自动学习ABR算法，以适应不断变化的UAV信道容量。SA-ABR不依赖于任何关于无人机飞行状态或环境的假设或模型，而是通过长短期记忆（LSTM）利用过去吞吐量的时间特性来做出决策，以适应各种高度动态的环境。我们已经在商用无人机上实现了SA-ABR，并在野外进行了评估。我们比较SA-ABR与各种现有的国家的最先进的ABR算法，结果表明，我们的系统优于最知名的现有ABR算法的平均体验质量（QoE）奖励方面的21.4%。
2019-09-23 cs.LG cs.MM eess.SP
ANT: Learning Accurate Network Throughput for Better Adaptive Video Streaming
Tencent（腾讯）
自适应比特率（ABR）决策对于确保视频流应用中令人满意的体验质量（QoE）起着至关重要的作用，其中过去的网络统计数据主要用于未来的网络带宽预测。然而，大多数算法，无论是基于规则的还是学习驱动的方法，都基于传统的统计数据（即，平均值/标准差）来驱动ABR决策，导致在特定场景中性能受损。给定不同的网络连接（例如，WiFi、蜂窝和有线链路），因此本文提出学习ANT（也称为，精确的网络吞吐量）模型来表征过去的网络吞吐量动态的全谱，以导出与网络吞吐量段（NTS）的特定集群相关联的适当网络条件。然后，每个NTS集群用于生成一个专用的ABR模型，我们希望通过该模型更好地捕捉不同连接的网络动态。我们将ANT模型与现有的基于强化学习（RL）的ABR决策引擎相结合，其中应用不同的ABR模型来响应准确的网络感知，以获得更好的速率决策。大量的实验结果表明，我们的方法可以显着提高用户的QoE分别为65.5%和31.3%，与最先进的Pensive和Oboe相比，在广泛的网络场景。
2021-05-05 cs.AI cs.MM
Improving ABR Performance for Short Video Streaming Using Multi-Agent Reinforcement Learning with Expert Guidance
提出基于专家指导的MARL框架Incendio，分离视频ID与比特率决策以优化短视频预取，在保持低复杂度下效用分数提升53.2%。
2023-04-10 cs.MM eess.IV
Robust Live Streaming over LEO Satellite Constellations: Measurement, Analysis, and Handover-Aware Adaptation
本文针对低地球轨道卫星网络中直播因频繁切换导致卡顿的问题，提出轻量级中间件SARA，通过调节播放速度并为ABR算法提供网络洞察，显著减少重新缓冲并略微改善延迟。
2025-08-18 cs.MM eess.IV
ECAS-ML: Edge Computing Assisted Adaptation Scheme with Machine Learning for HTTP Adaptive Streaming
随着移动网络中的视频流传输业务的增加，改进内容递送过程变得至关重要，例如，利用边缘计算支持。在边缘节点，我们可以部署自适应比特率（ABR）算法，更好地了解网络行为并访问无线电和播放器指标。在这项工作中，我们提出了ECAS-ML，边缘辅助自适应方案的HTTP自适应流与机器学习。ECAS-ML专注于管理比特率、段切换和停顿之间的权衡，以实现更高的体验质量（QoE）。为此，我们使用机器学习技术来分析无线电吞吐量轨迹并预测算法的最佳参数，以实现更好的性能。实验结果表明，ECAS-ML算法优于其他基于客户端和基于边缘的ABR算法。
2022-01-12 cs.MM cs.NI
A real-time blind quality-of-experience assessment metric for HTTP adaptive streaming
在当今的互联网中，HTTP自适应流（HAS）是用于视频流的主流标准，其基于自适应比特率（ABR）算法来切换视频内容的比特率。有效的体验质量（QoE）评估度量可以为ABR算法提供关键反馈。然而，在客户端侧预测这样的实时QoE是具有挑战性的。QoE预测要求与人类视觉系统（HVS）的高度一致性、低延迟和盲评估，这些都难以同时实现。为了解决这个问题，我们分析了HAS系统的各种特性，并提出了一种非均匀采样度量来降低时间复杂度。此外，我们设计了一个有效的QoE指标，它将分辨率和重新缓冲时间集成为服务质量（QoS），并将深度神经网络的时空输出和特定的切换事件集成为内容信息。这些奖励和惩罚功能回归到质量分数与支持向量回归（SVR）模型。实验结果表明，该指标的准确率比主流的盲QoE指标高出0.3倍，计算时间仅为视频播放时间的60%，表明该指标能够为ABR算法提供实时指导，提高HAS的整体性能.
2023-03-17 cs.MM eess.IV
BOLA360: Near-optimal View and Bitrate Adaptation for 360-degree Video Streaming
本文提出BOLA360，一种面向360度视频流的在线自适应码率算法，通过仅下载视场内片段并动态调整码率，在理论上证明近最优性，并在实验中相比现有算法提升13.6%至372.5%的QoE。
2024-10-01 cs.MM
Reducing Traffic Wastage in Video Streaming via Bandwidth-Efficient Bitrate Adaptation
针对现有ABR算法流量浪费严重的问题，提出带宽高效的BE-ABR算法，通过基于Transformer的延迟预测和细粒度缓冲控制，在WiFi、4G、5G等环境下实现60.87%的浪费减少且QoE相当或更优。
2024-12-10 cs.MM cs.NI
SCALED : Surrogate-gradient for Codec-Aware Learning of Downsampling in ABR Streaming
MediaKind；INRIA（法国国家信息与自动化研究所）
SCALED通过使用真实非可微编解码器的代理梯度实现端到端训练，提升ABR流媒体的压缩感知学习性能。
2026-01-30 cs.AI cs.MM eess.IV
Performance Bound Analysis for Crowdsourced Mobile Video Streaming
自适应比特率（ABR）流使得视频用户能够根据实时网络条件来调整播放比特率，以实现期望的体验质量（QoE）。在这项工作中，我们提出了一种新的众包流框架多用户ABR视频流在无线网络上。该框架使附近的移动视频用户能够众包他们的无线电链路和资源，用于协作视频流。我们着重分析所提出的众包流媒体系统的社会福利性能界限。由于用户的异步操作，直接求解此界限具有挑战性。为此，我们引入了一个虚拟的时隙系统的同步操作，并制定了相关的社会福利优化问题作为一个线性规划。我们表明，虚拟系统的最佳社会福利性能提供了有效的上界和下界的最佳性能（界）的原始异步系统，因此，所提出的众包流媒体系统的可行性能区域的特点。所得的性能界限可作为未来在线算法设计和激励机制设计的基准。
2018-05-21 cs.GT cs.MM cs.NI
CBA: Contextual Quality Adaptation for Adaptive Bitrate Video Streaming (Extended Version)
质量自适应算法的最新进展使自适应比特率（ABR）流传输架构处于十字路口：当确定可持续的视频质量时，可以依赖于在客户端有利位置收集的信息，也可以依赖于服务器和网络辅助。这里的基本问题是确定这两种信息对适应决策的价值。这个问题在未来的互联网设置中变得特别困难，例如命名数据网络（NDN），其中不存在网络连接的概念。在本文中，我们提供了一个新的观点ABR质量适应QoE最大化，我们正式作为一个决策问题下的不确定性，并为此我们贡献了一个稀疏贝叶斯上下文强盗算法表示CBA。这允许获取高维流上下文信息，包括客户端测量的变量和网络辅助，以在线找到用于质量适配的最有价值的信息。由于稀疏贝叶斯估计是计算昂贵的，我们开发了一个快速的新的推理方案，以支持在线视频自适应。我们进行了广泛的评估，我们的自适应算法在特别具有挑战性的设置NDN，在那里我们使用仿真测试床，以证明CBA的功效相比，国家的最先进的算法。
2019-01-17 cs.MM cs.NI
MADRL-Based Rate Adaptation for 360° Video Streaming with Multi-Viewpoint Prediction
University of Ottawa（渥太华大学）；Huawei Canada（华为加拿大）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对360°视频流单视角预测应对突发头部运动效果差的问题，提出多模态时空注意力Transformer多视角预测方法，结合基于CTDE框架MAPPO的MADRL自适应码率算法，最高提升QoE指标85.5%。
2024-05-17 cs.AI cs.MM cs.NI
An End-to-End Pipeline Perspective on Video Streaming in Best-Effort Networks: A Survey and Tutorial
本文从端到端流水线视角综述了尽力而为网络中的视频流传输，涵盖采集、处理和分发全阶段，按直觉、理论和机器学习等方法对200多篇论文进行分类，并探讨商业实践与未来方向。
2025-07-15 cs.MM cs.NI
LL-GABR: Energy Efficient Live Video Streaming Using Reinforcement Learning
University at Buffalo（布法罗大学）；IBM Research（IBM研究院）
本文提出基于深度强化学习的直播视频流方法 LL-GABR，通过感知视频质量而非比特率建模 QoE 并结合能耗等指标，在无需额外重训练的情况下，较现有方法提升 44% 感知 QoE 和 73% 能效。
2024-02-14 cs.AI cs.MM
EVAN: Evolutional Video Streaming Adaptation via Neural Representation
Shanghai Jiao Tong University（上海交通大学）；University of Canterbury（坎特伯雷大学）；Bytedance Inc.（字节跳动公司）；University of Washington（华盛顿大学）
针对传统ABR策略适应性受限的问题，提出基于NeRV和SAC强化学习的EVAN框架，通过自适应传输NeRV模型和渐进式播放避免重缓冲，实验显示其重缓冲减少50%且性能提升近20%。
2024-04-15 cs.AI cs.CV cs.MM
ProCAVE: A Self-Adaptive, Full-Lifecycle Edge Caching Framework for Video Streaming via Predictive Bandwidth Estimation and Preference-Aware Deep Reinforcement Learning
Tarbiat Modares University（塔比尔·莫达雷斯大学）；ICT Research Institute（信息通信技术研究所）
该研究针对现有边缘缓存方法在无线动态环境下响应与协调不足的问题，提出ProCAVE框架，结合轻量Transformer、PPO、DDPG实现预测带宽建模与偏好感知缓存控制，实验表明其在字节命中率、回传负载、QoE上优于FlyCache等基线。
2026-08-05 cs.MM cs.NI eess.IV
Comyco: Quality-Aware Adaptive Video Streaming via Imitation Learning
Tsinghua University（清华大学）；Beijing Kuaishou Technology Co., Ltd.（北京快手科技有限公司）
基于学习的自适应比特率方法（ABR），旨在不需要任何假设就能学习到优秀的策略，已成为自适应流媒体的研究热点之一。然而，它通常遭受几个问题，即，低样本效率和缺乏对视频质量信息的认识。在本文中，我们提出了Comyco，一个视频质量感知的ABR方法，通过解决上述问题，极大地提高了基于学习的方法。Comyco通过模仿即时求解器给出的专家轨迹来训练策略，既避免了冗余探索，又能更好地利用收集到的样本。与此同时，Comyco试图选择具有更高感知视频质量而不是视频比特率的块。为了实现这一目标，我们构建了Comyco的神经网络架构，视频数据集和QoE指标与视频质量特征。使用跟踪驱动和真实世界的实验，我们证明了显着改善Comyco的样本效率相比，以前的工作，与1700倍的改进所需的样本数量和16倍的改进所需的训练时间。此外，实验结果表明，Comyco优于以前提出的方法，平均QoE的改善为7.5% -16.79%。特别是，Comyco在相同的再缓冲时间下，平均视频质量也超过了最先进的Pensieve 7.37%。
2019-12-23 cs.AI cs.MM cs.NI
Adaptive video transmission using QUBO method and Digital Annealer based on Ising machine
随着视频流在网络总流量中的比例急剧增加，开发有效的算法以提高高质量的内容分发服务至关重要。自适应比特率控制（ABR）是根据网络条件选择合适的比特率，从而实现高质量视频流传输的关键技术。本文首次提出了一种基于Ising机的ABR策略，该策略采用二次无约束二进制优化（QUBO）方法和数字退火器（DA）。该方法通过仿真评估与现实世界的实测吞吐量，并与其他国家的最先进的方法进行比较。实验结果表明，该方法的性能优于现有的方法，从而证明了该方法的优越性。
2021-09-25 cs.MM cs.NI eess.IV
Reinforcement Learning Driven Adaptive VR Streaming with Optical Flow Based QoE
凭借在一个摄像头中包含完整全景内容的优点，虚拟现实（VR）和360度视频在工业云制造和培训领域引起了越来越多的关注。工业物联网（IoT）需要多个VR终端同时在线，很难保证VR的带宽需求。然而，通过利用用户的体验质量（QoE）感知因素，包括视点与其他内容之间的相对移动速度和深度差异，可以减少带宽消耗。在本文中，我们提出了OFB-VR（光流基于VR），VR流的交互方法，可以利用VR用户的QoE意识，以减轻带宽压力。通过光流估计（JND-OFE）的只是可注意到的差异进行了探索，以量化用户对360度视频质量失真的感知。因此，提出了一种新的基于PSNR和JND-OFE（PSNR-OF）的360度视频QoE度量。在PSNR-OF的帮助下，OFB-VR提出了一种可扩展大小的分块方案，以减少分块开销。实现了一种强化学习（RL）方法来利用历史数据执行自适应比特率（ABR）。为了进行评估，我们采用了两个先前的VR流媒体方案Pano和Plato作为基线。大量的评估表明，我们的系统可以提高平均PSNR-OF得分9.5-15.8%，同时保持相同的再缓冲率相比，Pano和柏拉图在波动的LTE带宽数据集。评估结果表明，OFB-VR是一个有前途的原型实际交互式工业VR。OFB-VR的原型可以在https://github.com/buptexplorers/OFB-VR中找到。
2020-03-17 cs.MM
TAROT: Towards Optimization-Driven Adaptive FEC Parameter Tuning for Video Streaming
Concordia University（康考迪亚大学）
TAROT通过优化驱动的自适应FEC参数调节，有效降低视频流传输的FEC开销并提升感知质量。
2026-02-10 cs.MM
QuDASH: Quantum-inspired rate adaptation approach for DASH video streaming
本文提出一种基于量子启发式计算技术Digital Annealer和QUBO的DASH视频流码率自适应方法QuDASH，通过构建并最小化目标函数来优化视频质量、码率变化和缓冲区条件，实验表明其在68.2%的案例中实现了最高QoE，优于传统ABR方法。
2023-10-22 cs.MM cs.NI eess.IV
Optimizing Adaptive Video Streaming with Human Feedback
本文提出Jade，通过RLHF和基于排序的QoE模型结合线性与DNN架构及熵感知强化机制，优化自适应视频流，在不同网络条件下将QoE提升8.09%-38.13%。
2023-08-10 cs.MM cs.NI
DIGITWISE: Digital Twin-based Modeling of Adaptive Video Streaming Engagement
DIGITWISE利用数字孪生和XGBoost模型，基于用户历史观看会话预测自适应视频流媒体参与度，降低预测误差5.8%，提升平均参与度8.6%。
2025-10-15 cs.HC cs.MM eess.IV
Distributed Rate Allocation Policies for Multi-Homed Video Streaming over Heterogeneous Access Networks
我们考虑多个同时视频流共享多个异构接入网络之间的速率分配问题。我们开发和评估的分析框架，最佳速率分配的基础上观察到的可用比特率（ABR）和往返时间（RTT）在每个接入网络和视频失真率（DR）的特点。速率分配是一个凸优化问题，最大限度地减少所有视频流的总期望失真。我们提出了一个分布式近似的解决方案，并比较其性能对H-无穷最优控制和两个启发式计划的基础上TCP风格的加法-增加-乘法减少（AIMD）的原则。在多个高清（HD）视频流共享多个接入网络的模拟中评估的各种速率分配方案。我们的研究结果表明，在启发式AIMD为基础的计划相比，无论是媒体感知分配和H-无穷最优控制受益于积极的拥塞避免和减少平均丢包率从45%到2%以下。对于各种背景流量负载和视频播放截止日期，平均接收视频质量的改善范围在PSNR的1.5到10.7 dB之间。媒体感知分配进一步利用其对视频DR特性的了解，以在所有流之间实现更平衡的视频质量。
2010-01-07 cs.MM cs.NI
BALANCE: Bitrate-Adaptive Limit-Aware Netcast Content Enhancement Utilizing QUBO and Quantum Annealing
针对数据上限约束下视频流质量优化的挑战，提出量子框架BALANCE，通过QUBO构建比特率分配问题，基于视觉复杂度和数据消耗预选片段并利用VMAF提升QoE，在同等数据约束下QoE优于传统方法，DPA表现更佳。
2025-09-23 cs.MM cs.NI eess.IV
