SemABR: Measuring Video Semantic Fidelity with Multimodal LLMs for Adaptive Bitrate Streaming
The Chinese University of Hong Kong(香港中文大学)
提出SemABR,利用多模态大语言模型定义视频语义保真度指标,并嵌入5G资源分配框架,在比特率受限时减少语义损失,优于传统方法。
2026-09-17 cs.MM cs.NI
Adaptive Bitrate Streaming Over Cellular Networks: Rate Adaptation and Data Savings Strategies
自适应比特率流(ABR)已成为互联网上视频流的事实技术。尽管出现了一系列技术,但在蜂窝网络上实现高质量的ABR流仍然是一个巨大的挑战。首先,ABR方案的设计需要平衡视频质量、质量变化、停顿和启动性能等相互冲突的体验质量(QoE)指标,这在蜂窝网络的高动态带宽下更加困难。其次,流媒体提供商已经转向使用可变比特率(VBR)编码的视频内容,这引入了新的挑战ABR流,其性质和含义是鲜为人知的。第三,移动视频流消耗大量数据。尽管许多视频和网络提供商目前提供数据保存选项,但现有做法在QoE和资源使用方面并不理想。最后,当音频和视频轨道分开存储时,视频和音频速率适配需要动态协调以实现良好的整体流体验,这提出了有趣的挑战,而令人惊讶的是,研究界几乎没有关注。在这篇论文中,我们解决了上述四个挑战。
2021-05-14 cs.MM cs.NI
Implementing BOLA-BASIC on Puffer: Lessons for the use of SSIM in ABR logic
在Puffer上实现的一种ABR算法是BOLA-BASIC,它是BOLA的最简单变体。BOLA在工业中得到了广泛的应用,特别是在Akamai、BBC、Orange和CBS用作视频播放器基础的MPEG-DASH参考播放器中。BOLA的总体目标是最大限度地提高每个编码块的视频质量,同时最大限度地减少重新缓冲。为了衡量视频质量,Puffer使用结构相似性度量SSIM,而BOLA和其他ABR算法,如BBA,MPC和Pensieve更常用比特率(或比特率的变体)来实现。虽然比特率是经常使用的,但BOLA允许视频提供商定义自己的视频质量代理作为算法的“效用”函数。然而,使用SSIM作为实用程序被证明是令人惊讶的复杂BOLA-BASIC,尽管算法的简单性。鉴于SSIM和相关质量指标的日益普及,我们预计越来越多的类似Puffer的系统将面临类似的挑战。我们希望这些系统的开发人员在实现基于比特率的实用程序设计的算法时,能发现我们的经验。
2020-11-19 cs.NI
BRAVR: An AP-Assisted Online DRL Mechanism for Interactive VR Bitrate Adaptation over Wi-Fi
Universitat Pompeu Fabra(庞培法布拉大学)
针对Wi-Fi交互式VR流媒体在动态信道和竞争下的时延与可靠性挑战,提出基于深度强化学习的BRAVR机制,利用AP端网络统计优化比特率决策,在真实系统上验证了其QoS保障和公平性。
2026-11-09 cs.NI
Quality of Experience from Cache Hierarchies: Keep your low-bitrate close, and high-bitrate closer
最近对流媒体交付的研究表明,从缓存层次结构(如信息中心网络(ICN))获得的性能增益可能会被动态自适应流(DAS)否定,DAS是检索多媒体内容的实际方法。驱动视频流传输的比特率自适应机制与缓存层次结构发生冲突,从而影响用户的体验质量(QoE)。当消费者动态选择以不同比特率编码的内容时,缓存性能也会降低。在本文中,我们使用证据得出了一个新的见解:在自适应流媒体内容的缓存层次结构中,比特率应该优先于流行度和点击率或与流行度和点击率并列。基于这一见解,我们提出RippleCache作为一系列缓存放置方案,以保护边缘的高比特率内容,并将低比特率内容推送到网络核心。这样做可以减少缓存资源的争用以及网络中的拥塞。为了验证RippleCache的声明,我们构建了两个单独的实现。我们将RippleClassic设计为基准解决方案,通过最大化与QoE高度相关的缓存层次结构来优化内容放置。此外,我们的轻量级Ripplestrike然后重新设计与分布式执行在大规模系统中的应用。RippleCache的性能提升通过NS-3中针对最先进的基线方法进行的评估得到了加强,使用了DASH行业论坛定义的标准QoE指标。测量结果显示,RippleClassic和RippleWide提供的内容受到更少的振荡和重新缓冲,以及最高水平的视频质量,这表明QoE的整体改善。
2019-03-22 cs.NI
Vidaptive: Efficient and Responsive Rate Control for Real-Time Video on Variable Networks
Vidaptive 通过解耦传输决策与编码器输出并注入填充流量,使低延迟视频能采用基于延迟的拥塞控制,从而在可变网络上显著提升比特率、画质并降低高百分位帧延迟。
2024-02-25 cs.NI
Probe and Adapt: Rate Adaptation for HTTP Video Streaming At Scale
今天,用于在因特网上的视频流的技术正朝着称为基于HTTP的自适应流(HAS)的范例会聚。有两种独特的口味。首先,通过在HTTP/TCP之上,它利用网络友好的TCP来实现防火墙/NATS的穿越和带宽共享。其次,通过预编码和存储视频在一些离散的比特率水平,它引入了视频比特率自适应的可伸缩的方式,视频编码是从闭环适应排除。传统观点认为,HAS客户端观察到的TCP吞吐量指示可用的网络带宽,因此可以用作视频比特率选择的可靠参考。我们认为,这不再成立时,HAS成为互联网流量的一个重要组成部分。我们表明,当多个HAS客户端在网络瓶颈竞争时,竞争客户端的存在和视频比特率的离散性将共同造成混乱,使客户端正确感知其公平共享带宽。通过分析和实际实验,我们证明了这种基本限制会导致例如视频速率振荡,从而对视频观看体验产生负面影响。因此,我们认为,有必要在应用层实现一个“探测和适应”的机制,HAS视频速率自适应,这是类似的,但正交的传输层网络速率自适应实现TCP。我们目前的PANDA -一个客户端的速率自适应算法HAS-作为这个想法的一个体现。我们的测试结果表明,与传统的算法相比,PANDA是能够减少60%的视频速率的不稳定性,在给定的缓冲区欠载运行的风险。
2013-07-07 cs.NI
Federated Deep Reinforcement Learning-based Bitrate Adaptation for Dynamic Adaptive Streaming over HTTP
本文将联邦学习集成到基于深度强化学习的HTTP流媒体比特率自适应中,通过客户端本地训练并仅更新权重至服务器,使模型适应3G、4G、Wi-Fi等多种网络环境,实验证明FDRLABR性能优于传统方法。
2023-06-28 cs.NI
Multi-User Cooperative Mobile Video Streaming: Performance Analysis and Online Mechanism Design
针对多用户无线视频流中单用户自适应方法忽视交互导致QoE不佳的问题,提出基于用户提供网络的协作框架及低复杂度Lyapunov在线算法,实现分布式决策,平均达97%最优社会福利,比特率与社会福利均优于现有算法。
2018-05-21 cs.NI
CBA: Contextual Quality Adaptation for Adaptive Bitrate Video Streaming (Extended Version)
质量自适应算法的最新进展使自适应比特率(ABR)流传输架构处于十字路口:当确定可持续的视频质量时,可以依赖于在客户端有利位置收集的信息,也可以依赖于服务器和网络辅助。这里的基本问题是确定这两种信息对适应决策的价值。这个问题在未来的互联网设置中变得特别困难,例如命名数据网络(NDN),其中不存在网络连接的概念。在本文中,我们提供了一个新的观点ABR质量适应QoE最大化,我们正式作为一个决策问题下的不确定性,并为此我们贡献了一个稀疏贝叶斯上下文强盗算法表示CBA。这允许获取高维流上下文信息,包括客户端测量的变量和网络辅助,以在线找到用于质量适配的最有价值的信息。由于稀疏贝叶斯估计是计算昂贵的,我们开发了一个快速的新的推理方案,以支持在线视频自适应。我们进行了广泛的评估,我们的自适应算法在特别具有挑战性的设置NDN,在那里我们使用仿真测试床,以证明CBA的功效相比,国家的最先进的算法。
2019-01-17 cs.MM cs.NI
Reducing Traffic Wastage in Video Streaming via Bandwidth-Efficient Bitrate Adaptation
针对现有ABR算法流量浪费严重的问题,提出带宽高效的BE-ABR算法,通过基于Transformer的延迟预测和细粒度缓冲控制,在WiFi、4G、5G等环境下实现60.87%的浪费减少且QoE相当或更优。
2024-12-10 cs.MM cs.NI
A control-theoretic simplification of adaptive bitrate (ABR) video streaming
Sorbonne Université(索邦大学);LJLL (CNRS, UMR 7598)(拉格朗日分析、几何及其应用实验室(法国国家科学研究中心,联合研究单位7598));AL.I.E.N.;Université de Lorraine(洛林大学);CRAN (CNRS, UMR 7039)(自动控制与纳米技术研究中心(法国国家科学研究中心,联合研究单位7039))
本文提出基于自控论的简单方法,解决ABR流媒体中比特率和缓冲区控制问题,通过扁平化控制策略和闭环控制减少网络波动影响,并首次提出基于代数识别技术的带宽估计方法,提升用户体验质量。
2026-03-23 cs.NI cs.SY eess.SY
Dynamic Switching of GOP configurations in High Efficiency Video Coding (HEVC) using Relational Databases for Multi-objective Optimization
我们当前的技术时代充斥着智能设备,这些设备提供了需要最佳视频通信解决方案的重要计算资源。视频比特率、质量和能源需求的优化和动态管理需要考虑它们之间的相互依赖性。随着提供更高带宽速率的新兴网络代的出现,还存在对以最佳质量传送视频的日益增长的需求,所述最佳质量受制于诸如计算能力和可用带宽之类的资源的可用性。类似地,为了容纳多个用户,需要最小化比特率要求,同时在合理的编码时间内维持视频质量。本论文的重点在于提供一种基于切换GOP配置的HEVC编解码器的最优解的有效机制。该方法为功率、视频质量、比特率等约束条件下的多目标优化提供了一个基本体系。这是通过利用HEVC/H.265编解码器中的称为时变图像约束的动态可重构架构(DRASTIC)的最近引入的框架来实现的,该框架具有六种不同的GOP配置,以支持用于最小比特率、最大质量和最小计算时间(恒定功率配置中的最小能量)操作模式的优化模式。在实现这些DRASTIC模式时使用了Pareto最优GOP。
2022-09-14 cs.MM cs.NI
Deep Learning-Based Real-Time Rate Control for Live Streaming on Wireless Networks
University of Maryland(马里兰大学);NEC Laboratories America(NEC美国实验室)
针对无线直播中动态视频与信道波动导致的视频质量下降,提出基于深度学习的实时H.264控制器,利用物理层信道质量动态优化编码参数,实现PSNR提升10-20 dB,丢包率低至0.002。
2023-09-27 cs.IT cs.LG cs.NI
Digital Twin-Assisted Adaptive Preloading for Short Video Streaming
本文面向短视频流媒体提出数字孪生辅助的自适应预加载框架,通过预测吞吐量与用户行为并结合实时状态优化预加载策略,从而提升带宽效率并保障用户 QoE。
2023-07-15 cs.NI
Joint Scheduling and Coding for Reliable, Latency-bounded Transmission over Parallel Wireless Links
几种新颖的工业应用涉及通过各种高吞吐量反馈系统(例如虚拟现实(VR)和触觉/触觉信号)对车辆、起重机或移动机器人的人类控制。系统和操作员之间的近实时交互要求在分组交换中有严格的延迟约束,这在无线通信链路上难以保证。在这项工作中,我们主张在多个并行(不可靠)链路的数据包级编码和数据包调度有可能提供可靠的,延迟有限的通信周期性数据生成模式的应用程序。然而,这一目标只能通过仔细联合设计这些机制来实现,这些机制的相互作用可能是微妙的,难以预测。在本文中,我们首先讨论这些方面的一般条款,然后提出了一个马尔可夫决策过程(MDP)模型,可以用来找到一个方案,最佳地利用多信道无线接入,以最大限度地提高在截止日期内交付的数据块的分数。然后,我们的说明性示例用于示出在无线链路的不同组合下的最佳编码/调度策略,还示出了用低比特率更稳定的低于6 GHz的链路来备份高比特率不可靠的毫米波链路的常见解决方案在所考虑的场景中实际上可能是无效的
2022-08-25 cs.NI
QuDASH: Quantum-inspired rate adaptation approach for DASH video streaming
本文提出一种基于量子启发式计算技术Digital Annealer和QUBO的DASH视频流码率自适应方法QuDASH,通过构建并最小化目标函数来优化视频质量、码率变化和缓冲区条件,实验表明其在68.2%的案例中实现了最高QoE,优于传统ABR方法。
2023-10-22 cs.MM cs.NI eess.IV
Streaming Video over HTTP with Consistent Quality
在传统的基于HTTP的自适应流传输(HAS)中,视频源以恒定比特率表示的多个级别进行编码,并且客户端根据测量的网络带宽进行其表示选择。虽然极大地简化了对变化的网络条件的适应,但这种策略并不是优化最终用户体验的视频质量的最佳方法。如果考虑到视频内容的自然变化,则可以减少质量波动。在这项工作中,我们研究了客户端速率自适应算法的设计,以产生一致的视频质量。我们假设客户端在有限的范围内可以看到传入的视频。我们还利用客户端视频缓冲区,将其用作呼吸空间,不仅用于网络带宽变化,还用于视频比特率变化。然而,挑战在于如何平衡这两个可变性,以产生一致的视频质量,而不冒缓冲区欠载的风险。我们提出了一个优化解决方案,使用在线算法来适应视频比特率逐步,而应用动态规划在每一步。我们将我们的解决方案,PANDA -一个实用的速率自适应算法设计的HAS部署规模。
2014-01-21 cs.MM cs.NI
Experimenting with Adaptive Bitrate Algorithms for Virtual Reality Streaming over Wi-Fi
本文基于开源ALVR平台扩展网络状态指标,提出并验证了网络感知逐步ABR算法NeSt-VR,以提升Wi-Fi环境下VR流媒体的比特率自适应能力和用户体验。
2024-09-30 cs.NI cs.SY eess.SY
Gemino: Practical and Robust Neural Compression for Video Conferencing
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
针对视频会议在极低比特率下体验差的问题,提出基于高频条件超分辨率流水线的神经压缩系统Gemino,通过多尺度架构和个性化学习实现高分辨率实时视频压缩,在相同感知质量下比特率比传统编解码器低2.2-5倍。
2023-10-19 cs.CV cs.NI
BALANCE: Bitrate-Adaptive Limit-Aware Netcast Content Enhancement Utilizing QUBO and Quantum Annealing
San Diego State University(圣地亚哥州立大学);Santa Clara University(圣克拉拉大学)
针对数据上限约束下视频流质量优化的挑战,提出量子框架BALANCE,通过QUBO构建比特率分配问题,基于视觉复杂度和数据消耗预选片段并利用VMAF提升QoE,在同等数据约束下QoE优于传统方法,DPA表现更佳。
2025-09-23 cs.MM cs.NI eess.IV
Promptus: Can Prompts Streaming Replace Video Streaming with Stable Diffusion
Peking University(北京大学)
针对视频流量增长下的传输瓶颈,提出语义通信系统 Promptus,通过流式传输提示词并在接收端用 Stable Diffusion 生成视频,结合梯度下降拟合与低秩分解实现高质量、超低比特率的视频通信。
2025-05-29 cs.AI cs.MM cs.NI
Simulation of Video Streaming Over Wireless Networks with NS-3
视频流服务与无线网络的结合在许多领域发挥着重要作用。在本文中,我们提出了一个基于NS-3的仿真平台,用于评估和优化无线网络上的视频流应用的性能。该仿真旨在提供实时测量,从而节省了真实设备的高成本。该平台由视频流服务器、视频流客户端和无线网络环境组成,视频流操作在UDP协议下实现,并配备了应用级自适应速率控制器。我们使用该平台来模拟不同的使用情况下,共享多个视频流之间的无线多路访问信道。
2023-02-27 cs.NI
Artic: AI-oriented Real-time Communication for MLLM Video Assistant
Peking University(北京大学)
Artic提出了一种面向AI的实时通信框架,通过自适应比特率、上下文感知流式传输和退化视频理解基准提升多模态大语言模型视频助手的准确性和降低延迟。
2026-02-13 cs.AI cs.HC cs.MM
Real-world Video Adaptation with Reinforcement Learning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Facebook
客户端视频播放器采用自适应比特率(ABR)算法来优化用户体验质量(QoE)。我们评估最近提出的基于RL的ABR方法在Facebook的基于Web的视频流媒体平台。现实世界的ABR包含几个挑战,需要定制的设计超出了现成的RL算法-我们实现了一个可扩展的神经网络架构,支持视频与任意比特率编码;我们设计了一种训练方法,以应对由网络条件的随机性造成的差异;我们利用约束贝叶斯优化奖励塑造,以优化冲突的QoE目标。在为期一周的全球部署中,超过3000万个视频流会话,我们的RL方法优于现有的人工ABR算法。
2020-08-28 cs.AI cs.NI
Deep Learning-Based Real-Time Quality Control of Standard Video Compression for Live Streaming
University of Maryland(马里兰大学);NEC Laboratories America(美国 NEC 实验室)
针对直播流中视频质量波动问题,提出基于深度学习的实时H.264控制器,通过动态估计最佳量化参数,在维持PSNR阈值的同时最小化比特率,带宽利用率提升达2.5倍。
2023-11-21 cs.IT cs.LG cs.NI
Adaptive video transmission using QUBO method and Digital Annealer based on Ising machine
随着视频流在网络总流量中的比例急剧增加,开发有效的算法以提高高质量的内容分发服务至关重要。自适应比特率控制(ABR)是根据网络条件选择合适的比特率,从而实现高质量视频流传输的关键技术。本文首次提出了一种基于Ising机的ABR策略,该策略采用二次无约束二进制优化(QUBO)方法和数字退火器(DA)。该方法通过仿真评估与现实世界的实测吞吐量,并与其他国家的最先进的方法进行比较。实验结果表明,该方法的性能优于现有的方法,从而证明了该方法的优越性。
2021-09-25 cs.MM cs.NI eess.IV
Stateless Network-Aware Adaptive Bitrate Streaming over IPFS
Stony Brook(石溪大学)
针对IPFS环境性能波动导致传统ABR流媒体QoE下降的问题,提出一种无状态网络感知ABR策略,通过仅使用本地可观测信号逐段计算比特率,避免跨提供者状态同步,在故障条件下QoE提升最高约6倍。
2026-06-28 cs.DC cs.NI
SABR: A Stable Adaptive Bitrate Framework Using Behavior Cloning Pretraining and Reinforcement Learning Fine-Tuning
Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University, Ningbo, China(宁波人工智能研究院,上海交通大学,宁波,中国);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China(自动化与智能感知学院,上海交通大学,上海,中国);School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡)
针对基于学习的ABR方法在分布外网络条件下泛化差的问题,提出结合行为克隆预训练与强化学习微调的SABR框架,并引入ABRBench基准,实验证明其在广泛分布上学习更稳定且泛化性更优。
2025-08-30 cs.AI cs.LG cs.MM
Chat with AI: The Surprising Turn of Real-time Video Communication from Human to AI
Peking University(北京大学)
本文提出了一种面向AI的实时视频通信方法,通过上下文感知视频流技术降低延迟并提升AI理解视频的准确性。
2025-11-24 cs.AI cs.HC cs.MM
Resource Provisioning and Profit Maximization for Transcoding in Information Centric Networking
自适应比特率流(ABR)已被广泛采用以支持异构设备和变化的网络条件上的视频流服务。使用ABR,每个视频内容被转码成不同比特率和分辨率的多个表示。然而,视频转码是计算密集型的,这要求转码服务提供商部署大量的服务器用于对由内容生产者发布的视频内容进行转码。因此,转码服务提供商的自然问题是如何提供用于转码视频内容的计算资源,同时最大化服务利润。针对这一问题,利用云计算技术弹性分配计算资源,设计了一个云视频转码系统。提出了一种在两个时间尺度上联合考虑任务调度和资源供应问题的方法,将服务利润最大化问题转化为两个时间尺度的随机优化问题.我们得到了一些近似的任务调度和资源供应的政策。基于我们提出的方法,我们实现了我们的开源云视频转码系统Morph,并在实际环境中评估其性能。实验结果表明,与基准方案相比,该方法可以减少资源消耗,获得更高的收益。
2016-05-18 cs.MM cs.NI
A Global Perspective on the Past, Present, and Future of Video Streaming over Starlink
本研究基于85国超百万家庭数据首次开展全球LEO卫星视频流分析,发现Starlink视频质量与传统网络相当但波动导致码率切换与重缓冲增加,经仿真和A/B测试验证需优化算法以适配动态网络提升体验。
2024-09-15 cs.ET cs.MM cs.NI
Performance Bound Analysis for Crowdsourced Mobile Video Streaming
自适应比特率(ABR)流使得视频用户能够根据实时网络条件来调整播放比特率,以实现期望的体验质量(QoE)。在这项工作中,我们提出了一种新的众包流框架多用户ABR视频流在无线网络上。该框架使附近的移动视频用户能够众包他们的无线电链路和资源,用于协作视频流。我们着重分析所提出的众包流媒体系统的社会福利性能界限。由于用户的异步操作,直接求解此界限具有挑战性。为此,我们引入了一个虚拟的时隙系统的同步操作,并制定了相关的社会福利优化问题作为一个线性规划。我们表明,虚拟系统的最佳社会福利性能提供了有效的上界和下界的最佳性能(界)的原始异步系统,因此,所提出的众包流媒体系统的可行性能区域的特点。所得的性能界限可作为未来在线算法设计和激励机制设计的基准。
2018-05-21 cs.GT cs.MM cs.NI
Evaluating Wi-Fi Performance for VR Streaming: A Study on Realistic HEVC Video Traffic
Universitat Pompeu Fabra(庞培法布拉大学)
本文通过仿真实验研究了Wi-Fi网络在支持真实VR流媒体时的性能,发现Intra-refresh编码能有效降低延迟波动并提升服务质量,支持最多4个CBR 100 Mbps的VR用户
2026-01-23 cs.MM cs.NI eess.IV
Quality of Experience Oriented Cross-layer Optimization for Real-time XR Video Transmission
针对实时XR视频传输对动态网络敏感、QoE难保障的问题,提出跨层传输框架,解耦时间尺度不匹配的调度与码率调整问题,用MS-DQN和TPPO算法分别求解,显著提升传输质量与用户QoE。
2024-04-15 cs.MM cs.NI cs.SY