Measurement-based adaptation protocol with quantum reinforcement learning in a Rigetti quantum computer
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；IKERBASQUE, Basque Foundation for Science（巴斯克科学基金会（IKERBASQUE））；Shanghai University（上海大学）；International Center of Quantum Artificial Intelligence for Science and Technology (QuArtist)（国际科学技术量子人工智能中心（QuArtist））；IQM（IQM公司）；Universidad de Sevilla（塞维利亚大学）
我们在Rigetti云量子计算机中提出了一种基于测量的自适应协议的实验实现，该协议具有量子强化学习。在这个几个量子比特的超导芯片上进行的实验忠实地再现了理论上的提议，为半自主量子代理迈出了第一步。这个实验为超导电路的量子强化学习铺平了道路。
2020-05-19 cond-mat.mes-hall cs.AI cs.ET
Reinforcement Learning for Adaptive Video Compressive Sensing
Wayne State University（韦恩州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Northwestern University（西北大学）
我们将强化学习应用到视频压缩感知中，以适应压缩比。具体而言，视频快照压缩成像（SCI），它使用低速相机捕获高速视频被认为是在这项工作中，其中多个（B）视频帧可以从快照测量重建。在以往的研究中，一个研究空白是如何适应不同场景的视频SCI系统中的B。在本文中，我们利用强化学习（RL）填补了这一空白。学习RL模型以及用于重构的各种卷积神经网络以实现视频SCI系统的自适应感测。此外，目标检测网络的性能直接使用视频SCI测量而无需重构，也用于执行基于RL的自适应视频压缩感测。因此，我们提出的自适应SCI方法可以在低成本和实时的实施。我们的工作使该技术向视频SCI的实际应用又迈进了一步。
2021-05-18 cs.AI cs.CV
Artificial Intelligence for Climate Adaptation: Reinforcement Learning for Climate Change-Resilient Transport
Department of Technology, Management and Economics, Technical University of Denmark（技术、管理与经济学系，丹麦技术大学）；J.E. Cairnes School of Business and Economics, University of Galway（J.E. Cairnes 商业与经济学学院，Galway大学）
本文提出基于强化学习的决策支持框架，用于应对气候变化带来的内涝灾害，通过模拟交通系统和基础设施影响，优化适应策略以提高交通系统的韧性。
2026-03-06 cs.AI
Domain Adaptation for Reinforcement Learning on the Atari
Aston University（阿斯顿大学）
深度强化学习智能体最近在各种离散和连续控制任务中取得了成功;然而，它们的训练速度可能很慢，并且需要与环境进行大量交互才能学习合适的策略。事实证明，强化学习代理没有关于世界的先验知识，没有预先存在的数据可以依赖，因此必须投入大量时间进行探索。迁移学习可以通过利用在源任务上完成的学习来帮助在目标任务上的学习来缓解一些问题。我们的工作提出了一种算法，用于初始化的隐藏功能表示的目标任务。我们提出了一个领域自适应方法来转移状态表示，并演示跨域，任务和动作空间的转移。我们利用对抗性领域自适应的想法结合对抗性自动编码器架构。我们将新策略的表示空间与预先训练的源策略对齐，从随机策略中获取目标任务数据。我们证明了这个初始化步骤在学习新的强化学习任务时提供了显着的改进，这突出了对抗性适应方法的广泛适用性;即使任务和标签/动作空间也发生了变化。
2018-12-18 cs.AI cs.LG stat.ML
Reinforcement Learning with Brain-Inspired Modulation can Improve Adaptation to Environmental Changes
University of Lethbridge（莱斯布里奇大学）
强化学习（RL）的发展使算法在高度复杂但基本上是静态的问题中取得了令人印象深刻的性能。相比之下，生物学习似乎更重视对不断变化的世界的适应效率。在这里，我们建立在最近提出的神经元学习规则，假设每个神经元可以通过预测自己的未来活动来优化其能量平衡。这一假设导致了神经元的学习规则，它使用突触前输入来调节预测误差。我们认为，类似的RL规则将使用动作概率来调节奖励预测误差。这种调节使代理人对负面体验更加敏感，并且在形成偏好时更加谨慎。我们将所提出的规则嵌入到表格和深度Q网络RL算法中，并发现它在简单但高度动态的任务中优于传统算法。我们认为，新规则包含了生物智能的核心原则，这是允许算法以类似人类的方式适应变化的重要组成部分。
2022-05-19 cs.AI
ADAPTER-RL: Adaptation of Any Agent using Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出 ADAPTER-RL，通过在强化学习中集成适配器来提升 DRL 智能体对分布外任务的适应性，该方法兼容预训练网络与规则智能体，并在 nanoRTS 环境中验证了其训练效率与性能提升效果。
2023-11-20 cs.AI cs.LG
Offline Meta Reinforcement Learning with In-Distribution Online Adaptation
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
针对离线元强化学习中离线数据与在线适应间的转移—奖励分布偏移问题，提出 IDAQ 框架，通过基于回报的不确定性量化生成分布内上下文并推断任务信念，在 Meta-World ML1 上达到最优性能。
2023-06-01 cs.AI cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles（加州大学洛杉矶分校）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Helixon Ltd.（Helixon有限公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习（meta-RL）通过学习可转移的策略来解决这个问题，这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展，但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标，这在许多实际应用中并不现实。为了弥合这一差距，我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法，可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务，而不是使用每步的数字奖励。通过扩展技术从信息论，我们的方法可以设计查询序列，以最大限度地提高信息增益从人类的互动，同时容忍的固有错误的非专家的人类预言。在实验中，我们广泛地评估我们的方法，适应与噪声的甲骨文（ANOLE），在各种元RL基准任务，并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
Opportunities and Challenges from Using Animal Videos in Reinforcement Learning for Navigation
Boston University（波士顿大学）
我们研究了使用动物视频（观察）来提高强化学习（RL）在具有稀疏奖励的导航任务中的效率和性能。出于理论考虑，我们将加权策略优化用于非策略RL，并描述了从动物视频中学习时的主要挑战。我们提出解决方案，并在一系列2D导航任务上测试我们的想法。我们展示了我们的方法如何利用动物视频来提高RL算法的性能，而RL算法不利用这些观察结果。
2022-11-10 cs.AI cs.CV cs.LG
EVAN: Evolutional Video Streaming Adaptation via Neural Representation
Shanghai Jiao Tong University（上海交通大学）；University of Canterbury（坎特伯雷大学）；Bytedance Inc.（字节跳动公司）；University of Washington（华盛顿大学）
针对传统ABR策略适应性受限的问题，提出基于NeRV和SAC强化学习的EVAN框架，通过自适应传输NeRV模型和渐进式播放避免重缓冲，实验显示其重缓冲减少50%且性能提升近20%。
2024-04-15 cs.AI cs.CV cs.MM
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences（科隆应用技术大学）
本文介绍了基于n元组的强化学习（RL）算法的游戏。我们提出了TD，SARSA和Q学习的新算法，这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的，其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL（FARL）的新元素。我们的主要贡献是，FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果，其中包括1，2和3名球员，包括奥赛罗，ConnectFour和Hex。在大多数情况下，发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题，本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Video Captioning via Hierarchical Reinforcement Learning
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
视频描述是自动生成视频中动作的文本描述的任务。虽然先前的工作（例如序列到序列模型）已经在提取短视频的粗略描述方面显示出有希望的结果，但是用详细描述为包含多个细粒度动作的视频加标题仍然非常具有挑战性。本文旨在通过提出一种新的分层强化学习框架的视频描述，其中一个高级别的经理模块学习设计子目标和一个低级别的工人模块识别的原始动作，以满足子目标的挑战。有了这个组合框架，以加强视频描述在不同的水平，我们的方法显着优于所有的基线方法上新引入的大规模数据集的细粒度视频描述。此外，我们的非集成模型已经在广泛使用的MSR-VTT数据集上取得了最先进的结果。
2018-03-29 cs.AI cs.CL cs.CV
Video Prediction Models as Rewards for Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出VIPER算法，利用预训练视频预测模型从无标签专家视频中提取奖励信号，在DMC、Atari和RLBench任务中实现无需程序化奖励的专家级控制，并支持跨具身泛化。
2023-05-30 cs.AI cs.CV cs.LG
Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
针对离线强化学习因缺乏环境交互存在的行为次优、价值估计不准问题，提出基于模型的VeoRL方法，利用无标注在线视频构建世界模型并迁移常识知识，在多类视觉控制任务上实现显著性能提升。
2025-05-17 cs.AI cs.LG cs.RO
Reinforcement Learning from Cross-domain Videos with Video Prediction Model
VU Amsterdam（阿姆斯特丹大学）；ISAE-SUPAERO
提出XIPER奖励模型，通过跨领域视频预测将智能体观测映射到专家域，利用预测似然作为奖励信号，解决视觉差异域中无奖励信号和领域差距问题。
2026-06-03 cs.AI cs.CV
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley（加州大学伯克利分校）
本文介绍了快速线性化自适应策略（FLAP），这是一种新的Meta强化学习（元RL）方法，能够很好地外推到分布外的任务，而不需要重用训练数据，并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上，以便在适应新任务时，预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练，这样在适配过程中，我们可以直接使用适配器网络来预测这些线性权重，而不是通过梯度下降来更新元策略，例如在MAML等现有的元RL方法中，以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间，而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明，与现有方法相比，FLAP在分布外任务上表现出更强的性能，平均回报率高达两倍，自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania（宾夕法尼亚大学）；University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
强化学习是机器人从经验中获取技能的强大框架，但通常需要大量的在线数据汇集。因此，很难收集机器人广泛推广所需的足够多样化的经验。另一方面，人类的视频是广泛而有趣的经验的现成来源。在本文中，我们考虑这样一个问题：我们可以直接对人类收集的经验进行强化学习吗？这个问题是特别困难的，因为这样的视频没有用动作注释，并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战，我们提出了一个视频强化学习（RLV）的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中，我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能，其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ONERA（法国航空航天实验室）；Sorbonne Université（索邦大学）；Université Paris Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
摘要视频内容是许多应用中的重要任务。该任务可以定义为计算视频中存在的动作的有序列表。可以使用动作检测算法来提取这样的列表。然而，没有必要确定动作的时间边界来知道它们的存在。此外，定位精确的边界通常需要密集的视频分析才能有效。在这项工作中，我们建议通过稀疏浏览视频并选择每个动作实例的一帧来直接计算此有序列表，该任务在文献中称为动作定位。为了做到这一点，我们提出了一种定位算法，它利用深度强化学习来有效地定位动作，同时调整其视频浏览速度，而无需额外的监督。在数据集THUMOS 14和ActivityNet上进行的实验表明，我们的框架优于最先进的检测方法。特别是，THUMOS 14上的点样平均精度从59.7%显著提高到65.6%，同时跳过23%的视频。
2020-11-10 cs.AI cs.CV cs.LG
FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation
Johns Hopkins University（约翰霍普金斯大学）
FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统，提升音频驱动肖像视频生成的质量和表现力。
2026-02-25 cs.AI cs.CV cs.MM
Probe and Adapt: Rate Adaptation for HTTP Video Streaming At Scale
今天，用于在因特网上的视频流的技术正朝着称为基于HTTP的自适应流（HAS）的范例会聚。有两种独特的口味。首先，通过在HTTP/TCP之上，它利用网络友好的TCP来实现防火墙/NATS的穿越和带宽共享。其次，通过预编码和存储视频在一些离散的比特率水平，它引入了视频比特率自适应的可伸缩的方式，视频编码是从闭环适应排除。传统观点认为，HAS客户端观察到的TCP吞吐量指示可用的网络带宽，因此可以用作视频比特率选择的可靠参考。我们认为，这不再成立时，HAS成为互联网流量的一个重要组成部分。我们表明，当多个HAS客户端在网络瓶颈竞争时，竞争客户端的存在和视频比特率的离散性将共同造成混乱，使客户端正确感知其公平共享带宽。通过分析和实际实验，我们证明了这种基本限制会导致例如视频速率振荡，从而对视频观看体验产生负面影响。因此，我们认为，有必要在应用层实现一个“探测和适应”的机制，HAS视频速率自适应，这是类似的，但正交的传输层网络速率自适应实现TCP。我们目前的PANDA -一个客户端的速率自适应算法HAS-作为这个想法的一个体现。我们的测试结果表明，与传统的算法相比，PANDA是能够减少60%的视频速率的不稳定性，在给定的缓冲区欠载运行的风险。
2013-07-07 cs.NI
BOLA: Near-Optimal Bitrate Adaptation for Online Videos
现代视频播放器采用复杂的算法来调整向用户显示的视频的比特率。比特率自适应需要在降低视频冻结（重新缓冲）的概率和提高视频质量之间进行权衡。过高的比特率导致频繁的重新缓冲，而过低的比特率导致较差的视频质量。视频提供商将视频分割成短片段，并以多个比特率对每个片段进行编码。视频播放器自适应地选择要下载的每个片段的比特率，可能为连续片段选择不同的比特率。我们制定比特率自适应作为一个效用最大化的问题，并设计了一个在线控制算法，称为BOLA，使用李雅普诺夫优化，以尽量减少再缓冲和最大限度地提高视频质量。我们证明，BOLA实现的时间平均效用是在一个附加项O（1/V）的最佳值，对于一个控制参数V相关的视频缓冲区的大小。此外，与先前的工作不同，BOLA不需要预测可用的网络带宽。我们经验验证BOLA在模拟网络环境中使用的网络痕迹的集合。我们表明，BOLA实现了接近最佳的效用，在许多情况下显着更高的效用比目前最先进的算法。我们的工作对现实世界的视频播放器和不断发展的DASH视频传输标准产生了直接影响。我们还实现了BOLA的更新版本，该版本现在是标准参考播放器dash.js的一部分，并被Akamai、BBC、CBS和Orange等多家视频提供商用于制作。
2020-06-18 cs.NI
Prepare your video for streaming with Segue
我们确定了新的机会，在视频流，涉及离线视频分块和在线速率自适应的联合考虑。由于视频的复杂性随时间变化，某些部分更可能在使用特定速率自适应算法的回放期间导致性能损害。为了解决这个问题，我们提出了Segue，它谨慎地使用可变长度的视频片段，并使用额外的比特率轨道来增强特定的片段。我们的方法的关键新颖之处在于基于视频的时变复杂度和随着时间的推移预期的速率自适应行为来做出这样的决定。我们提出并实现了几种方法，这样的适应意识分块。我们的研究结果表明，Segue大大减少了重新缓冲和质量波动，同时保持视频质量; Segue平均将QoE提高了9%，在低带宽条件下提高了22%。最后，我们将我们的问题框架视为视频流中算法和设计创新的新线程的第一步，并为读者留下几个有趣的开放问题。
2022-04-12 cs.NI
CBA: Contextual Quality Adaptation for Adaptive Bitrate Video Streaming (Extended Version)
质量自适应算法的最新进展使自适应比特率（ABR）流传输架构处于十字路口：当确定可持续的视频质量时，可以依赖于在客户端有利位置收集的信息，也可以依赖于服务器和网络辅助。这里的基本问题是确定这两种信息对适应决策的价值。这个问题在未来的互联网设置中变得特别困难，例如命名数据网络（NDN），其中不存在网络连接的概念。在本文中，我们提供了一个新的观点ABR质量适应QoE最大化，我们正式作为一个决策问题下的不确定性，并为此我们贡献了一个稀疏贝叶斯上下文强盗算法表示CBA。这允许获取高维流上下文信息，包括客户端测量的变量和网络辅助，以在线找到用于质量适配的最有价值的信息。由于稀疏贝叶斯估计是计算昂贵的，我们开发了一个快速的新的推理方案，以支持在线视频自适应。我们进行了广泛的评估，我们的自适应算法在特别具有挑战性的设置NDN，在那里我们使用仿真测试床，以证明CBA的功效相比，国家的最先进的算法。
2019-01-17 cs.MM cs.NI
Bandwidth Adaptation for Scalable Videos over Wireless Networks
多播/广播服务（MBS）能够同时为多个用户提供视频服务。对于所有MBS视频的固定量的带宽分配在带宽利用率、整体强制呼叫终止概率和切换呼叫丢弃概率方面是无效的。因此，可变带宽分配的MBS视频可以有效地提高系统的性能。在本文中，我们提出了一种带宽分配方案，该方案在MBS会话和非MBS业务呼叫（例如，语音、单播、因特网和其它后台业务）。该方案减少了带宽分配的MBS会话在拥塞的交通条件下，只容纳更多的呼叫在系统中。我们的计划分配可变数量的带宽的BMS会话和非MBS业务呼叫。性能分析表明，所提出的带宽自适应方案最大限度地提高了带宽利用率，并显着降低切换呼叫丢弃概率和总的强制呼叫终止概率。
2018-10-05 cs.NI
ASTRA: Low-Overhead Runtime Architecture for STReam Adaptation in Video Analytics
Columbia University（哥伦比亚大学）
ASTRA是一种低开销边缘运行时架构，通过黑盒在线自适应摄像头分辨率与帧率，在真实测试平台上实现超90%系统可靠性，性能偏差小于10%，GPU开销约2%。
2026-09-11 cs.NI
Wi-Fi Rate Adaptation using a Simple Deep Reinforcement Learning Approach
最近Wi-Fi修订的复杂性不断增加，使得最佳速率自适应（RA）成为一项挑战。由于配置参数的大组合以及无线信道的可变性，使用经典算法或启发式模型来解决RA变得不可行。在现有技术中已经提出了基于机器学习的解决方案来处理这种复杂性。然而，它们通常使用复杂的模型，并且在实际场景中难以实现。我们提出了一种简单的深度强化学习方法用于Wi-Fi网络中的自动RA，称为数据驱动的速率自适应算法（DARA）。DARA符合标准。它仅根据对发射机接收帧的信噪比（SNR）的观察来动态调整Wi-Fi调制和编码方案（MCS）。我们的仿真结果表明，DARA实现高达15%的吞吐量相比，Minstrel高吞吐量（HT），等于理想的Wi-Fi RA算法的性能。
2022-02-11 cs.NI
Federated Deep Reinforcement Learning-based Bitrate Adaptation for Dynamic Adaptive Streaming over HTTP
本文将联邦学习集成到基于深度强化学习的HTTP流媒体比特率自适应中，通过客户端本地训练并仅更新权重至服务器，使模型适应3G、4G、Wi-Fi等多种网络环境，实验证明FDRLABR性能优于传统方法。
2023-06-28 cs.NI
Adaptive Bitrate Streaming Over Cellular Networks: Rate Adaptation and Data Savings Strategies
自适应比特率流（ABR）已成为互联网上视频流的事实技术。尽管出现了一系列技术，但在蜂窝网络上实现高质量的ABR流仍然是一个巨大的挑战。首先，ABR方案的设计需要平衡视频质量、质量变化、停顿和启动性能等相互冲突的体验质量（QoE）指标，这在蜂窝网络的高动态带宽下更加困难。其次，流媒体提供商已经转向使用可变比特率（VBR）编码的视频内容，这引入了新的挑战ABR流，其性质和含义是鲜为人知的。第三，移动视频流消耗大量数据。尽管许多视频和网络提供商目前提供数据保存选项，但现有做法在QoE和资源使用方面并不理想。最后，当音频和视频轨道分开存储时，视频和音频速率适配需要动态协调以实现良好的整体流体验，这提出了有趣的挑战，而令人惊讶的是，研究界几乎没有关注。在这篇论文中，我们解决了上述四个挑战。
2021-05-14 cs.MM cs.NI
Evaluation of HTTP/DASH Adaptation Algorithms on Vehicular Networks
视频流目前占互联网流量的大部分。支持视频流传输的一个因素是HTTP自适应流传输（HAS），它允许用户使用与从服务器到客户端的可用带宽密切匹配的比特率来流传输视频。HTTP上的MPEG动态自适应流（DASH）是一种广泛使用的标准，其允许客户端基于其自己的估计来选择要下载的分辨率。用于确定DASH流中下一段的算法不是标准的一部分，但它是最终回放质量的重要因素。如今，车辆越来越多地配备有移动通信设备和车载多媒体娱乐系统。在本文中，我们评估了各种DASH自适应算法在车载网络中的性能。我们提出了详细的模拟结果，突出了各种自适应算法的优点和缺点，在提供视频内容的车辆用户，我们展示了不同的自适应算法如何执行的吞吐量，播放中断时间和中断次数。
2018-12-31 cs.NI
Performance Analysis of Reliable Video Streaming with Strict Playout Deadline in Multi-Hop Wireless Networks
出于新兴的基于视觉的智能服务，我们考虑的问题，高质量和低延迟的视觉信息传输在无线网络中使用可伸缩视频编码的速率自适应。由于无线信道的可变性、网络节点处的排队以及接收器处以非常短的时间尺度对视频内容进行的基于帧的解码和回放之间的相互作用，该设置中的速率自适应固有地具有挑战性。为了解决这个问题，我们提出了一个低复杂度，基于模型的速率自适应算法的可伸缩视频流系统，建立在一个新的性能模型的基础上随机网络演算。我们使用广泛的模拟验证模型。我们表明，它允许快速，接近最佳的速率适应固定的传输路径，以及跨层优化的路由和视频速率适应网状网络中，小于$10$ \%的质量下降相比，最好的可实现的性能。
2017-04-10 cs.MM cs.NI cs.PF
FastScan: Robust Low-Complexity Rate Adaptation Algorithm for Video Streaming over HTTP
本文提出并评估了一种新的算法，流媒体视频通过HTTP。该问题被制定为一个非凸优化问题，它是由预测的可用带宽，块的最后期限，可用的视频速率，和缓冲区占用率的约束。目标是优化QoE度量，该QoE度量在最大化每个块的回放速率和确保不同块之间的公平性以最小的重新缓冲时间之间保持折衷。我们提出FastScan，一个低复杂度的算法，解决了这个问题。在线适应动态带宽环境提出了不完善的可用带宽预测。由可变比特率（VBR）编码视频、视频平台系统（dash.js）和公共数据集的蜂窝带宽跟踪驱动的实验结果揭示了FastScan算法的在线版本的鲁棒性，并证明了其与所考虑的最先进的视频流算法相比的显著性能改进。例如，在跨越不同可用带宽制度的公共数据集的100个真实蜂窝可用带宽轨迹上进行的实验上，我们提出的算法（FastScan）与Bola、Festive、BBA、RB和FastMPC以及Pensieve算法相比，在每个轨迹中实现了最小重新缓冲（停顿）时间和最大平均回放速率。
2019-01-21 cs.MM cs.NI
COMETS: Coordinated Multi-Destination Video Transmission with In-Network Rate Adaptation
The Hong Kong University of Science and Technology, Guangzhou（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of Jyväskylä（于韦斯屈莱大学）
COMETS通过协调多目的地视频传输与网络内速率自适应，提升带宽利用率和用户体验质量。
2026-01-26 cs.MM cs.NI eess.IV
On the Analysis of Computational Delays in Reinforcement Learning-based Rate Adaptation Algorithms
INESC TEC（葡萄牙系统与计算机工程研究所）；Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）
一些研究工作已经应用强化学习（RL）算法来解决Wi-Fi网络中的速率自适应（RA）问题。无线电链路的动态特性要求算法对链路质量的变化作出响应。算法执行中的延迟可能对其性能有害，这进而可能降低网络性能。在本文中，我们提出了一种基于RL的RA算法中常见的计算延迟的分析，并提出了一种方法，可以应用于减少这些计算延迟，提高这种类型的算法的效率。我们将所提出的方法应用到现有的基于RL的RA算法。实验结果表明，该算法的执行时间减少了一个数量级，提高了其对链路质量变化的响应能力。
2023-03-30 cs.LG cs.NI
NOVA: QoE-driven Optimization of DASH-based Video Delivery in Networks
我们考虑的问题，优化视频传输的网络支持视频客户端流存储的视频。具体而言，我们考虑的问题，联合优化网络资源分配和视频质量的适应。我们的目标是公平地最大限度地提高视频客户端的体验质量（QoE），实现平均质量，质量的时间变化和公平性之间的权衡，结合用户对重新缓冲和视频传输成本的偏好。我们提出了一个简单的渐近最优在线算法，NOVA，来解决这个问题。NOVA是异步的，并且使用最少的通信，将资源分配的任务分配给网络控制器，并且将质量适配分配给各个视频客户端。NOVA中的视频质量适配对于独立视频客户端也是最佳的，并且非常适合与DASH框架一起使用。此外，我们扩展NOVA用于更一般的QoE模型，与其他流量负载共享的网络和使用固定/传统资源分配的网络。
2013-09-25 cs.MM cs.NI
