Parameterized Indexed Value Function for Efficient Exploration in Reinforcement Learning
Stanford University(斯坦福大学)
众所周知,量化动作值估计中的不确定性对于强化学习中的有效探索至关重要。包围采样提供了一种相对容易计算的方法,使用随机化的价值函数来实现这一点。然而,它仍然需要大量的计算资源来处理复杂的问题。在本文中,我们提出了一种替代的,计算效率高的方法来诱导探索使用指数采样。我们使用一个指数化的价值函数来表示行动价值估计中的不确定性。本文首先提出了一种在表格环境下通过时间差分的分布形式学习参数化索引价值函数的算法,并证明了算法的遗憾界。然后,在计算的角度来看,我们提出了一个双网络架构,参数化索引网络(PIN),包括一个平均网络和一个不确定性网络学习的索引价值函数。最后,我们通过计算实验证明了PIN的有效性。
2020-03-19 cs.AI cs.LG stat.ML
Computational model discovery with reinforcement learning
Stanford University(斯坦福大学)
本研究的动机是利用人工智能研究的最新突破,为计算科学中遇到的重要科学问题提供新的解决方案。为了解决人类智能在发现降阶模型方面的局限性,我们建议用人工智能来补充人类思维。我们的三管齐下的策略包括学习(i)以分析形式表示的模型,(ii)后验评估,以及iii)使用参考解决方案中的唯一整数作为先验知识。在第(i)点中,我们追求用符号表示的可解释模型,而不是黑箱神经网络,后者只在学习期间用于有效地参数化可能模型的大搜索空间。在第(ii)点中,在计算求解器中动态地评估学习模型的后验,而不是基于来自预处理的高保真数据的先验信息,从而考虑到手头的求解器的特异性,例如其数值。最后,在点(iii)中,新模型的探索仅由预定义的积分量引导,例如,在雷诺平均或大涡模拟(LES)中,工程感兴趣的平均量。我们使用耦合的深度强化学习框架和计算求解器来同时实现这些目标。强化学习与目标(i)、(ii)和(iii)的结合将我们的工作与以前基于机器学习的建模尝试区分开来。在这份报告中,我们提供了一个高层次的描述模型发现框架与强化学习。详细介绍了该方法在发现微分方程缺项中的应用。描述了该方法的一个基本实例,该方法发现了Burgers方程中的缺失项。
2019-12-29 cs.LG physics.flu-dyn stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
最近的研究表明,情景强化学习(RL)并不比上下文强盗更困难,即使有很长的规划视野和未知的状态转换。然而,这些结果仅限于表格马尔可夫决策过程(MDP)或线性混合MDP的计算效率低下的算法。在本文中,我们提出了第一个计算效率的地平线自由算法的线性混合MDP,实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态,其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时,我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾,其中$d$是上下文的维度,$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时,这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum;Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Chuvash State University(楚瓦什国立大学)
本文提出了一种基于稀疏计算的方法,用于优化强化学习(RL)任务的神经网络。这种方法结合了两种思想:神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务,并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University(普渡大学)
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数,例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是,我们学习一个新的价值函数的目标任务,同时结合它与价值估计从先前的计算。最后,将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明,成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Umbrella Reinforcement Learning -- computationally efficient tool for hard non-linear problems
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);University of Leicester(莱斯特大学)
提出一种结合伞形采样与最优控制、基于神经网络和策略梯度的强化学习方法,通过集成智能体与熵奖励平衡探索利用,高效解决稀疏奖励、状态陷阱等困难非线性问题。
2024-11-21 cs.AI cs.LG
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley(加州大学伯克利分校);OpenAI
非策略深度强化学习(RL)的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率,并且卷积神经网络(CNN)有效地处理高维输入。然而,这样的技术需要高存储器和计算带宽。在本文中,我们提出了高效强化学习(SEER)的存储嵌入,这是对现有非策略强化学习方法的简单修改,以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销,由于其参数的早期收敛,我们在训练早期冻结了CNN编码器的较低层。此外,我们通过存储低维的潜在向量的经验重放,而不是高维图像,使重放缓冲区容量,一个有用的技术在受限的内存设置的自适应增加,减少内存需求。在我们的实验中,我们表明SEER不会降低RL代理的性能,同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
Decentralized Computation Offloading for Multi-User Mobile Edge Computing: A Deep Reinforcement Learning Approach
Columbia University(哥伦比亚大学);Amazon Canada(亚马逊加拿大公司)
移动边缘计算(MEC)是最近出现的一种有前途的解决方案,可以将资源有限的移动设备从计算密集型任务中解脱出来,使设备能够将工作负载卸载到附近的MEC服务器,并提高计算体验的质量。然而,通过考虑本文中的多个移动用户与随机任务到达和无线信道组成的MEC系统,计算卸载策略的设计是具有挑战性的,以最小化长期平均计算成本的功耗和缓冲延迟。研究了一种基于深度强化学习(DRL)的分散动态计算卸载策略,以构建一个具有有限反馈的可扩展MEC系统。具体而言,一个连续的动作空间为基础的DRL方法命名为深度确定性策略梯度(DDPG)的学习有效的计算卸载策略独立地在每个移动用户。因此,本地执行和任务卸载两者的功率可以通过从MEC系统的每个用户的本地观察学习的策略来自适应地分配。数值结果表明,有效的政策,可以在每个用户学习,并提出DDPG的分散策略的性能优于传统的深度Q网络(DQN)的离散功率控制策略和其他一些贪婪的策略,减少计算成本。此外,还分析了基于DDPG和基于DQN的策略的功率延迟折衷。
2018-12-16 cs.LG eess.SP math.OC
Computational-Statistical Gaps in Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校)
具有函数逼近的强化学习最近在具有大状态空间的应用中取得了巨大的成果。这种经验上的成功促使越来越多的理论工作提出了有效的强化学习可能的必要和充分条件。从这条线的工作,一个非常简单的最小充分条件已经出现了样本有效的强化学习:最佳价值函数$V^*$和$Q^*$线性在一些已知的低维特征的MDP。在这种情况下,最近的作品设计了样本有效的算法,需要一些样本多项式的特征维数和独立的状态空间的大小。然而,他们留下寻找计算效率高的算法作为未来的工作,这被认为是一个主要的开放问题,在社会上。在这项工作中,我们取得了进展,提出了第一个计算下限RL与线性函数近似:除非NP=RP,没有随机多项式时间算法存在的确定性过渡MDP与常数数量的行动和线性最优价值函数。为了证明这一点,我们从Unique-Sat,在那里我们将CNF公式转换为MDP与确定性的过渡,常数数量的行动和低维线性最佳价值函数的减少。这个结果也展示了线性函数近似的强化学习中的第一个计算统计差距,因为底层的统计问题在信息理论上可以用多项式数量的查询来解决,但除非NP=RP,否则不存在计算效率高的算法。最后,我们还证明了随机指数时间假设下的一个拟多项式时间下界。
2022-07-03 cs.AI cs.CC cs.LG
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London(帝国理工学院)
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明,演化计算算法在该领域也取得了成功,表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库,但没有公开可用的库将这两种方法结合起来以增强比较,合作或可视化。为此,我们创建了Pearl(https://github.com/LondonNode/Pearl),这是一个开源Python库,旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括:模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
Computationally efficient safe exploration in reinforcement learning
Aalto University(阿尔托大学)
本文提出一种基于Nadaraya-Watson估计器的计算高效安全探索算法CoLSafe-MDP,用于约束马尔可夫决策过程,相比高斯过程方法大幅降低计算成本,并在网格环境和火星地形数据上验证了性能。
2026-09-22 cs.LG cs.RO cs.SY
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University(杜克大学)
针对分布鲁棒离线强化学习,提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法,并开创实例依赖的次优性分析,揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning as a Computational Tool for Language Evolution Research: Historical Context and Future Challenges
Flowers team, Inria(花团队(Flowers team),法国国家信息与自动化研究所(Inria));Ensta ParisTech(巴黎高等电子与机械工程学院(Ensta ParisTech));Inria(法国国家信息与自动化研究所(Inria));France(法国(注:根据上下文推断为作者所属国家,非机构))
由于多智能体强化学习(MARL)的最新进展,智能体群体中紧急通信的计算模型目前在机器学习社区中引起了人们的兴趣。然而,目前的贡献仍然与早期的理论和计算文献相对脱节,这些文献旨在理解语言如何从前语言物质中出现。本文的目标是定位最近的MARL的语言进化研究的历史背景下的贡献,以及提取从这个理论和计算背景的一些挑战,为未来的研究。
2020-10-27 cs.CL cs.LG cs.MA
Accelerated Evolving Set Processes for Local PageRank Computation
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Key Laboratory for Contemporary Applied Mathematics(上海当代应用数学重点实验室);Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学重点实验室,复旦大学计算机科学学院)
本文提出基于嵌套演化集过程的局部化非精确近端点迭代框架,加速个性化PageRank计算,时间复杂度与图大小无关,并解决了开放猜想,实验验证了早期收敛的高效性。
2025-10-27 cs.LG
Mobility-Aware Computation Offloading for Swarm Robotics using Deep Reinforcement Learning
Xidian University(西安电子科技大学);Norfolk State University(诺福克州立大学)
针对群体机器人资源有限、规模受限的问题,提出基于边缘服务器侧移动感知深度强化学习的计算卸载方案,可在满足延迟要求的同时以最少机器人能耗保障计算精度。
2023-08-22 cs.LG cs.RO cs.SY
Accelerating the Computation of UCB and Related Indices for Reinforcement Learning
Rutgers University(罗格斯大学)
在本文中,我们推导出一个有效的方法来计算与Burnetas和Katehakis(1997)的渐近最优置信上界算法(MDP-UCB)相关的指标,该算法只需要求解两个未知数的两个非线性方程组,而与马尔可夫决策过程(MDP)的状态空间的基数无关。此外,我们还开发了一种类似的加速方法,用于计算Cowan等人(2019)开发的MDP-确定性最小经验发散(MDP-DMED)算法的指数,该算法基于Honda和Takemura(2011)的想法,涉及求解一个变量的单个方程。我们提供的实验结果表明,这些算法的计算时间节省和遗憾的性能。在这些比较中,我们还考虑了乐观线性规划(OLP)算法(Tewari和Bartlett,2008)和基于后验采样的方法(MDP-PS)。
2019-09-28 cs.AI cs.LG stat.ML
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft(代尔夫特理工大学);Leiden University(莱顿大学);Southeast University(东南大学)
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划,一种最近成功的算法类,其中AlphaZero [Silver等人,2018]就是一个例子,它通过在学习循环中嵌套规划来结合两者。然而,计划和学习的结合带来了一个新的问题:我们应该如何平衡计划,学习和行动的时间?这种权衡的重要性以前没有被明确研究过。我们表明,它实际上是至关重要的,计算结果表明,我们不应该计划太长,也不太短。从概念上讲,我们确定了一个新的频谱规划学习算法,其范围从穷举搜索(长规划)到无模型RL(无规划),中途达到最佳性能。
2020-05-15 cs.AI cs.LG
On the Analysis of Computational Delays in Reinforcement Learning-based Rate Adaptation Algorithms
INESC TEC(葡萄牙系统与计算机工程研究所);Faculdade de Engenharia, Universidade do Porto(波尔图大学工程学院)
一些研究工作已经应用强化学习(RL)算法来解决Wi-Fi网络中的速率自适应(RA)问题。无线电链路的动态特性要求算法对链路质量的变化作出响应。算法执行中的延迟可能对其性能有害,这进而可能降低网络性能。在本文中,我们提出了一种基于RL的RA算法中常见的计算延迟的分析,并提出了一种方法,可以应用于减少这些计算延迟,提高这种类型的算法的效率。我们将所提出的方法应用到现有的基于RL的RA算法。实验结果表明,该算法的执行时间减少了一个数量级,提高了其对链路质量变化的响应能力。
2023-03-30 cs.LG cs.NI
Continual Learning as Computationally Constrained Reinforcement Learning
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学);Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学);Department of Management Science and Engineering, Stanford University(管理科学与工程系,斯坦福大学)
本专著将持续学习形式化为计算受限的强化学习问题,澄清了相关概念并引入了一个框架与工具集,以推动能长期积累知识并发展复杂技能的智能体研究。
2025-06-26 cs.AI cs.LG
Reinforcement Learning Decoders for Fault-Tolerant Quantum Computation
Freie Universität Berlin(柏林自由大学)
拓扑纠错码,特别是表面码,目前提供了走向大规模容错量子计算的最可行的路线图。因此,获得快速和灵活的解码算法,这些代码,在实验相关的背景下,错误的综合征测量,是至关重要的。在这项工作中,我们表明,解码这样的代码的问题,在充分的容错设置,可以自然地重新制定为一个解码代理和代码环境之间的重复交互的过程,其中强化学习的机器可以应用于获得解码代理。作为演示,通过使用deepQ学习,我们获得了各种噪声模型的表面码的快速解码代理。
2018-10-16 cs.AI cs.LG quant-ph
Computational Model of Music Sight Reading: A Reinforcement Learning Approach
虽然人们已经从认知心理学的角度对音乐视奏过程进行了研究,但是强化学习等计算学习方法还没有被用于对这类过程进行建模。在本文中,关于我们的具体问题的基本属性,我们认为价值函数的概念,并将表明,最优策略可以得到的方法,我们提供的,而不涉及计算复杂的价值函数。此外,我们将提供一个规范的行为模型与音乐音高环境的代理的相互作用,并通过使用一个略有不同的版本的部分可观察马尔可夫决策过程,我们将表明,我们的方法有助于更快地学习我们实现的代理的状态-动作对。
2013-07-13 cs.AI cs.LG cs.NE
Learning and Querying Fast Generative Models for Reinforcement Learning
DeepMind
基于基于模型的强化学习(RL)的一个关键挑战是综合计算效率高且准确的环境模型。我们表明,精心设计的生成模型,学习和操作紧凑的状态表示,所谓的状态空间模型,大大降低了预测结果的行动序列的计算成本。大量的实验表明,状态空间模型准确地捕捉动态的雅达利游戏从街机学习环境从原始像素。状态空间模型的计算速度提高,同时保持高精度,使其在强化学习中的应用是可行的:我们证明,代理查询这些模型的决策优于强大的无模型基线的游戏MSPACMAN,展示了使用学习环境模型进行规划的潜力。
2018-02-08 cs.LG
Energy-Aware Multi-Server Mobile Edge Computing: A Deep Reinforcement Learning Approach
Intel Corporation(英特尔公司);University of Kansas(堪萨斯大学)
我们研究了移动边缘计算架构中的计算卸载问题,在该架构中,多个能量受限的用户通过共享无线介质竞争将其计算任务卸载到多个服务器。我们提出了一种多代理深度强化学习算法,其中每个服务器都配备了一个代理,观察其关联用户的状态,并在每一步选择最佳用户进行卸载。我们考虑计算时间(即,任务完成时间)和系统寿命作为两个关键的性能指标,我们数值上证明,我们的方法优于基线算法的计算时间和系统寿命之间的权衡。
2019-12-22 cs.IT cs.LG eess.SP
Multi-Agent Reinforcement Learning Based Coded Computation for Mobile Ad Hoc Computing
University of California, San Diego(加州大学圣迭戈分校);San Diego State University(圣迭戈州立大学);University of Puerto Rico at Mayagüez(波多黎各大学马亚圭斯分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of North Texas(北德克萨斯大学)
移动自组织计算(MAHC)允许移动设备直接共享它们的计算资源,是解决移动设备对计算资源日益增长的需求的一种很有前途的解决方案。然而,将计算任务从移动终端卸载到其他移动设备是一项具有挑战性的任务,这是由于节点移动性、不稳定和未知的通信环境以及这些设备的异构性质导致的频繁拓扑变化和链路故障。为了解决这些问题,本文提出了一种基于多智能体强化学习(MARL)的编码计算方案,该方案具有适应网络变化、高效、鲁棒性强、考虑节点异构性、分散负载分配等特点.全面的仿真研究表明,所提出的方法可以优于国家的最先进的分布式计算计划。
2021-04-15 cs.LG cs.SY eess.SY
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University(莱斯大学);Meta AI;Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题,提出深度强化学习编译器LoopTune,结合图表示与LoopNest代码生成器,可快速针对CPU优化张量计算,性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
MeshDQN: A Deep Reinforcement Learning Framework for Improving Meshes in Computational Fluid Dynamics
Carnegie Mellon University(卡内基梅隆大学)
网格划分是计算流体动力学(CFD)中稳定和准确模拟所必需的关键但用户密集的过程。网格生成是计算流体力学(CFD)管道中的一个瓶颈。自适应网格技术允许网格自动更新,以产生手头问题的准确解决方案。现有的自适应网格化的经典技术需要求解器的附加功能,许多训练模拟,或两者兼而有之。当前的机器学习技术通常需要用于训练数据生成的大量计算成本,并且在范围上受限于训练数据流态。MeshDQN是一个通用的深度强化学习框架,用于迭代粗化网格,同时保留目标属性计算。基于图神经网络的深度Q网络用于选择要移除的网格顶点,并且在改进过程中的每一步使用解插值来绕过昂贵的模拟。MeshDQN需要在网格粗化之前进行一次模拟,同时不对流态、网格类型或求解器进行假设,只需要能够直接在CFD管道中修改网格。MeshDQN成功改进了两个二维翼型的网格。
2022-12-02 cs.LG physics.flu-dyn
Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping
The Ohio State University(俄亥俄州立大学)
本文通过按转移与奖励相似性对动作空间分组,构建线性分解模型,并优化分组策略以平衡性能损失与样本/计算复杂度,实现样本与计算高效的强化学习。
2023-06-22 cs.LG
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
雾无线电接入网络(F-RAN)是一项很有前途的技术,其中用户移动设备(MD)可以将计算任务卸载到附近的雾接入点(F-AP)。由于F-AP的资源有限,设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境,以任务执行延迟和MD能耗最小为目标,提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题,提出了一种基于联合深度强化学习(DRL)的算法,其中深度确定性策略梯度(DDPG)算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私,采用联邦学习对DDPG代理进行训练。仿真结果表明,与现有的其他策略相比,所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Reinforcement Learning for Dynamic Resource Optimization in 5G Radio Access Network Slicing
Virginia Tech(弗吉尼亚理工大学);Intelligent Automation, Inc.(智能自动化公司)
本文提出了一种用于5G无线电接入网络切片的动态资源分配的强化学习解决方案。可用的通信资源(频率-时间块和发射功率)和计算资源(处理器使用)被分配给随机到达的网络切片请求。每个请求都有优先级(权重)、吞吐量、计算资源和延迟(最后期限)要求,如果可行,则在其请求的持续时间内分配可用的通信和计算资源。由于资源分配的每个决策使得一些资源暂时不可用于将来,因此仅可以优化当前资源分配的短视解决方案对于网络切片变得无效。因此,提出了一种Q-学习解决方案,以最大限度地提高网络效用,即在通信和计算约束的情况下,在一个时间范围内授予网络切片请求的总权重。结果表明,相对于短视、随机和先到先得的解决方案,强化学习在5G网络效用方面提供了重大改进。虽然强化学习随着服务用户数量的增加而保持可扩展的性能,但当5G需要与可能动态占用一些频率-时间块的现任用户共享频谱时,它也可以有效地用于向网络切片分配资源。
2020-09-14 cs.LG cs.NI
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
我们介绍了异步优势演员-评论家(A3 C)算法的混合CPU/GPU版本,该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性,并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略,可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin(都柏林大学三一学院);Dublin City University(都柏林城市大学)
用于物联网(IoT)的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中,动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器(CPU)负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程(MDP),并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中,采用值迭代的方法,使学习代理学习最优策略。为了评估我们的性能,我们分析了两种类型的进程,它们可以在基于云的物联网网络中使用,具有不同级别的并行化能力,即,软件定义无线电(SDR)和软件定义网络(SDN)。结果表明,我们的代理快速收敛到最优策略,在不同的参数设置下稳定地执行,在不同的场景下,与基线算法相比,在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
Cache-Aware Reinforcement Learning in Large-Scale Recommender Systems
Kuaishou Technology(快手科技)
本文提出缓存感知强化学习方法CARL,将实时计算与缓存推荐统一建模为马尔可夫决策过程,并针对缓存引起的critic依赖问题提出特征函数学习方法,在快手App上线服务超1亿用户并显著提升用户参与度。
2024-04-23 cs.IR cs.LG
Dropout Q-Functions for Doubly Efficient Reinforcement Learning
NEC Corporation(日本电气股份有限公司);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);The University of Tokyo(东京大学)
随机集成双Q学习(REDQ)(Chen等人,2021 b)最近在连续动作强化学习基准测试中实现了最先进的样本效率。通过使用大的Q函数系综使得这种优异的样本效率成为可能。然而,REDQ在计算上比诸如软演员-评论家(SAC)(Haarnoja等人,2018年a)。为了使REDQ的计算效率更高,我们提出了一种提高计算效率的方法,称为DroQ,这是一个变体的REDQ,使用一个小的合奏的dropout Q函数。我们的dropout Q函数是简单的Q函数,配备了dropout连接和层归一化。尽管其简单的实施,我们的实验结果表明,DroQ是双重(样本和计算)效率。它实现了与REDQ相当的样本效率,比REDQ好得多的计算效率,以及与SAC相当的计算效率。
2022-03-16 cs.AI cs.LG
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute(应用人工智能研究所)
本文提出Rennala NIGT和Malenia NIGT算法,通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率,理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation
ETH Zürich(苏黎世联邦理工学院);EPFL Lausanne(洛桑联邦理工学院)
我们考虑基于模型的多智能体强化学习,其中环境转换模型是未知的,只能通过昂贵的与环境的交互来学习。我们提出了H-MARL(幻觉多智能体强化学习),这是一种新的样本有效算法,可以有效地平衡探索,即,了解环境和开发,即,在潜在的一般和马尔可夫博弈中实现良好的均衡性能。H-MARL围绕未知的转换模型构建高概率置信区间,并根据新观察到的数据依次更新它们。使用这些,它构建了一个乐观的幻觉游戏的代理人的均衡政策计算在每一轮。我们考虑一般统计模型(例如,高斯过程、深度系综等)以及策略类(例如,深度神经网络),并通过限制智能体的动态后悔,从理论上分析了我们的方法。此外,我们提供了一个收敛速度的基本马尔可夫博弈的均衡。我们在自动驾驶模拟基准上通过实验证明了我们的方法。H-MARL在与环境进行一些交互后学习成功的均衡策略,与非乐观探索方法相比,可以显着提高性能。
2022-07-10 cs.LG cs.MA
Action Shapley: A Training Data Selection Metric for World Model in Reinforcement Learning
Nutanix Inc.(Nutanix公司)
本文提出动作夏普利度量,用于高效选择强化学习世界模型的训练数据,通过随机动态算法提升计算效率并改进数据选择性能。
2026-01-15 cs.LG stat.ME
Knowledge-Driven Multi-Agent Reinforcement Learning for Computation Offloading in Cybertwin-Enabled Internet of Vehicles
Xidian University(西安电子科技大学)
针对车联网任务卸载中基于模型方法计算复杂、数据驱动方法缺乏可解释性的问题,提出知识驱动的多智能体强化学习(KMARL)方法,利用图神经网络结合图拓扑与置换不变性领域知识,在cybertwin赋能场景下为车辆选择最优卸载策略,有效降低延迟并提升可扩展性。
2023-09-08 cs.LG cs.SY eess.SY
A Learning-Based Computational Impact Time Guidance
Beijing Institute of Technology(北京理工大学);Cranfield University(克兰菲尔德大学)
研究了飞行器撞击时间控制问题,提出了一种基于学习的计算制导算法。提出的制导算法是基于一般的预测-校正概念开发的:通过深度神经网络估计具有真实空气动力特性的比例导航制导下的精确剩余飞行时间,并通过利用新兴的强化学习技术开发有偏命令以抵消撞击时间误差。深度神经网络被增强到强化学习块中,以解决在典型的强化学习公式中观察到的稀疏奖励问题。大量的数值模拟进行支持所提出的算法。
2021-05-28 cs.AI cs.LG
MSRL: Distributed Reinforcement Learning with Dataflow Fragments
Imperial College London(帝国理工学院);Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei R&D United Kingdom(华为英国研发中心);Hong Kong University of Science and Technology(香港科技大学)
强化学习(RL)训练许多代理,这是资源密集型的,并且必须扩展到大型GPU集群。不同的RL训练算法为分布式和并行计算提供了不同的机会。然而,当前的分布式RL系统将RL算法的定义与其分布式执行联系在一起:它们硬编码特定的分发策略,并且仅在GPU工作者上加速计算的特定部分(例如策略网络更新)。从根本上说,当前的系统缺乏将RL算法与其执行解耦的抽象。我们描述了MindSpore强化学习(MSRL),一个分布式RL训练系统,支持分布策略,管理RL训练计算如何并行化和分布在集群资源上,而不需要改变算法实现。MSRL引入了一个新的片段化图的抽象,它将Python函数从RL算法的训练循环映射到并行计算片段。片段通过将它们转换为低级递归表示(例如,由深度学习引擎、CUDA实现或多线程CPU进程支持的计算图)而在不同的设备上执行。我们证明了MSRL包含了现有系统的分布策略,同时将RL训练扩展到64个GPU。
2022-10-28 cs.AI cs.DC cs.LG
Graph Reinforcement Learning-based CNN Inference Offloading in Dynamic Edge Computing
Aarhus University(奥胡斯大学)
研究了动态多访问边缘计算(MEC)网络中CNN推理的计算卸载问题。为了解决通信时间和边缘服务器可用容量的不确定性,我们使用提前退出机制提前终止计算,以满足推理任务的截止日期。我们设计了一个奖励函数来权衡通信,计算和推理精度,并将CNN推理的卸载问题表示为最大化问题,其目标是最大化长期的平均推理精度和吞吐量。为了解决最大化问题,我们提出了一种基于图强化学习的早期退出机制(GRLE),在不同的动态场景下,该机制的性能优于最先进的工作,基于深度强化学习的在线卸载(DROO)及其增强方法,具有早期退出机制的DROO(DROOE)。实验结果表明,GRLE的平均准确率是图强化学习(GRL)的3.41倍,是DROOE的1.45倍,显示了GRLE在动态MEC卸载决策中的优势。
2022-10-24 cs.AI cs.LG cs.NI
Adaptive Layer Splitting for Wireless LLM Inference in Edge Computing: A Model-Based Reinforcement Learning Approach
Zhejiang University(浙江大学)
本研究针对边缘计算中无线大语言模型推理的效率问题,提出基于模型的强化学习框架确定最优层拆分点,通过奖励代理模型降低评估成本,在不同网络条件下平衡推理性能与计算负载,为去中心化LLM部署提供鲁棒方案。
2024-09-11 cs.AI cs.LG
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa(瑞士联邦材料科学与技术研究所);EPFL(洛桑联邦理工学院)
提出修改连续actor-critic框架以利用专家简单规则避开次优区域,显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中,K-最近邻搜索(KNNS)在计算高维距离的复杂性方面受到影响。由于维数灾难的问题,可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中,我们调查了一些新的K-最近邻搜索方法,从计算的角度来解决搜索问题,近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后,为了评估KNNS方法对对抗点的鲁棒性,我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS(俄罗斯科学院巴甫洛夫生理学研究所);State University of Aerospace Instrumentation(国立航空航天仪器大学)
我们考虑卷积神经网络(CNN)集成学习的目标函数的启发,最小行动原则,它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像,并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下,强化学习。我们的实验结果证明,如果代理利用动态(和上下文相关)的计算结构,它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
MaRCA: Multi-Agent Reinforcement Learning for Dynamic Computation Allocation in Large-Scale Recommender Systems
Tsinghua University(清华大学)
MaRCA通过多智能体强化学习实现大规模推荐系统的端到端计算资源分配,提升计算效率并实现16.67%的收入增长。
2025-12-30 cs.IR cs.LG cs.MA