Unifying Model Predictive Path Integral Control, Reinforcement Learning, and Diffusion Models for Optimal Control and Planning
本研究通过在吉布斯测度上的基于梯度的优化，统一了MPPI、强化学习与扩散模型，揭示了它们共享相同的更新规则，为最优控制与规划提供了统一视角。
2025-03-04 cs.LG
Integral Equations and Machine Learning
NVIDIA（英伟达）
由于光传输模拟和强化学习两者都由相同的第二类Fredholm积分方程支配，因此强化学习技术可以用于真实感图像合成：可以通过利用在渲染期间学习的积分方程的近似解来引导光传输路径来显著提高效率。根据游戏强化学习的最新进展，我们研究了用人工神经网络表示积分方程的近似解，并推导了用于该目的的损失函数。由此产生的蒙特卡罗和准蒙特卡罗方法训练神经网络与标准的信息，而不是线性信息，自然能够产生任意数量的训练样本。该方法被证明在光传输模拟中的应用。
2019-01-30 cs.GR cs.LG
Steady-State Error Compensation for Reinforcement Learning with Quadratic Rewards
Shien-Ming Wu School of Intelligent Engineering South China University of Technology Guangzhou, China
针对二次型奖励强化学习中稳态误差大的问题，本文提出在奖励函数中引入积分项以利用奖励历史，并在ACC和车道变换任务上验证其能有效减小稳态误差且避免状态突变。
2024-04-01 cs.LG cs.SY eess.SY
Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control
Stanford University（斯坦福大学）
本研究提出用强化学习PPO训练策略以在飞行中调整四旋翼级联反馈控制器增益，经实验验证其相比静态增益控制器可降低40%以上的轨迹跟踪误差。
2024-03-12 cs.LG cs.RO cs.SY
Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning
Nankai University（南开大学）；Huawei Technologies（华为技术有限公司）
构建具有规划能力的智能体一直是人工智能的主要挑战之一。从AlphaGo到Muzero，基于树的规划方法在离散领域（如国际象棋和围棋）取得了巨大成功。不幸的是，在现实世界的应用，如机器人控制和倒立摆，其行动空间通常是连续的，这些基于树的规划技术将挣扎。为了解决这些限制，在本文中，我们提出了一种新的基于基于模型的强化学习框架，称为Critic PI 2，它结合了轨迹优化，深度演员-评论家学习和基于模型的强化学习的优点。我们的方法进行评估倒立摆模型，适用于许多连续控制系统。大量的实验表明，Critic PI 2在一系列具有挑战性的连续领域中达到了新的技术水平。此外，我们表明，规划与评论家显着提高了样本效率和实时性能。我们的工作开辟了一个新的方向，学习基于模型的规划系统的组成部分，以及如何使用它们。
2020-11-13 cs.LG cs.NE cs.RO
Multi-Agent Reinforcement Learning Based Coded Computation for Mobile Ad Hoc Computing
University of California, San Diego（加州大学圣迭戈分校）；San Diego State University（圣迭戈州立大学）；University of Puerto Rico at Mayagüez（波多黎各大学马亚圭斯分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of North Texas（北德克萨斯大学）
移动自组织计算（MAHC）允许移动设备直接共享它们的计算资源，是解决移动设备对计算资源日益增长的需求的一种很有前途的解决方案。然而，将计算任务从移动终端卸载到其他移动设备是一项具有挑战性的任务，这是由于节点移动性、不稳定和未知的通信环境以及这些设备的异构性质导致的频繁拓扑变化和链路故障。为了解决这些问题，本文提出了一种基于多智能体强化学习（MARL）的编码计算方案，该方案具有适应网络变化、高效、鲁棒性强、考虑节点异构性、分散负载分配等特点.全面的仿真研究表明，所提出的方法可以优于国家的最先进的分布式计算计划。
2021-04-15 cs.LG cs.SY eess.SY
Computationally efficient safe exploration in reinforcement learning
Aalto University（阿尔托大学）
本文提出一种基于Nadaraya-Watson估计器的计算高效安全探索算法CoLSafe-MDP，用于约束马尔可夫决策过程，相比高斯过程方法大幅降低计算成本，并在网格环境和火星地形数据上验证了性能。
2026-09-22 cs.LG cs.RO cs.SY
Mobility-Aware Computation Offloading for Swarm Robotics using Deep Reinforcement Learning
Xidian University（西安电子科技大学）；Norfolk State University（诺福克州立大学）
针对群体机器人资源有限、规模受限的问题，提出基于边缘服务器侧移动感知深度强化学习的计算卸载方案，可在满足延迟要求的同时以最少机器人能耗保障计算精度。
2023-08-22 cs.LG cs.RO cs.SY
A Data-Driven Model-Reference Adaptive Control Approach Based on Reinforcement Learning
Bowling Green State University（博林格林州立大学）；University of Ottawa（渥太华大学）；Machine Intelligence Research Labs（机器智能研究实验室）
模型参考自适应系统是指一个联盟的技术，引导植物跟踪所需的参考轨迹。基于李雅普诺夫、滑动面和反推等理论的方法通常用于建议自适应控制策略。由此产生的解决方案往往是挑战的参考模型和派生的控制策略的复杂性。此外，控制策略对过程动态和参考动态模型的显式依赖可能会导致在面对不确定或未知动态时降低其效率。一个模型参考自适应解决方案，它解决了一个基于误差的结构的Hamilton-Jacobi-Bellman方程的自治系统。所提出的方法描述了一个积分时间差分方程的过程，并解决它使用积分强化学习机制。这是实时完成的，而不需要知道或采用控制策略中的过程或参考模型的动态。采用一类飞机验证所提出的技术。
2023-03-17 cs.LG cs.RO cs.SY
Knowledge-Driven Multi-Agent Reinforcement Learning for Computation Offloading in Cybertwin-Enabled Internet of Vehicles
Xidian University（西安电子科技大学）
针对车联网任务卸载中基于模型方法计算复杂、数据驱动方法缺乏可解释性的问题，提出知识驱动的多智能体强化学习（KMARL）方法，利用图神经网络结合图拓扑与置换不变性领域知识，在cybertwin赋能场景下为车辆选择最优卸载策略，有效降低延迟并提升可扩展性。
2023-09-08 cs.LG cs.SY eess.SY
Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
SINTEF Digital；NTNU（挪威科技大学）
在控制应用中，通常需要对控制器的复杂性和性能以及可用的计算资源进行折衷。例如，嵌入式控制应用中的典型硬件平台是具有有限存储器和处理能力的微控制器，并且对于电池供电的应用，控制系统可以占能量消耗的显著部分。我们提出了一个控制器的架构，其中的计算成本是明确优化的控制目标。这是通过一个三部分架构来实现的，在该架构中，高级的、计算上昂贵的控制器生成计划，计算上更简单的控制器通过补偿预测误差来执行该计划，而重新计算策略决定何时应该重新计算该计划。在本文中，我们采用模型预测控制（MPC）作为高级计划生成控制器，线性状态反馈控制器作为简单的补偿控制器，强化学习（RL）学习重新计算的政策。两个例子的仿真结果展示了该架构的能力，以改善MPC的方法，并找到合理的妥协权衡性能的控制目标和计算资源的消耗。
2020-11-26 cs.LG cs.SY eess.SY
Learning Principle of Least Action with Reinforcement Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自然界提供了一种通过强化学习来理解物理学的方法，因为自然界喜欢物体以经济的方式传播。在经典力学的情况下，自然倾向于物体沿着拉格朗日积分的路径运动，称为作用量$\mathcal{S}$。我们考虑将奖励/惩罚设置为$\mathcal{S}$的函数，因此智能体可以通过强化学习来学习粒子在各种环境中的物理轨迹。在这项工作中，我们通过使用基于Q-Learning的算法来学习光如何在具有不同折射率的材料中传播来验证这一想法，并表明该代理可以恢复与Snell定律或Fermat原理获得的解决方案等效的最小时间路径。我们还讨论了我们的强化学习方法的路径积分形式主义的相似性。
2020-11-26 cs.LG physics.class-ph
Meta-Reinforcement Learning for Adaptive Control of Second Order Systems
University of British Columbia（不列颠哥伦比亚大学）；Honeywell Process Solutions（霍尼韦尔过程解决方案公司）；Backstrom Systems Engineering Ltd.（巴克斯特伦系统工程有限公司）
元学习是机器学习的一个分支，旨在从相关任务的分布中合成数据，以有效地解决新任务。在过程控制中，许多系统具有相似且易于理解的动态特性，这表明通过元学习创建可泛化的控制器是可行的。在这项工作中，我们制定了一个Meta强化学习（元RL）控制策略，利用已知的，离线的信息进行训练，如模型结构。元RL代理是在模型参数的分布上训练的，而不是单个模型，使代理能够自动适应过程动态的变化，同时保持性能。一个关键的设计元素是在训练期间离线利用基于模型的信息的能力，同时保持与新环境交互的无模型策略结构。我们以前的工作已经证明了这种方法可以应用到工业相关的问题，调整比例积分控制器控制一阶过程。在这项工作中，我们简要地重新介绍我们的方法，并演示它如何可以扩展到比例积分微分控制器和二阶系统。
2022-09-19 cs.AI cs.LG cs.SY
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency
Northwestern University（西北大学）；Yale University（耶鲁大学）
本文首次在具有线性结构的部分可观测马尔可夫决策过程中结合函数逼近，提出OP-TENET算法，在O(1/ε²)回合内获得ε-最优策略，样本复杂度与观测和状态空间大小无关。
2024-04-01 cs.LG math.OC stat.ML
Real-Time Recurrent Reinforcement Learning
Vienna University of Technology（维也纳工业大学）；DatenVorsprung GmbH（DatenVorsprung有限公司）
针对部分可观测马尔可夫决策过程（POMDPs）任务，提出结合元强化学习架构、生物学合理RL算法和在线自动微分算法的实时循环强化学习（RTRRL）框架，可解决多种部分可观测RL任务。
2025-03-13 cs.LG cs.NE cs.SY
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Chuvash State University（楚瓦什国立大学）
本文提出了一种基于稀疏计算的方法，用于优化强化学习（RL）任务的神经网络。这种方法结合了两种思想：神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务，并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Deep reinforcement learning for complex evaluation of one-loop diagrams in quantum field theory
Washington University in St. Louis（圣路易斯华盛顿大学）；Silicon Austria Labs GmbH（奥地利硅实验室有限公司）
在本文中，我们提出了一种基于深度强化学习的新技术，该技术允许在量子场论的单圈图中经常遇到的积分的数值解析延拓。为了提取一定数量的两点函数，如谱密度，质量极点或多粒子阈值，有必要进行相关器的解析延拓。在欧氏空间中的单圈水平，这导致必须在圈动量的平方的复平面中变形圈积分的积分轮廓，以避免在积分平面中的非解析性。使用一个玩具模型，其精确的解决方案是已知的，我们训练强化学习代理执行所需的轮廓变形。我们的研究表明，在复杂的域中，用于计算非微扰2点函数的迭代数值方法中部署的代理有很大的希望，例如夸克传播子Dyson-Schwinger方程，或者更一般地说，第二类Fredholm方程。
2019-12-27 cs.LG hep-ph physics.comp-ph
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Umbrella Reinforcement Learning -- computationally efficient tool for hard non-linear problems
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Leicester（莱斯特大学）
提出一种结合伞形采样与最优控制、基于神经网络和策略梯度的强化学习方法，通过集成智能体与熵奖励平衡探索利用，高效解决稀疏奖励、状态陷阱等困难非线性问题。
2024-11-21 cs.AI cs.LG
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley（加州大学伯克利分校）；OpenAI
非策略深度强化学习（RL）的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率，并且卷积神经网络（CNN）有效地处理高维输入。然而，这样的技术需要高存储器和计算带宽。在本文中，我们提出了高效强化学习（SEER）的存储嵌入，这是对现有非策略强化学习方法的简单修改，以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销，由于其参数的早期收敛，我们在训练早期冻结了CNN编码器的较低层。此外，我们通过存储低维的潜在向量的经验重放，而不是高维图像，使重放缓冲区容量，一个有用的技术在受限的内存设置的自适应增加，减少内存需求。在我们的实验中，我们表明SEER不会降低RL代理的性能，同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
MultiSTOP: Solving Functional Equations with Reinforcement Learning
University of Pisa（比萨大学）；Simon’s Center for Geometry and Physics, Stony Brook（石溪大学西蒙斯几何与物理中心）
本文提出强化学习框架MultiSTOP，通过扩展BootSTOP算法并引入领域特定知识的多重约束来求解物理学中的泛函方程，以生成实际数值解，并在一维共形场论中进行了验证。
2024-04-23 cs.LG hep-th
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London（帝国理工学院）
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明，演化计算算法在该领域也取得了成功，表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库，但没有公开可用的库将这两种方法结合起来以增强比较，合作或可视化。为此，我们创建了Pearl（https：//github.com/LondonNode/Pearl），这是一个开源Python库，旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括：模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
Multi-Agent Reinforcement Learning as a Computational Tool for Language Evolution Research: Historical Context and Future Challenges
Flowers team, Inria（花团队（Flowers team），法国国家信息与自动化研究所（Inria））；Ensta ParisTech（巴黎高等电子与机械工程学院（Ensta ParisTech））；Inria（法国国家信息与自动化研究所（Inria））；France（法国（注：根据上下文推断为作者所属国家，非机构））
由于多智能体强化学习（MARL）的最新进展，智能体群体中紧急通信的计算模型目前在机器学习社区中引起了人们的兴趣。然而，目前的贡献仍然与早期的理论和计算文献相对脱节，这些文献旨在理解语言如何从前语言物质中出现。本文的目标是定位最近的MARL的语言进化研究的历史背景下的贡献，以及提取从这个理论和计算背景的一些挑战，为未来的研究。
2020-10-27 cs.CL cs.LG cs.MA
Reinforcement Learning for Matrix Computations: PageRank as an Example
Indian Institute of Technology（印度理工学院）
强化学习作为一种用于模拟驱动的近似动态规划的技术已经得到了广泛的普及。一个鲜为人知的方面是，使它在动态规划中有效的原因也可以被利用来将其用于涉及非负矩阵的某些矩阵计算的分布式方案。本着这种精神，我们提出了一个强化学习算法的PageRank计算后，类似的计划近似动态规划。该算法具有易于分布式实现的优点，更重要的是，是无模型的，即，不依赖于关于随机网络冲浪者模型中的转移概率的任何特定假设。我们分析了它的收敛性和有限时间行为，并给出了一些支持的数值实验。
2013-11-01 cs.LG cs.SI stat.ML
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
On the Analysis of Computational Delays in Reinforcement Learning-based Rate Adaptation Algorithms
INESC TEC（葡萄牙系统与计算机工程研究所）；Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）
一些研究工作已经应用强化学习（RL）算法来解决Wi-Fi网络中的速率自适应（RA）问题。无线电链路的动态特性要求算法对链路质量的变化作出响应。算法执行中的延迟可能对其性能有害，这进而可能降低网络性能。在本文中，我们提出了一种基于RL的RA算法中常见的计算延迟的分析，并提出了一种方法，可以应用于减少这些计算延迟，提高这种类型的算法的效率。我们将所提出的方法应用到现有的基于RL的RA算法。实验结果表明，该算法的执行时间减少了一个数量级，提高了其对链路质量变化的响应能力。
2023-03-30 cs.LG cs.NI
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University（布朗大学）
提出基于模型的DLPA算法，通过参数化动作条件动态模型和改进的模型预测路径积分控制，在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Continual Learning as Computationally Constrained Reinforcement Learning
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Department of Electrical Engineering, Stanford University（电气工程系，斯坦福大学）；Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本专著将持续学习形式化为计算受限的强化学习问题，澄清了相关概念并引入了一个框架与工具集，以推动能长期积累知识并发展复杂技能的智能体研究。
2025-06-26 cs.AI cs.LG
Computational Model of Music Sight Reading: A Reinforcement Learning Approach
虽然人们已经从认知心理学的角度对音乐视奏过程进行了研究，但是强化学习等计算学习方法还没有被用于对这类过程进行建模。在本文中，关于我们的具体问题的基本属性，我们认为价值函数的概念，并将表明，最优策略可以得到的方法，我们提供的，而不涉及计算复杂的价值函数。此外，我们将提供一个规范的行为模型与音乐音高环境的代理的相互作用，并通过使用一个略有不同的版本的部分可观察马尔可夫决策过程，我们将表明，我们的方法有助于更快地学习我们实现的代理的状态-动作对。
2013-07-13 cs.AI cs.LG cs.NE
Reinforcement Learning Decoders for Fault-Tolerant Quantum Computation
Freie Universität Berlin（柏林自由大学）
拓扑纠错码，特别是表面码，目前提供了走向大规模容错量子计算的最可行的路线图。因此，获得快速和灵活的解码算法，这些代码，在实验相关的背景下，错误的综合征测量，是至关重要的。在这项工作中，我们表明，解码这样的代码的问题，在充分的容错设置，可以自然地重新制定为一个解码代理和代码环境之间的重复交互的过程，其中强化学习的机器可以应用于获得解码代理。作为演示，通过使用deepQ学习，我们获得了各种噪声模型的表面码的快速解码代理。
2018-10-16 cs.AI cs.LG quant-ph
Energy-Aware Multi-Server Mobile Edge Computing: A Deep Reinforcement Learning Approach
Intel Corporation（英特尔公司）；University of Kansas（堪萨斯大学）
我们研究了移动边缘计算架构中的计算卸载问题，在该架构中，多个能量受限的用户通过共享无线介质竞争将其计算任务卸载到多个服务器。我们提出了一种多代理深度强化学习算法，其中每个服务器都配备了一个代理，观察其关联用户的状态，并在每一步选择最佳用户进行卸载。我们考虑计算时间（即，任务完成时间）和系统寿命作为两个关键的性能指标，我们数值上证明，我们的方法优于基线算法的计算时间和系统寿命之间的权衡。
2019-12-22 cs.IT cs.LG eess.SP
Computational model discovery with reinforcement learning
Stanford University（斯坦福大学）
本研究的动机是利用人工智能研究的最新突破，为计算科学中遇到的重要科学问题提供新的解决方案。为了解决人类智能在发现降阶模型方面的局限性，我们建议用人工智能来补充人类思维。我们的三管齐下的策略包括学习（i）以分析形式表示的模型，（ii）后验评估，以及iii）使用参考解决方案中的唯一整数作为先验知识。在第（i）点中，我们追求用符号表示的可解释模型，而不是黑箱神经网络，后者只在学习期间用于有效地参数化可能模型的大搜索空间。在第（ii）点中，在计算求解器中动态地评估学习模型的后验，而不是基于来自预处理的高保真数据的先验信息，从而考虑到手头的求解器的特异性，例如其数值。最后，在点（iii）中，新模型的探索仅由预定义的积分量引导，例如，在雷诺平均或大涡模拟（LES）中，工程感兴趣的平均量。我们使用耦合的深度强化学习框架和计算求解器来同时实现这些目标。强化学习与目标（i）、（ii）和（iii）的结合将我们的工作与以前基于机器学习的建模尝试区分开来。在这份报告中，我们提供了一个高层次的描述模型发现框架与强化学习。详细介绍了该方法在发现微分方程缺项中的应用。描述了该方法的一个基本实例，该方法发现了Burgers方程中的缺失项。
2019-12-29 cs.LG physics.flu-dyn stat.ML
Computational-Statistical Gaps in Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）
具有函数逼近的强化学习最近在具有大状态空间的应用中取得了巨大的成果。这种经验上的成功促使越来越多的理论工作提出了有效的强化学习可能的必要和充分条件。从这条线的工作，一个非常简单的最小充分条件已经出现了样本有效的强化学习：最佳价值函数$V^*$和$Q^*$线性在一些已知的低维特征的MDP。在这种情况下，最近的作品设计了样本有效的算法，需要一些样本多项式的特征维数和独立的状态空间的大小。然而，他们留下寻找计算效率高的算法作为未来的工作，这被认为是一个主要的开放问题，在社会上。在这项工作中，我们取得了进展，提出了第一个计算下限RL与线性函数近似：除非NP=RP，没有随机多项式时间算法存在的确定性过渡MDP与常数数量的行动和线性最优价值函数。为了证明这一点，我们从Unique-Sat，在那里我们将CNF公式转换为MDP与确定性的过渡，常数数量的行动和低维线性最佳价值函数的减少。这个结果也展示了线性函数近似的强化学习中的第一个计算统计差距，因为底层的统计问题在信息理论上可以用多项式数量的查询来解决，但除非NP=RP，否则不存在计算效率高的算法。最后，我们还证明了随机指数时间假设下的一个拟多项式时间下界。
2022-07-03 cs.AI cs.CC cs.LG
Learning and Querying Fast Generative Models for Reinforcement Learning
DeepMind
基于基于模型的强化学习（RL）的一个关键挑战是综合计算效率高且准确的环境模型。我们表明，精心设计的生成模型，学习和操作紧凑的状态表示，所谓的状态空间模型，大大降低了预测结果的行动序列的计算成本。大量的实验表明，状态空间模型准确地捕捉动态的雅达利游戏从街机学习环境从原始像素。状态空间模型的计算速度提高，同时保持高精度，使其在强化学习中的应用是可行的：我们证明，代理查询这些模型的决策优于强大的无模型基线的游戏MSPACMAN，展示了使用学习环境模型进行规划的潜力。
2018-02-08 cs.LG
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University（莱斯大学）；Meta AI；Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题，提出深度强化学习编译器LoopTune，结合图表示与LoopNest代码生成器，可快速针对CPU优化张量计算，性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
MeshDQN: A Deep Reinforcement Learning Framework for Improving Meshes in Computational Fluid Dynamics
Carnegie Mellon University（卡内基梅隆大学）
网格划分是计算流体动力学（CFD）中稳定和准确模拟所必需的关键但用户密集的过程。网格生成是计算流体力学（CFD）管道中的一个瓶颈。自适应网格技术允许网格自动更新，以产生手头问题的准确解决方案。现有的自适应网格化的经典技术需要求解器的附加功能，许多训练模拟，或两者兼而有之。当前的机器学习技术通常需要用于训练数据生成的大量计算成本，并且在范围上受限于训练数据流态。MeshDQN是一个通用的深度强化学习框架，用于迭代粗化网格，同时保留目标属性计算。基于图神经网络的深度Q网络用于选择要移除的网格顶点，并且在改进过程中的每一步使用解插值来绕过昂贵的模拟。MeshDQN需要在网格粗化之前进行一次模拟，同时不对流态、网格类型或求解器进行假设，只需要能够直接在CFD管道中修改网格。MeshDQN成功改进了两个二维翼型的网格。
2022-12-02 cs.LG physics.flu-dyn
Parameterized Indexed Value Function for Efficient Exploration in Reinforcement Learning
Stanford University（斯坦福大学）
众所周知，量化动作值估计中的不确定性对于强化学习中的有效探索至关重要。包围采样提供了一种相对容易计算的方法，使用随机化的价值函数来实现这一点。然而，它仍然需要大量的计算资源来处理复杂的问题。在本文中，我们提出了一种替代的，计算效率高的方法来诱导探索使用指数采样。我们使用一个指数化的价值函数来表示行动价值估计中的不确定性。本文首先提出了一种在表格环境下通过时间差分的分布形式学习参数化索引价值函数的算法，并证明了算法的遗憾界。然后，在计算的角度来看，我们提出了一个双网络架构，参数化索引网络（PIN），包括一个平均网络和一个不确定性网络学习的索引价值函数。最后，我们通过计算实验证明了PIN的有效性。
2020-03-19 cs.AI cs.LG stat.ML
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oulu（奥卢大学）
雾无线电接入网络（F-RAN）是一项很有前途的技术，其中用户移动设备（MD）可以将计算任务卸载到附近的雾接入点（F-AP）。由于F-AP的资源有限，设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境，以任务执行延迟和MD能耗最小为目标，提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题，提出了一种基于联合深度强化学习（DRL）的算法，其中深度确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私，采用联邦学习对DDPG代理进行训练。仿真结果表明，与现有的其他策略相比，所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
On Optimistic versus Randomized Exploration in Reinforcement Learning
Google Deepmind（谷歌DeepMind）；Stanford University（斯坦福大学）
我们讨论了乐观和随机方法在强化学习中的相对优点。在文献中提出的乐观的方法应用乐观的提升值估计在每个状态动作对，并选择相对于所得到的乐观值函数是贪婪的动作。随机化方法从统计上合理的值函数中采样，并选择相对于随机样本贪婪的动作。先前的计算经验表明，随机方法可以导致统计上更有效的学习。我们提出了两个简单的分析例子，阐明为什么会出现这种情况。原则上，应该有乐观的方法，相对于随机方法来说，效果很好，但这需要棘手的计算。在文献中已经提出的乐观方法为了计算效率而牺牲统计效率。另一方面，随机化方法可以同时实现统计和计算效率。
2017-06-13 cs.LG stat.ML
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而，在集成中训练这些大量的神经网络具有极高的计算成本，这可能成为训练大规模系统的障碍。在本文中，我们提出了DNS：一个基于确定性点过程的神经网络采样器，专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样，从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS，用于连续控制任务，并在MuJoCo环境中进行了评估。我们的实验表明，DNS增强的REDQ优于基线REDQ的平均累积奖励，并实现这一目标时，使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Decentralized Computation Offloading for Multi-User Mobile Edge Computing: A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）；Amazon Canada（亚马逊加拿大公司）
移动边缘计算（MEC）是最近出现的一种有前途的解决方案，可以将资源有限的移动设备从计算密集型任务中解脱出来，使设备能够将工作负载卸载到附近的MEC服务器，并提高计算体验的质量。然而，通过考虑本文中的多个移动用户与随机任务到达和无线信道组成的MEC系统，计算卸载策略的设计是具有挑战性的，以最小化长期平均计算成本的功耗和缓冲延迟。研究了一种基于深度强化学习（DRL）的分散动态计算卸载策略，以构建一个具有有限反馈的可扩展MEC系统。具体而言，一个连续的动作空间为基础的DRL方法命名为深度确定性策略梯度（DDPG）的学习有效的计算卸载策略独立地在每个移动用户。因此，本地执行和任务卸载两者的功率可以通过从MEC系统的每个用户的本地观察学习的策略来自适应地分配。数值结果表明，有效的政策，可以在每个用户学习，并提出DDPG的分散策略的性能优于传统的深度Q网络（DQN）的离散功率控制策略和其他一些贪婪的策略，减少计算成本。此外，还分析了基于DDPG和基于DQN的策略的功率延迟折衷。
2018-12-16 cs.LG eess.SP math.OC
Achieving Sample and Computational Efficient Reinforcement Learning by Action Space Reduction via Grouping
The Ohio State University（俄亥俄州立大学）
本文通过按转移与奖励相似性对动作空间分组，构建线性分解模型，并优化分组策略以平衡性能损失与样本/计算复杂度，实现样本与计算高效的强化学习。
2023-06-22 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Reinforcement Learning for Dynamic Resource Optimization in 5G Radio Access Network Slicing
Virginia Tech（弗吉尼亚理工大学）；Intelligent Automation, Inc.（智能自动化公司）
本文提出了一种用于5G无线电接入网络切片的动态资源分配的强化学习解决方案。可用的通信资源（频率-时间块和发射功率）和计算资源（处理器使用）被分配给随机到达的网络切片请求。每个请求都有优先级（权重）、吞吐量、计算资源和延迟（最后期限）要求，如果可行，则在其请求的持续时间内分配可用的通信和计算资源。由于资源分配的每个决策使得一些资源暂时不可用于将来，因此仅可以优化当前资源分配的短视解决方案对于网络切片变得无效。因此，提出了一种Q-学习解决方案，以最大限度地提高网络效用，即在通信和计算约束的情况下，在一个时间范围内授予网络切片请求的总权重。结果表明，相对于短视、随机和先到先得的解决方案，强化学习在5G网络效用方面提供了重大改进。虽然强化学习随着服务用户数量的增加而保持可扩展的性能，但当5G需要与可能动态占用一些频率-时间块的现任用户共享频谱时，它也可以有效地用于向网络切片分配资源。
2020-09-14 cs.LG cs.NI
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin（都柏林大学三一学院）；Dublin City University（都柏林城市大学）
用于物联网（IoT）的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中，动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器（CPU）负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程（MDP），并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中，采用值迭代的方法，使学习代理学习最优策略。为了评估我们的性能，我们分析了两种类型的进程，它们可以在基于云的物联网网络中使用，具有不同级别的并行化能力，即，软件定义无线电（SDR）和软件定义网络（SDN）。结果表明，我们的代理快速收敛到最优策略，在不同的参数设置下稳定地执行，在不同的场景下，与基线算法相比，在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute（应用人工智能研究所）
本文提出Rennala NIGT和Malenia NIGT算法，通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率，理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Cache-Aware Reinforcement Learning in Large-Scale Recommender Systems
Kuaishou Technology（快手科技）
本文提出缓存感知强化学习方法CARL，将实时计算与缓存推荐统一建模为马尔可夫决策过程，并针对缓存引起的critic依赖问题提出特征函数学习方法，在快手App上线服务超1亿用户并显著提升用户参与度。
2024-04-23 cs.IR cs.LG
Dropout Q-Functions for Doubly Efficient Reinforcement Learning
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；The University of Tokyo（东京大学）
随机集成双Q学习（REDQ）（Chen等人，2021 b）最近在连续动作强化学习基准测试中实现了最先进的样本效率。通过使用大的Q函数系综使得这种优异的样本效率成为可能。然而，REDQ在计算上比诸如软演员-评论家（SAC）（Haarnoja等人，2018年a）。为了使REDQ的计算效率更高，我们提出了一种提高计算效率的方法，称为DroQ，这是一个变体的REDQ，使用一个小的合奏的dropout Q函数。我们的dropout Q函数是简单的Q函数，配备了dropout连接和层归一化。尽管其简单的实施，我们的实验结果表明，DroQ是双重（样本和计算）效率。它实现了与REDQ相当的样本效率，比REDQ好得多的计算效率，以及与SAC相当的计算效率。
2022-03-16 cs.AI cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation
ETH Zürich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）
我们考虑基于模型的多智能体强化学习，其中环境转换模型是未知的，只能通过昂贵的与环境的交互来学习。我们提出了H-MARL（幻觉多智能体强化学习），这是一种新的样本有效算法，可以有效地平衡探索，即，了解环境和开发，即，在潜在的一般和马尔可夫博弈中实现良好的均衡性能。H-MARL围绕未知的转换模型构建高概率置信区间，并根据新观察到的数据依次更新它们。使用这些，它构建了一个乐观的幻觉游戏的代理人的均衡政策计算在每一轮。我们考虑一般统计模型（例如，高斯过程、深度系综等）以及策略类（例如，深度神经网络），并通过限制智能体的动态后悔，从理论上分析了我们的方法。此外，我们提供了一个收敛速度的基本马尔可夫博弈的均衡。我们在自动驾驶模拟基准上通过实验证明了我们的方法。H-MARL在与环境进行一些交互后学习成功的均衡策略，与非乐观探索方法相比，可以显着提高性能。
2022-07-10 cs.LG cs.MA
Fiber: A Platform for Efficient Development and Distributed Training for Reinforcement Learning and Population-Based Methods
Uber（优步）；OpenAI
机器学习的最新进展始终是通过增加计算量来实现的。特别是强化学习（RL）和基于群体的方法对底层分布式计算框架的效率和灵活性提出了独特的挑战。这些挑战包括与模拟的频繁交互、对动态扩展的需求以及对采用成本低且跨不同后端一致性的用户界面的需求。在本文中，我们解决这些挑战，同时仍然保留开发效率和灵活性的研究和实际应用引入纤维，一个可扩展的分布式计算框架RL和人口为基础的方法。Fiber的目标是显着扩展大规模并行计算的可访问性，以方便其他复杂的RL和基于人口的方法的用户，而不需要专门的计算专业知识。
2020-03-25 cs.LG stat.ML
