Bellman operator convergence enhancements in reinforcement learning algorithms
University of Edinburgh(爱丁堡大学);AIMS Cameroon(非洲数学科学研究所喀麦隆分校);Sefako Makgatho Health Sciences University (SMU)(塞福科·马克加托健康科学大学)
该研究从拓扑与巴拿赫不动点理论出发,探究强化学习中Bellman算子的替代形式,在标准环境中验证其可提升收敛速度与性能,为算法设计提供数学层面的新思路。
2025-05-20 cs.AI cs.LG
Linear Function Approximation as a Computationally Efficient Method to Solve Classical Reinforcement Learning Challenges
本文提出在低维状态和动作空间环境中,使用Linear Function Approximation的Natural Policy Gradient (NPG)方法相比TRPO和PPO等神经网络模型具有更高计算效率和相当或更优的性能。
2024-05-27 cs.LG
Reinforcement Learning From State and Temporal Differences
Australian National University(澳大利亚国立大学)
本文提出STD(λ)方法,通过基于相对状态值的函数逼近改进策略学习,解决了TD(λ)在策略相对顺序误差上的不足,并在简单系统和acrobot问题中验证了其有效性。
2025-12-23 cs.LG
Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
这项工作探讨了强化学习的学习代理不可知的合成环境(SE)。SE充当目标环境的代理,并允许代理比直接在目标环境上训练时更有效地进行训练。我们制定这作为一个双层优化问题,并表示SE作为一个神经网络。通过使用自然演化策略和人口的SE参数向量,我们训练代理在内部循环中不断发展的SE,而在外部循环中,我们使用的目标任务的性能作为元更新SE人口的分数。我们的经验表明,我们的方法是能够学习SE的两个离散的行动空间的任务(CartPole-v0和Acrobot-v1),使我们能够更强大的训练代理和高达60%的步骤少。我们不仅在4000次评估的实验中表明,SE对超参数变化(如学习率、批量大小和网络大小)具有鲁棒性,我们还表明,用DDQN代理训练的SE以有限的方式转移到TD 3的离散动作空间版本,并且很好地转移到Dueling DDQN。
2021-02-08 cs.AI cs.LG cs.NE
Learning sparse representations in reinforcement learning
University of California, Merced(加州大学默塞德分校)
强化学习(RL)算法允许人工智能体改进其行为选择,以增加其环境中的奖励体验。时间差(TD)学习--一种无模型强化学习方法--是强化学习中中脑多巴胺系统和基底神经节的主要解释。这些算法通常通过学习价值函数(预期的未来奖励)来学习从代理的当前感测状态到所选动作(称为策略函数)的映射。TD学习方法在广泛的控制任务中非常成功,但随着环境状态空间的增长,学习可能会变得非常缓慢。这激发了学习智能体状态的内部表示的方法,有效地减小了状态空间的大小并重构了状态表示以支持泛化。然而,TD学习加上人工神经网络,作为一个函数逼近器,已被证明无法学习一些相当简单的控制任务,挑战这种解释的奖励为基础的学习。我们假设,这种失败不会出现在大脑中,因为在皮层中普遍存在的侧抑制,产生稀疏分布的内部表示,支持学习预期的未来奖励。稀疏合取表示可以避免灾难性干扰,同时仍然支持泛化。我们通过计算模拟为这一猜想提供支持,展示了三个有问题的经典控制任务的学习稀疏表示的好处:水坑世界,山地车和Acrobot。
2019-09-04 cs.AI cs.LG cs.NE
Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making
Toyota Research Institute(丰田研究院);Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making(学习规划,规划学习:自适应分层RL-MPC用于样本高效决策)
本文提出了一种融合强化学习和MPC规划的分层方法,通过自适应聚合MPPI样本提升策略鲁棒性,实现在复杂规划问题中提高样本效率和任务成功率。
2026-04-16 cs.AI cs.LG cs.RO
Staged Hybridisation for Visual Quantum Reinforcement Learning via Knowledge Distillation
University of Deusto(德乌斯大学);FSAS International Quantum Center(FSAS国际量子中心);Fujitsu(富士通)
提出分阶段知识蒸馏策略,先训练经典视觉教师网络,冻结编码器后蒸馏策略到紧凑下游头(经典或VQC),解决视觉QRL中高维观测与VQC联合训练困难的问题。
2026-06-29 cs.LG quant-ph
Deep Reinforcement Learning for Time Optimal Velocity Control using Prior Knowledge
Ariel University(阿里尔大学)
自主导航最近在强化学习领域引起了极大的兴趣。然而,很少有人注意到时间最优速度控制问题,即控制车辆,使其以最大速度行驶,而不会变得动态不稳定(翻滚或滑动)。时间最优速度控制可以使用基于最优控制和车辆动力学的现有方法数值求解。在本文中,我们使用深度强化学习来生成时间最优速度控制。此外,我们使用数值解来进一步提高强化学习器的性能。结果表明,强化学习器优于数值导出的解决方案,并且混合方法(将学习与数值解相结合)加快了训练过程。
2019-07-25 cs.LG cs.RO
Reinforcement Learning-Based Control of CrazyFlie 2.X Quadrotor
本研究探索PID等经典控制与强化学习的协同,以强化学习整定PID参数为核心,结合lighthouse定位系统,采用离散深度Q学习和连续深度强化学习两种方案,实现CrazyFlie 2.X四旋翼的实用化导航控制。
2023-06-14 cs.LG cs.RO
From gymnastics to virtual nonholonomic constraints: energy injection, dissipation, and regulation for the acrobot
University of Toronto(多伦多大学)
本文研究虚拟非完整约束,设计了一种模拟Acrobot体操大回环运动的约束,可根据设计参数符号注入或耗散能量,并在仿真和真实实验中验证了其高效的能量调节特性与抗干扰鲁棒性。
2024-10-11 cs.RO math.OC
Model-Based Reinforcement Learning for Control under Time-Varying Dynamics
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文研究了在时间变化动态下基于模型的强化学习控制,通过高斯过程动态模型分析,提出适应性数据缓冲机制的算法,提升了非平稳动态连续控制任务的性能。
2026-04-02 cs.LG cs.RO
Diagnosing Faults in Reinforcement Learning Simulators with Canonical Polynomial Invariants
MIU
本文提出用典范多项式不变量诊断强化学习模拟器故障,通过筛选与归因程序准确定位违反的物理约束及参数,优于观察空间基线,并应用于多个环境验证其有效性。
2026-10-20 cs.AI cs.LG
Prediction-Based Markov Violation Scores for Detecting Non-Markovian Observations in Reinforcement Learning
本文提出一种基于预测的马尔可夫违反评分,用于检测强化学习中非马尔可夫性观测。通过随机森林和岭回归分析观测轨迹中的非马尔可夫结构,评估六个环境、三种算法和不同噪声水平下的表现。
2026-05-06 cs.AI cs.LG stat.ML
Efficient Reinforcement Learning Using Recursive Least-Squares Methods
National University of Defense Technology(国防科技大学)
递归最小二乘(RLS)算法是自适应滤波、系统辨识和自适应控制中最常用的算法之一。它的流行主要是由于它的快速收敛速度,这在实践中被认为是最佳的。本文将RLS方法用于解决强化学习问题,提出并分析了两种基于线性价值函数逼近器的强化学习新算法。这两种算法分别称为RLS-TD(lambda)和Fast-AHC(Fast Adaptive Heuristic Critic)。RLS-TD(lambda)可以看作是RLS-TD(0)在区间[0,1]内从lambda=0到一般lambda的推广,因此它是一种基于RLS方法的多步时间差分(TD)学习算法。对遍历马氏链证明了RLS-TD(lambda)的概率收敛性和收敛极限。与已有的LS-TD(lambda)算法相比,RLS-TD(lambda)算法在计算量上具有优势,更适合于在线学习。最后,通过马尔可夫链的学习预测实验,分析和验证了RLS-TD(lambda)的有效性。将RLS-TD(lambda)算法应用于自适应启发式评价方法的评价网络,得到了Fast-AHC算法。与传统的AHC算法不同,Fast-AHC算法利用RLS方法提高了算法的学习预测效率。通过小车-杆平衡和acrobot摆起问题的学习控制实验,比较了Fast-AHC和传统AHC的数据效率。实验结果表明,在评价器的学习-预测过程中使用RLS方法,也可以提高学习控制的数据效率。Fast-AHC…
2011-06-03 cs.AI cs.LG
Reinforcement Learning with Formal Performance Metrics for Quadcopter Attitude Control under Non-nominal Contexts
Uber ATCP(优步ATCP);LIX(LIX实验室);Ecole polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);IP-Paris(巴黎理工学院)
我们探讨了强化学习的方法来设计控制器,广泛讨论的情况下,四轴飞行器的姿态控制器。我们提供了所有的细节,允许重现我们的方法,从一个模型的动态crazyflie 2.0在各种标称和非标称条件下,包括部分电机故障和阵风。我们开发了一个强大的形式的信号时序逻辑定量评估车辆的行为和衡量控制器的性能。本文详细描述了在训练算法、神经网络结构、超参数、观测空间等方面的选择。我们讨论了所获得的控制器的鲁棒性,无论是部分损失的一个转子的功率和阵风,并通过强化学习的实际控制器的设计得出结论。
2021-07-27 cs.AI cs.LG cs.RO
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen(不来梅大学)
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态,以加速和转向命令给定的目标,达到一个特定的目标状态,同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此,考虑了停车场的自主探索,包括转弯机动和避障。总而言之,这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University(卡内基梅隆大学)
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景,但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数,我们可以获得安全的策略来优化自动驾驶车辆的性能。然而,控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现(Dosovitskiy等人,2017年)模拟器,并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法,而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind(深度思维)
许多现实世界的控制问题既涉及离散决策变量(如控制模式的选择、档位切换或数字输出),也涉及连续决策变量(如速度设定值、控制增益或模拟输出)。然而,当定义相应的最优控制或强化学习问题时,通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者,专家逻辑学被用来从连续空间中删除离散的动作。相比之下,我们建议通过混合强化学习解决混合问题,同时优化离散和连续动作。在我们的实验中,我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后,我们显示,无论是在模拟和机器人硬件上,删除可能不完美的专家设计的prostitics的好处。最后,混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题,例如,通过添加Meta动作,以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz(开姆尼茨工业大学)
深度强化学习使算法能够学习复杂的行为,处理连续的动作空间,并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域,并且有许多并发的发明,我们决定专注于一个相对简单的机器人任务,以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合,它是否能够比基线更有效地学习。我们还比较了不同的想法,以预处理信息之前,它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性,通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Model-Reference Reinforcement Learning for Collision-Free Tracking Control of Autonomous Surface Vehicles
Delft University of Technology(代尔夫特理工大学)
提出了一种新的模型参考强化学习算法,用于不确定自主水面车辆的智能避碰跟踪控制。该控制算法结合了传统的控制方法与强化学习,以提高控制精度和智能。在所提出的控制设计中,标称系统被认为是使用传统的控制方法的基线跟踪控制器的设计。标称系统还定义了在无障碍环境中的不确定自主表面车辆的期望行为。得益于强化学习,整体跟踪控制器能够补偿模型不确定性,并在有障碍物的环境中同时实现碰撞避免。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的样本效率。我们展示了新算法的性能,使用自主表面车辆的例子。
2020-08-17 cs.LG cs.RO cs.SY
An Optical Control Environment for Benchmarking Reinforcement Learning Algorithms
Carnegie Mellon University(卡内基梅隆大学)
针对强化学习算法在光学控制场景的基准测试需求,本文构建了具备非凸、非线性和时变噪声特性的光学仿真环境,测试显示离策略强化学习方法优于传统控制算法,并开源了相关代码。
2023-10-01 cs.LG cs.RO cs.SY
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
本文介绍了正在进行的研究,调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法,它允许天真的学习搜索,而不需要专家的功能,技巧,或搜索策略。我们还介绍了Kerlym,这是一个开放的基于Keras的强化学习代理集合,用于OpenAI的Gym。
2016-05-30 cs.LG
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
近年来,强化学习和基于学习的控制-以及对它们的安全性的研究,这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而,为了充分衡量新结果的进展和适用性,我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里,我们提出了一个新的开源基准套件,称为安全控制健身房,支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆,1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-(i)指定(和查询)符号动力学的能力和(ii)约束,以及(iii)(可重复)在控制输入,状态测量和惯性属性中注入模拟干扰。为了证明我们的建议,并试图使研究社区更紧密地联系在一起,我们展示了如何使用安全控制健身房定量比较控制性能,数据效率和安全性的多种方法从传统的控制,基于学习的控制,和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
Adapting Surprise Minimizing Reinforcement Learning Techniques for Transactive Control
University of California, Berkeley(加州大学伯克利分校)
优化能源需求响应的价格需要一个灵活的控制器,能够驾驭复杂的环境。我们提出了一个强化学习控制器,其架构中的惊喜最小化修改。我们建议,惊喜最小化可以用来提高学习速度,利用人们的能源使用的可预测性。我们的架构在模拟能源需求响应中表现良好。我们提出这种修改,以提高功能和节省在一个大规模的实验。
2021-11-11 cs.LG
Deep Reinforcement Learning with Embedded LQR Controllers
Pontifical Catholic University(天主教教皇大学)
强化学习是一种无模型的最优控制方法,其通过与环境的直接交互来优化控制策略。对于达到以调节结束的任务,流行的离散动作方法由于目标状态中的抖动而不太适合。我们比较了三种不同的方法来解决这个问题,通过结合强化学习与经典的LQR控制。特别是,我们介绍了一种方法,集成LQR控制到动作集,允许泛化和避免固定的计算控制在重放存储器中,如果它是基于学习动态。我们还嵌入LQR控制到一个连续的行动方法。在所有情况下,我们表明,添加LQR控制可以提高性能,虽然效果更深刻,如果它可以用来增加一个离散的动作集。
2021-01-18 cs.LG cs.RO cs.SY
Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions
UC Berkeley(加州大学伯克利分校)
在本文中,安全关键控制中的模型不确定性的问题是解决与数据驱动的方法。为此,我们利用输入-输出线性化控制器的结构的基础上的标称模型以及控制障碍函数和控制李雅普诺夫函数基于二次规划(CBF-CLF-QP)。具体来说,我们提出了一种新的强化学习框架,学习模型的不确定性存在于CBF和CLF约束,以及其他控制仿射动态约束的二次规划。将训练后的策略与基于名义模型的CBF-CLF-QP相结合,得到基于强化学习的CBF-CLF-QP(RL-CBF-CLF-QP),解决了安全约束中的模型不确定性问题。通过在一个欠驱动非线性双足机器人上的实验,验证了该方法的有效性,在模型不确定的情况下,该机器人在具有一步预瞄的随机间隔踏脚石上行走,获得了稳定和安全的行走。
2020-06-04 cs.LG cs.RO cs.SY
Mid-flight Propeller Failure Detection and Control of Propeller-deficient Quadcopter using Reinforcement Learning
Indian Institute of Science(印度科学院)
四轴飞行器可能在飞行中遭受螺旋桨损失,因此需要具有检测单个和多个螺旋桨故障的系统以及稳定螺旋桨不足的四轴飞行器的自适应控制器。本文提出了基于强化学习的四轴飞行器控制器与4,3,和2(相对)功能螺旋桨。本文还提出了一种基于神经网络的螺旋桨故障检测系统,以检测螺旋桨损失并切换到适当的控制器。仿真结果表明,一个稳定的四轴飞行器与有效的航路点跟踪的所有控制器。该检测系统能够在短时间内检测到螺旋桨故障并稳定四轴飞行器。
2020-07-06 cs.LG cs.RO cs.SY
Traffic Light Control Using Deep Policy-Gradient and Value-Function Based Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
将深度神经网络架构与强化学习技术相结合的最新进展在解决具有高维状态和动作空间的复杂控制问题方面显示出了有希望的潜在结果。受这些成功的启发,本文建立了两种强化学习算法:深度策略梯度和基于价值函数的代理,可以预测最好的交通信号交叉口。在每个时间步,这些自适应交通灯控制代理接收图形交通模拟器的当前状态的快照并产生控制信号。基于策略梯度的代理将其观察直接映射到控制信号,然而基于价值函数的代理首先估计所有合法控制信号的值。代理然后选择具有最高值的最优控制动作。我们的方法在SUMO交通模拟器中模拟的交通网络中显示出有希望的结果,而不会在训练过程中出现不稳定问题。
2017-05-27 cs.LG
Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning
Institute for Aerospace Studies, University of Toronto(多伦多大学航空航天研究所);University of Toronto Robotics Institute(多伦多大学机器人研究所);Vector Institute for Artificial Intelligence(向量人工智能研究院)
在过去的五年中,控制和强化学习社区对现实世界机器人部署的安全学习方法的贡献数量急剧增加。本文对使用机器学习在不确定性下实现安全决策的最新进展进行了简明而全面的回顾,重点是统一控制理论和强化学习研究中使用的语言和框架。我们的审查包括:通过学习不确定动态安全地提高性能的基于学习的控制方法,鼓励安全性或鲁棒性的强化学习方法,以及可以正式证明学习的控制策略的安全性的方法。随着基于数据和学习的机器人控制方法继续获得牵引力,研究人员必须了解何时以及如何在安全性至关重要的现实世界场景中最好地利用它们,例如在接近人类的情况下操作。我们强调了未来几年将推动机器人学习领域的一些开放性挑战,并强调需要现实的基于物理的基准,以促进控制和强化学习方法之间的公平比较。
2021-12-06 cs.LG cs.RO cs.SY
Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control
Stanford University(斯坦福大学)
本研究提出用强化学习PPO训练策略以在飞行中调整四旋翼级联反馈控制器增益,经实验验证其相比静态增益控制器可降低40%以上的轨迹跟踪误差。
2024-03-12 cs.LG cs.RO cs.SY
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology(代尔夫特理工大学)
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制,我们可以确保基于学习的控制律为整个系统提供闭环稳定性,并可能提高深度强化学习的采样效率。通过强化学习,我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中,使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University(阿尔托大学电气工程与自动化系);School of Computing and Data Science, Xiamen University Malaysia(厦门大学马来西亚分校计算与数据科学学院);Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法,通过逆动力学恢复控制策略,在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
MoveLight: Enhancing Traffic Signal Control through Movement-Centric Deep Reinforcement Learning
Tsinghua University(清华大学)
本文提出MoveLight交通信号控制系统,采用基于车道级的FRAP算法和深度强化学习实现动态自适应控制,在真实数据集实验中显著降低了排队长度和延迟,提升了吞吐量。
2024-07-24 cs.LG
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Accelerate Reinforcement Learning with PID Controllers in the Pendulum Simulations
我们提出了一个基于比例积分微分(PID)的教练计划,以加快强化学习(RL)。
2022-10-03 cs.LG cs.SY eess.SY
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而,这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声,而A3 C在高斯策略下不满足连续性条件。为了解决这些问题,我们提出了一种新的连续强化学习方法的基础上随机微分方程,我们称之为增量强化学习(IRL)。该方法既保证了动作在任意时间间隔内的连续性,又控制了训练过程中动作的方差。此外,我们的方法不假设马尔可夫控制在代理的动作控制,并允许代理预测场景变化的动作选择。有了我们的方法,智能体不再被动地适应环境。相反,他们积极地与环境互动,以获得最大的回报。
2019-08-08 cs.LG stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto(多伦多大学)
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中,我们应用克罗内克因子曲率估计技术(KFAC)最近提出的梯度估计控制变量优化,RELAX,以提高样本效率,使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta(阿尔伯塔大学)
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者,都有自己的奉献者社区。近年来,这两个小组都非常积极地在各自的领域中开发新的进展,并设计出尖端技术来解决复杂的连续控制任务。在这里,在深度强化学习的背景下,我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外,我们对两个阵营中最先进的技术进行了彻底的比较,包括连续控制;进化方法和深度强化学习方法。结果表明,没有持续的赢家。
2018-03-07 cs.AI cs.LG
Kalman filter control in the reinforcement learning framework
在大脑建模中使用卡尔曼滤波器模型的兴趣越来越大。反过来,使卡尔曼滤波器适合强化学习是相当重要的。在通常的最优控制公式中,它是通过求解向后递归来离线计算的。在本技术说明中,我们表明,线性二次高斯卡尔曼滤波器模型的轻微修改允许最优控制的在线估计,并使桥梁强化学习。此外,用于值估计的学习规则假定由值估计的误差加权的Hebbian形式。
2003-01-09 cs.AI cs.LG
Extended Radial Basis Function Controller for Reinforcement Learning
Tsinghua University(清华大学);Amazon Studios(亚马逊影业)
在强化学习中已经尝试利用关于系统结构的先验知识。本文提出了一种混合强化学习控制器,动态插值基于模型的线性控制器和任意可微的政策。线性控制器的设计基于局部线性化模型知识,并稳定系统在附近的一个工作点。两个控制器之间的插值系数由测量当前状态和操作点之间的距离的缩放距离函数确定。整个混合控制器被证明保持附近的工作点的稳定性保证,并仍然具有通用函数逼近属性的任意非线性政策。学习已经完成了基于模型(PILCO)和无模型(DDPG)的框架。在OpenAI gym上进行的仿真实验证明了所提出的混合控制器的稳定性和鲁棒性。因此,本文介绍了一种原则性的方法,允许直接导入控制方法到强化学习。
2020-12-09 cs.LG stat.ML
A General Control-Theoretic Approach for Reinforcement Learning: Theory and Algorithms
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出基于控制论的强化学习方法,通过理论分析和算法设计提升策略学习效果,实验表明在经典任务中性能显著优于现有方法。
2026-03-31 cs.LG stat.ME
Control-Tutored Reinforcement Learning: an application to the Herding Problem
University of Naples Federico II(那不勒斯费德里科二世大学);University of Bristol(布里斯托大学);University College Dublin(都柏林大学学院)
在这个扩展的摘要中,我们介绍了一种新的控制辅导Q学习方法(CTQL),作为开发连续状态空间的基于模型和安全RL的持续努力的一部分。我们通过将其应用于具有挑战性的多智能体放牧控制问题来验证我们的方法。
2019-11-27 cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
Deep Reinforcement Learning Control of Quantum Cartpoles
University of Tokyo(东京大学);RIKEN Center for Emergent Matter Science (CEMS)(理化学研究所创发物性科学研究中心)
我们将强化学习的标准基准,经典的cartpole平衡问题,通过测量和反馈将粒子稳定在不稳定的势中,从而将其推广到量子领域。我们使用最先进的深度强化学习来稳定量子cartpole,并发现我们的深度学习方法比标准控制理论中的其他策略表现更好。我们的方法也适用于量子振荡器的测量反馈冷却,显示了深度学习对一般连续空间量子控制的适用性。
2020-09-05 cs.LG quant-ph
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University(麦吉尔大学);York University(约克大学)
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习(RL)的算法在交通信号控制中表现出了其潜力。然而,大多数现有的解决方案需要大量的训练数据,这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架(ModelLight)。在ModelLight中,道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明,ModelLight可以超越最先进的交通灯控制算法,同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University(普林斯顿大学);Iowa State University(爱荷华州立大学);Siemens Technology(西门子科技)
我们介绍PowerGym,一个开源的强化学习环境,用于配电系统中的电压无功控制。遵循OpenAI Gym API,PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统(13总线、34总线、123总线和8500节点),以及针对各种控制困难的设计变体。为了促进推广,PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示,我们研究了PowerGym中最先进的强化学习算法,并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo,一个强化学习(RL)工作台,它提供了一套完整的工具来设计,运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI,对分布式执行的支持,包括通过图形处理单元(GPU)进行部署,以及同时探索RL元空间的可能性,这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
在许多工程实施中,安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而,强化学习算法不能完全保证实际操作的安全性。为了解决这个问题,这项工作采用了控制障碍函数强化学习,并提出了一个补偿算法,完全保持安全。具体而言,已利用平方和规划来搜索最优控制器,并同时调整学习超参数。因此,保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比,本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research New York(微软纽约研究院)
我们研究了批量强化学习的安全威胁,并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器,它首先从批量数据集中估计动态和奖励,然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集,并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架,并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明,这两个实例化的结果在凸优化问题上的全局最优性是有保证的,并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Multi-agent Reinforcement Learning for Networked System Control
Uhana Inc.(乌哈纳公司);Stanford University(斯坦福大学)
研究网络系统控制中的多智能体强化学习。具体来说,每个代理学习一个分散控制政策的基础上,当地的意见和消息,从连接的邻居。我们制定这样一个网络MARL(NMARL)的问题作为一个时空马尔可夫决策过程,并引入了空间折扣因子来稳定每个本地代理的训练。此外,我们提出了一种新的可区分的通信协议,称为NeurComm,以减少信息丢失和非平稳性在NMARL。基于自适应交通信号控制和协同自适应巡航控制的实际NMARL场景的实验,适当的空间折扣因子有效地提高了非通信MARL算法的学习曲线,而NeurComm在学习效率和控制性能方面均优于现有的通信协议.
2020-04-24 cs.LG stat.ML
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington(华盛顿大学);NEC Laboratories America Inc.(NEC美国实验室公司)
在这项工作中,我们研究了自适应数据引导的交通规划和控制使用强化学习(RL)。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术,这些技术改进了原始的深度Q网络(DQN)的离散控制,并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法(称为TC-DQN+)作为快速,更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数,进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML