The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
我们研究了教学的样本复杂性,在文献中被称为“教学维度”(TDim),为教学的强化范式,教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同,在这种范式中,教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置,演示是不方便的,但还没有被系统地研究。在本文中,我们专注于一个特定的家庭的强化学习算法,Q-学习,并在不同的教师与不同的控制权的环境下的TDim的特点,并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量,我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中,有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
Deep Reinforcement Learning Control of Quantum Cartpoles
University of Tokyo(东京大学);RIKEN Center for Emergent Matter Science (CEMS)(理化学研究所创发物性科学研究中心)
我们将强化学习的标准基准,经典的cartpole平衡问题,通过测量和反馈将粒子稳定在不稳定的势中,从而将其推广到量子领域。我们使用最先进的深度强化学习来稳定量子cartpole,并发现我们的深度学习方法比标准控制理论中的其他策略表现更好。我们的方法也适用于量子振荡器的测量反馈冷却,显示了深度学习对一般连续空间量子控制的适用性。
2020-09-05 cs.LG quant-ph
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg,以缓解离线强化学习在小数据集上的过拟合问题,在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University(普林斯顿大学);Iowa State University(爱荷华州立大学);Siemens Technology(西门子科技)
我们介绍PowerGym,一个开源的强化学习环境,用于配电系统中的电压无功控制。遵循OpenAI Gym API,PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统(13总线、34总线、123总线和8500节点),以及针对各种控制困难的设计变体。为了促进推广,PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示,我们研究了PowerGym中最先进的强化学习算法,并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo,一个强化学习(RL)工作台,它提供了一套完整的工具来设计,运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI,对分布式执行的支持,包括通过图形处理单元(GPU)进行部署,以及同时探索RL元空间的可能性,这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);OpenAI;AIcrowd;Preferred Networks;DeepMind;Microsoft Research(微软研究院)
为了促进样本高效强化学习方向的研究,我们在第三十三届神经信息处理系统会议(NeurIPS 2019)上举办了MineRL竞赛。该竞赛的主要目标是促进使用人类演示和强化学习的算法的开发,以减少解决复杂,分层和稀疏环境所需的样本数量。我们描述了比赛,概述了主要挑战,比赛设计,以及我们为参与者提供的资源。我们提供了顶级解决方案的概述,每个解决方案都使用深度强化学习和/或模仿学习。我们还讨论了我们的组织决策对竞争和未来改进方向的影响。
2020-06-18 cs.AI cs.LG stat.ML
Using Contrastive Samples for Identifying and Leveraging Possible Causal Relationships in Reinforcement Learning
TCS Research(塔塔咨询服务公司研究院);IIT Bombay(印度理工学院孟买分校)
强化学习的一个重大挑战是量化行动和长期奖励之间的复杂关系。这些影响可能会在一长串状态-动作对中显现出来,这使得它们很难精确定位。在本文中,我们提出了一种方法来链接过渡状态的显着偏差异常大的变化,在随后的奖励。这种转换被标记为可能的因果效应,并且相应的状态-动作对被添加到单独的重放缓冲器。此外,我们包括对应于从类似状态但具有不同动作的转换的\textit{contrastive}样本。在训练过程中包括这种对比经验回放(CER)显示在2D导航任务上优于基于标准值的方法。我们相信CER可以用于广泛的学习任务,包括任何非策略强化学习算法。
2022-10-28 cs.AI cs.LG
GCHR : Goal-Conditioned Hindsight Regularization for Sample-Efficient Reinforcement Learning
本文提出后见目标条件正则化(HGR)与后见自模仿正则化(HSR),通过生成动作正则化先验最大化经验利用率,显著提升了离线策略GCRL在稀疏奖励下的样本效率和性能。
2025-08-08 cs.AI cs.LG
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University(北京师范大学)
针对视觉深度强化学习中高维图像输入问题,受自然语言处理等启发,提出基于掩码预测的自监督任务作辅助,结合transformer提升强化学习样本效率,在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Prioritizing Samples in Reinforcement Learning with Reducible Loss
Mila, Quebec AI Institute(魁北克人工智能研究所);ÉTS Montréal(蒙特利尔高等工程技术学院);Universidade Federal de Pernambuco(伯南布哥联邦大学)
本文针对经验回放中样本等权采样的问题,提出依据样本训练损失随时间持续下降的“可学习性”进行优先级排序,降低噪声或随机性导致的难学样本权重,实验表明其比随机采样和基于时序差分损失的优先经验回放更稳健。
2023-11-01 cs.AI cs.LG
Learning Dynamic Abstract Representations for Sample-Efficient Reinforcement Learning
Arizona State University(亚利桑那州立大学)
在许多现实问题中,学习代理需要同时学习问题的抽象和解决方案。然而,大多数这样的抽象需要针对不同的问题和应用领域进行手工设计和细化。本文提出了一种新的自顶向下的方法来构建状态抽象,同时进行强化学习。从状态变量和一个模拟器开始,它提出了一种新的域独立的方法,用于动态计算抽象的基础上的Q值在抽象状态的分散作为代理继续行动和学习。对多个领域和问题的广泛经验评估表明,这种方法自动学习的抽象,微调的问题,产生强大的样本效率,并导致RL代理显着优于现有的方法。
2022-12-08 cs.AI cs.LG
Accelerate Reinforcement Learning with PID Controllers in the Pendulum Simulations
我们提出了一个基于比例积分微分(PID)的教练计划,以加快强化学习(RL)。
2022-10-03 cs.LG cs.SY eess.SY
Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University(云南大学)
对抗性训练已经成为防御对抗性样本的主要方法。然而,由于许多缺点,它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练,在保持模型鲁棒性的同时提高了模型识别的准确率。然而,搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法,并将其与最新的快速对抗训练技术相结合,有效地加快了训练过程,降低了训练成本。
2021-08-30 cs.AI cs.LG
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology(代尔夫特理工大学)
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制,我们可以确保基于学习的控制律为整个系统提供闭环稳定性,并可能提高深度强化学习的采样效率。通过强化学习,我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中,使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Reinforcement Learning and Deep Learning based Lateral Control for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究了基于视觉的自动驾驶与深度学习和强化学习方法。与端到端学习方法不同,该方法将基于视觉的侧向控制系统分解为感知模块和控制模块。感知模块基于多任务学习神经网络,首先以驾驶员视角图像为输入,预测轨迹特征。基于强化学习的控制模块然后基于这些特征做出控制决策。为了提高数据效率,我们提出了可视化TORCS(VTORCS),一个深度的强化学习环境,它是基于开放的赛车模拟器(TORCS)。通过所提供的功能,可以训练具有图像或各种物理传感器测量的输入的代理,或者在该模拟器上评估感知算法。训练后的强化学习控制器在不同的跟踪性能上优于线性二次型调节器(LQR)控制器和模型预测控制(MPC)控制器。实验结果表明,感知模块表现出良好的性能和控制器能够控制车辆沿轨道中心与视觉输入很好地驱动。
2018-10-30 cs.AI cs.CV cs.LG
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入,使强化学习能够扩展到非常复杂的领域,在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功,但这些新方法存在自身的问题,使它们往往不适用于现实世界的问题。数据效率的极度缺乏,加上巨大的差异和难以执行安全约束,是该领域三个最突出的问题之一。通常,从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型,以及支持强化学习设置的马尔可夫特性,在内部想象模块中对真实环境的动态进行建模。然后,来自想象的卷展用于在标准强化学习过程中人工模拟真实环境,以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明,该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验,从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
The Sample-Complexity of General Reinforcement Learning
Australian National University(澳大利亚国立大学)
我们提出了一个新的算法一般强化学习的真实环境是已知的属于有限类的N个任意模型。该算法被证明是接近最优的,但O(N log^2 N)的时间步长具有很高的概率。无限类也被认为是我们表明,紧凑性是一个关键的标准,用于确定是否存在统一的样本复杂性界限。对于有限情形给出了匹配下界。
2013-08-22 cs.LG
Comparison of Model Predictive and Reinforcement Learning Methods for Fault Tolerant Control
Vanderbilt University(范德堡大学);Institute of Software Integrated Systems, Vanderbilt University(范德堡大学软件集成系统研究所)
容错控制器的一个理想的属性是适应系统的变化,因为它们在系统运行过程中演变。自适应控制器不需要枚举可能的故障的最优控制策略。相反,它可以实时近似一个。针对离散时间系统,提出了两种基于递阶强化学习的自适应容错控制方案。我们比较它们的性能对模型预测控制器存在传感器噪声和持续故障。在C-130飞机的油箱模型上对控制器进行了测试。我们的实验表明,基于强化学习的控制器比模型预测控制器在故障,部分可观测系统模型和不同的传感器噪声水平下表现得更鲁棒。
2020-08-10 cs.AI cs.LG cs.SY
Sample Efficient Reinforcement Learning through Learning from Demonstrations in Minecraft
University of Applied Sciences Northwestern Switzerland(瑞士西北应用科学大学)
深度强化学习方法的样本效率低下是其在现实世界应用中使用的主要障碍。在这项工作中,我们展示了人类演示如何提高Minecraft小游戏ObtainDiamond上代理的最终性能,只有8M帧的环境交互。我们提出了一个训练过程,其中政策网络首先在人类数据上进行训练,然后通过强化学习进行微调。使用策略利用机制,经验重放和对灾难性遗忘的额外损失,我们最好的代理能够实现平均得分48。我们提出的解决方案在NeurIPS MineRL样本高效强化学习竞赛中排名第三。
2020-03-12 cs.LG stat.ML
Sample-efficient Deep Reinforcement Learning for Dialog Control
Brown University(布朗大学);Microsoft Research(微软研究院)
将对话策略表示为递归神经网络(RNN)是有吸引力的,因为它处理部分可观察性,推断状态的潜在表示,并且可以使用监督学习(SL)或强化学习(RL)进行优化。对于RL,策略梯度方法是自然的,但是样本效率低。在本文中,我们提出了3种方法来减少使用RL优化基于RNN的对话策略所需的对话框数量。其关键思想是维护第二个RNN来预测当前策略的值,并将经验重放应用于两个网络。在两个任务中,与标准策略梯度方法相比,这些方法将所需的对话/情节数量减少了约三分之一。
2016-12-18 cs.AI cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich(慕尼黑大学);MaibornWolff(迈博恩沃尔夫公司)
我们考虑在深度强化学习中检测分布外(OOD)样本的问题。在基于值的强化学习设置中,我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术,产生不确定性估计的适用性。虽然先前的工作已经表明,基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性,但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明,不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中,与基于丢弃的方法相比,基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
Double Q($σ$) and Q($σ, λ$): Unifying Reinforcement Learning Control Algorithms
时间差分学习是强化学习的一个重要研究领域。Sarsa和Q-Learning是最常用的TD算法。Q($σ$)算法(Sutton和Barto(2017))将两者统一起来。本文利用资格迹将Q($σ$)算法扩展为在线多步算法Q($σ, λ$),并引入Double Q($σ$)作为Q($σ$)的双重学习扩展。实验表明,新的Q($σ, λ$)算法性能优于经典的TD控制方法Sarsa($λ$)、Q($λ$)和Q($σ$).
2017-11-05 cs.AI cs.LG stat.ML
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation
Mila - Quebec Institute of Artificial Intelligence(米拉 - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
在无模型深度强化学习(RL)算法中,使用噪声值估计来监督策略评估和优化不利于样本效率。由于这种噪声是异方差的,因此可以在优化过程中使用基于不确定性的权重来减轻其影响。以前的方法依赖于采样集合,这并不能捕捉到不确定性的所有方面。我们提供了一个系统的分析中发生在RL的噪声监督的不确定性的来源,并引入逆方差RL,贝叶斯框架,它结合了概率合奏和批量逆方差加权。我们提出了一种方法,两个互补的不确定性估计方法占Q值和环境随机性,以更好地减轻噪声监督的负面影响。我们的研究结果表明,离散和连续控制任务的样本效率方面的显着改善。
2022-05-03 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Time Optimal Velocity Control using Prior Knowledge
Ariel University(阿里尔大学)
自主导航最近在强化学习领域引起了极大的兴趣。然而,很少有人注意到时间最优速度控制问题,即控制车辆,使其以最大速度行驶,而不会变得动态不稳定(翻滚或滑动)。时间最优速度控制可以使用基于最优控制和车辆动力学的现有方法数值求解。在本文中,我们使用深度强化学习来生成时间最优速度控制。此外,我们使用数值解来进一步提高强化学习器的性能。结果表明,强化学习器优于数值导出的解决方案,并且混合方法(将学习与数值解相结合)加快了训练过程。
2019-07-25 cs.LG cs.RO
Sample Factory: Egocentric 3D Control from Pixels at 100000 FPS with Asynchronous Reinforcement Learning
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
随着强化学习实验规模的扩大,研究人员在为视频游戏训练复杂的智能体和为机器人技术进行仿真到现实迁移方面都取得了前所未有的成果。通常,这样的实验依赖于大型分布式系统,需要昂贵的硬件设置,限制了对这一令人兴奋的研究领域的更广泛的访问。在这项工作中,我们的目标是通过优化强化学习算法的效率和资源利用率,而不是依赖于分布式计算来解决这个问题。我们提出了“样品工厂”,一个高通量的培训系统优化的单机设置。我们的架构结合了一个高效的,异步的,基于GPU的采样器与政策外校正技术,使我们能够实现吞吐量高于$10^5$环境帧/秒的非平凡的控制问题,在3D不牺牲样本效率。我们扩展了Sample Factory以支持自我游戏和基于人口的训练,并将这些技术应用于为多人第一人称射击游戏训练高能力的代理训练。源代码可在https://github.com/alex-petrenko/sample-factory上获得
2020-06-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
本文介绍了正在进行的研究,调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法,它允许天真的学习搜索,而不需要专家的功能,技巧,或搜索策略。我们还介绍了Kerlym,这是一个开放的基于Keras的强化学习代理集合,用于OpenAI的Gym。
2016-05-30 cs.LG
Reinforcement Learning with Formal Performance Metrics for Quadcopter Attitude Control under Non-nominal Contexts
Uber ATCP(优步ATCP);LIX(LIX实验室);Ecole polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);IP-Paris(巴黎理工学院)
我们探讨了强化学习的方法来设计控制器,广泛讨论的情况下,四轴飞行器的姿态控制器。我们提供了所有的细节,允许重现我们的方法,从一个模型的动态crazyflie 2.0在各种标称和非标称条件下,包括部分电机故障和阵风。我们开发了一个强大的形式的信号时序逻辑定量评估车辆的行为和衡量控制器的性能。本文详细描述了在训练算法、神经网络结构、超参数、观测空间等方面的选择。我们讨论了所获得的控制器的鲁棒性,无论是部分损失的一个转子的功率和阵风,并通过强化学习的实际控制器的设计得出结论。
2021-07-27 cs.AI cs.LG cs.RO
A quantum system control method based on enhanced reinforcement learning
School of Computer and Software, Nanjing University of Information Science and Technology(南京信息工程大学计算机与软件学院);School of Electronic and Optical Engineering, Nanjing University of Science and Technology(南京理工大学电子工程与光电技术学院);Hurghada Faculty of Computers and Artificial Intelligence, South Valley University(南谷大学胡尔加达计算机与人工智能学院)
针对传统量子系统控制在资源有限时易产生误差的问题,提出基于增强强化学习的控制方法QSC-ERL,通过映射强化学习要素与量子系统要素、采用增强神经网络实现接近1保真度的控制,且演化所需回合数更少。
2023-09-30 cs.AI cs.ET quant-ph
Hysteresis-Based RL: Robustifying Reinforcement Learning-based Control Policies via Hybrid Control
University of California, Santa Cruz(加州大学圣克鲁兹分校);Eindhoven University of Technology(埃因霍温理工大学)
强化学习(RL)是一种很有前途的复杂系统控制方法。正如我们在两个控制问题中所示,使用近端策略优化(PPO)和深度Q网络(DQN)算法所导出的策略可能缺乏鲁棒性保证。出于这些问题,我们提出了一种新的混合算法,我们称之为基于滞后的RL(HyRL),增强了现有的RL算法滞后切换和两个阶段的学习。我们说明了它的属性在PPO和DQN失败的两个例子。
2022-04-01 cs.AI cs.LG cs.SY
Recurrent Control Nets for Deep Reinforcement Learning
Stanford University(斯坦福大学)
中枢模式发生器(Central Pattern Generators,CPG)是一种生物神经回路,能够在缺乏节奏输入的情况下产生协调的节奏输出。因此,它们负责生物体中大多数有节奏的运动。这种节奏控制广泛适用于机车机器人和医疗设备等领域。在本文中,我们探索了为强化学习创建一个自我维持的CPG网络的可能性,该网络比当前的多层感知器(MLP)基线模型更有效地学习节奏运动,并且可以在更一般的环境中学习。最近的工作介绍了结构化控制网络(SCN),它保持线性和非线性模块的局部和全局控制,分别。在这里,我们表明,时间序列架构,如递归神经网络(RNN)模型CPG有效。结合以前的工作与RNN和SCN,我们引入了递归控制网络(RCN),它增加了一个线性分量,RCN匹配并超过了所有环境任务中基线MLP和SCN的性能。我们的研究结果证实了RNN在强化学习任务中的现有直觉,并证明了在强化学习中类似SCN结构的前景。
2019-01-18 cs.AI cs.LG stat.ML
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen(不来梅大学)
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态,以加速和转向命令给定的目标,达到一个特定的目标状态,同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此,考虑了停车场的自主探索,包括转弯机动和避障。总而言之,这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
A Model-based Approach for Sample-efficient Multi-task Reinforcement Learning
Stanford University(斯坦福大学)
多任务强化学习的目标有两个方面:(1)通过针对多个任务的训练来有效学习,(2)使用有限的样本快速适应各种新任务。在这项工作中,任务对应于具有相同(或相似)动态模型的环境的奖励函数。我们建议在训练过程中学习一个动态模型,并使用该模型在测试时对新任务进行样本有效的适应。我们只在一个“虚拟”环境中执行策略优化,其转换由我们学习的动态模型给出,从而使用更少的样本。我们的算法依次训练几个任务。在遇到新任务时,我们首先在我们学习的动态模型上预热一个策略,它不需要来自环境的新样本。然后,我们适应的动态模型,从这个政策在现实环境中的样本。我们评估了我们的方法在几个连续控制基准,并证明了它的有效性超过MAML,一个国家的最先进的元学习算法,对这些任务。
2019-11-03 cs.AI cs.LG stat.ML
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology(北京理工大学);Southeast University(东南大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
可变车速限制(VSL)控制是一种灵活的方式来改善交通状况,提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势,最近的研究已经显示出有希望的结果。目前,深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习(DRL)模型用于差分可变限速(DVSL)控制,该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构,可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号,如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练,并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明,该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现,通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
Data-Driven Robust Control Using Reinforcement Learning
UiT The Arctic University of Norway(挪威北极大学(特罗姆瑟大学));Norwegian Centre for E-health Research(挪威电子健康研究中心)
针对部分未知动力系统在不确定条件下的控制问题,提出了一种基于学习的鲁棒控制设计方法。该方法扩展了最优学习算法,提出了一种基于鲁棒控制理论的新的学习方法。通过从数据中学习,该算法提出了保证闭环系统在从数据估计的不确定性内的稳定性的动作。控制策略通过求解一组线性矩阵不等式来计算。控制器进行了评估,使用模拟1型糖尿病患者的血糖模型。仿真结果表明,所提出的方法是能够安全地调节血糖在健康水平下的测量和过程噪声的影响。该控制器还显著降低了餐后血糖的波动。与现有的最优强化学习算法的比较表明,该方法提高了闭环系统的鲁棒性。
2020-04-16 cs.AI cs.LG cs.SY
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University(卡内基梅隆大学)
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景,但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数,我们可以获得安全的策略来优化自动驾驶车辆的性能。然而,控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现(Dosovitskiy等人,2017年)模拟器,并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法,而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Sample-efficient reinforcement learning using deep Gaussian processes
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
强化学习提供了一个框架,用于学习控制通过试错来完成任务所采取的行动。在许多应用中,观察交互是昂贵的,需要样本有效的学习。在基于模型的强化学习中,通过学习来模拟世界动态,从而提高了效率。挑战在于,模型的不准确性在计划的轨迹上迅速积累。我们引入了深度高斯过程,其中组合物的深度引入了模型复杂性,而结合动态的先验知识带来了平滑性和结构。我们的方法是能够采样的贝叶斯后验轨迹。我们表现出高度改进的早期样品效率的竞争方法。这是在一些连续的控制任务,包括半猎豹的接触动力学以前提出了一个难以克服的问题,早期的样本效率的高斯过程为基础的模型。
2020-11-02 cs.LG stat.ML
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而,这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声,而A3 C在高斯策略下不满足连续性条件。为了解决这些问题,我们提出了一种新的连续强化学习方法的基础上随机微分方程,我们称之为增量强化学习(IRL)。该方法既保证了动作在任意时间间隔内的连续性,又控制了训练过程中动作的方差。此外,我们的方法不假设马尔可夫控制在代理的动作控制,并允许代理预测场景变化的动作选择。有了我们的方法,智能体不再被动地适应环境。相反,他们积极地与环境互动,以获得最大的回报。
2019-08-08 cs.LG stat.ML
Adapting Surprise Minimizing Reinforcement Learning Techniques for Transactive Control
University of California, Berkeley(加州大学伯克利分校)
优化能源需求响应的价格需要一个灵活的控制器,能够驾驭复杂的环境。我们提出了一个强化学习控制器,其架构中的惊喜最小化修改。我们建议,惊喜最小化可以用来提高学习速度,利用人们的能源使用的可预测性。我们的架构在模拟能源需求响应中表现良好。我们提出这种修改,以提高功能和节省在一个大规模的实验。
2021-11-11 cs.LG
Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?
Institute for Advanced Study(高等研究院);University of Washington, Seattle(西雅图华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
现代深度学习方法提供了学习良好表示的有效手段。然而,一个好的表示本身就足以进行样本有效的强化学习吗?在更经典的近似动态规划文献中,这个问题在很大程度上只针对(最坏情况)近似误差进行了研究。关于统计观点,这个问题在很大程度上是未探索的,现存的文献主要集中在允许样本有效强化学习的条件上,对有效强化学习的必要条件了解甚少。这项工作表明,从统计的角度来看,这种情况远比更传统的近似观点所建议的更微妙,其中对样本有效RL的表示的要求更加严格。我们的主要研究结果为强化学习方法提供了尖锐的阈值,表明构成良好函数近似的条件存在严格的限制(就表示的维度而言),我们专注于与基于值,基于模型和基于策略的学习相关的自然表示条件。这些下限强调了具有良好的(基于值、基于模型或基于策略的)表示本身不足以实现有效的强化学习,除非这种近似的质量超过某些硬阈值。此外,我们的下界还意味着1)具有完美表示的基于值的学习和具有良好但不完美表示的基于值的学习,2)基于值的学习和基于策略的学习,3)基于策略的学习和监督学习以及4)强化学习和模仿学习之间的样本复杂度的指数分离。
2020-02-28 cs.AI cs.LG math.OC
Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
在一系列重复学习任务中转移知识是一项挑战,并且有许多重要的应用。虽然有令人鼓舞的经验证据表明,迁移可以提高后续的重复学习任务的表现,但很少有理论分析。在本文中,我们介绍了一个新的多任务算法的一系列的重复学习任务时,每个任务的采样独立于(一个未知的)分布在一个有限的马尔可夫决策过程,其参数是最初未知的。对于这种设置,我们证明在某些假设下,每个任务的样本的复杂性的探索显着降低,由于转移相比,标准的单任务算法。我们的多任务算法还具有所需的特性,即保证不会出现负迁移:在最坏的情况下,其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto(多伦多大学)
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中,我们应用克罗内克因子曲率估计技术(KFAC)最近提出的梯度估计控制变量优化,RELAX,以提高样本效率,使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Model-Reference Reinforcement Learning for Collision-Free Tracking Control of Autonomous Surface Vehicles
Delft University of Technology(代尔夫特理工大学)
提出了一种新的模型参考强化学习算法,用于不确定自主水面车辆的智能避碰跟踪控制。该控制算法结合了传统的控制方法与强化学习,以提高控制精度和智能。在所提出的控制设计中,标称系统被认为是使用传统的控制方法的基线跟踪控制器的设计。标称系统还定义了在无障碍环境中的不确定自主表面车辆的期望行为。得益于强化学习,整体跟踪控制器能够补偿模型不确定性,并在有障碍物的环境中同时实现碰撞避免。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的样本效率。我们展示了新算法的性能,使用自主表面车辆的例子。
2020-08-17 cs.LG cs.RO cs.SY
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
在许多工程实施中,安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而,强化学习算法不能完全保证实际操作的安全性。为了解决这个问题,这项工作采用了控制障碍函数强化学习,并提出了一个补偿算法,完全保持安全。具体而言,已利用平方和规划来搜索最优控制器,并同时调整学习超参数。因此,保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比,本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind);NYU(纽约大学)
研究了具有策略空间泛化的大规模强化学习(RL)问题的最优样本复杂度,即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明,在没有泛化模型的情况下,RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数,而在许多实际问题中,这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性,本文提出了一种新的策略空间规避维数的概念,它刻画了任意马尔可夫决策过程(MDP)中策略学习的内在复杂性.使用一个模拟器的甲骨文,我们证明了一个接近最优的样本复杂度上界,只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Curriculum-based Deep Reinforcement Learning for Quantum Control
University of New South Wales(新南威尔士大学);University of Duisburg-Essen(杜伊斯堡-埃森大学);Nanjing University(南京大学)
深度强化学习被认为是一种有效的技术,可以在没有控制环境先验知识的情况下为不同的复杂系统设计最优策略。为了实现对量子系统的快速精确控制,我们提出了一种新的深度强化学习方法,通过构建由一组由保真度阈值定义的中间任务组成的课程。课程中的任务可以使用经验知识静态确定,也可以随着学习过程自适应地生成。通过在两个连续的任务之间转移知识并根据任务的难度对任务进行排序,所提出的基于神经网络的深度强化学习(CDRL)方法使智能体能够在早期阶段专注于简单的任务,然后转向困难的任务,并最终接近最终任务。对封闭量子系统和开放量子系统的数值仿真表明,该方法不仅提高了量子系统的控制性能,而且为用较少的控制脉冲确定最优策略提供了一种有效的方法.
2021-01-02 cs.LG cs.SY eess.SY
Optimal Control with Natural Images: Efficient Reinforcement Learning using Overcomplete Sparse Codes
University of New England(新英格兰大学)
本文通过过完备稀疏编码实现自然图像的高效最优控制,证明强化学习在无需深度学习的情况下可有效解决复杂控制任务。
2026-05-05 cs.AI cs.LG cs.SY
Flow Rate Control in Smart District Heating Systems Using Deep Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学)
在高纬度地区,许多城市采用集中供热系统,以提高能源生产效率并减少污染。在多层系统中,所谓的区域供热,有几种有效的方法来控制加热过程中的流量。在本文中,我们描述了通过深度强化学习解决这个问题的理论方法,并提出了一个基于云的加热控制系统来实现。一个真实世界的案例研究表明,所提出的系统的有效性和实用性的控制由人,和深度强化学习的模拟实验显示,约1985.01千兆焦耳的热量和42276.45吨水节省每小时相比,手动控制。
2019-12-01 cs.AI cs.LG cs.SY
Deep reinforcement learning-based spacecraft attitude control with pointing keep-out constraint
University of Würzburg(乌尔姆大学)
针对带单个指向禁区的航天器重新定向控制问题,本文采用SAC算法,设计含约束区紧凑表示的状态与约束奖励函数,结合课程学习训练智能体,仿真验证了该DRL方法的有效性。
2025-11-13 cs.AI cs.LG cs.SY
Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
KAIST(韩国科学技术院)
我们提出了Episodic Backward Update(EBU)-一种具有直接值传播的新型深度强化学习算法。与传统的使用均匀随机抽样的经验重放相比,我们的代理人对整个事件进行采样,并将状态的值连续传播到其先前的状态。我们的计算效率的递归算法允许稀疏和延迟的奖励直接传播通过采样集的所有过渡。我们从理论上证明了EBU方法的收敛性,并通过实验证明了它在确定性和随机环境中的性能。特别是在Atari 2600域的49个游戏中,EBU分别仅使用5%和10%的样本就实现了与DQN相同的平均和中值人类归一化性能。
2019-11-12 cs.LG stat.ML