Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks
National Renewable Energy Lab(国家可再生能源实验室)
本文提出三种途径在强化学习中实现可微且可解释的模型与策略,揭示逻辑与学习的权衡及开放问题。
2024-02-07 cs.AI cs.LG
rlpyt: A Research Code Base for Deep Reinforcement Learning in PyTorch
University of California, Berkeley(加州大学伯克利分校)
自从最近出现用于游戏和模拟机器人控制的深度强化学习以来,大量新算法蓬勃发展。大多数是无模型算法,可以分为三个家族:深度Q学习,策略梯度和Q值策略梯度。这些都是沿着不同的研究方向发展的,因此很少有代码库(如果有的话)包含所有三种类型。然而,这些算法共享一个共同的深度强化学习机制的很大深度。我们很高兴分享rlpyt,它在一个单一的存储库中,在一个共享的、优化的基础设施之上实现了所有三个算法家族。它包含使用PyTorch(一个领先的深度学习库)在Python中实现的许多常见深度RL算法的模块化实现。rlpyt被设计为一个高吞吐量的代码库,用于深度RL中的中小规模研究。本白皮书总结了它的功能、实现的算法以及与以前工作的关系,最后给出了详细的实现和使用说明。rlpyt可在https://github.com/astooke/rlpyt上获得。
2019-09-24 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico(INESC-ID / 里斯本高等理工学院)
基于模型的强化学习范式使用规划算法和神经网络模型,最近在各种应用中取得了前所未有的成果,导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的,涉及多个组件,因素,可以创造研究的挑战。在这项工作中,我们提出了一种适合这些类型代理的新模块化软件架构,以及一组可以轻松重用和组装的构建块,以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理,优化到三个不同的测试环境:Cartpole,Minigrid和Tictactoe。一个特定的规划算法,在我们的实现中可用,以前没有在强化学习中使用,我们称之为平均极大极小,在三个测试环境中取得了良好的效果。用这种结构进行的实验表明,规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明,所提出的架构,这是模块化和可重用的,是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了使用函数逼近的强化学习问题,其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是:近似平方误差,贝尔曼残差,投影贝尔曼残差。提出了行动者-批评者框架下的算法,并证明其收敛。这种自适应的基础上的优势,在模拟中证明。
2010-05-02 cs.AI cs.LG
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics(国立信息学研究所);University of Waterloo(滑铁卢大学)
优先经验重放(PER)对重要的转换进行采样,而不是均匀地采样,以提高深度强化学习代理的性能。我们认为,这种优先级必须与样本多样性相平衡,以使DQN稳定并防止遗忘。我们提出的对PER的改进,称为预测PER(PPER),采取三种对策(TDInit,TDClip,TDPred)来(i)消除优先级离群值和爆炸,以及(ii)改善样本多样性和分布,按优先级加权,两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN,称为TDPred,以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明,每一个对策,以自己的方式和PPER有助于成功地提高稳定性,从而性能超过PER。
2020-11-26 cs.AI cs.LG
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering(雷克雅未克大学工程系)
本文提出通过强化学习优化金融预测模型,通过反向传播损失提升模型性能,并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory(橡树岭国家实验室)
近年来,强化学习受到了极大的关注,这主要是由于深度强化学习在解决许多具有挑战性的任务(如下棋、围棋和在线计算机游戏)方面的成功。然而,随着对强化学习的关注越来越多,游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性,稳定性和弹性。为此,我们进行了全面的文献综述,以描述这三种行为的可用文献,因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外,我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后,我们提供了一个决策树有用的选择指标来量化的行为。我们认为,这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所(LIACS))
本研究对比了进化策略与基于梯度的深度强化学习方法,发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性,甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出通过在线模型选择改进强化学习训练,提升效率和性能,探讨了资源分配、非平稳动态适应及训练稳定性等理论问题,并通过实验验证。
2025-12-01 cs.AI cs.LG
Robust Reinforcement Learning on Graphs for Logistics optimization
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
物流优化如今正成为人工智能社区最热门的领域之一。在过去的一年中,通过以图形的形式表示问题,在该领域取得了重大进展。另一个有前途的研究领域是将强化学习算法应用于上述任务。在我们的工作中,我们利用这两种方法,并在图上应用强化学习。为此,我们分析了这两个领域的最新成果,并从图神经网络和强化学习中选择了SOTA算法。然后,我们结合选定的模型对纽约市的交通网络的AMOD系统优化问题。我们的团队比较了三种算法- GAT,Pro-CNN和PTDNet -以突出图形表示上的重要节点。最后,我们使用PTDNet和GNN实现了AMOD系统优化问题的SOTA结果,并以强化方式对其进行训练。关键词:图神经网络,物流优化,强化学习
2022-05-25 cs.AI cs.LG
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
CORA: Benchmarks, Baselines, and Metrics as a Platform for Continual Reinforcement Learning Agents
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
持续强化学习的进展由于几个进入障碍而受到限制:缺少代码,高计算要求以及缺乏合适的基准。在这项工作中,我们提出了CORA,一个持续强化学习代理的平台,在一个代码包中提供基准,基线和指标。我们提供的基准测试旨在评估持续RL挑战的不同方面,例如灾难性遗忘、可塑性、概括能力和样本有效学习。三个基准测试使用视频游戏环境(Atari,Procgen,NetHack)。第四个基准,CHORES,由四个不同的任务序列在视觉上逼真的家庭模拟器,从一组不同的任务和场景参数。为了在这些基准测试中比较持续强化学习方法,我们在CORA中准备了三个指标:持续评估,孤立遗忘和Zero-Shot前向传输。最后,CORA包括一组现有算法的高性能开源基线,供研究人员使用和扩展。我们发布CORA,并希望持续强化学习社区能够从我们的贡献中受益,以加速新的持续强化学习算法的开发。
2022-12-31 cs.AI cs.LG
Combining Reinforcement Learning with Lin-Kernighan-Helsgaun Algorithm for the Traveling Salesman Problem
School of Computer Science, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Institute of Artificial Intelligence, Huazhong University of Science and Technology(华中科技大学人工智能研究院);MIS, University of Picardie Jules Verne(皮卡第儒勒-凡尔纳大学MIS实验室)
我们解决旅行商问题(TSP),一个著名的NP-难的组合优化问题。我们提出了一种可变策略强化方法,表示为VSR-LKH,它结合了三种强化学习方法(Q学习,Sarsa和Monte Carlo)与著名的TSP算法,称为Lin-Kernighan-Helsgaun(LKH)。VSR-LKH取代了LKH中不灵活的遍历操作,并通过强化学习使程序在每一步搜索中学习选择。在TSPLIB的85,900个城市的111个TSP基准上的实验结果证明了该方法的优异性能。
2021-03-17 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Inverse Design in Photonic Integrated Circuits
本文提出多智能体强化学习算法,通过离散化设计空间为网格并分解为数千个智能体,以少量样本优化光子集成电路逆向设计,在二维和三维任务中超越传统梯度方法。
2025-06-23 cs.AI cs.LG
Reinforcement Learning Algorithms: An Overview and Classification
Western University(韦仕敦大学)
使应用程序和机器更加智能的愿望以及在没有人类交互的情况下实现其操作的愿望一直在推动神经网络,深度学习和其他机器学习技术的创新。虽然强化学习主要用于视频游戏,但最近的进步和各种强大强化算法的发展使强化学习社区能够从玩视频游戏转向解决自动驾驶汽车,无人机和自动机器人等自动系统中的复杂现实问题。了解应用程序的环境和算法的局限性对于选择适当的强化学习算法以有效的方式成功解决手头的问题起着至关重要的作用。因此,在这项研究中,我们确定了三种主要的环境类型,并根据这些环境类型对强化学习算法进行分类。此外,在每个类别中,我们确定算法之间的关系。每个算法的概述提供了对算法基础的深入了解,并回顾了算法之间的相似性和差异。这项研究提供了一个视角,并帮助从业者和研究人员为他们的用例选择合适的算法。
2022-09-29 cs.AI cs.LG
A Tractable Algorithm For Finite-Horizon Continuous Reinforcement Learning
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯印度教大学));Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
我们考虑有限时域连续强化学习问题。我们的贡献是三方面的。首先,我们给出了一个基于乐观值迭代的算法。其次,我们给出了任意离散化状态空间的算法的$Ω(T^{2/3})$的后悔下界,改进了Ortner和Ryabko \cite{contrl}的$Ω(T^{1/2})$对同一问题的后悔界.接下来,假设奖励和转移是Hölder连续的,我们证明了离散化误差的上界是$const.Ln^{-α}T$。最后,我们给出了一些简单的实验来验证我们的命题。
2019-06-26 cs.AI cs.LG
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索使用的潜在表示从多个输入感官模态(如图像或声音),允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构,允许一个强化学习代理在一个给定的感官模态训练,执行其任务的不同的感官模态,例如,学习视觉策略的图像输入,然后执行这样的政策时,只有声音输入可用。我们表明,广义的政策实现更好的开箱即用的性能相比,不同的基线。此外,我们在不同的OpenAI健身房和视频游戏环境中证明了这一点,即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland(奥克兰大学);New Dexterity(新 Dexterity 研究机构)
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作,对三种RL算法在复杂手内操作任务上进行了基准测试,验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
From Two-Dimensional to Three-Dimensional Environment with Q-Learning: Modeling Autonomous Navigation with Reinforcement Learning and no Libraries
Getulio Vargas Foundation (FGV)(热图利奥·瓦加斯基金会);University of São Paulo (USP)(圣保罗大学)
本文研究在不使用预制库的情况下,通过计算数学实现Q学习智能体,并比较其在二维和三维环境中的自主导航学习动态与适应表现,为高维强化学习提供实证启示。
2024-03-27 cs.AI cs.LG stat.CO
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统,利用延迟信号自适应调整调度目标权重,通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
PCGRL: Procedural Content Generation via Reinforcement Learning
New York University(纽约大学)
我们研究如何强化学习可以用来训练水平设计代理。这代表了游戏中程序化内容生成的一种新方法,其中关卡设计被框定为游戏,内容生成器本身是学习的。通过将设计问题视为一个顺序任务,我们可以使用强化学习来学习如何采取下一个行动,以便最大限度地提高预期的最终水平质量。当存在很少或不存在用于训练的示例时,可以使用这种方法,并且训练的生成器非常快。我们研究了三种不同的方式将二维水平设计问题转化为马尔可夫决策过程,并将其应用于三个游戏环境。
2020-08-13 cs.AI cs.LG stat.ML
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University(吉林大学)
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高,但对超参数设置敏感,需要有效探索;进化算法稳定,但样本效率低;模仿学习样本效率高,但需要专家数据指导。在本文中,我们提出了招募模仿机制(RIM)的进化强化学习,一个可扩展的框架,结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员,这指示自己从经验重放缓冲区中学习。同时,进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式,提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明,RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件,使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology(佐治亚理工学院)
我们描述了一种方法,通过扩展深度强化学习来建模人类反馈的置信度和一致性,使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈,利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验,我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明,我们的技术是强大的高度innacurate人类反馈,也可以操作时,没有人的反馈。
2021-06-22 cs.AI
Reinforcement learning from comparisons: Three alternatives is enough, two is not
Institut Camille Jordan, Université Claude Bernard Lyon 1(卡米尔·若尔当研究所,里昂第一大学);CNRS(法国国家科学研究中心);École polytechnique(巴黎综合理工学院)
本文讨论的问题时,这些比较不需要传递的两两比较的基础上找到最佳的替代品。在这种情况下,我们研究了一个强化瓮模型。我们证明了收敛到最优解时,加强一个获胜的替代品后,考虑三个随机选择每次发生。更简单的过程,即加强随机对的赢家并不总是收敛:它可能循环。
2013-01-24 cs.LG math.OC math.PR
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)((2025年7月))
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究,比较其结构异同,涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Active flow control for three-dimensional cylinders through deep reinforcement learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Barcelona Supercomputing Center - Centro Nacional de Supercomputación(巴塞罗那超级计算中心-国家超级计算中心)
本文提出基于多智能体深度强化学习框架,利用近端策略优化算法耦合计算流体力学求解器,通过多个独立控制的零净质量通量合成射流实现三维圆柱主动流动控制,在三种不同配置下均显著降低了阻力。
2023-09-04 cs.LG physics.flu-dyn
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
Prototyping three key properties of specific curiosity in computational reinforcement learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
机器智能体的Curriculum一直是研究的热点。对人类和动物好奇心的研究,特别是对特定好奇心的研究,已经发现了几个特性,这些特性将为机器学习者提供重要的好处,但尚未在机器智能中得到很好的探索。在这项工作中,我们介绍了这些属性中最直接的三个-定向,满足时停止和自愿暴露-并展示了它们如何在概念验证强化学习代理中一起实现;此外,本发明还我们展示了如何在一个简单的非情节网格世界环境,包括好奇心的行为表现的属性,诱导地点和诱导好奇心的目标。正如我们所希望的那样,智能体在更新长期偏好以自适应地寻找引起好奇心的情况时表现出短期定向行为。因此,这项工作为特定的好奇心如何运作提供了一个新颖的视角,并且在未来可能会被整合到复杂环境中目标寻求、决策代理的行为中。
2022-05-20 cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University(清华大学);University of Michigan(密歇根大学)
强化学习(RL)由于其解决复杂分类和控制问题的潜力,在自动驾驶领域引起了越来越多的关注。然而,现有的强化学习算法很少应用于真实车辆,主要有两个问题:行为无法解释,并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法,称为并行约束策略优化(PCPO),两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架,其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时,信任域约束的加入,允许大的更新步骤,而不打破单调改善条件。为了保证安全约束问题的可行性,采用同步并行学习器探索不同的状态空间,加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
C-3PO: Cyclic-Three-Phase Optimization for Human-Robot Motion Retargeting based on Reinforcement Learning
Korea University of Science and Technology(韩国科学技术院);ETRI(韩国电子通信研究院)
具有不同尺寸和运动学配置的异构多态体之间的运动重定向需要(逆)运动学的全面知识。此外,它是不平凡的,以提供一个运动独立的一般解决方案。在这项研究中,我们开发了一种基于深度强化学习的循环三阶段优化方法,用于人-机器人运动重定向。运动重定向学习是通过我们的方法的循环和过滤路径使用潜在空间中的细化数据来执行的。此外,基于人在环的三阶段方法提供了一个框架,以改善运动重定向政策的定量和定性的方式。使用所提出的C-3 PO方法,我们成功地能够学习人体骨骼和多个机器人(如NAO,Pepper,Baxter和C-3 PO)的运动之间的运动重定向技能。
2020-03-03 cs.LG cs.RO
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University(迪肯大学)
本论文对现代实际应用中的基本强化学习方法进行了深入研究,包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置,论文激励的问题进行研究,回顾了目前的文献,提供计算效率的算法,可证明的效率保证,并得出结论,未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献,同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University(比勒费尔德大学)
针对强化学习中的对抗性特征缺失问题,提出对抗训练算法,在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
Three Dogmas, a Puzzle and its Solution
GridSAT Stiftung(GridSAT基金会)
本文通过阿拉伯语原理证伪现代逻辑关于自然语言的三条基本假设,并据此提出利用句法中的“意义粒子”高效处理SAT问题,从而保证生成非指数规模FBDDs的新方法。
2023-10-29 cs.AI cs.CL
Comparison and Unification of Three Regularization Methods in Batch Reinforcement Learning
Department of Applied Mathematics, Harvard University(哈佛大学应用数学系);Department of Computer Science, Harvard University(哈佛大学计算机科学系);Department of Statistics, Harvard University(哈佛大学统计学系)
在批处理强化学习中,可能存在探索不足的状态-动作对,从而导致学习不足、不准确的模型和执行不良的关联策略。各种正则化方法可以缓解马尔可夫决策过程(MDP)中学习过于复杂的模型的问题,但是它们在技术上和直观上都是不同的,并且缺乏一种通用的形式来比较它们。本文将三种正则化方法统一到一个通用的框架--加权平均转移矩阵中。以这种常见形式考虑正则化方法说明了批量数据集的MDP结构和状态-动作对分布如何影响正则化方法的相对性能。我们通过对一系列MDP和数据汇集政策的实证评估,证实了从共同框架中产生的直觉。
2021-09-16 cs.LG stat.ML
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago(奥塔哥大学)
神经网络可以在各种各样的应用中取得优异的结果。然而,当他们试图顺序学习时,他们往往会学习新的任务,而灾难性地忘记以前的任务。我们提出了一个模型,克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统,该系统将持续学习与强化学习分开,以及伪排练系统,该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏,而没有表现出灾难性遗忘,并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需:随着任务数量的增加,需要额外的存储要求,存储原始数据或重新访问过去的任务。相比之下,以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
An analysis of Reinforcement Learning applied to Coach task in IEEE Very Small Size Soccer
Universidade Federal de Pernambuco(伯南布哥联邦大学)
IEEE Very Small Size Soccer(VSSS)是一项机器人足球比赛,由两队三个小型机器人组成。传统上,一个确定性的教练代理将选择最合适的策略和形成每个对手的策略。因此,教练的角色对比赛至关重要。在这个意义上,本文提出了一种基于强化学习(RL)的辅导任务的端到端的方法。所提出的系统在模拟比赛期间处理信息,以学习根据对手和比赛条件选择当前阵型的最佳策略。我们在模拟环境中针对三支不同的球队(平衡,进攻和严重进攻)训练了两种RL策略。我们的成绩是与VSSS联赛的顶级球队之一进行评估的,在取得约2.0的赢/输比后,我们的成绩很有希望。
2020-11-23 cs.AI cs.LG cs.RO
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能,使用三个递归神经网络架构:长短期记忆,门控递归单元和MUT 1,一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代,优势值的基础上,而不是Q值,也探讨了。结果表明,GRU在大多数问题上的表现明显优于LSTM和MUT 1,在学习一个非常好的策略之前,需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中,我们介绍和评估的远端解释模型的无模型强化学习代理,可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链,其形式为“A促成B,B促成C”。使用的见解,从分析240个解释中产生的人类代理实验,我们定义了一个远端解释模型,可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链,并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中,我们发现,与两种基线解释模型相比,我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations
Meta AI;University of California San Diego(加利福尼亚大学圣迭戈分校)
低样本效率仍然是部署深度强化学习(RL)算法用于现实世界应用的主要挑战,特别是用于视觉运动控制。基于模型的强化学习有可能通过同时学习世界模型并使用综合部署进行规划和政策改进来实现高样本效率。然而,在实践中,基于模型的RL的样本有效学习受到探索挑战的挑战。在这项工作中,我们发现,利用少量的演示可以显着提高基于模型的RL的样本效率。然而,仅仅将演示附加到交互数据集是不够的。我们确定了在模型学习中利用演示的关键因素-策略预训练,有针对性的探索和演示数据的过采样-这构成了我们基于模型的RL框架的三个阶段。我们经验性地研究了三个复杂的视觉运动控制领域,发现我们的方法在完成稀疏奖励任务方面比以前的方法在低数据范围内(100 K交互步骤,5个演示)更成功150%-250%。代码和视频可在https://nicklashansen.github.io/modemrl上获得
2022-12-12 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Toolpath design for additive manufacturing using deep reinforcement learning
Northwestern University(西北大学)
金属基增材制造工艺的刀具路径优化目前受到其设计空间的高维性的阻碍。在这项工作中,提出了一个强化学习平台,动态学习刀具路径策略,以建立一个任意的一部分。为此,研究了三种突出的无模型强化学习公式来设计增材制造工具路径,并针对密集和稀疏奖励结构的两种情况进行了演示。结果表明,这种基于学习的刀具路径设计方法取得了很高的分数,特别是当一个密集的奖励结构。
2020-09-30 cs.AI
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University(韦恩州立大学)
在强化学习算法中,通常只考虑环境的单个视图来做出所需的决策;然而,利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性,因此它们提供的观察可以具有不同的重要性级别。在本文中,我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中,其中每个视图可以提供各种代表性的信息的环境。具体来说,我们的方法学习一个政策,动态地参加的意见,环境的基础上,他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
Real-time Adversarial Perturbations against Deep Reinforcement Learning Policies: Attacks and Defenses
Aalto University(阿尔托大学);University of Waterloo(滑铁卢大学);WithSecure Corporation(WithSecure公司)
深度强化学习(DRL)容易受到对抗性扰动的影响。对手可以通过扰乱代理观察到的环境状态来误导DRL代理的策略。现有的攻击在原则上是可行的,但在实践中面临挑战,要么太慢,无法实时的欺骗DRL策略,要么修改存储在代理内存中的过去观察。我们发现,通用对抗扰动(UAP),独立于他们所应用的个人输入,可以有效地欺骗DRL政策,并在实时的。我们介绍了三种利用UAP的攻击变体。通过使用三个Atari 2600游戏进行广泛的评估,我们表明我们的攻击是有效的,因为它们完全降低了三个不同DRL代理的性能(高达100%,即使扰动上的$l_\infty$约束小到0.01)。它比图像捕获的帧速率(60 Hz)更快,并且比先前的攻击($\approx 1.8$ ms)快得多。我们的攻击技术也是有效的,招致在线计算成本的$\approx 0.027$毫秒。使用两个任务,涉及机器人运动,我们确认,我们的研究结果推广到复杂的DRL任务。此外,我们证明了已知的防御的有效性降低对普遍扰动。我们引入了一种有效的技术,检测所有已知的对抗扰动对DRL政策,包括本文提出的所有普遍扰动。
2022-09-23 cs.AI cs.CR cs.LG
A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values
University of Bath(巴斯大学)
针对强化学习智能体可解释性不足的问题,提出基于Shapley值的统一理论框架SVERL,从行为、结果、预测三方面推导特征影响,提供兼具可解释性与数学合理性的解释并修正先前的概念问题。
2025-07-31 cs.LG
An Improved Reinforcement Learning Algorithm for Learning to Branch
Beihang University(北京航空航天大学);MIRA Lab, USTC(中国科学技术大学 MIRA 实验室);Huawei Cloud Co.(华为云计算有限公司)
大多数组合优化问题都可以转化为混合整数线性规划(MILP)问题,其中分支定界法(B\&B)是一种通用且广泛应用的方法。近年来,分支学习已成为机器学习与组合优化交叉领域的研究热点。在本文中,我们提出了一种新的强化学习为基础的B\&B算法。与离线强化学习类似,我们最初在演示数据上进行训练,以大规模加速学习。随着训练效果的提高,Agent逐渐开始使用其学习到的策略与环境进行交互。通过确定演示数据和自生成数据之间的混合比例来提高算法的性能是至关重要的。因此,我们提出了一个优先存储机制来自动控制这个比例。为了提高训练过程的鲁棒性,在双DQN的基础上引入了一个高级网络,它始终充当具有竞争力性能的Q网络。我们评估所提出的算法在三个公共研究基准的性能,并将其与强基线进行比较,包括三个经典的算法和一个最先进的基于模仿学习的分支算法。实验结果表明,该算法在所有算法中性能最优,具有不断提高B &B算法性能的潜力.
2022-01-17 cs.AI cs.LG math.OC
Variable Impedance Control in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks
Stanford University(斯坦福大学);Nvidia(英伟达)
近年来,接触丰富的操作任务的强化学习(RL)取得了令人印象深刻的结果。虽然RL中的许多研究都集中在改变观察空间或奖励模型上,但很少有人关注动作空间的选择(例如关节或末端执行器空间,位置,速度等)。然而,在机器人运动控制的研究表明,选择一个动作空间,符合任务的特点,可以简化探索和提高鲁棒性的干扰。本文研究了深度强化学习中不同动作空间的影响,并倡导末端执行器空间(VICES)中的可变阻抗控制作为约束和接触丰富任务的有利动作空间。我们评估三个原型操作任务的多个动作空间:路径跟踪(无接触任务),开门(运动约束任务),和表面擦拭(连续接触任务)。我们表明,VICES提高了样本效率,保持低能耗,并确保所有三个实验设置的安全性。此外,使用VICES学习的RL策略可以在仿真中跨不同的机器人模型传输,并且对于同一机器人可以从仿真传输到真实。更多信息请访问https://stanfordvl.github.io/vices。
2019-08-02 cs.AI cs.LG cs.RO
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania(宾夕法尼亚大学);Vanderbilt University(范德堡大学);Children’s Hospital of Philadelphia(费城儿童医院)
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是,他们经常接受专家干预,使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates},这是一种编码潜在选项的规范,可以使用强化学习进行训练。我们制定专家干预,允许代理执行选项模板之前,学习实现。这使他们能够使用一个选项,然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题,表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University(厄兹耶金大学);Istinye University(伊斯坦布尔阿依登大学)
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍,需要开发现代和更有效的控制方法。通过这种方式,强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面,它们成为突出的方法,因为算法使用它们过去的经验来学习最优策略。在这项研究中,三个强化学习算法; DDPG,TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的,能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中,这三种算法的效率和速度进行了分析,在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Using Reinforcement Learning for the Three-Dimensional Loading Capacitated Vehicle Routing Problem
University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院)
本文首次提出用强化学习以近似线性时间求解三维装载容量约束车辆路径问题,解决了传统运筹学方法随规模非线性扩展的瓶颈,实验表明其性能与最先进方法的平均差距仅为3.83%至8.10%,为大规模物流优化开辟了新方向。
2024-06-11 cs.LG math.OC
PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies
Princeton University(普林斯顿大学);University of British Columbia(英属哥伦比亚大学)
我们提出了一种新的强化学习为基础的框架PoBRL解决多文档摘要。PoBRL共同优化了高质量摘要所需的以下三个目标:重要性,相关性和长度。我们的策略将这种多目标优化分解为不同的子问题,这些子问题可以通过强化学习单独解决。然后,利用PoBRL,我们将每个学习到的策略混合在一起,以生成一个摘要,该摘要是原始输入的简洁而完整的表示。我们的实证分析显示了几个多文档数据集的最先进的性能。人工评估也表明,我们的方法产生高质量的输出。
2021-05-18 cs.AI
Google Research Football: A Novel Reinforcement Learning Environment
Google Research(谷歌研究院);Jagiellonian University(雅盖隆大学)
强化学习领域的最新进展已经通过虚拟学习环境(如视频游戏)加速,其中新的算法和想法可以以安全和可再现的方式快速测试。我们介绍了Google Research Football Environment,这是一个新的强化学习环境,在这个环境中,智能体被训练在一个先进的、基于物理的3D模拟器中踢足球。由此产生的环境具有挑战性,易于使用和自定义,并且可以在宽松的开源许可证下使用。此外,它还支持多人和多智能体实验。我们提出了三个不同难度的足球基准和报告基线结果的三个常用的强化算法(IMPALA,PPO和Ape-X DQN)的完整游戏场景。我们还提供了一套更简单的方案与足球学院,并展示了几个有前途的研究方向。
2020-04-14 cs.LG stat.ML
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出了GProp,一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先,我们提出了一种基于时间差的学习值函数梯度的方法。其次,我们提出了偏离者-行动者-批评者(DAC)模型,它包括三个神经网络,估计的价值函数,其梯度,并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp:一个由非参数回归数据集构建的上下文强盗问题,该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂,一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争,并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck(因斯布鲁克大学)
充分的探索对于强化学习代理的成功至关重要。然而,探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为,这些指标在关于直观简单分布的文献中描述,并强调了使用它们时要注意的问题。我们提出了第四个指标,统一的相对熵,并实现它使用k-最近邻或最近邻比估计,强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG