Reinforcement Learning with Deep Energy-Based Policies
UC Berkeley(加州大学伯克利分校);OpenAI;International Computer Science Institute(国际计算机科学研究所)
我们提出了一种方法来学习表达能量为基础的政策,连续的状态和行动,这是可行的,只有在表格域之前。我们应用我们的方法来学习最大熵策略,从而产生一种新的算法,称为软Q学习,通过玻尔兹曼分布表示最优策略。我们使用最近提出的摊销Stein变分梯度下降来学习一个随机采样网络,该网络近似于来自该分布的样本。所提出的算法的好处包括改进的探索和组合性,允许在任务之间转移技能,我们在游泳和步行机器人的模拟实验中证实了这一点。我们还与演员-评论家方法建立了联系,可以将其视为对相应的基于能量的模型进行近似推理。
2017-07-21 cs.AI cs.LG
Learning Relative Return Policies With Upside-Down Reinforcement Learning
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);Università della Svizzera italiana (USI)(瑞士意大利语区大学);Scuola universitaria professionale della Svizzera italiana (SUPSI)(瑞士意大利语区应用科学大学);ARAYA Inc.(ARAYA公司);Imperial College London(伦敦帝国学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);NNAISENSE(NNAISENSE公司)
最近,人们对使用监督学习来解决强化学习问题的兴趣重新抬头。最近在这一领域的工作主要集中在学习命令条件下的政策。我们研究了这样一种方法的潜力-颠倒强化学习-与指定某些标量值和观察到的回报之间的期望关系的命令一起工作。我们表明,倒置强化学习可以学习执行这样的命令在线表强盗设置和CartPole与非线性函数逼近。通过这样做,我们展示了这一系列方法的力量,并为它们在更复杂的命令结构下的实际使用开辟了道路。
2022-05-10 cs.AI cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
深度强化学习是一种越来越流行的技术,用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上,对深层神经网络和连续状态动力系统进行验证。在本文中,我们解决了验证深度强化学习的概率策略的问题,例如,用于解决对抗性环境,打破对称性和管理权衡。我们提出了一个抽象的方法,基于区间马尔可夫决策过程,产生概率保证政策的执行,目前的技术来建立和解决这些模型,使用抽象的解释,混合整数线性规划,基于熵的细化和概率模型检验。我们实现我们的方法,并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University(罗格斯大学)
在本文中,我们考虑的基本版本的强化学习(RL),涉及到计算最佳的数据驱动(自适应)的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查,该地区的最先进的,我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策,我们在这里开发的,我们称之为MDP-Deterministic最小经验分歧(MDP-DMED),和一个方法的基础上后验抽样(MDP-PS)。
2019-09-13 cs.AI cs.LG stat.ML
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences;Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略(GTP),通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹,并引入两种理论自适应方法,在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中,我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题,并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外,我们进行实验,基于网格的机器人导航域,以证明其效率和鲁棒性,通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
针对多目标强化学习中固定用户偏好无法提供多样化策略的问题,提出基于广义基尼福利函数的多策略方法,学习公平帕累托最优策略集。
2026-06-17 cs.AI cs.LG
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现代Meta强化学习(Meta-RL)方法主要是基于模型无关元学习开发的,其在任务之间执行策略梯度步骤以最大化策略性能。然而,Meta-RL中的梯度冲突问题仍然知之甚少,这可能会导致性能下降时,遇到不同的任务。为了解决这一问题,提出了一种新的个性化元强化学习(pMeta-RL)算法,该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略,同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置,这表明我们的pMeta-RL算法的收敛性。此外,我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本,使其适用于连续控制任务。实验结果表明,该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin(柏林自由大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学)
本文针对序列反事实解释中强化学习策略存在动作偏置的问题,提出利用分类器输出概率设计更具信息量的奖励函数,以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto(多伦多大学)
在广泛应用的在线匹配问题的挑战在于,使不可撤销的分配,而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中,可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架,用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构,设计功能表示,并经验评估他们在两个在线匹配问题:边加权在线二分匹配和在线子模块二分匹配。我们表明,大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言,我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Centre for Autonomous Marine Operations and Systems (AMOS)(自主海洋作业与系统中心)
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类,以识别行为模式和次优决策,并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory(西莫拉研究实验室)
针对强化学习策略可靠性测试难的问题,提出综合框架并实现开源工具Gimitest,它支持多种gym框架,可修改集成组件,能在不同环境下测试单智能体和多智能体RL策略,展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies
University of California, Berkeley(加州大学伯克利分校)
我们是否可以使用强化学习来学习可以执行各种不同任务的通用策略,从而获得灵活且可重用的技能?上下文策略原则上提供了这种能力,但是上下文的表示决定了泛化和表达的程度。范畴语境排除了对全新任务的概括。以目标为条件的策略可以实现一些泛化,但不能捕获可能需要的所有任务。在本文中,我们提出了目标分布作为一个通用的和广泛适用的任务表示适合上下文的政策。目标分布是通用的,因为当配备适当的分布类时,它们可以表示任何基于状态的奖励函数,而分布类的特定选择允许我们权衡表达性和可学习性。我们开发了一种称为分布条件强化学习(DisCo RL)的离线策略算法来有效地学习这些策略。我们在各种机器人操作任务上评估了DisCo RL,发现它在需要推广到新目标分布的任务上的性能显着优于先前的方法。
2021-04-23 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Sepsis Treatment
Cambridge University(剑桥大学);Imperial College London(伦敦帝国学院);MIT(麻省理工学院)
脓毒症是重症监护病房死亡的主要原因,每年花费医院数十亿美元。治疗脓毒症患者具有高度挑战性,因为个体患者对医疗干预的反应非常不同,并且没有普遍认可的脓毒症治疗方法。在这项工作中,我们提出了一种方法来推导脓毒症患者的治疗策略,通过使用连续状态空间模型和深度强化学习。我们的模型学习临床上可解释的治疗策略,在重要方面与医生的治疗策略相似。学习的政策可以用来帮助重症监护临床医生在医疗决策和提高患者生存的可能性。
2017-11-27 cs.AI cs.LG
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research(谷歌研究院)
我们考虑一个层次化强化学习的设置,其中的奖励是一个组件的总和。对于每个组件,我们都给出了一个最大化它的策略,我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证,组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案,即,仅使用来自当前状态的信息的策略;因此,它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策,并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下,实验结果表明,他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Provable Defense against Backdoor Policies in Reinforcement Learning
UW-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学);MPI-SWS(马克斯·普朗克软件系统研究所)
在子空间触发假设下,提出了一种可证明的强化学习后门策略防御机制。后门策略是一种安全威胁,其中对手发布了看似行为良好的策略,实际上允许隐藏触发器。在部署过程中,对手可以以特定的方式修改观察到的状态,以触发意外的动作并伤害代理。我们假设代理没有资源来重新训练一个好的策略。相反,我们的防御机制通过将观察到的状态投影到“安全子空间”来净化后门策略,该安全子空间是从与干净(非触发)环境的少量交互中估计的。我们的净化策略实现$ε$近似最优的触发器的存在下,提供的清洁的交互的数量是$O\left(\frac{D}{(1-γ)^4 ε^2}\right)$,其中$γ$是折扣因子和$D$是状态空间的维度。从经验上讲,我们表明,我们的消毒防御在两个雅达利游戏环境中表现良好。
2022-11-18 cs.AI cs.LG
Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);TU Darmstadt(达姆施塔特工业大学)
本文提出一种基于可模拟性代理指标、无需人类参与的策略可解释性评估方法,通过将专家网络蒸馏为小型程序进行大规模实证评估,发现提高可解释性未必降低性能,且不存在跨任务普适的最优策略类别。
2025-03-11 cs.AI cs.LG
How Ensembles of Distilled Policies Improve Generalisation in Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
本文证明训练后策略蒸馏的泛化界,提出训练蒸馏策略集成并利用尽可能多的训练数据可提升强化学习零样本迁移的泛化性能,实验验证了该方法的有效性。
2025-10-23 cs.AI cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS(马克斯·普朗克软件系统研究所)
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型,我们考虑攻击,最小限度地改变奖励,使攻击者的目标策略唯一最优下中毒的奖励,与最优差距指定的攻击参数。我们的目标是设计代理,对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励,同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架,用于获得最佳的防御策略,无论是当攻击参数是已知的和未知的。此外,我们表明,防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是,我们提供了以下界限相对于真实的,未中毒的,奖励:a)防御策略的预期回报的下限,以及b)这些防御策略与攻击者的目标策略相比是次优的上限。最后,我们通过说明我们的正式结果背后的直觉,并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
Using Reinforcement Learning to Optimize Responses in Care Processes: A Case Study on Aggression Incidents
Utrecht University(乌得勒支大学)
针对护理流程动态复杂、攻击事件应对策略有限的问题,采用Q-learning和SARSA强化学习算法训练马尔可夫决策过程,得出的最优策略与现有常用操作相似且能提供更多情境化应对选项。
2023-10-02 cs.AI cs.LG
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
通过使用蒙特卡罗树搜索或模型预测控制,多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond},多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中,我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难,软策略更新:即使在没有近似的情况下,相反的1步贪婪的情况下,单调的政策改善是不能保证的,除非更新步长足够大。特别关心这个困难,我们制定和分析在线和近似算法,使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria(维多利亚大学)
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用,通过构建分类法对文献进行系统分类和总结,并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Enhancing Robustness in Deep Reinforcement Learning: A Lyapunov Exponent Approach
School of Computing Science(计算机科学学院);University of Glasgow(格拉斯哥大学)
针对深度强化学习策略对状态扰动鲁棒性不足的问题,本文通过分析其确定性混沌特性,提出基于Dreamer V3架构的最大李雅普诺夫指数正则化方法,以增强策略对噪声和攻击的弹性,推动实际应用。
2024-11-26 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
提出了一种新的深度强化学习(DRL)策略水印方案。该方案提供了一种机制,用于将唯一标识符以其对指定的状态转换序列的响应的形式集成在策略内,同时对策略的标称性能产生最小的影响。该水印方案的应用包括检测专有策略的未授权复制,以及使授权实体能够优雅地中断或终止DRL活动。我们证明了我们的建议的可行性,通过实验评估水印的DQN政策在Cartpole环境中训练。
2019-06-03 cs.AI cs.CR cs.LG
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究院)
针对神经网络剪枝可能破坏强化学习策略安全性的问题,提出结合剪枝与模型检查的VERINTER方法,量化剪枝及神经连接对安全属性的影响,在维持剪枝策略安全性的同时提升可解释性,且在多场景验证有效。
2024-09-16 cs.LG
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
EXPO通过构建实时策略最大化Q值,提升样本效率,适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University(厄勒布鲁大学);KU Leuven(鲁汶大学)
本文提出神经符号框架 DERRL,将符号规划的关系表示、约束与深度学习结合,提取逻辑规则形式的可解释策略,并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
Reinforcement Learning for Optimization of COVID-19 Mitigation policies
Sony AI(索尼人工智能);Sapienza University of Rome(罗马大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
二零二零年,COVID-19病毒导致历史上最严重的全球大流行病之一。因此,世界各国政府都面临着保护公众健康的挑战,同时尽最大可能保持经济运行。流行病学模型提供了对这些类型疾病传播的深入了解,并预测可能的干预政策的效果。然而,迄今为止,即使是最受数据驱动的干预政策也依赖于统计学。在本文中,我们研究了如何使用强化学习(RL)来优化缓解政策,最大限度地减少经济影响,而不压倒医院的能力。我们的主要贡献是(1)一种新的基于代理的流行病模拟器,与传统的模型不同,它能够模拟社区中特定位置的人之间的细粒度交互;(2)一种基于RL的方法,用于优化该模拟器中的细粒度缓解策略。我们的研究结果验证了整体模拟器的行为和现实条件下的学习策略。
2020-10-20 cs.AI cs.CY cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
深度强化学习(DRL)方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中,那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左(这是前两个动作的组合)的动作。在这些领域中的控制策略的表示传统上被建模,而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式,因子化动作空间表示(FAR),其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量,类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作,而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进:FARA 3C在14个任务中的9个任务中优于A3 C(异步优势演员评论),FARAQL在13个任务中的9个任务中优于AQL(异步n步Q学习)。
2017-05-20 cs.AI cs.LG
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所(LIACS))
本研究对比了进化策略与基于梯度的深度强化学习方法,发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性,甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems(埃尔绍夫信息系统研究所)
我们提出了一种新的强化学习模型的离散环境,这是内在的可解释性,并支持发现深层次的子目标层次。在该模型中,智能体以概率规则的形式学习有关环境的信息,而(子)目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述,如果先前实现,则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中,这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Element AI(元素人工智能公司)
强化学习(RL)代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而,当RL代理面临部分可观测性时,某种形式的记忆是必要的。在本文中,我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容(如果有的话)。在每一步中,当前的内存状态都是代理观察的一部分,代理选择一个动作元组:一个动作修改环境,另一个动作修改内存。当外部记忆有足够的表现力时,最优无记忆策略会产生全局最优解。不幸的是,以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里,我们研究了其他形式的记忆,以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Periodic Intra-Ensemble Knowledge Distillation for Reinforcement Learning
National Tsing Hua University(国立清华大学);Preferred Networks(优选网络)
非策略集成强化学习(RL)方法在一系列RL基准任务中表现出令人印象深刻的结果。最近的工作表明,直接模仿专家的政策,在监督的方式之前或期间的培训,使更快的政策改进的RL代理。受这些最新见解的启发,我们提出了周期性集群内知识蒸馏(PIEKD)。PIEKD是一个学习框架,它使用一组策略在环境中发挥作用,同时通过知识蒸馏在组中的策略之间定期共享知识。我们的实验表明,PIEKD提高了一个国家的最先进的RL方法在样本效率的几个具有挑战性的MuJoCo基准任务。此外,我们进行消融研究,以更好地了解PIEKD。
2020-02-01 cs.AI cs.LG
PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies
Princeton University(普林斯顿大学);University of British Columbia(英属哥伦比亚大学)
我们提出了一种新的强化学习为基础的框架PoBRL解决多文档摘要。PoBRL共同优化了高质量摘要所需的以下三个目标:重要性,相关性和长度。我们的策略将这种多目标优化分解为不同的子问题,这些子问题可以通过强化学习单独解决。然后,利用PoBRL,我们将每个学习到的策略混合在一起,以生成一个摘要,该摘要是原始输入的简洁而完整的表示。我们的实证分析显示了几个多文档数据集的最先进的性能。人工评估也表明,我们的方法产生高质量的输出。
2021-05-18 cs.AI
Hysteresis-Based RL: Robustifying Reinforcement Learning-based Control Policies via Hybrid Control
University of California, Santa Cruz(加州大学圣克鲁兹分校);Eindhoven University of Technology(埃因霍温理工大学)
强化学习(RL)是一种很有前途的复杂系统控制方法。正如我们在两个控制问题中所示,使用近端策略优化(PPO)和深度Q网络(DQN)算法所导出的策略可能缺乏鲁棒性保证。出于这些问题,我们提出了一种新的混合算法,我们称之为基于滞后的RL(HyRL),增强了现有的RL算法滞后切换和两个阶段的学习。我们说明了它的属性在PPO和DQN失败的两个例子。
2022-04-01 cs.AI cs.LG cs.SY
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University(马萨里克大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
马尔可夫决策过程(MDP)是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益,忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面,风险规避政策要求不可预测事件的概率低于给定的阈值,但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态,代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益,以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法,它结合了UCT类搜索与预测learnedthrough互动与MDP(在风格的AlphaZero)和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中,包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression
University College London(伦敦大学学院)
本文提出一种将神经网络强化学习策略蒸馏为GBMs、EBMs和符号回归等可解释模型的方法,结合DAgger算法解决分布偏移,在多种机器人步态上以极低交互成本实现高可解释性。
2024-03-21 cs.AI cs.LG cs.RO
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出了GProp,一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先,我们提出了一种基于时间差的学习值函数梯度的方法。其次,我们提出了偏离者-行动者-批评者(DAC)模型,它包括三个神经网络,估计的价值函数,其梯度,并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp:一个由非参数回归数据集构建的上下文强盗问题,该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂,一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争,并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia(意大利技术研究院);Università di Genova(热那亚大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
处理复杂任务的昂贵的强化学习(RL)的一个常见策略是将它们分解为一系列子任务,这些子任务通常更容易学习,并且可用于新问题。然而,当机器人学习这些子任务的策略时,常见的方法单独对待每个策略学习过程。因此,在通过策略组合处理复杂任务的学习过程之前,需要学习所有这些单独的(可组合的)策略。此外,这种单个策略的组合通常是顺序执行的,这不适合需要并发执行子任务的任务。在本文中,我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量,从而在一个复杂的高斯政策,这是一个函数的手段和协方差矩阵的组合政策。此外,我们提出了一种算法,用于学习复合和组合政策在同一个学习过程中,利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上,有利于学习过程中的探索。实验结果表明,收集的经验与复合政策允许不仅要解决复杂的任务,但也获得有用的组合策略,成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Wasserstein Unsupervised Reinforcement Learning
Tsinghua University(清华大学)
无监督强化学习旨在训练智能体在没有外部奖励的环境中学习少量策略或技能。这些预先训练好的策略在被赋予外部奖励时可以加速学习,也可以作为分层强化学习中的原始选项。传统的无监督技能发现方法通过向Agent提供一个潜在变量,并通过互信息(MI)最大化来释放其对Agent行为的授权。然而,通过基于MI的方法学习的策略不能充分地探索状态空间,尽管它们可以成功地彼此识别。因此,我们提出了一个新的框架Wasserstein无监督强化学习(WURL),我们直接最大化的状态分布的距离不同的政策。此外,我们克服了同时训练N(N >2)个策略的困难,并将整体奖励分摊到每一步。实验表明,我们的方法学习的策略优于基于MI的方法的Wasserstein距离的度量,同时保持高的可区分性。此外,WURL训练的智能体可以充分探索迷宫和MuJoCo任务中的状态空间,并且预先训练的策略可以通过分层学习应用于下游任务。
2021-10-15 cs.LG
Programmatically Interpretable Reinforcement Learning
Rice University(莱斯大学);Google Brain(谷歌大脑);Deepmind(深度思维)
我们提出了一个强化学习框架,称为程序可解释的强化学习(PIRL),旨在生成可解释和可验证的代理政策。与流行的深度强化学习(DRL)范式不同,它通过神经网络来表示策略,PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释,并且可以通过符号方法进行验证。我们提出了一种新的方法,称为神经导向程序搜索(NDPS),解决具有挑战性的非光滑优化问题,找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络,然后在编程策略上执行本地搜索,以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务,学习驾驶模拟汽车在TORCS赛车环境。我们证明,NDPS是能够发现人类可读的政策,通过一些显着的性能酒吧。我们还表明,PIRL政策可以有更平滑的轨迹,可以更容易地转移到训练过程中没有遇到的环境,比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求,强化学习器在约束设置,包括对结果的信心。我们表明,代理的信心在约束满足提供了一个有用的信号,在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Composing Task-Agnostic Policies with Deep Reinforcement Learning
UC San Diego(加州大学圣地亚哥分校);University of Washington(华盛顿大学)
解决具有挑战性的迁移学习问题的基本行为组合是构建智能机器的关键要素之一。到目前为止,已经有大量的工作学习特定于任务的政策或技能,但几乎没有关注组成必要的,任务不可知的技能,以找到解决新问题的方法。在本文中,我们提出了一种新的基于深度强化学习的技能转移和组合方法,该方法采用代理的原始策略来解决看不见的任务。我们评估我们的方法在困难的情况下,通过标准的强化学习(RL),甚至分层RL的训练策略是不可行的,或表现出高的样本复杂性。我们表明,我们的方法不仅将技能转移到新的问题设置,而且还解决了具有挑战性的环境,需要高数据效率的任务规划和运动控制。
2019-12-30 cs.AI cs.LG cs.RO
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
本文提出区分DRL智能体漏洞来源的方法,并开发两种基于RL的定量基准测试技术,以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性,并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
众所周知,深度强化学习(RL)策略容易受到对其观察结果的对抗性扰动的影响,类似于分类器的对抗性示例。然而,攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑:是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体,从而创建对抗性的自然观察?我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏,对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者,但产生了看似随机和不协调的行为。我们发现,这些政策是更成功的高维环境中,并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
Latent Space Policies for Hierarchical Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
我们解决了学习用于强化学习的分层深度神经网络策略的问题。与明确限制或削弱层次结构的较低层以迫使它们使用更高级别的调制信号的方法相反,我们框架中的每一层都经过训练以直接解决任务,但通过最大熵强化学习目标获得一系列不同的策略。每一层还增加了潜在的随机变量,这些变量是在该层的训练期间从先验分布中采样的。最大熵目标使得这些潜在变量被并入层的策略中,并且较高级别的层可以通过该潜在空间直接控制较低层的行为。此外,通过约束从潜变量到动作的映射是可逆的,更高层保留了完整的表达能力:高层和低层都不受其行为的约束。我们的实验评估表明,我们可以通过添加额外的层来提高单层策略在标准基准任务上的性能,并且我们的方法可以通过在针对简单低级别目标优化的高熵技能之上学习更高级别的策略来解决更复杂的稀疏奖励任务。
2018-09-03 cs.AI cs.LG stat.ML
Composing Meta-Policies for Autonomous Driving Using Hierarchical Deep Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
不是为每个新任务学习新的控制策略,而是当任务共享某些结构时,可以从先前学习的策略组成“元策略”。本文报告了在连续状态、离散动作自动驾驶模拟器上使用深度强化学习的实验结果。我们探讨了深度神经网络如何表示在一组先前学习的策略之间切换的元策略,特别是在新场景的动态由先前学习的动态混合组成的设置中,以及状态观测可能被感知噪声破坏的设置中。我们还报告了不同的动态混合,分心政策,感知噪声的幅度/分布,和障碍物的实验结果。在一个充分观察的实验中,Meta策略学习算法实现了2.6倍的回报,实现了下一个最佳的策略组合技术,探索少了80%。在部分观察的实验中,Meta策略学习算法在50次迭代后收敛,而RL的直接应用即使在200次迭代后也无法收敛。
2017-11-04 cs.AI
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University(拉德堡德大学);University of Antwerp(安特卫普大学)
深度强化学习(RL)代理在其观察中容易受到对抗性噪声的影响,这可能会误导其策略并降低其性能。然而,对手可能不仅对减少奖励感兴趣,而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准,衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外,我们引入了一个模型检验方法,使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了(1)我们针对时态逻辑属性进行对抗攻击的指标的质量,以及(2)我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Efficient Representations of Object Geometry for Reinforcement Learning of Interactive Grasping Policies
University of Bonn(波恩大学)
抓取不同形状和大小的物体--人类的一项基本的、毫不费力的技能--仍然是机器人领域一项具有挑战性的任务。虽然基于模型的方法可以预测已知对象模型的稳定抓取配置,但它们很难推广到新对象,并且通常以非交互式开环方式操作。在这项工作中,我们提出了一个强化学习框架,学习各种几何形状不同的现实世界中的对象的交互式抓取不断控制拟人化的机器人手。我们探索对象几何形状的几种显式表示作为策略的输入。此外,我们建议通过签署的距离隐式地告知政策,并表明这是自然适合引导搜索通过一个形状的奖励组件。最后,我们证明了所提出的框架是能够学习,即使在更具挑战性的条件下,如有针对性地抓住从一个杂乱的箱。在这种情况下,必要的预抓取行为,如对象重新定位和利用环境约束。学习互动政策的视频可在https://maltemosbach.github上获得。io/geometry_aware_grassing_policies。
2022-11-20 cs.AI cs.LG cs.RO