Episodic Novelty Through Temporal Distance
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Washington University in St. Louis(圣路易斯华盛顿大学)
针对CMDPs中稀疏奖励探索的挑战,提出ETD方法,利用时间距离作为状态相似度和内在奖励的度量,结合对比学习估计时间距离并基于状态新颖性计算内在奖励,在多种基准任务上显著优于现有方法。
2025-01-26 cs.AI cs.LG
Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning
Tsinghua University(清华大学)
针对情景强化学习中稀疏奖励与信用归因难题,本文提出 LLM 赋能的符号决策框架 LaRe,通过可执行代码生成多维 Latent Reward 并自验证,提升单智能体与多智能体信用分配效果。
2025-01-09 cs.AI cs.LG
Episodic Reinforcement Learning with Expanded State-reward Space
Xiamen University(厦门大学)
本文提出一种扩展状态-奖励空间的片段控制强化学习框架,通过将检索历史状态与蒙特卡洛回报分别融入输入状态和即时奖励,提升样本效率并缓解 Q 值高估,在 Box2d 和 Mujoco 任务上验证了其优越性。
2024-01-19 cs.AI cs.LG
Continuous Episodic Control
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对情景控制仅限离散动作空间的局限,提出非参数化的Continuous Episodic Control(CEC),在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
Improved Corruption Robust Algorithms for Episodic Reinforcement Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
我们研究情节强化学习下未知的对抗腐败的奖励和转移概率的基础系统。我们提出了新的算法,与现有的结果相比(Lykouris等人,2020),在表格设置的总腐败方面实现严格更好的后悔界限。具体来说,首先,我们的后悔界限依赖于更精确的总回报腐败和过渡腐败的数值,而不仅仅是腐败事件的总数。其次,我们的遗憾界限是强化学习设置中第一个让腐败数量相对于$\min\{\sqrt{T}, \text{PolicyGapComplexity}\}$以相加方式而不是乘法方式出现的。我们的研究结果遵循一个通用的算法框架,结合腐败强大的政策消除元算法,插件奖励免费探索子算法。替换元算法或子算法可以扩展框架以解决具有潜在更多结构的其他损坏的设置。
2021-03-08 cs.AI cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University(清华大学);Nanjing University(南京大学);University of Alberta(阿尔伯塔大学);NetEase(网易)
深度协作多智能体强化学习(MARL)中的有效探索在复杂协调问题中仍然具有挑战性。在本文中,我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索,称为EMC。我们利用流行的因子分解MARL算法的洞察力,即“诱导”的个体Q值,即,用于本地执行的各个效用函数是本地动作观察历史的嵌入,并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此,我们使用个人Q值的预测误差作为协调探索的内在奖励,并利用情景记忆开发探索的信息经验,以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响,我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点,通过教学的例子,并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务,在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Differentially Private Episodic Reinforcement Learning with Heavy-tailed Rewards
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Wayne State University(韦恩州立大学);Microsoft Research(微软研究院)
针对仅具有限(1+v)阶矩的重尾奖励MDP,提出基于稳健均值估计的JDP与LDP价值迭代及策略优化框架,给出遗憾上下界并揭示其与次高斯隐私RL的本质差异。
2023-06-05 cs.AI cs.LG
Exploiting Multiple Abstractions in Episodic RL via Reward Shaping
University of Oxford(牛津大学);Banca d’Italia(意大利银行)
针对强化学习样本需求大的问题,提出基于MDP抽象层级的奖励塑造方法,利用抽象解指导复杂领域学习,设计要求低且容忍误差,保证最优收敛并经实验验证有效。
2023-08-04 cs.AI cs.LG
DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards
The University of Tokyo(东京大学);Google Research(谷歌研究院)
提出DEIR方法,通过条件互信息推导内在奖励并利用判别式前向模型实现,准确评估智能体探索行为,在MiniGrid和ProcGen上展现出更优的学习速度、泛化能力和适用性。
2023-05-18 cs.AI cs.IT cs.LG
Learning Long-Term Reward Redistribution via Randomized Return Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);BIMSA(北京雁栖湖应用数学研究院);AIR, Tsinghua University(清华大学智能产业研究院);HeliXon Limited(华深智药)
强化学习的许多实际应用要求智能体从稀疏和延迟的奖励中学习。它挑战代理人将其行为归因于未来结果的能力。在本文中,我们考虑的问题制定的情节强化学习与轨迹反馈。它是指奖励信号的极端延迟,其中智能体只能在每个轨迹的末端获得一个奖励信号。一个流行的范例,这个问题的设置是学习与设计的辅助密集奖励函数,即代理奖励,而不是稀疏的环境信号。在此基础上,提出了一种新的奖励再分配算法--随机返回分解(RRD),用于学习情景强化学习的代理奖励函数.我们建立了一个替代问题的蒙特卡罗抽样,规模最小二乘为基础的奖励再分配的长期问题。我们分析了我们的代理损失函数与现有的方法在文献中,这说明了我们的方法的算法特性。在实验中,我们广泛评估我们提出的方法在各种基准任务与情节奖励,并表现出大幅改善基线算法。
2022-03-17 cs.AI cs.LG stat.ML
Ecological Reinforcement Learning
University of California Berkeley(加州大学伯克利分校)
目前关于强化学习的大部分工作都是研究情景设置,在情景设置中,智能体在试验之间被重置为初始状态分布,通常具有良好的奖励函数。非情景设置,其中代理必须通过与世界的连续交互而无需重置来学习,并且其中代理仅接收延迟和稀疏的奖励信号,这实际上更加困难,但是考虑到现实世界的环境,可以说更现实,不向学习者提供方便的“重置机制”和容易的奖励塑造。在本文中,我们没有研究可以解决这种非情景和稀疏奖励设置的算法改进,而是研究了可以使这种条件下的学习更容易的环境属性。了解环境的属性如何影响强化学习代理的性能可以帮助我们以使学习易于处理的方式构建任务。我们首先讨论我们称之为“环境塑造”的东西--对环境的修改提供了奖励塑造的替代方案,并且可能更容易实施。然后,我们讨论了一个更简单的属性,我们称之为“动态”,它描述了环境变化的程度独立于代理的行动,可以通过环境过渡熵来衡量。令人惊讶的是,我们发现,即使是这种属性也可以大大减轻与稀疏奖励设置中的非情景RL相关的挑战。我们提供了一组新的任务,专注于非情景学习稀疏奖励的实证评估。通过这项研究,我们希望将社区的重点转移到分析环境的属性如何影响学习以及通过RL学习的最终行为类型。
2020-06-22 cs.AI cs.LG stat.ML
Episodic Curiosity through Reachability
Google Brain(谷歌大脑);DeepMind(深度思维);ETH Zürich(苏黎世联邦理工学院)
在现实世界中,奖励是稀疏的,今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是,受动物好奇行为的启发,观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法,利用情景记忆形成新奇奖金。为了确定奖金,将当前观察与内存中的观察进行比较。至关重要的是,这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题,以前的工作-当代理人找到一种方法,立即满足自己利用行动,导致难以预测的后果。我们在ViZDoom,DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中,我们的代理优于最先进的好奇心方法ICM。在MuJoCo中,一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG
Episodic Future Thinking Mechanism for Multi-agent Reinforcement Learning
Soongsil University(崇实大学);School of Electronic Engineering(电子工程学院)
本文提出情景式未来思考机制,通过多角色策略推断其他智能体角色并预测其未来动作,从而在多智能体交互中自适应决策,实验表明其奖励优于现有多智能体方法。
2024-10-22 cs.AI cs.LG cs.MA
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley(加州大学伯克利分校)
虽然深度强化学习的最新进展使机器人能够学习复杂的行为,但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中,我们提出了一个有效的奖励塑造方法,通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造,我们可以获得了解环境结构和动态的奖励信号。特别是,我们的方法通过提供奖励信号来实现更好的学习,这些奖励信号1)理解环境动态2)强调对学习最有用的特征3)通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性,并且我们表明,通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research NYC(微软研究院纽约市分部);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题,提出结合乐观探索与动作消除的框架,在无腐败时保持近最优遗憾,并能优雅适应未知腐败水平,首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Reward-Predictive Clustering
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Carney Institute for Brain Science(卡尼脑科学研究所);Brown University(布朗大学)
最近在重复学习研究方面的进展已经证明了在构建算法方面取得了令人印象深刻的成果,这些算法可以在复杂任务中超越人类。尽管如此,创建能够构建其经验的抽象以加速新环境中的学习的重复学习系统仍然是一个活跃的研究领域。以前的工作表明,奖励预测状态抽象实现了这一目标,但只适用于表格设置。在这里,我们提供了一个聚类算法,使这种状态抽象应用到深度学习设置,提供代理的输入,保留预测奖励序列的能力压缩表示。收敛定理和模拟表明,由此产生的奖励预测深度网络最大限度地压缩了智能体的输入,大大加快了高维视觉控制任务的学习速度。此外,我们提出了不同的泛化实验,并分析了在哪些条件下,预先训练的奖励预测表示网络可以在不重新训练的情况下重复使用,以加速学习-一种系统的分布外转移形式。
2022-11-07 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI(索尼人工智能研究院);Birkbeck, University of London(伦敦大学伯贝克学院)
深度强化学习(RL)涉及使用深度神经网络(DNN)来做出顺序决策,以最大化奖励。对于许多任务来说,深度强化学习策略产生的动作序列可能很长,人类很难理解。人类解释的一个关键组成部分是选择性,即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解,并生成一组简洁的指令来帮助未来代理的学习。为此,我们使用了一个深度RL代理与情景记忆系统,以确定和叙述在政策执行过程中的关键决策。我们表明,这些决策形成了一个简短的、人类可读的解释,也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Reconciling Rewards with Predictive State Representations
Northeastern University(东北大学)
预测状态表示(PSR)是受控非马尔可夫观测序列的模型,其表现出相同的生成过程,而不依赖于潜在的潜在状态。在这方面,PSR与相应的POMDP无法区分。然而,众所周知,PSR忽略了奖励的概念,这破坏了PSR模型在控制、规划或强化学习方面的通用性。因此,我们描述了一个充分和必要的准确性条件,它决定了PSR是否能够准确地建模POMDP奖励,我们表明,即使不满足准确性条件,奖励也可以近似,我们发现,从一个著名的第三方存储库中获取的非平凡数量的POMDP不满足准确性条件。我们提出了奖励预测状态表示(R-PSRs),这是对PSRs的一种推广,它可以准确地对观测和奖励进行建模,并为R-PSRs开发了值迭代。我们发现,有一个最佳POMDP政策和最佳PSR政策来自近似奖励之间的不匹配。另一方面,最佳R-PSR策略与最佳POMDP策略完美匹配,重新确认R-PSR是准确的无状态观察和奖励生成模型。
2021-06-07 cs.AI cs.LG
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland(马里兰大学);Microsoft Research(微软研究院);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束,并设置硬约束(背包)。在约束强化学习中,以前的大多数工作都局限于线性约束,剩下的工作集中在可行性问题或单集设置上。我们的实验表明,该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning
Stanford University(斯坦福大学)
虽然强化学习(RL)提供了一个通过试错进行学习的框架,但将RL算法转化为现实世界仍然具有挑战性。现实世界应用的一个主要障碍来自于在情景设置中开发算法,在情景设置中,每次试验后环境都会重置,与人类和机器人等具体代理遇到的现实世界的连续性和非情景性相反。以前的作品已经考虑了一种交替的方法,其中向前的政策学习解决任务和向后的政策学习重置环境,但什么样的初始状态分布应该向后的政策重置代理?假设访问几个示范,我们提出了一个新的方法,MEDAL,培训落后的政策,以配合国家分布在提供的示范。这使代理接近任务相关的状态,允许向前策略的简单和困难的起始状态的混合。我们的实验表明,MEDAL在EARL基准测试中的三个稀疏奖励连续控制任务上匹配或优于先前的方法,在最困难的任务上获得了40%的收益,同时比先前的工作做出了更少的假设。
2022-05-11 cs.AI cs.LG cs.RO
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind(深度思维);Google(谷歌)
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP(即奖励和动态在一些已知特征中是线性的),我们提供了第一个有限样本OPE误差界,将现有结果扩展到情节和折扣情况之外。在一个更一般的设置,当特征动态近似线性和任意奖励,我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题,找到最大熵分布的经验动力学下匹配功能的期望。我们表明,这导致指数族分布,其充分的统计特征,并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Task-Aware Exploration via a Predictive Bisimulation Metric
Department of Automation, Xiamen University, Xiamen, China(自动化系,厦门大学);Department of Computer Science, Beijing Normal-Hong Kong Baptist University, Zhuhai, China(计算机科学系,北京师范大学-香港 Baptist大学);School of Artificial Intelligence, Xian Jiaotong University, Xian, China(人工智能学院,西安交通大学);College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学)
TEB通过预测双模拟度量实现任务感知探索,有效解决稀疏奖励下视觉强化学习中的探索难题。
2026-02-21 cs.AI
Learning To Explore With Predictive World Model Via Self-Supervised Learning
Institute of Computing, State University of Campinas(坎皮纳斯州立大学计算研究所);Faculty of Electrical and Computer Engineering, State University of Campinas(坎皮纳斯州立大学电气与计算机工程学院)
针对自主智能体难以依赖人工任务与奖励的问题,提出基于自监督预测性世界模型和内在动机的探索方法,在18款Atari游戏中展现出优于现有方法的复杂行为学习能力。
2025-02-18 cs.AI cs.LG
Policy Gradient with Kernel Quadrature
Mathematical Institute, University of Oxford(牛津大学数学研究所);CyberAgent, Inc.(CyberAgent公司)
本文提出一种基于核二次积分的策略梯度方法,通过选择代表性样本加速奖励评估,提升策略梯度迭代效率。
2023-12-05 cs.AI cs.LG
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics(地平线机器人(Horizon Robotics))
最大熵(MaxEnt)RL最大化原始任务奖励和熵奖励的组合。据信,熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家(SAC)进行各种消融研究,进一步研究熵作为内在奖励。我们的研究结果表明,在一般情况下,熵奖励应谨慎应用于政策评估。一方面,熵奖励,像任何其他内在奖励一样,如果管理不当,可能会掩盖主要任务奖励。我们确定了一些失败的情况下,特别是在情节马尔可夫决策过程(MDPs),它可能会导致政策过于乐观或悲观的熵奖励。另一方面,我们的大规模实证研究表明,在政策改进中单独使用熵正则化,比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果,我们建议将熵奖励标准化为零均值(SACZero),或者简单地将其从策略评估中删除(SACLite)以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
Verifying Meta-Awareness via Predictive Rewards in Reasoning Models
Yoonjeon Kim, Doohyuk Jang, Eunho Yang
提出 MAPR 方法,利用自生成任务预测推理统计量(长度、通过率、概念)来增强模型的元意识,从而在多个数学推理基准上显著提升准确率和训练效率。
2026-05-31 cs.AI cs.LG
Temporal Representations for Exploration: Learning Complex Exploratory Behavior without Extrinsic Rewards
Mila-Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);Princeton University(普林斯顿大学)
本文提出一种基于时间对比表示的探索方法,通过优先选择不可预测未来结果的状态,实现复杂探索行为的学习,无需外在奖励。
2026-04-19 cs.AI cs.LG
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University(布朗大学)
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应,甚至在他们有重要的合作经验之前。因此,重要的是,学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans(COACH)算法在三种不同反馈方式下的性能,即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型,我们发现COACH可以表现得次优。我们提出了一个变种的教练,情节教练(电子教练),我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较:Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning
The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);Google Research(谷歌研究院)
深度强化学习(RL)研究的进展在很大程度上是由基准任务环境实现的。然而,分析这些环境的性质往往被忽视。特别是,我们仍然没有合适的方法来衡量任务的难度或可解决性,因为每个任务都有根本不同的动作,观察,动态,奖励,并且可以用不同的RL算法来解决。在这项工作中,我们提出了政策信息容量(PIC)-政策参数和情节回报之间的互信息-和政策最优信息容量(POIC)-政策参数和情节最优性之间-作为两个环境不可知,算法不可知的任务难度的定量指标。通过评估我们在玩具环境中的指标以及OpenAI Gym和DeepMind Control Suite的连续控制基准任务,我们实证证明,这些信息理论指标与标准化任务可解决性分数的相关性高于各种替代方案。最后,我们表明,这些指标也可以用于快速和计算效率的优化关键设计参数,如奖励塑造,政策架构,和MDP属性更好的解决方案,由RL算法,而无需运行完整的RL实验。
2021-05-31 cs.AI cs.LG stat.ML
FutureWorld: A Live Reinforcement Learning Environment for Predictive Agents with Real-World Outcome Rewards
College of Software, Nankai University(南开大学软件学院);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);IIIS, Tsinghua University(清华大学智能系统与信息工程研究院);Zhongguancun Academy, Beijing, China(北京中关村学院)
本文提出FutureWorld,一个实时强化学习环境,通过闭环预测、结果实现与参数更新,提升预测准确性与校准能力。
2026-05-15 cs.AI cs.LG
Flexible Locomotion Learning with Diffusion Model Predictive Control
Kempner Institute, Harvard University(凯普纳研究所,哈佛大学)
针对足式运动控制中无模型RL策略难适配、经典MPC依赖精确动力学模型的问题,提出Diffusion-MPC,以扩散模型为动力学先验,结合奖励约束优化及交互式训练,实现无需重训练的测试阶段灵活适配,在真实场景验证了有效性。
2025-10-05 cs.AI cs.RO
Reinforcement Learning in Reward-Mixing MDPs
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Research(微软研究院);Technion(以色列理工学院);NVIDIA(英伟达)
在部分可观测系统中学习接近最优的策略仍然是当代强化学习中一个难以捉摸的挑战。在这项工作中,我们考虑情节强化学习在奖励混合马尔可夫决策过程(MDP)。在那里,在每一集开始时,从多个可能的奖励模型中的一个中提取奖励函数,但是所选择的奖励模型的身份不向代理透露。因此,潜在的状态空间,其动力学是马尔可夫的,不给代理。我们研究了两个奖励混合MDP的学习近最优策略的问题。与现有的方法,依赖于强有力的假设的动力学,我们不做任何假设,并研究问题的充分一般性。事实上,没有进一步的假设,即使是两个切换奖励模型,该问题需要几个新的想法超越现有的算法和分析技术的有效探索。我们提供了第一个多项式时间算法,发现一个$ε$ -最优策略后,探索$\tilde{O}(poly(H,ε^{-1}) \cdot S^2 A^2)$情节,其中$H$是时间范围和$S, A$是状态和动作的数量分别。这是第一个有效的算法,不需要任何假设,在部分观察的环境中,观察空间小于潜在的状态空间。
2022-01-31 cs.AI cs.IT cs.LG
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出动态模型预测屏蔽(DMPS),通过局部规划器与神经策略协同优化恢复动作,在保证可证明安全的同时减少保守性,收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
PDRL: Multi-Agent based Reinforcement Learning for Predictive Monitoring
University of Southern Queensland(南昆士兰大学);Wuhan University of Technology(武汉理工大学);Lingnan University(岭南大学)
本文提出多智能体预测式深度强化学习框架PDRL,结合DQN与BiLSTM监测生命体征等预测状态,在三项任务上超越基线并可迁移至交通、天气预测。
2023-09-20 cs.AI cs.LG
Model Predictive Adversarial Imitation Learning for Planning from Observation
Paul G. Allen School of Computer Science & Engineering(保罗·G·阿伦计算机科学与工程学院)
本文提出一种基于模型预测的对抗模仿学习方法,通过端到端学习从观察中规划,提升样本效率和鲁棒性。
2026-03-02 cs.AI cs.RO
Reward-Free Model-Based Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles(加州大学洛杉矶分校)
研究了基于模型的无报酬线性函数逼近的强化学习在情景马尔可夫决策过程中的应用。在此设置中,代理分两个阶段工作。在探索阶段,智能体与环境进行交互,并在没有奖励的情况下收集样本。在规划阶段,智能体被赋予特定的奖励函数,并使用从探索阶段收集的样本来学习一个好的策略。我们提出了一个新的可证明有效的算法,称为UCRL RFE下的线性混合MDP假设,其中的转移概率内核的MDP可以通过一个线性函数参数化的状态,动作,和下一个状态的三元组上定义的某些特征映射。我们发现,要获得$ε$ -最优的政策,任意奖励函数,UCRL-RFE需要在最多$\tilde{\mathcal{O}}(H^5d^2ε^{-2})$情节在探索阶段的样本。这里,$H$是片段的长度,$d$是特征映射的维度。我们还提出了一个变体的UCRL RFE使用伯恩斯坦型奖金,并表明它需要采样最多$\tilde{\mathcal{O}}(H^4d(H + d)ε^{-2})$,以实现$ε$ -最优的政策。通过构造一类特殊的线性Mixture MDP,我们还证明了对于任何无报酬算法,至少需要对$\tilde Ω(H^2dε^{-2})$集进行采样才能得到$ε$ -最优策略.我们的上限匹配的$ε$和$d$的依赖性,如果$H \ge d$的下限。
2021-12-31 cs.AI cs.LG math.OC
The impact of intrinsic rewards on exploration in Reinforcement Learning
University College London(伦敦大学学院)
本研究通过对比四种内在奖励机制在MiniGrid环境中的探索效果,发现状态计数在低维观测下最优,最大熵更稳健,而DIAYN技能多样性不促进探索。
2025-01-20 cs.AI cs.LG
Optimal Uniform OPE and Model-based Offline Reinforcement Learning in Time-Homogeneous, Reward-Free and Task-Agnostic Settings
UC Santa Barbara(加州大学圣巴巴拉分校)
这项工作研究了离线政策评估(OPE)问题与基于模型的方法(情节MDP)的一致收敛的统计限制,并提供了一个统一的框架,以实现最佳的学习几个动机良好的离线任务。统一OPE $\sup_Π|Q^π-\hat{Q}^π|<ε$是比逐点OPE更强的度量,并且在$Π$包含所有策略(全局类)时确保离线学习。在本文中,我们建立了一个$Ω(H^2 S/d_mε^2)$下界(基于模型的家庭)的全球一致OPE和我们的主要结果建立了$\tilde{O}(H^2/d_mε^2)$的上界的\emph{local}一致收敛,适用于所有\emph{near-empirically optimal}政策的MDP与\emph{stationary}过渡。这里$d_m$是最小边际状态-动作概率。关键是,在实现最佳速率$\tilde{O}(H^2/d_mε^2)$的亮点是我们的设计\emph{singleton absorbing MDP},这是一个新的尖锐的分析工具,与基于模型的方法。我们将这样一个基于模型的框架推广到新的设置:离线任务不可知和离线无奖励的最佳复杂度分别为$\tilde{O}(H^2\log(K)/d_mε^2)$($K$是任务的数量)和$\tilde{O}(H^2S/d_mε^2)$。这些结果提供了一个统一的解决方案,同时解决不同的离线RL问题。
2021-06-24 cs.AI cs.LG stat.ML
Recurrent Predictive State Policy Networks
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术研究所);University of Washington(华盛顿大学)
我们介绍了循环预测状态策略(RPSP)网络,这是一种循环架构,可以在部分可观察环境中从预测状态表示中获得见解,从而进行强化学习。预测状态策略网络由一个递归过滤器和一个反应策略组成,递归过滤器跟踪关于环境状态的信念,反应策略直接将信念映射到行动,以最大化累积奖励。递归滤波器利用预测状态表示(PSR)(Rosencrantz和Gordon,2004; Sun等人,2016年)通过建模预测状态-预测未来观测的分布,以历史和未来行动为条件。这种表示产生了丰富的一类统计上一致的算法(Hefny等人,2018)来初始化递归滤波器。预测状态充当信念状态的等价表示。因此,RPSP网络的策略组件可以是纯反应性的,简化了训练,同时仍然允许最佳行为。此外,我们还在训练过程中使用PSR解释,将预测误差纳入损失函数。整个网络(递归滤波器和反应策略)仍然是可微的,可以使用基于梯度的方法进行训练。我们使用基于奖励的策略梯度(Williams,1992)和基于预测误差的梯度下降的组合来优化我们的策略。我们展示了RPSP网络在部分可观测性下对OpenAI Gym的一组机器人控制任务的有效性。我们的经验表明,RPSP网络表现良好的存储器保存网络,如GRU,以及有限的内存模型相比,是整体性能最好的方法。
2018-03-05 cs.AI cs.LG stat.ML
Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究所)
最近在高维模型预测控制和具有学习动态和奖励模型的基于基于模型的强化学习中的工作已经求助于基于群体的优化方法,例如交叉熵方法(CEM),用于规划动作序列。为了决定要采取的行动,CEM根据动力学模型和奖励搜索具有最高回报的行动序列。动作序列通常从无条件高斯分布中随机采样,并在环境中进行评估。该分布迭代地向具有更高回报的动作序列更新。然而,这种规划方法可能非常低效,特别是对于高维动作空间。另一种方法是直接通过梯度下降来优化动作序列,但容易陷入局部最优。我们提出了一种方法来解决这个规划问题的交替CEM和梯度下降步骤中优化的动作序列。我们的实验表明,所提出的混合方法的收敛速度更快,即使是高维的动作空间,避免局部极小值,更好或等同于CEM的性能。本文所附的代码可在https://github.com/homangab/gradcem获得。
2020-04-19 cs.AI cs.LG cs.RO