Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Improved Corruption Robust Algorithms for Episodic Reinforcement Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们研究情节强化学习下未知的对抗腐败的奖励和转移概率的基础系统。我们提出了新的算法，与现有的结果相比（Lykouris等人，2020），在表格设置的总腐败方面实现严格更好的后悔界限。具体来说，首先，我们的后悔界限依赖于更精确的总回报腐败和过渡腐败的数值，而不仅仅是腐败事件的总数。其次，我们的遗憾界限是强化学习设置中第一个让腐败数量相对于$\min\{\sqrt{T}, \text{PolicyGapComplexity}\}$以相加方式而不是乘法方式出现的。我们的研究结果遵循一个通用的算法框架，结合腐败强大的政策消除元算法，插件奖励免费探索子算法。替换元算法或子算法可以扩展框架以解决具有潜在更多结构的其他损坏的设置。
2021-03-08 cs.AI cs.LG
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问，以使其执行更有效。在这项工作中，我们介绍了共享情景记忆（SEM）的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识，以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
MIR: Efficient Exploration in Episodic Multi-Agent Reinforcement Learning via Mutual Intrinsic Reward
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
MIR通过互惠内在奖励机制，提升多智能体强化学习中稀疏回合制奖励下的探索效率与团队协作性能。
2025-11-21 cs.AI cs.LG
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Model-Free Episodic Control with State Aggregation
Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Sul（南里奥格兰德联邦教育、科学与技术学院）
情景控制为强化学习提供了一种高样本效率的方法，同时强制执行高内存和计算要求。这项工作提出了一个简单的启发式减少这些要求，并应用到无模型情节控制（MFEC）。Atari游戏的实验表明，这种启发式成功地减少了MFEC的计算需求，同时没有产生显着的性能损失时，使用保守的超参数的选择。因此，在处理强化学习任务时，情景控制成为更可行的选择。
2020-08-21 cs.AI cs.LG cs.NE
Faster Deep Q-learning using Neural Episodic Control
Kanazawa University（金泽大学）
通过深度学习估计Q值的深度强化学习的研究近年来引起了研究者的兴趣。在深度强化学习中，重要的是有效地学习智能体通过探索环境收集的经验。我们提出了NEC 2DQN，提高了学习速度的一个穷人样本效率算法，如DQN通过使用良好的一个，如NEC在学习开始。在Pong的实验中，我们证明了它能够比Double DQN或N-step DQN更快地学习。
2018-06-03 cs.AI cs.LG
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta（阿尔伯塔大学）；Tsinghua University（清华大学）
情景记忆是一个心理学术语，指的是回忆过去特定事件的能力。我们认为，这种特殊类型的记忆的一个优点是，当记忆的信息被发现是有用的时，能够很容易地将信用分配给特定的状态。受这一想法的启发，以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及，我们提出了一种新的算法，该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习，优先记住那些被发现是有用的回忆later on.Critical状态，这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此，与用于外部存储器的大多数现有机制不同，在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Introspection-based Explainable Reinforcement Learning in Episodic and Non-episodic Scenarios
Universität Hamburg（汉堡大学）；UNSW Sydney（悉尼新南威尔士大学）
随着当今社会中机器人系统和人机环境的日益增多，理解机器人所采取的行动背后的推理变得越来越重要。为了增加这种理解，向用户提供关于为什么采取特定行动的解释。除其他效果外，这些解释提高了用户对其机器人合作伙伴的信任。创建这些解释的一个选项是基于内省的方法，该方法可以与强化学习代理结合使用，以提供成功的概率。这些可以反过来用于以人类可理解的方式推理代理所采取的行动。在这项工作中，这种基于内省的方法开发和评估的基础上进一步的情节和非情节的机器人模拟任务。此外，提出了一个额外的归一化步骤的Q值，这使得使用基于内省的方法在负的和相对较小的Q值。所获得的结果表明，情景机器人任务的内省的可行性，此外，基于内省的方法可以用来生成在非情景机器人环境中所采取的行动的解释。
2022-11-23 cs.AI cs.RO
Successor Feature Neural Episodic Control
RobotLearn（机器人学习实验室）；INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分院）；LJK（让·昆兹曼实验室）；UGA（格勒诺布尔阿尔卑斯大学）
本文提出将情景控制与后继特征及广义策略改进（SF&GPI）整合于单一强化学习框架，以实现快速学习与策略迁移，并实证表明该结合能提升样本效率并有效重用已学策略。
2023-08-02 cs.AI cs.LG
Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）
我们提供了改进的间隙依赖遗憾界的强化学习有限情节马尔可夫决策过程。与以前的工作相比，我们的界限取决于间隙的替代定义。这些定义是基于这样的认识，即为了实现有利的遗憾，算法不需要学习如何在最优策略未达到的状态下表现最优。我们证明了更严格的乐观算法的遗憾上限，并伴随着他们与新的信息理论的下界为一大类的MDP。我们的研究结果表明，乐观算法不能达到信息论的下限，即使在确定性的MDP，除非有一个唯一的最优策略。
2021-10-26 cs.LG
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束，并设置硬约束（背包）。在约束强化学习中，以前的大多数工作都局限于线性约束，剩下的工作集中在可行性问题或单集设置上。我们的实验表明，该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning
Stanford University（斯坦福大学）
虽然强化学习（RL）提供了一个通过试错进行学习的框架，但将RL算法转化为现实世界仍然具有挑战性。现实世界应用的一个主要障碍来自于在情景设置中开发算法，在情景设置中，每次试验后环境都会重置，与人类和机器人等具体代理遇到的现实世界的连续性和非情景性相反。以前的作品已经考虑了一种交替的方法，其中向前的政策学习解决任务和向后的政策学习重置环境，但什么样的初始状态分布应该向后的政策重置代理？假设访问几个示范，我们提出了一个新的方法，MEDAL，培训落后的政策，以配合国家分布在提供的示范。这使代理接近任务相关的状态，允许向前策略的简单和困难的起始状态的混合。我们的实验表明，MEDAL在EARL基准测试中的三个稀疏奖励连续控制任务上匹配或优于先前的方法，在最困难的任务上获得了40%的收益，同时比先前的工作做出了更少的假设。
2022-05-11 cs.AI cs.LG cs.RO
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功，包括围棋游戏和机器人应用。通常，这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而，在现实世界中，设计这样的奖励函数并不简单，并且唯一可用的信号通常是在轨迹的末端获得的，也称为情节奖励或返回。在这项工作中，我们引入了一个新的算法的时间信用分配，学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号，可以显著提高情景强化学习的学习效率。特别是，我们发现，表达语言模型，如Transformer可以用于学习的重要性和依赖性的状态的轨迹，从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验，一组MuJoCo连续机车控制任务，只有情节的回报，并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Optimism and Delays in Episodic Reinforcement Learning
Imperial College London（帝国理工学院）
本文从理论角度研究了情景强化学习中延迟反馈的影响，提出了两种处理延迟的通用方法，并证明了对乐观算法类，遗憾会增加一个涉及状态数、动作数、情景长度、预期延迟和算法相关常数的附加项，最后通过实证验证了理论结果。
2023-04-06 cs.LG
LECO: Learnable Episodic Count for Task-Specific Intrinsic Reward
Kakao Brain
情节计数已被广泛用于设计一个简单而有效的内在动机的强化学习与稀疏的奖励。然而，在高维状态空间中以及在长的情节时间上使用情节计数需要彻底的状态压缩和快速散列，这阻碍了在这种困难和复杂的探索环境中对其的严格利用。此外，来自任务无关的观察在情节计数的干扰可能会导致其内在动机，忽视任务相关的重要变化的状态，和新奇的情节方式可以导致重复重温熟悉的状态跨事件。为了解决这些问题，在本文中，我们提出了一个可学习的基于散列的情节计数，我们命名为LECO，有效地执行任务特定的内在奖励在硬探索问题。特别是，所提出的内在奖励包括情节新颖性和任务特定的调制，其中前者采用矢量量化的变分自编码器，以自动获得快速计数的离散状态码，而后者通过学习调制器来调节情节新颖性，以优化任务特定的外在奖励。所提出的LECO特别地使得在强化学习期间能够从探索自动过渡到利用。我们的实验表明，与以前的探索方法相比，LECO成功地解决了困难的探索问题，并通过在MiniGrid和DMLab环境中最困难的任务扩展到大的状态空间。
2022-10-11 cs.AI cs.LG
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning
Google Research（谷歌研究院）；NYU（纽约大学）；HKUST（香港科技大学）
汤普森抽样是上下文强盗最有效的方法之一，并已推广到某些MDP设置的后验抽样。然而，现有的用于强化学习的后验采样方法受到基于模型的限制，或者缺乏线性MDP之外的最坏情况理论保证。本文提出了一种新的无模型后验抽样公式，适用于更一般的情节强化学习问题的理论保证。我们引入了新的证明技术，以表明在适当的条件下，我们的后验抽样方法的最坏情况下的遗憾匹配的最佳已知的优化方法的结果。在线性MDP设置与尺寸，我们的算法的遗憾尺度与尺寸线性相比，现有的后验采样为基础的探索算法的二次依赖。
2022-08-23 cs.LG
Sample-Efficient Reinforcement Learning with Maximum Entropy Mellowmax Episodic Control
Imperial College London（帝国理工学院）
深度网络使强化学习能够扩展到更复杂和更具挑战性的领域，但这些方法通常需要大量的训练数据。另一种方法是使用样本有效的情景控制方法：神经启发算法，其使用非/半参数模型，基于存储和检索先前经历的过渡来预测值。进一步提高这些方法的样本效率的一种方式是使用更有原则的探索策略。因此，在这项工作中，我们提出了最大熵mellowmax情节控制（MEMEC），根据玻尔兹曼政策与状态相关的温度采样行动。我们证明了MEMEC在经典的强化学习环境和Atari游戏中优于其他基于不确定性和softmax的探索方法，实现了更快速的学习和更高的最终奖励。
2019-11-21 cs.LG cs.NE stat.ML
Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
KAIST（韩国科学技术院）
我们提出了Episodic Backward Update（EBU）-一种具有直接值传播的新型深度强化学习算法。与传统的使用均匀随机抽样的经验重放相比，我们的代理人对整个事件进行采样，并将状态的值连续传播到其先前的状态。我们的计算效率的递归算法允许稀疏和延迟的奖励直接传播通过采样集的所有过渡。我们从理论上证明了EBU方法的收敛性，并通过实验证明了它在确定性和随机环境中的性能。特别是在Atari 2600域的49个游戏中，EBU分别仅使用5%和10%的样本就实现了与DQN相同的平均和中值人类归一化性能。
2019-11-12 cs.LG stat.ML
Sample Complexity of Episodic Fixed-Horizon Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
最近，通过推导紧样本复杂度边界，在理解贴现无限时域马尔可夫决策过程（MDP）中的强化学习方面取得了重大进展。然而，在许多现实世界的应用中，交互式学习代理在固定或有限的时间段内运行，例如辅导学生考试或处理客户服务请求。这种情况下，往往可以更好地处理为情节固定地平线的MDP，只有宽松的边界上的样本复杂性存在。在这种情况下，样本复杂性的一个自然概念是保证高概率（PAC保证）的特定性能所需的事件数量。在本文中，我们推导出一个PAC的上限$\tilde O(\frac{|\mathcal S|^2 |\mathcal A| H^2}{ε^2} \ln\frac 1 δ)$和PAC的下限$\tilde Ω(\frac{|\mathcal S| |\mathcal A| H^2}{ε^2} \ln \frac 1 {δ+ c})$，匹配的对数项和一个额外的线性依赖的状态数$|\mathcal S|$。下限是第一个这种设置。我们的上限利用伯恩斯坦不等式，以改善以前的情节有限的地平线MDPs的时间范围依赖至少$H^3$的界限。
2016-05-11 cs.AI cs.LG stat.ML
Episodic Reinforcement Learning with Expanded State-reward Space
Xiamen University（厦门大学）
本文提出一种扩展状态-奖励空间的片段控制强化学习框架，通过将检索历史状态与蒙特卡洛回报分别融入输入状态和即时奖励，提升样本效率并缓解 Q 值高估，在 Box2d 和 Mujoco 任务上验证了其优越性。
2024-01-19 cs.AI cs.LG
Experience-Evolving Multi-Turn Tool-Use Agent with Hybrid Episodic-Procedural Memory
本文提出混合情景-程序记忆策略，通过动态重用部分重叠的成功经验，使多轮工具使用策略实现经验驱动的自我演化，提升多轮任务中的推理与执行效率。
2026-06-28 cs.AI cs.LG
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文考虑了多智能体强化学习（MARL）任务，其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配，以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战：识别（1）沿着事件长度（沿着时间）的状态的相对重要性，以及（2）在任何单个时间步（在代理之间）个体代理状态的相对重要性。在本文中，我们介绍了代理时间注意奖励再分配情节多智能体强化学习（AREL），以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响（时间注意力），以及每个代理在每个时间步如何受到其他代理的影响（代理注意力）。由AREL预测的重新分配的奖励是密集的，并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比，AREL在粒子世界中获得了更高的奖励，并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
Episodic Exploration for Deep Deterministic Policies: An Application to StarCraft Micromanagement Tasks
Facebook AI Research（Facebook人工智能研究院）
我们认为从实时战略游戏星际争霸的场景作为新的基准强化学习算法。我们提出了微观管理任务，这提出了短期的问题，低层次的控制军队成员在战斗中。从强化学习的角度来看，这些场景是具有挑战性的，因为状态-动作空间非常大，并且因为状态-动作评估函数没有明显的特征表示。我们描述了我们的方法来解决微观管理的情况下，深神经网络控制器从原始状态的游戏引擎提供的功能。此外，我们提出了一个启发式强化学习算法，它结合了直接探索的政策空间和反向传播。该算法允许使用确定性策略收集用于学习的轨迹，这看起来比例如ε-贪婪探索更有效。实验表明，使用该算法，我们成功地学习了多达15个代理的军队的情况下，其中Q学习和REINFORCE斗争的非平凡策略。
2016-11-26 cs.AI cs.LG
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分部）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题，提出结合乐观探索与动作消除的框架，在无腐败时保持近最优遗憾，并能优雅适应未知腐败水平，首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Is prioritized sweeping the better episodic control?
Laboratory of Computational Neuroscience（计算神经科学实验室）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Brain Mind Institute, School of Life Sciences, École polytechnique fédérale de Lausanne（洛桑联邦理工学院生命科学学院脑思维研究所）
情景控制已经被提出作为强化学习的第三种方法，除了无模型和基于模型的控制之外，通过类比人类记忆的三种类型。即情景记忆、程序记忆和语义记忆。但是，情景控制的理论性质还没有得到很好的研究。在这里，我表明，在确定性树马尔可夫决策过程中，情节控制相当于一种形式的优先扫描的样本效率以及内存和计算需求。对于一般的确定性和随机性环境，优先扫描执行更好，甚至当内存和计算需求被限制为等于情节控制。这些结果表明，优先扫描部分可观察的环境，其结合使用功能近似和搜索可能的实现优先扫描大脑的概括。
2018-08-09 cs.AI cs.LG
Detecting Rewards Deterioration in Episodic Reinforcement Learning
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
在许多RL应用中，一旦训练结束，尽快检测代理性能的任何恶化至关重要。此外，它往往必须在不修改政策的情况下进行，并在最低限度的环境假设下进行。在本文中，我们解决这个问题，直接专注于奖励和退化测试。我们考虑一个情节框架，其中每个情节内的奖励不是独立的，也不是相同的分布，也不是马尔可夫。我们提出这个问题作为一个多变量的均值漂移检测问题，可能部分观测。我们定义的均值漂移的方式对应于时间信号（如奖励）的恶化，并得出一个测试这个问题的最佳统计功率。从经验上讲，在控制问题（使用各种环境修改产生的）恶化的奖励，该测试被证明是更强大的比标准测试-通常由数量级。我们还提出了一种新的Bootstrap机制的虚警率控制（BFAR），适用于情节（非i.i. d）的信号，并允许我们的测试运行顺序在线的方式。我们的方法不依赖于环境的学习模型，完全在代理外部，实际上可以应用于检测任何情景信号的变化或漂移。
2021-10-28 cs.LG
Efficient Episodic Memory Utilization of Cooperative Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对合作多智能体强化学习训练慢、易陷入局部最优的问题，提出含可训练编解码结构和情景激励奖励的EMU方法，在两个基准上实现了优于SOTA的性能。
2024-03-07 cs.LG cs.MA
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London（帝国理工学院）
最近，已经开发了神经启发的情景控制（EC）方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数，它们可以快速学习，从类似的过去状态中检索缓存的值。在现实场景中，由于资源有限和数据嘈杂，在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是，EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案，这些问题的优先级和排名存储状态的基础上，以及在线聚类技术。我们还提出了一种新的动态在线k-means算法，既计算效率高，又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
Quantum Computing Provides Exponential Regret Improvement in Episodic Reinforcement Learning
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）
本文研究了用量子预言机求解\textit{episodic reinforcement learning}的态演化问题。为此，我们提出了一个基于\textit{Upper Confidence Bound}（UCB）的量子算法框架，以促进学习的有限时域MDP。与经典算法相比，我们的量子算法在后悔方面实现了指数级的改善，与$\Tilde{\mathcal{O}}(\sqrt{K})$ \footnote{$\Tilde{\mathcal{O}}(\cdot)$ hides logarithmic terms.}相比，我们的量子算法实现了$\Tilde{\mathcal{O}}(1)$的后悔，$K$是训练集的数量。为了实现这一优势，我们利用有效的量子平均估计技术，提供了二次改进的数量i.i.d.与经典的均值估计相比，估计亚高斯随机变量的均值所需的样本。这种改进是量子强化学习中显著改善遗憾的关键。我们在各种RL环境中提供了概念验证实验，这些实验反过来证明了所提出的算法框架的性能增益。
2023-02-16 cs.AI cs.LG cs.SY
Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出组合多变量多臂老虎机框架CMAB-MT及乐观CUCB-MT算法，应用于情节强化学习等，建立CMAB与情节RL的首个联系，实现匹配或改进的遗憾界。
2025-04-22 cs.LG
Adaptive Discretization for Episodic Reinforcement Learning in Metric Spaces
Cornell University（康奈尔大学）
我们提出了一个有效的算法无模型的情节强化学习大（潜在连续）的状态动作空间。我们的算法是基于一种新的$Q$的学习政策与自适应数据驱动的离散化。其核心思想是在历史轨迹中经常访问的区域中保持状态-动作空间的更精细分区，并且具有更高的收益估计。我们展示了我们的自适应分区如何利用最佳$Q$函数和联合空间的形状，而不牺牲最坏情况下的性能。特别是，我们恢复了连续的状态-动作空间，这还需要一个最佳的离散化作为输入，和/或访问模拟预言先前算法的遗憾保证。此外，实验证明了我们的算法如何自动适应问题的底层结构，从而产生更好的性能相比，并行和$Q$ -学习均匀离散化。
2019-10-31 cs.LG stat.ML
Neural Episodic Control
DeepMind
深度强化学习方法可以在各种环境中获得超人的性能。这些方法效率极低，通常需要比人类多几个数量级的数据才能达到合理的性能。我们提出了神经情景控制：一种深度强化学习代理，能够快速吸收新的经验并对其采取行动。我们的代理使用半表格表示的价值函数：一个缓冲区的过去的经验，包含缓慢变化的状态表示和快速更新的估计的价值函数。我们在广泛的环境中表明，我们的代理学习速度明显快于其他最先进的通用深度强化学习代理。
2017-03-06 cs.LG stat.ML
Continuous Episodic Control
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
针对情景控制仅限离散动作空间的局限，提出非参数化的Continuous Episodic Control（CEC），在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind（深度思维）
记忆是智力的一个重要方面，在许多深度强化学习模型中发挥作用。然而，在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面，几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中，我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集，从训练集不同的尺寸，我们建议是相关的评估内存特定的泛化。为此，我们首先构建了一组不同的记忆任务，使我们能够在多个维度上评估测试时的泛化。其次，我们开发和执行多个消融剂的架构，结合多个内存系统，观察其基线模型，并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
Open the Black Box: Step-based Policy Updates for Temporally-Correlated Episodic Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Tübingen（蒂宾根大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出 TCE 算法，在情景强化学习的参数空间策略更新中引入步信息，以兼顾平滑一致探索与基于步方法的数据效率。
2024-01-21 cs.LG cs.RO
A Unifying View of Optimism in Episodic Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（帝国理工学院）
面对不确定性时的乐观原则是许多理论上成功的强化学习算法的基础。在本文中，我们提供了一个通用的框架，设计，分析和实现这样的算法在情节强化学习问题。这个框架是建立在拉格朗日对偶，并证明了每一个模型乐观算法，构造一个乐观的MDP有一个等价的表示作为一个值乐观的动态规划算法。通常，人们认为这两类算法是不同的，模型乐观算法受益于更清晰的概率分析，而值乐观算法更容易实现，因此更实用。在本文中开发的框架，我们表明，它是可以得到最好的两个世界，通过提供一类算法，具有计算效率的动态编程实现，也是一个简单的概率分析。除了能够在表格设置中捕获许多现有的算法之外，我们的框架还可以在可实现的函数近似下解决大规模问题，其中它可以对最近提出的一些方法进行简单的基于模型的分析。
2020-07-03 cs.LG stat.ML
Latent Reward: LLM-Empowered Credit Assignment in Episodic Reinforcement Learning
Tsinghua University（清华大学）
针对情景强化学习中稀疏奖励与信用归因难题，本文提出 LLM 赋能的符号决策框架 LaRe，通过可执行代码生成多维 Latent Reward 并自验证，提升单智能体与多智能体信用分配效果。
2025-01-09 cs.AI cs.LG
Provably Efficient Reinforcement Learning in Continuous-Time Episodic MDPs with Poisson Decision Epochs
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
针对连续时间情节式MDP，在泊松决策时段和Lipschitz平滑假设下，扩展UCRL和Q-learning，证明$\widetilde{O}(T^{2/3})$遗憾界及匹配下界，实现最优速率。
2026-09-22 cs.LG
Differentially Private Episodic Reinforcement Learning with Heavy-tailed Rewards
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Wayne State University（韦恩州立大学）；Microsoft Research（微软研究院）
针对仅具有限(1+v)阶矩的重尾奖励MDP，提出基于稳健均值估计的JDP与LDP价值迭代及策略优化框架，给出遗憾上下界并揭示其与次高斯隐私RL的本质差异。
2023-06-05 cs.AI cs.LG
Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon
EDF R&D（法国电力公司研发部）；FIME（FIME实验室）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间范围连续时间线性二次强化学习问题的情景设置，其中的状态和控制系数是未知的控制器。我们首先提出了一个最小二乘算法的基础上连续时间的观察和控制，并建立了一个对数遗憾界的顺序$O((\ln M)(\ln\ln M))$，与$M$是学习情节的数量。分析包括两个部分：扰动分析，利用相关的里卡蒂微分方程的规律性和鲁棒性;和参数估计误差，它依赖于连续时间最小二乘估计的次指数特性。我们进一步提出了一个实际可实现的最小二乘算法的基础上离散时间的观察和分段常数控制，实现了类似的对数遗憾与一个额外的长期明确取决于在算法中使用的时间步长。
2022-06-17 cs.LG math.OC stat.ML
MoRe-ERL: Learning Motion Residuals using Episodic Reinforcement Learning
提出 MoRe-ERL 框架，通过 ERL 与基于 B 样条运动基元的残差学习优化参考轨迹，在样本效率、任务性能和 sim-to-real 部署上表现优异。
2025-10-19 cs.LG cs.RO
Ecological Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）
目前关于强化学习的大部分工作都是研究情景设置，在情景设置中，智能体在试验之间被重置为初始状态分布，通常具有良好的奖励函数。非情景设置，其中代理必须通过与世界的连续交互而无需重置来学习，并且其中代理仅接收延迟和稀疏的奖励信号，这实际上更加困难，但是考虑到现实世界的环境，可以说更现实，不向学习者提供方便的“重置机制”和容易的奖励塑造。在本文中，我们没有研究可以解决这种非情景和稀疏奖励设置的算法改进，而是研究了可以使这种条件下的学习更容易的环境属性。了解环境的属性如何影响强化学习代理的性能可以帮助我们以使学习易于处理的方式构建任务。我们首先讨论我们称之为“环境塑造”的东西--对环境的修改提供了奖励塑造的替代方案，并且可能更容易实施。然后，我们讨论了一个更简单的属性，我们称之为“动态”，它描述了环境变化的程度独立于代理的行动，可以通过环境过渡熵来衡量。令人惊讶的是，我们发现，即使是这种属性也可以大大减轻与稀疏奖励设置中的非情景RL相关的挑战。我们提供了一组新的任务，专注于非情景学习稀疏奖励的实证评估。通过这项研究，我们希望将社区的重点转移到分析环境的属性如何影响学习以及通过RL学习的最终行为类型。
2020-06-22 cs.AI cs.LG stat.ML
ReversedQ: Opportunities for Faster Q-Learning in Episodic Online Reinforcement Learning
University of Maryland（马里兰大学）
本文研究了在回合有限的马尔可夫决策过程（MDPs）中使用无模型Q学习的效率问题，提出了ReversedQ方法，通过改进价值函数更新顺序、更新频率和初始化来提升学习速度，实验表明其在多个任务中均优于现有方法。
2026-05-20 cs.LG
The Cell Must Go On: Agar.io for Continual Reinforcement Learning
AgarCL是一个基于Agar.io游戏的持续强化学习研究平台，用于评估不同算法在复杂动态环境中的表现和挑战。
2026-08-11 cs.AI cs.LG
Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task
School of Mathematics, South China University of Technology（华南理工大学数学学院）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）
研究认知功能的典型方法是在动物执行行为任务的训练期间记录动物神经元的电活动。一个关键的问题是，他们未能记录动物大脑中所有相关的神经元。为了缓解这个问题，我们开发了一个基于RNN的Actor-Critic框架，该框架通过强化学习（RL）进行训练，以解决两个类似于猴子决策任务的任务。训练后的模型能够再现动物大脑记录的神经活动的某些特征，或动物实验中表现出的某些行为特性，这表明它可以作为探索其他认知功能的计算平台。此外，我们对我们的框架进行了行为实验，试图探索神经科学中的一个悬而未决的问题：海马体中的情景记忆应该被选择来最终控制未来的决策。我们发现，在决策过程中，提取情景记忆中的显著事件比提取普通事件能有效地缩短审议时间。结果表明，存储在海马体中的显著事件可以优先传播奖励信息，从而使决策者能够更快地学习策略。
2021-01-24 cs.LG q-bio.NC
Online Episodic Convex Reinforcement Learning
Univ. Grenoble Alpes（格拉诺布尔大学）；Inria（法国国家科学研究中心）；CNRS（法国国家科学研究中心）；Grenoble INP（格拉诺布尔研究所）；LJK（实验室）；EDF Lab（EDF实验室）
本文研究在线回合式凸强化学习CURL，提出带变化约束集与探索奖励的在线镜像下降算法，在无转移先验下获得近最优遗憾，并首次解决仅含目标值反馈的老虎机版本。
2025-05-12 cs.LG stat.ML
