Episodic Memory Deep Q-Networks
Tsinghua University（清华大学）；Microsoft（微软）；Microsoft Research（微软研究院）
近年来，通过利用深度神经网络（DNN）的强大功能，强化学习（RL）算法取得了巨大进展。尽管取得了成功，但深度RL算法被认为是样本效率低下的，通常需要与环境进行多轮交互才能获得令人满意的性能。最近，基于情景记忆的强化学习由于其快速锁定好动作的能力而引起了人们的关注。在本文中，我们提出了一种简单而有效的生物启发RL算法，称为情景记忆深度Q网络（EMDQN），它利用情景记忆在训练过程中监督代理。实验表明，我们提出的方法可以导致更好的样本效率，更有可能找到好的政策。它只需要DQN的1/5的交互就可以在Atari游戏上实现许多最先进的性能，显著优于常规DQN和其他基于情景记忆的RL算法。
2018-05-19 cs.AI cs.LG stat.ML
Learning Self-Imitating Diverse Policies
UIUC（伊利诺伊大学厄巴纳-香槟分校）；UT Austin（德克萨斯大学奥斯汀分校）
深度强化学习的流行算法（如策略梯度和Q学习）的成功在很大程度上依赖于顺序决策过程中每个时间步的信息奖励信号的可用性。当奖励只有稀疏的情节期间，或奖励的反馈只提供后，情节终止，这些算法执行次优，由于难以在信用分配。或者，基于概率的策略优化方法，如交叉熵方法和进化策略，不需要每时间步的奖励，但已被发现遭受高样本复杂性完成放弃的时间性质的问题。因此，迫切需要提高RL算法在具有稀疏或偶发奖励的现实问题中的效率。在这项工作中，我们引入了一个自我模仿学习算法，利用和探索稀疏和情节奖励设置。我们认为每个政策作为一个国家行动的访问分布和制定政策优化作为一个分歧最小化问题。我们表明，与詹森-香农发散，这个发散最小化问题可以减少到一个政策梯度算法与形状的奖励从经验重放。实验结果表明，我们的算法的工作原理与现有的算法在密集的奖励环境，并显着更好的稀疏和情节奖励的环境。然后，我们讨论了自我模仿学习的局限性，并建议通过使用Stein变分策略梯度下降与Jensen-Shannon内核来学习多个不同的策略来解决这些问题。我们证明了它的有效性的一个具有挑战性的连续控制MuJoCo运动任务的变体。
2019-02-23 cs.LG stat.ML
VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory
School of Computing and Data Science, University of Hong Kong（计算与数据科学学院，香港大学）
VPWEM通过引入工作记忆和事件记忆，提升机器人在非马尔可夫任务中的动作生成性能。
2026-07-24 cs.AI cs.LG cs.RO
Adaptive Malware Detection using Sequential Feature Selection: A Dueling Double Deep Q-Network (D3QN) Framework for Intelligent Classification
Department of Computer Science and Engineering, Hamad Bin Khalifa University（计算机科学与工程系，哈马德·本·卡西姆大学）；Qatar Computing Research Institute, Hamad Bin Khalifa University（卡塔尔计算研究所，哈马德·本·卡西姆大学）
本文提出D3QN强化学习框架，将恶意软件分类建模为马尔可夫决策过程，通过自适应序列特征选择在Microsoft Big2015和BODMAS数据集上以极少特征实现高准确率和显著计算效率提升。
2025-07-06 cs.CR cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Open the Black Box: Step-based Policy Updates for Temporally-Correlated Episodic Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Tübingen（蒂宾根大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出 TCE 算法，在情景强化学习的参数空间策略更新中引入步信息，以兼顾平滑一致探索与基于步方法的数据效率。
2024-01-21 cs.LG cs.RO
Optimistic Q-learning for average reward and episodic reinforcement learning
Columbia University（哥伦比亚大学）
该研究提出一种乐观Q-learning算法，通过引入$\tilde{L}$算子解决平均奖励强化学习的遗憾最小化问题，其设定推广了回合式场景，还为两类场景的遗憾最小化提供了统一视角。
2025-06-16 cs.LG stat.ML
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Multi-Objective Reward and Preference Optimization: Theory and Algorithms
University of Southern California（南加州大学）
本论文提出多目标约束优化算法MOPO，通过理论与算法结合，提升约束强化学习在控制、偏好学习和大语言模型对齐中的性能与安全性。
2025-12-11 cs.LG
Counting to Explore and Generalize in Text-based Games
Microsoft Research（微软研究院）
我们提出了一个经常性的RL代理与情节探索机制，有助于发现良好的政策，在基于文本的游戏环境。我们在一组不同难度的基于文本的游戏中显示出了有希望的结果，其目标是收集位于房间链末端的硬币。与以前的基于文本的RL方法相比，我们观察到我们的代理学习策略，这些策略可以推广到更难的看不见的游戏。
2019-03-07 cs.CL cs.LG
Learning Policies with Zero or Bounded Constraint Violation for Constrained MDPs
Texas A&M University（德克萨斯农工大学）
我们解决了强化学习中的安全问题。我们提出的问题，在一个受约束的马尔可夫决策过程的情节框架。现有的结果表明，有可能实现$\tilde{\mathcal{O}}(\sqrt{K})$的奖励后悔，同时允许$K$事件中的$\tilde{\mathcal{O}}(\sqrt{K})$约束违反。出现的一个关键问题是是否有可能保持约束违反更小。我们表明，当一个严格安全的政策是已知的，然后可以限制系统的零约束违反任意高的概率，同时保持奖励遗憾顺序$\tilde{\mathcal{O}}(\sqrt{K})$。该算法采用乐观悲观的原则，在面对不确定性，以实现安全的探索。当没有严格安全的策略是已知的，虽然一个是已知的存在，那么它可以限制系统有界约束违反任意高的概率。这被证明是实现由一个原始的对偶算法，一个乐观的原始估计和悲观的双重更新。
2023-01-25 cs.LG
CopyCAT: Taking Control of Neural Policies with Constant Attacks
Google Research（谷歌研究院）；INRIA（法国国家信息与自动化研究所）；Université de Lille（里尔大学）
我们提出了一个新的视角对抗攻击深度强化学习代理。我们的主要贡献是CopyCAT，这是一种有针对性的攻击，能够始终如一地引诱代理遵循局外人的策略。它是预先计算的，因此可以快速推断，因此可以在实时场景中使用。我们显示其有效性Atari 2600游戏在小说只读设置。在这种情况下，对手不能直接修改代理的状态-它对环境的表示-但只能攻击代理的观察-它对环境的感知。直接修改代理的状态将需要一个写访问代理的内部工作，我们认为，这种假设是太强的现实设置。
2020-01-21 cs.CR cs.LG stat.ML
Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation
University of Oxford（牛津大学）
本文提出基于函数逼近和经验均值估计的网络通信方法，解决均值场博弈中去中心化智能体在大规模状态空间和群体依赖策略下的学习问题。
2025-12-22 cs.AI cs.GT cs.LG
Control with adaptive Q-learning
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；IDMEC, Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院 IDMEC）
本文评估自适应Q学习（AQL）和单分区自适应Q学习（SPAQL），有效的无模型情景强化学习（RL）的两种算法，在两个经典的控制问题（摆和Cartpole）。AQL自适应地划分马尔可夫决策过程（MDP）的状态-动作空间，同时学习控制策略。例如，从状态到动作的映射。AQL和SPAQL之间的主要区别在于后者学习时不变策略，其中从状态到动作的映射不显式地依赖于时间步长。本文还提出了SPAQL与终端状态（SPAQL-TS），一个改进的版本的SPAQL的调节器的控制问题的设计。在这两个问题的研究中，时不变的政策，结果在一个更好的性能比时变的。这些算法特别适合RL问题的行动空间是有限的，是与Cartpole问题的情况。SPAQL-TS解决了OpenAI Gym Cartpole问题，同时还显示出比信任域策略优化（TRPO）更高的样本效率，TRPO是一种用于解决控制任务的标准RL算法。此外，SPAQL学习的策略是可解释的，而TRPO策略通常被编码为神经网络，因此很难解释。SPAQL的主要优点是在样本高效的同时产生可解释的策略。
2020-11-03 cs.LG
SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL
Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
SPoRt提出基于安全基础策略的最大策略比率界限，结合场景方法与投影PPO，在无模型强化学习中实现可认证的安全训练与部署，并允许安全与性能间的权衡。
2025-06-23 cs.LG
TOP-ERL: Transformer-based Off-Policy Episodic Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对 ERL 难以评估完整动作序列价值、只能在策略训练的问题，提出 TOP-ERL，通过轨迹分段、Transformer critic 与 n-step 回报实现稳定离策略更新，并在机器人学习任务中显著超越现有 RL 方法。
2025-03-15 cs.LG cs.RO
Policy Gradient Methods for Distortion Risk Measures
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出策略梯度算法，在强化学习框架下最大化扭曲风险度量，分别适用于在线和离线策略设置，并推导了收敛性保证。
2024-02-05 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习中神经网络策略缺乏可解释性的问题，提出决策树策略优化（DTPO）算法，利用策略梯度直接优化完整决策树，实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
我们获得了全局，非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理（即，零和随机博弈）。我们考虑一个情节设置，在每一集中，每个玩家独立地选择一个策略，只观察自己的行为和奖励，以及状态。我们表明，如果两个球员运行策略梯度方法串联，他们的政策将收敛到最小-最大均衡的游戏，只要他们的学习率遵循两个时标规则（这是必要的）。据我们所知，这构成了第一个有限样本收敛的结果，独立的策略梯度方法在竞争性强化学习，以前的工作主要集中在集中，协调程序的平衡计算。
2021-01-11 cs.LG
Vision--Language Signals in Constrained RL: Safety Gains Without Anticipation
Iowa State University（爱荷华州立大学）
本文提出VLM-Safe-RL框架，将冻结的CLIP信号集成到PPO-Lagrangian中，在MetaDrive Hard上使灾难率从31.6%降至19.4%，但分析显示该信号不预判碰撞，安全提升源于其他机制。
2026-09-29 cs.LG
Curriculum-Based Adversarial Heterogeneous Agent Reinforcement Learning for Autonomous Quad-Copter Landing in Maritime Settings
Maastricht University（马斯特里赫特大学）
针对海上四旋翼无人机回收难题，提出基于课程学习和对抗风智能体的HAPPO强化学习方法，在分布外海况下显著提升成功率并降低坠毁率。
2026-09-14 cs.LG
Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes
Univ. of Pennsylvania（宾夕法尼亚大学）；Univ. de la República（共和国大学）
强化学习考虑的是在转移概率未知的马尔可夫决策过程中找到最大化预期累积奖励的策略的问题。在本文中，我们考虑的问题，找到最佳的政策，假设他们属于再生核希尔伯特空间（RKHS）。为此，我们计算无偏随机梯度的价值函数，我们使用的上升方向更新的政策。策略梯度型算法的一个主要缺点是，除非施加平稳性假设，否则它们仅限于偶发任务。因此，防止这些算法完全在线实现，这对于需要适应部署中的新任务和/或环境的系统是期望的属性。策略梯度算法工作的主要要求是在任何时间点的梯度的估计是初始价值函数的上升方向。在这项工作中，我们建立，确实是这种情况下，使显示的初始价值函数的临界点的在线算法的收敛。一个数值例子显示了我们的在线算法学习解决导航和监视问题的能力，其中代理必须在目标位置之间循环。这个例子证实了我们关于后继随机梯度上升方向的理论发现。它还展示了运行我们的在线算法的智能体如何成功学习导航，遵循不符合非情景训练文献中标准平稳性假设的持续循环轨迹。
2020-10-16 cs.LG cs.SY eess.SY
Provably efficient RL with Rich Observations via Latent State Decoding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, New York（微软研究院（纽约））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
我们研究的探索问题，在情节MDP丰富的观测产生的少量的潜在状态。在一定的可识别性假设下，我们演示了如何通过一系列回归和聚类步骤（以前解码的潜在状态为以后的回归问题提供标签）来估计从观测到潜在状态的映射，并使用它来构建良好的探索策略。我们提供有限样本保证学习状态解码功能和探索政策的质量，并补充我们的理论与一类硬探索问题的经验评估。我们的方法指数地改进了$Q$ -学习与天真的探索，即使当$Q$ -学习有欺骗访问潜在状态。
2021-09-09 cs.LG stat.ML
Safe Policies for Reinforcement Learning via Primal-Dual Methods
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们研究了安全策略的学习在强化学习问题的设置。这是，我们的目标是控制一个马尔可夫决策过程（MDP），我们不知道的转移概率，但我们有机会通过经验的样本轨迹。我们将安全性定义为在操作时间内代理以高概率保持在期望的安全集中。因此，我们考虑一个受约束的MDP的约束是概率。由于在强化学习框架中没有直接的方法来优化策略的概率约束，我们提出了一个遍历放松的问题。建议放宽的优点有三方面。(i)在执行偶发任务的情况下维持安全保障，在执行连续任务的情况下，安全保障保持在给定的时间范围内。(ii)约束优化问题尽管是非凸的，但如果策略的参数化足够丰富，则它具有任意小的对偶间隙。(iii)与安全学习问题相关联的拉格朗日函数的梯度可以使用标准策略梯度结果和随机近似工具来容易地计算。利用这些优势，我们建立了原始对偶算法能够找到安全和最优的策略。我们在一个连续域的导航任务中测试所提出的方法。数值结果表明，我们的算法是能够动态地适应环境和所需的安全级别的政策。
2022-01-12 cs.LG cs.SY eess.SY
FLARE: Fingerprinting Deep Reinforcement Learning Agents using Universal Adversarial Masks
Nokia Bell Labs（诺基亚贝尔实验室）；Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
本文提出FLARE，利用不可迁移的通用对抗掩码作为指纹，通过动作一致性验证深度强化学习策略的所有权，实验表明其能有效识别盗版副本且无误报，并对模型修改攻击具有鲁棒性。
2023-09-25 cs.CR cs.LG
Learning Near Optimal Policies with Low Inherent Bellman Error
Stanford University（斯坦福大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
我们研究了在低固有贝尔曼误差的概念下，情景强化学习中近似线性作用值函数的探索问题，这是一个通常用于显示近似值迭代收敛的条件。首先，我们将这个条件与其他常见的框架，并表明它是严格更普遍的比低秩（或线性）MDP假设先前的工作。其次，我们提供了一个算法的高概率遗憾界$\widetilde O(\sum_{t=1}^H d_t \sqrt{K} + \sum_{t=1}^H \sqrt{d_t} \IBE K)$，其中$H$是地平线，$K$是事件的数量，$\IBE$是值，如果固有的贝尔曼错误和$d_t$是在时间步长$t$的特征维数。此外，我们表明，结果是不可改进的超越常数和日志显示匹配的下限。这有两个重要的结果：1）它表明，探索是可能的，只使用\emph{batch assumptions}与算法，实现最佳的统计率为我们考虑的设置，这是更普遍的比以前的工作低秩MDP 2）缺乏封闭性（由固有的贝尔曼误差测量）只放大了$\sqrt{d_t}$，尽管在在线设置工作。最后，该算法减少到著名的\textsc{LinUCB}时，$H=1$，但具有不同的选择的探索参数，允许处理错误指定的上下文线性强盗。虽然计算易处理性问题对于MDP设置仍然是开放的，但这丰富了MDP类，其中可以使用统计上有效的强化学习的动作值函数的线性表示。
2020-06-28 cs.AI cs.LG
Auction-Based Online Policy Adaptation for Evolving Objectives
University of Pennsylvania（宾夕法尼亚大学）；IMDEA Software Institute（IMDEA软件研究所）
本文提出基于拍卖的模块化框架，通过自利局部策略和动态拍卖机制实现多目标强化学习中目标变化时的策略适应，证明了纳什均衡的存在性和有效性。
2026-05-10 cs.LG
Logarithmic Regret of Exploration in Average Reward Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
本文提出一种改进的规则替代Doubling Trick，使平均奖励马尔可夫决策过程中的探索遗憾降低至对数级别，提升算法性能。
2025-11-27 cs.LG stat.ML
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；DeepMind（深度思维）
我们考虑离线约束强化学习（RL）问题，其中智能体的目标是计算一个政策，最大化预期收益，同时满足给定的成本约束，学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的，在这些场景中，与环境的直接交互是昂贵的或有风险的，并且由此产生的策略应该符合安全约束。然而，计算保证满足离线RL设置中的成本约束的策略具有挑战性，因为偏离策略的评估本质上存在估计误差。在本文中，我们提出了一个离线约束RL算法，优化的政策在空间的平稳分布。我们的算法，COptiDICE，直接估计的平稳分布校正的最优策略的回报，同时限制成本上界，与实际的约束满足产生一个成本保守的政策的目标。实验结果表明，COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Policy Newton Algorithm in Reproducing Kernel Hilbert Space
Tsinghua University（清华大学）
本文提出RKHS中的策略牛顿方法，通过三次正则化辅助目标和表示定理将无限维二阶优化转化为有限维问题，实现局部二次收敛，并在RL基准上取得更快收敛和更高奖励。
2025-06-02 cs.AI cs.LG
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的问题，设计自主智能体，可以学习有效地与潜在的次优合作伙伴，而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏，其中第二个代理的行为，以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动，以尽快学习联合奖励函数，使联合策略尽可能接近最优？我们分析如何在这种交互式的两个代理的情况下，可以获得有关奖励函数的知识。我们表明，当学习代理的政策有显着的影响的过渡函数，奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington（惠灵顿维多利亚大学）
深度强化学习（DRL）是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者，因此在多智能体环境中研究DRL非常重要。以往的研究表明，在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而，每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作，并且每当代理改变其沟通渠道时，可能会出现样本效率低下的情况。为了解决这些问题，我们提出了一个新的框架，称为集中式培训和探索，通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下，我们将首先训练具有共享全局组件的代理策略，以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明，我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Reachability-Aware Diffusion Policy Optimization
Bilkent University（比尔肯大学）
提出无模型的可达性感知扩散策略优化方法，结合预测性首次命中安全估计与累积成本预算反馈，学习折扣首次命中可达性值塑造奖励，通过加权去噪回归改进扩散策略，在十个连续控制安全任务中实现有竞争力的奖励-成本权衡，显著减少约束违反。
2026-10-06 cs.LG cs.RO
Hierarchical Multi-agent Reinforcement Learning for Cyber Network Defense
Northeastern University（东北大学）；Dartmouth College（达特茅斯学院）
针对网络防御中策略空间大、部分可观测等挑战，提出融合领域知识的分层PPO架构，将防御任务分解为子任务训练子策略并由主策略协调，在CybORG Cage 4环境中多项指标优于基线。
2025-09-05 cs.CR cs.LG cs.MA
Consistent On-Line Off-Policy Evaluation
The Technion（以色列理工学院）
在线离线政策评估（OPE）的问题已被积极研究在过去的十年中，由于其重要性，无论是作为一个独立的问题，并作为一个模块，在政策改进计划。然而，大多数基于时间差分（TD）的解决方案忽略了行为和目标策略的静态分布之间的差异及其对函数逼近时收敛极限的影响。在本文中，我们提出了一致的非策略时间差（COP-TD（$λ$，$β$））算法，解决了这个问题，并减少了这种偏见，在一些计算费用。我们表明，COP-TD（$λ$，$β$）可以被设计为收敛到相同的值，将通过使用对政策TD（$λ$）与目标政策。随后，所提出的计划导致一个相关的和有前途的启发式，我们称之为log-COP-TD（$λ$，$β$）。这两种算法都有良好的经验结果，目前最先进的在线OPE算法。最后，我们的公式为最近提出的强调TD学习提供了一些新的启发。
2017-02-23 cs.LG stat.ML
Invariant Causal Imitation Learning for Generalizable Policies
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）
针对多环境模仿学习易受虚假相关影响、泛化差的问题，提出不变因果模仿学习ICIL，通过学习跨域不变因果特征表示、结合专家观测能量正则化，实现可泛化到未知环境的模仿策略，在控制与医疗任务上验证有效。
2023-11-02 cs.LG stat.ML
Nearly Optimal Latent State Decoding in Block MDPs
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们研究了情景块MDP中的模型估计和无奖励学习问题。在这些MDP中，决策者可以访问从少量潜在状态生成的丰富观察或上下文。我们首先感兴趣的是基于在固定行为策略下生成的数据来估计潜在状态解码函数（从观察到潜在状态的映射）。我们推导出一个信息理论上的出错率估计这个函数的下限，并提出了一个算法接近这个基本限制。反过来，我们的算法还提供了MDP的所有组件的估计。然后，我们研究的问题，学习近最优的政策在无奖励的框架。基于我们高效的模型估计算法，我们表明，我们可以推断出一个政策收敛（收集的样本的数量越来越大）的最佳政策在尽可能好的速度。有趣的是，我们的分析提供了必要和充分的条件下，利用块结构产生的样本复杂性的改进，以确定接近最优的政策。当满足这些条件时，极小极大无奖励设置中的样本复杂度通过乘法因子$n$来改进，其中$n$是可能的上下文的数量。
2023-02-24 cs.LG math.ST stat.ML
Beyond Fixed Morphologies: Learning Graph Policies with Trust Region Compensation in Variable Action Spaces
ROBOTICS – Institute for Robotics and Flexible Production, JOANNEUM RESEARCH Forschungsgesellschaft mbH（机器人研究所，JOANNEUM RESEARCH研究公司）
针对信任区域方法在可变动作空间维度下行为不明的问题，本文理论分析TRPO和PPO在KL散度或策略裁剪约束下的优化景观，并通过Gymnasium Swimmer环境实证评估形态泛化能力。
2025-08-16 cs.LG cs.RO cs.SY
Moments Matter:Stabilizing Policy Optimization using Return Distributions
Leibniz University Hannover（汉诺威莱布尼茨大学）；Intitute of Artificial Intelligence（人工智能研究所）；L3S Research Center（L3S研究中心）
本文提出利用回报分布的高阶矩来稳定策略优化，通过分布性批评机和偏度峰度修正，提升连续控制任务的稳定性，实验显示在Walker2D中稳定性提升达75%。
2026-01-05 cs.AI cs.LG
Learning Long-Context Diffusion Policies via Past-Token Prediction
Stanford University（斯坦福大学）
针对机器人长上下文策略训练成本高、性能易下降的问题，提出过去Token预测辅助任务与多阶段训练策略，还构建了测试时自验证机制，显著提升长上下文扩散策略性能并加速训练。
2025-05-19 cs.AI cs.LG cs.RO
Offline RL for Adaptive Policy Retrieval in Prior Authorization
Stanford University（斯坦福大学）
本文提出了一种基于离线强化学习的适应性政策检索方法，通过将检索过程建模为马尔可夫决策过程，提升了检索效率和准确性。
2026-04-06 cs.AI cs.CL cs.IR
Reinforcement Learning Algorithm Selection
Microsoft Research Maluuba（微软研究院 Maluuba）；Orange Labs（Orange 实验室）
本文形式化了强化学习背景下的在线算法选择问题。设置如下所示：给定一个情节任务和有限数量的非策略RL算法，元算法必须决定在下一个情节期间哪个RL算法处于控制中，以便最大化预期回报。本文提出了一种新的元算法，称为时代随机强盗算法选择（ESBAS）。它的原理是在每个时期冻结策略更新，并留下一个重新启动的随机强盗负责算法选择。在一定的假设条件下，充分的理论分析表明，考虑到结构抽样预算的限制，它的近最优性。ESBAS首先在对话任务上进行经验评估，在大多数配置中，它表现出优于每个单独的算法。然后ESBAS适应真正的在线设置，算法在每次转换后更新其策略，我们称之为SSBAS。SSBAS的水果收集任务，它被证明是适应步长参数更有效地比经典的双曲衰减，并在雅达利游戏，它提高了性能的大幅提高。
2017-11-14 cs.AI cs.LG math.OC
