Blending Imitation and Reinforcement Learning for Robust Policy Improvement
Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出 RPI 算法，基于性能在线估计在模仿学习与强化学习间动态交替，利用 RAPS 和 RPG 机制实现逐状态的策略选择与改进，有效解决了样本效率与 oracle 质量受限问题。
2025-08-11 cs.AI cs.LG stat.ML
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性，并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数：全局最优预言机可以将规划范围缩短为1，从而导致更容易优化的一步贪婪马尔可夫决策过程，而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此，我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发，我们提出了截断HORIZON策略搜索（THOR），一种专注于搜索策略的方法，最大限度地提高总重塑奖励在一个有限的规划范围内，当预言是次优的。我们的实验表明，基于梯度的实现的THOR可以实现优越的性能相比，RL基线和IL基线，即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
Policy Space Response Oracles: A Survey
The Alan Turing Institute（阿兰·图灵研究所）；Carnegie Mellon University（卡内基梅隆大学）；Delft University of Technology（代尔夫特理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Liverpool（利物浦大学）
本文综述了策略空间响应预言机（PSRO）框架，该框架通过聚焦策略子集提升大规模博弈的可扩展性，并探讨了策略探索、效率提升及应用，最后展望了开放问题。
2024-05-27 cs.AI cs.GT cs.MA
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York（纽约市哥伦比亚大学）
本文针对无模型LQR问题，提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法，将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Universal Trading for Order Execution with Oracle Policy Distillation
Microsoft Research Asia（微软亚洲研究院）
订单执行是算法交易中的一个基本问题，其目的是完成特定交易订单，无论是清算还是收购。为了实现有效的执行策略，近年来已经见证了从基于模型的市场假设的分析视角到无模型视角的转变，即，强化学习，由于其顺序决策优化的性质。然而，政策可以利用的嘈杂但不完美的市场信息使得建立样本有效的强化学习方法来实现有效的订单执行变得非常具有挑战性。在本文中，我们提出了一个新的通用的交易政策优化框架，以弥合之间的差距嘈杂但不完美的市场状态和订单执行的最佳行动序列。特别地，该框架利用策略蒸馏方法，该策略蒸馏方法可以更好地引导具有完美信息的oracle教师对公共策略的学习朝向实际上的最优执行，以近似最优交易策略。大量的实验表明，我们的方法在各种强基线上有了显着的改进，并采取了合理的交易行动。
2021-01-28 cs.LG q-fin.TR
Experience Augmentation: Boosting and Accelerating Off-Policy Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）
高维状态动作空间的探索是强化学习（RL）的最大挑战之一，特别是在多智能体领域。我们提出了一种称为经验增强的新技术，它可以在快速，公平和彻底探索环境的基础上实现时间效率和增强学习。它可以与任意非策略MARL算法相结合，适用于同构或异构环境。我们证明了我们的方法相结合，它与MADDPG和验证的性能在两个同质和异构环境。在性能最好的场景下，经验增强的MADDPG在1/4真实时间内达到了普通MADDPG的收敛效果，并且其收敛性明显优于原模型。我们的消融研究表明，经验增强是加速训练过程并促进收敛的关键因素。
2020-05-20 cs.AI cs.LG cs.MA
Simulation-Free PSRO: Removing Game Simulation from Policy Space Response Oracles
BUPT（北京邮电大学）
本文提出无需模拟的PSRO方法，通过动态窗口机制减少计算成本并提高鲁棒性。
2025-12-30 cs.AI cs.GT cs.MA
Oracle-Efficient Reinforcement Learning for Max Value Ensembles
University of Pennsylvania（宾夕法尼亚大学）
针对大规模状态空间强化学习挑战，提出一种仅需访问组成策略的ERM预言机的高效算法，以竞争最大跟随策略，并在机器人模拟测试平台上验证了其有效性。
2024-05-27 cs.AI cs.LG cs.SY
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Efficient Policy Space Response Oracles
Shanghai Jiao Tong University（上海交通大学）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；University College London（伦敦大学学院）；Shanghai Digital Brain Laboratory（上海数字大脑研究院）
策略空间响应预言方法（PSRO）提供了一种学习两人零和博弈中纳什均衡的通用解决方案，但存在两个缺点：（1）由于需要通过模拟进行一致的元博弈评估，计算效率低下;（2）由于在每个时期都要针对固定的元策略寻找最佳响应，探索效率低下。在这项工作中，我们提出了有效的PSRO（EPSRO），大大提高了上述两个步骤的效率。我们开发的核心是新引入的无限制限制（URR）游戏的无悔优化子程序。通过在每个时期求解URR，可以评估当前游戏并在一次向前传递中计算最佳响应，而无需元游戏模拟。理论上，我们证明了EPSRO的解决方案的程序提供了一个单调的改进，现有的PSRO方法不具备的可利用性。进一步证明了无遗憾优化的遗憾界为$\mathcal{O}(\sqrt{T\log{[(k^2+k)/2]}})$，其中$k$为受限策略集的大小.最重要的是，EPSRO的一个理想属性是它是可并行的，这允许在诱导行为多样性的策略空间中进行高效的探索。我们在三类游戏上测试了EPSRO，并报告了50倍的墙时间加速和10倍的数据效率，同时保持与Kuhn和Leduc扑克游戏上现有的PSRO方法相似的可利用性。
2022-06-01 cs.AI cs.GT cs.MA
Self-Improvement Imitation with Biologically Guided Search for Protein Design Under Oracle Budgets
Technical University of Munich（慕尼黑技术大学）；University of Applied Sciences Weihenstephan-Triesdorf（魏因斯坦-特里斯多夫应用科学大学）
提出SILO框架，通过层次化编辑策略、增量随机束搜索和UCB代理集成，在有限oracle预算下实现蛋白质序列优化，在8个蛋白质适应度景观上达到最优性能。
2026-05-26 cs.AI cs.LG q-bio.QM
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Which Experiences Are Influential for Your Agent? Policy Iteration with Turn-over Dropout
本文提出PI+ToD方法，通过在策略迭代中利用流失Dropout来高效估计强化学习中各经验对智能体性能的影响，并在MuJoCo环境中验证了其效率。
2023-05-22 cs.AI cs.LG
Keeping Minimal Experience to Achieve Efficient Interpretable Policy Distillation
Nanjing University（南京大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
虽然深度强化学习已经成为复杂控制任务的通用解决方案，但由于缺乏策略的安全保障，其实际应用仍然受到限制。为了解决这个问题，我们提出了边界表征通过最小经验保留（BCMER），端到端的可解释的政策蒸馏（IPD）框架。与以前的IPD方法不同，BCMER区分了经验的重要性，并保持了最小但关键的经验库，几乎没有损失的政策相似性。具体而言，拟议的BCMER包含两个基本步骤。首先，我们提出了一种新的多维超球面相交（MHI）方法，将经验点分为边界点和内部点，并保留关键的边界点。其次，我们开发了一个基于最近邻的模型来生成基于边界点的鲁棒性和可解释性的决策规则。大量实验表明，所提出的BCMER能够将经验量减少到1.4%~19.1%（当朴素经验计数为10 k时），并保持较高的IPD性能。在一般情况下，建议的BCMER是更适合的经验存储有限的制度，因为它发现的关键经验，并消除冗余的经验。
2022-03-02 cs.AI cs.LG
Safe and Robust Experience Sharing for Deterministic Policy Gradient Algorithms
Bilkent University（比尔肯特大学）
在高维连续任务中的学习是具有挑战性的，主要是当经验重放记忆非常有限时。我们为未来的非策略深度强化学习应用程序中的连续动作域中的确定性策略引入了一种简单而有效的经验共享机制，其中经验重放缓冲区的分配内存是有限的。为了克服从其他代理的经验学习引起的外推误差，我们方便我们的算法与一种新的政策外校正技术，没有任何行动概率估计。我们测试了我们的方法在挑战OpenAI Gym连续控制任务中的有效性，并得出结论，它可以在多个代理之间实现安全的体验共享，并且在重放内存严格受限时表现出强大的性能。
2022-07-27 cs.AI cs.LG
Model-Based Reinforcement Learning with Double Oracle Efficiency in Policy Optimization and Offline Estimation
Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）；The University of Hong Kong（香港大学）
本文提出一种新的算法，通过 log-barrier 和 log-determinant 正则化，在离线 oracle 效率的 episodic RL 中实现最优 regret 绑定，且 oracle 复杂度与状态和动作空间大小无关，适用于大规模和连续环境。
2026-05-01 cs.LG
UC-PSRO: Utility-Conditioned Policy-Space Response Oracles with a Communication-Dropout Curriculum for Game-Theoretic Course-of-Action Generation in Adversarial Swarms
Appsofa LLC（Appsofa有限责任公司）
该研究提出UC-PSRO方法，针对通信降级环境中对抗自适应对手的无人机集群，经实验发现其通信失活课程可提升任务鲁棒性，但效用条件化与PSRO自博弈会减慢收敛速度。
2026-08-18 cs.AI cs.MA
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization
The George Washington University（乔治华盛顿大学）
经验重放是离线强化学习（RL）方法的关键。通过记忆和重用过去不同策略的经验，经验重放显著提高了RL算法的训练效率和稳定性。实践中的许多决策问题自然涉及多个智能体，需要集中训练分散执行范式下的多智能体强化学习（MARL）。然而，现有的MARL算法往往采用标准的经验重放的过渡均匀采样，而不管他们的重要性。寻找针对MARL体验重播优化的优先采样权重还有待探索。为此，我们提出了MAC-PO，它制定了最佳的优先经验重放多智能体问题作为一个遗憾最小化的采样权重的过渡。这种优化是放松和解决使用拉格朗日乘子的方法，以获得封闭形式的最佳采样权重。通过最小化所产生的政策遗憾，我们可以缩小目前的政策和名义上的最优政策之间的差距，从而获得一个改进的多智能体任务的优先级计划。我们在Predator-Prey和StarCraft Multi-Agent Challenge环境中的实验结果证明了我们方法的有效性，具有更好的重播重要转换的能力，并且优于其他最先进的基线。
2023-02-28 cs.AI cs.LG cs.MA
Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions
Google（谷歌公司）
本文针对状态-动作价值函数线性可实现的MDP提出了一种样本与计算均高效的强化学习算法，通过多项式次数的回合和代价敏感分类预言机调用找到近最优策略，并在常数特征维度下显著降低了计算复杂度。
2024-10-03 cs.AI cs.LG
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
Google（谷歌）；DeepMind（深度思维）
本文提出代码空间响应预言机，利用大语言模型生成可解释的多智能体策略，通过代码生成任务提升策略的可解释性和复杂策略发现能力。
2026-03-10 cs.AI cs.GT cs.LG
SimuDICE: Offline Policy Optimization Through World Model Updates and DICE Estimation
Delft University of Technology（代尔夫特理工大学）
针对离线强化学习中分布不匹配与样本有限的问题，提出SimuDICE框架，结合世界模型与DICE估计优化模拟经验采样，以更少的样本和规划步骤实现可比性能且鲁棒性强。
2024-12-09 cs.AI cs.LG
PAnDR: Fast Adaptation to New Environments from Offline Experiences via Decoupling Policy and Environment Representations
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Northwestern Polytechnical University（西北工业大学）
深度强化学习（Deep Reinforcement Learning，DRL）是解决许多复杂决策问题的有效方法。然而，众所周知的弱点，在环境之间的泛化，阻止DRL代理在现实世界中的广泛应用。虽然最近已经取得了进展，大多数先前的作品假设足够的在线互动的培训环境，这在实际情况下可能是昂贵的。为此，我们专注于离线训练在线适应设置，其中代理首先从具有不同动态的环境中收集的离线经验中学习，然后在具有新动态的环境中执行在线策略适应。在本文中，我们提出了政策适应与解耦表示（PAnDR）的快速政策适应。在离线训练阶段，环境表示和策略表示分别通过对比学习和策略恢复来学习。通过互信息优化进一步细化表示，使其更加解耦和完整。利用学习的表示，策略动态价值函数（PDVF）[Raileanu等人，2020]网络被训练以近似来自离线体验的策略和环境的不同组合的值。在在线适应阶段，从新环境中收集的少量经验中推断出环境背景，通过相对于PDVF的梯度上升来优化策略。我们的实验表明，PAnDR优于现有的算法在几个代表性的政策适应问题。
2022-05-30 cs.AI cs.LG
Offline Constrained RLHF with Multiple Preference Oracles
University of Iowa（爱荷华大学）
本文基于多偏好Oracle研究离线约束强化学习，通过最大似然估计Oracle奖励并分析统计不确定性传播，将约束目标转化为KL-正则化拉格朗日函数，提出仅需对偶的算法以保证约束满足并提供有限样本性能保证。
2026-09-21 cs.LG
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Augmented Memory: Capitalizing on Experience Replay to Accelerate De Novo Molecular Design
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出增强记忆算法，将数据增强与经验回放结合以重复利用预言机评分，显著提升从头分子设计的样本效率，并在PMO基准的23项任务中19项上取得新最优。
2023-05-10 cs.LG q-bio.BM q-bio.QM
Oracle-Guided Masked Contrastive Reinforcement Learning for Visuomotor Policies
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）；College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）
提出OMC-RL框架，通过两阶段解耦（掩码Transformer对比学习表示+oracle教师引导策略学习），提升视觉运动策略的样本效率、渐近性能与泛化能力。
2025-10-07 cs.LG cs.RO
Experience Augmented Policy Optimization for LLM Reasoning
提出经验增强策略优化（EAPO），通过将先验RL优化策略作为动作级经验先验并在关键决策点选择性注入，配合自适应重要性采样，解决RLVR中采样成本高和经验利用不足问题，在多个基准上提升推理性能。
2026-07-23 cs.LG
Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning
Adyen
本文在Adyen支付处理的真实工业背景下，分析了结合非均匀探索与监督学习的回归预言机方法，发现其虽能提升性能，但会因奖励分布偏移和类别不平衡引发策略迭代的振荡效应，强调需开发更稳定的自适应算法。
2025-07-10 cs.IR cs.LG
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory（陆军研究实验室）；Washington State University（华盛顿州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
经验重放（ER）通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习（RL）算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER，但到目前为止，它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中，我们介绍了清醒梦的经验重放（LiDER），一个概念上的新框架，允许重放经验，利用代理的当前政策刷新。LiDER由三个步骤组成：首先，LiDER将代理移回过去的状态。其次，从这个状态，LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去，并且可以尝试不同的行为来遇到梦中的新体验。第三，LiDER存储和重用新的体验，如果它比代理先前体验的更好，即，来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略，多工作者RL算法;我们在这项工作中提出了一个案例研究，将LiDER应用于基于演员-评论家的算法。结果显示，LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta；Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出了一种理论框架，分析经验回放中偏差、方差和有限时间收敛性，揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
深度强化学习（RL）算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多，这导致低学习率。针对这一局限性，本文做出了两方面的贡献。首先，我们开发了一种算法，称为经验嫁接（EG），使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹，同时保持质量。其次，在EG的基础上，我们进一步开发了一个AutoEG代理，它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法（DDPG）相比，AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
AlgaeDICE: Policy Gradient from Arbitrary Experience
Google Research（谷歌研究院）；NYU（纽约大学）；University of Alberta（阿尔伯塔大学）
在强化学习（RL）的许多现实应用中，由于成本或可行性，与环境的交互受到限制。这对传统RL算法提出了挑战，因为最大回报目标涉及对策略样本的期望。我们引入了一个新的最大回报优化的配方，允许问题被重新表示的期望在一个任意的行为不可知和关闭政策的数据分布。我们首先得出这一结果，通过考虑一个正则化版本的双重最大回报目标，然后通过使用拉格朗日公式的线性规划特性的Q值，将我们的研究结果扩展到非正则化的目标。我们表明，如果辅助对偶变量的目标是最佳的，那么梯度的off-policy的目标正是政策上的策略梯度，没有任何使用的重要性加权。除了揭示这种方法的吸引力的理论特性，我们还表明，它提供了良好的实际性能。
2019-12-04 cs.AI cs.LG
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Automated Testing of LLM-Based Post Hoc Explainers Using Model Checking as an Oracle
Institut für Kommunikations- und Prüfungsforschung gGmbH（通信与测试研究院（非营利有限责任公司））；Simula Research Laboratory（Simula研究院）
本研究提出以概率模型检验为神谕、结合事后查询分类法，实现对基于LLM的事后解释器的自动化测试，在7个MDP环境中区分出不同规模LLM的解释可信度。
2026-09-01 cs.AI cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Correcting Experience Replay for Multi-Agent Communication
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（蒂宾根大学）
我们考虑使用多智能体强化学习（MARL）学习沟通的问题。一种常见的方法是使用从重放缓冲区采样的数据来学习离线策略。然而，过去接收的消息可能无法准确反映每个代理的当前通信策略，这使得学习变得复杂。因此，我们引入了一个“通信校正”，它占多智能体学习引起的观察到的通信的非平稳性。它的工作原理是重新标记接收到的消息，使其可能在通信者的当前策略下，从而更好地反映接收者的当前环境。为了说明代理商都是代理商和接收器的情况下，我们引入了一个有序的重新标记计划。我们的校正是计算效率高，可以与一系列的关闭政策的算法。我们在实验中发现，它大大提高了MARL系统在各种合作和竞争任务中学习的能力。
2021-02-28 cs.AI cs.LG cs.MA
Oracle Inequalities for Model Selection in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
在离线强化学习（RL）中，学习器利用先前记录的数据来学习好的策略，而无需与环境交互。在实践中应用这些方法的一个主要挑战是缺乏理论原则和实际工具来进行模式选择和评价。为了解决这个问题，我们研究了离线RL的模型选择问题与价值函数近似。学习者被赋予一个嵌套的模型类序列，以最小化平方贝尔曼误差，必须在这些模型类中进行选择，以实现类的近似和估计误差之间的平衡。我们提出了第一个离线RL模型选择算法，实现了极大极小速率最优的预言机不等式对数因子。该算法ModBE将候选模型类的集合和通用基础离线RL算法作为输入。通过使用一种新的单侧泛化测试连续消除模型类，ModBE返回一个具有遗憾缩放的策略，该策略具有最小完整模型类的复杂性。除了理论上的保证，它在概念上是简单的，计算效率高，相当于解决了一系列平方损失回归问题，然后比较类之间的相对平方损失。我们的结论与几个数值模拟表明，它是能够可靠地选择一个好的模型类。
2022-11-03 cs.AI cs.LG
Replay For Safety
经验重放\citep{lin1993reinforcement, mnih2015human}是一种广泛使用的技术，可以有效地使用数据并提高RL算法的性能。在经验重放中，过去的转换存储在存储器缓冲区中，并在学习期间重新使用。在以前的作品中已经提出了各种建议，从重放缓冲区的采样方案，试图最佳地选择那些经验，这将最有助于收敛到最佳的政策。在这里，我们给出了重放采样方案，将确保收敛的一些条件，专注于著名的Q-学习算法在表格设置。在建立了收敛的充分条件之后，我们转而建议经验重放的稍微不同的用法-以有偏见的方式重放记忆作为改变所产生的策略的属性的手段。我们开始严格的研究经验重放作为一种工具来控制和修改所产生的政策的属性。特别是，我们表明，使用适当的偏置抽样方案可以让我们实现一个\emph{safe}政策。我们认为，使用经验重放作为一种偏置机制，允许控制所产生的政策在理想的方式是一个想法，许多应用程序的潜力。
2021-12-08 cs.AI cs.LG
SaVeR: Optimal Data Collection Strategy for Safe Policy Evaluation in Tabular MDP
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究表格型 MDP 中带安全约束的数据收集策略评估问题，提出 SaVeR 算法近似安全预言机以高效收集数据，在满足安全约束下实现低均方误差的策略评估。
2024-06-04 cs.LG
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs
University of Kentucky（肯塔基大学）；University of Virginia（弗吉尼亚大学）；Ohio State University（俄亥俄州立大学）
本文针对低秩MDP提出高效Actor-Critic算法，通过监督学习建立RL oracle层级，证明算法在样本复杂度上优于现有方法，且避免了高成本的规划或优化 oracle。
2026-05-02 cs.LG
Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Tel Aviv University（特拉维夫大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
本文证明香草策略优化在随机上下文赌博机中无需探索奖励即可实现接近最优遗憾，并扩展出差分隐私版本，通过隐式探索机制和批量更新降低计算成本，实验验证其有效性。
2026-09-29 cs.LG
Provably Efficient $Q$-learning with Function Approximation via Distribution Shift Error Checking Oracle
Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
$Q$ -learning with function approximation is one of the most popular methods in reinforcement learning . Though the idea of using function approximation was proposed at least 60 years ago, even in the simplest setup, i.e, approximating $Q$ -functions with linear functions, it is still an open problem on how to design a provably efficient algorithm that learns a near-optimal policy. The key challenges are how to efficiently explore the state space and how to decide when to stop exploring in conjunction with the function approximation scheme. The current paper presents a provably efficient algor…
2019-11-04 cs.AI cs.LG math.OC
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University（纽约大学）；NYU Shanghai（上海纽约大学）
Soft Actor-Critic（SAC）是一种基于最大熵强化学习的离线Actor-Critic深度强化学习（DRL）算法。通过将非策略更新与参与者-批评者制定相结合，SAC在一系列连续动作基准任务上实现了最先进的性能，优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验（ERE），一个简单但功能强大的政策外采样技术，强调最近观察到的数据，同时不忘记过去。ERE算法从最近的经验中更积极地采样，并且还对更新进行排序，以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE，并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放（PER）结合起来，PER是一种最初为深度Q学习提出的方案，它基于时间差（TD）误差对数据进行优先级排序。我们发现，SAC+PER可以稍微提高SAC的样本效率性能，但远远低于SAC+ERE。最后，我们提出了一种算法，它集成了ERE和PER，并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Offline Constrained Reinforcement Learning under Partial Data Coverage
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文提出PDOCRL算法，通过分解线性规划公式实现约束强化学习，避免了需要数据生成分布的策略提取，提供近最优且可行的策略，具有$\widetilde{\mathcal O}(ε^{-2})$样本保证。
2026-05-12 cs.LG stat.ML
ExGRPO: Learning to Reason from Experience
University of Macau（澳门大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
ExGRPO通过组织和优先处理有价值的经验，提升大语言模型的推理性能并稳定训练过程。
2026-02-28 cs.AI cs.CL cs.LG
Learning from Scarce Experience
直接在策略空间中搜索最优策略已经成为解决部分可观测强化学习问题的一种流行方法。通常，目标策略的每一次更改，其值都是根据遵循该策略的结果来估计的。这需要与环境进行大量的互动，因为要考虑不同的政策。我们提出了一个家庭的算法的基础上的似然比估计，使用收集的数据时，执行一个政策（或政策的集合），以估计不同的政策的价值。该算法结合了估计和优化阶段。前者利用经验来构建优化函数的非参数表示。后者对该估计进行优化。我们展示了积极的实证结果，并提供了样本的复杂性界。
2002-04-20 cs.AI cs.LG cs.NE
Improved Soft Actor-Critic: Mixing Prioritized Off-Policy Samples with On-Policy Experience
School of Engineering（工程学院）；School of Information and Physical Sciences, University of Newcastle（纽卡斯尔大学信息与物理科学学院）
Soft Actor-Critic（SAC）是一种非策略的Actor-Critic强化学习算法，本质上基于熵正则化。SAC通过最大化预期回报和熵（策略中的随机性）之间的权衡来训练策略。它在一系列连续控制基准任务上实现了最先进的性能，优于之前的策略和非策略方法。SAC以脱离策略的方式工作，其中数据从过去的经验（存储在缓冲区中）中均匀地采样，使用策略和价值函数网络的参数来更新。我们提出了一些关键的修改，以提高SAC的性能，使其更有效的样本。在我们提出的改进SAC中，我们首先引入了一个新的优先级方案，用于从经验重放缓冲区中选择更好的样本。其次，我们使用优先的非策略数据与最新的策略数据的混合来训练策略和价值函数网络。我们比较我们的方法与香草SAC和SAC的一些最近的变种，并表明我们的方法优于上述算法基准。在MuJoCo环境中对一些连续控制任务进行测试时，它相对更稳定，样本效率更高。
2021-09-24 cs.LG cs.SY eess.SY
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习，其中许多因素动态地影响输出轨迹，期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而，平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个通用的基于方差减少的经验回放（VRER）框架，该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明，所提出的VRER可以加快学习的最优策略，提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出VRER框架，通过选择性重用信息样本减少策略梯度估计的方差，从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
