ReFill: Reinforcement Learning for Fill-In Minimization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Trade Desk（The Trade Desk公司）
提出基于图神经网络增强的强化学习框架ReFill，通过动态适应输入矩阵结构学习自适应排序策略以最小化高斯消元法中的填充，在减少填充方面优于传统启发式方法。
2025-01-30 cs.LG
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research NYC（微软研究院纽约市分部）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题，提出结合乐观探索与动作消除的框架，在无腐败时保持近最优遗憾，并能优雅适应未知腐败水平，首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
Polynomial Time Reinforcement Learning in Factored State MDPs with Linear Value Functions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）
实践中的许多强化学习（RL）环境以巨大的状态空间为特征，该状态空间可以由“因子化”结构来描述，该结构可以由因子化马尔可夫决策过程（FMDPs）来建模。我们提出了第一个多项式时间算法RL的因子状态MDPs（推广FMDPs），既不依赖于一个Oracle计划，也不需要一个线性过渡模型，它只需要一个线性价值函数与一个合适的本地基础上的因式分解，允许有效的变量消除。在这个假设下，我们可以通过构造一个有效的凸优化分离预言机，在多项式时间内求解这类分解状态MDP。重要的是，与FMDPs的先前工作相反，我们不假设各种因素的转换是有条件独立的。
2022-03-06 cs.LG
What can online reinforcement learning with function approximation benefit from general coverage conditions?
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文系统研究在线强化学习中一般覆盖条件的作用，提出多种新覆盖概念并证明其能带来改进的遗憾界，甚至在线性MDP下实现对数阶遗憾，为覆盖条件在高效在线RL中的应用提供了理论依据。
2023-05-31 cs.LG stat.ML
Regret Bound Balancing and Elimination for Model Selection in Bandits and RL
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了一个简单的模型选择方法的算法在随机强盗和强化学习问题。相对于先前的工作，（隐式）假设知识的最佳遗憾，我们只需要每个基础算法来与候选人遗憾界，可能会或可能不会举行在所有回合。在每一轮中，我们的方法都使用一个基本算法来保持所有剩余基本算法的候选遗憾界限的平衡，并消除违反其候选界限的算法。我们证明了这种方法的总遗憾是有界的最佳有效的候选人遗憾界乘以乘法因子。该因子在几个应用中相当小，包括具有嵌套函数类的线性Bandits和MDP、具有未知错误指定的线性Bandits以及应用于具有不同置信度参数的线性Bandits的LinUCB。我们进一步表明，在适当的间隙假设下，当轮数足够大时，该因子仅与基本算法的数量成比例，而不是其复杂度。最后，与最近在线性随机强盗模型选择方面的努力不同，我们的方法具有足够的通用性，可以覆盖由对抗环境而不是随机环境生成上下文信息的情况。
2020-12-24 cs.AI cs.LG stat.ML
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
强化学习（RL）的一个实际挑战是如何在面对新环境时快速适应。在本文中，我们提出了一个原则性的框架，自适应RL，称为\textit{AdaRL}，可靠和有效地适应跨域的变化与目标域的几个样本，即使在部分可观察的环境。具体来说，我们利用一个简约的图形表示，其特征在于在RL系统中的变量的结构关系。这种图形表示提供了一种紧凑的方式来编码跨域的变化是什么和在哪里，并进一步告知我们为了策略适应的目的而必须考虑的最小变化集。我们表明，通过明确利用这种紧凑的表示来编码变化，我们可以有效地适应目标域的政策，其中只需要几个样本，并避免进一步的政策优化。我们通过一系列实验说明了AdaRL的功效，这些实验改变了Cartpole和Atari游戏的观察，过渡和奖励功能。
2022-03-14 cs.AI cs.LG stat.ML
Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning
DeepMind（深度思维）
非策略强化学习算法有望适用于只有固定的环境交互数据集（批量）可用且无法获得新经验的环境。这一特性使得这些算法对机器人控制等现实问题具有吸引力。然而，在实践中，标准的非策略算法在用于连续控制的批量设置中失败。在本文中，我们提出了一个简单的解决这个问题。它允许使用由任意行为策略生成的数据，并使用学习的先验知识-加权行为模型（ABM）-将RL策略偏向于以前执行过的并且可能在新任务上成功的操作。我们的方法可以被看作是最近关于批量RL的工作的扩展，它可以从冲突的数据源中进行稳定的学习。我们在各种RL任务中发现了竞争基线的改进-包括标准连续控制基准和模拟和真实世界机器人的多任务学习。
2020-06-17 cs.LG cs.RO stat.ML
What can I do here? A Theory of Affordances in Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；DeepMind；Brown University（布朗大学）
强化学习算法通常假设所有动作对代理始终可用。然而，人和动物都理解环境特征与可行行动之间的一般联系。Gibson（1977）创造了“示能性”一词来描述这样一个事实，即在具体化的代理人的背景下，某些状态使代理人能够做某些动作。在本文中，我们开发了一个理论的启示代理人学习和计划在马尔可夫决策过程。在这种情况下，示能性起着双重作用。一方面，它们通过减少在任何特定情况下可用的行动数量，允许更快的规划。另一方面，它们有助于从数据中更有效和精确地学习过渡模型，特别是当这些模型需要函数近似时。我们建立这些属性，通过理论结果以及说明性的例子。我们还提出了一种学习启示的方法，并用它来估计更简单，更好地概括过渡模型。
2020-06-26 cs.AI cs.LG stat.ML
Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；IEG, Tencent（腾讯IEG）；School of Computer Science, Peking University（北京大学计算机学院）
本文从理论与实证两方面揭示了视觉强化学习中测试环境存在干扰物时影响泛化差距的关键因素，证明最小化训练与测试环境间的表征距离是缩小泛化差距的最核心手段，并在 DMC-GB 基准上验证了该结论。
2024-10-16 cs.AI cs.LG stat.ML
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Anderson Acceleration for Reinforcement Learning
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Google Brain（谷歌大脑）；Inria（法国国家信息与自动化研究所）
安德森加速是一种古老而简单的方法，用于加速不动点的计算。然而，据我们所知，令人惊讶的是，它从未被应用于动态规划或强化学习。在本文中，我们简要地解释了安德森加速是什么，以及它如何可以应用于值迭代，这是支持的初步实验显示了显着的收敛速度，我们批判性地讨论。我们还讨论了这个想法如何更普遍地应用于（深度）强化学习。
2018-09-25 cs.LG stat.ML
Balancing the Scales: Reinforcement Learning for Fair Classification
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Utrecht University（乌得勒支大学）
针对分类任务的公平性问题，本文提出利用强化学习，通过缩放奖励函数并适配三种RL算法至上下文多臂老虎机框架，来缓解不平衡分类中的偏差。
2024-07-15 cs.CL cs.CY cs.LG
Improved Corruption Robust Algorithms for Episodic Reinforcement Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们研究情节强化学习下未知的对抗腐败的奖励和转移概率的基础系统。我们提出了新的算法，与现有的结果相比（Lykouris等人，2020），在表格设置的总腐败方面实现严格更好的后悔界限。具体来说，首先，我们的后悔界限依赖于更精确的总回报腐败和过渡腐败的数值，而不仅仅是腐败事件的总数。其次，我们的遗憾界限是强化学习设置中第一个让腐败数量相对于$\min\{\sqrt{T}, \text{PolicyGapComplexity}\}$以相加方式而不是乘法方式出现的。我们的研究结果遵循一个通用的算法框架，结合腐败强大的政策消除元算法，插件奖励免费探索子算法。替换元算法或子算法可以扩展框架以解决具有潜在更多结构的其他损坏的设置。
2021-03-08 cs.AI cs.LG
Near-Optimal Reinforcement Learning with Shuffle Differential Privacy
College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）；Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）
针对现有RL差分隐私模型的信任风险或性能缺陷，本文提出洗牌差分隐私策略消除（SDP-PE）算法，通过指数批处理调度和遗忘机制平衡隐私与性能，实现近最优遗憾界，为网络系统安全决策提供新方案。
2025-11-17 cs.AI cs.CR cs.LG
What Matters in Reinforcement Learning for Tractography
Université de Sherbrooke（舍布鲁克大学）；École de technologie supérieure（高等技术学院）
本文系统探究了深度强化学习纤维束追踪框架中各组件（如RL算法、播种策略、输入信号和奖励函数）的影响，基于约7,400个模型的训练实验，总结了一系列实践建议，并开源了代码库、模型与数据集。
2023-05-17 cs.CV cs.LG
Uniform Last-Iterate Guarantee for Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；University of California Los Angeles（加州大学洛杉矶分校）；Peking University（北京大学）
针对现有强化学习指标仅评估累积性能、允许任意时刻采用差策略的问题，本文提出一致末轮迭代（ULI）保证指标，证明其强于传统指标，并给出多类老虎机及在线强化学习下的ULI可实现性结果与对应算法。
2024-10-31 cs.LG stat.ML
Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们致力于基于微观数据模型的强化学习（MBRL），通过使用固定（随机射击）控制代理严格比较流行的生成模型。我们发现，在需要多模态后验预测的环境中，混合密度网络的性能远远优于所有其他模型。当不需要多模态时，我们令人惊讶的发现是，我们不需要概率后验预测：确定性模型是平等的，事实上，它们始终（尽管不显着）优于概率模型。我们还发现，训练时的异方差性，也许作为一个正则化，提高了预测在更长的视野。在方法方面，我们设计的指标和实验协议，可用于评估各种模型，预测其渐近性能时，使用它们的控制问题。使用这个框架，我们使用通常考虑的超参数区间之外的积极训练时间表，将Acrobot上MBRL的最先进样本复杂度提高了2到4倍
2021-07-24 cs.LG
Regularizing Action Policies for Smooth Control with Reinforcement Learning
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
使用深度强化学习（RL）训练的控制器的实际效用的一个关键问题是RL策略学习的动作明显缺乏平滑性。这种趋势通常以控制信号振荡的形式出现，并可能导致控制不良、高功耗和不适当的系统损耗。我们引入了动作策略平滑性调节（CAPS），一种有效而直观的动作策略正则化，它提供了一致的改进，在神经网络控制器的学习状态到动作映射的平滑性，反映在消除控制信号中的高频分量。在真实系统上进行测试，四旋翼无人机上控制器平滑度的改进导致功耗降低近80%，同时持续训练飞行控制器。项目网址：http://ai.bu.edu/caps
2021-05-26 cs.LG cs.RO cs.SY
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University（南洋理工大学）；Mila - Quebec AI Institute（魁北克AI研究所）；National University of Singapore（新加坡国立大学）
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题，提升效率。
2026-02-11 cs.LG
Learning in games via reinforcement and regularization
CNRS (French National Center for Scientific Research)（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Wisconsin（威斯康星大学）
我们研究了一类强化学习动态，其中玩家根据他们的行动随时间的累积收益调整他们的策略-具体来说，通过玩混合策略来最大化他们的预期累积收益减去正则化项。一个被广泛研究的例子是指数强化学习，这是一个由熵正则化项引起的过程，它导致混合策略根据复制动力学进化。然而，与用于在随机虚拟游戏模型中定义平滑最佳响应的正则化函数类相反，本文中使用的函数在单纯形的边界处不需要无限陡峭;事实上，放弃这一要求会导致陡峭和非陡峭情况之间的重要二分法。在这个一般框架中，我们扩展了指数学习的几个性质，包括消除支配策略，严格纳什均衡的渐近稳定性，以及在具有内部纳什均衡的零和对策中时间平均轨迹的收敛性。
2016-02-08 cs.GT cs.LG math.OC
PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey（萨里大学）；Amazon Web Services（亚马逊云科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的形式的解释强化学习，基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明，这种性质的事后解释的一般方法是不可能在传统的强化学习。相反，解释所需的信息必须与培训代理人一起收集。我们得到的方法，旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法，并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
Deciding What to Model: Value-Equivalent Sampling for Reinforcement Learning
Stanford University（斯坦福大学）
典型的基于模型的自主学习代理迭代地改进其关于环境的真实底层模型的估计或先验信念。然而，最近在基于模型的强化学习与函数逼近方面的经验成功，避开了真正的模型，而倾向于替代模型，尽管忽略了环境的各个方面，但仍然有助于有效地规划行为。这种算法技术最近被形式化为价值等价原则，这可能是不可避免的，因为现实世界的强化学习需要考虑一个简单的、计算有限的代理与极其复杂的环境进行交互，其潜在的动态可能超过代理的表示能力。在这项工作中，我们考虑的情况下，代理的限制可能完全排除识别一个完全值等价的模型，立即产生一个权衡之间的识别模型是足够简单的学习，而只会引起有界次优。为了解决这个问题，我们引入了一种算法，使用率失真理论，迭代计算近似值等效，有损压缩的环境代理可能可行的目标，而不是真正的模型。我们证明了一个信息理论，贝叶斯后悔我们的算法，适用于任何有限的地平线，情节顺序决策问题。至关重要的是，我们的遗憾界限可以表示为两种可能的形式之一，提供了一个性能保证，找到最简单的模型，实现所需的次优差距，或者，最好的模型给定的代理能力的限制。
2022-10-30 cs.IT cs.LG math.IT
Sample-Efficient Reinforcement Learning with loglog(T) Switching Cost
UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了低（政策）切换成本的强化学习（RL）问题-现实生活中的RL应用程序，其中部署新的政策是昂贵的，政策更新的数量必须很低的问题。在本文中，我们提出了一种新的算法，基于阶段明智的探索和自适应的政策消除，实现了遗憾的$\widetilde{O}(\sqrt{H^4S^2AT})$，而需要的切换成本$O(HSA \log\log T)$。这是一个指数级的改善，在现有的方法与$\widetilde{O}(\mathrm{poly}(H,S,A)\sqrt{T})$遗憾的最著名的切换成本$O(H^2SA\log T)$。在上文中，$S,A$表示具有未知转移的$H$-水平情景马尔可夫决策过程模型中的状态和动作的数量，并且$T$是步骤的数量。作为我们的新技术的副产品，我们还得到了一个无奖励的探索算法的切换成本为$O(HSA)$。此外，我们证明了一对信息理论的下界说：（1）任何无遗憾算法必须有一个$Ω(HSA)$的切换成本;（2）任何$\widetilde{O}(\sqrt{T})$遗憾算法必须招致的切换成本$Ω(HSA\log\log T)$。因此，我们的算法是最佳的切换成本。
2022-06-04 cs.AI cs.LG stat.ML
Towards Deployable RL -- What's Broken with RL Research and a Potential Fix
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
强化学习（RL）已经展示了巨大的潜力，但目前充满了过度炒作和白日梦。我们指出目前研究的一些困难，我们认为这是社会所采取的方向特有的。对我们来说，目前的方向不太可能导致“可部署”的RL：RL在实践中工作，可以在实际情况下工作，但仍然是经济上可行的。我们还提出了一个潜在的修复该领域的一些困难。
2023-01-03 cs.LG stat.ML
Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't
本研究通过强化学习提升小型LLM的推理能力，展示了在有限资源下实现显著性能提升的可行性。
2026-01-20 cs.CL cs.LG
Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）；USTC（中国科学技术大学）；The Australian National University（澳大利亚国立大学）；Peking University（北京大学）；University of Macau（澳门大学）
该研究提出梯度对齐奖励（GAR）方法，在策略梯度空间中生成密集推理感知奖励，提升大语言模型在数学等基准上的推理性能，且无需领域特定数据即可迁移。
2026-09-04 cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
本文提出SCRL框架，通过选择性正伪标签和熵门控负伪标签减少标签噪声影响，提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond
University of Cambridge（剑桥大学）
本文从强化学习视角阐明RLHF的原理，指出其本质为在线逆强化学习，并探讨了RLHF优于SFT的原因、奖励模型作为反馈代理的泛化性及PPO的稳定性优势。
2023-10-09 cs.AI cs.LG
A Tutorial: An Intuitive Explanation of Offline Reinforcement Learning Theory
Department of Computer Science University of Alberta（计算机科学系阿尔伯塔大学）
本综述探讨了离线强化学习理论的关键直觉及其对算法设计的启示，分析了证明所需的函数表示与数据覆盖条件、不可解反例及充分条件，以揭示算法局限并指导新方案探索。
2025-08-11 cs.LG stat.ML
Learning Where, What and How to Transfer: A Multi-Role Reinforcement Learning Approach for Evolutionary Multitasking
针对进化多任务算法知识迁移需定制设计的问题，本文提出多角色强化学习框架，从迁移配对、知识占比、迁移强度三方面实现可泛化的知识迁移策略，实验验证其性能达到当前最优。
2025-11-19 cs.LG cs.NE
ABC Reinforcement Learning
EPFL（洛桑联邦理工学院）；University of Ioannina（约阿尼纳大学）
本文介绍了一个简单的，一般的框架，似然无贝叶斯强化学习，通过近似贝叶斯计算（ABC）。主要的优点是，我们只需要一个先验分布的一类模拟器（生成模型）。这是有用的域中的分析概率模型的基础过程是太复杂，制定，但详细的仿真模型是可用的。ABC-RL允许使用任何贝叶斯强化学习技术，即使在这种情况下。此外，它可以被看作是一个扩展的卷展栏算法的情况下，我们不知道什么是正确的模型绘制卷展栏。我们通过实验证明了这种方法的潜力与LSPI的比较。最后，我们介绍一个定理，表明ABC是一个健全的方法，原则上，即使在非充分统计量使用。
2013-06-28 cs.LG stat.ML
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
BRIDGE: Bridging Reasoning In Distillation Gap Elimination via Structure-Aware Masking
City University of Hong Kong（香港城市大学）
通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏，提升学生模型的准确率和输出简洁性。
2026-07-14 cs.AI cs.LG
What is Going on Inside Recurrent Meta Reinforcement Learning Agents?
Mila - McGill University（Mila - 麦吉尔大学）；DeepMind
循环Meta强化学习（meta-RL）代理是为了“学习学习算法“的目的而采用循环神经网络（RNN）的代理。在预先指定的任务分布上进行训练后，代理的RNN的学习权重可以通过其活动动态实现有效的学习算法，这允许代理快速解决从相同分布中采样的新任务。然而，由于这些代理人的黑箱性质，他们的工作方式尚未完全理解。在这项研究中，我们揭示了这些代理的内部工作机制，通过重新制定的元RL问题使用部分可观察马尔可夫决策过程（POMDP）框架。我们假设，学习的活动动力学是作为这样的代理的信念状态。几个说明性的实验表明，这一假设是正确的，经常性的元RL代理可以被视为代理，学习在部分可观察的环境中，由多个相关的任务，以最佳方式行事。这种观点有助于理解他们的失败案例和一些有趣的基于模型的结果在文献中报道。
2021-04-29 cs.AI cs.LG
Reinforcement Learning, Bit by Bit
DeepMind（深度思维公司）
本文探讨强化学习在真实环境中数据效率低下的问题，通过概念与遗憾分析提供信息获取与保留的原则性指导，并设计简单智能体验证其数据效率。
2023-05-04 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Optimal Reinforcement Learning for Gaussian Systems
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
探索-利用权衡是强化学习的核心挑战之一。一般来说，最佳贝叶斯解是棘手的。本文研究了在何种程度上的最佳学习的分析声明是可能的，如果所有的信念是高斯过程。一个一阶近似的学习损失和动态，在连续的时间和空间中的非线性，时变系统，受到相对较弱的限制的动态，描述了一个无限维偏微分方程。一个近似的有限维投影给出了一个印象，这个结果可能是有帮助的。
2011-10-14 cs.LG stat.ML
Adversarial Deep Reinforcement Learning in Portfolio Management
Likelihood Technology（似然科技）；Sun Yat-sen University（中山大学）
在本文中，我们在投资组合管理中实现了三种最先进的连续强化学习算法，深度确定性策略梯度（DDPG），最近策略优化（PPO）和策略梯度（PG）。它们都广泛用于游戏和机器人控制。此外，PPO具有吸引人的理论性质，在投资组合管理中具有很大的应用潜力。我们在不同的设置，包括不同的学习率，目标函数，特征组合，以提供见解参数调整，特征选择和数据准备下，他们的表现。我们还在中国股票市场上进行了深入的实验，结果表明，在金融市场上，PG比DDPG和PPO更可取，尽管两者都更先进。此外，本文还提出了一种对抗性训练方法，并在回测中证明了该方法可以显著提高训练效率，显著提高平均日收益率和夏普比率。基于这种新的修改，我们的实验结果表明，我们的代理基于策略梯度可以优于UCRP。
2018-11-18 cs.LG q-fin.PM stat.ML
Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward
LLM Department, Tencent（腾讯大模型部门）；Tsinghua University（清华大学）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文针对RLVR中策略熵崩溃导致的探索退化问题，提出低概率正则化方法Lp-Reg，通过放大“推理火花”令牌的概率来维持稳定探索，在五个数学基准上取得60.17%的平均准确率，较先前方法提升2.66%。
2025-11-07 cs.CL cs.LG
What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出固定SAE追踪框架，发现RL主要增强现有特征而非创造新特征，且引导这些特征可恢复约80%的性能提升。
2026-09-15 cs.LG
Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?
University of Bremen（不来梅大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
深度强化学习（Deep Reinforcement Learning，DRL）将经典的强化学习算法与深度神经网络相结合。DRL的一个问题是CNN是黑箱，很难理解代理的决策过程。为了能够在人类和机器高度危险的环境中使用RL代理，开发人员需要一个调试工具来确保代理做预期的事情。目前，奖励主要用于解释代理的学习情况。然而，如果智能体通过记住策略而不是学习对环境做出反应来获得更多奖励，则可能导致欺骗性结论。在这项工作中，它表明，这个问题可以识别的梯度可视化技术的帮助下。这项工作将图像分类领域的一些最著名的可视化方法引入了深度强化学习领域。此外，还开发了两种新的可视化技术，其中一种效果特别好。这些算法在强化学习领域的应用程度正在被证明。此外，还出现了一个问题：使用不同的可视化技术，DRL算法在不同环境中的可视化效果如何。
2020-12-02 cs.LG
Near-Optimal Reinforcement Learning with Self-Play under Adaptivity Constraints
UC Santa Barbara（加州大学圣巴巴拉分校）
针对多智能体强化学习中的自适应约束问题，提出基于策略消除的算法，在双人零和马尔可夫博弈中实现近最优遗憾和低批次复杂度，并证明匹配的下界。
2024-02-02 cs.AI cs.LG cs.MA
Model-Based Reinforcement Learning for Sepsis Treatment
MIT（麻省理工学院）；Imperial College（帝国理工学院）；Cambridge University（剑桥大学）
脓毒症是一种危险的疾病，是患者死亡的主要原因。脓毒症的治疗极具挑战性，因为个体患者对医疗干预的反应非常不同，并且脓毒症的治疗没有普遍认可。在这项工作中，我们探索使用连续状态空间模型为基础的强化学习（RL），发现高质量的治疗策略，脓毒症患者。我们的定量评估表明，通过将RL发现的治疗策略与临床医生遵循的策略相结合，我们可以获得改进的政策，从而可能更好地治疗脓毒症。
2018-11-23 cs.AI cs.LG stat.ML
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Delft University of Technology（代尔夫特理工大学）；MediaGamma Ltd.（MediaGamma有限公司）
人类能够将潜在的心理内容，如信仰或意图归因于他人。社交技能在日常生活中至关重要，因为它可以推理他人行为的潜在后果，以便提前计划。众所周知，人类通过考虑别人对自己信仰的看法来递归地使用这种推理能力。本文从层次$1$递归出发，提出了一个概率递归推理（PR 2）框架用于多智能体强化学习。我们的假设是，它是有益的，为每个代理，以说明对手将如何反应，其未来的行为。在PR 2框架下，我们采用变分贝叶斯方法来近似对手的条件策略，每个代理找到最佳的反应，然后改进自己的策略。我们开发了分散训练分散执行算法，即PR 2-Q和PR 2-Actor-Critic，当存在一个纳什均衡时，证明了它们在自我游戏场景中收敛。我们的方法进行了测试的矩阵游戏和微分游戏，其中有一个非平凡的平衡，常见的基于梯度的方法无法收敛。我们的实验表明，推理对手如何相信代理人所相信的是至关重要的。我们希望我们的工作能够为多智能体强化学习社区提供一种建模对手的新思路。
2019-03-01 cs.AI cs.LG stat.ML
GDI: Rethinking What Makes Reinforcement Learning Different From Supervised Learning
Tsinghua University（清华大学）；ByteDance（字节跳动）
深度Q网络（DQN）通过将深度学习（DL）与强化学习（RL）相结合，首次开启了深度强化学习（DRL）的大门，它注意到在训练过程中获取的数据的分布会发生变化。DQN发现这个属性可能会导致训练的不稳定性，因此它提出了有效的方法来处理这个属性的缺点。而不是专注于不利的方面，我们发现关键的RL，以减轻估计的数据分布和地面真实数据分布之间的差距，而监督学习（SL）未能做到这一点。从这个新的角度来看，我们扩展了RL的基本范式称为广义策略迭代（GPI）到一个更广义的版本，这是所谓的广义数据分布迭代（GDI）。我们看到大量的RL算法和技术可以统一到GDI范式中，这可以被认为是GDI的特殊情况之一。我们从理论上证明了为什么GDI比GPI更好，以及它是如何工作的。在Arcade学习环境（ALE）上的实验结果表明，本文提出的基于GDI的学习算法具有良好的SOTA性能，平均人类标准化得分（HNS）达到了9620.98%。1146.39%的中位数HNS和22个人类世界纪录的突破（HWRB）使用只有200米的训练帧。我们的工作旨在引导强化学习研究步入征服人类世界纪录的征程，寻求真正的性能和效率的超人代理。
2022-01-09 cs.AI cs.LG cs.NE
What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文通过因果视角探究强化学习中长期不公平性的来源，提出动态公平性概念以区分环境动态导致的不平等，并推导识别公式进行定量评估，实验证明其能有效解释、检测和减少不平等。
2024-04-28 cs.AI cs.CY cs.LG
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
What makes math problems hard for reinforcement learning: a case study
Western University（西安大略大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Institute of Mathematics, University of Warsaw（华沙大学数学研究所）；Polygon Zero；Richard N. Merkin Center for Pure and Applied Mathematics, California Institute of Technology（加州理工学院理查德·N·默kin纯粹与应用数学中心）
该研究以组合群论中的Andrews-Curtis猜想为案例，探索强化学习寻找高奖励罕见实例的挑战，提出算法增强与拓扑硬度度量，还解决了Akbulut-Kirby和Miller-Schupp系列中的数学问题。
2025-02-11 cs.AI cs.LG math.CO
