What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
Play with Emotion: Affect-Driven Reinforcement Learning
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）
本文介绍了一种范式转变，将情感建模的任务视为一个强化学习（RL）过程。根据所提出的范例，RL代理通过尝试最大化一组奖励（即行为和情感模式）来学习策略（即情感交互），通过他们对环境（即上下文）的经验。我们的假设是，强化学习是一个有效的范式交织的影响启发和表现与行为和情感的示范。重要的是，我们的第二个假设--建立在达马西奥的躯体标记假设之上--是情绪可以成为决策的促进者。我们通过训练Go-Blend代理来模拟人类的觉醒和行为演示，在赛车游戏中测试我们的假设; Go-Blend是Go-Explore算法的修改版本，该算法最近在硬探索任务中表现出了最高的性能。我们首先改变唤醒为基础的奖励功能，并观察代理，可以有效地显示调色板的影响和行为模式，根据指定的奖励。然后，我们使用唤醒为基础的状态选择机制，以偏置的策略，去混合探索。我们的研究结果表明，Go-Blend不仅是一种有效的情感建模范式，更重要的是，情感驱动的RL提高了探索并产生了更高性能的代理，验证了Damasio在游戏领域的假设。
2022-08-26 cs.AI cs.HC cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
本文提出SCRL框架，通过选择性正伪标签和熵门控负伪标签减少标签噪声影响，提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond
University of Cambridge（剑桥大学）
本文从强化学习视角阐明RLHF的原理，指出其本质为在线逆强化学习，并探讨了RLHF优于SFT的原因、奖励模型作为反馈代理的泛化性及PPO的稳定性优势。
2023-10-09 cs.AI cs.LG
Whatever Does Not Kill Deep Reinforcement Learning, Makes It Stronger
Kansas State University（堪萨斯州立大学）
最近的发展已经确定了深度强化学习（RL）通过对抗性扰动对策略操纵攻击的脆弱性。在本文中，我们研究了深度RL对训练时和测试时攻击的鲁棒性和弹性。通过实验结果，我们证明了在非连续训练时间攻击下，深度Q网络（DQN）代理可以通过反应性地调整策略来恢复和适应对抗条件。我们的研究结果还表明，在对抗性扰动下学习的策略对测试时攻击更鲁棒。此外，我们比较了$ε$贪婪和参数空间噪声探测方法在对抗性扰动的鲁棒性和弹性方面的性能。
2017-12-23 cs.AI
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey（萨里大学）；Amazon Web Services（亚马逊云科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的形式的解释强化学习，基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明，这种性质的事后解释的一般方法是不可能在传统的强化学习。相反，解释所需的信息必须与培训代理人一起收集。我们得到的方法，旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法，并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
What is Going on Inside Recurrent Meta Reinforcement Learning Agents?
Mila - McGill University（Mila - 麦吉尔大学）；DeepMind
循环Meta强化学习（meta-RL）代理是为了“学习学习算法“的目的而采用循环神经网络（RNN）的代理。在预先指定的任务分布上进行训练后，代理的RNN的学习权重可以通过其活动动态实现有效的学习算法，这允许代理快速解决从相同分布中采样的新任务。然而，由于这些代理人的黑箱性质，他们的工作方式尚未完全理解。在这项研究中，我们揭示了这些代理的内部工作机制，通过重新制定的元RL问题使用部分可观察马尔可夫决策过程（POMDP）框架。我们假设，学习的活动动力学是作为这样的代理的信念状态。几个说明性的实验表明，这一假设是正确的，经常性的元RL代理可以被视为代理，学习在部分可观察的环境中，由多个相关的任务，以最佳方式行事。这种观点有助于理解他们的失败案例和一些有趣的基于模型的结果在文献中报道。
2021-04-29 cs.AI cs.LG
Reinforcement Learning, Bit by Bit
DeepMind（深度思维公司）
本文探讨强化学习在真实环境中数据效率低下的问题，通过概念与遗憾分析提供信息获取与保留的原则性指导，并设计简单智能体验证其数据效率。
2023-05-04 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning
University of California, Irvine（加州大学尔湾分校）
强化学习算法可以在具有不同随机种子的训练运行之间显示出性能的强烈变化。在本文中，我们将探讨这如何影响超参数优化时，目标是找到超参数设置，以及在随机种子。特别是，我们基准是否是更好地探索大量的超参数设置，通过修剪表现不佳，或者如果它是更好的目标，通过使用重复收集的结果的质量。为此，我们考虑连续减半，随机搜索和贝叶斯优化算法，后两个有和没有重复。我们将这些应用于调整Cartpole平衡任务和倒立摆摆动任务上的PPO2算法。我们证明了修剪可能会对优化产生负面影响，并且重复采样无助于找到在随机种子中表现更好的超参数设置。从我们的实验中，我们得出结论，贝叶斯优化与噪声鲁棒采集功能是强化学习任务中的超参数优化的最佳选择。
2020-07-30 cs.AI cs.LG stat.ML
Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning
DeepMind（深度思维）
非策略强化学习算法有望适用于只有固定的环境交互数据集（批量）可用且无法获得新经验的环境。这一特性使得这些算法对机器人控制等现实问题具有吸引力。然而，在实践中，标准的非策略算法在用于连续控制的批量设置中失败。在本文中，我们提出了一个简单的解决这个问题。它允许使用由任意行为策略生成的数据，并使用学习的先验知识-加权行为模型（ABM）-将RL策略偏向于以前执行过的并且可能在新任务上成功的操作。我们的方法可以被看作是最近关于批量RL的工作的扩展，它可以从冲突的数据源中进行稳定的学习。我们在各种RL任务中发现了竞争基线的改进-包括标准连续控制基准和模拟和真实世界机器人的多任务学习。
2020-06-17 cs.LG cs.RO stat.ML
What Matters in Reinforcement Learning for Tractography
Université de Sherbrooke（舍布鲁克大学）；École de technologie supérieure（高等技术学院）
本文系统探究了深度强化学习纤维束追踪框架中各组件（如RL算法、播种策略、输入信号和奖励函数）的影响，基于约7,400个模型的训练实验，总结了一系列实践建议，并开源了代码库、模型与数据集。
2023-05-17 cs.CV cs.LG
Tidal MerzA: Combining affective modelling and autonomous code generation through Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本研究提出融合情感建模与强化学习的Tidal-MerzA系统，通过双智能体实现实时编程场景下人机协作的音乐模式生成，兼顾情感性与语法正确性，推动计算音乐生成与人机艺术互动发展。
2024-09-12 cs.AI cs.HC cs.SD
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Closing the Affective Loop via Experience-Driven Reinforcement Learning Designers
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）；Faculty of Exact Sciences and Engineering, University of Madeira（马德拉大学精确科学与工程学院）
本研究提出经验驱动强化学习（EDRL）框架，以唤醒度轨迹语料库构建奖励函数，可根据目标情感模式生成定制化赛车赛道，性能优于搜索式方法，可推广至各类情感适配内容生成场景。
2024-07-23 cs.AI cs.HC
What can online reinforcement learning with function approximation benefit from general coverage conditions?
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文系统研究在线强化学习中一般覆盖条件的作用，提出多种新覆盖概念并证明其能带来改进的遗憾界，甚至在线性MDP下实现对数阶遗憾，为覆盖条件在高效在线RL中的应用提供了理论依据。
2023-05-31 cs.LG stat.ML
Improving interactive reinforcement learning: What makes a good teacher?
University of Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）；Osaka University（大阪大学）；National Institute of Information and Communications Technology（信息通信研究机构）
交互式强化学习已成为加速经典强化学习问题收敛的重要学徒方法。在这方面，交互式强化学习的变体是策略成形，其使用类似于父母的训练器来建议要执行的下一个动作，并且通过这样做来通过建议减少搜索空间。在某些情况下，训练者可能是另一个人工智能体，而人工智能体又使用强化学习方法进行训练，然后成为其他学习者智能体的顾问。在这项工作中，我们分析了人工代理的内部表示和特性，以确定哪一个代理可能优于其他代理，成为一个更好的教练代理。与专家代理相比，使用polymath代理，顾问导致奖励信号的更大奖励和更快收敛，并且在学习者代理的状态访问频率方面也导致更稳定的行为。此外，我们分析系统的相互作用参数，以确定他们是如何影响学徒过程中，反馈的一致性是更相关的处理不同的学习者服从参数时。
2019-04-15 cs.AI cs.RO
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Deciding What to Model: Value-Equivalent Sampling for Reinforcement Learning
Stanford University（斯坦福大学）
典型的基于模型的自主学习代理迭代地改进其关于环境的真实底层模型的估计或先验信念。然而，最近在基于模型的强化学习与函数逼近方面的经验成功，避开了真正的模型，而倾向于替代模型，尽管忽略了环境的各个方面，但仍然有助于有效地规划行为。这种算法技术最近被形式化为价值等价原则，这可能是不可避免的，因为现实世界的强化学习需要考虑一个简单的、计算有限的代理与极其复杂的环境进行交互，其潜在的动态可能超过代理的表示能力。在这项工作中，我们考虑的情况下，代理的限制可能完全排除识别一个完全值等价的模型，立即产生一个权衡之间的识别模型是足够简单的学习，而只会引起有界次优。为了解决这个问题，我们引入了一种算法，使用率失真理论，迭代计算近似值等效，有损压缩的环境代理可能可行的目标，而不是真正的模型。我们证明了一个信息理论，贝叶斯后悔我们的算法，适用于任何有限的地平线，情节顺序决策问题。至关重要的是，我们的遗憾界限可以表示为两种可能的形式之一，提供了一个性能保证，找到最简单的模型，实现所需的次优差距，或者，最好的模型给定的代理能力的限制。
2022-10-30 cs.IT cs.LG math.IT
Model-Based Reinforcement Learning for Sepsis Treatment
MIT（麻省理工学院）；Imperial College（帝国理工学院）；Cambridge University（剑桥大学）
脓毒症是一种危险的疾病，是患者死亡的主要原因。脓毒症的治疗极具挑战性，因为个体患者对医疗干预的反应非常不同，并且脓毒症的治疗没有普遍认可。在这项工作中，我们探索使用连续状态空间模型为基础的强化学习（RL），发现高质量的治疗策略，脓毒症患者。我们的定量评估表明，通过将RL发现的治疗策略与临床医生遵循的策略相结合，我们可以获得改进的政策，从而可能更好地治疗脓毒症。
2018-11-23 cs.AI cs.LG stat.ML
Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们致力于基于微观数据模型的强化学习（MBRL），通过使用固定（随机射击）控制代理严格比较流行的生成模型。我们发现，在需要多模态后验预测的环境中，混合密度网络的性能远远优于所有其他模型。当不需要多模态时，我们令人惊讶的发现是，我们不需要概率后验预测：确定性模型是平等的，事实上，它们始终（尽管不显着）优于概率模型。我们还发现，训练时的异方差性，也许作为一个正则化，提高了预测在更长的视野。在方法方面，我们设计的指标和实验协议，可用于评估各种模型，预测其渐近性能时，使用它们的控制问题。使用这个框架，我们使用通常考虑的超参数区间之外的积极训练时间表，将Acrobot上MBRL的最先进样本复杂度提高了2到4倍
2021-07-24 cs.LG
Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't
本研究通过强化学习提升小型LLM的推理能力，展示了在有限资源下实现显著性能提升的可行性。
2026-01-20 cs.CL cs.LG
Pay Attention to What and Where? Interpretable Feature Extractor in Vision-based Deep Reinforcement Learning
School of Computer Science The University of Manchester Manchester, UK
针对可解释深度强化学习中注意力掩码与视觉对象位移的问题，提出集成人类可理解编码和智能体友好编码模块的IFE架构，生成准确注意力掩码，集成到相关框架后在57个ATARI游戏上验证了空间保留等性能，还展示了通用性。
2025-04-14 cs.AI
GDI: Rethinking What Makes Reinforcement Learning Different From Supervised Learning
Tsinghua University（清华大学）；ByteDance（字节跳动）
深度Q网络（DQN）通过将深度学习（DL）与强化学习（RL）相结合，首次开启了深度强化学习（DRL）的大门，它注意到在训练过程中获取的数据的分布会发生变化。DQN发现这个属性可能会导致训练的不稳定性，因此它提出了有效的方法来处理这个属性的缺点。而不是专注于不利的方面，我们发现关键的RL，以减轻估计的数据分布和地面真实数据分布之间的差距，而监督学习（SL）未能做到这一点。从这个新的角度来看，我们扩展了RL的基本范式称为广义策略迭代（GPI）到一个更广义的版本，这是所谓的广义数据分布迭代（GDI）。我们看到大量的RL算法和技术可以统一到GDI范式中，这可以被认为是GDI的特殊情况之一。我们从理论上证明了为什么GDI比GPI更好，以及它是如何工作的。在Arcade学习环境（ALE）上的实验结果表明，本文提出的基于GDI的学习算法具有良好的SOTA性能，平均人类标准化得分（HNS）达到了9620.98%。1146.39%的中位数HNS和22个人类世界纪录的突破（HWRB）使用只有200米的训练帧。我们的工作旨在引导强化学习研究步入征服人类世界纪录的征程，寻求真正的性能和效率的超人代理。
2022-01-09 cs.AI cs.LG cs.NE
Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Delft University of Technology（代尔夫特理工大学）；MediaGamma Ltd.（MediaGamma有限公司）
人类能够将潜在的心理内容，如信仰或意图归因于他人。社交技能在日常生活中至关重要，因为它可以推理他人行为的潜在后果，以便提前计划。众所周知，人类通过考虑别人对自己信仰的看法来递归地使用这种推理能力。本文从层次$1$递归出发，提出了一个概率递归推理（PR 2）框架用于多智能体强化学习。我们的假设是，它是有益的，为每个代理，以说明对手将如何反应，其未来的行为。在PR 2框架下，我们采用变分贝叶斯方法来近似对手的条件策略，每个代理找到最佳的反应，然后改进自己的策略。我们开发了分散训练分散执行算法，即PR 2-Q和PR 2-Actor-Critic，当存在一个纳什均衡时，证明了它们在自我游戏场景中收敛。我们的方法进行了测试的矩阵游戏和微分游戏，其中有一个非平凡的平衡，常见的基于梯度的方法无法收敛。我们的实验表明，推理对手如何相信代理人所相信的是至关重要的。我们希望我们的工作能够为多智能体强化学习社区提供一种建模对手的新思路。
2019-03-01 cs.AI cs.LG stat.ML
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University（南洋理工大学）；Mila - Quebec AI Institute（魁北克AI研究所）；National University of Singapore（新加坡国立大学）
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题，提升效率。
2026-02-11 cs.LG
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
Department of Electrical Engineering（电气工程系）
深度强化学习（DRL）算法的不稳定性和可变性往往会对其性能产生不利影响。Averaged-DQN是DQN算法的一个简单扩展，基于对先前学习的Q值估计进行平均，通过减少目标值中的近似误差方差，从而实现更稳定的训练过程和改进的性能。为了了解该算法的效果，我们研究了价值函数估计误差的来源，并提供了一个简化模型内的分析比较。我们进一步提出了实验的街机学习环境的基准，证明显着提高稳定性和性能，由于所提出的扩展。
2017-03-10 cs.AI cs.LG stat.ML
Learning Where, What and How to Transfer: A Multi-Role Reinforcement Learning Approach for Evolutionary Multitasking
针对进化多任务算法知识迁移需定制设计的问题，本文提出多角色强化学习框架，从迁移配对、知识占比、迁移强度三方面实现可泛化的知识迁移策略，实验验证其性能达到当前最优。
2025-11-19 cs.LG cs.NE
Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning
Tongji University（同济大学）；Tsinghua University（清华大学）；Zhejiang Lab（之江实验室）；The Chinese University of HongKong（香港中文大学）
本文指出了离线元强化学习中交替优化框架忽略任务表示变化的问题，将其定义为任务表示偏移，并从理论上证明通过适当的上下文编码器更新可保证单调性能提升。
2025-02-03 cs.AI cs.LG
What if Pinocchio Were a Reinforcement Learning Agent: A Normative End-to-End Pipeline
本文提出一种端到端流程，通过结合AJAR、Jiminy和NGRL架构，引入混合模型，使强化学习代理在规范下运作，并探讨规范规避现象及其缓解策略。
2026-03-17 cs.AI cs.MA
What makes useful auxiliary tasks in reinforcement learning: investigating the effect of the target policy
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab, Huawei Technologies Canada（华为加拿大诺亚方舟实验室）
辅助任务在强化学习的表示学习中被认为是有用的。虽然许多辅助任务已被经验证明是有效的，以加快学习的主要任务，它还不清楚是什么使有用的辅助任务。一些最有希望的结果是在像素控制，奖励预测和下一个状态预测辅助任务上;然而，经验结果是混合的，在某些情况下显示出实质性的改善，在其他情况下显示出边际改善。仔细研究辅助任务如何帮助学习主要任务是必要的。在本文中，我们采取了一个步骤，研究目标政策的辅助任务制定为一般价值函数的有用性的影响。一般价值函数由三个核心要素组成：1）策略2）累积量3）连续函数。我们关注辅助任务的目标策略的作用是出于这样一个事实，即目标策略确定代理想要进行预测的行为以及代理被训练的状态-动作分布，这进一步影响了主任务学习。我们的研究提供了一些问题的见解，如：与其他政策相比，贪婪的政策是否会带来更大的改善收益？是否最好将辅助任务策略设置为与主任务策略相同？目标策略的选择是否对所获得的性能增益有实质性影响，或者设置策略的简单策略（例如使用均匀随机策略）是否也有效？我们的实证结果表明：1）辅助任务与贪婪的政策往往是有用的。2)大多数策略，包括均匀随机策略，倾向于在基线上改进。3)令人惊讶的是，与其他策略相比，主任务策略往往没有那么有用。
2022-04-01 cs.AI cs.LG
What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文通过因果视角探究强化学习中长期不公平性的来源，提出动态公平性概念以区分环境动态导致的不平等，并推导识别公式进行定量评估，实验证明其能有效解释、检测和减少不平等。
2024-04-28 cs.AI cs.CY cs.LG
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
在人类生命的早期阶段，婴儿通过探索不同的场景来发展他们的技能，这些场景的动机是他们内在的满足感，而不是来自环境的外在奖励。这种行为，被称为内在动机，已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法，以加快学习过程中的单一和多代理问题的同质代理。然而，很少有研究阐述了异构代理部署到同一环境中，但与后者的不同实例之间的协作学习框架，没有任何先验知识。除了异质性之外，每个代理的特性只允许访问完整状态空间的一个子集，这可能隐藏不同的探索策略和最佳解决方案。在这项工作中，我们结合了内在动机和迁移学习的想法。具体来说，我们专注于共享参数的演员-评论家模型架构，并结合通过内在动机获得的信息，目的是有一个更有效的探索和更快的学习。我们测试我们的策略，通过实验进行了修改ViZDooM的我回家的路的情况下，这是更具挑战性的比原来的版本，并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式，在没有知识共享的情况下，一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外，我们描述了需要正确调制的重要性之间的外在和内在的奖励，以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Reward-Relevance-Filtered Linear Offline Reinforcement Learning
University of Southern California（南加州大学）
本文针对离线强化学习提出奖励-相关性过滤方法，利用决策论稀疏性将价值函数估计聚焦于影响奖励的稀疏状态分量，并给出样本复杂度仅依赖于该分量大小的理论保证。
2024-01-23 cs.LG math.OC stat.ML
Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）；USTC（中国科学技术大学）；The Australian National University（澳大利亚国立大学）；Peking University（北京大学）；University of Macau（澳门大学）
该研究提出梯度对齐奖励（GAR）方法，在策略梯度空间中生成密集推理感知奖励，提升大语言模型在数学等基准上的推理性能，且无需领域特定数据即可迁移。
2026-09-04 cs.LG
Automated Cloud Provisioning on AWS using Deep Reinforcement Learning
Synaptiq, LLC（Synaptiq有限责任公司）；BlackSky（BlackSky公司）
随着云计算的使用不断增加，控制成本变得越来越重要。然而，有证据表明，30%-45%的云支出被浪费了。现有的云供应工具通常依赖于训练有素的人类专家来指定要监控的内容、触发动作的阈值和动作。在本文中，我们将探索使用强化学习（RL）来获取平衡性能和支出的策略，允许人们指定他们想要什么，而不是如何去做，从而最大限度地减少对云专业知识的需求。使用CloudSim模拟器进行表格式、深度和决斗式双深度Q学习的实证结果显示了RL的实用性和这些方法的相对优点。我们还演示了有效的策略迁移学习，从一个非常简单的模拟器到CloudSim，下一步是从CloudSim迁移到Amazon Web Services物理环境。
2017-09-19 cs.AI cs.DC cs.LG
Environments for Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
为了实现通用人工智能，强化学习（RL）代理不仅要学习优化特定任务的回报，还要不断构建更复杂的技能，并构建他们对世界的知识，而不会忘记已经学到的东西。在本文中，我们讨论了所需的特征的环境，可以支持终身强化学习代理的培训和评估，审查现有的环境，从这个角度来看，并提出建议，在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
Anderson Acceleration for Reinforcement Learning
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Google Brain（谷歌大脑）；Inria（法国国家信息与自动化研究所）
安德森加速是一种古老而简单的方法，用于加速不动点的计算。然而，据我们所知，令人惊讶的是，它从未被应用于动态规划或强化学习。在本文中，我们简要地解释了安德森加速是什么，以及它如何可以应用于值迭代，这是支持的初步实验显示了显着的收敛速度，我们批判性地讨论。我们还讨论了这个想法如何更普遍地应用于（深度）强化学习。
2018-09-25 cs.LG stat.ML
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Learning "What-if" Explanations for Sequential Decision-Making
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）；Cambridge Center for AI in Medicine（剑桥人工智能医学中心）；University of California, Los Angeles（加州大学洛杉矶分校）
在示范行为的基础上建立现实世界决策的可解释参数化-即专家最大化某些未知奖励函数的观察和行动轨迹-对于不同机构的内省和审计政策至关重要。在本文中，我们提出了学习解释的专家决策建模的奖励函数的偏好方面的“如果”的结果：鉴于目前的历史观察，会发生什么，如果我们采取了一个特定的行动？为了学习这些与专家的行动相关的成本效益权衡，我们将反事实推理集成到批量逆强化学习中。这为定义奖励函数和解释专家行为提供了一种原则性的方法，也满足了现实世界决策的约束--在现实世界中，主动实验通常是不可能的（例如在医疗保健领域）。此外，通过估计不同行为的影响，反事实很容易解决批量设置中政策评估的非政策性质，并且可以自然地适应专家政策依赖于观察历史而不仅仅是当前状态的设置。通过真实和模拟医疗环境中的说明性实验，我们强调了我们的批量、反事实反向强化学习方法在恢复准确且可解释的行为描述方面的有效性。
2021-03-30 cs.AI cs.LG stat.ML
What are the Statistical Limits of Offline RL with Linear Function Approximation?
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Washington, Seattle（西雅图华盛顿大学）；Microsoft Research（微软研究院）
离线强化学习试图利用离线（观察）数据来指导（因果）顺序决策策略的学习。希望离线强化学习与函数逼近方法（处理维数灾难）相结合，可以提供一种方法来帮助减轻现代顺序决策问题中过度的样本复杂性负担。然而，在何种程度上，这种更广泛的方法可以是有效的是没有得到很好的理解，在文献中主要是由充分的条件。这项工作的重点是什么是必要的代表性和分布条件，允许可证明的样本有效的离线强化学习的基本问题。也许令人惊讶的是，我们的主要结果表明，即使：i）我们具有可实现性，因为\emph{every}策略的真价值函数在给定的特征集合中是线性的，以及2）我们的非策略数据在所有特征上具有良好的覆盖（在强光谱条件下），那么任何算法（信息理论上）需要在问题范围内呈指数的多个离线样本，以便非平凡地估计给定策略的\emph{any}的值。我们的研究结果强调，样本有效的离线政策评估是根本不可能的，除非显着更强的条件下举行，这样的条件包括要么具有低分布偏移（离线数据分布接近的政策的分布进行评估）或显着更强的代表性条件（超出可实现性）。
2020-10-22 cs.AI cs.LG math.OC
What makes math problems hard for reinforcement learning: a case study
Western University（西安大略大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Institute of Mathematics, University of Warsaw（华沙大学数学研究所）；Polygon Zero；Richard N. Merkin Center for Pure and Applied Mathematics, California Institute of Technology（加州理工学院理查德·N·默kin纯粹与应用数学中心）
该研究以组合群论中的Andrews-Curtis猜想为案例，探索强化学习寻找高奖励罕见实例的挑战，提出算法增强与拓扑硬度度量，还解决了Akbulut-Kirby和Miller-Schupp系列中的数学问题。
2025-02-11 cs.AI cs.LG math.CO
Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?
Institute for Advanced Study（高等研究院）；University of Washington, Seattle（西雅图华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
现代深度学习方法提供了学习良好表示的有效手段。然而，一个好的表示本身就足以进行样本有效的强化学习吗？在更经典的近似动态规划文献中，这个问题在很大程度上只针对（最坏情况）近似误差进行了研究。关于统计观点，这个问题在很大程度上是未探索的，现存的文献主要集中在允许样本有效强化学习的条件上，对有效强化学习的必要条件了解甚少。这项工作表明，从统计的角度来看，这种情况远比更传统的近似观点所建议的更微妙，其中对样本有效RL的表示的要求更加严格。我们的主要研究结果为强化学习方法提供了尖锐的阈值，表明构成良好函数近似的条件存在严格的限制（就表示的维度而言），我们专注于与基于值，基于模型和基于策略的学习相关的自然表示条件。这些下限强调了具有良好的（基于值、基于模型或基于策略的）表示本身不足以实现有效的强化学习，除非这种近似的质量超过某些硬阈值。此外，我们的下界还意味着1）具有完美表示的基于值的学习和具有良好但不完美表示的基于值的学习，2）基于值的学习和基于策略的学习，3）基于策略的学习和监督学习以及4）强化学习和模仿学习之间的样本复杂度的指数分离。
2020-02-28 cs.AI cs.LG math.OC
Go-Blend behavior and affect
Institute of Digital Games University of Malta（马耳他大学数字游戏研究所）
本文提出了一种范式转换的情感计算，通过查看情感建模任务作为一个强化学习过程。根据我们提出的框架的背景（环境）和代理的行动定义的共同表示，交织的行为和影响。为了实现这一框架，我们建立在强化学习的最新进展基础上，并使用了Go-Explore算法的修改版本，该算法在硬探索任务中表现出了最高的性能。在这个初步的研究中，我们测试我们的框架在街机游戏中训练去探索代理既发挥最佳，并试图模仿人类的觉醒示威。我们改变了最佳游戏和唤醒模仿之间的重要性程度，并创造了能够有效显示情感和行为模式的代理。我们的Go-Explore实现不仅为情感建模引入了一种新的范式;它通过提供可以混合和表达多种行为和情感模式的代理来实现可信的基于AI的游戏测试。
2021-09-24 cs.AI cs.HC cs.LG
Eligibility Propagation to Speed up Time Hopping for Reinforcement Learning
Tokyo Institute of Technology（东京工业大学）
提出了一种称为资格传播的机制，以加快用于更快的强化学习在模拟中的跳时技术。资格传播为跳时提供了与资格跟踪为传统强化学习提供的能力类似的能力。它使用状态转换图将值从一个状态传播到其所有时间前任。在一个模拟的爬行机器人上的实验证实，资格传播加速学习过程超过3倍。
2009-04-03 cs.AI cs.LG cs.RO
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有检索增强机器翻译策略统一化的问题，提出智能体强化学习框架SRAT，通过优化翻译质量学习检索决策，实验显示其在多类翻译任务上优于基线，将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Towards Learning Abstractions via Reinforcement Learning
Chalmers University of Technology（查尔姆斯理工大学）
在本文中，我们采取的第一步，在研究一种新的方法来合成有效的通信方案，在多智能体系统，通过强化学习训练。我们将符号方法与机器学习结合起来，称为神经符号系统。智能体并不局限于只使用初始原语：强化学习与步骤交错，以新的更高层次的概念扩展当前语言，允许通过更短的消息进行概括和更多信息的通信。我们证明，这种方法允许代理更快地收敛到一个小的协作建设任务。
2022-12-28 cs.AI cs.LG
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Rewarding What Matters: Step-by-Step Reinforcement Learning for Task-Oriented Dialogue
Tongji University（同济大学）；Hangzhou Dianzi University（杭州电子科技大学）；Monash University（莫纳什大学）
针对现有任务型对话强化学习偏重生成任务、奖励稀疏延迟的问题，提出分步奖励强化学习方法，覆盖理解与生成全流程，在三个基准数据集上取得最优性能且低资源少样本能力更优。
2024-06-20 cs.AI
Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）；Google Research（谷歌研究院）
现实世界中的多智能体环境通常涉及不同类型和数量的智能体和非智能体实体的任务;然而，这些智能体/实体之间经常出现共同的行为模式。我们的方法的目的是利用这些共性问的问题：``什么是预期效用的每个代理时，只考虑一个随机选择的子组的观察实体？通过提出这个反事实问题，我们可以识别出我们在另一项任务中可能遇到的实体子组中的状态-动作轨迹，并使用我们在该任务中学到的知识来告知我们在当前任务中的预测。然后，我们重建一个预测的全部回报考虑这些不相交的实体和训练这"随机因式分解”的价值函数作为一个辅助目标的组合因素为基础的多智能体强化学习。通过这样做，我们的模型可以识别和利用任务之间的相似性，以提高多任务环境中的学习效率。我们的方法，想象学习的随机多因素分解（REFIL），在具有挑战性的多任务星际争霸微观管理设置中，表现优于所有强基线。
2021-06-11 cs.AI cs.LG cs.MA
