Model-based Reinforcement Learning with Multi-step Plan Value Estimation
Nanjing University（南京大学）
基于模型的方法是提高强化学习样本效率的一个很有前途的方法，在这种方法中，可以在学习的模型中进行许多探索和评估，以保存真实世界的样本。然而，当学习的模型具有不可忽略的模型误差时，模型中的顺序步骤难以准确评估，限制了模型的利用。本文提出通过引入多步计划来取代基于模型的强化学习的多步操作来缓解这个问题。我们采用多步计划值估计，它评估在给定状态下执行一系列行动计划后的预期贴现收益，并通过计划值估计直接计算多步策略梯度来更新策略。新的基于模型的强化学习算法MPPVE（基于模型的规划策略学习与多步规划值估计）显示出对学习模型的更好利用，并且比最先进的基于模型的强化学习方法实现更好的样本效率。
2022-09-12 cs.AI cs.LG
Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文针对安全标签定义在轨迹上的非马尔可夫安全约束问题，提出可学习的安全模型进行信用分配，并通过对偶梯度方法动态调整奖励与安全的权衡，实现可扩展的安全策略优化。
2024-05-05 cs.AI cs.LG
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
The Difficulty of Passive Learning in Deep Reinforcement Learning
DeepMind；Google Research, Brain Team（谷歌研究院大脑团队）
在没有主动环境交互的情况下，从观测数据中学习行动是强化学习（RL）中的一个众所周知的挑战。最近的方法涉及对学习策略或保守更新的约束，防止数据集的状态-动作分布的强烈偏离。虽然这些方法使用非线性函数近似进行评估，理论上的理由大多限于表格或线性的情况下。鉴于深度强化学习令人印象深刻的结果，我们认为需要更清楚地了解这种情况下的挑战。在Held & Hein 1963年的经典实验中，我们提出了“串联学习”的实验范式，这有助于我们对离线强化学习中的困难进行实证分析。我们将函数逼近与固定数据分布结合起来确定为最强的因素，从而扩展但也挑战了过去工作中提出的假设。我们的研究结果为离线深度强化学习提供了相关见解，同时也为在线学习控制案例中观察到的现象提供了新的见解。
2021-10-26 cs.AI cs.LG
Skill-Critic: Refining Learned Skills for Hierarchical Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Sony Research Inc.（索尼研究公司）
针对分层强化学习中离线数据习得的低层策略因覆盖率低、分布偏移不可靠的问题，提出Skill-Critic算法，结合高层技能选择微调低层策略，用离线演示隐空间初始化正则化双策略并行优化，在多稀疏奖励环境验证有效。
2024-07-12 cs.AI cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Reinforcement learning with learned gadgets to tackle hard quantum problems on real hardware
Department of Physics, University of Helsinki（赫尔辛基大学物理系）；Axiomatic AI
本文提出gadget reinforcement learning方法，通过学习合成程序自动构建复合门，提升量子电路设计的准确性、兼容性和可扩展性，应用于Ising模型和量子化学问题。
2026-03-18 cs.AI cs.LG quant-ph
Robust Reinforcement Learning on State Observations with Learned Optimal Adversary
UCLA（加州大学洛杉矶分校）；MIT（麻省理工学院）
我们研究了具有对抗扰动状态观测的强化学习（RL）的鲁棒性，这与许多对抗攻击对深度强化学习（DRL）的设置一致，并且对于在不可预测的感知噪声下推出真实世界的RL代理也很重要。在一个固定的代理策略下，我们证明了可以找到一个最佳的对手来扰动状态观测，这是保证获得最坏情况下的代理奖励。对于DRL设置，这导致了一种新的经验对抗攻击RL代理通过一个学习的对手，比以前的强得多。为了提高代理的鲁棒性，我们提出了一个框架的交替训练与学习对手（ATLA），使用策略梯度的最佳对抗攻击框架，在线训练对手与代理一起。此外，受状态对抗马尔可夫决策过程（SA-MDP）分析的启发，我们表明过去的状态和动作（历史）可以用于学习鲁棒代理，并且我们根据经验发现基于LSTM的策略在对抗下可以更加鲁棒。对一些连续控制环境的实证评估表明，ATLA在强大对手的情况下实现了最先进的性能。我们的代码可在https://github.com/huanzhang12/ATLA_robust_RL上获得。
2021-01-21 cs.AI cs.LG stat.ML
Functional Regularization for Reinforcement Learning via Learned Fourier Features
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种简单的深度强化学习架构，通过将输入嵌入到学习的傅立叶基中，并表明它提高了基于状态和基于图像的RL的样本效率。我们使用神经切线核对我们的架构进行了无限宽分析，并从理论上证明了调整傅立叶基的初始方差相当于学习深度网络的函数正则化。也就是说，这些学习到的傅立叶特征允许调整网络欠拟合或过拟合训练数据中的不同频率的程度，并且因此提供受控机制以改进RL优化的稳定性和性能。从经验上讲，这使我们能够优先学习低频函数，并通过降低网络对优化过程中噪声的敏感性来加快学习速度，例如在Bellman更新期间。在标准的基于状态和基于图像的RL基准测试上的实验显示了我们的架构在基线上的明显优势。网址：https://alexanderli.com/learned-fourier-features
2021-12-06 cs.AI cs.CV cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
DARE: Difficulty-Adaptive Reinforcement Learning with Co-Evolved Difficulty Estimation
Rutgers University（罗杰斯大学）；Amazon（亚马逊）；Washington University（华盛顿大学）；Google（谷歌）
DARE通过自归一化重要性采样和对称Beta分布实现政策与难度估计的共进化，提升训练效率和推理效率，使模型在易任务中生成更简洁响应，在难任务中提高正确性。
2026-05-09 cs.AI cs.LG
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning
Tsinghua University（清华大学）；Tongji University（同济大学）；University of California, Davis（加州大学戴维斯分校）；Arizona State University（亚利桑那州立大学）；Ohio State University（俄亥俄州立大学）；Zhongguancun Laboratory（中关村实验室）
这项工作旨在解决离线逆强化学习（IRL）中的一个主要挑战，即奖励外推误差，其中由于固有的协变量偏移，学习的奖励函数可能无法正确解释任务并在看不见的环境中误导智能体。利用专家数据和低质量的多样化数据，我们设计了一个原则性的算法（即CNOE），通过将“保守性”整合到学习的奖励函数中并利用估计的动态模型来有效地解决离线IRL。我们的理论分析提供了一个上限的学习政策和专家政策之间的回报差距，在此基础上，我们的特点的影响，协变量偏移通过检查微妙的双层之间的权衡剥削（专家和不同的数据）和勘探（估计的动态模型）。我们表明，BEE可以证明减轻奖励外推错误的打击正确的开发勘探平衡。大量实验证实了CLARE相对于MuJoCo连续控制任务（特别是对于小型离线数据集）的现有最先进算法的显着性能提升，并且所学到的奖励对于进一步学习具有很强的指导意义。
2023-02-21 cs.AI cs.LG
Growing and Transferring Pathways for LLM Reinforcement Learning
Tsinghua University（清华大学）
本研究提出GrowRL方法，通过在冻结的预训练Transformer主干上添加独立分支生成可迁移的RL计算路径，在少量可训练参数下实现了良好的数学推理与分布外性能，且路径可跨模型高效迁移适配。
2026-10-14 cs.AI cs.LG
Accelerating Reinforcement Learning with Learned Skill Priors
University of Southern California（南加州大学）；Department of Computer Science（计算机科学系）
智能代理在学习新任务时严重依赖先前的经验，但大多数现代强化学习（RL）方法从头开始学习每一项任务。利用先前知识的一种方法是将在先前任务中学到的技能转移到新任务中。然而，随着先前经验的增加，可转移技能的数量也在增加，这使得在下游学习期间探索全套可用技能变得具有挑战性。然而，直觉上，并不是所有的技能都应该以相同的概率进行探索;例如，关于当前状态的信息可以暗示哪些技能有希望进行探索。在这项工作中，我们建议通过学习先验知识来实现这种直觉。我们提出了一个深度潜变量模型，该模型联合学习技能的嵌入空间和离线代理经验的技能先验。然后，我们扩展了常见的最大熵RL方法，使用技能先验来指导下游学习。我们在复杂的导航和机器人操作任务上验证了我们的方法SPiRL（Skill-Prior RL），并表明学习的技能先验对于从丰富的数据集进行有效的技能转移至关重要。视频和代码可在https://clvrai.com/spirl上获得。
2020-10-22 cs.AI cs.LG cs.RO
Towards Mixed Optimization for Reinforcement Learning with Program Synthesis
Google Brain（谷歌大脑）
深度强化学习最近取得了一些突破，尽管学习的策略通常基于黑盒神经网络。这使得它们难以解释，并在学习过程中施加所需的规范约束。我们提出了一个迭代的框架，MORL，使用程序合成，以提高学习的政策。具体地说，我们建议使用合成技术来获得一个符号表示的学习政策，然后可以手动或自动使用程序修复调试。在修复步骤之后，我们使用行为克隆来获得与修复程序相对应的策略，然后使用梯度下降来进一步改进该策略。这个过程一直持续到学习到的策略满足所需的约束。我们实例化MORL简单的CartPole问题，并表明，编程表示允许高层次的修改，从而导致改善学习的政策。
2018-07-03 cs.AI cs.LG stat.ML
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California（南加州大学）
演示引导的强化学习（RL）是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题，并试图一步一步地遵循所提供的演示，类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然，这种学习会很慢，但通常新行为并不是完全看不见的：它们与我们以前学到的行为共享子任务。在这项工作中，我们的目标是利用这种共享的子任务结构，以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后，我们提出了基于技能的学习与演示（SkiLD），演示引导RL的算法，有效地利用提供的演示，通过以下演示的技能，而不是原始的动作，从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Learning to Optimize for Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Sea AI Lab（Sea AI实验室）；Skywork AI（天工AI）；Tencent AI Lab（腾讯AI实验室）
针对学习型优化器在强化学习中表现不佳的问题，分析了梯度非独立同分布和高方差等难点，提出流水线训练与新型优化器结构，使其能从零学习并泛化至复杂任务。
2024-06-04 cs.AI cs.LG
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Salesforce Research（Salesforce 研究院）
针对需要多种不同技能的复杂任务的学习策略是强化学习（RL）的主要挑战。这也是其在现实世界场景中部署的要求。本文提出了一种新的框架，有效的多任务强化学习。我们的框架训练代理采用分层策略，决定何时使用以前学习的策略以及何时学习新技能。这使代理能够在不同的培训阶段不断获得新技能。每个学习任务对应于人类语言描述。由于代理只能通过这些描述访问以前学习的技能，因此代理始终可以为其选择提供人类可解释的描述。为了帮助代理学习复杂的时间依赖性所需的分层政策，我们提供了一个随机的时间语法，调制时依赖于以前学到的技能，何时执行新的技能。我们在Minecraft游戏上验证了我们的方法，这些游戏旨在明确测试重用以前学习的技能的能力，同时学习新技能。
2017-12-20 cs.AI
Unsupervisedly Learned Representations: Should the Quest be Over?
本文指出无监督学习表示与动物准确率存在20%差距，证明强化学习在真实环境中无需标签可视为无监督学习，在模拟环境中需标签则属监督学习，认为继续寻找模拟环境中的无监督范式可能徒劳。
2025-05-29 cs.AI cs.LG
Iterative Batch Reinforcement Learning via Safe Diversified Model-based Policy Search
Siemens AG（西门子公司）
本文提出一种基于安全多样化模型策略搜索的迭代批量强化学习方法，通过引导策略在部署时高效收集数据，在已收集数据支持范围内持续改进策略。
2024-11-14 cs.AI cs.LG stat.ML
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Rochester（罗切斯特大学）
针对离线强化学习静态策略约束导致策略过度保守的问题，本文提出 SelfBC 动态自约束机制，并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG
Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective
本文提出CDAS方法，通过能力-难度对齐提升大语言模型推理的准确性和效率。
2026-01-30 cs.AI cs.LG
Continual Reinforcement Learning for Cyber-Physical Systems: Lessons Learned and Open Challenges
Trinity College Dublin（都柏林圣三一学院）；Trinity College Institute of Neuroscience（都柏林圣三一学院神经科学研究所）
本文探讨了持续强化学习在自动驾驶中的应用，揭示了持续学习环境中的关键挑战，包括环境抽象、超参数敏感性、灾难性遗忘及神经网络容量利用，提出了跨学科研究的重要性。
2025-11-19 cs.AI cs.LG
The Surprising Difficulty of Search in Model-Based Reinforcement Learning
Meta FAIR；McGill University（麦吉尔大学）
本文研究基于模型的强化学习中的搜索问题，发现即使模型高度准确，搜索也可能损害性能，而缓解过估计偏差比提高模型或价值函数精度更重要，通过取价值函数集成的最小值可有效解决偏差并实现有效搜索。
2026-05-21 cs.AI cs.LG
Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现，但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中，我们通过从人类决策过程中学习，将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标，我们开发了一个便携式，交互式平台，使用户能够通过操纵任务难度，观察性能，并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的，使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree
University of California, Berkeley, USA（美国加州大学伯克利分校）
预训练是深度学习中用于提高性能和减少训练时间的常用技术，在深度强化学习（RL）中具有良好的实验结果。然而，预训练需要相关的数据集进行训练。在这项工作中，我们评估了RL任务的预训练的有效性，有和没有分散注意力的背景，使用大型的，公开的数据集与最小的相关性，以及通过自我监督标记的逐个案例生成的数据集。结果表明，在不太相关的数据集上训练期间学习的过滤器会使预训练无效，而在分布数据集上训练期间学习的过滤器可靠地减少了RL训练时间，并在80k RL训练步骤后提高了性能。我们进一步研究，给定有限数量的环境步骤，如何最佳地将可用步骤划分为预训练和RL训练，以最大限度地提高RL性能。我们的代码可以在GitHub上找到
2021-10-06 cs.AI cs.LG
Mitigating Overthinking in Large Reasoning Models via Difficulty-aware Reinforcement Learning
Laboratory for Artificial Intelligence and New Forms of Education（人工智能与新教育形式实验室）；National Engineering Research Center of Educational Big Data（教育大数据国家工程研究中心）；Faculty of Artificial Intelligence in Education, Central China Normal University（教育人工智能学院，中央财经大学）；College of Electronics and Information Engineering, South-Central Minzu University（电子与信息工程学院，西南民族大学）
本文提出DiPO框架，通过难度感知强化学习缓解大推理模型的过度思考问题，提升推理效率与性能。
2026-01-29 cs.AI cs.LG
Towards Physically Safe Reinforcement Learning under Supervision
Dartmouth College（达特茅斯学院）；Adobe Research（Adobe研究院）
本文讨论的问题是如何以前可用的控制策略$π_s$可以作为一个监督员，更快速，更安全地训练一个新的学习控制策略$π_L$的机器人。在试验期间使用监督器和学习策略的加权平均值，最初在监督器上具有较重的权重，以便在学习策略仍然无效时允许安全和有用的物理试验。在该过程中，调整权重以支持学习的策略。随着权值的调整，学习后的网络必须进行补偿，以便在不同的权值下给出安全合理的输出。引入了一个先锋网络，该网络预先学习一个策略，该策略在计划的下一步新权重下与当前学习的策略执行相似;然后，该先锋网络在下一组试验中替换当前学习的网络。在OpenAI Gym上的实验证明了该方法的有效性。
2019-01-19 cs.LG stat.ML
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
New York University（纽约大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Parma（帕尔马大学）；Duke University（杜克大学）
在本文中，我们使用强化学习来寻找有效的二进制线性码的译码策略。我们首先回顾了几种迭代解码算法，这些算法在每个步骤中都涉及决策过程，包括位翻转（BF）解码，残差置信传播和锚解码。然后，我们说明了如何将这些算法映射到马尔可夫决策过程，允许数据驱动的学习最佳决策策略，而不是基于直觉或直觉的决策。作为一个案例研究，我们认为BF解码的二进制对称和加性高斯白噪声信道。我们的研究结果表明，学习BF解码器可以提供一系列的性能复杂度权衡考虑Reed-Muller和BCH码，并在某些情况下实现接近最佳的性能。我们还展示了学习收敛速度时，偏向正确的解码决策的学习过程，而不是只依赖于随机探索和过去的知识。
2019-08-21 cs.AI cs.IT cs.LG
Training Reinforcement Learning Agents and Humans With Difficulty-Conditioned Generators
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）
本文改编PERM，通过IRT启发的难度—能力匹配与离线两阶段课程，同时训练RL智能体和人类学习者，并经实证验证有效。
2023-12-04 cs.AI cs.HC cs.LG
Evolving Reinforcement Learning Algorithms
Research at Google（谷歌研究院）
我们提出了一种元学习强化学习算法的方法，通过搜索计算图的空间，计算基于值的无模型RL代理的损失函数进行优化。学习的算法是领域不可知的，可以推广到训练过程中看不到的新环境。我们的方法既可以从头开始学习，也可以从已知的现有算法（如DQN）中引导，从而实现可解释的修改，从而提高性能。从头开始学习简单的经典控制和网格世界的任务，我们的方法重新发现的时间差（TD）算法。从DQN引导，我们强调了两种学习算法，它们比其他经典控制任务、网格世界类型任务和Atari游戏获得了良好的泛化性能。学习算法的行为的分析表明，最近提出的RL算法，解决高估基于值的方法的相似之处。
2022-11-10 cs.AI cs.LG cs.NE
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Efficient Preference-Based Reinforcement Learning Using Learned Dynamics Models
UC Berkeley（加州大学伯克利分校）；Army Research Lab（陆军研究实验室）；University of Utah（犹他大学）
本文研究了在基于偏好的强化学习中使用学习到的动力学模型，证明其能显著减少环境交互、安全合成偏好查询并实现无环境交互的奖励预训练，使机器人更安全高效地学习定制化策略。
2024-02-09 cs.LG
Model-Based Value Estimation for Efficient Model-Free Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
最近的无模型强化学习算法已经提出将学习的动力学模型作为附加数据的来源，目的是降低样本复杂性。这种方法有望将想象的数据与模型不确定性的概念相结合，以加速连续控制任务的学习。不幸的是，它们依赖于限制动力学模型使用的逻辑学。我们提出了基于模型的价值扩展，它通过只允许想象固定的深度来控制模型中的不确定性。通过在无模型强化学习算法中更广泛地使用学习的动态模型，我们改进了值估计，这反过来又降低了学习的样本复杂性。
2018-02-28 cs.AI cs.LG stat.ML
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick（华威大学）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；University of Liverpool（利物浦大学）
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限，提出基于模型的GOPlan框架，通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略，在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Learning Sparse Representations Incrementally in Deep Reinforcement Learning
University of Alberta（阿尔伯塔大学）
稀疏表示已被证明在深度强化学习中对于减轻灾难性干扰和提高代理在累积奖励方面的性能是有用的。先前的结果是基于两步过程，即离线学习表示，然后在线学习动作-价值函数。在本文中，我们调查是否有可能学习稀疏表示和动作价值函数同时和增量。我们研究这个问题，采用几种正则化技术，并观察它们如何影响稀疏的表示学习的DQN代理在两个不同的基准域。我们的研究结果表明，通过适当的正则化，可以增加DQN代理学习的表示的稀疏性。此外，我们发现，学习稀疏表示也导致了累积奖励方面的性能提高。最后，我们发现学习稀疏表示的代理的性能对经验重放缓冲区的大小更鲁棒。这最后一项发现支持了一个长期存在的假设，即深度神经网络学习到的表示重叠是灾难性干扰的主要原因。
2019-12-09 cs.LG stat.ML
MAMBPO: Sample-efficient multi-robot reinforcement learning using learned world models
Delft University of Technology（代尔夫特理工大学）
多机器人系统可以受益于强化学习（RL）算法，该算法在少量试验中学习行为，这一特性被称为样本效率。因此，本研究探讨使用学习世界模型，以提高样本效率。我们提出了一种新的基于多Agent模型的强化学习算法：基于多Agent模型的策略优化（MAMBPO），利用集中学习分散执行（CLDE）框架。CLDE算法允许一组代理在训练后以完全分散的方式行事。这对于包括多个机器人的许多系统是期望的属性。MAMBPO使用一个学习世界模型，以提高样本效率相比，无模型的多智能体软Actor-Critic（MASAC）。我们在两个模拟的多机器人任务上证明了这一点，MAMBPO实现了与MASAC相似的性能，但需要的样本要少得多。通过这一点，我们迈出了重要的一步，使现实生活中的学习多机器人系统成为可能。
2021-03-05 cs.AI cs.MA cs.RO
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa（亚马逊Alexa）
人类通常使用自然语言来相互传达任务要求。理想情况下，自然语言也应该可用于向自主机器传达目标（例如，机器人），以最大限度地减少任务规范中的摩擦。然而，理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说，现有的工作沿着这些路线遇到了困难，在推广学习的政策，以新的自然语言的目标和环境。在本文中，我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力，我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集（Room-2-Room）上的性能大大优于多个基线，这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation（神经计算研究所）；Ruhr-University Bochum（波鸿鲁尔大学）
在多任务强化学习环境中，学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时，经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法，我们证明了一个不利的影响时，使用一个单一的学习动力学模型的多个任务。因此，我们解决了一个基本问题，即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型，我们看到了任务混乱和性能下降的明显证据。作为补救措施，通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构，在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果，通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
Diversity-based Deep Reinforcement Learning Towards Multidimensional Difficulty for Fighting Game AI
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
在格斗游戏中，具有相同技能水平的个体玩家通常通过他们的游戏玩法表现出彼此不同的策略。尽管如此，大多数用于格斗游戏的人工智能智能体对于每个“级别”的难度只有一个策略。为了让AI对手更像人类，我们希望在每个难度级别上看到多种不同的策略，我们称之为“多维”难度。在本文中，我们介绍了一种基于多样性的深度强化学习方法，用于生成一组利用不同策略的相似难度的代理。我们发现，这种方法在多样性和性能方面都优于使用专门的、人工编写的奖励函数训练的基线。
2022-11-04 cs.LG
Lessons Learned from Data-Driven Building Control Experiments: Contrasting Gaussian Process-based MPC, Bilevel DeePC, and Deep Reinforcement Learning
Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术实验室）
这份手稿提供了实验者对一些现代数据驱动技术的看法：依赖于高斯过程的模型预测控制，基于行为理论的自适应数据驱动控制，以及深度强化学习。这些技术进行比较的数据要求，易用性，计算负担，并在现实世界的应用程序的背景下的鲁棒性。我们的评论和观察源于在不同环境中进行的建筑控制领域的一些实验调查，从演讲厅和公寓空间到医院手术中心。最终目标是帮助其他人确定什么技术最适合解决他们自己的问题。
2022-05-31 cs.LG cs.SY eess.SY
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Measuring Interventional Robustness in Reinforcement Learning
Knowledge Discovery Laboratory（知识发现实验室）；College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
强化学习的最新工作集中在学习策略的几个特征上，这些特征超越了最大化奖励。这些属性包括公平性、可解释性、泛化性和鲁棒性。在本文中，我们定义了干预鲁棒性（IR），有多少可变性引入到学习政策的附带方面的培训过程中，如训练数据的顺序或代理采取的特定探索行动的措施。当它产生的代理在干预下采取非常相似的行动时，训练过程具有高IR，尽管训练过程的这些附带方面存在变化。我们开发了一种直观的IR定量测量方法，并在三个Atari环境中的八种算法中计算了数十种干预措施和状态。从这些实验中，我们发现IR随训练量和算法类型而变化，并且高性能并不意味着高IR，正如人们所期望的那样。
2022-09-19 cs.AI cs.LG
Locally Constrained Representations in Reinforcement Learning
McGill University（麦吉尔大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Dell Technologies, Research Office（戴尔科技公司研究办公室）；École de technologie supérieure（高等技术学院）；CIFAR AI Chair（加拿大高级研究所人工智能讲席）
提出局部约束表示方法，通过辅助损失使状态表示可由相邻状态预测，防止过度拟合价值损失，在连续控制任务中显著提升性能。
2024-02-09 cs.AI cs.LG
HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
IIIT-Bangalore（班加罗尔国际信息技术研究所）；Ericsson Research（爱立信研究院）；IIT-BHU（贝拿勒斯印度教大学印度理工学院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
协作多智能体强化学习（MARL）已经取得了显著的成果，最显著的是利用了深度神经网络的表示学习能力。然而，随着代理人数量的增加，大型集中式方法很快变得不可行，完全分散的方法可能会错过信息共享和协调的重要机会。此外，并非所有代理都是平等的-在某些情况下，单个代理甚至可能没有能力向其他代理发送通信或显式地对其他代理进行建模。本文考虑的情况下，有一个单一的，强大的，\emph{central agent}，可以观察整个观察空间，有多个，低功率的\emph{local agents}，只能接收本地的意见，并不能相互通信。中央代理的工作是根据全局观察来学习需要向不同的本地代理发送什么消息，不是通过集中解决整个问题并发送动作命令，而是通过确定单个代理应该接收什么附加信息，以便它可以做出更好的决策。在这项工作中，我们提出了我们的MARL算法\algo，描述它将是最适用的，并实现它在合作导航和多智能体步行者域。实证结果表明：1）学习的沟通确实提高了系统性能，2）结果推广到异构本地代理，3）结果推广到不同的奖励结构。
2022-12-02 cs.AI cs.LG cs.MA
Symbolic Explanation of Affinity-Based Reinforcement Learning Agents with Markov Models
Sparebank 1 SR-Bank；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
人工智能的扩散越来越依赖于模型理解。理解既需要解释（人类对模型行为的推理），也需要解释（模型功能的符号表示）。尽管透明性对于安全、信任和接受至关重要，但最先进的强化学习算法的不透明性掩盖了其学习策略的雏形。我们已经开发了一个政策正规化的方法，断言学习策略的全球内在亲和力。这些相似性提供了一种推理策略行为的方法，从而使其具有内在的可解释性。我们已经展示了我们在个性化繁荣管理中的方法，其中个人的消费行为及时决定了他们的投资策略，即不同的消费个性可能与不同的投资类别有不同的关联。现在，我们通过用离散化的马尔可夫模型再现潜在的原型策略来解释我们的模型。这些全局代理是原型策略的符号表示。
2022-08-29 cs.AI cs.LG
Robust Model-Based Reinforcement Learning with an Adversarial Auxiliary Model
University of Antwerp（安特卫普大学）；imec（校际微电子中心）；IDLab（IDLab研究院）
本文针对强化学习策略在近似MDP中鲁棒性不足的问题，提出在RMDP框架下引入对抗更新的辅助悲观模型，并将其集成到RMBPO算法中，在MuJoCo任务上验证了该方法能显著提升策略鲁棒性。
2024-07-01 cs.AI cs.LG
