Generalized Planning With Deep Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
智能的一个标志是能够从例子中推导出一般原则，这些原则在观察到的范围之外都是正确的。广义规划处理为一类规划问题找到这样的原则，这样使用域的小实例发现的原则可以用于解决同一域的更大实例。在这项工作中，我们研究了使用深度强化学习和图神经网络来学习这种广义策略，并证明它们可以推广到比它们训练时大几个数量级的实例。
2020-05-05 cs.AI cs.LG
Learning as Reinforcement: Applying Principles of Neuroscience for More General Reinforcement Learning Agents
Stanford University（斯坦福大学）
开发能够很好地泛化的人工智能的一个重大挑战是设计智能体，在不被告知要学习什么的情况下学习他们的世界，并将这种学习应用于奖励稀少的挑战。此外，大多数传统的强化学习方法以一种与生物学习不对应的方式明确地分离学习和决策。我们实现了一个架构建立在实验神经科学的原则，通过结合计算效率的生物算法的抽象。我们的方法受到了尖峰时间依赖可塑性研究的启发，短期和长期记忆之间的过渡，以及各种神经递质在奖励好奇心中的作用。Neurons-in-a-Box架构可以以完全可推广的方式学习，并展示了一种构建和应用表示的有效方法，而无需显式优化一组标准或动作。我们发现它在许多环境中表现良好，包括OpenAI Gym的Mountain Car，它除了触摸山上难以触及的旗帜外没有奖励，倒立摆，在那里它学习简单的策略来提高它举起钟摆的时间，视频流，在那里它自发地学习区分张开和闭合的手，以及其他环境，如Google Chrome的恐龙游戏。
2020-04-20 cs.LG cs.NE stat.ML
An Information-Theoretic Optimality Principle for Deep Reinforcement Learning
我们从方法上解决了深度强化学习中Q值高估的问题，以有效地处理高维状态空间。从信息论的概念，我们引入了一个内在的惩罚信号，鼓励减少Q值估计。由此产生的算法包含广泛的学习结果，其中包含深度Q网络作为特例。不同的学习成果可以通过相应地调整拉格朗日乘数来展示。此外，我们提出了一种新的调度方案，这个拉格朗日乘子，以确保有效和强大的学习。在Atari上的实验中，我们的算法在游戏性能和样本复杂度方面都优于其他算法（例如深度和双深度Q网络）。这些结果仍然有效，根据最近提出的决斗架构。
2018-11-20 cs.AI cs.LG stat.ML
K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland（伯恩大学）
本文提出一种简单有效的奖励归一化替代方法，通过整合一维卡尔曼滤波进行在线奖励估计，递归估计潜在奖励均值，降低高方差回报并适应非平稳环境，实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Approximating Shapley Explanations in Reinforcement Learning
University of Bath（巴斯大学）
本文提出FastSVERL方法，通过近似Shapley值实现强化学习解释的可扩展计算，以应对时间依赖、离线数据和智能体行为演化等挑战。
2025-11-08 cs.LG
Reinforcement Learning with Unbiased Policy Evaluation and Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；C3.ai Digital Transformation Institute（C3.ai数字化转型研究院）
我们提供性能保证的一个变种的基于模拟的策略迭代控制马尔可夫决策过程，涉及使用随机近似算法以及国家的最先进的技术，是非常大的MDPs，包括前瞻，函数逼近，和梯度下降。具体来说，我们分析了两种算法，第一种算法涉及一个最小二乘方法，其中一组新的权重与特征向量通过最小二乘最小化在每次迭代和第二种算法涉及两个时间尺度的随机近似算法，采取几个步骤的梯度下降到最小二乘解之前，获得下一个随机近似算法。
2022-10-13 cs.LG cs.SY eess.SY
Shallow Updates for Deep Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
深度强化学习（DRL）方法，如深度Q网络（DQN），已经在各种具有挑战性的高维领域取得了最先进的成果。这一成功主要归功于深度神经网络学习丰富的域表示以近似价值函数或策略的能力。另一方面，具有线性表示的批量强化学习方法更稳定，并且需要更少的超参数调整。然而，大量的特征工程是必要的，以达到良好的效果。在这项工作中，我们提出了一种混合方法-最小二乘深度Q网络（LS-DQN），它将DRL算法学习的丰富特征表示与线性最小二乘方法的稳定性相结合。我们通过定期重新训练DRL网络的最后一个隐藏层来实现这一点，并进行批量最小二乘更新。我们方法的关键是最小二乘更新的贝叶斯正则化项，这可以防止对最近数据的过度拟合。我们在五款Atari游戏上测试了LS-DQN，并展示了比vanilla DQN和Double-DQN显著的改进。我们还研究了我们的方法的优越性能的原因。有趣的是，我们发现性能的提高可以归因于LS方法在优化最后一层时使用的大批量。
2017-11-02 cs.AI cs.LG stat.ML
Principled Penalty-based Methods for Bilevel Reinforcement Learning and RLHF
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Yale University（耶鲁大学）
针对动态目标的双层强化学习问题，提出首个基于罚函数原则的算法框架，并提供理论分析与策略梯度算法，在Stackelberg马尔可夫博弈、RLHF和激励设计中验证了有效性。
2024-06-01 cs.LG math.OC stat.ML
Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon
EDF R&D（法国电力公司研发部）；FIME（FIME实验室）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间范围连续时间线性二次强化学习问题的情景设置，其中的状态和控制系数是未知的控制器。我们首先提出了一个最小二乘算法的基础上连续时间的观察和控制，并建立了一个对数遗憾界的顺序$O((\ln M)(\ln\ln M))$，与$M$是学习情节的数量。分析包括两个部分：扰动分析，利用相关的里卡蒂微分方程的规律性和鲁棒性;和参数估计误差，它依赖于连续时间最小二乘估计的次指数特性。我们进一步提出了一个实际可实现的最小二乘算法的基础上离散时间的观察和分段常数控制，实现了类似的对数遗憾与一个额外的长期明确取决于在算法中使用的时间步长。
2022-06-17 cs.LG math.OC stat.ML
Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对非线性函数逼近的离线强化学习缺乏实例依赖悔界保证的问题，提出预言机高效的PNLSVI算法，含三个创新组件，实现紧密的函数类复杂度依赖悔界，将相关结果扩展到更通用框架。
2024-10-09 cs.LG math.OC stat.ML
Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
针对长时程目标条件任务中分层强化学习的不稳定性与缺乏理论保证问题，提出RLA框架，通过低层策略与高层预期模型协同，基于价值几何一致性训练，实现全局最优策略的收敛。
2025-09-06 cs.LG
AtomComposer: Discovering Chemical Space from First Principles with Reinforcement Learning
Dept. of Energy Conversion and Storage, Technical University of Denmark（丹麦技术大学能源转换与存储系）；Dept. of Applied Mathematics and Computer Science, Technical University of Denmark（丹麦技术大学应用数学与计算机科学系）；Pioneer Center for Accelerating P2X Materials Discovery (CAPeX), Kgs. Lyngby, Denmark（加速P2X材料发现的先锋中心（CAPeX），Lyngby，丹麦）
提出AtomComposer，一种无需预训练数据、通过在线强化学习自主构建有效3D异构体的智能体，在未见化学式上发现的异构体数量比现有方法多一个数量级。
2026-05-27 cond-mat.mtrl-sci cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Counteractive RL: Rethinking Core Principles for Efficient and Scalable Deep Reinforcement Learning
Ezgi Korkmaz
本文提出基于对抗性行动经验的理论新范式，解决高维MDP中状态空间爆炸导致的计算复杂性与策略成功率矛盾，通过实验验证方法在高维环境中的高效性和样本效率。
2026-03-16 cs.AI cs.LG
Bayesian Design Principles for Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Sciences, Tsinghua University（清华大学交叉信息研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fuxi AI Lab, Netease, Inc.（网易伏羲人工智能实验室）；Department of Automation, Tsinghua University（清华大学自动化系）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文解决离线到在线强化学习微调中悲观与乐观策略的困境，提出基于贝叶斯设计原则的概率匹配方法，使智能体在避免性能突降的同时保证找到最优策略，并在多个基准上表现优异。
2024-05-31 cs.LG
The Value Equivalence Principle for Model-Based Reinforcement Learning
University of Michigan（密歇根大学）；DeepMind（DeepMind（深度思考））
从数据中学习环境模型通常被视为构建智能强化学习（RL）代理的重要组成部分。通常的做法是将模型的学习与使用分开，通过构建一个正确预测观察到的状态转换的环境动态模型。在本文中，我们认为，有限的代表性资源的基于模型的RL代理更好地用于建立模型，是直接有用的基于价值的规划。作为我们的主要贡献，我们介绍了价值等价的原则：两个模型是价值等价的一组功能和政策，如果它们产生相同的贝尔曼更新。我们提出了一个公式化的模型学习问题的基础上的价值等价原则，并分析了如何设置的可行的解决方案是由政策和功能的选择的影响。具体来说，我们表明，当我们增加所考虑的政策和功能集时，价值等价模型的类会缩小，直到最终崩溃到一个与完美描述环境的模型相对应的点。在许多问题中，直接建模状态到状态的转换可能既困难又不必要。通过利用值等价原则，可以找到更简单的模型，而不会影响性能，节省计算和内存。我们通过实验将其与最大似然估计等更传统的模型进行比较，说明了值等效模型学习的好处。更一般地说，我们认为，价值等价的原则是RL中最近一些经验成功的基础，如价值迭代网络，Predictron，价值预测网络，TreeQN和MuZero，并为这些结果提供了第一个理论基础。
2020-11-06 cs.AI cs.LG
Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
The University of Tokyo（东京大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Araya Inc., Tokyo, Japan（日本东京阿雷亚公司）；University of Sussex（Sussex大学）
提出统一框架，通过局部一步系统动态描述组成性地定义行为语义，证明行为结构在抽象与具体系统间的安全迁移，并构建具有可靠性保证的定量度量。
2026-08-10 cs.AI cs.LG math.CT
Reinforcement Learning for Molecular Dynamics Optimization: A Stochastic Pontryagin Maximum Principle Approach
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种基于随机庞特里亚金极大值原理和SAC算法的强化学习框架，通过优化完整分子动力学轨迹而非仅最终构型，在连续空间中无监督地探索非凸能量景观，并在六种分子上取得优于Greedy和NEMO等方法的低能态稳定性能。
2024-10-21 cs.AI cs.LG math.FA
Deep Multi-Agent Reinforcement Learning Based Cooperative Edge Caching in Wireless Networks
Syracuse University（雪城大学）
高质量和低延迟的多媒体服务的需求不断增长，导致了边缘缓存技术的兴趣。出于这一动机，我们在本文中考虑边缘缓存在基站未知的内容流行度分布。为了解决缓存决策的动态控制问题，我们提出了一个基于深度行动者-批评者强化学习的多智能体框架，其目标是最小化整体平均传输延迟。为了评估所提出的框架，我们比较了基于学习的性能与其他三个缓存政策，即最近最少使用（LRU），最不频繁使用（LFU），先进先出（FIFO）的政策。通过仿真结果，性能改进的建议框架，这三种缓存算法已被确定，其优越的能力，以适应不同的环境中被证明。
2019-05-13 cs.IT cs.LG math.IT
Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach
Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
多智能体强化学习（MARL）在存在更多智能体的情况下变得更具挑战性，因为联合状态和动作空间的容量随着智能体的数量呈指数级增长。为了解决这样的规模挑战，我们识别了一类具有排列不变性的协作MARL问题，并将其表示为平均场马尔可夫决策过程（MDP）。为了利用其中的置换不变性，我们提出了平均场近端策略优化（MF-PPO）算法，其核心是一个置换不变的actor-critic神经架构。我们证明了MF-PPO达到全局最优的政策在一个次线性收敛速度。此外，它的样本复杂性是独立的代理的数量。我们验证了MF-PPO的理论优势，在多智能体粒子环境（MPE）的数值实验。特别是，我们证明了由置换不变神经架构引入的归纳偏差使MF-PPO能够以较少的模型参数胜过现有的竞争对手，这是其泛化性能的关键。
2021-05-18 cs.LG cs.MA
Towards Principled Unsupervised Multi-Agent Reinforcement Learning
Politecnico di Milano（米兰理工学院）；Technion（技术学院）
本文研究多智能体无监督预训练与任务无关探索问题，刻画不同目标形式的理论及实践难点，提出可扩展的去中心化信赖域策略搜索算法，并通过数值验证表明混合熵在可处理性与性能间具有优异权衡。
2025-10-19 cs.AI cs.LG
Less is more -- the Dispatcher/ Executor principle for multi-task Reinforcement Learning
Google DeepMind（谷歌DeepMind）
本文提出多任务强化学习中的调度器/执行器原则，通过结构化设计提升泛化能力和数据效率，尤其在数据有限时具有重要价值。
2026-02-27 cs.AI cs.LG cs.RO
Principled Fast and Meta Knowledge Learners for Continual Reinforcement Learning
University of Alberta（阿尔伯塔大学）；National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统国家重点实验室，自动化研究所，中国科学院）；Edmonton Research Center, Huawei Canada（华为加拿大爱德蒙顿研究中心）；Huawei Noah’s Ark Lab（华为诺亚实验室）；BetaInfinity
本研究提出双学习器框架，通过快速学习器与元学习器协同作用，解决持续强化学习中的知识转移与整合问题，实现高效累积学习。
2026-03-01 cs.LG
Orchestrated Value Mapping for Reinforcement Learning
Microsoft Research（微软研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一种通用的收敛类强化学习算法，它基于两个不同的原则：（1）使用广泛类中的任意函数将值估计映射到不同的空间，以及（2）将奖励信号线性分解为多个通道。第一个原则允许将特定的属性合并到可以增强学习的值估计器中。另一方面，第二个原则允许将价值函数表示为多个效用函数的组合。这可以用于各种目的，例如处理高度变化的奖励尺度，结合关于奖励来源的先验知识，以及集成学习。结合这两个原则，通过在多个奖励通道上编排不同的映射函数，产生了一个实例化收敛算法的通用蓝图。该蓝图概括并包含了Q-Learning、Log Q-Learning和Q-Decomposition等算法。此外，我们的收敛性证明，这一般类放松某些必要的假设，在这些算法。基于我们的理论，我们讨论了几个有趣的配置作为特殊情况。最后，为了说明我们的理论开辟的设计空间的潜力，我们实例化一个特定的算法，并评估其性能的Atari套件。
2022-03-16 cs.AI cs.LG
Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons
UC Berkeley（加州大学伯克利分校）
本文为RLHF建立理论框架，证明线性奖励下MLE收敛但策略训练失败，悲观MLE在覆盖假设下更优，统一RLHF与最大熵IRL并给出首个样本复杂度界。
2024-02-08 cs.AI cs.HC cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Teach Biped Robots to Walk via Gait Principles and Reinforcement Learning with Adversarial Critics
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；National University of Singapore（新加坡国立大学）
考虑到机器人的非线性和混合动力学特性，控制其稳定行走是一项具有挑战性的任务。强化学习可以通过直接将观察到的状态映射到最大化累积奖励的最佳动作来解决这些问题。然而，局部极小值所造成的不适当的奖励和高估的累积奖励阻碍了最大化的累积奖励。为了提高累积奖励，本文设计了一种基于步行原理的步态奖励，它补偿了不自然运动的局部极小值。此外，提出了一种基于递归神经网络的对抗性双延迟深度确定性（ATD 3）策略梯度算法，通过减轻对累积奖励的高估来进一步提高累积奖励。在Roboschool Walker2d和Webots Atlas模拟器上的实验结果表明，添加步态奖励后，测试奖励分别增加了23.50%和9.63%。使用ATD3_RNN后，测试奖励进一步增加了15.96%和12.68%，原因可能是ATD3_RNN将累积奖励的估计误差从19.86%降低到3.35%。此外，步态奖励和ATD3_RNN训练的机器人与人之间的余弦运动相似度提高了69.23%以上。因此，所设计的步态奖励和ATD3_RNN提高了累积奖励，并教机器人更好地行走。
2019-10-22 cs.LG cs.RO
Edge-Compatible Reinforcement Learning for Recommendations
Adobe Research（Adobe研究院）
大多数为边缘计算设计的强化学习（RL）推荐系统必须在推荐选择期间同步，或者依赖于无原则的拼凑算法集合。在这项工作中，我们建立在异步coagent策略梯度算法\citep{kostas2020asynchronous}提出了一个原则性的解决方案，这个问题。我们提出的这类算法可以在互联网上分发，并异步实时运行。当给定的边缘无法以足够的速度响应数据请求时，这不是问题;该算法旨在边缘设置中运行和学习，网络问题是此设置的一部分。其结果是一个有原则的，理论上有基础的RL算法，旨在分布在这个异步环境中并在其中学习。在这项工作中，我们详细描述了这种算法和一类建议的架构，并证明他们在实践中工作良好的异步设置，即使网络质量下降。
2022-08-10 cs.LG
Application of linear regression and quasi-Newton methods to the deep reinforcement learning in continuous action cases
Data Science and AI Innovation Research Promotion Center（数据科学与人工智能创新研究促进中心）；Shiga University（Shiga大学）
本文提出DLS-DDPG方法，结合线性回归与拟牛顿方法改进连续动作的深度强化学习，在MuJoCo环境中部分任务性能提升。
2025-04-25 cs.AI cs.LG
Statistical analysis of Inverse Entropy-regularized Reinforcement Learning
Duisburg-Essen University, Germany（杜伊斯堡-埃森大学）；HSE University, Russian Federation（俄罗斯高等经济大学）
本文提出逆熵正则化强化学习的统计框架，通过熵正则化与最小二乘重建解决奖励函数不唯一问题，实现策略估计的非渐近最优收敛率。
2026-09-11 cs.LG math.ST stat.ML
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
Reinforcement Learning Textbook
这本教科书涵盖了主要的现代深度强化学习算法背后的原理，这些算法在从游戏AI到机器人技术的许多领域取得了突破性的成果。所有必要的理论都用统一符号的证明来解释，并强调不同类型算法之间的差异以及它们以这种方式构造的原因。
2022-01-19 cs.AI cs.LG cs.NE
Bellman Residual Orthogonalization for Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
我们提出并分析了一个强化学习原理，该原理通过仅沿用户定义的测试函数空间执行其有效性来近似Bellman方程。专注于无模型离线RL与函数近似的应用程序，我们利用这一原则来获得置信区间的政策评估，以及在规定的政策类内的政策进行优化。我们证明了一个预言不等式我们的政策优化过程中的任意比较政策的价值和不确定性之间的权衡。测试函数空间的不同选择使我们能够在一个共同的框架内解决不同的问题。我们的特点的效率损失，从政策上的政策，关闭数据使用我们的程序，并建立连接到集中系数在过去的工作中研究。我们深入研究我们的方法与线性函数近似的实现，并提供理论保证多项式时间的实现，即使贝尔曼封闭不成立。
2022-10-12 cs.LG
Efficient Reinforcement Learning Using Recursive Least-Squares Methods
National University of Defense Technology（国防科技大学）
递归最小二乘（RLS）算法是自适应滤波、系统辨识和自适应控制中最常用的算法之一。它的流行主要是由于它的快速收敛速度，这在实践中被认为是最佳的。本文将RLS方法用于解决强化学习问题，提出并分析了两种基于线性价值函数逼近器的强化学习新算法。这两种算法分别称为RLS-TD（lambda）和Fast-AHC（Fast Adaptive Heuristic Critic）。RLS-TD（lambda）可以看作是RLS-TD（0）在区间[0，1]内从lambda=0到一般lambda的推广，因此它是一种基于RLS方法的多步时间差分（TD）学习算法。对遍历马氏链证明了RLS-TD（lambda）的概率收敛性和收敛极限。与已有的LS-TD（lambda）算法相比，RLS-TD（lambda）算法在计算量上具有优势，更适合于在线学习。最后，通过马尔可夫链的学习预测实验，分析和验证了RLS-TD（lambda）的有效性。将RLS-TD（lambda）算法应用于自适应启发式评价方法的评价网络，得到了Fast-AHC算法。与传统的AHC算法不同，Fast-AHC算法利用RLS方法提高了算法的学习预测效率。通过小车-杆平衡和acrobot摆起问题的学习控制实验，比较了Fast-AHC和传统AHC的数据效率。实验结果表明，在评价器的学习-预测过程中使用RLS方法，也可以提高学习控制的数据效率。Fast-AHC…
2011-06-03 cs.AI cs.LG
Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
针对深度强化学习中Bellman算子导致价值函数误差分布偏斜并违反最小二乘法高斯假设的问题，提出Symmetric Q-learning方法，通过向目标值添加零均值合成噪声生成高斯误差分布，在MuJoCo基准上有效降低了误差偏度并提升了样本效率。
2024-03-12 cs.AI cs.LG
On Bellman's principle of optimality and Reinforcement learning for safety-constrained Markov decision process
Aalborg University（奥尔堡大学）
针对安全约束 CMDP 中多链结构导致 Bellman 最优性原理失效的问题，本文将多目标优化转化为零和博弈，提出异步值迭代与改进 $Q$-learning，并给出迭代下界和误差界。
2023-07-12 cs.LG cs.SY eess.SY
Parallel Automatic History Matching Algorithm Using Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
将历史匹配问题从最小二乘数学优化问题转化为马尔可夫决策过程，引入了一种利用强化学习解决该问题的方法。该方法提供了一种机制，其中人工深度神经网络代理可以与储层模拟器交互并找到问题的多个不同解决方案。这种公式化允许通过启动多个并发环境来并行解决问题，使代理能够同时从所有环境中学习，从而实现显着的速度提升。
2022-12-23 cs.AI cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
TGRL通过比较有无教师监督的反事实表现，动态自动平衡教师引导与奖励学习，在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
本文以封闭轮抽游戏“寿司去派对”为案例，提出第一性原理方法，通过决策规则拟合、跨牌组泛化基准及可计算记忆度量，系统研究DQN智能体的可解释性、泛化能力与记忆学习能力，并达到最先进性能。
2023-11-17 cs.AI cs.LG
Reinforcement learning with experience replay and adaptation of action dispersion
Warsaw University of Technology（华沙工业大学）
有效的强化学习需要通过动作分布的分散来定义探索和利用的适当平衡。然而，这种平衡取决于任务、学习过程的当前阶段和当前环境状态。指定动作分布分散度的现有方法需要依赖于问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分散度：该分布应具有足够的分散度，以评估未来的政策。为此，应该调整分散以确保重放缓冲器中的动作的足够高的概率（密度）和生成它们的分布的模式，但该分散不应该更高。通过这种方式，可以根据缓冲区中的操作有效地评估策略，但是当此策略收敛时，操作中的探索随机性会降低。上述原则在具有挑战性的基准测试Ant、HalfCheetah、Hopper和Walker2D上得到了验证，结果良好。我们的方法使动作标准差收敛到类似于试错优化的值。
2022-07-30 cs.LG
RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization
School of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Informatics, Xiamen University (XMU)（厦门大学信息学院）
针对多智能体强化学习中的风险敏感协调问题，提出RiskQ框架，通过引入RIGM原则并建模联合回报分布的分位数，使去中心化策略在VaR等风险度量下满足协调要求，实验证明其性能优异。
2024-03-21 cs.AI cs.LG cs.MA
Cover Tree Bayesian Reinforcement Learning
University of Ioannina（约阿尼纳大学）；Chalmers university of technology（查尔姆斯理工大学）
本文提出了一种基于树的在线贝叶斯强化学习方法。对于推理，我们采用了广义上下文树模型。这定义了多变量高斯分段线性模型上的分布，该分布可以以封闭形式更新。树结构本身是使用覆盖树方法构造的，该方法在高维空间中仍然有效。我们结合模型与汤普森采样和近似动态规划，以获得有效的勘探政策在未知的环境。该模型的灵活性和计算简单性使其适用于连续状态空间中的许多强化学习问题。我们证明了这一点，最小二乘政策迭代的实验比较。
2014-05-02 cs.LG stat.ML
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
RLOps: Development Life-cycle of Reinforcement Learning Aided Open RAN
University of Bristol（布里斯托大学）；Vilicom UK Ltd.（英国Vilicom有限公司）；InterDigital Communications, Inc.（InterDigital通信公司）
无线电接入网络（RAN）技术不断发展，其中Open RAN获得了最新的动力。在O-RAN规范中，RAN智能控制器（RIC）是用于RAN智能管理的软件定义的编排和自动化功能。本文介绍了机器学习（ML）的原理，特别是强化学习（RL）在O-RAN堆栈中的应用。此外，我们回顾了最先进的无线网络的研究，并把它投到RAN框架和层次的O-RAN架构。我们为ML/RL模型在整个开发生存周期中所面临的挑战提供了一个分类：从系统规范到生产部署（数据采集，模型设计，测试和管理等）。为了应对这些挑战，我们整合了一套现有的MLOps原则，当考虑RL代理时，这些原则具有独特的特征。本文讨论了一个系统的模型开发，测试和验证生存周期，称为：RLOps。我们讨论了RLOps的基本部分，其中包括：模型规范，开发，生产环境服务，操作监控和安全/保障。基于这些原则，我们提出了RLOps的最佳实践，以实现自动化和可重复的模型开发过程。最后，设计并实现了一个植根于O-RAN部署的整体数据分析平台，旨在拥抱和实现上述原则和最佳实践的RLOps。
2022-11-25 cs.LG cs.NI
Explaining Reinforcement Learning with Shapley Values
University of Bath（巴斯大学）
针对强化学习系统的可解释性需求，本文提出用于解释强化学习的Shapley值框架SVERL，分析了过往方法的局限，该方法能在多领域生成符合人类直觉的智能体性能解释。
2023-06-09 cs.LG
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Selecting the State-Representation in Reinforcement Learning
INRIA Lille（法国国家信息与自动化研究所里尔中心）
研究了强化学习中状态表示的选择问题。给出了观测的几种模型（将过去的观测映射到有限集的函数），并且已知对于这些模型中的至少一个，所得到的状态动态确实是马尔可夫的。在既不知道哪一个模型是正确的模型，也不知道所得到的MDP的概率特性是什么的情况下，需要获得与正确模型的最优策略一样多的奖励（或者如果有几个正确模型，则为最好的模型）。我们提出了一个算法，实现了这一点，遗憾的顺序T^{2/3}，其中T是地平线时间。
2013-02-11 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation
Korea University（高丽大学）；Hallym University（翰林大学）
量子计算的出现使研究人员能够将量子电路应用于许多现有的研究。利用量子电路和量子微分编程技术，人们进行了许多研究，如\textit{Quantum Machine Learning}（QML）。特别是量子强化学习是检验量子机器学习可能性的一个很好的领域，大量的研究正在进行中。本研究将介绍使用变分量子电路的量子强化学习的概念，并通过实施和实验确认其可能性。我们将首先介绍量子强化学习的背景知识和工作原理，然后使用PennyLane库指导实现方法。我们还将讨论量子强化学习的力量和可能性，从通过这项工作获得的实验结果。
2021-08-16 cs.LG
Reinforcement Learning with Random Delays
Mila, McGill University（米拉-麦吉尔大学）；Polytechnique Montreal（蒙特利尔理工学院）；Mila, Polytechnique Montreal（米拉-蒙特利尔理工学院）；Mila, University of Montreal（米拉-蒙特利尔大学）
动作和观察延迟通常发生在许多强化学习应用中，例如远程控制场景。我们研究了随机延迟环境的解剖结构，并表明部分恢复的轨迹片段在事后允许离线政策的多步值估计。我们应用这一原则，以获得延迟校正演员批评（DCAC），软演员批评的基础上，具有显着更好的性能，在延迟的环境中的算法。这在理论上得到了证明，并且在MuJoCo连续控制基准的延迟增强版本上得到了实际证明。
2021-05-04 cs.LG
Diverse Priors for Deep Reinforcement Learning
University of College London（伦敦大学学院）；University of Manchester（曼彻斯特大学）
本文针对深度强化学习中基于集成的不确定性估计缺乏明确先验和成员多样性的问题，提出了一种采用精心设计的先验神经网络以在初始值函数中引入最大多样性的创新方法，显著提升了样本效率与探索性能。
2023-10-23 cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中，使其在广泛时间尺度上实现稳健学习，展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
Maximum Entropy Semi-Supervised Inverse Reinforcement Learning
CMLA, ENS Cachan（CMLA，ENS巴黎-坎帕尼昂）；SequeL team, INRIA Lille - Nord Europe（SequeL团队，INRIA里尔-北欧）；Adobe Research（Adobe研究）
本文提出MESSI算法，结合最大熵逆强化学习与半监督学习原理，利用未标注数据提升性能，在高速驾驶和网格世界任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Deep Reinforcement Learning and the Deadly Triad
DeepMind（深度思维）；University of Lille（里尔大学）
我们从强化学习理论中知道，时间差学习在某些情况下可能会失败。Sutton和Barto（2018）确定了函数近似、自举和离策略学习的致命三位一体。当这三个属性结合在一起时，学习可以随着价值估计变得无界而发散。然而，一些算法成功地结合了这三个属性，这表明我们的理解至少存在部分差距。在这项工作中，我们调查了致命的三合会在实践中的影响，在一系列流行的深度强化学习模型的背景下-用经验重放训练的深度Q网络-分析这个系统的组件如何在致命三合会的出现中发挥作用，以及代理的表现
2018-12-06 cs.AI cs.LG
