ReMIX: Regret Minimization for Monotonic Value Function Factorization in Multiagent Reinforcement Learning
The George Washington University（乔治华盛顿大学）
在集中训练、分散执行的模式下，价值函数分解方法已成为协作多智能体强化学习的主要方法。通过使用代理效用的单调混合函数分解最优联合行动价值函数，这些算法确保了分散决策中联合行动和局部行动选择之间的一致性。然而，单调混合函数的使用也会导致代表性的限制。寻找无限制混合函数在单调函数类上的最优投影仍然是一个公开的问题。为此，我们提出了ReMIX，制定这个最佳的投影问题的价值函数因式分解作为一个遗憾最小化的投影权重不同的状态动作值。这样的优化问题可以放松和解决使用拉格朗日乘子法，以获得封闭形式的最优投影权重。通过最小化由此产生的政策遗憾，我们可以缩小最优和限制单调混合函数之间的差距，从而得到一个改进的单调价值函数分解。在Predator-Prey和StarCraft Multiagent Challenge环境下的实验结果表明了该方法的有效性，表明该方法具有更好的处理非单调价值函数环境的能力.
2023-02-11 cs.LG
SHAQ: Incorporating Shapley Value Theory into Multi-Agent Q-Learning
Imperial College London（帝国理工学院）；University of Freiburg（弗赖堡大学）；University of Bath（巴斯大学）；KAIST（韩国科学技术院）
价值因子分解是全球奖励博弈中多智能体强化学习（MARL）的一种有用技术，但其内在机制尚未完全理解。利用Shapley值理论研究了一个具有可解释性的值因子分解的理论框架。将Shapley值推广到马尔可夫凸博弈中，称之为马尔可夫Shapley值（MSV），并将其作为一种价值因子分解方法应用于全局奖励博弈中。基于MSV的性质，我们推导出Shapley-Bellman最优性方程（SBOE）来评估最优MSV，它对应于最优联合确定性策略。此外，我们提出了Shapley-Bellman算子（SBO），证明了解决SBOE。在SBO和MSV理论的指导下，通过随机逼近和一些变换，提出了一种新的MARL算法-Shapley Q-learning（SHAQ）。我们还讨论了SHAQ和相关的值因子分解方法之间的关系。在实验中，SHAQ不仅在所有任务上表现出优越的性能，而且还具有与理论分析一致的可解释性。本文的实现在https://github.com/hsvgbkhgbv/shapley-q-learning上。
2023-01-09 cs.AI cs.LG cs.MA
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Distributional Reinforcement Learning with Unconstrained Monotonic Neural Networks
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
分布式强化学习（RL）方法主张表示随机收益的完整概率分布，而不是仅对其期望进行建模。分布式RL算法可以由两个主要组成部分来表征，即分布的表示及其参数化和定义损失的概率度量。目前的研究工作认为，无约束单调神经网络（UMNN）架构，连续单调函数，特别适合于不同的分布表示建模的通用逼近。这个属性使有效的解耦的函数逼近类的影响，从概率度量。研究论文首先介绍了一种学习随机收益分布（PDF，CDF和QF）的不同表示的方法。其次，提出了一种新的分布式强化学习算法--无约束单调深度Q网络（UMDQN）。据作者所知，它是第一个支持学习随机收益分布的三个有效和连续表示的分布RL方法。最后，基于该算法，对Kullback-Leibler散度、Cramer距离和Wasserstein距离三种概率准度量进行了实证比较.结果突出了与每个概率度量相关的主要优点和缺点，以及Wasserstein距离的重要限制。
2023-03-17 cs.AI cs.LG
The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
Tianjin University（天津大学）；Alibaba（阿里巴巴）
针对LLM强化学习中训练-推理概率不一致导致的策略不稳定问题，提出单调推理策略改进（MIPI）目标及两阶段框架MIPU，通过推理侧间隙代理选择候选更新，提升推理性能与训练稳定性。
2026-06-28 cs.LG
Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，布里斯班，昆士兰，澳大利亚）
针对扩散大语言模型中固定大小推理块导致的逻辑连贯性差和效率低问题，提出基于单调熵下降目标与强化学习的后训练框架b1，学习动态大小推理块以提升推理连贯性。
2026-05-27 cs.LG
Semantic-aware Transmission Scheduling: a Monotonicity-driven Deep Reinforcement Learning Approach
The University of Sydney（悉尼大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
针对6G信息物理系统中语义感知传输调度决策空间巨大、现有算法难以求得最优策略的问题，本文分析最优策略性质并据此提出单调性驱动的DRL算法，显著减少训练时间并提升性能。
2023-09-21 cs.AI cs.IT cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Solving Truly Massive Budgeted Monotonic POMDPs with Oracle-Guided Meta-Reinforcement Learning
Department of Aerospace Engineering（航空航天工程系）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Department of Mathematics（数学系）；Engineer Research and Development Center（工程研究与发展中心）；U.S. Army Corps of Engineers（美国陆军工程兵团）
针对大规模预算约束多组件单调POMDP求解难题，提出两步法：先用随机森林近似最优预算分配，再用Oracle引导的元训练PPO算法求解各单组件问题，实现可扩展性。
2025-09-15 cs.AI cs.LG math.OC
Is Reinforcement Learning More Difficult Than Bandits? A Near-optimal Algorithm Escaping the Curse of Horizon
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
情景强化学习和情境强盗是两个被广泛研究的序列决策问题。情景强化学习概括了上下文强盗，并且由于长的规划视野和未知的状态依赖转换而通常被认为是更困难的。目前的论文表明，长的规划范围和未知的状态依赖的转换（最多）对样本的复杂性造成的额外困难不大。我们考虑情景强化学习与$S$状态，$A$行动，规划视野$H$，总奖励由$1$界定，和代理播放$K$情节。本文提出了一种新的算法--\textbf{M}单调\textbf{V}值\textbf{P}映射（MVP），它依赖于一种新的Bernstein型奖金.与现有的奖金结构相比，新的奖金更紧，因为它是基于一个精心设计的单调值函数。特别是，奖金中的\emph{constants}应该巧妙地设置，以确保乐观和单调。我们表明MVP享有$O\left(\left(\sqrt{SAK} + S^2A\right) \poly\log \left(SAHK\right)\right)$遗憾，接近\emph{contextual bandits}的$Ω\left(\sqrt{SAK}\right)$下限的对数项。值得注意的是，该结果1）\emph{exponentially}在对$H$的依赖性方面改进了Dann等人[2019]和Zanette等人[2019]的最先进多项式时间算法，2）\emph{exponentially}改进了[Wang等人2020]中的运行时…
2021-06-30 cs.LG stat.ML
FISAR: Forward Invariant Safe Reinforcement Learning with a Deep Neural Network-Based Optimize
Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有约束的强化学习，这在安全关键环境中是必不可少的。为了使约束违反单调下降，我们把约束作为李雅普诺夫函数，并施加新的线性约束的政策参数的更新动态。因此，原始安全集可以是前向不变的。然而，由于新的不确定可行约束被施加在更新动态上，而不是原始策略参数，经典的优化算法不再适用。为了解决这个问题，我们建议学习一个通用的基于深度神经网络（DNN）的优化器来优化目标，同时满足线性约束。通过投影到多个线性不等式约束的多面体上，可以用我们新设计的度量解析地解决约束满足。据我们所知，这是基于\textit{first} DNN的优化器，用于具有前向不变性保证的约束优化。我们表明，我们的优化器训练的政策，以减少约束违反和最大化的累积奖励单调。数值约束优化和避障导航的结果验证了理论研究结果。
2021-05-05 cs.AI cs.LG stat.ML
Beyond Monotonicity: Revisiting Factorization Principles in Multi-Agent Q-Learning
Department of Computer Science, University of Exeter, U.K.（埃克塞特大学计算机科学系）；School of Automation, Central South University, China（中南大学自动化学院）
本文通过动力系统分析非单调值分解，证明非单调分解能可靠恢复IGM最优解并优于单调基线。
2025-11-12 cs.LG cs.MA
A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation
Department of Computer Science University of California, Los Angeles（计算机科学系加州大学洛杉矶分校）
针对通用函数近似强化学习的探索-利用困境，提出MQL-UCB算法，通过低切换策略、单调价值结构与方差加权回归，实现近最优悔值与切换成本，为高效非线性Q学习设计提供支撑。
2025-10-03 cs.LG math.OC stat.ML
Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates
Technical University of Darmstadt（达姆斯塔特技术大学）；Lund University（隆德大学）；German Research Center for AI (DFKI)（人工智能研究中心（DFKI））；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；Huawei, Noah’s Ark Lab（华为诺亚实验室）；University College London（伦敦大学学院）
本文提出TRIRL算法，通过信任区域优化策略更新，实现奖励函数的单调改进，避免对抗方法的不稳定性，提升多任务表现。
2026-07-03 cs.AI cs.LG cs.RO
Easy Monotonic Policy Iteration
UC Berkeley（加州大学伯克利分校）
在使用一般函数逼近器（如深度神经网络和其他非线性函数）进行控制的强化学习中，一个关键问题是，对于实践中使用的许多算法，对策略或$Q$函数的更新可能无法提高性能，或者更糟的是，实际上会导致策略性能下降。以前的工作已经解决了这个问题，政策迭代，得到严格的政策改善界限，通过优化政策改善的下限，一个更好的政策得到保证。然而，现有的方法遭受的界限是难以优化的，在实践中，因为它们包括超范数项，不能有效地估计或区分。在这项工作中，我们得到了一个更好的政策改进的界限，其中的超级规范的政策分歧已被替换为平均分歧，这导致了一个算法，简单单调的政策迭代，生成序列的政策，保证非递减的回报，是很容易实现的样本为基础的框架。
2016-02-29 cs.AI cs.LG stat.ML
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
School of Computing Technologies, RMIT University（计算技术学院，皇家墨尔本理工大学）
多智能体交叉熵方法结合单调非线性批评分解，通过提高高价值联合动作的概率来解决集中-分散不匹配问题，并在连续和离散动作基准上表现优异。
2025-11-26 cs.LG cs.MA
MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning
Tongji University（同济大学）；Tsinghua University（清华大学）；Zhejiang Lab（之江实验室）；The Chinese University of HongKong（香港中文大学）
本文指出了离线元强化学习中交替优化框架忽略任务表示变化的问题，将其定义为任务表示偏移，并从理论上证明通过适当的上下文编码器更新可保证单调性能提升。
2025-02-03 cs.AI cs.LG
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
通过使用蒙特卡罗树搜索或模型预测控制，多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond}，多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中，我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难，软策略更新：即使在没有近似的情况下，相反的1步贪婪的情况下，单调的政策改善是不能保证的，除非更新步长足够大。特别关心这个困难，我们制定和分析在线和近似算法，使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）；Delft University of Technology（代尔夫特理工大学）
我们提出了因子化多智能体集中式策略梯度（FACMAC），一种新的方法，在离散和连续的动作空间的合作多智能体强化学习。像MADDPG，一个流行的多代理演员批评的方法，我们的方法使用深确定性策略梯度学习政策。然而，FACMAC学习一个集中的，但分解的评论家，它结合每个代理效用到联合行动价值函数通过一个非线性单调函数，如在QMIX，一个流行的多代理Q-学习算法。然而，与QMIX不同的是，对critics的分解没有固有的约束。因此，我们还采用了非单调因子分解和经验表明，其代表性的能力增加，使它能够解决一些任务，不能用单片，或单调因子的批评。此外，FACMAC使用一个集中的策略梯度估计，优化整个联合行动空间，而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化，并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体，一种新的多智能体MuJoCo基准，和一组具有挑战性的星际争霸II微观管理任务。实证结果表明，FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Structured Reinforcement Learning for Bayesian Persuasion : Application to Intelligent Interactive Driving
研究智能交互驾驶中主导者引导智能体决策的问题，提出在线结构化强化学习框架，贡献包括为单调智能体提出算法、确定相关条件、提出SQP，数值分析显示该方法在优化行驶奖励上比现有方法成本效率高30%。
2026-07-16 cs.LG eess.SP
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
我们探索基于价值的解决方案，多智能体强化学习（MARL）任务的集中训练与分散执行（CTDE）制度最近流行。然而，VDN和QMIX是使用将联合动作-价值函数分解为单独的函数以用于分散执行的思想的代表性示例。VDN和QMIX只解决了一小部分可因子分解的MARL任务，这是由于它们在因子分解中的结构约束，如可加性和单调性。本文提出了一种新的MARL分解方法QTRAN，它摆脱了这种结构约束，并采用了一种新的方法将原联合作用价值函数转化为一个易于分解的具有相同最优作用的函数。QTRAN保证比VDN或QMIX更一般的因式分解，因此比以前的方法覆盖更广泛的MARL任务。我们的实验任务的多域高斯挤压和修改的捕食者-猎物证明了QTRAN的优越性能，特别是在游戏中的利润更大的利润更积极地惩罚非合作行为。
2019-05-14 cs.AI cs.LG cs.MA
Agentic-Kube: A Graph-Enhanced Multi-Agent Reinforcement Learning Framework for Multi-Objective Kubernetes Scheduling
University of Westminster Computer Science（威斯敏斯特大学计算机科学）；University of Westminster（威斯敏斯特大学）
本文提出AGMARL-DKS，通过多智能体强化学习解决动态Kubernetes调度问题，引入图神经网络和应力感知策略，提升容错性和资源利用率。
2026-08-31 cs.DC cs.LG cs.MA
Compatible features for Monotonic Policy Improvement
最近的政策优化方法已经取得了巨大的经验成功，通过构建代理优化目标。近似策略迭代目标（Schulman等人，2015 a; Kakade and Langford，2002）已经成为强化学习问题的标准优化目标。在实践中使用此目标需要优势函数的估计量。Schulman等人（2015 b）提出的策略优化方法使用参数批评来估计优势。在这项工作中，我们建立的条件下，参数近似的评论家不引入偏见的替代目标的更新。这些结果适用于一般的参数策略，包括深度神经网络。我们获得了类似于为原始策略梯度定理（Sutton等人，1999年）。因此，我们还确定了当前最先进的策略优化算法（Schulman等人，2015 a，2017）通过不使用这些兼容功能引入。
2019-10-30 cs.AI cs.LG stat.ML
Q-learning as a monotone scheme
Mathematical Institute（数学研究所）；University of Oxford（牛津大学）
为理解深度强化学习的稳定性与收敛问题，本文通过线性二次型示例，将精确Q-learning的收敛准则解释为单调格式，并探讨了函数逼近对其单调性的影响。
2024-05-30 cs.LG
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Feasible Policy Iteration for Safe Reinforcement Learning
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对安全强化学习缺乏基础动态规划算法的问题，提出FPI，通过策略评估、区域识别与分区域策略改进，保证可行区域扩张、价值提升及几何收敛，并在低维与高维任务中验证安全性和性能优势。
2025-03-13 cs.LG cs.SY eess.SY
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning
Xian Jiaotong University（西安交通大学）
由于联合Q价值函数表示的局限性，线性值分解（LVD）或单调值分解（MVD）的多智能体强化学习方法存在相对泛化问题。结果，它们不能确保最佳一致性（即，个体贪婪行为与最大真实Q值之间的对应关系）。本文导出了LVD和MVD的联合Q价值函数的表达式。根据这个表达式，我们画出了一个转移图，其中每个自转移节点（n）都是一个可能的收敛。为了保证最佳的一致性，最佳节点必须是唯一的节点。因此，我们提出了基于贪婪的值表示（GVR），它通过较差的目标整形将最佳节点转化为最佳节点，并通过较好的经验重放进一步消除非最佳STNs。此外，GVR实现了最优性和稳定性之间的自适应权衡。我们的方法在各种基准测试的实验中优于最先进的基线。理论证明和矩阵博弈的实证结果表明，GVR保证最优的一致性充分的探索。
2022-11-22 cs.LG cs.MA
Scaling laws for single-agent reinforcement learning
OpenAI（开放人工智能研究中心）
最近的工作表明，在生成式建模中，交叉熵损失随着模型大小和训练计算而平滑地改善，遵循幂律加常数缩放定律。将这些结果扩展到强化学习的一个挑战是，感兴趣的主要性能目标，即平均情节回报，不需要平滑地变化。为了克服这一点，我们引入了 * 内在性能 *，这是一个回报的单调函数，定义为在一系列不同大小的模型中实现给定回报所需的最小计算。我们发现，在一系列的环境中，内在的性能尺度作为一个幂律模型的大小和环境的相互作用。因此，与生成式建模一样，最佳模型大小在训练计算预算中按幂律缩放。此外，我们研究了这种关系如何随环境和训练设置的其他属性而变化。特别是，使用一个玩具MNIST为基础的环境中，我们表明，不同的“地平线长度”的任务主要改变系数，但不是指数的这种关系。
2023-02-19 cs.AI cs.LG stat.ML
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Goal-Conditioned Reinforcement Learning from Sub-Optimal Data on Metric Spaces
KTH Royal Institute of Technology（皇家理工学院）；University of Copenhagen（哥本哈根大学）
MetricRL通过结合度量学习和加权模仿学习，在度量空间上有效学习最优行为，优于现有方法。
2026-02-11 cs.LG
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
逆强化学习（IRL）是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究，相关的问题{ \em online} IRL-其中的意见是递增累积的，但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL，称为增量IRL（I2 RL），和一种新的方法，先进的最大熵IRL与隐藏变量，到这个设置。我们的形式分析表明，新方法具有单调改善的性能与更多的示范数据，以及概率有界的误差，完全和部分的可观测性。在一个模拟机器人应用程序中的实验，穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法，并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
When to Update Your Model: Constrained Model-based Reinforcement Learning
Tsinghua University（清华大学）；JD Explore Academy, JD.com Inc（京东探索研究院）；Renmin University of China（中国人民大学）
针对 MBRL 中模型更新可能损害性能的问题，本文建立单调改进理论并提出 CMLO，用事件触发机制约束模型偏移，实验显示其性能优于现有方法。
2023-11-08 cs.AI cs.LG
Reinforcement Learning from Rich Feedback with Distributional DAgger
University of Southern California（南加州大学）
提出DistIL算法，通过分布式DAgger利用丰富反馈（如执行轨迹、工具输出等）进行前向交叉熵优化，实现单调策略改进和更好的Pass@N性能。
2026-06-05 cs.AI cs.CL cs.LG
A Risk-Aware Reinforcement Learning Reward for Financial Trading
MNNIT Allahabad（孟加拉国印度理工学院阿拉瓦布）
本文提出一种由年化收益率、下行风险、差异收益率和Treynor比率四项构成的可微复合奖励函数，通过权重参数化和网格搜索平衡金融交易强化学习中的收益与风险，并推导闭式梯度及理论性质，为多目标奖励设计提供通用框架。
2025-06-04 cs.LG
Concave Utility Reinforcement Learning: the Mean-Field Game Viewpoint
Google Research, Brain Team（谷歌研究院大脑团队）；DeepMind Paris（巴黎深度思维）；Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工学院、CRISTAL联合研究单位）
凹效用强化学习（CURL）将RL从代理策略诱导的占用度量中的线性效用扩展到凹效用。这不仅包括RL，还包括模仿学习和探索等。然而，这种更一般的范式使经典的贝尔曼方程失效，并要求新的算法。平均场博弈（Mean-field Games，MFG）是多主体RL的连续近似。他们认为，一个连续分布的相同的代理商，匿名的对称利益的极限情况下，并减少了问题的研究一个单一的代表性代理与整个人口的互动。我们的核心贡献在于表明，卷曲是一个子类的MFG。我们认为这对两个社区的沟通很重要。它还允许阐明这两个领域的方面：我们之间的等价性在CURL和单调性在相关的MFG，在CURL和纳什均衡在MFG之间的最优性条件，或Fictionary播放（FP）这一类的MFG是简单的弗兰克-沃尔夫，带来的第一个收敛速度离散时间FP的MFG。我们还通过实验证明，使用最近推出的解决MFG的算法，我们可以更有效地解决卷曲问题。
2022-02-16 cs.LG cs.MA
Mathematical methods of reinforcement learning
Duisburg-Essen University（杜伊斯堡- Essen 大学）；HSE University（俄罗斯高等经济大学）；Innopolis University（英诺皮里斯大学）；MIPT（莫斯科国立信息安全大学）
综述梳理强化学习的数学结构，从马尔可夫决策过程和贝尔曼算子出发，阐述优化视角、函数逼近等内容，涵盖多种相关学习与方法，通过常见视角统一算法模板，为多领域研究人员提供强化学习的数学切入点。
2026-07-10 cs.LG math.OC stat.ML
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
VDN和QMIX是两种流行的基于值的协作MARL算法，它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易，但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明，这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说，我们提出了一种新的MARL方法，称为通用价值探索（UneVEn），学习一组相关的任务，同时线性分解的通用后继功能。利用已经解决的相关任务的策略，可以改进所有Agent的联合探索过程，帮助它们实现更好的协调。一组探索游戏的经验结果，具有挑战性的合作捕食者-猎物任务，需要显着的代理之间的协调，和星际争霸II微观管理基准显示，UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Non-decreasing Quantile Function Network with Efficient Exploration for Distributional Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）
尽管分布式强化学习（DRL）在过去几年中得到了广泛的研究，但人们仍然试图解决两个开放的问题。一个是如何保证学习的分位数函数的有效性，另一个是如何有效地利用分布信息。本文试图为这两个领域的深入研究提供一些新的视角。我们首先提出了一个非递减分位数函数网络（NDQFN），以保证所获得的分位数估计的单调性，然后设计了一个通用的探索框架，称为分布预测误差（DPE）的DRL，利用整个分布的分位数函数。在本文中，我们不仅讨论了理论上的必要性，我们的方法，但也显示了它在实践中取得的性能增益，通过比较与一些竞争对手的Atari 2600游戏，特别是在一些艰苦的探索游戏。
2021-05-14 cs.AI cs.LG
Reinforcement Learning for Mean Field Games with Strategic Complementarities
Texas A&M University（德州农工大学）
平均场博弈（Mean Field Games，MFG）是一类具有大量代理人的博弈，标准的均衡概念是平均场均衡（Mean Field Equilibrium，MFE）。用于在动态MFG中学习MFE的算法通常是未知的。我们的重点是一个重要的子类，具有单调性属性称为战略互补性（MFG-SC）。我们引入了一个自然的细化平衡的概念，我们称之为颤抖的手完美的MFE（T-MFE），它允许代理人采用随机化的措施，同时考虑到这种随机化对他们的收益的影响。我们提出了一个简单的算法计算T-MFE下一个已知的模型。我们还介绍了一种无模型和基于模型的方法来学习T-MFE，并提供了这两种算法的样本复杂度。我们还开发了一个完全在线的学习计划，消除了对模拟器的需要。最后，我们实证评估所提出的算法的性能，通过实际应用的例子。
2021-02-01 cs.GT cs.LG cs.MA
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Inserm（法国国家医学研究院）；U1216（U1216研究中心）；Grenoble Institut Neurosciences（格勒诺布尔神经科学研究院）；GIN（格勒诺布尔神经科学研究所）；School of Mathematical Sciences and Centre for Data Science（数学科学学院和数据科学中心）；Queensland University of Technology（昆士兰理工大学）
本文提出LRRL，一种基于策略性能动态选择学习率的元学习方法，在Atari和MuJoCo基准上达到或超越调优基线与标准调度器的性能，适应非平稳目标。
2025-10-08 cs.LG
Pessimism Principle Can Be Effective: Towards a Framework for Zero-Shot Transfer Reinforcement Learning
University of Central Florida（中佛罗里达大学）
针对迁移强化学习中缺乏性能保证和负迁移风险的问题，提出基于悲观原则的框架，通过构建并优化保守估计提供性能下界，避免负迁移，并开发具有收敛保证的分布式算法。
2025-05-29 cs.LG
MIXRTs: Toward Interpretable Multi-Agent Reinforcement Learning via Mixing Recurrent Soft Decision Trees
Nanjing University（南京大学）
针对多智能体强化学习黑盒模型不可解释且现有可解释方法性能弱的问题，提出MIXRTs架构，利用循环软决策树显式表示决策过程并结合价值分解框架进行信用分配，在复杂任务中实现了高性能与可解释性。
2025-03-04 cs.LG cs.MA
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
通过引入模型的复杂性测度，保证了基于乐观或后验采样（PSRL）的基于模型的强化学习（MBRL）能够渐近地达到全局最优.然而，对于最简单的非线性模型，复杂性可能呈指数增长，其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时，不确定性可能很大，所述泛化误差由模型复杂性定量地测量。因此，当前策略所基于的采样模型将是不稳定的，从而导致积极的策略更新和过度探索。在这项工作中，我们提出了保守的双重政策优化（CDPO），涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化，该模型模仿PSRL的机制，同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序，CDPO仍然可以实现与PSRL相同的遗憾。更重要的是，CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
A Game-Theoretic Approach to Multi-Agent Trust Region Optimization
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）；Renmin University（中国人民大学）
信赖域方法由于其在每次迭代时都能保证单调的性能改进而被广泛应用于单智能体强化学习问题。然而，当应用于多智能体环境中时，信任域方法的保证不再成立，因为一个智能体的收益也受到其他智能体的适应行为的影响。为了解决这个问题，我们进行了博弈理论分析的政策空间，并提出了一个多智能体的信任域学习方法（MATRL），使信任域优化多智能体学习。具体而言，MATRL在元博弈层面找到了以纳什均衡解概念为指导的稳定改进方向。我们推导出单调改善保证在多智能体设置和经验表明，局部收敛的MATRL稳定不动点在两个球员的旋转微分游戏。为了测试我们的方法，我们评估MATRL在离散和连续多人一般和游戏，包括检查和开关网格世界，多智能体MuJoCo和雅达利游戏。结果表明，MATRL显着优于强大的多智能体强化学习基线。
2021-06-12 cs.AI cs.LG cs.MA
The association problem in wireless networks: a Policy Gradient Reinforcement Learning approach
KTH, Royal Institute of Technology（瑞典皇家理工学院）
提出了一种基于策略梯度强化学习（PGRL）的自优化关联算法，该算法具有可扩展性、稳定性和鲁棒性。术语鲁棒性意味着学习阶段的性能下降应该被禁止或限制在预定义的阈值内。该算法是无模型的（与值迭代相反）和鲁棒的（与Q学习相反）。关联问题被建模为马尔可夫决策过程（MDP）。策略空间是参数化的。参数化家庭的政策，然后作为专家知识的PGRL。PGRL收敛于局部最优，在学习过程中，平均成本单调下降。该解决方案的属性使其成为实际实现的良好候选者。此外，鲁棒性属性允许在"始终在线"学习模式中使用PGRL算法。
2013-06-11 cs.IT cs.LG cs.NI
Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning
Human Machine Interaction Laboratory（人机交互实验室）
针对合作多智能体强化学习中顺序更新导致优势函数方差指数级增长的问题，提出裁剪目标控制优势波动上限，实现亚线性收敛到ε-纳什均衡，并在三个基准测试中优于基线方法。
2026-06-25 cs.LG cs.MA
Quantile Geometry Regularization for Distributional Reinforcement Learning
Information Hub, AI Thrust（信息中心，人工智能方向）
本文提出RQIQN方法，通过分位数估计视角改进分布性强化学习，解决分位数估计退化问题，提升风险敏感导航和Atari游戏性能。
2026-05-05 cs.AI cs.LG
QGNN: Value Function Factorisation with Graph Neural Networks
University of Cambridge（剑桥大学）
本文提出QGNN，首个基于图神经网络的价值函数分解方法，通过多层消息传递和置换不变混合器提升多智能体强化学习中的合作行为，在多个基准上优于现有方法。
2023-06-20 cs.LG cs.MA
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对线性马尔可夫决策过程的强化学习问题，提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法，首次达到接近极小极大最优的悔界，为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Uniform Last-Iterate Guarantee for Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；University of California Los Angeles（加州大学洛杉矶分校）；Peking University（北京大学）
针对现有强化学习指标仅评估累积性能、允许任意时刻采用差策略的问题，本文提出一致末轮迭代（ULI）保证指标，证明其强于传统指标，并给出多类老虎机及在线强化学习下的ULI可实现性结果与对应算法。
2024-10-31 cs.LG stat.ML
