Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies
研究强化学习中softmax策略，通过区分两种随机性化解其与MDP奖励结构独立性公理的矛盾，施加IIA和单调性确定玻尔兹曼策略等，得出RL相关结果，综合多领域线索对IIA用于智能体设计进行规范评估。
2026-07-21 cs.LG econ.TH
On the Global Convergence Rates of Softmax Policy Gradient Methods
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Google Research（谷歌研究院）
我们对更好地理解表格设置中的策略梯度方法做出了三个贡献。首先，我们证明了在真实梯度下，具有softmax参数化的策略梯度以$O(1/t)$速率收敛，常数取决于问题和初始化。这一结果大大扩展了最近的渐近收敛结果。该分析依赖于两个发现：softmax策略梯度满足一个Schojasiewicz不等式，以及优化过程中最优操作的最小概率可以在其初始值方面有界。其次，我们分析了熵正则化的策略梯度，并表明它具有更快的线性收敛速度$O(e^{-c \cdot t})$向softmax最优策略$(c > 0)$。这一结果解决了一个悬而未决的问题，在最近的文献。最后，结合上述两个结果和额外的新的$Ω(1/t)$下界结果，我们解释了熵正则化如何改善策略优化，即使是真正的梯度，从收敛速度的角度来看。率的分离进一步解释使用的概念，非均匀的degree-jasiewicz度。这些结果提供了一个理论上的理解熵的影响，并证实了现有的实证研究。
2022-06-02 cs.LG stat.ML
Revisiting the Gumbel-Softmax in MADDPG
University of Edinburgh（爱丁堡大学）
针对MADDPG中Gumbel-Softmax估计器的统计偏差导致其在离散网格世界场景表现不佳的问题，本文探索并集成多种替代估计器，发现其中一种可使收益最高提升55%且收敛更快。
2023-06-14 cs.AI cs.LG cs.MA
An Analysis of Discretization Methods for Communication Learning with Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec IDLab（imec IDLab研究院）
在多智能体强化学习中，当智能体无法观察环境的全部状态时，通信是至关重要的。允许代理之间学习通信的最常见方法是使用可区分的通信信道，该信道允许梯度在代理之间流动作为反馈的形式。然而，当我们想要使用离散消息来减小消息大小时，这是具有挑战性的，因为梯度不能流过离散通信信道。以前的工作提出的方法来处理这个问题。然而，这些方法在不同的通信学习架构和环境中进行了测试，因此很难对它们进行比较。在本文中，我们比较了几个国家的最先进的离散化方法，以及两种方法，还没有被用于通信学习之前。我们在使用其他代理的梯度进行通信学习的背景下进行这种比较，并在几个环境中进行测试。我们的研究结果表明，没有一种方法在所有环境中都是最好的。离散化方法的最佳选择在很大程度上取决于环境。然而，离散正则化单元（DRU），直通DRU和直通gumbel softmax在所有测试环境中显示出最一致的结果。因此，这些方法被证明是通用的最佳选择，而直通估计器和gumbel softmax可能在特定环境中提供更好的结果，但在其他环境中完全失败。
2022-04-12 cs.LG cs.MA
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性，证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
A Regularized Opponent Model with Maximum Entropy Objective
University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
在单智能体环境中，强化学习（RL）任务可以通过引入代表“最优性”的二进制随机变量o来转换为推理问题。在本文中，我们重新定义了二进制随机变量o的多智能体设置和形式化的多智能体强化学习（MARL）的概率推理。我们推导出一个变分下界的可能性达到最优，并将其命名为正则化的对手模型与最大熵目标（ROMMEO）。从ROMMEO，我们提出了一个新的角度对对手建模，并显示它如何可以提高性能的训练代理的理论和经验合作游戏。为了优化ROMMEO，我们首先介绍了一个表格Q迭代方法ROMMEO-Q的收敛性证明。我们提出了一个近似的版本，ROMMEO-AC的精确算法扩展到复杂的环境。我们分别在具有挑战性的迭代矩阵博弈和微分博弈上对这两种算法进行了评估，并表明它们的性能优于强MARL基线。
2019-08-19 cs.AI cs.LG cs.MA
Convergence of regularized agent-state-based Q-learning in POMDPs
Department of Electrical and Computer Engineering, McGill University（麦吉尔大学电气与计算机工程系）；Earth Species Project（地球物种计划）
该研究针对实际常用的带策略正则化、基于非信念/信息态的智能体状态更新Q表的Q学习算法，提出分析框架，证明最简形式RASQL在温和条件下收敛于特定正则化MDP不动点，变体及数值实验也验证了理论结论。
2025-09-02 cs.LG
Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
本文研究了在预训练后通过上下文适应新任务的强化学习代理，通过softmax注意力机制证明了Transformer层前向传递等价于加权softmax时序差分算法的迭代更新，并证明了参数在预训练损失中的全局极小性。
2026-05-17 cs.LG
ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对图结构多智能体对抗任务中稀疏奖励阻碍策略学习的问题，提出ARAC方法，结合注意力图神经网络建模智能体依赖与自适应散度正则化机制，实验证明其收敛更快、成功率更高且可扩展性更强。
2025-11-11 cs.LG
Human-compatible driving partners through data-regularized self-play reinforcement learning
New York University（纽约大学）
针对纯模仿学习的自动驾驶仿真智能体闭环场景碰撞率高的问题，提出以强化学习为核心、仅用30分钟非完美人类演示的HR-PPO多智能体自博弈算法，在高成功率的同时保持类人驾驶特性与协调能力。
2024-06-22 cs.AI cs.LG cs.MA
Continuous Mean-Zero Disagreement-Regularized Imitation Learning (CMZ-DRIL)
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
针对少量专家示范且无环境奖励的模仿学习问题，提出CMZ-DRIL，利用智能体集成动作分歧构造连续均值零奖励并强化优化，在导航和MuJoCo任务中优于既有方法。
2024-03-02 cs.LG
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Graph Similarity Regularized Softmax for Semi-Supervised Node Classification
School of Mathematics and Physics, North China Electric Power University（华北电力大学数理学院）；School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）
针对Softmax缺乏图空间信息的问题，提出图相似性正则化Softmax，通过非局部TV正则化增强GNN半监督节点分类性能，在GCN和GraphSAGE上验证了有效性。
2024-09-20 cs.LG math.OC
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
本文研究了一个具有无限多个家庭和企业在劳动力市场中竞争的异质主体宏观经济模型。每个家庭在每一个时间步赚取收入并参与消费，同时旨在最大化受潜在市场条件影响的凹效用。在给定的市场条件下，家庭的目标是找到最优储蓄策略，使其贴现累积效用最大化，而企业则根据家庭的人口行为，通过最大化企业利润来确定市场条件。该模型在宏观经济研究中具有广泛的应用，我们提出了一个数据驱动的强化学习框架，可以找到模型的正则化竞争均衡。该算法在理论上保证了以次线性速率收敛到市场均衡。
2023-02-24 cs.LG econ.GN q-fin.EC
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong（香港中文大学）
传统的强化学习（RL）算法通常由单个智能体独立学习来解决任务。因此，智能体只能探索状态-动作空间的有限部分，而学习到的行为与智能体先前的经验高度相关，使得训练容易陷入局部最小值。在这项工作中，我们赋予RL团队合作的能力，并提出了一种新的非局部策略优化框架，称为多样性正则化协作探索（DiCE）。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制，以保持团队的多样性，调节探索。我们实现的框架，在政策和关闭政策的设置和实验结果表明，DiCE可以实现实质性的改善，在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Vega Protocol（维加协议）；The Alan Turing Institute（艾伦·图灵研究所）
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程（MDP）下策略梯度的整体收敛。我们考虑一个softmax政策（一个隐藏层）神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数是增加沿梯度流。此外，我们证明了，如果正则化的平均场措施是足够的，梯度流指数快速收敛到唯一的固定的解决方案，这是唯一的最大化的正则化MDP目标。最后，我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作，这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Convergence of a L2 regularized Policy Gradient Algorithm for the Multi Armed Bandit
``Octav Mayer'' Institute of Mathematics of the Romanian Academy Bd. Carol I 8, Ia s i 700505, Romania CEREMADE, Universit\'e Paris Dauphine - PSL, CNRS, Paris, France；anonymous institute
本文研究了多臂老虎机中结合L2正则化和softmax参数化的策略梯度算法的收敛性，证明了其在适当假设下的收敛性，并通过实验展示了其在初始猜测远离解时的优势。
2026-01-05 cs.AI cs.DS cs.LG
EPO: Entropy-regularized Policy Optimization for LLM Agents Reinforcement Learning
EPO通过熵正则化策略优化解决多轮稀疏奖励环境下的探索-利用问题，提升LLM代理性能。
2026-02-10 cs.CL cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
The In-Sample Softmax for Offline Reinforcement Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Oxford（牛津大学）
针对离线强化学习中分布外动作导致的自举高估问题，提出样本内 softmax 及其 Actor-Critic 算法，证明其收敛性并取得优于或可比现有方法的效果。
2023-04-19 cs.AI cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI；MIT（麻省理工学院）
No-press Diplomacy是一个复杂的策略游戏，涉及合作和竞争，是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功，但在涉及与人类合作的领域中，自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法，我们称之为DiL-piKL，规范化的奖励最大化的政策对人类模仿学习的政策，以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后，我们表明，DiL-piKL可以扩展到一个自我发挥的强化学习算法，我们称之为RL-DiL-piKL，它提供了一个模型的人类发挥，同时训练代理，以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中，62名人类参与者的技能水平从初学者到专家，两名梁龙代理人的平均得分都高于所有其他参与者，他们玩了两局以上，根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Path Consistency Learning in Tsallis Entropy Regularized MDPs
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
研究了稀疏熵正则化强化学习（ERL）问题，其中熵项是Tsallis熵的一种特殊形式.该公式的最优策略是稀疏的，即，~在每个状态下，只有少数动作具有非零概率。这解决了标准香农熵正则化RL（软ERL）公式的主要缺点，其中最佳策略是softmax，因此可能会将不可忽略的概率质量分配给非最佳动作。随着行动数量的增加，这一问题更加严重。在本文中，我们遵循Nachum等人的工作。（2017）在软ERL设置中，提出了一类新的路径一致性学习（PCL）算法，称为{ \em sparse PCL}，用于稀疏ERL问题，可以使用策略和策略外数据。我们首先推导出一个{ \em稀疏一致性}方程，该方程指定了沿任意系统轨迹的稀疏ERL的最优价值函数和策略之间的关系。至关重要的是，一个弱形式的逆也是真的，我们量化的次优的政策，满足稀疏一致性，并表明，随着我们的行动的数量增加，这种次优是优于软ERL最优的政策。然后，我们使用这个结果来推导稀疏PCL算法。我们经验比较稀疏PCL与其软对应，并显示其优势，特别是在大量的行动的问题。
2018-02-10 cs.AI cs.LG stat.ML
Maximum Entropy-Regularized Multi-Goal Reinforcement Learning
Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
在多目标强化学习中，智能体通过目标条件策略学习实现多个目标。在学习过程中，智能体首先将轨迹收集到重放缓冲区中，然后随机选择这些轨迹进行重放。然而，在重放缓冲区中实现的目标往往偏向于行为策略。从贝叶斯的角度来看，当没有关于目标分布的先验知识时，智能体应该从不同的已实现目标中均匀地学习。因此，我们首先提出了一种新的多目标强化学习目标的加权熵的基础上。这一目标鼓励代理人最大化预期回报，以及实现更多样化的目标。其次，我们开发了一个基于最大熵的优先级框架，以优化提出的目标。为了评估这个框架，我们将其与深度确定性策略梯度相结合，无论是否有后见之明经验重放。在OpenAI Gym的一组多目标机器人任务上，我们将我们的方法与其他基线进行了比较，并在性能和样本效率方面都显示出了有希望的改进。
2020-05-24 cs.LG stat.ML
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement
Shanghai Jiao Tong University（上海交通大学）；Xi’an Jiaotong University（西安交通大学）；University College London（伦敦大学学院）
本文提出熵正则化令牌级策略优化（ETPO），通过逐令牌软贝尔曼更新将动作级Q函数分解为令牌级，以线性时间复杂度实现稳定训练，并提升语言智能体在交互式决策任务中的表现。
2024-06-06 cs.AI cs.LG
VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人连续控制中奖励设计偏差与VLM偏好标注不准的问题，提出VARP方法，通过轨迹叠加提升VLM偏好准确率，结合智能体性能正则化奖励学习，显著提升任务成功率与回合回报。
2025-03-18 cs.AI cs.HC cs.LG
The Benefits of Power Regularization in Cooperative Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
针对合作式MARL中的权力集中风险，本文提出成对权力度量与权力正则化目标，并给出SBPR和PRIM两种算法，提升系统对智能体故障、攻击和激励变化的鲁棒性。
2024-06-17 cs.AI cs.GT cs.LG
Learning Regularized Graphon Mean-Field Games with Unknown Graphons
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对图子未知的正则化图子平均场博弈，提出GMFG-PPO优化算法及基于核嵌入的图子估计算法，首次实现从采样智能体中学习图子，并证明其收敛性与降低可利用性的有效性。
2023-10-26 cs.GT cs.LG stat.ML
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Scalable Reinforcement Learning Policies for Multi-Agent Control
University of Pennsylvania（宾夕法尼亚大学）
我们开发了一个多智能体强化学习（MARL）方法来学习可扩展的目标跟踪控制策略。我们的方法可以处理任意数量的追求者和目标，我们显示的任务组成的1000个追求者跟踪1000个目标的结果。我们使用一个分散的，部分可观察的马尔可夫决策过程框架模型的追求者作为代理接收部分观察（范围和轴承）的目标，使用固定的，未知的政策。使用注意力机制来参数化代理的价值函数;该机制允许我们处理任意数量的目标。熵正则化的政策外RL方法用于训练一个随机的政策，我们讨论它如何使追求者之间的对冲行为，导致一个弱形式的合作，尽管完全分散控制执行。我们进一步开发了一个掩蔽启发式算法，允许在较小的问题上进行训练，很少有追求者目标，并且可以在更大的问题上执行。彻底的模拟实验，消融研究，并比较最先进的算法进行研究的方法和性能的鲁棒性，以不同数量的代理和目标的可扩展性。
2021-11-10 cs.LG cs.MA
GeMPO: Generalized Measure Matching for Online Diffusion Reinforcement Learning
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
提出GeMPO框架，通过将扩散RL中的重加权从softmax推广到一般单调函数，并引入负重加权机制，以解决过贪策略和负样本利用不足的问题。
2026-05-24 cs.LG
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation
Cornell University（康奈尔大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）
针对分布偏移下的鲁棒强化学习，提出DR-RPO算法，结合参考策略正则化与线性函数逼近，实现次线性遗憾和样本效率，理论与实证验证其鲁棒性。
2025-10-16 cs.AI cs.LG stat.ML
Exponential families from a single KL identity
Scientific Consultant（科学顾问）
本文通过一个简单的指数族KL差恒等式，推导出多项经典结果，包括三点恒等式、I投影定理、对数分区函数的凸性等，无需复杂推导。
2026-04-30 cs.IT cs.LG math.IT
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
多智能体系统中的一个主要挑战是，系统复杂性随着智能体的数量及其动作空间的大小而急剧增长，这在现实世界的场景中是典型的，例如自动驾驶汽车，机器人团队，网络路由，因此，迫切需要设计分散或独立的算法，其中每个代理的更新仅基于其局部观察，而不需要引入复杂的通信/协调机制。在这项工作中，我们研究了有限时间收敛的独立的熵正则化自然政策梯度（NPG）方法的潜在的游戏，在代理的效用函数的差异，由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称，分散和乘法更新。我们表明，所提出的方法收敛到量子响应均衡（QRE）-均衡的熵正则化游戏-在一个次线性的速度，这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是，收敛速度进一步成为独立的代理商的数量的重要特殊情况下，相同的利益游戏，导致第一种方法，收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术，找到一个近似的纳什均衡（NE）的非正则化问题，而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
Regularize! Don't Mix: Multi-Agent Reinforcement Learning without Explicit Centralized Structures
University of Technology Sydney（悉尼科技大学）；Faculty of Engineering and Information Technology（工程与信息技术学院）
我们建议使用正则化的多智能体强化学习，而不是学习显式的合作结构称为{ \em多智能体正则化Q学习}（MARQ）。许多MARL方法利用集中式结构，以便利用全局状态信息或在代理以分散方式行事时消除通信约束。而不是学习冗余的结构，在代理执行过程中被删除，我们建议，而不是利用共享的经验的代理，规范的个人政策，以促进结构化的探索。我们研究了几种不同的方法，如何MARQ可以显式或隐式地规范我们的政策，在多代理设置。MARQ旨在通过应用正则化约束来解决MARL上下文中的这些限制，这些约束可以纠正非政策分发代理经验中的偏差，并促进多样化的探索。我们的算法在几个基准多智能体环境中进行了评估，我们表明MARQ始终优于几个基线和最先进的算法;学习步骤更少，收敛到更高的回报。
2021-09-19 cs.LG cs.MA stat.ML
Regularized Contextual Bandits
CMLA, ENS Cachan CNRS, Université Paris-Saclay（巴黎萨克雷大学卡尚高等师范学院CMLA法国国家科学研究中心）；Criteo Research（Criteo研究院）
考虑了带附加正则化的随机上下文强盗问题。动机来自于这样的问题，即代理的策略必须接近某个已知在任务上表现良好的基线策略。为了解决这个问题，我们使用一个非参数模型，并提出了一个算法分裂的上下文空间到bin，并同时解决-和独立-正则化的多臂强盗实例在每个bin。我们得到缓慢和快速的收敛速度，这取决于未知的问题的复杂性。我们还考虑了一个新的相关的边际条件，以获得问题独立的收敛速度，最终在中间收敛速度之间的上述缓慢和快速的速度插值。
2019-06-05 cs.LG math.OC stat.ML
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
Learning Individually Inferred Communication for Multi-Agent Cooperation
Peking University（北京大学）
沟通是人类合作的基础。这对多代理人合作也至关重要。然而，现有的工作集中在广播通信，这不仅是不切实际的，而且会导致信息冗余，甚至可能损害学习过程。为了解决这些困难，我们提出了个人推断通信（I2C），一个简单而有效的模型，使代理学习代理-智能体通信的先验。先验知识是通过因果推理学习的，并由前馈神经网络实现，该网络将代理的本地观察映射到有关与谁通信的信念。通过多智能体强化学习中的联合动作-价值函数来推断一个智能体对另一个智能体的影响，并将其量化，以标识智能体-智能体通信的必要性。此外，代理策略被正则化，以更好地利用通信消息。经验上，我们表明，I2C不仅可以减少通信开销，但也提高了性能，在各种多代理合作的情况下，与现有的方法相比。该代码可在https://github.com/PKU-AI-Edge/I2C上获得。
2021-04-29 cs.LG cs.MA stat.ML
Entity Divider with Language Grounding in Multi-Agent Reinforcement Learning
Peking University（北京大学）；Tianjin University（天津大学）
我们研究了使用自然语言来驱动多智能体环境中的策略泛化。与单代理设置不同，政策的推广还应考虑其他代理的影响。此外，随着多智能体环境中实体数量的增加，需要更多的智能体与实体之间的交互来建立语言基础，而巨大的搜索空间会阻碍学习过程。此外，给出一个简单的一般指令，例如，受前人工作的启发，本文尝试在实体层次上解决这些问题，并提出了一种新的多智能体强化学习语言基础框架--实体分割器（Entity Divider，EnDi）。EnDi使智能体能够独立地学习实体级的子目标划分，并基于关联实体在环境中行动。子目标划分通过对手建模进行规则化，避免子目标冲突，促进策略协调。经验上，EnDi展示了强大的泛化能力，看不见的游戏与新的动态，并表示优于现有的方法。
2022-10-25 cs.CL cs.LG cs.MA
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation（万事达卡公司）；Georgia Institute of Technology（佐治亚理工学院）
我们探讨使用政策近似，以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法，它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下，通过更新正则化Q函数，算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力，转移以前的训练经验，使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案，以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡，同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning
由于经济和安全问题，与环境进行在线交互以收集数据样本用于训练强化学习（RL）代理并不总是可行的。离线强化学习的目标是通过使用先前收集的数据集学习有效的策略来解决这个问题。标准的非策略RL算法容易高估分布外（较少探索）动作的值，因此不适合离线RL。行为正则化将学习到的策略约束在数据集的支持集内，已被提出来解决标准策略外算法的局限性。本文对行为正则化离线强化学习进行了改进，提出了BRAC+。首先，我们提出了量化的分布外的行动，并进行比较使用Kullback-Leibler分歧与使用最大均值离散作为正则化协议。我们提出了一个分析上界的KL分歧的行为正则化，以减少与基于样本的估计方差。其次，我们在数学上表明，即使在温和的假设下使用行为正则化策略更新，学习的Q值也会发散。这导致了Q值的过高估计和学习策略的性能恶化。为了缓解这个问题，我们增加了一个梯度惩罚项的政策评估目标。通过这样做，保证Q值收敛。在具有挑战性的离线RL基准测试中，BRAC+比基线行为正则化方法高出40%~87%，比最先进的方法高出6%。
2021-10-02 cs.LG
Primal-Dual Policy Optimization for Linear CMDPs with Adversarial Losses
Research Institute of Mathematics, Seoul National University（数学研究所，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学）；Korea Institute for Advanced Study（韩国高级研究院）
本文提出了一种新的对偶策略优化算法，用于在线有限时间线性CMDP，解决了对抗性环境下的子线性遗憾和约束违反问题，通过引入加权LogSumExp softmax策略和定期策略混合技术实现。
2026-05-12 cs.LG
Posterior-regularized REINFORCE for Instance Selection in Distant Supervision
Zhejiang University（浙江大学）；University of Southern California（南加州大学）；Hikvision（海康威视）
本文为提高REINFORCE培训过程的效率提供了一种新的途径。我们将其应用于远程监控中的实例选择任务。将一个包中的实例选择建模为一个顺序决策过程，训练一个强化学习代理来确定实例是否有价值，并使用较少的噪声实例构建新的包。然而，诸如REINFORCE之类的无偏差方法通常可能需要很长时间来进行训练。本文采用后验正则化（PR），在实例选择中使用REINFORCE集成一些特定领域的规则。实验结果表明，该方法显著提高了在清洁的远程监督数据集上训练的关系分类器的性能，同时也提高了REINFORCE训练的效率。
2019-04-17 cs.CL cs.LG
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响，证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡，还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
Exploiting Hierarchy for Learning and Transfer in KL-regularized RL
DeepMind；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；POSTECH（POSTECH（浦项科技大学））
由于强化学习代理的任务是解决更具挑战性和多样化的任务，将先验知识纳入学习系统和利用解决方案空间中的可重用结构的能力可能变得越来越重要。KL正则化的预期奖励目标构成了实现这一目标的一个可能的工具。它引入了一个额外的组件，默认或先前的行为，可以与策略一起学习，因此部分地将强化学习问题转化为行为建模问题。在这项工作中，我们认为这一框架的影响，在这种情况下，政策和默认行为与潜变量增加。我们将讨论如何产生的层次结构可以用来实现不同的归纳偏见，以及它们的模块化如何有利于转移。根据经验，我们发现它们可以在一系列连续控制任务中导致更快的学习和迁移。
2020-01-23 cs.LG stat.ML
Deep Intrinsic Surprise-Regularized Control (DISRC): A Biologically Inspired Mechanism for Efficient Deep Q-Learning in Sparse Environments
James Madison High School（詹姆斯麦迪逊高中）；Thomas Jefferson HSST（托马斯·杰斐逊高中）；Northview High School（北视高中）
DISRC通过动态调节Q更新，提升稀疏奖励环境下的深度Q学习效率与稳定性。
2026-01-24 cs.LG cs.NE
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Technion（以色列理工学院）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
我们认为网络化的多智能体强化学习（MARL）问题在一个完全分散的设置，代理学习协调，以实现联合成功。这个问题在包括交通控制、分布式控制和智能电网在内的许多领域中广泛遇到。我们假设每个代理的奖励函数可以是不同的，并且只能由代理本身局部观察。此外，每个代理位于通信网络的节点处，并且只能与其邻居交换信息。使用softmax时间一致性和分散优化方法，我们得到了一个原则和数据有效的迭代算法。在每次迭代的第一步中，代理计算其本地策略和值梯度，然后仅更新策略参数。在第二步中，代理基于其价值函数向其邻居传播消息，然后更新其自身的价值函数。因此，我们将算法命名为值传播。在非线性函数逼近下，我们证明了非渐近收敛速度为1/T。据我们所知，这是第一个MARL算法的收敛保证在控制，关闭政策和非线性函数逼近设置。我们经验证明我们的方法在实验中的有效性。
2019-09-28 cs.LG stat.ML
