Learning to Share and Hide Intentions using Information Regularization
Princeton University（普林斯顿大学）；MIT（麻省理工学院）；DeepMind（深度思维）；UCL（伦敦大学学院）；CUNY Graduate Center（纽约市立大学研究生中心）
学习与朋友合作和与敌人竞争是多智能体强化学习的关键组成部分。通常要这样做，需要访问其他代理的模型或与其他代理的交互。在这里，我们将展示如何在没有这种模型或交互的不对称信息博弈中学习有效的合作和竞争策略。我们的方法是鼓励一个代理透露或隐藏他们的意图使用信息理论正则化。我们既考虑了目标与动作给定状态之间的互信息，也考虑了目标与状态之间的互信息。我们展示了如何以一种易于与策略梯度强化学习集成的方式优化这些正则化器。最后，我们证明了合作（竞争）政策与我们的方法导致更多（更少）奖励的第二个代理在两个简单的不对称信息游戏。
2019-01-01 cs.AI cs.IT cs.LG
Batch Model Consolidation: A Multi-Task Model Consolidation Framework
University of Southern California（南加州大学）
本文提出批量模型整合框架BMC，通过并行训练多个专家模型并在内存数据上批量整合知识，在71个多样化图像分类任务上显著优于现有持续学习方法。
2023-05-25 cs.AI cs.LG
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning
University of California, Berkeley（加州大学伯克利分校）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。
2026-09-29 cs.AI cs.GT cs.LG
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Multi-Head Attention Is a Multi-Player Game
本文提出GAME-LoRA方法，通过多头注意力的博弈论视角，通过正则化减少Γ(G)来降低价格无效率，有效减少幻觉并提升模型性能。
2026-01-31 cs.AI cs.CL cs.GT
Formalizing the Problem of Side Effect Regularization
UC Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
人工智能的目标通常很难正确地指定。一些方法通过规范AI的副作用来解决这个问题：代理必须权衡“他们制造了多少混乱”与一个不完美的指定代理目标。我们提出了一个正式的标准，通过援助游戏框架的副作用正规化。在这些游戏中，智能体解决了一个部分可观察的马尔可夫决策过程（POMDP），表示它应该优化的目标函数的不确定性。我们考虑的设置，真实的目标是揭示代理在稍后的时间步骤。我们表明，这POMDP是解决了代理的代理奖励与代理的能力，以实现一系列的未来任务的权衡。我们实证证明我们的问题形式化的合理性，通过地面实况评估在两个网格世界环境。
2022-11-08 cs.AI
Dynamic Dropout: Leveraging Conway's Game of Life for Neural Networks Regularization
ULPGC
本文提出用康威生命游戏替代静态丢弃，通过动态单元停用进行神经网络正则化，在CIFAR-10上达到与传统丢弃相当的性能，并提升深层架构的泛化能力。
2025-10-25 cs.AI cs.CV cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective
University of Southern California（南加州大学）
针对KL正则化导致LLM继承基策略偏见的问题，提出将奖励模型优化形式化为Stackelberg博弈，并通过简单奖励塑形方案近似最优奖励模型，在推理时对齐中持续提升平均奖励并达到超过66%的胜率。
2026-06-07 cs.AI cs.LG
Rethinking Quantum Continual Learning with Quantum Fisher Information
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）；Cross College Elite Program, National Cheng Kung University（成功学院精英计划，成功大学）；National Center for High-Performance Computing , National Institutes of Applied Research (NIAR)（高性能计算中心，应用研究国立机构）；Department of Electrophysics, National Yang Ming Chiao Tung University（电子物理系，交通大学）
研究量子持续学习中变分量子分类器的灾难性遗忘问题，提出基于量子费舍尔信息的QEWC方法，通过量化参数化量子态内在敏感性减轻遗忘，实验表明该方法能改善任务保留，在量子态几何研究中有重要意义。
2026-07-20 cs.AI cs.LG quant-ph
Deep Reinforcement Learning with Decorrelation
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark（华为诺亚方舟实验室）；Huawei Hi-Silicon（华为海思）
学习高维数据的有效表示是强化学习（RL）中的一个挑战性问题。深度强化学习（DRL），如深度Q网络（DQN），通过从卷积网络学习深度编码表示，在计算机游戏中取得了显着的成功。在本文中，我们提出了一个简单但非常有效的方法，表示学习与DRL算法。我们的关键见解是，DRL算法学习的特征是高度相关的，这会干扰学习。通过添加惩罚潜在特征中相关性的正则化损失（仅需少量计算），我们逐步地对深度神经网络表示的特征进行去相关。在49个Atari游戏上，使用相同的正则化因子，我们的去相关算法在人类标准化分数方面执行$70\%$，这是$40\%$优于DQN。特别是，我们在39场比赛中的表现比DQN好，有4场比赛关系密切，在$6$比赛中只输了一点点。实验结果还表明，去相关方法适用于分位数回归DQN（QR-DQN），并显着提高性能。对失败博弈的进一步实验表明，我们的去相关算法可以通过微调正则化因子战胜DQN和QR-DQN。
2019-05-08 cs.AI cs.LG stat.ML
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Optimistic Policy Regularization: Elite-Statistic Reward Shaping
OPR通过保留和强化历史成功轨迹提升深度强化学习的样本效率和最终性能
2026-10-23 cs.AI cs.LG
Efficient decorrelation of features using Gramian in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab Huawei（华为诺亚方舟实验室）
学习好的表示是强化学习（RL）中一个长期存在的问题。在监督设置中实现该目标的常规方式之一是通过参数的正则化。将其中一些想法扩展到RL设置并没有在学习中产生类似的改进。在本文中，我们开发了一个在线正则化框架，用于RL中的去相关功能，并在几个测试环境中演示了其实用性。我们证明了该算法在线性函数近似下收敛，并且不改变最大化累积报酬的主要目标。我们演示了如何使用Gramian的功能实现线性计算复杂性的特征和平方复杂性的批量大小的深度RL的方法。我们对Atari 2600游戏进行了广泛的实证研究，并在49场游戏中的40场中显示出样本效率的显着提高。
2019-11-19 cs.AI cs.LG stat.ML
Generalization and Regularization in DQN
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；DeepMind Alberta（DeepMind 阿尔伯塔）
深度强化学习算法已经显示出在高维任务中学习复杂控制策略的令人印象深刻的能力。然而，尽管在流行的基准测试中性能不断提高，但当在非常相似的环境中进行评估时，通过深度强化学习算法学习的策略可能难以推广。在本文中，我们提出了一个协议来评估泛化强化学习通过不同模式的Atari 2600游戏。通过该协议，我们评估了DQN的泛化能力，DQN是最传统的深度强化学习算法之一，我们提供的证据表明，DQN对训练环境过度专业化。然后，我们全面评估dropout和$\ell_2$正则化的影响，以及重用学习的表示来提高DQN的泛化能力的影响。尽管正则化在深度强化学习中没有得到充分利用，但我们证明了它实际上可以帮助DQN学习更多的一般特征。这些特性可以在类似的任务中重复使用和微调，从而大大提高DQN的样本效率。
2020-01-17 cs.AI cs.LG stat.ML
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Can You Trust Your Preference Models? Stackelberg Games for Alignment
ETH Zürich（苏黎世联邦理工学院）；Aalto University（阿尔托大学）；YaiYai Ltd（YaiYai有限公司）
该研究针对语言模型对齐中偏好模型的信任问题，提出用偏好模型集成体分歧作误差代理，通过斯塔克尔伯格博弈训练策略，相关算法在实验中提升了反转神谕偏好的有效比较比例。
2026-10-14 cs.AI cs.GT
Derivative-Free Policy Optimization for Linear Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
直接策略搜索是现代强化学习的主要方法之一，其在连续控制任务中的应用近年来受到越来越多的关注。在这项工作中，我们研究了学习线性风险敏感和鲁棒控制器的策略梯度（PG）方法的收敛理论。特别是，我们开发的PG方法，可以实现在一个衍生的自由的方式通过采样系统轨迹，并建立整体收敛和样本复杂性的结果在解决方案的两个基本设置在风险敏感和鲁棒控制：有限时域线性指数二次高斯，和有限时域线性二次扰动衰减问题。作为一个副产品，我们的研究结果还提供了第一个样本的复杂性PG方法的整体收敛性解决零和线性二次动态游戏，一个非凸-非凹极大极小最优化问题，作为一个基线设置在多智能体强化学习（MARL）与连续空间。我们的算法的一个特点是，在学习阶段，一定程度的鲁棒性/风险敏感性的控制器，我们称之为隐式正则化属性，是在安全关键控制系统的基本要求。
2021-12-30 cs.AI cs.LG cs.SY
