Learning to Shoot in First Person Shooter Games by Stabilizing Actions and Clustering Rewards for Reinforcement Learning
College of Engineering & Informatics, National University of Ireland, Galway（爱尔兰国立大学戈尔韦工程与信息学院）
虽然强化学习（RL）已应用于回合制棋盘游戏多年，但涉及实时决策的更复杂游戏开始受到更多关注。在这种环境中的一个挑战是，决定采取行动和根据其结果获得奖励之间所经过的时间可能比连续决定之间的间隔更长。我们在现代第一人称射击游戏中的非玩家角色（NPC）的背景下探索这一点。这类游戏在3D环境中进行，玩家，无论是人类还是计算机控制，通过参与战斗和完成任务目标来竞争。我们研究了RL的使用，使NPC能够从游戏中收集经验，并根据对对手造成的伤害通过奖励信号随着时间的推移提高他们的射击技能。我们提出了一种新的RL更新和奖励计算方法，其中更新定期进行，每次射击结束后，使用一种新的加权奖励机制，它增加了奖励应用于导致在连续命中中破坏对手的行动，我们称之为“命中集群”。
2018-06-13 cs.AI
Stabilizing the Q-Gradient Field for Policy Smoothness in Actor-Critic Methods
College of Software, Kyung Hee University（韩国庆熙大学软件学院）
针对连续动作空间中actor-critic方法策略振荡问题，提出基于评论家微分几何的PAVE框架，通过稳定Q-梯度场实现策略平滑，无需修改actor。
2026-06-19 cs.AI cs.LG
GAC: Stabilizing Asynchronous RL Training for LLMs via Gradient Alignment Control
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；Alibaba Group（阿里巴巴集团）；Southeast University（东南大学）
针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。
2026-06-23 cs.AI cs.LG
Moments Matter:Stabilizing Policy Optimization using Return Distributions
Leibniz University Hannover（汉诺威莱布尼茨大学）；Intitute of Artificial Intelligence（人工智能研究所）；L3S Research Center（L3S研究中心）
本文提出利用回报分布的高阶矩来稳定策略优化，通过分布性批评机和偏度峰度修正，提升连续控制任务的稳定性，实验显示在Walker2D中稳定性提升达75%。
2026-01-05 cs.AI cs.LG
Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning
OATML, University of Oxford（OATML，牛津大学）；OXCAV, University of Oxford（OXCAV，牛津大学）
CAPO通过曲率感知优化提升LLM推理的样本效率和稳定性
2026-02-28 cs.AI cs.LG
STEVE: Stabilizing Textual Gradient-Based Prompt Optimization via Error-Driven Refinement and Regularized Verification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google DeepMind（谷歌DeepMind）
STEVE通过错误驱动精炼和正则化验证两种机制，稳定文本梯度提示优化，减少性能退化，在多个基准上生成更稳健的提示。
2026-09-22 cs.AI cs.CL cs.LG
Stabilizing Subject Transfer in EEG Classification with Divergence Estimation
Northeastern University（东北大学）；MERL（三菱电机研究实验室）
针对EEG分类跨受试者性能下降问题，提出基于散度估计的正则化方法，通过图模型识别统计关系并惩罚偏差，显著提升测试受试者平衡准确率并减少过拟合，且计算成本低。
2023-10-12 cs.AI cs.HC cs.LG
SkillEvoReg: Regularizing Agent Skill Evolution Against Overfitting
针对语言模型智能体技能进化中的过拟合问题，提出通用正则化框架SkillEvoReg，结合技能丢弃、复杂度正则化与因果反例验证，在多个基准上控制技能增长并提升下游能力。
2026-09-28 cs.AI
Stabilizing Off-Policy Deep Reinforcement Learning from Pixels
King’s College London（伦敦国王学院）；University of Oxford（牛津大学）
来自像素观察的非策略强化学习（RL）是出了名的不稳定。因此，许多成功的算法必须结合不同的特定领域的做法和辅助损失，学习有意义的行为在复杂的环境中。在这项工作中，我们提供了新的分析，证明这些不稳定性是由使用卷积编码器和低幅度奖励执行时间差学习引起的。我们发现，这种新的视觉致命的三重奏会导致不稳定的训练和过早收敛到退化的解决方案，我们命名为灾难性的自适应现象。基于我们的分析，我们提出了A-LIX，一种为编码器的梯度提供自适应正则化的方法，该方法使用双目标明确防止灾难性自过拟合的发生。通过应用A-LIX，我们在DeepMind Control和Atari 100 k基准测试中的表现明显优于现有技术，而没有任何数据增强或辅助损失。
2022-07-03 cs.AI cs.CV cs.LG
Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization
Department of Industrial Engineering & Management Sciences（工业工程与管理科学系）
针对联邦学习扩展至大量客户端时的通信效率低、性能下降问题，本文提出通用低秩更新框架FedLoRU，证明其收敛速率与FedAvg相当，性能媲美全秩算法且鲁棒性强。
2025-11-16 cs.AI cs.LG stat.ML
How Much Regularization Survives Averaging? Update Masking in Federated Learning
Faculty of Science & Technology Sophia University（索菲亚大学科学技术学院）；Technical R&D Department Shendian Energy Co., Ltd.（申电能源有限公司技术研发部）
该研究针对联邦学习中更新掩码的正则化留存问题，证明了客户端掩码设置与联邦平均对正则化代价的影响，在CIFAR-10上开展实验并分析了相关因素的作用。
2026-08-26 cs.AI cs.LG
The Labyrinth and the Thread: Rethinking Regularizations in Sequential Knowledge Editing for Large Language Models
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））；Bosch (China) Investment Ltd.（博世（中国）投资有限公司）；School of Statistics, East China Normal University（东华大学统计学院）
本文通过优化分析证明顺序编辑与一次性编辑的等价性，揭示稳定性源于累积编辑约束而非专门正则化，从而简化大语言模型知识编辑流程。
2026-05-26 cs.AI cs.CL
Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
Texas A&M University（德克萨斯A&M大学）；GE HealthCare（通用电气医疗）；University of Minnesota（明尼苏达大学）
SORL通过回合级重要性采样和触发式归一化稳定长时程LLM代理的离策略训练，减少梯度方差并防止优化崩溃。
2026-10-07 cs.AI cs.CL cs.LG
DARTS-PRIME: Regularization and Scheduling Improve Constrained Optimization in Differentiable NAS
IRIT, University of Toulouse（图卢兹大学 IRIT 研究所）；IRT Saint-Exupery（圣埃克苏佩里技术研究所）；ISAE-SUPAERO, University of Toulouse（图卢兹大学 ISAE-SUPAERO 高等航空与航天学院）
微分结构搜索（DARTS）是一种基于微分松弛的神经结构搜索（NAS）方法。由于其成功，最近提出了许多分析和改进DARTS框架部分的变体。通过考虑问题作为一个有约束的双层优化，我们提出并分析DARTS-PRIME，一个变种，包括改进建筑权重更新调度和正则化离散化。我们提出了一个基于每minibatch网络信息的动态调度，使架构更新更明智，以及邻近正则化，以促进良好分离的离散化。我们在多个领域的研究结果表明，DARTS-PRIME提高了性能和可靠性，与可区分NAS中最先进的技术相当。
2021-10-18 cs.AI cs.LG
GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control
National Doctorate on Artificial Intelligence, Sapienza Università di Roma（人工智能国家博士学院，罗马萨皮恩扎大学）；Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna, Pisa（机器人与人工智能卓越部门，TeCIP，圣安娜高等学院，比萨）；Institute of Informatics and Telematics, National Research Council of Italy, Pisa（信息与电信研究所，意大利国家研究理事会，比萨）
GTPO通过梯度和熵控制稳定群体相对策略优化，提升大语言模型对齐的训练稳定性与性能。
2025-12-11 cs.AI cs.CL cs.LG
RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training
Adelaide University（阿德莱德大学）；The University of Sydney（悉尼大学）；Curtin University（科廷大学）；School of CSIT（计算机科学与信息技术学院）；ACFR（澳大利亚空间研究中心）；School of EECMS（电子工程、计算机与数学科学学院）
针对多回合智能体RL训练不稳定问题，提出RTPO方法，通过反向回合策略优化消除上下文不匹配与异步漂移，实验显示其较基线提升21.50%、10.76%。
2026-09-01 cs.AI
ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Dartmouth College（达特茅斯学院）
研究大语言模型强化学习训练不稳定问题，提出ARMOR框架，通过锚展开利用离策略数据保留解决方案模式，混合优化重新制定策略目标实现可控探索，经实验验证可有效减轻验证崩溃，提升性能。
2026-07-22 cs.AI cs.CL cs.LG
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
Stabilizing Policy Gradient Methods via Reward Profiling
本文提出了一种通用的奖励分析框架，通过高置信度性能估计稳定策略梯度方法，提高收敛速度并降低回报方差。
2026-01-24 cs.AI cs.LG cs.SY
MANGO: Meta-Adaptive Network Gradient Optimization for Online Continual Learning
Purdue University（普渡大学）；TU Delft（代尔夫特理工大学）
本文提出MANGO框架，通过梯度门控和元学习正则化平衡持续学习中的稳定性与可塑性，实现对过去任务遗忘的克服和新任务高效学习。
2026-05-18 cs.AI cs.LG
Quantile Advantage Estimation: Stabilizing RLVR for LLM Reasoning
University of Science and Technology of China（中国科学技术大学）
通过分位数优势估计方法，稳定RLVR训练过程，提升LLM推理性能。
2026-02-28 cs.AI cs.LG
A KL-regularization Framework for Learning to Plan with Adaptive Priors
LIACS, Leiden University, Leiden, The Netherlands（莱顿大学莱顿分校，荷兰）；Google Deepmind, London, United Kingdom（谷歌DeepMind，英国伦敦）；University of Oxford, Oxford, United Kingdom（牛津大学，英国牛津）
本文提出了一种基于KL正则化的学习规划框架，通过将规划器的动作分布作为先验整合到策略优化中，提升了在高维连续控制任务中模型驱动强化学习的样本效率和长期性能。
2026-05-20 cs.AI cs.LG cs.RO
REG: A Regularization Optimizer for Robust Training Dynamics
Huawei Noah’s Ark Lab（华为诺亚实验室）
针对结构感知优化器Muon训练不稳定、与AdamW预训练模型微调不兼容的问题，提出基于行列缩放算子的REG优化器，在LLM训练中性能和稳定性优于AdamW且适配其训练范式。
2025-10-04 cs.AI cs.LG
Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
Alibaba Inc（阿里巴巴公司）
本文提出通过大语言模型稳定强化学习的新方法，揭示了代理目标优化的条件，并通过实验验证了重要性采样校正和Routing Replay在提升训练稳定性中的作用。
2025-12-03 cs.AI cs.CL cs.LG
Stabilizing Reinforcement Learning for Diffusion Language Models
Huawei Foundation Model Department（华为基础模型部门）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出StableDRL方法，针对扩散语言模型中的强化学习问题，通过无条件裁剪和自我归一化解决比率估计噪声导致的不稳定性，提升训练稳定性。
2026-03-06 cs.AI cs.LG
FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization
Georgia Institute of Technology（佐治亚理工学院）
联邦学习（FL）试图在本地客户端之间分发模型训练，而无需在集中式数据中心收集数据，从而消除数据隐私问题。FL面临的一个主要挑战是数据异构性（每个客户端的数据分布可能不同），因为它可能导致本地客户端之间的权重差异和缓慢的全局收敛。目前为数据异构性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响，并且是有状态算法，即，他们保持着当地的统计数据。虽然有效，但这些方法只能用于FL的特殊情况，只涉及少数可靠的客户端。对于客户端数量较大的FL的更典型应用（例如，边缘设备和移动应用），这些方法不能被应用，从而激发了对可以用于任何数量的客户端的异构FL的无状态方法的需求。我们推导出一阶梯度正则化惩罚不一致的本地更新，由于本地数据的异质性。具体来说，为了减轻权重发散，我们将全局数据分布的一阶近似引入局部目标，这直观地惩罚了全局更新相反方向的更新。最终结果是无状态FL算法，其实现1）显著更快的收敛（即，更少的通信轮数）和2）在非IID数据分布下比SOTA方法更高的总体收敛性能。重要的是，我们的方法不会对客户端大小施加不切实际的限制，从而能够像大多数FL应用程序中通常的那样从大量客户端学习。
2022-09-21 cs.AI cs.CV cs.LG
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
Meta AI
EBPO通过经验贝叶斯收缩方法稳定群体相对策略优化，有效降低估计方差并提升训练稳定性。
2026-02-23 cs.AI cs.CL cs.LG
STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens
School of Vehicle；Mobility \& College of AI, Tsinghua University；Didi Voyager Labs, DiDi Autonomous Driving
针对强化学习微调大语言模型时因稀有虚假标记导致训练不稳定和性能崩溃的问题，提出STAPO方法，通过抑制这些标记的梯度扰动，在多个数学推理基准上实现稳定训练和性能提升。
2026-10-28 cs.AI cs.CL
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
University of Alberta（阿尔伯塔大学）
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
2023-02-28 cs.AI cs.LG stat.ML
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
