Dealing with unbounded gradients in stochastic saddle-point optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文针对凸-凹鞍点优化中梯度无界导致的不稳定问题，提出一种简单有效的正则化技术以稳定迭代并获得性能保证，并将其应用于平均奖励MDP中以在无偏差跨度先验知识下寻找近最优策略。
2024-06-07 cs.LG math.OC stat.ML
Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；University of Virginia（弗吉尼亚大学）；University of Warwick（华威大学）
为了了解强化学习（RL）算法的安全威胁，本文研究了中毒攻击，以操纵\emph{any}顺序最优的学习算法在情节RL中的目标策略，并检查了两种自然类型的中毒攻击的潜在损害，即，\emph{reward}和\emph{action}的操作。我们发现攻击的效果主要取决于奖励是有界的还是无界的。在有界奖励设置中，我们证明了只有奖励操纵或只有动作操纵不能保证成功的攻击。然而，通过结合奖励和动作操纵，对手可以操纵任何顺序最优学习算法，以遵循具有$\tildeΘ(\sqrt{T})$总攻击成本的任何目标策略，这是顺序最优的，而不需要任何底层MDP的知识。相比之下，在无界奖励设置，我们表明，奖励操纵攻击是足够的对手成功地操纵任何顺序最优的学习算法，遵循任何有针对性的政策，使用$\tilde{O}(\sqrt{T})$量的污染。我们的研究结果揭示了关于中毒攻击可以或不能实现什么的有用见解，并将激励更多关于鲁棒RL算法设计的工作。
2022-08-29 cs.CR cs.LG stat.ML
Intrinsically Efficient, Stable, and Bounded Off-Policy Evaluation for Reinforcement Learning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Harvard University（哈佛大学）
上下文强盗和强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。该问题的重要性吸引了许多解决方案，包括重要性采样（IS），自归一化IS（SNIS）和双稳健（DR）估计。如果Q-函数是良好指定的，DR及其变体确保半参数局部效率，但如果它们不是，它们可能比IS和SNIS更差。它也不享有SNIS固有的稳定性和有界性。我们提出了新的估计OPE的经验似然的基础上，总是比IS，SNIS和DR更有效，并满足相同的稳定性和有界性的属性SNIS。在此过程中，我们对各种属性进行分类，并根据它们对现有估计量进行分类。除了理论上的保证，实证研究表明，新的估计提供的优势。
2019-06-09 cs.LG stat.ML
Statistically Model Checking PCTL Specifications on Markov Decision Processes via Reinforcement Learning
Duke University（杜克大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
概率计算树逻辑（PCTL）经常用于形式化地指定控制目标，如概率可达性和安全性。在这项工作中，我们专注于模型检验PCTL规格统计马尔可夫决策过程（MDP）的抽样，例如，检查是否存在可行的策略，使得到达某些目标状态的概率大于阈值。我们使用强化学习寻找这样一个可行的政策PCTL规格，然后开发一个统计模型检验（SMC）方法，其错误的可证明的保证。具体而言，我们首先使用基于上置信限（UCB）的Q-学习设计一个SMC算法的有界时间PCTL规格，然后将此算法扩展到无界时间规格通过确定一个适当的截断时间检查PCTL规格和它的否定在同一时间。最后，我们评估所提出的方法的案例研究。
2020-04-22 cs.LG stat.ML
Representations for Stable Off-Policy Reinforcement Learning
Google Research（谷歌研究（Google Research））
带有函数逼近的强化学习可能不稳定，甚至发散，特别是当与离策略学习和Bellman更新相结合时。在深度强化学习中，这些问题已经通过调整和规则化表示，特别是辅助任务来经验性地处理。这表明，表示学习可以提供一种手段，以保证稳定性。在本文中，我们正式表明，确实有非平凡的状态表示下，规范TD算法是稳定的，即使在学习关闭的政策。我们分析了表示学习计划的基础上的过渡矩阵的政策，如原价值函数，沿三个轴：近似误差，稳定性和易于估计。在最一般的情况下，我们表明，舒尔基础提供收敛保证，但很难估计样本。对于一个固定的奖励函数，我们发现，相应的Krylov子空间的正交基是一个更好的选择。我们通过经验证明这些稳定的表示可以使用随机梯度下降来学习，从而为深度网络的表示学习的改进技术打开了大门。
2020-10-02 cs.AI cs.LG stat.ML
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
The University of Sydney（悉尼大学）
中国跳棋游戏是一个具有挑战性的完全信息的传统棋盘游戏，它与其他传统游戏的主要区别在于两个方面：第一，与国际象棋不同，所有跳棋都在游戏中无限地保留，因此搜索树的分支因子不会随着游戏的进行而减少;其次，与Go不同，搜索树的深度也没有上限，因为允许重复和向后移动。因此，即使在受限制的游戏实例中，游戏的状态空间仍然可以是无界的，这使得计算机程序具有挑战性。在这项工作中，我们提出了一种方法，有效地结合了使用算法，蒙特卡罗树搜索，和深度强化学习建立一个中国的机器人代理，而不使用任何人类的游戏数据。实验结果表明，我们的代理是胜任不同的情况下，达到有经验的人类球员的水平。
2019-03-08 cs.LG stat.ML
All-Quadrant Bounded Clipping GRPO: Closing the Unbounded Blind Spot for Stable and Generalizable Training
ABC-GRPO通过自适应边界裁剪提升GRPO的灵活性和泛化能力，实现更稳定和可推广的训练效果。
2026-08-07 cs.AI cs.CL cs.LG
Stable Gradients for Stable Learning at Scale in Deep Reinforcement Learning
Mila - Québec AI Institute（魁北克AI研究院）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本研究通过稳定梯度流解决深度强化学习中扩展时的非平稳性和架构问题，提升大规模网络的性能。
2026-01-30 cs.LG
Never Worse, Mostly Better: Stable Policy Improvement in Deep Reinforcement Learning
NVIDIA Research（英伟达研究院）；Technion - Israel Institute of Technology（以色列理工学院）；Indian Institute of Technology, Indore（印度理工学院印多尔分校）
近年来，在应用深度强化学习（RL）解决各种领域的挑战性问题方面取得了重大进展。然而，收敛的各种方法已被证明遭受不一致，由于算法的不稳定性和方差，以及随机性在基准环境。特别是，尽管代理的表现平均而言可能会有所改善，但在训练的后期阶段可能会突然恶化。在这项工作中，我们研究的方法，以提高代理的学习过程中，通过提供保守的更新，无论是获得的历史或参考基准政策。我们的方法，称为EVEREST，通过参考政策的置信区间获得高置信度的改善。通过大量的实证分析，我们证明了我们的方法在性能和稳定性方面的好处，在连续控制和Atari基准测试中有显着的改进。
2022-08-18 cs.AI cs.LG stat.ML
Convergence of Q-value in case of Gaussian rewards
Dynamic Pricing technology（动态定价技术公司）；Osaka univercity（大阪大学）；Kindai univercity（近畿大学）；MatrixFlow（MatrixFlow公司）
在本文中，作为强化学习的研究，我们收敛Q函数的无界奖励，如高斯分布。根据中心极限定理，在一些现实世界的应用中，很自然地假设奖励遵循高斯分布，但现有的证明不能保证Q函数的收敛性。此外，在近年来流行的分布型强化学习和贝叶斯强化学习中，最好允许奖励具有高斯分布。因此，本文在$E[r(s,a)^2]<\infty$的条件下证明了Q-函数的收敛性，这比现有的研究要宽松得多。最后，作为奖励，还发布了分布式强化学习的策略梯度定理的证明。
2020-03-07 cs.LG math.OC stat.ML
Deep Reinforcement Learning and the Deadly Triad
DeepMind（深度思维）；University of Lille（里尔大学）
我们从强化学习理论中知道，时间差学习在某些情况下可能会失败。Sutton和Barto（2018）确定了函数近似、自举和离策略学习的致命三位一体。当这三个属性结合在一起时，学习可以随着价值估计变得无界而发散。然而，一些算法成功地结合了这三个属性，这表明我们的理解至少存在部分差距。在这项工作中，我们调查了致命的三合会在实践中的影响，在一系列流行的深度强化学习模型的背景下-用经验重放训练的深度Q网络-分析这个系统的组件如何在致命三合会的出现中发挥作用，以及代理的表现
2018-12-06 cs.AI cs.LG
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Stable Deep Reinforcement Learning via Isotropic Gaussian Representations
University of Waterloo（滑铁卢大学）
本文提出了一种基于各向同性高斯表示的深度强化学习方法，通过在训练过程中塑造表示以达到各向同性高斯分布，从而在非平稳环境下提高性能并减少表示崩溃、神经元休眠和训练不稳定性。
2026-06-04 cs.AI cs.LG
Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading
School of Mathematical and Statistical Sciences, Indian Institute of Technology Mandi（印度理工大学曼迪分校数学与统计科学学院）
本研究提出自监督框架自动发现辅助任务以支持股票交易的强化学习，通过广义价值函数和双网络结构优化，在四大股指上验证其较基线方法更具稳健性与交易性能。
2026-08-18 cs.LG q-fin.CP stat.ML
Generating stable molecules using imitation and reinforcement learning
Aarhus University（奥胡斯大学）；Freie Universität Berlin（柏林自由大学）；Rice University（莱斯大学）
在尝试耗时的实验合成之前，通常通过机器学习方法探索化学空间以发现有趣的分子。然而，这些方法通常依赖于图形表示，忽略了确定分子稳定性所需的3D信息。我们提出了一种强化学习方法，用于在Carnival坐标中生成分子，从而可以对稳定性进行量子化学预测。为了提高样本效率，我们从GDB-11数据库上的模仿学习中学习基本的化学规则，以创建适用于所有化学计量的初始模型。然后，我们在强化学习设置中部署以特定化学计量为条件的模型的多个副本。该模型正确识别数据库中的低能分子，并产生训练集中未发现的新型异构体。最后，我们将该模型应用于更大的分子，以展示强化学习如何在远离训练数据的领域进一步改进模仿学习模型。
2021-07-11 cs.LG physics.chem-ph
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）；Artefact Research Centre（阿特法克特研究中心）
本文针对双峰随机环境下的强化学习挑战，提出一种基于批量更新的表格Q学习方法，并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
A Memory-Based Reinforcement Learning Approach to Integrated Sensing and Communication
Princeton University（普林斯顿大学）；Technion（以色列理工学院）
针对有记忆点到点 ISAC 系统的在线容量—失真折中，提出基于有向信息奖励和 DDPG 的深度强化学习波形优化方法，证明利用无界状态与信道记忆可显著提升性能。
2024-12-02 cs.IT cs.LG math.IT
Multi-agent Reinforcement Learning for Decentralized Stable Matching
University of Kentucky（肯塔基大学）
在现实世界中，人们/实体通常独立自主地寻找匹配，例如寻找工作、合作伙伴、室友等。我们提出了使用一个多智能体强化学习（MARL）范式的空间制定分散双边匹配市场的独立和自主智能体。拥有独立行动的自主智能体会使我们的环境变得非常动态和不确定。此外，代理人缺乏其他代理人的偏好知识，必须探索环境并与其他代理人交互，通过嘈杂的奖励来发现自己的偏好。我们认为这样的设置更好地接近现实世界，我们研究我们的MARL方法的有用性it. Along传统的稳定匹配的情况下，代理人有严格的顺序偏好，我们检查我们的方法的适用性不完整的列表和领带稳定匹配。我们调查我们的结果的稳定性，不稳定性水平（不稳定的结果）和公平性。我们的MARL方法大多产生稳定和公平的结果。
2021-12-04 cs.AI cs.LG cs.MA
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
On Policy Evaluation Algorithms in Distributional Reinforcement Learning
Goethe University Frankfurt（法兰克福大学）；Institute of Mathematics（数学研究所）
本文提出一类分布动态规划算法，用于高效逼近分布强化学习中策略评估的未知回报分布，并给出误差界及新概率度量性质。
2024-07-19 cs.LG math.PR stat.ML
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University（斯坦福大学）
针对强化学习中稀疏奖励导致的信用分配难题，现有后见之明策略方法存在不稳定问题，本研究提出Hindsight-DICE，通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正，提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
Q-Flow: Stable and Expressive Reinforcement Learning with Flow-Based Policy
KAIST AI（韩国科学技术院人工智能实验室）
Q-Flow通过利用流动力学的确定性，将终端轨迹价值显式传播到中间潜在状态，实现稳定策略优化，同时在OGBench数据集上表现优于现有方法。
2026-06-23 cs.AI cs.LG
One4Many-StablePacker: An Efficient Deep Reinforcement Learning Framework for the 3D Bin Packing Problem
针对三维装箱问题现有方法的局限，提出One4Many-StablePacker框架，通过加权奖励函数和结合特定优化方法的训练机制，能在单一训练中处理多样箱尺寸，有效提升装箱利用率，泛化性强且适用性佳。
2026-07-23 cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
StackFeat RL: Reinforcement Learning over Iterative Dual Criterion Feature Selection for Stable Biomarker Discovery
CEA List；Université Grenoble Alpes（格勒诺布尔大学）
本文提出StackFeat-RL框架，通过REINFORCE策略梯度优化迭代双准则特征选择算法的超参数，提升高维基因组数据中生物标志物发现的准确性、稀疏性和稳定性。
2026-04-24 cs.LG
ACRL: Adaptive Control of Training-Inference Discrepancy for Stable Reinforcement Learning
Huawei（华为）
研究针对大语言模型强化学习训练因训练与推理差异导致的不稳定问题，提出自适应控制强化学习（ACRL）方法，可维持训练-推理差异在合理范围，稳定训练，增加策略熵，提升探索与准确性，实验表现优于BF16基线和重要性采样修复。
2026-07-28 cs.AI cs.CL cs.LG
Stable Acoustic Relay Assignment with High Throughput via Lase Chaos-based Reinforcement Learning
IEEE Wireless Communications Letters（IEEE无线通信快报）
本研究提出基于激光混沌的强化学习方法，解决水声网络中稳定中继分配问题，实现高吞吐量并快速达到稳定，适用于复杂水下环境。
2025-07-08 cs.LG cs.SD eess.AS
Stabilizing reinforcement learning control: A modular framework for optimizing over all stable behavior
University of British Columbia（不列颠哥伦比亚大学）；Honeywell Process Solutions（霍尼韦尔过程解决方案公司）
提出一种结合深度强化学习与Youla-Kucera参数化的模块化反馈控制器设计框架，通过数据驱动模型和稳定算子集合确保控制稳定性，并支持非线性扩展与固定结构控制器调优。
2024-03-21 cs.AI cs.LG cs.SY
L2C2: Locally Lipschitz Continuous Constraint towards Stable and Smooth Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出L2C2正则化技术，通过基于状态转移设计时空局部紧致空间施加局部Lipschitz连续约束，使强化学习的策略与价值函数实现适度平滑，在不损失表达能力的前提下提升稳定性、抗噪性及任务性能。
2022-02-15 cs.LG cs.RO
Stable CDE Autoencoders with Acuity Regularization for Offline Reinforcement Learning in Sepsis Treatment
本文提出利用稳定CDE自编码器和清晰度正则化方法，提升败血症治疗离线强化学习中状态表示的稳定性与临床相关性。
2025-06-17 cs.AI cs.LG
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute（向量研究所）；NSERC（加拿大自然科学与工程研究理事会）
本文提出一种结合GAN与深度强化学习的生成式框架，通过“强化链接”解耦反馈机制稳定训练，在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
SAFE: Stable Alignment Finetuning with Entropy-Aware Predictive Control for Reinforcement Learning from Human Feedback (RLHF)
SAFE通过熵感知预测控制提升RLHF稳定性，实现更高的训练奖励和更稳定的优化性能。
2026-02-09 cs.LG
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Technical University Darmstadt（达姆施塔特工业大学）
离线强化学习通过从固定数据集学习，使得在不与环境交互的情况下学习代理行为成为可能。然而，根据离线数据集的质量，这种预先训练的代理可能具有有限的性能，并且还需要通过与环境交互来在线微调。在在线微调期间，由于从离线数据到在线数据的突然分布偏移，预先训练的代理的性能可能迅速崩溃。虽然离线RL方法（如行为克隆丢失）强制执行的约束在一定程度上防止了这一点，但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外，我们使用一个随机的Q函数集成，通过执行大量的学习更新，进一步提高在线微调的样本效率。实验表明，该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用：\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
Fixed-Horizon Temporal Difference Methods for Stable Reinforcement Learning
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）；Huawei Technologies Canada, Ltd.（加拿大华为技术有限公司）
我们探讨了固定时域时间差（TD）方法，强化学习算法，用于一种新的值函数，该值函数预测$\textit{fixed}$数量的未来时间步长上的奖励之和。为了学习水平$h$的价值函数，这些算法从水平$h-1$或某个较短水平的价值函数引导。因为没有价值函数从自身引导，所以固定水平方法不受困扰其他使用函数近似的非策略TD方法的稳定性问题（也被称为“致命的三元组”）的影响。虽然固定时域方法需要存储额外的价值函数，但这为代理提供了额外的预测能力，而增加的复杂性可以通过并行更新、共享权重和$n$步自举来大幅降低。我们展示了如何使用固定水平值函数来解决强化学习问题，并与学习传统价值函数的Q学习等方法竞争。我们还证明了固定水平时间差分方法的线性和一般函数逼近的收敛性。两者合计，我们的研究结果建立固定地平线TD方法作为一个可行的新的方式，避免致命的三合会的稳定性问题。
2020-02-11 cs.AI cs.LG
Use the Online Network If You Can: Towards Fast and Stable Reinforcement Learning
Technical University of Darmstadt（德累斯顿技术大学）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；University of Würzburg（弗赖堡大学）
本文提出了一种新的更新规则，通过在目标网络和在线网络之间取最小估计来改进价值函数学习，从而实现更快且更稳定的强化学习。
2026-05-18 cs.LG
Stable Online and Offline Reinforcement Learning for Antibody CDRH3 Design
University of Freiburg（弗赖堡大学）；Collaborative Research Institute Intelligent Oncology (CRIION)（智能肿瘤学合作研究所（CRIION））；University Medical Center Freiburg（弗赖堡大学医学中心）；BrainLinks-BrainTools（脑连接-脑工具研究中心）
本文提出一种稳定强化学习方法，用于抗体CDRH3设计，可在在线或离线设定下针对多个靶标生成高亲和力抗体，并在Absolut!数据库所有测试抗原上超越现有方法。
2023-11-29 cs.LG q-bio.BM
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
EXPO通过构建实时策略最大化Q值，提升样本效率，适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
ByteDance Seed（字节跳动种子）；Michigan State University（密歇根州立大学）
研究针对强化学习探索-稳定性困境，提出无界正不对称优化（UP）方法，通过特殊设计重组优化过程，在多种算法、模型架构及训练模式下增强探索能力，实现卓越推理精度，是通用即插即用的强化学习训练增强方法。
2026-07-09 cs.LG
Stable deep reinforcement learning method by predicting uncertainty in rewards as a subtask
Fujitsu Laboratories LTD.（富士通实验室有限公司）；Waseda University（早稻田大学）；Artificial Intelligence Research Center（人工智能研究中心）
针对真实传感器奖励噪声导致DRL训练不稳定的问题，本文提出在critic中增加奖励方差预测子任务并将特征图传递给actor，实验表明其可稳定Atari环境下的收敛。
2021-01-18 cs.AI cs.LG
Operator-Theoretic Foundations and Policy Gradient Methods for General MDPs with Unbounded Costs
The Ohio State University（俄亥俄州立大学）；McGill University（麦吉尔大学）
本文提出了一种新的策略梯度算法，用于解决具有无界成本的一般马尔可夫决策过程，通过算子理论和扰动理论建立了策略差分引理，并改进了策略梯度方法。
2026-03-31 cs.LG math.OC
Intervention-Assisted Policy Gradient Methods for Online Stochastic Queuing Network Optimization: Technical Report
Massachusetts Institute of Technology（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对随机排队网络在线DRL控制中的无界状态空间难题，提出利用已知稳定策略干预的辅助框架及两种策略梯度算法，保证强稳定性并取得优于经典与既有ODRLC方法的性能。
2024-04-05 cs.AI cs.LG
Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；Independent（独立）
本文提出熵比裁剪机制，通过量化策略探索的相对变化，缓解强化学习中的分布偏移问题，提升训练稳定性。
2026-04-23 cs.CL cs.LG
Performative Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
本文提出performative强化学习框架，利用对偶表述证明重复优化、梯度上升及有限轨迹设定下均可收敛到表现稳定策略，并通过网格世界实验验证参数影响。
2023-02-07 cs.GT cs.LG
Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs
Mila（米拉研究所）；Reliant AI
本研究提出TOPR离策略强化学习算法，采用非对称锥形重要采样，无需KL正则即可稳定高效微调大模型，能统一处理正负例，在GSM8K、MATH基准上提升性能，8B模型可匹配70B模型效果。
2025-03-19 cs.LG
Transportation-Inequalities, Lyapunov Stability and Sampling for Dynamical Systems on Continuous State Space
Duke University（杜克大学）
研究了状态空间无界的离散随机动力系统的集中现象。我们开发了一个启发式的方法来获得指数集中不等式的动力系统使用一个完全功能的分析框架。通过\emph{transport-entropy inequality}（T-E），我们还证明了指数型李雅普诺夫函数的存在性，与纯确定性设置相比，不仅意味着稳定性，而且意味着从平稳分布采样的指数集中不等式.这些结果在\emph{reinforcement learning}（RL）和\emph{controls}中有重要影响，导致指数集中不等式，即使对于无界的观测量，而既不假设可逆性，也不假设随机动力系统的精确知识（假设在统计力学和马尔可夫扩散过程中的集中不等式的核心）。
2022-12-07 cs.IT cs.LG cs.SY
Guiding Diffusion Models with Reinforcement Learning for Stable Molecule Generation
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院）；INFTECH；Zhongshan Hospital（中山医院）
本文提出带物理反馈的强化学习框架 RLPF，将去噪扩散策略优化扩展到三维分子生成，通过力场奖励函数引导生成能量稳定的分子结构，并在 QM9 和 GEOM-drug 数据集上显著提升了分子稳定性。
2025-08-22 cs.AI cs.LG
Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；EvolutionLeap（进化跃迁）；Tsinghua University（清华大学）
本研究提出深度潜在推理（DLR），通过潜在空间对比强化学习提升LLM在复杂推理任务中的稳定性与效率。
2026-01-24 cs.AI cs.LG
GHPO: Adaptive Guidance for Stable and Efficient LLM Reinforcement Learning
Huawei Research（华为研究）；Huawei Noah’s Ark Lab（华为诺亚实验室）；City University of Hong Kong（香港城市大学）
针对LLM强化学习中因能力与难度不匹配导致的训练不稳定问题，提出难度感知框架GHPO，通过自适应提示优化平衡模仿与探索学习，显著提升了模型在数学基准上的推理性能与训练稳定性。
2025-07-16 cs.AI cs.LG
A Recipe for Stable Offline Multi-agent Reinforcement Learning
本文提出一种稳定离线多智能体强化学习的配方，通过尺度不变价值归一化技术解决非线性价值分解的不稳定性问题，提升训练稳定性与性能。
2026-03-09 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with Timed Subgoals
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
分层强化学习（HRL）在具有挑战性的长时间任务上具有很大的样本有效学习潜力。特别是，让一个更高的水平分配子目标到一个更低的水平已经被证明能够快速学习困难的问题。然而，这种基于子目标的方法是在考虑静态强化学习环境的情况下设计的，因此即使它们在现实世界的问题中无处不在，也要与代理的直接控制之外的动态元素进行斗争。在本文中，我们介绍了分层强化学习与定时子目标（HiTS），HRL算法，使代理，以适应其时间的动态环境，不仅指定什么目标状态是要达到的，而且何时。我们讨论了如何与较低水平的沟通，在这样的时间子目标的结果在一个更稳定的学习问题的较高水平。我们在一系列标准基准测试和三个新的具有挑战性的动态强化学习环境上的实验表明，我们的方法能够进行样本高效学习，而现有的基于子目标的HRL方法无法学习稳定的解决方案。
2021-12-06 cs.LG
RL-QN: A Reinforcement Learning Framework for Optimal Control of Queueing Systems
Massachusetts Institute of Technology（麻省理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随着信息技术的快速发展，网络系统变得越来越复杂，因此底层系统动力学往往是未知的或难以描述的。找到良好的网络控制策略对于实现期望的网络性能（例如，高吞吐量或低延迟）。在这项工作中，我们考虑使用基于模型的强化学习（RL）学习的最优控制政策，使网络的平均作业延迟（或相当于平均队列积压）最小化。然而，RL中的传统方法无法处理网络控制问题的无界状态空间。为了克服这一困难，我们提出了一种新的算法，称为强化学习的嵌入式网络（RL-QN），它适用于基于模型的RL方法的状态空间的有限子集，而应用一个已知的稳定政策的其余状态。我们建立了RL-QN下的平均排队积压与适当构造的子集可以任意接近的最优结果。我们评估RL-QN在动态服务器分配，路由和切换问题。仿真结果表明，RL-QN能有效地最小化平均排队积压。
2022-04-07 cs.LG cs.PF
Abstract Demonstrations and Adaptive Exploration for Efficient and Stable Multi-step Sparse Reward Reinforcement Learning
Cardiff University（卡迪夫大学）
尽管深度强化学习（DRL）在包括机器人在内的许多学科中都很流行，但最先进的DRL算法仍然难以学习长时间、多步骤和稀疏奖励任务，例如仅在任务完成奖励信号的情况下堆叠几个块。为了提高这些任务的学习效率，本文提出了一种DRL探索技术，称为A^2，它集成了两个组件的灵感来自人类的经验：抽象演示和自适应探索。A^2首先将复杂任务分解为子任务，然后提供子任务的正确顺序来学习。在训练过程中，智能体自适应地探索环境，对掌握得好的子任务更确定地采取行动，对学得不好的子任务更随机。消融和比较实验进行了几个网格世界的任务和三个机器人操作任务。我们证明了A^2可以帮助流行的DRL算法（DQN，DDPG和SAC）在这些环境中更有效，更稳定地学习。
2022-07-19 cs.AI cs.LG cs.RO
On Rate-Distortion Theory in Capacity-Limited Cognition & Reinforcement Learning
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在整个认知科学文献中，人们普遍认为，在现实世界中运作的决策代理人在有限的信息处理能力下这样做，并且无法获得无限的认知或计算资源。先前的工作已经从这一事实中得到了启发，并利用了在有限速率约束下操作的通信信道等行为或策略的信息理论模型。同时，平行线的工作也利用相同的原则，从率失真理论，通过学习目标的概念，这有利于证明有效的学习算法的贝叶斯遗憾界的容量有限的决策。在本文中，我们的目的是阐明后一种观点，提出了一个简短的调查，这些信息理论模型的能力有限的决策，在生物和人工代理。
2022-10-30 cs.AI cs.LG
