Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Principled Penalty-based Methods for Bilevel Reinforcement Learning and RLHF
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Yale University（耶鲁大学）
针对动态目标的双层强化学习问题，提出首个基于罚函数原则的算法框架，并提供理论分析与策略梯度算法，在Stackelberg马尔可夫博弈、RLHF和激励设计中验证了有效性。
2024-06-01 cs.LG math.OC stat.ML
Restless Bandits with Individual Penalty Constraints: Near-Optimal Indices and Deep Reinforcement Learning
Texas A\&M University College Station Texas USA；Texas A\&M University
本文研究带有个体惩罚约束的 restless bandits 框架，提出近优索引策略，通过深度强化学习实现高效学习，展示出在动态无线网络环境中的优越性能。
2026-09-30 cs.LG
Off-Policy Deep Reinforcement Learning Algorithms for Handling Various Robotic Manipulator Tasks
Ozyegin University（厄兹耶金大学）；Istinye University（伊斯坦布尔阿依登大学）
为了避免传统的控制方法由于系统的复杂性和对数据密度的强烈要求而造成的障碍，需要开发现代和更有效的控制方法。通过这种方式，强化学习脱离策略和无模型算法有助于避免使用复杂的模型。在速度和准确性方面，它们成为突出的方法，因为算法使用它们过去的经验来学习最优策略。在这项研究中，三个强化学习算法; DDPG，TD 3和SAC已被用于训练取机器人机械手在MuJoCo仿真环境中的四个不同的任务。所有这些算法都是非策略的，能够通过优化策略函数和价值函数来达到预期的目标。在当前的研究中，这三种算法的效率和速度进行了分析，在受控环境。
2022-12-11 cs.AI cs.LG cs.RO
Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty
本文研究了在熵正则化探索扩散过程中，连续时间风险敏感强化学习的指数形式目标。通过鞅视角，将风险敏感RL问题转化为保证价值函数和q函数过程的鞅性质，并通过二次变分惩罚项来捕捉轨迹上的价值变化。
2026-03-15 cs.LG cs.SY eess.SY
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
推荐系统中的一个主要挑战是处理新用户，他们也被称为$\textit{cold-start}$用户。在本文中，我们提出了一种新的方法来学习一系列最佳的问题，以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题，以创建用户简档，从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的，但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
ROSARL: Reward-Only Safe Reinforcement Learning
University of the Witwatersrand（威特沃特斯兰德大学）；Duke University（杜克大学）
本文提出ROSARL，通过综合环境可控性与直径求解不安全状态奖励的Minmax penalty上界，并以无模型算法在学习任务策略时同步学习该惩罚，从而在高维连续控制中获得安全策略。
2023-05-31 cs.LG
Model-based Chance-Constrained Reinforcement Learning via Separated Proportional-Integral Lagrangian
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
安全性是强化学习（RL）应用于现实世界的关键。增加机会约束（或概率约束）是一种合适的方式来提高RL安全性下的不确定性。现有的机会约束RL方法，如惩罚方法和拉格朗日方法，要么表现出周期性振荡，要么学习一个过于保守或不安全的政策。在本文中，我们提出了一个分离的比例积分拉格朗日（SPIL）算法来解决这些缺点。首先从反馈控制的角度对约束策略优化过程进行了回顾，将惩罚权重作为控制输入，安全概率作为控制输出。在此基础上，罚函数法被构造成比例控制器，拉格朗日法被构造成积分控制器。然后，我们统一了它们，并提出了一个比例积分拉格朗日方法，以获得两者的优点，与积分分离技术，以限制在一个合理的范围内的积分值。为了加速训练，以基于模型的方式计算安全概率的梯度。我们证明了我们的方法可以减少振荡和保守性的RL政策在跟驰仿真。为了证明其实用性，我们还将我们的方法应用于现实世界的移动机器人导航任务，在那里我们的机器人成功地避免了移动障碍物具有高度不确定性，甚至侵略性的行为。
2021-08-26 cs.LG cs.RO cs.SY
DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning
NVIDIA
DLER通过批量奖励归一化、更高裁剪、动态采样和简单截断长度惩罚，在强化学习中正确实施长度惩罚，将输出长度削减超70%并超越基线准确性，同时提升测试时扩展效率。
2025-10-16 cs.AI cs.CL cs.LG
Constrained Reinforcement Learning for Dynamic Material Handling
Research Institute of Trustworthy Autonomous Systems (RITAS), Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd（华为技术有限公司可信理论研究中心）
本文针对动态物料搬运中的自动导引车调度问题，将其建模为受约束的马尔可夫决策过程，并提出结合拉格朗日松弛与无效动作掩蔽的自适应约束强化学习算法RCPOM，同时开发了DMH-GYM模拟器作为基准，实验证明其性能优于多种现有算法和调度规则。
2023-05-23 cs.AI cs.LG cs.RO
Separated Proportional-Integral Lagrangian for Chance Constrained Reinforcement Learning
Tsinghua University（清华大学）
安全对于强化学习（RL）应用于自动驾驶等现实任务至关重要。机会约束保证了状态约束以高概率满足，适合于表示现实世界中具有不确定性的需求。现有的机会约束RL方法，如惩罚方法和拉格朗日方法，要么表现出周期振荡或不能满足的约束。在本文中，我们提出了一个分离的比例积分拉格朗日（SPIL）算法来解决这些缺点。从控制的角度来看，我们首先将惩罚方法和拉格朗日方法分别解释为比例反馈和积分反馈控制。然后，提出了一种比例积分拉格朗日方法，以稳定学习过程，同时提高安全性。为了防止积分超调和减少保守性，我们引入了积分分离技术的启发PID控制。最后，利用机会约束的解析梯度进行基于模型的策略优化。SPIL的有效性证明了一个狭窄的跟车任务。实验表明，与以往的方法相比，SPIL提高了性能，同时保证安全性，具有稳定的学习过程。
2021-02-17 cs.AI cs.LG cs.SY
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Handling Long-Term Safety and Uncertainty in Safe Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI（德国人工智能研究中心）
本文通过引入可学习约束扩展安全探索方法ATACOM，解决安全强化学习中任务特定安全约束难以获取、长期安全性难以预见及不确定性问题，在保持训练安全性的同时实现优异最终性能。
2024-09-23 cs.LG cs.RO
Multi-agent Reinforcement Learning for Dynamic Dispatching in Material Handling Systems
Hitachi America Ltd.（日立美国有限公司）；JR Automation Collaboration Project（JR自动化合作项目）；Industrial A.I. Lab.（工业人工智能实验室）
本文提出一种多智能体强化学习方法学习动态调度策略，通过集成启发式领域知识增强探索，在物料搬运系统中吞吐量中位数最高提升7.4%，并验证了架构影响及迭代训练的进一步提升效果。
2024-09-27 cs.AI cs.LG cs.MA
Exterior Penalty Policy Optimization with Penalty Metric Network under Constraints
Shanghai Jiao Tong University（上海交通大学）
本文提出外部罚函数策略优化（EPO）方法，利用罚度量网络（PMN）自适应生成惩罚，在保证收敛的同时高效满足约束，实验证明其性能优于基线方法。
2024-07-22 cs.LG cs.RO
Nonconvex Regularization for Feature Selection in Reinforcement Learning
Institute of Science Tokyo, Japan Department of Information
本文针对强化学习特征选择提出基于非凸PMC惩罚的批量算法，并给出FRBS算法的新收敛条件，在噪声特征多的场景下显著优于现有方法。
2025-09-19 cs.LG
BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
该研究提出BCPPO算法，通过带随机样本掩码的成本预测网络分歧结合巴舍利耶公式生成平滑惩罚，在175次运行的多任务测试中，其平均回报更高、平均CVaR更低，实现了奖励与安全的实用平衡。
2026-09-01 cs.AI cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University（纽约大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
离线强化学习（RL）的许多现代方法利用行为正则化，通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中，我们提出了一种替代方法，鼓励学习的政策，以保持接近的数据，即参数化的批评日志行为的政策，产生的离线数据，加上一个状态动作值偏移项，可以使用神经网络学习。然后，行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项，并证明其等价于Fisher发散正则化，建议连接到分数匹配和基于生成能量的模型文献。因此，我们将我们的算法称为Fisher-BRC（行为正则化批评）。在标准的离线RL基准测试中，Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
A Unified and Constrained View of Regularization-Based Robust Reinforcement Learning
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Khalifa University（哈利法大学）；Concordia University（康考迪亚大学）
本文统一了基于正则化的鲁棒强化学习方法，推导出性能差距上界，并将鲁棒训练转化为约束优化问题，通过联合更新拉格朗日乘子自动调整正则化权重，在连续控制任务上验证了理论分析。
2026-10-15 cs.LG
Revisiting Temporal Regularization for Smooth Control in Deep Reinforcement Learning
Kyung Hee University（庆熙大学）
本研究重新审视时序正则化，证明其能提供空间平滑性，并提出CATS方法结合时序惩罚与线性渐进提升，在减少动作振荡的同时保持任务性能，经仿真和实物实验验证有效。
2026-11-09 cs.LG cs.RO
Imminent Collision Mitigation with Reinforcement Learning and Vision
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
这项工作研究了强化学习在减少道路碰撞的严重程度，通过控制速度和转向的情况下，接触是迫在眉睫的作用。我们构建了一个模型，给定摄像机图像作为输入，能够学习和预测障碍物，汽车和行人的动态，并使用此模型训练我们的政策。控制制动和转向的两种策略与基线进行比较，其中所采取的唯一行动是（传统的）直线制动。这两种策略使用两种不同的奖励结构进行训练，一种是任何和所有碰撞都会产生固定的惩罚，第二种是根据已经建立的伤害严重程度的delta-v模型计算惩罚。结果表明，这两种策略都超过了基线的性能，使用损伤模型训练的策略具有最高的性能。
2019-01-03 cs.AI cs.CV cs.LG
Handling Long and Richly Constrained Tasks through Constrained Hierarchical Reinforcement Learning
Singapore Management University（新加坡管理大学）；Rutgers University（罗格斯大学）
本文提出CoSHRL机制，结合上层受约束搜索智能体与低层目标条件RL智能体，解决长时复杂安全约束决策问题，支持成本分布约束且无需重训即可调整阈值。
2024-01-09 cs.AI cs.LG
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
强化学习（RL）最近在各个领域取得了巨大的成功。然而，奖励函数的设计需要详细的领域专业知识和繁琐的微调，以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而，稀疏奖励本身就代表了一个挑战，通常会导致智能体的训练失败。因此，在本文中，我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造，而不使用昂贵的人类示范，这也将适用于广泛的领域。因此，我们建议使用模型预测控制~（MPC）作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造，我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外，我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明，MPC作为一个经验源，提高了代理的学习过程中，对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
Just Enough Thinking: Efficient Reasoning with Adaptive Length Penalties Reinforcement Learning
Stanford University（斯坦福大学）；SynthLabs
本文提出自适应长度惩罚（ALP）强化学习方法，根据每个提示的求解率动态调整生成长度惩罚，在保持 DeepScaleR-1.5B 性能的同时将平均 token 使用量减少 50%，并将节省的计算资源重新分配给困难问题以提升最难题目的准确率。
2025-06-06 cs.AI cs.LG
End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning
University of Parma（帕尔马大学）；University of Bologna（博洛尼亚大学）；VisLab srl, an Ambarella Inc. company（VisLab 公司，安霸公司旗下企业）
通过交叉路口导航是自动驾驶汽车的主要挑战性任务之一。然而，对于大多数由交通信号灯控制的交叉口，可以通过一种简单的基于规则的方法来解决这个问题，在该方法中，自主车辆的行为与交通信号灯状态密切相关。在这项工作中，我们专注于实现一个系统，能够通过十字路口，只有交通标志提供导航。我们提出了一个多智能体系统，该系统使用连续的无模型深度强化学习算法来训练神经网络，以预测每个时间步长的加速度和转向角。我们证明，代理学习的基本规则需要处理的交叉点，通过了解环境中的其他学习者的优先级，并沿着他们的路径安全驾驶。此外，我们的系统和基于规则的方法之间的比较证明，我们的模型取得了更好的效果，特别是在密集的交通条件。最后，我们使用真实记录的交通数据在现实世界的场景中测试我们的系统，证明我们的模块能够推广到看不见的环境和不同的交通条件。
2021-05-01 cs.AI cs.LG cs.RO
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
在离线强化学习中，需要从单个预先收集的数据集中学习策略。通常，策略因此在训练期间被正则化，以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法，它直接约束的政策，而不是在其权重空间，并在实验中证明了其有效性。
2021-07-12 cs.LG
Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR
Sardar Vallabhbhai National Institute of Technology (SVNIT)（萨达尔·瓦拉布希·尼尔马伊技术学院）
本文提出自适应负强化方法，通过时间依赖调度函数动态平衡纠正与多样性，提升大语言模型推理能力。
2026-05-08 cs.AI cs.LG
FedKL: Tackling Data Heterogeneity in Federated Reinforcement Learning by Penalizing KL Divergence
the Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中的数据异质性，提出基于KL散度的惩罚方法，在分布空间约束模型输出，实现训练速度与收敛的更好权衡，并在两个RL平台上验证了加速和稳定训练的优势。
2022-09-22 cs.LG
Fairness Aware Reinforcement Learning via Proximal Policy Optimization
针对多智能体系统的奖励公平分配问题，提出融合回顾性与前瞻性惩罚分量的Fair-PPO算法，在两个测试场景中实现了优于PPO的公平性，性能比肩现有先进公平强化学习算法。
2025-09-02 cs.LG cs.MA
Stable Reinforcement Learning for Efficient Reasoning
Huawei Technologies Co., Ltd.（华为技术有限公司）；Australian National University（澳大利亚国立大学）
针对GRPO长度惩罚导致训练不稳定和准确性崩溃的问题，提出GRPO-$\lambda$，通过动态调整奖励策略，在保持推理能力的同时提升效率，在多个基准上平均准确性提高1.48%，CoT长度减少47.3%。
2025-05-23 cs.AI cs.LG
Penalized Proximal Policy Optimization for Safe Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）
安全强化学习旨在学习满足安全约束的最优策略，这在实际应用中至关重要。然而，目前的算法仍然难以有效的策略更新与硬约束满足。在本文中，我们提出了惩罚性近端策略优化（P3 O），它通过对等效无约束问题的单个最小化来解决繁琐的约束策略迭代。具体地说，P3O利用一个简单而有效的惩罚函数来消除成本约束，并通过裁剪代理目标来消除信任域约束。我们从理论上证明了所提出的方法的精确性与有限的惩罚因子，并提供了一个最坏情况下的近似误差分析时，评估样本轨迹。此外，我们将P3O扩展到更具挑战性的多约束和多代理场景，这些场景在以前的工作中研究较少。大量的实验表明，P3O优于国家的最先进的算法方面的奖励改善和约束满足的一组受约束的机车任务。
2022-06-17 cs.AI cs.LG math.OC
Safe Reinforcement Learning for Strategic Bidding of Virtual Power Plants in Day-Ahead Markets
ETH Zurich（苏黎世联邦理工学院）；Technical University of Denmark（丹麦技术大学）
本文提出一种基于DDPG的安全强化学习算法，通过引入基于投影的安全防护和防护激活惩罚，解决虚拟电厂在日前市场竞标中的内部物理约束问题，使其能学习高竞争性且安全的策略。
2023-09-12 cs.LG cs.SY eess.SY
Handling Delay in Real-Time Reinforcement Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Calgary（卡尔加里大学）；IBM Research（IBM研究院）；University of Cambridge（剑桥大学）；CIFAR AI Chair（加拿大高级研究院人工智能主席项目）
针对实时强化学习中因网络计算导致的观测延迟问题，提出利用时间跳跃连接结合历史增强观测的方法，在保持网络表达能力的同时有效降低延迟，并在多种环境和硬件上验证了其强劲性能与推理加速效果。
2025-03-30 cs.AI cs.LG cs.RO
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Mila（蒙特利尔大学Mila）
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
AdaFair-MARL: Enforcing Adaptive Fairness Constraints in Multi-Agent Reinforcement Learning
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）；Bala-Cynwyd, PA, USA（巴拉-辛威德, 美国宾夕法尼亚州）
本文提出AdaFair-MARL框架，通过将工作负载公平性作为显式约束，使智能体在优化团队性能的同时保持贡献平衡，实验表明其在医院协调环境中的有效性。
2026-04-22 cs.AI cs.GT cs.LG
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Valeo Driving Assistance Research Valeo.ai（法雷奥驾驶辅助研究法雷奥人工智能）
强化学习（RL）旨在从自己的实验中学习最优行为策略，而不是基于规则的控制方法。然而，目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术，创造了隐含的启示，有效地利用RL的城市驾驶，从而包括车道保持，行人和车辆回避，交通灯检测。据我们所知，我们是第一个提出一个成功的RL代理处理这样一个复杂的任务，特别是关于交通灯检测。此外，我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
All Models are Wrong, Knowing Where is Useful: On Model Uncertainty in Reinforcement Learning
German Federal Ministry of Research, Technology and Space (BMFTR)（德国联邦研究、技术和空间部）；Robotics Institute Germany (RIG)（德国机器人研究所）；Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程数据科学研究所，亚琛工业大学）；NHR Center NHR4CES at RWTH Aachen University（亚琛工业大学NHR4CES中心）
提出通过针对性处理概率模型的不确定性来减轻模型利用的框架，并展示在硬件直接学习和安全探索方面的成功。
2026-05-31 cs.LG cs.SY eess.SY
Sample Complexity Analysis for Constrained Bilevel Reinforcement Learning
Purdue University（普渡大学）
本文首次分析了受约束双层强化学习算法的样本复杂度，提出Constrained Bilevel Subgradient Optimization算法，通过非光滑优化方法解决了约束问题中的对偶间隙和超梯度问题。
2026-01-30 cs.AI cs.LG
Non-Convex Sparse Reinforcement Learning via Non-Monotone Inclusions
Department of Information and Communications Engineering, Institute of Science Tokyo（东京理科大学信息与通信工程系）；Institute of Science Tokyo（东京理科大学）
研究针对强化学习中高效特征选择及非单调包含关系理论。核心方法是用非凸投影极小极大凹惩罚增强传统正则化。贡献是给出收敛条件，数值测试显示该方法在非凸正则化LSTD问题上优于现有方法。
2026-07-08 cs.LG
SALE-Based Offline Reinforcement Learning with Ensemble Q-Networks
University of Science and Technology of China（中国科学技术大学）
本研究基于TD7算法，提出融合集成Q网络、EDAC梯度多样性惩罚与可调节BC项的无模型离线强化学习算法，有效应对分布外动作问题，在D4RL MuJoCo基准上实现了更优的收敛速度、稳定性与性能。
2025-01-12 cs.AI cs.LG
Computational Discovery of Energy-Efficient Heat Treatment for Microstructure Design using Deep Reinforcement Learning
Max-Planck-Institut für Eisenforschung（马克斯·普朗克钢铁研究所）
深度强化学习（DRL）用于开发自主优化和定制设计的热处理工艺，这些工艺既对微观结构敏感又节能。与传统的监督机器学习不同，DRL不依赖于仅从数据中进行静态神经网络训练，而是由学习代理基于奖励和惩罚元素自主开发最佳解决方案，减少或不进行监督。在我们的方法中，一个温度依赖的艾伦-卡恩模型相变被用作环境的DRL代理，作为模型世界中，它获得的经验，并采取自主决策。DRL算法的代理是控制系统的温度，作为合金热处理的模型炉。根据所需的相微观结构来定义试剂的微观结构目标。在训练之后，代理可以生成各种初始微观结构状态的温度-时间曲线，以达到最终期望的微观结构状态。详细研究了该热处理剂的性能和生成的热处理曲线的物理意义。特别地，该试剂能够控制温度以从各种初始条件开始达到所需的微结构。该试剂在处理各种条件方面的这种能力为使用这种方法铺平了道路，该方法还用于回收导向的热处理工艺设计，其中由于杂质侵入，初始组成可以在批次之间变化，并且还用于节能热处理的设计。为了检验这一假设，一个代理人没有总消耗的能量的罚款相比，考虑能源成本。能源成本的惩罚施加作为一个额外的标准，对代理寻找最佳的温度-时间曲线。
2022-09-22 cond-mat.mtrl-sci cs.LG
Safe Value Functions
RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Massachusetts Institute of Technology（麻省理工学院）
本文形式化定义了安全值函数，证明存在有限惩罚可同时保证任务最优性与安全约束，并揭示惩罚与奖励、折扣因子及动力学的交互结构，为安全控制中的奖励设计提供理论指导。
2022-12-01 cs.LG cs.RO cs.SY
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
研究微电网能量协调中联邦强化学习的约束感知聚合，提出含本地性能和约束违反的聚合规则，基于惩罚的规则效果最佳，实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
Distributed Multi-Agent Deep Reinforcement Learning Framework for Whole-building HVAC Control
Amazon Web Services（亚马逊云科技）
据估计，商业建筑中约40%-50%的总电力消耗可归因于供暖、通风和空调（HVAC）系统。由于建筑物内各种HVAC控制和热动力学之间的未知和复杂关系，在考虑居住者的热舒适性的同时最小化能量成本是非常具有挑战性的。为此，我们提出了一个基于Energy Plus仿真环境的多智能体分布式深度强化学习（DRL）框架，用于优化商业建筑中的HVAC。该框架学习建筑物中复杂的热动力学，并利用建筑物中冷却和加热系统的差异效应来降低能源成本，同时保持居住者的热舒适度。通过自适应惩罚，RL算法可以优先考虑节能或保持热舒适性。使用DRL，我们实现了超过75%的能源消耗节省。分布式DRL框架可以扩展到异构类型的多个GPU和CPU。
2021-10-26 cs.AI cs.LG cs.SY
Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在强化学习（RL）的试错机制中，当我们期望学习一个安全策略时，一个众所周知的矛盾出现了：如何在没有足够的数据和关于危险区域的先验模型的情况下学习一个安全策略？现有的方法大多对危险行为采用后验惩罚，即智能体在经历危险后才受到惩罚。这一事实导致即使在收敛之后，代理也不能学习零违规策略。否则，它不会受到任何惩罚，也不会失去对危险的认知。在本文中，我们提出了安全集演员-评论家（SSAC）算法，它限制了策略更新，使用面向安全的能量函数，或安全指标。安全指数被设计成对于潜在危险的动作快速增加，这允许我们在动作空间上定位安全集，或者控制安全集。因此，我们可以识别危险的行动之前，采取他们，并进一步获得一个零约束违反政策后，收敛。我们声称，我们可以学习的能量函数在一个无模型的方式类似于学习一个价值函数。通过使用能量函数转换作为约束目标，我们制定了一个约束RL问题。我们证明，我们的拉格朗日为基础的解决方案，确保学习的政策将收敛到约束最优在一定的假设。所提出的算法进行评估的复杂的仿真环境和硬件在环（HIL）实验与真正的控制器从自主车辆。实验结果表明，在所有环境中的收敛策略实现零约束违反和基于模型的基线相当的性能。
2021-11-25 cs.AI cs.LG cs.RO
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institude of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近端策略优化（PPO）已被提出作为用于强化学习的一阶优化方法。需要注意的是，该方法采用了外部罚函数法，但通常情况下，当罚参数增大时，外部罚函数的极小值仅在极限内逼近可行。因此，这可能导致采样效率的低水平。该方法保留了PPO的优点，即易于实现和推广性好，我们称之为带障碍的近端策略优化（PPO-B）。具体地说，提出了一种新的代理目标与内部惩罚方法，以避免所带来的缺陷，外部惩罚方法。可以得出结论，PPO-B能够在采样效率方面优于PPO，因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
Conditional Sequence Modeling for Safe Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Advanced Technology Institute, Zhejiang University（浙江大学先进技术研究院）
RCDT是一种基于条件序列建模的离线安全强化学习方法，通过集成Lagrangian风格的成本惩罚与自适应惩罚系数，实现跨多个成本阈值的零样本部署，并在DSRL基准上提升了回报-成本权衡。
2026-02-09 cs.LG
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
Safe Deep Reinforcement Learning by Verifying Task-Level Properties
Northeastern University（东北大学）；University of Verona（维罗纳大学）
安全深度强化学习（DRL）中通常采用成本函数。然而，由于难以量化状态空间中的策略决策的风险，成本通常被编码为指示函数。这样的编码要求代理访问许多不安全的状态，以学习成本-价值函数来驱动学习过程朝向安全。因此，增加了不安全的相互作用的数量并降低了样本效率。在本文中，我们研究了另一种方法，使用领域知识来量化的风险，在附近的这种状态，通过定义一个违规度量。此度量通过验证任务级属性（形状为输入输出条件）来计算，并用作惩罚，以使策略偏离不安全状态，而无需学习其他价值函数。我们调查的好处，使用违规指标在标准的安全DRL基准和机器人无地图导航任务。导航实验弥合了安全日间行车灯和机器人之间的差距，引入了一个框架，允许在真正的机器人上进行快速测试。我们的实验表明，使用违规惩罚训练的策略在安全DRL基线上实现了更高的性能，并显着减少了访问的不安全状态的数量。
2023-02-20 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）；Meituan（美团）
本文从优化角度分析多令牌预测与强化学习联合训练失败的原因，提出最优系数校准方法，通过在线跟踪最优系数实现性能提升。
2026-05-27 cs.LG
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
