Model-based Chance-Constrained Reinforcement Learning via Separated Proportional-Integral Lagrangian
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
安全性是强化学习（RL）应用于现实世界的关键。增加机会约束（或概率约束）是一种合适的方式来提高RL安全性下的不确定性。现有的机会约束RL方法，如惩罚方法和拉格朗日方法，要么表现出周期性振荡，要么学习一个过于保守或不安全的政策。在本文中，我们提出了一个分离的比例积分拉格朗日（SPIL）算法来解决这些缺点。首先从反馈控制的角度对约束策略优化过程进行了回顾，将惩罚权重作为控制输入，安全概率作为控制输出。在此基础上，罚函数法被构造成比例控制器，拉格朗日法被构造成积分控制器。然后，我们统一了它们，并提出了一个比例积分拉格朗日方法，以获得两者的优点，与积分分离技术，以限制在一个合理的范围内的积分值。为了加速训练，以基于模型的方式计算安全概率的梯度。我们证明了我们的方法可以减少振荡和保守性的RL政策在跟驰仿真。为了证明其实用性，我们还将我们的方法应用于现实世界的移动机器人导航任务，在那里我们的机器人成功地避免了移动障碍物具有高度不确定性，甚至侵略性的行为。
2021-08-26 cs.LG cs.RO cs.SY
COIN: Chance-Constrained Imitation Learning for Uncertainty-aware Adaptive Resource Oversubscription Policy
Microsoft（微软）；Microsoft 365
本文提出机会约束模仿学习框架COIN，利用随机约束与集成价值函数处理遥测数据中的偶然不确定性，在云资源超售中实现约3-4倍的效率与安全性提升。
2024-01-13 cs.AI cs.LG
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University（华东师范大学）；Microsoft Research（微软研究院）；Microsoft 365（微软365）；Microsoft Research Asia（微软亚洲研究院）
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源，假设不是所有用户都能同时充分利用这些资源。然而，如何设计一个超额预订政策，提高利用率，同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守，忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题，本文将云计算的超额订阅问题描述为一个机会约束优化问题，并提出了一种有效的机会约束多智能体强化学习（C2MARL）方法来解决这个问题。具体来说，C2MARL通过考虑约束的上限来减少约束的数量，并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明，我们的C2 MARL优于现有的方法，提高利用率（$20\%\sim 86\%$）在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Iterative Batch Reinforcement Learning via Safe Diversified Model-based Policy Search
Siemens AG（西门子公司）
本文提出一种基于安全多样化模型策略搜索的迭代批量强化学习方法，通过引导策略在部署时高效收集数据，在已收集数据支持范围内持续改进策略。
2024-11-14 cs.AI cs.LG stat.ML
Learning Chance-Constrained MDPs with Bellman Distributional Certificates
Cornell University AI for Science Institute（康奈尔大学人工智能科学研究所）；Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文提出贝尔曼分布证书方法，用于解决机会约束马尔可夫决策过程，通过构建约束违反概率的贝尔曼递归，实现模型基上下界匹配，并提供无模型策略梯度算法，在合成和IEEE 14节点基准上验证安全性。
2026-09-28 cs.LG
Identifying Decision Points for Safe and Interpretable Reinforcement Learning in Hypotension Treatment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
许多批处理RL健康应用程序首先将时间离散化为固定的时间间隔。然而，这种离散化既失去了分辨率，又迫使在每个（潜在的精细）间隔进行策略计算。在这项工作中，我们开发了一个新的框架，将连续的轨迹压缩成几个可解释的决策点-批量数据支持多个备选方案的地方。我们应用我们的方法从一组肥胖患者数据集创建推荐。我们减少了状态空间，从而加快了规划速度，并允许临床专家轻松检查。
2021-01-09 cs.LG
Safe Policy Improvement with Baseline Bootstrapping
Microsoft Research（微软研究院）
本文考虑批强化学习（Batch RL）中的安全策略改进（SPI）：从固定的数据集并且不直接存取真实环境，训练保证执行至少与用于收集数据的基线策略一样好的策略。我们的方法称为SPI with Baseline Bootstrapping（SPIBB），灵感来自于knows-what-it-knows范式：当不确定性很高时，它会使用基线引导训练的策略。我们的第一个算法，$Π_b$ -SPIBB，带有SPI理论保证。我们还实现了一个变体，$Π_{\leq b}$ -SPIBB，这在实践中甚至更有效。我们将我们的算法应用到一个激励随机gridworld域，并进一步证明随机生成的MDP的SPIBB相对于现有算法的优越性，不仅在安全性，而且在平均性能。最后，我们实现了一个无模型版本的SPIBB，并显示其好处的导航任务与深度RL实现称为SPIBB-DQN，这是，据我们所知，第一个RL算法依赖于神经网络表示能够有效地和可靠地从批量数据训练，没有任何与环境的交互。
2019-06-07 cs.AI cs.LG stat.ML
Safe Reinforcement Learning Using Advantage-Based Intervention
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）
许多序贯决策问题涉及到寻找一个策略，使总回报最大化，同时遵守安全约束。尽管最近的许多研究都集中在开发安全的强化学习（RL）算法，这些算法在训练后产生安全的策略，但确保训练期间的安全仍然是一个悬而未决的问题。一个基本的挑战是执行探索，同时仍然满足未知的马尔可夫决策过程（MDP）的约束。在这项工作中，我们解决这个问题的机会约束设置。我们提出了一个新的算法，SAILR，使用干预机制的基础上优势函数，以保持整个训练的代理安全和优化代理的政策，使用现成的RL算法设计的无约束MDPs。我们的方法在训练和部署期间都有很强的安全保证（即，在训练之后并且没有干预机制）以及与最优安全约束策略相比的策略性能。在我们的实验中，我们表明，SAILR在训练过程中违反的约束远远低于标准的安全RL和受约束的MDP方法，并收敛到一个性能良好的策略，可以安全地部署，而无需干预。我们的代码可在https://github.com/nolanwagener/safe_rl上获得。
2021-07-19 cs.LG cs.RO cs.SY
A Strong Baseline for Batch Imitation Learning
University of Oxford（牛津大学）；Spotify
专家行为的模仿是一个非常可取的和安全的方法来解决问题的顺序决策。我们提供了一个易于实现的，新颖的算法模仿学习下严格的数据范式，其中的代理必须学习只从收集的数据先验。这种模式允许我们的算法用于安全或成本是关键问题的环境。我们的算法不需要任何标准批处理强化学习（RL）算法之外的额外超参数调整，使其成为此类数据严格制度的理想基线。此外，我们提供了正式的样本复杂性保证的算法在有限马尔可夫决策问题。在这样做的时候，我们正式证明了Kearns & Singh（1998）的一个未经证实的主张。在经验方面，我们的贡献是双重的。首先，我们为离线RL方法开发了一个实用，强大和有原则的评估协议，只使用为模型选择提供的数据集。这与之前绝大多数离线RL的工作形成了鲜明对比，离线RL在评估环境中调整超参数，限制了在新的成本关键型环境中部署时的实用性。因此，我们为离线RL算法的开发和公平评估建立了先例。其次，我们评估我们自己的算法具有挑战性的连续控制基准，证明其实用性和竞争力与最先进的性能，尽管是一个简单的算法。
2023-02-06 cs.LG
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Microsoft Research Montréal（蒙特利尔微软研究院）
批处理强化学习（Batch RL）包括使用与另一个策略（称为行为策略）一起收集的轨迹来训练策略。安全策略改进（SPI）提供了高概率的保证，即经过训练的策略比行为策略表现得更好，在这种情况下也称为基线。以前的工作表明，SPI目标提高了平均性能相比，使用基本RL目标，归结为解决MDP与最大似然。在这里，我们在这项工作的基础上，通过允许在更广泛的策略集上进行策略搜索，更精确地改进了SPI与基线引导算法（SPIBB）。而不是二进制分类的状态-动作对成两个集合（\textit{uncertain}和\textit{safe-to-train-on}的），我们采用了一种更软的策略，通过限制政策的变化，根据本地模型的不确定性，控制在值估计的误差。该方法可以承担更多的风险，不确定的行动，同时保持可证明的安全，因此是保守性比国家的最先进的方法。我们提出了两种算法（一个最佳的和一个近似的）来解决这个约束优化问题，经验表明，显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
Safe multi-agent motion planning under uncertainty for drones using filtered reinforcement learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Mitsubishi Electric Corporation（三菱电机株式会社）
本文提出一种结合强化学习与机会约束凸优化的多无人机运动规划方法，在不确定杂乱环境中以高概率保证安全避碰，且训练简单、可实时实施。
2023-10-31 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers
The University of Tokyo（东京大学）；Georgia Institute of Technology（佐治亚理工学院）
这项研究提出了一个新的综合框架，确定安全着陆位置和规划飞行中的转向机动。现有的着陆区选择算法主要是利用当地地形的坡度、粗糙度等特征来判断着陆点的安全性和优先级。然而，当未来有额外的观察和转向机会时，这些算法无法评估考虑整体下降轨迹的决定本身以选定着陆点为目标的安全性。为了应对这一挑战，我们提出了一个强化学习框架，优化着陆点选择策略，同时引导和控制策略的目标着陆点。经过训练的智能体可以评估和选择着陆点，并明确考虑地形特征、未来观测的质量和控制，以在系统级实现安全有效的着陆轨迹。所提出的框架能够实现94.8 $\%$的成功着陆在高度具有挑战性的着陆点，其中超过80 $\%$的区域周围的初始目标着陆点是危险的，通过有效地更新目标着陆点和下降期间的反馈控制增益。
2021-02-24 cs.AI cs.LG cs.RO
Causal-aware Safe Policy Improvement for Task-oriented dialogue
Salesforce Research（赛富时研究院）
最近强化学习（RL）在解决复杂任务方面的成功通常归功于其探索和利用训练环境的能力。样本效率通常不是问题，因为便宜的模拟器可用于对策略上的数据进行采样。另一方面，面向任务的对话通常是从使用人类演示收集的离线数据中学习的。收集不同的演示并注释它们是昂贵的。不幸的是，使用在非政策数据上训练的RL方法容易出现偏差和泛化问题，这进一步加剧了人类响应的随机性和对话管理系统的非马尔可夫信念状态。为此，我们提出了一个面向任务的对话策略学习的批量强化学习框架：因果感知安全策略改进（CASPI）。这种方法保证了对话策略的性能，并根据人类响应背后的意图来学习塑造奖励，而不仅仅是模仿演示数据;这种与批量RL的结合有助于整体提高框架的样本效率。我们证明了这个框架的有效性对话上下文到文本生成和端到端的对话任务的Multiwoz2.0数据集。在这两种情况下，所提出的方法在这些指标上优于现有技术。在端到端的情况下，我们的方法只训练了10%的数据，在四个评估指标中有三个能够超过当前状态。
2021-03-10 cs.AI cs.CL cs.LG
Knowledge Transfer from Teachers to Learners in Growing-Batch Reinforcement Learning
Harvard University（哈佛大学）；DeepMind（深度思维）
本文研究增长批次强化学习中教师知识（示范、专家动作、梯度）的迁移，以缓解演员-评论家方法的样本复杂度和覆盖要求，并在DeepMind控制套件上验证。
2023-05-09 cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta（阿尔伯塔大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
非策略强化学习（RL）有望提高数据效率，因为它允许样本重用，并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差，要么遭受高方差，从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显，其中RL的成功相当有限，并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程，它可以用封闭形式求解.该解对于策略参数是可微的，并且可以获得对策略梯度的估计。通过这种方式，我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量，并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Safe Policy Improvement with an Estimated Baseline Policy
Delft University of Technology（代尔夫特理工大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
先前的工作已经表明了现有算法在批量强化学习设置中的不可靠性，并提出了基于基线引导的安全策略改进（SPIBB）修复：在不确定的状态-动作对中重现基线策略，以控制训练策略性能的方差。然而，在许多现实世界的应用中，如对话系统、药物测试或作物管理，数据是在人类监督下收集的，基线仍然未知。在本文中，我们应用SPIBB算法与基线估计建立的数据。我们正式显示安全的政策改善保证在真正的基线，即使没有直接存取到它。我们的经验实验有限和连续状态的任务支持的理论研究结果。它表现出很少的性能损失与SPIBB相比，当基线策略，更重要的是，大大和显着优于竞争算法在安全策略的改进，并在平均性能。
2020-12-28 cs.AI cs.LG stat.ML
How Safe Am I Given What I See? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy
University of Florida（佛罗里达大学）
针对端到端图像控制自主系统缺乏低维可解释状态导致安全保障难的问题，提出基于生成式世界模型的可配置学习流水线，结合共形预测提供安全概率统计校准保证，在赛车和小车倒立摆场景完成全面验证。
2024-06-18 cs.LG
Beyond Average Safety: Chance-Constrained LLM Fine-tuning
Johns Hopkins University（约翰霍普金斯大学）
本文提出机会约束的大语言模型微调方法，限制安全示例退化比例，通过可微上界和约束感知梯度下降实现尾部感知的安全校正，实验证明其优于现有基线。
2026-09-25 cs.AI cs.LG
Statistical Contraction for Chance-Constrained Trajectory Optimization of Non-Gaussian Stochastic Systems
Department of Aerospace Engineering, The Grainger College of Engineering, University of Illinois Urbana-Champaign（航空航天工程系、格拉inger工程学院、伊利诺伊大学厄巴纳-香槟分校）
本文提出基于统计收缩的非高斯随机系统轨迹优化方法，通过共形推断生成置信集并保证闭环约束满足，适用于安全关键应用。
2026-03-07 cs.LG cs.SY eess.SY
Gaussian Process Constraint Learning for Scalable Chance-Constrained Motion Planning from Demonstrations
University of Michigan（密歇根大学）
我们提出了一种学习约束表示为高斯过程（GP）从局部最优演示的方法。我们的方法使用的Karush-Kuhn-Tucker（KKT）的最优性条件，以确定在示威的约束是紧的，并在这些国家的约束梯度的缩放。然后，我们训练GP表示的约束，这是一致的，并概括了这一信息。我们进一步表明，GP的不确定性，可以使用内的运动力RRT计划概率安全的轨迹，我们可以利用GP结构内的规划，以准确地实现指定的安全概率。我们证明了我们的方法可以学习复杂的，非线性的约束，证明了一个5D非完整的汽车，一个12 D四旋翼，和一个3连杆平面臂，同时需要最少的先验信息的约束。我们的研究结果表明，学习的GP约束是准确的，优于以前的约束学习方法，需要更多的先验知识。
2022-03-01 cs.LG cs.RO cs.SY
Bayesian Safe Policy Learning with Chance Constrained Optimization: Application to Military Security Assessment during the Vietnam War
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
针对越南战争期间的安全评估算法，提出贝叶斯策略学习框架，通过平均条件风险控制风险，并转化为约束线性规划，改进算法更强调经济政治因素。
2024-05-27 cs.LG stat.AP
Chance-Constrained Inference for Hallucination Risk Control in Large Language Models
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，海得拉巴，印度）
本研究提出置信约束推断方法，通过限制幻觉发生的概率，实现大语言模型在部署时的风险控制，实验显示其在风险控制、输入检测和重复使用中的有效性。
2026-02-02 cs.LG
Optimization for One, Feasibility for Most: Decoupling Optimization from Feasibility in Chance-Constrained Programs
University of Calgary（卡尔加里大学）；University of Iowa（爱荷华大学）
针对机会约束规划中优化与可行性难以兼顾的问题，提出ACCESS框架将二者解耦，通过生成单场景候选解、批量评估可行性，在保证性能的同时提升效率，其变体还具备可行性保障，实验效果优于对比方法。
2026-10-15 cs.LG math.OC
Safe Machine-Learning-supported Model Predictive Force and Motion Control in Robotics
TU Darmstadt（达姆施塔特工业大学）；Otto-von-Guericke-Universität Magdeburg（奥托·冯·格里克马格德堡大学）
许多机器人任务，如人机交互或易碎物体的处理，需要严格控制和限制出现的力和力矩以及合理的运动控制，以实现安全而高性能的操作。我们提出了一个学习支持的模型预测力和运动控制方案，提供随机安全保证，同时适应不断变化的情况。高斯过程用于学习将机器人的状态映射到力和力矩的不确定关系。模型预测控制器使用这些高斯过程模型，以实现精确的运动和力控制下的随机约束满足。由于不确定性只发生在静态模型部分-输出方程-一个计算效率高的随机MPC制定。分析了静态不确定情况下最优控制问题的递归可行性和闭环系统的收敛性。基于高斯过程的方差，构造了机会约束公式和退避，以保证安全运行。在一个轻量级的机器人在模拟和实验中说明了这种方法。
2023-03-08 cs.LG cs.RO cs.SY
Iterative Model-Learning Scheme via Gaussian Processes for Nonlinear Model Predictive Control of (Semi-)Batch Processes
Process Systems Engineering (AVT.SVT), RWTH Aachen University（过程系统工程（AVT.SVT），亚琛工业大学）；Institute of Climate and Energy Systems: Energy Systems Engineering (ICE-1), Forschungszentrum Jülich GmbH（气候与能源系统研究所：能源系统工程（ICE-1），焦耳中心有限公司）；Department of Chemical Engineering, Sargent Centre for Process Systems Engineering, University College London（化学工程系，萨金特过程系统工程中心，伦敦大学学院）
本文提出一种基于高斯过程的模型学习NMPC方案，通过迭代更新高斯过程来提高半批量过程的控制性能，展示了在聚合物化反应器中的应用效果。
2026-04-24 cs.LG
Decentralized Safe Multi-agent Stochastic Optimal Control using Deep FBSDEs and ADMM
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种新的安全和可扩展的分散解决方案的多智能体控制中存在的随机干扰。安全是数学编码使用随机控制障碍函数和安全控制计算通过求解二次规划。分散化是通过增加每个代理的优化变量，复制变量，为它的邻居。这使我们能够解耦集中式多智能体优化问题。然而，为了确保安全，邻近的代理必须就“什么对我们双方都安全”达成一致，这就需要达成共识。为了实现安全的共识解决方案，我们采用了基于ADMM的方法。具体来说，我们提出了一个合并的CADMM-OSQP隐式神经网络层，解决了一个小批量的两个，局部二次规划以及整体的共识问题，作为一个单一的优化问题。该层在每个时间步嵌入到深度FBSDEs网络架构中，以促进端到端可微分、安全和分散的随机最优控制。在几个具有挑战性的多机器人任务的模拟所提出的方法的有效性。通过对避碰约束所指定的安全性施加要求，在整个训练过程中确保所有代理的安全操作。我们还展示了优越的可扩展性方面的计算和内存节省相比，一个集中的方法。
2022-06-07 cs.LG cs.MA cs.RO
Safe Real-Time Optimization using Multi-Fidelity Gaussian Processes
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出了一类新的实时的【形】优化方案，以克服不确定过程的系统-模型失配。这项工作的新颖之处在于在贝叶斯优化框架内集成无导数优化方案和多保真度高斯过程。该方案使用两个高斯过程的随机系统，一个模拟（已知）的过程模型，另一个，通过测量的真实系统。以这种方式，可以经由模型获得低保真度样本，而通过系统的测量获得高保真度样本。该框架以非参数方式捕获系统的行为，同时通过采集功能驱动探索。使用高斯过程表示系统的好处是能够实时的【形】执行不确定性量化，并允许以高置信度满足机会约束。这导致在一个实际的方法，说明在数值案例研究，包括半批光生物反应器优化问题。
2021-11-10 cs.LG math.OC
Chance-constrained selection of sequential intervention strategies from counterfactual estimates
Graduate School of Information, Yonsei University（延世大学信息研究生院）
本文提出预测-优化框架，通过机会约束选择控制累积成本超预算概率，在临床治疗等环境中可在点估计规则超支时维持预算，所有代码公开。
2026-08-14 cs.LG stat.ME stat.ML
