Improving Automated Driving through POMDP Planning with Human Internal States
Stanford University（斯坦福大学）
这项工作研究的假设，部分可观察马尔可夫决策过程（POMDP）规划与人类驾驶员的内部状态，可以显着提高安全性和效率，在自动高速公路驾驶。我们在一个模拟场景中评估了这一假设，在这个场景中，自动驾驶汽车必须安全地连续进行三次车道变换。通过观测加宽部分可观测蒙特卡罗规划（POMCPOW）算法得到了POMDP的近似解。这种方法优于过度自信和保守的MDP基线，并匹配或优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的发生率降低一半或将成功率提高50%。
2022-06-09 cs.AI cs.RO
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；RWTH Aachen University（亚琛工业大学）；Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究部分可观测马尔可夫决策过程（POMDPs）中的约束合成问题，其目标是计算一个代理的策略，保证满足一定的安全性和性能规范。然而，POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难，专注于规划应用程序和利用典型的结构特性，这样的情况下，例如，我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架，把这样的POMDP模型变成一个（完全可观察的）概率两人游戏（PG）。对于所获得的PG，有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略，这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范，则细化方案可以改进计算策略。作为一个运行的例子，我们使用的规划问题，代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外，该方法提供了安全约束的保证，这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Safe POMDP Online Planning among Dynamic Agents via Adaptive Conformal Prediction
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
针对多动态智能体环境下 POMDP 在线规划的安全问题，提出利用 ACP 量化轨迹预测不确定性并即时构建安全屏障，在真实行人数据实验中兼顾回报与概率安全保证。
2024-09-06 cs.RO
Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control
本文提出了一种基于信念空间的分层控制架构，通过信念控制李雅普诺夫函数和屏障函数实现安全关键控制，提升机器人在部分可观测环境中的任务成功率和安全性。
2026-03-11 cs.RO
Safe POMDP Online Planning via Shielding
School of Engineering and Applied Science, University of Virginia（弗吉尼亚大学工程与应用科学学院）；University of Oxford（牛津大学）
本文针对 POMCP 等在线规划缺乏安全保证的问题，提出四种基于几乎必然到达—规避规范的屏蔽方法并集成到 POMCP，在大型 POMDP 基准上实现安全保证且运行时开销可忽略。
2024-03-02 cs.AI
ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints
Stanford University（斯坦福大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出ConstrainedZero算法，通过神经网络学习CC-POMDP的最优值、策略和失败概率，并结合$Δ$-MCTS自适应调整安全阈值，在多个安全关键任务中实现了无需权衡奖励与成本即可满足目标安全水平。
2024-05-01 cs.AI
Open-loop POMDP Simplification and Safe Skipping of Replanning with Formal Performance Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
本文提出一种基于拓扑信念树的自适应开放环简化框架，通过形式性能保证减少POMDP规划复杂度，并首次实现重规划跳过机制，提升POMDP规划的可计算性和效率。
2026-04-01 cs.RO
A POMDP Model for Safe Geological Carbon Sequestration
Stanford University（斯坦福大学）
地质碳捕获和封存（CCS），其中CO $_2$被存储在地下地层中，是用于减少全球排放的有前途的和可扩展的方法。然而，如果操作不当，可能会导致地震和CO $_2$泄漏回地表，对人类和环境造成危害。这些风险由于储藏结构的大量不确定性而加剧。出于这些原因，我们建议CCS操作建模为部分可观察马尔可夫决策过程（POMDP）和决策使用自动规划算法。为此，我们开发了一个简化的模型CCS操作的基础上，保留了许多现实世界的问题的挑战和安全考虑的2D溢点分析。我们展示了现成的POMDP求解器如何优于安全CCS规划的专家基线。该POMDP模型可用作测试床，以驱动CCS操作的新决策算法的开发。
2022-10-25 cs.AI physics.geo-ph
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Monte Carlo Sampling Methods for Approximating Interactive POMDPs
University of Georgia（佐治亚大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
部分可观测马尔可夫决策过程（POMDPs）提供了一个原则性的框架，顺序规划在不确定的单代理设置。POMDP的扩展到多智能体设置，称为交互式POMDP（I-POMDP），取代POMDP的信念空间与交互式层次的信念系统，代表一个代理人的信念，对物理世界，对其他代理人的信念，以及对他们的信念对他人的信念。这种修改使得由于信念和政策空间的复杂性而获得解决方案的困难变得更加尖锐。我们描述了一种基于粒子滤波（PF）的I-POMDPs的近似解的一般方法。我们引入了交互式PF，它降低了交互式信念层次结构和样本的水平，并在每个级别上传播信念。交互式PF能够降低信念空间复杂度，但不能解决策略空间复杂度。为了减轻政策的空间复杂度-有时也被称为历史的诅咒-我们利用一个互补的方法的基础上采样可能的意见，同时建立前瞻可达树。虽然这种方法不能完全解决历史的诅咒，但它大大削弱了诅咒的影响。我们提供实验结果和图表未来的工作。
2014-01-15 cs.AI
Safe Policy Synthesis in Multi-Agent POMDPs via Discrete-Time Barrier Functions
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDP）是一种用于受不确定性和部分观测影响的异构自主智能体的高级规划的建模范式。尽管他们的建模效率，MPOMDPs没有得到显着的关注，在安全关键的设置。在本文中，我们使用屏障功能，以确保安全的MPOMDPs设计的政策。值得注意的是，我们的方法不依赖于信念空间的离散化，或有限的记忆。为此，我们制定了充分和必要条件的安全性的一个给定的集合的基础上离散时间的障碍函数（DTBF），我们证明了我们的配方也允许布尔组成的DTBF代表更复杂的安全集。我们表明，所提出的方法可以实现在线的一个序列的一步贪心算法作为一个独立的安全控制器或作为一个安全过滤器给定的名义规划政策。我们说明了所提出的方法的效率DTBF的基础上，使用高保真度仿真异构机器人。
2019-09-12 cs.RO
HyPlan: Hybrid Learning-Assisted Planning Under Uncertainty for Safe Autonomous Driving
Saarland University, Computer Science Dept.（萨尔兰大学计算机科学系）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；French National Centre for Scientific Research (CNRS)（法国国家科学研究中心）
HyPlan通过结合多智能体行为预测、深度强化学习和POMDP规划，实现安全且高效的自动驾驶导航
2026-02-06 cs.AI cs.RO
Configuration Lattices for Planar Contact Manipulation Under Uncertainty
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
这项工作解决了机器人使用接触传感器的实时反馈来可靠地操纵杂乱桌面上的可移动物体的挑战。我们制定的接触操作作为一个部分可观察的马尔可夫决策过程（POMDP）在关节空间的机器人配置和对象的姿态。POMDP公式使机器人能够主动收集信息，减少对象姿态的不确定性。此外，它还结合了机器人操作的所有主要约束：运动学可达性，自碰撞和与障碍物的碰撞。为了解决POMDP，我们应用DESPOT，一个国家的最先进的在线POMDP算法。我们的方法利用了两个关键的想法，计算效率。首先，它通过交错构造网格和在线POMDP规划来执行配置空间网格的惰性构造。其次，通过离线求解松弛POMDP，并利用解指导在线搜索算法，将在线和离线POMDP规划相结合。我们评估了所提出的方法在一个七度的自由度的机器人手臂在仿真环境中。它显着优于现有的几种算法，包括一些常用的接触操作不确定性下的算法。
2016-04-30 cs.RO
Safe Policy Improvement for POMDPs via Finite-State Controllers
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
研究了部分可观测马尔可夫决策过程的安全策略改进问题。SPI是一个离线强化学习（RL）问题，它假设可以访问（1）关于环境的历史数据，以及（2）所谓的行为策略，该策略先前通过与环境交互生成此数据。SPI方法既不需要访问模型，也不需要访问环境本身，而是旨在以离线方式可靠地改进行为策略。现有的方法假设环境是完全可观察的。在我们的新方法的SPI问题的POMDPs，我们假设一个有限状态控制器（FSC）表示的行为政策和有限的内存是足够的，以获得最佳的政策。这个假设允许我们将POMDP映射到有限状态的完全可观测MDP，即历史MDP。我们估计这个MDP相结合的历史数据和内存的FSC，并计算一个改进的政策，使用现成的SPI算法。底层SPI方法根据可用数据约束策略空间，使得新计算的策略仅在足够数据可用时不同于行为策略。我们表明，这种新的政策，转换成一个新的FSC（未知）POMDP，优于行为政策的概率很高。几个成熟的基准测试的实验结果表明，即使在有限的内存是不够的情况下，该方法的适用性。
2023-01-12 cs.AI cs.LG
Iterative Reachability Estimation for Safe Reinforcement Learning
UC San Diego（加州大学圣迭戈分校）
本文提出RESPO框架，通过可达性估计在随机环境中实现安全约束强化学习，在可行集内优化奖励、在可行集外保证最小违规进入可行集，并证明算法几乎必然收敛到局部最优策略，在多个安全RL环境中验证了其优于基线方法的奖励性能与安全性。
2023-09-24 cs.AI cs.LG cs.RO
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
Recursively-Constrained Partially Observable Markov Decision Processes
University of Colorado Boulder（科罗拉多大学博尔德分校）；Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）
针对C-POMDP违反最优子结构导致在线重规划无效的问题，提出RC-POMDP模型，引入依赖历史代价约束，确保确定性最优策略并遵循Bellman原理，同时提出基于点的动态规划算法，实验证明其能产生更理想行为。
2024-06-05 cs.AI cs.RO
Reachability Constrained Reinforcement Learning
Tsinghua University（清华大学）；Harvard University（哈佛大学）；Shanghai Qizhi Institute（上海期智研究院）
约束强化学习（CRL）最近得到了极大的兴趣，因为安全约束的满足是现实世界中的问题的关键。然而，现有的CRL方法约束贴现累积成本一般缺乏严格的定义和安全性的保证。相反，在安全控制研究中，安全被定义为持续满足某些状态约束。这种持久安全性只在状态空间的一个子集上是可能的，称为可行集，其中对于给定的环境存在最优的最大可行集。最近的研究将可行集纳入CRL与基于能量的方法，如控制障碍函数（CBF），安全指数（SI），并利用可行集的先验保守估计，这损害了学习策略的性能。针对这一问题，本文提出了可达性CRL（RCRL）方法，通过可达性分析建立新的自洽条件，刻画可行集。可行集由安全价值函数表示，该函数在CRL中用作约束。我们使用多时间尺度随机逼近理论证明了该算法收敛到局部最优，在那里可以保证最大的可行集。在不同基准上的实验结果验证了RCRL的学习可行集，策略性能和约束满足，与CRL和安全控制基线相比。
2022-06-07 cs.AI cs.LG cs.RO
POMDPPlanners: Open-Source Package for POMDP Planning
Faculty of Mathematics Technion - Israel Institute of Technology（数学系技术学院 - 以色列理工学院）；Stephen B. Klein Faculty of Aerospace Engineering Faculty of Data and Decision Sciences Technion - Israel Institute of Technology（Stephen B. Klein航空航天工程系数据与决策科学系技术学院 - 以色列理工学院）
POMDPPlanners是一个开源工具包，提供先进的POMDP规划算法、安全关键环境、自动超参数优化和并行模拟功能，用于支持不确定性决策下的可扩展研究。
2026-02-24 cs.AI
Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种混合在线部分可观测马尔可夫决策过程（POMDP）规划系统，解决了存在的多模态不确定性的环境中的其他代理的自主导航问题。作为一个特殊的例子，我们考虑在密集的行人和障碍物之间的自主导航的问题。这个问题的流行方法首先使用完整的规划器（例如，混合A*）与关于不确定性的特设假设，然后使用在线基于树的POMDP求解器来推理不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应更快的实时方法，使POMDP规划者能够控制更多的自由度（例如，速度和航向），以实现更灵活、更高效的解决方案。这种修改极大地扩展了POMDP规划器必须推理的状态空间的区域，显著地增加了在实时的控制提供的有限计算预算内找到有效的铺开策略的重要性。我们的关键见解是使用多查询运动规划技术（例如，ProbabilityRoadmaps或FastMarchingMethod）作为先验，用于为POMDP规划树在其有限范围搜索期间可能到达的每个状态快速生成有效的推出策略。我们提出的方法生成的轨迹是安全的，比以前的方法更有效，即使在密集拥挤的动态环境中，规划的视野很长。
2022-06-20 cs.AI cs.RO
Verifiable RNN-Based Policies for POMDPs Under Temporal Logic Constraints
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）
递归神经网络（RNN）已经成为顺序决策问题中控制策略的有效表示。然而，基于RNN的策略应用的一个主要缺点是难以提供对行为规范（例如安全性和/或可达性）的满足的正式保证。通过整合形式化方法和机器学习的技术，我们提出了一种从RNN中自动提取有限状态控制器（FSC）的方法，当RNN与有限状态系统模型组合时，可以使用现有的形式化验证工具。具体来说，我们引入了一个迭代修改所谓的量化瓶颈插入技术，以创建一个FSC作为一个随机化的策略与内存。对于所得到的FSC不满足规范的情况，验证生成诊断信息。我们利用这些信息来调整提取的FSC中的内存量，或者对RNN进行集中的重新训练。虽然普遍适用，我们详细说明了部分可观察马尔可夫决策过程（POMDPs），这是众所周知的是非常困难的政策合成的背景下，由此产生的迭代过程。数值实验表明，在最优基准值的2%以内，该方法比传统的POMDP综合方法的性能提高了3个数量级。
2020-02-13 cs.AI
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University（首尔国立大学）
机器人和自主系统中的新兴应用，如自动驾驶和机器人手术，通常涉及关键的安全约束，即使有关系统模型的信息有限，也必须满足这些约束。在这方面，我们提出了一个无模型的安全规范方法，学习安全操作的最大概率，通过仔细结合概率可达性分析和安全强化学习（RL）。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是，它产生了一系列的安全策略，确定安全操作的范围，称为安全集，单调扩展，并逐渐收敛。我们还开发了一个有效的安全的探索计划，加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽，我们的方法调节的探索性政策，以避免危险状态的高置信度。为了处理高维系统，我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL，以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明，通过连续控制基准问题，如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Safe Autonomous Racing via Approximate Reachability on Ego-vision
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research Pittsburgh（博世研究院匹兹堡）；University of California, San Diego（加州大学圣地亚哥分校）
赛车要求每辆车都能在其物理极限下行驶，任何安全违规都可能导致灾难性的故障。在这项工作中，我们研究了安全的强化学习（RL）的自主赛车的问题，使用车辆的自我摄像头的看法和速度作为输入。鉴于任务的性质，自主智能体需要能够1）识别和避免复杂车辆动力学下的不安全场景，2）在快速变化的环境中做出亚秒级的决策。为了满足这些标准，我们建议将汉密尔顿-雅可比（HJ）可达性理论，一般非线性系统的安全验证方法，到约束马尔可夫决策过程（CMDP）的框架。HJ可达性不仅提供了一种了解安全性的控制理论方法，而且还实现了低延迟的安全验证。虽然HJ的可达性传统上是不可扩展的高维系统，我们证明了神经近似，HJ的安全值可以直接学习的视觉上下文-最高维的问题，通过该方法研究，到目前为止。我们在几个基准任务上评估了我们的方法，包括安全健身房和学习比赛（L2 R），这是最近发布的高保真自动驾驶赛车环境。与安全健身房中的其他约束RL基线相比，我们的方法具有更少的约束违反，并在L2 R基准测试任务上实现了新的最先进的结果。我们在以下匿名论文网站上提供了代理行为的额外可视化：https://sites.google.com/view/safeautonomousracing/home
2021-11-30 cs.AI cs.LG cs.RO
Reachability-based Trajectory Safeguard (RTS): A Safe and Fast Reinforcement Learning Safety Layer for Continuous Control
School of Mechanical Engineering, University of Michigan（密歇根大学机械工程学院）；Robotics Institute, University of Michigan（密歇根大学机器人研究所）；Stanford University（斯坦福大学）
强化学习（RL）算法在决策和控制任务中取得了显着的性能，因为它们能够使用试错来推理长期累积的奖励。然而，在RL训练期间，将这种试错方法应用于在安全关键环境中操作的真实世界机器人可能会导致碰撞。为了应对这一挑战，本文提出了一种基于可达性的轨迹保障（RTS），它利用可达性分析，以确保在训练和操作过程中的安全。给定一个已知的（但不确定的）模型的机器人，RTS预先计算的机器人跟踪一个连续的参数化轨迹的前向可达集。在运行时，RL代理以滚动时域的方式从这个连续体中进行选择以控制机器人; FRS用于识别代理的选择是否安全，并调整不安全的选择。三个非线性机器人模型，包括一个12-D四旋翼无人机，在仿真和比较国家的最先进的安全运动规划方法，说明了这种方法的有效性。
2021-03-02 cs.RO cs.SY eess.SY
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Reinforcement Learning with Temporal Logic Constraints for Partially-Observable Markov Decision Processes
Duke University（杜克大学）
提出了一种强化学习方法，用于未知部分可观测环境下具有主观时变安全约束的自治系统的控制器综合。在数学上，我们的系统动力学模型的部分可观察马尔可夫决策过程（POMDP）与未知的转移/观察概率。与时间相关的安全约束由iLTL捕获，iLTL是状态分布的线性时间逻辑的变体。我们的强化学习方法首先构造POMDP的信念MDP，捕获估计状态分布的时间演化。然后，通过构造信念MDP的乘积信念MDP和时态逻辑约束的极限确定性B \uchi自动机（LDBA），将POMDP上的时间依赖安全约束转化为乘积信念MDP上的状态依赖约束.最后，我们学习的最优策略下的状态依赖约束的价值迭代。
2021-04-04 cs.RO
NeHMO: Neural Hamilton-Jacobi Reachability Learning for Decentralized Safe Multi-Arm Motion Planning
Department of Computer Science at Purdue University（普渡大学计算机科学系）
提出基于神经Hamilton-Jacobi可达性学习的方法，学习安全值函数以捕获最坏情况下的臂间安全约束，并开发分散式轨迹优化框架，实现可扩展、数据高效的多臂运动规划。
2026-07-03 cs.RO
NeHMO: Neural Hamilton-Jacobi Reachability Learning for Decentralized Safe Multi-Arm Motion Planning
Department of Computer Science at Purdue University（普渡大学计算机科学系）
提出基于神经哈密顿-雅可比可达性学习的方法，学习安全值函数以捕获最坏情况下的臂间安全约束，并开发分散式轨迹优化框架，实现可扩展、数据高效且泛化能力强的实时多臂运动规划。
2026-07-02 cs.RO
Fast Path Planning for Autonomous Vehicle Parking with Safety-Guarantee using Hamilton-Jacobi Reachability
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems（工业控制技术国家重点实验室，网络系统研究所）
本文提出基于Hamilton-Jacobi的双向A*算法，通过高阶可达性分析与低阶双向A*搜索结合，解决复杂停车场景，实现快速且安全的路径规划。
2026-03-22 cs.RO
Online Hybrid-Belief POMDP with Coupled Semantic-Geometric Models
Department of Aerospace Engineering, Technion - Israel Institute of Technology（航空航天工程系，技术离子理工学院）；Department of Aerospace Engineering and with the Department of Data and Decision Science（航空航天工程系和数据与决策科学系）；Technion - Israel Institute of Technology（技术离子理工学院）
本文提出一种新颖的混合信念形式，用于具有耦合语义-几何模型的POMDP规划，实现多项式复杂度的高效价值函数和安全概率估计，同时保持与穷举方法相当的精度。
2025-10-08 cs.RO
Safe Planning for Articulated Robots Using Reachability-based Obstacle Avoidance With Spheres
University of Michigan（密歇根大学）
针对实时运动规划中安全性与实时性的权衡问题，提出基于可达集和精确有符号距离的滚动时域规划器SPARROWS，通过球体过近似扫掠体积生成可证明无碰撞的安全轨迹，降低了保守性并优于现有方法。
2024-02-13 cs.RO
Safe Reinforcement Learning Using Black-Box Reachability Analysis
Ain Shams University（艾因沙姆斯大学）；Jacobs University（雅各布大学）；Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强化学习（Reinforcement learning，RL）能够在不确定环境中对机器人进行复杂的运动规划和控制。然而，最先进的深度RL方法通常缺乏安全保证，特别是当机器人和环境模型未知时。为了证明广泛部署的合理性，机器人必须在不牺牲性能的情况下遵守安全约束。因此，我们提出了一个基于黑盒可达性的安全层（BRSL）有三个主要组成部分：（1）数据驱动的可达性分析的黑盒机器人模型，（2）一个轨迹推出规划器，预测未来的行动和观察使用的合奏在线训练的神经网络，和（3）可达集和障碍物之间的可微多面体碰撞检查，使纠正不安全的行动。在模拟中，BRSL在Turtlebot 3，四旋翼，跟踪点质量和风中的六旋翼上优于其他最先进的安全RL方法，其中不安全的集合邻近最高奖励的区域。
2022-11-21 cs.LG cs.RO cs.SY
Game-Theoretic Safe Multi-Agent Motion Planning with Reachability Analysis for Dynamic and Uncertain Environments (Extended Version)
Department of Electrical and Computer Engineering, National University of Singapore（国立新加坡大学电气与计算机工程系）；Department of Control Science and Engineering, Shanghai Institute of Intelligent Science and Technology（上海智能科学与技术研究院控制科学与工程系）
针对动态不确定环境下多智能体运动规划的安全鲁棒性与可扩展性挑战，提出RE-DPG框架，结合博弈论协调与可达性分析，通过ND-iBR方案实现去中心化执行，集成MA-FRS确保安全，经实验验证有效性。
2025-11-15 cs.RO
Barrier Functions for Multiagent-POMDPs with DTL Specifications
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDPs）提供了一个框架来表示异构自治代理的不确定性和部分观察。在本文中，给定一个名义上的政策，由人类操作员或传统的规划方法，我们提出了一种技术的基础上，障碍函数设计一个最小的干扰安全盾，确保满足高层次的规格，线性分布时序逻辑（LDTL）。为此，我们使用充分和必要条件的基础上离散时间障碍函数（DTBFs）和制定有限时间DTBF研究有限时间收敛到一个集合的充分条件的给定集合的不变性。然后，我们表明，不同的LDTL任务/安全规范可以被铸造成一组不变或有限时间可达性问题。我们证明，所提出的方法安全屏蔽合成可以实现在线的一步贪婪算法的序列。我们证明了所提出的方法的有效性，使用实验涉及一个团队的机器人。
2020-03-19 cs.MA cs.RO cs.SY
Safe and Performant Deployment of Autonomous Systems via Model Predictive Control and Hamilton-Jacobi Reachability Analysis
Department of Electrical and Computer Engineering, University of Southern California（电气与计算机工程系，南加州大学）；Department of Aeronautics and Astronautics, Stanford University（航空与航天系，斯坦福大学）；Electrical and Computer Engineering Department, New York University（电气与计算机工程系，纽约大学）
本文提出基于MPC和HJ可达性的框架，在保证递归可行性和可扩展至高维系统的前提下优化自主系统任务性能，仿真实验证明其显著提升了安全约束满足度。
2025-06-29 cs.RO cs.SY eess.SY
Addressing Myopic Constrained POMDP Planning with Recursive Dual Ascent
Stanford University（斯坦福大学）
针对全局对偶参数导致的近视动作选择和次优决策问题，提出依赖历史的对偶变量并通过递归对偶上升优化，实验证明该方法改善了探索并提升了安全性。
2024-03-26 cs.AI
Human-in-the-Loop Synthesis for Partially Observable Markov Decision Processes
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Radboud University（拉德堡德大学）；Albert-Ludwigs-Universität Freiburg（弗莱堡大学）；Worcester Polytechnic Institute (WPI)（伍斯特理工学院）
我们研究规划问题，其中自主智能体内的环境，是受不确定性和不完全可观察的。部分可观察马尔可夫决策过程（POMDP）是捕捉此类问题的自然形式模型。由于POMDPs中潜在的巨大甚至无限的信念空间，具有安全保证的合成通常在计算上是难以处理的。我们提出了一种方法，旨在规避这一困难：在虚拟环境中可以部分或完全模拟的情况下，我们积极整合人类用户来控制代理。当用户反复尝试在模拟中安全地引导代理时，我们从人工输入中收集数据。通过行为克隆，我们将数据转化为POMDP的策略。该策略解决了POMDP的所有不确定性和不可观测性，从而得到离散时间马尔可夫链（MC）。该MC的有效验证通过证明或证伪给定的系统规范来定量地洞察推断出的人类策略的质量。对于这种情况下，该战略的质量是不够的，我们提出了一种改进方法，使用反例提交给人类。实验表明，通过将人类纳入POMDP验证循环，我们在可扩展性方面提高了几个数量级的最新技术水平。
2018-02-27 cs.AI
Accelerated Online Risk-Averse Policy Evaluation in POMDPs with Theoretical Guarantees and Novel CVaR Bounds
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种在POMDP中加速风险厌恶策略评估的方法，通过理论保证和新的CVaR界限，实现计算效率的提升。
2026-02-26 cs.AI math.ST stat.TH
Reachability-Guided Sequential Quadratic Programming-Guarded Model Predictive Path Integral for Safe Nonlinear Predictive Control
ETH Zurich（苏黎世联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）
提出ReSQ-MPPI，结合可达性分析与序列二次规划精炼，提升采样型模型预测控制在安全非线性环境中的安全性与性能。
2026-10-06 cs.RO cs.SY eess.SY
Safe Large-Scale Robust Nonlinear MPC in Milliseconds via Reachability-Constrained System Level Synthesis on the GPU
本文提出GPU-SLS框架，通过GPU并行计算实现高维不确定机器人系统和长规划周期的安全鲁棒非线性MPC，显著提升计算效率和安全性。
2026-04-08 cs.AI cs.RO cs.SY
Optimizing Carbon Storage Operations for Long-Term Safety
Stanford University（斯坦福大学）
本文将碳封存作业建模为POMDP，利用信念状态规划和神经网络代理模型优化注入井与监测井位置，在确保安全的前提下最大化CO2封存量，并通过仿真验证了方法的有效性。
2023-04-19 cs.AI cs.SY eess.SY
Synthesizing POMDP Policies: Sampling Meets Model-checking via Learning
Nanyang Technological University, Singapore（新加坡南洋理工大学）；Tata Institute of Fundamental Research, Mumbai, India（印度孟买印度理工学院基础研究所以）；Université Libre de Bruxelles, Brussels, Belgium（比利时布鲁塞尔自由大学）；IITB Trust Lab, Department of CSE, IIT Bombay, Mumbai, India（印度孟买印度理工学院 Bombay 电子与计算机科学系信托实验室）
本文提出整合采样、自动机构建与模型检查的POMDP策略合成框架，通过采样作为成员 oracle 和模型检查作为等价 oracle，实现具有形式保证的有限状态控制器合成。
2026-05-14 cs.AI cs.FL cs.LO
Optimizing Expectation with Guarantees in POMDPs (Technical Report)
IST Austria（奥地利科学技术研究所）；Université Libre de Bruxelles（布鲁塞尔自由大学）；University of Cambridge（剑桥大学）
部分可观测马尔可夫决策过程（POMDPs）的一个标准目标是找到一个最大化预期贴现和收益的策略。然而，这样的策略可能仍然允许不太可能但非常不期望的结果，这是有问题的，特别是在安全关键应用中。最近，人们对POMDPs的兴趣激增，其目标是最大化概率以确保回报至少是给定的阈值，但这些方法不考虑任何超出满足此阈值约束的优化。在这项工作中，我们超越了“期望”和“阈值”的方法，并考虑了POMDPs的“保证收益优化（PMM）”问题，其中我们给出了一个阈值$t$，目标是找到一个策略$σ$，使得a）$σ$的每个可能结果产生至少$t$的折扣和收益，以及b）在满足a）的所有策略中，$σ$的预期贴现和收益是最优的（或接近最优的）。我们提出了一个实用的方法来解决这个问题，并评估它的标准POMDP基准。
2017-01-29 cs.AI cs.GT
DualGuard MPPI: Safe and Performant Optimal Control by Combining Sampling-Based MPC and Hamilton-Jacobi Reachability
University of Santiago de Chile（智利圣地亚哥大学）；University of Southern California（南加州大学）；Olin College of Engineering（奥林工程学院）；Stanford University（斯坦福大学）
针对采样型MPPI控制难以保证安全性的问题，提出将Hamilton-Jacobi可达性分析集成到采样过程中的DualGuard-MPPI框架，在确保样本安全的同时提升探索效率，仿真与硬件实验验证了其安全性与高性能。
2025-06-20 cs.RO cs.SY eess.SY
Strengthening Deterministic Policies for POMDPs
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希-弗莱堡大学）；Concept Engineering GmbH（Concept Engineering有限公司）；Radboud University（拉德堡德大学）
部分可观测马尔可夫决策过程（POMDPs）的综合问题是计算满足给定规范的策略。这样的策略必须考虑POMDP的完整执行历史，使得问题通常不可判定。一种常见的方法是使用有限的内存并随机选择可能的选项。然而，这个问题仍然是NP难的，在实践中往往是计算上难以解决的。一个限制性问题是既不使用历史也不使用随机化，产生被称为静态和确定性的策略。以前的方法来计算这样的政策采用混合整数线性规划（MILP）。我们提供了一种新的MILP编码，支持复杂的规范的形式的时间逻辑约束。它能够处理任意数量的这种规格。然而，随机化和内存往往是强制性的，以实现令人满意的政策。首先，我们扩展我们的编码，以提供一个有限的类的随机化政策。其次，基于原始MILP的结果，我们采用POMDP的预处理，以包含基于内存的决策。我们的方法比最先进的POMDP求解器的优势在于（1）在不失去计算易处理性的情况下加强简单的确定性策略的灵活性和（2）在强制执行任意多个规范的可证明满足的能力。后一点允许考虑典型POMDP示例的性能和安全方面之间的权衡。我们展示了我们的方法在广泛的基准上的有效性。
2020-07-16 cs.AI cs.LO cs.RO
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions
Delft University of Technology（代尔夫特理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies（华为技术有限公司）；University College London（伦敦大学学院）；University of Manchester（曼彻斯特大学）
本文提出基于控制李雅普诺夫屏障函数的无模型强化学习算法LBAC，通过数据驱动方式保证机器人控制的安全性与可达性，并在仿真和真实2D四旋翼导航实验中验证了其优于其他无模型RL方法的有效性。
2023-05-16 cs.AI cs.LG cs.RO
Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rational CyPhy Inc.（理性赛博物理公司）；Air Force Research Laboratory（美国空军研究实验室）
针对现有运行时保证系统（RTA）设计保守或存安全隐患的问题，提出基于奖励塑形与强化学习的最优RTA设计方法，可在保障安全的同时提升实验性控制器利用率。
2023-10-06 cs.AI cs.FL cs.SY
Interval POMDP Shielding for Imperfect-Perception Agents
Department of Computer Science（计算机科学系）；Colorado State University（科罗拉多州立大学）
本文研究了在感知不确定性估计有限标注数据情况下，如何通过区间部分可观测马尔可夫决策过程构建防护机制，以提高自主系统决策的安全性。
2026-08-20 cs.AI cs.SY eess.SY
Stopping Criteria for Value Iteration on Concurrent Stochastic Reachability and Safety Games
Technical University of Munich（慕尼黑技术大学）；Masaryk University（马萨里大学）；Ruhr-University Bochum（波鸿鲁尔大学）
针对并发随机博弈中的值迭代，提出有界（区间）值迭代方法，通过补充上近似序列并基于上下近似ε-接近的停止准则，确保近似精度。
2025-09-10 cs.AI cs.LO cs.MA
On Infusing Reachability-Based Safety Assurance within Planning Frameworks for Human-Robot Vehicle Interactions
Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
行动预期、意图预测和主动行为都是交互式场景中自动驾驶策略的理想特征。然而，最重要的是确保道路安全--这样做的一个关键挑战是在不过度影响规划者表现的情况下考虑人类驾驶员行为的不确定性。本文介绍了一种在自主车辆控制栈内操作的最小干预安全控制器，其作用是确保与外部控制的（例如，人驱动的）对应物，同时考虑诸如道路边界墙的静态障碍物。我们利用可达性分析来构建一个实时（100 Hz）控制器，该控制器具有双重作用：（i）使用模型预测控制从更高级别的规划算法跟踪输入轨迹，以及（ii）通过保持无碰撞逃逸机动的可用性作为持久约束来确保安全性，而不管其他汽车未来采取什么行动。一个全尺寸的线控转向平台用于进行交通交织实验，其中两辆车，最初并排，必须在有限的时间和距离内交换车道，模拟汽车合并到/关闭高速公路。我们证明，通过我们的控制堆栈，自动驾驶汽车能够避免碰撞，即使另一辆车违背规划者的期望并采取危险行动，无论是不小心还是有意碰撞，否则偏离计划轨迹的程度最小，以保持安全。
2020-12-06 cs.RO cs.SY eess.SY
Planning with Learned Dynamics: Probabilistic Guarantees on Safety and Reachability via Lipschitz Constants
University of Michigan（密歇根大学）
我们提出了一种方法，反馈运动规划系统的未知动态提供概率保证的安全性，可达性和目标稳定性。为了找到一个域，在这个域中，可以信任真实动态的学习控制仿射近似，我们估计真实动态和学习动态之间的差异的Lipschitz常数，并确保估计在给定的概率下是有效的。提供的系统至少有尽可能多的控制状态，我们还推导出存在条件的一步反馈法，可以保持真正的系统在一个小范围内的标称轨迹规划与学习动态。我们的方法将反馈律的存在作为基于采样的规划器中的约束，该规划器返回围绕标称规划的反馈策略，确保如果Lipschitz常数估计有效，则真实系统在计划执行期间是安全的，达到目标，并且最终在关于目标的小集合中是不变的。我们通过使用6D四旋翼和7DOF Kuka臂的学习模型进行规划来演示我们的方法。我们表明，使用相同的学习动力学进行规划而不考虑误差范围或反馈法的存在的基线可能无法稳定在计划周围并变得不安全。
2021-10-19 cs.LG cs.RO cs.SY
Reachability as a Unifying Framework for Computing Helicopter Safe Operating Conditions and Autonomous Emergency Landing
Naval Air Warfare Center Weapons Division（海军空战中心武器分部）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Naval Air Warfare Center Aircraft Division（海军空战中心飞机分部）
本文提出了一种计算直升机安全飞行条件的数值方法，以保证在发动机部分或全部故障的情况下安全着陆。不安全操作区域是向后可达管的补集，其可以被发现为Hamilton-Jacobi（HJ）方程的粘性解的零以下水平集。传统上，用于求解HJ方程的数值方法依赖于解空间的离散网格，并表现出指数缩放的维度，这对于精确的直升机建模所需的高保真动力学模型是有问题的。我们避免使用空间网格，制定了一个轨迹优化问题，在每个初始条件下的解决方案可以计算在一个计算效率高的方式。所提出的方法示出计算自主着陆轨迹从任何操作条件下，即使在非巡航飞行条件。
2020-05-27 cs.RO cs.SY eess.SY
Supervisor Synthesis of POMDP based on Automata Learning
University of Notre Dame（圣母大学）
本文提出基于概率计算树逻辑的POMDP监督器合成框架，采用确定性有限自动机作为控制器，通过L*学习算法确定自动机的结构，以满足安全关键应用的性能保证。
2017-03-24 cs.AI cs.FL cs.SY
