Data-Driven Abstraction and Synthesis for Stochastic Systems with Unknown Dynamics
本文提出一种数据驱动方法,仅利用带噪声观测数据和Lipschitz常数上界构建区间MDP抽象,从而以预定义置信度综合满足概率时序性质的控制策略。
2025-09-02 cs.SY eess.SY
Abstraction-based Probabilistic Stability Analysis of Polyhedral Probabilistic Hybrid Systems
Kansas State University(堪萨斯州立大学)
本文研究多面体概率混合系统(PPHS)的概率稳定性分析问题,提出一种基于抽象的框架,通过构建有限MDP并使用多项式时间算法验证属性,成功实现对该系统概率稳定性的验证。
2023-03-29 cs.AI cs.SY eess.SY
Online Planning of Uncertain MDPs under Temporal Tasks and Safe-Return Constraints
Peking University(北京大学);College of Engineering, Peking University(北京大学工学院)
研究了移动机器人在复杂高层任务下的在线运动规划问题。由于初始知识有限,机器人运动被建模为不确定的马尔可夫决策过程(MDP),而任务被指定为线性时序逻辑(LTL)公式。该框架使机器人能够探索和更新系统模型的贝叶斯方式,同时优化的渐近成本,满足复杂的时间任务。为综合外出策略和安全策略提供了理论保证。更重要的是,而不是贪婪的探索下的经典遍历性假设,安全返回的要求是强制执行,使机器人总是可以返回到家的状态,具有很高的概率。通过数值模拟验证了整体方法的有效性。
2023-02-10 cs.RO cs.SY eess.SY
Sandboxing (AI-based) Unverified Controllers in Stochastic Games: An Abstraction-based Approach with Safe-visor Architecture
在本文中,我们提出了一个安全遮阳板架构的沙箱未验证的控制器,例如,基于人工智能的(a.k.a.基于人工智能的)控制器,在两个球员的非合作随机游戏。具体地说,我们利用基于抽象的方法来构建一个监督者,检查并决定是否接受未经验证的控制器提供的输入,以及一个安全顾问,提供回退控制输入,以确保安全时,未经验证的控制器被拒绝。此外,通过利用($ε,δ$)之间的近似概率关系的原始游戏和它的有限抽象,我们提供了一个正式的安全保证,相对于安全规范建模的确定性有限自动机(DFA),而未经验证的控制器的功能仍然被利用。为了证明所提出的结果的有效性,我们将它们应用到四旋翼跟踪地面运动车辆的控制问题中,其中采用基于AI的未验证控制器来控制四旋翼。
2022-03-28 cs.SY eess.SY
Lazy Abstraction-Based Control for Safety Specifications
University of Toronto(多伦多大学);MPI-SWS(马克斯·普朗克软件系统研究所)
本文提出了一种针对连续时间非线性动力系统安全规范的懒惰多层抽象控制合成方法,通过在需要时动态计算状态转移,提高计算效率。
2019-07-26 cs.SY eess.SY
Data-Driven Synthesis of Probabilistic Controlled Invariant Sets for Linear MDPs
Graduate School of Engineering, The University of Osaka(大阪大学大学院工学研究科);Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电气电子工程系);Graduate School of Informatics, Osaka Metropolitan University(大阪公立大学大学院信息学研究科)
本文研究了在未知动态下数据驱动计算安全关键强化学习中的概率受控不变集,通过正则化最小二乘和自归一化置信区间构建保守估计,用于连续状态空间中的安全区域保持,并在实际防护架构中进行迭代更新。
2026-04-03 cs.SY eess.SY
Temporal Logic Control of Nonlinear Stochastic Systems with Online Performance Optimization
Delft University of Technology(代尔夫特理工大学);University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学)
本文提出一种新型区间马尔可夫决策过程抽象方法,生成一组满足控制规范的策略,结合模型预测控制优化性能,实验表明其在控制性能上优于现有单策略方法,保证概率略有下降。
2026-04-04 cs.SY eess.SY
On learning history based policies for controlling Markov decision processes
McGill University(麦吉尔大学);Mila(米拉研究所)
强化学习(RL)的民间传说认为,基于历史的函数逼近方法,如递归神经网络或基于历史的状态抽象,比它们的无记忆同行表现得更好,因为马尔可夫决策过程(MDP)中的函数逼近可以被视为诱导部分可观察MDP。然而,这种基于历史的算法很少有正式的分析,因为大多数现有的框架只专注于无记忆功能。在本文中,我们介绍了一个理论框架,学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外,我们使用这个框架来设计一个实用的RL算法,我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Provably Optimal Reinforcement Learning under Safety Filtering
Princeton University(普林斯顿大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文证明在安全过滤下强化学习可实现最优性能,通过安全关键MDP和过滤MDP的理论框架,展示安全与性能优化的分离,并验证了在安全过滤器下的训练和部署方法。
2026-09-21 cs.LG cs.RO cs.SY
A Stability-Based Abstraction Framework for Reach-Avoid Control of Stochastic Dynamical Systems with Unknown Noise Distributions
针对随机线性系统有限状态抽象规模过大的问题,本文提出先通过线性反馈镇定动力学,再结合基于模型与数据驱动方法构建更小的MDP抽象,实验显示抽象图规模可减少90%且性能损失可忽略。
2024-04-02 cs.SY eess.SY
Safe Human-UAS Collaboration Abstraction
本文提出基于Petri网的人机(UAS)协作抽象模型,处理人类意图不确定性,并利用机载感知与非平稳马尔可夫决策实现安全弹性运动规划。
2024-02-07 cs.SY eess.SY
Order-Reduction Abstractions for Safety Verification of High-Dimensional Linear Systems
University of Texas at Arlington(阿灵顿德州大学)
本文提出一种用于高维线性系统安全验证的阶数缩减抽象方法,通过计算相似性度量来确保形式验证的正确性,并通过实验展示该方法能有效缓解状态空间爆炸问题。
2016-02-20 cs.SY eess.SY
Learning-based Symbolic Abstractions for Nonlinear Control Systems
符号模型或抽象被认为是具有逻辑规范的信息物理系统(CPS)控制设计的强大工具。本文研究了一种基于学习的非线性控制系统符号模型构造方法。具体地,基于从基于状态空间探索的训练数据学习动态的未建模部分以及表示相对于原始控制系统的行为关系的交替仿真关系的概念来构造符号模型。此外,我们的目标是实现安全探索,这意味着在收集训练数据时,系统的轨迹始终保证在安全区域内。此外,我们提供了一些技术,以减少计算负荷,在内存和计算时间方面,构建的符号模型和安全控制器的合成,使我们的方法实用。最后,数值仿真验证了该方法的有效性。
2022-08-03 cs.SY eess.SY
Policy-contingent abstraction for robust robot control
Carnegie Mellon University(卡内基梅隆大学)
提出一种可扩展的控制算法,使移动机器人系统在充分考虑概率信念的情况下做出高层决策,并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach
Loughborough University(拉夫堡大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种混合MDP和机会约束MPC的分层决策框架,用于自动驾驶中处理不确定性,通过多模态预测与安全约束实现 maneuver 选择与动态可行性的统一,验证了其在高速公路和城市环境中的安全性和效率。
2026-03-18 cs.SY eess.SY
Formal Verification of Unknown Dynamical Systems via Gaussian Process Regression
University of Colorado(科罗拉多大学);TU Delft(代尔夫特理工大学)
本文提出一种基于高斯过程回归的形式化验证框架,用于从含噪数据中学习未知离散时间动力系统,并通过抽象为不确定马尔可夫决策过程及模型检查工具验证其满足时序逻辑规范,复杂度为多项式级。
2024-07-16 cs.AI cs.SY eess.SY
Probabilistically Safe Control of Noisy Dubins Vehicles
Boston University(波士顿大学)
针对噪声Dubins车辆,通过马尔可夫决策过程(MDP)和概率计算树逻辑(PCTL)最大化满足时序逻辑规约的概率,并保证原环境中的满足概率有下界。
2012-07-05 cs.RO cs.SY eess.SY
Learning-Based Shielding for Safe Autonomy under Unknown Dynamics
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对未知连续状态DRL系统安全屏蔽问题,提出基于深度核学习与IMDP抽象的数据驱动屏蔽方法,通过计算最大宽容安全策略集确保系统避免不安全状态,理论证明与高维航天器实验验证了其可靠性与计算复杂度。
2024-10-07 cs.LG cs.SY eess.SY
Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics
University of Oxford(牛津大学);Radboud University(拉德堡德大学)
提出一种为具有不确定动力学的马尔可夫跳变线性系统综合控制器的方法,通过有限状态抽象和区间MDP实现概率计算树逻辑的满足,并在温度控制和飞行器交付等基准问题中验证有效性。
2023-08-04 cs.AI cs.RO cs.SY
Provably Safe Model-Based Meta Reinforcement Learning: An Abstraction-Based Approach
University of California, Irvine(加利福尼亚大学尔湾分校)
虽然传统的强化学习专注于设计可以执行一项任务的代理,但元学习的目标是解决设计可以概括为不同任务的代理的问题(例如,环境、障碍和目标),这些因素在设计或训练这些智能体时没有考虑到。本着这种精神,在本文中,我们考虑训练一个可证明安全的神经网络(NN)控制器的不确定非线性动力系统,可以推广到新的任务,不存在的训练数据,同时保持强大的安全保证的问题。我们的方法是在训练阶段学习一组NN控制器。当任务在运行时可用时,我们的框架将仔细选择这些NN控制器的子集,并将它们组合成最终的NN控制器。我们的方法的关键是计算非线性动力系统的有限状态抽象的能力。这个抽象模型捕获闭环系统在所有可能的NN权重下的行为,并用于训练NN,并在任务可用时组合它们。我们提供了理论保证,管理所产生的NN的正确性。我们评估了我们的方法控制轮式机器人在杂乱的环境中,不存在的训练数据的问题。
2021-09-03 cs.LG cs.RO cs.SY
Safe Policies for Reinforcement Learning via Primal-Dual Methods
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们研究了安全策略的学习在强化学习问题的设置。这是,我们的目标是控制一个马尔可夫决策过程(MDP),我们不知道的转移概率,但我们有机会通过经验的样本轨迹。我们将安全性定义为在操作时间内代理以高概率保持在期望的安全集中。因此,我们考虑一个受约束的MDP的约束是概率。由于在强化学习框架中没有直接的方法来优化策略的概率约束,我们提出了一个遍历放松的问题。建议放宽的优点有三方面。(i)在执行偶发任务的情况下维持安全保障,在执行连续任务的情况下,安全保障保持在给定的时间范围内。(ii)约束优化问题尽管是非凸的,但如果策略的参数化足够丰富,则它具有任意小的对偶间隙。(iii)与安全学习问题相关联的拉格朗日函数的梯度可以使用标准策略梯度结果和随机近似工具来容易地计算。利用这些优势,我们建立了原始对偶算法能够找到安全和最优的策略。我们在一个连续域的导航任务中测试所提出的方法。数值结果表明,我们的算法是能够动态地适应环境和所需的安全级别的政策。
2022-01-12 cs.LG cs.SY eess.SY