Abstraction-Guided Truncations for Stationary Distributions of Markov Population Models
为了理解马尔可夫种群模型的长期行为,平稳分布的计算通常是一个关键部分。我们提出了一个截断为基础的近似,采用状态空间集总方案,聚集状态的网格结构。得到的近似平稳分布用于迭代地细化状态空间的相关部分和截断不相关部分。通过这种方式,算法学习到一个适合静态行为的合理有限状态投影。我们证明了该方法的适用性,以广泛的非线性问题,复杂的平稳行为。
2021-05-03 cs.SY eess.SY q-bio.QM
AP-observation Automata for Abstraction-based Verification of Continuous-time Systems (Extended Version)
本文针对连续时间系统在LTL规范下抽象验证信息丢失的挑战,提出将LTL转换为AP-观察自动机,并设计基于博弈的验证算法,通过示例展示了其有效性。
2025-09-10 cs.SY eess.SY
Data-driven Interval MDP for Robust Control Synthesis
本研究提出一种基于区间MDP的数据驱动离散时间随机过程抽象方案,结合样本数据与后向可达性计算构建非确定性概率转移模型,通过场景方法建立与底层动力学的关联,在时序属性满足度上优于现有方法,并通过实验验证了其优势与局限。
2024-04-12 cs.SY eess.SY
Markov Clustering based Fully Automated Nonblocking Hierarchical Supervisory Control of Large-Scale Discrete-Event Systems
本文提出基于马尔可夫聚类的全自动分层监督控制方法,解决大规模离散事件系统非阻塞控制中组件分组难题,并证明其可实现全局非阻塞且最大许可行为。
2025-04-14 cs.SY eess.SY
Data-driven memory-dependent abstractions of dynamical systems
我们提出了一个基于样本的,顺序的方法来抽象一个(潜在的黑盒子)动力系统与一个序列的内存依赖马尔可夫链的大小不断增加。我们表明,这种近似可以减轻相关性偏差,已观察到基于样本的抽象。我们进一步提出了一种方法来检测飞行中的内存长度,从而在一个抽象具有足够的准确性。我们证明,在合理的假设下,该方法收敛到一个健全的抽象在某种精确的意义上,我们展示了两个案例研究。
2022-12-04 cs.SY eess.SY
Abstracting the Traffic of Nonlinear Event-Triggered Control Systems
Delft University of Technology(代尔夫特理工大学)
本文提出了一种用于抽象非线性事件触发控制系统的框架,通过可达性分析和等时 manifold 方法,实现了对不确定系统的采样行为建模与调度。
2021-06-15 cs.SY eess.SY math.OC
Optimized State Space Grids for Abstractions
University of the Federal Armed Forces Munich(德国联邦国防军大学);Technical University of Munich(慕尼黑工业大学)
本文提出通过优化超区间比例减少抽象计算量,解决如何选择超区间大小以获得可计算且有用抽象的问题。
2017-11-05 cs.LO cs.SY eess.SY
Data-driven abstractions via adaptive refinements and a Kantorovich metric [extended version]
UCLouvain(鲁汶大学);Oxford University(牛津大学)
本文提出一种基于自适应状态空间细化和Kantorovich启发度量的动态系统数据驱动抽象方法,用该度量作为损失函数学习最优划分结构,并给出近似算法,其计算复杂度优于经典线性规划方法。
2023-10-30 cs.LG cs.SY eess.SY
Interval Dominance based Structural Results for Markov Decision Process
结构性结果对马尔可夫决策过程(MDP)的模型参数施加了充分条件,使得最优策略是底层状态的增函数。MDP结构结果的经典假设要求回报和转移概率具有超模块性。然而,超模块化在许多应用中并不适用。本文利用微观经济学文献中提出的区间占优的一个充分条件(称为I),在更一般的条件下得到了MDP的结构性结果。我们提出了几个MDP的例子,其中超模块化不成立,但我持有,所以最优策略是单调的,这些包括S形奖励(出现在前景理论的人类决策),双对角和扰动双对角转移矩阵(在最优分配问题)。我们还考虑了具有TP3转移矩阵和凹值函数的MDP。最后,强化学习算法,利用差分稀疏结构的最佳单调政策进行了讨论。
2023-03-06 cs.SY eess.SY
Multi-objective Robust Strategy Synthesis for Interval Markov Decision Processes
Saarland University(萨尔兰大学);State Key Laboratory of Computer Science, ISCAS(中国科学院计算技术研究所);Department of Computer Science, University of Oxford(牛津大学计算机系)
本文研究了区间马尔可夫决策过程中的多目标鲁棒策略合成问题,通过证明该问题PSPACE难,并提出基于价值迭代的决策算法来近似帕累托集,最终通过案例验证了方法的有效性。
2017-07-06 cs.SY eess.SY
On learning history based policies for controlling Markov decision processes
McGill University(麦吉尔大学);Mila(米拉研究所)
强化学习(RL)的民间传说认为,基于历史的函数逼近方法,如递归神经网络或基于历史的状态抽象,比它们的无记忆同行表现得更好,因为马尔可夫决策过程(MDP)中的函数逼近可以被视为诱导部分可观察MDP。然而,这种基于历史的算法很少有正式的分析,因为大多数现有的框架只专注于无记忆功能。在本文中,我们介绍了一个理论框架,学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外,我们使用这个框架来设计一个实用的RL算法,我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
A class of $L_1$-to-$L_1$ and $L_\infty$-to-$L_\infty$ interval observers for (delayed) Markov jump linear systems
本文基于正马尔可夫跳跃线性系统稳定性与性能分析结果,设计了具有和无延迟的马尔可夫跳跃线性系统区间观测器,所有条件均以线性规划形式高效求解。
2018-01-10 cs.SY eess.SY math.OC
A Stability-Based Abstraction Framework for Reach-Avoid Control of Stochastic Dynamical Systems with Unknown Noise Distributions
针对随机线性系统有限状态抽象规模过大的问题,本文提出先通过线性反馈镇定动力学,再结合基于模型与数据驱动方法构建更小的MDP抽象,实验显示抽象图规模可减少90%且性能损失可忽略。
2024-04-02 cs.SY eess.SY
Compositional Abstraction-based Synthesis of General MDPs via Approximate Probabilistic Relations
我们提出了一个组合的方法来构造抽象的一般马尔可夫决策过程使用近似概率关系。抽象框架是基于$δ$ -提升关系的概念,使用它可以量化互连的gMDP之间的概率距离和它们的抽象。这种新的近似关系统一了文献中的组合性结果,明确地将状态转换之间的依赖关系,并允许抽象模型具有有限或无限的状态空间。因此,人们可以利用所提出的结果对抽象模型进行分析和综合,然后将结果带到具体模型上。为此,我们首先提出我们的组合性结果使用新的近似概率关系,这是基于提升。然后,我们专注于一类随机非线性动力系统,并构建他们的抽象使用模型降阶和空间离散化在一个统一的框架。我们提供的条件,同时存在的关系,将网络的结构。最后,我们证明了所提出的结果的有效性,考虑网络的四个非线性动力子系统(共12维),并从他们的降阶版本(共4维)在一个统一的组成框架中构建有限的抽象。我们基准测试我们的结果对组合抽象技术,构建无限的抽象(降阶模型)和有限的MDPs在两个连续的步骤。我们表明,我们的方法是保守得多,比文献中提供的。
2019-06-07 cs.SY eess.SY
IntervalMDP.jl: Accelerated Value Iteration for Interval Markov Decision Processes
本文提出 Julia 包 IntervalMDP.jl,利用多线程 CPU 和 GPU 加速值迭代算法,高效支持区间马尔可夫决策过程的概率分析、策略综合与验证,在计算时间和内存消耗上显著优于现有工具。
2024-04-29 cs.LO cs.SY eess.SY
From Dissipativity Theory to Compositional Construction of Finite Markov Decision Processes
Technical University of Munich(慕尼黑工业大学);Newcastle University(纽卡斯尔大学)
本文提出一种组合方法,用于构建互联离散时间随机控制系统的有限马尔可夫决策过程,通过利用互联拓扑和描述子系统及其抽象联合耗散性性质的随机存储函数,实现误差量化和决策过程构造。
2017-12-21 cs.SY eess.SY
Performance-Driven Environment Abstraction with Multi-Timescale Learning
Georgia Institute of Technology(佐治亚理工学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对大规模马尔可夫决策过程,提出一种性能驱动的环境抽象方法,通过多时间尺度强化学习联合优化策略和树结构抽象,平衡性能与复杂度,实现状态压缩和样本效率提升。
2026-06-17 cs.LG cs.SY eess.SY
A Contracting Dynamical System Perspective toward Interval Markov Decision Processes
本文从收缩动力系统视角研究连续动作空间区间马尔可夫决策过程,提出动作空间松弛IMDP作为上界近似,并利用凸优化和反馈控制思想设计迭代分布式值迭代算法以高效逼近最优值。
2023-09-17 cs.SY eess.SY math.OC
Satisfiability Bounds for ω-regular Properties in Interval-valued Markov Chains
Georgia Institute of Technology(佐治亚理工学院)
本文提出在区间马尔可夫链中计算ω-正则性质可满足性界限的算法,通过扩展自动机理论并引入达索夫自动机,结合可达性问题求解,建立上下界计算方法。
2018-09-17 cs.SY eess.SY
Abstraction-based Probabilistic Stability Analysis of Polyhedral Probabilistic Hybrid Systems
Kansas State University(堪萨斯州立大学)
本文研究多面体概率混合系统(PPHS)的概率稳定性分析问题,提出一种基于抽象的框架,通过构建有限MDP并使用多项式时间算法验证属性,成功实现对该系统概率稳定性的验证。
2023-03-29 cs.AI cs.SY eess.SY
Automata-Theoretic Verification of Interval Markov Decision Processes
University of Liverpool(利物浦大学);MPI-SWS(德国马克斯·普朗克软件系统研究所);University of Birmingham(伯明翰大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究区间马尔可夫决策过程的自动机理论验证,针对ω-正则规范,区分稳定与不稳定区间结构,分别使用适用于MDP和适用于博弈的自动机,并开发算法及概率保证,连接数据驱动建模与形式化验证。
2026-09-21 cs.FL cs.SY eess.SY
Satisfiability Bounds for $ω$-Regular Properties in Bounded-Parameter Markov Decision Processes
本文考虑有界参数马尔可夫决策过程满足$ω$ -正则性的最小和最大概率的计算问题。BMDP由马尔可夫决策过程(MDP)产生,允许以实际概率未知的间隔形式的转移概率上的不确定性。$ω$ -正则语言形成了一大类属性,例如,拉宾或奇偶自动机,包含丰富的规范,如线性时序逻辑。在BMDP中,满足该属性的概率取决于未知的转移概率以及策略。在本文中,我们计算极值。这解决了Dutreix和Coogan在CDC 2018中特别提出的问题,扩展了他们在没有对手的区间马尔可夫链上的结果。其主要思想是重新解释他们的工作作为分析的区间MDP和相应的BMDP问题的分析的$ω$定期随机游戏,其中提供了一个解决方案。该方法进一步平滑地扩展到有界参数随机博弈。
2022-07-27 cs.LO cs.SY eess.SY
Continuous-Time Markov Decisions based on Partial Exploration
Technical University of Munich(慕尼黑工业大学);Saarland University(萨尔兰大学)
本文提出一种加速连续时间马尔可夫决策过程时间有界可达性分析算法的框架,通过识别并分析子系统实现高效计算,验证了该方法在多个传统算法中的显著加速效果。
2018-07-25 cs.LO cs.SY eess.SY
Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics
University of Oxford(牛津大学);Radboud University(拉德堡德大学)
提出一种为具有不确定动力学的马尔可夫跳变线性系统综合控制器的方法,通过有限状态抽象和区间MDP实现概率计算树逻辑的满足,并在温度控制和飞行器交付等基准问题中验证有效性。
2023-08-04 cs.AI cs.RO cs.SY
Counterexample-guided Abstraction Refinement for POMDPs
University of Notre Dame(圣母大学)
本文提出针对POMDPs的反例引导抽象细化方法,设计了新的抽象系统模型和模拟关系,并开发了新的细化算法,以实现POMDPs的验证。
2017-03-10 cs.LO cs.SY eess.SY
Efficient Approximation of Optimal Control for Markov Games
University of Liverpool(利物浦大学);Universität des Saarlandes(萨尔兰大学);Technical University of Denmark(丹麦技术大学)
针对连续时间马尔可夫决策过程与博弈的有界时间可达性问题,提出一系列高阶精度近似方法(O(ε^3)、O(ε^4)、O(ε^5)),大幅减少离散区间数量,在CTMDP上性能可比启发式方法,在CTMG上首次实现实用算法,并给出位置策略。
2011-07-08 cs.GT cs.SY eess.SY
Double Fuzzy Probabilistic Interval Linguistic Term Set and a Dynamic Fuzzy Decision Making Model based on Markov Process with tts Application in Multiple Criteria Group Decision Making
Stanford University(斯坦福大学)
针对概率语言术语缺陷及动态属性权重确定难问题,提出双模糊概率区间语言术语集概念,定义相关内容,开发模糊语言马尔可夫矩阵等,给出权重确定方法,并用金融风险投资案例说明其在多准则决策中的应用。
2026-07-07 cs.AI cs.SY econ.GN