Farkas certificates and minimal witnesses for probabilistic reachability constraints
本文介绍了Farkas证书的最小和最大可达概率在马尔可夫决策过程(MDP),我们使用的MDP变体的Farkas引理的上下界。所有这些证书的集合被示出为形成多胞形,其点对应于模型和属性的见证子系统。利用这种对应关系,我们可以将寻找最小见证人的问题转化为寻找具有最大数量的零的顶点的问题。虽然计算这样的顶点是计算困难的一般情况下,我们从我们的配方,表现出竞争力的性能相比,最先进的技术,我们得到新的算法。作为一个论点,渐近更好的算法不能希望,我们发现,即使是非循环马尔可夫链的决策版本的最小证人是NP完全的。
2020-02-05 cs.LO math.OC
Reachability and Controllability Problems for the Heat Equation on a Half-Axis
本文研究了控制系统$w_t=w_{xx}$,$w(0,\cdot)=u$,$x>0$,$t\in(0,T)$的能控性,近似能控性,能达性和近似能达性问题,其中$u\in L^\infty(0,T)$是一个控制.证明了该系统的每个终态在给定时间$T$内近似可达,每个初态在给定时间$T$内近似能控.利用马尔可夫幂矩问题的可解性,得到了系统在给定时间内可达的充要条件$T$。它还表明,有没有初态,是零可控的在给定的时间$T$。最后用实例说明了结果。
2018-12-28 math.AP math.OC
Quantitative model-checking of controlled discrete-time Markov processes
Delft Center for Systems & Control, Delft University of Technology(代尔夫特系统与控制中心,代尔夫特理工大学);Department of Computer Science, University of Oxford(牛津大学计算机科学系);Software Modeling and Verification Group, RWTH Aachen University(亚琛工业大学软件建模与验证小组)
本文研究了受控离散时间马尔可夫过程感兴趣事件概率的优化问题,证明了优化ω-正则属性可归结为可达性和重复可达性两个基本问题的求解。
2014-07-21 cs.FL cs.SY eess.SY
Reachability in Controlled Markovian Quantum Systems: An Operator-Theoretic Approach
在量子系统理论中,一个基本问题可以归结为:给定一个初始状态,所讨论的动力系统可以达到哪些最终状态?在双线性控制系统的框架中制定,演化应受不可避免的哈密顿漂移项、允许(至少)分段恒定控制幅度的多个控制哈密顿量以及Kossakowski-Lindblad形式的(可能是bang-bang可切换的)噪声项的支配。现在假设有限维系统可切换耦合到任意温度的热浴中,可达性的核心问题归结为研究标准单纯形中的点,这些点服从两种类型的控制,可以交错使用:单纯形内的置换和耗散单参数半群的收缩。我们说明了核心问题的解决方案属于原始受控马尔可夫量子系统的可达集。这使我们能够表明,对于全局以及局部可切换耦合到温度为零的浴,可以从每个初始状态生成每个量子态,直到任意精度。此外,我们提出了一个包含非零温度的结果,我们的d-优。然后,我们考虑无限维开放量子动力学系统的单位Kossakowski-Lindblad主方程扩展的控制。这里的漂移哈密顿量可以是任意的,许多控制哈密顿量是有界的,和可切换的噪声项是由一个单一的紧凑的正常运营商。通过我们的新的优化结果,我们表明,这样的双线性量子控制系统允许近似地达到任何目标状态优化的初始状态,到目前为止,只有在有限维模拟已知。
2020-12-08 math-ph math.FA math.MP
Model-Free Stochastic Reachability Using Kernel Distribution Embeddings
针对一类马尔可夫控制过程的终端命中随机到达-避免问题,提出了一种解决方案。该解决方案利用随机核的非参数表示作为再生核希尔伯特空间(RKHS)内的条件分布嵌入。由于扰动被建模为数据驱动的随机过程,这种表示避免了难以处理的积分的动态递归的达到-避免问题,因为期望值可以计算为一个内积内的RKHS。我们证明了这种方法的高维链的积分和Clohessy-Wiltshire-Hill动力学。
2020-02-23 cs.SY eess.SY math.OC
On the Reachability of 3-Dimensional Paths with a Prescribed Curvature Bound
本文基于庞特里亚金最大值原理,分析了三维空间中具有曲率约束的曲线可达性,证明边界点可由特定曲线类型到达,并将位置可达性集推广为杜宾斯车的旋转体。
2025-03-26 cs.SY eess.SY math.OC
State-Based Confidence Bounds for Data-Driven Stochastic Reachability Using Hilbert Space Embeddings
在本文中,我们计算有限样本界的随机可达性问题的解决方案的数据驱动的近似。我们的方法使用了一个非参数技术称为核广义函数嵌入,并提供了概率保证随机系统的安全性在一个无模型的方式。通过在再生核希尔伯特空间中隐式嵌入马尔可夫控制过程的随机核,我们可以用简单的矩阵运算和内积来逼近具有任意随机干扰的随机系统的安全概率.我们提出了有限的样本边界的基于点的近似的安全概率,通过建设的概率置信区间是状态和输入相关的。这种方法的一个优点是,边界是响应于非均匀采样的数据,这意味着更严格的边界是可行的,在区域的状态和输入空间与更多的观察。我们数值评估的方法,并证明其有效性的神经网络控制的单摆系统。
2021-12-07 cs.SY eess.SY math.OC
Probabilistic Occupancy Function and Sets Using Forward Stochastic Reachability for Rigid-Body Dynamic Obstacles
University of New Mexico(新墨西哥大学)
本文提出基于前向随机可达性的概率占用函数与避让集计算方法,通过傅里叶变换和计算几何描述随机障碍动态,提供凸紧致条件及高效算法,适用于DMSP和DPV障碍模型,验证了在自行车动力学中的有效性。
2018-09-19 cs.SY eess.SY math.OC
Markov control of continuous time Markov processes with long run functionals by time discretization
本文通过离散时间受控 Markov 过程研究连续时间受控 Markov 过程,考虑单位时间平均回报和长期风险敏感泛函,并分析了连续时间泛函在 Markov 控制逐点收敛下的稳定性。
2025-08-10 math.OC math.PR
A Note on Quantum Markov Models
Clarkson University(克拉克森大学)
马尔可夫模型的研究是控制理论和机器学习的核心。部分可观察马尔可夫决策过程的量子模拟在(Barry,Barry和Aaronson,Phys. Rev. A,90,2014)中进行了研究。证明了目标态的可达性在量子环境下是不可判定的,而在经典环境下是可判定的。与这种从经典到量子的从可判定到不可判定的转变相反,我们观察到,在无限范围内最大化平均折扣奖励的最优策略的近似问题在量子环境中仍然是可判定的。考虑到大多数与马尔可夫决策过程相关的问题在经典上是不可判定的(这直接意味着量子情况下的不可判定性),这提供了量子问题易于处理的少数例子之一。
2019-11-05 cs.LG math.OC quant-ph
Stability of long run functionals with respect to stationary Markov controls
本文研究平稳马尔可夫控制逐点收敛时长期泛函的稳定性,考虑单位时间平均成本与长期风险敏感两类泛函,通过一致遍历性假设及其放宽,结合受控转移概率收敛性分析其依赖性。
2024-11-30 math.OC math.PR
Long run control of nonhomogeneous Markov processes
本文研究非齐次马尔可夫过程的长期控制,提出平均奖励与风险敏感泛函,证明贝尔曼方程解的存在性、值函数连续性及控制收敛下的稳定性。
2025-06-18 math.OC math.PR
Optimizing Local Satisfaction of Long-Run Average Objectives in Markov Decision Processes
针对马尔可夫决策过程中长期平均目标的最优策略存在有限时间内状态访问频率与极限频率差异大的局部不稳定问题,本文提出了一种高效的算法解决方案。
2023-12-19 cs.MA math.OC
Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构,自适应地对状态-动作-状态转换进行采样,并进行指数化的原始-对偶更新。我们发现,它发现了一个$ε$最优的政策,在最坏的情况下,使用接近线性的运行时间。当马尔可夫决策过程是遍历的,且以某些特殊的数据格式指定时,该算法利用运行时间对状态-动作对的总数是线性的,而对输入大小是次线性的,找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
Formal Verification of Markov Processes with Learned Parameters
University of Toronto(多伦多大学)
研究面向参数由机器学习模型给出的马尔可夫过程形式化验证,将多类模型下的性质验证转化为双线性规划,并用分解与界传播实现最高百倍加速。
2025-05-11 cs.AI cs.LG math.OC
The Linear Programming Approach to Reach-Avoid Problems for Markov Decision Processes
本文提出通过无限维线性规划解决马尔可夫决策过程中的随机达避问题,通过有限维近似降低计算复杂度,并通过数值实验验证方法有效性。
2017-10-06 cs.SY eess.SY math.AP