Some remarks on stochastic converse Lyapunov theorems
本文研究了随机离散时间稳定化系统中李雅普诺夫函数的构造及其在均值稳定化中的局限性。
2025-12-31 cs.SY eess.SY math.DS
Linearly Solvable Stochastic Control Lyapunov Functions
针对一类非线性随机控制系统,提出了一种综合随机控制李雅普诺夫函数的新方法。该技术依赖于一个经典的非线性Hamilton-Jacobi-Bellman偏微分方程的一个线性偏微分方程的一类问题的一个特殊的约束随机强迫的转换。然后,该线性偏微分方程可以松弛为线性微分包含,允许使用平方和编程生成松弛解。由此产生的松弛的解决方案,实际上是粘性的上/下解决方案,并通过最大值原理是逐点的上下界的基本值函数,即使是粗糙的多项式逼近。此外,逐点上界被证明是一个随机控制李雅普诺夫函数,产生一个方法,用于生成非线性控制器的逐点有界距离时,使用最优控制器的最优成本。这些近似解可以通过半定最优化问题的层次以不增加的误差来计算。最后,本文开发了先验界限的轨迹次优时,使用这些近似值功能,以及证明这些方法,和界限,可以应用到更一般的一类非线性系统不服从随机强迫的约束。模拟例子说明的方法。
2017-09-05 math.OC
A converse Lyapunov theorem for almost sure stabilizability
本文证明了受控扩散的几乎必然镇定和几乎必然渐近镇定的逆李雅普诺夫定理:给定一个随机系统a.s.随机开环在原点可镇定,我们构造了一个下连续正定函数,其水平集形成平衡点可行邻域的局部基。这一结果提供了,与直接李雅普诺夫定理证明的同伴纸,一个完整的李雅普诺夫式的表征的a.s.稳定性
2005-03-15 math.OC math.PR
On stochastic stabilization via non-smooth control Lyapunov functions
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
控制李雅普诺夫函数是镇定的重要工具。它概括了一个抽象的能量函数-李雅普诺夫函数-的情况下,控制系统。众所周知,大多数控制李雅普诺夫函数都是非光滑的,在非完整系统中也是如此,比如轮式机器人和汽车。存在使用非光滑控制李雅普诺夫函数的稳定框架,如Dini瞄准和最速下降。这项工作将相关结果推广到随机情形。作为基础,采样控制方案的选择,其中控制行动计算在离散时刻的时间使用离散测量系统状态。在这样的设置中,应特别注意控制李雅普诺夫函数的样本到样本行为。这里的一个特殊挑战是作用在系统上的随机噪声。这项工作的中心结果是一个定理,国家,粗略地说,如果有一个,一般非光滑,控制李雅普诺夫函数,给定的随机动力系统实际上可以稳定的采样和保持模式,这意味着控制动作保持恒定的采样时间步长内。所选择的特定控制方法是基于Moreau-Yosida正则化,换句话说,控制李雅普诺夫函数的下卷积,但总体框架可扩展到进一步的控制方案。尽管简要讨论了无界噪声的情况,但假设系统噪声几乎肯定有界。
2022-11-07 cs.RO cs.SY eess.SY
Lyapunov stabilizability of controlled diffusions via a superoptimality principle for viscosity solutions
证明了Hamilton-Jacobi-Bellman方程连续有界黏性解的最优性原理。特别是,我们提供了一个表示公式的粘度上解作为合适的障碍物控制问题的值函数。这一结果适用于扩展的稳定性的李雅普诺夫直接法控制伊藤随机微分方程。本文定义了适当的李雅普诺夫函数的概念,研究了随机开环系统的概率镇定性和局部及全局渐近镇定性(或渐近能控性)。最后,我们用一些例子来说明理论。
2005-03-15 math.AP math.OC
Lyapunov-based Stochastic Nonlinear Model Predictive Control: Shaping the State Probability Density Functions
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种随机模型预测控制方法,用于具有无界随机不确定性的非线性系统,通过设计随机控制李雅普诺夫函数确保闭环稳定性,并利用福克-计划克方程描述状态概率密度函数的动态演变。
2015-05-12 cs.SY eess.SY math.OC
Stochastic Gradient Tracking over Time-Varying Networks: One-Step Lyapunov Analysis
Kuwait University(科威特大学)
该研究针对时变网络下的去中心化随机梯度跟踪问题,通过构造时变二次范数将窗口压缩转化为一步李雅普诺夫恒等式,得到误差递推关系,在两类凸目标下均匹配集中式小批量性能且实现线性加速。
2026-08-18 cs.DC cs.SY eess.SY
Stochastic Approximation for Nonlinear Discrete Stochastic Control: Finite-Sample Bounds
本文针对非线性离散随机控制系统,基于连续时间确定性控制与 Moreau 包络光滑化构造 Lyapunov 函数,给出四类情形下的有限样本收敛界并通过实验验证。
2025-08-31 math.OC
Stabilization of Itô Stochastic T-S Models via Line Integral and Novel Estimate for Hessian Matrices
本文提出了一种线积分李雅普诺夫函数方法来分析Itô随机T-S模型的稳定性和镇定。与确定性情形不同,该模型的稳定性分析需要线性积分李雅普诺夫函数的Hessian矩阵信息,该信息与基函数的偏导数有关。通过引入一种新的偏导数处理方法,并利用状态相关矩阵秩为1的性质,利用线性积分李雅普诺夫函数建立了系统的稳定性条件.这些条件比基于二次李雅普诺夫函数的条件更一般。基于稳定性条件,利用锥互补线性化算法设计控制器。因此,一个非二次李雅普诺夫函数方法的Itô随机T-S模型的镇定问题。证明了该问题可以通过优化一组具有线性约束的矩阵变量乘积的迹和来解决。数值例子说明了所提出的控制方案的有效性。
2020-04-01 cs.SY eess.SY math.DS
Flexible-step Model Predictive Control based on Generalized Lyapunov Functions
提出基于广义离散时间控制 Lyapunov 函数的柔性步长非线性 MPC,允许有限窗口内平均下降并灵活实施多个控制输入,保证递归可行性与稳定性,且改善非完整系统的渐近收敛。
2024-04-10 math.OC
A unifying Lyapunov-based framework for the event-triggered control of nonlinear systems
我们提出了一个规范性的框架事件触发控制的非线性系统。在事件触发的实现中,不是像传统的数字控制那样周期性地闭合环路,而是根据状态相关的标准来闭合环路。事件触发控制特别适用于嵌入式系统和网络化控制系统,因为它减少了控制所需的资源量,如通信带宽。通过将事件触发实现建模为混合系统,我们提供了基于Lyapunov的条件来保证所得到的闭环系统的稳定性,并解释了如何利用它们来合成事件触发规则。我们说明了一般性的方法,它包括几个现有的事件触发政策,并通过开发新的战略,进一步减少控制所需的资源。
2011-08-28 math.OC
Toward a Systematic Understanding and Interactive Search of Lyapunov-Style Proofs in Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Rice University(莱斯大学);Google Inc.(谷歌公司)
提出系统框架将优化算法的紧致解析收敛证明转化为Lyapunov函数证明,结合PEP工具箱与线性代数实现交互式搜索,发现四个新Lyapunov风格证明。
2026-06-25 math.OC
A Multistep Lyapunov Approach for Finite-Time Analysis of Biased Stochastic Approximation
University of Minnesota(明尼苏达大学)
受强化学习中时间差分(TD-)和Q-学习算法广泛应用的启发,本文在对随机噪声序列的“类遍历”假设下,研究了一类有偏随机逼近(SA)过程.一个精心设计的多步李雅普诺夫函数,展望未来的几个更新,以适应随机扰动(梯度偏差的控制)的基础上,我们证明了一般的迭代收敛的结果,并使用它来获得非渐近界的情况下,恒定步长的均方误差。这种新颖的前瞻性的观点,使有限时间分析偏置SA算法在一个大家庭的随机扰动可能。为了与现有的贡献直接比较,我们还证明了这些界限,将它们应用到TD-和Q-学习与线性函数逼近,在实际的马尔可夫链观测模型。TD学习算法和Q学习算法的所得有限时间误差界是同类算法中的第一个,在这个意义上,它对于未修改的版本(即,不做任何修改的参数更新)使用甚至非线性函数逼近器;以及马尔可夫链ii)在一般的混合条件和iii)从任何初始分布,其中至少有一个必须违反现有的结果是适用的。
2020-09-01 cs.LG cs.SY eess.SY
A Non-Asymptotic Theory of Seminorm Lyapunov Stability: From Deterministic to Stochastic Iterative Algorithms
Purdue(普渡大学);Amazon Web Services, Inc.(亚马逊网络服务公司);Georgia Tech(佐治亚理工学院)
本文建立半范数压缩算子在确定性与随机迭代下的非渐近稳定性理论,并将其用于统一推导平均奖励强化学习算法的有限样本界。
2025-02-20 cs.LG math.OC stat.ML
Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出路径式李雅普诺夫-佩龙框架,在不满足单位激励假设的常见随机优化场景下,证明随机递推的严格鞍点规避结果,确立相关算法收敛到原目标函数的局部极小值点。
2026-08-07 cs.LG math.DS math.OC
Stochastic Stability in Max-Product and Max-Plus Systems with Markovian Jumps
National Technical University of Athens, School of Electrical and Computer Engineering(雅典国立技术大学电气与计算机工程学院)
本文研究具有马尔可夫跳跃的max-product和max-plus系统的随机稳定性问题,通过构造Lyapunov函数和分步Lyapunov函数,推导出随机稳定性的充分必要条件,并应用于生产系统示例。
2017-11-08 cs.SY eess.SY math.OC
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials
Cornell University(康奈尔大学);MIT(麻省理工学院)
本文提出基于Lyapunov势函数的新策略分析SGLD在非凸优化中的全局收敛性,给出改进的收敛速率、首个有限梯度复杂度保证,并建立了连续时间Langevin动力学与离散时间SGLD之间的成功性联系。
2024-07-05 cs.LG math.OC
On the Lyapunov Foster criterion and Poincaré inequality for Reversible Markov Chains
本文从Foster-Lyapunov漂移条件出发,给出了离散时间可逆马尔可夫链随机稳定性的一个初等证明。除了相对简单之外,证明还有两个显著的特点:(i)它完全依赖于函数分析的非概率论证;(ii)它明确了福斯特-李雅普诺夫函数和庞加莱不等式之间的联系。证明是用来推导出一个明确的范围的频谱间隙。一个扩展到不可逆的情况下也提出。
2020-05-17 math.OC math.PR
Continuous-time Models for Stochastic Optimization Algorithms
ETH Zurich(苏黎世联邦理工学院)
我们提出了新的连续时间配方的一阶随机最优化算法,如小批量梯度下降和方差减少的方法。我们利用这些连续时间模型,连同简单的李雅普诺夫分析,以及从随机分析的工具,以获得各种类型的非凸函数的收敛范围。在这样的分析指导下,我们表明,相同的李雅普诺夫参数在离散时间,导致匹配率。此外,我们使用这些模型和伊藤演算来推断关于SGD动态的新见解,证明学习率的降低可以作为时间扭曲,或者等价地,作为景观拉伸。
2020-03-10 cs.LG math.OC
Frequency Theorem for discrete time stochastic system with multiplicative noise
University of Dar Es Salaam(达累斯萨拉姆大学);Curtin University(科廷大学)
针对无限时域乘性噪声离散时间线性随机系统,提出最优控制存在的充要条件为频域矩阵不等式,并证明最优控制可通过求解依赖于李雅普诺夫方程解的确定性线性二次型问题得到。
2011-08-01 cs.SY eess.SY math.OC
Renyi's Relative Entropy Lyapunov Functional for Convergence to Invariant Measure in Dissipative Stochastic Hamiltonian Systems
School of Engineering, Australian National University(澳大利亚国立大学工程学院)
本文针对耗散随机哈密顿系统,证明χ²散度(Renyi二阶相对熵)作为Lyapunov泛函,通过位置-动量条件化确保其严格递减,从而保证系统收敛到Boltzmann不变测度。
2026-09-16 math-ph math.AP math.DS
Stochastic Stability of Nonlinear MPPI via Contraction Theory and Control Lyapunov Functions
Tennessee Technological University(田纳西理工大学);Mercer University(默瑟大学)
研究非线性MPPI的随机稳定性,通过稳定性继承论证,在特定假设下,证明有限样本MPPI能继承标称收缩,给出近似误差分解,在小增益条件下满足稳定性界,并提供相关重述及设计程序。
2026-07-09 cs.SY eess.SY math.OC
Criteria for stabilizing a multi-delay stochastic system with multiplicative control-dependent noises
本文研究了具有多输入时滞和乘性控制相关噪声的离散随机系统的均方镇定问题。对于这类多时滞随机系统,我们首次提出了两种镇定准则:Riccati型和Lyapunov型。一方面,我们采用降阶方法将多时滞随机系统转化为无时滞辅助系统,并给出了它们的等价镇定命题。然后,通过引入时滞依赖的代数Riccati方程(DDARE),证明了所考虑的系统是可镇定的当且仅当发展的DDARE有唯一的正定解.另一方面,我们描述了基于时滞依赖李雅普诺夫方程(DDLE)的准则,这可以通过线性矩阵不等式(LMI)的可行性测试进行验证。此外,在一定的约束结构下,我们还得到了时滞裕度的存在性定理,更重要的是,我们还得到了计算时滞裕度精确值的显式公式。
2023-03-15 math.OC
Analysis of a Stochastic Switched Model of Freeway Traffic Incidents
本文介绍了一种随机容量减少事件下的高速公路交通动力学模型,并通过分析所提出的模型的长时间(稳定性)属性的高速公路事件管理的见解。多单元高速公路上的事件被建模为在受影响的高速公路路段,发生和清除根据马尔可夫链的能力减少。我们开发的条件下,由随机事件引起的交通排队有界。一个必要条件是,需求量不得超过针对回溢调整的时间平均容量。通过构造一个李雅普诺夫函数,并应用经典的Foster-Lyapunov漂移条件,得到了一组双线性不等式形式的充分条件.这两个条件可以很容易地验证随机事件模型的现实情况。我们的分析依赖于一个全球吸引不变集的建设,并利用交通流动力学的属性。我们使用我们的研究结果来分析随机容量波动(频率,强度和空间相关性)对高速公路段的吞吐量的影响。
2017-10-31 math.OC
High-Probability Sampled-Data Stabilization of General Nonlinear Stochastic Systems
Research Institute of Intelligent Complex Systems, Fudan University(复旦大学智能复杂系统研究院);School of Mathematics Sciences, Fudan University(复旦大学数学科学学院);Department of Mathematics and Statistics, University of Strathclyde(斯特拉斯克莱德大学数学与统计系)
本文针对一般非线性随机系统,在局部Lipschitz系数下,通过足够快的采样实现高概率指数镇定,并针对不同增长阶数分别提出方法。
2026-09-24 math.OC
Backstepping Design for Incremental Stability of Stochastic Hamiltonian Systems with Jumps
Technical University of Munich(慕尼黑工业大学)
本文提出随机控制系统的增量稳定性概念,通过反步控制设计使具有跳跃的随机哈密顿系统增量稳定,并通过弹簧摆系统验证有效性。
2017-05-05 cs.SY eess.SY math.OC
Queue Stability and Probability 1 Convergence via Lyapunov Optimization
李雅普诺夫漂移和李雅普诺夫优化是在随机排队网络中优化时间平均值的强有力的技术。然而,在文献中有各种各样的队列稳定性的定义,最方便的李雅普诺夫漂移条件往往提供的稳定性和性能界的时间平均期望,而不是一个纯粹的时间平均。我们扩展的理论表明,二次李雅普诺夫函数的基本漂移条件,连同温和的有界四阶矩条件,意味着所有主要形式的稳定性。此外,我们表明,基本的漂移加惩罚条件意味着相同的界限,排队积压和惩罚支出,是已知的时间平均期望也持有纯时间平均概率为1。我们的分析结合了李雅普诺夫漂移理论与柯尔莫哥洛夫大数定律的鞅差有限方差。
2010-10-27 math.OC
Evaluation of Lyapunov exponent in generalized linear dynamical models of queueing networks
Faculty of Mathematics and Mechanics, St. Petersburg State University(圣彼得堡国立大学数学力学系)
基于幂等代数模型和方法,研究排队网络中李雅普诺夫指数的评估问题,提出通过系统矩阵分解计算指数的方法,并应用于多种排队网络的平均服务周期时间计算。
2012-12-25 cs.SY eess.SY math.OC
Semi-Global Approximate stabilization of an infinite dimensional quantum stochastic system
INRIA Rocquencourt(法国国家信息与自动化研究所罗康库尔中心);Mines ParisTech(巴黎矿业学院)
针对无限维量子随机系统,通过离散时间马尔可夫链建模,利用严格Lyapunov函数和Prohorov定理,实现目标状态的半全局近似状态反馈镇定。
2011-03-21 cs.SY eess.SY math-ph
A Lyapunov-Based Methodology for Constrained Optimization with Bandit Feedback
Coordinated Science Laboratory, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室);Department of Electrical and Computer Engineering, The Ohio State University(俄亥俄州立大学电气与计算机工程系)
在包括在线广告、合同雇佣和无线调度的各种应用中,控制器受到对可用资源的严格预算约束和随机可行性约束的约束,所述可用资源由每个动作以随机量消耗,所述随机可行性约束可以对决策施加重要的操作限制。在这项工作中,我们考虑一个一般模型来解决这样的问题,每个动作返回一个随机的奖励,成本和惩罚从一个未知的联合分布,和决策者的目标是最大限度地提高总奖励下的预算约束$B$的总成本和时间平均罚款的随机约束。我们提出了一种新的低复杂度的算法的基础上李雅普诺夫优化方法,命名为${\tt LyOn}$,并证明了$K$武器,它实现了$O(\sqrt{K B\log B})$遗憾和零约束违反时,$B$是足够大的。${\tt LyOn}$的低计算成本和尖锐的性能界限表明,基于Lyapunov的算法设计方法可以有效地解决约束强盗优化问题。
2022-01-23 cs.LG math.OC stat.ML
Stability Verification in Stochastic Control Systems via Neural Network Supermartingales
IST Austria(奥地利科学技术研究所)
我们考虑形式化验证几乎肯定(a.s.)离散时间非线性随机控制系统的渐近稳定性虽然确定性控制系统的稳定性验证在文献中得到了广泛的研究,但随机控制系统的稳定性验证是一个开放的问题。关于这个主题的少数现有作品要么只考虑专门形式的随机性或对系统进行限制性假设,使其不适用于神经网络策略的学习算法。在这项工作中,我们提出了一种方法来解决一般的非线性随机控制问题,具有两个新的方面:(a)代替经典的李雅普诺夫函数的随机扩展,我们使用排序上鞅(RSM)来证明a.s.~渐近稳定性,以及(b)我们提出了一种学习神经网络RSM的方法。我们证明了我们的方法保证了a.s.~渐近稳定的系统,并提供了第一种方法来获得的稳定时间的界限,随机李雅普诺夫函数不。最后,我们验证了我们的方法实验上的一组非线性随机强化学习环境与神经网络政策。
2021-12-17 cs.LG math.OC
Convergence Rate in Nonlinear Two-Time-Scale Stochastic Approximation with State (Time)-Dependence
Zixi Chen 1 , Yumin Xu 1 , Ruixun Zhang 1,2,3,4(陈子希、徐云敏、张瑞轩)
研究状态和时间依赖噪声下的非线性双时间尺度随机逼近,证明Lyapunov函数的多项式及指数收敛速率,并通过随机梯度下降与双层优化示例验证。
2025-09-14 cs.LG math.OC
Evaluation of the Lyapunov exponent for generalized linear second-order exponential systems
Faculty of Mathematics and Mechanics, St. Petersburg State University(圣彼得堡国立大学数学力学系)
针对具有二阶状态转移矩阵的广义线性随机动力系统,假设矩阵元素为独立指数分布或零,综述了系统状态向量渐近增长率(即李雅普诺夫指数)评估的新结果。
2012-12-25 cs.SY eess.SY math.OC
On stochastic stabilization of sampled systems
本文研究了控制策略数字化实现时的随机镇定问题,即:例如,当动力系统被连续处理时,而控制动作在预定义的时间步长中保持恒定。在这样的设置中,应特别注意所涉及的李雅普诺夫函数的样本到样本的行为。本文扩展了随机稳定性的结果,专门针对采样保持模式。我们表明,如果一个马尔可夫策略稳定的系统在一个合适的意义上,那么它也实际上稳定它的采样和保持意义。这就建立了一个从理想化的持续应用到数字化实施的桥梁。中心结果适用于由标准布朗运动驱动的随机微分方程描述的动力系统。推广进行了讨论,包括由有界噪声驱动的系统的非光滑李雅普诺夫函数的情况下。简要概述了有界噪声模型。
2022-11-07 math.DS math.OC
Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);School of Mathematical Sciences, Shenzhen University(深圳大学数学科学学院)
该研究针对非光滑非凸优化问题,提出了可保证随机次梯度方法全局稳定性的通用框架,经改进分析可应用于多种相关方法,为其收敛性提供理论支撑。
2026-08-11 cs.AI cs.LG math.OC
Random-Time, State-Dependent Stochastic Drift for Markov Chains and Application to Stochastic Stabilization Over Erasure Channels
University of Florida(佛罗里达大学)
本文扩展了随机多步Lyapunov理论,用于分析马尔可夫链的稳定性和稳态性能界限,并应用于远程镇定问题,证明当信道容量大于不稳定特征值的对数加上修正项时闭环系统稳定。
2012-05-17 cs.IT cs.SY eess.SY