New Approach to General Nonlinear Discrete-Time Stochastic $H_\infty$ Control
本文提出了一种基于凸分析的求解离散时间非线性随机系统的$H_\infty$问题的新方法。证明了一个随机形式的有界实引理,研究了状态反馈$H_\infty$控制问题。两个例子来证明我们的理论的有效性。
2017-10-26 math.OC
Robust $H_\infty$ Filtering for Nonlinear Discrete-time Stochastic Systems
本文主要讨论一般非线性离散时变随机系统的$H_{\infty}$滤波问题。首先利用条件数学期望的光滑性得到了一个非线性离散时间随机有界实引理(SBRL),然后基于所给的SBRL和随机LaSalle型定理,通过引入一个新的Hamilton-Jacobi不等式(HJI),给出了一般非线性离散时变随机系统的$H_\infty$滤波存在的充分条件,这很容易验证。当考虑最坏情况干扰$\{v^*_k\}_{k\in {\mathcal N}}$时,研究了次优$H_2/H_\infty$滤波问题。两个算例包括一个实际工程算例表明了本文主要结果的有效性。
2018-12-20 math.OC
Carleman estimate for semi-discrete stochastic parabolic operators in arbitrary dimension and applications to controllability
该文研究任意维半离散随机抛物算子,证明空间半离散的零能控随机抛物系统不具零能控性,同时通过推导半离散倒向随机伴随系统的新Carleman估计得到松弛能观不等式,将其用于导数φ-零能控性分析。
2025-07-31 math.OC
Mean-field type discrete stochastic linear quadratic optimal control problems
本文研究了具有状态和控制相关噪声的离散随机系统的平均场型线性二次型最优控制。研究了一类线性平均场随机微分方程的二次型最优控制最优控制问题。成本函数中的系数和加权矩阵都假定为确定性的。
2022-10-03 math.OC
Exact Controllability of Discrete-Time Stochastic System with Multiplicative Noise
本文针对离散时间随机系统,提出精确可控性的Gramian矩阵判据与秩判据,通过将前向随机差分方程转化为后向方程解决该开放问题。
2023-12-29 math.OC
Pathwise turnpike and dissipativity results for discrete-time stochastic linear-quadratic optimal control problems
本文研究了离散时间随机线性二次最优控制问题的逐路径收费公路行为,提出了一种用平稳随机过程替代最优稳态的新颖严格耗散性概念,并通过数值例子验证了理论分析。
2023-08-21 math.OC
Maximum principle for discrete-time control systems driven by fractional noises and related backward stochastic difference equations
本文研究了由分数阶噪声驱动的离散时间系统最优控制问题,通过引入包含分数阶噪声和构造白噪声的倒向随机差分方程建立随机极大值原理,并以线性二次型情形为例说明了理论结果。
2024-12-22 math.OC
Maximum principle for discrete-time stochastic optimal control problem under distribution uncertainty
本文研究了具有凸控制域的分布不确定性离散时间随机最优控制问题。利用弱收敛方法和Sion极小极大定理,得到了在参考概率$P^{\ast}$下代价泛函的变分不等式.在噪声和控制的平方可积条件下,建立了$P^{\ast}$下的离散时间随机最大值原理。最后,我们引入了一种向后算法来计算参考概率$P^{\ast}$和最优控制$u^{\ast}$。
2022-06-26 math.OC
Finite-time stability and stabilization of linear discrete time-varying stochastic systems
研究了带乘性噪声的线性离散时变随机系统的有限时间稳定性和镇定问题。首先,利用状态转移阵方法给出了系统有限时间稳定的充要条件。其次,基于矩阵不等式和线性矩阵不等式(LMI),将李雅普诺夫函数方法推广到离散时变随机系统的有限时间稳定性和镇定性研究中,以便在Matlab中使用LMI方法。两个数值例子说明了所提出的结果的有效性。
2018-06-22 math.OC
Partial Information Stochastic Differential Games for Backward Stochastic Systems Driven By Lévy Processes
本文考虑一类部分信息二人零和随机微分对策问题,其中系统由Teugels鞅驱动的倒向随机微分方程控制,该随机微分方程与Lévy过程和独立的布朗运动相关联.证明了最优控制存在的一个充分条件(一个验证定理)和一个必要条件。为了说明一般结果,一个线性二次随机微分对策问题进行了讨论。
2017-08-13 math.OC
Equivalence Notions for Discrete-Time Stochastic Linear Control Systems
本文针对一类具有可能退化正态分布扰动的离散随机线性控制系统,给出了随机互模拟等价性和随机外行为等价性的定义。第一个概念的灵感来自于概率链的概率互模拟概念,而第二个概念则来自于(非随机)行为系统的外部行为等价性概念。给出了检验这些概念的几何充要条件。提出了一种基于类卡尔曼分解的模型降阶方法。建立了与随机线性实现理论和随机可达性的联系。
2016-11-25 math.OC
Stochastic Well-posed Systems and Well-posedness of Some Stochastic Partial Differential Equations with Boundary Control and Observation
本文将“适定线性系“的概念推广到随机线性控制系统,研究了这类系统的一些基本性质。在我们的广义定义下,我们证明了随机热方程和随机薛定谔方程的适定性与适当的边界控制和观察算子,分别。
2015-07-06 math.OC
A unified controllability/observability theory for some stochastic and deterministic partial differential equations
本文的目的是提出一种研究由随机/确定性偏微分方程控制的无穷维系统的能控性/能观性问题的通用方法。关键的分析工具是一类随机/确定性偏微分算子的基本加权恒等式,通过它可以得到所需的全局Carleman估计。该方法还可以统一处理某些随机/确定性偏微分方程的稳定性、全局唯一延拓和反问题。
2010-03-30 math.OC
Optimization with Discrete Simultaneous Perturbation Stochastic Approximation Using Noisy Loss Function Measurements
离散随机最优化考虑最小化(或最大化)定义在离散集上的损失函数的问题,其中只有损失函数的噪声测量可用。离散型随机最优化问题在实际中有着广泛的应用,人们已经考虑了许多算法来求解这类最优化问题。受连续随机最优化问题的同时扰动随机逼近(SPSA)算法的启发,本文提出了欧几里得空间中p维点网格上损失函数随机最优化问题的中点离散同时扰动随机逼近(DSPSA)算法.我们证明了DSPSA产生的序列在一定条件下收敛到最优点。与其他随机逼近方法一致,DSPSA正式容纳噪声测量的损失函数。我们还显示了DSPSA的收敛速度收敛速率分析,通过解决所产生的序列的均方误差的上限。为了比较DSPSA与随机规则算法(SR)和随机比较算法(SC)的性能,通过比较DSPSA与其他两种算法在大O意义下不能获得最优解的概率,在两者之间架起了一座桥梁。我们展示了DSPSA,SR和SC的理论和数值比较结果。此外,我们考虑了DSPSA对制定最佳公共卫生策略的应用,以遏制流感的传播,因为有限的社会资源。
2013-10-31 math.OC
Null controllability for semi-discrete stochastic semilinear parabolic equations
本文研究空间有限差分离散的随机半线性抛物型方程零能控性,通过显式给出Carleman参数与离散化参数并结合Banach不动点方法证明其成立。
2025-03-09 math.OC
Forward and Backward Mean-Field Stochastic Partial Differential Equation and Optimal Control
本文主要研究正、倒向平均场随机偏微分方程的解及相应的平均场随机偏微分方程的最优控制问题。首先证明了正向和倒向平均场随机偏微分方程的连续相关性定理,并证明了其解的存在唯一性。然后以庞特里亚金最大值原理的形式建立了控制问题的最优性条件。为了说明理论结果,我们应用随机最大值原理研究一个例子,一个无限维线性二次平均场型控制问题。进一步研究了平均场型受控随机线性偏微分方程在柯西问题中的应用。
2016-10-08 math.OC
Non-fragile Finite-time Stabilization for Discrete Mean-field Stochastic Systems
研究了线性离散平均场随机系统的非脆弱有限时间镇定问题。假设控制参数的不确定性是随机的,满足伯努利分布。本文提出了一种新的方法--状态转移阵法,并给出了解决该问题的若干充要条件。基于状态转移阵的李雅普诺夫定理也对离散有限时间控制理论作出了贡献。最后通过一个实际算例验证了该控制策略的有效性。
2023-01-21 math.OC
Discrete Time Mean-Field Stochastic Linear-Quadratic Optimal Control Problems
本文首先给出了离散时间平均场随机线性二次型最优控制问题可解的充要条件。然后,通过引入几个有界线性算子序列,将问题转化为一个算子随机LQ问题,其中的最优控制是一个线性状态反馈。此外,从最优控制的形式,该问题转化为矩阵动态最优化问题。通过求解这个最优化问题,我们得到了最优反馈增益,从而得到了最优控制。最后,通过完成平方,上述控制的最优性进行了验证。
2016-07-22 math.OC
A stochastic maximum principle for partially observed stochastic control systems with delay
本文研究了由时滞随机微分方程所支配的状态的部分可观测最优控制问题。我们利用变分方法和滤波技术,建立了这类最优控制问题的随机最大值原理。同时,在不作假设的情况下,建立了一个充分条件充分条件.文中建立了两个例子来说明理论结果。特别地,以一个带时滞的最优投资问题为例,通过离散化技术对带时滞和期望项的正倒向随机微分方程(FBSDEs)进行数值模拟,显示了时滞的影响.
2020-10-14 math.OC
Zero-Sum Stochastic Games with Partial Information and Average Payoff
考虑离散时间部分可观测零和随机对策的平均支付准则。我们使用一个等价的完全可观察博弈来研究这个博弈。我们证明了这个博弈是有价值的,并且给出了两个博弈者的最优策略。
2014-09-14 math.OC
Turnpike and dissipativity in generalized discrete-time stochastic linear-quadratic optimal control
本文研究广义离散时间随机线性二次最优控制问题的收费公路现象,提出基于平稳随机过程的新颖严格耗散性概念,证明其可推导分布、矩及样本路径的收费公路行为,并通过数值模拟验证。
2025-04-01 math.OC
Partially Observable Discrete-time Discounted Markov Games with General Utility
本文研究了状态过程为离散时间马尔可夫链的部分可观测零和对策。在优化准则中考虑了一般的效用函数。我们证明了有限和无限地平线游戏的价值的存在性,也建立了最优政策的存在性。主要步骤涉及将部分可观察的博弈转换为完全可观察的博弈,该完全可观察的博弈还跟踪总的折扣累积奖励/成本。
2022-11-15 math.OC
Analysis of Discrete and Hybrid Stochastic Systems by Nonlinear Contraction Theory
研究离散和混合随机非线性动力系统的稳定性。更确切地说,我们扩展的随机收缩定理(这是制定连续系统)的情况下,离散和混合重置系统。特别是,我们表明,任何两个轨迹之间的离散(或混合重置)收缩随机系统的均方距离的上限由一个常数后,指数瞬变。利用这些结果,我们研究了由离散噪声相互作用耦合的噪声非线性振子的同步。
2008-04-06 math.OC math.PR
On limit periodicity of discrete time stochastic processes
本文考虑一个由周期系数差分方程描述的带有加性随机噪声的离散时间动力系统。我们调查的周期性的解决方案的可能性。特别地,我们找到了周期过程存在的充分条件,使得解收敛于它,包括几乎必然收敛。
2013-08-30 math.DS math.OC
A weighted identity for stochastic partial differential operators and its applications
本文建立了一类随机偏微分算子(具有复主部)的逐点加权恒等式。该恒等式为研究某些确定性/随机偏微分方程的能控性、能观性和逆问题提供了统一的方法。基于这个恒等式,我们可以推导出一些确定性偏微分方程、随机热方程、随机薛定谔方程和随机输运方程的所有已知Carleman估计和能观性结果.同时,作为其新的应用,我们研究了线性随机复Ginzburg-Landau方程的反问题。
2015-08-20 math.AP math.OC
Null controllability for stochastic fourth order semi-discrete parabolic equations
本文针对空间有限差分离散、时间连续的随机四阶半离散抛物型方程,通过建立依赖网格尺寸的全局Carleman估计和松弛可观测性估计,并利用对偶技巧证明了其$ϕ$-零能控性。
2024-05-06 math.OC math.PR
Fractional Backward Stochastic Partial Differential Equations with Applications to Stochastic Optimal Control of Partially Observed Systems driven by Lévy Processes
本文研究含分数阶拉普拉斯算子的倒向随机偏微分方程的柯西问题,证明了两类方程的强解存在唯一性与适定性,并将其应用于α-稳定Lévy过程驱动的部分观测系统随机最优控制研究。
2024-09-11 math.OC math.PR
Discrete time stochastic impulse control with delay
该研究针对离散时间下带执行延迟的无限时域脉冲控制问题,运用基于Snell包络的概率方法,针对两类效用函数构建最优策略并证明有界ε-最优策略存在,为处理相关系统延迟提供鲁棒框架。
2025-01-14 math.OC math.PR
Maximum principle for discrete-time robust stochastic optimal control problem
针对具有凸控制域的离散时间鲁棒随机最优控制问题,通过弱收敛方法和极小极大定理推导充要条件及变分不等式,并给出离散时间鲁棒投资问题的显式最优控制。
2025-08-24 math.OC math.PR
Lipschitzian Estimates in Discrete-Time Constrained Stochastic Optimal Control
本文研究了有限时间离散随机最优控制问题。研究了由动态规划算法得到的值函数的正则性。通过定义容许控制集的多功能函数的正则性结果,我们得到了价值函数的Lipschitz常数的精确估计。在最后一节中,我们讨论了最优资产分配问题的应用。
2002-06-05 math.DS math.OC
Blackwell-Nash Equilibrium for Discrete and Continuous Time Stochastic Games
我们考虑离散和连续时间有限状态行动随机对策。在离散时间随机对策中,作为一般随机对策的一种特殊情况,单控制器加性报酬(SC-AR)随机对策存在稳态Blackwell-Nash均衡(BNE).我们表明,在一般情况下,添加剂的奖励条件是需要存在的BNE。给出了一个不满足可加报酬条件的单控制者随机对策的例子。我们表明,这个例子没有一个固定的BNE。对于一般的离散时间折扣随机对策,我们给出了两组不同的条件,并证明了满足任何一组条件的稳态纳什均衡是BNE。其中一组条件削弱了文献中可用的一组条件。对于连续时间随机对策,我们给出了一个不具有平稳BNE的例子。事实上,这个例子是一个单控制器连续时间随机对策。然后,我们引入了一个连续时间的SC-AR随机对策。我们证明了连续时间SC-AR随机对策总存在一个平稳的确定性BNE。对于一般的连续时间折扣随机对策,我们给出了两组不同的条件,并证明了满足任何一组条件的纳什均衡是BNE。
2016-05-03 cs.GT math.OC
Existence of optimal controls for stochastic partial differential equations with fully local monotone coefficients
本文利用极小化序列与 Faedo–Galerkin 逼近,证明全单调系数受控 SPDE 的适定性及随机最优反馈控制存在性,并可推广至随机对流扩散等方程。
2025-01-03 math.OC math.PR
Discrete-time approximation for stochastic optimal control problems under the $G$-expectation framework
本文在$G$ -期望框架下,提出了一类随机最优控制问题的离散时间逼近格式。所提出的方案是基于分段常数策略递归构造的。我们证明了离散格式的收敛性,并确定了其收敛速度。数值例子说明了所得结果的有效性。
2021-10-04 cs.NA math.NA math.OC
Backward stochastic partial differential equations with quadratic growth
研究一类带二次增长项的倒向随机偏微分方程(BSPDE)的Cauchy-狄利克雷问题弱解的存在唯一性.作为一个例子,我们考虑了一个非马尔可夫随机最优控制问题,其代价函数由二次BSPDE表示,其中相应的值函数满足上述二次BSPDE。
2012-07-23 math.OC math.PR
Nonzero-sum Discrete-time Stochastic Games with Risk-sensitive Ergodic Cost Criterion
本文研究了波兰状态空间上受控离散时间 Markov 链的无限时间跨度非零和随机博弈,在风险敏感遍历成本准则下证明了最优性方程的唯一解,并通过集值映射的不动点确立了随机平稳策略下 Nash 均衡的存在性。
2024-08-23 math.OC math.PR
Pathwise stochastic control and a class of stochastic partial differential equations
本文研究路径随机最优控制问题,证明值过程是相关Hamilton-Jacobi-Bellman随机偏微分方程在粘性意义下的唯一解,并讨论随机路径Noether定理的相应版本。
2023-11-01 math.AP math.OC math.PR
Attack-resilient Estimation for Linear Discrete-time Stochastic Systems with Input and State Constraints
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种针对具有状态和输入约束的线性离散时间随机系统的攻击鲁棒估计算法,证明所提出的估计算法的状态估计误差在实践中指数稳定。
2019-03-19 cs.SY eess.SY math.OC
Transversality Conditions for Stochastic Higher-Order Optimality: Continuous and Discrete Time Problems
在研究有限长度专利的效果时,如Futagami and Iwaisako(2007)的开创性工作那样,自然会出现高阶最优化问题。在本文中,我们建立了欧拉方程和横截性条件分析这样的高阶最优化问题。我们发展我们的随机一般简化形式模型的结果,并考虑连续和离散时间的情况下。我们使用我们的结果来建立简化的家庭最大化问题的欧拉方程和横截性条件在Futagami和Iwaisako(2007)。
2012-03-17 math.OC q-fin.GN
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Forward Reachability for Discrete-Time Nonlinear Stochastic Systems via Mixed-Monotonicity and Stochastic Order
本文扩展混合单调系统理论并结合随机序与集中不等式,提出离散时间随机非线性系统前向随机可达集及对应概率的过近似算法,并通过航空航天算例验证有效性。
2024-12-04 cs.SY eess.SY math.OC
Numerical approximations for partially observed optimal control of stochastic partial differential equations
本文研究部分观测随机偏微分方程最优控制的数值近似,建立随机最大原理并开发结合随机梯度下降与粒子滤波的算法,通过数值实验验证了其有效性。
2025-04-01 cs.NA math.NA math.OC
Contraction Analysis of Discrete-time Stochastic Systems
在本文中,我们发展了一个新的收缩框架的稳定性分析的离散时间非线性系统的参数随机过程。对于一般随机过程,首先给出了关于黎曼度量的一阶矩一致增量指数稳定的充分条件。然后,重点研究了欧氏距离,给出了二阶矩下UIES的一个充要条件。通过研究一般的随机过程,我们可以很容易地推导出特殊类型过程的UIES条件,例如,i.i.d.过程和马尔可夫过程,这是证明我们的结果的选择应用。
2021-06-10 cs.SY eess.SY math.OC
Robust Recurrence of Discrete-Time Infinite-Horizon Stochastic Optimal Control with Discounted Cost
本文分析了非线性离散时间随机系统在最小化无限时域折扣成本的最优输入下的稳定性,证明了闭环系统在成本可控性与可检测性假设下满足一致半全局实际回归性,且该性质在额外连续性假设下具有鲁棒性。
2025-04-29 cs.SY eess.SY math.OC
The turnpike control in stochastic multi-agent dynamics: a discrete-time approach with exponential integrators
本文研究随机多智能体离散时间最优控制中的快速通道性质,证明在耗散性与可控性条件下该效应在噪声环境中仍成立,并采用指数积分器处理系统刚性,通过数值实验验证了其优于标准显式格式的性能。
2025-03-12 cs.NA math.NA math.OC