Robust policy iteration for continuous-time stochastic $H_\infty$ control problem with unknown dynamics
本文针对动态未知的连续时间随机H∞控制问题，提出一种基于强化学习的策略迭代算法，仅需一次数据采集即可迭代求解随机博弈代数Riccati方程，并证明了算法的鲁棒收敛性，最终通过仿真验证其有效性。
2024-10-01 math.OC
Null controllability for stochastic semi-discrete parabolic equations
本文研究随机半离散抛物型方程的零能控性，通过建立依赖离散化参数的显式可观测性估计和新的Carleman估计，证明了一类随机半离散抛物型方程的零能控性。
2024-02-20 math.OC
Model-free $H_{\infty}$ control of Itô stochastic system via off-policy reinforcement learning
针对模型未知的线性随机Itô系统的$H_{\text{∞}}$控制问题，提出一种离策略强化学习方法直接从系统数据求解广义代数Riccati方程，证明了收敛性与鲁棒性，并在F-16飞机系统上验证了有效性。
2024-03-07 math.OC
Model-free Reinforcement Learning for ${H_{2}/H_{\infty}}$ Control of Stochastic Discrete-time Systems
本文针对参数未知的随机离散时间系统，提出一种无需广义代数黎卡提方程的强化学习算法，以求解无限时间域 H2/H∞ 控制问题，并验证了其在 F-16 飞机自动驾驶仪等场景下的有效性与收敛性。
2023-11-25 math.OC
Stochastic Linear-Quadratic Optimal Control Problems with Markovian Regime Switching and $H_\infty$ Constraint under Partial Information
School of Mathematics, Shandong University（山东大学数学学院）
本文研究了具有马尔可夫切换和H_∞约束的随机线性二次最优控制问题，通过零和博弈方法和正交分解等技术，提出了解决方案并应用于股票投资。
2026-01-08 math.OC
Stochastic Averaging in Discrete Time and Its Applications to Extremum Seeking
研究了具有随机扰动的局部Lipschitz离散非线性系统的随机平均理论及其在离散随机极值搜索算法收敛性分析中的应用.首先，通过定义两个平均系统（一个是连续时间系统，另一个是离散时间系统），建立了具有随机扰动的局部Lipschitz非线性系统的离散时间随机平均定理。我们的结果只需要一些简单而适用的条件，易于验证，并消除了现有结果中的一个重要限制：非线性向量场的全局Lipschitz性.其次，我们提供了一个静态地图的离散时间随机极值搜索算法，其中考虑了测量噪声，并使用遍历离散时间随机过程作为激励信号。最后，对于输出平衡映射存在极值的离散非线性动力系统，我们提出了一种离散随机极值搜索方法，并通过奇异扰动约化，证明了约化系统的稳定性.与经典的随机逼近方法相比，虽然我们证明的收敛性在较弱的意义上，但算法的条件易于验证，并且没有要求（例如，有界性）被施加到算法本身上。
2015-02-17 math.OC
Maximum principle for discrete time mean-field stochastic optimal control problems
本文研究了离散时间平均场型随机微分方程的最优控制，其中系数既依赖于规律的函数又依赖于过程的状态。本文建立了离散时间随机最优控制问题的一个新的最大值原理。此外，成本泛函也是平均场型的。这个最大值原理不同于经典原理，因为我们引入了新的离散时间向后（矩阵）随机方程。基于离散时间倒向随机方程，其中伴随方程为带平均场的离散倒向随机微分方程，得到了随机离散最优控制问题的一阶最优性必要条件和充分条件.为了验证这一结论，我们将其应用于生产和消费选择最优化问题。
2022-10-03 math.OC
Polynomial-Time Solvers for the Discrete $\infty$-Optimal Transport Problems
CREST-ENSAE
针对离散有限情形下的 $\infty$-最优传输问题，本文首次给出同时求解 Monge 与 Kantorovich 两种表述的多项式时间高效数值算法。
2023-04-26 cs.LG math.OC
Series Solution of Discrete Time Stochastic Optimal Control Problems
本文研究了无限和有限时域上的离散时间随机最优控制问题。我们表明，对于一个大类这样的问题的泰勒多项式的解决方案，相关的动态规划方程可以计算的程度。
2019-03-21 math.OC
Carleman estimate for semi-discrete stochastic parabolic operators in arbitrary dimension and applications to controllability
该文研究任意维半离散随机抛物算子，证明空间半离散的零能控随机抛物系统不具零能控性，同时通过推导半离散倒向随机伴随系统的新Carleman估计得到松弛能观不等式，将其用于导数φ-零能控性分析。
2025-07-31 math.OC
Mean-field type discrete stochastic linear quadratic optimal control problems
本文研究了具有状态和控制相关噪声的离散随机系统的平均场型线性二次型最优控制。研究了一类线性平均场随机微分方程的二次型最优控制最优控制问题。成本函数中的系数和加权矩阵都假定为确定性的。
2022-10-03 math.OC
Exact Controllability of Discrete-Time Stochastic System with Multiplicative Noise
本文针对离散时间随机系统，提出精确可控性的Gramian矩阵判据与秩判据，通过将前向随机差分方程转化为后向方程解决该开放问题。
2023-12-29 math.OC
Pathwise turnpike and dissipativity results for discrete-time stochastic linear-quadratic optimal control problems
本文研究了离散时间随机线性二次最优控制问题的逐路径收费公路行为，提出了一种用平稳随机过程替代最优稳态的新颖严格耗散性概念，并通过数值例子验证了理论分析。
2023-08-21 math.OC
Maximum principle for discrete-time control systems driven by fractional noises and related backward stochastic difference equations
本文研究了由分数阶噪声驱动的离散时间系统最优控制问题，通过引入包含分数阶噪声和构造白噪声的倒向随机差分方程建立随机极大值原理，并以线性二次型情形为例说明了理论结果。
2024-12-22 math.OC
Maximum principle for discrete-time stochastic optimal control problem under distribution uncertainty
本文研究了具有凸控制域的分布不确定性离散时间随机最优控制问题。利用弱收敛方法和Sion极小极大定理，得到了在参考概率$P^{\ast}$下代价泛函的变分不等式.在噪声和控制的平方可积条件下，建立了$P^{\ast}$下的离散时间随机最大值原理。最后，我们引入了一种向后算法来计算参考概率$P^{\ast}$和最优控制$u^{\ast}$。
2022-06-26 math.OC
Finite-time stability and stabilization of linear discrete time-varying stochastic systems
研究了带乘性噪声的线性离散时变随机系统的有限时间稳定性和镇定问题。首先，利用状态转移阵方法给出了系统有限时间稳定的充要条件。其次，基于矩阵不等式和线性矩阵不等式（LMI），将李雅普诺夫函数方法推广到离散时变随机系统的有限时间稳定性和镇定性研究中，以便在Matlab中使用LMI方法。两个数值例子说明了所提出的结果的有效性。
2018-06-22 math.OC
Equivalence Notions for Discrete-Time Stochastic Linear Control Systems
本文针对一类具有可能退化正态分布扰动的离散随机线性控制系统，给出了随机互模拟等价性和随机外行为等价性的定义。第一个概念的灵感来自于概率链的概率互模拟概念，而第二个概念则来自于（非随机）行为系统的外部行为等价性概念。给出了检验这些概念的几何充要条件。提出了一种基于类卡尔曼分解的模型降阶方法。建立了与随机线性实现理论和随机可达性的联系。
2016-11-25 math.OC
Optimization with Discrete Simultaneous Perturbation Stochastic Approximation Using Noisy Loss Function Measurements
离散随机最优化考虑最小化（或最大化）定义在离散集上的损失函数的问题，其中只有损失函数的噪声测量可用。离散型随机最优化问题在实际中有着广泛的应用，人们已经考虑了许多算法来求解这类最优化问题。受连续随机最优化问题的同时扰动随机逼近（SPSA）算法的启发，本文提出了欧几里得空间中p维点网格上损失函数随机最优化问题的中点离散同时扰动随机逼近（DSPSA）算法.我们证明了DSPSA产生的序列在一定条件下收敛到最优点。与其他随机逼近方法一致，DSPSA正式容纳噪声测量的损失函数。我们还显示了DSPSA的收敛速度收敛速率分析，通过解决所产生的序列的均方误差的上限。为了比较DSPSA与随机规则算法（SR）和随机比较算法（SC）的性能，通过比较DSPSA与其他两种算法在大O意义下不能获得最优解的概率，在两者之间架起了一座桥梁。我们展示了DSPSA，SR和SC的理论和数值比较结果。此外，我们考虑了DSPSA对制定最佳公共卫生策略的应用，以遏制流感的传播，因为有限的社会资源。
2013-10-31 math.OC
Null controllability for semi-discrete stochastic semilinear parabolic equations
本文研究空间有限差分离散的随机半线性抛物型方程零能控性，通过显式给出Carleman参数与离散化参数并结合Banach不动点方法证明其成立。
2025-03-09 math.OC
Non-fragile Finite-time Stabilization for Discrete Mean-field Stochastic Systems
研究了线性离散平均场随机系统的非脆弱有限时间镇定问题。假设控制参数的不确定性是随机的，满足伯努利分布。本文提出了一种新的方法--状态转移阵法，并给出了解决该问题的若干充要条件。基于状态转移阵的李雅普诺夫定理也对离散有限时间控制理论作出了贡献。最后通过一个实际算例验证了该控制策略的有效性。
2023-01-21 math.OC
Discrete Time Mean-Field Stochastic Linear-Quadratic Optimal Control Problems
本文首先给出了离散时间平均场随机线性二次型最优控制问题可解的充要条件。然后，通过引入几个有界线性算子序列，将问题转化为一个算子随机LQ问题，其中的最优控制是一个线性状态反馈。此外，从最优控制的形式，该问题转化为矩阵动态最优化问题。通过求解这个最优化问题，我们得到了最优反馈增益，从而得到了最优控制。最后，通过完成平方，上述控制的最优性进行了验证。
2016-07-22 math.OC
Turnpike and dissipativity in generalized discrete-time stochastic linear-quadratic optimal control
本文研究广义离散时间随机线性二次最优控制问题的收费公路现象，提出基于平稳随机过程的新颖严格耗散性概念，证明其可推导分布、矩及样本路径的收费公路行为，并通过数值模拟验证。
2025-04-01 math.OC
$\mathcal{W}_\infty$-transport with discrete target as a combinatorial matching problem
在这个简短的说明中，我们表明，给定一个费用函数$c$，任何耦合$π$的两个概率测度，其中第二个是一个离散的措施可以相关联的一个特定的二部图包含一个完美的匹配，基于无限的运输成本$\norm{c}_{L^\infty(π)}$的值。耦合与二部图之间的这种对应关系是显式构造的。当目标测度是离散的时，我们给出了这个结果在$\mathcal{W}_\infty$最优输运问题中的两个应用，第一个是保证由映射诱导的最优计划存在的条件，第二个是近似最优计划的数值方法.
2020-07-15 cs.NA math.NA math.OC
Analysis of Discrete and Hybrid Stochastic Systems by Nonlinear Contraction Theory
研究离散和混合随机非线性动力系统的稳定性。更确切地说，我们扩展的随机收缩定理（这是制定连续系统）的情况下，离散和混合重置系统。特别是，我们表明，任何两个轨迹之间的离散（或混合重置）收缩随机系统的均方距离的上限由一个常数后，指数瞬变。利用这些结果，我们研究了由离散噪声相互作用耦合的噪声非线性振子的同步。
2008-04-06 math.OC math.PR
On limit periodicity of discrete time stochastic processes
本文考虑一个由周期系数差分方程描述的带有加性随机噪声的离散时间动力系统。我们调查的周期性的解决方案的可能性。特别地，我们找到了周期过程存在的充分条件，使得解收敛于它，包括几乎必然收敛。
2013-08-30 math.DS math.OC
Optimal control of stochastic networks of $M/M/\infty$ queues with linear costs
本文研究了具有线性成本的 $M/M/\infty$ 队列随机网络的最优控制问题，给出了有限和无限时域下最优控制策略的显式刻画，并证明其不依赖状态反馈而依赖网络拓扑和参数。
2025-09-10 cs.SY eess.SY math.OC
Null controllability for stochastic fourth order semi-discrete parabolic equations
本文针对空间有限差分离散、时间连续的随机四阶半离散抛物型方程，通过建立依赖网格尺寸的全局Carleman估计和松弛可观测性估计，并利用对偶技巧证明了其$ϕ$-零能控性。
2024-05-06 math.OC math.PR
New Convergence Aspects of Stochastic Gradient Algorithms
IBM Research（IBM研究院）；University of Connecticut（康涅狄格大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Cornell University（康奈尔大学）；Lehigh University（利哈伊大学）
在随机梯度范数一致有界的假设下，对SGD算法进行了经典的收敛性分析。虽然这可能适用于某些损失函数，但对于目标函数是强凸的情况，这是违反的。在Bottou等人（2018）中，在随机梯度相对于真实梯度范数有界的假设下，对SGD的收敛性进行了新的分析。我们表明，在机器学习中出现的随机问题，这样的界始终保持不变，我们还提出了一种替代的收敛性分析SGD与递减的学习率制度。然后，我们继续进行异步并行设置，并证明Hogwild的收敛性!算法在相同的制度的情况下减少学习率。众所周知，如果学习率序列$\{η_t\}$满足$\sum_{t=0}^\infty η_t \rightarrow \infty$和$\sum_{t=0}^\infty η^2_t < \infty$，则SGD收敛。当$\{η_t\}$为递减序列且$\sum_{t=0}^\infty η_t \rightarrow \infty$为有界梯度假设时，证明了强凸目标函数SGD的收敛性。换句话说，我们扩展了当前最先进的一类学习率，满足SGD的收敛性。
2019-11-08 cs.LG math.OC
Discrete time stochastic impulse control with delay
该研究针对离散时间下带执行延迟的无限时域脉冲控制问题，运用基于Snell包络的概率方法，针对两类效用函数构建最优策略并证明有界ε-最优策略存在，为处理相关系统延迟提供鲁棒框架。
2025-01-14 math.OC math.PR
Maximum principle for discrete-time robust stochastic optimal control problem
针对具有凸控制域的离散时间鲁棒随机最优控制问题，通过弱收敛方法和极小极大定理推导充要条件及变分不等式，并给出离散时间鲁棒投资问题的显式最优控制。
2025-08-24 math.OC math.PR
Lipschitzian Estimates in Discrete-Time Constrained Stochastic Optimal Control
本文研究了有限时间离散随机最优控制问题。研究了由动态规划算法得到的值函数的正则性。通过定义容许控制集的多功能函数的正则性结果，我们得到了价值函数的Lipschitz常数的精确估计。在最后一节中，我们讨论了最优资产分配问题的应用。
2002-06-05 math.DS math.OC
Blackwell-Nash Equilibrium for Discrete and Continuous Time Stochastic Games
我们考虑离散和连续时间有限状态行动随机对策。在离散时间随机对策中，作为一般随机对策的一种特殊情况，单控制器加性报酬（SC-AR）随机对策存在稳态Blackwell-Nash均衡（BNE）.我们表明，在一般情况下，添加剂的奖励条件是需要存在的BNE。给出了一个不满足可加报酬条件的单控制者随机对策的例子。我们表明，这个例子没有一个固定的BNE。对于一般的离散时间折扣随机对策，我们给出了两组不同的条件，并证明了满足任何一组条件的稳态纳什均衡是BNE。其中一组条件削弱了文献中可用的一组条件。对于连续时间随机对策，我们给出了一个不具有平稳BNE的例子。事实上，这个例子是一个单控制器连续时间随机对策。然后，我们引入了一个连续时间的SC-AR随机对策。我们证明了连续时间SC-AR随机对策总存在一个平稳的确定性BNE。对于一般的连续时间折扣随机对策，我们给出了两组不同的条件，并证明了满足任何一组条件的纳什均衡是BNE。
2016-05-03 cs.GT math.OC
Optimal and $H_\infty$ Control of Stochastic Reaction Networks
本文针对随机反应网络，提出并求解了连续时间有限时域最优控制及采样数据最优控制，并研究了连续与采样数据$H_\infty$控制，结果以非标准Riccati方程形式给出，可通过反向积分数值求解。
2024-09-20 cs.SY eess.SY math.OC
Discrete-time approximation for stochastic optimal control problems under the $G$-expectation framework
本文在$G$ -期望框架下，提出了一类随机最优控制问题的离散时间逼近格式。所提出的方案是基于分段常数策略递归构造的。我们证明了离散格式的收敛性，并确定了其收敛速度。数值例子说明了所得结果的有效性。
2021-10-04 cs.NA math.NA math.OC
Maximization of Non-Concave Utility Functions in Discrete-Time Financial Market Models
研究了有限时间内离散金融市场模型中期望终端效用最大化问题。与标准设置相反，考虑了可能的非凹效用函数$U$，定义域为$\mathbb{R}$。简单的条件，保证存在一个最优策略的问题。特别是，$U$的渐近弹性起着决定性的作用：当它在$-\infty$严格大于$+\infty$时，可以证明存在。
2014-09-03 math.OC q-fin.PM
Nonzero-sum Discrete-time Stochastic Games with Risk-sensitive Ergodic Cost Criterion
本文研究了波兰状态空间上受控离散时间 Markov 链的无限时间跨度非零和随机博弈，在风险敏感遍历成本准则下证明了最优性方程的唯一解，并通过集值映射的不动点确立了随机平稳策略下 Nash 均衡的存在性。
2024-08-23 math.OC math.PR
Transversality Conditions for Stochastic Higher-Order Optimality: Continuous and Discrete Time Problems
在研究有限长度专利的效果时，如Futagami and Iwaisako（2007）的开创性工作那样，自然会出现高阶最优化问题。在本文中，我们建立了欧拉方程和横截性条件分析这样的高阶最优化问题。我们发展我们的随机一般简化形式模型的结果，并考虑连续和离散时间的情况下。我们使用我们的结果来建立简化的家庭最大化问题的欧拉方程和横截性条件在Futagami和Iwaisako（2007）。
2012-03-17 math.OC q-fin.GN
Stochastic approximation with cone-contractive operators: Sharp $\ell_\infty$-bounds for $Q$-learning
UC Berkeley（加州大学伯克利分校）；Voleon Group（Voleon集团）
受强化学习中的$Q$学习算法研究的启发，本文研究了一类基于算子的随机逼近过程，该算子满足单调性和拟压缩性条件.我们证明了一个一般的三明治关系在每一个时间的误差，并使用它来获得锥诱导规范范数的误差的非渐近界。这些结果是在确定性框架内得出的，不需要对噪声进行假设。我们说明了这些一般的界限应用到同步$Q$ -学习折扣马尔可夫决策过程的离散状态-动作空间，特别是通过推导非渐近界的$\ell_\infty$ -规范的步长范围。这些结果是迄今为止已知的最尖锐的，我们通过模拟表明，在最坏的情况下，我们的边界的依赖性不能得到改善。这些结果表明，相对于基于模型的$Q$迭代，$Q$学习的基于$\ell_\infty$的样本复杂度在折扣因子$γ$方面是次优的。
2019-06-24 cs.LG math.OC stat.ML
Attack-resilient Estimation for Linear Discrete-time Stochastic Systems with Input and State Constraints
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种针对具有状态和输入约束的线性离散时间随机系统的攻击鲁棒估计算法，证明所提出的估计算法的状态估计误差在实践中指数稳定。
2019-03-19 cs.SY eess.SY math.OC
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Forward Reachability for Discrete-Time Nonlinear Stochastic Systems via Mixed-Monotonicity and Stochastic Order
本文扩展混合单调系统理论并结合随机序与集中不等式，提出离散时间随机非线性系统前向随机可达集及对应概率的过近似算法，并通过航空航天算例验证有效性。
2024-12-04 cs.SY eess.SY math.OC
Contraction Analysis of Discrete-time Stochastic Systems
在本文中，我们发展了一个新的收缩框架的稳定性分析的离散时间非线性系统的参数随机过程。对于一般随机过程，首先给出了关于黎曼度量的一阶矩一致增量指数稳定的充分条件。然后，重点研究了欧氏距离，给出了二阶矩下UIES的一个充要条件。通过研究一般的随机过程，我们可以很容易地推导出特殊类型过程的UIES条件，例如，i.i.d.过程和马尔可夫过程，这是证明我们的结果的选择应用。
2021-06-10 cs.SY eess.SY math.OC
Robust Recurrence of Discrete-Time Infinite-Horizon Stochastic Optimal Control with Discounted Cost
本文分析了非线性离散时间随机系统在最小化无限时域折扣成本的最优输入下的稳定性，证明了闭环系统在成本可控性与可检测性假设下满足一致半全局实际回归性，且该性质在额外连续性假设下具有鲁棒性。
2025-04-29 cs.SY eess.SY math.OC
The turnpike control in stochastic multi-agent dynamics: a discrete-time approach with exponential integrators
本文研究随机多智能体离散时间最优控制中的快速通道性质，证明在耗散性与可控性条件下该效应在噪声环境中仍成立，并采用指数积分器处理系统刚性，通过数值实验验证了其优于标准显式格式的性能。
2025-03-12 cs.NA math.NA math.OC
