Discrete-Time Approximations of Controlled Diffusions with Infinite Horizon Discounted and Average Cost
本文研究受控扩散过程无穷时域折扣与平均成本最优控制问题,通过构造离散时间马尔可夫链模型并利用弱收敛技术,证明离散模型的最优策略在采样周期趋近于零时对连续模型近最优,为受控扩散过程提供实用求解方法。
2025-02-08 math.OC
Policy iteration for discrete-time systems with discounted costs: stability and near-optimality guarantees
本文针对具有折扣代价的离散时间系统,提出策略迭代的新近最优性界,并证明在温和条件下经过有限次迭代即可实现闭环镇定。
2024-03-27 math.OC
Local turnpike analysis using local dissipativity for discrete time discounted optimal control
最近的文献中的结果提供了所谓的收费公路属性,闭环解的近最优性和严格耗散性之间的联系。受经济学应用的启发,阶段费用折扣的最优控制问题引起了人们极大的兴趣。与非折扣最优控制问题相比,它更可能是几个渐近稳定的最优平衡点共存。由于从局部均衡到全局均衡的贴现和过渡成本,保持局部均衡可能比转向全局均衡更有利。在文献中,严格耗散性被证明是最优平衡点和收费公路行为的全局渐近稳定性的判据。在本文中,我们提出了一个局部的折扣严格耗散性的概念和当地的收费公路性质,都依赖于折扣因子。使用这些概念,我们调查的本地行为(近)最优轨迹和开发条件的折扣因子,以确保收敛到一个本地渐近稳定的最优平衡。
2021-01-27 math.OC
Mean-Variance Optimization of Discrete Time Discounted Markov Decision Processes
本文研究了无限时域离散时间折扣马尔可夫决策过程(MDP)的均值-方差最优化问题。目标是在平均性能约束下最小化系统报酬方差。不同于文献中大多数要求平均性能已经达到最优的工作,我们可以让平均折扣性能等于任何常数。方差函数的二次型使得方差最小化问题不是一个标准的MDP问题,这是造成该问题困难的主要原因。通过证明可行策略空间的可分解结构,在一个新的折扣准则和一个新的报酬函数下,将约束方差最小化问题转化为一个等价的无约束MDP问题.通过一个差分公式量化了任意两种可行策略下马尔可夫链的方差之差。基于方差差公式,提出了一种求解最优策略的策略迭代算法。我们还证明了确定性策略对在均值约束策略空间中生成的随机策略的最优性。数值实验证明了该方法的有效性。
2017-08-23 math.OC
Multiple-Population Discrete-Time Mean Field Games with Discounted and Total Payoffs: The Existence of Equilibria
本文提出了多群体离散时间平均场博弈模型,在一般假设下首次证明了平稳和Markov平均场均衡的存在性,涵盖折扣与总收益准则,并扩展了单群体理论。
2023-04-06 math.OC
Robust Recurrence of Discrete-Time Infinite-Horizon Stochastic Optimal Control with Discounted Cost
本文分析了非线性离散时间随机系统在最小化无限时域折扣成本的最优输入下的稳定性,证明了闭环系统在成本可控性与可检测性假设下满足一致半全局实际回归性,且该性质在额外连续性假设下具有鲁棒性。
2025-04-29 cs.SY eess.SY math.OC
Discounted Gottschalk-Hedlund theorem
遍历优化和离散弱KAM理论是两个并行的理论,有一些共同的结果。例如,马瑟集是使给定可观测量的遍历平均最小化的轨道的轨迹。在较好的情况下,观测量与其在Mather集上的遍历极小值是同调的,离散的弱KAM解起着传递函数的作用。一种可能的建设这样的共边界是通过使用非线性Lax-Oleinik算子。另一种可能性是通过使用折扣上同调方程。已知折扣离散弱KAM解收敛于某个选定的弱KAM解。我们证明了,在遍历优化的情况下,一个最小的系统上的共界观测,折扣传递函数收敛当且仅当观察是平衡的。
2019-01-23 math.DS math.OC
Linear-Quadratic $N$-person and Mean-Field Games: Infinite Horizon Games with Discounted Cost and Singular Limits
我们考虑随机微分对策与$N$几乎相同的球员,线性高斯动态,和无限地平线折扣二次成本。容许控制是系统各态历经的反馈。本文首先研究了由$N$ Hamilton-Jacobi-Bellman和$N$ Kolmogorov-Fokker-Planck偏微分方程组成的系统的仿射Nash平衡点的存在性,证明了在小折扣因子下二次高斯解的存在性和唯一性.然后,我们证明了这样的解决方案的唯一二次高斯平均场方程对的解决方案的收敛性。讨论了一些奇异极限,如噪声消失、廉价控制和折扣消失等。
2014-03-17 math.AP math.OC
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术,我们的值函数,并规定最优控制。
2021-01-12 math.OC
Robustness and Approximation of Discrete-time Mean-field Games under Discounted Cost Criterion
University of Connecticut(康涅狄格大学);Bilkent University(比尔肯特大学)
本文研究了在模型不确定性下离散时间均场均衡的鲁棒性,通过价值迭代算法的收敛条件,证明了系统动态误标情况下均场均衡的鲁棒性,并展示状态空间量化足够精细时有限模型的均场均衡近似于名义解。
2023-10-16 cs.SY eess.SY math.OC
A Linear Programming Formulation for Constrained Discounted Continuous Control for Piecewise Deterministic Markov Processes
本文研究了一般Borel空间中分段确定马尔可夫过程(PDMP)的约束折扣控制问题。控制变量作用于跳变率和转移测度,目标是最小化由正运行成本和边界成本组成的总期望贴现成本,同时满足这种形式的一些约束。其基本思想是,通过使用PDMP的特殊功能,重写的问题,通过一个嵌入的离散时间马尔可夫链相关联的的PADMP和重新制定的问题作为一个无限维线性规划(LP)的问题,通过占用措施相关联的离散时间过程。重要的是要强调,然而,我们的新的离散时间问题是不是在一个一般的约束离散时间马尔可夫决策过程的相同的框架,由于这一点,需要一些条件来获得连续时间问题和LP公式之间的等价性。在[8]中定理4.1的推广的基础上,我们在下一章中给出了相关线性规划问题可解的充分条件。在附录中,我们提出了这个推广的证明,我们相信,它本身是有趣的。最后,通过一些例子说明了所得结果。
2014-02-25 math.OC
On Supervised On-line Rolling-Horizon Control for Infinite-Horizon Discounted Markov Decision Processes
本文研究了具有无限时域折扣期望回报准则的马尔可夫决策过程的滚动时域控制问题。与经典的值迭代方法不同,本文提出了一种基于策略迭代的异步在线算法,并结合策略切换的多策略改进方法。通过仅在当前访问状态下更新当前解来生成预测时域子MDP的单调改进解序列,实际上构建了无限时域上MDP的滚动时域控制策略。如果有“主管”的反馈,也可以在更新时纳入。我们专注于与MDP的过渡结构的收敛问题。该算法在有限时间内实现整体收敛到最优预测策略或局部收敛到“局部最优”固定策略。
2022-06-04 math.OC
Numerical Discretization Methods for the Discounted Linear Quadratic Control Problem
本文研究带时滞的连续时间折扣线性二次最优控制问题的数值离散化方法,通过将离散系统矩阵表述为微分方程组并求解,提出三种数值方法,实验证明步长加倍法在保持精度的同时速度最快。
2024-07-26 math.OC
More on homotopy continuation method and discounted zero-sum stochastic game with ARAT structure
本文通过引入同伦函数来跟踪轨迹,应用改进的同伦延拓方法求解二人零和折扣随机ARAT对策。我们证明了该算法具有较高的收敛阶。对于所提出的算法,同伦路径接近的解决方案是光滑和有界的。两个数值例子说明了所提出的算法的有效性。
2022-03-16 math.OC
Stochastic Setup-Cost Inventory Model with Backorders and Quasiconvex Cost Functions
本文研究了一类具有缺货和库存/缺货成本且满足拟凸性假设的单商品库存模型。我们表明,这种库存模型的马尔可夫决策过程满足的假设,导致折扣和平均成本问题的最优性方程的有效性和最优$(s,S)$政策的存在。特别地,我们证明了折扣值函数族的等度连续性和最优折扣下限阈值收敛到最优平均成本阈值,对于收敛到$1.$的某些折扣因子序列。如果可以订购任意非负数量的库存,我们建立了更强的收敛性质:(i)最佳折扣下阈值$s_α$收敛于最佳平均成本下阈值$s;$;(ii)折扣相对值函数收敛于平均成本相对值函数。这些收敛结果以前仅针对折扣因子的子序列而已知,即使对于具有凸持有/积压成本的问题也是如此。本文的结果举行的问题,确定性的积极的提前时间。
2017-11-08 math.OC
Long-run impulse control with generalised discounting
本文研究广义贴现对Feller-Markov过程长期脉冲控制的影响,证明贴现与未贴现问题最优值相同,且未贴现最优策略对贴现准则最优或近似最优,从而提供时间一致解并简化Bellman方程。
2023-09-29 math.OC
Constrained discounted Markov decision processes with Borel state spaces
研究了Borel空间上具有无界报酬函数的离散时间折扣约束马尔可夫决策过程。在我们的方法中,转移概率函数是弱连续或集连续的。报酬函数在状态-动作对中是上连续的,在动作中是上连续的。我们的目标是研究具有无界报酬函数的模型,这在应用中经常遇到,例如,消费/投资问题。我们提供了一些一般性的假设,在这些假设下,CMDPs中的最优化问题在平稳随机策略类中是可解的。然后,我们指出,如果初始分布和转移概率是非原子的,然后使用Feinberg和Piunovskiy的一般纯化结果,静态最优策略可以是确定的。我们的主要结果说明了五个例子。
2019-03-27 math.OC
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法,提出改进的导航子问题解决方法,实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Approximate Constrained Discounted Dynamic Programming with Uniform Feasibility and Optimality
本文针对带一致可行性约束的无限时域折扣CMDP,提出一种动态规划方程,证明由其构造的策略在所有状态上达到最优值,并基于策略迭代思想设计了具有局部收敛性的离线和在线算法。
2023-08-07 math.OC
Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes
Department of Mathematics, RWTH Aachen University(数学系,亚琛工业大学)
本文研究了熵正则化在折扣马尔可夫决策过程中的收敛率,证明了误差随正则化强度倒数呈指数衰减,并改进了自然策略梯度方法的误差衰减特性。
2026-09-10 cs.LG cs.SY eess.SY
Benign Nonconvex Landscape for Policy Optimization: Infinite-Horizon Discounted MDPs with General State and Action Spaces
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院)
本文针对一般状态与动作空间的无限时域折扣MDP,提出弱条件排除次优平稳点并建立PLK条件,验证于两类运营模型,给出策略梯度方法首次非渐近收敛率。
2026-09-21 math.OC
Long time behavior of the master equation in mean-field game theory
平均场博弈(MFG)系统描述了具有无穷多个相互作用控制器的博弈中的均衡配置。我们感兴趣的是当视界变大时,或者当折扣因子趋于$0$时,系统的行为。我们证明了在这两种情况下,平均场博弈系统的渐近行为分别与主方程的长时间行为和贴现主方程的贴现极限的消失密切相关.这两个方程都是测度空间中的非线性输运方程。我们证明了一个遍历主方程的解的存在性,其中时间依赖的主方程收敛的地平线变得很大,并朝着折扣主方程收敛的折扣因子趋于$0$。整个分析的基础上获得新的估计的指数收敛速度的时间依赖的MFG系统和折扣MFG系统。
2017-09-13 math.AP math.OC
On an example for the Uniform Tauberian theorem in abstract control systems
研究了具有长时间平均值和折扣平均值的抽象控制问题的值函数的渐近性态。这些问题的一致陶伯定理指出,长时间平均值的值函数的一致收敛性(当视界趋于无穷大时)等价于贴现平均值的值函数的一致收敛性(当贴现趋于零时),并且极限是相同的。根据Miquel Oliu-Barton和Guillaume Vigeral,如果所有可行过程的集合关于级联是封闭的,则此断言成立。在本文中,我们改进了这个条件。
2016-04-25 math.OC
A note on the policy iteration algorithm for discounted Markov decision processes for a class of semicontinuous models
针对半连续折扣 MDP 中标准 PI 因可测性问题失效的情况,提出带平滑步骤的替代策略迭代算法,并证明其线性收敛及存在连续代价的最优改进策略。
2023-07-13 math.OC
Optimal Convergence Rate for Exact Policy Mirror Descent in Discounted Markov Decision Processes
Imperial College London(伦敦帝国学院);University of Oxford(牛津大学)
本文研究了精确策略评估下策略镜像下降(PMD)的收敛性,证明在自适应步长下无正则化PMD可实现与策略迭代相同的最优折扣因子$γ$速率,并扩展至不精确设置以改进样本复杂度。
2023-11-21 cs.LG math.OC math.ST
On the Monotonicity and Rate of Convergence of the Markovian Persuasion Value
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文研究了马尔可夫说服模型中说服价值的单调性和收敛速率,推导了δ-折扣价值随δ趋近于1时的收敛速率上界,并将其扩展到马尔可夫链博弈模型。
2025-12-07 math.OC
Policy Iteration for Stationary Discounted Hamilton--Jacobi--Bellman Equations: A Viscosity Approach
Gachon University(嘉泉大学);Yonsei University(延世大学)
本文提出了一种针对 stationary 折扣 HJB 方程的策略迭代方法,通过引入人工粘性阶 O(h) 的空间离散方案,恢复了比较性并保证了单调性,实现了几何收敛到唯一解,并推导了误差分解与非平凡耦合机制。
2026-09-16 cs.NA math.NA math.OC
Properties of Turnpike Functions for Discounted Finite Markov Decision Processes
Stony Brook University(石溪大学);University of California San Diego(加州大学圣地亚哥分校)
本文针对有限状态动作集的折扣离散时间 MDP,研究 VIA 的收敛时间,设计算法检测不规则折扣因子,证明 turnpike 函数性质并求解小折扣因子下的 MDP。
2026-08-11 math.OC
Convergence of discrete Aubry-Mather model in the continuous limit
School of Mathematical Sciences, Beijing Normal University(北京师范大学数学科学学院);Institut de Mathématiques de Bordeaux, Université de Bordeaux(波尔多大学数学研究所)
本文基于Aubry-Mather-Fathi理论,发展了两种求解单元方程和折扣单元方程的近似方案,研究了时间离散化后涉及离散Lax-Oleinik算子的加法特征值问题,并展示了如何通过时间步长趋近于零来逼近有效哈密顿量和弱KAM解。
2017-07-18 cs.NA math-ph math.AP
Linear Mean-Field Games with Discounted Cost
在本文中,我们介绍了离散时间线性平均场游戏的无限时域折扣成本最优性准则。一般代理的状态空间是紧Borel空间。每一次,每个代理都通过它们的动态和一级代价函数与另一个代理随机耦合,其中这种随机化是通过它们的状态的经验分布生成的(即,平均场项)。因此,每个代理的转移概率和一阶段代价函数线性依赖于平均场项,这是经典平均场博弈与线性平均场博弈的关键区别。在温和的假设下,证明了当代理人$N$的数目足够大时,从无限种群均衡中得到的策略是$\varepsilon(N)$ -Nash,其中$\varepsilon(N)$是$N$的显式函数.然后,利用MDP的线性规划公式和转移概率在平均场项下的线性性,将无限种群极限下的博弈表示为广义Nash均衡问题(GNEP),并建立了一个具有收敛保证的均衡计算算法.
2023-01-15 cs.SY eess.SY math.OC
On the Optimality Equation for Average Cost Markov Decision Processes and its Validity for Inventory Control
众所周知,平均费用最优性不等式意味着单位时间平均费用的马尔可夫决策过程存在平稳最优策略,并且这些不等式在广泛的自然条件下成立。本文对具有弱连续转移概率和可能无界的一步费用和非紧行动集的无限状态问题,给出了平均费用最优性方程有效的充分条件.这些条件也意味着折扣相对值函数序列收敛于平均费用相对值函数和平均费用相对值函数的连续性。如本文所示,经典的库存检查库存控制问题满足这些条件。因此,对于这个问题,最优性不等式以具有连续平均成本相对值函数的等式的形式成立。此外,当折扣因子增大到1时,折扣相对值函数的$K$ -凸性及其收敛于平均费用相对值函数的性质,也隐含了平均费用相对值函数的$K$ -凸性.这意味着库存控制问题的平均成本最优$(s,S)$策略可以从平均成本最优性方程导出。
2016-10-02 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
Non-Convex Global Optimization as an Optimal Stabilization Problem: Convergence Rates
Imperial College London(帝国理工学院);University of Graz(格拉茨大学)
本文将非凸全局优化问题转化为折扣无限时间最优控制问题,建立非凸、连续且可能非光滑目标函数的显式指数收敛速率理论,无需凸性、可微性或Lojasiewicz型条件。
2026-03-29 math.OC
Convergence of discrete time Kalman filter estimate to continuous time estimate
本文讨论了当时间离散化细化时,由离散时间卡尔曼滤波得到的状态估计收敛到连续时间估计的问题。我们得到不同系统的收敛速度估计,首先有限维,然后无限维有界或无界观测算子。最后,在系统动力学由解析半群控制的情况下,我们得到了它的收敛速度。证明是基于应用离散时间卡尔曼滤波器上的一个稠密的子集的一定的时间间隔$[0,T]$。
2015-12-09 math.OC
Distributed Solver for Discrete-Time Lyapunov Equations Over Dynamic Networks with Linear Convergence Rate
研究了多智能体系统中离散时间李雅普诺夫方程(DTLE)的求解问题,其中每个智能体都可以访问自己的局部信息并与邻居进行通信.为了获得DTLE的解决方案,提出了一种分布式算法与不协调的常数步长随时间变化的拓扑结构。分析了该算法的收敛性和定步长范围。证明了该算法具有线性收敛速率,并通过数值模拟验证了算法在动态网络中的收敛性能。
2019-04-30 math.OC
Convergence analysis of the discrete consensus-based optimization algorithm with random batch interactions and heterogeneous noises
本文研究了具有随机批量交互和异质外部噪声的离散共识优化算法的随机一致性和收敛性。尽管离散CBO算法在许多实际仿真中得到了广泛的应用和成功的性能,但其收敛性并没有得到严格的研究。在这项工作中,我们介绍了一个广义离散CBO算法的加权代表点和随机批交互,并表明,所提出的离散CBO算法具有随机共识和收敛到共同的平衡态指数快速适当的假设下,系统参数。为此,我们将给定的CBO算法与随机批量交互作为一个离散的共识模型与随机切换网络拓扑结构,然后我们使用的混合性质的相互作用在足够长的时间间隔,以获得随机共识和收敛估计的均方和几乎必然的意义。我们提出的分析显着提高了早期的CBO模型的收敛性分析与全批相互作用和均匀的外部噪声。
2021-07-30 math.DS math.OC
Convergence and error estimates for time-discrete consensus-based optimization algorithms
我们提出了收敛性和误差估计的时间离散的共识为基础的优化(CBO)算法在[arXiv:1909.09249]一般非凸函数。在作者最近的工作[arxiv:1910.08239]中,在粒子水平上研究了[arXiv:1909.09249]中提出的基于一阶共识的优化算法的严格误差分析,而没有通过平均场极限求助于动力学方程。然而,由于缺乏伊藤随机分析的离散模拟,相应的时间离散算法的误差分析没有做。在本文中,我们提供了一个简单的和基本的收敛性和误差分析的一般时间离散共识为基础的优化算法,其中包括三个离散算法在[arXiv:1909.09249]。我们的分析提供了数值稳定性和收敛条件的三个算法,以及误差估计的全局极小值。
2020-03-11 math.DS math.OC
Convergence Properties for Discrete-time Nonlinear Systems
三个类似的收敛概念。其中两个是长期建立的概念收敛动态和增量稳定性。另一个是最近的收缩分析概念。所有这三个收敛概念都要求系统的所有解相互收敛。在本文中,我们研究的离散时间,时变非线性系统的这些收敛性之间的差异,通过比较的性质,成对使用的例子。我们还证明了这些收敛概念的时变光滑的李雅普诺夫函数表征,并在适当的假设下,我们提供了几个充分条件,以建立这些属性之间的关系的李雅普诺夫函数。
2018-11-04 math.DS math.OC
Operator Splitting Value Iteration
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
我们引入新的规划和强化学习算法的折扣MDP,利用环境的近似模型,以加速收敛的价值函数。受数值线性代数中的分裂方法的启发,我们引入了算子分裂值迭代(OS-VI)用于策略评估和控制问题。当模型足够精确时,OS-VI实现了更快的收敛速度。我们还介绍了一个基于样本的版本的算法称为OS-Dyna。与传统的Dyna架构不同,OS-Dyna在存在模型近似误差的情况下仍然收敛到正确的价值函数。
2022-11-25 cs.AI cs.LG cs.SY
Linear Convergence for Natural Policy Gradient with Log-linear Policy Parametrization
University of Oxford(牛津大学)
在无限时间折扣马氏决策过程中,我们分析了具有对数线性策略参数化的非正则化自然策略梯度算法的收敛速度。在确定性的情况下,当Q值是已知的,可以近似由一个已知的特征函数的线性组合的偏差误差,我们表明,几何增加的步长产生线性收敛速度向最优策略。然后,我们考虑基于样本的情况下,当一个已知的特征函数的线性组合的Q-价值函数的最佳表示是已知的估计误差。在这种设置中,我们表明,该算法享有相同的线性保证,在确定性的情况下,取决于估计误差,偏置误差,和特征协方差矩阵的条件数的误差项。我们的研究结果建立在政策镜像下降的一般框架,并将以前的研究结果softmax表格参数化的对数线性政策类。
2023-03-13 cs.LG math.OC math.ST