Ergodic Risk Sensitive Control of Diffusions under a General Structural Hypothesis
Institut Für Mathematik, Technische Universität Ilmenau(伊尔梅瑙工业大学);Department of Computational Applied Mathematics and Operations Research, George R. Brown School of Engineering, Rice University(莱斯大学)
本文在一般结构假说下研究扩散过程的遍历风险敏感控制问题,通过引入inf-紧扰动和变分公式,刻画最优平稳马尔可夫控制并解决紧性问题。
2026-10-05 math.OC math.PR
Primal-Dual $π$ Learning: Sample Complexity and Sublinear Run Time for Ergodic Markov Decision Problems
Princeton University(普林斯顿大学)
考虑通过采样状态转移来近似马尔可夫决策过程(MDP)的最优策略的问题。与现有的基于非线性Bellman方程逐次逼近的强化学习方法相比,我们提出了一种基于值和策略之间的线性对偶性的原始-对偶$π$学习方法. $π$学习方法是无模型的,并且随着新数据的出现对策略和值向量进行原始-对偶更新。对于具有有限状态空间$S$和有限动作空间$A$的无限时域未贴现马尔可夫决策过程,$π$学习方法使用以下样本转移数$$ \tilde{O}( \frac{(τ\cdot t^*_{mix})^2 |S| |A| }{ε^2} ),$$找到$ε$最优策略,其中$t^*_{mix}$是所有策略的混合时间的上界,$τ$是表征策略的平稳分布范围的参数。$π$学习方法也适用于MDP的计算问题,其中转移概率和奖励被明确地给出作为输入。在每个状态转换可以在$\tilde{O}(1)$时间内采样的情况下,$π$学习方法给出了用于求解平均奖励MDP的次线性时间算法。
2017-10-17 cs.CC cs.LG math.OC
Ergodic Risk Sensitive Control of Markovian Multiclass Many-Server Queues with Abandonment
本文研究 Halfin--Whitt 机制下带弃单的多类多服务器队列的遍历风险敏感最优调度问题,通过引入辅助控制并利用变分表示,证明了扩散尺度化排队过程的最优 ERSC 值渐近收敛到极限扩散的最优值。
2024-10-22 math.OC math.PR
An ergodic control problem for many-server multiclass queueing systems with cross-trained servers
AM/M/N+在Halfin-Whitt机制中,考虑独立的客户类和d个服务器池。第i类客户具有池i中的服务的优先级,其中i = 1,. . .、d,并且如果某个其他池有空闲服务器并且池i中的所有服务器都很忙,则可以访问该池。我们建立了一个遍历控制问题,其中运行成本由多项式增长的非负凸函数给出。我们表明,限制受控扩散模型的动作空间,它取决于状态变量。我们对极限遍历控制问题进行了完整的分析,并建立了排队模型的值函数的渐近收敛
2017-07-15 math.OC math.PR
Ergodic control of a class of jump diffusions with finite Lévy measures and rough kernels
研究了$\mathbb{R}^d$中一类跳跃扩散过程的遍历控制问题,该过程是通过有界控制的漂移来控制的。Levy测度是有限的,但没有特殊的结构;它可以是各向异性的和奇异的。此外,对于受控过程,不存在覆盖遍历性假设。不稳定的行为是"劝阻"的运行成本,满足一个温和的强制性假设(即,几乎是单调的)。首先,我们研究的问题,在其弱制定为一个最优化问题的空间上的无穷小遍历占领措施,并推导出Hamilton-Jacobi-Bellman方程的参数,包括验证的最优性结果,仅使用分析参数的最小假设。我们还研究了不变测度的正则性。然后,我们讨论了跳跃扩散模型,并得到了最优性的完整刻画。
2018-01-24 math.AP math.OC
Stability of long run functionals with respect to stationary Markov controls
本文研究平稳马尔可夫控制逐点收敛时长期泛函的稳定性,考虑单位时间平均成本与长期风险敏感两类泛函,通过一致遍历性假设及其放宽,结合受控转移概率收敛性分析其依赖性。
2024-11-30 math.OC math.PR
Value existence for zero-sum ergodic stochastic differential games
School of Mathematics and Statistics, Shandong University(山东大学数学与统计学院);Research Center for Mathematics and Interdisciplinary Sciences, Shandong University(山东大学数学交叉科学研究院);Department of Mathematical Sciences, Durham University(杜伦大学数学科学系)
本文研究了零和ergodic随机微分博弈的价值存在性,通过建立粘性解并结合近似过程与卷积技术,证明了博弈价值的存在,并应用于污染累积问题。
2026-01-19 math.OC math.PR
On Solutions of Mean Field Games with Ergodic Cost
一般类的平均场游戏被认为是在$\mathbb{R}^d$的控制动态扩散。优化准则是运行费用函数的长时间平均。在各种假设下,我们建立了平均场博弈解的存在性。我们还研究了与有限视界问题相关的平均场对策解的长时间行为,并在动力学几何遍历性的假设下,证明了当视界趋于无穷大时,这些平均场对策解收敛到遍历平均场对策解。最后,我们研究了相关的$N$ -局中人博弈,证明了纳什均衡的存在性,并建立了与博弈的纳什均衡相关联的解收敛到平均场博弈解为$N\to\infty$。
2015-10-29 math.OC math.PR
On the existence of optimal stationary policies for average Markov decision processes with countable states
对于具有可数无限状态的马尔可夫决策过程,在平稳策略集中可能无法获得最优值。本文研究了可数状态马尔可夫决策过程在长期平均准则下最优平稳策略的存在条件。通过在遍历MDP策略空间上适当定义度量,最优平稳策略的存在性可以由空间的紧性和长期平均成本关于度量的连续性来保证.我们进一步扩展了这个条件的一些假设,可以很容易地验证在特定系统的控制问题,如混沌系统。我们的结果作出了补充贡献的文献中,我们的方法是能够处理的费用函数无界的上下,只有在连续和遍历的条件。最后给出了几个例子来说明我们的主要结果的应用。
2020-07-03 math.OC
Analytical and numerical solutions to ergodic control problems arising in environmental management
优化长期目标的环境管理是一个遍历控制问题,其解决方案可以通过求解相关的非局部Hamilton-Jacobi-Bellman(HJB)方程来实现。泥沙存储管理作为一个现代工程问题,我们制定,分析和计算离散观测下的一个新的遍历控制问题:一个简单但不平凡的数学问题。我们给出了相应的具有唯一非光滑性和间断性的HJB方程的最优性和比较结果。为了数值计算HJB方程,我们提出了一种新的快速扫描方法,该方法既不需要伪时间积分,也不需要消失折扣。最优策略和有效的哈密顿量,然后同时计算。计算分析了数值解的收敛速度。一个先进的鲁棒控制对应的动态涉及的不确定性也被认为是数字。
2021-04-25 cs.NA math.NA math.OC
Long-run risk-sensitive portfolio optimisation with proportional transaction costs and log Lévy asset prices
Jagiellonian University(雅盖隆大学);Institute of Mathematics Polish Academy of Sciences(波兰科学院数学研究所)
针对对数Lévy资产价格且仅可在随机投资机会再平衡的连续时间市场,研究带比例交易成本的长期风险敏感投资组合优化,求解遍历Bellman方程并验证相关渐近性与收敛性,数值示例佐证结果。
2026-08-20 math.OC
Some new results on sample path optimality in ergodic control of diffusions
对一类受漂移控制的非退化扩散过程的遍历控制问题,给出了样本路径最优性的一些新结果。文献中最常使用的假设,以确保a.s.的存在。样本路径最优平稳马尔可夫控制要求所有容许控制上有界域的首中时$τ$的二阶矩是有限的。我们表明,这可以大大削弱:${\mathrm E}[τ^2]$可以取代${\mathrm E}[τ\ln^+(τ)]$,从而减少所需的收敛速率的平均值从多项式对数。一个福斯特-李雅普诺夫条件,保证这一点也展出。此外,我们研究了一个大类的模型,既不是一致稳定的,也没有一个近单调的运行成本,我们表现出充分条件的样本路径最优平稳马尔可夫控制的存在。
2017-01-02 math.OC math.PR
Ergodic control of diffusions with compound Poisson jumps under a general structural hypothesis
研究了一类由复合泊松过程驱动的受控跳跃扩散过程的遍历控制问题。这扩展了[SIAM J. Control Optim. 57(2019),No. 2,1516-1540]到不是接近单调的运行成本。这种普遍性是需要在应用程序,如大规模并行服务器网络的优化调度。我们通过Hamilton-Jacobi-Bellman(HJB)方程提供了一个完整的最优性表征,在温和的假设下,我们还表现出解的正则性。此外,我们还证明了最优平稳马尔可夫控制是a.s.路径最优最后,我们证明了在一个足够大的有界域上求解HJB,可以在紧集之外固定一个稳定控制,并获得近最优解。这对于构造多类并行服务器网络的渐近最优调度策略是有用的。
2019-08-02 math.OC math.PR
The mean field Schrödinger problem: ergodic behavior, entropy estimates and functional inequalities
我们研究了平均场薛定谔问题(MFSP),这是一个问题,找到最有可能的相互作用的布朗粒子云的条件上观察他们的初始和最终配置的演变。它的严格公式是一个具有边际约束的最优化问题,其目标函数是与弱依赖布朗粒子系统相关的大偏差速率函数。我们进行了一个很好的研究,其解决方案的动态,包括定量的能量耗散估计产生的指数收敛到平衡的观测之间的时间越来越大,以及一类新的功能不等式涉及的平均场熵成本(即最优值(MFSP))。我们的策略揭示了一个有趣的前向后随机微分方程和黎曼演算的概率测度空间上的奥托,这是独立的兴趣。
2019-05-07 math.OC math.PR
Non-Ergodic Convergence Algorithms for Distributed Consensus and Coupling-Constrained Optimization
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学查尔斯·L·布朗电气与计算机工程系)
本文提出非平稳收敛算法用于分布式共识与耦合约束优化,通过线性化乘子法实现非平稳次线性收敛速率,并在经济调度问题中验证了算法的有效性。
2025-11-24 cs.MA cs.SY eess.SY
Convergence of The Relative Value Iteration for the Ergodic Control Problem of Nondegenerate Diffusions under Near-Monotone Costs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Technology, Powai, Mumbai 400076, India(印度理工学院)
针对漂移控制的非退化扩散过程,在近单调运行成本结构下,研究相对值迭代算法(拟线性抛物型柯西初值问题)的解对任意有界初始条件收敛到遍历控制问题对应的Hamilton-Jacobi-Bellman方程的解。
2013-04-02 cs.SY eess.SY math.AP
Robust Ergodic Control of Jump-Diffusion Systems under Drift and Intensity Uncertainty
CUNEF Universidad(CUNEF大学);University of Padova(帕多瓦大学);Bielefeld University(比勒费尔德大学)
针对同时存在连续波动和罕见冲击的跳扩散系统,考虑漂移和跳跃强度不确定性,提出一种鲁棒遍历奇异控制方法,通过熵惩罚扭曲处理模型模糊性,并证明最优策略由反射屏障表征。
2026-06-08 math.OC math.PR
Singularly perturbed linear programs and Markov decision processes
贴现和长期平均MDP的线性规划公式沿着不同的轨迹发展。2006年,E. Altman指出,贴现和长期平均MDP的两个线性规划公式很可能是奇摄动线性规划一般性质的表现。在本说明中,我们证明了这一点。
2016-11-21 math.OC
Linear Programming Formulations of Deterministic Infinite Horizon Optimal Control Problems in Discrete Time
本文研究离散时间中具有时间折扣和时间平均准则的无限时域最优控制问题。我们建立,这些问题涉及到某些无限维线性规划(IDLP)问题。我们还建立了时间折扣和长期平均准则下问题的最优值之间的渐近关系。
2017-02-02 math.OC
Undiscounted optimal stopping with unbounded rewards
我们研究最优停止的Feller-Markov过程,以最大限度地提高一个未贴现的功能,包括运行和终端奖励。在有限时间范围内,我们将经典的结果扩展到无界奖励。在无限视界中,我们求助于底层过程的遍历结构。当跑步奖励是轻微的惩罚延迟停止(即,它在不变测度下的期望是负的),我们证明了最优停时的存在性,并以标准式的形式给出了最优停时为第一次进入闭集的时间.本文通过放松奖励的有界性来推广Palczewski,Stettner(2014),Stoch Proc Appl 124(12)3887-3920。
2016-07-20 math.OC
Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time
提出了一种新的随机线性规划算法来逼近折扣马尔可夫判定问题的最优策略。该算法利用价值-策略对偶和二叉树数据结构,自适应地对状态-动作-状态转换进行采样,并进行指数化的原始-对偶更新。我们发现,它发现了一个$ε$最优的政策,在最坏的情况下,使用接近线性的运行时间。当马尔可夫决策过程是遍历的,且以某些特殊的数据格式指定时,该算法利用运行时间对状态-动作对的总数是线性的,而对输入大小是次线性的,找到一个$ε$ -最优策略.这些结果为求解随机动态规划提供了一个新的场所和复杂性基准。
2017-09-13 cs.DS math.OC
Average cost optimal control under weak ergodicity hypotheses: Relative value iterations
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Technology, Powai, Mumbai(印度理工学院孟买校区)
本文研究了在弱ergodic性假设下,通过相对价值迭代算法求解平均成本最优控制问题,探讨了Bellman方程的正确性以及滚动时间策略的稳定性与渐近最优性。
2023-08-14 cs.SY eess.SY math.OC
Singular stochastic control problems motivated by the optimal sustainable exploitation of an ecosystem
本文研究由生态系统最优可持续开发驱动的单调跟随者型奇异随机控制问题,推导了期望折扣、期望遍历和路径遍历三种准则下的显式解,证明最优策略为阈值型,并揭示折扣解向遍历解的收敛性。
2025-02-04 math.OC math.PR
Long-run risk sensitive dyadic impulse control
本文研究了连续时间Feller-马尔可夫过程的并元脉冲控制下的长期风险敏感优化问题。与现有文献相比,重点放在无界和非一致遍历的情况下,通过调整的重量范数的方法。特别是,它示出了如何结合几何漂移与本地minorisation属性,以扩展本地跨度收缩的方法时,该过程以及链接的奖励/费用函数是无界的。对于任何预定义的风险规避参数,适当的贝尔曼方程的解的存在性示出和链接到基本的随机控制问题。为了完整性,提供了满足几何漂移假设的不受控过程的示例。
2019-06-14 math.OC math.PR q-fin.MF
Ergodic Diffusion Control of Multiclass Multi-Pool Networks in the Halfin-Whitt Regime
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了在Halfin-Whitt regime下,多类多池网络在遍历平均成本准则下的极限扩散控制问题,提出了两种控制形式:最小化排队和空闲成本,以及仅最小化排队成本并约束所有服务器池的空闲率。通过递归叶消除算法,得到了受控扩散过程的漂移表达式,并证明了存在稳定的马尔可夫控制使扩散过程几何平稳。
2015-08-19 cs.SY eess.SY math.OC
Two sided ergodic singular control and mean field game for diffusions
本文研究线性扩散驱动的平均场博弈,先求解无相互作用的双边遍历奇异控制问题,证明双阈值反射策略最优,并据此建立反射型总体控制下均衡存在判据、非线性方程及有限Nash均衡的逼近结果。
2024-06-11 math.OC math.PR
Long-Run Average Sustainable Harvesting Policies: Near Optimality
研究了一类捕食者-食饵系统中捕食者的近优可持续收获策略。目标函数为单位时间长期平均型。迄今为止,环境噪声作用下的生态系统通常被建模为布朗运动驱动的随机微分方程。认识到,制定使用布朗运动只是一个理想化,在本文中,它是假设的环境是受到干扰的特征在于一个跳跃过程,具有快速跳跃率。在广泛的条件下,它表明,所考虑的系统可以近似为一个受控扩散系统。基于极限扩散系统,构造了原系统的控制策略。这种方法使我们能够制定可持续的收获政策,从而接近最优。为了处理潜在的问题,主要困难之一是由于长期平均目标函数。这反过来又需要处理一些与遍历性有关的问题。基于种群动力学系统,发展了新的方法来获得底层过程的紧密性。
2017-10-08 math.OC math.PR
Infinite horizon stopping problems with (nearly) total reward criteria
我们研究了一个无限时域最优停止问题,它自然产生于公司/项目销售的最佳时机或自然资源的估值:要最大化的功能是一个折扣的运行奖励和折扣的最终奖励的总和。运行和最终奖励以及瞬时利率(用于计算折扣因子)取决于Feller-马尔可夫过程,该过程对世界上潜在的随机性进行建模,例如股票价格、自然资源(天然气、石油等)的价格,或影响利率的因素。多年来,假设利率与0一致分离似乎是明智的,这是现有理论工作所必需的。然而,日本和欧洲最近的事态发展表明,利率可以任意接近0。在本文中,我们建立了停止问题的可行性,证明了最佳停时的存在性和价值函数的变分特征(在粘性意义下)时,利率是不一致分离0。我们的结果依赖于某些遍历性的基本(非一致)遍历马尔可夫过程。我们提供了几个标准的扩散和跳跃扩散。
2014-01-27 math.OC math.PR
Ergodic control of multi-class $M/M/N+M$ queues in the Halfin-Whitt regime
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
研究多类队列网络在大量统计相同服务器池中的动态调度问题,通过遍历扩散控制问题近似最优解,建立完全最优性特征并证明多类队列控制问题值的渐近收敛性。
2015-10-29 cs.SY eess.SY math.OC
Mean-Field Games with two-sided singular controls for Lévy processes
研究Lévy过程驱动的概率平均场博弈,个体通过càdlàg过程控制以最小化成本并与群体交互,利用Brouwer不动点定理证明均衡控制存在性并刻画为积分微分方程解,同时探讨唯一性反例及有限参与者博弈收敛性。
2025-05-28 math.OC math.PR
Optimal control of Markov-modulated multiclass many-server queues
研究了到达率、服务率和放弃率均由有限状态马尔可夫过程调制的多类多服务台排队系统。我们假设系统运行在“平均”Halfin-Whitt制度,这意味着它是临界加载的平均意义上,虽然不一定在每个状态的马尔可夫过程。我们证明了在任何静态优先策略下,马尔可夫调制扩散标度排队过程是几何遍历的。这是通过采用相关的泊松方程的解决方案,以构建一个合适的李雅普诺夫函数。建立了扩散尺度排队过程的泛函中心极限定理,证明了该极限过程是具有分段线性漂移和常数协方差阵的受控扩散过程.我们解决无限时域贴现和长期平均(遍历)最优控制问题,并建立渐近最优性。
2018-08-13 math.OC math.PR
Strict monotonicity of principal eigenvalues of elliptic operators in $\mathbb{R}^d$ and risk-sensitive control
本文研究了一类二阶椭圆型算子$\mathscr{L} = a^{ij}\partial_{x_i}\partial_{x_j} + b^{i}\partial_{x_i} + f$的$\mathbb{R}^d$上的本征值问题,该算子具有非退化扩散。我们表明,严格的单调性的主特征值的运营商就势函数$f$充分的遍历特性的相关的基态扩散,和唯一性的基态,我们提出了一个全面的研究的本征值问题从这个角度来看。这使我们能够扩展或加强各种结果在文献中的一类粘性的遍历型的光滑系数的Hamilton-Jacobi方程方程的可测的漂移和潜在的。此外,我们建立了等价的无穷维线性规划制定这些遍历控制问题的强对偶。我们还将这些结果应用到研究无限时域风险敏感控制问题的扩散,并建立最优马尔可夫控制的存在性,最优性结果的验证,以及受控主特征值相对于平稳马尔可夫控制的连续性。
2018-01-31 math.AP math.OC math.PR
Wasserstein Formulation of Reinforcement Learning. An Optimal Transport Perspective on Policy Optimization
IRMA(斯特拉斯堡大学机构)
本文从最优传输视角出发,提出一种几何框架,将策略视为动作概率空间的映射,定义了由稳态分布诱导的Riemann结构,推导了策略的切空间及测地线,并基于Otto算子构建梯度流,通过数值实验验证了方法的有效性。
2026-10-06 cs.LG math.OC math.PR