A New Condition for the Existence of Optimal Stationary Policies in Denumerable State Average Cost Continuous Time Markov Decision Processes with Unbounded Cost and Transition Rates
本文给出了转移率和费用均为无界的平均费用连续时间马氏决策过程存在最优平稳策略的一个新条件。这个条件与系统的稳定性密切相关。这表明稳定性的证明可以用来验证最优平稳策略的存在性。这种新的条件比现有条件更容易验证。此外,提供了几个条件,足以平均成本最优性等式举行。
2015-04-22 math.OC
Ergodic Risk Sensitive Control of Markovian Multiclass Many-Server Queues with Abandonment
本文研究 Halfin--Whitt 机制下带弃单的多类多服务器队列的遍历风险敏感最优调度问题,通过引入辅助控制并利用变分表示,证明了扩散尺度化排队过程的最优 ERSC 值渐近收敛到极限扩散的最优值。
2024-10-22 math.OC math.PR
Markov Decision Processing Networks
Durham University(杜伦大学)
提出马尔可夫决策处理网络以刻画决策影响未来服务可用性的双边排队系统,刻画其容量区域,证明 MaxWeight 非吞吐量最优,并设计基于双时间尺度的加权平均奖励策略实现吞吐量最优。
2025-09-29 cs.NI math.OC math.PR
Loss systems in a random environment
考虑随机环境中具有无限等待空间的单台服务系统。服务系统和环境是双向互动的。每当环境进入其状态空间的预先指定的子集时,服务过程被完全阻塞:服务中断,新到达的客户丢失。本文证明了一个乘积型稳态分布的充分必要条件。一个结果是这样的系统的一个强不敏感性属性。我们讨论了几个应用程序,例如从库存论和可靠性理论,并表明,我们的结果扩展和推广文献中发现的几个定理,例如库存库存过程。我们进一步研究了经典的损失制系统,其中由于有限的等候室的客户损失发生。由于环境和服务中断造成的客户流失,出现了新的现象。我们进一步研究了嵌入马尔可夫链在出发时刻的行为,并表明嵌入马尔可夫链的行为往往是相当大的不同,从连续时间马尔可夫过程。这与标准M/G/1的行为不同,在标准M/G/1中,嵌入的马尔可夫链的稳态与连续时间过程一致。对于指数型时滞系统,在相当一般的条件下,证明了嵌入马尔可夫链存在乘积型平衡点。对于系统的非指数服务时间更严格的约束是必要的,我们证明了一个反例,其中的环境代表一个库存连接到一个M/D/1队列。这种集成的库存系统在以前的文献中已经讨论过,这里将详细讨论。
2013-12-02 math.OC math.PR
Optimal control of Markov-modulated multiclass many-server queues
研究了到达率、服务率和放弃率均由有限状态马尔可夫过程调制的多类多服务台排队系统。我们假设系统运行在“平均”Halfin-Whitt制度,这意味着它是临界加载的平均意义上,虽然不一定在每个状态的马尔可夫过程。我们证明了在任何静态优先策略下,马尔可夫调制扩散标度排队过程是几何遍历的。这是通过采用相关的泊松方程的解决方案,以构建一个合适的李雅普诺夫函数。建立了扩散尺度排队过程的泛函中心极限定理,证明了该极限过程是具有分段线性漂移和常数协方差阵的受控扩散过程.我们解决无限时域贴现和长期平均(遍历)最优控制问题,并建立渐近最优性。
2018-08-13 math.OC math.PR
On uniform exponential ergodicity of Markovian multiclass many-server queues in the Halfin-Whitt regime
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了在Halfin-Whitt regime中重载的马尔可夫多类多服务器队列的遍历性质,通过Lyapunov函数方法统一建立了极限扩散和预极限扩散缩放队列过程的Foster-Lyapunov方程,证明了当备用容量参数为正时,扩散过程在所有平稳马尔可夫控制下均匀指数遍历,并且不变概率测度具有均匀指数尾部特性。
2019-11-22 cs.SY eess.SY math.OC
Extremal shift rule for continuous-time zero-sum Markov games
本文考虑描述有限类型相互作用粒子系统的受控连续时间马尔可夫链。该系统由两个具有相反目的的玩家控制。粒子数趋于无穷大时的极限对策是零和微分对策。Krasovskii-Subbotin极值转移提供了极限博弈中的最优策略。本文的主要结果是Krasovskii-Subbotin极值转移规则的近最优性的原始马尔可夫对策。
2014-12-01 math.OC
Zero-sum Risk-sensitive Stochastic Games for Continuous Time Markov Chains
研究了可数状态空间上受控连续时间马尔可夫链的无限时域折扣费用和遍历费用风险敏感零和随机对策。对于折扣成本博弈,在名义条件下证明了马氏策略类的价值均衡和鞍点均衡的存在性。对于遍历代价博弈,通过研究相应的Hamilton-Jacobi-Isaacs方程,在一定的李雅普诺夫条件下,证明了值和鞍点平衡的存在性.
2016-03-08 math.OC
Partially Observable Discrete-time Discounted Markov Games with General Utility
本文研究了状态过程为离散时间马尔可夫链的部分可观测零和对策。在优化准则中考虑了一般的效用函数。我们证明了有限和无限地平线游戏的价值的存在性,也建立了最优政策的存在性。主要步骤涉及将部分可观察的博弈转换为完全可观察的博弈,该完全可观察的博弈还跟踪总的折扣累积奖励/成本。
2022-11-15 math.OC
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Zero-sum continuous-time Markov pure jump game over a fixed duration
本文研究了在Borel状态空间和行动空间中,在固定有限时间内的两人零和连续时间马氏纯跳对策。该模型的主要假设是存在一个漂移函数,它限制了奖励率。在一定的规则性条件下,我们证明了博弈有一个值,并且双方都有自己的最优策略。
2017-03-30 math.OC
Zero and Non-zero Sum Risk-sensitive Semi-Markov Games
本文研究了有限状态空间半马氏过程的零和与非零和风险敏感平均准则对策。对于零和情形,在适当的假设下,我们证明了博弈有一个值。我们还建立了一个平稳的鞍点平衡的存在性。对于非零和的情况,在适当的假设下,我们建立了一个稳定的纳什均衡的存在性。
2021-06-09 math.OC
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈,引入平滑性概念界定无政府代价,并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
Controlling arrival and service rates to reduce sensitivity of queueing systems with customer abandonment
Erlang A模型--一个具有指数放弃的M/M/s队列--通常用于表示具有不耐烦客户的服务系统。对于这个系统,流行的平方根人员配置规则确定必要的人员配置水平,以实现理想的QED(质量和效率驱动)的服务制度,但是,该规则也意味着大型系统的属性是高度敏感的参数。我们发现,这种高灵敏度的起源是由于在一个服务制度的相图中的奇异点的大型系统的操作。我们可以通过实现基于拥塞的控制(CBC)方案来避免这种奇异性,该方案允许系统在拥塞情况下改变其到达和服务速率。我们使用马尔可夫链分解方法分析了CBC方案下的一个改进的Erlang A模型,导出了性能指标的非渐近和渐近正态表示,并证实CBC方案使大系统比原Erlang A模型更不敏感.
2021-12-05 math.OC math.PR
Stationary Markov Perfect Equilibria in Discounted Stochastic Games
在称为“(可分解的)粗转移核”的一般条件下,证明了随机对策中平稳马尔可夫完美均衡的存在性.这一结果涵盖了相关平衡,噪声随机对策,随机对策有限行动和状态独立的过渡,和随机对策的混合物作为特殊情况下的各种早期存在的结果。通过建立随机对策与对应的条件期望之间的新联系,提供了一个非常简单的证明。作为说明性的例子,随机对策的新应用,包括随机对策与内生冲击和随机动态寡头模型。
2017-01-21 math.OC q-fin.GN
Dynkin games for Markov processes associated with semi-Dirichlet forms
针对与半 Dirichlet 型相关的 Markov 过程上的 Dynkin 最优停止博弈,本文证明双障碍变分不等式的解给出均衡价格,并构造得到博弈鞍点。
2023-04-24 math.OC math.PR
A Maximum Principle for Markov Regime-Switching Forward Backward Stochastic Differential Games and Applications
本文研究了一类马尔可夫状态切换正倒向部分信息带跳随机微分方程的随机微分对策的最优控制问题.首先证明了非零和随机微分对策问题的一个充分最大值原理,并得到了这类对策的平衡点。其次,我们证明了非零和随机微分对策的一个等价最大值原理。作为推论,得到了零和随机微分对策等价的最大值原理。应用所得结果研究了惩罚熵下的鲁棒效用最大化问题。最后,我们将所得结果应用于模型不确定性下保险公司的最优投资。
2014-10-13 math.OC
Solving Two-State Markov Games with Incomplete Information on One Side *
本文研究了在一方两状态不完全信息的马氏对策中信息的最优利用问题。我们提供了一个有限阶段的算法来计算极限值的阶段之间的差距为0,和一个最优策略的限制游戏中的知情的球员在连续的时间。这个极限策略为知情的参与者引入了一个非最优策略,前提是阶段之间的差距很小。我们的研究结果表明,当知情的球员应该使用他的信息,以及如何。
2019-03-18 math.OC
Mean Field Games with Ergodic cost for Discrete Time Markov Processes
在一般离散时间控制的马尔可夫过程框架下,研究了具有遍历代价的平均场对策。过程的状态空间由一般的$σ$ -紧波兰空间给出。在一定条件下,我们证明了平均场博弈均衡的存在性。我们还研究了$N$ -人的游戏中,球员相互作用,通过他们的经验措施。我们证明了$N$ -人博弈具有纳什均衡,并且当$N$趋于无穷大时,均衡收敛到平均场博弈解。
2015-10-30 math.OC math.PR
Discrete-time Zero-Sum Games for Markov chains with risk-sensitive average cost criterion
研究了离散时间受控马尔可夫链在可数状态空间和Borel作用空间下的零和随机对策问题。支付函数是非负的,并且可能是无界的。在一定的李雅普诺夫稳定性假设下,我们建立了一个值和鞍点平衡的存在性。进一步,我们完全刻画了平稳马尔可夫策略类中所有可能的鞍点策略。最后,我们提出并分析了一个说明性的例子。
2022-01-11 math.OC
On the adjoint Markov policies in stochastic differential games
本文考虑了整环上的时齐一致非退化随机微分对策,提出了利用实际上是时齐马尔可夫的伴随马尔可夫策略和伴随马尔可夫策略来构造$\varepsilon$ -最优策略和策略,不是相对于原始过程,而是相对于由主原始方程和与之相同类型的伴随随机方程组成的系统所支配的一对过程,主要的一个。我们展示了如何找到$\varepsilon$ -最优策略和政策,在这些类中使用的可解性在索伯列夫空间的原始Isaacs方程,但其适当的修改。我们还给出了一个例子,我们的假设是不满意的,我们猜想,不仅有最佳马尔可夫,但甚至$\varepsilon$ -最佳伴随(时间齐次)马尔可夫策略的球员之一,一个一致的非退化游戏。
2019-03-24 math.OC
Stationary Markov Nash equilibria for nonzero-sum constrained ARAT Markov games
本文考虑了抽象可测状态空间上的非零和马氏对策,该状态空间具有紧度量行动空间。每个局中人的目标是在满足一定条件的条件下最大化各自的贴现支付函数。我们感兴趣的是纳什均衡或非合作均衡的存在性。在适当的条件下,包括转移相对于某些参考概率测度的绝对连续性,支付和转移概率的可加性(ARAT条件),以及系统转移的支付函数和密度函数的连续性,我们建立了一个约束平稳马尔可夫纳什均衡的存在性,即,每个玩家的平稳马尔可夫策略的存在产生所有历史相关的配置文件的类内的最佳配置文件。
2021-09-27 math.OC
Asymptotic Perron's method and simple Markov Strategies in stochastic games and control
我们引入一个修改Perron的方法,半解被认为是在一个仔细定义的渐近意义。有了这个定义,我们可以用一种相当基本的方式证明,在一个零和对策或一个控制问题(有或没有模型不确定性)中,所有策略上的价值函数与时间离散化的马尔可夫策略上的价值函数一致。因此,总是存在离散化的马尔可夫$\varepsilon$ -最优策略(关于有界初始条件是一致的)。通过一个小的修改,该方法产生一个值和近似的鞍点的反馈策略与反策略的非对称游戏。
2015-02-19 math.OC
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习(MARL)通常使用马尔可夫博弈(也称为随机博弈或动态博弈)的框架建模。现有的文献大多集中在零和马尔可夫博弈,但不适用于一般和马尔可夫博弈。众所周知,一般和马尔可夫博弈中的最佳反应动态不是收缩。因此,一般和马尔可夫博弈中的不同均衡可以有不同的值。此外,Q函数不足以完全表征平衡。考虑到这些挑战,基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中,我们调查的基本问题,\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的,以获得一个$α$近似马尔可夫完美均衡与高概率,其中$γ$是折扣因子,和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后,我们使用Bernstein不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果,我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似(或扰动)博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡,并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间,支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次,基于半马尔可夫对策的标准正则性条件和连续紧性条件,在半马尔可夫核上导出了一个“漂移条件”,并假设折扣因子有一个正下界,在此条件下,利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外,当状态和行动空间都是有限的,价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后,我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
A maximum principle for Markov-modulated SDEs of mean-field type and mean-field game
本文分析了有限状态马尔可夫链调制的平均场博弈。本文首先建立了一个充分随机最大值原理,用于平均场型马尔可夫调制随机微分方程的最优控制,该方程的系数依赖于过程的状态、规律的某些泛函以及时间和样本的变化.由于系数受马尔可夫链扰动而随机,为了研究这类随机微分方程,我们分析了一类系数为随机Lipschitz的平均场型随机微分方程解的存在唯一性,以及伴随相互作用粒子系统的混沌传播性质,并采用与已有结果平行的方法作为副产品.利用平均域论求解了马尔可夫调制平均场博弈的近似纳什均衡。
2014-05-21 math.OC
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念,并通过原始-对偶迭代方法求解带约束马尔可夫博弈,证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离,通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法,进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程(Markov decision process,MDP)拥塞博弈是经典拥塞博弈的一种扩展,其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程:策略的收益随着更多的种群使用它而减少。特别是,我们表明,在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励,社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法,其中收费和激励措施是为了两个独立的目标而实施的:保证西雅图市中心的最小驾驶员密度,并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware(特拉华大学)
本文提出了一个理论框架,可能近似正确(PAC)的多智能体强化学习(MARL)算法的马尔可夫博弈。本文利用延迟Q学习的思想,对著名的Nash Q-学习算法进行了扩展,建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外,该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值,最大者和最小者都有最优纯半平稳策略。我们得到的结果,首先固定一个任意的初始状态,并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵,并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
Congestion Reduction in EV Charger Placement Using Traffic Equilibrium Models
University of California, Berkeley(加州大学伯克利分校);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出利用交通均衡模型减少电动汽车充电站布置拥堵,通过两种模型和贪心算法实现最优或近优结果,同时展示队列方法更现实。
2025-12-12 cs.AI cs.SI cs.SY
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离,通过不动点论证,证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性,并利用马尔可夫链后向近似方法,分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University(清华大学);Meta AI Research(Meta人工智能研究院);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而,它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近,并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类,我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知,这是第一个证明有效的政策优化算法与函数近似,解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC