Zero-Sum Games for Continuous-time Markov Decision Processes with Risk-Sensitive Average Cost Criterion
考虑了连续时间马氏决策过程的零和随机对策，其平均费用准则是风险敏感的。这里的过渡和成本率可能是无限的。我们证明了存在的价值的游戏和鞍点平衡的类的所有平稳的战略下的Lyapunov稳定性条件。这是通过建立相应的Hamilton-Jacobi-Isaacs（HJI）方程的主本征对的存在性来实现的。这反过来又是通过使用非线性版本的Krein-Rutman定理建立的。然后，我们得到了相应的HJI方程的鞍点平衡的表征。最后，我们使用一个受控的人口系统来说明结果。
2021-09-18 math.OC
On the bang-bang type Nash equilibrium point for Markovian nonzero-sum stochastic differential game
本文在马尔可夫框架下研究了一类非零和随机微分对策。在自然条件下，我们证明了Nash平衡点的存在性，该平衡点是不连续的，是bang-bang型的。主要工具是向后随机微分方程的概念，在我们的情况下，是多维的不连续发电机的z分量。
2015-03-09 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下，我们建立了Hamilton-Jacobi-Bellman（HJB）方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
A Maximum Principle for Markov Regime-Switching Forward Backward Stochastic Differential Games and Applications
本文研究了一类马尔可夫状态切换正倒向部分信息带跳随机微分方程的随机微分对策的最优控制问题.首先证明了非零和随机微分对策问题的一个充分最大值原理，并得到了这类对策的平衡点。其次，我们证明了非零和随机微分对策的一个等价最大值原理。作为推论，得到了零和随机微分对策等价的最大值原理。应用所得结果研究了惩罚熵下的鲁棒效用最大化问题。最后，我们将所得结果应用于模型不确定性下保险公司的最优投资。
2014-10-13 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集，行动空间是一个Borel空间，成本和转移率是有界的，风险敏感系数可以取任意正实数。在较弱的条件下，我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
Solving Two-State Markov Games with Incomplete Information on One Side *
本文研究了在一方两状态不完全信息的马氏对策中信息的最优利用问题。我们提供了一个有限阶段的算法来计算极限值的阶段之间的差距为0，和一个最优策略的限制游戏中的知情的球员在连续的时间。这个极限策略为知情的参与者引入了一个非最优策略，前提是阶段之间的差距很小。我们的研究结果表明，当知情的球员应该使用他的信息，以及如何。
2019-03-18 math.OC
On the adjoint Markov policies in stochastic differential games
本文考虑了整环上的时齐一致非退化随机微分对策，提出了利用实际上是时齐马尔可夫的伴随马尔可夫策略和伴随马尔可夫策略来构造$\varepsilon$ -最优策略和策略，不是相对于原始过程，而是相对于由主原始方程和与之相同类型的伴随随机方程组成的系统所支配的一对过程，主要的一个。我们展示了如何找到$\varepsilon$ -最优策略和政策，在这些类中使用的可解性在索伯列夫空间的原始Isaacs方程，但其适当的修改。我们还给出了一个例子，我们的假设是不满意的，我们猜想，不仅有最佳马尔可夫，但甚至$\varepsilon$ -最佳伴随（时间齐次）马尔可夫策略的球员之一，一个一致的非退化游戏。
2019-03-24 math.OC
Stationary Markov Nash equilibria for nonzero-sum constrained ARAT Markov games
本文考虑了抽象可测状态空间上的非零和马氏对策，该状态空间具有紧度量行动空间。每个局中人的目标是在满足一定条件的条件下最大化各自的贴现支付函数。我们感兴趣的是纳什均衡或非合作均衡的存在性。在适当的条件下，包括转移相对于某些参考概率测度的绝对连续性，支付和转移概率的可加性（ARAT条件），以及系统转移的支付函数和密度函数的连续性，我们建立了一个约束平稳马尔可夫纳什均衡的存在性，即，每个玩家的平稳马尔可夫策略的存在产生所有历史相关的配置文件的类内的最佳配置文件。
2021-09-27 math.OC
Asymptotic Perron's method and simple Markov Strategies in stochastic games and control
我们引入一个修改Perron的方法，半解被认为是在一个仔细定义的渐近意义。有了这个定义，我们可以用一种相当基本的方式证明，在一个零和对策或一个控制问题（有或没有模型不确定性）中，所有策略上的价值函数与时间离散化的马尔可夫策略上的价值函数一致。因此，总是存在离散化的马尔可夫$\varepsilon$ -最优策略（关于有界初始条件是一致的）。通过一个小的修改，该方法产生一个值和近似的鞍点的反馈策略与反策略的非对称游戏。
2015-02-19 math.OC
A maximum principle for Markov-modulated SDEs of mean-field type and mean-field game
本文分析了有限状态马尔可夫链调制的平均场博弈。本文首先建立了一个充分随机最大值原理，用于平均场型马尔可夫调制随机微分方程的最优控制，该方程的系数依赖于过程的状态、规律的某些泛函以及时间和样本的变化.由于系数受马尔可夫链扰动而随机，为了研究这类随机微分方程，我们分析了一类系数为随机Lipschitz的平均场型随机微分方程解的存在唯一性，以及伴随相互作用粒子系统的混沌传播性质，并采用与已有结果平行的方法作为副产品.利用平均域论求解了马尔可夫调制平均场博弈的近似纳什均衡。
2014-05-21 math.OC
Markov games with frequent actions and incomplete information
本文研究了一个两人零和随机对策，其中一方的信息不完全，且允许参与人越来越频繁地参与。知情的参与者观察到的是一个马尔可夫链的实现，而非知情的参与者只观察到他的对手的行动。我们表明存在一个极限值的两个连续阶段之间的时间跨度消失，这个值的特点是通过一个辅助最优化问题和作为解决方案的Hamilton-Jacobi方程。
2013-07-12 math.OC
Nash equilibria for total expected reward absorbing Markov games: the constrained and unconstrained cases
本文研究抽象可测状态空间上非零和N人吸收马尔可夫博弈，在总期望收益准则下，证明约束与无约束问题中马尔可夫策略构成非合作均衡，并推出折扣模型的纳什均衡存在性。
2023-05-08 math.OC
The value of Markov Chain Games with incomplete information on both sides
我们考虑双方信息不完全的零和重复博弈，其中每个局中人所观察到的状态遵循独立的马尔可夫链。它推广了奥曼和马施勒在60年代提出的、梅尔滕斯和扎米尔在70年代解决的模型，在这个模型中，参与者的私人状态是固定的。它还包括在雷诺\cite{R2006}，马尔可夫链重复的游戏，缺乏信息的一方，只有一个球员私下观察的状态序列中引入的模型。我们在这里证明了极限值的存在，我们通过Mertens-Zamir系统得到一个表征，其中插入系统的“非揭示值函数”现在被定义为辅助“非揭示”动态博弈的极限值。这个非暴露博弈的定义是限制参与者不透露任何关于他们自己的马尔可夫链的{ \it极限行为}的信息，如雷诺2006。证明过程中有两个关键技术难点：1）证明$T$ -阶段非揭示值函数在等度连续意义下的正则性; 2）通过分块构造策略，将非揭示博弈的值与原始值联系起来。
2014-01-22 math.OC
Nonzero-Sum Risk Sensitive Stochastic Games for Continuous Time Markov Chains
研究可数状态空间上连续时间马尔可夫链的非零和随机对策，其代价为风险敏感折扣和遍历。对于折扣成本准则，我们首先表明，相应的耦合HJB方程组有一个适当的解决方案。然后在转移率矩阵和支付函数的附加可加结构下，建立了马尔可夫策略纳什均衡的存在性。对于遍历成本准则，我们假设一个李雅普诺夫型稳定性假设和一个小的成本条件。在这些假设下，我们证明了相应的耦合HJB方程组的系统承认一个解决方案，从而导致存在的纳什均衡的静态策略。
2016-03-08 math.OC
Turnpike properties for zero-sum stochastic linear quadratic differential games of Markovian regime switching system
本文研究马尔可夫机制切换系统中零和随机线性二次微分博弈的长期行为，建立最优三元组的转辙性质，证明有限时域均衡策略可逼近无限时域策略，并扩展了现有结果。
2025-09-11 math.OC
Algorithms for zero-sum stochastic games with the risk-sensitive average criterion
本文针对零和风险敏感平均随机博弈，引入不可约系数并建立其与不可约条件的等价性，提出两种迭代算法分别计算值的ε-近似和有限步内获得ε-鞍点，并通过智能电网能量管理数值例子验证了结果。
2025-05-07 math.OC
Nonzero-sum risk-sensitive stochastic differential games
研究了具有风险敏感折扣和遍历代价准则的两人非零和随机微分对策。在一定的条件下，我们建立了一个纳什均衡的马尔可夫战略的折扣成本标准和纳什均衡的平稳战略的遍历成本标准。我们通过研究耦合HJB方程的相关系统得到了我们的结果。
2016-04-05 math.OC
Markov Perfect Equilibria in Discrete Finite-Player and Mean-Field Games
Princeton University（普林斯顿大学）；Temple University（天普大学）
本研究在无单调性条件下，证明离散时间有限参与者及平均场博弈在时间步长足够小时MPE唯一性恢复，并建立与主方程的联系及收敛性结果。
2025-09-26 math.OC
First is the worst, second is the best? A Markov chain analysis of the basketball game knockout
本文通过马尔可夫链分析篮球淘汰赛，求解任意命中率下两人及多人获胜概率，验证“第一最差，第二最佳”谚语，并提供获胜建议。
2025-05-22 math.OC
Nonzero-sum Risk-sensitive Stochastic Games on a Countable State Space
研究了具有可数多个状态的受控马尔可夫链的无限时域风险敏感折扣成本和遍历成本非零和随机对策。在相当一般的条件下，我们证明了折扣成本博弈的纳什均衡策略在马尔可夫策略类中的存在性。在附加的几何遍历性条件和小代价准则下，证明了遍历代价对策的平稳马氏策略类中Nash均衡策略的存在性。
2016-03-11 math.OC
Continuous-time Markov games with asymmetric information
研究了一个两人零和随机微分对策，其中收益依赖于一个受控的连续时间马尔可夫链X，该链具有有限的状态空间，且只有参与人1可以观察到. Cardaliaguet et al.（2015）已经通过离散时间博弈的近似序列研究了这个模型。我们的第一个贡献是基于对偶技术证明了连续时间模型中的值的存在性。该值被证明是具有凸性约束的相同Hamilton-Jacobi方程的唯一解，其特征在于Cardaliaguet等人（2015）中获得的极限值。我们的第二个主要贡献是提供了一个简单的等效公式为这个哈密顿-雅可比方程使用方向导数和暴露点，我们认为这是有趣的，因为其本身的原因，相关的比较原则有一个非常简单的证明，避免了所有的技术机械的黏性解。
2018-02-23 math.OC
Constrained discounted stochastic games
本文考虑了一类具有可数状态空间和折扣代价准则的约束非合作随机马尔可夫对策。在一个玩家的情况下，即，约束折扣马尔可夫决策模型，有可能制定一个静态优化问题，其解决方案确定一个静态最优策略（别名控制或政策）的动态无限地平线模型。该解存在于由策略诱导的所有占领测度的紧凸集中，定义在状态-动作对的集合上。在n人折扣对策的情况下，占领措施是由所有局中人的策略。因此，很难推广的方法直接约束折扣马尔可夫决策过程。目前还不清楚如何定义域的最佳反应对应的不动点诱导一个平稳的均衡在马尔可夫博弈。这个定义域应该是局部凸拓扑向量空间中紧凸集的笛卡儿积。我们的一个主要结果表明，如何克服这个困难，并定义一个受约束的非合作静态博弈的纳什均衡诱导的平稳纳什均衡的马尔可夫博弈。这是做游戏有界的费用函数和积极的初态分布。一类具有无界费用和任意初态分布的马氏对策的推广依赖于无界对策用具有正初态分布的有界对策的逼近。在无界的情况下，我们假设的一致可积的贴现成本相对于所有概率测度诱导的球员的战略，定义在空间上的游戏（历史）的游戏。我们的假设是弱于那些在早期的作品贴现动态规划或随机对策使用所谓的加权范数的方法。
2021-12-15 math.OC
Open-loop and closed-loop solvabilities for zero-sum stochastic linear quadratic differential games of Markovian regime switching system
本文针对马尔可夫跳跃零和随机线性二次微分博弈，提出分解方法将开环与闭环可解性问题转化为两个耦合SLQ控制问题，并在一致凸-凹条件下基于CDREs构造了鞍点及其闭环表示。
2025-07-05 math.OC
Finite-Horizon Partially Observable Semi-Markov Games with Risk Probability Criteria
针对系统状态部分可观测的两人零和半马尔可夫博弈，本文基于状态空间扩充技术分析终端累积收益低于目标的风险概率，推导沙普利方程并证明值函数唯一存在及纳什均衡存在。
2025-08-25 math.OC
Solving Ergodic Markov Decision Processes and Perfect Information Zero-sum Stochastic Games by Variance Reduced Deflated Value Iteration
最近，Sidford，Wang，Wu和Ye（2018）开发了一种将方差缩减技术与值迭代相结合的算法来求解折扣马尔可夫决策过程。当折扣因子固定时，该算法具有次线性复杂度。在这里，我们将这种方法推广到均值支付问题，包括马尔可夫决策过程和完美信息零和随机对策。我们得到次线性复杂性界，假设有一个区别的状态，这是从所有的初态和所有的政策。我们的方法是基于减少从平均支付问题的折扣问题的Doob h-变换，结合通货紧缩技术。该算法的复杂性分析同时使用Sidford等人开发的技术。在折扣情况下和非线性谱理论技术（Collatz-Wielandt特征值）。
2019-09-13 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中，我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程，折扣奖励和期望平均奖励。我们制定的零和对策的问题，其中一个球员（代理）解决马尔可夫判定问题，其对手解决了一个强盗最优化问题，我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈，并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解，从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子，我们计算出的最优策略，并通过模拟表明，该算法收敛到计算出的最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报，分别。
2021-03-04 math.OC
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈，引入平滑性概念界定无政府代价，并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
Stationary Markov Perfect Equilibria in Discounted Stochastic Games
在称为“（可分解的）粗转移核”的一般条件下，证明了随机对策中平稳马尔可夫完美均衡的存在性.这一结果涵盖了相关平衡，噪声随机对策，随机对策有限行动和状态独立的过渡，和随机对策的混合物作为特殊情况下的各种早期存在的结果。通过建立随机对策与对应的条件期望之间的新联系，提供了一个非常简单的证明。作为说明性的例子，随机对策的新应用，包括随机对策与内生冲击和随机动态寡头模型。
2017-01-21 math.OC q-fin.GN
Nonzero-sum Discrete-time Stochastic Games with Risk-sensitive Ergodic Cost Criterion
本文研究了波兰状态空间上受控离散时间 Markov 链的无限时间跨度非零和随机博弈，在风险敏感遍历成本准则下证明了最优性方程的唯一解，并通过集值映射的不动点确立了随机平稳策略下 Nash 均衡的存在性。
2024-08-23 math.OC math.PR
Dynkin games for Markov processes associated with semi-Dirichlet forms
针对与半 Dirichlet 型相关的 Markov 过程上的 Dynkin 最优停止博弈，本文证明双障碍变分不等式的解给出均衡价格，并构造得到博弈鞍点。
2023-04-24 math.OC math.PR
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Mean Field Games with Ergodic cost for Discrete Time Markov Processes
在一般离散时间控制的马尔可夫过程框架下，研究了具有遍历代价的平均场对策。过程的状态空间由一般的$σ$ -紧波兰空间给出。在一定条件下，我们证明了平均场博弈均衡的存在性。我们还研究了$N$ -人的游戏中，球员相互作用，通过他们的经验措施。我们证明了$N$ -人博弈具有纳什均衡，并且当$N$趋于无穷大时，均衡收敛到平均场博弈解。
2015-10-30 math.OC math.PR
Existence of Nash Equilibrium Points for Markovian Nonzero-sum Stochastic Differential Games with Unbounded Coefficients
本文在马尔可夫框架下研究了非零和随机微分对策。当漂移不再有界且仅满足线性增长条件时，我们证明了博弈的纳什平衡点的存在性。主要工具是向后随机微分方程的概念，在我们的情况下，是多维的连续系数和随机线性增长。
2014-08-05 math.OC math.PR
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间，支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次，基于半马尔可夫对策的标准正则性条件和连续紧性条件，在半马尔可夫核上导出了一个“漂移条件”，并假设折扣因子有一个正下界，在此条件下，利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外，当状态和行动空间都是有限的，价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后，我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念，并通过原始-对偶迭代方法求解带约束马尔可夫博弈，证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离，通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法，进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程，研究两人零和随机博弈，在转移率与费用/报酬率上下无界的温和条件下，证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
Markovian randomized equilibria for general Markovian Dynkin games in discrete time
本文研究离散时间马尔可夫框架下的两人 Dynkin 博弈，提出马尔可夫随机停时策略，推导出 Nash 均衡的 Wald-Bellman 型显式刻画，并证明了零和及一般情形下均衡的存在性与构造方法。
2025-08-12 math.OC math.PR
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
On Non-Cooperative Perfect Information Semi-Markov Games
本文证明N人非合作完全信息半马尔可夫博弈在极限比率平均收益下存在纯半平稳纳什均衡，通过归约为SMDP简化证明，并用Mondal算法求解。
2024-02-26 cs.GT math.OC
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Deterministic limit of mean field games associated with nonlinear Markov processes
研究了具有非局部耦合的平均场对策的确定性极限。假设平均场博弈的动力学是由非线性马尔可夫过程给出的。这类博弈包括随机平均场博弈和有限状态空间的平均场博弈。在极大极小方法的框架下，我们考虑了有限确定性平均场对策。极小化极大解的概念接近于概率公式。在这种情况下，汉密尔顿-雅可比方程被认为是在极小极大/粘性意义下，而概率流是由概率的解决方案的集合上的微分包含与汉密尔顿-雅可比方程，使这些解决方案是可行的，在图中的极小化极大解。本文的主要结果是在基本动态收敛于确定性演化的情况下，平均场对策的解收敛于确定性平均场对策的极小化极大解.
2018-01-04 math.OC math.PR
Zero-sum continuous-time Markov games with one-side stopping
本文研究了连续时间有限状态马尔可夫控制和停止博弈的一种变体，其中两个博弈者都可以影响转移率，而只有一个博弈者可以选择一个停时。我们使用动态规划原则，并减少了这个问题的一个系统的常微分方程的单边约束。这个系统起着贝尔曼方程的作用。我们表明，它的解决方案提供了最优策略的球员。此外，我们证明了所推导的单边约束常微分方程组的存在唯一性定理。
2022-08-07 math.OC math.PR
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
On the Lyapunov Foster criterion and Poincaré inequality for Reversible Markov Chains
本文从Foster-Lyapunov漂移条件出发，给出了离散时间可逆马尔可夫链随机稳定性的一个初等证明。除了相对简单之外，证明还有两个显著的特点：（i）它完全依赖于函数分析的非概率论证;（ii）它明确了福斯特-李雅普诺夫函数和庞加莱不等式之间的联系。证明是用来推导出一个明确的范围的频谱间隙。一个扩展到不可逆的情况下也提出。
2020-05-17 math.OC math.PR
Nonstationary nonzero-sum Markov games under a probability criterion
针对非平稳 N 人非零和 Markov 博弈，本文以首次到达目标集前累积报酬达标概率为准则，证明历史依赖策略下 Nash 均衡存在，并提出 epsilon-Nash 均衡算法。
2025-05-15 math.OC math.PR
Markov Chains of Evolutionary Games with a Small Number of Players
本文构建并研究了有限参与者演化博弈的马尔可夫链转移概率矩阵，基于Sandholm的简化种群博弈框架，通过迭代囚徒困境等示例及多种修正协议，显式构建MC转移概率矩阵并分析其性质。
2025-06-29 cs.GT math.OC
Discounted semi-Markov games with incomplete information on one side
本文研究了两人零和半马尔可夫博弈问题，其中一方信息不完全，观测完全。在开始时，系统根据给定的概率分布选择游戏类型，并仅通知玩家1。在每个阶段之后，双方玩家在进入下一阶段之前都要观察所选择的动作。首先，我们证明了在期望折扣准则和最优性方程下价值函数的存在性。其次，通过价值函数的最优性方程，给出了参与人1的最优策略的存在性和迭代算法。此外，对于不知情的参与人2的最优策略，我们定义了辅助对偶对策，并构造了对偶对策中价值函数的一个新的最优性方程，这意味着参与人2在对偶对策中最优策略的存在性。最后，利用对偶对策的结果给出了原对策中参与人2的最优策略的存在性和迭代算法。
2021-07-15 math.OC math.PR
Sensitivity Analysis for Markov Decision Process Congestion Games
我们考虑一个非原子拥塞游戏，每个决策者执行自私的优化状态的一个共同的MDP。决策者对自己的期望成本进行优化，并通过阻塞效应对国家行动成本的影响相互影响。我们分析了MDP拥塞博弈均衡对状态-行动成本的不确定性和扰动的敏感性。定义了随机Braess悖论的发生，基于博弈均衡的敏感性进行了分析，并在仿真中进行了演示。我们进一步分析了与确定性动力学相比，随机动力学的引入如何影响布雷斯悖论的大小。
2019-09-12 cs.GT math.OC
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离，通过不动点论证，证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性，并利用马尔可夫链后向近似方法，分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
General Markovian randomized equilibrium existence and construction in zero-sum Dynkin games for diffusions
本文研究一维扩散下的零和Dynkin停时博弈，提出基于随机化概念的新方法，在无收益序条件下构造出任意ε>0的马尔可夫随机全局ε-Nash均衡，还给出ε=0时纯策略与随机化Nash均衡的存在条件，可显式求解均衡停时与对应值。
2024-12-12 math.OC math.PR
Markov-Nash equilibria in mean-field games under model uncertainty
本文提出并分析了模型不确定性下的平均场马尔可夫博弈框架，证明了最坏情况期望奖励下平均场均衡的存在性，并证明当智能体数量足够大时该最优策略可构成近似马尔可夫-纳什均衡。
2024-10-15 math.OC math.PR
Robustness and Approximation of Discrete-time Mean-field Games under Discounted Cost Criterion
University of Connecticut（康涅狄格大学）；Bilkent University（比尔肯特大学）
本文研究了在模型不确定性下离散时间均场均衡的鲁棒性，通过价值迭代算法的收敛条件，证明了系统动态误标情况下均场均衡的鲁棒性，并展示状态空间量化足够精细时有限模型的均场均衡近似于名义解。
2023-10-16 cs.SY eess.SY math.OC
