Solving Two-State Markov Games with Incomplete Information on One Side *
本文研究了在一方两状态不完全信息的马氏对策中信息的最优利用问题。我们提供了一个有限阶段的算法来计算极限值的阶段之间的差距为0，和一个最优策略的限制游戏中的知情的球员在连续的时间。这个极限策略为知情的参与者引入了一个非最优策略，前提是阶段之间的差距很小。我们的研究结果表明，当知情的球员应该使用他的信息，以及如何。
2019-03-18 math.OC
Discrete-time Zero-Sum Games for Markov chains with risk-sensitive average cost criterion
研究了离散时间受控马尔可夫链在可数状态空间和Borel作用空间下的零和随机对策问题。支付函数是非负的，并且可能是无界的。在一定的李雅普诺夫稳定性假设下，我们建立了一个值和鞍点平衡的存在性。进一步，我们完全刻画了平稳马尔可夫策略类中所有可能的鞍点策略。最后，我们提出并分析了一个说明性的例子。
2022-01-11 math.OC
On the adjoint Markov policies in stochastic differential games
本文考虑了整环上的时齐一致非退化随机微分对策，提出了利用实际上是时齐马尔可夫的伴随马尔可夫策略和伴随马尔可夫策略来构造$\varepsilon$ -最优策略和策略，不是相对于原始过程，而是相对于由主原始方程和与之相同类型的伴随随机方程组成的系统所支配的一对过程，主要的一个。我们展示了如何找到$\varepsilon$ -最优策略和政策，在这些类中使用的可解性在索伯列夫空间的原始Isaacs方程，但其适当的修改。我们还给出了一个例子，我们的假设是不满意的，我们猜想，不仅有最佳马尔可夫，但甚至$\varepsilon$ -最佳伴随（时间齐次）马尔可夫策略的球员之一，一个一致的非退化游戏。
2019-03-24 math.OC
Stationary Markov Nash equilibria for nonzero-sum constrained ARAT Markov games
本文考虑了抽象可测状态空间上的非零和马氏对策，该状态空间具有紧度量行动空间。每个局中人的目标是在满足一定条件的条件下最大化各自的贴现支付函数。我们感兴趣的是纳什均衡或非合作均衡的存在性。在适当的条件下，包括转移相对于某些参考概率测度的绝对连续性，支付和转移概率的可加性（ARAT条件），以及系统转移的支付函数和密度函数的连续性，我们建立了一个约束平稳马尔可夫纳什均衡的存在性，即，每个玩家的平稳马尔可夫策略的存在产生所有历史相关的配置文件的类内的最佳配置文件。
2021-09-27 math.OC
Asymptotic Perron's method and simple Markov Strategies in stochastic games and control
我们引入一个修改Perron的方法，半解被认为是在一个仔细定义的渐近意义。有了这个定义，我们可以用一种相当基本的方式证明，在一个零和对策或一个控制问题（有或没有模型不确定性）中，所有策略上的价值函数与时间离散化的马尔可夫策略上的价值函数一致。因此，总是存在离散化的马尔可夫$\varepsilon$ -最优策略（关于有界初始条件是一致的）。通过一个小的修改，该方法产生一个值和近似的鞍点的反馈策略与反策略的非对称游戏。
2015-02-19 math.OC
A maximum principle for Markov-modulated SDEs of mean-field type and mean-field game
本文分析了有限状态马尔可夫链调制的平均场博弈。本文首先建立了一个充分随机最大值原理，用于平均场型马尔可夫调制随机微分方程的最优控制，该方程的系数依赖于过程的状态、规律的某些泛函以及时间和样本的变化.由于系数受马尔可夫链扰动而随机，为了研究这类随机微分方程，我们分析了一类系数为随机Lipschitz的平均场型随机微分方程解的存在唯一性，以及伴随相互作用粒子系统的混沌传播性质，并采用与已有结果平行的方法作为副产品.利用平均域论求解了马尔可夫调制平均场博弈的近似纳什均衡。
2014-05-21 math.OC
Markov games with frequent actions and incomplete information
本文研究了一个两人零和随机对策，其中一方的信息不完全，且允许参与人越来越频繁地参与。知情的参与者观察到的是一个马尔可夫链的实现，而非知情的参与者只观察到他的对手的行动。我们表明存在一个极限值的两个连续阶段之间的时间跨度消失，这个值的特点是通过一个辅助最优化问题和作为解决方案的Hamilton-Jacobi方程。
2013-07-12 math.OC
Nash equilibria for total expected reward absorbing Markov games: the constrained and unconstrained cases
本文研究抽象可测状态空间上非零和N人吸收马尔可夫博弈，在总期望收益准则下，证明约束与无约束问题中马尔可夫策略构成非合作均衡，并推出折扣模型的纳什均衡存在性。
2023-05-08 math.OC
The value of Markov Chain Games with incomplete information on both sides
我们考虑双方信息不完全的零和重复博弈，其中每个局中人所观察到的状态遵循独立的马尔可夫链。它推广了奥曼和马施勒在60年代提出的、梅尔滕斯和扎米尔在70年代解决的模型，在这个模型中，参与者的私人状态是固定的。它还包括在雷诺\cite{R2006}，马尔可夫链重复的游戏，缺乏信息的一方，只有一个球员私下观察的状态序列中引入的模型。我们在这里证明了极限值的存在，我们通过Mertens-Zamir系统得到一个表征，其中插入系统的“非揭示值函数”现在被定义为辅助“非揭示”动态博弈的极限值。这个非暴露博弈的定义是限制参与者不透露任何关于他们自己的马尔可夫链的{ \it极限行为}的信息，如雷诺2006。证明过程中有两个关键技术难点：1）证明$T$ -阶段非揭示值函数在等度连续意义下的正则性; 2）通过分块构造策略，将非揭示博弈的值与原始值联系起来。
2014-01-22 math.OC
Nonzero-Sum Risk Sensitive Stochastic Games for Continuous Time Markov Chains
研究可数状态空间上连续时间马尔可夫链的非零和随机对策，其代价为风险敏感折扣和遍历。对于折扣成本准则，我们首先表明，相应的耦合HJB方程组有一个适当的解决方案。然后在转移率矩阵和支付函数的附加可加结构下，建立了马尔可夫策略纳什均衡的存在性。对于遍历成本准则，我们假设一个李雅普诺夫型稳定性假设和一个小的成本条件。在这些假设下，我们证明了相应的耦合HJB方程组的系统承认一个解决方案，从而导致存在的纳什均衡的静态策略。
2016-03-08 math.OC
Turnpike properties for zero-sum stochastic linear quadratic differential games of Markovian regime switching system
本文研究马尔可夫机制切换系统中零和随机线性二次微分博弈的长期行为，建立最优三元组的转辙性质，证明有限时域均衡策略可逼近无限时域策略，并扩展了现有结果。
2025-09-11 math.OC
Zero-Sum Games for Continuous-time Markov Decision Processes with Risk-Sensitive Average Cost Criterion
考虑了连续时间马氏决策过程的零和随机对策，其平均费用准则是风险敏感的。这里的过渡和成本率可能是无限的。我们证明了存在的价值的游戏和鞍点平衡的类的所有平稳的战略下的Lyapunov稳定性条件。这是通过建立相应的Hamilton-Jacobi-Isaacs（HJI）方程的主本征对的存在性来实现的。这反过来又是通过使用非线性版本的Krein-Rutman定理建立的。然后，我们得到了相应的HJI方程的鞍点平衡的表征。最后，我们使用一个受控的人口系统来说明结果。
2021-09-18 math.OC
Markov Perfect Equilibria in Discrete Finite-Player and Mean-Field Games
本研究在无单调性条件下，证明离散时间有限参与者及平均场博弈在时间步长足够小时MPE唯一性恢复，并建立与主方程的联系及收敛性结果。
2025-09-26 math.OC
First is the worst, second is the best? A Markov chain analysis of the basketball game knockout
本文通过马尔可夫链分析篮球淘汰赛，求解任意命中率下两人及多人获胜概率，验证“第一最差，第二最佳”谚语，并提供获胜建议。
2025-05-22 math.OC
Nonzero-sum Risk-sensitive Stochastic Games on a Countable State Space
研究了具有可数多个状态的受控马尔可夫链的无限时域风险敏感折扣成本和遍历成本非零和随机对策。在相当一般的条件下，我们证明了折扣成本博弈的纳什均衡策略在马尔可夫策略类中的存在性。在附加的几何遍历性条件和小代价准则下，证明了遍历代价对策的平稳马氏策略类中Nash均衡策略的存在性。
2016-03-11 math.OC
Continuous-time Markov games with asymmetric information
研究了一个两人零和随机微分对策，其中收益依赖于一个受控的连续时间马尔可夫链X，该链具有有限的状态空间，且只有参与人1可以观察到. Cardaliaguet et al.（2015）已经通过离散时间博弈的近似序列研究了这个模型。我们的第一个贡献是基于对偶技术证明了连续时间模型中的值的存在性。该值被证明是具有凸性约束的相同Hamilton-Jacobi方程的唯一解，其特征在于Cardaliaguet等人（2015）中获得的极限值。我们的第二个主要贡献是提供了一个简单的等效公式为这个哈密顿-雅可比方程使用方向导数和暴露点，我们认为这是有趣的，因为其本身的原因，相关的比较原则有一个非常简单的证明，避免了所有的技术机械的黏性解。
2018-02-23 math.OC
Constrained discounted stochastic games
本文考虑了一类具有可数状态空间和折扣代价准则的约束非合作随机马尔可夫对策。在一个玩家的情况下，即，约束折扣马尔可夫决策模型，有可能制定一个静态优化问题，其解决方案确定一个静态最优策略（别名控制或政策）的动态无限地平线模型。该解存在于由策略诱导的所有占领测度的紧凸集中，定义在状态-动作对的集合上。在n人折扣对策的情况下，占领措施是由所有局中人的策略。因此，很难推广的方法直接约束折扣马尔可夫决策过程。目前还不清楚如何定义域的最佳反应对应的不动点诱导一个平稳的均衡在马尔可夫博弈。这个定义域应该是局部凸拓扑向量空间中紧凸集的笛卡儿积。我们的一个主要结果表明，如何克服这个困难，并定义一个受约束的非合作静态博弈的纳什均衡诱导的平稳纳什均衡的马尔可夫博弈。这是做游戏有界的费用函数和积极的初态分布。一类具有无界费用和任意初态分布的马氏对策的推广依赖于无界对策用具有正初态分布的有界对策的逼近。在无界的情况下，我们假设的一致可积的贴现成本相对于所有概率测度诱导的球员的战略，定义在空间上的游戏（历史）的游戏。我们的假设是弱于那些在早期的作品贴现动态规划或随机对策使用所谓的加权范数的方法。
2021-12-15 math.OC
Open-loop and closed-loop solvabilities for zero-sum stochastic linear quadratic differential games of Markovian regime switching system
本文针对马尔可夫跳跃零和随机线性二次微分博弈，提出分解方法将开环与闭环可解性问题转化为两个耦合SLQ控制问题，并在一致凸-凹条件下基于CDREs构造了鞍点及其闭环表示。
2025-07-05 math.OC
Finite-Horizon Partially Observable Semi-Markov Games with Risk Probability Criteria
针对系统状态部分可观测的两人零和半马尔可夫博弈，本文基于状态空间扩充技术分析终端累积收益低于目标的风险概率，推导沙普利方程并证明值函数唯一存在及纳什均衡存在。
2025-08-25 math.OC
Solving Ergodic Markov Decision Processes and Perfect Information Zero-sum Stochastic Games by Variance Reduced Deflated Value Iteration
最近，Sidford，Wang，Wu和Ye（2018）开发了一种将方差缩减技术与值迭代相结合的算法来求解折扣马尔可夫决策过程。当折扣因子固定时，该算法具有次线性复杂度。在这里，我们将这种方法推广到均值支付问题，包括马尔可夫决策过程和完美信息零和随机对策。我们得到次线性复杂性界，假设有一个区别的状态，这是从所有的初态和所有的政策。我们的方法是基于减少从平均支付问题的折扣问题的Doob h-变换，结合通货紧缩技术。该算法的复杂性分析同时使用Sidford等人开发的技术。在折扣情况下和非线性谱理论技术（Collatz-Wielandt特征值）。
2019-09-13 math.OC
Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes
在本文中，我们考虑的问题的优化和学习的约束和多目标马尔可夫决策过程，折扣奖励和期望平均奖励。我们制定的零和对策的问题，其中一个球员（代理）解决马尔可夫判定问题，其对手解决了一个强盗最优化问题，我们在这里称之为马尔可夫-强盗游戏。我们将Q-学习推广到求解Markov-Bandit博弈，并证明了我们的新Q-学习算法收敛到零和Markov-Bandit博弈的最优解，从而收敛到约束多目标马尔可夫判定问题的最优解.我们提供了一个数值例子，我们计算出的最优策略，并通过模拟表明，该算法收敛到计算出的最优策略。据我们所知，这是第一次学习算法保证收敛到最佳的平稳策略的约束MDP问题的折扣和预期的平均回报，分别。
2021-03-04 math.OC
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈，引入平滑性概念界定无政府代价，并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
A strategy-based proof of the existence of the value in zero-sum differential games
在Isaacs条件下，零和微分对策的值作为Hamilton-Jacobi-Bellman方程的唯一黏性解存在.在这篇文章中，我们提供了一个自包含的证明的基础上建设的$\ep$ -最优策略，这是受启发的“极值瞄准”方法从Krasovskii和Subbotin。
2013-01-27 math.OC
Stationary Markov Perfect Equilibria in Discounted Stochastic Games
在称为“（可分解的）粗转移核”的一般条件下，证明了随机对策中平稳马尔可夫完美均衡的存在性.这一结果涵盖了相关平衡，噪声随机对策，随机对策有限行动和状态独立的过渡，和随机对策的混合物作为特殊情况下的各种早期存在的结果。通过建立随机对策与对应的条件期望之间的新联系，提供了一个非常简单的证明。作为说明性的例子，随机对策的新应用，包括随机对策与内生冲击和随机动态寡头模型。
2017-01-21 math.OC q-fin.GN
Dynkin games for Markov processes associated with semi-Dirichlet forms
针对与半 Dirichlet 型相关的 Markov 过程上的 Dynkin 最优停止博弈，本文证明双障碍变分不等式的解给出均衡价格，并构造得到博弈鞍点。
2023-04-24 math.OC math.PR
Existence of Saddle Points in Discrete Markov Games and Its Application in Numerical Methods for Stochastic Differential Games
本文建立了离散马尔可夫对策存在鞍点的充分条件。结果用动态规划方程揭示了动态博弈与静态博弈的关系。这一结果使我们能够在适当的条件下证明状态转换扩散的不可分随机微分对策鞍点的存在性。
2006-03-25 math.NT math.OC math.PR
Mean Field Games with Ergodic cost for Discrete Time Markov Processes
在一般离散时间控制的马尔可夫过程框架下，研究了具有遍历代价的平均场对策。过程的状态空间由一般的$σ$ -紧波兰空间给出。在一定条件下，我们证明了平均场博弈均衡的存在性。我们还研究了$N$ -人的游戏中，球员相互作用，通过他们的经验措施。我们证明了$N$ -人博弈具有纳什均衡，并且当$N$趋于无穷大时，均衡收敛到平均场博弈解。
2015-10-30 math.OC math.PR
Existence of Nash Equilibrium Points for Markovian Nonzero-sum Stochastic Differential Games with Unbounded Coefficients
本文在马尔可夫框架下研究了非零和随机微分对策。当漂移不再有界且仅满足线性增长条件时，我们证明了博弈的纳什平衡点的存在性。主要工具是向后随机微分方程的概念，在我们的情况下，是多维的连续系数和随机线性增长。
2014-08-05 math.OC math.PR
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间，支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次，基于半马尔可夫对策的标准正则性条件和连续紧性条件，在半马尔可夫核上导出了一个“漂移条件”，并假设折扣因子有一个正下界，在此条件下，利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外，当状态和行动空间都是有限的，价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后，我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念，并通过原始-对偶迭代方法求解带约束马尔可夫博弈，证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离，通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法，进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
Markovian randomized equilibria for general Markovian Dynkin games in discrete time
本文研究离散时间马尔可夫框架下的两人 Dynkin 博弈，提出马尔可夫随机停时策略，推导出 Nash 均衡的 Wald-Bellman 型显式刻画，并证明了零和及一般情形下均衡的存在性与构造方法。
2025-08-12 math.OC math.PR
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
Convex computation of extremal invariant measures of nonlinear dynamical systems and Markov processes
我们提出了一个凸优化为基础的框架计算的不变测度的多项式动力系统和马尔可夫过程，在离散和连续时间。所有不变测度的集合被刻画为无限维线性规划（LP）的可行集。然后，该LP的目标泛函用于挑选出相对于所选泛函极值的特定度量（或一类度量），诸如物理度量、遍历度量、原子度量（对应于，例如，周期轨道）或测量绝对连续的w.r.t.到一定的程度。无限维LP，然后近似使用标准层次的有限维半定规划问题（SDPs），其解决方案是截断的时刻序列，然后用于重建的措施。特别是，我们展示了如何近似的措施，以及如何构建一个序列的弱收敛绝对连续的近似的支持。所提出的框架，其中凸泛函最小化或最大化之间的所有不变测度，可以被看作是一个推广和计算方法来进行所谓的遍历优化，其中线性泛函优化的一组不变测度。最后，我们还描述了如何提出的框架可以适应计算特征测度的Perron Frobenius算子。
2020-09-17 math.DS math.OC
On Non-Cooperative Perfect Information Semi-Markov Games
本文证明N人非合作完全信息半马尔可夫博弈在极限比率平均收益下存在纯半平稳纳什均衡，通过归约为SMDP简化证明，并用Mondal算法求解。
2024-02-26 cs.GT math.OC
Mean field games via controlled martingale problems: Existence of Markovian equilibria
在受控鞅问题的框架下研究了平均场对策，证明了均衡控制为马尔可夫的一般存在性定理。该框架是灵活的，足以包括退化的波动，这可能取决于控制和平均场。目标不需要是严格凸的，考虑的平均场相互作用是非局部的和Wasserstein连续的。当波动率是非退化的，连续性假设可能会大大削弱。证明首先使用放松控制来建立存在性。然后，使用凸性假设和可测量的选择参数，严格（非放松）马尔可夫均衡构造放松的均衡。
2015-04-08 math.OC math.PR
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Deterministic limit of mean field games associated with nonlinear Markov processes
研究了具有非局部耦合的平均场对策的确定性极限。假设平均场博弈的动力学是由非线性马尔可夫过程给出的。这类博弈包括随机平均场博弈和有限状态空间的平均场博弈。在极大极小方法的框架下，我们考虑了有限确定性平均场对策。极小化极大解的概念接近于概率公式。在这种情况下，汉密尔顿-雅可比方程被认为是在极小极大/粘性意义下，而概率流是由概率的解决方案的集合上的微分包含与汉密尔顿-雅可比方程，使这些解决方案是可行的，在图中的极小化极大解。本文的主要结果是在基本动态收敛于确定性演化的情况下，平均场对策的解收敛于确定性平均场对策的极小化极大解.
2018-01-04 math.OC math.PR
Zero-sum continuous-time Markov games with one-side stopping
本文研究了连续时间有限状态马尔可夫控制和停止博弈的一种变体，其中两个博弈者都可以影响转移率，而只有一个博弈者可以选择一个停时。我们使用动态规划原则，并减少了这个问题的一个系统的常微分方程的单边约束。这个系统起着贝尔曼方程的作用。我们表明，它的解决方案提供了最优策略的球员。此外，我们证明了所推导的单边约束常微分方程组的存在唯一性定理。
2022-08-07 math.OC math.PR
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Markov Chains of Evolutionary Games with a Small Number of Players
本文构建并研究了有限参与者演化博弈的马尔可夫链转移概率矩阵，基于Sandholm的简化种群博弈框架，通过迭代囚徒困境等示例及多种修正协议，显式构建MC转移概率矩阵并分析其性质。
2025-06-29 cs.GT math.OC
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程，研究两人零和随机博弈，在转移率与费用/报酬率上下无界的温和条件下，证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Discounted semi-Markov games with incomplete information on one side
本文研究了两人零和半马尔可夫博弈问题，其中一方信息不完全，观测完全。在开始时，系统根据给定的概率分布选择游戏类型，并仅通知玩家1。在每个阶段之后，双方玩家在进入下一阶段之前都要观察所选择的动作。首先，我们证明了在期望折扣准则和最优性方程下价值函数的存在性。其次，通过价值函数的最优性方程，给出了参与人1的最优策略的存在性和迭代算法。此外，对于不知情的参与人2的最优策略，我们定义了辅助对偶对策，并构造了对偶对策中价值函数的一个新的最优性方程，这意味着参与人2在对偶对策中最优策略的存在性。最后，利用对偶对策的结果给出了原对策中参与人2的最优策略的存在性和迭代算法。
2021-07-15 math.OC math.PR
Sensitivity Analysis for Markov Decision Process Congestion Games
我们考虑一个非原子拥塞游戏，每个决策者执行自私的优化状态的一个共同的MDP。决策者对自己的期望成本进行优化，并通过阻塞效应对国家行动成本的影响相互影响。我们分析了MDP拥塞博弈均衡对状态-行动成本的不确定性和扰动的敏感性。定义了随机Braess悖论的发生，基于博弈均衡的敏感性进行了分析，并在仿真中进行了演示。我们进一步分析了与确定性动力学相比，随机动力学的引入如何影响布雷斯悖论的大小。
2019-09-12 cs.GT math.OC
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离，通过不动点论证，证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性，并利用马尔可夫链后向近似方法，分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
General Markovian randomized equilibrium existence and construction in zero-sum Dynkin games for diffusions
本文研究一维扩散下的零和Dynkin停时博弈，提出基于随机化概念的新方法，在无收益序条件下构造出任意ε>0的马尔可夫随机全局ε-Nash均衡，还给出ε=0时纯策略与随机化Nash均衡的存在条件，可显式求解均衡停时与对应值。
2024-12-12 math.OC math.PR
Markov-Nash equilibria in mean-field games under model uncertainty
本文提出并分析了模型不确定性下的平均场马尔可夫博弈框架，证明了最坏情况期望奖励下平均场均衡的存在性，并证明当智能体数量足够大时该最优策略可构成近似马尔可夫-纳什均衡。
2024-10-15 math.OC math.PR
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Globalized Robust Markov Perfect Equilibrium for Discounted Stochastic Games and its Application on Intrusion Detection in Wireless Sensor Networks: Part I -- Theory
在这篇文章中，我们研究了一个折扣随机博弈模型的无线传感器网络中的资源最优入侵检测。为了解决网络参数不确定性的问题，我们提出了一个全球化的折扣鲁棒随机博弈的鲁棒博弈理论框架。一个强大的解决方案所考虑的问题是一个最佳的点，是可行的所有实现的数据从一个给定的不确定性集。为了允许在参数移出不确定性集时有控制地违反约束，全球化鲁棒框架的概念应运而生。在这篇文章中，我们制定了一个全球化的鲁棒对应的折扣随机博弈考虑。借助全局鲁棒优化的思想，提出了全局鲁棒马尔可夫完美均衡的概念。当参与人的行动次数有限时，折扣随机博弈证明了这种均衡的存在性。利用压缩映射定理、Kakutani不动点定理和等度连续的概念证明了该结果的存在性。为了计算所考虑的折扣随机博弈的全球化鲁棒马尔可夫完美均衡，还提供了所提出的全球化鲁棒对应物的易于处理的表示。使用推导出的易处理的表示，我们制定了一个全球化的强大的无线传感器网络入侵检测系统。仿真结果表明，所提出的全球化解决方案是更少的数据扰动的敏感性比鲁棒解决方案。
2019-10-28 cs.GT math.OC
On the Global Convergence Rates of Decentralized Softmax Gradient Play in Markov Potential Games
Softmax策略梯度是单智能体强化学习中策略优化的一种流行算法，特别是因为每次梯度更新都不需要投影。然而，在多智能体系统中，缺乏中央协调引入了显着的额外困难的收敛分析。即使对于具有相同兴趣的随机对策，也可以存在多个纳什均衡（NE），这使得依赖于存在唯一全局最优值的证明技术失效。此外，softmax参数化引入了具有零梯度的非NE策略，使得基于梯度的算法难以寻找NE。在本文中，我们研究了分散softmax梯度对策的有限时间收敛的一种特殊形式的游戏，马尔可夫势游戏（MPGs），其中包括作为特殊情况的相同的利益游戏。我们研究了梯度播放和自然梯度播放，有和没有$\log$障碍正则化。非正则化情况下建立的收敛速度包含一个依赖于概率的常数，可以任意大，而$\log$ -障碍正则化克服了这个缺点，与其他因素，如动作集大小的依赖性稍差的成本。对一个利益一致的矩阵对策的实证研究证实了这一理论发现。
2022-10-29 cs.MA math.OC
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
