Ordered field property for zero-sum stochastic games
我们考虑有限状态,有限行动,零和随机对策的数据定义的游戏躺在序域的代数数。在这两个折扣和限制平均版本的这些游戏,我们证明了价值向量也位于同一领域的代数数。在规定的意义上,我们的结果解决了一个问题,一直以来,至少,1991年开放。
2017-12-15 math.OC
Extremal shift rule for continuous-time zero-sum Markov games
本文考虑描述有限类型相互作用粒子系统的受控连续时间马尔可夫链。该系统由两个具有相反目的的玩家控制。粒子数趋于无穷大时的极限对策是零和微分对策。Krasovskii-Subbotin极值转移提供了极限博弈中的最优策略。本文的主要结果是Krasovskii-Subbotin极值转移规则的近最优性的原始马尔可夫对策。
2014-12-01 math.OC
Limit value of dynamic zero-sum games with vanishing stage duration
我们考虑两人零和对策,其中玩家控制,在离散时间{tn}引起的分区$Π$的R +,一个连续时间马尔可夫状态过程。我们证明了当$Π$的网格趋于0时,值v $Π$的极限存在。该分析涵盖了以下情况:1)随机对策(其中双方都知道状态)2)对称无信息。证明是通过减少到一个确定性的微分对策。
2016-03-30 math.OC
Communicating Zero-Sum Product Stochastic Games
研究了两类具有紧行动集和有限乘积状态空间的零和随机对策。这两个类假定参与者的状态空间上的通信属性。对于强连通的单边对策,我们证明了一致值的存在性。对于弱沟通的双方对策,我们证明了渐近值,从而一致值,可能不存在。
2019-07-02 math.OC
Tauberian theorems for general iterations of operators: applications to zero-sum stochastic games
本文证明了算子一般迭代的几个Tauberian定理,并给出了两个应用于总收益是阶段收益加权和的零和随机对策。第一个应用是提供条件,在该条件下,当玩家变得越来越耐心时,渐近值的存在意味着加权博弈的值的收敛。第二个应用涉及有限状态空间和行动集的随机对策。本文建立了一类简单的加权博弈的渐近最优策略,即在每一阶段都在一个折扣博弈中进行最优博弈,折扣因子对应于当前阶段的相对权重。
2016-09-07 math.OC
Nash Equilibrium Seeking Over Directed Graphs
在本文中,我们的目标是开发分布式连续时间算法在有向图上寻找纳什均衡的非合作对策。受最近基于一致性的设计的启发,我们提出了一个分布式算法的权重平衡的有向图的比例增益。通过进一步嵌入一个分布估计的左特征向量与零特征值的图Laplacian,我们将其扩展到任意强连接有向图的情况下,可能有不平衡的重量。在这两种情况下,纳什均衡被证明是完全达到指数收敛速度。最后通过一个算例说明了理论结果的有效性。
2022-04-18 math.OC
Zero-sum continuous-time Markov pure jump game over a fixed duration
本文研究了在Borel状态空间和行动空间中,在固定有限时间内的两人零和连续时间马氏纯跳对策。该模型的主要假设是存在一个漂移函数,它限制了奖励率。在一定的规则性条件下,我们证明了博弈有一个值,并且双方都有自己的最优策略。
2017-03-30 math.OC
Zero-sum Stochastic Games: Limit Optimal Trajectories
我们考虑零和随机对策。对于每个折扣因子$λ$,时间归一化允许将游戏表示为在间隔[0,1]上进行。在$ε$ -最优策略下,我们引入了到时间t $\in$ [0,1]的累积期望收益和累积占用测度的轨迹.当折扣因子趋于0时,极限最优轨迹被定义为一个聚点。我们研究了这些极限最优轨道的存在性,唯一性和特征的吸收游戏。
2018-12-20 math.OC
Zero-sum Risk-sensitive Stochastic Games for Continuous Time Markov Chains
研究了可数状态空间上受控连续时间马尔可夫链的无限时域折扣费用和遍历费用风险敏感零和随机对策。对于折扣成本博弈,在名义条件下证明了马氏策略类的价值均衡和鞍点均衡的存在性。对于遍历代价博弈,通过研究相应的Hamilton-Jacobi-Isaacs方程,在一定的李雅普诺夫条件下,证明了值和鞍点平衡的存在性.
2016-03-08 math.OC
Proximal Calculus and Universal Feedback Strategies in Two Person Non-Zero Sum Differential Games
本文对二人非零和微分对策的Nash均衡问题引入了间断泛反馈。假设存在满足类似于零和微分对策中值函数无穷小条件的函数。在此假设下,我们证明了泛反馈纳什均衡的存在性。
2013-01-21 math.OC
Nonzero-sum risk-sensitive stochastic differential games
研究了具有风险敏感折扣和遍历代价准则的两人非零和随机微分对策。在一定的条件下,我们建立了一个纳什均衡的马尔可夫战略的折扣成本标准和纳什均衡的平稳战略的遍历成本标准。我们通过研究耦合HJB方程的相关系统得到了我们的结果。
2016-04-05 math.OC
Zero-sum Stochastic Differential Games of Impulse Control with Random Intervention Costs
针对双方均实施脉冲控制的有限时段零和随机微分博弈,本文提出控制随机化表述以证明上下值函数相等,并允许干预成本依赖状态与时间且无需系数单调性假设。
2025-05-12 math.OC
A strategy-based proof of the existence of the value in zero-sum differential games
在Isaacs条件下,零和微分对策的值作为Hamilton-Jacobi-Bellman方程的唯一黏性解存在.在这篇文章中,我们提供了一个自包含的证明的基础上建设的$\ep$ -最优策略,这是受启发的“极值瞄准”方法从Krasovskii和Subbotin。
2013-01-27 math.OC
On the bang-bang type Nash equilibrium point for Markovian nonzero-sum stochastic differential game
本文在马尔可夫框架下研究了一类非零和随机微分对策。在自然条件下,我们证明了Nash平衡点的存在性,该平衡点是不连续的,是bang-bang型的。主要工具是向后随机微分方程的概念,在我们的情况下,是多维的不连续发电机的z分量。
2015-03-09 math.OC
Continuity of Equilibria for Two-Person Zero-Sum Games with Noncompact Action Sets and Unbounded Payoffs
本文将Berge关于可能非紧行动集和无界费用函数的最大值定理推广到极大极小问题,并研究了这些推广在具有可能非紧行动集和无界支付的两人零和对策中的应用.对于完全信息博弈,也称为回合制博弈,本文建立了价值函数和解集函数的连续性。对于同时移动的博弈,它提供了不平衡值(非对称形式的值)和解的存在性的结果。本文还建立了偏值和解集值的连续性。
2017-09-12 math.OC
Risk-sensitive Nonzero-sum Stochastic Differential Game with Unbounded Coefficients
本文在马尔可夫框架下研究了风险敏感的非零和随机微分对策。这个博弈考虑了参与者对风险的态度,效用是指数形式的。当漂移不再有界且仅满足线性增长条件时,我们证明了该博弈的纳什平衡点的存在性。主要工具是向后随机微分方程的概念,在我们的情况下,这是多维的连续生成元涉及Z的二次项和关于Z的随机线性增长分量。
2014-12-03 math.OC
Nonzero-sum Risk-sensitive Stochastic Games on a Countable State Space
研究了具有可数多个状态的受控马尔可夫链的无限时域风险敏感折扣成本和遍历成本非零和随机对策。在相当一般的条件下,我们证明了折扣成本博弈的纳什均衡策略在马尔可夫策略类中的存在性。在附加的几何遍历性条件和小代价准则下,证明了遍历代价对策的平稳马氏策略类中Nash均衡策略的存在性。
2016-03-11 math.OC
A probabilistic representation for the value of zero-sum differential games with incomplete information on both sides
证明了对于一类双方都不完全信息的零和微分对策,其值可以用概率表示为双方都控制连续鞅的完全信息零和随机微分对策的值。一个类似的表示作为一个控制问题的不连续鞅是已知的游戏与不完全信息的一方(见Cardaliaguet-Rainer [8]),我们的结果是一个连续时间模拟的所谓分裂游戏介绍在Laraki [20]和Sorin [27]为了分析离散时间模型。Cardaliaguet [4,5]证明了我们所考虑的对策的值是具有凸性约束的Hamilton-Jacobi方程的唯一解。因此,我们的结果提供了一个新的概率表示的Hamilton-Jacobi方程的凸性约束的值的随机微分对策具有无界控制空间和无界波动。
2017-01-03 math.OC
A Tauberian theorem for nonexpansive operators and applications to zero-sum stochastic games
证明了一个关于非扩张算子的Tauberian定理,并将其应用于零和随机对策模型。在适当的假设下,证明了当λ趋于0时,折扣博弈v_{lambda}的值一致收敛当且仅当n阶博弈v_n的值一致收敛当n趋于无穷大.这将Lehrer和Sorin(1992)的Tauberian定理推广到两个玩家零和的情况。我们还提供了一个随机对策的第一个例子,在有限的状态空间,信号集和行动集,其中对于一些初态k_1已知的双方球员,(v_{lambda}(k_1))和(v_n(k_1))收敛到不同的限制与公共信号的状态和完美的观察行动。
2015-02-23 math.OC
Solutions for Zero-Sum Two-Player Games with Noncompact Decision Sets and Unbounded Payoffs
本文给出了具有inf/超紧支付函数和局中人决策集可能为非紧的两人零和对策解存在的充分条件。支付函数可能是无界的,我们不假设任何凸/凹型条件。对于这样的博弈,某些策略对的预期收益可能不存在。本文的结果隐含了几个经典事实。本文还给出了每个局中人的解和值存在的充分条件。最后用猜数游戏的例子说明了本文的结果。
2021-12-21 math.OC
More on homotopy continuation method and discounted zero-sum stochastic game with ARAT structure
本文通过引入同伦函数来跟踪轨迹,应用改进的同伦延拓方法求解二人零和折扣随机ARAT对策。我们证明了该算法具有较高的收敛阶。对于所提出的算法,同伦路径接近的解决方案是光滑和有界的。两个数值例子说明了所提出的算法的有效性。
2022-03-16 math.OC
Zero-Sum Stackelberg Stochastic Linear-Quadratic Differential Games
研究了有限水平上的零和Stackelberg随机线性二次(简称LQ)微分对策.在一个较弱的条件下,通过求解一个正向随机LQ最优控制问题(简称SLQ问题)和一个反向SLQ问题,得到了Stackelberg平衡点.在构造Stackelberg平衡时,导出了两个Riccati方程.一个有趣的发现是,这两个Riccati方程的差异与零和Nash随机LQ微分对策的Riccati方程相吻合,这意味着Stackelberg均衡和Nash均衡实际上是相同的。因此,Stackelberg均衡承认一个线性状态反馈表示,和纳什博弈可以解决的领导者-追随者的方式。
2021-10-03 math.OC
Zero-Sum Games involving Teams against Teams: Existence of Equilibria, and Comparison and Regularity in Information
许多新出现的问题涉及参与游戏的代理团队。这样的问题需要一个随机分析关于属于一个给定的团队的代理之间的相关结构。本文在标准Borel空间的背景下,对两队多人参与的零和对策作了如下贡献:(i)当假设每个队都有共同随机性时,给出了两队对两队的零和对策中鞍点均衡的存在性结果,并分析了战略队测度的紧性条件. (ii)Blackwell的排序的信息结构被推广到$n$球员的团队与标准的Borel空间,其中相关的乱码的信息结构被引入作为一个关键属性;(iii)建立在这个结果的Blackwell的信息结构的排序的团队对团队的零和对策问题。(iv)最后,建立了全变差条件下信息结构空间中队对队零和对策问题均衡值的连续性。
2022-06-24 math.OC
Definable zero-sum stochastic games
可定义的零和随机对策包含有限数量的状态和动作集,奖励和转移函数可以在o-极小结构中定义。这类博弈的突出例子是有限的、半代数的或全局次分析的随机对策。本文证明了任何可定义的具有可分离转移和报酬函数的随机对策的Shapley算子都可以在相同的结构中定义。在同一结构中的可定义性并不系统地保持:我们提供了一个反例的随机对策与半代数数据产生一个非半代数,但全球次分析Shapley算子。我们的Shapley算子的可定义性的结果被用来证明,任何可分离的可定义的游戏有一个统一的值,在多项式有界的结构的情况下,我们还提供了收敛速度。使用一个近似程序,我们实际上建立了一般的零和游戏可分离定义的转移函数有一个统一的价值。这些结果突出了转移函数的驯服结构所起的关键作用。作为我们主要结果的特例,我们得到了多项式转移的随机对策、单侧有限行动的可定义对策、完全信息或切换控制的可定义对策具有一致值。最后给出了风险敏感控制和Perron-Frobenius理论在非线性映射中的应用
2013-11-14 math.OC
On zero-sum game formulation of non zero-sum game
本文考虑一个非零和n人对策由一个n+1人零和对策构成。我们假设在主博弈中除了n个局中人之外还存在第n+1个局中人,并且第n+1个局中人对n个局中人提供虚拟补贴。它的策略变量只影响补贴,不影响主博弈中n个参与者的策略选择。他的目标函数与n个参与人的收益之和相反。我们将证明1)Sion(Sion(1958))的极小极大定理暗示了n个局中人非零和对策的Nash均衡的存在性。2){1,2,\dots,n}中每个局中人的极大极小策略与第n+1个局中人的极大极小策略等价于n个局中人非零和对策的纳什均衡策略。3)n个局中人非零和对策的Nash均衡的存在性对n个局中人中的每一个与第n+1个局中人的配对都蕴含Sion的极小极大定理。
2018-09-09 cs.GT math.OC
Monotone Near-Zero-Sum Games: A Generalization of Convex-Concave Minimax
IST Austria(奥地利科学技术研究所);CISPA Helmholtz Center(CISPA亥姆霍兹中心)
本文提出单调近零和游戏模型,通过将近零和游戏转化为零和子问题,改进了梯度复杂性,并展示了其在实际游戏场景中的应用。
2025-12-02 cs.GT math.OC
Nonzero-sum games of optimal stopping and generalised Nash equilibrium
在非零和设置,我们建立了纳什均衡之间的连接,在游戏的最佳停止(Dynkin游戏)和广义纳什均衡问题(GNEP)。在Dynkin游戏中,这揭示了阈值类型和更复杂类型的新平衡,并导致新的唯一性和稳定性结果。
2017-09-06 math.OC math.PR
Zero-sum mean-field Dynkin games: characterization and convergence
我们引入了一个平均场型的零和对策问题,作为经典零和Dynkin对策问题的推广,使其收益过程可能依赖于对策的值及其概率律.我们建立了这样一个对策允许一个值和一个鞍点的充分条件。此外,我们提供了一个表征的游戏中的一个特定类别的双重反射向后随机微分方程(BSDES)的平均场型,我们得出的存在性和唯一性的结果。然后,我们引入了相应的弱相互作用零和Dynkin对策系统,并证明了它的适定性。最后给出了零和平均场Dynkin对策的混沌传播结果。
2022-05-04 math.OC math.PR
A probabilistic verification theorem for the finite horizon two-player zero-sum optimal switching game in continuous time
本文研究了有限时域上连续时间两人零和最优切换对策。利用具有互连障碍的双反射BSDES理论,我们证明了这个博弈在参与者的切换控制中具有一个值和一个均衡。
2018-06-01 math.OC math.PR
Polynomial stochastic games via sum of squares optimization
随机对策是将马尔可夫决策过程推广到对策论场景的一类重要问题。本文研究了无限时间范围内有限状态两人零和随机对策的折扣报酬问题。假设参与者具有无限的策略空间,并且假设收益是多项式。在本文中,我们限制我们的注意力一类特殊的游戏,其中的单控制器的假设。结果表明,这类对策的极大极小均衡和最优策略可以通过半定规划得到。
2008-06-15 cs.GT math.OC
Zero-sum and nonzero-sum differential games without Isaacs condition
本文研究了不设Isaacs条件的零和与非零和微分对策。随着时间区间$[0,T]$的$π$的划分,我们选择了合适的随机非预期时滞策略来研究我们的非对称信息微分对策。利用Fenchel变换,证明了当划分$π$的网格趋于0时,上值函数$W^π$和低值函数$V^π$的极限重合.此外,我们给出了不满足Isaacs条件的非零和微分对策的Nash均衡收益的一个刻画,并证明了NEP的存在性。最后,通过考虑所有的策略和所有的划分,在等价的Isaacs条件下,给出了非对称信息零和微分对策的值的一个新的刻画.
2015-07-17 math.OC math.PR
A Zero-Sum Stochastic Game with Compact Action Sets and no Asymptotic Value
我们给出了一个零和随机博弈的例子,该博弈具有四个状态,每个参与者的紧凑行动集,以及连续的支付和转移函数,使得折扣值不会随着折扣因子趋于0而收敛,并且n阶段博弈的值不会随着n趋于无穷而收敛。
2013-01-19 cs.GT math.OC
Continuous-time Zero-Sum Stochastic Game with Stopping and Control
研究了具有可数状态空间和无界转移率和支付率的连续时间马尔可夫链的零和随机对策。游戏的另一个特点是,控制器连同采取行动也被允许停止进程。在适当的假设条件下,证明了该对策存在一个值,并且它是某些双边约束动态规划不等式的唯一解。在这个过程中,我们还规定了一个鞍点平衡。
2020-08-31 math.OC math.PR
Existence of Nash Equilibrium Points for Markovian Nonzero-sum Stochastic Differential Games with Unbounded Coefficients
本文在马尔可夫框架下研究了非零和随机微分对策。当漂移不再有界且仅满足线性增长条件时,我们证明了博弈的纳什平衡点的存在性。主要工具是向后随机微分方程的概念,在我们的情况下,是多维的连续系数和随机线性增长。
2014-08-05 math.OC math.PR
Optimal control and zero-sum stochastic differential game problems of mean-field type
在平均场型随机微分方程弱解驱动的动力学下,分别建立了平均场型支付泛函的控制问题和零和微分对策的近最优控制的存在性、最优控制存在的条件和鞍点.
2017-07-22 math.OC math.PR
Information Relaxations and Dynamic Zero-Sum Games
动态零和博弈是一类重要的问题,其应用范围从逃避追击和单挑扑克到某些对抗版本的控制问题,如多臂强盗和多类排队问题。这些游戏通常很难解决,即使一个球员的策略是固定的,因此构建和评估良好的次优策略,为每个球员是一个重要的实际问题。在本文中,我们提出了使用信息松弛来构建对偶的最优值的游戏上下限。我们注意到,信息松弛的方法,这已被开发和成功地应用于许多大规模的动态规划问题,立即适用于零和博弈问题。我们提供了一些简单的数值例子,并确定有趣的问题和并发症的背景下出现的零和游戏。
2015-06-11 cs.GT math.OC
On zero-sum Stochastic Differential Games with Jump-Diffusion driven state: A viscosity solution framework
考虑了具有受控跳扩散驱动状态的零和微分对策,并结合动态规划和黏性解技术进行了研究。证明了在一定条件下,对策的值是存在的,并且是一个完全非线性积分-偏微分方程的唯一黏性解。此外,我们还在非局部方程的黏性解框架下,给出并证明了这类博弈的一个验证定理
2010-09-24 math.AP math.OC
Non-zero-sum stopping games in discrete time
我们考虑离散时间两人非零和停止对策。与Dynkin博弈不同的是,在我们的博弈中,每个参与人的收益都是在双方都停止之后才显示的。此外,每个玩家可以根据其他玩家的行动调整自己的停止策略。在本文的第一部分中,我们考虑的游戏中,玩家在每个阶段同时采取行动。我们证明了混合停止策略存在一个纳什均衡。在第二部分中,我们假设每个阶段都有一个参与者首先采取行动。在这种情况下,我们证明了纯停止策略的纳什均衡的存在性。
2015-08-25 math.OC q-fin.MF
Zero-sum stochastic differential game with risk-sensitive cost
考虑了具有风险敏感代价准则的零和对策,其动力学由受控随机微分方程给出。在动力学几何稳定的假设下,我们完全刻画了平稳马氏控制类中所有可能的鞍点策略。此外,我们还建立了Hamilton-Jacobi-Isaacs方程的值函数的存在唯一性结果。
2018-01-03 math.OC math.PR
Nonzero-sum stochastic games and mean-field games with impulse controls
我们考虑一类非零和$N$ -玩家随机对策与脉冲控制,玩家控制离散干预的基本动态。我们采用了验证的方法,并提供了充分条件的纳什均衡(NE)的游戏。然后,我们考虑的极限情况$N \to \infty$,即一个合适的平均场游戏(MFG)与脉冲控制。证明了在适当的技术条件下,利用$ε=O\left(\frac{1}{\sqrt{N}}\right)$证明了MFG的唯一NE解的存在性,该解是$N$ -玩家对策的$ε$-NE逼近.作为一个例子,我们详细分析了一类两人随机对策,它扩展了经典的现金管理问题的博弈设置。特别是,我们提出了数值分析的情况下,单人游戏,两个玩家的游戏,和MFG,显示竞争的影响,玩家的最优策略,与灵敏度分析的模型参数。
2020-10-04 math.OC math.PR
Solution to Zero-Sum Differential Game with Fractional Dynamics via Approximations
本文研究了一个零和微分对策,其中动力系统由一个分数阶微分方程描述,其Caputo导数为$α\in (0, 1).$,第一(第二)局中人的目标是最小化(最大化)给定质量指标的值。本文的主要贡献是证明了这个微分对策具有价值,即,下博弈值和上博弈值一致。证明是基于适当的近似游戏的零和微分对策,其中的动力系统是由一阶泛函微分方程的延迟型。证明了近似微分对策的值有一个极限,这个极限就是原对策的值。并以最优控制近似系统为指导,提出了最优局中人的反馈控制过程。
2019-02-08 math.DS math.OC
Two Person Zero-sum Game in Weak Formulation and Path Dependent Bellman-Isaacs Equation
本文研究了两人零和随机微分对策的弱形式。不像标准文献中使用的策略类型的控制,弱制定允许我们考虑控制对控制的游戏。我们将在自然条件下证明博弈值的存在性。本文的另一个主要特点是,我们允许非马尔可夫结构,因此游戏值是一个随机过程。我们将价值过程刻画为相应的路径依赖Bellman-Isaacs方程的唯一黏性解,这是Ekren,Keller,Touzi和Zhang(arXiv:1109.5971)以及Ekren,Touzi和Zhang最近提出的一个概念.
2012-09-28 math.OC math.PR
$\varepsilon$-Nash Equilibria of a Multi-player Nonzero-sum Dynkin Game in Discrete Time
研究了无限时域离散时间N人非零和Dynkin对策($N \geq 2$),其停时为策略(或纯策略).通过构造性算法证明了该博弈的$\varepsilon$ -Nash平衡点的存在性。其中一个主要特征是参与人的收益取决于在终止阶段停止的参与人的集合,终止阶段是至少有一个参与人停止的最小阶段。将该结果推广到了有限时域非零和博弈的情形。最后,在有限时域的特定情况下,通过两个显式例子说明了算法。
2022-03-09 math.OC math.PR
Set Values of Dynamic Nonzero Sum Games and Set Valued Hamiltonians
本文将随机控制与零和博弈的值刻画经典结果推广到非零和博弈,引入集合值哈密顿量,通过其路径依赖选择子驱动的倒向SDE刻画唯一的博弈集合值,且涵盖经典特例。
2024-08-16 math.OC math.PR
Mixed Zero-Sum Stochastic Differential Game and Doubly Reflected BSDEs with a Specific Generator
研究了混合零和随机微分对策问题。我们允许泛函和动力学多项式增长。该问题被制定为一个扩展的双反射倒向随机微分方程与特定的生成器。我们证明了这个双重反射倒向随机微分方程解的存在性,并证明了这个博弈的鞍点的存在性。在马尔可夫框架下,证明了该值函数是相应的Hamilton-Jacobi-Bellman方程的唯一黏性解.
2021-03-04 math.OC math.PR
Solving Zero-sum Games using Best Response Oracles with Applications to Search Games
我们提出了有效的算法计算最优或近似最优策略的零和对策,其中玩家I有n个纯策略和玩家II有任意数量的纯策略。我们假设对于参与人I的任何给定的混合策略,参与人II的最佳对策或“近似”最佳对策可以通过预言机在时间多项式n中找到。然后,我们将展示我们的算法可能会被应用到几个搜索游戏与应用程序的安全和反恐。我们评估我们的主要算法实验上的一个原型搜索游戏。我们的研究结果表明,它表现良好相比,现有的,众所周知的算法解决零和对策,也可以用来解决搜索游戏,给出了最佳对策预言。
2018-06-20 cs.DS cs.GT math.OC
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值,最大者和最小者都有最优纯半平稳策略。我们得到的结果,首先固定一个任意的初始状态,并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵,并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
Conservation Law of Utility and Equilibria in Non-Zero Sum Games
Middlesex University(密德萨斯大学)
这个简短的说明演示了如何定义一个非零和博弈到零和博弈的转换,使得实现均衡的最优混合策略总是存在的。这种转换等价于在博弈中引入一个被动参与者(一个拥有单一纯策略集的参与者),其收益取决于主动参与者的行动,并且在博弈中的效用守恒定律证明了这一点。在转换游戏中,每个参与者都与所有其他玩家(包括被动玩家)进行游戏。这种方法的优点是转换后的博弈是零和博弈,并且有一个均衡解。然而,新博弈的最优策略和价值可能与原博弈中的理性策略不同。我们用囚徒困境的例子来说明这个原理。
2010-10-13 cs.AI cs.GT math.OC
Distributed convergence to Nash equilibria in two-network zero-sum games
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, San Diego(加州大学圣地亚哥分校)
针对两个具有相反目标的网络智能体在零和博弈中优化共同目标函数的问题,提出分布式鞍点策略并证明其在无向拓扑下收敛到纳什均衡,在有向拓扑下通过改进动力学实现收敛。
2012-12-21 cs.SY eess.SY math.OC
Non-linear non-zero-sum Dynkin games with Bermudan strategies
该研究针对两人采用百慕大策略并优化非线性收益评估泛函的非零和 Dynkin 博弈,借助递归构造证明了 Nash 均衡点的存在性。
2023-11-02 math.OC math.PR q-fin.CP
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia(不列颠哥伦比亚大学)
受生成对抗网络的启发,我们研究了凹网络零和博弈(NNORGs)中纳什均衡的计算问题,NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果,我们表明,各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后,我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时,球员更新他们的策略使用梯度上升,其变体,乐观梯度上升,显示最后的收敛在三个设置-当球员的收益是线性的,强凹和Lipschitz,强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware(特拉华大学)
本文提出了一个理论框架,可能近似正确(PAC)的多智能体强化学习(MARL)算法的马尔可夫博弈。本文利用延迟Q学习的思想,对著名的Nash Q-学习算法进行了扩展,建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外,该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Multigrid methods for two-player zero-sum stochastic games
提出结合策略迭代与代数多重网格的快速数值算法,用于大规模完美信息零和随机博弈,并应用于Isaacs方程离散化。
2011-11-22 cs.NA math.NA math.OC
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习(MARL)通常使用马尔可夫博弈(也称为随机博弈或动态博弈)的框架建模。现有的文献大多集中在零和马尔可夫博弈,但不适用于一般和马尔可夫博弈。众所周知,一般和马尔可夫博弈中的最佳反应动态不是收缩。因此,一般和马尔可夫博弈中的不同均衡可以有不同的值。此外,Q函数不足以完全表征平衡。考虑到这些挑战,基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中,我们调查的基本问题,\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的,以获得一个$α$近似马尔可夫完美均衡与高概率,其中$γ$是折扣因子,和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后,我们使用Bernstein不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果,我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似(或扰动)博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡,并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY