Constant Payoff Property in Zero-Sum Stochastic Games with a Finite Horizon
本文研究有限零和随机博弈，证明当博弈时长足够长时存在近似最优策略使任意时刻期望平均收益接近其值，首次在该类博弈中确立此前仅适用于吸收博弈和折扣随机博弈的常收益性质。
2024-11-28 math.OC
Zero and Non-zero Sum Risk-sensitive Semi-Markov Games
本文研究了有限状态空间半马氏过程的零和与非零和风险敏感平均准则对策。对于零和情形，在适当的假设下，我们证明了博弈有一个值。我们还建立了一个平稳的鞍点平衡的存在性。对于非零和的情况，在适当的假设下，我们建立了一个稳定的纳什均衡的存在性。
2021-06-09 math.OC
From mean field games to the best reply strategy in a stochastic framework
本文建立在Degond，Herty和刘的工作，考虑N-玩家随机微分对策。通过模型预测控制（MPC）技术来近似对应于这样的游戏的纳什均衡的控制。在线性二次运行成本的情况下，这里考虑的MPC方法被示出为近似的解决方案的控制问题的最佳答复策略（BRS）的运行成本。然后，我们比较MPC的方法时，采取的平均场限制与流行的平均场游戏（MFG）的战略。我们发现，我们的MPC方法减少了两个耦合的偏微分方程到一个单一的偏微分方程，大大增加了简单性和易处理的原始问题。我们给出了两个例子，这种方法的应用，以前的文献，并得出结论与未来的前景，这项研究。
2019-11-11 math.OC
Ordered field property for zero-sum stochastic games
我们考虑有限状态，有限行动，零和随机对策的数据定义的游戏躺在序域的代数数。在这两个折扣和限制平均版本的这些游戏，我们证明了价值向量也位于同一领域的代数数。在规定的意义上，我们的结果解决了一个问题，一直以来，至少，1991年开放。
2017-12-15 math.OC
Extremal shift rule for continuous-time zero-sum Markov games
本文考虑描述有限类型相互作用粒子系统的受控连续时间马尔可夫链。该系统由两个具有相反目的的玩家控制。粒子数趋于无穷大时的极限对策是零和微分对策。Krasovskii-Subbotin极值转移提供了极限博弈中的最优策略。本文的主要结果是Krasovskii-Subbotin极值转移规则的近最优性的原始马尔可夫对策。
2014-12-01 math.OC
The Optimal Strategy against Hedge Algorithm in Repeated Games
针对有限重复2×2零和博弈中对抗Hedge算法的最优策略求解难题，本文通过演化分析、Bellman方程递推及状态转移图研究，证明最优策略的截段周期性，为一般博弈的同类问题提供方法参考。
2023-12-15 math.OC
Limit value of dynamic zero-sum games with vanishing stage duration
我们考虑两人零和对策，其中玩家控制，在离散时间{tn}引起的分区$Π$的R +，一个连续时间马尔可夫状态过程。我们证明了当$Π$的网格趋于0时，值v $Π$的极限存在。该分析涵盖了以下情况：1）随机对策（其中双方都知道状态）2）对称无信息。证明是通过减少到一个确定性的微分对策。
2016-03-30 math.OC
Communicating Zero-Sum Product Stochastic Games
研究了两类具有紧行动集和有限乘积状态空间的零和随机对策。这两个类假定参与者的状态空间上的通信属性。对于强连通的单边对策，我们证明了一致值的存在性。对于弱沟通的双方对策，我们证明了渐近值，从而一致值，可能不存在。
2019-07-02 math.OC
Tauberian theorems for general iterations of operators: applications to zero-sum stochastic games
本文证明了算子一般迭代的几个Tauberian定理，并给出了两个应用于总收益是阶段收益加权和的零和随机对策。第一个应用是提供条件，在该条件下，当玩家变得越来越耐心时，渐近值的存在意味着加权博弈的值的收敛。第二个应用涉及有限状态空间和行动集的随机对策。本文建立了一类简单的加权博弈的渐近最优策略，即在每一阶段都在一个折扣博弈中进行最优博弈，折扣因子对应于当前阶段的相对权重。
2016-09-07 math.OC
Zero-sum continuous-time Markov pure jump game over a fixed duration
本文研究了在Borel状态空间和行动空间中，在固定有限时间内的两人零和连续时间马氏纯跳对策。该模型的主要假设是存在一个漂移函数，它限制了奖励率。在一定的规则性条件下，我们证明了博弈有一个值，并且双方都有自己的最优策略。
2017-03-30 math.OC
Zero-sum Stochastic Games: Limit Optimal Trajectories
我们考虑零和随机对策。对于每个折扣因子$λ$，时间归一化允许将游戏表示为在间隔[0，1]上进行。在$ε$ -最优策略下，我们引入了到时间t $\in$ [0，1]的累积期望收益和累积占用测度的轨迹.当折扣因子趋于0时，极限最优轨迹被定义为一个聚点。我们研究了这些极限最优轨道的存在性，唯一性和特征的吸收游戏。
2018-12-20 math.OC
Zero-sum Risk-sensitive Stochastic Games for Continuous Time Markov Chains
研究了可数状态空间上受控连续时间马尔可夫链的无限时域折扣费用和遍历费用风险敏感零和随机对策。对于折扣成本博弈，在名义条件下证明了马氏策略类的价值均衡和鞍点均衡的存在性。对于遍历代价博弈，通过研究相应的Hamilton-Jacobi-Isaacs方程，在一定的李雅普诺夫条件下，证明了值和鞍点平衡的存在性.
2016-03-08 math.OC
Isomorphic Strategy Spaces in Game Theory
这本书总结了正在进行的研究引入概率空间同构映射到对策论的战略空间。这种方法的动机是概率论和博弈论之间的差异时，适用于相同的战略情况。特别是，概率论和博弈论可能在Fisher信息的计算值、对数似然函数、熵梯度、变量变换的秩和雅可比矩阵，甚至潜在概率参数空间的维度和体积上存在分歧。这些差异的出现是因为概率论在构造策略空间来分析博弈时采用了保结构同构映射。相比之下，博弈论使用较弱的映射，它改变了混合策略空间内潜在概率分布的一些属性。在这里，我们将探讨如何使用强同构映射来定义游戏策略空间可以改变简单游戏中的理性结果。具体的例子游戏被认为是连锁店悖论，信任游戏，最后通牒游戏，公共物品游戏，蜈蚣游戏，和迭代囚犯困境。总的来说，我们的方法提供了合理的结果，这与观察到的人类游戏是一致的，从而可能解决一些博弈论的悖论。
2013-04-20 cs.GT math.OC
Using strong isomorphisms to construct game strategy spaces
当应用于同一个博弈时，概率论和博弈论可能在费雪信息、对数似然函数、熵梯度、变量变换的秩和雅可比矩阵，甚至潜在概率参数空间的维数和体积的计算值上存在分歧。这些差异的出现是因为概率论在构造策略空间来分析博弈时采用了保结构同构映射。相比之下，博弈论使用较弱的映射，它改变了混合策略空间内潜在概率分布的一些属性。在本文中，我们将探讨如何使用强同构映射来定义博弈策略空间，可以改变简单博弈中的理性结果，并可能解决一些博弈论的悖论。
2012-08-20 cs.GT math.OC physics.data-an
On zero-sum game formulation of non zero-sum game
本文考虑一个非零和n人对策由一个n+1人零和对策构成。我们假设在主博弈中除了n个局中人之外还存在第n+1个局中人，并且第n+1个局中人对n个局中人提供虚拟补贴。它的策略变量只影响补贴，不影响主博弈中n个参与者的策略选择。他的目标函数与n个参与人的收益之和相反。我们将证明1）Sion（Sion（1958））的极小极大定理暗示了n个局中人非零和对策的Nash均衡的存在性。2){1，2，\dots，n}中每个局中人的极大极小策略与第n+1个局中人的极大极小策略等价于n个局中人非零和对策的纳什均衡策略。3)n个局中人非零和对策的Nash均衡的存在性对n个局中人中的每一个与第n+1个局中人的配对都蕴含Sion的极小极大定理。
2018-09-09 cs.GT math.OC
Monotone Near-Zero-Sum Games: A Generalization of Convex-Concave Minimax
IST Austria（奥地利科学技术研究所）；CISPA Helmholtz Center（CISPA亥姆霍兹中心）
本文提出单调近零和游戏模型，通过将近零和游戏转化为零和子问题，改进了梯度复杂性，并展示了其在实际游戏场景中的应用。
2025-12-02 cs.GT math.OC
Nonzero-sum games of optimal stopping and generalised Nash equilibrium
在非零和设置，我们建立了纳什均衡之间的连接，在游戏的最佳停止（Dynkin游戏）和广义纳什均衡问题（GNEP）。在Dynkin游戏中，这揭示了阈值类型和更复杂类型的新平衡，并导致新的唯一性和稳定性结果。
2017-09-06 math.OC math.PR
Acceptable Strategy Profiles in Stochastic Games
本文提出了一种新的多人随机游戏解概念，即可接受的策略配置文件。对于随机博弈中的每个参与者$i$和状态$s$，设$w_i(s)$为实数。一个策略简档是\emph{$w$-acceptable}，其中$w=(w_i(s))$，如果每个参与者在每个初始状态$i$的折扣收益至少是$w_i(s)$，假设参与者的折扣因子足够接近1。我们的目标是提供简单的策略配置文件是$w$ -可接受的支付向量$w$，其中所有的坐标都是高的。
2016-08-14 cs.GT math.OC math.PR
Mixed-strategy Nash equilibrium for a discontinuous symmetric $N$-player game
我们考虑一个博弈，在这个博弈中，每个参与者都必须在更大胆的策略和更谨慎的策略之间找到一个妥协，前者有很高的被淘汰风险，而后者会降低他的最终得分。对于两个对称的玩家，这个游戏最初是由Dresher在1961年制定的，他模拟了两个对手之间的决斗。游戏中也有对体育比赛的描述。我们在这里扩展的两个球员的游戏，以任意数量的对称球员$N$。我们发现，有一个混合策略纳什均衡，并找到其确切的解析表达式，我们分析特别是在大$N$的限制，平均场行为发生。原来的游戏与$N=2$出现作为一个奇异极限的一般情况。
2017-10-13 math.OC physics.soc-ph
Zero-sum mean-field Dynkin games: characterization and convergence
我们引入了一个平均场型的零和对策问题，作为经典零和Dynkin对策问题的推广，使其收益过程可能依赖于对策的值及其概率律.我们建立了这样一个对策允许一个值和一个鞍点的充分条件。此外，我们提供了一个表征的游戏中的一个特定类别的双重反射向后随机微分方程（BSDES）的平均场型，我们得出的存在性和唯一性的结果。然后，我们引入了相应的弱相互作用零和Dynkin对策系统，并证明了它的适定性。最后给出了零和平均场Dynkin对策的混沌传播结果。
2022-05-04 math.OC math.PR
Comparing the best reply strategy and mean field games: the stationary case
平均场博弈（MFG）和最佳应答策略（BRS）是描述交互主体系统竞争优化的两种方法。后者可以被解释为相应MFG系统的近似。本文对稳态情况下的两种方法进行了系统的分析和比较。我们提供了新的存在性和唯一性结果的固定边值问题有关的MFG和BRS配方，我们提出了一个分析和数值比较的两种范式在各种建模的情况。
2019-11-11 math.AP math.OC
Does randomization matter in dynamic games?
研究了完全信息动态博弈中的混合策略。通过一个例子说明了一个博弈者采用混合策略可以获得更高的收益。与此相反，本文的主要结果表明，每个两人的动态零和对策的性质具有非混合性质，这意味着混合策略是无用的，在这类最经典的游戏。在应用方面，我们证明了两人自然零和对策中纯策略子对策完美均衡的存在性。在此基础上，我们还证明了存在一个普适子博弈完美均衡，它能导出此类博弈中所有的纯策略子博弈完美均衡。对多个局中人的主要结果进行了推广，并讨论了进一步的结果。
2019-12-30 cs.GT math.OC
A probabilistic verification theorem for the finite horizon two-player zero-sum optimal switching game in continuous time
本文研究了有限时域上连续时间两人零和最优切换对策。利用具有互连障碍的双反射BSDES理论，我们证明了这个博弈在参与者的切换控制中具有一个值和一个均衡。
2018-06-01 math.OC math.PR
Optimal minimax strategy in a dice game
每两个球员，轮流掷骰子几次积累连续的分数，直到他决定停止，或者他掷出一个A。当停止时，累积的回合分数会被添加到玩家的账户中，并将骰子交给他的对手。如果他掷出一张A，骰子就交给对手，不加任何点数。在本文中，我们制定了这个游戏的竞争性马尔可夫决策过程（也称为随机对策）的框架，表明游戏有一个值，提供了一个算法来计算最优极大极小策略，并提出了该算法的结果在三个不同的变种的游戏。
2009-12-30 cs.GT math.OC math.PR
Polynomial stochastic games via sum of squares optimization
随机对策是将马尔可夫决策过程推广到对策论场景的一类重要问题。本文研究了无限时间范围内有限状态两人零和随机对策的折扣报酬问题。假设参与者具有无限的策略空间，并且假设收益是多项式。在本文中，我们限制我们的注意力一类特殊的游戏，其中的单控制器的假设。结果表明，这类对策的极大极小均衡和最优策略可以通过半定规划得到。
2008-06-15 cs.GT math.OC
Zero-sum and nonzero-sum differential games without Isaacs condition
本文研究了不设Isaacs条件的零和与非零和微分对策。随着时间区间$[0,T]$的$π$的划分，我们选择了合适的随机非预期时滞策略来研究我们的非对称信息微分对策。利用Fenchel变换，证明了当划分$π$的网格趋于0时，上值函数$W^π$和低值函数$V^π$的极限重合.此外，我们给出了不满足Isaacs条件的非零和微分对策的Nash均衡收益的一个刻画，并证明了NEP的存在性。最后，通过考虑所有的策略和所有的划分，在等价的Isaacs条件下，给出了非对称信息零和微分对策的值的一个新的刻画.
2015-07-17 math.OC math.PR
Game-Theoretical Strategy of Robot in the Area with Dynamical Obstacles
Saint-Petersburg State University（圣彼得堡国立大学）
机器人操作的有效性在很大程度上取决于执行任务所需的这种或那种运动的速度。因此，机器人的最优控制问题通常分为两个子问题，分别解决。在一个自主制度的轨迹规划是履行提供机器人的运动时间接近最小。
2018-01-23 cs.RO math.OC
A Zero-Sum Stochastic Game with Compact Action Sets and no Asymptotic Value
我们给出了一个零和随机博弈的例子，该博弈具有四个状态，每个参与者的紧凑行动集，以及连续的支付和转移函数，使得折扣值不会随着折扣因子趋于0而收敛，并且n阶段博弈的值不会随着n趋于无穷而收敛。
2013-01-19 cs.GT math.OC
Continuous-time Zero-Sum Stochastic Game with Stopping and Control
研究了具有可数状态空间和无界转移率和支付率的连续时间马尔可夫链的零和随机对策。游戏的另一个特点是，控制器连同采取行动也被允许停止进程。在适当的假设条件下，证明了该对策存在一个值，并且它是某些双边约束动态规划不等式的唯一解。在这个过程中，我们还规定了一个鞍点平衡。
2020-08-31 math.OC math.PR
Existence of Nash Equilibrium Points for Markovian Nonzero-sum Stochastic Differential Games with Unbounded Coefficients
本文在马尔可夫框架下研究了非零和随机微分对策。当漂移不再有界且仅满足线性增长条件时，我们证明了博弈的纳什平衡点的存在性。主要工具是向后随机微分方程的概念，在我们的情况下，是多维的连续系数和随机线性增长。
2014-08-05 math.OC math.PR
Optimal control and zero-sum stochastic differential game problems of mean-field type
在平均场型随机微分方程弱解驱动的动力学下，分别建立了平均场型支付泛函的控制问题和零和微分对策的近最优控制的存在性、最优控制存在的条件和鞍点.
2017-07-22 math.OC math.PR
Information Relaxations and Dynamic Zero-Sum Games
动态零和博弈是一类重要的问题，其应用范围从逃避追击和单挑扑克到某些对抗版本的控制问题，如多臂强盗和多类排队问题。这些游戏通常很难解决，即使一个球员的策略是固定的，因此构建和评估良好的次优策略，为每个球员是一个重要的实际问题。在本文中，我们提出了使用信息松弛来构建对偶的最优值的游戏上下限。我们注意到，信息松弛的方法，这已被开发和成功地应用于许多大规模的动态规划问题，立即适用于零和博弈问题。我们提供了一些简单的数值例子，并确定有趣的问题和并发症的背景下出现的零和游戏。
2015-06-11 cs.GT math.OC
Solving Zero-sum Games using Best Response Oracles with Applications to Search Games
我们提出了有效的算法计算最优或近似最优策略的零和对策，其中玩家I有n个纯策略和玩家II有任意数量的纯策略。我们假设对于参与人I的任何给定的混合策略，参与人II的最佳对策或“近似”最佳对策可以通过预言机在时间多项式n中找到。然后，我们将展示我们的算法可能会被应用到几个搜索游戏与应用程序的安全和反恐。我们评估我们的主要算法实验上的一个原型搜索游戏。我们的研究结果表明，它表现良好相比，现有的，众所周知的算法解决零和对策，也可以用来解决搜索游戏，给出了最佳对策预言。
2018-06-20 cs.DS cs.GT math.OC
Conservation Law of Utility and Equilibria in Non-Zero Sum Games
Middlesex University（密德萨斯大学）
这个简短的说明演示了如何定义一个非零和博弈到零和博弈的转换，使得实现均衡的最优混合策略总是存在的。这种转换等价于在博弈中引入一个被动参与者（一个拥有单一纯策略集的参与者），其收益取决于主动参与者的行动，并且在博弈中的效用守恒定律证明了这一点。在转换游戏中，每个参与者都与所有其他玩家（包括被动玩家）进行游戏。这种方法的优点是转换后的博弈是零和博弈，并且有一个均衡解。然而，新博弈的最优策略和价值可能与原博弈中的理性策略不同。我们用囚徒困境的例子来说明这个原理。
2010-10-13 cs.AI cs.GT math.OC
Bregman algorithms for mixed-strategy generalized Nash equilibrium seeking in a class of mixed-integer games
我们考虑的问题计算的混合策略广义纳什均衡（MS-GNE）的一类游戏中，每个代理人都有连续和整数决策变量。具体来说，我们提出了一种新的Bregman前向反射后向分裂和分布式算法，利用问题的结构设计。从技术上讲，我们证明了收敛到变分MS-GNE仅仅单调性和Lipschitz连续性假设下，这是典型的连续GNE问题。最后，我们通过数值实验表明我们的算法的性能。
2022-06-13 cs.MA cs.SY eess.SY
Distributed strategy-updating rules for aggregative games of multi-integrator systems with coupled constraints
在本文中，我们探讨了网络上的多集成商代理与耦合约束的聚合博弈。为了达到聚合博弈的一般纳什均衡，结合拉格朗日乘子的协调和聚合者的估计，提出了一种分布式策略更新规则.每个玩家只能访问部分决策信息，并在一个权重平衡的有向图中与他的邻居进行通信，该有向图表征了玩家对从邻居那里接收到的信息值的偏好。我们首先考虑网络的双积分代理，然后专注于多积分代理。利用李雅普诺夫稳定性理论、奇异扰动理论和无源理论分析了相应动力系统的收敛性，证明了所提策略更新规则的有效性.数值例子来说明我们的结果。
2021-06-20 cs.SY eess.SY math.OC
Non-linear non-zero-sum Dynkin games with Bermudan strategies
该研究针对两人采用百慕大策略并优化非线性收益评估泛函的非零和 Dynkin 博弈，借助递归构造证明了 Nash 均衡点的存在性。
2023-11-02 math.OC math.PR q-fin.CP
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia（不列颠哥伦比亚大学）
受生成对抗网络的启发，我们研究了凹网络零和博弈（NNORGs）中纳什均衡的计算问题，NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果，我们表明，各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后，我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时，球员更新他们的策略使用梯度上升，其变体，乐观梯度上升，显示最后的收敛在三个设置-当球员的收益是线性的，强凹和Lipschitz，强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Decompositions of two player games: potential, zero-sum, and stable games
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过将两人正规型博弈视为向量空间，引入势博弈、零和博弈及其正交补（反势博弈和反零和博弈）的显式正交基分解，并应用该分解证明循环准则、分析广义石头-剪刀-布博弈、刻画零稳定博弈、提供严格稳定博弈类、关联复制方程向量场分解、构造李雅普诺夫函数以及Zeeman博弈。
2011-07-18 cs.GT cs.SY eess.SY
