Path deviations outperform approximate stability in heterogeneous congestion games
我们考虑非原子网络拥塞对策与异构球员的路径的延迟受到一些有界偏差。该模型包括几个研究扩展的经典Wardrop模型,其中包括,例如,风险规避,利他主义或旅行时间延迟。我们的主要目标是分析扰动纳什流(即,对于受扰动的Laundry)相对于原始Nash流。我们发现,同质球员扰动纳什流与近似纳什流一致,并得出严格的界限,他们的效率低下。相比之下,我们表明,对于异质人群,这种等价性并不成立。我们推导出严格的边界上的无效率的扰动和近似纳什流任意球员的敏感性分布。直观地说,我们的结果表明,路径偏差的负面影响(例如,由风险规避行为或等待时间扰动引起)不如近似稳定性(例如,由有限的响应性或有限的理性引起)。如果路径偏差可以分解为边偏差,我们还得到了一个紧界的无效率的扰动纳什流的拟阵拥塞游戏和同质人口。特别是,这提供了一个紧约束的价格风险厌恶拟阵拥塞游戏。
2017-07-05 cs.GT
The Lipschitz Constant of Perturbed Anonymous Games
给出了$n$ -参与者$k$ -行动$δ$ -扰动对策$λ(n,k,δ)$的最坏Lipschitz常数的显式概率描述.在$k\geq 3$的情况下,$λ(n,k,δ)$用$\mathbb Z$上某个对称随机游走的通过概率来标识。在$k=2$和$n$的情况下,即使是$λ(n,2,δ)$,也以两个两个i.i.d.\二项随机变量是相等的。其余情况,即$k=2$和$n$奇数,通过$n$的相邻(偶数)值来界定。我们的刻画意味着一个尖锐的封闭形式渐近估计$λ(n,k,δ)$为$δn /k\to\infty$。
2020-05-21 cs.GT math.PR
Adaptively Perturbed Mirror Descent for Learning in Games
CyberAgent(赛博agent公司);University of Electro-Communications(电气通信大学)
针对带噪声的单调博弈场景,提出自适应扰动镜像下降算法APMD,通过按间隔更新弹弓策略调整扰动幅度,实现有速率保障的纳什均衡求解,且收敛速度显著提升。
2024-06-24 cs.GT cs.LG
Filtered Fictitious Play for Perturbed Observation Potential Games and Decentralised POMDPs
University of Sydney(悉尼大学);Singapore Management University(新加坡管理大学);University of Southampton(南安普顿大学)
潜在的游戏和分散的部分可观察的MDP(Dec-POMDP)是两种常用的多智能体交互模型,分别用于静态优化和顺序决策设置。本文引入了过滤虚拟对策来解决重复势对策问题,其中每个局中人对其他局中人行动的观察受到随机噪声的干扰,并利用该算法构造了求解Dec-POMDPs的在线学习方法。具体来说,我们证明了噪音的观察,防止标准的虚拟播放收敛到纳什均衡在潜在的游戏,这也使得虚拟播放不切实际的解决Dec-POMDPs。为了打击这一点,我们得到过滤虚构的发挥,并提供条件下,它收敛到一个纳什均衡在潜在的游戏与嘈杂的意见。然后,我们使用过滤虚构播放构造一个求解器的Dec-POMDPs,并证明我们的新算法的性能在推盒问题。我们的研究结果表明,我们始终优于最先进的Dec-POMDP求解器的平均100%的噪声范围内的观察功能。
2012-02-14 cs.AI cs.GT
Characterizing Solution Concepts in Games Using Knowledge-Based Programs
我们展示了如何解决方案的概念,如纳什均衡,相关的均衡,合理化,和顺序均衡可以给出一个统一的定义,在\emph{knowledge-based programs}。直观地说,所有的解决方案的概念是两个知识为基础的程序,一个适合于游戏表示的范式,其他的游戏表示在广泛的形式。这些基于知识的程序可以被视为体现理性。即使(a)信息集没有捕获代理的知识,(b)不确定性不是由概率表示的,或者(c)潜在的游戏不是共同的知识,这种表示也有效。
2006-10-16 cs.DC cs.GT cs.MA
Characterizing the Convergence of Game Dynamics via Potentialness
该研究提出“势性”指标衡量博弈与势博弈的接近程度,构建数值框架计算不同博弈的势性,证实其可预测纯纳什均衡存在性与无遗憾学习算法收敛性,解释了不同拍卖、竞赛博弈中学习效果的差异。
2025-03-20 cs.GT
On the robustness of learning in games with stochastically perturbed payoff observations
在对策论的实际应用中缺乏准确的收益反馈,我们研究了一类学习动态,玩家根据过去的收益观察,受到噪声和随机干扰调整他们的选择。首先,在单玩家的情况下(对应于代理试图适应一个任意变化的环境),我们表明,随机动力学研究导致几乎肯定没有遗憾,无论在玩家的观察噪声水平。在多人博弈的情况下,我们发现劣势策略会灭绝,我们证明了严格的纳什均衡是随机稳定的和吸引的;相反,如果一个状态是稳定的或吸引的正概率,那么它是纳什均衡。最后,我们提供了一个平均原则的2人游戏,我们表明,在零和对策与内部均衡,时间平均收敛到纳什均衡的任何噪声水平。
2016-06-02 cs.GT math.OC math.PR
Aspiration-based Perturbed Learning Automata in Games with Noisy Utility Measurements. Part A: Stochastic Stability in Non-zero-Sum Games
Software Competence Center Hagenberg GmbH(软件能力中心海因堡有限公司)
本文提出了一种基于激励的扰动学习自动机,用于解决分布式优化中非零和游戏的随机稳定性问题。
2026-08-31 cs.GT cs.LG cs.MA
Aspiration-based Perturbed Learning Automata in Weakly-Acyclic Games with Noisy Utility Measurements
Software Competence Center Hagenberg GmbH(软件能力中心哈根贝格有限公司)
本文提出了一种基于收益的学习方案,用于分析弱无环游戏中在存在噪声观测时的随机稳定性,首次解决了此类游戏的收敛问题。
2026-09-01 cs.GT cs.SY eess.SY
Characterizing Nash Equilibria in Zero-Sum Games: A Physics-Inspired, Parallelizable Approach with a Linear Number of Gradient Queries
Industrial and Systems Engineering(工业与系统工程系);Rensselaer Polytechnic Institute(伦塞拉尔理工学院)
提出一种受哈密顿动力学启发的在线优化方法,通过交替梯度下降在线性迭代次数内表征零和博弈的纳什均衡集,支持并行化和任意学习率,实验性能显著优于传统方法。
2026-06-17 cs.GT cs.LG
On characterizing quantum correlated equilibria
量子博弈论为理解人们在使用量子计算机时相互冲突的利益奠定了基础。最近,Zhang提出了一个简单而丰富的模型来研究量子策略博弈,并解决了一般增长规模博弈\cite{Zha10}的一些定量问题。然而,该论文没有考虑的一个基本问题是量子相关平衡(QCE)的表征。本文给出了任意态$ρ$是QCE的一个充要条件,从而回答了这个问题。此外,当条件不成立的一些球员$i$,我们给了一个明确的POVM的球员,以实现严格的正增益。最后,我们给出了量子策略相对于经典策略的最大收益的一些上界,并且对于某些博弈,这些上界是紧的。
2011-05-26 cs.GT quant-ph
Characterization and Computation of Normal-Form Proper Equilibria in Extensive-Form Games via the Sequence-Form Representation
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Xi’an Jiaotong University(西安交通大学)
本文提出了一种基于序列形式的紧凑表示法,通过引入扰动博弈和可微路径跟踪方法,有效计算扩展形式博弈中的正规形式适当均衡。
2026-10-16 cs.GT
Efficient Last-iterate Convergence Algorithms in Solving Games
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS(中国科学院香港创新研究院人工智能与机器人中心);Jiangsu Key Laboratory of Big Data Security and Intelligent Processing, Nanjing University of Posts and Telecommunications(南京邮电大学江苏省大数据安全与智能处理重点实验室);Microsoft Corporation(微软公司);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文证明无参数的CFR$^+$在扰动正则化扩展式博弈中具有最后迭代收敛性,并据此提出RTCFR$^+$,在稳定性和经验收敛上显著优于现有算法。
2025-03-18 cs.AI cs.GT cs.LG
Characterizing the interplay between information and strength in Blotto games
本文研究 Colonel Blotto 博弈中的信息不对称性,刻画了双战场和三战场设定下的唯一均衡收益与策略,并量化了信息价值,揭示了对抗环境中信息与实力的相互作用。
2019-09-13 cs.GT cs.SY eess.SY
Games with Delays. A Frankenstein Approach
我们研究有限图上的无限博弈,其中信息流受到不确定信号延迟的干扰。众所周知,在一般情况下,这样的扰动使得合成问题实际上是不可解的。在经典模型中,信号被附加到状态,易处理的情况是罕见的,难以识别。在这里,我们提出了一个模型,其中信号从控制状态分离,我们确定了一个子类上的平衡结果可以被保存,即使信号的延迟是有界的。为了抵消扰动,我们的解决方案的过程相结合的反应,从一个集合的虚拟播放后,在即时信号游戏的均衡策略合成,在弗兰肯斯坦的方式,一个等效的均衡策略的延迟信号游戏。
2015-06-12 cs.GT
Follow the Neurally-Perturbed Leader for Adversarial Training
博弈论学习模型是一组强大的模型,可以优化多目标架构。在这些模型中,零和架构激发了对抗性学习框架。这些零和架构的一个重要缺点是基于梯度的训练导致弱收敛和循环动态。我们提出了一种新的跟随领导者训练算法的零和架构,保证收敛到混合纳什均衡没有循环行为。它是一种特殊类型的跟随扰动领导者算法,其中扰动是神经中介代理的结果。我们通过将这种训练算法应用于具有凸和非凸损失的游戏以及生成对抗架构来验证我们的理论结果。此外,我们自定义该算法的实现对抗模仿学习应用程序。在训练的每一步,中介代理都用生成的代码干扰观察结果。由于这些中介代码,所提出的算法也是有效的学习环境中的各种因素的变化。我们通过使用程序生成的游戏环境以及合成数据来验证我们的断言。Github实现可用。
2020-06-08 cs.GT cs.LG stat.ML
Heterogeneous Data Game: Characterizing the Model Competition Across Multiple Data Sources
Key Laboratory of Interdisciplinary Research of Computation and Economics, Institute for Theoretical Computer Science, Shanghai University of Finance and Economics(计算与经济学交叉研究重点实验室,理论计算机科学研究所,上海金融学院);College of Management and Economics, Tianjin University(管理学院,天津大学);School of Economics and Management, Tsinghua University(经济管理学院,清华大学)
提出 Heterogeneous Data Game 博弈论框架,刻画多个 ML 提供商跨异构数据源的竞争,并分析纯纳什均衡的存在性、同构与异构形态及市场影响因素。
2025-05-12 cs.GT cs.LG
PPA-Game: Characterizing and Learning Competitive Dynamics Among Online Content Creators
MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Institute for Theoretical Computer Science, Shanghai University of Finance and Economics(交叉学科计算与经济学联合实验室,理论计算机科学研究院,上海财经大学);College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);School of Economics and Management, Tsinghua University(经济管理学院,清华大学)
本文提出比例收益分配博弈(PPA-Game)以刻画在线内容创作者竞争注意力的动态,通过博弈论分析纯纳什均衡存在性,并设计多臂老虎机在线学习算法,实现遗憾界O(log^{1+η}T)。
2026-10-30 cs.GT cs.LG
The Complexity of Equilibrium Refinements in Potential Games
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
本文研究了势游戏中均衡细化的复杂性,证明了计算完美均衡的复杂性及在特定游戏类中多项式时间算法的存在,同时揭示了扰动优化与梯度下降动力学的关系。
2026-02-10 cs.GT
Efficient Estimation of Equilibria in Large Aggregative Games with Coupling Constraints
聚合博弈有许多工业应用,当玩家数量很大时,计算这些博弈中的均衡是具有挑战性的。在具有耦合约束的原子聚合博弈框架下,我们证明了一个大规模聚合博弈的变分纳什均衡可以近似为一个较小维数的辅助种群博弈的Wardrop均衡.这个辅助博弈的每个种群对应于初始大博弈的一组原子参与者。这种方法使一个有效的计算近似的平衡,作为变分不等式特征的Wardrop平衡是较小的尺寸比初始的。这是在智能电网上下文中的一个例子说明。
2020-03-26 cs.GT
Characterizing Positionality in Games of Infinite Duration over Infinite Graphs
本文刻画了无限博弈图上主角具有最优位置策略的估值条件,利用泛图框架统一并扩展了位置性结果,并证明了关于字典序积的封闭性。
2023-01-30 cs.GT cs.LO
Characterizing Omega-Regularity through Finite-Memory Determinacy of Games on Infinite Graphs
本文通过无限图博弈的有限记忆决定性刻画了ω-正则目标,证明双方玩家在色度有限记忆下最优时目标必为ω-正则,并提供了一对二玩家提升及折扣和目标的实例。
2023-01-13 cs.FL cs.GT cs.LO
Efficient Estimation of Equilibria of Large Congestion Games with Heterogeneous Players
当参与者数量很大时,计算拥塞博弈中的均衡可能具有挑战性。然而,这是一个问题,要解决在实践中,例如预测系统的状态,并能够控制it. In这项工作中,我们分析的情况下,广义原子拥塞游戏,耦合约束,并与球员是异构的,通过他们的行动集和他们的效用函数。我们得到一个近似的变分纳什均衡-一个概念概括纳什均衡在耦合约束的存在下-一个大的原子拥塞游戏的辅助人口游戏的平衡,其中每个人口对应于一组原子玩家的初始游戏。由于变分不等式特征的平衡的辅助游戏有较小的尺寸比原来的问题,这种方法使快速计算的估计的平衡在一个大型拥挤的游戏与成千上万的异构玩家。
2018-10-02 cs.GT
Extensive-Form Perfect Equilibrium Computation in Two-Player Games
研究了2人博弈中的可拓形式完美均衡(EFPE)的计算问题。这个均衡概念细化了纳什均衡,需要相对于相对于时间的弹性。一个特定的消失扰动(代表每个决策节点上参与者的错误)。科学上的挑战是EFPE定义所固有的:它需要对代理形式进行扰动,但由于存在高度非线性约束,代理形式在计算上效率低下。我们表明,序列形式可以利用在一个非平凡的方式,并为一般和游戏,找到一个EFPE是相当于解决一个适当扰动的线性互补问题。我们证明Lemke的算法可以应用,显示计算EFPE是$\textsf{PPAD}$ -完全的。在著名的零和博弈的情况下,问题是在$\textsf{FP}$中,可以通过线性规划来解决。我们的算法还允许一个人找到一个纳什均衡时,玩家不能完美地控制他们的动作,受到一个给定的执行不确定性,是在最现实的物理设置的情况下。
2016-11-15 cs.GT
Nash equilibria in scalar discrete-time linear quadratic games
针对线性二次博弈中纳什均衡刻画的开放问题,本文研究双智能体标量离散时间无限时域LQ博弈,通过分析最优响应映射构建多项式系统,利用Gröbner基工具证明最多存在三个纳什均衡并给出相关条件。
2025-04-17 cs.GT cs.MA
On Poisoned Wardrop Equilibrium in Congestion Games
近年来,针对日益互联的流量网络的攻击向量越来越多。信息攻击已经成为旨在毒害流量数据、误导用户和操纵流量模式的突出攻击。为了研究这类攻击的影响,我们提出了一个博弈论的框架,攻击者,作为一个Stackelberg领导者,伪造的交通状况,以改变交通模式预测的Wardrop交通平衡,实现了用户,或追随者。沃德罗普均衡的预期转移是战略信息中毒的结果。利用博弈论和敏感性分析,我们量化了系统级的影响,通过表征的概念,中毒的无政府代价的无政府状态,比较中毒的Wardrop均衡和其非中毒系统的最佳对应。我们使用疏散的案例研究表明,斯塔克伯格均衡可以通过两个时间尺度零阶学习过程中发现,并展示了信息中毒的破坏性影响,这表明迫切需要国防政策,以减轻这种安全威胁。
2022-08-31 cs.GT
Quasi-Perfect Stackelberg Equilibrium
平衡细化在扩展形式中是重要的(即,树形)游戏,其中它们通过要求序列理性和其他有益属性来修正纳什均衡概念的弱点。其中最有吸引力的精化概念是拟完美平衡。虽然准完美已经在扩展形式的游戏中进行了研究,但在Stackelberg设置中却知之甚少-也就是说,领导者可以承诺策略的设置-这对于建模很重要,例如,安全游戏。本文给出了拟完美Stackelberg均衡的公理化定义。我们开发了一个广泛的游戏扰动计划,导致他们的限制。我们的一类扰动计划严格推广了以前的扰动计划(非Stackelberg)的准完美平衡的计算。基于我们的扰动方案,我们开发了一个分支定界算法计算一个准完美的Stackelberg平衡。它利用线性规划的扰动变体来计算Stackelberg扩展形式的相关平衡。实验表明,我们的算法可以用来找到一个近似的拟完美的Stackelberg均衡在游戏中的数千个节点。
2018-11-09 cs.GT
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University(普渡大学)
在本文中,我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法,恢复图形游戏,其纳什均衡是$ε$ -纳什均衡的游戏,从该数据生成(真正的游戏)。在一个稍微严格的条件下,真正的游戏的参数,我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Statistical physics approach to graphical games: local and global interactions
在图形游戏中,智能体与图上的邻居进行游戏,以达到适当的平衡状态。这里相关的问题是描述平衡集和发现有效的算法来找到这样的平衡(解决方案)。我们考虑一个表示的游戏,扩展到图形游戏,以方便地处理本地和全球的相互作用,并使用腔方法的统计物理研究的几何结构的平衡空间。该方法还提供了一个分布式和本地算法来找到一个平衡。为了简单起见,我们只考虑纯纳什均衡,但该方法也可以扩展到处理(近似)混合纳什均衡。
2011-04-11 cond-mat.stat-mech cs.GT
Policy Evaluation and Seeking for Multi-Agent Reinforcement Learning via Best Response
Tsinghua University(清华大学);UC Santa Barbara(加州大学圣巴巴拉分校)
本文介绍了两个指标(基于周期和基于内存的指标),基于一个动态博弈论的解决方案的概念,称为汇平衡,在多智能体学习的政策的评估,排名和计算。我们采用严格最佳反应动力学(SBRD)模型自私的行为在元级别的多智能体强化学习。我们的方法可以处理动态周期性行为(与基于纳什均衡和Elo评级的方法不同),并且与依赖于弱更好响应的alpha秩相比,与单智能体强化学习更兼容。我们首先考虑最大和第二大基础度量之间的差异具有已知下限的设置。有了这些知识,我们提出了一类扰动SBRD具有以下性质:只有最大度量的政策观察到非零概率的一类广泛的随机游戏有限的记忆。然后,我们考虑设置的差异的下限是未知的。对于这种设置,我们提出了一类扰动SBRD,使非零概率观察到的政策的度量不同于任何给定的公差的最佳。拟议的扰动SBRD解决了被动诱导的非平稳性,通过固定的学习代理的其他人的策略,并使用经验博弈论分析,估计由于扰动获得的每个策略配置文件的回报。
2020-06-20 cs.GT cs.LG stat.ML
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University(卡内基梅隆大学)
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化(CFR)框架,它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束(作为一种特殊情况,在Selten意义上扰动)的扩展形式的游戏,这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的:它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题,但尚未在实践中采用,主要是由于缺乏可扩展的算法。我们表明,相比标准算法,我们的方法找到的解决方案,有更好的细化性能,同时享受的收敛速度,是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Computation as a Game
Imperial College London(帝国理工学院)
本文提出将计算统一表示为算法与自然间的双人博弈,基于 domain theory 和博弈论,通过细化近似与惩罚机制定义正确性,并从博弈论角度重新刻画了 P、NP 等复杂度类,将 P 与 NP 是否相等转化为不同约束下 Nash 均衡的等价性问题。
2025-10-28 cs.CC cs.GT cs.LO
Towards Characterizing the First-order Query Complexity of Learning (Approximate) Nash Equilibria in Zero-sum Matrix Games
本文研究零和矩阵博弈一阶查询复杂度,完整刻画精确均衡需线性于 $K$ 次查询,并提出新下界技术证明小 $\varepsilon$ 下的 $\tilde\Omega(\log(1/(K\varepsilon)))$ 下界。
2023-11-02 cs.GT math.OC stat.ML
Characterizing Lane-Changing Behavior in Mixed Traffic
Department of Civil and Environmental Engineering, University of Illinois at Urbana-Champaign(土木与环境工程系,伊利诺伊大学厄巴纳-香槟分校);Department of Civil and Environmental Engineering, George Washington University(土木与环境工程系,乔治·华盛顿大学)
本研究通过博弈论框架分析混合交通中车道变换行为,揭示社会困境的存在及合作行为随时间的演变。
2025-12-08 cs.GT cs.MA cs.RO
Coordinated Online Learning for Multi-Agent Systems with Coupled Constraints and Perturbed Utility Observations
Technische Universität München(慕尼黑工业大学);Ruhr Universität Bochum(波鸿鲁尔大学)
竞争性非合作在线决策代理的行为增加了稀缺资源的拥塞,构成了广泛的现代大规模应用的模型。为了确保可持续的资源行为,我们引入了一种新的方法来引导代理朝着一个稳定的人口状态,满足给定的耦合资源约束。所提出的方法是一种分散的资源定价方法的基础上的资源负荷所产生的增加的游戏的拉格朗日。假设在线学习代理只有噪声的一阶效用反馈,我们表明,多项式衰减代理的步长/学习率,人口的动态几乎肯定会收敛到广义纳什均衡。后者的一个特殊后果是满足资源约束的渐近极限。此外,我们调查的有限时间质量的算法给出了一个非渐近的时间衰减界的预期数量的资源约束违反。
2020-10-21 cs.GT cs.LG cs.MA
Online Learning in Periodic Zero-Sum Games
University of Washington(华盛顿大学);SUTD(新加坡科技设计大学)
冯·诺依曼的极小极大定理是博弈论中的一个开创性成果,它指出零和博弈存在一个本质上唯一的均衡解。经典的学习结果建立在这个定理上,表明在零和博弈中,在线无悔动态收敛到时间平均意义上的均衡。在过去的几年里,一个关键的研究方向集中在表征这种动态的日常行为。在这个方向的一般结果表明,广泛的类在线学习动态循环,正式庞加莱经常性,在零和游戏。我们分析了这些在线学习行为的鲁棒性的情况下,定期零和游戏的时不变的平衡。这个模型概括了通常的重复博弈公式,同时也是一个现实的和自然的模型,玩家之间的重复竞争,取决于外源环境的变化,如时间的影响,每周的趋势,和季节性。有趣的是,即使在最简单的这种情况下,时间平均收敛也可能失败,尽管平衡是固定的。相比之下,使用新的分析方法,我们表明,庞加莱递归证明推广,尽管这些动力系统的复杂性,非自治的性质。
2021-11-05 cs.GT cs.LG cs.MA
Decompositions of two player games: potential, zero-sum, and stable games
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过将两人正规型博弈视为向量空间,引入势博弈、零和博弈及其正交补(反势博弈和反零和博弈)的显式正交基分解,并应用该分解证明循环准则、分析广义石头-剪刀-布博弈、刻画零稳定博弈、提供严格稳定博弈类、关联复制方程向量场分解、构造李雅普诺夫函数以及Zeeman博弈。
2011-07-18 cs.GT cs.SY eess.SY
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习(MARL)通常使用马尔可夫博弈(也称为随机博弈或动态博弈)的框架建模。现有的文献大多集中在零和马尔可夫博弈,但不适用于一般和马尔可夫博弈。众所周知,一般和马尔可夫博弈中的最佳反应动态不是收缩。因此,一般和马尔可夫博弈中的不同均衡可以有不同的值。此外,Q函数不足以完全表征平衡。考虑到这些挑战,基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中,我们调查的基本问题,\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的,以获得一个$α$近似马尔可夫完美均衡与高概率,其中$γ$是折扣因子,和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后,我们使用Bernstein不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果,我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似(或扰动)博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡,并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
VISER: A Tractable Solution Concept for Games with Information Asymmetry
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对信息不对称博弈中传统解概念失效的问题,提出新型解概念VISER,可通过线性规划在多项式时间内独立计算各参与者策略,并扩展至马尔可夫博弈场景,助力安全防御与攻击刻画。
2023-07-18 cs.AI cs.CR cs.GT