Decentralized model-free reinforcement learning in stochastic games with average-reward objective
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
我们提出了第一个无模型算法，在具有无限水平平均奖励目标的两人零和表格随机游戏中实现分散学习的低遗憾性能。在分散式学习中，学习代理只控制一个玩家，并试图实现对任意对手的低后悔性能。这与集中式学习形成对比，在集中式学习中，代理试图通过控制两个参与者来近似纳什均衡。在我们的无限时域未贴现设置中，需要额外的结构假设来提供学习过程的良好行为：这里我们假设对于对手的每一个策略，代理都有一种从任何状态到任何其他状态的方式。该假设类似于MDP设置中的“通信”假设。我们表明，我们的分散式乐观纳什Q学习（DONQ学习）算法实现了次线性高概率遗憾的顺序$T^{3/4}$和次线性预期遗憾的顺序$T^{2/3}$。此外，与相同设置下的（Wei et al. 2017）和（Jafarnia-Jahromi et al. 2021）之前的工作相比，我们的算法具有较低的计算复杂性和较低的内存空间需求。
2023-01-13 cs.AI cs.GT cs.LG
Decentralized and Privacy-Preserving Learning of Approximate Stackelberg Solutions in Energy Trading Games with Demand Response Aggregators
Georgia Institute of Technology（佐治亚理工学院）
针对DR聚合商与产消者的双向能源交易，提出去中心化隐私保护的Stackelberg博弈框架及可扩展在线学习算法，并通过真实市场与校园数据验证其有效性。
2023-12-21 cs.GT cs.LG
Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games
The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Boston University（波士顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
随机博弈中的学习可以说是多智能体强化学习（MARL）中最标准和最基本的设置。在本文中，我们考虑分散MARL在随机博弈中的非渐近制度。特别是，我们建立了有限样本的复杂性，完全分散的Q-学习算法在一个显着的类一般和随机游戏（SGs）-弱非循环的SGs，其中包括共同合作的MARL设置与相同的奖励，所有代理（马尔可夫团队问题）作为一个特例。我们专注于实际而具有挑战性的完全分散的MARL设置，其中每个代理都不能观察到其他代理的奖励和行动。事实上，每个智能体完全不知道其他决策者的存在。表格和线性函数逼近的情况下被认为是。在表格设置中，我们分析了分散Q-学习算法收敛到马尔可夫完美均衡（纳什均衡）的样本复杂度。与线性函数近似，结果是收敛到一个线性近似平衡-一个新的概念，我们提出的平衡-它描述了每个代理的政策是一个最好的答复（其他代理）在线性空间。数值实验也提供了这两种设置来证明结果。
2021-12-16 cs.GT cs.LG cs.MA
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Decentralized Intelligence in GameFi: Embodied AI Agents and the Convergence of DeFi and Virtual Ecosystems
UC Berkeley RDI（加州大学伯克利分校RDI）；Starward Games（星向游戏）；Stanford University（斯坦福大学）
本文提出将基于LLM的具身AI智能体整合到GameFi平台，结合区块链与DeFi机制构建去中心化游戏生态系统，以提升玩家沉浸感、经济参与度并赋能创作者变现。
2024-12-24 cs.AI cs.CR cs.GT
Decentralized Best-Response-Based Learning in Two-Player Zero-Sum Stochastic Games: A Finite-Sample Analysis
Purdue University（普渡大学）；University of Maryland, College Park（马里兰大学学院公园分校）；Caltech（加州理工学院）；MIT（麻省理工学院）
本文对两人零和矩阵博弈和随机博弈中的去中心化学习进行有限样本分析，提出基于最优响应的学习算法，并证明其样本复杂度。
2026-06-26 cs.GT cs.LG
Independent and Decentralized Learning in Markov Potential Games
University of California, Berkeley（加州大学伯克利分校）
研究无限期折扣马尔可夫势博弈中的独立去中心化多智能体强化学习，提出基于双时间尺度的异步Q函数与策略更新动力学，并证明其收敛性。
2025-04-01 cs.AI cs.GT cs.LG
PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance
研究回合制随机博弈中可达性目标的 PAC 学习，放宽以往公共信息和集中式学习假设，实现基于私有信息的分散式学习，引入期望条件距离参数的博弈论推广并建立多项式样本复杂度界。
2026-07-17 cs.GT cs.LG
Decentralized and Uncoordinated Learning of Stable Matchings: A Game-Theoretic Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出稳定匹配学习的博弈论框架，证明纯纳什均衡等价于稳定匹配，提出两种去中心化无协调学习算法并分析其收敛性，搭建了离散匹配学习与连续博弈均衡学习的桥梁。
2024-08-15 cs.GT cs.LG cs.MA
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Learning Decentralized Strategies for a Perimeter Defense Game with Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Drexel University（德雷塞尔大学）
我们考虑的问题，找到分散的战略多智能体周边防御游戏。在这项工作中，我们设计了一个基于图神经网络的学习框架，学习从防御者的本地感知和通信图到防御者的动作的映射，使得学习到的动作接近于由集中式专家算法生成的动作。我们证明了我们提出的网络更接近专家策略，并且通过捕获更多的入侵者而优于其他基线算法。我们基于GNN的网络是在小规模上训练的，可以推广到大规模。为了验证我们的结果，我们在不同团队规模和初始配置的情况下运行周界防御游戏，以评估学习网络的性能。
2022-09-24 cs.LG cs.MA
pFedGame -- Decentralized Federated Learning using Game Theory in Dynamic Topology
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
针对传统联邦学习的中心化瓶颈、收敛性差等问题，提出基于博弈论的去中心化方法pFedGame，通过节点选择和双人常和合作博弈实现动态网络下的高效聚合，异构数据下准确率超70%。
2024-10-05 cs.CR cs.GT cs.LG
Impact of Decentralized Learning on Player Utilities in Stackelberg Games
Cornell（康奈尔大学）；Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
该研究针对双智能体独立学习且奖励不一致的场景，构建去中心化学习Stackelberg博弈模型，提出宽松遗憾基准并开发算法实现双方接近最优的$O(T^{2/3})$遗憾，还设计了可实现更快学习的环境，为评估智能体交互对效用的影响提供了支撑。
2024-06-21 cs.GT cs.LG
Decentralized Q-Learning in Zero-sum Markov Games
Bilkent University（比尔肯特大学）；MIT（麻省理工学院）；Lancaster University（兰卡斯特大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们研究了无限时域折扣零和马尔可夫博弈中的多智能体强化学习（MARL）。我们专注于分散MARL的实际但具有挑战性的设置，其中代理人在没有集中控制器协调的情况下做出决策，但仅基于他们自己的收益和执行的本地操作。代理人不需要观察对手的行动或收益，甚至可能忘记对手的存在，也不知道潜在游戏的零和结构，这种设置在游戏学习的文献中也被称为根本解耦。在本文中，我们开发了一个从根本上解耦的Q-学习动力学，是理性和收敛的：学习动力学收敛到对手的策略时，对手遵循一个渐近平稳的战略，当两个代理采用的学习动力学，他们收敛到游戏的纳什均衡的最佳反应。在这种分散设置的关键挑战是从代理的角度来看，环境的非平稳性，因为她自己的收益和系统的演变取决于其他代理的行动，每个代理同时和独立地调整她的政策。为了解决这个问题，我们开发了一个两个时标的学习动态，每个代理更新她的本地Q函数和价值函数估计同时，后者发生在一个较慢的时标。
2021-12-12 cs.GT cs.LG cs.MA
Breaking the Curse of Multiagency: Provably Efficient Decentralized Multi-Agent RL with Function Approximation
Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
多智能体强化学习（MARL）中的一个独特挑战是多智能体的诅咒，其中游戏的描述长度以及许多现有学习算法的复杂性随着智能体的数量呈指数级增长。虽然最近的工作成功地解决了这一挑战下的表格马尔可夫博弈模型，其机制严重依赖于有限的状态和小的数量，并没有扩展到实际的情况下，巨大的状态空间，函数近似必须使用近似价值函数或政策。本文提出了第一行的MARL算法，可证明解决诅咒的多机构下的功能近似。设计了一种新的分散学习算法--策略重放的V-学习算法，给出了在分散线性函数近似下学习马尔可夫博弈的近似粗相关均衡（CCE）的第一多项式样本复杂度结果.我们的算法总是输出马尔可夫CCE，并实现了$\widetilde{\mathcal{O}}(ε^{-2})$的最佳率为找到$ε$ -最优的解决方案。此外，当限制到表格的情况下，我们的结果改善了目前最好的分散结果$\widetilde{\mathcal{O}}(ε^{-3})$寻找马尔可夫CCE。我们进一步提出了一种替代算法-分散乐观策略镜像下降，它发现使用多项式数量的样本的策略类限制的CCE。作为学习较弱版本的CCE的交换，该算法适用于通用函数近似下的更广泛的问题，例如线性二次博弈和具有低“边际"Eluder维数的MARL问题。
2023-03-02 cs.AI cs.GT cs.LG
Provably Efficient Reinforcement Learning in Decentralized General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了通过分散式多智能体强化学习有效学习一般和马尔可夫博弈均衡的问题。考虑到计算纳什均衡（NE）的根本困难，我们的目标是找到一个粗略的相关均衡（CCE），一个解决方案的概念，通过允许可能的代理策略之间的相关性来推广NE。我们提出了一种算法，其中每个代理独立运行乐观的V-学习（Q-学习的变体），以有效地探索未知的环境，同时使用稳定的在线镜像下降（OMD）子例程进行策略更新。我们发现，代理可以找到一个$ε$ -近似CCE在最多$\widetilde{O}( H^6S A /ε^2)$情节，其中$S$是状态的数量，$A$是最大的个人行动空间的大小，和$H$是情节的长度。这似乎是通用一般和马尔可夫博弈学习的第一个样本复杂性结果。我们的研究结果依赖于一个新的调查的任何时候都高概率的遗憾界的OMD与动态学习率和加权遗憾，这将是独立的利益。我们的算法的一个关键特征是，它是完全\emph{decentralized}，在这个意义上说，每个代理只能访问其本地信息，是完全不知道其他人的存在。这样，我们的算法可以很容易地扩展到任意数量的代理，而不会受到代理数量的指数依赖。
2022-01-30 cs.AI cs.LG cs.MA
Semi-Decentralized Coordinated Online Learning for Continuous Games with Coupled Constraints via Augmented Lagrangian
Technical University of Munich（慕尼黑工业大学）
我们考虑了一类凹连续对策，其中每个局中人的相应的容许策略轮廓是基于仿射耦合约束的。我们提出了一种新的算法，导致相关的人口动态走向纳什均衡。该算法基于一种适合于无遗憾在线学习框架的镜像上升算法和增广拉格朗日方法。该算法的去中心化方面对应于每个参与者的代理需要关于她如何对耦合约束做出贡献的本地信息和由中央协调器广播的价格向量的方面。所以每个参与人都不需要知道种群的行动。此外，不需要中央主协调器的特定控制。我们给出了一个步长和拉格朗日增广程度的条件，使得该算法收敛到一个广义纳什均衡。
2019-10-21 cs.GT cs.LG cs.SY
Game of Coding: Coding Theory in the Presence of Rational Adversaries, Motivated by Decentralized Machine Learning
本文提出一种博弈论框架，用于在存在理性对抗者的情况下改进去中心化系统中的编码理论，通过重复编码实现数据恢复和Sybil抗性。
2026-01-05 cs.LG
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game
Bar-Ilan University（巴伊兰大学）；Nanyang Technological University（南洋理工大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）
我们研究了一个分散的信道分配问题，在一个ad-hoc物联网网络的基础上授权给一个主要的蜂窝网络的频谱。在所考虑的网络中，IoT设备上贫乏的信道感测/探测能力和计算资源使得它们难以获取共享的多个信道的详细信道状态信息（CSI）。在实践中，主用户的传输活动的未知模式和时变CSI（例如，由于小规模衰落或设备移动性）也引起信道质量的随机变化。因此，去中心化物联网链路需要基于部分观测在线学习信道条件，同时不获取有关其未运行信道的信息。它们还必须在有限协调的情况下达成高效、无冲突的信道分配解决方案。我们的研究映射到一个上下文多人，多武装土匪游戏，并提出了一个纯粹的分散，三阶段的策略学习算法，通过试错。理论分析表明，所提出的方案保证物联网链路联合收敛到具有次线性（即，多对数）遗憾的是，相对于操作时间。仿真结果表明，它罢工之间的效率和网络的可扩展性与其他国家的最先进的分散式强盗算法相比，很好的平衡。
2021-07-01 cs.LG cs.MA cs.NI
Decentralized Online Learning in Task Assignment Games for Mobile Crowdsensing
Technische Universität Darmstadt（达姆施塔特工业大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
本文针对移动群智感知任务分配中平台与移动单元目标冲突及努力不确定性问题，提出结合匹配理论与在线学习的去中心化方法CA-MAB-SFS，通过免费感知机制改善学习并减少碰撞，理论证明其遗憾次线性有界，实验显示满意度提升且任务完成时间至少缩短16%。
2023-09-19 cs.AI cs.LG cs.SI
Decentralized Online Learning in General-Sum Stackelberg Games
Department of Computer Science and Engineering（计算机科学与工程系）；The Chinese University of Hong Kong（香港中文大学）；Data Science（数据科学）；William & Mary（威廉玛丽学院）
本文研究一般和Stackelberg博弈中的去中心化在线学习，揭示跟随者在辅助信息设定下可通过策略性操纵诱导领导者收敛到对自身更有利的均衡，并推导出两种信息设定下的末迭代收敛性和样本复杂度结果。
2024-05-06 cs.LG
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究分散的策略学习在马尔可夫博弈中，我们控制一个单一的代理人发挥非平稳和可能的敌对对手。我们的目标是开发一个无遗憾的在线学习算法，（i）根据代理观察到的本地信息采取行动，（ii）能够在事后找到最佳策略。对于这样的问题，由于变化的对手的非平稳状态转换构成了一个重大的挑战。鉴于最近的硬度结果\citep{liu2022learning}，我们专注于设置对手的以前的政策是透露给代理决策。有了这样的信息结构，我们提出了一个新的算法，\underline{D} ecentralized \underline{O}乐观炒作\underline{R} policy m \underline{I} rror de \underline{S} cent（DORIS），它实现了$\sqrt{K}$ -遗憾的背景下，一般函数近似，其中$K$是情节的数量。此外，当所有的代理商采用DORIS，我们证明了他们的混合策略构成一个近似的粗相关均衡。特别地，DORIS维护\textit{hyperpolicy}，其是策略空间上的分布。超策略通过镜像下降更新，其中更新方向通过最小二乘策略评估的乐观变体获得。此外，为了说明我们的方法的力量，我们将DORIS应用于约束和向量值的MDP，它可以被制定为零和马尔可夫游戏与一个虚构的对手。
2022-06-03 cs.LG stat.ML
Fully Online Decentralized Learning in Stochastic Games with Unknown Independent Chains
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对未知独立链随机博弈，提出完全在线分散的镜像下降算法，以O(T^{-1/2})遗憾率逼近平稳NE，避免指数复杂度，并给出近似粗相关均衡保证。
2026-10-02 cs.GT cs.LG cs.MA
Game of Coding: Sybil Resistant Decentralized Machine Learning with Minimal Trust Assumption
University of Minnesota Twin Cities（明尼苏达大学双城分校）；The Georgia Institute of Technology（佐治亚理工学院）
本文提出编码游戏框架，通过博弈论方法实现去中心化机器学习的Sybil抗性，并探讨了系统行为的关键方面。
2026-01-13 cs.IT cs.LG math.IT
Decentralized Online Bandit Optimization on Directed Graphs with Regret Bounds
AI Sweden（瑞典人工智能研究所）
我们考虑一个分散的多人游戏，发挥了$T$轮，领导者，追随者的层次结构描述的有向无环图。对于每一轮，图形结构决定了玩家的顺序以及玩家如何观察彼此的动作。在每一轮结束时，所有玩家都会根据他们的联合行动获得联合强盗奖励，用于更新玩家策略，以最大限度地减少联合伪遗憾。我们提出了一个学习算法的启发单人多臂土匪问题，并表明它实现了次线性联合伪遗憾的回合数的对抗性和随机土匪奖励。此外，我们量化了由于我们的问题的分散性质与集中设置相比所产生的成本。
2023-01-27 cs.GT cs.LG
Transformers as Game Players: Provable In-context Game-playing Capabilities of Pre-trained Models
University of Virginia（弗吉尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对现有Transformer上下文学习理论局限于单智能体的问题，聚焦两人零和博弈，证明预训练Transformer可在去中心化与中心化设置下通过上下文学习逼近纳什均衡，且架构可实现V-learning、VI-ULCB等经典多智能体博弈算法。
2024-10-13 cs.GT cs.IT cs.LG
A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max Optimization Problems
Splunk（斯普伦克）；University of Southern California（南加州大学）；University of Florida（佛罗里达大学）
最近，由于其广泛的应用，包括训练生成对抗网络（GANs），最小最大鞍点对策受到了广泛的研究。然而，大多数最近的努力，解决他们仅限于特殊制度，如凹凸游戏。此外，通常假设，基础最优化问题由单个机器解决，或者在以集中方式连接的多个机器的情况下解决，其中每个机器与中央节点通信。当底层通信网络具有低带宽时，后一种方法变得具有挑战性。另外，隐私考虑可以规定某些节点可以与其他节点的子集通信。因此，开发以分散方式解决最小-最大博弈的方法是有意义的。为此，在目标函数满足Minty变分不等式条件下，提出了一种求解min-max最优化问题的分散自适应动量（ADAM）型算法，该算法是对凸-凹情形的推广.所提出的方法克服了最近的非自适应基于梯度的分散算法的最小-最大最优化问题，在实践中表现不佳，需要仔细调整的缺点。在本文中，我们获得了所提出的算法（Coined DADAM $^3$）的非渐近收敛速度，用于寻找（随机）一阶纳什平衡点，并随后评估其在训练GANs上的性能。广泛的实证评估表明，DADAM $^3$优于最近开发的方法，包括分散乐观随机梯度解决这样的最小-最大问题。
2021-06-28 cs.LG math.OC stat.ML
A Deep Q-Network for the Beer Game: A Deep Reinforcement Learning algorithm to Solve Inventory Optimization Problems
Department of Industrial and Systems Engineering, Lehigh University（利哈伊大学工业与系统工程系）
啤酒游戏是一种广泛使用的课堂游戏，在供应链管理课程中播放，以展示牛鞭效应。该博弈是一个分散的、多代理人的合作问题，可以建模为一个串行供应链网络，其中代理人合作试图使网络的总成本最小化，即使每个代理人只能观察到自己的本地信息。每个代理商选择订单数量来补充库存。在一定条件下，基本库存补充策略是最优的。然而，在一个分散的供应链中，一些代理（阶段）可能会采取非理性的行动（如他们在啤酒游戏），有没有已知的最优策略，希望采取最佳行动的代理。我们提出了一种基于深度Q网络的机器学习算法，以优化给定阶段的补货决策。当与遵循基本库存策略的代理一起玩时，我们的算法获得了接近最优的订单数量。当其他代理使用更现实的人类订购行为模型时，它的表现要比基本库存策略好得多。与文献中的大多数其他算法不同，我们的算法对啤酒游戏参数值没有任何限制。像任何深度学习算法一样，训练算法可能是计算密集型的，但这可以提前执行;当玩游戏时，算法会实时的执行。此外，我们提出了一个迁移学习的方法，使一个代理和一组成本系数进行的训练，可以迅速适应其他代理和成本。我们的算法可以扩展到其他分散的多智能体合作博弈与部分可观察的信息，这是一种常见的情况下，在现实世界的供应链问题。
2020-10-14 cs.LG cs.MA
Hypergame Theory for Decentralized Resource Allocation in Multi-user Semantic Communications
Virginia Tech（弗吉尼亚理工大学）
针对多用户语义通信中计算与通信权衡的挑战，提出一种基于 Stackelberg 超博弈理论的去中心化资源分配框架，通过建模用户间的误解实现高效资源利用并保持高用户体验质量。
2024-09-27 cs.IT cs.LG math.IT
