Spatial Reuse (SR) is a cost-effective technique for improving spectral efficiency in dense IEEE 802.11 deployments by enabling simultaneous transmissions. However, the decentralized optimization of SR parameters -- transmission power and Carrier Sensing Threshold (CST) -- across different Basic Service Sets (BSSs) is challenging due to the lack of global state information. In addition, the concurrent operation of multiple agents creates a highly non-stationary environment, often resulting in suboptimal global configurations (e.g., using the maximum possible transmission power by default). To overcome these limitations, this paper introduces a decentralized learning algorithm based on regret-matching, grounded in internal regret minimization. Unlike standard decentralized ``selfish'' approaches that often converge to inefficient Nash Equilibria (NE), internal regret minimization guides competing agents toward Correlated Equilibria (CE), effectively mimicking coordination without explicit communication. Through simulation results, we showcase the superiority of our proposed approach and its ability to reach near-optimal global performance. These results confirm the not-yet-unleashed potential of scalable decentralized solutions and question the need for the heavy signaling overheads and architectural complexity associated with emerging centralized solutions like Multi-Access Point Coordination (MAPC).
Inducing Cooperation via Team Regret Minimization based Multi-Agent Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);King’s College London(伦敦国王学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
Provably Efficient Reinforcement Learning in Decentralized General-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文讨论了通过分散式多智能体强化学习有效学习一般和马尔可夫博弈均衡的问题。考虑到计算纳什均衡(NE)的根本困难,我们的目标是找到一个粗略的相关均衡(CCE),一个解决方案的概念,通过允许可能的代理策略之间的相关性来推广NE。我们提出了一种算法,其中每个代理独立运行乐观的V-学习(Q-学习的变体),以有效地探索未知的环境,同时使用稳定的在线镜像下降(OMD)子例程进行策略更新。我们发现,代理可以找到一个$ε$ -近似CCE在最多$\widetilde{O}( H^6S A /ε^2)$情节,其中$S$是状态的数量,$A$是最大的个人行动空间的大小,和$H$是情节的长度。这似乎是通用一般和马尔可夫博弈学习的第一个样本复杂性结果。我们的研究结果依赖于一个新的调查的任何时候都高概率的遗憾界的OMD与动态学习率和加权遗憾,这将是独立的利益。我们的算法的一个关键特征是,它是完全\emph{decentralized},在这个意义上说,每个代理只能访问其本地信息,是完全不知道其他人的存在。这样,我们的算法可以很容易地扩展到任意数量的代理,而不会受到代理数量的指数依赖。
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
多智能体强化学习(MARL)算法经常遭受指数样本复杂度对智能体数量的依赖,这种现象被称为\emph{the curse of multiagents}。在本文中,我们解决这一挑战,调查样本效率的无模型算法在\emph{decentralized} MARL,并旨在改善现有的算法沿这条线。对于学习(粗)一般和马尔可夫博弈中的相关均衡,我们提出了\emph{stage-based} V-学习算法,大大简化了最近的作品的算法设计和分析,并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题,提出了一种独立的策略梯度算法,该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的,因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信,也不需要集中协调,从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
Decentralized Online Convex Optimization with Unknown Feedback Delays
Università degli Studi di Milano(米兰大学);University of Iowa(爱荷华大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
Federated Spatial Reuse Optimization in Next-Generation Decentralized IEEE 802.11 WLANs
CTTC(加泰罗尼亚电信技术中心);Trinity College Dublin(都柏林圣三一学院);Imperial College London(伦敦帝国理工学院);New York University(纽约大学);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);Xiamen University(厦门大学);Universitat Pompeu Fabra(庞培法布拉大学)
随着无线标准的发展,引入了更复杂的功能来满足吞吐量、延迟、安全性和效率方面不断增长的要求。为了释放这些新功能的潜力,目前正在利用人工智能(AI)和机器学习(ML)从数据中导出模型和协议,而不是通过手工编程。在本文中,我们探讨了在下一代无线局域网(WLAN)中应用ML的可行性。更具体地说,我们专注于IEEE 802.11ax空间复用(SR)问题,并通过联邦学习(FL)模型预测其性能。本工作中概述的FL解决方案集是2021年国际电信联盟(ITU)AI for 5G挑战赛的一部分。