We study a decentralized cooperative stochastic multi-armed bandit problem with $K$ arms on a network of $N$ agents. In our model, the reward distribution of each arm is the same for each agent and rewards are drawn independently across agents and time steps. In each round, each agent chooses an arm to play and subsequently sends a message to her neighbors. The goal is to minimize the overall regret of the entire network. We design a fully decentralized algorithm that uses an accelerated consensus procedure to compute (delayed) estimates of the average of rewards obtained by all the agents for each arm, and then uses an upper confidence bound (UCB) algorithm that accounts for the delay and error of the estimates. We analyze the regret of our algorithm and also provide a lower bound. The regret is bounded by the optimal centralized regret plus a natural and simple term depending on the spectral gap of the communication matrix. Our algorithm is simpler to analyze than those proposed in prior work and it achieves better regret bounds, while requiring less information about the underlying network. It also performs better empirically.
When to Call Your Neighbor? Strategic Communication in Cooperative Stochastic Bandits
Princeton University（普林斯顿大学）
在合作土匪，一个框架，捕捉集体顺序决策的基本特征，代理可以最大限度地减少群体遗憾，从而提高性能，通过利用共享信息。然而，共享信息可能是昂贵的，这促使开发政策，最大限度地减少群体遗憾，同时也减少了代理人传达的消息数量。当代理在\textit{every time step}上与它们的邻居共享信息时，现有的合作式强盗算法获得最佳性能，即，充分沟通。这需要$Θ(T)$数量的消息，其中$T$是决策过程的时间范围。我们提出了\textit{ComEx}，一种新的具有成本效益的通信协议，在该协议中，该组实现了相同的顺序的性能作为充分的通信，而通信只有$O(\log T)$数量的消息。我们的关键步骤是开发一种方法来识别并仅传达对实现最佳性能至关重要的信息。此外，我们提出了新的算法，几个基准合作的强盗框架，并表明，我们的算法获得\textit{state-of-the-art}性能，同时始终招致一个显着较小的通信成本比现有的算法。
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
Beyond $\log^2(T)$ Regret for Decentralized Bandits in Matching Markets
Google（谷歌）；Facebook（脸书）；Amazon（亚马逊）
我们在双边匹配市场中设计了分散式后悔最小化算法，其中单边强盗反馈显著改进了先前的工作（Liu et al. 2020 a，2020 b，Sankararaman et al. 2020）。首先，对于一般市场，对于任何$\varepsilon > 0$，我们设计了一种算法，该算法实现了对代理最优稳定匹配的$O(\log^{1+\varepsilon}(T))$遗憾，具有未知的时间范围$T$，改进了（Liu et al. 2020 b）中实现的$O(\log^{2}(T))$遗憾。其次，我们提供了最佳的$Θ(\log(T))$代理最佳遗憾的市场满足唯一性一致性-市场离开参与者不改变原来的稳定匹配。在此之前，当所有武器对代理人有相同的偏好时，$Θ(\log(T))$后悔在非常有限的串行独裁设置中是可以实现的（Sankararaman et al. 2020，Liu et al. 2020 b）。我们提出了一个基于阶段的算法，其中每个阶段，除了删除全球通信占主导地位的武器的代理本地删除武器，他们经常发生冲突。这种局部缺失在打破由跨臂代理的等级异质性引起的死锁方面是关键的。我们进一步证明了我们的算法优于现有的作品，通过模拟。
Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了代理人通过交换消息在底层网络上进行通信，以优化他们在一个共同的非随机多臂强盗问题中的个人遗憾。我们得出遗憾最小化算法，保证每个代理$v$个人预期的遗憾$\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v\right)\right|}\right)T}\right)$，其中$T$是时间步长的数量，$K$是行动的数量和$\mathcal{N}\left(v\right)$是一组邻居的代理$v$在通信图。我们提出的算法的情况下，通信图是已知的所有代理，和图是未知的情况下。当图是未知的，每个代理只知道它的邻居的集合和代理的总数的上限。模型之间的个体遗憾仅通过对数因子而不同。我们的工作解决了来自[Cesa-Bianchi et al.，2019年b]。
A Decentralized Policy with Logarithmic Regret for a Class of Multi-Agent Multi-Armed Bandit Problems with Option Unavailability Constraints and Stochastic Communication Protocols
Sri Lanka Technological Campus（斯里兰卡科技园区）；University of Peradeniya（佩拉德尼亚大学）
An Efficient Algorithm for Cooperative Semi-Bandits
Institute for Data Science & Analytics（数据科学与分析研究所）；Bocconi University（博科尼大学）；Toulouse School of Economics（图卢兹经济学院）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
本文研究了多智能体网络上的异步在线组合优化问题。在每个时间步，一些代理被随机激活，请求进行预测，系统支付相应的损失。然后，主动代理的邻居接收半强盗反馈，并交换一些简洁的本地信息。我们的目标是最大限度地减少网络的遗憾，定义为累计损失的预测活性剂和事后最佳的行动，从一个组合决策集选择之间的差异。在这样的背景下，主要的挑战是控制所得到的算法的计算复杂性，同时保留最小最大最优后悔保证。我们介绍了Coop-FTPL，这是著名的Follow The Perturbed Leader算法的合作版本，它实现了一个新的损失估计过程，将Neu和Bart{ó}k [2013]的几何恢复推广到我们的设置。假设决策集的元素是k维二进制向量，最多有m个非零元素，$α$ 1是网络的独立数，我们证明了我们算法在T个时间步后的期望后悔是QmkTlog（k）（k $α$ 1 /Q + m）阶，其中Q是总激活概率质量.此外，我们证明，这是只有$\sqrt$ k log k-远离最佳可实现的速率和Coop-FTPL具有最先进的T 3/2最坏情况下的计算复杂性。
Adaptive Requesting in Decentralized Edge Networks via Non-Stationary Bandits
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）；Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们研究了在合作的多智能体设置，$V$代理与一个共同的$K$ -武装土匪问题，和每对代理可以相互通信，以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中，奖励是从所有代理和回合的分布中独立采样的，但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明，腐败的添加剂长期是不可避免的任何算法在这个问题。然后，我们提出了一个新的算法，是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置，但也获得了遗憾与腐败的腐败设置中的附加项，同时保持有效的通信。该算法也适用于单代理腐败问题，并实现了一个高概率的遗憾，消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
Fair Distributed Cooperative Bandit Learning on Networks for Intelligent Internet of Things Systems (Technical Report)
School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；China Academy of Electronics and Information Technology（中国电子科技集团公司电子科学研究院）
F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
Decentralized Upper Confidence Bound Algorithms for Homogeneous Multi-Agent Multi-Armed Bandits
E-Surfing Digital Life Technology Co., Ltd.（天翼数字生活科技有限公司）；Stony Brook University（石溪大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；J.P. Morgan AI Research（摩根大通AI研究院）
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Intelligent Science（南京大学智能科学学院）
