Decentralized Exploration in Multi-Armed Bandits -- Extended version
Orange Labs（奥兰治实验室）；Microsoft Research（微软研究院）
我们考虑分散的探索问题：一组玩家通过与相同的随机环境异步交互来协作识别最佳手臂。我们的目标是确保在异步，协作和节俭的球员之间的最佳手臂识别问题的隐私。在数字服务的背景下，我们主张这种分散的方法可以在用户的利益和服务提供商的利益之间实现良好的平衡：提供商优化其服务，同时保护用户的隐私并节省资源。我们将隐私级别定义为对手通过拦截有关单个用户的消息可以推断出的信息量。我们提供了一个通用的算法分散消除，它使用任何最好的手臂识别算法作为一个子程序。我们证明，该算法确保隐私，具有较低的通信成本，并在最佳手臂识别问题的下界相比，其样本复杂性遭受的惩罚取决于最频繁的球员的概率的倒数。然后，由于该方法的通用性，我们将该算法扩展到非平稳土匪。最后，通过实验验证并完成了分析.
2023-01-16 cs.LG stat.ML
Decentralized Competing Bandits in Non-Stationary Matching Markets
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云科技人工智能）；UC Berkeley（加州大学伯克利分校）
了解双边在线匹配市场的复杂动态，需求方代理商竞争与供应方（武器）匹配，最近收到了很大的兴趣。为此，在本文中，我们介绍了非平稳（动态）环境下的分散双边匹配市场的框架。我们坚持串行独裁设置，需求方代理商有未知的和不同的偏好，供应方（武器），但武器有固定的和已知的偏好。我们提出并分析了一个分散和异步的学习算法，即分散的非平稳竞争土匪（\texttt{DNCB}），其中代理人发挥（限制性）连续消除型学习算法，以了解他们的偏好的武器。理解这样一个系统的复杂性源于这样一个事实，即竞争的强盗以异步的方式选择他们的行动，并且较低排名的代理只能从一组手臂中学习，而不是由较高排名的代理学习PDMATHAMN，这导致\emph{forced exploration}。仔细定义的复杂性参数，我们描述了这个\emph{forced exploration}，并获得次线性（对数）遗憾的\texttt{DNCB}。此外，我们通过实验验证了我们的理论研究结果。
2022-05-31 cs.IT cs.LG math.IT
Decentralized Cooperative Stochastic Bandits
University of Oxford（牛津大学）
研究了$N$智能体网络上具有$K$臂的分散合作随机多臂强盗问题.在我们的模型中，每个代理的每个手臂的奖励分配是相同的，并且奖励是独立地跨代理和时间步绘制的。在每一轮中，每个智能体选择一只手臂进行游戏，然后向她的邻居发送一条消息。我们的目标是尽量减少整个网络的整体遗憾。我们设计了一个完全分散的算法，使用加速共识程序来计算（延迟）每个手臂的所有代理获得的平均奖励的估计，然后使用上置信界（UCB）算法，该算法考虑了估计的延迟和误差。我们分析了我们的算法的遗憾，也提供了一个下界。遗憾是有界的最佳集中遗憾加上一个自然和简单的条款，取决于通信矩阵的频谱间隙。我们的算法比以前的工作中提出的算法更容易分析，它实现了更好的后悔界限，同时需要更少的底层网络信息。它在经验上也表现得更好。
2019-10-24 cs.LG stat.ML
A Decentralized Policy with Logarithmic Regret for a Class of Multi-Agent Multi-Armed Bandit Problems with Option Unavailability Constraints and Stochastic Communication Protocols
Sri Lanka Technological Campus（斯里兰卡科技园区）；University of Peradeniya（佩拉德尼亚大学）
本文考虑了一个多臂强盗（MAB）的问题，其中多个移动代理接收奖励的空间分散的随机过程，称为土匪的集合采样。我们的目标是为每个代理制定一个分散的政策，以最大限度地提高所有代理的总累积奖励，受选项可用性和智能体通信约束。问题的制定是出于应用程序中，一个团队的自主移动机器人合作，以完成探索和开发任务，在一个不确定的环境。盗贼位置由空间图的顶点表示。在任何时候，智能体的选择包括在其当前位置对强盗进行采样，或者沿着空间图的边缘移动到新的强盗位置。通信约束描述的有向，非平稳，随机通信图。在任何时候，代理都可以仅从其通信图内邻居接收数据。对于一个完全连通的空间图上的单个代理的情况下，它是已知的，任何最优策略的预期后悔是必然的，低于一个函数的增长作为时间的对数。一类称为置信上限（UCB）算法的政策渐近实现对数遗憾的经典MAB问题。在本文中，我们提出了一个基于UCB的分散运动和选择政策和非平稳随机通信协议，保证对数后悔。据我们所知，这是第一个这样的分散政策，非完全连接的空间图与通信约束。当空间图是完全连接的，通信图是固定的，我们的分散算法匹配或超过最好的文献报道的先前结果。
2020-03-31 cs.LG math.ST stat.ML
Decentralized Heterogeneous Multi-Player Multi-Armed Bandits with Non-Zero Rewards on Collisions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个完全分散的多人随机多臂强盗设置的球员不能相互沟通，只能观察自己的行动和奖励。环境可能对不同的玩家表现不同，$\textit{i.e.}$，给定手臂的奖励分布在玩家之间是异构的。在碰撞的情况下（当多个玩家使用同一只手臂时），我们允许碰撞的玩家获得非零奖励。该武器被使用的时间范围$T$是玩家已知的\emph{not}。在这个设置中，玩家的数量被允许大于武器的数量，我们提出了一个政策，实现了近订单最优的预期遗憾的顺序$O(\log^{1 + δ} T)$为一些$0 < δ< 1$在一个时间跨度的持续时间$T$。这篇论文被IEEE Transactions on信息论接受。
2021-12-28 cs.GT cs.LG stat.ML
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game
Bar-Ilan University（巴伊兰大学）；Nanyang Technological University（南洋理工大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）
我们研究了一个分散的信道分配问题，在一个ad-hoc物联网网络的基础上授权给一个主要的蜂窝网络的频谱。在所考虑的网络中，IoT设备上贫乏的信道感测/探测能力和计算资源使得它们难以获取共享的多个信道的详细信道状态信息（CSI）。在实践中，主用户的传输活动的未知模式和时变CSI（例如，由于小规模衰落或设备移动性）也引起信道质量的随机变化。因此，去中心化物联网链路需要基于部分观测在线学习信道条件，同时不获取有关其未运行信道的信息。它们还必须在有限协调的情况下达成高效、无冲突的信道分配解决方案。我们的研究映射到一个上下文多人，多武装土匪游戏，并提出了一个纯粹的分散，三阶段的策略学习算法，通过试错。理论分析表明，所提出的方案保证物联网链路联合收敛到具有次线性（即，多对数）遗憾的是，相对于操作时间。仿真结果表明，它罢工之间的效率和网络的可扩展性与其他国家的最先进的分散式强盗算法相比，很好的平衡。
2021-07-01 cs.LG cs.MA cs.NI
A Decentralized Communication Policy for Multi Agent Multi Armed Bandit Problems
Sri Lanka Technological Campus（斯里兰卡理工学院）；University of Peradeniya（佩拉德尼亚大学）
本文提出了一种新的政策，一组代理，单独以及集体，解决多武装土匪（MAB）问题。该策略仅依赖于代理通过自己的选项采样以及通过与邻居的通信获得的信息。选择政策是基于上置信度为基础（UCB）的战略，而提出的通信策略，迫使代理商与其他代理商，他们认为是最有可能探索比利用。整体策略显着优于一个独立的Erdens-Rényi（ER）图为基础的随机通信策略。该政策被证明是具有成本效益的通信方面，因此可以很容易地扩展到一个大型网络的代理。
2020-02-21 cs.LG stat.ML
Dominate or Delete: Decentralized Competing Bandits in Serial Dictatorship
AWS AI（亚马逊云科技人工智能部门）；UC Berkeley（加州大学伯克利分校）；Google（谷歌公司）；UT Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书公司）
双边匹配市场中的在线学习，需求方代理不断竞争与供应方（手臂）匹配，在匹配平台（例如UpWork，TaskRabbit）上的部分信息下抽象复杂的交互。我们研究了分散的串行独裁设置，双边匹配市场的需求方代理商有未知的和异质的估值超过供应方（武器），而武器有已知的统一偏好的需求方（代理商）。我们设计了第一个分散的算法- UCB与分散的主导臂删除（UCB-D3），代理，不需要任何知识的奖励差距或时间范围。UCB-D3分阶段工作，在每个阶段中，代理删除\emph{dominated arms} -高级代理首选的武器，并根据UCB仅从非劣势武器进行游戏。在该阶段结束时，代理以分散的方式广播，通过{ \em纯开发}估计他们的首选武器。我们证明了这两个，一个新的遗憾下界的分散串行独裁模型，UCB-D3是顺序最优的。
2021-03-12 cs.DS cs.GT cs.LG
Robust Decentralized Multi-armed Bandits: From Corruption-Resilience to Byzantine-Resilience
针对去中心化协作多智能体多臂老虎机易受对抗攻击的问题，提出鲁棒算法DeMABAR，可同时应对对抗损坏与拜占庭攻击场景，经理论分析和数值实验验证其鲁棒性与有效性。
2025-11-13 cs.LG
Decentralized Multi-player Multi-armed Bandits with No Collision Information
University of Virginia（弗吉尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
研究了局中人不知道碰撞信息的分散随机多局多臂强盗问题。在Boursier和Perchet（2019）的开创性工作的基础上，我们提出了涉及通信的纠错同步（EC-SIC），其遗憾之处在于接近具有冲突信息的集中式随机MP-MAB。该算法通过将无冲突信息的通信阶段看作是信息论中的Z信道模型，将最优纠错编码应用于反馈统计信息的通信。与Boursier和Perchet（2019）中的随机增长相反，固定的消息长度在控制通信损耗方面也起着至关重要的作用。实验结果表明，EC-SIC算法在实际Z信道编码中，如重复码、翻转码和修正汉明码等，具有较好的性能。
2020-02-29 cs.IT cs.LG math.IT
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Beyond $\log^2(T)$ Regret for Decentralized Bandits in Matching Markets
Google（谷歌）；Facebook（脸书）；Amazon（亚马逊）
我们在双边匹配市场中设计了分散式后悔最小化算法，其中单边强盗反馈显著改进了先前的工作（Liu et al. 2020 a，2020 b，Sankararaman et al. 2020）。首先，对于一般市场，对于任何$\varepsilon > 0$，我们设计了一种算法，该算法实现了对代理最优稳定匹配的$O(\log^{1+\varepsilon}(T))$遗憾，具有未知的时间范围$T$，改进了（Liu et al. 2020 b）中实现的$O(\log^{2}(T))$遗憾。其次，我们提供了最佳的$Θ(\log(T))$代理最佳遗憾的市场满足唯一性一致性-市场离开参与者不改变原来的稳定匹配。在此之前，当所有武器对代理人有相同的偏好时，$Θ(\log(T))$后悔在非常有限的串行独裁设置中是可以实现的（Sankararaman et al. 2020，Liu et al. 2020 b）。我们提出了一个基于阶段的算法，其中每个阶段，除了删除全球通信占主导地位的武器的代理本地删除武器，他们经常发生冲突。这种局部缺失在打破由跨臂代理的等级异质性引起的死锁方面是关键的。我们进一步证明了我们的算法优于现有的作品，通过模拟。
2021-03-12 cs.LG stat.ML
Decentralized Restless Bandit with Multiple Players and Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
针对多玩家未知动力学的分散式休止多臂赌博机问题，提出一种分散式策略，在已知系统参数边界时实现对数阶遗憾，在无先验知识时实现任意接近对数阶的遗憾。
2011-02-15 cs.LG cs.SY eess.SY
On Regret-Optimal Learning in Decentralized Multi-player Multi-armed Bandits
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
我们考虑了单人和多人多臂强盗模型中的学习问题。强盗问题是一类在线学习问题，捕获探索与剥削权衡。在多臂强盗模型中，玩家可以在许多武器中进行选择，每一次使用一只武器都会产生一个ID。来自未知分布的奖励。我们的目标是设计一个政策，最大化的预期回报在一个时间范围内为一个单一的球员设置和多人设置的预期回报的总和。在多人游戏设置中，武器可能会给不同的玩家不同的奖励。参与者之间没有单独的协调渠道。任何沟通的尝试都是昂贵的，并且会增加遗憾。我们提出了两个分散的政策，$\tt E^3$（$\tt E$ - $\tt cubed$）和$\tt E^3$ - $\tt TS$，可用于单人和多人游戏设置。这些政策所产生的预期遗憾，增长最多为O（$\log^{1+ε} T$）。众所周知，即使在集中的情况下，$\log T$也是后悔增长率的下限。所提出的算法改进了以前的工作，后悔增长在O（$\log^2 T$）。更根本的是，这些政策解决了分散式在线学习产生的额外成本问题，这表明最多有一个$ε$ -因素成本的遗憾顺序。这解决了许多领域的相关问题，并且已经开放了一段时间。
2016-12-01 cs.LG stat.ML
Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits
ENS Rennes（雷恩高等师范学院）；Orange Labs（奥兰奇实验室）；Paul Sabatier University（保罗·萨巴蒂埃大学）
针对集中式智能充电方案可扩展性差、存在单点故障与隐私隐患的问题，提出基于自适应多智能体多臂老虎机的完全分布式智能充电系统，可应对系统不确定性，兼具分布式、可扩展、实时、无模型与公平性优势。
2023-07-20 cs.LG
Deep Decentralized Reinforcement Learning for Cooperative Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为了有效地与未知的合作伙伴在合作控制设置，适应的合作伙伴的在线经验的基础上是必需的。在控制律和控制目标未知的情况下，合作伙伴可能会为各自的目标而努力，这种控制设置相当普遍和广泛适用，这带来了各种挑战，如环境的非平稳性、多代理信用分配问题、交替探索问题和协调问题。我们提出了新的模块化深度分散多智能体强化学习机制来应对这些挑战。因此，我们的方法使用时间相关的样本的优先级，结合了系统动态模型，并利用可变的，责任驱动的学习率和模拟，人工经验，以指导学习过程。我们的方法的有效性证明了通过一个模拟的，非线性的合作控制任务。
2019-10-29 cs.LG cs.MA cs.SY
Decentralized Asynchronous Multi-player Bandits
Northeastern University, China（东北大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
针对无全局时钟、玩家可任意进出的去中心化异步MP-MAB问题，提出探索与利用自适应切换、低概率检测玩家离开的算法，获得次线性遗憾并经实验验证。
2025-09-30 cs.LG stat.ML
Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
针对去中心化异构老虎机中的非平稳性，提出DRFC算法，通过平衡全局比较忽略局部变化，实现无局部变化依赖的遗憾界，并验证其有效性。
2026-09-16 cs.LG
Robust Multi-Agent Bandits with Heavy-Tailed Rewards and Information Asymmetry
该研究针对重尾奖励和信息不对称的多智能体多臂老虎机问题，为三种信息不对称场景开发鲁棒分散式算法，通过实验验证了理论结果并阐明相关权衡。
2026-08-12 cs.AI cs.LG
An Optimal Algorithm for Multiplayer Multi-Armed Bandits
KTH, Royal Institute of Technology（瑞典皇家理工学院）
本文讨论了多人多臂强盗（MMAB）问题，其中$M$决策者或玩家合作，以最大限度地提高他们的累积奖励。当多个玩家选择同一只手臂时，会发生碰撞，并且该手臂上不会收集奖励。碰撞中的玩家会被告知此碰撞。我们提出了DPE（分散式吝啬探索），分散式算法，实现了相同的遗憾，通过一个最佳的集中式算法。我们的算法比最先进的算法SIC-MMAB \cite{boursier2019}有更好的后悔保证。在SIC-MMAB中，玩家只能通过冲突进行通信。DPE的另一个重要优点是它需要很少的通信。具体来说，玩家使用碰撞进行通信的预期回合数是有限的。
2019-10-26 cs.LG stat.ML
Decentralized Task Offloading in Edge Computing: A Multi-User Multi-Armed Bandit Approach
Huazhong University of Science and Technology（华中科技大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；The Chinese University of Hong Kong（香港中文大学）
移动边缘计算方便用户将计算任务卸载到边缘服务器，以满足其严格的延迟要求。以前的工作主要探索任务卸载时，系统侧的信息是给定的（例如，服务器处理速度、蜂窝数据率）或系统不确定性下的集中卸载。但是，这两种方法通常都不足以处理在动态和不确定的环境中涉及许多共存用户的任务放置。在本文中，我们开发了一个多用户卸载框架，考虑未知但随机的系统侧信息，使分散的用户发起的服务放置。具体来说，我们制定了一个在线的多用户多臂强盗过程的动态任务放置，并提出了一个分散的基于时代的卸载（DEBO），以优化用户的奖励，受到网络延迟。我们表明，DEBO可以推断出最佳的用户-服务器分配，从而实现接近最佳的服务性能和紧O（log T）卸载遗憾。此外，我们推广DEBO各种常见的情况下，如未知的回报差距，动态进入或离开的客户端，公平的奖励分配，同时进一步探讨当用户卸载的任务需要异构的计算资源。特别是，我们完成了一个次线性的遗憾，为每一个这些情况。基于真实测量的评估证实了我们的卸载方案在优化延迟敏感奖励方面优于最先进的方法。
2021-12-28 cs.DC cs.LG
Decentralized Upper Confidence Bound Algorithms for Homogeneous Multi-Agent Multi-Armed Bandits
E-Surfing Digital Life Technology Co., Ltd.（天翼数字生活科技有限公司）；Stony Brook University（石溪大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；J.P. Morgan AI Research（摩根大通AI研究院）
本文针对同质多智能体多臂老虎机问题，提出基于UCB1和KL-UCB的去中心化算法，使智能体通过邻居信息共享获得优于单智能体的对数渐近遗憾，并将框架扩展至有向图。
2024-12-28 cs.LG cs.SY eess.SY
Concurrent Decentralized Channel Allocation and Access Point Selection using Multi-Armed Bandits in multi BSS WLANs
Universitat Pompeu Fabra（庞培法布拉大学）
企业无线局域网（WLAN）由覆盖给定区域的多个接入点（AP）组成。考虑到AP和站点之间的复杂依赖关系，找到能够最大限度提高企业WLAN性能的合适网络配置是一项具有挑战性的任务。最近，在无线网络中，强化学习技术的使用已经成为有效探索不同网络配置对系统性能的影响、识别提供更好性能的网络配置的有效解决方案。在本文中，我们研究如果多臂强盗（MABs）能够提供一个可行的解决方案，分散的信道分配和AP选择问题，在企业无线局域网的场景。要做到这一点，我们授权AP和站与代理，通过实施汤普森采样算法，探索和学习，这是最好的信道使用，这是最好的AP相关联，分别。我们的评估是随机生成的情况下，其中包括不同的网络拓扑结构和流量负载。所呈现的结果表明，所提出的使用MAB的自适应框架优于静态方法（即，总是使用初始默认配置，通常是随机的），而不管网络密度和业务需求。此外，我们表明，所提出的框架的使用减少了不同情况下的性能变化。结果还表明，我们实现了相同的性能（或更好）比静态策略，较少的AP相同数量的站。最后，特别注意的是如何代理人相互作用。即使代理以完全独立的方式操作，它们的决策也具有相互关联的影响，因为它们在同一组通道资源上采取行动。
2020-06-05 cs.LG stat.ML
Decentralized Blockchain-based Robust Multi-agent Multi-armed Bandit
Northwestern University（西北大学）
本文研究去中心化区块链上存在恶意参与者的鲁棒多智能体多臂老虎机问题，首次结合区块链技术与新颖机制设计最优策略，通过验证者池、基于数字签名的共识、基于UCB的安全多方计算策略及激励机制，证明了算法理论遗憾值上界为$\log{T}$且达到最优。
2024-07-25 cs.LG cs.MA
Decentralized Randomly Distributed Multi-agent Multi-armed Bandit with Heterogeneous Rewards
Northwestern University（西北大学）
本文研究去中心化多智能体多臂老虎机问题，提出结合快速混合马尔可夫链随机图模拟、一致性方法与加权UCB技术的算法框架，去除了双随机性假设，在次高斯和次指数环境下实现了高概率成立的最优遗憾上界。
2023-10-18 cs.LG stat.ML
Decentralized Online Big Data Classification - a Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们假设每个处理元素可用的分类函数是固定的，但它们对各种类型的传入数据的预测精度是未知的，并且可以随时间动态变化，因此它们需要在线学习。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发分布式在线学习算法，我们可以证明，他们有次线性遗憾。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-08-25 cs.LG cs.MA
Decentralized Contextual Bandits with Network Adaptivity
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）
针对网络上下文线性老虎机中信息部分共享的问题，提出NetLinUCB和Net-SGD-UCB两种网络感知UCB算法，实现自适应信息共享，降低学习复杂度，在不同场景下表现出优势并经实验验证。
2025-08-24 cs.LG math.OC
Meet Me at the Arm: The Cooperative Multi-Armed Bandits Problem with Shareable Arms
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（布罗德研究所）
本文研究了在无感知设置下多玩家多臂老虎机问题，提出A-CAPELLA算法，通过协议驱动协调实现对容量的感知，达到对数遗憾水平。
2026-03-29 cs.LG
Cooperative Multi-Agent Bandits with Heavy Tails
Media Lab and Institute for Data, Systems and Society, Massachusetts Institute of Technology（麻省理工学院媒体实验室与数据、系统与社会研究所）
我们研究了合作多智能体环境中的重尾随机强盗问题，其中一组智能体与一个共同的强盗问题进行交互，同时在具有延迟的网络上进行通信。在这种情况下，现有的随机强盗算法利用置信区间所产生的平均为基础的通信协议称为~ \textit{running consensus}，这并不适合自己的鲁棒估计重尾设置。我们提出了\textsc{MP-UCB}，一个分散的多智能体算法的合作随机土匪，采用了强大的估计与消息传递协议。我们证明了\textsc{MP-UCB}的几个问题设置的最佳遗憾界，也证明了它的优越性，现有的方法。此外，我们建立了合作的强盗问题的第一个下界，除了提供有效的鲁棒的强盗位置估计算法。
2020-08-14 cs.LG cs.MA stat.ML
Byzantine-Resilient Decentralized Multi-Armed Bandits
Department of Applied Mathematics and Statistics（应用数学与统计学系）；Stony Brook University（石溪大学）；J.P. Morgan AI Research（摩根大通AI研究）；Department of Computer Science（计算机科学系）；University of Colorado Boulder（科罗拉多大学波尔德分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对去中心化协作MAB中存在拜占庭智能体传递错误信息的问题，提出融合信息混合与极值截断的去中心化弹性UCB算法，在满足邻域规模条件下可获得优于非协作的遗憾性能，还扩展了时变图场景并给出下界，经实验验证有效。
2025-06-11 cs.LG cs.SY eess.SY
Distributed Learning in Multi-Armed Bandit with Multiple Players
University of California, Davis（加州大学戴维斯分校）
我们制定和研究一个分散的多臂强盗（MAB）问题。有M个分布式参与者竞争N个独立的武器。每一只手臂，在演奏时，都提供了身份证。根据具有未知参数的分布进行奖励。在每一次，每个玩家选择一只手臂玩，不与其他玩家交换观察或任何信息。选择相同手臂的玩家发生碰撞，根据碰撞模型，要么没有人获得奖励，要么碰撞的玩家以任意方式分享奖励。我们发现，分散的MAB的最小系统遗憾随着时间的增长，在相同的对数顺序在集中式的对手，球员集体作为一个单一的实体，通过交换意见和共同决策。一个分散的政策，以实现这一最优秩序，同时确保公平的参与者之间，而不假设任何预先协议或参与者之间的信息交换。基于M个最优武器的时分公平共享（TDFS），构造了该策略，并在一般报酬模型下证明了其序最优性。此外，TDFS策略的基本结构可以与任何订单最优的单人策略一起使用，以实现分散设置中的订单最优性。我们还建立了一个下界的系统遗憾的增长率的一般类的分散政策，建议的政策属于。该问题在认知无线电网络、多信道通信系统、多智能体系统、网络搜索和广告以及社交网络中有潜在的应用。
2010-06-07 cs.LG math.OC math.PR
Decentralized Projection-free Online Upper-Linearizable Optimization with Applications to DR-Submodular Optimization
Purdue University（普渡大学）；Mila - Quebec AI Institute/McGill University（魁北克AI研究所/麦吉尔大学）
本文提出了一种去中心化投影自由优化框架，用于解决DR-子模优化问题，并在不同反馈模型下实现了高效的算法性能。
2026-10-01 cs.CC cs.LG math.OC
Cost of Structural Learning Under Censored Feedback: A Threshold-Bandit Approach
University of Maryland, College Park（马里兰大学学院公园分校）
针对任务仅当联盟达到未知规模阈值时才产生奖励的审查反馈问题，提出阈值激活合作多臂老虎机模型，并通过集中式算法C-TAC实现O(log T)累积遗憾，以及去中心化事件触发协议D-TAC在保持可行性对齐的同时减少23倍通信。
2026-05-26 cs.LG cs.MA
Privacy-Preserving Communication-Efficient Federated Multi-Armed Bandits
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
通信瓶颈和数据隐私是联邦多臂强盗（MAB）问题中的两个关键问题，例如通过无线连接车辆的决策和推荐情况。在本文中，我们设计的隐私保护通信效率的算法在这样的问题，并研究隐私，通信和学习性能之间的相互作用的遗憾。具体而言，我们设计了保护隐私的学习算法和通信协议，并推导出了网络私有代理在主从结构、分散结构和混合结构下进行在线强盗学习时的学习遗憾。我们的强盗学习算法是基于时代明智的次优臂消除在每个代理和代理交换学习知识与服务器/彼此在每个时代结束。此外，我们采用了差分隐私（DP）的方法来保护数据隐私在每个代理交换信息时，我们削减通信成本，使更少的代理参与更少的通信频率。通过分析我们提出的算法框架在主-工，分散和混合结构中的遗憾，我们从理论上展示了遗憾和通信成本/隐私之间的权衡。最后，我们实证显示这些权衡与我们的理论分析是一致的。
2021-11-02 cs.LG cs.NI
Semi-overlapping Multi-bandit Best Arm Identification for Sequential Support Network Learning
Department of Artificial Intelligence and Systems Engineering（人工智能与系统工程系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；E-Group ICT Software Zrt.（E-Group ICT软件公司）
本文提出半重叠多臂老虎机模型，用于高效学习支持网络，改进多老虎机最佳臂识别的误差界并提升性能保证。
2025-12-31 cs.AI cs.LG
Communication Efficient Federated Learning for Generalized Linear Bandits
University of Virginia（弗吉尼亚大学）
为了满足数据分散化和向客户端推送学习的需求，联邦学习环境下的上下文Bandit算法近年来得到了研究。但受限于所需的通信效率，现有的解决方案被限制为线性模型，以利用其封闭形式的解决方案进行参数估计。这样一个有限的模型选择极大地阻碍了这些算法的实际效用。在本文中，我们通过研究联邦学习环境下的广义线性强盗模型来解决这一挑战。我们提出了一个有效的解决方案框架，采用在线回归本地更新和离线回归的全球更新。我们严格证明，虽然设置是更一般和具有挑战性的，我们的算法可以达到次线性率的遗憾和通信成本，这也是我们广泛的实证评估验证。
2022-10-12 cs.LG stat.ML
Multi-armed Bandit Learning for TDMA Transmission Slot Scheduling and Defragmentation for Improved Bandwidth Usage
Michigan State University（密歇根州立大学）
提出了一种在无线传感器网络和物联网中有效利用带宽的时分多址（TDMA）MAC时隙分配协议。所开发的协议有两个主要组成部分：一个多臂强盗（MAB）为基础的时隙分配机制，无冲突传输，和分散整理时隙后移（DDSB）操作，提高带宽的使用效率。所提出的框架是分散的，每个节点发现它的传输时间表独立没有任何集中式仲裁器的控制。所开发的机制适用于具有或不具有时间同步的网络，因此，使其适用于无线传感器和物联网节点的低复杂度无线收发器。该框架能够管理学习收敛时间和带宽之间的权衡。此外，它允许节点适应拓扑变化，同时保持有效的带宽使用。所开发的逻辑进行了测试，完全连接和任意网状网络与广泛的仿真实验。它示出了如何节点可以学习使用MAB选择无冲突的传输时隙。此外，节点学会自我调整自己的传输时间表使用一种新的DDSB框架，以减少带宽的使用。
2023-01-14 cs.AI cs.LG cs.NI
Decentralized Learning for Multi-player Multi-armed Bandits
University of Southern California（南加州大学）
针对多人多臂老虎机问题，提出了一种无需协调的分散式在线学习算法dUCB_4，实现了近O(log^2 T)的期望遗憾。
2012-06-14 cs.LG cs.SY eess.SY
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia（弗吉尼亚大学）
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增，例如，在联邦学习中，如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中，我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架，异步模型更新和通信的同构客户端和异构客户端的集合，分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析，并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
Decentralized Cooperative Reinforcement Learning with Hierarchical Information Structure
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
多智能体强化学习（MARL）问题由于信息不对称而具有挑战性。为了克服这一挑战，现有方法通常需要代理之间的高水平协调或通信。我们考虑两个代理多武装匪徒（MABs）和马尔可夫决策过程（MDP）与层次信息结构中出现的应用程序，我们利用提出更简单，更有效的算法，不需要协调或通信。在该结构中，在每一步中，“领导者”首先选择她的行动，然后“追随者”在观察领导者的行动后决定他的行动。两个智能体观察到相同的奖励（以及MDP设置中相同的状态转换），这取决于它们的联合动作。对于强盗设置，我们提出了一个分层的强盗算法，实现了接近最优的间隙独立的遗憾$\widetilde{\mathcal{O}}(\sqrt{ABT})$和接近最优的间隙相关的遗憾$\mathcal{O}(\log(T))$，其中$A$和$B$是领导者和追随者的行动的数量，分别和$T$是步骤的数量。我们进一步扩展到多个追随者的情况下，与一个深层次的情况下，我们都获得接近最优的遗憾界。对于MDP设置，我们获得$\widetilde{\mathcal{O}}(\sqrt{H^7S^2ABT})$遗憾，其中$H$是每集的步数，$S$是状态数，$T$是集数。这与$A, B$和$T$方面的现有下限相匹配。
2021-11-01 cs.LG cs.MA math.OC
Competing Bandits in Matching Markets
University of California, Berkeley（加州大学伯克利分校）
稳定匹配是双边市场的经典模型，长期以来一直在研究，很少考虑各方的偏好是如何学习的。随着由数据驱动的匹配平台驱动的大规模在线市场的出现，有必要更好地理解学习和市场目标之间的相互作用。我们提出了一个统计学习模型，其中一方的市场没有先验知识，其偏好的另一方，并需要学习这些随机奖励。我们的模型扩展了标准的多武装土匪框架，以多个玩家，增加了武器对玩家的偏好。我们研究了集中和分散的方法来解决这个问题，并显示出令人惊讶的探索-开发权衡相比，单人多武装土匪设置。
2020-07-12 cs.GT cs.LG cs.MA
Collaborative Multi-Agent Heterogeneous Multi-Armed Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究 N 个智能体协作学习 M 个随机多臂老虎机的新问题，提出两种场景下的去中心化算法，推导了每智能体与群体遗憾上界，并证明群体遗憾下界，验证算法近最优性。
2024-07-02 cs.DC cs.LG cs.MA
SIC-MMAB: Synchronisation Involves Communication in Multiplayer Multi-Armed Bandits
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Criteo AI Lab（Criteo人工智能实验室）
受认知无线电网络的启发，我们考虑了随机多人多臂强盗问题，其中几个玩家同时拉动手臂，如果其中一个被几个玩家在同一阶段拉动，则会发生碰撞。我们提出了一个分散的算法，实现了相同的性能作为一个集中的，矛盾的现有的下限为该问题。这是可能的，通过“黑客”的标准模型，通过构建一个通信协议之间的球员，故意强制冲突，使他们能够分享他们的信息在一个可以忽略不计的成本。这促使引入更合适的动态设置而无需感测，其中类似的通信协议不再可能。然而，我们表明，对数增长的遗憾仍然是可以实现的，这个模型与一个新的算法。
2019-11-19 cs.LG stat.ML
Distributed Bandits: Probabilistic Communication on $d$-regular Graphs
Princeton University（普林斯顿大学）
我们研究了分散式多智能体多臂强盗问题的代理商，通过一个$d$ -正则图定义的网络上的概率进行通信。图中的每条边都具有概率权重$p$以说明通信链路故障的（$1\!-\!p$）概率。在每个时间步，每个代理选择一个手臂，并接收与所选手臂相关联的数字奖励。在每次选择之后，每个代理观察其每个邻居的最后获得的奖励，概率为$p$。我们提出了一个新的置信上限（UCB）为基础的算法，并分析如何基于代理的策略有助于最大限度地减少群体遗憾，在这种概率通信设置。我们提供理论保证，我们的算法优于国家的最先进的算法。我们说明了我们的结果，并验证了理论主张，使用数值模拟。
2021-10-09 cs.LG math.PR stat.ML
Heterogeneous Multi-Agent Bandits with Parsimonious Hints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；City University of Hong Kong（香港城市大学）
针对异构多智能体多臂老虎机问题，提出GP-HCLA、HD-ETC和EBHD-ETC算法，通过最小化提示查询实现与时间无关的遗憾，并证明最优性。
2025-02-22 cs.AI cs.GT cs.LG
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎文理研究大学-巴黎多芬大学）；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Liverpool University（利物浦大学）
我们引入了一个新的图形双线性强盗问题的学习者（或\emph{central entity}）分配武器的节点图，并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题，其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状，我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是，我们表征的图形结构（如星，完整或圆）的收敛速度的影响，并提出实证实验，证实这种依赖。
2021-06-10 cs.LG
Communication-Efficient Federated Non-Linear Bandit Optimization
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
针对现有联邦老虎机优化仅支持简单函数类的局限，提出适用于通用非线性目标的Fed-GO-UCB算法，证明其在累积遗憾和通信成本上均达次线性速率，实验验证了有效性。
2023-11-03 cs.DC cs.LG
A High Performance, Low Complexity Algorithm for Multi-Player Bandits Without Collision Sensing Information
CentraleSupelec（中央高等电力学院）；L2S（信号与系统实验室）
受认知无线电网络应用的启发，我们考虑了分散的多人多臂强盗问题，没有碰撞，也没有感知信息。我们提出了Randomized Selfish KL-UCB，这是一种计算复杂性非常低的算法，其灵感来自Selfish KL-UCB算法，该算法已被放弃，因为它在某些情况下可证明表现次优。我们对随机自私的KL-UCB进行了大量的数值实验，结果表明它在几乎所有环境中的性能都远远优于最先进的算法，有时甚至是几个数量级，而且不需要最先进的算法所需的额外知识。我们还强调了这种算法的潜力，更现实的动态设置，并支持我们的要求与进一步的实验。我们相信，低复杂度和高性能的随机自私KL-UCB算法，使其最适合在实际系统中的已知算法。
2021-02-19 cs.LG stat.ML
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习（MARL）算法经常遭受指数样本复杂度对智能体数量的依赖，这种现象被称为\emph{the curse of multiagents}。在本文中，我们解决这一挑战，调查样本效率的无模型算法在\emph{decentralized} MARL，并旨在改善现有的算法沿这条线。对于学习（粗）一般和马尔可夫博弈中的相关均衡，我们提出了\emph{stage-based} V-学习算法，大大简化了最近的作品的算法设计和分析，并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题，提出了一种独立的策略梯度算法，该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的，因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信，也不需要集中协调，从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
2022-01-29 cs.AI cs.LG cs.MA
Coordinating the Unknown Lipschitz Constant in Multiplayer Bandits
针对连续动作空间中利普希茨常数未知的协作多智能体老虎机问题，设计适配三种信息结构的算法，证明共享奖励或可观测动作可免费达成离散化一致性，否则通过抖动量化估计值达成且不增加悔的主阶成本。
2026-08-12 cs.AI cs.LG
Decentralized Task Offloading and Load-Balancing for Mobile Edge Computing in Dense Networks
University of Tübingen（蒂宾根大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
本文针对密集网络中信息未知、任务随机的去中心化卸载与负载均衡问题，提出结合平均场多智能体多臂老虎机博弈和奖励调整负载均衡技术的方法，实现目标负载分布收敛。
2024-06-24 cs.DC cs.LG cs.MA
From Preference to Reciprocity: Decentralized Matching with Empirically Grounded LLM-agent Based Modeling
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出结合LLM智能体与上下文赌博机的分散二分匹配框架，在模拟婚姻市场中验证其优于经典方法，实现更高福利和更少阻塞对。
2026-09-29 cs.AI cs.LG
Multi-Agent Dynamic Pricing in a Blockchain Protocol Using Gaussian Bandits
Semiotic Labs（Semiotic 实验室）
Graph Protocol对历史区块链交易数据进行索引，并使其可用于查询。由于该协议是分散的，因此有许多独立的索引器索引并相互竞争以向消费者提供查询。指数公司竞争的一个方面是定价。在本文中，我们提出了一个基于Bandit的算法，通过消费者预算发现索引的收入最大化。我们提出的设计和考虑，我们不得不使一个动态定价算法被多个代理商同时使用。我们讨论了我们的动态定价强盗在模拟和部署到以太坊上运行的一个索引器上的生产中所取得的结果。我们已经开源了我们创建的模拟框架和工具，其他索引器已经开始适应他们自己的工作流程。
2023-01-06 cs.LG q-fin.CP
