Coordination without communication: optimal regret in two players multi-armed bandits
Microsoft Research（微软研究院）；University of British Columbia（不列颠哥伦比亚大学）
我们考虑两个代理人同时玩同一个随机三臂强盗问题。两个特工在合作，但他们无法沟通。我们提出了一个策略，没有冲突的球员之间的所有（具有非常高的概率），并接近最佳的遗憾$O(\sqrt{T \log(T)})$。我们还认为，额外的对数项$\sqrt{\log(T)}$应该是必要的，通过证明一个完整的信息变量的问题的下限。
2020-07-09 cs.GT cs.LG cs.MA
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon（亚马逊）
个性化是许多在线体验的关键方面。特别是，内容排名通常是提供复杂个性化结果的关键组件。通常，应用监督学习排名方法，其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题，我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法，即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差，我们采用了基于位置的点击模型。最后，我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
Multi-Player Approaches for Dueling Bandits
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；AIP（Advanced Institute for Photonics and Electronics）；Kyoto University（京都大学）
针对多玩家对抗型博弈老虎机问题，提出基于黑盒和消息传递的方法，并验证其优于单玩家基准算法。
2025-04-23 cs.LG stat.ML
An Instance-Dependent Analysis for the Cooperative Multi-Player Multi-Armed Bandit
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
研究了多人多武装匪徒中的信息共享与合作问题。我们提出了第一个算法，实现对数后悔这个问题时，碰撞奖励是未知的。我们的研究结果基于两项创新。首先，我们表明，一个简单的修改连续消除策略可以用来让球员估计他们的次优差距，常数的因素，在没有碰撞。其次，我们利用第一个结果来设计一个通信协议，成功地使用冲突的小奖励，以协调玩家之间，同时保持有意义的实例依赖的对数遗憾保证。
2022-09-30 cs.AI cs.LG stat.ML
Multi-Player Bandits: A Trekking Approach
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）
研究了多个局中人的随机多武器土匪问题。玩家不知道玩家的数量，无法相互沟通，如果多个玩家选择一个共同的手臂，他们会碰撞，没有人会得到任何奖励。我们考虑静态的情况下，玩家的数量保持固定，和动态的情况下，玩家在任何时候进入和离开。我们提供了一种新的“跋涉的方法”，保证恒定的静态情况下的遗憾和高概率的动态情况下的次线性遗憾的基础上的算法。与最先进的算法相比，跋涉方法消除了估计玩家数量的需要，从而减少了碰撞并提高了遗憾性能。我们还开发了一个无时代的算法，消除了任何要求的时间同步的球员提供每个球员都可以检测到其他球员的存在上arm.We验证我们的理论保证基于仿真和真实的测试台为基础的实验。
2018-09-17 cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Adversarial Sleeping Bandit Problems with Multiple Plays: Algorithm and Ranking Application
Expedia Group（亿客行集团）
本文提出一种高效算法解决在线推荐系统中的多次选择睡眠老虎机问题，扩展了单臂选择算法，在对抗性损失和未知臂可用性下实现了$\bigO(kN^2\sqrt{T\log T})$的遗憾上界。
2023-07-27 cs.AI cs.LG
Decentralized Heterogeneous Multi-Player Multi-Armed Bandits with Non-Zero Rewards on Collisions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个完全分散的多人随机多臂强盗设置的球员不能相互沟通，只能观察自己的行动和奖励。环境可能对不同的玩家表现不同，$\textit{i.e.}$，给定手臂的奖励分布在玩家之间是异构的。在碰撞的情况下（当多个玩家使用同一只手臂时），我们允许碰撞的玩家获得非零奖励。该武器被使用的时间范围$T$是玩家已知的\emph{not}。在这个设置中，玩家的数量被允许大于武器的数量，我们提出了一个政策，实现了近订单最优的预期遗憾的顺序$O(\log^{1 + δ} T)$为一些$0 < δ< 1$在一个时间跨度的持续时间$T$。这篇论文被IEEE Transactions on信息论接受。
2021-12-28 cs.GT cs.LG stat.ML
Distributed Exploration in Multi-Armed Bandits
Yahoo Labs（雅虎研究院）；Technion（以色列理工学院）
我们研究探索在多臂土匪的设置中，$k$球员合作，以确定一个$ε$ -最佳arm. Our动机来自于最近就业的土匪算法在计算密集型，大规模的应用。我们的研究结果表明，每个球员所需的手臂拉的数量和他们之间的通信量之间的一个不平凡的权衡。特别是，我们的主要结果表明，通过允许$k$玩家只交流一次，他们能够学习$\sqrt{k}$比单个玩家快$\sqrt{k}$倍。也就是说，将学习分发给$k$玩家会产生$\sqrt{k}$并行加速因子。我们补充这一结果的下限表明，这是一般最好的可能。在另一个极端，我们提出了一种算法，实现了理想的因素$k$的学习性能的加速，与通信只有对数$1/ε$。
2013-11-04 cs.LG
Multi-Player Bandits -- a Musical Chairs Approach
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑随机多臂强盗问题的一个变种，其中多个玩家同时从同一组武器中选择，并可能发生碰撞，没有奖励。这种设置的动机是认知无线电网络中出现的问题，特别是在现实的假设下，玩家之间的通信是有限的挑战。我们提供了一个通信免费的算法（音乐椅），达到不断遗憾的概率很高，以及一个子线性遗憾，通信免费的算法（动态音乐椅），更困难的设置玩家动态进入和离开整个游戏。此外，这两种算法都不需要事先知道玩家的数量。据我们所知，这些是第一个通信免费算法与这些类型的正式保证。我们还严格比较我们的算法与以前的作品，并补充我们的理论研究结果与实验。
2015-12-09 cs.LG stat.ML
Towards Optimal Algorithms for Multi-Player Bandits without Collision Sensing Information
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
提出了一种新的无碰撞感知信息的多人多臂强盗游戏算法。我们的算法规避了所有国家的最先进的算法共享的两个问题：它不需要作为输入的最小预期奖励的一个手臂上的下限，其性能不成反比的最小预期奖励。我们证明了一个理论上的遗憾上限，以证明这些索赔。我们补充我们的理论结果与数值实验，表明所提出的算法优于国家的最先进的在实践中。
2022-06-06 cs.LG stat.ML
QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits
Imperial College London（伦敦帝国学院）
针对协作式随机$k$-臂老虎机问题，提出可将任意单智能体算法扩展至多智能体场景的黑盒归约方法QuACK，证明其遗憾保证在次高斯环境下紧且通用，实验性能优于或持平专用多智能体算法。
2024-10-31 cs.LG
Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions
Microsoft Research（微软研究院）；UBC（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）
我们考虑合作的多人版本的随机多臂强盗问题。我们研究的制度，球员不能沟通，但有机会分享随机性。在前两位作者之前的工作中，为两个参与者和三个手臂构建了一个策略，遗憾的是$\tilde{O}(\sqrt{T})$，并且参与者之间没有任何冲突（概率非常高）。在本文中，我们表明，这些属性（接近最佳的遗憾，没有碰撞）是可以实现的任何数量的球员和武器。在高层次上，以前的策略严重依赖于$2$维几何直觉，难以在更高的维度上推广，而在这里，我们采取更组合的路线来构建新的策略。
2020-11-08 cs.LG cs.MA stat.ML
Non-Stochastic Multi-Player Multi-Armed Bandits: Optimal Rate With Collision Information, Sublinear Without
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们考虑非随机版本的（合作）多人多臂强盗问题。该模型假设玩家之间没有任何交流，而且当两个（或更多）玩家选择相同的动作时，这会导致最大的损失。我们证明了这个问题的第一个$\sqrt{T}$型遗憾保证，在碰撞的反馈模型，碰撞的球员宣布。这样一个界限是不知道的，即使是更简单的随机版本。我们还证明了第一次次线性保证的反馈模型中的碰撞信息是不可用的，即$T^{1-\frac{1}{2m}}$其中$m$是球员的数量。
2019-05-01 cs.LG cs.MA stat.ML
A Practical Algorithm for Multiplayer Bandits when Arm Means Vary Among Players
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；ENSAE Paris（巴黎经济与统计学院）；McGill University（麦吉尔大学）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；CRIStAL（里尔信号、自动化、计算机与图像处理研究中心）；Criteo AI Lab（卡塔戈人工智能实验室）
我们研究了一个多人随机多臂强盗问题，其中玩家不能交流，如果两个或两个以上的玩家拉同一只手臂，发生碰撞，参与的玩家获得零奖励。我们认为具有挑战性的异构设置，其中不同的武器可能有不同的手段，为不同的球员，并提出了一个新的和有效的算法，结合了利用强制碰撞的想法，隐式通信和执行匹配消除。我们对算法进行了有限时间分析，给出了该问题的第一个次线性极大极小遗憾界，并证明了如果玩家的最优分配是唯一的，我们的算法获得了最优的$O(\ln(T))$遗憾，解决了NeurIPS 2018上提出的一个悬而未决的问题。
2020-03-20 cs.LG stat.ML
Online Learning of Rested and Restless Bandits
University of Michigan（密歇根大学）
在本文中，我们研究了在线学习问题，涉及休息和不安分的多臂土匪多个播放。该系统由一个单一的播放器/用户和一组K有限状态离散时间马尔可夫链（武器）与未知的状态空间和统计。在每一步，玩家可以玩M个武器。用户的目标是在一系列试验中决定每一步K个手臂中的哪M个来玩，以便最大化其长期奖励。不安分的多臂强盗是特别相关的机会性频谱接入（OSA）的应用，其中（次要）用户可以访问一组K个信道，每个信道的时变条件作为随机衰落和/或某些主要用户的活动的结果。
2011-02-17 cs.LG math.OC
A survey on multi-player bandits
INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）；CREST（经济统计研究中心）；ENSAE Paris（巴黎经济统计学院）；CRITEO AI Lab（CRITEO人工智能实验室）
本综述回顾了多人多臂老虎机理论及其在认知无线电网络中的应用，系统整理了现有文献，指出理论与实际应用间存在的障碍，并为未来研究指明了方向。
2024-06-03 cs.GT cs.LG stat.ML
Online Learning for Cooperative Multi-Player Multi-Armed Bandits
University of Southern California（南加州大学）
我们介绍了一个框架，分散在线学习多武装匪徒（MAB）与多个合作的球员。玩家在每一轮中获得的奖励取决于所有玩家采取的行动。这是一个团队设置，目标是共同的。信息不对称是使问题有趣和具有挑战性的原因。我们考虑三种类型的信息不对称：行动信息不对称，当玩家的行动不能被观察到，但收到的奖励是共同的;奖励信息不对称，当其他玩家的行动是可观察的，但收到的奖励是IID从相同的分布;当我们有行动和奖励信息不对称。对于第一个设置，我们提出了一个UCB启发的算法，实现了$O(\log T)$后悔是否奖励是IID或马尔可夫。对于第二部分，我们提供了一个环境，使得第一个设置的算法给出线性后悔。对于第三种设置，我们表明，一个变化的'探索，然后提交'算法实现几乎日志遗憾。
2021-09-07 cs.LG
Multi-Player Bandits Robust to Adversarial Collisions
University of Oxford（牛津大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Chicago（芝加哥大学）；University of Warwick（华威大学）
受认知无线电的启发，随机多人多臂强盗问题近年来得到了广泛的研究。在该设置中，每个玩家拉动手臂，如果没有碰撞，即手臂由一个玩家选择，则获得与手臂对应的奖励。否则，如果发生碰撞，玩家将不会获得奖励。在本文中，我们考虑恶意玩家（或攻击者）的存在，他们通过故意与合作玩家（或防御者）碰撞来阻碍合作玩家（或防御者）最大化他们的奖励。我们提供了第一个分散的和强大的算法RESYNC防御者的性能恶化优雅的$\tilde{O}(C)$的冲突$C$从攻击者的数量增加。我们证明了该算法是顺序最优的证明下限的规模为$Ω(C)$。该算法不知道攻击者使用的算法，也不知道攻击者对$C$造成的冲突数量。
2022-11-15 cs.LG stat.ML
Player Modeling via Multi-Armed Bandits
Drexel University（德雷塞尔大学）；Rowan University（罗文大学）
本文主要研究在自适应游戏中，仅从玩家行为出发构建个性化玩家模型。我们提出了两个主要的贡献：第一个是一种新的方法，球员建模的基础上多武装土匪（MABs）。该方法同时并且以原则性的方式解决了收集数据以对当前玩家感兴趣的特征进行建模的问题以及基于该模型来适配交互式体验的问题。其次，我们提出了一种方法来评估和微调这些算法之前，在用户研究中生成数据。这是一个重要的问题，因为进行用户研究是一个昂贵且劳动密集型的过程;因此，事先评估算法的能力可以节省大量资源。我们评估我们的方法在建模玩家的社会比较取向（SCO）的背景下，目前的实证结果，从模拟和真实的球员。
2021-02-10 cs.AI cs.LG
Multi-Player Multi-Armed Bandits with Finite Shareable Resources Arms: Learning Algorithms & Applications
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）
多人多臂强盗（MMAB）研究分散的玩家如何合作玩同一个多臂强盗，以最大化他们的总累积奖励。现有的MMAB模型大多假设当多个玩家拉动同一只手臂时，他们要么发生碰撞并获得零奖励，要么没有碰撞并获得独立奖励，这两种情况在实际场景中通常都过于限制。在本文中，我们提出了一个MMAB与共享资源作为扩展的冲突和非冲突设置。每个可共享的手臂都有有限的可共享资源和一个“每次加载”的奖励随机变量，这两个变量对玩家来说都是未知的。来自可共享手臂的奖励等于“每负载”奖励乘以拉手臂的玩家数量与手臂的最大可共享资源之间的最小值。我们考虑两种类型的反馈：共享需求信息（SDI）和共享需求意识（SDA），每一个提供不同的信号的资源共享。我们分别设计了DPE-SDI和SIC-SDA算法来解决这两种反馈情况下的共享臂问题，并证明了这两种算法都具有对数遗憾，且在轮数上是紧的.我们进行模拟来验证这两种算法的性能，并展示它们在无线网络和边缘计算中的实用性。
2022-04-28 cs.LG
On Regret-Optimal Learning in Decentralized Multi-player Multi-armed Bandits
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
我们考虑了单人和多人多臂强盗模型中的学习问题。强盗问题是一类在线学习问题，捕获探索与剥削权衡。在多臂强盗模型中，玩家可以在许多武器中进行选择，每一次使用一只武器都会产生一个ID。来自未知分布的奖励。我们的目标是设计一个政策，最大化的预期回报在一个时间范围内为一个单一的球员设置和多人设置的预期回报的总和。在多人游戏设置中，武器可能会给不同的玩家不同的奖励。参与者之间没有单独的协调渠道。任何沟通的尝试都是昂贵的，并且会增加遗憾。我们提出了两个分散的政策，$\tt E^3$（$\tt E$ - $\tt cubed$）和$\tt E^3$ - $\tt TS$，可用于单人和多人游戏设置。这些政策所产生的预期遗憾，增长最多为O（$\log^{1+ε} T$）。众所周知，即使在集中的情况下，$\log T$也是后悔增长率的下限。所提出的算法改进了以前的工作，后悔增长在O（$\log^2 T$）。更根本的是，这些政策解决了分散式在线学习产生的额外成本问题，这表明最多有一个$ε$ -因素成本的遗憾顺序。这解决了许多领域的相关问题，并且已经开放了一段时间。
2016-12-01 cs.LG stat.ML
An Optimal Algorithm for Multiplayer Multi-Armed Bandits
KTH, Royal Institute of Technology（瑞典皇家理工学院）
本文讨论了多人多臂强盗（MMAB）问题，其中$M$决策者或玩家合作，以最大限度地提高他们的累积奖励。当多个玩家选择同一只手臂时，会发生碰撞，并且该手臂上不会收集奖励。碰撞中的玩家会被告知此碰撞。我们提出了DPE（分散式吝啬探索），分散式算法，实现了相同的遗憾，通过一个最佳的集中式算法。我们的算法比最先进的算法SIC-MMAB \cite{boursier2019}有更好的后悔保证。在SIC-MMAB中，玩家只能通过冲突进行通信。DPE的另一个重要优点是它需要很少的通信。具体来说，玩家使用碰撞进行通信的预期回合数是有限的。
2019-10-26 cs.LG stat.ML
Asymptotically Optimal Algorithms for Budgeted Multiple Play Bandits
University of Washington（华盛顿大学）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Inria Lille（里尔法国国家信息与自动化研究所）；Université Paris Descartes（巴黎笛卡尔大学）
我们研究了一个泛化的多臂强盗问题与多个播放，有一个成本与拉每个手臂和代理人有一个预算，在每个时间，决定了她可以期望花费多少。我们得到了一个渐近遗憾下界的任何一致有效的算法在我们的设置。然后，我们研究了伯努利奖励和KL-UCB的单参数指数家庭和有界的，有界支持的奖励的一个变体的汤普森采样。我们表明，这些算法是渐近最优的，无论是在率和领先的问题依赖的常数，包括在厚保证金设置多个武器落在决策边界。
2019-09-12 cs.LG stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CREST（CREST（法国国家统计与经济研究所研究中心））；ENSAE（法国国立统计与经济管理学校）
针对异构异步多玩家老虎机最优分配计算的未解决问题，证明其NP难性，提出贪心算法并给出1/e及1/√e的近似保证，为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
An Asymptotically Optimal Algorithm for Communicating Multiplayer Multi-Armed Bandit Problems
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
考虑了多个局中人的分散随机多臂强盗问题。每个玩家的目标是通过拉动一只手臂来最大化他/她自己的奖励。手臂根据i.i.d.给予奖励。随机伯努利分布玩家不知道武器的概率分布。在每个回合结束时，玩家会告诉他们的邻居他/她拉的手臂和他/她得到的奖励。根据连通性为$α$的Erd{Ign}s-R{é}nyi图确定局中人的邻居.该图在每个转弯的开始处以相同的连通性再现。当多个玩家在一个回合中选择同一只手臂时，我们假设只有一个随机选择的玩家得到奖励，而其他玩家什么也得不到。我们首先假设玩家不知道碰撞模型，并提供了一个渐进的最优算法$α= 1$的情况下。然后，我们扩展了我们以前的工作，并提供了一个渐近最优算法的任何连接，但零，假设球员知道的碰撞模型。我们还研究了$α$的效果，球员之间的沟通程度，经验上的累积后悔，通过比较他们与传统的多臂强盗算法。
2017-12-02 cs.LG
Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards
University of Michigan（密歇根大学）
考虑了经典的具有马尔可夫报酬的多臂强盗问题。当一只手臂被使用时，它会以马尔可夫的方式改变状态，而当它不被使用时，它会保持冻结状态。参与者每次使用一只手臂时都会得到一个与状态相关的奖励，而手臂的状态数和状态转移概率对参与者来说是未知的。玩家的目标是随着时间的推移学习最好的手臂，以最大限度地提高其长期总回报。我们表明，在一定的条件下的状态转移概率的武器，一个样本均值为基础的指数政策实现对数遗憾一致的试验总数。结果表明，基于样本均值的索引策略可以应用于剩余马尔可夫强盗模型下的学习问题，而不会损失序的最优性。此外，Anantharam指数策略与UCB策略的比较表明，UCB策略在选择较小的勘探参数时，其损失小于Anantharam指数策略。
2022-11-12 cs.LG math.OC
Meet Me at the Arm: The Cooperative Multi-Armed Bandits Problem with Shareable Arms
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（布罗德研究所）
本文研究了在无感知设置下多玩家多臂老虎机问题，提出A-CAPELLA算法，通过协议驱动协调实现对容量的感知，达到对数遗憾水平。
2026-03-29 cs.LG
Multitask Bandit Learning Through Heterogeneous Feedback Aggregation
University of California San Diego（加州大学圣地亚哥分校）；University of Arizona（亚利桑那大学）
在许多现实世界的应用中，多个智能体试图学习如何执行高度相关但略有不同的任务，在一个在线的强盗学习协议。我们制定这个问题的$ε$ -多玩家多武装土匪问题，其中一组球员同时与一组武器，并为每个手臂，奖励分配的所有球员是相似的，但不一定相同。我们开发了一个基于置信上限的算法，RobustAgg $(ε)$，自适应地聚合不同玩家收集的奖励。在玩家之间的奖励分布的成对相似性的上限是已知的设置中，我们实现了依赖于玩家之间信息共享的顺从性的实例依赖的后悔保证。我们补充这些上限与几乎匹配的下限。在设置成对的相似性是未知的，我们提供了一个下界，以及一个算法，权衡最小最大遗憾保证适应未知的相似性结构。
2021-07-20 cs.LG stat.ML
The Effect of Communication on Noncooperative Multiplayer Multi-Armed Bandit Problems
ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
研究了局中人之间通信概率不同的多局中人分散随机多臂强盗问题。每个玩家在不合作的情况下做出拉手臂的决定，同时旨在最大化他或她的奖励，但在每一轮结束时通知他或她的邻居他或她拉的手臂和他或她得到的奖励。玩家的邻居根据Erdos-Renyi图确定，该图在每回合开始时复制。我们认为i.i.d.奖励由伯努利分布产生，并假设玩家不知道武器的概率分布和平均值。在碰撞的情况下，我们假设只有一个随机选择的玩家得到奖励，其他人得到零奖励。我们研究了连通性的影响，球员之间的沟通程度，累积后悔使用著名的算法UCB 1，ε-贪婪和汤普森采样。
2017-11-05 cs.LG
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Multiplayer Information Asymmetric Contextual Bandits
Princeton University（普林斯顿大学）
本文提出多人信息不对称上下文赌博机框架，通过改进LinUCB和设计基于探索后承诺的ETC算法，在仅一种或两种不对称情况下均实现O(√T)最优遗憾。
2025-03-11 cs.LG
Bounded Rationality in Las Vegas: Probabilistic Finite Automata PlayMulti-Armed Bandits
Cornell University（康奈尔大学）
虽然传统经济学假设人类是完全理性的代理人，总是最大化他们的预期效用，但在实践中，我们不断观察到明显的非理性行为。一种解释是，人们的计算能力有限，因此，考虑到他们的计算能力有限，他们非常理性地做出了最好的决定。为了验证这一假设，我们考虑多臂强盗（MAB）问题。我们研究了一个简单的策略，可以很容易地实现一个概率有限自动机（PFA）发挥MAB。粗略地说，PFA设定了某些期望，只要满足这些期望，它就会发挥作用。如果PFA有足够多的状态，它的性能接近最优。它的性能随着状态数的减少而优雅地下降。此外，PFA以“类似人类”的方式行事，表现出许多标准的人类偏见，如乐观偏见和消极偏见。
2020-06-30 cs.AI cs.LG
A High Performance, Low Complexity Algorithm for Multi-Player Bandits Without Collision Sensing Information
CentraleSupelec（中央高等电力学院）；L2S（信号与系统实验室）
受认知无线电网络应用的启发，我们考虑了分散的多人多臂强盗问题，没有碰撞，也没有感知信息。我们提出了Randomized Selfish KL-UCB，这是一种计算复杂性非常低的算法，其灵感来自Selfish KL-UCB算法，该算法已被放弃，因为它在某些情况下可证明表现次优。我们对随机自私的KL-UCB进行了大量的数值实验，结果表明它在几乎所有环境中的性能都远远优于最先进的算法，有时甚至是几个数量级，而且不需要最先进的算法所需的额外知识。我们还强调了这种算法的潜力，更现实的动态设置，并支持我们的要求与进一步的实验。我们相信，低复杂度和高性能的随机自私KL-UCB算法，使其最适合在实际系统中的已知算法。
2021-02-19 cs.LG stat.ML
A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Nearly Minimax Algorithms for Linear Bandits with Shared Representation
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
我们给出了新的算法，多任务和终身线性土匪共享表示。具体来说，我们考虑使用维度为$d$的$M$线性强盗任务的设置，每个任务用于$T$回合，并且这些$M$强盗任务共享公共的$k(\ll d)$维度线性表示。对于我们同时玩任务的多任务设置和我们顺序玩任务的终身设置，我们提出了实现$\widetilde{O}\left(d\sqrt{kMT} + kM\sqrt{T}\right)$遗憾界限的新算法，其与已知的极大极小遗憾下限匹配对数因子并缩小了现有结果中的差距[Yang et al.，2021年]。我们的主要技术包括一个更有效的估计低秩线性特征提取器和伴随的新的分析，这个估计。
2022-03-29 cs.LG stat.ML
Multi-Player Bandits Revisited
CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）
多人多臂强盗（MAB）已经在文献中得到了广泛的研究，其动机是应用于认知无线电系统。在这样的应用程序的驱动下，我们激励多玩家MAB算法引入几个层次的反馈。大多数现有的工作假设，传感器的信息是可用的算法。在此假设下，我们改进了任何分散算法的遗憾的最新下界，并引入了两种算法，RandTopM和MCTopM，这两种算法在经验上优于现有算法。此外，我们提供了强有力的理论保证，这些算法，包括渐近最优性的概念，坏武器的选择数量。然后，我们介绍了一个有前途的启发式算法，称为自私，可以在没有传感信息的情况下操作，这对于物联网网络的新兴应用至关重要。我们调查的经验表现，这种算法，并提供了一些第一理论元素的理解其行为。
2018-03-13 cs.LG stat.ML
Decentralized Multi-player Multi-armed Bandits with No Collision Information
University of Virginia（弗吉尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
研究了局中人不知道碰撞信息的分散随机多局多臂强盗问题。在Boursier和Perchet（2019）的开创性工作的基础上，我们提出了涉及通信的纠错同步（EC-SIC），其遗憾之处在于接近具有冲突信息的集中式随机MP-MAB。该算法通过将无冲突信息的通信阶段看作是信息论中的Z信道模型，将最优纠错编码应用于反馈统计信息的通信。与Boursier和Perchet（2019）中的随机增长相反，固定的消息长度在控制通信损耗方面也起着至关重要的作用。实验结果表明，EC-SIC算法在实际Z信道编码中，如重复码、翻转码和修正汉明码等，具有较好的性能。
2020-02-29 cs.IT cs.LG math.IT
Observe Before Play: Multi-armed Bandit with Pre-observations
Carnegie Mellon University（卡内基梅隆大学）
我们考虑随机多臂强盗（MAB）问题的设置，玩家可以支付预先观察手臂奖励之前，在每一轮玩一个手臂。除了在探索新的武器以找到最好的武器和利用被认为提供最高回报的武器之间进行通常的权衡之外，我们还遇到了另一个困境：预先观察更多的武器可以提供更高的机会来发挥最好的武器，但会产生更大的成本。对于单人游戏，我们设计了一个带有Bernoulli奖励的$K$武器的Observe-Before-Play置信度上界（OBP-UCB）算法，并证明了一个$T$回合后悔上界$O(K^2\log T)$ .在多人游戏中，当玩家在同一回合中选择同一只手臂时，会发生碰撞。我们设计了一个集中式算法C-MP-OBP，并证明了对于$M$参与者和$K$参与者，C-MP-OBP算法的$T$轮遗憾相对于离线贪婪策略在$O(\frac{K^4}{M^2}\log T)$中是上界的.我们还提出了分布式版本的C-MP-OBP政策，称为D-MP-OBP和D-MP-Adapt-OBP，实现对数遗憾的无碰撞目标政策。在合成数据和无线信道跟踪上的实验表明，C-MP-OBP和D-MP-OBP的性能优于随机算法和不允许预先观测的离线最优策略。
2019-11-21 cs.LG stat.ML
Matrix games with bandit feedback
DeepMind（深度思维）
我们研究了一个具有未知支付矩阵和强盗反馈的经典零和矩阵博弈，其中参与者只观察彼此的行为和噪声支付。这推广了通常的矩阵游戏，其中玩家知道支付矩阵。尽管有许多应用，这个问题得到了相对较少的关注。虽然对抗强盗算法实现了低遗憾，他们没有利用矩阵结构，并执行相对于新的算法。主要贡献是对UCB和K学习的变体的遗憾分析，这些变体适用于任何对手，例如，即使对手对抗性地对学习者的混合策略做出最佳反应。一路上，我们表明，汤普森失败灾难性的，在这种情况下，并提供经验比较现有的算法。
2021-06-12 cs.LG stat.CO stat.ML
Networked Stochastic Multi-Armed Bandits with Combinatorial Strategies
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们研究了一个很大程度上扩展版本的经典MAB问题，称为网络组合强盗问题。特别地，我们考虑了决策者在网络化强盗上的设置如下：每次组合策略，例如，选择一组手臂，决策者收到她的策略产生的奖励，也收到每个手臂邻居的策略产生的附加奖励。这是由许多真实的应用程序，如在线社交网络，其中朋友可以提供他们的反馈共享内容，因此，如果我们向用户推广产品，我们也可以收集反馈，她的朋友对该产品。为此，我们在这项研究中考虑了两种类型的边奖金：边观察和边奖励。根据每个时间段的手臂拉动次数，我们研究了两种情况：单人游戏和组合游戏。因此，这给我们留下了四个场景来研究存在边奖金的情况：带边观察的单人游戏，带边观察的组合游戏，带边奖励的单人游戏和带边奖励的组合游戏。对于每一种情况下，我们提出并分析了一系列的\emph{zero regret}政策，随着时间的推移，随着时间的推移，后悔的期望接近零。大量的模拟验证了我们的结果的有效性。
2015-03-20 cs.LG
Selfish Robustness and Equilibria in Multi-Player Bandits
Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；CREST（经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
受认知无线电的启发，随机多人多武装土匪最近引起了人们的极大兴趣。在这类问题中，几个玩家同时拉动手臂，如果其中一些玩家同时拉动同一只手臂，则会发生碰撞-奖励为0。虽然合作的情况下，玩家最大化集体奖励（顺从地遵循一些固定的协议）已被大多数考虑，鲁棒性恶意玩家是一个至关重要的和具有挑战性的问题。现有的方法只考虑对抗性干扰器的情况，其目标是盲目地最小化集体奖励。相反，我们将考虑更自然的自私的参与者，他们的动机是最大化他们的个人回报，可能以牺牲社会福利为代价。我们提供了第一个算法鲁棒自私的球员（又名。纳什均衡）与对数后悔，当手臂的性能进行观察。当冲突也被观察到，严峻的触发类型的策略，使一些隐式的基于通信的算法，我们构建强大的算法在两个不同的设置：同质（遗憾相比，集中式的最佳）和异构的情况下（适应和相关的概念遗憾）。我们还提供不可能的结果时，只有奖励观察到或当手臂的手段任意不同的球员。
2020-06-19 cs.LG stat.ML
Ranking In Generalized Linear Bandits
University of Oxford（牛津大学）
研究广义线性bandit中的排序问题，考虑位置和物品依赖性对奖励的影响，设计了UCB和Thompson Sampling算法，推广现有研究并连接图论。
2024-01-01 cs.IR cs.LG math.OC
Unknown Delay for Adversarial Bandit Setting with Multiple Play
Wichita State University（威奇托州立大学）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系（不单独作为机构提取，此处主要机构为大学））
研究了具有多重博弈的多臂强盗系统中的未知时延问题。现有的工作类似的游戏设置只集中在学习者在每一轮选择一个手臂的情况下。然而，在机器人技术中有很多应用，学习者需要在每一轮中选择多个手臂。因此，当选择多个臂时，研究延迟的影响是值得的。在此设置中，每轮选择的多个臂使得它们经历相同的延迟量。可以有一个聚合的反馈损失，从不同的组合中选择的武器在不同的回合，学习者面临的挑战，关联的反馈损失的武器产生他们。针对这一问题，提出了一种基于延迟指数的多播开发与探索（DEXP3.M）算法。遗憾界仅比DEXP3的遗憾稍差，DEXP3已经为具有未知延迟的单次播放设置提出。
2020-10-01 cs.LG cs.MA stat.ML
Decentralized Restless Bandit with Multiple Players and Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
针对多玩家未知动力学的分散式休止多臂赌博机问题，提出一种分散式策略，在已知系统参数边界时实现对数阶遗憾，在无先验知识时实现任意接近对数阶的遗憾。
2011-02-15 cs.LG cs.SY eess.SY
Competing for Shareable Arms in Multi-Player Multi-Armed Bandits
Tsinghua University（清华大学）
研究多玩家多臂老虎机中自私智能体竞争可共享资源的问题，提出基于纳什均衡的SMAA算法，理论证明其能保证个体遗憾界并防止恶意偏离，合成实验验证了有效性。
2023-08-04 cs.CY cs.GT cs.LG
Bandit Learning in Decentralized Matching Markets
University of California（加利福尼亚大学）
我们研究双边匹配市场，其中一方的市场（球员）没有一个先验知识，其偏好的另一方（武器），并要求从经验中学习其偏好。此外，我们假设玩家没有直接的通信手段。该模型扩展了标准的随机多臂强盗框架，分散的多个玩家设置与竞争。我们引入了一个新的算法，这种设置，在一个时间范围$T$，达到$\mathcal{O}(\log(T))$稳定的遗憾时，共享的武器的偏好，和$\mathcal{O}(\log(T)^2)$遗憾时，没有任何一方的偏好的假设。此外，在设置中，一个单一的球员可能会偏离，我们表明，该算法是激励兼容的武器的偏好是共享的，但不一定是这样的偏好是完全一般的。
2021-06-21 cs.GT cs.LG cs.MA
Multi-armed Bandits with Compensation
Tsinghua University（清华大学）
我们提出并研究了已知补偿多臂强盗（KCMAB）问题，其中系统控制器提供了一组武器，许多短期球员的$T$步骤。在每一步中，一个短期参与者到达系统。在到达时，玩家的目标是选择具有当前最佳平均奖励的手臂，并接收与该手臂相关联的随机奖励。为了激励玩家探索其他手臂，控制器向玩家提供适当的支付补偿。控制器的目标是最大化玩家获得的总奖励，同时最小化补偿。我们首先提供了一个补偿下限$Θ(\sum_i {Δ_i\log T\over KL_i})$，其中$Δ_i$和$KL_i$分别是期望的回报差距和Kullback-Leibler（KL）分歧之间的分布的手臂$i$和最好的手臂。然后分析了三种求解KCMAB问题的算法，并得出了它们的遗憾和补偿。我们表明，所有的算法实现$O(\log T)$遗憾和$O(\log T)$补偿，符合理论下限。最后，我们提出的实验结果来证明算法的性能。
2018-11-05 cs.LG stat.ML
Budget-Constrained Multi-Armed Bandits with Multiple Plays
University of California, Berkeley（加州大学伯克利分校）
我们研究了多个播放和预算约束的随机和对抗设置的多臂土匪问题。在每一轮中，必须从$N$可能的武器中精确地打出$K$（用$1\leq K \leq N$）。除了观察每只手的单独奖励之外，玩家还学习必须用先验定义的预算$B$覆盖的成本向量。当与所玩武器相关联的当前成本的总和超过剩余预算时，游戏结束。首先，我们分析这种设置的随机情况下，我们假设每个手臂有一个基本的成本和回报分布的支持$[c_{\min}, 1]$和$[0, 1]$，分别。我们推导出一个置信上限（UCB）算法，实现$O(NK^4 \log B)$遗憾。其次，对于整个序列的奖励和成本是事先固定的对抗的情况下，我们推导出一个上界的遗憾顺序$O(\sqrt{NB\log(N/K)})$利用著名的$\texttt{Exp3}$算法的扩展。我们还提供了上界，持有高概率和秩序$Ω((1 - K/N)^2 \sqrt{NB/K})$的下界。
2017-11-16 cs.AI cs.LG stat.ML
Regret Analysis of Sleeping Competing Bandits
Osaka University, Japan（大阪大学）
本文提出睡眠竞争老虎机模型，分析其遗憾界，提出算法在合理假设下达到O(NK log T_i/Δ²)的渐近遗憾界，并给出下界证明算法在K大于N时渐近最优。
2026-03-20 cs.GT cs.LG
Nonstochastic Bandits with Composite Anonymous Feedback
Università degli Studi di Milano（米兰大学）；Paul Sabatier University (UT3)（保罗·萨巴蒂埃大学（UT3））；Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院（IIT））；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们研究了一个非随机的强盗设置，在该设置中，一个动作的损失不是立即向玩家收取的，而是在随后的几轮中以对抗的方式传播。玩家在每一轮结束时观察到的瞬时损失是先前所玩动作的许多损失分量的总和。这种设置包括作为一个特殊的情况下，更容易的任务与延迟反馈的强盗，一个经过充分研究的框架，玩家观察延迟损失单独。我们的第一个贡献是一个一般的减少转换成一个标准的强盗算法，可以在更难的设置：我们绑定的遗憾的转换算法的稳定性和遗憾的原始算法。然后，我们表明，一个适当调整的FTRL与Tsallis熵的变换有一个遗憾的顺序$\sqrt{(d+1)KT}$，其中$d$是最大延迟，$K$是武器的数量，和$T$是时间范围。最后，我们表明，我们的结果不能得到改善，一般表现出匹配（最多一个对数因子）下界的遗憾，在这种设置中操作的任何算法。
2022-09-24 cs.LG
Multiple-Play Stochastic Bandits with Shareable Finite-Capacity Arms
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）
我们推广了多局多臂强盗（MP-MAB）问题，其中多个局可以共享同一条手臂，并且每个可共享的手臂都有一个有限的奖励容量和一个“每负载”的奖励分配，这两个都是未知的.来自可共享手臂的奖励是负载相关的，其是“每负载”奖励乘以拉动手臂的游戏次数，或者当游戏次数超过容量限制时其奖励容量。当“每负载”的奖励遵循高斯分布，我们证明了一个样本的复杂性下界学习的能力，从负载相关的奖励，也遗憾下界这个新的MP-MAB问题。我们设计了一个容量估计器，其样本复杂性的上限匹配的下限方面的奖励手段和能力。我们还提出了一个在线学习算法来解决这个问题，并证明其遗憾上界。该后悔上界的第一项与后悔下界相同，第二项和第三项也明显对应于后悔下界。大量的实验验证了我们的算法的性能，并在5G和4G基站选择的增益。
2022-06-17 cs.LG stat.ML
Bandit problems with fidelity rewards
Pompeu Fabra University（庞培法布拉大学）；ICREA（加泰罗尼亚高级研究学院）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（伦敦帝国理工学院）；Cisco Systems, Inc.（思科系统公司）
忠诚度强盗问题是$K$ -武装强盗问题的一个变体，其中每个手臂的奖励被忠诚度奖励所增加，该忠诚度奖励根据玩家过去对该手臂的“忠诚”程度为玩家提供额外的回报。我们提出了两个模型的保真度。在忠诚点模型中，额外奖励的数量取决于手臂先前被使用的次数。在订阅模型中，额外的奖励取决于手臂的当前连续抽奖次数。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最优的，因此在对抗性环境中后悔的概念需要仔细调整。我们引入了三种可能的概念，遗憾和调查，可以有界次线性。我们详细研究了增加、减少和优惠券（玩家在每次$m$玩一只手臂后获得额外奖励）忠诚奖励的特殊情况。对于不一定具有次线性后悔的模型，我们给出了最坏情况的下界。对于具有次线性后悔的模型，我们给出了算法并限制了其后悔。
2021-11-25 cs.LG stat.ML
