A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Coordination without communication: optimal regret in two players multi-armed bandits
Microsoft Research（微软研究院）；University of British Columbia（不列颠哥伦比亚大学）
我们考虑两个代理人同时玩同一个随机三臂强盗问题。两个特工在合作，但他们无法沟通。我们提出了一个策略，没有冲突的球员之间的所有（具有非常高的概率），并接近最佳的遗憾$O(\sqrt{T \log(T)})$。我们还认为，额外的对数项$\sqrt{\log(T)}$应该是必要的，通过证明一个完整的信息变量的问题的下限。
2020-07-09 cs.GT cs.LG cs.MA
Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions
Microsoft Research（微软研究院）；UBC（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）
我们考虑合作的多人版本的随机多臂强盗问题。我们研究的制度，球员不能沟通，但有机会分享随机性。在前两位作者之前的工作中，为两个参与者和三个手臂构建了一个策略，遗憾的是$\tilde{O}(\sqrt{T})$，并且参与者之间没有任何冲突（概率非常高）。在本文中，我们表明，这些属性（接近最佳的遗憾，没有碰撞）是可以实现的任何数量的球员和武器。在高层次上，以前的策略严重依赖于$2$维几何直觉，难以在更高的维度上推广，而在这里，我们采取更组合的路线来构建新的策略。
2020-11-08 cs.LG cs.MA stat.ML
Non-Stochastic Multi-Player Multi-Armed Bandits: Optimal Rate With Collision Information, Sublinear Without
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们考虑非随机版本的（合作）多人多臂强盗问题。该模型假设玩家之间没有任何交流，而且当两个（或更多）玩家选择相同的动作时，这会导致最大的损失。我们证明了这个问题的第一个$\sqrt{T}$型遗憾保证，在碰撞的反馈模型，碰撞的球员宣布。这样一个界限是不知道的，即使是更简单的随机版本。我们还证明了第一次次线性保证的反馈模型中的碰撞信息是不可用的，即$T^{1-\frac{1}{2m}}$其中$m$是球员的数量。
2019-05-01 cs.LG cs.MA stat.ML
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室）；IMT, Université de Toulouse（图卢兹大学 数学与计算机科学研究所）
本文致力于研究最大K臂强盗问题，该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko（2014）中的ExtremeHunter算法进行了显著的改进，然后提出了一种替代方法，表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析，这两种方法进行了比较，通过数值实验。
2017-07-27 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
University of Oslo（奥斯陆大学）
多臂强盗问题是一个经典的决策问题，其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中，就像在其他机器学习应用中一样，区分系统固有的随机性（任意不确定性）和来自代理有限知识的随机性（认知不确定性）是很重要的。在本文中，我们认为主观逻辑的形式主义，一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见，我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题，我们将它们与文献中的经典算法进行比较，并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明，主观逻辑量，使有用的评估的不确定性，可以利用更精细的代理。
2020-08-17 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Trading off rewards and errors in multi-armed bandits
Inria SequeL；CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
2026-10-06 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
A Survey on Contextual Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在这个调查中，我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
2016-02-01 cs.LG
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
2022-03-07 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
Differential Privacy for Multi-armed Bandits: What Is It and What Is Its Cost?
Chalmers University of Technology（查尔姆斯理工大学）
基于差分隐私（DP）框架，引入并统一了多臂强盗算法的隐私定义。我们用一个统一的图形模型来表示框架，并使用它来连接隐私定义。我们推导出并对比了满足这些定义的强盗算法的遗憾下界。我们利用统一的证明技术来实现所有的下限。我们发现，对于所有这些，学习者的遗憾增加了一个乘法因子依赖于隐私级别$ε$。我们观察到，当我们不需要本地差分隐私的奖励的依赖性较弱。
2020-06-23 cs.LG stat.ML
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Instrument-Armed Bandits
Cornell University（康奈尔大学）
我们扩展了经典的多臂强盗（MAB）模型的设置不遵守，其中的手臂拉是一个纯粹的工具和应用的治疗可能会有所不同，这就产生了仪器武装强盗（IAB）的问题。只要实验单位是人，IAB设置就相关，因为自由意志、伦理和法律可能禁止无限制或强制应用治疗。特别是，该设置是相关的动态临床试验和其他对照试验对人类干预的土匪模型。尽管如此，在强盗文学中并没有充分研究过这种背景。我们发现，有各种各样的和不同的概念，遗憾在这种情况下，所有这些都只在经典的MAB设置相吻合。我们描述这些遗憾的行为，并分析标准的MAB算法。我们认为，一种特殊的遗憾，捕获的因果关系的治疗效果，但标准的MAB算法不能实现次线性控制这种遗憾。相反，我们开发了新的算法IAB问题，证明了新的遗憾的界限，并将它们与标准的MAB算法的数值例子。
2017-05-21 cs.LG stat.ML
Batched Multi-armed Bandits Problem
Stanford University（斯坦福大学）
在本文中，我们研究了多臂强盗问题中的批量设置，其中所采用的政策必须分为少量的批次数据。虽然在\cite{perchet2016batched}中已经完全刻画了双臂随机强盗的极小极大后悔，但对于多臂情况，武器数量对后悔的影响仍然是开放的。此外，自适应地选择批量大小是否有助于减少遗憾的问题也仍然有待探讨。在本文中，我们提出了BaSE（批量连续消除）的政策，以实现率最优的遗憾（对数因子内）批量多武装土匪，匹配的下限，即使批量大小是以自适应的方式确定。
2019-10-26 cs.IT cs.LG math.IT
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
从先前的任务中学习，并将这些经验转移到提高未来的表现上，对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能，但大多数关于迁移的文献都集中在批量学习任务上。在本文中，我们研究的问题\textit{sequential transfer in online learning}，特别是在多臂强盗框架，其目标是尽量减少累积遗憾的一系列任务，通过逐步转移知识，从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务，并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Multi-Armed Bandits with Correlated Arms
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个多臂强盗框架，其中通过拉动不同的手臂获得的奖励是相关的。我们开发了一个统一的方法来利用这些奖励的相关性，并提出了基本概括的经典强盗算法的相关设置。我们提出了一个统一的证明技术来分析所提出的算法。C-UCB的严格分析（相关的强盗版本的上限置信度）表明，该算法最终拉某些次优的武器，称为非竞争性，只有O（1）倍，而不是O（log T）拉所需的经典强盗算法，如UCB，TS等，我们提出了遗憾的下限，并表明，当武器相关通过一个潜在的随机源，我们的算法获得订单最优后悔。我们通过MovieLens和Goodreads数据集上的实验验证了所提出的算法，并显示出比经典的强盗算法有显着的改进。
2021-09-10 cs.LG stat.ML
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的类型的收购功能，在线决策的多臂和上下文的强盗问题的极端收益。具体而言，我们将收益函数建模为高斯过程，并制定了一种新型的置信上限（UCB）获取函数，该函数根据观察到的奖励的变化性指导对被认为最相关的土匪的探索。这是通过计算一个易于处理的似然比来实现的，该似然比量化了输出相对于输入的重要性，并且本质上充当了促进对极端奖励的探索的\textit{attention mechanism}。我们展示了所提出的方法在几个合成基准的好处，以及一个现实的例子，涉及嘈杂的传感器网络数据。最后，我们提供了一个JAX库，用于使用高斯过程进行有效的bandit优化。
2021-10-08 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University（斯坦福大学）
本文研究了多臂情形下的贝叶斯多臂老虎机问题，发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索，在理论和经验上均优于SS-UCB，能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
A Tight Lower Bound for Non-stochastic Multi-armed Bandits with Expert Advice
Kent State University（凯特州立大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；The Hebrew University（希伯来大学）
本文通过证明与已有上界匹配的下界，确定了带有专家建议的非随机多臂老虎机问题的极小化极大最优期望遗憾为 $Θ(\sqrt{T K \log(N/K)})$。
2025-10-31 cs.LG stat.ML
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样，离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性，这是典型的大规模贝叶斯推断和图形模型，并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系，并提供了三个算法的理论保证。实验结果表明，该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
From Finite to Countable-Armed Bandits
Columbia University（哥伦比亚大学）
我们考虑了一个随机强盗问题，可数许多武器，属于一个有限的类型集，每个特点是一个独特的平均奖励。此外，对各类武器有固定的分配，规定了每一类武器在武器总数中的比例。决策者不知道任何臂的类型和上述类型的分布，但完全知道臂群中出现的类型的总数。我们提出了一个完全自适应的在线学习算法，实现O（log n）的分布依赖的预期累积遗憾后，任何数量的播放n，并表明，这种顺序的遗憾是最好的可能。我们的算法的分析依赖于新发现的浓度和收敛性能的优化为基础的政策，如UCB在有限的武装土匪问题与“零差距”，这可能是独立的利益。
2021-05-22 cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Hawkes Process Multi-armed Bandits for Disaster Search and Rescue
Indiana University - Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
我们提出了一个新的框架整合霍克斯过程与多臂强盗算法来解决时空事件预测和检测问题时，数据可能是欠采样或空间偏差。特别是，我们引入了一个置信上限算法，利用贝叶斯空间霍克斯过程估计平衡利用地理区域的数据收集和探索地理区域的数据是未观察到之间的权衡。我们首先使用模拟数据验证我们的模型，然后使用2017年哈维飓风的服务数据调用将其应用于灾难搜索和救援问题。我们的模型在累积奖励和其他几个排名评估指标方面优于最先进的基线空间MAB算法。
2020-04-03 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan（密歇根大学）
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下，我们提供了一个统一的后悔分析的亚威布尔和有界扰动时，奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2，也有一个匹配的下尾界，和所有有界的支持扰动，有足够的概率质量的极端支持。对于对抗设置，我们证明了严格的障碍，对两个自然的解决方案的方法，使用离散选择理论和极值理论的工具。我们的结果表明，最佳扰动，如果它存在，将是弗雷歇型。
2019-12-10 cs.LG stat.ML
An Optimal Algorithm for Multiplayer Multi-Armed Bandits
KTH, Royal Institute of Technology（瑞典皇家理工学院）
本文讨论了多人多臂强盗（MMAB）问题，其中$M$决策者或玩家合作，以最大限度地提高他们的累积奖励。当多个玩家选择同一只手臂时，会发生碰撞，并且该手臂上不会收集奖励。碰撞中的玩家会被告知此碰撞。我们提出了DPE（分散式吝啬探索），分散式算法，实现了相同的遗憾，通过一个最佳的集中式算法。我们的算法比最先进的算法SIC-MMAB \cite{boursier2019}有更好的后悔保证。在SIC-MMAB中，玩家只能通过冲突进行通信。DPE的另一个重要优点是它需要很少的通信。具体来说，玩家使用碰撞进行通信的预期回合数是有限的。
2019-10-26 cs.LG stat.ML
Indexability of Finite State Restless Multi-Armed Bandit and Rollout Policy
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）
该研究针对有限状态躁动多臂老虎机的无限时域折扣奖励最大化问题，分析单臂模型的可索引性，提出值迭代验证方法，还研究了在线rollout策略，实验表明二者性能均优于短视策略。
2023-04-30 cs.LG cs.SY eess.SY
Multi-Armed Bandits with Censored Consumption of Resources
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑经典多臂强盗问题的资源感知变体：在每一轮中，学习者选择一个手臂并确定资源限制。然后，只要消耗的资源（随机）量保持低于限制，它就会观察到相应的（随机）奖励。否则，观测被删失，即，没有获得任何奖励。对于这个问题的设置，我们引入了一个措施的遗憾，它结合了实际分配的资源，每个学习轮以及最优的可实现的奖励。因此，为了最小化遗憾，学习者需要设置资源限制并以这样的方式选择手臂，即在预定义的资源限制内实现高奖励的机会很高，而资源限制本身应保持尽可能低。我们提出了一个UCB启发的在线学习算法，我们从理论上分析了其遗憾上限。在模拟研究中，我们表明，我们的学习算法优于标准的多臂强盗算法的直接扩展。
2022-10-17 cs.LG stat.ML
Pure Exploration in Infinitely-Armed Bandit Models with Fixed-Confidence
Northeastern University（东北大学）；CNRS & CRIStAL, UMR 9189, Université de Lille（法国国家科学研究中心与里尔大学晶体实验室（UMR 9189））；Inria Lille, SequeL team（法国国家信息与自动化研究所里尔分所序列团队）
我们认为，在固定的信心设置的无限武装土匪问题时，什么都不知道的手臂水库分布的近最佳手臂识别的问题。我们（1）引入了一个类似PAC的框架，在该框架内导出和投射结果;（2）导出了用于近最优手臂识别的样本复杂度下限;（3）提出了一种算法，该算法以高概率识别近最优手臂，并导出其样本复杂度的上限，该上限在我们的下限的对数因子内;和（4）讨论我们的log^2（1/delta）依赖性是否不可避免的“两阶段”（先选择手臂，然后确定最好的）算法在无限设置。这项工作允许应用强盗模型更广泛的一类问题，较少的假设举行。
2018-03-13 cs.LG stat.ML
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Meta；Nvidia Research（英伟达研究院）
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
SIC-MMAB: Synchronisation Involves Communication in Multiplayer Multi-Armed Bandits
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Criteo AI Lab（Criteo人工智能实验室）
受认知无线电网络的启发，我们考虑了随机多人多臂强盗问题，其中几个玩家同时拉动手臂，如果其中一个被几个玩家在同一阶段拉动，则会发生碰撞。我们提出了一个分散的算法，实现了相同的性能作为一个集中的，矛盾的现有的下限为该问题。这是可能的，通过“黑客”的标准模型，通过构建一个通信协议之间的球员，故意强制冲突，使他们能够分享他们的信息在一个可以忽略不计的成本。这促使引入更合适的动态设置而无需感测，其中类似的通信协议不再可能。然而，我们表明，对数增长的遗憾仍然是可以实现的，这个模型与一个新的算法。
2019-11-19 cs.LG stat.ML
Lower Bounds for Multi-armed Bandit with Non-equivalent Multiple Plays
Yandex（扬德克斯）
我们研究了随机多臂强盗问题与非等价多个播放，在每一步，代理选择不仅是一组武器，但他们的顺序，这影响奖励分配。在几个问题的配方与不同的假设，我们提供了标准的渐近$O(\log{t})$，但新的系数，并提供最佳的算法，遗憾的下限，从而证明这些界限不能得到改善。
2015-07-17 cs.LG
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University（卡内基梅隆大学）
我们研究的顺序资源分配问题，决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户（即，资源）。在每一个时间步，决策者应该在不同的资源之间分配其可用的预算，以最大限度地提高预期回报，或等价地减少累积的遗憾。在这样做时，决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如，用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题，离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Non-trivial two-armed partial-monitoring games are bandits
University of Alberta（阿尔伯塔大学）
我们认为在线学习在部分监控游戏对一个健忘的对手。我们表明，当学习者的行动数量是两个和游戏是非平凡的，那么它是一个强盗般的游戏，从而极大极小遗憾是$Θ(\sqrt{T})$。
2011-08-24 cs.LG
Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits
Stern School of Business（斯特恩商学院）；New York University（纽约大学）；Institute for Program Structures and Data Organization（程序结构与数据组织研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Kyoto University（京都大学）
本文提出自适应重置老虎机算法 ADR-bandit，利用自适应窗口技术处理全局非平稳多臂老虎机问题，并在突变与渐变环境中证明其具有近乎最优性能，实验显示其优于现有方法。
2023-10-25 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
