Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria（奥地利科学技术研究所）
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
Practical Calculation of Gittins Indices for Multi-armed Bandits
Lancaster University（兰卡斯特大学）
Gittins指数为经典的多臂强盗问题提供了一个最优解。使用它们的一个障碍是人们普遍认为它们的计算非常困难。本文给出了一种计算多臂强盗Gittins指数的通用方法，并详细研究了Bernoulli和Gaussian报酬的情况。伴随着易于使用的开源软件，这项工作消除了计算在这些常见的设置中使用Gittins索引的障碍。
2019-09-11 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Optimal Activation of Halting Multi-Armed Bandit Models
Rutgers University（罗格斯大学）；University of Southern California（南加州大学）
本文提出 Halting Bandit 动态分配模型，并借此为经典 Gittins 指数分解及一般折旧与承诺情形下的近期多臂老虎机结果提供新证明。
2023-04-20 cs.LG stat.ML
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam（波茨坦大学）
本文研究了在$K$ -武装随机强盗环境下，具有\textit{fixed budget $T$}的\textit{best arm identification}问题，其中武器分布定义在$[0,1]$上.我们证明，任何强盗策略，至少有一个强盗问题的复杂性$H$，将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$，其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法，这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的，因此，目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂，同时最大限度地减少抽样预算。我们设计了一个简单的算法，其采样复杂度匹配已知的实例特定的下界，渐近几乎肯定和预期。该算法依赖于手臂采样规则，该规则跟踪手臂绘制的最佳比例，并且可以像我们希望的那样很少更新，而不会损害其理论保证。此外，与现有的最佳臂识别策略，我们的算法使用的停止规则，不依赖于武器的数量。实验结果表明，我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Trading off rewards and errors in multi-armed bandits
Inria SequeL；CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
2026-10-06 cs.LG stat.ML
A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室）；IMT, Université de Toulouse（图卢兹大学 数学与计算机科学研究所）
本文致力于研究最大K臂强盗问题，该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko（2014）中的ExtremeHunter算法进行了显著的改进，然后提出了一种替代方法，表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析，这两种方法进行了比较，通过数值实验。
2017-07-27 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
From Finite to Countable-Armed Bandits
Columbia University（哥伦比亚大学）
我们考虑了一个随机强盗问题，可数许多武器，属于一个有限的类型集，每个特点是一个独特的平均奖励。此外，对各类武器有固定的分配，规定了每一类武器在武器总数中的比例。决策者不知道任何臂的类型和上述类型的分布，但完全知道臂群中出现的类型的总数。我们提出了一个完全自适应的在线学习算法，实现O（log n）的分布依赖的预期累积遗憾后，任何数量的播放n，并表明，这种顺序的遗憾是最好的可能。我们的算法的分析依赖于新发现的浓度和收敛性能的优化为基础的政策，如UCB在有限的武装土匪问题与“零差距”，这可能是独立的利益。
2021-05-22 cs.LG stat.ML
Pure Exploration in Infinitely-Armed Bandit Models with Fixed-Confidence
Northeastern University（东北大学）；CNRS & CRIStAL, UMR 9189, Université de Lille（法国国家科学研究中心与里尔大学晶体实验室（UMR 9189））；Inria Lille, SequeL team（法国国家信息与自动化研究所里尔分所序列团队）
我们认为，在固定的信心设置的无限武装土匪问题时，什么都不知道的手臂水库分布的近最佳手臂识别的问题。我们（1）引入了一个类似PAC的框架，在该框架内导出和投射结果;（2）导出了用于近最优手臂识别的样本复杂度下限;（3）提出了一种算法，该算法以高概率识别近最优手臂，并导出其样本复杂度的上限，该上限在我们的下限的对数因子内;和（4）讨论我们的log^2（1/delta）依赖性是否不可避免的“两阶段”（先选择手臂，然后确定最好的）算法在无限设置。这项工作允许应用强盗模型更广泛的一类问题，较少的假设举行。
2018-03-13 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University（耶鲁大学）；Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））；Bar-Ilan University（巴伊兰大学）
我们研究的最佳武器识别问题的多武装土匪随机，潜在的私人奖励，当目标是确定在一个固定的，规定的水平与最高分位数的手臂。首先，我们提出了一个（非私有）连续消除算法的严格最优最佳臂识别，我们证明了我们的算法是$δ$ -PAC，我们描述了它的样本复杂度。此外，我们提供了一个下限的预期数量的拉动，表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距，特别是分位数土匪问题，我们表明，当差距接近零，最佳臂识别是不可能的。其次，出于应用程序的奖励是私人的，我们提供了一个差分私人连续消除算法的样本复杂度是有限的，即使是无限的支持大小的分布，我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
University of Oslo（奥斯陆大学）
多臂强盗问题是一个经典的决策问题，其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中，就像在其他机器学习应用中一样，区分系统固有的随机性（任意不确定性）和来自代理有限知识的随机性（认知不确定性）是很重要的。在本文中，我们认为主观逻辑的形式主义，一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见，我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题，我们将它们与文献中的经典算法进行比较，并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明，主观逻辑量，使有用的评估的不确定性，可以利用更精细的代理。
2020-08-17 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Risk-sensitive Bandits: Arm Mixture Optimality and Regret-efficient Algorithms
Google DeepMind（谷歌DeepMind）
本文提出风险敏感赌博机通用框架，揭示最优策略常需混合多个臂而非选择单一臂，并设计遗憾高效算法以准确跟踪最优臂混合或单独臂，实现 $O((\log T/T)^ν)$ 的遗憾界。
2025-03-11 cs.LG stat.ML
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University（斯坦福大学）
本文研究了多臂情形下的贝叶斯多臂老虎机问题，发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索，在理论和经验上均优于SS-UCB，能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
A Novel Confidence-Based Algorithm for Structured Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（脸书人工智能研究院）
我们研究有限武器随机强盗，其中每个武器的奖励可能与其他武器的奖励相关。我们引入了一种新的分阶段算法，利用给定的结构建立真正的强盗问题的参数的置信集，并迅速丢弃所有次优武器。特别是，不像标准的强盗算法，没有结构，我们表明，次优的手臂被选中的次数实际上可能会减少由于通过拉动其他武器收集的信息。此外，我们表明，在某些结构中，我们的算法的任何时候扩展的遗憾是一致有界的时间。对于这些恒定的后悔结构，我们也得到了一个匹配的下限。最后，我们用数值方法证明了我们的方法比现有方法更好地利用了某些结构。
2020-05-23 cs.LG stat.ML
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个变种的最佳武器识别（BAI）问题的多武装匪徒（MAB），其中有两套武器（源和目标），目标是确定最佳的目标手臂，而只拉源武器。在本文中，我们研究的设置时，尽管手段是未知的，有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题，并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法，以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面，这些问题在典型的BAI设置中不会出现，并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Correlated bandits or: How to minimize mean-squared error online
University of Maryland, College Park（马里兰大学帕克分校）；LinkedIn Corp.（领英公司）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
虽然传统的多臂强盗问题的目标是找到具有最高平均值的臂，但在许多设置中，找到最好地捕获关于其他臂的信息的臂是令人感兴趣的。然而，这一目标需要了解潜在的相关结构，而不仅仅是武器的手段。用于工业监控和蜂窝网络监控的传感器放置是一些应用，其中底层相关结构起着重要作用。出于这样的应用程序，我们制定相关的强盗问题，其目标是找到最低的均方误差（MSE）估计的所有武器的武器。为此，我们首先推导出一个MSE估计，基于样本方差和协方差，并表明我们的估计指数集中在真正的MSE。在最佳臂识别框架下，我们提出了一种连续拒绝型算法，并提供了在识别最佳臂时错误概率的界。使用极小极大理论，我们还推导出相关强盗问题的基本性能限制。
2019-06-26 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester（曼彻斯特大学）
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态，而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了，如果学习率是很好的选择，那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
本文提出FCSR算法，用于在分组老虎机中实现固定预算约束下的最佳臂识别，通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Instrument-Armed Bandits
Cornell University（康奈尔大学）
我们扩展了经典的多臂强盗（MAB）模型的设置不遵守，其中的手臂拉是一个纯粹的工具和应用的治疗可能会有所不同，这就产生了仪器武装强盗（IAB）的问题。只要实验单位是人，IAB设置就相关，因为自由意志、伦理和法律可能禁止无限制或强制应用治疗。特别是，该设置是相关的动态临床试验和其他对照试验对人类干预的土匪模型。尽管如此，在强盗文学中并没有充分研究过这种背景。我们发现，有各种各样的和不同的概念，遗憾在这种情况下，所有这些都只在经典的MAB设置相吻合。我们描述这些遗憾的行为，并分析标准的MAB算法。我们认为，一种特殊的遗憾，捕获的因果关系的治疗效果，但标准的MAB算法不能实现次线性控制这种遗憾。相反，我们开发了新的算法IAB问题，证明了新的遗憾的界限，并将它们与标准的MAB算法的数值例子。
2017-05-21 cs.LG stat.ML
Bandit algorithms to emulate human decision making using probabilistic distortions
ABInBev（百威英博）；IIT Madras（印度理工学院马德拉斯分校）；IISc（印度科学理工学院）；University of Maryland（马里兰大学）
本文针对人类决策中的概率失真现象，在K臂和线性赌博机中提出失真感知算法，并证明其在遗憾最小化和最佳臂识别任务中具有阶最优性，最后通过交通路由仿真验证其优势。
2023-10-31 cs.LG stat.ML
Robustness Guarantees for Mode Estimation with an Application to Bandits
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
模式估计是统计学中的经典问题，在机器学习中有着广泛的应用。尽管如此，在可能的对抗性数据污染下，对其鲁棒性的理解很少。在本文中，我们给出了精确的鲁棒性保证以及简单随机化下的隐私保证。然后，我们介绍了一个理论，多武装土匪的价值观是模式的奖励分布，而不是平均值。我们证明遗憾的保证顶臂识别，顶M-武器识别，上下文模态土匪，和无限连续武器顶臂恢复的问题。我们在模拟中表明，我们的算法是强大的扰动的武器对抗性噪声序列，从而呈现模态土匪一个有吸引力的选择的情况下，奖励可能有离群值或对抗腐败。
2020-03-05 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Top-k Combinatorial Bandits with Full-Bandit Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
Top-k组合强盗一般化多武器强盗，其中在每一轮可以选择$n$武器中的任何$k$子集，并且获得奖励的总和。我们解决全强盗反馈，其中代理人只观察奖励的总和，与半强盗反馈，其中代理人也观察个别武器的奖励。我们提出了组合连续接受和拒绝（CSAR）算法，它将SAR（Bubeck et al，2013）推广到top-k组合强盗。我们的主要贡献是一个有效的抽样计划，使用阿达玛矩阵，以准确地估计个人武器的预期回报。我们讨论了两个变种的算法，第一个最大限度地减少样本的复杂性，第二个最小化的遗憾。我们还证明了一个下界的样本复杂性，这是紧的$k=O(1)$。最后，我们进行了实验，并表明我们的算法优于其他方法。
2019-12-04 cs.LG stat.ML
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
2022-03-07 cs.LG stat.ML
Some performance considerations when using multi-armed bandit algorithms in the presence of missing data
MRC Biostatistics Unit, University of Cambridge（剑桥大学MRC生物统计中心）；Institute of Psychiatry, Psychology & Neuroscience, King’s College London（伦敦国王学院精神病学、心理学与神经科学研究所）
在比较多臂强盗算法的性能时，缺失数据的潜在影响往往被忽视。在实践中，它也会影响它们的实现，其中克服这一点的最简单方法是继续根据原始的bandit算法进行采样，忽略丢失的结果。我们调查的性能的影响，这种方法来处理缺失数据的几个强盗算法通过广泛的模拟研究，假设奖励是随机缺失。我们专注于双臂强盗算法与二进制结果的背景下，患者分配的临床试验相对较小的样本量。然而，我们的研究结果适用于其他应用程序的土匪算法的缺失数据预计会发生。我们评估由此产生的经营特征，包括预期回报。考虑了两个臂中不同的缺失概率。我们的工作的关键发现是，当使用忽略缺失数据的最简单的策略时，对多臂强盗策略的预期性能的影响根据这些策略平衡探索-开发权衡的方式而变化。面向探索的算法继续将样本分配给具有更多缺失响应的手臂（其被感知为具有较少观察信息的手臂被算法认为比其他情况更具吸引力）。相比之下，算法是面向开发将迅速分配一个高的值，从武器的样本与当前的高平均值，而不管水平的意见，每arm. Further，算法更侧重于探索，我们说明，失踪的反应，可以减轻使用一个简单的平均值插补方法的问题。
2022-07-07 cs.LG stat.ML
Generalized Translation and Scale Invariant Online Algorithm for Adversarial Multi-Armed Bandits
我们研究了对抗性多臂强盗问题，并创建了一个完全在线的算法框架，该框架在任意平移和手臂损失的尺度下都是不变的。我们研究了我们的算法对一个通用的竞争类，这使得它适用于各种各样的问题场景的预期性能。我们的算法从一个普遍的预测的角度来看，所使用的性能指标是对任意臂选择序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是二阶界的平方损失的总和，其中任何仿射变换的损失没有影响的归一化遗憾。
2021-09-19 cs.LG stat.ML
Reducing Exploration of Dying Arms in Mortal Bandits
MIT（麻省理工学院）；Duke University（杜克大学）
Mortal bandits已被证明在提供新闻文章推荐、运行自动化在线广告活动以及其他可用选项集随时间变化的应用程序中非常有用。以前关于这个问题的研究表明，当新的手臂最近出现时，如何调节它们的探索，但当手臂即将消失时，它们不会适应。由于在大多数应用中，我们可以准确或近似地确定手臂何时消失，我们可以利用这些信息来提高性能：我们不应该探索即将消失的手臂。我们为这项研究提供了算法，遗憾界限和实验的适应性，显示了对即将消失的武器的贪婪（探索/剥削）的明显好处。我们说明了雅虎的数值性能！首页今日模块用户点击日志数据集。
2019-07-04 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
Differential Privacy for Multi-armed Bandits: What Is It and What Is Its Cost?
Chalmers University of Technology（查尔姆斯理工大学）
基于差分隐私（DP）框架，引入并统一了多臂强盗算法的隐私定义。我们用一个统一的图形模型来表示框架，并使用它来连接隐私定义。我们推导出并对比了满足这些定义的强盗算法的遗憾下界。我们利用统一的证明技术来实现所有的下限。我们发现，对于所有这些，学习者的遗憾增加了一个乘法因子依赖于隐私级别$ε$。我们观察到，当我们不需要本地差分隐私的奖励的依赖性较弱。
2020-06-23 cs.LG stat.ML
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们认为最好的武器识别问题，在多武装土匪，纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂，每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架，其中的武器被解雇迭代，直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果，我们开发了一种算法，根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法，表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果，我们的实验表明，非线性算法优于国家的最先进的。我们最后研究的侧观察模型，拉一只手臂揭示了其相关的武器的奖励，我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
