Batched Bandits with Heavy-Tailed Rewards
本文提出鲁棒批量老虎机算法，针对重尾奖励设计，在有限臂和Lipschitz连续设定中解决批量多臂老虎机问题，发现重尾奖励在实例无关和Lipschitz设定中需更少批次达到近最优遗憾，而实例依赖设定中批次数与尾重无关。
2026-07-07 cs.LG stat.ML
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题，提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性，实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc（Oath公司）
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者，用户参与和社会份额。在雅虎首页，标题测试是使用测试推出策略进行的：我们首先在定义的测试期内将相等比例的流量分配给每个标题变体，然后将所有未来流量转移到性能最好的变体。在本文中，我们介绍了一个多臂强盗（MAB）的方法与批量汤普森采样（bTS）动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明，bTS方法具有较好的鲁棒性，能够准确快速地收敛到最优标题，在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
Inference for Batched Bandits
Harvard University（哈佛大学）
随着Bandit算法越来越多地用于科学研究和工业应用，对基于所产生的自适应收集数据的可靠推理方法的需求也越来越大。在这项工作中，我们开发的推理方法，在批量收集的数据使用的强盗算法。我们首先证明了普通最小二乘估计（OLS），这是渐近正常的独立采样数据，当不存在唯一的最优臂时，在使用标准bandit算法收集的数据上不渐近正态。这种渐近非正态结果意味着OLS估计量近似正态的天真假设可能导致1型误差膨胀和置信区间低于-名义覆盖概率其次，我们引入了批量OLS估计（BOLS），我们证明了它（1）对从多臂和上下文强盗收集的数据是渐近正态的，（2）对基线奖励的非平稳性是鲁棒的。
2021-01-08 cs.LG stat.ML
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对边际参数未知的批量非参数上下文老虎机，提出遗憾膨胀准则刻画未知性代价，证明最优遗憾膨胀随时间范围多项式增长，开发RoBIN算法实现最优膨胀，并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
Batched Dueling Bandits
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
$K$ -武装决斗强盗问题，其中的反馈是在噪声成对比较的形式，已被广泛研究。以前的工作只集中在顺序设置的政策适应后，每次比较。然而，在诸如搜索排名和推荐系统的许多应用中，优选地在有限数量的并行批次中执行比较。研究了批量$K$ -武装决斗强盗问题在两种标准条件下的解：（i）Condorcet获胜者的存在性，（ii）强随机传递性和随机三角不等式.对于这两种设置，我们获得的算法与批次和遗憾的数量之间的平滑权衡。我们的遗憾边界匹配最知名的顺序遗憾边界（多对数因子），只使用对数数量的批次。我们用一个几乎匹配的下限来补充我们的遗憾分析。最后，我们还验证了我们的理论结果，通过实验的合成和真实数据。
2022-02-22 cs.LG stat.ML
Bounded regret in stochastic multi-armed bandits
Princeton University（普林斯顿大学）；Université Paris Diderot（巴黎狄德罗大学）
当已知最优臂的值$μ^{(\star)}$以及最小正间隙$Δ$的正下界时，研究了随机多臂强盗问题.我们提出了一个新的随机化策略，在这种情况下，达到遗憾{ \em一致有界的时间}。我们还证明了几个下界，特别是有界后悔是不可能的，如果一个人只知道$Δ$，和有界后悔$1/Δ$是不可能的，如果一个人只知道$μ^{(\star)}$
2013-02-12 cs.LG math.ST stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题，传统的多臂土匪问题，其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上，其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序，如网络搜索排名和推荐系统，其中执行顺序更新可能是不可行的。在这项工作中，我们要求：$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$，这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔，其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后，在各种现实世界的数据集的计算实验中，我们观察到，我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法（使用$T$轮）。
2022-09-25 cs.LG stat.ML
Batched Neural Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）；Google Research NYC（谷歌研究院纽约分部）
在许多序贯决策问题中，个体被分成若干批，决策者只允许在批的末尾改变策略。这些批量问题有大量的应用，从临床试验到众包。受此启发，我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法，该算法结合了神经网络与乐观，以解决探索-开发权衡，同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB，并证明它实现了与完全顺序版本相同的遗憾，同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
Polynomial Cost of Adaptation for X -Armed Bandits
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎南大学）
在随机连续武装匪徒的背景下，我们提出了一种算法，适应未知的光滑的目标函数。我们展示和计算的多项式成本的适应H{<$}lder正则性的遗憾最小化。为此，我们首先重新考虑了Locatelli和Carpentier [20]最近的下界，并定义和刻画了容许率函数。我们的新算法匹配任何这些最小速率函数。我们提供了一个有限时间的分析和彻底的讨论渐近最优性。
2019-12-09 cs.LG math.ST stat.ML
Generalised correlated batched bandits via the ARC algorithm with application to dynamic pricing
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
渐近随机控制（ARC）算法提供了一个严格的近似的最优策略，为广泛的一类贝叶斯土匪，同时保持低的计算复杂性。特别是，ARC方法提供了接近最优的选择，即使当回报是相关的或超过回报的观察。该算法保证渐近优化预期的折扣收益，误差取决于初始的不确定性的强盗。在本文中，我们扩展了ARC框架，考虑一个批量强盗问题的观察到达一个广义线性模型。特别是，我们开发了一个大样本近似，允许相关的和一般分布的观察。我们将其应用到一个经典的动态定价问题的基础上的贝叶斯分层模型，并证明ARC算法优于其他方法。
2022-10-12 cs.CE cs.LG econ.GN
Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）
我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。
2016-05-27 cs.LG math.ST stat.ML
The multi-armed bandit problem with covariates
Université Paris Diderot（巴黎第七大学）；Princeton University（普林斯顿大学）
我们考虑一个多臂强盗问题的设置，每个手臂产生一个嘈杂的奖励实现依赖于一个可观察的随机协变量。与传统的静态多臂强盗问题相反，这种设置允许动态改变奖励，从而更好地描述边信息可用的应用。我们采用了一个非参数模型，其中预期的回报是协变量的光滑函数，并且问题的难度由保证金参数捕获。为了最大限度地提高预期的累积奖励，我们引入了一个政策，称为自适应装箱逐次淘汰（abse），自适应分解成适当的“本地化”的静态强盗问题的全球性问题。该策略使用连续消除（SE）策略的变体来构造自适应分区。我们的结果包括更清晰的遗憾界的se政策在一个静态的强盗问题和minimax最优遗憾界的abse政策在动态的问题。
2013-05-24 cs.LG math.ST stat.ML
Transfer Learning for Contextual Multi-armed Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对协变量偏移下的非参数上下文多臂老虎机，本文提出达到极小极大遗憾的迁移学习算法，并给出可自适应未知平滑度的近最优数据驱动方法。
2024-01-25 cs.LG math.ST stat.ML
Reconciling Risk Allocation and Prevalence Estimation in Public Health Using Batched Bandits
Stanford University（斯坦福大学）
在许多公共卫生环境中，在向已知的脆弱地区分配资源与了解这一问题的总体普遍性之间存在着明显的紧张关系。受我们帮助设计的一个挨家挨户的新冠病毒检测项目的启发，我们将多臂强盗策略和抽样理论的见解结合起来，演示如何在继续向风险地区分配资源的同时恢复准确的流行率估计。我们以传染病的爆发为例。公共卫生环境有几个特点，使其有别于典型的强盗环境，如分布偏移（真实的疾病流行率随时间而变化）和分批抽样（必须同时作出多项决定）。尽管如此，我们证明了几个强盗算法能够超越贪婪的资源分配策略，这往往比随机分配，因为他们没有注意到在新的领域爆发。
2021-10-25 cs.LG
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Batched Stochastic Bandit for Nondegenerate Functions
本文针对非退化函数提出几何收窄（GN）算法，以 $\mathcal{O}(\log \log T)$ 个批次实现 $\widetilde{\mathcal{O}}(A_{+}^d \sqrt{T})$ 量级遗憾，并通过下界分析证明其在遗憾和通信轮数上均近最优。
2025-04-08 cs.LG stat.ML
Practical Calculation of Gittins Indices for Multi-armed Bandits
Lancaster University（兰卡斯特大学）
Gittins指数为经典的多臂强盗问题提供了一个最优解。使用它们的一个障碍是人们普遍认为它们的计算非常困难。本文给出了一种计算多臂强盗Gittins指数的通用方法，并详细研究了Bernoulli和Gaussian报酬的情况。伴随着易于使用的开源软件，这项工作消除了计算在这些常见的设置中使用Gittins索引的障碍。
2019-09-11 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
PAC-Bayesian aggregation and multi-armed bandits
本文对以下几个方面做出了贡献：（1）统计学习的PAC-Bayesian分析，（2）三个聚集问题：给定d函数，如何预测以及（i）这些d函数中的最佳函数（模型选择类型聚合），（ii）这些d函数的最佳凸组合，（iii）这些d函数的最佳线性组合，（3）多臂强盗问题。
2010-11-15 math.ST stat.TH
Optimal Activation of Halting Multi-Armed Bandit Models
Rutgers University（罗格斯大学）；University of Southern California（南加州大学）
本文提出 Halting Bandit 动态分配模型，并借此为经典 Gittins 指数分解及一般折旧与承诺情形下的近期多臂老虎机结果提供新证明。
2023-04-20 cs.LG stat.ML
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria（奥地利科学技术研究所）
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
Multiple Identifications in Multi-Armed Bandits
Princeton University（普林斯顿大学）
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
A Survey on Contextual Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在这个调查中，我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
2016-02-01 cs.LG
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Continuum-Armed Bandits: A Function Space Perspective
Carnegie Mellon University（卡内基梅隆大学）
连续武装匪徒（又名，黑盒或$0^{th}$阶优化）涉及在给定在查询点处评估函数的oracle的情况下优化未知目标函数，其目标是使用尽可能少的查询点。在最好的研究情况下，目标函数被假定为Lipschitz连续和minimax率的简单和累积的遗憾是已知的，在无噪声和嘈杂的设置。本文研究了目标函数在更一般的光滑性条件即Besov光滑性条件下的连续武装土匪问题。在无噪声和有噪声的条件下，我们得到了简单的和累积的遗憾下的极大极小率。我们的结果表明，极小极大率在目标函数的Besov空间是相同的极小极大率在最小的Hölder空间的Besov空间嵌入的目标函数。
2021-03-21 cs.IT cs.LG math.IT
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室）；IMT, Université de Toulouse（图卢兹大学 数学与计算机科学研究所）
本文致力于研究最大K臂强盗问题，该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko（2014）中的ExtremeHunter算法进行了显著的改进，然后提出了一种替代方法，表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析，这两种方法进行了比较，通过数值实验。
2017-07-27 cs.LG stat.ML
A Finite-Time Analysis of Multi-armed Bandits Problems with Kullback-Leibler Divergences
我们考虑一个基于Kullback-Leibler算法的随机多臂强盗问题的情况下，分布有限的支持（不一定事先知道），其渐近遗憾匹配的下界\cite{Burnetas96}。我们的贡献是提供一个有限时间分析这个算法，我们得到的界限，其主要条款是小于以前已知的算法与有限时间分析（如UCB型算法）。
2011-05-29 math.ST stat.TH
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对在线决策者行为演化历史带来的模仿学习挑战，提出逆批量上下文老虎机（IBCB）框架，将其转化为二次规划问题以高效估计奖励参数和策略，在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
University of Oslo（奥斯陆大学）
多臂强盗问题是一个经典的决策问题，其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中，就像在其他机器学习应用中一样，区分系统固有的随机性（任意不确定性）和来自代理有限知识的随机性（认知不确定性）是很重要的。在本文中，我们认为主观逻辑的形式主义，一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见，我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题，我们将它们与文献中的经典算法进行比较，并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明，主观逻辑量，使有用的评估的不确定性，可以利用更精细的代理。
2020-08-17 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
The Multi-Armed Bandit Problem: An Efficient Non-Parametric Solution
Lai和Robbins（1985）和Lai（1987）为多臂强盗问题提供了有效的参数解，表明通过置信上限（UCB）进行的臂分配实现了最小遗憾。这些界限是从报酬分布的Kullback-Leibler信息构造的，从指定的参数族估计。近年来，由于机器学习算法和数据分析的新应用，人们对多臂强盗问题重新产生了兴趣。研究了非参数手臂分配程序，如$ε$ -greedy、Boltzmann exploration和BESA，并在非参数设置下分析了UCB程序的修改版本。然而，与UCB不同，这些非参数程序在一般参数设置下效率不高。在本文中，我们提出了有效的非参数程序。
2019-01-16 math.ST stat.TH
Lipschitz Bandits with Batched Feedback
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；School of Data Science, Fudan University（复旦大学大数据学院）
本文提出BLiN算法解决批量反馈下的Lipschitz赌博机问题，仅用O(log log T)个批次即达到理论最优遗憾率。
2023-10-30 cs.LG
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Trading off rewards and errors in multi-armed bandits
Inria SequeL；CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
2026-10-06 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Batched Bandits with Crowd Externalities
Microsoft Research（微软研究院）；Sorbonne Université（索邦大学）；Orange Labs（法国电信实验室）
在批量多武装土匪（BMAB）中，不允许在每个时间步更新策略。通常，该设置断言允许的策略更新的最大数量，并且算法调度它们，以便最小化预期的遗憾。在本文中，我们描述了一种新的设置BMAB，具有以下扭曲：的政策更新的时间是不控制的BMAB算法，而是在每批接收的数据量，称为\textit{crowd}，是受过去的选择武器。我们首先设计一个近似的最优策略的参数，我们证明有一个遗憾的$\mathcal{O}(\sqrt{\frac{\ln x}{x}}+ε)$，其中$x$是人群的大小和$ε$是参数误差的近似知识。接下来，我们实现了一个UCB启发的算法，保证额外的遗憾在$\mathcal{O}\left(\max(K\ln T,\sqrt{T\ln T})\right)$，其中$K$是武器的数量和$T$是地平线。
2021-09-29 cs.AI cs.LG
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
2022-03-07 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Multi-Armed Bandit Problem and Batch UCB Rule
在收益服从高斯分布的多臂强盗问题中，得到了策略的损失函数的上界。考虑策略是J.Bather提出的多臂强盗问题策略的一个渐近推广，采用UCB规则，即选择一步收益期望值当前估计的置信区间上界最大值所对应的行动。结果得到的帮助下，在封闭分布的域中的单位地平线上的控制不变的描述，因为只有在那里的损失函数达到其最大值。UCB规则在机器学习中有着广泛的应用。它也可以用于批量数据处理优化，如果有两个可选的处理方法具有不同的先验未知的效率。
2019-02-01 math.ST stat.TH
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
