Decoupling Exploration and Exploitation in Multi-Armed Bandits
Technion（以色列理工学院）；Microsoft Research New England（微软新英格兰研究院）
我们考虑一个多臂强盗问题，决策者可以探索和利用不同的武器在每一轮。被利用的手臂增加了决策者的累积奖励（不一定观察奖励），而被探索的手臂揭示了它的价值。我们设计了这种设置的算法，并表明，依赖于武器的数量，k，可以比标准的平方根k依赖，这取决于武器的奖励序列的行为。对于分段平稳随机土匪的重要情况下，我们表现出显着的改善现有的算法。我们的算法是基于一个非均匀的采样政策，我们表明这是必不可少的任何算法在对抗设置的成功。最后，我们展示了一些仿真结果上的超宽带信道选择启发设置表明我们的算法的适用性。
2012-06-30 cs.LG
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Multi-Armed Bandits with Correlated Arms
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个多臂强盗框架，其中通过拉动不同的手臂获得的奖励是相关的。我们开发了一个统一的方法来利用这些奖励的相关性，并提出了基本概括的经典强盗算法的相关设置。我们提出了一个统一的证明技术来分析所提出的算法。C-UCB的严格分析（相关的强盗版本的上限置信度）表明，该算法最终拉某些次优的武器，称为非竞争性，只有O（1）倍，而不是O（log T）拉所需的经典强盗算法，如UCB，TS等，我们提出了遗憾的下限，并表明，当武器相关通过一个潜在的随机源，我们的算法获得订单最优后悔。我们通过MovieLens和Goodreads数据集上的实验验证了所提出的算法，并显示出比经典的强盗算法有显着的改进。
2021-09-10 cs.LG stat.ML
Parametrized Stochastic Multi-armed Bandits with Binary Rewards
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们考虑的问题，多武装土匪与一个大的，可能是无限多的相关武器。我们假设手臂具有伯努利分布的奖励，独立于时间，其中成功的概率由每个手臂的已知属性向量以及未知的偏好向量参数化，每个维度为$n$。对于这个模型，我们寻求一个算法，总遗憾，是次线性的时间和独立的武器数量。我们提出了这样的算法，我们称之为两阶段算法，并分析其性能。我们显示了上界的总遗憾，适用于统一的时间，有限和无限的手臂的情况下。有限臂界的渐近性表明，对于任何$f \in ω(\log(T))$，总遗憾可以是$O(n \cdot f(T))$。在无限臂情况下，总遗憾是$O(\sqrt{n^3 T})$。
2011-11-18 cs.LG
Multi-Player Multi-Armed Bandits with Finite Shareable Resources Arms: Learning Algorithms & Applications
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）
多人多臂强盗（MMAB）研究分散的玩家如何合作玩同一个多臂强盗，以最大化他们的总累积奖励。现有的MMAB模型大多假设当多个玩家拉动同一只手臂时，他们要么发生碰撞并获得零奖励，要么没有碰撞并获得独立奖励，这两种情况在实际场景中通常都过于限制。在本文中，我们提出了一个MMAB与共享资源作为扩展的冲突和非冲突设置。每个可共享的手臂都有有限的可共享资源和一个“每次加载”的奖励随机变量，这两个变量对玩家来说都是未知的。来自可共享手臂的奖励等于“每负载”奖励乘以拉手臂的玩家数量与手臂的最大可共享资源之间的最小值。我们考虑两种类型的反馈：共享需求信息（SDI）和共享需求意识（SDA），每一个提供不同的信号的资源共享。我们分别设计了DPE-SDI和SIC-SDA算法来解决这两种反馈情况下的共享臂问题，并证明了这两种算法都具有对数遗憾，且在轮数上是紧的.我们进行模拟来验证这两种算法的性能，并展示它们在无线网络和边缘计算中的实用性。
2022-04-28 cs.LG
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Skyline Identification in Multi-Armed Bandits
我们介绍了一个变种的经典PAC多臂强盗问题。有一组有序的$n$臂$A[1],\dots,A[n]$，每个臂都有从某个未知的有界分布中抽取的随机奖励。目标是识别集合$A$的$skyline$，集合由所有的臂$A[i]$组成，使得$A[i]$具有比所有编号较低的臂$A[1],\dots,A[i-1]$更大的期望奖励。我们定义了一个自然的概念，一个$\varepsilon$ -近似的天际线，并证明匹配的上限和下限识别$\varepsilon$ -天际线。具体来说，我们表明，为了确定一个$\varepsilon$ -天际线之间的$n$武器概率$1-δ$，$$ Θ\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon δ}\bigg), \log\bigg(\frac{n}δ\bigg) \bigg\} \bigg) $$样本是必要的和足够的。当使用$\varepsilon \gg 1/n$时，我们的结果优于朴素算法，朴素算法提取足够的样本来近似每个手臂的预期奖励;（Auer等人，AISTATS'16）的帕累托最优手臂识别同样被取代。我们的研究结果表明，天际线问题的样本复杂性严格介于最佳手臂识别之间（Even-Dar等人，COLT'02）和接近每只手臂的预期回报。
2018-01-09 cs.LG
PAC Identification of Many Good Arms in Stochastic Multi-Armed Bandits
Indian Institute of Technology Bombay（印度理工学院孟买分校）
研究了在$n$ -武装随机多臂强盗中从最佳$m$武装中识别任意$k$的问题.在PAC设置中，这个特定的问题概括了“最佳子集选择”和"从最佳m个臂中选择一个“的问题[arcsk 2017]。在众包和药物设计等应用中，确定单一的良好解决方案往往是不够的。此外，由于存在许多非常接近的解决方案，找到最佳子集可能很难。我们的概括识别出最好的$m$，其中$1 \leq k \leq m$，作为一个更有效的替代准确$k$武器。我们提出了一般$k$的最坏情况下的样本复杂度的下限，和一个完全顺序的PAC算法，\GLUCB，这是更简单的实例上的样本效率。此外，将我们的分析扩展到无限武装匪徒，我们提出了一种独立于$n$的PAC算法，该算法使用最多与下限相比的加性多对数样本数从最佳$ρ$部分的武器中识别出一个武器，从而改进了[arcsk 2017]和[Aziz+AKA：2018]。从最好的$ρ$分数识别$k > 1$不同的武器的问题并不总是定义良好的，对于这个问题的一个特殊的类，我们提出了下限和上限。最后，通过一个约化，我们建立了无限情况下的“one out of the best $ρ$”问题和有限情况下的“one out of the best $m$”问题的上界之间的关系。我们猜想，这是更有效地解决“小”有限的情况下，使用后者制定，而不是通过前者。
2019-01-24 cs.LG stat.ML
Multi-Armed Bandits with Dependent Arms
Indian Institute of Science（印度科学学院）；Ohio State University（俄亥俄州立大学）；Auburn University（奥本大学）；ECE, Indian Institute of Science（印度科学学院电子与通信工程系）；ECE, Ohio State University（俄亥俄州立大学电子与通信工程系）；ECE, Auburn University（奥本大学电子与通信工程系）
我们研究了经典多臂强盗问题（MABP）的一个变种，我们称之为依赖臂多臂强盗问题。更具体地，多个臂被分组在一起以形成集群，并且属于同一集群的臂的奖励分布是作为集群的特性的未知参数的已知函数。因此，拉动手臂$i$不仅揭示了它自己的奖励分布信息，而且还揭示了与手臂$i$共享同一簇的所有手臂的信息。这种“相关性”之间的武器复杂的探索剥削权衡，是在MABP中遇到的，因为观察的依赖关系，使我们能够同时测试多个假设的最优性arm.We开发学习算法的UCB原则的基础上，适当地利用这些额外的边观察，同时执行探索剥削权衡。我们表明，我们的算法的遗憾增长为$O(K\log T)$，其中$K$是集群的数量。相比之下，对于经典MABP的最佳算法（如vanilla UCB），并且不利用这些依赖关系，遗憾的尺度为$O(M\log T)$，其中$M$是臂数。
2020-10-23 cs.LG math.ST stat.TH
Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms: A Case with Bounded Regret
Bilkent University（比尔肯特大学）
本文研究了具有概率触发臂的组合多臂强盗问题。在假设所有手臂的触发概率（ATPs）都为正的条件下，证明了一类具有探索率$κ$的组合置信上界（CUCB- $κ$）策略和通过Thompson采样估计手臂期望状态的组合Thompson采样（CTS）策略能够实现有界后悔.此外，我们还证明了$0$和CTS会导致$O(\sqrt{T})$间隔独立的后悔。这些结果改进了以前的工作，分别显示$O(\log T)$缺口依赖和$O(\sqrt{T\log T})$缺口独立的遗憾，没有假设的ATP的结果。然后，我们数值评估CUCB- $κ$和CTS在现实世界的电影推荐问题中的性能，其中的动作对应于推荐一组电影，手臂对应于电影和用户之间的边缘，目标是最大化被至少一部电影吸引的用户总数。我们的数值结果补充了我们的理论研究结果有限的遗憾。除了这个问题，我们的研究结果也直接适用于在线影响力最大化（OIM）的问题，在许多以前的作品研究。
2017-07-24 cs.LG stat.ML
Combinatorial Multi-Objective Multi-Armed Bandit Problem
Bilkent University（比尔肯特大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们介绍了组合多目标多臂强盗（COMO-MAB）的问题，抓住了组合和多目标在线学习的挑战，同时。在这种设置中，学习器的目标是每次选择一个动作，其奖励向量是该动作中手臂的奖励向量的线性组合，以学习超级帕累托最优动作的集合，该集合包括帕累托最优动作和在将任意小正数添加到其期望奖励向量之后变为帕累托最优的动作。我们定义了Pareto后悔性能指标，并提出了一个公平的学习算法，其Pareto后悔为$O(N L^3 \log T)$，其中$T$是时间范围，$N$是手臂数，$L$是动作中的最大手臂数.我们表明，COMO-MAB有广泛的应用，包括向用户和网络路由项目的建议束，并专注于多用户通信中存在的多维性能指标的资源分配应用程序，我们表明，我们的算法优于现有的MAB算法。
2018-03-11 cs.LG
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Online Prompt Pricing based on Combinatorial Multi-Armed Bandit and Hierarchical Stackelberg Game
针对提示捆绑交易场景，提出基于CMAB与层级Stackelberg博弈的在线定价机制，实现消费者、平台和卖家三方利润满意，并在模拟文生图数据集上验证有效性。
2025-09-08 cs.AI cs.LG
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University（斯坦福大学）
本文研究了多臂情形下的贝叶斯多臂老虎机问题，发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索，在理论和经验上均优于SS-UCB，能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
Multiple Identifications in Multi-Armed Bandits
Princeton University（普林斯顿大学）
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Generic Outlier Detection in Multi-Armed Bandit
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们研究了多臂强盗环境中的离群臂检测问题，该问题在许多高影响力的领域（如金融，医疗保健和在线广告）中有着广泛的应用。对于这个问题，学习者的目标是确定武器的预期回报显着偏离大多数其他武器。不同于现有的工作，我们的目标是一般的离群臂或离群臂组，其预期奖励可以更大，更小，甚至在正常臂之间。为此，我们首先提供了一个全面的定义，这样的通用离群臂和离群臂组。然后，我们提出了一种新的拉算法命名为黄金来识别这样的通用离群臂。它建立了一个实时的邻域图的基础上的置信上限和捕获的行为模式的离群正常的武器。并从多个方面分析了其性能。在合成和真实世界的数据集上进行的实验中，该算法实现了98%的准确率，同时节省了83%的勘探成本，平均与国家的最先进的技术相比。
2020-07-14 cs.AI cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们认为最好的武器识别问题，在多武装土匪，纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂，每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架，其中的武器被解雇迭代，直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果，我们开发了一种算法，根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法，表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果，我们的实验表明，非线性算法优于国家的最先进的。我们最后研究的侧观察模型，拉一只手臂揭示了其相关的武器的奖励，我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Lower Bounds for Multi-armed Bandit with Non-equivalent Multiple Plays
Yandex（扬德克斯）
我们研究了随机多臂强盗问题与非等价多个播放，在每一步，代理选择不仅是一组武器，但他们的顺序，这影响奖励分配。在几个问题的配方与不同的假设，我们提供了标准的渐近$O(\log{t})$，但新的系数，并提供最佳的算法，遗憾的下限，从而证明这些界限不能得到改善。
2015-07-17 cs.LG
On Kernelized Multi-armed Bandits
Indian Institute of Science（印度科学理工学院）
考虑具有连续臂的随机强盗问题，假设臂上的期望报酬函数是固定的但未知。本文提出了两种基于高斯过程的连续强盗优化算法--改进的GP-UCB算法（IGP-UCB）和GP-Thomson抽样算法（GP-TS），并给出了相应的后悔界。具体而言，当预期的奖励函数属于再生核希尔伯特空间（RKHS）时，边界保持不变，该再生核希尔伯特空间自然对应于算法用作输入的高斯过程核。在此基础上，我们得到了一个新的任意维数（可能是无穷维）的向量值鞅的自归一化浓度不等式。最后，实验评估和比较现有的算法在合成和现实世界的环境中进行，突出了所提出的策略在许多情况下的有利收益。
2017-05-17 cs.LG
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California（南加州大学）
我们考虑的问题，通过自适应采样，$n$选项（武器）具有最大的平均值。我们的目标是确定一个规则，确定一个固定的最低置信度，使用尽可能少的观察，即最好的武器，这是一个固定的信心（FC）最好的武器识别（BAI）在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”（VT）的规则，采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置，并通过早期消除得到改善。我们的分析表明，这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”（PW）算法。数值结果表明，这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
From Finite to Countable-Armed Bandits
Columbia University（哥伦比亚大学）
我们考虑了一个随机强盗问题，可数许多武器，属于一个有限的类型集，每个特点是一个独特的平均奖励。此外，对各类武器有固定的分配，规定了每一类武器在武器总数中的比例。决策者不知道任何臂的类型和上述类型的分布，但完全知道臂群中出现的类型的总数。我们提出了一个完全自适应的在线学习算法，实现O（log n）的分布依赖的预期累积遗憾后，任何数量的播放n，并表明，这种顺序的遗憾是最好的可能。我们的算法的分析依赖于新发现的浓度和收敛性能的优化为基础的政策，如UCB在有限的武装土匪问题与“零差距”，这可能是独立的利益。
2021-05-22 cs.LG stat.ML
Multi-Armed Bandits with Arriving Arms: Sequential Screening, Dynamic Regret, and Sublinear Guarantees
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学姚氏数学科学中心）
针对可用臂随时间扩展的随机多臂老虎机问题，提出基于消除的UCB-AA算法，通过初步筛选新臂并考虑到达信息差异和漂移基准，实现动态遗憾的次线性界。
2026-06-08 cs.LG math.ST stat.ML
The Max $K$-Armed Bandit: A PAC Lower Bound and tighter Algorithms
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑最大$K$武装土匪问题，其中一个学习代理面临着几个来源（武器）的项目（奖励），并有兴趣找到最好的项目整体。在每一个时间步，代理选择一个手臂，并获得一个随机的实值奖励。假设每只手臂的奖励是独立同分布的，具有未知的概率分布，该概率分布通常在臂之间不同。在PAC框架下，我们提供了样本上的任何$(ε,δ)$正确的算法的复杂性的下限，并提出算法，达到这个约束的对数因子。我们比较了这种多臂算法的性能，其中的武器是不能区分的代理，并随机选择在每个阶段的变体。有趣的是，当手臂的最大奖励相似时，后一种方法可能会提供更好的性能。
2015-08-23 cs.AI cs.LG stat.ML
Stochastic Multi-Objective Multi-Armed Bandits: Regret Definition and Algorithm
针对现有多目标多臂老虎机帕累托遗憾指标的局限性，提出新型全面遗憾指标与高效帕累托最优臂概念，并开发出可实现次线性遗憾的两阶段MO-MAB算法。
2025-06-16 cs.DS cs.LG
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Networked Restless Multi-Armed Bandits for Mobile Interventions
Harvard University（哈佛大学）；University of Southern California（南加利福尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
出于广泛的一类移动干预问题，我们提出和研究不安分的多武装土匪（RMABs）与网络效应。在我们的模型中，手臂部分充电并通过图形连接，因此拉动一只手臂也会改善相邻手臂的状态，显着扩展了先前研究的完全充电的设置，没有网络效应。在流动干预措施中，由于经常性的人口流动（例如往返于家和工作地点之间），可能会产生网络效应。我们发现，在RMABs的网络效应诱导强奖励耦合是不占现有的解决方案的方法。我们提出了一个新的解决方案的方法，网络的RMABs，利用自然的假设下产生的干预效果的结构上的属性。我们提供了充分的条件，我们的方法在理想化的设置，并证明它的经验优于最先进的基线在三个移动干预领域使用现实世界的图表。
2022-01-28 cs.LG
Online Interactive Collaborative Filtering Using Multi-Armed Bandit with Dependent Arms
Florida International University（佛罗里达国际大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；St. John’s University（圣约翰大学）
在线交互式推荐系统努力迅速地向消费者建议适当的项目（例如，电影、新闻文章），包括消费者和项目内容信息。然而，这样的上下文信息在实践中通常对于推荐是不可用的，其中仅可以利用用户关于项目的交互数据。此外，交互记录的缺乏，特别是对于新用户和项目，进一步影响了推荐的性能。为了解决这些问题，在在线交互式推荐设置中采用了仅依赖于交互数据的推荐技术之一的协同过滤（CF）以及能够实现开发和探索之间的平衡的在线多臂强盗机制，通过假设独立项目（即，武器）。尽管如此，该假设在现实中很少成立，因为现实世界的项目往往彼此相关（例如，有两篇类似的文章）。在本文中，我们研究在线交互式协同过滤问题，考虑项目之间的依赖关系。我们明确制定的项目依赖性的武器，在一个单一的集群内的武器共享类似的潜在主题的集群。根据主题建模技术，我们提出了一个生成模型，从他们的底层主题生成项目。此外，一个有效的在线算法的基础上粒子学习的推断我们的模型的潜在参数和状态。此外，我们推断的模型可以自然地集成与现有的多臂选择策略在在线互动协作设置。两个现实世界的应用，电影和新闻的在线推荐的实证研究，证明了所提出的方法的有效性和效率。
2017-08-11 cs.IR cs.LG
Multi-Armed Bandits on Partially Revealed Unit Interval Graphs
Cornell University（康奈尔大学）；CCDC Army Research Laboratory（CCDC陆军研究实验室）；Chalmers University（查尔姆斯大学）
研究了一类随机多臂强盗问题，该问题具有不同臂之间相似性和相异性的边信息。问题的动作空间可以用单位区间图（UIG）表示，其中每个节点表示一个手臂，两个节点之间的边的存在（不存在）表明它们的平均奖励之间的相似性（不相似性）。两个设置的完整和部分侧信息的基础上是否UIG是完全揭示的研究和一般的两步学习结构，包括离线减少的动作空间和在线聚合的奖励观察从类似的武器，提出了充分利用的拓扑结构的侧信息。在这两种情况下，所提出的学习策略的计算效率和顺序最优性的动作空间的大小和时间长度的。
2019-08-31 cs.LG
Budgeted Combinatorial Multi-Armed Bandits
我们考虑一个预算的组合多臂土匪设置，在每一轮，该算法选择一个超级手臂组成的一个或多个武器。我们的目标是在有限的预算范围内最大限度地减少所有回合后的总预期遗憾。现有的技术，在这方面的文献要么固定的预算，每轮或固定的数量的武器拉在每轮。我们的设置更一般，基于剩余预算和剩余回合数，算法可以决定每一轮要拉多少只手臂。首先，我们提出了CBwK-Greedy-UCB算法，它使用一个贪婪的技术，CBwK-Greedy，分配的武器轮。接下来，我们提出了一个减少这个问题的背包（BwK）与一个单一的拉。通过这种减少，我们提出了CBwK-LPUCB，巧妙地使用PrimalDualBwK。我们严格证明了CBwK-LP-UCB的遗憾界。我们通过实验比较了这两种算法，并观察到CBwK-Greedy-UCB比CBwK-LP-UCB表现得更好。我们还表明，对于非常高的预算，遗憾归零。
2022-02-13 cs.LG cs.MA
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University（清华大学）
在最佳- $K$识别问题（Best- $K$ -Arm）中，我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度，通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机，并在过去的十年中引起了相当大的关注。在本文中，我们提出了新的实用算法的最佳- $K$ -手臂问题，它具有接近最佳的样本复杂性边界（匹配的下限对数因子），并优于最佳- $K$ -手臂问题（即使是$K=1$）在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Competing for Shareable Arms in Multi-Player Multi-Armed Bandits
Tsinghua University（清华大学）
研究多玩家多臂老虎机中自私智能体竞争可共享资源的问题，提出基于纳什均衡的SMAA算法，理论证明其能保证个体遗憾界并防止恶意偏离，合成实验验证了有效性。
2023-08-04 cs.CY cs.GT cs.LG
A Dimension-free Algorithm for Contextual Continuum-armed Bandits
City University of Hong Kong（香港城市大学）；University of Toronto（多伦多大学）；Fudan University（复旦大学）
在上下文连续体-武装匪徒中，上下文$x$和武器$y$都是连续的，并且从高维空间中提取。学习$f(x,y)$的收益函数没有特定的参数形式。文献表明，对于Lipschitz连续函数，最优后悔是$\tilde{O}(T^{\frac{d_x+d_y+1}{d_x+d_y+2}})$，其中$d_x$和$d_y$是上下文和臂的维度，因此遭受维度灾难。我们开发了一个算法，实现遗憾$\tilde{O}(T^{\frac{d_x+1}{d_x+2}})$时，$f$是全球凹的$y$。在许多应用中，全局最小化是一个常见的假设。该算法是基于随机逼近和在线估计的梯度信息。我们的研究结果产生了一个有价值的见解，灾难的维度的武器可以克服一些温和的结构的支付函数。
2022-10-03 cs.LG stat.ML
Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards
University of Southern California（南加州大学）
在经典的多武器土匪问题中，目标是有一个动态操作武器的策略，每个武器都以未知的方式产生随机奖励。兴趣的关键指标是后悔，定义为无所不知的玩家积累的预期总回报与给定策略积累的预期总回报之间的差距。在以前的工作中提出的政策的存储，计算和遗憾都线性增长的武器，这是不可扩展的武器数量时，是大的。在这项工作中，我们考虑了一个广泛的多武装土匪与依赖武器，产生奖励作为一组未知参数的线性组合。对于这个一般的框架，我们提出了有效的政策，实现遗憾的增长随时间的推移，多项式的未知参数的数量（即使依赖武器的数量可能会呈指数增长）。此外，这些策略只需要在未知参数的数量上线性增长的存储。我们表明，这种推广是广泛适用的，有用的许多有趣的任务，在网络中，可以制定为易于处理的组合最优化问题与线性目标函数，如最大权重匹配，最短路径，和最小生成树计算。
2010-11-22 cs.LG cs.NI math.OC
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University（约翰霍普金斯大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Texas A&M University（德克萨斯农工大学）
针对在线学习中的近因效应，研究单遍滑动窗口流式多臂老虎机问题，提出纯探索和遗憾最小化算法，并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
Pure-Exploration for Infinite-Armed Bandits with General Arm Reservoirs
本文考虑了一个多臂强盗对策，其中的武器数量远大于最大预算，并且实际上是无限的。我们刻画了算法返回概率至少为1 - δ的ε-好臂的总预算的充分必要条件。在这种情况下，样本复杂度取决于ε、δ和所谓的库分布ν，从库分布ν中得出臂的均值iid。虽然大量的文献都是围绕着分析ν的具体情况，比如β分布，但我们的分析并没有对ν的形式做任何假设。我们的算法是基于连续的减半与令人惊讶的例外，手臂开始被丢弃后，只有一个单一的拉，需要一个分析，超越浓度单独。该算法的可证明的正确性也为经验观察提供了解释，即Li et al.（2017）的Hyperband算法中用于超参数调整的最积极的括号几乎总是最好的。
2019-01-13 cs.LG stat.ML
Relative Upper Confidence Bound for the K-Armed Dueling Bandit Problem
University of Amsterdam（阿姆斯特丹大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
本文提出了一种新的方法来解决K-臂决斗强盗问题，这是常规K-臂强盗问题的一种变体，只提供关于臂对的相对反馈。我们的方法扩展了上置信界算法的相对设置，通过使用成对概率的估计来选择一个有前途的手臂，并应用上置信界的赢家作为基准。我们证明了一个有限时间后悔界的顺序为O（log t）。此外，我们的实证结果使用真实数据从信息检索应用程序表明，它大大优于最先进的。
2013-12-17 cs.LG
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Observe Before Play: Multi-armed Bandit with Pre-observations
Carnegie Mellon University（卡内基梅隆大学）
我们考虑随机多臂强盗（MAB）问题的设置，玩家可以支付预先观察手臂奖励之前，在每一轮玩一个手臂。除了在探索新的武器以找到最好的武器和利用被认为提供最高回报的武器之间进行通常的权衡之外，我们还遇到了另一个困境：预先观察更多的武器可以提供更高的机会来发挥最好的武器，但会产生更大的成本。对于单人游戏，我们设计了一个带有Bernoulli奖励的$K$武器的Observe-Before-Play置信度上界（OBP-UCB）算法，并证明了一个$T$回合后悔上界$O(K^2\log T)$ .在多人游戏中，当玩家在同一回合中选择同一只手臂时，会发生碰撞。我们设计了一个集中式算法C-MP-OBP，并证明了对于$M$参与者和$K$参与者，C-MP-OBP算法的$T$轮遗憾相对于离线贪婪策略在$O(\frac{K^4}{M^2}\log T)$中是上界的.我们还提出了分布式版本的C-MP-OBP政策，称为D-MP-OBP和D-MP-Adapt-OBP，实现对数遗憾的无碰撞目标政策。在合成数据和无线信道跟踪上的实验表明，C-MP-OBP和D-MP-OBP的性能优于随机算法和不允许预先观测的离线最优策略。
2019-11-21 cs.LG stat.ML
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界，并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Be Greedy in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎国立统计与经济管理学院经济与统计研究中心）；Criteo AI Lab（Criteo人工智能实验室）
贪心算法是序贯决策问题中最简单的启发式算法，它在每一轮都不经意地采取局部最优选择，无视任何探索和/或信息收集的优势。从理论上讲，它有时表现不佳，例如在标准的多臂强盗问题中甚至是线性后悔（相对于时间范围）。另一方面，这种启发式在实践中表现得相当好，在一些非常特定的线性上下文和贝叶斯强盗模型中，它甚至具有次线性，甚至接近最优的后悔界限。我们建立在最近的工作路线，并调查土匪设置的武器数量相对较大，简单的贪心算法享有很高的竞争力的性能，在理论和实践中。我们首先提供了一个通用的最坏情况下的遗憾的贪心算法。当结合一些武器下采样，我们证明了它验证了近最优的最坏情况下的遗憾界在连续的，无限的和多臂强盗问题。此外，对于较短的时间跨度，贪婪的理论相对次优性甚至降低。因此，我们颠覆性地声称，对于许多有趣的问题和相关的视野，理论保证，实际性能和计算负担之间的最佳折衷肯定是遵循贪婪启发式。我们通过许多数值实验来支持我们的主张，这些实验表明，即使在相当长的时间范围内，与最先进的技术相比，也有显着的改进。
2021-01-04 cs.LG
Strategic Multi-Armed Bandit Problems Under Debt-Free Reporting
CREST, ENSAE（CREST经济与统计研究中心，法国国立统计与经济管理学校）；Criteo AI Lab（Criteo人工智能实验室）；FairPlay joint team（FairPlay联合团队）
研究策略性臂仅部分披露奖励的多臂老虎机问题，提出新机制促使臂诚实披露奖励，使智能体获得第二高真实奖励且累积遗憾受限。
2025-01-27 cs.GT cs.LG
An Asymptotically Optimal Algorithm for Communicating Multiplayer Multi-Armed Bandit Problems
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
考虑了多个局中人的分散随机多臂强盗问题。每个玩家的目标是通过拉动一只手臂来最大化他/她自己的奖励。手臂根据i.i.d.给予奖励。随机伯努利分布玩家不知道武器的概率分布。在每个回合结束时，玩家会告诉他们的邻居他/她拉的手臂和他/她得到的奖励。根据连通性为$α$的Erd{Ign}s-R{é}nyi图确定局中人的邻居.该图在每个转弯的开始处以相同的连通性再现。当多个玩家在一个回合中选择同一只手臂时，我们假设只有一个随机选择的玩家得到奖励，而其他玩家什么也得不到。我们首先假设玩家不知道碰撞模型，并提供了一个渐进的最优算法$α= 1$的情况下。然后，我们扩展了我们以前的工作，并提供了一个渐近最优算法的任何连接，但零，假设球员知道的碰撞模型。我们还研究了$α$的效果，球员之间的沟通程度，经验上的累积后悔，通过比较他们与传统的多臂强盗算法。
2017-12-02 cs.LG
GINO-Q: Learning an Asymptotically Optimal Index Policy for Restless Multi-armed Bandits
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
针对不安分多臂老虎机（RMAB）求解的维度灾难问题，提出三时间尺度随机近似算法GINO-Q，通过分解子问题实现复杂度随臂数线性增长，无需可索引性，在不可索引场景下也能学习近优策略且收敛更快。
2025-08-01 cs.LG
Annealed Softmax Greedy in Many-Armed Bayesian Bandits
Stanford University（斯坦福大学）
本文研究退火Softmax贪婪算法在多臂贝叶斯伯努利老虎机中的贝叶斯遗憾，证明在先验满足线性上尾条件（β=1的β正则性）时，算法达到接近最优的贝叶斯遗憾率，并与RLVR方法形成结构类比。
2026-08-18 cs.AI cs.LG
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们考虑的问题，最好的武器识别在多武装匪徒在固定的信心设置，其中的目标是确定，概率$1-δ$为一些$δ>0$，最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下，对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架，捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式，从另一个手臂的奖励实现。我们提出的算法C-LUCB，它概括了LUCB算法利用这部分知识的相关性，大幅降低样本的复杂性最好的手臂识别。更有趣的是，我们表明，由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$，而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和，该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置，可以与$2$一样小，因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Efficient and Optimal Policy Gradient Algorithm for Corrupted Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对受对抗性污染的随机多臂老虎机问题，提出将策略梯度算法SAMBA应用于该场景，证明其计算高效且遗憾上界更优，仿真验证其性能优于现有基准。
2025-02-19 cs.LG
Sample complexity of partition identification using multi-armed bandits
TIFR（塔塔基础研究院(TIFR)）
给定一个概率分布的向量，或臂，其中每一个都可以被独立地采样，我们考虑从这样的分布向量的一个可分割的宇宙中识别这个向量所属的分区的问题。我们研究这是一个纯粹的探索问题，在多臂强盗设置和开发样本复杂性的上限，确定正确的分区所需的样本的总平均数的高概率。这个框架包含了研究得很好的问题，如找到最好的手臂或最好的几个手臂。我们考虑属于单参数指数族的分布，并主要考虑分区，其中武器的手段是在一个给定的集合或其补充的向量。所考虑的集合对应于存在高于指定阈值的均值的分布，其中集合是半空间，并且其中集合或其补集是多面体，或者更一般地，是凸集。在这些设置中，我们的特点是每个手臂的样本的平均数的下限，突出其依赖于问题的几何形状。此外，受下界的启发，我们提出了算法，可以匹配这些界限渐近减少错误的概率。这个框架的应用可能是多种多样的。我们简单讨论一个与金融有关的问题。
2019-02-05 cs.LG stat.ML
Stochastic Multi-armed Bandits in Constant Space
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑了次线性空间中的随机强盗问题，其中不能记录所有$K$臂的输赢记录。我们给出了一个算法，使用$O(1)$字的空间与遗憾\[ \sum_{i=1}^{K}\frac{1}{Δ_i}\log \frac{Δ_i}Δ\log T \]其中$Δ_i$是最好的手臂和手臂之间的差距$i$和$Δ$是最好的和次好的手臂之间的差距。如果奖励与$0$和$1$有界，则这在没有空间限制的情况下可能的最佳遗憾的$O(\log 1/Δ)$因子内。
2018-05-16 cs.DS cs.LG stat.ML
Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LRI（计算机研究实验室）；Université Paris Sud（巴黎第十一大学）
受能源管理应用的启发，本文提出了多臂风险感知Bandit（MARAB）算法。为了限制风险武器的开发，MARAB将其条件风险值作为武器质量。当用户提供的风险水平为0时，手臂质量趋向于手臂分布密度的本质下确界，并且MARAB趋向于MIN多手臂强盗算法，针对具有最大最小值的手臂。作为第一个贡献，本文提出了一个理论分析的MIN算法在温和的假设下，建立其鲁棒性相比UCB。分析支持广泛的实验验证MIN和MARAB相比，UCB和国家的最先进的风险意识MAB算法对人工和现实世界的问题。
2014-01-06 cs.LG
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech（康奈尔科技学院）
本文针对非参数多臂老虎机中的好臂识别问题，提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法，在错误概率约束下实现最小最大最优停止时间，并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
