Combinatorial semi-bandit with known covariance
Université Paris Diderot（巴黎狄德罗大学）；ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；Criteo Research（Criteo研究院）
组合随机半强盗问题是经典多臂强盗问题的一种扩展，在该问题中，算法在每个阶段拉动多个臂，并且揭示了所有被拉动臂的回报。与单臂变体的一个区别是臂的依赖性结构是至关重要的。以前的作品在这种情况下，要么使用最坏的情况下的方法或强加的武器的独立性。我们引入了一种方法来量化的依赖结构的问题，并设计了一个算法，适应it.The算法是基于线性回归和分析开发技术的线性土匪文学。通过比较其性能的一个新的下限，我们证明了它是最佳的，一个多对数因子的数量拉臂。
2016-12-06 cs.LG
Combinatorial Multi-Armed Bandit and Its Extension to Probabilistically Triggered Arms
Microsoft（微软）；Cornell University（康奈尔大学）；Tsinghua University（清华大学）
我们定义了一个一般框架的一大类组合多臂强盗（CMAB）问题，其中的子集的基础武器与未知的分布形式的超级武器。在每一轮中，使用超级手臂，并使用超级手臂中包含的基础手臂，并观察其结果。我们进一步考虑了扩展，其中基于已经触发的武器的结果，更多的武器可能被概率触发。超级手臂的奖励取决于所有参与手臂的结果，并且它只需要满足两个温和的假设，这允许大量的非线性奖励实例。我们假设一个离线的（α，β）-近似预言机的可用性，该预言机采用武器的结果分布的平均值，并输出一个超级武器，该超级武器以概率β生成最优预期奖励的α分数。CMAB的在线学习算法的目标是最小化（α，β）-近似后悔，其是总是玩最佳超级武器时的期望奖励的α β分数与根据算法玩超级武器的期望奖励之间的差。我们提供CUCB算法，实现O（log n）分布相关的遗憾，其中n是轮数，我们进一步提供了一个大类的奖励函数的分布无关的界限。我们的遗憾分析是紧密的，因为它匹配的UCB1算法的约束（一个常数因子）的经典MAB问题，它显着提高了遗憾界在早期的文件组合土匪与线性奖励。我们将我们的CMAB框架应用到两个新的应用程序，概率最大覆盖率和社会影响力最大化，都具有非线性奖励结构。特别是，社会影响力最大化的应用需要我们对概率触发武器的扩展。
2016-03-29 cs.LG
Adapting Bandit Algorithms for Settings with Sequentially Available Arms
Politecnico di Milano（米兰理工大学）
虽然经典版本的多武装匪徒（MAB）框架已成功地应用于几个实际问题，在许多现实世界的应用中，可能的行动并没有同时呈现给学习者，如在互联网运动管理和环境监测设置。相反，在这样的应用程序中，一组选项在一段时间内顺序地呈现给学习者，并且这个过程在整个时间范围内重复。每次，学习者都会被问到是否选择建议的选项。我们将此场景定义为顺序拉/无拉强盗设置，我们提出了一个元算法，即顺序拉/无拉MAB（Seq），以适应任何经典的MAB政策，以更好地适应这种设置的遗憾最小化和最佳手臂识别问题。通过允许在一轮内选择多个手臂，所提出的元算法收集更多的信息，特别是在第一轮中，其特征在于手臂估计值的高度不确定性。与此同时，适应算法提供了与所采用的经典策略相同的理论保证。Seq元算法在广告和环境监测应用的合成和真实数据集上进行了广泛的测试，并与经典的MAB策略进行了比较，突出了其良好的经验表现。
2021-09-30 cs.LG
Meet Me at the Arm: The Cooperative Multi-Armed Bandits Problem with Shareable Arms
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（布罗德研究所）
本文研究了在无感知设置下多玩家多臂老虎机问题，提出A-CAPELLA算法，通过协议驱动协调实现对容量的感知，达到对数遗憾水平。
2026-03-29 cs.LG
Clus-UCB: A Near-Optimal Algorithm for Clustered Bandits
Department of Electrical Engineering（电子工程系）；Indian Institute Of Technology Bombay（孟买印度理工学院）
本文针对已知聚类结构的多臂老虎机问题，提出Clus-UCB算法，通过聚类内信息共享实现渐近近最优的遗憾性能，并通过仿真验证其优于KL-UCB等现有算法。
2025-08-19 cs.LG
Graph Feedback Bandits with Similar Arms
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对相似臂构成图反馈的随机多臂老虎机，论文证明遗憾下界，提出D-UCB与C-UCB，并分析臂数增长及随机均值情形下的次线性遗憾。
2024-05-18 cs.LG
Multi-Armed Bandits with Correlated Arms
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个多臂强盗框架，其中通过拉动不同的手臂获得的奖励是相关的。我们开发了一个统一的方法来利用这些奖励的相关性，并提出了基本概括的经典强盗算法的相关设置。我们提出了一个统一的证明技术来分析所提出的算法。C-UCB的严格分析（相关的强盗版本的上限置信度）表明，该算法最终拉某些次优的武器，称为非竞争性，只有O（1）倍，而不是O（log T）拉所需的经典强盗算法，如UCB，TS等，我们提出了遗憾的下限，并表明，当武器相关通过一个潜在的随机源，我们的算法获得订单最优后悔。我们通过MovieLens和Goodreads数据集上的实验验证了所提出的算法，并显示出比经典的强盗算法有显着的改进。
2021-09-10 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Linearly Parameterized Bandits
Cornell University（康奈尔大学）；MIT（麻省理工学院）
我们考虑强盗问题，涉及一个大的（可能是无限的）收集的武器，其中每个手臂的预期回报是一个线性函数的$r$ -维随机向量$\mathbf{Z} \in \mathbb{R}^r$，其中$r \geq 2$。目标是最小化累积后悔和贝叶斯风险。当一组武器对应的单位球，我们证明了遗憾和贝叶斯风险是为了$Θ(r \sqrt{T})$，通过建立一个任意的政策的下限，并显示匹配的上限是通过一个政策，探索和开发阶段之间的交替。基于相位的政策也被证明是有效的，如果一组武器满足一个强凸性条件。对于一般的武器集的情况下，我们描述了一个接近最优的政策，其遗憾和贝叶斯风险承认的形式$O(r \sqrt{T} \log^{3/2} T)$的上界。
2010-02-24 cs.LG
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
Global Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Bilkent University（比尔肯特大学）
多武装土匪（MAB）模型的顺序决策问题，其中学习者顺序选择武器未知的奖励分布，以最大限度地提高其累积奖励。大多数关于MAB的先前工作假设每个臂的奖励分布是独立的。但在各种各样的决策问题中--从药物剂量到动态定价--不同手臂的预期回报是相关的，因此选择一个手臂也提供了其他手臂预期回报的信息。我们提出并分析了一类决策问题的模型，我们称之为{ \em全球土匪}。在所有武器的奖励是一个单一的未知参数的确定性函数的情况下，我们构建了一个贪婪的政策，实现{ \em有界遗憾}，与一个边界，取决于该问题的单个真参数。因此，该策略仅以概率1选择次优武器200次。对于这种情况下，我们也得到了一个约束的遗憾，是{ \em独立的真实参数};这个界是次线性的，指数取决于信息的武器。我们还提出了一个贪婪的政策，实现$\tilde{\mathcal{O}}(\sqrt{T})$最坏情况下和$\mathcal{O}(1)$参数相关的遗憾的变体。最后，我们进行实验动态定价，并表明所提出的算法实现了显着的收益相对于著名的基准。
2018-03-21 cs.LG
Reducing Exploration of Dying Arms in Mortal Bandits
MIT（麻省理工学院）；Duke University（杜克大学）
Mortal bandits已被证明在提供新闻文章推荐、运行自动化在线广告活动以及其他可用选项集随时间变化的应用程序中非常有用。以前关于这个问题的研究表明，当新的手臂最近出现时，如何调节它们的探索，但当手臂即将消失时，它们不会适应。由于在大多数应用中，我们可以准确或近似地确定手臂何时消失，我们可以利用这些信息来提高性能：我们不应该探索即将消失的手臂。我们为这项研究提供了算法，遗憾界限和实验的适应性，显示了对即将消失的武器的贪婪（探索/剥削）的明显好处。我们说明了雅虎的数值性能！首页今日模块用户点击日志数据集。
2019-07-04 cs.LG stat.ML
Information-Gathering in Latent Bandits
Center for Applied Intelligent Systems Research（应用智能系统研究中心）；Halmstad University（哈尔姆斯塔德大学）
在潜在的强盗问题中，学习者可以获得奖励分布和-对于非平稳变量-环境的过渡模型。奖励分布是以手臂和未知的潜在状态为条件的。我们的目标是使用奖励历史来识别潜在状态，从而为未来的武器选择提供最佳选择。潜在的强盗设置适合于许多实际应用，如推荐和决策支持系统，其中丰富的数据允许离线估计环境模型，在线学习仍然是一个关键组成部分。在这种情况下，以前的解决方案总是根据智能体对状态的信念来选择最高奖励臂，而不是明确考虑信息收集臂的价值。这种信息收集臂不一定提供最高奖励，因此可能永远不会被始终选择最高奖励臂的代理选择。在本文中，我们提出了一种方法，在潜在的土匪信息收集。鉴于特定的奖励结构和过渡矩阵，我们表明，选择最好的手臂代理的信念，国家招致更高的遗憾。此外，我们表明，通过仔细选择武器，我们得到了一个改进的估计状态分布，从而降低了累积遗憾，通过更好的武器选择在未来。我们在合成和真实世界的数据集上评估了我们的方法，结果表明，与最先进的方法相比，遗憾有了显着的改善。
2022-07-08 cs.LG
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Meta；Nvidia Research（英伟达研究院）
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
Combinatorial Semi-Bandits with Knapsacks
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research NYC（微软研究院纽约市）
我们统一了两个突出的多武装土匪工作线：背包土匪（BwK）和组合半土匪。前者涉及算法消耗的有限“资源”，例如，动态定价中的有限供给。后者允许大量的行动，但假设组合结构和额外的反馈，使问题易于处理。我们定义了一个通用的推广，用几个有启发性的例子来支持它，并设计了一个算法。我们的遗憾界与BwK和组合半强盗的遗憾界相当。
2018-02-20 cs.LG
Best-Arm Identification in Linear Bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；Microsoft Research New-England（微软新英格兰研究院）；Google DeepMind（谷歌DeepMind）
研究了线性强盗中的最佳臂识别问题，其中各臂的报酬线性依赖于一个未知参数$θ^*$，目标是返回具有最大报酬的臂.我们描述了问题的复杂性，并引入了样本分配策略，拉臂，以确定最佳的手臂与固定的信心，同时最大限度地减少样本预算。特别是，我们利用全球的线性结构，以提高近最佳武器的奖励估计的重要性。我们分析了所提出的策略，并比较其实证表现。最后，作为我们分析的副产品，我们指出了连接到最优实验设计中使用的$G$ -最优性准则。
2014-11-04 cs.LG
Decoupling Exploration and Exploitation in Multi-Armed Bandits
Technion（以色列理工学院）；Microsoft Research New England（微软新英格兰研究院）
我们考虑一个多臂强盗问题，决策者可以探索和利用不同的武器在每一轮。被利用的手臂增加了决策者的累积奖励（不一定观察奖励），而被探索的手臂揭示了它的价值。我们设计了这种设置的算法，并表明，依赖于武器的数量，k，可以比标准的平方根k依赖，这取决于武器的奖励序列的行为。对于分段平稳随机土匪的重要情况下，我们表现出显着的改善现有的算法。我们的算法是基于一个非均匀的采样政策，我们表明这是必不可少的任何算法在对抗设置的成功。最后，我们展示了一些仿真结果上的超宽带信道选择启发设置表明我们的算法的适用性。
2012-06-30 cs.LG
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Replicable Bandits
Google Research（谷歌研究院）；National Technical University of Athens（雅典国立技术大学）；Yale University（耶鲁大学）；ETH Zurich（苏黎世联邦理工学院）
在本文中，我们介绍了可复制的政策的概念的背景下，随机土匪，在互动学习的典型问题之一。在强盗环境中的策略被称为可复制的，如果它以高概率在两个不同且独立的执行中拉动完全相同的手臂序列（即，在独立的奖励实现下）。我们发现，不仅存在可复制的政策，而且他们实现了几乎相同的最佳（不可复制）的遗憾界限的时间范围。更具体地说，在随机多武装土匪设置，我们开发了一个最佳的问题相关的遗憾界的依赖于可复制性参数也是最佳的政策。类似地，对于随机线性土匪（有无穷多个武器），我们开发了可复制的政策，实现了最著名的问题独立的遗憾界限与最佳的依赖于可复制性参数。我们的研究结果表明，尽管随机化对于探索-利用权衡至关重要，但在两轮不同的执行中拉动完全相同的手臂时，仍然可以实现最佳平衡。
2023-02-14 cs.LG
Blessings of Multiple Good Arms in Multi-Objective Linear Bandits
Seoul National University（首尔大学）
本文提出在多目标线性老虎机中利用多个良好臂带来的隐含探索优势，通过理论和实验验证了简单贪婪算法的有效性，并引入了帕累托公平性框架。
2026-02-13 cs.LG stat.ML
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
On the Low-Complexity of Fair Learning for Combinatorial Multi-Armed Bandit
Pennsylvania State University（宾夕法尼亚州立大学）；Virginia Tech（弗吉尼亚理工大学）；Nokia Corporation（诺基亚公司）
针对带公平约束的组合多臂老虎机中悲观-乐观算法因超级臂指数增长导致计算复杂度过高的问题，提出基于pick-and-compare方法的低复杂度算法，将比较步数降为常数，仅轻微牺牲公平性和遗憾值性能，并通过仿真验证。
2025-01-10 cs.LG
Hybrid Combinatorial Multi-armed Bandits with Probabilistically Triggered Arms
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）
本文提出混合概率触发组合多臂老虎机框架，结合离线数据与在线交互，通过混合CUCB算法提升探索效率并纠正数据偏差，实验证明其在高质量和低质量数据下的优越性能。
2025-12-26 cs.LG
Exploring $k$ out of Top $ρ$ Fraction of Arms in Stochastic Bandits
Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）
本文研究了在顶部$ρ$级分中识别任何$k$不同臂的问题（例如，前5\%）的臂，其来自具有可能近似正确（PAC）容差$ε$的有限或无限集合。我们考虑两种情况：（i）当最高武器的预期回报的阈值是已知的，（ii）当它是未知的。我们证明了四个变量（有限或无限的武器，和已知或未知的阈值）的下限，并提出算法。这些算法中的两个被证明是样本复杂性最佳（常数因子），另外两个是最佳的对数因子。本文的结果提供了高达$ρn/k$减少相比，“$k$探索”算法，重点是找到（PAC）最好的$k$武器的$n$武器。我们还在数字上显示了对最先进技术的改进。
2020-11-19 cs.LG stat.ML
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
The Combinatorial Multi-Bandit Problem and its Application to Energy Management
NEC Laboratories Europe（NEC欧洲实验室）
我们研究了一个在能源系统管理中应用的组合多强盗问题。给定具有未知结果分布的多个概率多臂强盗，任务是优化将个体强盗结果的向量映射到单个标量奖励的组合目标函数的值。与具有多维动作空间的单强盗问题不同，在我们的设置中，单个强盗的结果是可观察的，并且目标函数是已知的。指导下的假设，个人的可观察性，使更好的权衡之间的探索和利用，我们概括了较低的遗憾界为单一的土匪，事实上，对于多个土匪，它承认并行化的探索。对于我们的能源管理应用程序，我们提出了一系列的算法，结合探索多臂土匪与数学规划的原则。在一项实验研究中，我们证明了我们的方法的有效性，学习行动分配150土匪，每个有24个行动，在365集的地平线。
2020-11-04 cs.LG
Decoy Bandits Dueling on a Poset
CMLA, ENS Cachan, CNRS（法国国家科学研究中心卡尚高等师范学院CMLA实验室）；Paris Saclay University（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）
本文讨论了定义在偏序集上的强盗决斗问题。在这种情况下，臂可能不具有可比性，并且可能存在几个（不可比的）最佳臂。我们提出了一个算法，UnchainedBandits，有效地找到一组最佳武器的任何偏序集，即使对可比的武器不能区分从对不可比的武器，一组最小的假设。该算法依赖于诱饵的概念，这源于社会心理学。对于更容易的情况下，不可比性的信息可能是可访问的，我们提出了第二个算法，切片Bandits，它利用这些信息，并实现了非常显着的性能增益相比UnchainedBandits。我们为这两种算法提供了理论保证和实验评估。
2016-06-09 cs.AI cs.LG
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Parametrized Stochastic Multi-armed Bandits with Binary Rewards
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们考虑的问题，多武装土匪与一个大的，可能是无限多的相关武器。我们假设手臂具有伯努利分布的奖励，独立于时间，其中成功的概率由每个手臂的已知属性向量以及未知的偏好向量参数化，每个维度为$n$。对于这个模型，我们寻求一个算法，总遗憾，是次线性的时间和独立的武器数量。我们提出了这样的算法，我们称之为两阶段算法，并分析其性能。我们显示了上界的总遗憾，适用于统一的时间，有限和无限的手臂的情况下。有限臂界的渐近性表明，对于任何$f \in ω(\log(T))$，总遗憾可以是$O(n \cdot f(T))$。在无限臂情况下，总遗憾是$O(\sqrt{n^3 T})$。
2011-11-18 cs.LG
Multi-Player Multi-Armed Bandits with Finite Shareable Resources Arms: Learning Algorithms & Applications
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）
多人多臂强盗（MMAB）研究分散的玩家如何合作玩同一个多臂强盗，以最大化他们的总累积奖励。现有的MMAB模型大多假设当多个玩家拉动同一只手臂时，他们要么发生碰撞并获得零奖励，要么没有碰撞并获得独立奖励，这两种情况在实际场景中通常都过于限制。在本文中，我们提出了一个MMAB与共享资源作为扩展的冲突和非冲突设置。每个可共享的手臂都有有限的可共享资源和一个“每次加载”的奖励随机变量，这两个变量对玩家来说都是未知的。来自可共享手臂的奖励等于“每负载”奖励乘以拉手臂的玩家数量与手臂的最大可共享资源之间的最小值。我们考虑两种类型的反馈：共享需求信息（SDI）和共享需求意识（SDA），每一个提供不同的信号的资源共享。我们分别设计了DPE-SDI和SIC-SDA算法来解决这两种反馈情况下的共享臂问题，并证明了这两种算法都具有对数遗憾，且在轮数上是紧的.我们进行模拟来验证这两种算法的性能，并展示它们在无线网络和边缘计算中的实用性。
2022-04-28 cs.LG
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
On Kernelized Multi-armed Bandits
Indian Institute of Science（印度科学理工学院）
考虑具有连续臂的随机强盗问题，假设臂上的期望报酬函数是固定的但未知。本文提出了两种基于高斯过程的连续强盗优化算法--改进的GP-UCB算法（IGP-UCB）和GP-Thomson抽样算法（GP-TS），并给出了相应的后悔界。具体而言，当预期的奖励函数属于再生核希尔伯特空间（RKHS）时，边界保持不变，该再生核希尔伯特空间自然对应于算法用作输入的高斯过程核。在此基础上，我们得到了一个新的任意维数（可能是无穷维）的向量值鞅的自归一化浓度不等式。最后，实验评估和比较现有的算法在合成和现实世界的环境中进行，突出了所提出的策略在许多情况下的有利收益。
2017-05-17 cs.LG
The Symmetry between Arms and Knapsacks: A Primal-Dual Approach for Bandits with Knapsacks
Imperial College Business School（帝国理工学院商学院）；Stanford University（斯坦福大学）
在本文中，我们研究了背包强盗（BwK）问题，并开发了一个基于原始对偶的算法，实现了问题依赖的对数遗憾界。BwK问题扩展了多臂强盗（MAB）问题，以模拟与玩每个手臂相关的资源消耗，现有的BwK文献主要集中在推导渐近最优无分布遗憾界。我们首先研究BwK问题的原始和对偶线性规划。从这个原始对偶的角度来看，我们发现武器和背包之间的对称性，然后提出了一个新的概念的次优措施的BwK问题。次优性度量突出了背包在确定算法遗憾中的重要作用，并启发了我们两阶段算法的设计。在第一阶段，该算法确定的最佳武器和绑定背包，并在第二阶段，它耗尽绑定背包通过播放最佳武器通过一个自适应过程。我们的遗憾上限涉及到建议的次优性措施，它有一个对数依赖的地平线长度$T$和多项式依赖$m$（武器的数量）和$d$（背包的数量）。据我们所知，这是解决一般BwK问题的第一个问题依赖的对数遗憾界。
2021-06-23 cs.DS cs.LG
Graph Feedback Bandits on Similar Arms: With and Without Graph Structures
Xi’an Jiaotong University（西安交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文研究相似臂图反馈下的多臂老虎机问题，提出Double-UCB和Conservative-UCB算法，并将其扩展至臂数随时间增加的ballooning场景，给出了遗憾界并验证了理论结果。
2025-09-17 cs.LG
Top-k Combinatorial Bandits with Full-Bandit Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
Top-k组合强盗一般化多武器强盗，其中在每一轮可以选择$n$武器中的任何$k$子集，并且获得奖励的总和。我们解决全强盗反馈，其中代理人只观察奖励的总和，与半强盗反馈，其中代理人也观察个别武器的奖励。我们提出了组合连续接受和拒绝（CSAR）算法，它将SAR（Bubeck et al，2013）推广到top-k组合强盗。我们的主要贡献是一个有效的抽样计划，使用阿达玛矩阵，以准确地估计个人武器的预期回报。我们讨论了两个变种的算法，第一个最大限度地减少样本的复杂性，第二个最小化的遗憾。我们还证明了一个下界的样本复杂性，这是紧的$k=O(1)$。最后，我们进行了实验，并表明我们的算法优于其他方法。
2019-12-04 cs.LG stat.ML
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
Skyline Identification in Multi-Armed Bandits
我们介绍了一个变种的经典PAC多臂强盗问题。有一组有序的$n$臂$A[1],\dots,A[n]$，每个臂都有从某个未知的有界分布中抽取的随机奖励。目标是识别集合$A$的$skyline$，集合由所有的臂$A[i]$组成，使得$A[i]$具有比所有编号较低的臂$A[1],\dots,A[i-1]$更大的期望奖励。我们定义了一个自然的概念，一个$\varepsilon$ -近似的天际线，并证明匹配的上限和下限识别$\varepsilon$ -天际线。具体来说，我们表明，为了确定一个$\varepsilon$ -天际线之间的$n$武器概率$1-δ$，$$ Θ\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon δ}\bigg), \log\bigg(\frac{n}δ\bigg) \bigg\} \bigg) $$样本是必要的和足够的。当使用$\varepsilon \gg 1/n$时，我们的结果优于朴素算法，朴素算法提取足够的样本来近似每个手臂的预期奖励;（Auer等人，AISTATS'16）的帕累托最优手臂识别同样被取代。我们的研究结果表明，天际线问题的样本复杂性严格介于最佳手臂识别之间（Even-Dar等人，COLT'02）和接近每只手臂的预期回报。
2018-01-09 cs.LG
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们考虑随机多武装土匪的期望奖励是一个单峰函数偏序武器。这类重要的问题最近已经研究（Cope 2009，Yu 2011）。臂的集合是离散的，在这种情况下，臂对应于有限图的顶点，该有限图的结构表示奖励的相似性，或者是连续的，在这种情况下，臂属于有界区间。对于离散单峰土匪，我们推导出渐近下限的遗憾下实现任何算法，并提出Ostrial，一个算法的遗憾匹配这个下限。我们的算法最佳地利用了单峰结构的问题，令人惊讶的是，它的渐近遗憾不依赖于武器的数量。我们还提供了一个遗憾的上限Occupy在非平稳的环境中，预期的回报随着时间的推移顺利演变。数值实验结果表明，分析结果的支持，OSTO执行显着优于国家的最先进的算法。对于连续组的武器，我们提供了一个简短的讨论。我们表明，结合适当的离散化的一组武器与UCB算法产生一个订单最优的遗憾，并在实践中，优于最近提出的算法，旨在利用单峰结构。
2014-05-20 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms: A Case with Bounded Regret
Bilkent University（比尔肯特大学）
本文研究了具有概率触发臂的组合多臂强盗问题。在假设所有手臂的触发概率（ATPs）都为正的条件下，证明了一类具有探索率$κ$的组合置信上界（CUCB- $κ$）策略和通过Thompson采样估计手臂期望状态的组合Thompson采样（CTS）策略能够实现有界后悔.此外，我们还证明了$0$和CTS会导致$O(\sqrt{T})$间隔独立的后悔。这些结果改进了以前的工作，分别显示$O(\log T)$缺口依赖和$O(\sqrt{T\log T})$缺口独立的遗憾，没有假设的ATP的结果。然后，我们数值评估CUCB- $κ$和CTS在现实世界的电影推荐问题中的性能，其中的动作对应于推荐一组电影，手臂对应于电影和用户之间的边缘，目标是最大化被至少一部电影吸引的用户总数。我们的数值结果补充了我们的理论研究结果有限的遗憾。除了这个问题，我们的研究结果也直接适用于在线影响力最大化（OIM）的问题，在许多以前的作品研究。
2017-07-24 cs.LG stat.ML
Multi-Armed Bandits with Dependent Arms
Indian Institute of Science（印度科学学院）；Ohio State University（俄亥俄州立大学）；Auburn University（奥本大学）；ECE, Indian Institute of Science（印度科学学院电子与通信工程系）；ECE, Ohio State University（俄亥俄州立大学电子与通信工程系）；ECE, Auburn University（奥本大学电子与通信工程系）
我们研究了经典多臂强盗问题（MABP）的一个变种，我们称之为依赖臂多臂强盗问题。更具体地，多个臂被分组在一起以形成集群，并且属于同一集群的臂的奖励分布是作为集群的特性的未知参数的已知函数。因此，拉动手臂$i$不仅揭示了它自己的奖励分布信息，而且还揭示了与手臂$i$共享同一簇的所有手臂的信息。这种“相关性”之间的武器复杂的探索剥削权衡，是在MABP中遇到的，因为观察的依赖关系，使我们能够同时测试多个假设的最优性arm.We开发学习算法的UCB原则的基础上，适当地利用这些额外的边观察，同时执行探索剥削权衡。我们表明，我们的算法的遗憾增长为$O(K\log T)$，其中$K$是集群的数量。相比之下，对于经典MABP的最佳算法（如vanilla UCB），并且不利用这些依赖关系，遗憾的尺度为$O(M\log T)$，其中$M$是臂数。
2020-10-23 cs.LG math.ST stat.TH
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Finding All ε-Good Arms in Stochastic Bandits
University of Wisconsin（威斯康星大学）；University of Washington（华盛顿大学）
随机多武器土匪的纯探索问题旨在找到一个或多个武器的最大（或接近最大）的手段。示例包括查找ε-良好臂、最佳臂标识、前k臂标识以及查找均值高于指定阈值的所有臂。然而，在过去的工作中，找到所有ε-好臂的问题被忽视了，尽管可以说这可能是许多应用中最自然的目标。例如，病毒学家可能会对大量的候选治疗方法进行初步的实验室实验，并将所有ε-好的治疗方法转移到更昂贵的临床试验中。由于最终临床疗效不确定，因此确定所有ε-良好候选药物非常重要。从数学上讲，全ε-好臂识别问题提出了过去研究的纯探索目标中没有出现的重大新挑战和惊喜。我们介绍了两种算法来克服这些问题，并在纽约客字幕大赛收集的220万评级的大规模众包数据集以及测试数百种可能的抗癌药物的数据集上展示了它们的出色经验表现。
2020-09-11 cs.LG stat.ML
Tight Bounds for Bandit Combinatorial Optimization
Technion—Israel Institute of Technology（以色列理工学院）；Google Brain（谷歌大脑）
我们重新研究的最优后悔率在强盗组合优化-一个基本框架，顺序决策下的不确定性，抽象出许多组合预测问题。我们证明，在这种情况下，可达到的遗憾增长为$\widetildeΘ(k^{3/2}\sqrt{dT})$，其中$d$是问题的维数，$k$是最大瞬时损失的界，反驳了Audibert，Bubeck和Lugosi（2013）的猜想，他们认为最佳速率应该是$\widetildeΘ(k\sqrt{dT})$的形式。我们的界限适用于几个重要的情况下的框架，特别是，意味着一个严格的约束研究的强盗最短路径问题。这样，我们也解决了Cesa-Bianchi和Lugosi（2012）提出的一个开放问题。
2017-02-24 cs.LG
Combinatorial Multi-Objective Multi-Armed Bandit Problem
Bilkent University（比尔肯特大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们介绍了组合多目标多臂强盗（COMO-MAB）的问题，抓住了组合和多目标在线学习的挑战，同时。在这种设置中，学习器的目标是每次选择一个动作，其奖励向量是该动作中手臂的奖励向量的线性组合，以学习超级帕累托最优动作的集合，该集合包括帕累托最优动作和在将任意小正数添加到其期望奖励向量之后变为帕累托最优的动作。我们定义了Pareto后悔性能指标，并提出了一个公平的学习算法，其Pareto后悔为$O(N L^3 \log T)$，其中$T$是时间范围，$N$是手臂数，$L$是动作中的最大手臂数.我们表明，COMO-MAB有广泛的应用，包括向用户和网络路由项目的建议束，并专注于多用户通信中存在的多维性能指标的资源分配应用程序，我们表明，我们的算法优于现有的MAB算法。
2018-03-11 cs.LG
Multiple Identifications in Multi-Armed Bandits
Princeton University（普林斯顿大学）
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
