Differential Good Arm Identification
本文提出可微的好臂识别算法DGAI，以数据驱动方式改进最先进HDoC算法的样本复杂度，并在给定阈值作为先验时提升一般多臂老虎机性能，实验证实在合成与真实数据集上显著优于基线。
2024-02-16 cs.LG stat.ML
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin（威斯康星大学）；UCLA（加州大学洛杉矶分校）
受超参数优化任务的启发，我们引入了非随机最佳臂辨识问题。在多臂强盗文献中，累积后悔目标在非随机和随机环境下都有算法和分析，而据我们所知，最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置，确定一个已知的算法，非常适合这种设置，并分析其行为。接下来，通过利用标准机器学习算法的迭代性质，我们将超参数优化作为非随机最佳臂识别的实例，并根据经验评估我们提出的算法。我们的实证结果表明，通过分配更多的资源，有前途的超参数设置，我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University（耶鲁大学）；Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））；Bar-Ilan University（巴伊兰大学）
我们研究的最佳武器识别问题的多武装土匪随机，潜在的私人奖励，当目标是确定在一个固定的，规定的水平与最高分位数的手臂。首先，我们提出了一个（非私有）连续消除算法的严格最优最佳臂识别，我们证明了我们的算法是$δ$ -PAC，我们描述了它的样本复杂度。此外，我们提供了一个下限的预期数量的拉动，表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距，特别是分位数土匪问题，我们表明，当差距接近零，最佳臂识别是不可能的。其次，出于应用程序的奖励是私人的，我们提供了一个差分私人连续消除算法的样本复杂度是有限的，即使是无限的支持大小的分布，我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个变种的最佳武器识别（BAI）问题的多武装匪徒（MAB），其中有两套武器（源和目标），目标是确定最佳的目标手臂，而只拉源武器。在本文中，我们研究的设置时，尽管手段是未知的，有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题，并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法，以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面，这些问题在典型的BAI设置中不会出现，并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们认为最好的武器识别问题，在多武装土匪，纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂，每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架，其中的武器被解雇迭代，直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果，我们开发了一种算法，根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法，表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果，我们的实验表明，非线性算法优于国家的最先进的。我们最后研究的侧观察模型，拉一只手臂揭示了其相关的武器的奖励，我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
本文提出FCSR算法，用于在分组老虎机中实现固定预算约束下的最佳臂识别，通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们考虑的问题，最好的武器识别在多武装匪徒在固定的信心设置，其中的目标是确定，概率$1-δ$为一些$δ>0$，最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下，对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架，捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式，从另一个手臂的奖励实现。我们提出的算法C-LUCB，它概括了LUCB算法利用这部分知识的相关性，大幅降低样本的复杂性最好的手臂识别。更有趣的是，我们表明，由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$，而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和，该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置，可以与$2$一样小，因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Strategies for Safe Multi-Armed Bandits with Logarithmic Regret and Risk
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们调查一个自然的，但令人惊讶的是未研究的方法，安全风险约束下的多臂强盗问题。每个手臂都与一个未知的安全风险和奖励的法律相关联，学习者的目标是最大化奖励，同时不玩不安全的手臂，这是由给定的平均风险阈值确定的。我们制定了一个伪遗憾的设置，强制执行这种安全约束，在每一轮的方式，轻轻地惩罚任何违规行为，无论收益的奖励，由于相同的。这对于临床试验等场景具有实际意义，在这些场景中，必须保持每一轮的安全性，而不是总体意义上的安全性。我们描述了双重乐观的策略，这种情况下，保持乐观的安全风险和回报指数。我们表明，模式的基础上，频率和贝叶斯指数满足严格的间隙依赖的对数遗憾的界限，并进一步这些发挥不安全的武器只有在数学上很多次。这种理论分析的补充，模拟研究表明所提出的模式的有效性，并探讨其使用是适当的域。
2022-04-01 cs.LG stat.ML
Open Problem: Optimal Best Arm Identification with Fixed Budget
Columbia University（哥伦比亚大学）
自Bubeck et al.（2009）和Audibert et al.（2010）以来，最佳臂识别或纯探索问题在COLT社区受到了广泛关注。对于任何具有唯一最佳臂的bandit实例，其在所谓的固定置信度设置中的渐近复杂性已在Garivier和Kaufmann（2016）和Bauff（1959）中完全描述，而对其在称为固定预算设置的“对偶”设置中的渐近复杂性知之甚少。本文讨论了固定预算情形下实例依赖的渐近复杂度的公开问题和解决方法。
2023-03-02 cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）；IIT Madras（印度理工学院马德拉斯分校）
传统的多臂强盗（MAB）公式通常对底层武器的分布做出某些假设，例如支持的边界或它们的尾部行为。此外，这种参数信息通常被“烘焙”到算法中。在本文中，我们表明，专门的算法，利用这样的参数信息时，参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的：（i）我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置，及（ii）我们提出了两类算法是渐近接近最优的。此外，我们考虑了一个风险意识的最佳臂识别标准，其中与每个臂相关的目标是平均值和条件风险值（CVaR）的线性组合。在整个过程中，我们做了一个非常温和的“有界矩”假设，这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Covariance Adaptive Best Arm Identification
Laboratoire des Signaux et Systèmes, CentraleSupéléc, Université Paris-Saclay（巴黎萨克雷大学中央高等电子学院信号与系统实验室）；Laboratoire de mathématiques d’Orsay, Université Paris-Saclay（巴黎萨克雷大学奥赛数学实验室）；INRAE（法国国家农业食品与环境研究院）；Institut Agro（农业学院）；Univ Montpellier（蒙彼利埃大学）
针对多臂老虎机最佳臂识别问题，提出协方差自适应算法，利用臂间依赖关系提高识别效率，并给出理论保证与下界。
2023-12-20 cs.LG stat.ML
Robust Best-arm Identification in Linear Bandits
University College London（伦敦大学学院）；MediaTek Research（联发科技研究院）
该研究针对线性奖励下的鲁棒最优臂识别问题，提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法，经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Optimal Multi-Fidelity Best-Arm Identification
DEIB, Politecnico di Milano（迪埃布（DEIB），米兰理工学院）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL（里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9189-CRIStAL）
本文针对多保真度最佳臂识别问题，提出紧的下界和基于梯度的渐近最优算法，并揭示每臂最优保真度概念。
2025-05-26 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon（里昂高等师范学院）
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案（提供通过一个简化的分析无约束的情况下）。在此算法的基础上，我们提出了一个渐近最优的策略。此外，我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别（BAI）是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了，但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象，但到目前为止，这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题，本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Cost Aware Best Arm Identification
University of Michigan（密歇根大学）
本文提出成本感知的最佳臂识别（CABAI）问题，推导理论下界，并设计CTAS和Chernoff Overlap两种算法，以最小期望成本识别最大奖励臂，证明其在简化模型中渐近最优且数值实验中表现接近最优。
2024-07-01 cs.LG stat.ML
Pure Exploration for Constrained Best Mixed Arm Identification with a Fixed Budget
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
本文提出固定预算下约束最优混合臂识别问题，并设计无参数的SFSR算法，结合逐次拒绝与得分函数准则，理论上误识别概率指数衰减，实证验证有效。
2024-05-23 cs.LG stat.ML
Box Thirding: Anytime Best Arm Identification under Insufficient Sampling
Department of Statistics, Seoul National University, Seoul, Republic of Korea（统计系，首尔国立大学）
Box Thirding算法在有限预算下通过迭代三分比较实现高效最佳臂识别，无需预知预算参数，且在实验中表现出更优的性能。
2026-02-20 cs.LG stat.ML
Rate-optimal Bayesian Simple Regret in Best Arm Identification
Stern School of Business, New York University（纽约大学斯特恩商学院）；AI Lab, CyberAgent, Inc.（CyberAgent公司人工智能实验室）；School of Electrical Engineering and Computer Science, KTH（瑞典皇家理工学院电气工程与计算机科学学院）；Columbia Business School, Columbia University（哥伦比亚大学哥伦比亚商学院）
本文研究多臂老虎机最优臂识别，在连续先验下刻画贝叶斯简单遗憾速率，提出简单算法使首项匹配下界至常数因子，并经仿真验证。
2023-07-26 cs.LG stat.ML
Optimal Best-Arm Identification Methods for Tail-Risk Measures
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究所）
条件风险价值（CVaR）和风险价值（VaR）是金融和保险行业以及高度可靠，安全关键的不确定环境中常用的尾部风险度量，其中潜在的概率分布通常是重尾的。我们使用多臂强盗最佳臂识别框架，并考虑从众多具有最小的CVaR，VaR，或加权总和的CVaR和均值的臂识别的问题。后者抓住了金融中常见的风险回报权衡。我们的主要贡献是一个最佳的$δ$正确的算法，作用于一般武器，包括重尾分布，并匹配所需的样本的预期数量的下限，渐近（作为$δ$方法$0$）。该算法需要解决概率测度空间中的非凸优化问题，这需要精细的分析。途中，我们开发了新的非渐近的经验似然为基础的浓度不等式的尾部风险的措施，这是严格的比流行的截断为基础的经验估计。
2021-06-22 cs.LG stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University（耶鲁大学）
研究固定预算最佳臂识别问题，对比算法与静态预言机，证明对于任意\(K\geq3\)及特定奖励，任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍，回答了相关开放问题。
2026-07-14 cs.LG stat.ML
Dominant Arm Identification with Mixing and Recycling Observed Samples
Chung-Ang University（中央大学）
针对多臂老虎机中传统算法难识别优势臂的问题，提出带理论保证的新优势臂准则与估计器，设计近最优样本复杂度的消除算法，实验显示其优于现有方法。
2026-08-04 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University（清华大学）
在最佳- $K$识别问题（Best- $K$ -Arm）中，我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度，通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机，并在过去的十年中引起了相当大的关注。在本文中，我们提出了新的实用算法的最佳- $K$ -手臂问题，它具有接近最佳的样本复杂性边界（匹配的下限对数因子），并优于最佳- $K$ -手臂问题（即使是$K=1$）在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Best arm identification in rare events
Tata Institute of Fundamental Research（塔塔基础研究所）
我们考虑随机多臂强盗框架中的最佳手臂识别问题，其中每个手臂都有很小的概率实现大的回报，而绝大多数概率的回报是零。该框架的一个关键应用是在线广告，其中广告的点击率可能是单个百分比的一小部分，并且最终转化为销售，虽然利润很高，但可能再次是点击率的一小部分。最近，BAI问题的算法已经开发出来，最大限度地减少样本的复杂性，同时提供正确的手臂选择的统计保证。正如我们所观察到的，这些算法在计算上可能是禁止的。我们利用这样一个事实，即每个手臂的奖励过程很好地近似于一个复合泊松过程，以达到更快的算法，在样本复杂性的小增加。我们分析的问题，在一个渐进的制度，奖励发生的稀有性减少到零，奖励金额增加到无穷大。这有助于说明所提出的算法的好处。它还揭示了在罕见事件设置的最佳BAI算法的底层结构。
2023-03-14 cs.LG stat.ML
Active Learning with Safety Constraints
University of Washington（华盛顿大学）
主动学习方法在减少学习所需的样本数量方面表现出很大的希望。随着自动学习系统被应用到实时、真实的决策流程中，在设计此类算法时考虑到安全性变得越来越重要。在这项工作中，我们研究的复杂性，学习最好的安全决策在交互式环境中。我们减少这个问题的约束线性土匪问题，我们的目标是找到满足某些（未知）安全约束的最佳手臂。我们提出了一个自适应的实验设计为基础的算法，我们有效地权衡之间的困难，显示手臂是不安全的与次优的。据我们所知，我们的结果是第一个最佳臂识别线性土匪的安全约束。在实践中，我们证明了这种方法在合成和真实世界的数据集上表现良好。
2022-06-22 cs.LG stat.ML
Fixed-Budget Best-Arm Identification with Heterogeneous Reward Variances
AWS AI Labs（AWS人工智能实验室）
针对固定预算下异质奖励方差的最优臂识别问题，提出两种方差自适应算法，推导了错误识别概率上界，实验验证其性能优于现有带解析保证的算法。
2023-06-13 cs.LG stat.ML
Bayesian Fixed-Budget Best-Arm Identification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；AWS AI Labs（AWS人工智能实验室）
针对贝叶斯设定下的固定预算最优臂识别问题，提出贝叶斯消除算法，推导了首个依赖分布的错误识别概率上界，证明2臂场景下上下界几乎匹配，实验显示该算法优于频率派方法且性能比肩无保证的最优贝叶斯算法。
2023-06-15 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics（上海财经大学）；Columbia University（哥伦比亚大学）
针对批处理多臂老虎机的最优臂识别问题，提出通用线性规划框架及两阶段算法，兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Fixed-Confidence Guarantees for Bayesian Best-Arm Identification
Inria Lille Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；Université de Lille（里尔大学）；Leiden University（莱顿大学）；CWI（荷兰数学与信息学研究中心）；CNRS（法国国家科学研究中心）；DeepMind Paris（DeepMind巴黎）
我们调查，并提供新的见解称为前两个汤普森抽样（TTTS）的抽样规则。特别是，我们证明其用于固定置信度的最佳臂识别。我们进一步提出了一个变种的TTTS称为前两名的运输成本（T3C），它处置的计算负担的TTTS。作为我们的主要贡献，我们提供了TTTS和T3C的第一个样本复杂性分析，结合了一个非常自然的贝叶斯停止规则，用于高斯奖励的强盗，解决了Russo（2016）提出的一个开放问题。我们还提供了新的后验收敛结果TTTS下的两个模型，通常在实践中使用：强盗高斯和伯努利奖励和共轭先验。
2019-10-28 cs.LG stat.ML
Rate-optimal Design for Anytime Best Arm Identification
Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of AI, Chung-Ang University（中央大学人工智能系）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学机器学习系）；RIKEN AIP（理研革新智能研究中心）
本文提出Almost Tracking算法，基于最小最大最优框架，无需提前预算或丢弃样本，在合成和现实数据中优于现有任意时间与固定预算算法。
2026-04-09 cs.LG stat.ML
Optimal Batched Best Arm Identification
National University of Singapore（新加坡国立大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Duke University（杜克大学）
研究分批最佳臂识别问题，提出Tri-BBAI和Opt-BBAI算法，分别在渐近和非渐近环境下实现最优或近最优的样本与批次复杂度，且复杂度不依赖于返回最佳臂事件。
2025-03-03 cs.LG stat.ML
Quantile Bandits for Best Arms Identification
The Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61部门）
我们考虑随机多武装土匪的最佳武器识别任务的一个变种。出于规避风险的决策问题，我们的目标是确定一组$m$武器的最高$τ$分位数值在一个固定的预算。证明了具有非减风险率的随机变量的顺序统计量和分位数的非对称双边集中不等式，这可能是独立的兴趣。利用这些不等式，我们分析了分位数版本的连续接受和拒绝（Q-SAR）。我们推导出一个上限的概率臂错误识别，第一个理由的分位数为基础的算法固定预算多个最好的武器识别。我们展示了最佳手臂识别的说明性实验。
2023-02-21 cs.LG
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen（图宾根大学）；Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；Google DeepMind（谷歌DeepMind）
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题，提出一种基于先验信息和环境结构的固定分配算法，并给出理论界，通过新证明方法获得更紧的界，实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science（印度科学学院）；Israel Institute of Technology (Technion)（以色列理工学院（Technion））
在固定置信度下，给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人（2012年）的著名LUCB算法，通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念，并且与几种方法相比，具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性，在许多情况下显示出最优性。数值结果表明，与其他算法相比，我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Minimax Optimal Algorithms for Fixed-Budget Best Arm Identification
New York University（纽约大学）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）
我们考虑固定预算的最佳臂识别问题，其目标是找到具有固定数量样本的最大均值的臂。众所周知，错误识别最佳手臂的概率与轮数成指数关系。然而，有限的表征已经讨论了这个值的速率（指数）。在本文中，我们刻画了极大极小最优速率作为一个优化的结果，在所有可能的参数。我们引入了两个率，$R^{\mathrm{go}}$和$R^{\mathrm{go}}_{\infty}$，对应于错误识别的概率，其中每一个与建议的算法的下限。率$R^{\mathrm{go}}$与$R^{\mathrm{go}}$跟踪，它可以有效地实现一个神经网络，并表现出优于现有的算法。然而，这个速率需要一个非平凡的条件才能实现。为了解决这个问题，我们引入了第二速率$R^{\mathrm{go}}_\infty$。我们表明，这个速率确实是可以实现的，通过引入一个概念性的算法称为延迟最优跟踪（DOT）。
2022-10-26 cs.LG stat.ML
Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LRI（计算机研究实验室）；Université Paris Sud（巴黎第十一大学）
受能源管理应用的启发，本文提出了多臂风险感知Bandit（MARAB）算法。为了限制风险武器的开发，MARAB将其条件风险值作为武器质量。当用户提供的风险水平为0时，手臂质量趋向于手臂分布密度的本质下确界，并且MARAB趋向于MIN多手臂强盗算法，针对具有最大最小值的手臂。作为第一个贡献，本文提出了一个理论分析的MIN算法在温和的假设下，建立其鲁棒性相比UCB。分析支持广泛的实验验证MIN和MARAB相比，UCB和国家的最先进的风险意识MAB算法对人工和现实世界的问题。
2014-01-06 cs.LG
Monte-Carlo Tree Search by Best Arm Identification
CNRS & Univ. Lille, UMR 9189 (CRIStAL), Inria SequeL（法国国家科学研究中心与里尔大学，UMR 9189（CRIStAL），Inria SequeL）；Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）
最近的进展，强盗工具和技术的顺序学习正在稳步实现新的应用，并有望解决一系列具有挑战性的相关问题。我们研究了博弈树搜索问题，其目标是快速确定在给定的博弈树的最佳移动顺序采样其随机收益。我们开发了新的算法，为树的任意深度，操作通过总结所有更深层次的树到置信区间在深度1，并在根应用最佳臂识别程序。我们证明了新的样本复杂性的保证与问题实例的依赖。我们的实验表明，我们的算法优于现有的消除为基础的算法和匹配以前的专用方法的深度两棵树。
2017-11-06 cs.LG stat.ML
An $\varepsilon$-Best-Arm Identification Algorithm for Fixed-Confidence and Beyond
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；UMR 9189-CRIStAL（UMR 9189-CRIStAL实验室）
该研究提出用于随机多臂老虎机ε-最优臂识别的任意时间采样规则EB-TCε，给出多类理论保证并通过仿真验证其性能优于现有算法。
2023-11-06 cs.LG stat.ML
Sample complexity of partition identification using multi-armed bandits
TIFR（塔塔基础研究院(TIFR)）
给定一个概率分布的向量，或臂，其中每一个都可以被独立地采样，我们考虑从这样的分布向量的一个可分割的宇宙中识别这个向量所属的分区的问题。我们研究这是一个纯粹的探索问题，在多臂强盗设置和开发样本复杂性的上限，确定正确的分区所需的样本的总平均数的高概率。这个框架包含了研究得很好的问题，如找到最好的手臂或最好的几个手臂。我们考虑属于单参数指数族的分布，并主要考虑分区，其中武器的手段是在一个给定的集合或其补充的向量。所考虑的集合对应于存在高于指定阈值的均值的分布，其中集合是半空间，并且其中集合或其补集是多面体，或者更一般地，是凸集。在这些设置中，我们的特点是每个手臂的样本的平均数的下限，突出其依赖于问题的几何形状。此外，受下界的启发，我们提出了算法，可以匹配这些界限渐近减少错误的概率。这个框架的应用可能是多种多样的。我们简单讨论一个与金融有关的问题。
2019-02-05 cs.LG stat.ML
Top Two Algorithms Revisited
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
Top Two算法是将Thompson采样应用于多臂强盗模型中的最佳臂识别（Russo，2016），用于参数化的臂族。他们通过随机选择两个候选手臂，一个领导者和一个挑战者来选择下一个手臂进行采样。尽管他们的经验表现良好，理论保证固定的信心最好的手臂识别时，只有获得武器是高斯已知的方差。在本文中，我们提供了一个一般的分析前两个方法，确定理想的属性的领导者，挑战者，和（可能是非参数）分布的武器。其结果是，我们得到理论上支持的前两个算法最好的手臂识别有界分布。我们的证明方法特别表明，用于选择从汤普森抽样继承的领导者的抽样步骤可以被其他选择所取代，例如选择经验最佳手臂。
2022-10-04 cs.LG stat.ML
Fixed Confidence Best Arm Identification in the Bayesian Setting
Universitá degli Studi di Milano（米兰大学）；New York University（纽约大学）；The University of Queensland（昆士兰大学）
该研究针对贝叶斯场景下的固定置信度最优臂识别问题，证明传统频率论FC-BAI算法在该场景下性能次优，推导了期望采样次数下界，提出匹配该下界（仅差对数因子）的连续消除变体算法并通过仿真验证。
2024-06-23 cs.LG stat.ML
Where Does the Union Bound Go? Best-Arm Identification and Strong FWER Control
University of Twente（特温特大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
本研究探讨固定置信度最优臂识别中联合界的困惑，明确最优臂识别的两种假设定向方式，解释多重性的不同呈现形式，以跨领域术语明确其等价性。
2026-08-21 cs.LG stat.ME stat.ML
PAC Identification of Many Good Arms in Stochastic Multi-Armed Bandits
Indian Institute of Technology Bombay（印度理工学院孟买分校）
研究了在$n$ -武装随机多臂强盗中从最佳$m$武装中识别任意$k$的问题.在PAC设置中，这个特定的问题概括了“最佳子集选择”和"从最佳m个臂中选择一个“的问题[arcsk 2017]。在众包和药物设计等应用中，确定单一的良好解决方案往往是不够的。此外，由于存在许多非常接近的解决方案，找到最佳子集可能很难。我们的概括识别出最好的$m$，其中$1 \leq k \leq m$，作为一个更有效的替代准确$k$武器。我们提出了一般$k$的最坏情况下的样本复杂度的下限，和一个完全顺序的PAC算法，\GLUCB，这是更简单的实例上的样本效率。此外，将我们的分析扩展到无限武装匪徒，我们提出了一种独立于$n$的PAC算法，该算法使用最多与下限相比的加性多对数样本数从最佳$ρ$部分的武器中识别出一个武器，从而改进了[arcsk 2017]和[Aziz+AKA：2018]。从最好的$ρ$分数识别$k > 1$不同的武器的问题并不总是定义良好的，对于这个问题的一个特殊的类，我们提出了下限和上限。最后，通过一个约化，我们建立了无限情况下的“one out of the best $ρ$”问题和有限情况下的“one out of the best $m$”问题的上界之间的关系。我们猜想，这是更有效地解决“小”有限的情况下，使用后者制定，而不是通过前者。
2019-01-24 cs.LG stat.ML
Balancing Performance and Costs in Best Arm Identification
Department of Statistics University of Wisconsin-Madison（统计学系威斯康星大学麦迪逊分校）
本文提出了一种新的最佳臂识别方法，通过平衡性能和成本来优化学习过程，提出了 DBCARE 算法并展示了其在模拟模型中的优越性能。
2025-12-05 cs.LG stat.ML
Best Arm Identification with Fairness Constraints on Subpopulations
Department of Industrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系）
本文提出并解决了BAICS问题，要求所选臂对所有子群体公平，通过证明样本复杂度下界并设计匹配阶数的算法，以高置信度识别满足约束的最优臂。
2023-04-08 cs.CY cs.LG stat.ML
On the Complexity of Best-Arm Identification in Non-Stationary Linear Bandits
University of Washington（华盛顿大学）
本文提出Adjacent-BAI算法，通过建立依赖于臂集的下界，证明其在非平稳线性老虎机中最佳臂识别问题中的最优复杂性。
2026-10-26 cs.LG stat.ML
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
在纯探索问题中，信息是按顺序收集的，以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究，但很少有作品致力于识别一个臂，即$\varepsilon$ -接近最佳的一个（而不是最好的一个）。在这个有多个正确答案的问题中，识别算法应该集中在这些答案中的一个候选者上，并验证它是正确的。我们表明，挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反，应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案，我们开发了一个简单的程序，以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后，我们提出了一个渐近最优算法，这种设置，这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
Best arm identification in multi-armed bandits with delayed feedback
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个泛化的最佳手臂识别问题，在随机多臂土匪（MAB）的设置，每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度，但是如果我们能够访问在拉取完成之前接收到的部分反馈，则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系，作为一个特殊的情况下，我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外，我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置，涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设，表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Fast and Regret Optimal Best Arm Identification: Fundamental Limits and Low-Complexity Algorithms
University of Michigan（密歇根大学）
本文研究随机多臂老虎机中快速识别最优臂与最小化后悔的双重目标，提出ROBAI问题及EOCP算法，在实现渐近最优后悔的同时快速承诺最优臂，并证明经典UCB算法的过度探索是不必要且有害的。
2024-05-29 cs.LG stat.ML
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California（南加州大学）
我们考虑的问题，通过自适应采样，$n$选项（武器）具有最大的平均值。我们的目标是确定一个规则，确定一个固定的最低置信度，使用尽可能少的观察，即最好的武器，这是一个固定的信心（FC）最好的武器识别（BAI）在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”（VT）的规则，采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置，并通过早期消除得到改善。我们的分析表明，这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”（PW）算法。数值结果表明，这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Variance-Optimal Arm Selection: Misallocation Minimization and Best Arm Identification
Department of Electrical Engineering, IIT Delhi（电子工程系，德里理工学院）
本文提出UCB-VV和SHVV算法，分别解决误分配最小化和固定预算最佳臂识别问题，通过理论分析和实验证明其在方差最优选择中的有效性。
2026-02-17 cs.LG stat.ML
