Skyline Identification in Multi-Armed Bandits
我们介绍了一个变种的经典PAC多臂强盗问题。有一组有序的$n$臂$A[1],\dots,A[n]$，每个臂都有从某个未知的有界分布中抽取的随机奖励。目标是识别集合$A$的$skyline$，集合由所有的臂$A[i]$组成，使得$A[i]$具有比所有编号较低的臂$A[1],\dots,A[i-1]$更大的期望奖励。我们定义了一个自然的概念，一个$\varepsilon$ -近似的天际线，并证明匹配的上限和下限识别$\varepsilon$ -天际线。具体来说，我们表明，为了确定一个$\varepsilon$ -天际线之间的$n$武器概率$1-δ$，$$ Θ\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon δ}\bigg), \log\bigg(\frac{n}δ\bigg) \bigg\} \bigg) $$样本是必要的和足够的。当使用$\varepsilon \gg 1/n$时，我们的结果优于朴素算法，朴素算法提取足够的样本来近似每个手臂的预期奖励;（Auer等人，AISTATS'16）的帕累托最优手臂识别同样被取代。我们的研究结果表明，天际线问题的样本复杂性严格介于最佳手臂识别之间（Even-Dar等人，COLT'02）和接近每只手臂的预期回报。
2018-01-09 cs.LG
Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California（南加州大学）；Google Research（谷歌研究院）
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法，在线性与广义线性模型中给出分析及G-最优设计实现，并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
An Algorithm for Fixed Budget Best Arm Identification with Combinatorial Exploration
Department of Electrical Engineering, IIT Delhi（电子工程系，德里理工学院）
本文提出一种带组合探索的固定预算最佳臂识别算法，通过构建log2K个组并执行似然比检验来确定最佳臂，基于新参数H4推导误差上界，并在特定情况下优于现有算法。
2026-01-28 cs.LG
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎文理研究大学-巴黎多芬大学）；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Liverpool University（利物浦大学）
我们引入了一个新的图形双线性强盗问题的学习者（或\emph{central entity}）分配武器的节点图，并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题，其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状，我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是，我们表征的图形结构（如星，完整或圆）的收敛速度的影响，并提出实证实验，证实这种依赖。
2021-06-10 cs.LG
Secure Best Arm Identification in the Presence of a Copycat
1 School of Electrical；Computer Engineering, Ben‑Gurion University of the Negev；2 Information Coding Division, Link \"o ping University
针对随机线性老虎机中模仿者可通过观察拉臂频率推断最佳臂的问题，本文提出无需密钥或密码学原语的编码臂安全算法，在接近 minimax 最优识别指数的同时几乎不泄露最佳臂信息。
2025-07-28 cs.LG
Stochastically Constrained Best Arm Identification with Thompson Sampling
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The University of Hong Kong（香港大学）
本文针对多性能度量下的随机约束最佳臂识别问题，首次提出基于 Thompson sampling 的采样算法，并证明其后验收敛速率的渐近最优性，数值实验验证了性能优势。
2025-01-07 cs.LG
Multiple Identifications in Multi-Armed Bandits
Princeton University（普林斯顿大学）
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
针对分组老虎机中需满足属性奖励阈值约束的最优臂识别问题，刻画了策略性能基本极限，提出接近最优的基于置信区间的策略并提供理论保证，仿真验证其性能优于两种改进的动作消除策略。
2024-12-11 cs.LG
Open Problem: Best Arm Identification: Almost Instance-Wise Optimality and the Gap Entropy Conjecture
Tsinghua University（清华大学）
最佳手臂识别问题（BEST-1-ARM）是随机多臂强盗中最基本的纯探索问题。这个问题由来已久，在过去十年中引起了极大的关注。然而，我们还没有一个完整的理解的最佳样本复杂性的问题：国家的最先进的算法实现了样本复杂性$O(\sum_{i=2}^{n} Δ_{i}^{-2}(\lnδ^{-1} + \ln\lnΔ_i^{-1}))$（$Δ_{i}$是最大的平均值和$i^{th}$平均值之间的差异），而最知名的下限是$Ω(\sum_{i=2}^{n} Δ_{i}^{-2}\lnδ^{-1})$的一般情况和$Ω(Δ^{-2} \ln\ln Δ^{-1})$的双臂实例。我们建议研究最佳1臂问题的实例最优性。以往的工作已经证明，这是不可能有一个实例优化算法的2臂问题。然而，我们猜想，模的加法项$Ω(Δ_2^{-2} \ln\ln Δ_2^{-1})$（这是一个上限和最坏情况下的2-arm问题的下限），有一个实例优化算法的最佳-1-ARM。此外，我们引入了一个新的量，称为间隙熵的最佳-arm问题的实例，并推测它是实例的下限。因此，解决这个猜想将为这个古老而基本的问题提供最终答案。
2016-05-27 cs.LG
Best Arm Identification in Generalized Linear Bandits
Stanford University（斯坦福大学）
受药物设计的启发，我们考虑了广义线性Bandits中的最佳臂识别问题。更具体地说，我们假设每个手臂都有一个协变量向量，有一个未知的参数向量，这些参数向量在手臂之间是共同的，并且广义线性模型捕获了奖励对协变量和参数向量的依赖性。问题是最小化识别具有足够高概率的足够接近最优的臂所需的臂拉动的数量。基于线性强盗最佳臂识别的最新进展（Xu et al. 2018），我们提出了第一个广义线性强盗最佳臂识别算法，为其准确性和采样效率提供了理论保证，并通过仿真评估其在各种场景下的性能。
2019-05-20 cs.LG stat.ML
EVaR-Optimal Arm Identification in Bandits
UMPA, ENS de Lyon（里昂高等师范学院 UMPA）；UMPA/LIP ENS de Lyon（里昂高等师范学院 UMPA/LIP）
本研究在赌博机框架下，针对熵值风险准则提出固定置信度最优臂识别算法，并证明其样本复杂度下界渐近匹配，满足高风险场景的风险规避需求。
2025-10-06 cs.LG
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂，同时最大限度地减少抽样预算。我们设计了一个简单的算法，其采样复杂度匹配已知的实例特定的下界，渐近几乎肯定和预期。该算法依赖于手臂采样规则，该规则跟踪手臂绘制的最佳比例，并且可以像我们希望的那样很少更新，而不会损害其理论保证。此外，与现有的最佳臂识别策略，我们的算法使用的停止规则，不依赖于武器的数量。实验结果表明，我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们认为最好的武器识别的问题，在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中，多个武器被顺序播放，直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈，因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪，结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构，明确依赖于手臂的平均回报，而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization
Cambridge University（剑桥大学）；University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
我们解决的问题，找到一个非线性光滑函数的最大化，只能评估逐点，受限制的数量允许的功能评估。这个问题在多臂强盗文献中也被称为固定预算最佳臂识别。我们引入了贝叶斯方法，这个问题，并表明它的经验优于现有的频率论和其他贝叶斯优化方法。贝叶斯方法强调详细的建模，包括对武器之间的相互关系建模。因此，它可以很好地执行的情况下，手臂的数量远远大于允许的功能评估的数量，而频率论的对应物是不适用的。此功能使我们能够开发和部署实际应用程序，例如自动机器学习工具箱。本文提出了全面的比较所提出的方法，汤普森采样，经典的贝叶斯优化技术，最近的贝叶斯强盗的方法，和国家的最先进的最好的手臂识别方法。这是许多这些方法在文献中的第一次比较，使我们能够检查其不同功能的相对优点。
2013-11-11 cs.LG stat.ML
Multi-thresholding Good Arm Identification with Bandit Feedback
Informatics Dept, Faculty of Information Science and Electrical Engineering, Kyushu University, Japan（信息学系，信息科学与电气工程学部，九州大学，日本）；Computational Learning Theory Team, RIKEN-AIP, Fukuoka, 819-0395, Japan（计算学习理论团队，日本理化学研究所-AIP，福冈，日本）
研究多目标随机bandit中的好臂识别问题，提出MultiTUCB算法，在合成和真实数据集上表现优于基线方法。
2025-06-26 cs.LG
Bayesian Fixed-Budget Best-Arm Identification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；AWS AI Labs（AWS人工智能实验室）
针对贝叶斯设定下的固定预算最优臂识别问题，提出贝叶斯消除算法，推导了首个依赖分布的错误识别概率上界，证明2臂场景下上下界几乎匹配，实验显示该算法优于频率派方法且性能比肩无保证的最优贝叶斯算法。
2023-06-15 cs.LG stat.ML
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam（波茨坦大学）
本文研究了在$K$ -武装随机强盗环境下，具有\textit{fixed budget $T$}的\textit{best arm identification}问题，其中武器分布定义在$[0,1]$上.我们证明，任何强盗策略，至少有一个强盗问题的复杂性$H$，将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$，其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法，这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的，因此，目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Trajectory-Aware Best-Arm Identification for Local Search Allocation in Bayesian Optimization and Beyond
Fujitsu Limited（富士通有限公司）
提出一种结合最佳臂识别与信任区域贝叶斯优化的轨迹感知框架，通过预测局部优化器最终性能并逐步淘汰次优候选，加速多模态函数全局优化。
2026-10-06 cs.LG
Differential Good Arm Identification
本文提出可微的好臂识别算法DGAI，以数据驱动方式改进最先进HDoC算法的样本复杂度，并在给定阈值作为先验时提升一般多臂老虎机性能，实验证实在合成与真实数据集上显著优于基线。
2024-02-16 cs.LG stat.ML
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin（威斯康星大学）；UCLA（加州大学洛杉矶分校）
受超参数优化任务的启发，我们引入了非随机最佳臂辨识问题。在多臂强盗文献中，累积后悔目标在非随机和随机环境下都有算法和分析，而据我们所知，最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置，确定一个已知的算法，非常适合这种设置，并分析其行为。接下来，通过利用标准机器学习算法的迭代性质，我们将超参数优化作为非随机最佳臂识别的实例，并根据经验评估我们提出的算法。我们的实证结果表明，通过分配更多的资源，有前途的超参数设置，我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对固定预算下随机线性老虎机，提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen，利用 G-最优设计与连续消除，实现错误概率指数衰减。
2025-05-24 cs.LG
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University（耶鲁大学）；Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））；Bar-Ilan University（巴伊兰大学）
我们研究的最佳武器识别问题的多武装土匪随机，潜在的私人奖励，当目标是确定在一个固定的，规定的水平与最高分位数的手臂。首先，我们提出了一个（非私有）连续消除算法的严格最优最佳臂识别，我们证明了我们的算法是$δ$ -PAC，我们描述了它的样本复杂度。此外，我们提供了一个下限的预期数量的拉动，表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距，特别是分位数土匪问题，我们表明，当差距接近零，最佳臂识别是不可能的。其次，出于应用程序的奖励是私人的，我们提供了一个差分私人连续消除算法的样本复杂度是有限的，即使是无限的支持大小的分布，我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Sample Complexity of an Adversarial Attack on UCB-based Best-arm Identification Policy
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在这项工作中，我研究的问题的对抗扰动奖励，在多臂强盗（MAB）设置。具体来说，我专注于对抗攻击的UCB型最佳臂识别策略应用于随机MAB。[1]中提出的UCB攻击导致非常频繁地拉动目标臂K。利用文献[1]的攻击模型，推导出了选择目标臂K作为最佳臂所需的样本复杂度，证明了文献[2]中给出的基于UCB的最佳臂识别算法的停止条件，可以由目标臂K在T轮内达到，其中T仅取决于臂的总数和臂的$σ^2-$亚高斯随机奖励的$σ$参数。
2022-09-13 cs.AI cs.CR cs.LG
Rate-optimal Bayesian Simple Regret in Best Arm Identification
Stern School of Business, New York University（纽约大学斯特恩商学院）；AI Lab, CyberAgent, Inc.（CyberAgent公司人工智能实验室）；School of Electrical Engineering and Computer Science, KTH（瑞典皇家理工学院电气工程与计算机科学学院）；Columbia Business School, Columbia University（哥伦比亚大学哥伦比亚商学院）
本文研究多臂老虎机最优臂识别，在连续先验下刻画贝叶斯简单遗憾速率，提出简单算法使首项匹配下界至常数因子，并经仿真验证。
2023-07-26 cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个变种的最佳武器识别（BAI）问题的多武装匪徒（MAB），其中有两套武器（源和目标），目标是确定最佳的目标手臂，而只拉源武器。在本文中，我们研究的设置时，尽管手段是未知的，有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题，并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法，以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面，这些问题在典型的BAI设置中不会出现，并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们认为最好的武器识别问题，在多武装土匪，纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂，每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架，其中的武器被解雇迭代，直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果，我们开发了一种算法，根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法，表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果，我们的实验表明，非线性算法优于国家的最先进的。我们最后研究的侧观察模型，拉一只手臂揭示了其相关的武器的奖励，我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
本文提出FCSR算法，用于在分组老虎机中实现固定预算约束下的最佳臂识别，通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们考虑的问题，最好的武器识别在多武装匪徒在固定的信心设置，其中的目标是确定，概率$1-δ$为一些$δ>0$，最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下，对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架，捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式，从另一个手臂的奖励实现。我们提出的算法C-LUCB，它概括了LUCB算法利用这部分知识的相关性，大幅降低样本的复杂性最好的手臂识别。更有趣的是，我们表明，由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$，而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和，该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置，可以与$2$一样小，因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Open Problem: Optimal Best Arm Identification with Fixed Budget
Columbia University（哥伦比亚大学）
自Bubeck et al.（2009）和Audibert et al.（2010）以来，最佳臂识别或纯探索问题在COLT社区受到了广泛关注。对于任何具有唯一最佳臂的bandit实例，其在所谓的固定置信度设置中的渐近复杂性已在Garivier和Kaufmann（2016）和Bauff（1959）中完全描述，而对其在称为固定预算设置的“对偶”设置中的渐近复杂性知之甚少。本文讨论了固定预算情形下实例依赖的渐近复杂度的公开问题和解决方法。
2023-03-02 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University（清华大学）
在最佳- $K$识别问题（Best- $K$ -Arm）中，我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度，通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机，并在过去的十年中引起了相当大的关注。在本文中，我们提出了新的实用算法的最佳- $K$ -手臂问题，它具有接近最佳的样本复杂性边界（匹配的下限对数因子），并优于最佳- $K$ -手臂问题（即使是$K=1$）在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
On the Optimal Sample Complexity for Best Arm Identification
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院）
我们研究最佳手臂识别（BEST-1-ARM）问题，定义如下。我们给出了$n$随机强盗臂。$i$第th臂具有奖励分布$D_i$，其具有未知的平均值$μ_{i}$。每次使用$i$ th手臂时，我们可以获得奖励，i.i.d.采样。来自$D_i$。我们希望使用尽可能少的样本，以至少$1-δ$的概率确定具有最大平均值的臂。我们提供了一个非平凡的算法BEST-1-ARM，这提高了几个前上界相同的问题。我们还研究了一个重要的特殊情况下，只有两个手臂，我们称之为符号问题。本文给出了一个新的符号下界，简化并推广了Farrell在1964年的一个经典结果，给出了一个全新的证明。利用这个新的符号下界，我们通过一个有趣的从符号到BEST-1-ARM的约简，得到了BEST-1-ARM的第一个超越经典Mannor-Tsitsiklis下界的下界，并从实例最优性的角度对BEST-1-ARM的最优样本复杂度提出了一个有趣的猜想.
2016-08-23 cs.DS cs.LG
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）；IIT Madras（印度理工学院马德拉斯分校）
传统的多臂强盗（MAB）公式通常对底层武器的分布做出某些假设，例如支持的边界或它们的尾部行为。此外，这种参数信息通常被“烘焙”到算法中。在本文中，我们表明，专门的算法，利用这样的参数信息时，参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的：（i）我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置，及（ii）我们提出了两类算法是渐近接近最优的。此外，我们考虑了一个风险意识的最佳臂识别标准，其中与每个臂相关的目标是平均值和条件风险值（CVaR）的线性组合。在整个过程中，我们做了一个非常温和的“有界矩”假设，这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Covariance Adaptive Best Arm Identification
Laboratoire des Signaux et Systèmes, CentraleSupéléc, Université Paris-Saclay（巴黎萨克雷大学中央高等电子学院信号与系统实验室）；Laboratoire de mathématiques d’Orsay, Université Paris-Saclay（巴黎萨克雷大学奥赛数学实验室）；INRAE（法国国家农业食品与环境研究院）；Institut Agro（农业学院）；Univ Montpellier（蒙彼利埃大学）
针对多臂老虎机最佳臂识别问题，提出协方差自适应算法，利用臂间依赖关系提高识别效率，并给出理论保证与下界。
2023-12-20 cs.LG stat.ML
Parallel Best Arm Identification in Heterogeneous Environments
Indiana University（印第安纳大学）
该研究聚焦异构协同学习模型中最优臂识别的时间与通信轮数权衡问题，通过证明几乎紧的上下界，证实异构场景下的协同学习在时间-轮数权衡上本质难于同构场景。
2024-04-18 cs.DS cs.LG
Robust Best-arm Identification in Linear Bandits
University College London（伦敦大学学院）；MediaTek Research（联发科技研究院）
该研究针对线性奖励下的鲁棒最优臂识别问题，提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法，经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics（上海财经大学）；Columbia University（哥伦比亚大学）
针对批处理多臂老虎机的最优臂识别问题，提出通用线性规划框架及两阶段算法，兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
Optimal Multi-Fidelity Best-Arm Identification
DEIB, Politecnico di Milano（迪埃布（DEIB），米兰理工学院）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL（里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9189-CRIStAL）
本文针对多保真度最佳臂识别问题，提出紧的下界和基于梯度的渐近最优算法，并揭示每臂最优保真度概念。
2025-05-26 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon（里昂高等师范学院）
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案（提供通过一个简化的分析无约束的情况下）。在此算法的基础上，我们提出了一个渐近最优的策略。此外，我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别（BAI）是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了，但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象，但到目前为止，这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题，本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Best-Arm Identification with Noisy Actuation
University of California, Los Angeles（加州大学洛杉矶分校）；Meta, Central Applied Science（Meta中央应用科学部）
研究在分布式代理间通过离散无记忆信道传递臂命令时最优臂识别问题，提出通信方案及其分析，与信道的零错误容量相关。
2026-04-02 cs.IT cs.LG math.IT
Fixed Confidence Best Arm Identification in the Bayesian Setting
Universitá degli Studi di Milano（米兰大学）；New York University（纽约大学）；The University of Queensland（昆士兰大学）
该研究针对贝叶斯场景下的固定置信度最优臂识别问题，证明传统频率论FC-BAI算法在该场景下性能次优，推导了期望采样次数下界，提出匹配该下界（仅差对数因子）的连续消除变体算法并通过仿真验证。
2024-06-23 cs.LG stat.ML
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southern Denmark（南丹麦大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
2022-03-07 cs.LG stat.ML
Cost Aware Best Arm Identification
University of Michigan（密歇根大学）
本文提出成本感知的最佳臂识别（CABAI）问题，推导理论下界，并设计CTAS和Chernoff Overlap两种算法，以最小期望成本识别最大奖励臂，证明其在简化模型中渐近最优且数值实验中表现接近最优。
2024-07-01 cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen（图宾根大学）；Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；Google DeepMind（谷歌DeepMind）
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题，提出一种基于先验信息和环境结构的固定分配算法，并给出理论界，通过新证明方法获得更紧的界，实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Pure Exploration for Constrained Best Mixed Arm Identification with a Fixed Budget
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
本文提出固定预算下约束最优混合臂识别问题，并设计无参数的SFSR算法，结合逐次拒绝与得分函数准则，理论上误识别概率指数衰减，实证验证有效。
2024-05-23 cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science（印度科学学院）；Israel Institute of Technology (Technion)（以色列理工学院（Technion））
在固定置信度下，给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人（2012年）的著名LUCB算法，通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念，并且与几种方法相比，具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性，在许多情况下显示出最优性。数值结果表明，与其他算法相比，我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Box Thirding: Anytime Best Arm Identification under Insufficient Sampling
Department of Statistics, Seoul National University, Seoul, Republic of Korea（统计系，首尔国立大学）
Box Thirding算法在有限预算下通过迭代三分比较实现高效最佳臂识别，无需预知预算参数，且在实验中表现出更优的性能。
2026-02-20 cs.LG stat.ML
The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret
University of Southern California（南加州大学）
在经典的贝叶斯不安分多臂强盗（RMAB）问题中，存在$N$臂，每个臂上的奖励在每个时刻以参数已知的马尔可夫链形式演化.玩家寻求在每次激活$K \geq 1$臂，以便最大化在多次游戏中获得的预期总奖励。RMAB是一个具有挑战性的问题，通常被认为是PSPACE困难的。在这项工作中，我们认为更难的非贝叶斯RMAB，其中的马尔可夫链的参数被假定为未知的\emph{a priori}。我们开发了一个原始的方法来解决这个问题，适用于当相应的贝叶斯问题的结构，根据已知的参数值，最优解是一个规定的有限集的政策。在这样的设置中，我们建议学习的最佳政策，非贝叶斯RMAB采用一个合适的元政策，把每个政策从这个有限集作为一个手臂在一个不同的非贝叶斯多臂强盗问题的单臂选择政策是最佳的。我们证明了这种方法，通过开发一种新的感知策略，在未知的动态信道上的机会频谱接入。我们证明了我们的策略实现了接近对数的遗憾（与模型感知的精灵相比，预期奖励的差异），这导致了在已知模型下最优策略可以实现的相同平均奖励。这是第一个这样的结果在文献中的非贝叶斯RMAB。
2010-11-22 cs.LG cs.NI math.OC
Optimal Best-Arm Identification Methods for Tail-Risk Measures
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究所）
条件风险价值（CVaR）和风险价值（VaR）是金融和保险行业以及高度可靠，安全关键的不确定环境中常用的尾部风险度量，其中潜在的概率分布通常是重尾的。我们使用多臂强盗最佳臂识别框架，并考虑从众多具有最小的CVaR，VaR，或加权总和的CVaR和均值的臂识别的问题。后者抓住了金融中常见的风险回报权衡。我们的主要贡献是一个最佳的$δ$正确的算法，作用于一般武器，包括重尾分布，并匹配所需的样本的预期数量的下限，渐近（作为$δ$方法$0$）。该算法需要解决概率测度空间中的非凸优化问题，这需要精细的分析。途中，我们开发了新的非渐近的经验似然为基础的浓度不等式的尾部风险的措施，这是严格的比流行的截断为基础的经验估计。
2021-06-22 cs.LG stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University（耶鲁大学）
研究固定预算最佳臂识别问题，对比算法与静态预言机，证明对于任意\(K\geq3\)及特定奖励，任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍，回答了相关开放问题。
2026-07-14 cs.LG stat.ML
