Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法,在线性与广义线性模型中给出分析及G-最优设计实现,并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
An Algorithm for Fixed Budget Best Arm Identification with Combinatorial Exploration
Department of Electrical Engineering, IIT Delhi(电子工程系,德里理工学院)
本文提出一种带组合探索的固定预算最佳臂识别算法,通过构建log2K个组并执行似然比检验来确定最佳臂,基于新参数H4推导误差上界,并在特定情况下优于现有算法。
2026-01-28 cs.LG
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine(巴黎文理研究大学-巴黎多芬大学);CNRS(法国国家科学研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Liverpool University(利物浦大学)
我们引入了一个新的图形双线性强盗问题的学习者(或\emph{central entity})分配武器的节点图,并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题,其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状,我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是,我们表征的图形结构(如星,完整或圆)的收敛速度的影响,并提出实证实验,证实这种依赖。
2021-06-10 cs.LG
Secure Best Arm Identification in the Presence of a Copycat
1 School of Electrical;Computer Engineering, Ben‑Gurion University of the Negev;2 Information Coding Division, Link \"o ping University
针对随机线性老虎机中模仿者可通过观察拉臂频率推断最佳臂的问题,本文提出无需密钥或密码学原语的编码臂安全算法,在接近 minimax 最优识别指数的同时几乎不泄露最佳臂信息。
2025-07-28 cs.LG
Stochastically Constrained Best Arm Identification with Thompson Sampling
City University of Hong Kong(香港城市大学);National University of Singapore(新加坡国立大学);The University of Hong Kong(香港大学)
本文针对多性能度量下的随机约束最佳臂识别问题,首次提出基于 Thompson sampling 的采样算法,并证明其后验收敛速率的渐近最优性,数值实验验证了性能优势。
2025-01-07 cs.LG
Multiple Identifications in Multi-Armed Bandits
Princeton University(普林斯顿大学)
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法,该算法基于对看似不好的武器的连续拒绝,以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是,我们表明,这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
针对分组老虎机中需满足属性奖励阈值约束的最优臂识别问题,刻画了策略性能基本极限,提出接近最优的基于置信区间的策略并提供理论保证,仿真验证其性能优于两种改进的动作消除策略。
2024-12-11 cs.LG
Open Problem: Best Arm Identification: Almost Instance-Wise Optimality and the Gap Entropy Conjecture
Tsinghua University(清华大学)
最佳手臂识别问题(BEST-1-ARM)是随机多臂强盗中最基本的纯探索问题。这个问题由来已久,在过去十年中引起了极大的关注。然而,我们还没有一个完整的理解的最佳样本复杂性的问题:国家的最先进的算法实现了样本复杂性$O(\sum_{i=2}^{n} Δ_{i}^{-2}(\lnδ^{-1} + \ln\lnΔ_i^{-1}))$($Δ_{i}$是最大的平均值和$i^{th}$平均值之间的差异),而最知名的下限是$Ω(\sum_{i=2}^{n} Δ_{i}^{-2}\lnδ^{-1})$的一般情况和$Ω(Δ^{-2} \ln\ln Δ^{-1})$的双臂实例。我们建议研究最佳1臂问题的实例最优性。以往的工作已经证明,这是不可能有一个实例优化算法的2臂问题。然而,我们猜想,模的加法项$Ω(Δ_2^{-2} \ln\ln Δ_2^{-1})$(这是一个上限和最坏情况下的2-arm问题的下限),有一个实例优化算法的最佳-1-ARM。此外,我们引入了一个新的量,称为间隙熵的最佳-arm问题的实例,并推测它是实例的下限。因此,解决这个猜想将为这个古老而基本的问题提供最终答案。
2016-05-27 cs.LG
Best Arm Identification in Generalized Linear Bandits
Stanford University(斯坦福大学)
受药物设计的启发,我们考虑了广义线性Bandits中的最佳臂识别问题。更具体地说,我们假设每个手臂都有一个协变量向量,有一个未知的参数向量,这些参数向量在手臂之间是共同的,并且广义线性模型捕获了奖励对协变量和参数向量的依赖性。问题是最小化识别具有足够高概率的足够接近最优的臂所需的臂拉动的数量。基于线性强盗最佳臂识别的最新进展(Xu et al. 2018),我们提出了第一个广义线性强盗最佳臂识别算法,为其准确性和采样效率提供了理论保证,并通过仿真评估其在各种场景下的性能。
2019-05-20 cs.LG stat.ML
EVaR-Optimal Arm Identification in Bandits
UMPA, ENS de Lyon(里昂高等师范学院 UMPA);UMPA/LIP ENS de Lyon(里昂高等师范学院 UMPA/LIP)
本研究在赌博机框架下,针对熵值风险准则提出固定置信度最优臂识别算法,并证明其样本复杂度下界渐近匹配,满足高风险场景的风险规避需求。
2025-10-06 cs.LG
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂,同时最大限度地减少抽样预算。我们设计了一个简单的算法,其采样复杂度匹配已知的实例特定的下界,渐近几乎肯定和预期。该算法依赖于手臂采样规则,该规则跟踪手臂绘制的最佳比例,并且可以像我们希望的那样很少更新,而不会损害其理论保证。此外,与现有的最佳臂识别策略,我们的算法使用的停止规则,不依赖于武器的数量。实验结果表明,我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Multi-Player Multi-Armed Bandits with Finite Shareable Resources Arms: Learning Algorithms & Applications
The Chinese University of Hong Kong(香港中文大学);Chongqing University(重庆大学)
多人多臂强盗(MMAB)研究分散的玩家如何合作玩同一个多臂强盗,以最大化他们的总累积奖励。现有的MMAB模型大多假设当多个玩家拉动同一只手臂时,他们要么发生碰撞并获得零奖励,要么没有碰撞并获得独立奖励,这两种情况在实际场景中通常都过于限制。在本文中,我们提出了一个MMAB与共享资源作为扩展的冲突和非冲突设置。每个可共享的手臂都有有限的可共享资源和一个“每次加载”的奖励随机变量,这两个变量对玩家来说都是未知的。来自可共享手臂的奖励等于“每负载”奖励乘以拉手臂的玩家数量与手臂的最大可共享资源之间的最小值。我们考虑两种类型的反馈:共享需求信息(SDI)和共享需求意识(SDA),每一个提供不同的信号的资源共享。我们分别设计了DPE-SDI和SIC-SDA算法来解决这两种反馈情况下的共享臂问题,并证明了这两种算法都具有对数遗憾,且在轮数上是紧的.我们进行模拟来验证这两种算法的性能,并展示它们在无线网络和边缘计算中的实用性。
2022-04-28 cs.LG
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们认为最好的武器识别的问题,在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中,多个武器被顺序播放,直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈,因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪,结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构,明确依赖于手臂的平均回报,而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Multi-thresholding Good Arm Identification with Bandit Feedback
Informatics Dept, Faculty of Information Science and Electrical Engineering, Kyushu University, Japan(信息学系,信息科学与电气工程学部,九州大学,日本);Computational Learning Theory Team, RIKEN-AIP, Fukuoka, 819-0395, Japan(计算学习理论团队,日本理化学研究所-AIP,福冈,日本)
研究多目标随机bandit中的好臂识别问题,提出MultiTUCB算法,在合成和真实数据集上表现优于基线方法。
2025-06-26 cs.LG
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam(波茨坦大学)
本文研究了在$K$ -武装随机强盗环境下,具有\textit{fixed budget $T$}的\textit{best arm identification}问题,其中武器分布定义在$[0,1]$上.我们证明,任何强盗策略,至少有一个强盗问题的复杂性$H$,将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$,其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法,这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的,因此,目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Learning with a Budget: Identifying the Best Arm with Resource Constraints
Department of Industrial Systems Engineering & Management(工业系统工程与管理系)
本文提出SH-RR算法,在资源约束下有效识别最佳臂,统一了随机和确定性消耗设置的理论分析。
2026-02-27 cs.LG
Differential Good Arm Identification
本文提出可微的好臂识别算法DGAI,以数据驱动方式改进最先进HDoC算法的样本复杂度,并在给定阈值作为先验时提升一般多臂老虎机性能,实验证实在合成与真实数据集上显著优于基线。
2024-02-16 cs.LG stat.ML
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin(威斯康星大学);UCLA(加州大学洛杉矶分校)
受超参数优化任务的启发,我们引入了非随机最佳臂辨识问题。在多臂强盗文献中,累积后悔目标在非随机和随机环境下都有算法和分析,而据我们所知,最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置,确定一个已知的算法,非常适合这种设置,并分析其行为。接下来,通过利用标准机器学习算法的迭代性质,我们将超参数优化作为非随机最佳臂识别的实例,并根据经验评估我们提出的算法。我们的实证结果表明,通过分配更多的资源,有前途的超参数设置,我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University(哈佛大学)
我们解决的M-最好的手臂识别问题,在多武装匪徒。玩家只有有限的预算来探索K条手臂(M<K),一旦被拉动,每条手臂都会从一个固定的未知分布中(独立地)获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法,在轮中进行迭代停用武器。在每一轮,预算除以剩余手臂的非线性函数,并且手臂被相应地拉动。基于决策规则,可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征,并建立非线性预算分配证明是有用的不同的问题环境(描述的竞争武器的数量)。我们提供了全面的数值实验表明,我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对固定预算下随机线性老虎机,提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen,利用 G-最优设计与连续消除,实现错误概率指数衰减。
2025-05-24 cs.LG
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University(耶鲁大学);Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));Bar-Ilan University(巴伊兰大学)
我们研究的最佳武器识别问题的多武装土匪随机,潜在的私人奖励,当目标是确定在一个固定的,规定的水平与最高分位数的手臂。首先,我们提出了一个(非私有)连续消除算法的严格最优最佳臂识别,我们证明了我们的算法是$δ$ -PAC,我们描述了它的样本复杂度。此外,我们提供了一个下限的预期数量的拉动,表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距,特别是分位数土匪问题,我们表明,当差距接近零,最佳臂识别是不可能的。其次,出于应用程序的奖励是私人的,我们提供了一个差分私人连续消除算法的样本复杂度是有限的,即使是无限的支持大小的分布,我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Sample Complexity of an Adversarial Attack on UCB-based Best-arm Identification Policy
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在这项工作中,我研究的问题的对抗扰动奖励,在多臂强盗(MAB)设置。具体来说,我专注于对抗攻击的UCB型最佳臂识别策略应用于随机MAB。[1]中提出的UCB攻击导致非常频繁地拉动目标臂K。利用文献[1]的攻击模型,推导出了选择目标臂K作为最佳臂所需的样本复杂度,证明了文献[2]中给出的基于UCB的最佳臂识别算法的停止条件,可以由目标臂K在T轮内达到,其中T仅取决于臂的总数和臂的$σ^2-$亚高斯随机奖励的$σ$参数。
2022-09-13 cs.AI cs.CR cs.LG
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University(卡内基梅隆大学)
我们考虑一个变种的最佳武器识别(BAI)问题的多武装匪徒(MAB),其中有两套武器(源和目标),目标是确定最佳的目标手臂,而只拉源武器。在本文中,我们研究的设置时,尽管手段是未知的,有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题,并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法,以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面,这些问题在典型的BAI设置中不会出现,并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们认为最好的武器识别问题,在多武装土匪,纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂,每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架,其中的武器被解雇迭代,直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果,我们开发了一种算法,根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法,表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果,我们的实验表明,非线性算法优于国家的最先进的。我们最后研究的侧观察模型,拉一只手臂揭示了其相关的武器的奖励,我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
本文提出FCSR算法,用于在分组老虎机中实现固定预算约束下的最佳臂识别,通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Trajectory-Aware Best-Arm Identification for Local Search Allocation in Bayesian Optimization and Beyond
Fujitsu Limited(富士通有限公司)
提出一种结合最佳臂识别与信任区域贝叶斯优化的轨迹感知框架,通过预测局部优化器最终性能并逐步淘汰次优候选,加速多模态函数全局优化。
2026-10-06 cs.LG
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们考虑的问题,最好的武器识别在多武装匪徒在固定的信心设置,其中的目标是确定,概率$1-δ$为一些$δ>0$,最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下,对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架,捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式,从另一个手臂的奖励实现。我们提出的算法C-LUCB,它概括了LUCB算法利用这部分知识的相关性,大幅降低样本的复杂性最好的手臂识别。更有趣的是,我们表明,由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$,而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和,该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置,可以与$2$一样小,因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Open Problem: Optimal Best Arm Identification with Fixed Budget
Columbia University(哥伦比亚大学)
自Bubeck et al.(2009)和Audibert et al.(2010)以来,最佳臂识别或纯探索问题在COLT社区受到了广泛关注。对于任何具有唯一最佳臂的bandit实例,其在所谓的固定置信度设置中的渐近复杂性已在Garivier和Kaufmann(2016)和Bauff(1959)中完全描述,而对其在称为固定预算设置的“对偶”设置中的渐近复杂性知之甚少。本文讨论了固定预算情形下实例依赖的渐近复杂度的公开问题和解决方法。
2023-03-02 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University(清华大学)
在最佳- $K$识别问题(Best- $K$ -Arm)中,我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度,通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机,并在过去的十年中引起了相当大的关注。在本文中,我们提出了新的实用算法的最佳- $K$ -手臂问题,它具有接近最佳的样本复杂性边界(匹配的下限对数因子),并优于最佳- $K$ -手臂问题(即使是$K=1$)在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下,从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心(无限地平线)设置,其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染,每个手臂的平均值只能部分识别。本文提出了两种算法,一个基于间隙的算法和一个基于逐次消除,在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计,实现了最佳的误差保证的偏差的真实均值从估计渐近。此外,这些算法渐近达到最佳的样本复杂度。具体而言,对于基于间隙的算法,样本复杂度是渐近最优的常数因子,而对于连续消除的算法,它是最优的对数因子。最后,数值实验来说明与现有的基线相比,算法的增益。
2021-11-14 cs.LG stat.ML
On the Optimal Sample Complexity for Best Arm Identification
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院)
我们研究最佳手臂识别(BEST-1-ARM)问题,定义如下。我们给出了$n$随机强盗臂。$i$第th臂具有奖励分布$D_i$,其具有未知的平均值$μ_{i}$。每次使用$i$ th手臂时,我们可以获得奖励,i.i.d.采样。来自$D_i$。我们希望使用尽可能少的样本,以至少$1-δ$的概率确定具有最大平均值的臂。我们提供了一个非平凡的算法BEST-1-ARM,这提高了几个前上界相同的问题。我们还研究了一个重要的特殊情况下,只有两个手臂,我们称之为符号问题。本文给出了一个新的符号下界,简化并推广了Farrell在1964年的一个经典结果,给出了一个全新的证明。利用这个新的符号下界,我们通过一个有趣的从符号到BEST-1-ARM的约简,得到了BEST-1-ARM的第一个超越经典Mannor-Tsitsiklis下界的下界,并从实例最优性的角度对BEST-1-ARM的最优样本复杂度提出了一个有趣的猜想.
2016-08-23 cs.DS cs.LG
The Price of Decentralization in Top-$K$ Arm Identification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究针对多智能体多臂老虎机的Top-K联合臂识别问题,设计无通信的UCB-Intervals算法,量化分析了去中心化移除通信的统计代价,证明完全非对称下样本复杂度有4倍固定惩罚。
2026-08-25 cs.LG
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot(巴黎第七大学概率与随机模型实验室);CMLA, ENS Paris Saclay(巴黎萨克雷高等师范学院应用数学与计算机科学中心);Criteo AI Lab(科睿唯安人工智能实验室)
最先进的在线学习程序集中于选择最佳替代方案(“最佳手臂识别”)或最小化成本(“遗憾”)。我们合并这两个目标提供的理论分析成本最小化算法,也是三角洲PAC(与一个证明的保证界的决策时间),因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察,校准不良的UCB算法最大限度地减少遗憾,同时仍然迅速确定最好的arm. We还扩展这些结果,许多从业者所面临的非iid的情况下。这提供了一种技术,使成本与决策时间的妥协时,做自适应测试的应用程序,从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Covariance Adaptive Best Arm Identification
Laboratoire des Signaux et Systèmes, CentraleSupéléc, Université Paris-Saclay(巴黎萨克雷大学中央高等电子学院信号与系统实验室);Laboratoire de mathématiques d’Orsay, Université Paris-Saclay(巴黎萨克雷大学奥赛数学实验室);INRAE(法国国家农业食品与环境研究院);Institut Agro(农业学院);Univ Montpellier(蒙彼利埃大学)
针对多臂老虎机最佳臂识别问题,提出协方差自适应算法,利用臂间依赖关系提高识别效率,并给出理论保证与下界。
2023-12-20 cs.LG stat.ML
Selective Sampling for Online Best-arm Identification
University of Washington(华盛顿大学)
本文研究了最佳臂识别的选择性抽样问题。给定一组潜在选项$\mathcal{Z}\subset\mathbb{R}^d$,学习者的目标是以大于$1-δ$的概率进行计算,其中$θ_{\ast}$是未知的$\arg\max_{z\in \mathcal{Z}} z^{\top}θ_{\ast}$。在每个时间步,潜在的测量$x_t\in \mathcal{X}\subset\mathbb{R}^d$被绘制IID,并且学习者可以选择进行测量,在这种情况下,他们观察到$x^{\top}θ_{\ast}$的噪声测量,或者放弃进行测量并等待可能更多信息的点到达流中。因此,学习者面临着一个基本的权衡之间的标记样本的数量,他们采取和当他们已经收集了足够的证据,宣布最好的手臂和停止采样。这项工作的主要结果精确地描述了标记样本和停止时间之间的权衡,并提供了一种算法,该算法在给定期望的停止时间的情况下几乎最优地实现了最小的标签复杂度。此外,我们表明,最佳决策规则有一个简单的几何形式的基础上,决定一个点是否在一个椭圆或没有。最后,我们的框架是一般性的,足以捕捉二进制分类改进以前的作品。
2021-11-02 cs.LG
Parallel Best Arm Identification in Heterogeneous Environments
Indiana University(印第安纳大学)
该研究聚焦异构协同学习模型中最优臂识别的时间与通信轮数权衡问题,通过证明几乎紧的上下界,证实异构场景下的协同学习在时间-轮数权衡上本质难于同构场景。
2024-04-18 cs.DS cs.LG
Robust Best-arm Identification in Linear Bandits
University College London(伦敦大学学院);MediaTek Research(联发科技研究院)
该研究针对线性奖励下的鲁棒最优臂识别问题,提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法,经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Does 1/2-Tsallis-INF Also Work Well for Best-Arm Identification?
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院)
该研究探讨 1/2-Tsallis-INF 能否用于最优臂识别,通过构造 Lyapunov 函数得出其失败概率的多项式上下界,证明指数 2 本质紧。
2026-08-18 cs.LG
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics(上海财经大学);Columbia University(哥伦比亚大学)
针对批处理多臂老虎机的最优臂识别问题,提出通用线性规划框架及两阶段算法,兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
Optimal Multi-Fidelity Best-Arm Identification
DEIB, Politecnico di Milano(迪埃布(DEIB),米兰理工学院);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL(里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9189-CRIStAL)
本文针对多保真度最佳臂识别问题,提出紧的下界和基于梯度的渐近最优算法,并揭示每臂最优保真度概念。
2025-05-26 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon(里昂高等师范学院)
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案(提供通过一个简化的分析无约束的情况下)。在此算法的基础上,我们提出了一个渐近最优的策略。此外,我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别(BAI)是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了,但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象,但到目前为止,这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题,本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Best-Arm Identification with Noisy Actuation
University of California, Los Angeles(加州大学洛杉矶分校);Meta, Central Applied Science(Meta中央应用科学部)
研究在分布式代理间通过离散无记忆信道传递臂命令时最优臂识别问题,提出通信方案及其分析,与信道的零错误容量相关。
2026-04-02 cs.IT cs.LG math.IT
Cost Aware Best Arm Identification
University of Michigan(密歇根大学)
本文提出成本感知的最佳臂识别(CABAI)问题,推导理论下界,并设计CTAS和Chernoff Overlap两种算法,以最小期望成本识别最大奖励臂,证明其在简化模型中渐近最优且数值实验中表现接近最优。
2024-07-01 cs.LG stat.ML
Pure Exploration for Constrained Best Mixed Arm Identification with a Fixed Budget
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind)
本文提出固定预算下约束最优混合臂识别问题,并设计无参数的SFSR算法,结合逐次拒绝与得分函数准则,理论上误识别概率指数衰减,实证验证有效。
2024-05-23 cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science(印度科学学院);Israel Institute of Technology (Technion)(以色列理工学院(Technion))
在固定置信度下,给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人(2012年)的著名LUCB算法,通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念,并且与几种方法相比,具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性,在许多情况下显示出最优性。数值结果表明,与其他算法相比,我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Box Thirding: Anytime Best Arm Identification under Insufficient Sampling
Department of Statistics, Seoul National University, Seoul, Republic of Korea(统计系,首尔国立大学)
Box Thirding算法在有限预算下通过迭代三分比较实现高效最佳臂识别,无需预知预算参数,且在实验中表现出更优的性能。
2026-02-20 cs.LG stat.ML
Rate-optimal Bayesian Simple Regret in Best Arm Identification
Stern School of Business, New York University(纽约大学斯特恩商学院);AI Lab, CyberAgent, Inc.(CyberAgent公司人工智能实验室);School of Electrical Engineering and Computer Science, KTH(瑞典皇家理工学院电气工程与计算机科学学院);Columbia Business School, Columbia University(哥伦比亚大学哥伦比亚商学院)
本文研究多臂老虎机最优臂识别,在连续先验下刻画贝叶斯简单遗憾速率,提出简单算法使首项匹配下界至常数因子,并经仿真验证。
2023-07-26 cs.LG stat.ML
Optimal Best-Arm Identification Methods for Tail-Risk Measures
TIFR(塔塔基础研究所);CWI(荷兰国家数学与计算机科学研究所)
条件风险价值(CVaR)和风险价值(VaR)是金融和保险行业以及高度可靠,安全关键的不确定环境中常用的尾部风险度量,其中潜在的概率分布通常是重尾的。我们使用多臂强盗最佳臂识别框架,并考虑从众多具有最小的CVaR,VaR,或加权总和的CVaR和均值的臂识别的问题。后者抓住了金融中常见的风险回报权衡。我们的主要贡献是一个最佳的$δ$正确的算法,作用于一般武器,包括重尾分布,并匹配所需的样本的预期数量的下限,渐近(作为$δ$方法$0$)。该算法需要解决概率测度空间中的非凸优化问题,这需要精细的分析。途中,我们开发了新的非渐近的经验似然为基础的浓度不等式的尾部风险的措施,这是严格的比流行的截断为基础的经验估计。
2021-06-22 cs.LG stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University(耶鲁大学)
研究固定预算最佳臂识别问题,对比算法与静态预言机,证明对于任意\(K\geq3\)及特定奖励,任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍,回答了相关开放问题。
2026-07-14 cs.LG stat.ML
Dominant Arm Identification with Mixing and Recycling Observed Samples
Chung-Ang University(中央大学)
针对多臂老虎机中传统算法难识别优势臂的问题,提出带理论保证的新优势臂准则与估计器,设计近最优样本复杂度的消除算法,实验显示其优于现有方法。
2026-08-04 cs.LG stat.ML
Best arm identification in rare events
Tata Institute of Fundamental Research(塔塔基础研究所)
我们考虑随机多臂强盗框架中的最佳手臂识别问题,其中每个手臂都有很小的概率实现大的回报,而绝大多数概率的回报是零。该框架的一个关键应用是在线广告,其中广告的点击率可能是单个百分比的一小部分,并且最终转化为销售,虽然利润很高,但可能再次是点击率的一小部分。最近,BAI问题的算法已经开发出来,最大限度地减少样本的复杂性,同时提供正确的手臂选择的统计保证。正如我们所观察到的,这些算法在计算上可能是禁止的。我们利用这样一个事实,即每个手臂的奖励过程很好地近似于一个复合泊松过程,以达到更快的算法,在样本复杂性的小增加。我们分析的问题,在一个渐进的制度,奖励发生的稀有性减少到零,奖励金额增加到无穷大。这有助于说明所提出的算法的好处。它还揭示了在罕见事件设置的最佳BAI算法的底层结构。
2023-03-14 cs.LG stat.ML
Best Arm Identification with Safety Constraints
National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学)
多臂强盗环境中的最佳臂识别问题是许多现实世界决策问题的一个很好的模型,但它未能捕捉到这样一个事实,即在现实世界中,学习时通常必须满足安全约束。在这项工作中,我们研究的最佳武器识别的安全关键设置,代理的目标是找到最好的安全选项了许多,同时探索的方式,保证某些,最初未知的安全约束得到满足的问题。我们首先分析这个问题的设置中的奖励和安全约束采取线性结构,并显示几乎匹配的上限和下限。然后,我们分析了一个更一般的版本的问题,我们只假设奖励和安全约束可以由单调函数建模,并提出了一个算法,在这种设置,这是保证学习安全。最后,我们的实验结果证明了我们的方法在某些情况下的有效性,例如安全地从众多药物中选出最好的药物来治疗疾病。
2021-11-23 cs.LG stat.ML
Price of Safety in Linear Best Arm Identification
Inria Lille(里尔法国国家信息与自动化研究所);Huawei(华为);Noah’s Ark Paris(巴黎诺亚方舟实验室)
本文研究线性反馈下带逐阶段安全约束的最佳臂识别问题,提出基于间隙的算法,在保证安全的同时分析并量化了因安全约束带来的额外样本复杂度代价。
2023-09-15 cs.LG stat.ML