Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam(波茨坦大学)
本文研究了在$K$ -武装随机强盗环境下,具有\textit{fixed budget $T$}的\textit{best arm identification}问题,其中武器分布定义在$[0,1]$上.我们证明,任何强盗策略,至少有一个强盗问题的复杂性$H$,将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$,其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法,这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的,因此,目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Optimal Best Arm Identification in Two-Armed Bandits with a Fixed Budget under a Small Gap
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学);Columbia University(哥伦比亚大学)
我们考虑固定预算的最佳臂识别双臂高斯强盗问题。一个长期悬而未决的问题是存在一个最佳策略,在该策略下,错误识别的概率符合一个下限。我们证明了当期望回报之间的差距很小时,遵循Neyman分配规则(Neyman,1934)的策略是渐近最优的。首先,我们回顾了Kaufmann et al.(2016)得出的下限。然后,我们提出了“奈曼分配(NA)-增强逆概率加权(AIPW)”的策略,它包括使用奈曼分配估计标准差的抽样规则和使用AIPW估计的推荐规则。我们提出的策略是最优的,因为当预算趋于无穷大且差距趋于零时,上限与下限相匹配。
2022-12-28 cs.LG econ.EM math.ST
Quantile Bandits for Best Arms Identification
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61部门)
我们考虑随机多武装土匪的最佳武器识别任务的一个变种。出于规避风险的决策问题,我们的目标是确定一组$m$武器的最高$τ$分位数值在一个固定的预算。证明了具有非减风险率的随机变量的顺序统计量和分位数的非对称双边集中不等式,这可能是独立的兴趣。利用这些不等式,我们分析了分位数版本的连续接受和拒绝(Q-SAR)。我们推导出一个上限的概率臂错误识别,第一个理由的分位数为基础的算法固定预算多个最好的武器识别。我们展示了最佳手臂识别的说明性实验。
2023-02-21 cs.LG
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine(巴黎文理研究大学-巴黎多芬大学);CNRS(法国国家科学研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Liverpool University(利物浦大学)
我们引入了一个新的图形双线性强盗问题的学习者(或\emph{central entity})分配武器的节点图,并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题,其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状,我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是,我们表征的图形结构(如星,完整或圆)的收敛速度的影响,并提出实证实验,证实这种依赖。
2021-06-10 cs.LG
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University(哥伦比亚大学)
本文研究了半参数带its中的固定置信度最佳臂识别,通过正交化回归方法,提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University(清华大学)
在最佳- $K$识别问题(Best- $K$ -Arm)中,我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度,通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机,并在过去的十年中引起了相当大的关注。在本文中,我们提出了新的实用算法的最佳- $K$ -手臂问题,它具有接近最佳的样本复杂性边界(匹配的下限对数因子),并优于最佳- $K$ -手臂问题(即使是$K=1$)在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science(印度科学学院);Israel Institute of Technology (Technion)(以色列理工学院(Technion))
在固定置信度下,给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人(2012年)的著名LUCB算法,通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念,并且与几种方法相比,具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性,在许多情况下显示出最优性。数值结果表明,与其他算法相比,我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits
imec;Data Science Institute, Interuniversity Institute of Biostatistics and Statistical Bioinformatics, UHasselt(哈瑟尔特大学生物统计学与统计生物信息学跨大学研究所数据科学研究所)
提出首个任意时间多目标多臂老虎机算法Top-Two帕累托前沿汤普森采样(TTPFTS),用于帕累托集识别,在合成环境和超大型分子库中验证有效性,并引入不确定性量化指标。
2026-10-27 cs.AI cs.LG
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
在纯探索问题中,信息是按顺序收集的,以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究,但很少有作品致力于识别一个臂,即$\varepsilon$ -接近最佳的一个(而不是最好的一个)。在这个有多个正确答案的问题中,识别算法应该集中在这些答案中的一个候选者上,并验证它是正确的。我们表明,挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反,应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案,我们开发了一个简单的程序,以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后,我们提出了一个渐近最优算法,这种设置,这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
On the Existence of a Complexity in Fixed Budget Bandit Identification
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189-CRIStAL(UMR 9189-里尔计算机、信号与自动控制实验室)
本文研究固定预算赌博机辨识中复杂度的存在性,证明若存在复杂度则由最优非自适应采样过程决定,并指出包括双臂伯努利最佳臂辨识在内的多个任务不存在此类复杂度。
2023-06-30 cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University(耶鲁大学);Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));Bar-Ilan University(巴伊兰大学)
我们研究的最佳武器识别问题的多武装土匪随机,潜在的私人奖励,当目标是确定在一个固定的,规定的水平与最高分位数的手臂。首先,我们提出了一个(非私有)连续消除算法的严格最优最佳臂识别,我们证明了我们的算法是$δ$ -PAC,我们描述了它的样本复杂度。此外,我们提供了一个下限的预期数量的拉动,表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距,特别是分位数土匪问题,我们表明,当差距接近零,最佳臂识别是不可能的。其次,出于应用程序的奖励是私人的,我们提供了一个差分私人连续消除算法的样本复杂度是有限的,即使是无限的支持大小的分布,我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
On Elimination Strategies for Bandit Fixed-Confidence Identification
Meta AI;Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
消除算法的强盗识别,修剪合理的正确答案顺序,直到只有一个仍然是计算方便,因为他们随着时间的推移减少了问题的大小。然而,现有的消除策略往往不完全自适应(他们更新他们的采样规则不频繁),并不容易扩展到组合设置,其中的答案集是指数大的问题维度。另一方面,大多数现有的完全自适应策略,以解决一般的识别问题的计算要求,因为他们反复测试每个答案的正确性,从来没有减少问题的大小。我们表明,自适应方法可以修改为在停止和采样规则中使用消除,从而获得这两个世界中的最佳效果:算法(1)保持完全自适应,(2)遭受样本复杂度永远不会比它们的非消除对应物更差,(3)可证明早期消除某些错误答案。我们证实了这些好处的实验,消除显着提高计算复杂性的自适应方法对常见的任务,如最佳臂识别线性土匪。
2022-10-24 cs.LG stat.ML
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题,提出两种基于消除的算法,同时实现遗憾最小化与最佳臂识别,并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Best-Arm Identification in Linear Bandits
INRIA Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧分部);Microsoft Research New-England(微软新英格兰研究院);Google DeepMind(谷歌DeepMind)
研究了线性强盗中的最佳臂识别问题,其中各臂的报酬线性依赖于一个未知参数$θ^*$,目标是返回具有最大报酬的臂.我们描述了问题的复杂性,并引入了样本分配策略,拉臂,以确定最佳的手臂与固定的信心,同时最大限度地减少样本预算。特别是,我们利用全球的线性结构,以提高近最佳武器的奖励估计的重要性。我们分析了所提出的策略,并比较其实证表现。最后,作为我们分析的副产品,我们指出了连接到最优实验设计中使用的$G$ -最优性准则。
2014-11-04 cs.LG
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
本文提出FCSR算法,用于在分组老虎机中实现固定预算约束下的最佳臂识别,通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics(上海财经大学);Columbia University(哥伦比亚大学)
针对批处理多臂老虎机的最优臂识别问题,提出通用线性规划框架及两阶段算法,兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
Functional multi-armed bandit and the best function identification problems
Lomonosov Moscow State University(莫斯科罗蒙诺索夫莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skoltech(斯克里普切尔技术学院);Avito;Moscow, Russia(莫斯科,俄罗斯)
本文提出函数多臂老虎机问题和最佳函数识别问题,通过非线性优化算法构建F-LCB算法,提供 regret 上界并展示实验结果。
2026-02-17 cs.AI cs.LG math.OC
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon(里昂高等师范学院)
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案(提供通过一个简化的分析无约束的情况下)。在此算法的基础上,我们提出了一个渐近最优的策略。此外,我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别(BAI)是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了,但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象,但到目前为止,这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题,本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Offline Contextual Bandit with Counterfactual Sample Identification
Criteo AI Lab(Criteo人工智能实验室);Criteo AI Lab, Fairplay joint team(Criteo人工智能实验室,Fairplay联合团队)
针对上下文赌博机直接奖励模型易受混淆影响的问题,提出反事实样本识别方法,通过比较动作与相同上下文下的反事实动作来识别成功动作,在理论与实际应用中均优于直接模型。
2025-09-03 cs.LG
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University(卡内基梅隆大学)
我们考虑一个变种的最佳武器识别(BAI)问题的多武装匪徒(MAB),其中有两套武器(源和目标),目标是确定最佳的目标手臂,而只拉源武器。在本文中,我们研究的设置时,尽管手段是未知的,有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题,并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法,以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面,这些问题在典型的BAI设置中不会出现,并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits
University of Virginia(弗吉尼亚大学);Princeton University(普林斯顿大学);Southern University of Science and Technology(南方科技大学)
本文研究多目标提示选择问题,提出基于纯探索老虎机框架的高效方法,通过理论保证和实验验证,改进了提示优化的效率和效果。
2026-05-14 cs.AI cs.LG
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下,从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心(无限地平线)设置,其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染,每个手臂的平均值只能部分识别。本文提出了两种算法,一个基于间隙的算法和一个基于逐次消除,在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计,实现了最佳的误差保证的偏差的真实均值从估计渐近。此外,这些算法渐近达到最佳的样本复杂度。具体而言,对于基于间隙的算法,样本复杂度是渐近最优的常数因子,而对于连续消除的算法,它是最优的对数因子。最后,数值实验来说明与现有的基线相比,算法的增益。
2021-11-14 cs.LG stat.ML
On Best-Arm Identification with a Fixed Budget in Non-Parametric Multi-Armed Bandits
ENS de Lyon(里昂高等师范学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
我们奠定了一个非参数理论的最佳武器识别的多武器土匪与一个固定的预算T。我们考虑一般的,可能是非参数的,分布在手臂上的模型D;一个首要的例子是所有概率分布在[0,1]上的模型D = P(0,1)。我们提出了上界的平均对数概率的误认的最佳臂的基础上的信息理论的数量,对应于infima的Kullback-Leibler分歧之间的一些分布D和一个给定的分布。这是通过对Audibert、Bubeck和Munos(2010)的连续拒绝策略的精确分析而实现的。最后,我们提供了相同的平均对数概率的下限,也在相同的新的信息理论量方面,这些下限较大时,所考虑的策略的(自然)假设更强。所有这些新的上界和下界都是基于现有的界的推广,例如,分布之间的差距。
2023-02-06 cs.IT cs.LG math.IT
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文针对指数族随机多臂老虎机的最优臂识别问题,提出基于似然比检验的SPRT算法,实现渐近最优样本复杂度与δ-PAC保证,并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen(图宾根大学);Criteo AI Lab(Criteo人工智能实验室);CREST, ENSAE, IP Paris(CREST、ENSAE、IP巴黎);Google DeepMind(谷歌DeepMind)
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题,提出一种基于先验信息和环境结构的固定分配算法,并给出理论界,通过新证明方法获得更紧的界,实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Best Group Identification in Multi-Objective Bandits
College of Management of Technology EPFL(EPFL管理技术学院);Department of Computer Engineering(计算机工程系);Sharif University of Technology(谢里夫理工大学)
本文提出多目标老虎机中的最佳组识别问题,针对帕累托与线性两种设置设计消除算法,给出样本复杂度上下界,并通过实验验证性能。
2025-05-23 cs.LG
Quick Best Action Identification in Linear Bandit Problems
University of California, Davis(加州大学戴维斯分校)
本文研究了具有固定置信约束的随机线性Bandit系统中的最佳行动识别问题。在所考虑的最佳动作识别问题中,而不是最小化在现有的作品中所做的累积遗憾,学习者的目标是获得一个准确的估计的基础上,他的行动和奖励序列的基本参数。为了提高估计效率,学习者可以选择他的行动根据他的历史信息,因此整个过程中设计的顺序自适应的方式。我们首先表明,现有的算法设计,以尽量减少累计遗憾是不一致的估计,因此不是一个很好的政策,我们的问题。然后,我们描述了任何政策的估计误差的下限。我们进一步设计了一个简单的政策,并表明,所设计的政策的估计误差达到相同的缩放顺序推导出的下界。
2018-12-02 cs.LG stat.ML
EVaR-Optimal Arm Identification in Bandits
UMPA, ENS de Lyon(里昂高等师范学院 UMPA);UMPA/LIP ENS de Lyon(里昂高等师范学院 UMPA/LIP)
本研究在赌博机框架下,针对熵值风险准则提出固定置信度最优臂识别算法,并证明其样本复杂度下界渐近匹配,满足高风险场景的风险规避需求。
2025-10-06 cs.LG
Minimax Optimal Fixed-Budget Best Arm Identification in Linear Bandits
Institute of Operations Research and Analytics(运筹学与分析研究院);National University of Singapore(新加坡国立大学)
研究了固定预算下线性强盗的最佳臂识别问题。通过利用G-最优设计的性质,并将其纳入手臂分配规则,我们设计了一个无参数的算法,基于最优设计的线性最佳手臂识别(OD-LinBAI)。我们提供了一个理论分析的故障概率的OD-LinBAI。OD-LinBAI的性能仅取决于顶部$d$臂的间隙,而不是所有的最优性间隙,其中$d$是线性Bandit实例的有效维度。作为补充,我们给出了这个问题的极大极小下界。上界和下界表明,OD-LinBAI在指数中的常数乘法因子下是最小最大最优的,这是对现有方法的重大理论改进(例如,BayesGap,Peace,LinearExploration和GSE),并解决了在固定预算环境下学习最佳手臂的难度问题。最后,数值实验证明了相当大的经验改进现有的算法在各种真实和合成数据集。
2022-09-21 cs.IT cs.LG math.IT
Polynomial-time Algorithms for Multiple-arm Identification with Full-bandit Feedback
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所革新智能综合研究中心)
我们研究了随机组合纯探索(CPE)的问题,其中一个代理顺序地拉动一组单臂(a.k.a.在CPE的各种问题设置中,我们专注于全强盗设置,在那里我们不能观察每个单臂的奖励,而只能观察奖励的总和。虽然我们可以将具有全Bandits反馈的CPE视为线性Bandits中的纯探索的特殊情况,但是基于线性Bandits的方法在计算上是不可行的,因为超级臂的数量可能是指数的。在本文中,我们首先提出了一个多项式时间的强盗算法的CPE一般组合约束下,并提供了一个上界的样本复杂度。其次,我们设计了一个近似算法的0-1二次最大化问题,这出现在许多强盗算法的置信椭球。基于我们的近似算法,我们提出了新的bandit算法的top-k选择问题,并证明了我们的算法运行在多项式时间。最后,我们在合成数据集和真实数据集上进行了实验,并从计算时间和样本复杂度两个方面证实了我们理论分析的有效性。
2019-06-01 cs.DS cs.LG stat.ML
Best-Arm Identification in Unimodal Bandits
Bocconi University(博科尼大学);EPFL(苏黎世联邦理工学院);Univ. Lille(里尔大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189-CRIStAL(9189-CRIStAL联合实验室)
本研究针对单峰老虎机的最优臂识别问题,提出了利用单峰结构的Track-and-Stop和Top Two算法改进,实现了渐近最优或接近最优的性能,并提供了理论保证和实证验证。
2025-05-26 cs.AI cs.LG
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California(南加州大学)
我们考虑的问题,通过自适应采样,$n$选项(武器)具有最大的平均值。我们的目标是确定一个规则,确定一个固定的最低置信度,使用尽可能少的观察,即最好的武器,这是一个固定的信心(FC)最好的武器识别(BAI)在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”(VT)的规则,采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置,并通过早期消除得到改善。我们的分析表明,这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”(PW)算法。数值结果表明,这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法,在线性与广义线性模型中给出分析及G-最优设计实现,并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
Best arm identification in multi-armed bandits with delayed feedback
Stanford University(斯坦福大学);University of Michigan(密歇根大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一个泛化的最佳手臂识别问题,在随机多臂土匪(MAB)的设置,每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度,但是如果我们能够访问在拉取完成之前接收到的部分反馈,则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系,作为一个特殊的情况下,我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外,我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置,涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设,表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对固定预算下随机线性老虎机,提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen,利用 G-最优设计与连续消除,实现错误概率指数衰减。
2025-05-24 cs.LG
Best Arm Identification in Bandits with Limited Precision Sampling
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);National University of Singapore(新加坡国立大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对有限精度采样下的多臂老虎机最佳臂识别问题,提出渐近最优的跟踪算法,并给出停止时间的下界与上界。
2023-05-10 cs.AI cs.IT cs.LG
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong(香港城市大学);Northwest Polytechnical University(西北工业大学)
该研究针对多目标老虎机场景,提出少对多最优臂识别问题,设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法,证明其样本复杂度保证,通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Robust Best-arm Identification in Linear Bandits
University College London(伦敦大学学院);MediaTek Research(联发科技研究院)
该研究针对线性奖励下的鲁棒最优臂识别问题,提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法,经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Fixed-Confidence Multiple Change Point Identification under Bandit Feedback
Department of Mathematics, Imperial College London, London, England(伦敦帝国学院数学系)
研究固定置信度分段常数bandit问题中的多变点识别,基于实例依赖下界设计渐近最优的Track-and-Stop变体,通过集中采样变点附近实现高效识别。
2025-07-11 cs.LG stat.ML
Near Optimal Best Arm Identification for Clustered Bandits
IIT Bombay(印度理工学院孟买分校)
针对多智能体多臂老虎机中智能体—老虎机映射未知的问题,提出 Cl-BAI 与 BAI-Cl 两种算法,给出 $δ$-PC 保证、样本复杂度界及近极小极大最优性,并验证其样本与通信效率。
2025-05-15 cs.LG cs.MA
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University(哈佛大学)
我们解决的M-最好的手臂识别问题,在多武装匪徒。玩家只有有限的预算来探索K条手臂(M<K),一旦被拉动,每条手臂都会从一个固定的未知分布中(独立地)获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法,在轮中进行迭代停用武器。在每一轮,预算除以剩余手臂的非线性函数,并且手臂被相应地拉动。基于决策规则,可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征,并建立非线性预算分配证明是有用的不同的问题环境(描述的竞争武器的数量)。我们提供了全面的数值实验表明,我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Fixed-Budget Change Point Identification in Piecewise Constant Bandits
Imperial College London(帝国理工学院)
针对分段常数老虎机中的变点定位问题,在固定预算下首次给出非渐近分析,建立大小预算机制的错误概率下界并设计近最优算法,提出同时适用于两种预算的自适应算法,实验验证了理论结果。
2025-01-22 cs.LG stat.ML
The Sampling Complexity of Condorcet Winner Identification in Dueling Bandits
UM6P College of Computing INRAE, MISTEA, Institut Agro, Univ. Rabat, Morocco Montpellier(UM6P计算学院 INRAE MISTEA 研究院 阿尔及利亚拉巴特大学 摩洛哥蒙彼利埃);INRAE, MISTEA, Institut Agro, Univ Montpellier(INRAE MISTEA 研究院 阿尔及利亚蒙彼利埃大学)
研究在随机对抗性老虎机中识别科恩茨胜利者的问题,提出利用完整的差距矩阵而非仅胜利者与其他臂的差距的新方法,并提供改进的样本复杂性保证和新的下界。
2026-11-11 cs.LG stat.ML
On the Identification and Mitigation of Weaknesses in the Knowledge Gradient Policy for Multi-Armed Bandits
Lancaster University(兰卡斯特大学)
知识梯度(KG)的政策最初提出的在线排名和选择问题,但最近已被改编为使用在一般的在线决策和多臂土匪问题(MABs),特别是。我们研究了它在一类指数家庭MABs的使用,并确定弱点,包括倾向于采取行动,这是占主导地位的剥削和勘探。我们提出了KG的变种,避免这种错误。这些新的政策包括指数启发式部署KG的方法来开发一个近似的Gittins指数。数值研究表明,这一政策的执行以及在一系列的MABs,包括那些指数政策不是最佳的。虽然KG在强盗是高斯的情况下不进行劣势动作,但它不能保持指数一致,并且在武器相关以补偿其更大的计算需求时,似乎没有比竞争对手政策更好的性能优势。
2016-10-17 cs.LG stat.ML
Semi-overlapping Multi-bandit Best Arm Identification for Sequential Support Network Learning
Department of Artificial Intelligence and Systems Engineering(人工智能与系统工程系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);E-Group ICT Software Zrt.(E-Group ICT软件公司)
本文提出半重叠多臂老虎机模型,用于高效学习支持网络,改进多老虎机最佳臂识别的误差界并提升性能保证。
2025-12-31 cs.AI cs.LG
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们考虑的问题,最好的武器识别在多武装匪徒在固定的信心设置,其中的目标是确定,概率$1-δ$为一些$δ>0$,最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下,对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架,捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式,从另一个手臂的奖励实现。我们提出的算法C-LUCB,它概括了LUCB算法利用这部分知识的相关性,大幅降低样本的复杂性最好的手臂识别。更有趣的是,我们表明,由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$,而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和,该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置,可以与$2$一样小,因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Constrained Pareto Set Identification with Bandit Feedback
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France(里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9198-CRIStAL);Univ. Bordeaux, Inserm, Inria, BPH, U1219, Sistm, F-33000 Bordeaux, France(波尔多大学、法国国家医学研究院、Inria、BPH、U1219、Sistm)
针对多目标 K 臂赌博机中的线性可行性约束,本文提出固定置信度 Pareto 集识别算法,证明其样本复杂度接近信息论下界,并在基准上优于赛马与两阶段方法。
2025-06-09 cs.LG stat.ML
Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
针对分组老虎机中需满足属性奖励阈值约束的最优臂识别问题,刻画了策略性能基本极限,提出接近最优的基于置信区间的策略并提供理论保证,仿真验证其性能优于两种改进的动作消除策略。
2024-12-11 cs.LG
Online Sign Identification: Minimization of the Number of Errors in Thresholding Bandits
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学校);UMR 9189 CRIStAL(CRIStAL联合研究单位);Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);Grenoble INP(格勒诺布尔理工学院);LJK(LJK实验室);Crest(CREST研究中心);Ensae(法国国家统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室)
在固定预算阈值强盗问题中,算法顺序地将预算数量的样本分配到不同的分布。然后,它预测每个分布的平均值是大于还是小于给定的阈值。我们介绍了一个大家庭的算法(包含大多数现有的相关),灵感来自弗兰克-沃尔夫算法,并提供了一个全面而通用的分析其性能。这使我们能够构建新的显式算法,为广泛的一类问题,其损失是在一个小的常数因子的非自适应Oracle的。非常有趣的是,我们观察到自适应方法在经验上大大优于非自适应神谕,这在标准在线学习设置中是一种不常见的行为,例如后悔最小化。我们解释这个令人惊讶的现象上有见地的玩具问题。
2021-10-18 cs.LG
Bandit Pareto Set Identification in a Multi-Output Linear Model
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9198-CRIStAL(里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL)
本文研究多输出线性bandit中的Pareto集合识别问题,提出首个基于最优设计的算法,在固定预算和固定置信度下均获近乎最优保证,并证明任务难度主要取决于h个臂的次优间隙。
2025-07-06 cs.LG stat.ML
Skyline Identification in Multi-Armed Bandits
我们介绍了一个变种的经典PAC多臂强盗问题。有一组有序的$n$臂$A[1],\dots,A[n]$,每个臂都有从某个未知的有界分布中抽取的随机奖励。目标是识别集合$A$的$skyline$,集合由所有的臂$A[i]$组成,使得$A[i]$具有比所有编号较低的臂$A[1],\dots,A[i-1]$更大的期望奖励。我们定义了一个自然的概念,一个$\varepsilon$ -近似的天际线,并证明匹配的上限和下限识别$\varepsilon$ -天际线。具体来说,我们表明,为了确定一个$\varepsilon$ -天际线之间的$n$武器概率$1-δ$,$$ Θ\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon δ}\bigg), \log\bigg(\frac{n}δ\bigg) \bigg\} \bigg) $$样本是必要的和足够的。当使用$\varepsilon \gg 1/n$时,我们的结果优于朴素算法,朴素算法提取足够的样本来近似每个手臂的预期奖励;(Auer等人,AISTATS'16)的帕累托最优手臂识别同样被取代。我们的研究结果表明,天际线问题的样本复杂性严格介于最佳手臂识别之间(Even-Dar等人,COLT'02)和接近每只手臂的预期回报。
2018-01-09 cs.LG
Bandit Pareto Set Identification: the Fixed Budget Setting
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Inserm(法国国家健康与医学研究院)
针对多臂老虎机多目标纯探索中固定预算下的帕累托集识别问题,提出经验间隙消除算法族,证明其错误概率指数衰减且有信息论下界支撑,实证验证了算法性能优异。
2025-01-13 cs.LG stat.ML
Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners
Indian Institute of Science(印度科学学院);Technion, Israel Institute of Technology(以色列理工学院)
研究了线性参数化多臂强盗的最佳臂识别问题。给定一组特征向量$\mathcal{X}\subset\mathbb{R}^d,$、置信参数$δ$和未知向量$θ^*,$,目标是识别$\arg\max_{x\in\mathcal{X}}x^Tθ^*$,概率至少为$1-δ,$,使用$x^Tθ^*.$形式的噪声测量。对于此固定置信度($δ$ -PAC)设置,我们提出了一种明确可实现且可证明的阶数最优样本复杂度算法来解决此问题。以前的方法依赖于访问极大极小优化预言机。该算法,我们称之为\textit{Phased Elimination Linear Exploration Game}(PELEG),保持一个高概率的信心椭圆包含$θ^*$在每一轮,并使用它来消除次优武器的阶段。PELEG实现了沿着最令人困惑的(即,接近,但不是最佳的)方向,通过解释问题作为两个玩家零和游戏,并使用低后悔学习器计算玩家的策略,在每一轮顺序收敛到它的鞍点。我们分析了PELEG的样本复杂性,并表明它匹配,为了,在线性强盗设置样本复杂性的实例相关的下界。我们还提供了数值计算结果,该算法符合其理论保证。
2020-06-13 cs.LG stat.ML