Multiple Identifications in Multi-Armed Bandits
Princeton University(普林斯顿大学)
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法,该算法基于对看似不好的武器的连续拒绝,以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是,我们表明,这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
On Finding the Largest Mean Among Many
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学)
从分布中抽样以找到具有最大均值的分布出现在广泛的应用中,并且可以在数学上将其建模为多臂强盗问题,其中每个分布与一个手臂相关联。本文研究了识别最佳手臂的样本复杂性(最大均值)多臂强盗问题。受大规模应用的启发,我们特别感兴趣的是确定的情况下,样本的总数是必要的和足够的,以找到最好的手臂规模与手臂的数量线性。我们提出了一个单参数的多臂强盗模型,跨越范围从线性到超线性的样本复杂性。我们还给出了一个新的算法,最佳臂识别,称为PRISM,线性样本的复杂性为广泛的平均分布。该算法,像大多数多臂土匪的探索程序,是自适应的意义上说,下一个武器的样本是根据以前的样本选择。我们比较样本的自适应程序与简单的非自适应程序使用新的下限的复杂性。对于许多问题实例,非自适应程序所需的增加的样本复杂性是臂数的多项式因子。
2013-06-17 cs.LG stat.ML
Sample complexity of partition identification using multi-armed bandits
TIFR(塔塔基础研究院(TIFR))
给定一个概率分布的向量,或臂,其中每一个都可以被独立地采样,我们考虑从这样的分布向量的一个可分割的宇宙中识别这个向量所属的分区的问题。我们研究这是一个纯粹的探索问题,在多臂强盗设置和开发样本复杂性的上限,确定正确的分区所需的样本的总平均数的高概率。这个框架包含了研究得很好的问题,如找到最好的手臂或最好的几个手臂。我们考虑属于单参数指数族的分布,并主要考虑分区,其中武器的手段是在一个给定的集合或其补充的向量。所考虑的集合对应于存在高于指定阈值的均值的分布,其中集合是半空间,并且其中集合或其补集是多面体,或者更一般地,是凸集。在这些设置中,我们的特点是每个手臂的样本的平均数的下限,突出其依赖于问题的几何形状。此外,受下界的启发,我们提出了算法,可以匹配这些界限渐近减少错误的概率。这个框架的应用可能是多种多样的。我们简单讨论一个与金融有关的问题。
2019-02-05 cs.LG stat.ML
Trading off rewards and errors in multi-armed bandits
Inria SequeL;CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡,提出具有后悔保证的算法,通过实验验证上下界。
2026-10-06 cs.LG stat.ML
Tracking Most Significant Shifts in Infinite-Armed Bandits
Columbia University(哥伦比亚大学);Seoul National University(首尔大学)
研究无限臂非平稳老虎机问题,提出黑盒方案将有限臂算法转为无参数算法,并引入最显著变化概念,实现仅依赖衰退非平稳性的自适应最优遗憾界。
2025-01-31 cs.LG stat.ML
Fair Best Arm Identification with Fixed Confidence
Ericsson AB(爱立信公司);Ericsson Research(爱立信研究院)
本文研究公平性约束下的最佳臂识别问题,提出 F-BAI 框架并给出样本复杂度下界,进而设计可证明匹配该下界且满足公平约束的 F-TaS 算法,实验验证了其高效性。
2024-08-30 cs.AI cs.LG
Best Arm Identification with Resource Constraints
National University of Singapore(新加坡国立大学)
针对不同备选方案实验成本异质性问题,研究资源约束下的最优臂识别问题,提出带资源配给的连续减半算法SH-RR,实现接近最优的非渐近收敛速率,并发现确定性与随机资源消耗下收敛速率存在差异。
2025-03-23 cs.LG
Simple Bayesian Algorithms for Best Arm Identification
本文考虑了测量工作量的最优自适应分配,以确定有限的选项或设计集合中的最佳选项或设计。实验者依次选择设计来测量并观察其质量的噪声信号,目的是在少量测量后自信地识别最佳设计。本文提出了三个简单而直观的贝叶斯算法自适应分配测量工作,并形式化的意义上说,这些看似天真的规则是最好的可能。一个建议是前两个概率抽样,它计算两个设计的最高后验概率是最佳的,然后随机选择这两个。一种是前两个抽样的变体,它不仅考虑设计是最优的概率,而且考虑其质量超过其他设计的预期量。最后的算法是一个修改版本的汤普森采样,是专为确定最佳的设计。我们证明了这些简单的算法满足尖锐的最优性属性。在设计的真实质量是固定的频率论设置中,人们希望后验确定地识别最优设计,在这个意义上,分配给其他一些设计是最优的事件的后验概率随着测量的收集而收敛到零。我们证明了在所提出的算法下,这种收敛以指数速率发生,并且相应的指数是所有分配中最好的
2018-06-08 cs.LG
Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits
imec;Data Science Institute, Interuniversity Institute of Biostatistics and Statistical Bioinformatics, UHasselt(哈瑟尔特大学生物统计学与统计生物信息学跨大学研究所数据科学研究所)
提出首个任意时间多目标多臂老虎机算法Top-Two帕累托前沿汤普森采样(TTPFTS),用于帕累托集识别,在合成环境和超大型分子库中验证有效性,并引入不确定性量化指标。
2026-10-27 cs.AI cs.LG
Balancing Performance and Costs in Best Arm Identification
Department of Statistics University of Wisconsin-Madison(统计学系威斯康星大学麦迪逊分校)
本文提出了一种新的最佳臂识别方法,通过平衡性能和成本来优化学习过程,提出了 DBCARE 算法并展示了其在模拟模型中的优越性能。
2025-12-05 cs.LG stat.ML
Structured Best Arm Identification with Fixed Confidence
University of Alberta(阿尔伯塔大学)
我们研究的问题,确定最好的行动之间的一组可能的选项时,每个动作的值是由一个映射从一些嘈杂的微观可观的所谓的固定置信度设置。我们的主要动机是应用于极大极小博弈搜索,这一直是人工智能的一个主要兴趣话题。在本文中,我们引入了一个抽象的设置,清楚地描述了问题的基本属性。虽然以前的工作只考虑了一个两步游戏树搜索问题,我们的抽象设置可以应用到一般的极大极小游戏的深度可以是不均匀的和任意的,并允许换位。我们介绍了一种新的算法(LUCB-micro)的抽象设置,并给出其上,下样本复杂度的结果。我们的边界恢复了以前的一些结果,这些结果只适用于更有限的设置,同时它们也进一步阐明了极大极小问题的结构如何影响样本复杂性。
2017-06-19 cs.AI cs.LG
Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法,在线性与广义线性模型中给出分析及G-最优设计实现,并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
Exploring $k$ out of Top $ρ$ Fraction of Arms in Stochastic Bandits
Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学)
本文研究了在顶部$ρ$级分中识别任何$k$不同臂的问题(例如,前5\%)的臂,其来自具有可能近似正确(PAC)容差$ε$的有限或无限集合。我们考虑两种情况:(i)当最高武器的预期回报的阈值是已知的,(ii)当它是未知的。我们证明了四个变量(有限或无限的武器,和已知或未知的阈值)的下限,并提出算法。这些算法中的两个被证明是样本复杂性最佳(常数因子),另外两个是最佳的对数因子。本文的结果提供了高达$ρn/k$减少相比,“$k$探索”算法,重点是找到(PAC)最好的$k$武器的$n$武器。我们还在数字上显示了对最先进技术的改进。
2020-11-19 cs.LG stat.ML
Near Optimal Best Arm Identification for Clustered Bandits
IIT Bombay(印度理工学院孟买分校)
针对多智能体多臂老虎机中智能体—老虎机映射未知的问题,提出 Cl-BAI 与 BAI-Cl 两种算法,给出 $δ$-PC 保证、样本复杂度界及近极小极大最优性,并验证其样本与通信效率。
2025-05-15 cs.LG cs.MA
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University(哥伦比亚大学)
本文研究了半参数带its中的固定置信度最佳臂识别,通过正交化回归方法,提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
Skyline Identification in Multi-Armed Bandits
我们介绍了一个变种的经典PAC多臂强盗问题。有一组有序的$n$臂$A[1],\dots,A[n]$,每个臂都有从某个未知的有界分布中抽取的随机奖励。目标是识别集合$A$的$skyline$,集合由所有的臂$A[i]$组成,使得$A[i]$具有比所有编号较低的臂$A[1],\dots,A[i-1]$更大的期望奖励。我们定义了一个自然的概念,一个$\varepsilon$ -近似的天际线,并证明匹配的上限和下限识别$\varepsilon$ -天际线。具体来说,我们表明,为了确定一个$\varepsilon$ -天际线之间的$n$武器概率$1-δ$,$$ Θ\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon δ}\bigg), \log\bigg(\frac{n}δ\bigg) \bigg\} \bigg) $$样本是必要的和足够的。当使用$\varepsilon \gg 1/n$时,我们的结果优于朴素算法,朴素算法提取足够的样本来近似每个手臂的预期奖励;(Auer等人,AISTATS'16)的帕累托最优手臂识别同样被取代。我们的研究结果表明,天际线问题的样本复杂性严格介于最佳手臂识别之间(Even-Dar等人,COLT'02)和接近每只手臂的预期回报。
2018-01-09 cs.LG
Dominant Arm Identification with Mixing and Recycling Observed Samples
Chung-Ang University(中央大学)
针对多臂老虎机中传统算法难识别优势臂的问题,提出带理论保证的新优势臂准则与估计器,设计近最优样本复杂度的消除算法,实验显示其优于现有方法。
2026-08-04 cs.LG stat.ML
Almost Optimal Variance-Constrained Best Arm Identification
National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学)
我们设计和分析VA-LUCB,一个无参数的算法,用于确定最好的手臂下的固定置信度设置和严格的约束下,所选择的手臂的方差严格小于一个给定的阈值。VA-LUCB的样本复杂性的上限被证明是其特征在于由一个基本的方差感知硬度量$H_{VA}$。通过证明一个下界,我们表明VA-LUCB的样本复杂度是最佳的$H_{VA}$的对数的一个因素。大量的实验证实了样本复杂性对$H_{VA}$中各项的依赖性。通过将VA-LUCB的经验性能与David等人(2018)的竞争对手RiskAverse-UCB-BAI进行比较,我们的实验表明,VA-LUCB对于这类风险约束的最佳臂识别问题具有最低的样本复杂度,特别是对于风险最高的情况。
2022-11-15 cs.AI cs.IT cs.LG
lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学)
本文提出了一种新的置信上界(UCB)过程中确定的最大平均值在一个多臂强盗游戏在固定的信心设置使用少量的总样本。该程序不能改进的意义上说,所需的样本数,以确定最佳臂是在一个恒定的因素的下限的基础上的法律的迭代对数(LIL)。受LIL的启发,我们构造了我们的置信区间,以明确说明算法的无限时间范围。此外,通过使用一个新的停止时间的算法,我们避免了工会绑定的武器,已观察到在其他UCB型算法。我们证明了该算法是最佳的常数,并通过模拟表明,它提供了优越的性能相对于国家的最先进的。
2013-12-27 cs.LG stat.ML
Fixed-Confidence Best-Arm Identification for Causal Mediation Analysis
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学);RIKEN AIP(理化学研究所AIP)
针对因果中介分析中最大化期望自然直接潜在结果的处理识别问题,基于Track-and-Stop框架结合割集法开发固定置信度最优臂识别算法,实现高概率保正的高效样本识别与渐近最优性。
2026-07-07 cs.AI cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot(巴黎第七大学概率与随机模型实验室);CMLA, ENS Paris Saclay(巴黎萨克雷高等师范学院应用数学与计算机科学中心);Criteo AI Lab(科睿唯安人工智能实验室)
最先进的在线学习程序集中于选择最佳替代方案(“最佳手臂识别”)或最小化成本(“遗憾”)。我们合并这两个目标提供的理论分析成本最小化算法,也是三角洲PAC(与一个证明的保证界的决策时间),因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察,校准不良的UCB算法最大限度地减少遗憾,同时仍然迅速确定最好的arm. We还扩展这些结果,许多从业者所面临的非iid的情况下。这提供了一种技术,使成本与决策时间的妥协时,做自适应测试的应用程序,从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究识别用户集群的上下文多武装匪徒(MAB)。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中,用户依赖性在用户的行为中起着至关重要的作用,因此奖励。聚类相似用户可以提高奖励估计的质量,这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置,我们聚类用户的基础上未知的强盗参数,这将是增量估计。特别是,我们定义了上下文MAB中的聚类检测问题,并提出了一个强盗算法,LOCB,嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后,我们从各个方面评估了所提出的算法,它优于最先进的基线。
2023-03-24 cs.LG
Correlated bandits or: How to minimize mean-squared error online
University of Maryland, College Park(马里兰大学帕克分校);LinkedIn Corp.(领英公司);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
虽然传统的多臂强盗问题的目标是找到具有最高平均值的臂,但在许多设置中,找到最好地捕获关于其他臂的信息的臂是令人感兴趣的。然而,这一目标需要了解潜在的相关结构,而不仅仅是武器的手段。用于工业监控和蜂窝网络监控的传感器放置是一些应用,其中底层相关结构起着重要作用。出于这样的应用程序,我们制定相关的强盗问题,其目标是找到最低的均方误差(MSE)估计的所有武器的武器。为此,我们首先推导出一个MSE估计,基于样本方差和协方差,并表明我们的估计指数集中在真正的MSE。在最佳臂识别框架下,我们提出了一种连续拒绝型算法,并提供了在识别最佳臂时错误概率的界。使用极小极大理论,我们还推导出相关强盗问题的基本性能限制。
2019-06-26 cs.LG stat.ML
Optimal Best-Arm Identification Methods for Tail-Risk Measures
TIFR(塔塔基础研究所);CWI(荷兰国家数学与计算机科学研究所)
条件风险价值(CVaR)和风险价值(VaR)是金融和保险行业以及高度可靠,安全关键的不确定环境中常用的尾部风险度量,其中潜在的概率分布通常是重尾的。我们使用多臂强盗最佳臂识别框架,并考虑从众多具有最小的CVaR,VaR,或加权总和的CVaR和均值的臂识别的问题。后者抓住了金融中常见的风险回报权衡。我们的主要贡献是一个最佳的$δ$正确的算法,作用于一般武器,包括重尾分布,并匹配所需的样本的预期数量的下限,渐近(作为$δ$方法$0$)。该算法需要解决概率测度空间中的非凸优化问题,这需要精细的分析。途中,我们开发了新的非渐近的经验似然为基础的浓度不等式的尾部风险的措施,这是严格的比流行的截断为基础的经验估计。
2021-06-22 cs.LG stat.ML
Identifying Best Fair Intervention
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
研究了在给定的因果模型中,具有公平性约束的最佳臂识别问题。我们的目标是在一个给定的节点上找到一个软干预,以最大限度地提高结果,同时满足公平性约束,通过反事实估计,只有部分知识的因果模型。这个问题的动机是确保在线市场的公平性。我们提供理论保证的错误概率和经验检验我们的算法的有效性与两阶段的基线。
2021-11-08 cs.CY cs.LG stat.ML
Robust Best-arm Identification in Linear Bandits
University College London(伦敦大学学院);MediaTek Research(联发科技研究院)
该研究针对线性奖励下的鲁棒最优臂识别问题,提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法,经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Tracking Most Significant Arm Switches in Bandits
Columbia University(哥伦比亚大学)
在具有分布偏移的强盗中,目标是自动适应奖励分布的未知变化,并在必要时重新开始探索。虽然这个问题已经研究了很多年,但Auer等人(2018,2019)最近的一项突破提供了第一个自适应程序,以保证$T$回合的最佳(动态)遗憾$\sqrt{LT}$,以及未知数量的$L$变化。然而,虽然在最坏的情况下,这一比率是紧的,但如果分布的变化实际上很少是严重的,那么在没有先验知识的情况下,是否可能有更快的比率仍然是开放的。为了解决这个问题,我们提出了一个新的概念的重大转变,它只计算非常严重的变化,显然需要重新启动:粗略地说,这些变化不仅涉及最好的手臂开关,但也涉及大的总差异奖励加班。因此,我们得到的程序自适应地实现速率总是比$O(\sqrt{ST})$更快(有时显着),其中$S\ll L$只计数最佳臂开关,而在同一时间,总是比最佳$O(V^{\frac{1}{3}}T^{\frac{2}{3}})$快时,表示在总变化$V$(其聚合差异随时间推移)。我们的结果表达了足够的一般性,也捕捉非随机对抗设置。
2022-06-16 cs.LG stat.ML
Bayesian Fixed-Budget Best-Arm Identification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);AWS AI Labs(AWS人工智能实验室)
针对贝叶斯设定下的固定预算最优臂识别问题,提出贝叶斯消除算法,推导了首个依赖分布的错误识别概率上界,证明2臂场景下上下界几乎匹配,实验显示该算法优于频率派方法且性能比肩无保证的最优贝叶斯算法。
2023-06-15 cs.LG stat.ML
Quantum exploration algorithms for multi-armed bandits
Joint Center for Quantum Information and Computer Science, University of Maryland(马里兰大学量子信息与计算机科学联合中心);Department of Mathematics, University of Maryland(马里兰大学数学系);Department of Computer Science and Institute for Advanced Computer Studies, University of Maryland(马里兰大学计算机科学系与高级计算机研究所);Center for Theoretical Physics, Massachusetts Institute of Technology(麻省理工学院理论物理中心)
确定多臂强盗的最佳手臂是强盗优化的核心问题。我们研究了这个问题的量子计算版本与相干的预言机访问状态编码的奖励概率的每个手臂作为量子振幅。具体来说,我们可以找到最好的手臂与固定的信心,使用$\tilde{O}\bigl(\sqrt{\sum_{i=2}^nΔ^{\smash{-2}}_i}\bigr)$量子查询,其中$Δ_{i}$表示最好的手臂和$i^\text{th}$ -最好的arm. This算法的平均奖励之间的差异,基于可变时间的幅度放大和估计,给出了二次加速比最好的经典结果。我们还证明了一个匹配的量子下界(多对数因子)。
2020-12-15 cs.DS cs.LG quant-ph
Best Arm Identification with Safety Constraints
National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学)
多臂强盗环境中的最佳臂识别问题是许多现实世界决策问题的一个很好的模型,但它未能捕捉到这样一个事实,即在现实世界中,学习时通常必须满足安全约束。在这项工作中,我们研究的最佳武器识别的安全关键设置,代理的目标是找到最好的安全选项了许多,同时探索的方式,保证某些,最初未知的安全约束得到满足的问题。我们首先分析这个问题的设置中的奖励和安全约束采取线性结构,并显示几乎匹配的上限和下限。然后,我们分析了一个更一般的版本的问题,我们只假设奖励和安全约束可以由单调函数建模,并提出了一个算法,在这种设置,这是保证学习安全。最后,我们的实验结果证明了我们的方法在某些情况下的有效性,例如安全地从众多药物中选出最好的药物来治疗疾病。
2021-11-23 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文针对指数族随机多臂老虎机的最优臂识别问题,提出基于似然比检验的SPRT算法,实现渐近最优样本复杂度与δ-PAC保证,并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
在无限臂强盗问题中,每个臂的平均奖励从未知分布中采样,并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值,并提出了统一的Meta算法离线和在线设置,实现最佳的样本复杂性。我们表明,在线估计,学习者可以顺序选择是否采样一个新的或现有的手臂,提供了没有优势的离线设置估计的平均功能,但显着降低了其他功能,如中位数,最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下,我们确定了一个奇怪的阈值的现象,高斯卷积之间的不变性相对于噪声水平,这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT
Optimal Best-Arm Identification under Fixed Confidence with Multiple Optima
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), Vietnam(计算机科学与工程学院,胡志明市技术大学(HCMUT),越南);Vietnam National University Ho Chi Minh City (VNU-HCM), Vietnam(越南胡志明市国家大学(VNU-HCM),越南)
在固定置信度下,本文提出改进的Track-and-Stop算法,通过考虑平局情况,实现多最优臂识别的最优性能保证。
2026-03-04 cs.IT cs.LG math.IT
Bandits with many optimal arms
INRIA Lille(法国国家信息与自动化研究所里尔分部);CWI Amsterdam(阿姆斯特丹数学与计算机科学中心);Otto von Guericke University Magdeburg(奥托·冯·古里克马格德堡大学);University of Potsdam(波茨坦大学)
本文考虑一个可能有无穷多个臂的随机强盗问题。我们写$p^*$为最佳武器的比例和$Δ$为最佳和次最佳武器之间的最小平均差距。我们的最佳学习率的特点都在累积遗憾设置,并在最佳臂识别设置的问题参数$T$(预算),$p^*$和$Δ$。为了最小化累积遗憾,我们给出了一个$Ω(\log(T)/(p^*Δ))$阶的下界和一个UCB式的算法,其匹配上界的因子为$\log(1/Δ)$ .我们的算法需要$p^*$来校准其参数,我们证明了这种知识是必要的,因为适应$p^*$在这种设置是不可能的。对于最佳臂识别,我们还提供了输出次优臂的概率上的阶数$Ω(\exp(-cTΔ^2 p^*))$的下限,其中$c>0$是绝对常数。我们还提供了一个消除算法的上限匹配的下限到一个因子的顺序$\log(T)$的指数,并不需要$p^*$或$Δ$作为参数。我们的研究结果直接适用于三个相关的问题,竞争对$j$ -th最好的手臂,确定一个$ε$好的手臂,并找到一个手臂的平均值大于一个已知的顺序的分位数。
2021-11-05 cs.LG stat.ML
Quantum spatial best-arm identification via quantum walks
Department of Information and Computer Sciences, Saitama University(信息与计算机科学系,埼玉大学);Department of Information Physics and Computing, The University of Tokyo(信息物理与计算系,东京大学);Graduate School of Environment and Information Sciences, Yokohama National University(环境与信息科学研究生院, Yokohama国立大学)
本文提出量子空间最佳臂识别算法,利用量子行走处理图结构约束下的多臂老虎机问题,分析完全图和二分图中的最佳臂识别概率及时间。
2026-04-21 cs.AI cs.LG math-ph
Dealing with Unknown Variances in Best-Arm Identification
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
当方差已知时,在具有高斯奖励分布的项目集合中识别最佳臂的问题是很好理解的。尽管它的许多应用程序的实际意义,很少有工程研究它的未知方差。在本文中,我们介绍和分析两种方法来处理未知的方差,无论是通过插入的经验方差或通过调整运输成本。为了校准我们的两个停止规则,我们得到新的时间一致的集中不等式,这是独立的利益。然后,我们说明了我们的两个采样规则包装跟踪和停止和前两个算法的理论和实证性能。此外,通过量化不知道方差对样本复杂性的影响,我们发现它是相当小的。
2023-01-23 cs.LG stat.ML
Representative Arm Identification: A fixed confidence approach to identify cluster representatives
Centre for Machine Intelligence and Data Science(机器智能与数据科学中心);IIT Bombay(印度理工学院孟买分校);Department of Electrical Engineering(电气工程系)
本文在多臂老虎机框架下研究代表性臂识别问题,旨在从预定义簇中可靠识别指定数量臂。作者推导了样本复杂度下界,提出两种基于置信区间的算法并证明其上界匹配下界,实验证明其性能优于LUCB替代方案。
2024-08-26 cs.AI cs.LG math.PR
Best Arm Identification in Restless Markov Multi-Armed Bandits
National University of Singapore(新加坡国立大学)
我们研究了在多臂强盗环境中,当每个臂是一个共同的有限状态空间上的时间齐次和遍历离散时间马尔可夫过程时,如何确定最佳臂的问题。每个臂上的状态演化由臂的转移概率矩阵(TPM)控制。知道臂TPM的集合但不知道TPM到臂的精确映射的决策实体希望尽可能快地找到最佳臂的索引,服从错误概率的上限。决策实体每次顺序地选择一个臂,并且所有被选择的臂继续经历状态演化({ \em restless}臂)。对于这个问题,我们推导出第一个已知的问题的实例相关的渐近下界的增长率的期望时间所需的指数,找到最好的手臂,其中的渐近是作为错误概率为零。此外,我们提出了一种顺序策略,对于输入参数$R$,强制选择尚未被选择用于$R$连续时刻的臂。我们表明,这种政策实现了一个上限,依赖于$R$,是单调非递增的$R\to\infty$。一般来说,作为$R\to\infty$的上限的极限值是否与下限相匹配的问题仍然是开放的。我们确定了一个特殊的情况下,其中的上限和下限相匹配。以前的工作最好的手臂识别处理(a)独立和同分布的观察,从武器,和(b)休息马尔可夫武器,而我们的工作涉及更困难的设置不安分的马尔可夫武器。
2022-03-29 cs.IT cs.LG math.IT
NeuroSep-CP-LCB: A Deep Learning-based Contextual Multi-armed Bandit Algorithm with Uncertainty Quantification for Early Sepsis Prediction
针对重症监护中脓毒症早期预测的不确定性决策难题,提出融合神经网络、上下文多臂老虎机与共形预测的NeuroSep-CP-LCB算法,可实现个性化自适应决策并提供可靠预测置信边界。
2025-03-20 cs.LG
On the complexity of All $\varepsilon$-Best Arms Identification
ENS Lyon(里昂高等师范学院);University of Potsdam(波茨坦大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
我们考虑的问题引入了\cite{Mason2020}的识别所有的$\varepsilon$ -最优的武器在有限的随机多臂强盗高斯奖励。我们给出了两个下界的样本复杂性的任何算法解决问题的信心至少$1-δ$。第一,不可改进的渐近制度,激励设计的跟踪和停止策略,其平均样本的复杂性是渐近最优的风险$δ$为零。值得注意的是,我们提供了一个有效的数值方法来解决凸最大最小的程序,出现在下界。我们的方法是基于一个完整的表征的替代土匪的情况下,最佳采样策略需要排除,从而使我们的边界更紧比\cite{Mason2020}提供的。第二个下界处理的制度,高和中等价值的风险$δ$,并在初始阶段的任何算法的行为的特点。它强调了样本复杂度与臂数的线性相关性。最后,我们报告的数值模拟证明我们的算法的优势,比国家的最先进的方法,即使是中等风险。
2022-04-06 cs.LG stat.ML
MARBLE: Multi-Armed Restless Bandits in Latent Markovian Environment
Department of Computer and Systems Sciences (DSV), Stockholm University(斯德哥尔摩大学计算机与系统科学系);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯研究中心);Smartprofile(Smartprofile公司)
MARBLE引入潜在马尔可夫状态以应对非平稳环境中的多臂 restless 博弈,提出马尔可夫平均指数性准则,并证明在该准则下同步Q学习与Whittle指数几乎必然收敛到最优Q函数。
2026-04-09 cs.LG
Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents
University of Chicago(芝加哥大学);University of Maryland(马里兰大学);Microsoft Research New York City(微软研究院纽约分部)
本文针对策略性智能体可能偏离理性行为的多臂老虎机问题,提出一类同时实现性能激励与鲁棒性保证的算法,并扩展到委托方对臂性能特征无信息的情形。
2025-03-09 cs.GT cs.LG
On the Complexity of Best Arm Identification in Multi-Armed Bandit Models
CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎电信学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学)
随机多臂强盗模型是一个简单的抽象,已被证明在统计学和机器学习的许多不同背景下是有用的。而在遗憾最小化方面的可实现的限制是众所周知的,我们的目标是有助于更好地理解的性能方面,确定最好的武器。我们介绍了两个主要的框架,在文献中考虑的复杂性的一般概念:固定预算和固定的信心设置。在固定的信心设置,我们提供了第一个已知的分布依赖的下界的复杂性,涉及信息理论的数量,并举行时,m大于1的一般假设。在两个武装匪徒的特定情况下,我们得到了改进的下限在固定的信心和固定的预算设置,随着高斯和伯努利土匪模型的匹配算法。这些结果特别表明,固定预算设置的复杂性可能小于固定置信度设置的复杂性,这与测试完全指定的替代品时观察到的熟悉行为相矛盾。此外,我们还提供了改进的顺序停止规则,有保证的错误概率和更短的平均运行时间。的证明依赖于两个技术的结果,是独立的利益:一个偏差引理的自归一化和(引理19)和一个新的变化的测量不等式的强盗模型(引理1)。
2016-11-14 cs.LG stat.ML
Best Arm Identification with Fixed Budget: A Large Deviation Perspective
KTH(瑞典皇家理工学院);Digital Futures(数字未来研究院)
本文从大偏差视角研究固定预算最佳臂识别问题,建立臂抽取比例与经验奖励的大偏差原理联系,并据此改进SR算法上界,提出可在任意轮次剔除臂的CR算法,证明其性能优于现有算法。
2024-02-19 cs.LG stat.ML
Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget
Department of Electrical and Computer Engineering(电子与计算机工程系);National University of Singapore(新加坡国立大学);Department of Mathematics(数学系)
本文针对固定预算下线性老虎机中的最佳可行臂识别问题,提出一种基于后验采样和博弈采样规则的新算法,实现了误差概率指数衰减且达到信息论下界,实验证明其优于多个基准方法。
2025-06-03 cs.AI cs.IT cs.LG
Fast Change Identification in Multi-Play Bandits and its Applications in Wireless Networks
IIT Delhi(印度理工学院德里分校)
下一代无线服务的特点是各种各样的要求,以维持这一点,无线接入点需要定期探测网络中的用户。在这方面,我们研究了一种新的多臂强盗(MAB)设置,任务探测所有的武器定期跟踪最好的当前手臂在一个非平稳的环境中。特别是,我们开发的\texttt{TS-GE},平衡经典的汤普森采样(TS)的遗憾保证与广播探测(BP)的所有武器,同时为了积极检测奖励分布的变化。该算法的主要创新之处在于通过一个名为组探索(GE)的可选子程序来识别改变的手臂,该子程序按比例缩放为$K-$武装匪徒设置的$\log_2(K)$。我们描述了环境参数的漏检概率和虚警概率。我们强调的条件下,遗憾的保证\texttt{TS-GE}优于国家的最先进的算法,特别是,\texttt{ADSWITCH}和\texttt{M-UCB}。我们通过在两个无线系统应用中使用\texttt{TS-GE}来证明其功效-移动边缘计算(MEC)中的任务卸载和为同时无线信息和功率传输(SWIPT)而设计的工业物联网(IIoT)网络。
2022-11-24 cs.AI cs.IT cs.LG
Pure Exploration in Bandits with Linear Constraints
Chalmers University of Technology(查尔姆斯理工大学);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
针对带线性约束的多臂老虎机固定置信最优策略识别问题,本文刻画信息论下界,并提出两种追踪法锥边界加权投影最优分配的渐近最优算法,且通过实验验证。
2024-01-25 cs.LG
Cost Aware Best Arm Identification
University of Michigan(密歇根大学)
本文提出成本感知的最佳臂识别(CABAI)问题,推导理论下界,并设计CTAS和Chernoff Overlap两种算法,以最小期望成本识别最大奖励臂,证明其在简化模型中渐近最优且数值实验中表现接近最优。
2024-07-01 cs.LG stat.ML
Constrained Feedback Learning for Non-Stationary Multi-Armed Bandits
Stony Brook University(石溪大学)
本文针对反馈受限的非平稳多臂老虎机问题,提出首个无需先验知识的算法,并证明其达到近最优动态遗憾。
2025-09-18 cs.LG
Dynamically Allocating Evaluation Effort for Model Ranking
针对NLP模型人工评估成本高、效率低的问题,将其形式化为多臂老虎机最佳臂识别问题,提出自适应采样算法,可优化预算分配,提升评估效率与模型区分度。
2026-09-01 cs.CL cs.LG
Probabilistic and reinforced mining of association rules
本文提出四种基于概率与强化学习的关联规则挖掘方法,利用高斯过程、贝叶斯推断、多臂老虎机和深度Q网络,增强不确定性建模与自适应搜索,优于传统频率算法,适用于小数据集和稀有模式发现。
2025-06-22 cs.LG
Identifying Copeland Winners in Dueling Bandits with Indifferences
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学(LMU));Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究针对带无差异反馈的对决老虎机问题,给出了识别Copeland获胜者的样本复杂度下界,提出了接近该下界且性能优异的POCOWISTA算法,并针对满足随机传递性的场景给出了改进版本。
2023-10-01 cs.LG stat.ML
Worst-Case Optimal Multi-Armed Gaussian Best Arm Identification with a Fixed Budget
the University of Tokyo(东京大学)
本研究针对固定预算下的多臂高斯最优臂识别问题,推导了仅依赖结果方差的最坏情况错误识别概率下界,并提出渐近最坏情况最优的GNA-EBA策略。
2024-03-11 cs.LG econ.EM math.ST
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc(Oath公司)
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者,用户参与和社会份额。在雅虎首页,标题测试是使用测试推出策略进行的:我们首先在定义的测试期内将相等比例的流量分配给每个标题变体,然后将所有未来流量转移到性能最好的变体。在本文中,我们介绍了一个多臂强盗(MAB)的方法与批量汤普森采样(bTS)动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明,bTS方法具有较好的鲁棒性,能够准确快速地收敛到最优标题,在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML