Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
本文提出FCSR算法,用于在分组老虎机中实现固定预算约束下的最佳臂识别,通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria(维多利亚大学);Google(谷歌)
我们考虑一个顺序决策问题,其中一个代理可以在一个时间采取一个行动,每个行动有一个随机的时间范围,即,在前一个动作完成之前不能采取新的动作。完成后,所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励,并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题,我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前,代理人看到的回报,由于拉手臂。使用一个新的置信度上界这个比率,然后我们引入了一个上置信度为基础的算法,WAIT-UCB,我们建立对数,问题相关的遗憾界,其中有一个改进的依赖问题的参数相比,以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Knapsack based Optimal Policies for Budget-Limited Multi-Armed Bandits
The University of Sydney Business School(悉尼大学商学院);University of Southampton(南安普顿大学)
在学习受限的多臂强盗(MAB)问题中,学习者的行为是昂贵的,并受到固定预算的约束。因此,最优开发策略可能不是像MAB的其他变体那样反复拉动最优手臂,而是拉动不同手臂的序列,使代理在预算内的总奖励最大化。与现有MAB的这种差异意味着需要新的方法来最大化总回报。有鉴于此,我们开发了两个拉策略,即:(i)KUBE;和(ii)分数KUBE。而前者提供了更好的性能高达40%,在我们的实验设置,后者是计算成本较低。我们还证明了这两个政策的遗憾的对数上界,并表明,这些界限是渐近最优的(即,他们只是不同的最好的可能的遗憾由一个常数因子)。
2012-04-09 cs.AI cs.LG
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题,其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂,于是接收所选组中的每个手臂的反馈。与现有的作品不同,我们研究这个问题在一个非随机设置与子集相关的反馈,即,所接收的半强盗反馈可以由不经意的对手产生,并且还可以取决于所选择的武器集合。此外,我们认为一个一般的反馈方案,包括数字为基础的,以及基于偏好的情况下,并介绍了一个健全的理论框架,保证合理的概念,最佳武器,学习者试图找到这种设置。我们提出了一个通用的算法,适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题,足够的和必要的预算的算法,以找到最好的手臂得到回答和补充,推导出下限的任何学习算法,这个问题的情况。
2022-10-14 cs.LG stat.ML
Bayesian Fixed-Budget Best-Arm Identification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);AWS AI Labs(AWS人工智能实验室)
针对贝叶斯设定下的固定预算最优臂识别问题,提出贝叶斯消除算法,推导了首个依赖分布的错误识别概率上界,证明2臂场景下上下界几乎匹配,实验显示该算法优于频率派方法且性能比肩无保证的最优贝叶斯算法。
2023-06-15 cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen(图宾根大学);Criteo AI Lab(Criteo人工智能实验室);CREST, ENSAE, IP Paris(CREST、ENSAE、IP巴黎);Google DeepMind(谷歌DeepMind)
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题,提出一种基于先验信息和环境结构的固定分配算法,并给出理论界,通过新证明方法获得更紧的界,实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Constrained Pure Exploration Multi-Armed Bandits with a Fixed Budget
Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们考虑一个约束,纯勘探,随机多臂强盗制定下一个固定的预算。每个臂与未知的、可能是多维的分布相关联,并且由作为该分布的函数的多个属性描述。其目的是根据用户对其他属性的定义约束来优化特定属性。该框架模拟了金融投资组合优化等应用程序,在这些应用程序中,执行平均收益的风险约束最大化是很自然的。我们假设属性可以使用来自臂分布的样本来估计,并且这些估计量满足适当的浓度不等式。我们提出了一个算法称为\textsc{Constrained-SR}的基础上的连续的Reflection框架,建议一个最佳的手臂和标志的实例是可行的或不可行的。该算法的一个关键特点是,它是基于信息论的双臂实例的下限。我们描述了一个依赖于实例的上限错误的概率下\textsc{Constrained-SR},指数衰减的预算。我们进一步表明,在某些特殊情况下,相关的衰减率是接近最佳的相对于信息理论的下限。
2022-11-27 cs.LG stat.ML
Budgeted Multi-Armed Bandits with Asymmetric Confidence Intervals
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对随机预算MAB中现有策略估计奖励-成本比不够准确的问题,提出采用非对称置信区间的$ω$-UCB采样策略,实现对数遗憾并在合成与真实场景中持续优于现有方法。
2023-08-15 cs.LG stat.ML
Pure Exploration for Constrained Best Mixed Arm Identification with a Fixed Budget
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind)
本文提出固定预算下约束最优混合臂识别问题,并设计无参数的SFSR算法,结合逐次拒绝与得分函数准则,理论上误识别概率指数衰减,实证验证有效。
2024-05-23 cs.LG stat.ML
Are Stochastic Multi-objective Bandits Harder than Single-objective Bandits?
H. Milton Stewart School of Industrial and Systems Engineering(赫尔曼·米利顿·斯图尔特工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院);Mechanical and Industrial Engineering University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特机械与工业工程学院)
本文探讨多目标老虎机的Pareto后悔与单目标老虎机的关系,提出一种新方法证明多目标问题在Pareto后悔上并不更难,且与单目标问题具有相同最优性。
2026-05-07 cs.LG stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University(耶鲁大学)
研究固定预算最佳臂识别问题,对比算法与静态预言机,证明对于任意\(K\geq3\)及特定奖励,任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍,回答了相关开放问题。
2026-07-14 cs.LG stat.ML
Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization
Cambridge University(剑桥大学);University of British Columbia(不列颠哥伦比亚大学);Oxford University(牛津大学)
我们解决的问题,找到一个非线性光滑函数的最大化,只能评估逐点,受限制的数量允许的功能评估。这个问题在多臂强盗文献中也被称为固定预算最佳臂识别。我们引入了贝叶斯方法,这个问题,并表明它的经验优于现有的频率论和其他贝叶斯优化方法。贝叶斯方法强调详细的建模,包括对武器之间的相互关系建模。因此,它可以很好地执行的情况下,手臂的数量远远大于允许的功能评估的数量,而频率论的对应物是不适用的。此功能使我们能够开发和部署实际应用程序,例如自动机器学习工具箱。本文提出了全面的比较所提出的方法,汤普森采样,经典的贝叶斯优化技术,最近的贝叶斯强盗的方法,和国家的最先进的最好的手臂识别方法。这是许多这些方法在文献中的第一次比较,使我们能够检查其不同功能的相对优点。
2013-11-11 cs.LG stat.ML
Optimal Best Arm Identification in Two-Armed Bandits with a Fixed Budget under a Small Gap
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学);Columbia University(哥伦比亚大学)
我们考虑固定预算的最佳臂识别双臂高斯强盗问题。一个长期悬而未决的问题是存在一个最佳策略,在该策略下,错误识别的概率符合一个下限。我们证明了当期望回报之间的差距很小时,遵循Neyman分配规则(Neyman,1934)的策略是渐近最优的。首先,我们回顾了Kaufmann et al.(2016)得出的下限。然后,我们提出了“奈曼分配(NA)-增强逆概率加权(AIPW)”的策略,它包括使用奈曼分配估计标准差的抽样规则和使用AIPW估计的推荐规则。我们提出的策略是最优的,因为当预算趋于无穷大且差距趋于零时,上限与下限相匹配。
2022-12-28 cs.LG econ.EM math.ST
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University(哈佛大学)
我们解决的M-最好的手臂识别问题,在多武装匪徒。玩家只有有限的预算来探索K条手臂(M<K),一旦被拉动,每条手臂都会从一个固定的未知分布中(独立地)获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法,在轮中进行迭代停用武器。在每一轮,预算除以剩余手臂的非线性函数,并且手臂被相应地拉动。基于决策规则,可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征,并建立非线性预算分配证明是有用的不同的问题环境(描述的竞争武器的数量)。我们提供了全面的数值实验表明,我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Budgeted Combinatorial Multi-Armed Bandits
我们考虑一个预算的组合多臂土匪设置,在每一轮,该算法选择一个超级手臂组成的一个或多个武器。我们的目标是在有限的预算范围内最大限度地减少所有回合后的总预期遗憾。现有的技术,在这方面的文献要么固定的预算,每轮或固定的数量的武器拉在每轮。我们的设置更一般,基于剩余预算和剩余回合数,算法可以决定每一轮要拉多少只手臂。首先,我们提出了CBwK-Greedy-UCB算法,它使用一个贪婪的技术,CBwK-Greedy,分配的武器轮。接下来,我们提出了一个减少这个问题的背包(BwK)与一个单一的拉。通过这种减少,我们提出了CBwK-LPUCB,巧妙地使用PrimalDualBwK。我们严格证明了CBwK-LP-UCB的遗憾界。我们通过实验比较了这两种算法,并观察到CBwK-Greedy-UCB比CBwK-LP-UCB表现得更好。我们还表明,对于非常高的预算,遗憾归零。
2022-02-13 cs.LG cs.MA
UCB Exploration for Fixed-Budget Bayesian Best Arm Identification
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑科学智能技术研究院);School of Mathematics and Statistics, Wuhan University(武汉大学数学与统计学院)
本文针对固定预算贝叶斯最佳臂识别问题,提出一种通过学习先验信息增强UCB探索的算法,理论证明其简单遗憾上界为 $\tilde{O}(\sqrt{K/n})$,并在实验中一致优于现有基线方法。
2024-10-23 cs.LG stat.ML
Box Thirding: Anytime Best Arm Identification under Insufficient Sampling
Department of Statistics, Seoul National University, Seoul, Republic of Korea(统计系,首尔国立大学)
Box Thirding算法在有限预算下通过迭代三分比较实现高效最佳臂识别,无需预知预算参数,且在实验中表现出更优的性能。
2026-02-20 cs.LG stat.ML
Minimax Optimal Algorithms for Fixed-Budget Best Arm Identification
New York University(纽约大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
我们考虑固定预算的最佳臂识别问题,其目标是找到具有固定数量样本的最大均值的臂。众所周知,错误识别最佳手臂的概率与轮数成指数关系。然而,有限的表征已经讨论了这个值的速率(指数)。在本文中,我们刻画了极大极小最优速率作为一个优化的结果,在所有可能的参数。我们引入了两个率,$R^{\mathrm{go}}$和$R^{\mathrm{go}}_{\infty}$,对应于错误识别的概率,其中每一个与建议的算法的下限。率$R^{\mathrm{go}}$与$R^{\mathrm{go}}$跟踪,它可以有效地实现一个神经网络,并表现出优于现有的算法。然而,这个速率需要一个非平凡的条件才能实现。为了解决这个问题,我们引入了第二速率$R^{\mathrm{go}}_\infty$。我们表明,这个速率确实是可以实现的,通过引入一个概念性的算法称为延迟最优跟踪(DOT)。
2022-10-26 cs.LG stat.ML
Thompson Sampling for Budgeted Multi-armed Bandits
University of Science and Technology of China(中国科学技术大学);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research(微软研究院)
Thompson抽样算法是最早提出的多臂强盗(MAB)随机算法之一。在本文中,我们推广的汤普森抽样到martedMAB,其中有随机成本的拉臂和总成本的预算约束。我们从伯努利强盗的例子开始,其中一只手臂的随机奖励(成本)是从伯努利分布中独立采样的。在这种情况下,为了实现汤普森采样算法,在每一轮,我们从每个手臂的奖励和成本的后验分布中采样两个数字,获得它们的比率,选择具有最大比率的手臂,然后更新后验分布。我们证明了该算法的分布依赖遗憾界是$O(\ln B)$,其中$B$表示预算。通过引入Bernoulli试验,将该算法推广到报酬(成本)服从一般分布的情形,并证明了该算法的后悔界几乎保持不变.仿真结果验证了该算法的有效性。
2015-05-01 cs.LG
Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法,在线性与广义线性模型中给出分析及G-最优设计实现,并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
Best Arm Identification with Fixed Budget: A Large Deviation Perspective
KTH(瑞典皇家理工学院);Digital Futures(数字未来研究院)
本文从大偏差视角研究固定预算最佳臂识别问题,建立臂抽取比例与经验奖励的大偏差原理联系,并据此改进SR算法上界,提出可在任意轮次剔除臂的CR算法,证明其性能优于现有算法。
2024-02-19 cs.LG stat.ML
Locally Optimal Fixed-Budget Best Arm Identification in Two-Armed Gaussian Bandits with Unknown Variances
University of Tokyo(东京大学)
针对方差未知的两臂高斯老虎机固定预算最佳臂识别问题,提出基于估计方差的NA-AIPW策略,证明在小差距机制下其错误识别概率匹配下界,实现渐近最优。
2024-03-17 cs.LG econ.EM math.ST
HAMLET -- A Learning Curve-Enabled Multi-Armed Bandit for Algorithm Selection
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
自动算法选择和超参数调整促进了机器学习的应用。传统的多臂强盗策略着眼于观察到的回报的历史,以确定最有前途的武器,以优化预期的总回报在长期内。当考虑到有限的时间预算和计算资源时,这种对奖励的向后看法是不合适的,因为强盗应该展望未来,在指定的时间预算结束时预测最高的最终奖励。这项工作通过引入HAMLET来解决这一问题,HAMLET通过学习曲线外推和计算时间意识来扩展Bandit方法,以便在一组机器学习算法中进行选择。结果表明,HAMLET变体1-3在实验中表现出与其他基于带宽的算法选择策略相同或更好的性能,对于大多数考虑的时间预算,记录超参数调整轨迹。性能最佳的HAMLET变体3将学习曲线外推与众所周知的置信上限探索奖金相结合。该变体的性能优于所有非HAMLET策略,在1,485次运行中具有95%的统计显著性。
2020-05-28 cs.AI cs.LG stat.ML
On Best-Arm Identification with a Fixed Budget in Non-Parametric Multi-Armed Bandits
ENS de Lyon(里昂高等师范学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
我们奠定了一个非参数理论的最佳武器识别的多武器土匪与一个固定的预算T。我们考虑一般的,可能是非参数的,分布在手臂上的模型D;一个首要的例子是所有概率分布在[0,1]上的模型D = P(0,1)。我们提出了上界的平均对数概率的误认的最佳臂的基础上的信息理论的数量,对应于infima的Kullback-Leibler分歧之间的一些分布D和一个给定的分布。这是通过对Audibert、Bubeck和Munos(2010)的连续拒绝策略的精确分析而实现的。最后,我们提供了相同的平均对数概率的下限,也在相同的新的信息理论量方面,这些下限较大时,所考虑的策略的(自然)假设更强。所有这些新的上界和下界都是基于现有的界的推广,例如,分布之间的差距。
2023-02-06 cs.IT cs.LG math.IT
Rate-optimal Design for Anytime Best Arm Identification
Stern School of Business, New York University(纽约大学斯特恩商学院);Department of AI, Chung-Ang University(中央大学人工智能系);Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学机器学习系);RIKEN AIP(理研革新智能研究中心)
本文提出Almost Tracking算法,基于最小最大最优框架,无需提前预算或丢弃样本,在合成和现实数据中优于现有任意时间与固定预算算法。
2026-04-09 cs.LG stat.ML
Asymptotically Optimal Algorithms for Budgeted Multiple Play Bandits
University of Washington(华盛顿大学);CNRS(法国国家科学研究中心);Univ. Lille(里尔大学);Inria Lille(里尔法国国家信息与自动化研究所);Université Paris Descartes(巴黎笛卡尔大学)
我们研究了一个泛化的多臂强盗问题与多个播放,有一个成本与拉每个手臂和代理人有一个预算,在每个时间,决定了她可以期望花费多少。我们得到了一个渐近遗憾下界的任何一致有效的算法在我们的设置。然后,我们研究了伯努利奖励和KL-UCB的单参数指数家庭和有界的,有界支持的奖励的一个变体的汤普森采样。我们表明,这些算法是渐近最优的,无论是在率和领先的问题依赖的常数,包括在厚保证金设置多个武器落在决策边界。
2019-09-12 cs.LG stat.ML
Minimax Optimal Fixed-Budget Best Arm Identification in Linear Bandits
Institute of Operations Research and Analytics(运筹学与分析研究院);National University of Singapore(新加坡国立大学)
研究了固定预算下线性强盗的最佳臂识别问题。通过利用G-最优设计的性质,并将其纳入手臂分配规则,我们设计了一个无参数的算法,基于最优设计的线性最佳手臂识别(OD-LinBAI)。我们提供了一个理论分析的故障概率的OD-LinBAI。OD-LinBAI的性能仅取决于顶部$d$臂的间隙,而不是所有的最优性间隙,其中$d$是线性Bandit实例的有效维度。作为补充,我们给出了这个问题的极大极小下界。上界和下界表明,OD-LinBAI在指数中的常数乘法因子下是最小最大最优的,这是对现有方法的重大理论改进(例如,BayesGap,Peace,LinearExploration和GSE),并解决了在固定预算环境下学习最佳手臂的难度问题。最后,数值实验证明了相当大的经验改进现有的算法在各种真实和合成数据集。
2022-09-21 cs.IT cs.LG math.IT
Balancing Performance and Costs in Best Arm Identification
Department of Statistics University of Wisconsin-Madison(统计学系威斯康星大学麦迪逊分校)
本文提出了一种新的最佳臂识别方法,通过平衡性能和成本来优化学习过程,提出了 DBCARE 算法并展示了其在模拟模型中的优越性能。
2025-12-05 cs.LG stat.ML
Fixed-Budget Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
本文针对固定预算下多臂老虎机实值组合纯探索问题,提出CSA和Minimax-CombSAR两种算法,分别适用于指数级和多项式级动作类规模,并证明其最优性,实验验证性能更优。
2023-11-15 cs.LG
An Algorithm for Fixed Budget Best Arm Identification with Combinatorial Exploration
Department of Electrical Engineering, IIT Delhi(电子工程系,德里理工学院)
本文提出一种带组合探索的固定预算最佳臂识别算法,通过构建log2K个组并执行似然比检验来确定最佳臂,基于新参数H4推导误差上界,并在特定情况下优于现有算法。
2026-01-28 cs.LG
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University(卡内基梅隆大学)
我们研究的顺序资源分配问题,决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户(即,资源)。在每一个时间步,决策者应该在不同的资源之间分配其可用的预算,以最大限度地提高预期回报,或等价地减少累积的遗憾。在这样做时,决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如,用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题,离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget
Department of Electrical and Computer Engineering(电子与计算机工程系);National University of Singapore(新加坡国立大学);Department of Mathematics(数学系)
本文针对固定预算下线性老虎机中的最佳可行臂识别问题,提出一种基于后验采样和博弈采样规则的新算法,实现了误差概率指数衰减且达到信息论下界,实验证明其优于多个基准方法。
2025-06-03 cs.AI cs.IT cs.LG
Fixed-Budget Differentially Private Best Arm Identification
National University of Singapore(新加坡国立大学)
本文研究差分隐私约束下固定预算线性赌博机最佳臂识别问题,提出基于最大绝对行列式原则的 DP-BAI 策略,并证明其错误概率上下界均随预算指数衰减且阶数匹配。
2024-01-17 cs.AI cs.IT cs.LG
Pure-Exploration for Infinite-Armed Bandits with General Arm Reservoirs
本文考虑了一个多臂强盗对策,其中的武器数量远大于最大预算,并且实际上是无限的。我们刻画了算法返回概率至少为1 - δ的ε-好臂的总预算的充分必要条件。在这种情况下,样本复杂度取决于ε、δ和所谓的库分布ν,从库分布ν中得出臂的均值iid。虽然大量的文献都是围绕着分析ν的具体情况,比如β分布,但我们的分析并没有对ν的形式做任何假设。我们的算法是基于连续的减半与令人惊讶的例外,手臂开始被丢弃后,只有一个单一的拉,需要一个分析,超越浓度单独。该算法的可证明的正确性也为经验观察提供了解释,即Li et al.(2017)的Hyperband算法中用于超参数调整的最积极的括号几乎总是最好的。
2019-01-13 cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们认为最好的武器识别问题,在多武装土匪,纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂,每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架,其中的武器被解雇迭代,直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果,我们开发了一种算法,根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法,表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果,我们的实验表明,非线性算法优于国家的最先进的。我们最后研究的侧观察模型,拉一只手臂揭示了其相关的武器的奖励,我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Fixed-Budget Best-Arm Identification in Sparse Linear Bandits
CNRS at CREATE(法国国家科学研究中心驻CREATE);National University of Singapore(新加坡国立大学)
本文针对稀疏高维线性赌博机的固定预算最佳臂识别问题,提出两阶段算法 Lasso-OD,先利用阈值 Lasso 估计支持集,再在支持集上运行 OD-LinBAI,使错误概率指数仅依赖稀疏度 s 而非维度 d,并证明其几乎极小极大最优。
2023-11-01 cs.LG stat.ML
Learning with a Budget: Identifying the Best Arm with Resource Constraints
Department of Industrial Systems Engineering & Management(工业系统工程与管理系)
本文提出SH-RR算法,在资源约束下有效识别最佳臂,统一了随机和确定性消耗设置的理论分析。
2026-02-27 cs.LG
Asymptotically Optimal Fixed-Budget Best Arm Identification with Variance-Dependent Bounds
the University of Tokyo(东京大学);Tohoku University(东北大学);Brown University(布朗大学);University College London(伦敦大学学院)
针对固定预算最佳臂识别,本文建立由潜在结果方差刻画的期望简单遗憾渐近下界,并提出达到该下界的渐近极小极大最优 TS-HIR 策略。
2023-07-12 cs.LG econ.EM math.ST
On the Complexity of Best Arm Identification in Multi-Armed Bandit Models
CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎电信学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学)
随机多臂强盗模型是一个简单的抽象,已被证明在统计学和机器学习的许多不同背景下是有用的。而在遗憾最小化方面的可实现的限制是众所周知的,我们的目标是有助于更好地理解的性能方面,确定最好的武器。我们介绍了两个主要的框架,在文献中考虑的复杂性的一般概念:固定预算和固定的信心设置。在固定的信心设置,我们提供了第一个已知的分布依赖的下界的复杂性,涉及信息理论的数量,并举行时,m大于1的一般假设。在两个武装匪徒的特定情况下,我们得到了改进的下限在固定的信心和固定的预算设置,随着高斯和伯努利土匪模型的匹配算法。这些结果特别表明,固定预算设置的复杂性可能小于固定置信度设置的复杂性,这与测试完全指定的替代品时观察到的熟悉行为相矛盾。此外,我们还提供了改进的顺序停止规则,有保证的错误概率和更短的平均运行时间。的证明依赖于两个技术的结果,是独立的利益:一个偏差引理的自归一化和(引理19)和一个新的变化的测量不等式的强盗模型(引理1)。
2016-11-14 cs.LG stat.ML
Bandit Pareto Set Identification: the Fixed Budget Setting
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Inserm(法国国家健康与医学研究院)
针对多臂老虎机多目标纯探索中固定预算下的帕累托集识别问题,提出经验间隙消除算法族,证明其错误概率指数衰减且有信息论下界支撑,实证验证了算法性能优异。
2025-01-13 cs.LG stat.ML
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Jiao Tong University(上海交通大学)
针对顺序学习方法的策略行为,例如在实际推荐系统中的“点击框架”,已经被广泛观察到。这种行为的动机,我们研究的组合多武装土匪(CMAB)的策略操纵下的奖励,其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置(例如对抗攻击和对抗腐败)的放松。本文提出了一种组合UCB算法的策略变体,在策略操作下,该算法的遗憾最多为$O(m\log T + m B_{max})$,其中$T$为时间范围,$m$为臂数,$B_{max}$为臂的最大预算,并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统,在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限,在各种制度的操纵预算。
2021-11-19 cs.AI cs.LG
Who Gets Watched? Allocating Scarce Escalation Resources on Pediatric Wards with Neural Index Policies
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学)
针对多动作静止多臂老虎机,提出神经索引策略,通过可微背包层处理异构预算,端到端训练,性能接近最优,可扩展至数百臂。
2026-11-02 cs.LG stat.ML
Asymptotically Optimal Best Arm Identification with Fixed-Budget under Differential Privacy
Institute of Data Science(数据科学研究所);National University of Singapore(新加坡国立大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Mathematics(数学系)
本文提出AO-Pri-BAI算法,在纯ε-差分隐私下实现固定预算最佳臂识别的渐近最优指数衰减率,并通过拉普拉斯树机制和最小-最大采样设计达到隐私感知基准,数值实验验证其优势。
2026-10-07 cs.IT cs.LG math.IT
An Anytime Algorithm for Good Arm Identification
EPFL(洛桑联邦理工学院);Inria Lille(里尔大学研究所);Université Paris Cité(巴黎城市大学);Inserm(法国国家医学研究院);Université Sorbonne Paris Nord(巴黎北大学校);BioComp, Institut de Biologie de l’ENS (IBENS UMR 8197)(生物计算,巴黎高等师范学校生物研究所);Université Paris Cité, Inserm, NeuroDiderot, UMR-1141(巴黎城市大学,法国国家医学研究院,NeuroDiderot,UMR-1141);University of Rostock(罗斯托克大学)
本文提出了一种用于良好臂识别的任何时间算法APGAI,该算法在固定预算和置信度设置下具有高效性和良好的实证性能。
2026-01-07 cs.LG stat.ML
Worst-Case Optimal Multi-Armed Gaussian Best Arm Identification with a Fixed Budget
the University of Tokyo(东京大学)
本研究针对固定预算下的多臂高斯最优臂识别问题,推导了仅依赖结果方差的最坏情况错误识别概率下界,并提出渐近最坏情况最优的GNA-EBA策略。
2024-03-11 cs.LG econ.EM math.ST
Efficient Prompt Optimization Through the Lens of Best Arm Identification
University of Virginia(弗吉尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出TRIPLE框架,通过将提示优化与多臂老虎机中固定预算最佳臂识别相联系,在明确预算约束下高效执行提示选择,并在多任务和多种LLM上显著优于基线,同时扩展至少样本提示示例选择。
2024-05-30 cs.AI cs.CL cs.LG
Quantile Bandits for Best Arms Identification
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61部门)
我们考虑随机多武装土匪的最佳武器识别任务的一个变种。出于规避风险的决策问题,我们的目标是确定一组$m$武器的最高$τ$分位数值在一个固定的预算。证明了具有非减风险率的随机变量的顺序统计量和分位数的非对称双边集中不等式,这可能是独立的兴趣。利用这些不等式,我们分析了分位数版本的连续接受和拒绝(Q-SAR)。我们推导出一个上限的概率臂错误识别,第一个理由的分位数为基础的算法固定预算多个最好的武器识别。我们展示了最佳手臂识别的说明性实验。
2023-02-21 cs.LG
Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition
研究固定预算下允许弃权的最优臂识别问题,发现弃权使错误概率从多项式衰减转变为指数衰减,并给出最优指数下界与上界。
2026-06-28 cs.IT cs.LG math.IT
Risk-Averse Best Arm Set Identification with Fixed Budget and Fixed Confidence
Hokkaido University(北海道大学)
针对不确定环境下的风险厌恶决策,提出一种统一元算法框架,在固定置信度和固定预算下高效识别帕累托最优臂集,兼顾期望奖励与风险,并优于现有方法。
2025-10-24 cs.LG
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University(俄亥俄州立大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们考虑了一个无约束的强盗问题,其中每个手臂拉招致一个随机的成本,并产生一个随机的回报。目标是在总成本的预算约束下,最大化总期望报酬。该模型是通用的,因为它允许相关且可能重尾的成本回报对,这些对可以根据许多应用的要求呈现负值。我们表明,如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对,$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界,我们提出了算法,利用成本和回报之间的相关性,通过提取共同的信息,通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界,并表明,所提出的算法实现紧问题相关的遗憾界,这是最佳的联合高斯成本和奖励对的情况下,一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
On the Existence of a Complexity in Fixed Budget Bandit Identification
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189-CRIStAL(UMR 9189-里尔计算机、信号与自动控制实验室)
本文研究固定预算赌博机辨识中复杂度的存在性,证明若存在复杂度则由最优非自适应采样过程决定,并指出包括双臂伯努利最佳臂辨识在内的多个任务不存在此类复杂度。
2023-06-30 cs.LG stat.ML
Variance-Optimal Arm Selection: Misallocation Minimization and Best Arm Identification
Department of Electrical Engineering, IIT Delhi(电子工程系,德里理工学院)
本文提出UCB-VV和SHVV算法,分别解决误分配最小化和固定预算最佳臂识别问题,通过理论分析和实验证明其在方差最优选择中的有效性。
2026-02-17 cs.LG stat.ML
Budgeted Recommendation with Delayed Feedback
Kyushu University(九州大学);Ruhr-University Bochum(鲁尔大学波鸿分校)
本文研究有限预算与延迟反馈耦合下的上下文多臂老虎机资源分配问题,提出 DORAL 策略以在臂依赖延迟反馈中优化资源支出。
2024-05-19 cs.LG
The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation
Harvard University(哈佛大学);University of Virginia(弗吉尼亚大学)
受推荐系统等经济应用的启发,我们研究了由理性行为者进行的\emph{strategic behavior}下的随机强盗算法的行为,即,手臂每个手臂都是一个\emph{self-interested}策略参与者,在跨时期预算约束下,每当被拉时,他们都可以修改自己的奖励,以最大化自己的预期被拉次数。我们分析了三个流行的强盗算法的鲁棒性:UCB,$\varepsilon$ -贪婪,汤普森采样。我们证明了这三种算法都达到了一个遗憾上界$\mathcal{O}(\max \{ B, K\ln T\})$,其中$B$是跨武器的总预算,$K$是武器的总数,$T$是时间范围的长度。这种遗憾保证在\emph{arbitrary adaptive}的武器操纵策略下成立。我们的第二组主要结果表明,这个遗憾界是\emph{tight} -事实上,对于UCB,即使我们限制手臂的操作策略形成\emph{Nash equilibrium},它也是紧的。下界利用了一个简单的操作策略,所有三种算法都是一样的,得到了一个$Ω(\max \{ B, K\ln T\})$的界。我们的结果说明了经典的强盗算法对策略操纵的鲁棒性,只要$B=o(T)$。
2020-11-12 cs.AI cs.GT cs.LG