Optimal Best Arm Identification in Two-Armed Bandits with a Fixed Budget under a Small Gap
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学);Columbia University(哥伦比亚大学)
我们考虑固定预算的最佳臂识别双臂高斯强盗问题。一个长期悬而未决的问题是存在一个最佳策略,在该策略下,错误识别的概率符合一个下限。我们证明了当期望回报之间的差距很小时,遵循Neyman分配规则(Neyman,1934)的策略是渐近最优的。首先,我们回顾了Kaufmann et al.(2016)得出的下限。然后,我们提出了“奈曼分配(NA)-增强逆概率加权(AIPW)”的策略,它包括使用奈曼分配估计标准差的抽样规则和使用AIPW估计的推荐规则。我们提出的策略是最优的,因为当预算趋于无穷大且差距趋于零时,上限与下限相匹配。
2022-12-28 cs.LG econ.EM math.ST
Deep Contextual Multi-armed Bandits
HubSpot, Inc.(HubSpot公司)
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模,这使得能够进行不确定性驱动的(原则性的)探索,或者通过使用ε贪婪探索策略进行非线性建模。在这里,我们提出了一个深度学习框架的上下文多武装匪徒,这是既非线性的,同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题,方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平,辍学率是学习的,而不是被认为是一个超参数。我们证明,我们的方法大大减少了两个任务(UCI蘑菇任务和赌场奇偶校验任务)相比,1)非上下文土匪,2)ε贪婪的深度上下文土匪,和3)固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Locally Optimal Fixed-Budget Best Arm Identification in Two-Armed Gaussian Bandits with Unknown Variances
University of Tokyo(东京大学)
针对方差未知的两臂高斯老虎机固定预算最佳臂识别问题,提出基于估计方差的NA-AIPW策略,证明在小差距机制下其错误识别概率匹配下界,实现渐近最优。
2024-03-17 cs.LG econ.EM math.ST
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下,使用二进制分类算法,如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的,而另一些则依赖于其他形式的随机性,从而产生比以前的作品更具可扩展性的方法,并且能够与任何类型的分类算法一起工作。特别是,自适应贪心算法表现出了很大的潜力,在许多情况下,实现了更好的性能比置信上限和汤普森采样策略,代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Minimax and Bayes Optimal Best-Arm Identification
本文提出了一种同时具有极小极大和贝叶斯最优性质的最佳臂识别策略,通过两阶段采样和决策规则实现高效识别。
2026-07-20 cs.LG econ.EM math.ST
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS;Tilburg University(蒂尔堡大学)
在过去的十年中,上下文强盗算法已经越来越受欢迎,因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时,到目前为止,令人惊讶的是,研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距,本文介绍了面向对象的R包“上下文”:一个用户友好的,并通过其面向对象的结构,易于扩展的框架,便于并行比较上下文和上下文无关的土匪政策,通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Online Algorithm for Unsupervised Sequential Selection with Contextual Information
IIT Bombay(印度理工学院孟买分校);DeepMind(深度思维);University of Alberta(阿尔伯塔大学);Boston University(波士顿大学)
在本文中,我们研究了上下文无监督顺序选择(USS),随机上下文土匪问题的一个新的变种,其中失去一只手臂不能从观察到的反馈推断。在我们的设置中,武器与固定成本相关联,并且是有序的,形成级联。在每一轮中,呈现一个上下文,学习者依次选择手臂,直到某个深度。停在一个手臂所产生的总成本是所选手臂的固定成本和与手臂相关的随机损失的总和。学习者的目标是学习一个决策规则,该规则将上下文映射到手臂,目标是最小化总预期损失。这个问题是具有挑战性的,因为我们面临的是一个无人监督的环境,因为总损失无法估计。显然,只有当最佳手臂可以从问题结构中(显式或隐式)推断出来时,学习才是可行的。我们观察到,当问题实例满足所谓的“上下文弱优势”(CWD)属性时,学习仍然是可能的。在CWD下,我们提出了一个上下文USS问题的算法,并证明了它具有次线性后悔。在合成数据集和真实数据集上的实验验证了算法的有效性。
2020-10-23 cs.LG stat.ML
Nonparametric Contextual Bandits in an Unknown Metric Space
National University of Singapore(新加坡国立大学);Cornell University(康奈尔大学)
考虑非参数上下文多臂强盗问题,其中每个臂$a \in [K]$与从上下文映射到期望奖励的非参数奖励函数$f_a: [0,1] \to \mathbb{R}$相关联。假设有一个大的手臂集合,但在手臂奖励函数中有一个简单但未知的结构,例如有限类型或关于未知度量空间的光滑。我们提出了一种新的算法,学习数据驱动的相似性之间的武器,为了实现自适应分区的上下文臂空间更有效的学习。我们提供了遗憾的界限,以及模拟,突出算法的依赖于局部几何的奖励函数。
2019-08-03 cs.LG stat.ML
Worst-Case Optimal Multi-Armed Gaussian Best Arm Identification with a Fixed Budget
the University of Tokyo(东京大学)
本研究针对固定预算下的多臂高斯最优臂识别问题,推导了仅依赖结果方差的最坏情况错误识别概率下界,并提出渐近最坏情况最优的GNA-EBA策略。
2024-03-11 cs.LG econ.EM math.ST
Multi-objective Contextual Bandit Problem with Similarity Information
Bilkent University(比尔肯特大学)
在本文中,我们提出了多目标上下文强盗问题的相似信息。这个问题扩展了经典的上下文强盗问题的相似性信息,通过引入多个和可能冲突的目标。由于每个目标中的最佳手臂在给定的背景下可能是不同的,因此基于单个目标学习最佳手臂可能会危及从其他目标获得的奖励。为了评估学习者在这种设置中的表现,我们使用了一个性能指标,称为上下文帕累托后悔。从本质上讲,语境帕累托后悔是学习者选择的手臂到语境相关帕累托前沿的距离之和。对于这个问题,我们开发了一种新的在线学习算法,称为帕累托上下文缩放(PCZ),它利用上下文缩放的思想来学习的手臂接近帕累托前面的每个观察到的上下文,通过自适应分区的联合上下文手臂集根据观察到的奖励和位置的上下文手臂对在过去选择。然后,我们证明了PCZ实现了$\tilde O (T^{(1+d_p)/(2+d_p)})$帕累托后悔,其中$d_p$是帕累托缩放维度,取决于一组接近最优的上下文臂对的大小。此外,我们通过提供几乎匹配的$Ω(T^{(1+d_p)/(2+d_p)})$下界来证明该遗憾界几乎是最优的。
2018-03-11 cs.LG stat.ML
Contextual Multi-armed Bandit Algorithm for Semiparametric Reward Model
Seoul National University(首尔国立大学)
上下文多臂强盗(MAB)算法已被证明有希望在连续的决策任务,如新闻文章推荐系统,网页广告投放算法,和移动健康的累积奖励最大化。然而,大多数提出的上下文MAB算法假设奖励和动作的上下文之间的线性关系。本文提出了一种新的上下文MAB算法的放松,半参数奖励模型,支持非平稳性。所提出的方法是较少的限制,更容易实现和速度比两个替代算法,考虑相同的模型,同时实现了严格的遗憾上限。我们证明了所提出的算法的高概率上界的遗憾所产生的线性奖励模型的汤普森抽样算法具有相同的顺序。建议和现有的算法进行评估,通过模拟,也适用于雅虎!新闻文章推荐日志数据。
2019-01-31 cs.LG stat.ML
A Dimension-free Algorithm for Contextual Continuum-armed Bandits
City University of Hong Kong(香港城市大学);University of Toronto(多伦多大学);Fudan University(复旦大学)
在上下文连续体-武装匪徒中,上下文$x$和武器$y$都是连续的,并且从高维空间中提取。学习$f(x,y)$的收益函数没有特定的参数形式。文献表明,对于Lipschitz连续函数,最优后悔是$\tilde{O}(T^{\frac{d_x+d_y+1}{d_x+d_y+2}})$,其中$d_x$和$d_y$是上下文和臂的维度,因此遭受维度灾难。我们开发了一个算法,实现遗憾$\tilde{O}(T^{\frac{d_x+1}{d_x+2}})$时,$f$是全球凹的$y$。在许多应用中,全局最小化是一个常见的假设。该算法是基于随机逼近和在线估计的梯度信息。我们的研究结果产生了一个有价值的见解,灾难的维度的武器可以克服一些温和的结构的支付函数。
2022-10-03 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Optimal Best Arm Identification with Fixed Confidence
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);UPS IMT(图卢兹第三大学国立图卢兹应用科学学院);Univ. Lille(里尔大学);CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心);Inria(法国国家信息与自动化研究所)
我们给出了一个完整的表征的复杂性的最佳臂识别单参数强盗问题。我们证明了一个新的,紧下界的样本复杂性。我们提出了“跟踪和停止”的战略,我们证明是渐近最优的。它包括一个新的采样规则(它跟踪的最佳比例的手臂画突出的下限)和一个停止规则命名后,我们给一个新的分析。
2016-06-01 cs.LG math.ST stat.ML
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中,奖励取决于手臂和环境。在基于流的主动学习设置中,获得奖励的基础事实是昂贵的,并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此,该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中,我们考虑了一个基于流的主动学习设置,其中地面实况的查询请求被发送到注释器,连同地面实况的一些先验信息。根据先验信息的准确性,查询成本会有所不同。我们的算法主要进行两个操作:细化的上下文和手臂空间和动作的选择。在我们的算法中,上下文空间和手臂空间的分区保持一定的时间槽,然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值,旨在最大化总奖励。我们分析表明,遗憾是次线性的,并在相同的顺序与传统的上下文多臂强盗算法,其中没有查询成本
2016-07-11 cs.LG
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法,在那里我们估计和优化的因果(增量)影响。专注于因果效应导致更好的投资回报率(ROI),只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理,隆起建模和多武装土匪的优势。它优化了因果治疗效果,而不是纯粹的结果,并在数据汇集中纳入了反事实生成。根据升级建模结果,我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗,并对记录的数据执行非策略策略评估。特别是汤普森抽样策略,使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
Multiple Identifications in Multi-Armed Bandits
Princeton University(普林斯顿大学)
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法,该算法基于对看似不好的武器的连续拒绝,以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是,我们表明,这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Minimax Optimal Simple Regret in Two-Armed Best-Arm Identification
Department of Basic Science, The University of Tokyo(东京大学基础科学系)
本研究证明在双臂固定预算最优臂识别中,Neyman分配在简单遗憾上达到极小极大最优,且无需局部分布假设,并在伯努利分布下退化为均匀分配。
2025-01-21 cs.LG econ.EM math.ST
Productization Challenges of Contextual Multi-Armed Bandits
Outbrain Inc(Outbrain公司)
上下文多臂强盗是一个众所周知的和公认的在线优化算法,用于许多Web体验,以定制内容或呈现用户的流量。已经发表了很多关于所提出的算法变体的理论保证(例如,后悔界限),但相对较少关注在大规模设置中生产上下文强盗计划时遇到的挑战。这项工作列举了我们在大规模利用两个具体用例的上下文强盗时遇到的几个产品化挑战。我们讨论了如何(1)确定建模强盗武器的上下文(工程特征);(2)健全检查优化过程的健康状况;(3)以离线方式评估过程;(4)将潜在的动作(武器)动态添加到正在运行的过程中;(5)使决策过程受到约束;(6)迭代改进在线学习算法。对于每个这样的挑战,我们解释问题,提供我们的方法,并在适用的情况下涉及现有技术。
2019-07-10 cs.IR cs.LG
Best Arm Identification in Generalized Linear Bandits
Stanford University(斯坦福大学)
受药物设计的启发,我们考虑了广义线性Bandits中的最佳臂识别问题。更具体地说,我们假设每个手臂都有一个协变量向量,有一个未知的参数向量,这些参数向量在手臂之间是共同的,并且广义线性模型捕获了奖励对协变量和参数向量的依赖性。问题是最小化识别具有足够高概率的足够接近最优的臂所需的臂拉动的数量。基于线性强盗最佳臂识别的最新进展(Xu et al. 2018),我们提出了第一个广义线性强盗最佳臂识别算法,为其准确性和采样效率提供了理论保证,并通过仿真评估其在各种场景下的性能。
2019-05-20 cs.LG stat.ML
Risk-averse Contextual Multi-armed Bandit Problem with Linear Payoffs
Georgia Institute of Technology(佐治亚理工学院)
本文考虑了风险厌恶准则下线性支付的上下文多臂强盗问题。在每一轮中,每只手臂的上下文都被揭示出来,决策者选择一只手臂来拉动,并获得相应的奖励。特别地,我们考虑均值-方差作为风险标准,最佳臂是具有最大均值-方差回报的臂。我们应用汤普森采样算法的不相交模型,并提供了一个全面的遗憾分析所提出的算法的一个变体。对于$T$轮,$K$行动,和$d$维特征向量,我们证明了遗憾界的$O((1+ρ+\frac{1}ρ) d\ln T \ln \frac{K}δ\sqrt{d K T^{1+2ε} \ln \frac{K}δ \frac{1}ε})$,持有概率$1-δ$下的均值方差准则与风险容忍度$ρ$,任何$0<ε<\frac{1}{2}$,$0<δ<1$。我们所提出的算法的实证表现证明通过一个投资组合选择问题。
2022-06-24 cs.IT cs.LG math.IT
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics(上海财经大学);Columbia University(哥伦比亚大学)
针对批处理多臂老虎机的最优臂识别问题,提出通用线性规划框架及两阶段算法,兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,多臂强盗(MAB)框架在各种应用中吸引了大量的关注,从推荐系统和信息检索到医疗保健和金融,由于其出色的性能与某些有吸引力的属性相结合,例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展,因为各种实际应用所激发的新问题设置和算法正在引入,建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展,在多臂土匪的多个现实生活中的应用。具体来说,我们介绍了一种常见的基于MAB的应用程序的分类,并总结了这些领域的最新技术。此外,我们还确定了当前的重要趋势,并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China(中国人民大学统计学院);School of Management, Fudan University(复旦大学管理学院);Mendoza College of Business, University of Notre Dame(圣母大学门多萨商学院);Center for Applied Statistics, School of Statistics, Renmin University of China(中国人民大学应用统计中心);Department of Statistics, University of Warwick(华威大学统计系)
针对敏感数据序贯决策中的隐私问题,本文提出统一置信界型估计器及跳跃启动方案,解决LDP下非参数化上下文MAB的极小化极大最优性,并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂,同时最大限度地减少抽样预算。我们设计了一个简单的算法,其采样复杂度匹配已知的实例特定的下界,渐近几乎肯定和预期。该算法依赖于手臂采样规则,该规则跟踪手臂绘制的最佳比例,并且可以像我们希望的那样很少更新,而不会损害其理论保证。此外,与现有的最佳臂识别策略,我们的算法使用的停止规则,不依赖于武器的数量。实验结果表明,我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research(IBM研究院)
我们考虑上下文强盗问题的一个新变体(即,具有决策者可用的边信息或上下文的多臂强盗),其中在每个决策处使用的上下文可能被破坏(“无用上下文”)。这个新的问题是由某些在线设置,包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置,我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同,我们能够从所有迭代中学习,即使是那些有损坏的上下文,通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
上下文强盗是多臂强盗的一种形式,其中代理可以在每个时间步访问每个手臂的预测性辅助信息(称为上下文),并且已用于建模个性化新闻推荐,广告投放和其他应用。在这项工作中,我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样,目标是利用不同手臂的上下文相似性,以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪,建立相应的遗憾界,并解释这个界量化的优势,在存在高任务(手臂)相似性的学习。我们还描述了一个有效的计划,估计任务相似性的数据,并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Robust Contextual Linear Bandits
Amazon(亚马逊)
模型误设定是统计方法和机器学习应用中的主要考虑因素。然而,它往往被忽视的上下文土匪。本文研究了一种常见形式的错误指定,一个组间异质性,是不捕获的上下文。为了解决这个问题,我们假设异质性是由于特定于手臂的随机变量,这是可以学习的。我们称这种设置为鲁棒上下文强盗。特定于手臂的变量解释了未知的手臂间异质性,我们将它们纳入平均奖励及其不确定性的鲁棒上下文估计。我们开发了两个有效的强盗算法为我们的设置:UCB算法称为RoLinUCB和后验采样算法称为RoLinTS。我们分析了这两种算法,并将它们的$n$ -轮贝叶斯遗憾约束.我们的实验表明,RoLinTS是统计上有效的经典方法时,错误是低,更强大的错误是高时,更显着的计算效率比其天真的实现。
2022-10-26 cs.LG stat.ML
Risk-Aware Algorithms for Adversarial Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
在这项工作中,我们考虑了对抗性的上下文土匪与风险约束。在每一轮中,大自然都准备了一个上下文,每个手臂的成本,以及每个手臂的风险。学习者利用上下文来拉动手臂,然后接收与被拉动的手臂相关联的相应成本和风险。除了最小化累积成本之外,学习者还需要满足长期风险约束--所有被拉手臂的累积风险的平均值不应大于预先设定的风险。定义阈值。为了解决这个问题,我们首先研究了全信息设置,在每一轮中,学习者都会收到一个对抗性凸损失和一个凸约束。我们开发了一个Meta算法,利用在线镜像下降的充分信息设置,并将其扩展到上下文的强盗与风险约束设置使用专家的意见。我们的算法可以实现接近最优的遗憾方面的总成本最小化,同时成功地保持了次线性增长的累积风险约束违反。
2016-10-17 cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究识别用户集群的上下文多武装匪徒(MAB)。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中,用户依赖性在用户的行为中起着至关重要的作用,因此奖励。聚类相似用户可以提高奖励估计的质量,这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置,我们聚类用户的基础上未知的强盗参数,这将是增量估计。特别是,我们定义了上下文MAB中的聚类检测问题,并提出了一个强盗算法,LOCB,嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后,我们从各个方面评估了所提出的算法,它优于最先进的基线。
2023-03-24 cs.LG
Causal Feature Selection Method for Contextual Multi-Armed Bandits in Recommender System
Roblox
本文提出HIE和HDD两种无模型方法,用于识别推荐系统中驱动异质处理效应的特征,提升上下文多臂老虎机性能。
2025-11-30 cs.IR cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University(西北大学);University of Florida(佛罗里达大学);New York University(纽约大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
线性上下文强盗是一类重要的序贯决策问题,在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究,但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中,我们解决这个开放的问题,考虑线性上下文强盗(变化)无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.,[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Optimal Best Markovian Arm Identification with Fixed Confidence
University of California Berkeley(加州大学伯克利分校)
本文给出了单参数马尔可夫强盗模型中最佳马尔可夫臂识别的采样复杂度的完整刻画。我们推导出具体实例的非渐近和渐近的下界,推广的IID设置。我们分析的跟踪和停止策略,最初提出的IID设置,我们证明,渐近它是最多的一个因素,除了下界。我们的单参数马尔可夫强盗模型是基于指数族的随机阵的概念,我们建立了许多有用的属性。为了分析跟踪-停止策略,我们导出了一个新的马尔可夫链的浓度不等式,它本身可能是有趣的。
2020-07-28 cs.LG math.ST stat.ML
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们认为最好的武器识别的问题,在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中,多个武器被顺序播放,直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈,因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪,结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构,明确依赖于手臂的平均回报,而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Top-$k$ eXtreme Contextual Bandits with Arm Hierarchy
Google Research(谷歌研究院);Amazon(亚马逊);MIT(麻省理工学院);Stanford University(斯坦福大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
现代应用程序,如在线广告和推荐系统的动机,我们研究的顶部- $k$极端的上下文土匪问题,武器的总数可以是巨大的,学习者被允许选择$k$武器和观察所有或部分的奖励所选择的武器。我们首先提出了一个算法的非极端可实现的设置,利用反向间隙加权策略选择多个武器。我们表明,我们的算法有一个遗憾的保证$O(k\sqrt{(A-k+1)T \log (|\mathcal{F}|T)})$,其中$A$是武器的总数和$\mathcal{F}$是类包含回归函数,而只需要$\tilde{O}(A)$计算每个时间步。在极端的设置,其中的武器的总数可以在数百万,我们提出了一个实际动机的手臂层次模型,诱导一定的结构,平均奖励,以确保统计和计算效率。分层结构允许每个上下文的相关臂的数量呈指数级减少,从而导致$O(k\sqrt{(\log A-k+1)T \log (|\mathcal{F}|T)})$的遗憾保证。最后,我们实现了我们的算法使用分层线性函数类,并表现出优越的性能,相对于著名的基准模拟强盗反馈实验,使用极端的多标签分类数据集。在一个拥有300万条手臂的数据集上,我们的缩减方案的平均推理时间仅为7.9毫秒,这是一个100倍的改进。
2021-02-15 cs.AI cs.LG stat.ML
Where Does the Union Bound Go? Best-Arm Identification and Strong FWER Control
University of Twente(特温特大学);Centrum Wiskunde & Informatica(数学与计算机科学中心)
本研究探讨固定置信度最优臂识别中联合界的困惑,明确最优臂识别的两种假设定向方式,解释多重性的不同呈现形式,以跨领域术语明确其等价性。
2026-08-21 cs.LG stat.ME stat.ML
On Best-Arm Identification with a Fixed Budget in Non-Parametric Multi-Armed Bandits
ENS de Lyon(里昂高等师范学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
我们奠定了一个非参数理论的最佳武器识别的多武器土匪与一个固定的预算T。我们考虑一般的,可能是非参数的,分布在手臂上的模型D;一个首要的例子是所有概率分布在[0,1]上的模型D = P(0,1)。我们提出了上界的平均对数概率的误认的最佳臂的基础上的信息理论的数量,对应于infima的Kullback-Leibler分歧之间的一些分布D和一个给定的分布。这是通过对Audibert、Bubeck和Munos(2010)的连续拒绝策略的精确分析而实现的。最后,我们提供了相同的平均对数概率的下限,也在相同的新的信息理论量方面,这些下限较大时,所考虑的策略的(自然)假设更强。所有这些新的上界和下界都是基于现有的界的推广,例如,分布之间的差距。
2023-02-06 cs.IT cs.LG math.IT
Privacy-Preserving Multi-Party Contextual Bandits
Facebook AI Research(Facebook人工智能研究)
情境强盗是在线学习者,给定输入,选择一个手臂并获得该手臂的奖励。他们将奖励作为学习信号,旨在最大化输入的总奖励。上下文强盗通常用于解决推荐或排名问题。本文考虑了一种学习环境,在这种环境中,多方以私人的方式训练一个上下文强盗:各方的目标是最大化总回报,但不想与其他各方分享他们拥有的任何相关信息。具体而言,多方可以访问可能使学习者受益但不能与其他方共享的(不同)功能。其中一方拉动手臂,但其他方可能不知道哪个手臂被拉动。一方收到奖励,但其他方可能无法学习奖励值。本文开发了一个隐私保护的多方上下文的学习设置相结合的安全多方计算与差分私有机制的基础上ε贪婪的探索。
2020-02-13 cs.CR cs.LG stat.ML
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam(波茨坦大学)
本文研究了在$K$ -武装随机强盗环境下,具有\textit{fixed budget $T$}的\textit{best arm identification}问题,其中武器分布定义在$[0,1]$上.我们证明,任何强盗策略,至少有一个强盗问题的复杂性$H$,将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$,其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法,这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的,因此,目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University(清华大学)
在最佳- $K$识别问题(Best- $K$ -Arm)中,我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度,通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机,并在过去的十年中引起了相当大的关注。在本文中,我们提出了新的实用算法的最佳- $K$ -手臂问题,它具有接近最佳的样本复杂性边界(匹配的下限对数因子),并优于最佳- $K$ -手臂问题(即使是$K=1$)在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Multi-objective Contextual Multi-armed Bandit with a Dominant Objective
Bilkent University(比尔肯特大学)
在本文中,我们提出了一个新的多目标上下文多臂强盗(MAB)问题的两个目标,其中一个目标优于其他目标。与单目标MAB问题不同,在单目标MAB问题中,学习者为它选择的每个手臂获得随机标量奖励,在所提出的问题中,学习者获得随机奖励向量,其中奖励向量的每个分量对应于目标之一,并且奖励的分布取决于在每轮开始时提供给学习者的上下文。我们称这个问题为上下文多臂强盗与一个占主导地位的目标(CMAB-DO)。在CMAB-DO中,学习器的目标是最大化其在非主导目标中的总回报,同时确保其在主导目标中的总回报最大化。在这种情况下,给定上下文的最优臂是在最大化主导目标中的预期回报的所有臂中最大化非主导目标中的预期回报的臂。首先,我们证明了最优的手臂位于帕累托前沿。然后,我们提出了多目标上下文多臂强盗算法(MOC-MAB),并定义了两个性能指标:二维(2D)遗憾和帕累托遗憾。结果表明,MOC-MAB的二维后悔和帕累托后悔都是次线性的。我们还比较了所提出的算法与其他国家的最先进的方法在合成和真实世界的数据集的性能。所提出的模型和算法具有广泛的实际应用,涉及多个和可能相互冲突的目标,从无线通信到医疗诊断和推荐系统。
2018-06-01 cs.LG
Differential Good Arm Identification
本文提出可微的好臂识别算法DGAI,以数据驱动方式改进最先进HDoC算法的样本复杂度,并在给定阈值作为先验时提升一般多臂老虎机性能,实验证实在合成与真实数据集上显著优于基线。
2024-02-16 cs.LG stat.ML
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin(威斯康星大学);UCLA(加州大学洛杉矶分校)
受超参数优化任务的启发,我们引入了非随机最佳臂辨识问题。在多臂强盗文献中,累积后悔目标在非随机和随机环境下都有算法和分析,而据我们所知,最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置,确定一个已知的算法,非常适合这种设置,并分析其行为。接下来,通过利用标准机器学习算法的迭代性质,我们将超参数优化作为非随机最佳臂识别的实例,并根据经验评估我们提出的算法。我们的实证结果表明,通过分配更多的资源,有前途的超参数设置,我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Best Arm Identification for Contaminated Bandits
Massachusetts Institute of Technology(麻省理工学院)
本文研究了鲁棒统计背景下的主动学习。具体来说,我们提出了一个变种的最佳手臂识别问题的\emph{contaminated bandits},其中每个手臂拉有概率$\varepsilon$生成一个样本从任意的污染分布,而不是真正的底层分布。目标是以高概率确定最佳(或近似最佳)真实分布,其次是保证该分布的质量。污染的强盗设置的主要挑战是,真正的分布是只有部分可识别的,即使有无限的样本。为了解决这个问题,我们开发了紧密的,非渐近的样本复杂性边界的前两个强大的时刻(中位数和中位数绝对偏差)从污染的样本的高概率估计。这些浓度不等式的主要技术贡献的文件,可能是独立的利益。利用这些结果,我们适应几个经典的最佳手臂识别算法的污染的强盗设置,并推导出样本复杂度上界为我们的问题。最后,我们提供了匹配信息理论上的样本复杂度(小对数因子)的下界。
2019-05-15 cs.LG math.ST stat.ML
Fixed-Confidence Best Arm Identification with Decreasing Variance
IIT Bombay(印度理工学院孟买分校);IIT Madras(印度理工学院马德拉斯分校)
针对奖励方差随时间递减的随机多臂老虎机最优臂识别问题,提出含初始等待期的连续采样与定期加权平均采样两种策略,通过理论分析与仿真验证其性能优于经典问题的现有最优策略。
2025-02-11 cs.IT cs.LG math.IT
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University(哈佛大学)
我们解决的M-最好的手臂识别问题,在多武装匪徒。玩家只有有限的预算来探索K条手臂(M<K),一旦被拉动,每条手臂都会从一个固定的未知分布中(独立地)获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法,在轮中进行迭代停用武器。在每一轮,预算除以剩余手臂的非线性函数,并且手臂被相应地拉动。基于决策规则,可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征,并建立非线性预算分配证明是有用的不同的问题环境(描述的竞争武器的数量)。我们提供了全面的数值实验表明,我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests
Cornell University(康奈尔大学);Alibaba Group(阿里巴巴集团)
研究了高度非平稳环境下的上下文强盗问题。由于用户兴趣的时变,上下文强盗问题在各种推荐系统中普遍存在。两个模型与不相交和混合支付被认为是表征的现象,用户对不同的项目的偏好不同,随着时间的推移。在不相交支付模型中,使用手臂的奖励由特定于手臂的偏好向量确定,该偏好向量是分段平稳的,不同手臂之间的变化是异步的和明显的。提出了一种有效的学习算法,是自适应的突然奖励的变化和理论的遗憾分析表明,一个次线性缩放的时间长度$T$的遗憾实现。该算法被进一步扩展到一个更一般的设置与混合的回报,其中的奖励,发挥手臂是由一个手臂特定的偏好向量和联合系数向量共享的所有武器。在真实世界的数据集上进行了实证实验,以验证所提出的学习算法在这两种设置下对基线的优势。
2020-02-29 cs.AI cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University(耶鲁大学);Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));Bar-Ilan University(巴伊兰大学)
我们研究的最佳武器识别问题的多武装土匪随机,潜在的私人奖励,当目标是确定在一个固定的,规定的水平与最高分位数的手臂。首先,我们提出了一个(非私有)连续消除算法的严格最优最佳臂识别,我们证明了我们的算法是$δ$ -PAC,我们描述了它的样本复杂度。此外,我们提供了一个下限的预期数量的拉动,表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距,特别是分位数土匪问题,我们表明,当差距接近零,最佳臂识别是不可能的。其次,出于应用程序的奖励是私人的,我们提供了一个差分私人连续消除算法的样本复杂度是有限的,即使是无限的支持大小的分布,我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Fair Contextual Multi-Armed Bandits: Theory and Experiments
University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院)
当AI系统与多个用户交互时,它经常需要做出分配决策。例如,虚拟代理决定在组设置中关注谁,或者工厂机器人选择工人来交付零件。在决策过程中表现出公平性对于这类系统被广泛接受至关重要。我们引入了一个多臂强盗算法的公平性约束,其中公平性被定义为一个任务或资源分配给一个用户的最小速率。该算法使用上下文信息的用户和任务,并没有假设如何捕捉不同用户的性能损失产生。我们提供了理论保证的性能和实证结果模拟和在线用户研究。结果强调了在公平决策中考虑上下文的好处,特别是当用户在某些上下文中表现更好而在其他上下文中表现更差时。
2019-12-13 cs.AI cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University(卡内基梅隆大学)
我们考虑一个变种的最佳武器识别(BAI)问题的多武装匪徒(MAB),其中有两套武器(源和目标),目标是确定最佳的目标手臂,而只拉源武器。在本文中,我们研究的设置时,尽管手段是未知的,有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题,并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法,以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面,这些问题在典型的BAI设置中不会出现,并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们认为最好的武器识别问题,在多武装土匪,纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂,每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架,其中的武器被解雇迭代,直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果,我们开发了一种算法,根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法,表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果,我们的实验表明,非线性算法优于国家的最先进的。我们最后研究的侧观察模型,拉一只手臂揭示了其相关的武器的奖励,我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
本文提出FCSR算法,用于在分组老虎机中实现固定预算约束下的最佳臂识别,通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Quantile Bandits for Best Arms Identification
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61部门)
我们考虑随机多武装土匪的最佳武器识别任务的一个变种。出于规避风险的决策问题,我们的目标是确定一组$m$武器的最高$τ$分位数值在一个固定的预算。证明了具有非减风险率的随机变量的顺序统计量和分位数的非对称双边集中不等式,这可能是独立的兴趣。利用这些不等式,我们分析了分位数版本的连续接受和拒绝(Q-SAR)。我们推导出一个上限的概率臂错误识别,第一个理由的分位数为基础的算法固定预算多个最好的武器识别。我们展示了最佳手臂识别的说明性实验。
2023-02-21 cs.LG