Regret Bounds for Deterministic Gaussian Process Bandits
University of British Columbia(不列颠哥伦比亚大学);Yahoo! Research(雅虎研究院)
本文分析了具有确定性观测值的高斯过程(GP)强盗问题。该分析使用与(Srinivas等人,2010年)。对于具有高斯观测噪声的GP,方差严格大于零(Srinivas等人,2010)证明了遗憾以$O(\frac{1}{\sqrt{t}})$的近似速率消失,其中t是观察的数量。为了补充他们的结果,我们攻击确定性的情况下,并获得更快的指数收敛速度。在一定的正则性假设下,我们证明了遗憾以高概率按照$O(e^{-\frac{τt}{(\ln t)^{d/4}}})$渐近减少。这里,d是搜索空间的维数,而$τ$是一个常数,它取决于目标函数在其全局最大值附近的行为。
2012-03-09 cs.LG stat.ML
Improved Regret Bounds of (Multinomial) Logistic Bandits via Regret-to-Confidence-Set Conversion
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院);University of Arizona(亚利桑那大学)
针对逻辑回归老虎机中忽略参数范数依赖的问题,提出R2CS方法构造凸置信集,改进遗憾界对S的依赖,并扩展至多项逻辑回归,保持计算可行性。
2024-03-13 cs.LG stat.ML
First-order regret bounds for combinatorial semi-bandits
INRIA Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
我们考虑在线组合优化问题下的半强盗反馈,学习者必须反复挑选行动从组合决策集,以尽量减少与其决策相关的总损失。在做出每个决定之后,学习者观察到与其行为相关的损失,而不是其他损失。对于这个问题,有几个学习算法,保证学习者的预期后悔随着回合数$T$而增长为$\widetilde{O}(\sqrt{T})$。在本文中,我们提出了一种算法,改进了这种缩放到$\widetilde{O}(\sqrt{L_T^*})$,其中$L_T^*$是最佳行动的总损失。我们的算法是第一个实现这样的保证,在部分反馈方案,第一个这样做的组合设置。
2015-06-10 cs.LG stat.ML
Near-optimal Per-Action Regret Bounds for Sleeping Bandits
University of Victoria(维多利亚大学)
针对每轮可用臂及损失由对手决定的sleeping bandits问题,通过广义EXP3、EXP3-IX和带Tsallis熵的FTRL直接最小化逐动作遗憾,推导出近最优遗憾界,并扩展至带sleeping experts建议的设定及置信度报告场景。
2024-05-30 cs.LG stat.ML
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University(卡内基梅隆大学)
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制,这些限制可以有效地最小化\emph{complete policy regret},这是政策遗憾的最强可能版本。我们确定了一个差距,在目前的理论理解,什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距,我们考虑一个推广的随机多臂强盗,我们称之为\emph{tallying bandit}。这是一个在线学习设置,具有$m$ -内存限制对手,其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数(或计数)的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题,我们提供了一个算法,w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证,其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外,我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾,证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Regret Bounds for Batched Bandits
Google Research(谷歌研究院);Yale University(耶鲁大学);McGill University(麦吉尔大学)
我们提出了简单而有效的算法批量随机多臂强盗和批量随机线性强盗问题。我们证明了他们的预期遗憾,提高了最知名的遗憾界限的任何数量的批次。特别是,我们的算法在这两种设置中实现了最佳的预期遗憾,只使用对数数量的批次。我们还研究了批量对抗多臂土匪问题的第一次,并找到最佳遗憾,对数因子,任何算法与预定的批量大小。
2020-02-18 cs.DS cs.LG
Regret Bounds for Restless Markov Bandits
Montanuniversitaet Leoben(莱奥本矿业大学);INRIA Lille-Nord Europe(法国国家信息与自动化研究所里尔-北欧分部)
我们认为不安分的马尔可夫土匪问题,其中每个手臂的状态根据独立于学习者的行动马尔可夫过程的演变。我们建议一个算法,$T$步骤后实现$\tilde{O}(\sqrt{T})$遗憾的最佳政策,知道所有武器的分布。没有假设马尔可夫链,除了他们是不可约的。此外,我们表明,指数为基础的政策,所考虑的问题是次优的。
2012-09-12 cs.LG math.OC stat.ML
Improved Regret Bounds for Projection-free Bandit Convex Optimization
Technion - Israel Institute of Technology(以色列理工学院)
我们重新审视的挑战,设计在线算法的强盗凸优化问题(BCO),这也是可扩展的高维问题。因此,我们考虑算法是\textit{projection-free},即,基于条件梯度方法,其对可行决策集的唯一访问是通过线性优化预言(与需要潜在地计算昂贵得多的子过程的其他方法相反,诸如计算欧几里德投影)。我们提出了第一个这样的算法,达到$O(T^{3/4})$预期的遗憾只使用$O(T)$整体调用的线性优化预言,在预期中,其中$T$是预测轮数。这比\cite{Karbasi19}最近获得的$O(T^{4/5})$预期后悔界限有所改进,实际上与\textit{full information}设置中无投影在线学习的当前最佳后悔界限相匹配。
2019-10-08 cs.LG math.OC stat.ML
No Regret Bound for Extreme Bandits
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
超参数优化的算法比比皆是,所有这些算法都在不同且通常无法验证的假设下工作得很好。出于顺序选择使用哪种算法的一般挑战,我们研究了更具体的任务,选择分布用于随机超参数优化。这项工作自然是在极端强盗设置中进行的,它处理从集合中顺序选择哪个分布进行采样,以最小化(最大化)单个最佳成本(奖励)。虽然在标准的强盗设置中的分布主要是由它们的平均值来表征的,但是当我们关心最小成本而不是平均成本时,就会出现许多微妙之处。例如,可能不存在像标准强盗设置中那样定义良好的“最佳”分布。最佳分配取决于已经获得的奖励和剩余的时间范围。而在标准的强盗设置,这是明智的比较政策与预言发挥最好的一只手臂,在极端的强盗设置,有多个明智的预言模型。我们在极端强盗情境中定义了一个合理的“极端后悔”概念,它与标准强盗情境中的后悔概念相似。然后,我们证明,没有政策可以渐近地实现没有极端的遗憾。
2016-04-11 cs.LG math.OC math.ST
Decentralized Online Bandit Optimization on Directed Graphs with Regret Bounds
AI Sweden(瑞典人工智能研究所)
我们考虑一个分散的多人游戏,发挥了$T$轮,领导者,追随者的层次结构描述的有向无环图。对于每一轮,图形结构决定了玩家的顺序以及玩家如何观察彼此的动作。在每一轮结束时,所有玩家都会根据他们的联合行动获得联合强盗奖励,用于更新玩家策略,以最大限度地减少联合伪遗憾。我们提出了一个学习算法的启发单人多臂土匪问题,并表明它实现了次线性联合伪遗憾的回合数的对抗性和随机土匪奖励。此外,我们量化了由于我们的问题的分散性质与集中设置相比所产生的成本。
2023-01-27 cs.GT cs.LG
Bandit Convex Optimization: sqrt{T} Regret in One Dimension
Microsoft Research(微软研究院);Technion(以色列理工学院)
我们分析了对抗性强盗凸优化问题的极小极大后悔问题。针对一维情形,证明了极小极大后悔是$\widetildeΘ(\sqrt{T})$,部分解决了一个已有十年之久的公开问题.我们的分析是非建设性的,因为我们没有提出一个具体的算法,达到这个遗憾率。相反,我们使用极大极小对偶将问题简化为贝叶斯设置,其中凸损失函数是从最坏情况分布中提取的,然后我们使用汤普森抽样的变体解决贝叶斯版本的问题。我们的分析功能的凸性,形式化为一个“局部到全局”的凸函数的属性,这可能是独立的利益的一种新的使用。
2015-02-23 cs.LG math.OC
Second Order Regret Bounds Against Generalized Expert Sequences under Partial Bandit Feedback
研究了部分反馈下的专家建议问题,提出了一个序贯极小极大优化算法。我们的算法与一个更一般的部分监控设置,在那里,与经典的强盗反馈,损失可以显示在一个对抗的方式。我们的算法采用了一个普遍的预测的角度,其性能进行了分析,对一般的专家选择序列的遗憾。遗憾的是,我们研究的是对一个一般的竞争类,涵盖了许多设置(如开关或上下文专家设置)和专家选择序列的竞争类是由手头的应用程序。我们的遗憾界是二阶界的平方损失和我们的算法的正规化遗憾的损失序列的任意仿射变换下不变。我们的算法是真正的在线,不使用任何有关损失序列的初步信息。
2022-04-13 cs.IT cs.LG eess.SP
No-regret learning for repeated non-cooperative games with lossy bandits
Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院)
本文研究了带损失反馈的重复连续核博弈的无悔学习问题。由于动态环境下效用函数的显式模型难以给出,只能通过强盗反馈来学习参与者的行为。此外,由于不可靠的通信信道或隐私保护,强盗反馈可能丢失或随机丢弃。因此,我们研究了局中人的异步在线学习策略,以自适应地调整下一个行动,使长期后悔损失最小化。本文提出了一种新的无遗憾学习算法,称为在线梯度下降与有损强盗(OGD-lb)。我们首先给出了具有可微和Lipschitz效用的凹对策的后悔分析。然后,我们表明,行动配置文件收敛到纳什均衡的概率为1时,游戏也是严格单调的。当博弈是$β-$强单调时,我们进一步给出了均方收敛速度$\mathcal{O}\left(k^{-2\min\{β, 1/6\}}\right)$.此外,我们还将算法推广到了强盗反馈损失概率未知的情形,并证明了其几乎必然收敛于严格单调对策的纳什均衡。最后,以雾计算中的资源管理为应用实例,通过数值实验对算法性能进行了实证分析。
2022-05-14 cs.LG math.OC
Collaborative Linear Bandits with Adversarial Agents: Near-Optimal Regret Bounds
University of Pennsylvania(宾夕法尼亚大学)
我们考虑一个线性随机强盗问题,涉及$M$代理,可以通过一个中央服务器合作,以尽量减少遗憾。这些代理人中的一小部分$α$是敌对的,可以任意行事,导致以下紧张局势:虽然合作可以潜在地减少遗憾,但它也可以破坏学习过程。在这项工作中,我们提供了一个基本的理解,这种紧张局势,通过精心构建的强大的置信区间,通过设计新的算法,平衡的勘探开发权衡。我们还补充我们的算法与严密的分析。首先,我们开发了一个强大的协作阶段消除算法,实现$\tilde{O}\left(α+ 1/\sqrt{M}\right) \sqrt{dT}$后悔每个好的代理,在这里,$d$是模型维和$T$是地平线。对于小的$α$,我们的结果因此揭示了一个明确的好处,尽管对手的合作。使用信息理论的参数,然后,我们证明了一个匹配的下限,从而提供了第一套紧密的,接近最优的遗憾界限合作线性土匪与对手。此外,通过利用高维鲁棒统计的最新进展,我们将我们的算法思想和结果显著扩展到(i)允许非线性观察图的广义线性Bandit模型;以及(ii)允许时变特征向量的上下文Bandit设置。
2022-06-06 cs.LG cs.MA cs.SY
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University(康奈尔大学)
研究了一个具有记忆约束的对抗性强盗问题,其中只能存储一个臂子集的统计信息。一个层次的学习策略,只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔,建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Microsoft Research(微软研究院)
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为,后悔的标准定义变得不够,如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾,试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置,我们表明,没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面,如果对手的记忆是有界的,我们提出了一个一般的技术,转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体,如转换后悔,内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay(印度理工学院孟买分校);IIT Madras(印度理工学院马德拉斯分校)
我们研究了随机多臂强盗设置中的后悔最小化问题,并建立了一个基本的权衡算法下遭受的遗憾,其统计鲁棒性。考虑到广泛的潜在武器的分布,我们表明,强盗学习算法与对数遗憾总是不一致的,一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如,如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数,学习性能可能是不一致的。接下来,我们展示了一个积极的结果:如果我们允许遗憾比对数略差,则可以获得统计上鲁棒和一致的学习性能。具体来说,我们提出了三个类的分布遗忘算法,实现了渐近遗憾,是任意接近对数。
2020-06-22 cs.LG stat.ML
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine(巴黎多芬大学(PSL研究大学));CNRS(法国国家科学研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题,其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题,防止使用任何现有的后悔为基础的算法(双)线性土匪文学。在本文中,我们填补了这一空白,并提出了第一个基于后悔的算法,图形双线性土匪使用乐观的原则,面对不确定性。理论分析表明,这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响,图的结构上的收敛速度。最后,我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne(墨尔本大学)
我们重新回顾了Qin等人(2014)对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明,用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等,产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
设计有效的通用上下文强盗算法,与大-甚至连续-动作空间将有助于应用到重要的场景,如信息检索,推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的,但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念,上下文土匪,占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法,自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾,例如,在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估,证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University(西北大学)
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法,并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University(清华大学);Peking University(北京大学)
研究了分布式强盗学习中的后悔最小化问题,其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议,这是通过传输数据的总量来衡量的。对于分布式多臂强盗,我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议,其中$K$是武器的数目.通信成本是独立的时间范围$T$,只有对数依赖于臂的数量,并匹配的下限,除了一个对数因子。对于分布式$d$维线性强盗,我们提出了一个协议,实现了接近最优的遗憾,并有$\tilde{O}(Md)$阶的通信成本,这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo(东京大学);Kyoto University(京都大学)
我们研究了$K$ -武装决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界,是基于信息的分歧。受确定性最小经验发散算法(Honda and Takemura,2010)的启发,提出了一种新的算法,并分析了其遗憾性。该算法被发现是第一个遗憾的上限,下限相匹配。实验结果表明,该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo(东京大学)
我们研究的K-臂决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度,击败其他武器的最大数量的武器,其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度(CW-RMED)算法,并给出了它的一个渐近最优后悔界,但该算法能否有效地计算还不清楚。为了解决这个问题,我们设计了一个有效的版本(ECW-RMED),并推导出其渐近遗憾界。决斗强盗算法的实验比较表明,ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA(密歇根大学电气工程与计算机科学系);Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学航空航天工程系);Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学气候与空间工程系)
经典的多臂强盗(MAB)问题有两种变体,近年来受到机器学习研究者的广泛关注:情境强盗和简单后悔最小化。情境强盗是MAB的一个子类,在每个时间步,学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中,我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式,我们假设学习者经历了一个纯粹的探索阶段,在每一个动作后收到反馈,但没有遗憾,然后是一个纯粹的开发阶段,其中遗憾的是,但没有反馈。我们提出了上下文间隙算法,并建立了简单的遗憾,即性能保证,在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序,以自适应传感器选择星际航天器的磁场估计,并证明了相当大的改进算法,旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens(雅典国立技术大学);National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);Archimedes, Athena Research Center(雅典娜研究中心阿基米德部);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);University of California, Irvine(加州大学尔湾分校)
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法,解决了该领域长期存在的挑战。
2026-11-10 cs.LG math.OC stat.ML
Regret Balancing for Bandit and RL Model Selection
DeepMind(深度思维);UC Berkeley(加州大学伯克利分校);University of Massachusetts(马萨诸塞大学)
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法,有效的模型选择策略以在线方式适应最佳学习算法。我们表明,通过估计每个算法的遗憾和播放的算法,以确保所有经验的遗憾是相同的顺序,整体遗憾平衡策略实现了一个遗憾,是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入,和策略的性能取决于上界的紧密性。我们表明,有这样的先验知识是必要的,以实现一个接近最佳的遗憾。此外,我们表明,任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California(南加利福尼亚大学);Nanjing University(南京大学)
我们考虑的问题相结合,学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人(2017)的CORRAL算法及其变体(Foster等人,2020 a)以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标,其中$M$是基本算法的数量,而$T$是时间范围。然而,对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题,我们提出了一个新的配方,以畜栏更大的带宽的强盗算法,其遗憾开销只有\emph{logarithmic}依赖于$M$,只要满足某些条件。作为主要的例子,我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法,每个算法在不同的时间步开始,我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$(对于一些已知的$S$)。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University(莱斯大学);University of Arizona(亚利桑那大学);University of Washington(华盛顿大学)
在这项工作中,我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖,该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人(2021)应用逻辑函数的自一致性来消除这种最坏情况的依赖性,提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证,其中$d$是维度,$T$是时间范围,$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限,该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子(即,gap)依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法,可以显着减少低阶项的遗憾一般,并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后,我们讨论了最大似然估计的偏差对逻辑强盗问题的影响,提供了一个例子,其中$d^2$低阶后悔(参见,它是$d$,用于线性Bandits)可能不会得到改善,只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington(华盛顿大学)
在本文中,我们提出了一种新的实验设计为基础的算法,以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的,在许多情况下-我们的方法仔细计划采取哪些行动,通过平衡信息增益和奖励之间的权衡,克服乐观主义的失败。此外,我们利用经验过程的上确界理论的工具来获得后悔保证,该保证随行动集的高斯宽度而扩展,避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证,并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置,我们表明,我们的算法是计算效率高,只依赖于调用线性最大化预言。此外,我们表明,稍加修改,我们的算法可以用于纯探索,获得国家的最先进的纯探索保证在半强盗设置。最后,我们提供了,据我们所知,第一个例子,乐观失败的半土匪政权,并表明,在这种情况下,我们的算法成功。
2021-02-27 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们认为阈值强盗问题,其目标是找到武器的平均奖励高于给定的阈值$θ$,与固定预算的$T$试验。我们介绍LSA,一个新的,简单的,随时算法,旨在最大限度地减少总遗憾(或预期数量的错误分类武器)。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果,以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research(雅虎研究院);Stony Brook University(石溪大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$,为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失($η=0$)到平方铰链损失($η=1$)。这为(J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法?In COLT,2009).我们测试我们的算法实验,表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Improved Regret Analysis in Gaussian Process Bandits: Optimality for Noiseless Reward, RKHS norm, and Non-Stationary Variance
MI-6 Ltd.(MI-6有限公司);Nagoya University(名古屋大学);RIKEN AIP(理化学研究所人工智能项目)
针对高斯过程(GP)老虎机问题,通过改进最大后验方差上界并优化MVR和PE算法,在无噪声、RKHS范数及非平稳方差场景下实现更优遗憾上界,且与下界匹配。
2025-02-10 cs.LG stat.ML
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Université Paris Diderot(巴黎狄德罗大学);ENS Cachan(卡尚高等师范学校);Université Paris-Saclay(巴黎-萨克雷大学);Criteo AI Lab(Criteo人工智能实验室)
我们考虑经典的随机多臂强盗,但在那里,从时间到时间,大致与频率$ε$,一个额外的观察是免费收集的代理。证明了无论$ε$有多小,智能体都能保证后悔在时间上一致有界.更准确地说,我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$,乘法常数和重对数项。我们还证明了一个匹配的下限,说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University(斯坦福大学);Hong Kong University of Science and Technology(香港科技大学)
该研究针对随机上下文老虎机场景,提出基于共形臂集的比例响应算法族,可通过调参平衡简单遗憾与累积遗憾最小化的性能,同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge(剑桥大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中,学习器甚至没有机会尝试所有的臂一次,并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中,我们提出了一个算法,旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中,简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明,根据$β$,我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下:当$β$是未知的,在一个自然的设置,接近最佳的武器有一个小的方差,在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Pure Exploration and Regret Minimization in Matching Bandits
CREST(法国经济与统计研究中心);ENSAE Paris(巴黎国立统计与经济管理学院);London School of Economics(伦敦政治经济学院);Criteo AI Lab(Criteo人工智能实验室)
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本,无论是一对或一个完整的匹配采样顺序。我们证明,它是可能的,利用秩1假设的邻接矩阵,以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数(多对数项)。
2021-07-31 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University(西北大学);University of Florida(佛罗里达大学);New York University(纽约大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
线性上下文强盗是一类重要的序贯决策问题,在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究,但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中,我们解决这个开放的问题,考虑线性上下文强盗(变化)无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.,[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester(曼彻斯特大学)
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态,而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了,如果学习率是很好的选择,那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University(西北大学);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$,时间范围为$T$,并且每个时间段有$n \leq 2^{d/2}$候选动作时,我们(1)证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$,并且(2)引入可变置信度(VCL)SupLinUCB算法,其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析,我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素,揭示了一个遗憾的规模与经典的多臂土匪,其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧,和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo(奥斯陆大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文研究了非平稳的决斗强盗问题,提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中,仅有的两个现有尝试在多个维度上都存在不足,包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法,以克服这些缺点,并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限,其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念,非平稳性,我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore(新加坡国立大学);California Institute of Technology(加州理工学院)
研究了指数家族强盗的Thompson抽样算法的后悔性,其中奖励分布来自一维指数家族,包括Bernoulli,Gaussian,Gamma,Exponential等常见的奖励分布,提出了一种Thompson抽样算法ExpTS,它使用了一种新的抽样分布,以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS,这同时产生有限时间后悔界以及渐近后悔界。特别地,对于具有指数族奖励的$K$ -武装强盗,在地平线上的ExpTS $T$是子UCB(问题依赖的有限时间后悔的强准则),极大极小最优直到因子$\sqrt{\log K}$,并且对于指数族奖励是渐近最优的。此外,我们提出了ExpTS $^+$,通过增加一个贪婪的开发步骤,除了在ExpTS中使用的抽样分布,以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法,并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的,概念上简单,可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben(莱奥本矿业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个算法,实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$,对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明,没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins(2012)之前的结果,该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology(香港科技大学数学系);Stern School of Business, New York University(纽约大学斯特恩商学院);Department of IEDA, The Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系)
研究含特定轮次可行决策集的非平稳线性带型问题,针对现有方法局限,从统一错误设定减少视角,分块关联动态遗憾与固定参数线性带型基准,得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology(KTH皇家理工学院)
本文基于提升信息比框架分析 Thompson Sampling,将遗憾界从二值奖励推广至 sub-Gaussian 奖励,并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Local Anti-Concentration Class: Logarithmic Regret for Greedy Linear Contextual Bandit
Columbia University(哥伦比亚大学)
本文提出局部反集中(LAC)条件,证明其适用于Gaussian、指数族及截断变体等广泛分布,并据此给出免探索贪心线性上下文老虎机的 O(poly log T) 累积期望遗憾界。
2025-01-16 cs.LG stat.ML
Bandit Regret Scaling with the Effective Loss Range
Università degli Studi di Milano(米兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
我们研究如何可以提高非随机多武装土匪的后悔保证,如果在每一轮的损失的有效范围是小的(例如,在一个给定的回合中的两个损失之间的最大差异)。尽管最近的不可能的结果,我们展示了如何在某些温和的额外假设下,这是可能的,如可用性的粗略估计的损失,或提前了解的损失,一个单一的,可能未指定的手臂。一路上,我们开发了一种新的技术,这可能是独立的利益,转换任何多臂强盗算法遗憾的损失范围,到一个只依赖于有效范围的遗憾算法,同时完全避免可预测的坏武器。
2020-01-02 cs.LG stat.ML
Improved Regret Analysis for Parallel Gaussian Process Bandit Optimization
Nagoya University(名古屋大学);MI-6 Ltd.(MI-6有限公司)
本文针对并行GP乐队优化,改进了GP-BTS的遗憾分析,无需初始不确定性采样即可获得不含批量大小乘性因子的遗憾上界,且无噪声设置下性能更优。
2026-09-17 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University(普林斯顿大学);Università degli Studi di Milano(米兰大学)
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代,但在一些现代应用中出现了探索-利用权衡,例如广告投放,网站优化和数据包路由。从数学上讲,多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中,我们关注两个极端的案例,在这两个案例中,后悔的分析特别简单和优雅:i.i.d.收益和对抗性收益除了基本的设置,许多行动,我们还分析了一些最重要的变种和扩展,如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology(皇家理工学院)
该研究针对线性老虎机问题,依托已有信息论框架与率失真分析,通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界,得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
Minimax Regret for Cascading Bandits
UT Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
级联强盗是一个自然和流行的模型,框架的任务,学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况,我们证明了问题独立的匹配上界和下界(即,无间隙)遗憾,这两个严格改善最好的已知。一个关键的观察是,这个问题的困难实例是那些具有小平均奖励的实例,即,在实践中最相关的小点击率。基于此,以及小均值意味着Bernoullis的小方差的事实,我们的关键技术结果表明,方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法(最多对数项),而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准(非级联)bandit设置形成鲜明对比,其中方差感知算法仅改进常数。鉴于此,作为一个额外的贡献,我们提出了一个方差感知算法的结构化情况下的线性奖励,并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法,利用锥优化求解器并建立与货币风险度量的联系,理论和数值结果均表明其优于传统的最大下置信界(LCB)方法。
2024-07-02 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University(哥伦比亚大学)
针对分组多臂老虎机中标准算法探索成本失衡问题,提出动态协调跨组探索的Col-UCB算法,证明其达最优协作遗憾边界,揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Regret vs. Communication: Distributed Stochastic Multi-Armed Bandits and Beyond
Shanghai Jiao Tong University(上海交通大学)
本文研究了多个局中人可以独立访问全局臂集的分布式随机多臂强盗问题。玩家可以在特定的时间点交换他们的观察历史。我们研究了后悔和沟通之间的关系。当时间跨度已知时,我们提出了过度探索策略,该策略只需要一轮沟通,并且其遗憾不随参与者的数量而变化。当时间范围是未知的,我们测量的频率的通信通过一个新的概念称为密度的通信集,并给出一个精确的表征之间的相互作用的后悔和通信。具体地说,建立一个下限和稳定的战略,匹配的下限开发。本文的结果和分析是具体的,但可以转化为更一般的设置。
2015-09-04 cs.LG stat.ML