Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology(瑞典皇家理工学院);Supelec(高等电力学院);INRIA(法国国家信息与自动化研究所)
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂,和一组武器是离散或连续的。对于离散Lipschitz土匪,我们推导出渐近问题的具体下界满足任何算法的遗憾,并提出OSLB和CKL-UCB,两个算法,有效地利用Lipschitz结构的问题。事实上,我们证明了OSLB是渐近最优的,因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪,我们建议首先离散的行动空间,然后应用OSLB或CKL-UCB,算法,可证明有效地利用结构。这种方法,通过数值实验,显着优于现有的算法,直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay(电子工程系,印度理工学院,孟买)
本文研究单调结构下基于阈值的多臂老虎机问题,推导了仅与阈值相邻臂相关的渐近遗憾下界,提出最优算法并经蒙特卡洛模拟验证,拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
Near-Optimal Stochastic Linear Bandits with Delay
Tel Aviv University(特拉维夫大学);University of Iowa(爱荷华大学);Tel Aviv University and Google Research(特拉维夫大学和谷歌研究)
研究多种延迟模型下的随机线性赌博机,给出近最优遗憾界,揭示延迟与线性结构交互的维度影响。
2026-06-16 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel(计算机科学与人工智能学院,特拉维夫大学,特拉维夫,以色列);Google Research, Tel-Aviv, Israel(谷歌研究,特拉维夫,以色列)
本文提出了一种高效算法,实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
Replicable Bandits
Google Research(谷歌研究院);National Technical University of Athens(雅典国立技术大学);Yale University(耶鲁大学);ETH Zurich(苏黎世联邦理工学院)
在本文中,我们介绍了可复制的政策的概念的背景下,随机土匪,在互动学习的典型问题之一。在强盗环境中的策略被称为可复制的,如果它以高概率在两个不同且独立的执行中拉动完全相同的手臂序列(即,在独立的奖励实现下)。我们发现,不仅存在可复制的政策,而且他们实现了几乎相同的最佳(不可复制)的遗憾界限的时间范围。更具体地说,在随机多武装土匪设置,我们开发了一个最佳的问题相关的遗憾界的依赖于可复制性参数也是最佳的政策。类似地,对于随机线性土匪(有无穷多个武器),我们开发了可复制的政策,实现了最著名的问题独立的遗憾界限与最佳的依赖于可复制性参数。我们的研究结果表明,尽管随机化对于探索-利用权衡至关重要,但在两轮不同的执行中拉动完全相同的手臂时,仍然可以实现最佳平衡。
2023-02-14 cs.LG
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);IBM Research(IBM研究院);University of Pennsylvania(宾夕法尼亚大学)
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置,以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒(MAB)的文献,因此分析的影响:我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后,我们提出了一个算法,产生次线性遗憾的措施,即使是一个完全敌对的序列的损失和可用性。我们进一步证明,低睡眠内部遗憾总是意味着低外部遗憾,以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念,并理解了它们之间的含义。最后,我们还将我们的结果扩展到设置\emph{Dueling Bandits}(DB)-一个偏好反馈的MAB的变种,并提出了减少MAB的想法,设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的,通过实证评估。
2022-10-26 cs.LG
Jointly Efficient and Optimal Algorithms for Logistic Bandits
Criteo AI Lab(Criteo 人工智能实验室);University of Arizona(亚利桑那大学)
最近,由于其理论和实践相结合的相关性,物流强盗受到了仔细的审查。这项研究工作提供了统计上有效的算法,改善了以前的策略的遗憾指数大的因素。然而,这样的算法是惊人的昂贵,因为它们需要在每一轮$Ω(t)$操作。另一方面,另一条研究路线专注于计算效率(每轮$\mathcal{O}(1)$成本),但代价是放弃了上述指数级的改进。不幸的是,获得两个世界的最佳结果并不是将两种方法结合起来的问题。相反,我们为物流强盗引入了一个新的学习过程。它产生的信心集,足够的统计数据可以很容易地保持在线,而不牺牲统计的紧密性。结合有效的规划机制,我们设计了快速算法,其遗憾性能仍然符合Abeille等人的问题相关下限。据我们所知,这些是第一个同时享有统计和计算效率的Logistic Bandit算法。
2022-01-19 cs.LG
Asymptotically Optimal Strategies For Combinatorial Semi-Bandits in Polynomial Time
我们考虑组合半土匪与不相关的高斯奖励。在这篇文章中,我们提出了第一种方法,据我们所知,它可以在多项式时间内计算许多感兴趣的组合结构的格雷夫斯-赖优化问题的解决方案。反过来,这立即产生了第一个已知的方法来实现渐进最优算法在多项式时间的组合半土匪。
2021-02-14 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley(加州大学伯克利分校)
我们考虑随机线性(多臂)上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法,同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权,而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤,对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California(南加州大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Amazon(亚马逊)
强化学习(RL)的标准假设是智能体立即观察其行为的反馈。然而,在实践中,反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程(MDP)的在线学习。更确切地说,针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示,其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法,实现接近最佳的$\sqrt{K + D}$遗憾,其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟,显着改善后,最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约,证明满足遍历和快速混合条件时,慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值,并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam(阿姆斯特丹大学);Tel Aviv University(特拉维夫大学);Amazon Science(亚马逊科学部门);Politecnico di Milano(米兰理工大学)
本文提出一种新的FTRL分析方法,分离延迟与赌博机反馈成本,为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界,并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology(以色列理工学院);Meta;Nvidia Research(英伟达研究院)
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是,我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别,不像在标准的多臂强盗问题。我们还提出了一个新的,简单的,UCB风格的采样概念,并表明,它自然地适应最佳武器的数量,并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
Nearest Neighbour with Bandit Feedback
The Alan Turing Institute(阿兰·图灵研究所)
本研究将最近邻规则适配到上下文老虎机问题,提出的算法可处理完全对抗性设置,结合快速近邻搜索数据结构后具备高效的运行时间与空间复杂度,给出通用遗憾界并分析了随机场景下的表现,还可应用于在线分类问题。
2024-03-07 cs.LG
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta(阿尔伯塔大学)
我提出了第一个算法随机有限武装土匪,同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外,还具有简单、高效和经验上的优越性.该方法是基于UCB,但精心选择的置信参数,最佳平衡的风险,失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits
Imperial College London(伦敦帝国学院)
针对协作式随机$k$-臂老虎机问题,提出可将任意单智能体算法扩展至多智能体场景的黑盒归约方法QuACK,证明其遗憾保证在次高斯环境下紧且通用,实验性能优于或持平专用多智能体算法。
2024-10-31 cs.LG
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen(哥本哈根大学);University of Southern California(南加州大学)
我们开发了第一个通用的半强盗算法,同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究,但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了(Zimmert & Seldin,2019)最近的工作,用于多臂强盗的特殊情况,但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明,该算法在不同的环境下确实表现出良好的一致性。最后,我们提供了一个初步的扩展,我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
An Asymptotically Optimal Contextual Bandit Algorithm Using Hierarchical Structures
Bilkent University(比尔肯特大学);Massachusetts Institute of Technology(麻省理工学院);Sabancı University(萨班哲大学)
我们提出了在线算法顺序学习的上下文多臂强盗设置。我们的方法是划分上下文空间,然后以数据驱动的方式将所有可能的分区区域和强盗臂集之间的映射进行优化组合。我们表明,在我们的方法中,最好的映射是能够近似的最佳手臂选择政策,以任何所需的程度下温和的Lipschitz条件。因此,我们设计我们的算法的基础上的最佳自适应组合和渐近实现的最佳映射以及最佳的手臂选择政策的性能。即使在对抗性环境中,这种最优性也是可以保证的,因为我们不依赖于任何关于上下文或强盗武器损失的统计假设。此外,我们设计了有效的实现我们的算法在各种层次划分结构,如字典或任意位置分裂和二叉树(和其他几个分区的例子)。例如,在二叉树分区的情况下,计算复杂性仅与最精细分区中的区域数量成对数线性关系。总之,我们提供了显着的性能改进,通过引入上界(w.r.t.最佳臂选择策略),这些策略在数学上被证明在每轮平均损失意义上以比现有技术更快的速率消失。我们的实验工作广泛地覆盖了从强盗设置到真实和合成数据的多类分类的各种场景。在这些实验中,我们表明,我们的算法是非常优越的国家的最先进的技术,同时保持引入的数学保证和计算体面的可扩展性。
2017-12-07 cs.LG
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University(清华大学)
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$,我们提供了一个算法并证明了其后悔保证,由于技术原因,随着时间范围$T$的增长,该保证具有两阶段表达式。我们还证明了一个下界定理,令人惊讶地显示了我们的两个阶段的遗憾上限(对数因子)的问题参数的\emph{full range}的最优性,因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明,$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束,我们的算法是简单,易于实际实现。此外,我们的算法实现了最佳遗憾的所有$T \geq d$,而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析,我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界,据我们所知,这是第一次在文献中,可能是独立的兴趣。
2022-10-15 cs.LG
Optimal Thompson Sampling strategies for support-aware CVaR bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);CIRAD(法国农业国际合作研究发展中心);Alliance of CIAT and Bioversity International(国际热带农业中心与国际生物多样性中心联盟)
在本文中,我们研究了一个多臂强盗问题,其中每个臂的质量是衡量的条件风险值(CVaR)在一定水平的回报分布的α。虽然现有的工作在这种情况下主要集中在上置信界算法,我们引入了一个新的汤普森抽样方法CVaR土匪有限的奖励,是足够灵活,以解决各种问题的基础上的物理资源。在Riou & Honda(2020)最近的工作基础上,我们引入了连续有界奖励的B-CVTS和多项分布的M-CVTS。在理论方面,我们提供了一个非平凡的扩展,他们的分析,使理论上约束他们的CVaR后悔最小化性能。引人注目的是,我们的研究结果表明,这些策略是第一个可证明达到渐近最优的CVaR土匪,匹配相应的渐近下限为这个设置。此外,我们实证说明了汤普森采样方法的好处,无论是在一个现实的环境中模拟农业中的用例和各种合成的例子。
2022-03-21 cs.LG
Optimal Activation of Halting Multi-Armed Bandit Models
Rutgers University(罗格斯大学);University of Southern California(南加州大学)
本文提出 Halting Bandit 动态分配模型,并借此为经典 Gittins 指数分解及一般折旧与承诺情形下的近期多臂老虎机结果提供新证明。
2023-04-20 cs.LG stat.ML
Optimal Thresholding Linear Bandit
University of Michigan(密歇根大学)
本文研究随机线性老虎机中固定置信度的 $ε$-Thresholding Bandit Problem,证明了样本复杂度下界,并将 Best Arm Identification 算法扩展至该问题且证明其渐近最优。
2024-02-11 cs.LG stat.ML
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique(巴黎综合理工学院);INRIA(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CREST(CREST(法国国家统计与经济研究所研究中心));ENSAE(法国国立统计与经济管理学校)
针对异构异步多玩家老虎机最优分配计算的未解决问题,证明其NP难性,提出贪心算法并给出1/e及1/√e的近似保证,为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Google Research(谷歌研究院)
本文针对具有聚合bandit反馈的在线有限时域MDP,提出首个策略优化算法,在已知动态下取得最优遗憾界,在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Efficient and Interpretable Bandit Algorithms
University of Wisconsin Madison(威斯康星大学麦迪逊分校);SC Johnson College of Business, Cornell University(康奈尔大学约翰逊管理学院);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
针对机器学习可解释性需求,提出基于约束最优设计的赌博机算法CODE,通过在所有可行动作中探索以减少不确定性,实现高效且可解释,并在多臂和线性赌博机中达到近最优遗憾界。
2024-02-08 cs.LG
An Optimal Algorithm for Linear Bandits
我们提供了第一个算法的在线强盗线性优化,T轮后的遗憾是为了sqrt{Td ln N}的任何有限类X的N个行动在d维,和顺序d*sqrt{T}(直到日志因子)时,X是无限的。这些界限一般是不可改进的。其基本思想是利用凸几何的工具来构造基本上是最优的勘探基础。我们还根据专家建议提出了线性强盗模型的应用。有趣的是,这些结果表明,在d维中,专家建议的强盗线性优化并不比专家建议的在线d臂强盗问题(其中EXP 4是最优的)更困难(就可实现的遗憾而言)。
2012-02-14 cs.LG stat.ML
EVaR-Optimal Arm Identification in Bandits
UMPA, ENS de Lyon(里昂高等师范学院 UMPA);UMPA/LIP ENS de Lyon(里昂高等师范学院 UMPA/LIP)
本研究在赌博机框架下,针对熵值风险准则提出固定置信度最优臂识别算法,并证明其样本复杂度下界渐近匹配,满足高风险场景的风险规避需求。
2025-10-06 cs.LG
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis(加州大学戴维斯分校)
本文在一定的光滑性和子水平集假设下,研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后,我们提出了一个自适应的bin分裂方法,它可以显着提高性能。此外,一个极小极大下界的推导,这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Gamification of Pure Exploration for Linear Bandits
INRIA - DIENS - PSL Research University(法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学);INRIA(法国国家信息与自动化研究所);DeepMind Paris(深度思维巴黎分公司)
我们调查了一个积极的纯探索设置,其中包括最佳臂识别,在线性随机土匪的背景下。虽然渐近最优算法存在的标准多臂土匪,这种算法的存在最好的武器识别线性土匪一直难以捉摸,尽管几次尝试解决it. First,我们提供了一个彻底的比较和新的见解在不同的概念的最优性的线性情况下,包括G-最优性,最佳试验设计和渐近最优性的转导最优性。其次,我们设计了线性强盗中固定置信纯探索的第一个渐近最优算法。因此,我们的算法自然绕过了一个简单但困难的实例所造成的陷阱,大多数以前的算法必须被设计来显式处理。最后,我们避免了需要完全解决的最优设计问题,提供了一种方法,需要一个有效的实施。
2020-07-02 cs.LG stat.ML
Optimal Gradient-based Algorithms for Non-concave Bandit Optimization
University of Washington(华盛顿大学);Tsinghua University(清华大学);Peking University(北京大学);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
具有线性或凹报酬的强盗问题已经得到了广泛的研究,但相对较少的工作,研究非凹报酬的强盗。本文考虑一类报酬函数为非凹函数的bandit问题,包括低秩广义线性bandit问题和具有多项式激活的两层神经网络bandit问题.对于低秩广义线性强盗问题,我们给出了一个在维数上极小极大最优的算法,反驳了文献[LMT 21,JWWN 19]中的两个结论。我们的算法是基于一个统一的零阶优化范式,适用于在很大的普遍性,并在几个结构化的多项式设置(在维度)达到最佳速率。我们进一步证明了我们的算法在生成模型设置中的RL中的适用性,从而提高了先前方法的样本复杂性。最后,我们证明了标准的乐观算法(例如,UCB)因尺寸因素而次优。在神经网络设置(多项式激活函数)与无噪声奖励,我们提供了一个强盗算法的样本复杂度等于内在代数维数。再次,我们表明,乐观的方法有更差的样本复杂性,多项式的外维数(这可能是指数更差的多项式次数)。
2021-07-09 cs.LG stat.ML
Optimal and Practical Batched Linear Bandit Algorithm
snu(首尔国立大学)
针对分批线性赌博机问题,提出结合臂消除与正则化G-最优设计的BLAE算法,首次在大K和小K情形下均实现极小极大最优遗憾,且计算开销低、实证表现优异。
2025-08-11 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University(清华大学);Peking University(北京大学)
研究了分布式强盗学习中的后悔最小化问题,其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议,这是通过传输数据的总量来衡量的。对于分布式多臂强盗,我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议,其中$K$是武器的数目.通信成本是独立的时间范围$T$,只有对数依赖于臂的数量,并匹配的下限,除了一个对数因子。对于分布式$d$维线性强盗,我们提出了一个协议,实现了接近最优的遗憾,并有$\tilde{O}(Md)$阶的通信成本,这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Near Optimal Pure Exploration in Logistic Bandits
University of Michigan(密歇根大学)
本文针对logistic bandit中的一般纯探索问题,提出首个track-and-stop算法Log-TS,其期望样本复杂度渐近匹配实例特定下界近似值,仅差一个对数因子。
2025-02-07 cs.LG stat.ML
An optimal algorithm for the Thresholding Bandit Problem
University of Potsdam(波茨坦大学)
我们研究了一个特定的\textit{combinatorial pure exploration stochastic bandit problem},学习者的目的是找到一组武器,其手段是高于给定的阈值,达到给定的精度,和\textit{for a fixed time horizon}。我们提出了一个无参数算法的基础上,原来的启发式,并证明它是最佳的这个问题,通过推导匹配的上,下界。据我们所知,这是第一个非平凡的纯探索设置与\textit{fixed budget}的最佳策略构建。
2016-05-27 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo(东京大学)
我们研究的K-臂决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度,击败其他武器的最大数量的武器,其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度(CW-RMED)算法,并给出了它的一个渐近最优后悔界,但该算法能否有效地计算还不清楚。为了解决这个问题,我们设计了一个有效的版本(ECW-RMED),并推导出其渐近遗憾界。决斗强盗算法的实验比较表明,ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Near-Optimal MNL Bandits Under Risk Criteria
University of Maryland, College Park(马里兰大学帕克分校);Indiana University Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究MNL土匪,这是一个变种的传统的多臂土匪问题,风险标准。与一般的期望收益不同,风险准则是一种更为普遍的目标,在工商业中得到了广泛的应用。我们设计了一个广泛的类的风险标准,包括但不限于著名的条件风险值,夏普比率和熵风险的算法,并证明他们遭受一个接近最优的遗憾。作为补充,我们还进行了实验与合成和真实的数据,以显示我们提出的算法的经验性能。
2021-03-16 cs.LG stat.ML
Risk-sensitive Bandits: Arm Mixture Optimality and Regret-efficient Algorithms
Google DeepMind(谷歌DeepMind)
本文提出风险敏感赌博机通用框架,揭示最优策略常需混合多个臂而非选择单一臂,并设计遗憾高效算法以准确跟踪最优臂混合或单独臂,实现 $O((\log T/T)^ν)$ 的遗憾界。
2025-03-11 cs.LG stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
在本文中,我们考虑的问题,学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中,有一个有限集的手臂,每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链,其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们认为阈值强盗问题,其目标是找到武器的平均奖励高于给定的阈值$θ$,与固定预算的$T$试验。我们介绍LSA,一个新的,简单的,随时算法,旨在最大限度地减少总遗憾(或预期数量的错误分类武器)。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果,以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Minimax Optimal Algorithms for Adversarial Bandit Problem with Multiple Plays
Bilkent University(比尔肯特大学);Massachusetts Institute of Technology(麻省理工学院)
研究了半强盗反馈下的多对策对抗强盗问题。我们引入了一个高效的算法,渐近实现最佳的开关$m$ -手臂策略的性能与最小最大最优遗憾界。为了构造我们的算法,我们引入了一个新的专家意见算法的多播放设置。通过使用我们的专家建议算法,我们还通过$O(\sqrt{m})$改进了多播放设置的最知名的高概率界。我们的结果是保证持有在一个单独的序列方式,因为我们没有统计假设的强盗臂增益。通过一组广泛的实验,涉及合成和真实的数据,我们证明了显着的性能增益所提出的算法相对于国家的最先进的算法。
2019-11-25 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题,其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂,于是接收所选组中的每个手臂的反馈。与现有的作品不同,我们研究这个问题在一个非随机设置与子集相关的反馈,即,所接收的半强盗反馈可以由不经意的对手产生,并且还可以取决于所选择的武器集合。此外,我们认为一个一般的反馈方案,包括数字为基础的,以及基于偏好的情况下,并介绍了一个健全的理论框架,保证合理的概念,最佳武器,学习者试图找到这种设置。我们提出了一个通用的算法,适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题,足够的和必要的预算的算法,以找到最好的手臂得到回答和补充,推导出下限的任何学习算法,这个问题的情况。
2022-10-14 cs.LG stat.ML
Sublinear Optimal Policy Value Estimation in Contextual Bandits
University of Washington(华盛顿大学);Stanford University(斯坦福大学)
研究了随机不交线性强盗环境下最优策略的期望报酬估计问题。我们证明,对于某些设置,它是可能的,以获得一个准确的估计的最佳策略值,即使与样本的数量是次线性的数量,将需要\emph{find}的政策,实现接近这个最优值。我们建立几乎匹配的信息理论的下限,表明我们的算法实现了接近最优的估计误差。最后,我们使用真实数据集证明了我们的算法在笑话推荐和癌症抑制剂量选择问题上的有效性。
2019-12-13 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo(东京大学);Kyoto University(京都大学)
我们研究了$K$ -武装决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界,是基于信息的分歧。受确定性最小经验发散算法(Honda and Takemura,2010)的启发,提出了一种新的算法,并分析了其遗憾性。该算法被发现是第一个遗憾的上限,下限相匹配。实验结果表明,该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute(艾伦·图灵研究所)
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题,提出分层最近邻算法,可在计算遗憾项时保留任意上下文集,且兼具高计算效率。
2023-12-14 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
考虑了有限臂结构化的强盗问题,其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制,因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$,并使用估计与平均奖励函数,大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法,包括UCB和汤普森采样的结构化强盗设置。我们证明,通过遗憾的分析,我们提出的UCB-C算法(结构化的强盗版本的UCB)拉只有一个子集的次优武器$O(\log T)$倍,而其他次优武器(称为非竞争性武器)拉$O(1)$倍。因此,在所有次优武器都是非竞争性的情况下,这可能发生在许多实际情况下,所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集,以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University(西江大学)
对于有约束的多臂强盗模型,通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下,最优值是已知的。我们给出了渐近最优性概率的一个有限时间界,该概率为1-O(|A| Te^{-T}),其中T是视界大小,A是强盗中的臂的集合。然后,我们研究了一个宽松的版本的算法,估计的最优值的一般形式,并讨论了算法的渐近最优性后,一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan(密歇根大学)
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下,我们提供了一个统一的后悔分析的亚威布尔和有界扰动时,奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2,也有一个匹配的下尾界,和所有有界的支持扰动,有足够的概率质量的极端支持。对于对抗设置,我们证明了严格的障碍,对两个自然的解决方案的方法,使用离散选择理论和极值理论的工具。我们的结果表明,最佳扰动,如果它存在,将是弗雷歇型。
2019-12-10 cs.LG stat.ML
Near-Optimal Pure Exploration in Matrix Games: A Generalization of Stochastic Bandits & Dueling Bandits
University of Washington(华盛顿大学)
本文研究带噪声两人零和矩阵博弈中识别纯策略纳什均衡的样本复杂度,提出一个在忽略对数因子条件下匹配实例相关下界的近最优算法,并统一推广了随机多臂老虎机与对决老虎机的纯探索最优界。
2023-11-27 cs.GT cs.LG
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对协作式多智能体多臂赌博机问题,提出一种简单有效的通信策略并集成到学习算法中,同时实现了最优个体遗憾和恒定通信成本,弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂,同时最大限度地减少抽样预算。我们设计了一个简单的算法,其采样复杂度匹配已知的实例特定的下界,渐近几乎肯定和预期。该算法依赖于手臂采样规则,该规则跟踪手臂绘制的最佳比例,并且可以像我们希望的那样很少更新,而不会损害其理论保证。此外,与现有的最佳臂识别策略,我们的算法使用的停止规则,不依赖于武器的数量。实验结果表明,我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University(哥伦比亚大学)
本文研究了半参数带its中的固定置信度最佳臂识别,通过正交化回归方法,提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections
Microsoft Research Silicon Valley(微软研究院硅谷分院);Microsoft Research Cambridge(微软研究院剑桥分院)
大多数学习排序研究都假设不同文档的效用是独立的,这导致学习的排序函数返回冗余的结果。少数几种避免这种情况的方法缺乏理论基础,或者无法扩展。我们提出了一个学习排名配方,优化满意的用户的分数,与几个可扩展的算法,明确考虑到文档的相似性和排名的上下文。我们的公式是来自文献的两个多臂强盗模型的非平凡的共同推广:“排名强盗”(Radlinski等人,ICML 2008)和“Lipschitz bandits”(Kleinberg等人,STOC 2008)。我们提出了这种方法的理论依据,以及一个接近最佳的算法。我们的评估增加了优化,提高了经验性能,并表明我们的算法比以前的方法更快地学习数量级。
2012-09-01 cs.DS cs.LG
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology(麻省理工学院)
我们考虑在可实现性假设下的一般(随机)上下文强盗问题,即,作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法,实现了统计上最优的遗憾,只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$,则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化,解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是,离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology(麻省理工学院)
上下文强盗的一个根本挑战是开发灵活的通用算法,其计算要求不低于经典的监督学习任务,如分类和回归。基于回归的算法已经显示出有希望的经验成功,但理论保证仍然难以捉摸,除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法,在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般,潜在的非参数函数类,并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比,我们的算法不需要超出可实现性的分布假设,并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML