Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret
本文提出将基于多次函数评估的核估计器转化为期望等价的采样型bandit估计器，并接入标准FTRL算法，从而在对抗性时变凸损失函数下实现了$\ ilde{O}(t^{1/2})$的遗憾界。
2023-06-24 cs.LG
The Pareto Regret Frontier for Bandits
University of Alberta（阿尔伯塔大学）
给定一个多臂强盗问题，对于某些特殊行为，最坏情况下的后悔可能比通常情况下要小。我表明，这种不平衡的最坏情况下的后悔保证的价格是相当高的。具体地说，如果一个算法对于某个动作的最坏情况遗憾值为B，那么一定存在另一个动作，它的最坏情况遗憾值至少为Ω（nK/B），其中n是视界，K是动作的个数。我还给出了随机和对抗设置的上界，表明这个结果不能得到改善。对于随机的情况下，帕累托后悔边界的特点是完全恒定的因素。
2015-10-30 cs.LG
Make the Minority Great Again: First-Order Regret Bound for Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
在线学习中的后悔界限将玩家的表现与$L^*$进行比较，后者是具有固定策略的事后最佳表现。通常，这种界限与时间范围$T$的平方根成比例。更精确的一阶后悔界限的概念用缩放的$\sqrt{L^*}$代替了它，它可能比$\sqrt{T}$小得多。众所周知，标准算法的小变量在完全信息和多臂强盗设置下满足一阶后悔界。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire提出了一个问题，即现有技术似乎不足以获得上下文强盗问题的一阶后悔界限。在本文中，我们解决了这个开放的问题，提出了一个新的战略的基础上扩大政策空间。
2018-02-09 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
No Regrets for Learning the Prior in Bandits
Google（谷歌）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
我们提出了${\tt AdaTS}$，汤普森采样算法，适应顺序的强盗任务，它与互动。${\tt AdaTS}$的核心思想是通过保持任务参数的分布来适应未知的任务先验分布。在解决一个强盗任务时，这种不确定性被边缘化并得到适当的解释。${\tt AdaTS}$是一个完全贝叶斯算法，可以有效地实现在几类强盗问题。我们推导出其贝叶斯遗憾的上限，量化的损失，由于不知道的任务之前，并表明它是小的。我们的理论得到了实验的支持，其中${\tt AdaTS}$优于以前的算法，即使在具有挑战性的现实问题中也能很好地工作。
2022-02-25 cs.LG
Regret Analysis for Hierarchical Experts Bandit Problem
Tsinghua University（清华大学）
研究了标准强盗问题的一个推广，其中专家层为R层.多层次的专家一层一层地进行选择，只有最后一层的专家才能玩武器。学习策略的目标是最大限度地减少总的遗憾，在这个层次的专家设置。我们首先分析的情况下，总后悔增长的层数。然后重点研究了所有专家均采用上置信限策略的情形，给出了不同情形下的几个次线性上界。最后，我们设计了一些实验来帮助对一般层次UCB结构的后悔分析，并展示了我们的理论结果的实际意义。这篇文章给出了许多关于合理层次决策结构的见解。
2022-08-11 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
Improved Algorithms for Nash Welfare in Linear Bandits
Indian Institute of Technology Kharagpur（印度理工学院克哈格普尔学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔学院）
针对线性赌博机中纳什遗憾的次优性，提出新分析工具实现阶最优界，并引入p-均值遗憾统一框架，设计元算法FairLinBandit，在真实数据集上优于现有方法。
2026-06-23 cs.LG
Misspecified Linear Bandits
University of California, Berkeley（加州大学伯克利分校）；Indian Institute of Science（印度科学院）
研究了误定线性随机多臂强盗问题的在线学习问题。最先进的线性强盗算法的后悔保证，如面对不确定性的乐观线性强盗（OFUL），在假设武器预期奖励在其特征上是完全线性的情况下成立。然而，感兴趣的是调查潜在的误指定的影响，在线性强盗模型中，预期的回报被扰动远离由武器功能确定的线性子空间。虽然OFUL最近已被证明是鲁棒的相对较小的偏离线性，我们表明，任何线性强盗算法，享有最佳的遗憾性能在完美的线性设置（例如，OFUL）在线性模型的稀疏加性扰动下必须遭受线性后悔。为了克服这个负面的结果，我们定义了一个自然类的土匪模型，其特征在于从线性的非稀疏偏差。我们认为，OFUL算法可能无法实现次线性的遗憾，即使在模型，有非稀疏deviation.We最后开发了一种新的土匪算法，包括一个假设检验线性其次是决定使用OFUL或上置信限（UCB）算法。对于完全线性的bandit模型，该算法可证明具有OFUL良好的后悔性能，而对于满足非稀疏偏差性质的错误指定模型，该算法避免了线性后悔现象，回归到UCB的次线性后悔尺度.数值实验合成数据，并从公共雅虎推荐数据！学习排序挑战数据集，经验支持我们的发现。
2017-04-23 cs.LG
Adaptive Regret for Bandits Made Possible: Two Queries Suffice
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对快速变化环境下的在线优化问题，提出每轮仅需两次查询的强自适应老虎机学习器StABL，实现紧的自适应遗憾界，并扩展至老虎机凸优化及实验验证。
2024-01-17 cs.LG
Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Dueling Bandits: From Two-dueling to Multi-dueling
Tsinghua University（清华大学）
我们研究了一个一般的多决斗强盗问题，代理人同时比较多个选项，并旨在尽量减少由于选择次优武器的遗憾。这种设置推广了传统的两个决斗的强盗问题，并发现许多现实世界中的应用涉及多个选项的主观反馈。我们从两个决斗的强盗设置，并提出了两个有效的算法，DoublerBAI和MultiSBM反馈。DoublerBAI提供了一个通用的模式翻译的最佳手臂识别算法的决斗强盗问题的已知结果，并实现了$O(\ln T)$的遗憾界。MultiSBM反馈不仅具有最佳的$O(\ln T)$遗憾，而且与基准测试结果相比，常数因子几乎减少了一半。然后，我们考虑了一般的多决斗的情况下，开发了一个有效的算法MultiRUCB。使用一种新的有限时间遗憾分析一般多决斗强盗问题，我们表明，MultiRUCB也实现了$O(\ln T)$遗憾界和界收紧的能力的比较集的增加。基于合成和真实世界的数据集，我们的经验表明，我们的算法优于现有的算法。
2022-11-16 cs.LG
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University（清华大学）
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$，我们提供了一个算法并证明了其后悔保证，由于技术原因，随着时间范围$T$的增长，该保证具有两阶段表达式。我们还证明了一个下界定理，令人惊讶地显示了我们的两个阶段的遗憾上限（对数因子）的问题参数的\emph{full range}的最优性，因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明，$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束，我们的算法是简单，易于实际实现。此外，我们的算法实现了最佳遗憾的所有$T \geq d$，而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析，我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界，据我们所知，这是第一次在文献中，可能是独立的兴趣。
2022-10-15 cs.LG
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
On the Complexity of Bandit Linear Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了在线线性优化问题与强盗反馈，不同的全信息设置，玩家只能观察到自己的损失，而不是完整的损失向量的可达遗憾。我们表明，在这种情况下，强盗信息的价格可以大$d$，反驳了著名的猜想，强盗线性优化的遗憾是最多$\sqrt{d}$倍的全信息遗憾。令人惊讶的是，这是使用标准域的“微不足道”的修改，这在全信息设置中没有影响。我们提出的这一结果和其他结果突出了全信息学习和强盗学习之间的一些有趣的差异，这些差异在以前的文献中没有考虑过。
2014-08-11 cs.LG
Leveraging Good Representations in Linear Contextual Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook AI研究院）
线性上下文Bandit文献主要集中在针对给定表示的高效学习算法的设计上。然而，上下文强盗问题可能允许多个线性表示，每个线性表示具有直接影响学习算法的遗憾的不同特征。特别是，最近的工作表明，存在“好”的表示，不断的问题依赖的遗憾可以实现。在本文中，我们首先提供了一个系统的分析，在文献中提出的不同定义的“好”表示。然后，我们提出了一种新的选择算法，能够适应最好的表示在一组$M$候选人。我们表明，遗憾确实是从来没有比最好的表示（高达$\ln M$因素）运行LinUCB获得的遗憾。其结果是，我们的算法实现了不断的遗憾，每当一个“好”的表示是在集合中。此外，我们表明，该算法仍然可以通过隐式地构建一个“好”的表示，即使没有一个初始表示是“好”的实现不断的遗憾。最后，我们实证验证我们的理论研究结果在一些标准的上下文强盗问题。
2021-04-08 cs.LG
Prior Diffusiveness and Regret in the Linear-Gaussian Bandit
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
研究线性高斯带中汤普森采样的贝叶斯遗憾值，通过新引理证明其遗憾值表达式，表明先验相关‘预热’项与极小极大遗憾值可加性解耦，还给出下限说明‘预热’项不可避免。
2026-07-07 cs.LG
Improved Regret Bounds for Oracle-Based Adversarial Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们给出了一个基于预言机的算法的对抗性上下文强盗问题，其中任何一个上下文都是独立同分布的。或者上下文的顺序是先验已知的，但是其中损失是对立地挑选的。我们的算法是计算效率高，假设访问离线优化预言，并享有遗憾的顺序$O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$，其中$K$是行动的数量，$T$是迭代次数和$N$是基线策略的数量。我们的结果是第一个打破$O(T^{\frac{3}{4}})$障碍，最近推出的算法实现。打破这一障碍是一个主要的悬而未决的问题。我们的分析是基于最近的基于松弛的方法（Rakhlin和Sridharan，2016）。
2016-06-01 cs.LG
On Bits and Bandits: Quantifying the Regret-Information Trade-off
Technion（以色列理工学院）；ENSAE（法国国立统计与经济管理学校）；NVIDIA Research（英伟达研究院）
本研究量化了序贯决策中信息获取与遗憾之间的权衡，提出了基于信息量的贝叶斯遗憾上下界，并应用于提升大语言模型问答性能。
2025-02-23 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay（电子工程系，印度理工学院，孟买）
本文研究单调结构下基于阈值的多臂老虎机问题，推导了仅与阈值相邻臂相关的渐近遗憾下界，提出最优算法并经蒙特卡洛模拟验证，拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
Graph-Dependent Regret Bounds in Multi-Armed Bandits with Interference
College of Management of Technology EPFL（EPFL技术管理学院）
研究多臂老虎机在网络干扰下的表现，提出基于局部图结构的算法，推导出图依赖的后悔上界，并给出任意网络干扰下的下界，证明算法在密集和稀疏图中接近最优。
2026-04-01 cs.LG
Learning in Markovian bandits with non-observable states and constrained decision epochs
IRIT, Université de Toulouse, CNRS, Toulouse INP（图卢兹大学IRIT实验室，法国国家科学研究中心，图卢兹国立理工学院）；Ikerbasque-UPV/EHU, University of the Basque Country（巴斯克科学与技术联盟-巴斯克大学）
研究状态不可观测且决策时段可能受限的马尔可夫强盗问题，提出自退化马尔可夫强盗模型，设计UCB-NOM算法实现近对数遗憾，并证明无先验知识时遗憾超对数下界。
2026-06-29 cs.LG
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Catoni-Style Change Point Detection for Regret Minimization in Non-Stationary Heavy-Tailed Bandits
Politecnico di Milano（米兰理工学院）；JPMorgan AI Research（摩根大通人工智能研究）
本文针对非平稳重尾老虎机问题，提出基于Catoni式变点检测的Robust-CPD-UCB算法，结合乐观策略，给出遗憾上界与下界，并通过实验验证。
2025-05-26 cs.LG
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University（康奈尔大学）
研究了一个具有记忆约束的对抗性强盗问题，其中只能存储一个臂子集的统计信息。一个层次的学习策略，只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔，建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
我们研究了随机多臂强盗设置中的后悔最小化问题，并建立了一个基本的权衡算法下遭受的遗憾，其统计鲁棒性。考虑到广泛的潜在武器的分布，我们表明，强盗学习算法与对数遗憾总是不一致的，一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如，如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数，学习性能可能是不一致的。接下来，我们展示了一个积极的结果：如果我们允许遗憾比对数略差，则可以获得统计上鲁棒和一致的学习性能。具体来说，我们提出了三个类的分布遗忘算法，实现了渐近遗憾，是任意接近对数。
2020-06-22 cs.LG stat.ML
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
High Accuracy and Low Regret for User-Cold-Start Using Latent Bandits
Trinity College Dublin（都柏林圣三一学院）
本文提出一种隐式赌博机算法解决推荐系统新用户冷启动问题，在准确率和遗憾两方面均显著超越现有方法。
2023-05-12 cs.IR cs.LG
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Survey Bandits with Regret Guarantees
Stanford University（斯坦福大学）
我们考虑上下文强盗问题的一个变种。在标准的上下文强盗中，当用户到达时，我们获得用户的完整特征向量，然后为该用户分配治疗（手臂）。在许多应用程序（如医疗保健）中，从用户那里收集功能可能成本高昂。为了解决这个问题，我们提出了算法，避免不必要的功能收集，同时保持强大的遗憾保证。
2020-02-23 cs.LG econ.EM stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-11-10 cs.LG math.OC stat.ML
Regret Balancing for Bandit and RL Model Selection
DeepMind（深度思维）；UC Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法，有效的模型选择策略以在线方式适应最佳学习算法。我们表明，通过估计每个算法的遗憾和播放的算法，以确保所有经验的遗憾是相同的顺序，整体遗憾平衡策略实现了一个遗憾，是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入，和策略的性能取决于上界的紧密性。我们表明，有这样的先验知识是必要的，以实现一个接近最佳的遗憾。此外，我们表明，任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington（印第安纳大学伯明顿分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们认为阈值强盗问题，其目标是找到武器的平均奖励高于给定的阈值$θ$，与固定预算的$T$试验。我们介绍LSA，一个新的，简单的，随时算法，旨在最大限度地减少总遗憾（或预期数量的错误分类武器）。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果，以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Minimax Regret for Bandit Convex Optimisation of Ridge Functions
我们分析了对抗性强盗凸优化，其中对手仅限于对凸$g_t : \mathbb R \to \mathbb R$和随时间齐次的未知$θ\in \mathbb R^d$使用形式为$f_t(x) = g_t(\langle x, θ\rangle)$的函数。我们提供了一个简短的信息理论证明，极小极大遗憾是最多$O(d \sqrt{n} \log(n \operatorname{diam}(\mathcal K)))$其中$n$是互动的数量，$d$的尺寸和$\operatorname{diam}(\mathcal K)$是直径的约束集。
2021-06-06 cs.LG math.OC
Fairness and Welfare Quantification for Regret in Multi-Armed Bandits
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
我们从福利主义的角度扩展了遗憾的概念。针对经典的多臂强盗（MAB）框架，通过引入一个基本的福利函数，即Nash社会福利（NSW）函数来量化强盗算法的性能.这相当于将算法的性能等同于其预期回报的几何平均值，并导致我们研究纳什遗憾，定义为-先验未知-最佳平均值（武器之间）和算法的性能之间的差异。由于新南威尔士州是已知的，以满足公平公理，我们的方法补充了平均（累积）后悔的功利考虑，其中该算法通过其预期奖励的算术平均值进行评估。这项工作开发了一个算法，给定的地平线上玩$T$，实现了纳什遗憾$O \left( \sqrt{\frac{k \log T}{T}} \right)$，这里$k$表示的武器在MAB实例的数量。因为对于任何算法，纳什后悔至少和平均后悔一样多（AM-GM不等式），所以已知的平均后悔下限也适用于纳什后悔。因此，我们的纳什遗憾保证基本上是紧的。此外，我们开发了一个任何时间算法的纳什遗憾保证$O \left( \sqrt{\frac{k\log T}{T}} \log T \right)$。
2022-05-27 cs.GT cs.LG
Bandits with Switching Costs: T^{2/3} Regret
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）；Technion（以色列理工学院）
我们研究的对抗性多臂强盗问题的设置，玩家每次切换动作时都会产生单位成本。我们证明了玩家的$T$轮极大极小遗憾在这种设置是$\widetildeΘ(T^{2/3})$，从而关闭了一个根本的差距，我们的理解学习与强盗反馈。在相应的完全信息版本的问题中，极小极大后悔的增长速度要慢得多，为$Θ(\sqrt{T})$。这两个比率之间的差异提供了\emph{first}指示，即使用强盗反馈的学习可能比使用全信息反馈的学习要困难得多（以前的结果只显示了对动作数量的不同依赖，而不是对$T$的依赖）。除了描述具有切换成本的多臂强盗问题的固有困难之外，我们的结果还解决了在线学习中的其他几个开放问题。一个直接的含义是，学习与强盗反馈对有界记忆自适应对手有一个极小极大的遗憾$\widetildeΘ(T^{2/3})$。另一个含义是，在对抗性马尔可夫决策过程（MDP）中在线学习的极小极大遗憾是$\widetildeΘ(T^{2/3})$。我们所有结果的关键是一个新的多尺度随机游走，这是一个独立的利益，并可能证明在其他设置有用的随机建设。
2013-11-19 cs.LG math.PR
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris Diderot（巴黎狄德罗大学）；ENS Cachan（卡尚高等师范学校）；Université Paris-Saclay（巴黎-萨克雷大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑经典的随机多臂强盗，但在那里，从时间到时间，大致与频率$ε$，一个额外的观察是免费收集的代理。证明了无论$ε$有多小，智能体都能保证后悔在时间上一致有界.更准确地说，我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$，乘法常数和重对数项。我们还证明了一个匹配的下限，说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
Explore First, Exploit Next: The True Shape of Regret in Bandit Problems
CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）
在多臂强盗问题的情况下，我们重新讨论了遗憾的下界。我们获得非渐近的，分布依赖的界限，并提供简单的证明，只基于著名的性质Kullback-Leibler分歧。这些界限特别表明，在初始阶段的遗憾几乎线性增长，而众所周知的对数增长的遗憾只在最后阶段。证明技术来的信息理论的论点使用的本质，他们被剥夺了所有不必要的复杂性。
2018-10-13 cs.LG math.ST stat.TH
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
