Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对协作式多智能体多臂赌博机问题，提出一种简单有效的通信策略并集成到学习算法中，同时实现了最优个体遗憾和恒定通信成本，弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI（亚马逊云科技人工智能部门）
我们证明了一个独立的实例（多）对数后悔随机上下文土匪线性回报。以前，在\cite{chu2011contextual}，一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意（adversarily选择）的背景。在本文中，我们表明，随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits（\texttt{LR-SCB}），它利用随机上下文，并执行参数估计（在$\ell_2$范数）和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作，其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的（多）对数后悔源于两个关键事实：（a）应用范数自适应算法来利用参数估计和（b）分析移位线性上下文强盗算法，表明移位导致后悔增加。我们还通过实验证明，随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind（深度思维）
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$，其中$d$是维数，$n$是交互数.这改进了Bubeck等人（2017）的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
A conversion theorem and minimax optimality for continuum contextual bandits
University of Oxford CMAP, Ecole Polytechnique, IP Paris（牛津大学计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CMAP, Ecole Polytechnique, IP Paris（计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CSML, Istituto Italiano di Tecnologia University College London（计算机科学与机器学习，意大利技术研究所，伦敦大学学院）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）
针对上下文连续赌博机，提出静态到上下文遗憾转换定理，并证明在多种设定下算法达到极小极大最优上下文遗憾率。
2025-10-27 cs.LG math.ST stat.ML
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
我们研究了随机多臂强盗设置中的后悔最小化问题，并建立了一个基本的权衡算法下遭受的遗憾，其统计鲁棒性。考虑到广泛的潜在武器的分布，我们表明，强盗学习算法与对数遗憾总是不一致的，一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如，如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数，学习性能可能是不一致的。接下来，我们展示了一个积极的结果：如果我们允许遗憾比对数略差，则可以获得统计上鲁棒和一致的学习性能。具体来说，我们提出了三个类的分布遗忘算法，实现了渐近遗憾，是任意接近对数。
2020-06-22 cs.LG stat.ML
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Multimodal Bandits: Regret Lower Bounds and Optimal Algorithms
Division of Decision and Control Systems（决策与控制系统系）；KTH Royal Institute of Technology（皇家理工学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Université Paris-Saclay, CNRS, CentraleSupélec（巴黎萨克雷大学、国家科学研究中心、中央理工-巴黎高等理工学院）
针对期望奖励函数最多有m个模态的随机多臂老虎机问题，提出了首个可计算的Graves-Lai优化问题求解算法，从而实现了该问题的渐近最优算法。
2025-10-29 cs.LG math.ST stat.ML
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Bandits with Multiple Optimal Arms: Minimax Regret and Non-Adaptivity
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究具有多个最优臂的多臂老虎机，提出了改进的极小极大遗憾界并匹配下界，表明对最优臂数量的近似了解对实现接近最优性能是必要的。
2026-10-02 cs.AI cs.LG math.ST
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Survey Bandits with Regret Guarantees
Stanford University（斯坦福大学）
我们考虑上下文强盗问题的一个变种。在标准的上下文强盗中，当用户到达时，我们获得用户的完整特征向量，然后为该用户分配治疗（手臂）。在许多应用程序（如医疗保健）中，从用户那里收集功能可能成本高昂。为了解决这个问题，我们提出了算法，避免不必要的功能收集，同时保持强大的遗憾保证。
2020-02-23 cs.LG econ.EM stat.ML
Information Directed Sampling for Sparse Linear Bandits
Deepmind（深度思维）；Purdue University（普渡大学）
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型，并具有丰富的信息后悔结构。在这项工作中，我们探讨了使用信息导向抽样（IDS），自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界，几乎匹配现有的各种问题的情况下的下限，证明了自适应的IDS。为了有效地实现稀疏入侵检测系统，我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
Regret Bound Balancing and Elimination for Model Selection in Bandits and RL
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了一个简单的模型选择方法的算法在随机强盗和强化学习问题。相对于先前的工作，（隐式）假设知识的最佳遗憾，我们只需要每个基础算法来与候选人遗憾界，可能会或可能不会举行在所有回合。在每一轮中，我们的方法都使用一个基本算法来保持所有剩余基本算法的候选遗憾界限的平衡，并消除违反其候选界限的算法。我们证明了这种方法的总遗憾是有界的最佳有效的候选人遗憾界乘以乘法因子。该因子在几个应用中相当小，包括具有嵌套函数类的线性Bandits和MDP、具有未知错误指定的线性Bandits以及应用于具有不同置信度参数的线性Bandits的LinUCB。我们进一步表明，在适当的间隙假设下，当轮数足够大时，该因子仅与基本算法的数量成比例，而不是其复杂度。最后，与最近在线性随机强盗模型选择方面的努力不同，我们的方法具有足够的通用性，可以覆盖由对抗环境而不是随机环境生成上下文信息的情况。
2020-12-24 cs.AI cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Neural Contextual Bandits without Regret
ETH Zurich（苏黎世联邦理工学院）
上下文强盗是一个丰富的模型，用于给定边信息的顺序决策，具有重要的应用，例如，在推荐系统中。我们提出了新的算法，利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题，同时考虑全连接和卷积网络。为此，我们首先分析NTK-UCB，核化的强盗优化算法采用神经正切核（NTK），并限制其遗憾的NTK最大信息增益$γ_T$，一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后，我们介绍了我们的神经网络为基础的算法NN-UCB，并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数，我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率，其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
Regret Bounds for Noise-Free Kernel-Based Bandits
MediaTek Research（联发科技研究院）
基于核的强盗问题是一个被广泛研究的黑箱优化问题，其中的目标函数被假设为存在于一个已知的再生核希尔伯特空间中。虽然在噪声环境中建立了接近最优的遗憾界限（最多对数因子），但令人惊讶的是，对无噪声环境（当底层函数的精确值在没有观测噪声的情况下可访问时）的了解较少。我们讨论了几个上界遗憾，没有一个似乎顺序最优，并提供了一个猜想顺序最优的遗憾界。
2022-06-24 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
我们研究了腐败的强盗问题，即一个随机的多臂强盗问题与$k$未知的奖励分布，这是重尾和腐败的历史独立的对手或自然。具体地说，通过玩手臂获得的奖励来自相应的概率为$1-\varepsilon \in (0.5,1]$的重尾奖励分布和概率为$\varepsilon \in [0,0.5)$的无界支持的任意腐败分布。首先，我们提供任何损坏的强盗算法的$\textit{a problem-dependent lower bound on the regret}$。下界表明，腐败的强盗问题是困难的，比经典的随机强盗问题与亚高斯或重尾奖励。接下来，我们提出了一种新型的UCB类型的腐败强盗算法，即HubUCB，它建立在Huber的估计器之上，用于鲁棒均值估计。利用Huber估计的一个新的集中不等式，我们证明了HubUCB达到了一个接近最优的后悔上界。由于计算Huber估计具有二次复杂性，我们进一步介绍了一个顺序版本的Huber估计，表现出线性复杂性。我们利用这个顺序估计设计SeqHubUCB，享受类似的遗憾保证，同时减少计算负担。最后，我们通过实验说明了HubUCB和SeqHubUCB在解决不同奖励分配和不同腐败程度的腐败土匪的效率。
2023-03-21 cs.LG math.ST stat.TH
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Lifelong Bandit Optimization: No Prior and No Regret
ETH Zurich（苏黎世联邦理工学院）
针对序列赌博机优化任务，提出LIBO算法，通过元学习未知共享核实现样本高效，无需先验且遗憾收敛至预言机最优，并扩展联邦版本F-LIBO。
2023-06-20 cs.AI cs.LG stat.ML
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
How to gamble with non-stationary $\mathcal{X}$-armed bandits and have no regrets
WIAS Berlin（柏林魏尔斯特拉斯应用分析与随机学研究所）
在$\mathcal{X}$ -武装强盗问题中，代理顺序地与环境交互，环境基于代理提供的向量输入产生奖励。代理的目标是在一定数量的时间步长内最大化这些奖励的总和。这个问题及其变化一直是许多研究的主题，提出了次线性和有时最佳的策略。给定的文件介绍了一个新的变化的问题。我们考虑一个环境，它可以突然改变其行为未知的次数。为此，我们提出了一种新的策略，并证明它达到了次线性累积后悔。此外，在行动和相应的奖励之间的高度光滑的关系的情况下，该方法是接近最优的。理论分析结果得到了实验研究的支持。
2021-01-17 cs.LG math.ST stat.ML
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
On the Minimax Regret for Linear Bandits in a wide variety of Action Spaces
Indian Institute of Science（印度科学学院）
正如在\cite{lattimore2020bandit}的著作中所指出的，已经提到，在各种各样的行动空间中刻画线性强盗的极大极小后悔是一个开放的问题。在这篇文章中，我们提出了一个最佳遗憾下界一类凸行动空间。
2023-01-09 cs.LG
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Correlated Multiarmed Bandit Problem: Bayesian Algorithms and Regret Analysis
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
考虑了多臂相关强盗（MAB）问题，其中每只手臂的报酬由多元高斯随机变量建模，研究了贝叶斯先验假设对可信上限（UCL）算法性能的影响，并提出了一种新的相关UCL算法.我们严格的准确性，置信度和相关尺度的影响，在决策性能的算法上的先验。我们的研究结果表明，如何先验和相关性结构可以利用，以提高性能。
2015-07-07 cs.LG math.OC stat.ML
On Regret-optimal Cooperative Nonstochastic Multi-armed Bandits
The London School of Economics and Political Science（伦敦政治经济学院）
本文研究带延迟通信的非随机多智能体多臂老虎机问题，提出了合作FTRL算法并证明其在特定条件下达到后悔最优，数值实验验证了其优于已有算法。
2023-10-21 cs.LG cs.MA math.ST
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-02-02 cs.LG stat.ML
Regret Balancing for Bandit and RL Model Selection
DeepMind（深度思维）；UC Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法，有效的模型选择策略以在线方式适应最佳学习算法。我们表明，通过估计每个算法的遗憾和播放的算法，以确保所有经验的遗憾是相同的顺序，整体遗憾平衡策略实现了一个遗憾，是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入，和策略的性能取决于上界的紧密性。我们表明，有这样的先验知识是必要的，以实现一个接近最佳的遗憾。此外，我们表明，任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Why Most Optimism Bandit Algorithms Have the Same Regret Analysis: A Simple Unifying Theorem
Cornell University（康奈尔大学）
本文提出一个简单的统一定理，揭示了多种乐观老虎机算法在后悔分析上的共同本质，通过两个确定性引理实现了对数级别的后悔推导，并扩展到现代老虎机变体。
2025-12-20 cs.LG cs.SY eess.SY
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington（印第安纳大学伯明顿分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们认为阈值强盗问题，其目标是找到武器的平均奖励高于给定的阈值$θ$，与固定预算的$T$试验。我们介绍LSA，一个新的，简单的，随时算法，旨在最大限度地减少总遗憾（或预期数量的错误分类武器）。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果，以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Modified Meta-Thompson Sampling for Linear Bandits and Its Bayes Regret Analysis
College of Sciences, National University of Defense Technology（国防科技大学理学院）
针对现有元汤普森采样（Meta-TS）仅适用于高斯老虎机的局限，提出适配线性上下文老虎机的Meta-TSLB算法，推导其贝叶斯遗憾上界，补充相关理论分析，并通过实验验证其性能与泛化潜力。
2024-09-11 cs.LG math.OC stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
The Sliding Regret in Stochastic Bandits: Discriminating Index and Randomized Policies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出滑动遗憾概念以度量单次运行中伪遗憾的平滑性，证明随机化方法（如 Thompson Sampling、MED）具有最优滑动遗憾，而 UCB 类指数策略的滑动遗憾和平均起伏均为次优。
2023-11-30 cs.LG cs.SY eess.SY
Minimax Regret for Bandit Convex Optimisation of Ridge Functions
我们分析了对抗性强盗凸优化，其中对手仅限于对凸$g_t : \mathbb R \to \mathbb R$和随时间齐次的未知$θ\in \mathbb R^d$使用形式为$f_t(x) = g_t(\langle x, θ\rangle)$的函数。我们提供了一个简短的信息理论证明，极小极大遗憾是最多$O(d \sqrt{n} \log(n \operatorname{diam}(\mathcal K)))$其中$n$是互动的数量，$d$的尺寸和$\operatorname{diam}(\mathcal K)$是直径的约束集。
2021-06-06 cs.LG math.OC
Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret
本文提出将基于多次函数评估的核估计器转化为期望等价的采样型bandit估计器，并接入标准FTRL算法，从而在对抗性时变凸损失函数下实现了$\ ilde{O}(t^{1/2})$的遗憾界。
2023-06-24 cs.LG
Linear bandits with polylogarithmic minimax regret
Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
本文针对线性随机赌博机提出一种基于加权最小二乘的算法，利用几何论证控制特征值关系，实现$\log^3(T)$的极小极大遗憾，显著优于平方根缩放。
2024-05-29 cs.AI cs.LG stat.ML
Improved Path-length Regret Bounds for Bandits
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们研究自适应遗憾界的变化的损失（所谓的路径长度界）的多臂土匪和更一般的线性土匪。我们首先证明了（Wei和Luo，2018）的看似次优的路径长度界实际上对于自适应对手是不可改进的。尽管有这个负面的结果，我们还是开发了两个新的算法，一个是严格改进的（Wei和Luo，2018），具有较小的路径长度测量，另一个是改进的（Wei和Luo，2018），当路径长度很大时，对于不经意的对手。我们的算法基于研究充分的乐观镜像下降框架，但重要的是具有几种新颖的技术，包括新的乐观预测，对最近选择的臂的轻微偏差，以及使用类似于（Bubeck等人，2018年）。此外，我们扩展我们的结果，线性强盗显示减少获得动态遗憾的全信息问题，其次是进一步减少凸体追逐。我们提出了一个简单的贪婪追逐算法的平方2-范数，导致新的动态遗憾的结果，并作为一般的线性土匪的第一路长遗憾。
2019-06-18 cs.LG stat.ML
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris Diderot（巴黎狄德罗大学）；ENS Cachan（卡尚高等师范学校）；Université Paris-Saclay（巴黎-萨克雷大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑经典的随机多臂强盗，但在那里，从时间到时间，大致与频率$ε$，一个额外的观察是免费收集的代理。证明了无论$ε$有多小，智能体都能保证后悔在时间上一致有界.更准确地说，我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$，乘法常数和重对数项。我们还证明了一个匹配的下限，说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
