Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法，这个问题的遗憾是近最佳的，大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的，并且可以容忍大量的腐败，几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria（奥地利科学技术研究所）
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
The best of both worlds: stochastic and adversarial bandits
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们提出了一个新的强盗算法，SAO（随机和对抗最优），其遗憾，本质上是最优的对抗性奖励和随机奖励。具体地，SAO结合了Exp3的平方根最坏情况遗憾（Auer等人，SIAM J. on Computing 2002）和UCB 1的（多）对数遗憾（Auer et al.，机器学习2002）的随机奖励。对抗性奖励和随机奖励是（非贝叶斯）多臂强盗文献中的两个主要设置。之前关于多武装土匪的工作将它们分开对待，并且不试图联合优化两者。我们的结果属于一个一般的主题，实现良好的最坏情况下的性能，同时也利用了“好”的问题的情况下，一个重要的问题，在设计的算法与部分已知的输入。
2012-02-20 cs.DS cs.LG
Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen（哥本哈根大学）；University of Southern California（南加州大学）
我们开发了第一个通用的半强盗算法，同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究，但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了（Zimmert & Seldin，2019）最近的工作，用于多臂强盗的特殊情况，但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明，该算法在不同的环境下确实表现出良好的一致性。最后，我们提供了一个初步的扩展，我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego（加州大学圣地亚哥分校）；West Virginia University（西弗吉尼亚大学）
我们提出了一种新的修改标准的置信上限（UCB）方法的随机多臂强盗（MAB）问题，调整的置信界的基础上，它的距离到其他的一个给定的强盗。我们的UCB距离调谐（UCB-DT）制定，使改进的性能，通过防止MAB算法专注于非最佳的土匪，这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的，我们称之为“强盗距离”，该距离度量是可参数化的，因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明，增加性能的UCB-DT与许多现有的国家的最先进的方法，使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具，称为“勘探讨价还价点”，它提供了深入了解勘探和开发之间的权衡。我们认为，勘探讨价还价点提供了一个直观的角度来看，是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University（国立交通大学）；Texas A&M University（德克萨斯农工大学）
修改奖励偏置最大似然方法最初提出的自适应控制文献中，我们提出了新的学习算法，以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策，我们证明实现了订单最优，并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点，每次拉低计算时间的线性土匪，从而导致有利的遗憾，以及计算效率。
2020-10-08 cs.LG stat.ML
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）；ICREA（加泰罗尼亚高等研究院）；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种新的多臂土匪随机算法中的间隙估计策略，并将其与Seldin和Slivkins（2014）的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性，并消除了顺序为$Δe^{1/Δ^2}$的附加因子，其中$Δ$是问题实例的最小间隙。在对抗制中，后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Residual Bootstrap Exploration for Stochastic Linear Bandit
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对随机线性强盗问题，提出了一种新的基于自举的在线算法。其核心思想是采用残差自助探索，通过对平均报酬估计的残差进行重新采样来估计下一步的报酬。我们的算法，随机线性强盗（\texttt{LinReBoot}）的剩余引导探索，估计其重新采样分布的线性奖励，并拉最高的奖励估计的手臂。特别是，我们贡献了一个理论框架，以揭开神秘的剩余引导为基础的探索机制在随机线性强盗问题。关键的见解是，自助探索的强度是基于在线学习模型和残差的重新采样分布之间的合作乐观。这样的观察使我们能够表明，建议\texttt{LinReBoot}安全的高概率$\tilde{O}(d \sqrt{n})$次线性遗憾在温和的条件下。我们的实验支持的\texttt{ReBoot}原则在线性强盗问题的各种配方容易推广，并显示显着的计算效率的\texttt{LinReBoot}。
2022-06-17 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind（深度思维）
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法，并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$，其中$n$是视界，$d$是维数，$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University（哥伦比亚大学）；Morgan Stanley（摩根大通）
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响，证明LinTS和LinBUCB保持原始遗憾速率但常数增大，且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
Stochastic One-Sided Full-Information Bandit
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Microsoft Research（微软研究院）
本文研究了随机版本的单侧完全信息强盗问题，其中我们有$K$手臂$[K] = \{1, 2, \ldots, K\}$，并且玩手臂$i$将从手臂$i$的未知分布中获得奖励，同时获得所有手臂$j \ge i$的奖励反馈.单边完全信息强盗模型可以模拟在线重复第二价格拍卖，拍卖师可以在每一轮中选择保留价，投标人只有在出价高于保留价时才透露他们的出价。在本文中，我们提出了一个基于淘汰的算法来解决这个问题。我们的基于消除的算法实现了分布独立的遗憾上界$O(\sqrt{T\cdot\log (TK)})$，和分布相关的界$O((\log T + \log K)f(Δ))$，其中$T$是时间范围，$Δ$是臂的平均奖励和最佳臂的平均奖励之间的间隙的向量，和$f(Δ)$是取决于间隙向量的公式，我们将详细说明。我们的算法具有迄今为止最好的理论遗憾上限。我们还验证了我们的算法经验对其他可能的替代品。
2019-06-20 cs.DS cs.LG stat.ML
Safe Linear Stochastic Bandits
Cornell University（康奈尔大学）
我们介绍了安全的线性随机强盗框架-线性随机强盗的推广-在每个阶段，学习者需要选择一个手臂与预期的奖励，不低于一个预定的（安全）阈值的高概率。我们假设学习者最初知道一个已知是安全的手臂，但不一定是最佳的。利用这一假设，我们引入了一种学习算法，该算法系统地将已知的安全武器与探索武器相结合，以随着时间的推移安全地扩展安全武器的集合，同时促进后续阶段的安全贪婪利用。除了确保满足的安全约束在每个阶段的发挥，所提出的算法表现出预期的遗憾，不超过$O(\sqrt{T}\log (T))$后，$T$阶段的发挥。
2019-11-21 cs.LG stat.ML
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中，它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策，虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
Rotting bandits are not harder than stochastic ones
OvGU Magdeburg（马格德堡奥托·冯·格里克大学）；FAIR Paris（巴黎FAIR实验室）；Inria Lille（里尔法国国家信息与自动化研究所）
在随机多臂强盗中，假设每只手臂的奖励分布是平稳的。这一假设在实践中经常被违反（例如，在推荐系统中），其中每当选择时，臂的奖励可以改变，即，休息的强盗设置。在本文中，我们考虑非参数的腐烂的强盗设置，奖励只能减少。我们引入了扩展窗口平均滤波（FEWA）算法，该算法构建了增加窗口的移动平均值，以确定当再次拉动时更有可能返回高奖励的手臂。我们证明了，对于一个未知的地平线$T$，没有任何知识的$K$武器的减少行为，FEWA实现问题依赖的遗憾界的$\widetilde{\mathcal{O}}(\log{(KT)}),$和问题无关的$\widetilde{\mathcal{O}}(\sqrt{KT})$。我们的结果大大改进了Levine等人的算法。（2017），该算法遭受遗憾$\widetilde{\mathcal{O}}(K^{1/3}T^{2/3})$。FEWA还匹配随机强盗设置的已知界限，从而表明腐烂的强盗并不更难。最后，我们报告模拟确认FEWA的理论改进。
2020-05-09 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan（密歇根大学）
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下，我们提供了一个统一的后悔分析的亚威布尔和有界扰动时，奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2，也有一个匹配的下尾界，和所有有界的支持扰动，有足够的概率质量的极端支持。对于对抗设置，我们证明了严格的障碍，对两个自然的解决方案的方法，使用离散选择理论和极值理论的工具。我们的结果表明，最佳扰动，如果它存在，将是弗雷歇型。
2019-12-10 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Design of Experiments for Stochastic Contextual Linear Bandits
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Department of Computer Science（计算机科学系）
在随机线性上下文的强盗设置存在几个极大极小的探索过程与政策是反应的数据被收购。在实践中，部署这些算法可能会带来巨大的工程开销，特别是当数据集以分布式方式收集时，或者当需要人工参与来实现不同的策略时。在这种情况下，使用单个非反应策略进行探索是有益的。假设一些批处理上下文是可用的，我们设计了一个单一的随机策略来收集一个好的数据集，从中可以提取一个接近最优的策略。我们提出了一个理论分析，以及在合成和真实世界的数据集上的数值实验。
2021-07-22 cs.LG stat.ML
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA；ENS Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法，它建立了一个级联的离散化树的基础上通用链，以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数，也大大扩展了UCB策略的应用范围。此外，通用的遗憾界，然后专门为高斯过程索引的无限维空间，以及高斯过程的二次形式。下界也证明了高斯过程的情况下，评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
A Tight Lower Bound for Non-stochastic Multi-armed Bandits with Expert Advice
Kent State University（凯特州立大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；The Hebrew University（希伯来大学）
本文通过证明与已有上界匹配的下界，确定了带有专家建议的非随机多臂老虎机问题的极小化极大最优期望遗憾为 $Θ(\sqrt{T K \log(N/K)})$。
2025-10-31 cs.LG stat.ML
Stochastic Bandits with Linear Constraints
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们研究了一个受约束的上下文线性强盗设置，代理的目标是产生一系列的政策，其预期的累积奖励的过程中的$T$轮是最大的，每个有一个预期的成本低于一定的阈值$τ$。我们提出了一个置信上限算法，称为乐观悲观线性强盗（OPLB），并证明了$\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$界上的$T$轮遗憾，其中分母是之间的差异的约束阈值和成本的一个已知的可行的行动。我们进一步专门研究我们的结果，多武装匪徒，并提出了一个计算效率高的算法，这种设置。在$K$ -armed bandits中，我们证明了该算法的遗憾界$\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$，这是对我们通过简单地将多武器bandits转换为上下文线性bandits的实例并使用OPLB的遗憾界得到的遗憾界的$\sqrt{K}$改进.我们还证明了一个下界的问题研究的文件，并提供模拟来验证我们的理论结果。
2020-06-17 cs.LG stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Tsallis-INF: An Optimal Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）
我们推导出一个算法，实现了最佳的（常数内）伪遗憾在敌对和随机多武装土匪没有事先知道的制度和时间范围。该算法是基于在线镜像下降（OMD）与Tsallis熵正则化功率$α=1/2$和减少方差损失估计。更一般地，我们定义了一个具有自约束的对抗机制，包括随机机制，随机约束对抗机制（Wei和Luo），以及具有对抗腐败的随机机制（Lykouris et al.）。作为特殊情况，并表明该算法实现对数遗憾保证在这个制度和所有的特殊情况下，同时与对抗性遗憾保证。该算法还实现了基于效用的决斗强盗设置的对抗性和随机最优性。我们提供了实证评估的算法表明，它显着优于UCB 1和EXP 3在随机环境中。我们还提供了对抗性环境的例子，其中UCB 1和汤普森采样表现出几乎线性的遗憾，而我们的算法只遭受对数遗憾。据我们所知，这是第一个证明汤普森抽样在对抗环境中的脆弱性的例子。最后，但并非最不重要的是，我们提出了一个一般的随机分析和一般的对抗性分析的OMD算法与Tsallis熵正则化$α\in[0,1]$和解释的原因为什么$α=1/2$最好的作品。
2022-03-02 cs.LG stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Stochastic bandits robust to adversarial corruptions
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
我们引入了一个新的具有对抗性腐败的随机强盗模型，其目的是捕获大部分输入遵循随机模式但其中一部分可以对抗性地改变以欺骗算法的设置，例如，点击欺诈、虚假评论和垃圾邮件。该模型的目标是鼓励设计出（i）在混合对抗和随机模型中工作良好的强盗算法，以及（ii）当我们从完全随机模型转向完全对抗模型时，其性能会优雅地恶化。在我们的模型中，所有武器的奖励最初来自一个分布，然后由一个适应性的对手改变。我们提供了一个简单的算法，其性能优雅地降低与总腐败的对手注入的数据，测量的总和跨轮的最大的更改对手在该轮的数据，这总腐败表示为$C$。我们的算法提供了一个保证，保留最佳保证（直到对数项）如果输入是随机的并且其性能线性地下降到损坏量$C$，我们还提供了一个下界，表明如果算法在随机设置中实现最佳性能，则这种线性退化是必要的（下限甚至适用于已知的损坏量，这是我们的算法在没有额外对数的情况下实现最佳性能的特殊情况）。
2018-03-25 cs.DS cs.GT cs.LG
Leveraging Initial Hints for Free in Stochastic Linear Bandits
Google AI（谷歌人工智能）
我们研究了设置优化与强盗反馈与额外的先验知识提供给学习者的形式的初始提示的最佳行动。我们提出了一种新的算法随机线性土匪，使用这个提示，以提高其遗憾$\tilde O(\sqrt{T})$时，提示是准确的，同时保持最小最优$\tilde O(d\sqrt{T})$遗憾独立的提示的质量。此外，我们提供了一个帕累托边界之间的最好的情况下和最坏的情况下的遗憾，匹配的下限严格权衡。也许令人惊讶的是，我们的工作表明，利用提示显示了可证明的收益，而不会牺牲最坏情况下的性能，这意味着我们的算法可以免费适应提示的质量。我们还提供了一个扩展我们的算法的情况下，$m$初始提示，表明我们可以实现一个$\tilde O(m^{2/3}\sqrt{T})$遗憾。
2022-03-08 cs.DS cs.LG
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）；National Chiao Tung University（国立交通大学）
受自适应控制中的有偏最大似然估计方法的启发，我们提出了RBMLE --一种新的随机多臂强盗（SMAB）学习算法。对于广泛的SMAB，包括参数指数家庭以及非参数子高斯/指数家庭，我们表明，RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$，我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用，通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能，我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明，建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争，同时更计算效率和可扩展性相比，其中表现最好的。
2020-10-23 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对在线强化学习中探索与利用的平衡难题，提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案，可证明在随机多臂老虎机中达到近最优遗憾，并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
Bandits with adversarial scaling
Microsoft Research NYC（微软研究院纽约分院）；Cornell University（康奈尔大学）；Google Research NYC（谷歌研究院纽约分院）
我们研究“对抗缩放”，一个多臂的强盗模型，其中奖励有一个随机和一个对抗组件。我们的模型捕捉显示广告的“点击率”可以分解为一个（固定跨时间）手臂质量组件和一个非随机的用户相关性组件（固定跨武器）。尽管我们的模型的相对随机性，我们证明了两个设置，大多数土匪算法遭受。在积极的一面，我们表明，两个算法，一个从动作消除和一个从镜像下降家庭是适应性足够强大的对抗缩放。我们的研究结果揭示了自适应参数选择的鲁棒性随机土匪，这可能是独立的利益。
2020-08-29 cs.GT cs.LG stat.ML
The Impact of Batch Learning in Stochastic Bandits
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University in Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
我们考虑强盗问题的一个特殊情况，即成批强盗。出于推荐系统和电子商务平台的自然限制，我们假设一个学习代理在一定的时间内观察成批的响应。与以前的工作不同，我们考虑了一个更实际的批处理学习的批处理为中心的场景。我们提供了一个政策不可知的遗憾分析，并展示了上界和下界的候选政策的遗憾。我们的主要理论结果表明，批量学习的影响可以用在线行为来衡量。最后，我们通过实证实验证明了理论结果的一致性，并对最佳批量选择进行了反思。
2021-11-03 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction
Amazon Research（亚马逊研究院）；Heidelberg University（海德堡大学）
随机零阶（SZO）或无梯度优化允许仅依赖于参数扰动下的函数评估来优化任意函数，然而，SZO方法的迭代复杂度与扰动函数的维数成比例。我们表明，在结构化预测应用中具有自然稀疏模式的情况下，该因子可以减少到输入输出对上的活动特征的预期数量。我们给出了一个一般的证明，适用于稀疏SZO优化Lipschitz连续，非凸，随机目标，并提出了一个实验评估线性强盗结构预测任务与稀疏字为基础的特征表示，证实我们的理论结果。
2020-11-10 cs.CL cs.LG stat.ML
On Penalization in Stochastic Multi-armed Bandits
Baidu Research（百度研究院）；Cornell University（康奈尔大学）
我们研究了随机多臂强盗（MAB）问题的一个重要变种，其中考虑了惩罚。我们需要在总报酬和公平水平之间取得平衡，而不是直接最大化累积期望报酬。在本文中，我们提出了一些新的见解，在MAB和制定的惩罚框架，严格的惩罚遗憾可以很好地定义和更复杂的遗憾分析是可能的问题。在此框架下，我们提出了一个硬阈值类UCB算法，它具有许多优点，包括渐近公平性，近最优的遗憾，更好地权衡奖励和公平性。间隙依赖和间隙独立的遗憾界已经建立。多个有见地的评论，以说明我们的理论分析的合理性。大量的实验结果证实了理论和显示我们的方法优于其他现有的方法。
2022-11-15 cs.LG stat.ML
Stochastic bandits with arm-dependent delays
Otto-von-Guericke University of Magdeburg（马格德堡奥托·冯·格里克大学）；GoogleDeepMind（谷歌深度思维）
由于其在应用中的相关性，最近的重要工作一直致力于随机延迟强盗设置。然而，现有算法的适用性受到这样一个事实的限制，即强的假设往往是对延迟分布，如充分的可观测性，限制性的形状约束，或均匀的武器。在这项工作中，我们大大削弱了它们，只假设延迟的尾部有一个界限。特别是，我们涵盖了重要的情况下，不同的武器的延迟分布，以及延迟的情况下，重尾。为了解决这些困难，我们提出了一个简单而有效的基于UCB的算法，称为PatientBandits。我们提供了问题依赖和问题独立的边界上的遗憾，以及性能下界。
2020-06-18 cs.LG stat.ML
Almost Optimal Algorithms for Linear Stochastic Bandits with Heavy-Tailed Payoffs
The Chinese University of Hong Kong（香港中文大学）
在线性随机强盗中，通常假设收益是亚高斯噪声。本文在较弱的噪声假设下，研究了具有h{ \underline e}avy-{ \underline t}支付的\underline{lin}随机{ \underline b}及其分布（LinBET）问题，其中对于某些$ε\in (0,1]$，分布具有有限阶$1+ε$矩.我们严格地分析了LinBET的遗憾下界为$Ω(T^{\frac{1}{1+ε}})$，这意味着2阶有限矩（即，有限方差）产生$Ω(\sqrt{T})$的界，其中$T$是玩强盗游戏的总回合数。所提供的下限还表明，国家的最先进的算法LinBET是远远不是最佳的。通过采用中值的手段与一个精心设计的分配的决定和截断的基础上的历史信息，我们开发了两种新的强盗算法，其中遗憾的上限匹配的下限多对数因子。据我们所知，我们是第一个解决LinBET最佳意义上的多项式阶$T$。我们提出的算法进行评估的基础上合成的数据集，并优于国家的最先进的结果。
2018-11-11 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
High dimensional stochastic linear contextual bandit with missing covariates
University of Michigan（密歇根大学）；Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近的作品在强盗问题采用套索收敛理论的顺序决策设置。即使在完全观测的背景下，也存在阻碍现有套索收敛理论应用的技术挑战：1）在条件次高斯噪声下证明限制特征值条件，以及2）解释背景变量与所选动作之间的依赖性。研究了随机线性bandit算法中协变量缺失对后悔的影响。我们的工作提供了一个高概率上限的遗憾所提出的算法在协变量采样概率方面，显示遗憾退化，由于错过了最多$ζ_{min}^2$，其中$ζ_{min}$是观察协变量的上下文向量的最小概率。我们说明了我们的算法的实际应用的试验设计收集基因表达数据的顺序选择类区分DNA探针。
2022-07-22 cs.LG stat.ML
A minimax and asymptotically optimal algorithm for stochastic bandits
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
本文提出了指数分布随机强盗模型中后悔最小化问题的kl-UCB ++算法。我们证明了它同时是渐近最优的（在Lai和Robbins的下界意义下）和极小极大最优的。这是第一个算法证明享有这两个属性在同一时间。这项工作因此合并了两个不同的研究路线与简单明了的证明。
2017-09-20 cs.LG math.ST stat.ML
