Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon（亚马逊）
个性化是许多在线体验的关键方面。特别是，内容排名通常是提供复杂个性化结果的关键组件。通常，应用监督学习排名方法，其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题，我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法，即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差，我们采用了基于位置的点击模型。最后，我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen（哥本哈根大学）；University of Southern California（南加州大学）
我们开发了第一个通用的半强盗算法，同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究，但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了（Zimmert & Seldin，2019）最近的工作，用于多臂强盗的特殊情况，但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明，该算法在不同的环境下确实表现出良好的一致性。最后，我们提供了一个初步的扩展，我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
在一个低秩线性强盗问题中，一个动作的回报（由一个大小为$d_1 \times d_2$的矩阵表示）是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中，当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔，改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置，得到一个算法，它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题，本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展，提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外，我们表明，现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego（加州大学圣地亚哥分校）；West Virginia University（西弗吉尼亚大学）
我们提出了一种新的修改标准的置信上限（UCB）方法的随机多臂强盗（MAB）问题，调整的置信界的基础上，它的距离到其他的一个给定的强盗。我们的UCB距离调谐（UCB-DT）制定，使改进的性能，通过防止MAB算法专注于非最佳的土匪，这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的，我们称之为“强盗距离”，该距离度量是可参数化的，因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明，增加性能的UCB-DT与许多现有的国家的最先进的方法，使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具，称为“勘探讨价还价点”，它提供了深入了解勘探和开发之间的权衡。我们认为，勘探讨价还价点提供了一个直观的角度来看，是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University（国立交通大学）；Texas A&M University（德克萨斯农工大学）
修改奖励偏置最大似然方法最初提出的自适应控制文献中，我们提出了新的学习算法，以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策，我们证明实现了订单最优，并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点，每次拉低计算时间的线性土匪，从而导致有利的遗憾，以及计算效率。
2020-10-08 cs.LG stat.ML
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）；ICREA（加泰罗尼亚高等研究院）；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种新的多臂土匪随机算法中的间隙估计策略，并将其与Seldin和Slivkins（2014）的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性，并消除了顺序为$Δe^{1/Δ^2}$的附加因子，其中$Δ$是问题实例的最小间隙。在对抗制中，后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
Dipartimento di Informatica, Università degli Studi di Milano（米兰大学信息科学系）；Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）
本文提出LowPopArt低秩矩阵估计方法及基于B(Q)的实验设计准则，并据此为一般臂集设计两种低秩线性赌博机算法，获得更优遗憾上界，突破了以往对臂集或探索分布的严格假设。
2024-06-08 cs.LG stat.ML
Residual Bootstrap Exploration for Stochastic Linear Bandit
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对随机线性强盗问题，提出了一种新的基于自举的在线算法。其核心思想是采用残差自助探索，通过对平均报酬估计的残差进行重新采样来估计下一步的报酬。我们的算法，随机线性强盗（\texttt{LinReBoot}）的剩余引导探索，估计其重新采样分布的线性奖励，并拉最高的奖励估计的手臂。特别是，我们贡献了一个理论框架，以揭开神秘的剩余引导为基础的探索机制在随机线性强盗问题。关键的见解是，自助探索的强度是基于在线学习模型和残差的重新采样分布之间的合作乐观。这样的观察使我们能够表明，建议\texttt{LinReBoot}安全的高概率$\tilde{O}(d \sqrt{n})$次线性遗憾在温和的条件下。我们的实验支持的\texttt{ReBoot}原则在线性强盗问题的各种配方容易推广，并显示显着的计算效率的\texttt{LinReBoot}。
2022-06-17 cs.LG stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University（哥伦比亚大学）；Morgan Stanley（摩根大通）
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响，证明LinTS和LinBUCB保持原始遗憾速率但常数增大，且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
Safe Linear Stochastic Bandits
Cornell University（康奈尔大学）
我们介绍了安全的线性随机强盗框架-线性随机强盗的推广-在每个阶段，学习者需要选择一个手臂与预期的奖励，不低于一个预定的（安全）阈值的高概率。我们假设学习者最初知道一个已知是安全的手臂，但不一定是最佳的。利用这一假设，我们引入了一种学习算法，该算法系统地将已知的安全武器与探索武器相结合，以随着时间的推移安全地扩展安全武器的集合，同时促进后续阶段的安全贪婪利用。除了确保满足的安全约束在每个阶段的发挥，所提出的算法表现出预期的遗憾，不超过$O(\sqrt{T}\log (T))$后，$T$阶段的发挥。
2019-11-21 cs.LG stat.ML
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中，它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策，虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Bilinear Bandits with Low-rank Structure
Boston University（波士顿大学）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们引入了具有低秩结构的双线性强盗问题，其中一个行动采取来自两个不同实体类型的一对手臂的形式，并且奖励是手臂的已知特征向量的双线性函数。问题中的未知数是定义奖励的$d_1$ × $d_2$矩阵$\mathbfΘ^*$，并且具有低秩$r \ll \min\{d_1,d_2\}$。确定具有这种低秩结构的$\mathbfΘ^*$在找到正确的探索-开发权衡方面提出了重大挑战。在这项工作中，我们提出了一个新的两阶段算法称为“探索子空间，然后细化”（ESTR）。第一阶段是显式子空间探索，而第二阶段是称为“几乎低维OFUL”（LowOFUL）的线性强盗算法，该算法通过正则化技术利用并进一步细化估计的子空间。我们证明了ESTR的后悔是$\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$，其中$\widetilde{\mathcal{O}}$隐藏对数因子，$T$是时间范围，这改进了$\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$的后悔。我们推测ESTR的遗憾界是不可改进的多对数因子，我们的初步实验表明，ESTR优于一个天真的线性强盗减少。
2019-06-09 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
Rotting bandits are not harder than stochastic ones
OvGU Magdeburg（马格德堡奥托·冯·格里克大学）；FAIR Paris（巴黎FAIR实验室）；Inria Lille（里尔法国国家信息与自动化研究所）
在随机多臂强盗中，假设每只手臂的奖励分布是平稳的。这一假设在实践中经常被违反（例如，在推荐系统中），其中每当选择时，臂的奖励可以改变，即，休息的强盗设置。在本文中，我们考虑非参数的腐烂的强盗设置，奖励只能减少。我们引入了扩展窗口平均滤波（FEWA）算法，该算法构建了增加窗口的移动平均值，以确定当再次拉动时更有可能返回高奖励的手臂。我们证明了，对于一个未知的地平线$T$，没有任何知识的$K$武器的减少行为，FEWA实现问题依赖的遗憾界的$\widetilde{\mathcal{O}}(\log{(KT)}),$和问题无关的$\widetilde{\mathcal{O}}(\sqrt{KT})$。我们的结果大大改进了Levine等人的算法。（2017），该算法遭受遗憾$\widetilde{\mathcal{O}}(K^{1/3}T^{2/3})$。FEWA还匹配随机强盗设置的已知界限，从而表明腐烂的强盗并不更难。最后，我们报告模拟确认FEWA的理论改进。
2020-05-09 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon（亚马逊）；Deepmind（深度思维）；Miami Herbert Business School, University of Miami（迈阿密大学迈阿密赫伯特商学院）；Krannert School of Management, Purdue University（普渡大学克兰纳特管理学院）
本文提出了随机低秩张量老虎机，用于解决多维在线决策问题，通过张量消元、张量周期贪婪和张量集成采样算法，在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
Bernoulli Rank-$1$ Bandits for Click Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Telecom ParisTech（巴黎高等电信学院）
用户点击搜索结果的概率取决于其相关性及其在结果页面上的位置。基于位置的模型通过将每个项目的吸引概率和每个位置的检查概率归因于每个项目来解释这种行为。要被点击，结果必须既有吸引力又经过检验。项目位置对被点击的概率因此形成秩- $1$矩阵的条目。我们提出了学习问题的伯努利秩- $1$土匪在每一步，学习代理选择一对行和列的武器，并收到产品的伯努利分布值作为奖励。这是随机秩- $1$强盗问题的一个特殊情况，在最近的工作中，提出了一种基于消除的算法Rank 1 Elim，并表明Rank 1 Elim的遗憾与“良性”实例的行数和列数呈线性关系。这些是平均行和列奖励$μ$的最小值远离零的情况。Rank 1 Elim的问题是，它无法与$μ\rightarrow 0$等直接的强盗策略竞争。在本文中，我们提出了Rank 1 ElimKL，简单地取代（粗）的置信区间的Rank 1 Elim的Kullback-Leibler（KL）分歧的基础上的置信区间，并与一个新的结果的帮助下，关于KL分歧的缩放，我们证明了这种变化，我们的算法将是有竞争力的，无论$μ$的值。使用合成数据的实验证实，在良性情况下，Rank 1 ElimKL的性能明显优于Rank 1 Elim，而使用来自真实数据的模型的实验证实，无论数据是否良性，这些改进都是显著的。
2017-03-19 cs.LG stat.ML
Efficient Generalized Low-Rank Tensor Contextual Bandits
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出广义低秩张量上下文赌博机模型及G-LowTESTR算法，通过探索低秩张量子空间将问题降维，并在理论和实验上证明其优于向量化与矩阵化方法。
2024-01-17 cs.LG stat.ML
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan（密歇根大学）
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下，我们提供了一个统一的后悔分析的亚威布尔和有界扰动时，奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2，也有一个匹配的下尾界，和所有有界的支持扰动，有足够的概率质量的极端支持。对于对抗设置，我们证明了严格的障碍，对两个自然的解决方案的方法，使用离散选择理论和极值理论的工具。我们的结果表明，最佳扰动，如果它存在，将是弗雷歇型。
2019-12-10 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Multi-Dueling Bandits and Their Application to Online Ranker Evaluation
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
新的排名算法正在不断开发和完善，需要开发有效的方法来评估这些排名。在线排名评估的重点是有效地确定的挑战，从隐式用户反馈，排名的有限集合的排名是最好的。在线排名评估可以通过决斗禁令来建模，决斗禁令是一种用于在成对比较的有限反馈下的在线学习的数学模型。排名对的比较是通过交错结果集和检查用户点击的文档来执行的。决斗强盗模型解决了在每次迭代中比较哪对排名的关键问题，从而为探索-利用权衡提供了解决方案。最近，已经开发了用于同时比较两个以上的排序器的方法。然而，在每次迭代中比较哪些排名的问题是开放的。我们解决这个问题，提出了一个推广的决斗土匪模型，使用同时比较的一个不受限制的排名。我们评估我们的算法上的合成数据和几个标准的大规模在线排名评估数据集。我们的实验结果表明，该算法产生的数量级的改善性能相比，国家的最先进的决斗强盗算法。
2016-08-22 cs.IR cs.LG stat.ML
Pure exploration in multi-armed bandits with low rank structure using oblivious sampler
Hokkaido University（北海道大学）；Kyushu University（九州大学）
本文研究纯探索问题中奖励序列的低秩结构，提出探索策略无法获取反馈的分离设置，通过引入奖励向量的核信息设计了高效算法，并给出了遗憾界与下界的理论证明。
2023-06-28 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Design of Experiments for Stochastic Contextual Linear Bandits
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Department of Computer Science（计算机科学系）
在随机线性上下文的强盗设置存在几个极大极小的探索过程与政策是反应的数据被收购。在实践中，部署这些算法可能会带来巨大的工程开销，特别是当数据集以分布式方式收集时，或者当需要人工参与来实现不同的策略时。在这种情况下，使用单个非反应策略进行探索是有益的。假设一些批处理上下文是可用的，我们设计了一个单一的随机策略来收集一个好的数据集，从中可以提取一个接近最优的策略。我们提出了一个理论分析，以及在合成和真实世界的数据集上的数值实验。
2021-07-22 cs.LG stat.ML
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA；ENS Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法，它建立了一个级联的离散化树的基础上通用链，以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数，也大大扩展了UCB策略的应用范围。此外，通用的遗憾界，然后专门为高斯过程索引的无限维空间，以及高斯过程的二次形式。下界也证明了高斯过程的情况下，评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
A Tight Lower Bound for Non-stochastic Multi-armed Bandits with Expert Advice
Kent State University（凯特州立大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；The Hebrew University（希伯来大学）
本文通过证明与已有上界匹配的下界，确定了带有专家建议的非随机多臂老虎机问题的极小化极大最优期望遗憾为 $Θ(\sqrt{T K \log(N/K)})$。
2025-10-31 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Stochastic Bandits with Linear Constraints
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们研究了一个受约束的上下文线性强盗设置，代理的目标是产生一系列的政策，其预期的累积奖励的过程中的$T$轮是最大的，每个有一个预期的成本低于一定的阈值$τ$。我们提出了一个置信上限算法，称为乐观悲观线性强盗（OPLB），并证明了$\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$界上的$T$轮遗憾，其中分母是之间的差异的约束阈值和成本的一个已知的可行的行动。我们进一步专门研究我们的结果，多武装匪徒，并提出了一个计算效率高的算法，这种设置。在$K$ -armed bandits中，我们证明了该算法的遗憾界$\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$，这是对我们通过简单地将多武器bandits转换为上下文线性bandits的实例并使用OPLB的遗憾界得到的遗憾界的$\sqrt{K}$改进.我们还证明了一个下界的问题研究的文件，并提供模拟来验证我们的理论结果。
2020-06-17 cs.LG stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind（深度思维）
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法，并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$，其中$n$是视界，$d$是维数，$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Stochastic Linear Bandits with Hidden Low Rank Structure
California Institute of Technology（加州理工学院）；University of California, Irvine（加州大学欧文分校）
高维表示通常具有较低维的底层结构。在许多决策制定过程中尤其如此。例如，当从深度神经网络生成动作的表示时，期望低秩结构是合理的，而像稀疏性这样的传统结构不再有效。子空间恢复方法，如主成分分析（PCA），可以发现潜在的低秩结构的特征空间，降低学习任务的复杂性。在这项工作中，我们提出了投影随机线性强盗（PSLB），高维随机线性强盗（SLB）的行动时，表示有一个底层的低维子空间结构的算法。PSLB部署基于PCA的投影迭代地找到SLB中的低秩结构。我们表明，部署投影方法，确保降维和结果在一个更严格的遗憾的上界，是在子空间的维数和它的属性，而不是周围空间的维数。我们将图像分类任务修改为SLB设置，并根据经验表明，当预先训练的DNN提供高维特征表示时，与最先进的算法相比，部署PSLB会显著减少遗憾并更快地收敛到准确的模型。
2019-01-28 cs.LG stat.ML
Tsallis-INF: An Optimal Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）
我们推导出一个算法，实现了最佳的（常数内）伪遗憾在敌对和随机多武装土匪没有事先知道的制度和时间范围。该算法是基于在线镜像下降（OMD）与Tsallis熵正则化功率$α=1/2$和减少方差损失估计。更一般地，我们定义了一个具有自约束的对抗机制，包括随机机制，随机约束对抗机制（Wei和Luo），以及具有对抗腐败的随机机制（Lykouris et al.）。作为特殊情况，并表明该算法实现对数遗憾保证在这个制度和所有的特殊情况下，同时与对抗性遗憾保证。该算法还实现了基于效用的决斗强盗设置的对抗性和随机最优性。我们提供了实证评估的算法表明，它显着优于UCB 1和EXP 3在随机环境中。我们还提供了对抗性环境的例子，其中UCB 1和汤普森采样表现出几乎线性的遗憾，而我们的算法只遭受对数遗憾。据我们所知，这是第一个证明汤普森抽样在对抗环境中的脆弱性的例子。最后，但并非最不重要的是，我们提出了一个一般的随机分析和一般的对抗性分析的OMD算法与Tsallis熵正则化$α\in[0,1]$和解释的原因为什么$α=1/2$最好的作品。
2022-03-02 cs.LG stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）；National Chiao Tung University（国立交通大学）
受自适应控制中的有偏最大似然估计方法的启发，我们提出了RBMLE --一种新的随机多臂强盗（SMAB）学习算法。对于广泛的SMAB，包括参数指数家庭以及非参数子高斯/指数家庭，我们表明，RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$，我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用，通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能，我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明，建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争，同时更计算效率和可扩展性相比，其中表现最好的。
2020-10-23 cs.LG stat.ML
Cascading Bandits: Learning to Rank in the Cascade Model
Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Yahoo Labs（雅虎实验室）；Technicolor Research（特艺集团研究院）
搜索引擎通常输出$K$网页的列表。用户检查这个列表，从第一个网页到最后一个，并选择第一个有吸引力的页面。这种用户行为模型被称为级联模型。在本文中，我们提出了级联土匪，级联模型的学习变体，其目标是确定$K$最有吸引力的项目。我们制定我们的问题作为一个随机组合部分监控问题。我们提出了两个算法来解决它，CascadeUCB 1和CascadeKL-UCB。我们还证明了这些算法的遗憾的间隙依赖的上界，并推导出一个下界的遗憾级联土匪。下限与CascadeKL-UCB的上限匹配，直到对数因子。我们在几个问题上用我们的算法进行实验。即使在我们的建模假设被违反的情况下，这些算法的表现也令人惊讶。
2015-05-18 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对在线强化学习中探索与利用的平衡难题，提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案，可证明在随机多臂老虎机中达到近最优遗憾，并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
The Impact of Batch Learning in Stochastic Bandits
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University in Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
我们考虑强盗问题的一个特殊情况，即成批强盗。出于推荐系统和电子商务平台的自然限制，我们假设一个学习代理在一定的时间内观察成批的响应。与以前的工作不同，我们考虑了一个更实际的批处理学习的批处理为中心的场景。我们提供了一个政策不可知的遗憾分析，并展示了上界和下界的候选政策的遗憾。我们的主要理论结果表明，批量学习的影响可以用在线行为来衡量。最后，我们通过实证实验证明了理论结果的一致性，并对最佳批量选择进行了反思。
2021-11-03 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
On Penalization in Stochastic Multi-armed Bandits
Baidu Research（百度研究院）；Cornell University（康奈尔大学）
我们研究了随机多臂强盗（MAB）问题的一个重要变种，其中考虑了惩罚。我们需要在总报酬和公平水平之间取得平衡，而不是直接最大化累积期望报酬。在本文中，我们提出了一些新的见解，在MAB和制定的惩罚框架，严格的惩罚遗憾可以很好地定义和更复杂的遗憾分析是可能的问题。在此框架下，我们提出了一个硬阈值类UCB算法，它具有许多优点，包括渐近公平性，近最优的遗憾，更好地权衡奖励和公平性。间隙依赖和间隙独立的遗憾界已经建立。多个有见地的评论，以说明我们的理论分析的合理性。大量的实验结果证实了理论和显示我们的方法优于其他现有的方法。
2022-11-15 cs.LG stat.ML
Stochastic bandits with arm-dependent delays
Otto-von-Guericke University of Magdeburg（马格德堡奥托·冯·格里克大学）；GoogleDeepMind（谷歌深度思维）
由于其在应用中的相关性，最近的重要工作一直致力于随机延迟强盗设置。然而，现有算法的适用性受到这样一个事实的限制，即强的假设往往是对延迟分布，如充分的可观测性，限制性的形状约束，或均匀的武器。在这项工作中，我们大大削弱了它们，只假设延迟的尾部有一个界限。特别是，我们涵盖了重要的情况下，不同的武器的延迟分布，以及延迟的情况下，重尾。为了解决这些困难，我们提出了一个简单而有效的基于UCB的算法，称为PatientBandits。我们提供了问题依赖和问题独立的边界上的遗憾，以及性能下界。
2020-06-18 cs.LG stat.ML
