Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University（南京大学）
自动机器学习（AutoML）任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中，由于超参数的很多维度与所选算法无关，不仅空间庞大而且冗余。在本文中，我们提出了一个级联的方法，算法选择和超参数优化。在超参数优化的层次上采用搜索过程，而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法，而不是平均性能，因此，我们提出了极值区域置信上限（ER-UCB）策略，该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$，它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
A Map of Bandits for E-commerce
丰富的Bandit文献不仅提供了多样化的算法工具箱，而且使从业者很难找到解决手头问题的正确解决方案。关于Bandits的典型教科书侧重于设计和分析算法，对应用程序的调查通常会列出单个应用程序。虽然这些都是有价值的资源，但在将应用程序映射到适当的Bandit算法方面存在差距。在本文中，我们的目标是通过Bandits的结构化地图来缩小这一差距，以帮助从业者找到相关和实用的Bandit算法。我们没有提供全面的概述，而是专注于与奖励，动作和功能相关的少数关键决策点，这些决策点通常会影响Bandit算法在实践中的选择。
2021-07-01 cs.LG
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
A Survey on Contextual Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
在这个调查中，我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
2016-02-01 cs.LG
QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits
Imperial College London（伦敦帝国学院）
针对协作式随机$k$-臂老虎机问题，提出可将任意单智能体算法扩展至多智能体场景的黑盒归约方法QuACK，证明其遗憾保证在次高斯环境下紧且通用，实验性能优于或持平专用多智能体算法。
2024-10-31 cs.LG
Reducing Dueling Bandits to Cardinal Bandits
Technion（以色列理工学院）；Yahoo! Research（雅虎研究院）；Cornell（康奈尔大学）
我们提出的算法减少决斗强盗问题的常规（随机）多武装强盗问题。决斗强盗问题是一个在线学习模型，具有形式为“A比B更受欢迎”的顺序反馈（而不是像“A的值为2.5”这样的基数反馈），使其在从隐式用户反馈以及显示和陈述的偏好中学习时具有广泛的适用性。与现有的算法决斗强盗问题，我们的减少-命名为$\Doubler$，$\MultiSbm$和$\DoubleSbm$ -提供了一个通用的模式，用于翻译的广泛机构的已知结果，传统的多臂强盗算法决斗强盗设置。对于$\Doubler$和$\MultiSbm$，我们证明了遗憾的上界在有限和无限的设置，并推测性能的$\DoubleSbm$经验优于其他两个以及以前的算法在我们的实验。此外，我们提供了第一个几乎最优的遗憾界的二阶条款，如武器的价值之间的差异。
2014-05-14 cs.LG
On reducing the order of arm-passes bandit streaming algorithms under memory bottleneck
IIT-Bombay（印度理工学院孟买分校）
在这项工作中，我们探讨了多臂强盗流模型，特别是在该模型面临资源瓶颈的情况下。我们建立在现有的算法条件有限的手臂内存在任何情况下的时间。具体来说，我们提高了流通过它所采取的强盗算法引起$O(\sqrt{T\log(T)})$遗憾的对数因子，并提供了一些初始条件，以引起类似的顺序遗憾的2-通过算法。
2021-11-30 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
Improved Algorithms for Nash Welfare in Linear Bandits
Indian Institute of Technology Kharagpur（印度理工学院克哈格普尔学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔学院）
针对线性赌博机中纳什遗憾的次优性，提出新分析工具实现阶最优界，并引入p-均值遗憾统一框架，设计元算法FairLinBandit，在真实数据集上优于现有方法。
2026-06-23 cs.LG
Multi-dueling Bandits with Dependent Arms
Caltech（加州理工学院）
决斗强盗问题是一个在线学习框架，用于从成对偏好反馈中学习，特别适合于建模引起主观或隐式人类反馈的设置。本文研究了具有依赖武器的多个决斗土匪问题，通过同时决斗多个武器以及建模武器之间的依赖关系来扩展原始决斗土匪设置。这些扩展捕获了许多现实世界应用中的关键特征，并允许有机会开发比原始设置更有效的算法。我们提出了\selfsparring算法，它减少了多决斗土匪问题，可以使用随机土匪算法，如汤普森采样，解决了传统的土匪设置，并可以自然地使用高斯过程的依赖模型。我们提出了一个多决斗设置的无遗憾分析，并证明了我们的算法的有效性，经验上广泛的模拟设置。
2017-04-29 cs.LG
Quantum Lipschitz Bandits
本文提出量子Lipschitz老虎机算法，利用量子计算优势改进了连续动作空间和非线性奖励函数的老虎机问题，提升了遗憾界性能。
2025-11-21 cs.LG
A Relative Exponential Weighing Algorithm for Adversarial Utility-based Dueling Bandits
Orange-labs（Orange实验室）
我们研究的K-臂决斗土匪问题，这是一个经典的多臂土匪（MAB）的问题，其中学习者只收到有关选定的武器对的相对反馈的变化。我们提出了一个新的算法称为相对指数权重算法的探索和利用（REX 3）来处理这个问题的对抗性效用为基础的配方。该算法是指数权重探索和利用算法（EXP 3）的非平凡扩展。证明了该算法的有限时间期望后悔上界为O（sqrt（Kln（K）T））阶，一般下界为Ω（sqrt（KT））阶.最后，我们提供了实验结果，使用实际数据从信息检索应用。
2016-01-15 cs.LG
Discrepancy-Based Algorithms for Non-Stationary Rested Bandits
我们研究的多臂强盗问题的奖励是实现一般的非平稳随机过程，一个设置，概括了许多现有的工作和分析。特别是，我们提出了一个理论分析，并得出遗憾的保证休息的土匪，其中每个手臂的奖励分配的变化，只有当我们拉的手臂。值得注意的是，我们的遗憾界是对数轮数在几个自然条件下。我们引入了一个新的算法，基于经典的UCB思想结合加权差异的概念，一个有用的工具，用于测量随机过程的非平稳性。我们发现，差异的概念可以用来设计非常一般的算法和一个统一的框架，分析多臂休息土匪问题的非平稳奖励。特别是，我们表明，我们可以恢复许多具体的情况下，在文献中研究的非平稳奖励的强盗问题的遗憾保证。我们还提供了实验证明，我们的算法可以享受在实践中的显着改善相比，标准的基准。
2020-09-03 cs.LG
Misspecified Linear Bandits
University of California, Berkeley（加州大学伯克利分校）；Indian Institute of Science（印度科学院）
研究了误定线性随机多臂强盗问题的在线学习问题。最先进的线性强盗算法的后悔保证，如面对不确定性的乐观线性强盗（OFUL），在假设武器预期奖励在其特征上是完全线性的情况下成立。然而，感兴趣的是调查潜在的误指定的影响，在线性强盗模型中，预期的回报被扰动远离由武器功能确定的线性子空间。虽然OFUL最近已被证明是鲁棒的相对较小的偏离线性，我们表明，任何线性强盗算法，享有最佳的遗憾性能在完美的线性设置（例如，OFUL）在线性模型的稀疏加性扰动下必须遭受线性后悔。为了克服这个负面的结果，我们定义了一个自然类的土匪模型，其特征在于从线性的非稀疏偏差。我们认为，OFUL算法可能无法实现次线性的遗憾，即使在模型，有非稀疏deviation.We最后开发了一种新的土匪算法，包括一个假设检验线性其次是决定使用OFUL或上置信限（UCB）算法。对于完全线性的bandit模型，该算法可证明具有OFUL良好的后悔性能，而对于满足非稀疏偏差性质的错误指定模型，该算法避免了线性后悔现象，回归到UCB的次线性后悔尺度.数值实验合成数据，并从公共雅虎推荐数据！学习排序挑战数据集，经验支持我们的发现。
2017-04-23 cs.LG
An empirical evaluation of active inference in multi-armed bandits
Technische Universität Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI), Technische Universität Dresden（德累斯顿工业大学触觉互联网与人机闭环研究中心）；Max Planck UCL Centre for Computational Psychiatry and Ageing Research, University College London（伦敦大学学院马克斯·普朗克计算精神病学与衰老研究中心）；Secondmind；University College London（伦敦大学学院）
在不确定性条件下，顺序决策的一个关键特征是需要在利用（根据现有知识选择最佳行动）和探索（获得有关其他行动价值的信息）之间取得平衡。多臂强盗问题，一个经典的任务，捕捉这种权衡，作为一个车辆在机器学习开发强盗算法，被证明是有用的，在许多工业应用。主动推理框架是最近在神经科学中开发的一种用于理解人类和动物行为的顺序决策方法，其特点是其复杂的策略，用于解决探索-开发权衡。这使得主动推理成为已经建立的强盗算法的令人兴奋的替代方案。在这里，我们推导出一个有效的和可扩展的近似主动推理算法，并比较它的两个国家的最先进的强盗算法：贝叶斯置信上限和乐观的汤普森采样。这种比较是在两种类型的强盗问题：一个固定的和动态的切换强盗。我们的经验评估表明，主动推理算法不会产生有效的长期行为在固定土匪。然而，在更具有挑战性的切换强盗问题的主动推理性能大大优于两个国家的最先进的强盗算法。这些结果为理论和应用机器学习的进一步研究开辟了令人兴奋的场所，并为主动推理作为研究人类和动物行为的一般框架提供了额外的可信度。
2021-08-04 cs.LG
A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
University of Tokyo（东京大学）
针对动作集随臂数多项式增长的R-CPE-MAB问题，提出CombGapE快速算法，实现匹配下界的样本复杂度，并在合成与真实数据集上显著优于现有方法。
2025-01-09 cs.LG
Nearly Optimal Algorithms for Adversarial Kernelized Bandits
LY Corporation（LY公司）
针对对抗性环境下的核化赌博机问题，提出指数权重算法并证明其达到近最优遗憾界，同时给出下界并利用Nyström近似实现高效计算。
2026-10-20 cs.LG
Combinatorial Semi-Bandits with Knapsacks
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research NYC（微软研究院纽约市）
我们统一了两个突出的多武装土匪工作线：背包土匪（BwK）和组合半土匪。前者涉及算法消耗的有限“资源”，例如，动态定价中的有限供给。后者允许大量的行动，但假设组合结构和额外的反馈，使问题易于处理。我们定义了一个通用的推广，用几个有启发性的例子来支持它，并设计了一个算法。我们的遗憾界与BwK和组合半强盗的遗憾界相当。
2018-02-20 cs.LG
Jointly Efficient and Optimal Algorithms for Logistic Bandits
Criteo AI Lab（Criteo 人工智能实验室）；University of Arizona（亚利桑那大学）
最近，由于其理论和实践相结合的相关性，物流强盗受到了仔细的审查。这项研究工作提供了统计上有效的算法，改善了以前的策略的遗憾指数大的因素。然而，这样的算法是惊人的昂贵，因为它们需要在每一轮$Ω(t)$操作。另一方面，另一条研究路线专注于计算效率（每轮$\mathcal{O}(1)$成本），但代价是放弃了上述指数级的改进。不幸的是，获得两个世界的最佳结果并不是将两种方法结合起来的问题。相反，我们为物流强盗引入了一个新的学习过程。它产生的信心集，足够的统计数据可以很容易地保持在线，而不牺牲统计的紧密性。结合有效的规划机制，我们设计了快速算法，其遗憾性能仍然符合Abeille等人的问题相关下限。据我们所知，这些是第一个同时享有统计和计算效率的Logistic Bandit算法。
2022-01-19 cs.LG
Random Forest for the Contextual Bandit Problem - extended version
Orange Labs（Orange实验室）
为了解决上下文强盗问题，我们提出了一个在线的随机森林算法。所提出的算法的分析是基于样本的复杂性需要找到最佳的决策树桩。然后，决策树被组装成一个随机的决策树集合，即Bandit Forest。我们表明，该算法是最佳的对数因子。样本复杂度对上下文变量数量的依赖性是对数的。该算法的计算成本相对于时间范围是线性的。这些分析结果允许所提出的算法在实际应用中是有效的，其中要处理的事件的数量是巨大的，并且其中我们期望从大集合中选择的一些上下文变量与奖励具有潜在的非线性依赖关系。在实验中做了说明的理论分析，强盗森林获得了可喜的结果相比，国家的最先进的算法。
2016-09-15 cs.LG
Dueling Bandits: From Two-dueling to Multi-dueling
Tsinghua University（清华大学）
我们研究了一个一般的多决斗强盗问题，代理人同时比较多个选项，并旨在尽量减少由于选择次优武器的遗憾。这种设置推广了传统的两个决斗的强盗问题，并发现许多现实世界中的应用涉及多个选项的主观反馈。我们从两个决斗的强盗设置，并提出了两个有效的算法，DoublerBAI和MultiSBM反馈。DoublerBAI提供了一个通用的模式翻译的最佳手臂识别算法的决斗强盗问题的已知结果，并实现了$O(\ln T)$的遗憾界。MultiSBM反馈不仅具有最佳的$O(\ln T)$遗憾，而且与基准测试结果相比，常数因子几乎减少了一半。然后，我们考虑了一般的多决斗的情况下，开发了一个有效的算法MultiRUCB。使用一种新的有限时间遗憾分析一般多决斗强盗问题，我们表明，MultiRUCB也实现了$O(\ln T)$遗憾界和界收紧的能力的比较集的增加。基于合成和真实世界的数据集，我们的经验表明，我们的算法优于现有的算法。
2022-11-16 cs.LG
Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia（弗吉尼亚大学）
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增，例如，在联邦学习中，如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中，我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架，异步模型更新和通信的同构客户端和异构客户端的集合，分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析，并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
Nearest Neighbour with Bandit Feedback
The Alan Turing Institute（阿兰·图灵研究所）
本研究将最近邻规则适配到上下文老虎机问题，提出的算法可处理完全对抗性设置，结合快速近邻搜索数据结构后具备高效的运行时间与空间复杂度，给出通用遗憾界并分析了随机场景下的表现，还可应用于在线分类问题。
2024-03-07 cs.LG
Top-$k$ eXtreme Contextual Bandits with Arm Hierarchy
Google Research（谷歌研究院）；Amazon（亚马逊）；MIT（麻省理工学院）；Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
现代应用程序，如在线广告和推荐系统的动机，我们研究的顶部- $k$极端的上下文土匪问题，武器的总数可以是巨大的，学习者被允许选择$k$武器和观察所有或部分的奖励所选择的武器。我们首先提出了一个算法的非极端可实现的设置，利用反向间隙加权策略选择多个武器。我们表明，我们的算法有一个遗憾的保证$O(k\sqrt{(A-k+1)T \log (|\mathcal{F}|T)})$，其中$A$是武器的总数和$\mathcal{F}$是类包含回归函数，而只需要$\tilde{O}(A)$计算每个时间步。在极端的设置，其中的武器的总数可以在数百万，我们提出了一个实际动机的手臂层次模型，诱导一定的结构，平均奖励，以确保统计和计算效率。分层结构允许每个上下文的相关臂的数量呈指数级减少，从而导致$O(k\sqrt{(\log A-k+1)T \log (|\mathcal{F}|T)})$的遗憾保证。最后，我们实现了我们的算法使用分层线性函数类，并表现出优越的性能，相对于著名的基准模拟强盗反馈实验，使用极端的多标签分类数据集。在一个拥有300万条手臂的数据集上，我们的缩减方案的平均推理时间仅为7.9毫秒，这是一个100倍的改进。
2021-02-15 cs.AI cs.LG stat.ML
Data-Driven Threshold Machine: Scan Statistics, Change-Point Detection, and Extreme Bandits
Georgia Tech（佐治亚理工学院）
我们提出了一种新的分布免费的方法，数据驱动的阈值机（DTM），在许多学习任务的核心的一个基本问题：选择一个阈值为一个给定的预先指定的水平，边界的最大值（可能依赖，但平稳）随机序列的尾部概率。我们不假设数据分布，而是依赖于极值的渐近分布，并减少了问题的极值分布和极值指数的三个参数估计。我们通过估计极值索引来特别关注数据依赖性，因为在许多设置中，例如扫描统计，变点检测和极端强盗，其中统计序列中的依赖性可能很重要。我们的DTM的主要特点还包括鲁棒性和计算效率，它只需要一个样本路径，以形成一个可靠的估计阈值，相比之下，蒙特卡洛采样方法，需要绘制大量的样本路径。我们证明了良好的性能DTM通过数值例子在各种相关的设置。
2016-10-14 cs.LG math.ST stat.ML
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan（密歇根大学）
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下，我们提供了一个统一的后悔分析的亚威布尔和有界扰动时，奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2，也有一个匹配的下尾界，和所有有界的支持扰动，有足够的概率质量的极端支持。对于对抗设置，我们证明了严格的障碍，对两个自然的解决方案的方法，使用离散选择理论和极值理论的工具。我们的结果表明，最佳扰动，如果它存在，将是弗雷歇型。
2019-12-10 cs.LG stat.ML
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute（艾伦·图灵研究所）
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题，提出分层最近邻算法，可在计算遗憾项时保留任意上下文集，且兼具高计算效率。
2023-12-14 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Algorithms for multi-armed bandit problems
McGill University（麦吉尔大学）
虽然许多算法的多臂强盗问题是很好地理解理论，其有效性的经验确认是普遍缺乏。本文提出了一个彻底的实证研究最流行的多臂强盗算法。从我们的研究结果中可以得出三个重要的结论。首先，简单的算法，如ε-greedy和Boltzmann exploration，在大多数情况下都比理论上合理的算法好得多。其次，大多数算法的性能随强盗问题的参数变化而变化。我们的研究确定了每个算法的设置，它表现良好，和设置，它表现不佳。第三，算法的相对性能只受强盗武器的数量和奖励的方差的影响。这一发现可能会指导后续的经验评估的设计。在本文的第二部分中，我们将注意力转向了Bandit算法应用的一个重要领域：临床试验。虽然临床试验的设计一直是激励多臂土匪研究的主要实际问题之一，但土匪算法从未被评估为潜在的治疗分配策略。使用数据从一个真正的研究，我们模拟的结果，2001-2002年的临床试验会有，如果强盗算法已被用于分配患者的治疗。我们发现，适应性试验将成功治疗至少50%以上的患者，同时显着减少不良反应的数量和增加患者的保留。在试验结束时，仍然可以以高水平的统计置信度确定最佳治疗。我们的研究结果表明，强盗算法是有吸引力的替代目前的自适应治疗分配策略。
2014-02-25 cs.AI cs.LG
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Approximation Theory Based Methods for RKHS Bandits
Fujifilm（富士胶片）
RKHS强盗问题（也称为核化多臂强盗问题）是一个带噪声反馈的非线性函数的在线优化问题。虽然这个问题已经得到了广泛的研究，有一些问题相比，研究良好的线性强盗的情况下，不令人满意的结果。具体来说，对抗性RKHS强盗问题没有通用算法。此外，现有算法的高计算复杂性阻碍了实际应用。我们解决这些问题，考虑一种新的融合的近似理论和错误指定的线性强盗问题。使用近似方法，我们提出了有效的算法随机RKHS土匪问题和第一个一般算法的对抗RKHS土匪问题。此外，我们的经验表明，我们提出的方法之一，具有可比的累积遗憾IGP-UCB和它的运行时间要短得多。
2021-07-26 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法，这个问题的遗憾是近最佳的，大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的，并且可以容忍大量的腐败，几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Simple Algorithms for Dueling Bandits
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了简单的算法决斗强盗。我们证明了算法的遗憾界的时间范围T的顺序O（T^rho），1/2 <= rho <= 3/4，重要的是不依赖于任何偏好之间的差距行动，德尔塔。决斗强盗是多臂强盗问题的重要扩展，其中算法必须一次选择两个动作，并且只接收决斗结果的二进制反馈。这类似于评分者只能提供是/否或更好/更差类型回答的比较。我们将我们的简单算法与当前最先进的决斗强盗，ISS和ESTA进行比较，讨论复杂性和遗憾上限，并对合成数据进行实验，证明其遗憾性能，在某些情况下超过了最先进的。
2019-06-18 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
A Simple Unified Framework for High Dimensional Bandit Problems
Purdue University（普渡大学）
具有低维结构的随机高维强盗问题在不同的应用中是有用的，例如在线广告和药物发现。在这项工作中，我们提出了一个简单的统一算法，这样的问题，并提出了一个通用的分析框架，我们的算法的遗憾上限。我们表明，在一些温和的统一假设下，我们的算法可以适用于不同的高维强盗问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在LASSO强盗中实现了可比较的遗憾界，以及在低秩矩阵强盗，组稀疏矩阵强盗和一个新的问题：多智能体LASSO强盗中实现了新的界。
2022-06-19 cs.LG stat.ML
Risk-Aware Algorithms for Combinatorial Semi-Bandits
Indian Institute of Science（印度科学理工学院）
本文研究了半强盗反馈下的随机组合多臂强盗问题。虽然已经做了大量的工作，优化线性以及一些一般的奖励函数的预期奖励的算法，我们研究的问题，其中的目标是风险意识的一个变体。更具体地说，我们考虑的问题，最大化的条件风险价值（CVaR），风险度量，只考虑最坏情况下的回报。我们提出了新的算法，最大限度地提高CVaR的奖励从超级武器的组合强盗高斯和有界的手臂奖励的两种情况下。我们进一步分析这些算法，并提供遗憾的界限。我们相信，我们的研究结果提供了第一个理论见解组合半强盗问题的风险意识的情况下。
2021-12-02 cs.AI cs.LG
Bandit algorithms to emulate human decision making using probabilistic distortions
ABInBev（百威英博）；IIT Madras（印度理工学院马德拉斯分校）；IISc（印度科学理工学院）；University of Maryland（马里兰大学）
本文针对人类决策中的概率失真现象，在K臂和线性赌博机中提出失真感知算法，并证明其在遗憾最小化和最佳臂识别任务中具有阶最优性，最后通过交通路由仿真验证其优势。
2023-10-31 cs.LG stat.ML
Thompson Sampling Algorithms for Cascading Bandits
National University of Singapore（新加坡国立大学）
由于在线推荐系统迫切需要高效优化，我们重新审视了Kveton等人提出的级联强盗模型。虽然汤普森采样（TS）算法已被证明是经验上优于上置信界（UCB）算法级联土匪，理论保证只知道后者。在本文中，我们首先提供了一个与问题相关的关于具有Beta-Bernoulli更新的TS算法的遗憾的上界;这个上界比Huyuk和Tekin（2019）在更一般的设置下最近的推导更紧。接下来，我们设计并分析了另一种具有高斯更新的TS算法TS-Cascade。TS-级联实现了国家的最先进的遗憾势必级联土匪。作为补充，我们考虑了级联强盗模型的线性推广，它允许在大型级联强盗问题实例中进行有效的学习。我们介绍并分析了TS算法，它享有的遗憾界，依赖于线性模型的维数，而不是项目的数量。最后，通过使用信息理论技术和明智地构建级联强盗的例子，我们得到了一个几乎匹配的遗憾下界的标准模型。本文首次建立了部分反馈随机组合强盗问题TS算法的理论保证。数值实验表明，所提出的TS算法相比现有的基于UCB的优越性。
2021-05-16 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen（哥本哈根大学）
我们推导出Zimmert和Seldin（2021）的Tsallis-INF算法的改进遗憾界。我们表明，在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界，其中$T$是时间范围，$K$是武器的数量，$Δ_i$是次优差距，$i^*$是最好的手臂，$C$是腐败的幅度，和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪，随机约束对抗土匪，随机土匪与对抗腐败的特殊情况。此外，我们提供了一个一般性的分析，它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
