Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
What You See May Not Be What You Get: UCB Bandit Algorithms Robust to ε-Contamination
University of Michigan（密歇根大学）
受强盗算法在教育中应用的启发，我们考虑了一个带有$\varepsilon$ -污染报酬的随机多臂强盗问题。我们允许对手在充分了解过去和未来的情况下给予任意的无限污染奖励。我们施加的约束，对于每一次$t$的比例污染的奖励的任何行动是小于或等于$\varepsilon$。在$\varepsilon$ -污染背景下，我们得到了两个鲁棒均值估计的集中不等式。我们定义了$\varepsilon$污染的随机强盗问题，并使用我们的鲁棒均值估计给出了一个强大的置信上限（UCB）算法，crUCB的两个变种。使用仅从潜在随机奖励中获得的后悔，crUCB的两种变体都实现了足够小的污染比例的$\mathcal{O} (\sqrt{KT\log T})$后悔。我们的模拟假设小的视野，反映了新探索的土匪在教育的设置。我们表明，在某些对抗制度crUCB不仅优于随机（UCB 1）和对抗（EXP 3）土匪设计的算法，但也有“两全其美”的保证（EXP 3 ++和TsallisInf），即使我们的污染奖励的比例约束被打破。
2020-06-17 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
本文提出了一种新的置信上界（UCB）过程中确定的最大平均值在一个多臂强盗游戏在固定的信心设置使用少量的总样本。该程序不能改进的意义上说，所需的样本数，以确定最佳臂是在一个恒定的因素的下限的基础上的法律的迭代对数（LIL）。受LIL的启发，我们构造了我们的置信区间，以明确说明算法的无限时间范围。此外，通过使用一个新的停止时间的算法，我们避免了工会绑定的武器，已观察到在其他UCB型算法。我们证明了该算法是最佳的常数，并通过模拟表明，它提供了优越的性能相对于国家的最先进的。
2013-12-27 cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Variance-Aware Linear UCB with Deep Representation for Neural Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出方差感知的Neural-$σ^2$-LinearUCB算法，利用奖励噪声方差上界提升UCB不确定性量化质量，在理论和实验上均取得优于现有神经UCB方法的遗憾性能。
2025-03-11 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出老虎机UCB策略的统一理论，以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件，证明MaxSearch的阶最优性，还提出PIUCB算法并验证其性能，为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
Bounded Regret for Finitely Parameterized Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）
我们考虑的问题，参数化的多武装土匪的模型的基础随机环境可以根据一个共同的未知参数。真实参数对于学习代理是未知的。然而，可能的参数集是有限的，是先验已知的。我们提出了一种算法，这是简单和易于实现，我们称之为参数化的上界置信度（FP-UCB）算法，它使用的基本参数集的信息更快的学习。特别是，我们证明了FP-UCB算法实现了一些结构条件下的基本参数集的有界遗憾。我们还表明，如果基本参数集不满足必要的结构条件，FP-UCB算法实现了对数遗憾，但与标准UCB算法相比，具有较小的前一常数。我们还通过大量的数值模拟验证了FP-UCB算法的优越性能。
2020-11-07 cs.LG stat.ML
Data-Driven Upper Confidence Bounds with Near-Optimal Regret for Heavy-Tailed Bandits
Institute for Computer Science and Control (SZTAKI)（计算机科学与控制研究所（SZTAKI））；Hungarian Research Network (HUN-REN)（匈牙利研究网络（HUN-REN））
本文针对重尾对称奖励分布提出无分布、无参数的数据驱动RMM-UCB算法，通过结合单侧重采样中位数均值方法与UCB，在不依赖矩信息的情况下实现近最优遗憾界。
2024-06-09 cs.LG stat.ML
Conformal-Style Quantile Analyses for Stochastic Bandits
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出ACP-UCB1算法，通过适应性符合估计和UCB类型乐观奖励bonus，解决随机老虎机中上尾性能优化问题，实现对数上分位数遗憾。
2026-05-08 cs.LG stat.ML
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Multinomial Logit Bandit with Low Switching Cost
Tsinghua University（清华大学）；Northwestern University（西北大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究多项式logit强盗有限的适应性，算法改变他们的探索行动尽可能不频繁地实现几乎最优的极大极小遗憾。我们提出了两个自适应措施：分类切换成本和更细粒度的项目切换成本。我们提出了一个随时算法（AT-DUCB）与$O(N \log T)$分类开关，几乎匹配的下限$Ω(\frac{N \log T}{ \log \log T})$。在固定水平设置，我们的算法FH-DUCB招致$O(N \log \log T)$分类开关，匹配的渐近下限。我们还提出了具有项目转换成本$O(N \log^2 T)$的ESUCB算法。
2020-07-09 cs.LG stat.ML
Adaptive KL-UCB based Bandit Algorithms for Markovian and i.i.d. Settings
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在基于后悔的多臂强盗（MAB）问题的表述中，除了极少数情况外，大部分文献都集中在带i.i.d.的武器上。奖励本文考虑了MAB问题的后悔保证问题，其中每个臂的回报形成一个可能不属于单参数指数族的马尔可夫链。在这样的问题中实现对数遗憾并不困难：标准Kullback-Leibler上置信限（KL-UCB）的变体可以完成这项工作。然而，从这样的分析获得的常数是穷人的以下原因：i.i.d.报酬是马尔可夫报酬的一种特殊情况，很难设计出一种算法，该算法与底层模型是真正的马尔可夫模型还是独立同分布模型无关。为了克服这个问题，我们引入了一种新的算法，该算法可以识别每个手臂的奖励是否是真正的马尔可夫或i.i.d.。使用基于总变异距离的测试。然后，当我们的算法确定手臂奖励是马尔可夫的时，我们的算法从使用标准KL-UCB切换到使用专门版本的KL-UCB，从而导致两个i.i.d.和马尔可夫模型
2022-10-08 cs.LG stat.ML
A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms
Columbia University（哥伦比亚大学）
经典（随机）多臂强盗（MAB）问题中复杂性的关键驱动因素之一是顶部两个臂的平均回报之间的差异，也称为实例间隙。著名的置信上限（UCB）策略是最简单的基于乐观主义的MAB算法之一，它自然地适应了这个差距：对于游戏n的水平，它在具有“大”差距的情况下实现了最优O（log n）的遗憾，并且当差距可以任意“小”时，它实现了接近最优O（\sqrt{n log n}）的极大极小遗憾。“本文提供了关于UCB的臂采样行为的新结果，导致了几个重要的见解。其中，它表明，手臂采样率下UCB是渐近确定的，无论问题的复杂性。这一发现为UCB的O（\sqrt{n log n}）极大极小后悔性提供了新的精确渐近性和新的证明.此外，本文还提供了第一个完整的过程级表征的MAB问题下UCB在传统的扩散缩放。除此之外，本文采用的“小”差距最坏情况的镜头也揭示了深刻的区别之间的行为UCB和汤普森抽样，如“不完全学习”现象的特点，后者。
2021-10-26 cs.LG stat.ML
A High Performance, Low Complexity Algorithm for Multi-Player Bandits Without Collision Sensing Information
CentraleSupelec（中央高等电力学院）；L2S（信号与系统实验室）
受认知无线电网络应用的启发，我们考虑了分散的多人多臂强盗问题，没有碰撞，也没有感知信息。我们提出了Randomized Selfish KL-UCB，这是一种计算复杂性非常低的算法，其灵感来自Selfish KL-UCB算法，该算法已被放弃，因为它在某些情况下可证明表现次优。我们对随机自私的KL-UCB进行了大量的数值实验，结果表明它在几乎所有环境中的性能都远远优于最先进的算法，有时甚至是几个数量级，而且不需要最先进的算法所需的额外知识。我们还强调了这种算法的潜力，更现实的动态设置，并支持我们的要求与进一步的实验。我们相信，低复杂度和高性能的随机自私KL-UCB算法，使其最适合在实际系统中的已知算法。
2021-02-19 cs.LG stat.ML
From Theory to Practice with RAVEN-UCB: Addressing Non-Stationarity in Multi-Armed Bandits through Variance Adaptation
School of Business, Central South University（中南大学商学院）；School of Finance and Statistics, Hunan University（湖南大学金融与统计学院）；Wisdom Lake Academy of Pharmacy, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学智慧湖药学院）
本文提出 RAVEN-UCB 算法，通过方差驱动探索、自适应控制和常数时间递归更新三项创新，在非平稳多臂老虎机问题中实现比 UCB1 和 UCB-V 更紧的遗憾界，并在多种非平稳场景实验中验证了其理论与实际鲁棒性。
2025-06-03 cs.LG stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Diversified Multinomial Logit Contextual Bandits
Seoul National University（首尔国立大学）
研究针对现有上下文多项式逻辑回归博弈忽略品类内多样性、次模/组合博弈缺乏结构化选择概率的问题，提出多样化多项式逻辑回归（DMNL）上下文博弈及白盒UCB算法OFU-DMNL，给出遗憾界，实验证明其有收益且运行高效。
2026-09-29 cs.LG stat.ML
Regret Analysis of Bandit Problems with Causal Background Knowledge
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们研究如何学习最佳的干预措施，顺序给定的因果信息表示为因果图以及相关的条件分布。因果建模在现实世界的问题中很有用，比如在线广告，其中复杂的因果机制是干预和结果之间关系的基础。我们提出了两个算法，因果置信上限（C-UCB）和因果汤普森采样（C-TS），享受改善的累积遗憾界相比，不使用因果信息的算法。因此，我们解决了一个开放的问题所提出的\cite{lattimore2016causal}。此外，我们扩展C-UCB和C-TS的线性强盗设置，并提出因果线性UCB（CL-UCB）和因果线性TS（CL-TS）算法。这些算法享有的累积遗憾界，只有规模的特征尺寸。我们的实验显示了使用因果信息的好处。例如，我们观察到，即使有几百次迭代，因果算法的遗憾是标准算法的三分之一。我们还表明，在某些因果结构下，我们的算法比标准的强盗算法的规模更好的干预措施的数量增加。
2020-06-10 cs.LG stat.ML
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University（斯坦福大学）
本文研究了多臂情形下的贝叶斯多臂老虎机问题，发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索，在理论和经验上均优于SS-UCB，能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
Zeroth Order Non-convex optimization with Dueling-Choice Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一种新的零阶非凸优化设置，其中除了查询给定点处的函数值之外，我们还可以对两个点进行决斗，并获得具有较大函数值的点。我们将此设置称为使用决斗选择强盗的优化，因为直接查询和决斗都可用于优化。我们给出了基于GP-UCB（Srinivas et al.，2009），其中，我们不是直接查询具有最大置信上限（UCB）的点，而是执行约束优化并使用比较来过滤出次优点。COMP-GP-UCB在理论上保证了$O(\fracΦ{\sqrt{T}})$对简单遗憾的处理，其中$T$是直接查询的数量，而$Φ$是与基于比较的约束集相对应的改进的信息增益，该约束集限制了最优的搜索空间。相反，在仅直接查询设置中，$Φ$依赖于整个域。最后，我们提出的实验结果表明，我们的算法的有效性。
2019-11-03 cs.LG stat.ML
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
Multinomial Logit Contextual Bandits: Provable Optimality and Practicality
Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）
考虑了一个参数未知的多项罗吉特（MNL）选择模型下的序贯分类选择问题。在每个周期中，学习代理观察关于用户和$N$可用项目的$d$维上下文信息，并且向用户提供大小为$K$的分类，并且观察从分类中选择的项目的强盗反馈。我们提出了基于上置信界的算法，这个MNL上下文强盗。第一个算法是一个简单而实用的方法，实现了$\tilde{\mathcal{O}}(d\sqrt{T})$遗憾超过$T$轮。接下来，我们提出了第二个算法，实现了$\tilde{\mathcal{O}}(\sqrt{dT})$遗憾。这与MNL强盗问题的下限相匹配，直到对数项，并通过$\sqrt{d}$因子改进了最佳已知结果。为了建立这个更尖锐的遗憾界，我们提出了一个非渐近置信界的极大似然估计的MNL模型，可能是独立的兴趣作为自己的理论贡献。然后，我们重新审视更简单，更实用，第一算法，并表明，一个简单的变种的算法实现了广泛的一类重要的应用程序的最佳遗憾。
2021-03-25 cs.LG stat.ML
Efficient Kernel UCB for Contextual Bandits
Criteo AI Lab（Criteo人工智能实验室）；Inria（法国国家信息与自动化研究所）；NYU Center for Data Science（纽约大学数据科学中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
在本文中，我们解决了核UCB算法在上下文强盗的计算效率。虽然标准方法需要O（CT^3）的复杂度，其中T是地平线，常数C与优化UCB规则有关，但我们提出了一种有效的上下文算法来解决大规模问题。具体来说，我们的方法依赖于上下文和动作的联合内核嵌入的增量Nystrom近似。这使得我们可以实现O（CTm^2）的复杂度，其中m是Nystrom点的数量。为了恢复与标准核化UCB算法相同的遗憾，m需要是问题的有效维数的阶，其至多为O（\sqrt（T）），并且在某些情况下几乎是常数。
2022-02-11 cs.LG
Multi-armed Bandit Algorithm against Strategic Replication
LINE Plus Corporation（LINE Plus公司）；Pohang University of Science and Technology（浦项科技大学）
我们考虑了一个多臂强盗问题，其中每个代理注册一组武器，当代理的武器被选中时，代理将获得奖励。代理可能会策略性地提交更多的复制武器，这可以通过滥用强盗算法的探索-利用平衡来带来更多的回报。我们的分析表明，一个标准的算法确实无法防止复制，并遭受线性遗憾的时间$T$。我们的目标是设计一个强盗算法，使复制的积极性降低，并实现了一个小的累积遗憾。我们设计了防复制的分层UCB（H-UCB），它在任意均衡下都具有$O(\ln T)$ -后悔.我们进一步提出了鲁棒层次UCB（RH-UCB），它具有一个次线性的遗憾，即使在一个现实的情况下与非理性的代理复制粗心。我们通过数值实验验证了我们的理论研究结果。
2021-10-23 cs.GT cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的神经探索策略的上下文土匪，EE-Net，不同于标准的UCB为基础的和TS为基础的方法。背景多武装匪徒已经研究了几十年，有各种应用。为了解决强盗中的开发-探索权衡，有三种主要技术：ε贪婪，汤普森采样（TS）和上置信界（UCB）。在最近的文献中，线性上下文强盗采用岭回归估计奖励函数，并将其与TS或UCB策略相结合进行探索。然而，这一系列的工作明确地假设奖励是基于手臂向量的线性函数，这在现实世界的数据集中可能不是真的。为了克服这一挑战，人们提出了一系列神经强盗算法，其中使用神经网络来学习底层奖励函数，并采用TS或UCB进行探索。我们提出了一种新的基于神经元的探索策略“EE-Net”，而不是像以前的方法那样计算一个基于大偏差的统计边界进行探索。除了使用一个神经网络（Exploitation网络）来学习奖励函数外，EE-Net还使用另一个神经网络（Exploration网络）来自适应地学习与当前估计的探索奖励相比的潜在收益。然后，一个决策者被构造来组合来自开采和勘探网络的输出。我们证明了EE-Net可以实现$\mathcal{O}(\sqrt{T\log T})$遗憾，并表明EE-Net在现实世界的数据集上优于现有的线性和神经上下文强盗基线。
2022-05-12 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Why Most Optimism Bandit Algorithms Have the Same Regret Analysis: A Simple Unifying Theorem
Cornell University（康奈尔大学）
本文提出一个简单的统一定理，揭示了多种乐观老虎机算法在后悔分析上的共同本质，通过两个确定性引理实现了对数级别的后悔推导，并扩展到现代老虎机变体。
2025-12-20 cs.LG cs.SY eess.SY
Dynamic Learning with Frequent New Product Launches: A Sequential Multinomial Logit Bandit Problem
University of California, Berkeley（加州大学伯克利分校）；IBM Research（IBM研究院）
受企业推出新产品以跟上顾客快速变化的品味这一现象的启发，我们考虑了一种新颖的在线学习设置，其中利润最大化的卖家需要通过提供推荐来了解顾客的偏好，该推荐可能包含现有产品和在销售期间推出的新产品。我们提出了一个序列多项logit（SMNL）模型来描述客户的行为时，产品推荐是在层次。对于已知客户偏好的离线版本，我们提出了一个多项式时间算法，并描述了最优分层产品推荐的性质。对于在线问题，我们提出了一种学习算法，并量化了它的遗憾界。此外，我们扩展了设置，以纳入一个约束，以确保每个新产品都学习到给定的精度。我们的研究结果表明，层次结构可以用来减轻与学习新产品相关的风险。
2019-04-29 cs.LG stat.ML
Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
我们研究了在线不安分的强盗问题，其中每个手臂的状态根据马尔可夫链演变，并且拉动手臂的奖励取决于被拉动的手臂和对应的马尔可夫链的当前状态。在本文中，我们提出了Restless-UCB，这是一种遵循探索然后提交框架的学习策略。在Restless-UCB中，我们提出了一种新的方法来构造离线实例，它只需要$O(N)$时间复杂度（$N$是手臂的数量），并指数优于现有的学习策略的复杂度。我们还证明了Restless-UCB达到了$\tilde{O}((N+M^3)T^{2\over 3})$的后悔上界，其中$M$是马尔可夫链状态空间大小，$T$是时间范围。与现有的算法相比，我们的结果消除了指数因子（在$M,N$）的遗憾上限，由于一个新的开发的稀疏性一般不安土匪问题的过渡。因此，我们的分析技术也可以采用收紧现有算法的遗憾界。最后，我们进行实验的基础上，真实世界的数据集，比较的Restless-UCB政策与国家的最先进的基准。实验结果表明，Restless-UCB算法在后悔方面优于现有算法，并显著减少了运行时间。
2020-11-06 cs.LG
Clus-UCB: A Near-Optimal Algorithm for Clustered Bandits
Department of Electrical Engineering（电子工程系）；Indian Institute Of Technology Bombay（孟买印度理工学院）
本文针对已知聚类结构的多臂老虎机问题，提出Clus-UCB算法，通过聚类内信息共享实现渐近近最优的遗憾性能，并通过仿真验证其优于KL-UCB等现有算法。
2025-08-19 cs.LG
Federated Neural Bandits
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近关于神经上下文强盗的工作已经取得了令人信服的性能，因为它们能够利用神经网络（NN）的强大表示能力进行奖励预测。上下文强盗的许多应用涉及多个代理谁合作，而不共享原始观察，从而产生了联邦上下文强盗的设置。现有的联邦上下文bandits依赖于线性或内核化bandits，这在建模复杂的现实世界奖励函数时可能会有所不足。因此，本文引入了联邦神经元置信上界（FN-UCB）算法。为了更好地利用联合设置，FN-UCB采用两个UCB的加权组合：$\text{UCB}^{a}$允许每个代理额外使用来自其他代理的观察来加速探索（而不共享原始观察），而$\text{UCB}^{b}$使用具有聚合参数的NN进行奖励预测，其方式类似于监督学习的联合平均。值得注意的是，我们的理论分析所需的两个UCB之间的权重适合于有趣的解释，该解释最初强调$\text{UCB}^{a}$以加速探索，并且在收集了足够的观察结果以训练NN以进行准确的奖励预测之后更依赖于$\text{UCB}^{b}$（即，可靠的开发）。我们证明了FN-UCB的累积遗憾和通信回合数的次线性上界，并实证证明了其竞争性能。
2023-03-01 cs.AI cs.LG
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Learning and Fairness in Energy Harvesting: A Maximin Multi-Armed Bandits Approach
Indian Institute of Technology Bombay（印度理工学院孟买分校）
无线射频（RF）能量收集的最新进展允许传感器节点通过远程为其电池充电来延长其寿命。由节点收集的能量的量取决于它们的周围环境以及与源的接近程度。传感器网络的寿命取决于节点在网络中可以收获的最小能量。因此，重要的是要了解节点收集的最少能量，以便源可以在最大化该量的频带上进行传输。我们将这个学习问题建模为一个新的随机最大最小多臂强盗（Maximin MAB）问题，并提出了一个基于置信上界（UCB）的算法Maximin UCB。Maximin MAB是标准MAB的推广，并享有与UCB 1算法相同的性能保证。实验结果验证了我们的算法的性能保证。
2020-06-16 cs.LG stat.ML
Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对生成模型选择仅考虑单模型的局限，本研究将最优混合模型选择建模为多臂老虎机问题，提出Mixture-UCB算法，可高效找到优于单个模型的生成模型最优混合体，并验证了其在文本、图像生成任务中的有效性。
2025-03-22 cs.LG stat.ML
Achieving Limited Adaptivity for Multinomial Logistic Bandits
Microsoft Research India（微软印度研究院）
针对多项式逻辑斯谛老虎机，提出B-MNL-CB和RS-MNL两种算法，分别支持批处理和罕见切换模式，在有限策略更新下实现接近最优的遗憾，并优于每轮更新的基线。
2025-08-05 cs.LG stat.ML
Stay With Me: Lifetime Maximization Through Heteroscedastic Linear Bandits With Reneging
Texas A&M University（德州农工大学）
生命周期最大化的序贯决策问题在许多实际应用中是一个关键问题，如医疗和投资组合选择。在这些应用程序中，“食言”的现象，即参与者可能会脱离未来的互动后，观察到一个不满意的结果，是相当普遍的。为了解决上述问题，本文提出了一个异方差线性土匪与食言，它允许每个参与者有一个独特的“满意度水平”，与任何互动结果低于该水平导致该参与者食言模型。此外，它允许结果的差异是依赖于上下文的。在此模型的基础上，我们提出了一个UCB型策略，即HR-UCB，并证明了它实现了$\mathcal{O}\big(\sqrt{{T}(\log({T}))^{3}}\big)$后悔。最后，我们通过仿真验证了HR-UCB的性能。
2019-05-15 cs.LG stat.ML
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University（凯斯西储大学）
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题，提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法，具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
Finite-Time Analysis of Kernelised Contextual Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；University of Bristol（布里斯托大学）
我们解决了在线奖励最大化的问题，在一个大的有限的一组行动所描述的上下文。我们关注的情况下，行动的数量太大，采样所有的人，甚至一次。然而，我们假设我们可以访问动作的上下文之间的相似性，并且期望奖励是相关再生核希尔伯特空间（RKHS）中上下文图像的任意线性函数。我们提出了KernelUCB，核UCB算法，并通过频率论分析给出了一个累积遗憾界。对于上下文强盗，相关的算法GP-UCB原来是我们的算法的一个特例，我们的有限时间分析提高了不可知情况下的GP-UCB的遗憾界，无论是在核依赖量和RKHS范数的奖励函数。此外，对于线性内核，我们的遗憾界匹配的下限上下文线性土匪。
2013-09-26 cs.LG stat.ML
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Cooperative Multi-Agent Graph Bandits: UCB Algorithm and Regret Analysis
Harvard J. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·保尔森工程与应用科学学院）
本文提出合作多智能体图赌博机问题，设计基于UCB的Multi-G-UCB算法，证明其遗憾界为O(γN log(T)[√KT+DK])，并通过数值实验验证有效性。
2024-03-17 cs.LG cs.MA stat.ML
Bandit optimisation of functions in the Matérn kernel RKHS
University of Cambridge（剑桥大学）；Amazon（亚马逊）
考虑了在带噪声的Bandit反馈下，在域$[0,1]^d$上具有光滑参数$ν$的Matérn核的再生核Hilbert空间（RKHS）中函数的优化问题.我们的贡献，$π$ -UCB算法，是第一个实用的方法，保证次线性遗憾的所有$ν>1$和$d \geq 1$。经验验证表明，与其前身Improved GP-UCB相比，性能更好，计算可扩展性大幅提高。
2023-02-26 cs.LG stat.ML
Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University（南京大学）
自动机器学习（AutoML）任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中，由于超参数的很多维度与所选算法无关，不仅空间庞大而且冗余。在本文中，我们提出了一个级联的方法，算法选择和超参数优化。在超参数优化的层次上采用搜索过程，而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法，而不是平均性能，因此，我们提出了极值区域置信上限（ER-UCB）策略，该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$，它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
UCB Exploration via Q-Ensembles
OpenAI；University of California, Berkeley（加州大学伯克利分校）
我们展示了如何在深度强化学习中利用$Q^*$函数的集合进行更有效的探索。我们建立在从强盗设置完善的算法，并使其适应$Q$学习设置。我们提出了一种基于置信上限（UCB）的探索策略。我们的实验显示了Atari基准的显着收益。
2017-11-07 cs.LG stat.ML
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA；ENS Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法，它建立了一个级联的离散化树的基础上通用链，以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数，也大大扩展了UCB策略的应用范围。此外，通用的遗憾界，然后专门为高斯过程索引的无限维空间，以及高斯过程的二次形式。下界也证明了高斯过程的情况下，评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
Tractable Multinomial Logit Contextual Bandits with Non-Linear Utilities
Seoul National University（首尔国立大学）
本文提出了一种基于上置信界原则的算法，用于解决具有非线性效用函数的多名义逻辑上下文老虎机问题，实现了 O(√T) 的遗憾界。
2026-01-11 cs.LG stat.ML
Nearly Minimax Optimal Regret for Multinomial Logistic Bandit
Seoul National University（首尔国立大学）
本文针对上下文多项式逻辑斯谛老虎机问题，在均匀和非均匀奖励下分别证明了极小极大最优遗憾界，并提出常数时间算法OFU-MNL+实现匹配上界，首次达到该问题的最优性。
2025-10-16 cs.LG stat.ML
Using causal abstractions to accelerate decision-making in complex bandit problems
University of Oxford（牛津大学）；University of Bergen（卑尔根大学）
针对多抽象层级因果多臂老虎机缺乏通用优化方法的问题，提出AT-UCB算法，结合因果抽象理论先在粗粒度实例探索再在目标实例的潜在最优动作上用UCB，从理论和实证上证明其能显著降低累积遗憾。
2025-09-04 cs.LG
Thresholding Bandits with Augmented UCB
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在本文中，我们提出了增强UCB（AugUCB）算法的固定预算版本的阈值强盗问题（TBP），其中的目标是确定一组武器的质量高于阈值。AugUCB的一个关键特征是，它使用均值和方差估计来消除已经充分探索的武器;据我们所知，这是第一个采用这种方法来考虑TBP的算法。从理论上讲，我们得到的损失（错误分类的概率）AugUCB上的上限。虽然文献中的UCBEV提供了更好的保证，但重要的是要强调UCBEV可以访问问题复杂性（其计算需要手臂的均值和方差），因此在实践中并不现实;这与AugUCB相反，AugUCB的实现不需要任何此类复杂性输入。我们进行了大量的仿真实验，以验证AugUCB的性能。通过我们的模拟工作，我们建立AugUCB，由于其利用方差估计，执行显着优于国家的最先进的APT，CSAR和其他非方差为基础的算法。
2019-06-07 cs.LG
