A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University（凯斯西储大学）
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题，提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法，具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Federated Neural Bandits
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近关于神经上下文强盗的工作已经取得了令人信服的性能，因为它们能够利用神经网络（NN）的强大表示能力进行奖励预测。上下文强盗的许多应用涉及多个代理谁合作，而不共享原始观察，从而产生了联邦上下文强盗的设置。现有的联邦上下文bandits依赖于线性或内核化bandits，这在建模复杂的现实世界奖励函数时可能会有所不足。因此，本文引入了联邦神经元置信上界（FN-UCB）算法。为了更好地利用联合设置，FN-UCB采用两个UCB的加权组合：$\text{UCB}^{a}$允许每个代理额外使用来自其他代理的观察来加速探索（而不共享原始观察），而$\text{UCB}^{b}$使用具有聚合参数的NN进行奖励预测，其方式类似于监督学习的联合平均。值得注意的是，我们的理论分析所需的两个UCB之间的权重适合于有趣的解释，该解释最初强调$\text{UCB}^{a}$以加速探索，并且在收集了足够的观察结果以训练NN以进行准确的奖励预测之后更依赖于$\text{UCB}^{b}$（即，可靠的开发）。我们证明了FN-UCB的累积遗憾和通信回合数的次线性上界，并实证证明了其竞争性能。
2023-03-01 cs.AI cs.LG
HELLINGER-UCB: A novel algorithm for stochastic multi-armed bandit problem and cold start problem in recommender system
JPMorgan Chase（摩根大通）；Meta；Stony Brook University（石溪大学）
提出基于平方 Hellinger 距离的 Hellinger-UCB 算法，证明其达到理论下界，并通过数值与金融推荐在线实验验证其低延迟及更高 CTR。
2024-04-16 cs.LG stat.ML
Efficient Kernel UCB for Contextual Bandits
Criteo AI Lab（Criteo人工智能实验室）；Inria（法国国家信息与自动化研究所）；NYU Center for Data Science（纽约大学数据科学中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
在本文中，我们解决了核UCB算法在上下文强盗的计算效率。虽然标准方法需要O（CT^3）的复杂度，其中T是地平线，常数C与优化UCB规则有关，但我们提出了一种有效的上下文算法来解决大规模问题。具体来说，我们的方法依赖于上下文和动作的联合内核嵌入的增量Nystrom近似。这使得我们可以实现O（CTm^2）的复杂度，其中m是Nystrom点的数量。为了恢复与标准核化UCB算法相同的遗憾，m需要是问题的有效维数的阶，其至多为O（\sqrt（T）），并且在某些情况下几乎是常数。
2022-02-11 cs.LG
The K-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates
在本文中，我们提出并探讨了k-最近邻UCB算法的协变量的多臂土匪。我们专注于一个设置中的协变量支持度量空间的低内在维度，如嵌入在一个高维的环境特征空间的流形。该算法在概念上是简单和直接实现。K-Nearest Neighbor UCB算法不需要先验知识的边缘分布或时间范围的内在维度。我们证明了一个遗憾界的k-Nearest Neighbor UCB算法，这是极大极小最优的对数因子。特别是，该算法自动利用低内在维度的边缘分布的协变量和低噪声的数据，表示为一个边缘条件。此外，针对报酬有界的情形，给出了k-最近邻KL-UCB算法的后悔界，该算法是KL-UCB算法的一个类似物，适用于具有协变量的多臂强盗的情形.最后，我们提出了实证结果，证明了k-最近邻UCB和k-最近邻KL-UCB的能力，以利用的情况下，数据是支持一个未知的子流形的高维特征空间。
2018-03-01 cs.LG stat.ML
On Instability of Minimax Optimal Optimism-Based Bandit Algorithms
Department of Statistics Rutgers University（统计系鲁特大学）
本文指出基于乐观原则的老虎机算法存在稳定性问题，揭示了最小最大最优性和统计稳定性之间的矛盾。
2025-11-24 cs.IT cs.LG math.IT
Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
What You See May Not Be What You Get: UCB Bandit Algorithms Robust to ε-Contamination
University of Michigan（密歇根大学）
受强盗算法在教育中应用的启发，我们考虑了一个带有$\varepsilon$ -污染报酬的随机多臂强盗问题。我们允许对手在充分了解过去和未来的情况下给予任意的无限污染奖励。我们施加的约束，对于每一次$t$的比例污染的奖励的任何行动是小于或等于$\varepsilon$。在$\varepsilon$ -污染背景下，我们得到了两个鲁棒均值估计的集中不等式。我们定义了$\varepsilon$污染的随机强盗问题，并使用我们的鲁棒均值估计给出了一个强大的置信上限（UCB）算法，crUCB的两个变种。使用仅从潜在随机奖励中获得的后悔，crUCB的两种变体都实现了足够小的污染比例的$\mathcal{O} (\sqrt{KT\log T})$后悔。我们的模拟假设小的视野，反映了新探索的土匪在教育的设置。我们表明，在某些对抗制度crUCB不仅优于随机（UCB 1）和对抗（EXP 3）土匪设计的算法，但也有“两全其美”的保证（EXP 3 ++和TsallisInf），即使我们的污染奖励的比例约束被打破。
2020-06-17 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
我们研究了在线不安分的强盗问题，其中每个手臂的状态根据马尔可夫链演变，并且拉动手臂的奖励取决于被拉动的手臂和对应的马尔可夫链的当前状态。在本文中，我们提出了Restless-UCB，这是一种遵循探索然后提交框架的学习策略。在Restless-UCB中，我们提出了一种新的方法来构造离线实例，它只需要$O(N)$时间复杂度（$N$是手臂的数量），并指数优于现有的学习策略的复杂度。我们还证明了Restless-UCB达到了$\tilde{O}((N+M^3)T^{2\over 3})$的后悔上界，其中$M$是马尔可夫链状态空间大小，$T$是时间范围。与现有的算法相比，我们的结果消除了指数因子（在$M,N$）的遗憾上限，由于一个新的开发的稀疏性一般不安土匪问题的过渡。因此，我们的分析技术也可以采用收紧现有算法的遗憾界。最后，我们进行实验的基础上，真实世界的数据集，比较的Restless-UCB政策与国家的最先进的基准。实验结果表明，Restless-UCB算法在后悔方面优于现有算法，并显著减少了运行时间。
2020-11-06 cs.LG
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
Clus-UCB: A Near-Optimal Algorithm for Clustered Bandits
Department of Electrical Engineering（电子工程系）；Indian Institute Of Technology Bombay（孟买印度理工学院）
本文针对已知聚类结构的多臂老虎机问题，提出Clus-UCB算法，通过聚类内信息共享实现渐近近最优的遗憾性能，并通过仿真验证其优于KL-UCB等现有算法。
2025-08-19 cs.LG
Faster Q-Learning Algorithms for Restless Bandits
IIIT Allahabad（阿拉哈巴德印度信息技术学院）；IIT Madras（马德拉斯印度理工学院）
针对RMAB的Whittle指数学习，本文提出Q学习及其SQL、GSQL、PhaseQL变体并结合UCB探索，通过双时间尺度随机逼近和数值实验证明UCB加速收敛、PhaseQL收敛最优。
2024-09-06 cs.LG cs.SY eess.SY
lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
本文提出了一种新的置信上界（UCB）过程中确定的最大平均值在一个多臂强盗游戏在固定的信心设置使用少量的总样本。该程序不能改进的意义上说，所需的样本数，以确定最佳臂是在一个恒定的因素的下限的基础上的法律的迭代对数（LIL）。受LIL的启发，我们构造了我们的置信区间，以明确说明算法的无限时间范围。此外，通过使用一个新的停止时间的算法，我们避免了工会绑定的武器，已观察到在其他UCB型算法。我们证明了该算法是最佳的常数，并通过模拟表明，它提供了优越的性能相对于国家的最先进的。
2013-12-27 cs.LG stat.ML
Extended UCB Policies for Multi-armed Bandit Problems
School of Mathematics and Physics（数学与物理学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；School of Mathematics（数学学院）；Nanjing University（南京大学）；National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）
本文研究了重尾奖励分布下的多臂老虎机问题，提出了扩展稳健UCB策略，将已有矩条件推广至任意 $p>q>1$ 并保持最优遗憾阶 $O(log T)$，同时在仅知 $p$ 阶矩存在时实现近最优遗憾。
2025-09-15 cs.LG math.PR math.ST
Regularized OFU: an Efficient UCB Estimator forNon-linear Contextual Bandit
Microsoft Research, Asia（微软亚洲研究院）；Tsinghua University（清华大学）
平衡勘探与开发是情境强盗的基本问题。EE权衡的一个强有力的原则是面对不确定性的乐观主义（OFU），其中代理根据奖励的置信上限（UCB）采取行动。OFU已经实现了（近）最佳的遗憾界限的线性/内核上下文强盗。然而，对于非线性复杂任务，如以深度神经网络作为奖励函数的上下文强盗，如何推导出高效的EE权衡方法，目前还不清楚。本文提出了一种新的OFU算法--正则化OFU（ROFU）。在ROFU中，我们通过一个可微函数来度量奖励的不确定性，并通过求解一个正则化优化问题来计算置信上界。我们证明了，对于多臂强盗、核上下文强盗和神经正切核强盗，ROFU在一定的不确定性测度下达到了（近）最优后悔界，这从理论上证明了它在EE权衡上的有效性.重要的是，ROFU允许一个非常有效的基于梯度的优化器的实现，它很容易扩展到神经正切核之外的一般深度神经网络模型，与以前的OFU方法形成鲜明对比.实验结果表明，ROFU算法在各种环境下都能很好地解决背景强盗问题。
2021-06-29 cs.AI cs.LG
Multi-armed Bandit Algorithm against Strategic Replication
LINE Plus Corporation（LINE Plus公司）；Pohang University of Science and Technology（浦项科技大学）
我们考虑了一个多臂强盗问题，其中每个代理注册一组武器，当代理的武器被选中时，代理将获得奖励。代理可能会策略性地提交更多的复制武器，这可以通过滥用强盗算法的探索-利用平衡来带来更多的回报。我们的分析表明，一个标准的算法确实无法防止复制，并遭受线性遗憾的时间$T$。我们的目标是设计一个强盗算法，使复制的积极性降低，并实现了一个小的累积遗憾。我们设计了防复制的分层UCB（H-UCB），它在任意均衡下都具有$O(\ln T)$ -后悔.我们进一步提出了鲁棒层次UCB（RH-UCB），它具有一个次线性的遗憾，即使在一个现实的情况下与非理性的代理复制粗心。我们通过数值实验验证了我们的理论研究结果。
2021-10-23 cs.GT cs.LG stat.ML
Variance-Aware Linear UCB with Deep Representation for Neural Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出方差感知的Neural-$σ^2$-LinearUCB算法，利用奖励噪声方差上界提升UCB不确定性量化质量，在理论和实验上均取得优于现有神经UCB方法的遗憾性能。
2025-03-11 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Deep Upper Confidence Bound Algorithm for Contextual Bandit Ranking of Information Selection
Department of Mathematics, University of Maryland, College Park（马里兰大学帕克分校数学系）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
上下文多武装匪徒（CMAB）已被广泛用于学习过滤和优先级信息，根据用户的兴趣。在这项工作中，我们分析了前K排名CMAB框架下的前K武器迭代选择，以最大限度地提高回报。上下文，它代表了一组可观察到的因素与用户，是用来提高预测精度相比，一个标准的多臂强盗。上下文强盗方法大多是在严格的线性假设下研究的，但我们放弃了这个假设，用深度神经网络学习非线性随机奖励函数。我们介绍了一种新的算法称为深上置信界（UCB）算法。深度UCB通过单独的神经网络来平衡探索和利用，以模拟学习收敛。我们比较了许多强盗算法的性能变化K在现实世界的数据集与高维数据和非线性奖励函数。实验结果表明，深度UCB的性能往往优于虽然它是敏感的问题和奖励设置。此外，我们证明了理论上的遗憾界深UCB收敛到最优的CMAB问题的弱类。
2021-10-08 cs.IT cs.LG math.IT
UCB algorithms for multi-armed bandits: Precise regret and adaptive inference
Rutgers University（罗格斯大学）
本文通过确定性刻画UCB索引算法的臂拉动次数，给出多臂老虎机UCB算法的精确后悔值公式，明确经典Lai-Robbins公式的适用条件，否定其严格极小极大最优性，并证明UCB算法的稳定性可支撑序列数据下的传统置信集有效性。
2024-12-09 cs.IT cs.LG math.IT
R-UCB: a Contextual Bandit Algorithm for Risk-Aware Recommender Systems
Télécom SudParis（南巴黎电信学院）
移动上下文感知推荐系统可以自然地建模为探索/利用权衡（exr/exp）问题，其中系统必须在处理其当前知识（利用）和学习更多关于未知用户的偏好以改进其知识（探索）之间进行选择。强化学习社区已经解决了这个问题，但是他们没有考虑当前用户情况的风险水平，其中如果风险水平高，则推荐用户在其当前情况下可能不期望的项目可能是危险的。本文介绍了一种算法R-UCB，它考虑了用户的情况下的风险水平，自适应地平衡之间的exr和exp。对实验结果的详细分析揭示了exr/exp行为中的几个重要发现。
2014-08-10 cs.IR cs.LG
Using causal abstractions to accelerate decision-making in complex bandit problems
University of Oxford（牛津大学）；University of Bergen（卑尔根大学）
针对多抽象层级因果多臂老虎机缺乏通用优化方法的问题，提出AT-UCB算法，结合因果抽象理论先在粗粒度实例探索再在目标实例的潜在最优动作上用UCB，从理论和实证上证明其能显著降低累积遗憾。
2025-09-04 cs.LG
Thresholding Bandits with Augmented UCB
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在本文中，我们提出了增强UCB（AugUCB）算法的固定预算版本的阈值强盗问题（TBP），其中的目标是确定一组武器的质量高于阈值。AugUCB的一个关键特征是，它使用均值和方差估计来消除已经充分探索的武器;据我们所知，这是第一个采用这种方法来考虑TBP的算法。从理论上讲，我们得到的损失（错误分类的概率）AugUCB上的上限。虽然文献中的UCBEV提供了更好的保证，但重要的是要强调UCBEV可以访问问题复杂性（其计算需要手臂的均值和方差），因此在实践中并不现实;这与AugUCB相反，AugUCB的实现不需要任何此类复杂性输入。我们进行了大量的仿真实验，以验证AugUCB的性能。通过我们的模拟工作，我们建立AugUCB，由于其利用方差估计，执行显着优于国家的最先进的APT，CSAR和其他非方差为基础的算法。
2019-06-07 cs.LG
Decentralized Upper Confidence Bound Algorithms for Homogeneous Multi-Agent Multi-Armed Bandits
E-Surfing Digital Life Technology Co., Ltd.（天翼数字生活科技有限公司）；Stony Brook University（石溪大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；J.P. Morgan AI Research（摩根大通AI研究院）
本文针对同质多智能体多臂老虎机问题，提出基于UCB1和KL-UCB的去中心化算法，使智能体通过邻居信息共享获得优于单智能体的对数渐近遗憾，并将框架扩展至有向图。
2024-12-28 cs.LG cs.SY eess.SY
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出老虎机UCB策略的统一理论，以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件，证明MaxSearch的阶最优性，还提出PIUCB算法并验证其性能，为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
Bounded Regret for Finitely Parameterized Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）
我们考虑的问题，参数化的多武装土匪的模型的基础随机环境可以根据一个共同的未知参数。真实参数对于学习代理是未知的。然而，可能的参数集是有限的，是先验已知的。我们提出了一种算法，这是简单和易于实现，我们称之为参数化的上界置信度（FP-UCB）算法，它使用的基本参数集的信息更快的学习。特别是，我们证明了FP-UCB算法实现了一些结构条件下的基本参数集的有界遗憾。我们还表明，如果基本参数集不满足必要的结构条件，FP-UCB算法实现了对数遗憾，但与标准UCB算法相比，具有较小的前一常数。我们还通过大量的数值模拟验证了FP-UCB算法的优越性能。
2020-11-07 cs.LG stat.ML
Data-Driven Upper Confidence Bounds with Near-Optimal Regret for Heavy-Tailed Bandits
Institute for Computer Science and Control (SZTAKI)（计算机科学与控制研究所（SZTAKI））；Hungarian Research Network (HUN-REN)（匈牙利研究网络（HUN-REN））
本文针对重尾对称奖励分布提出无分布、无参数的数据驱动RMM-UCB算法，通过结合单侧重采样中位数均值方法与UCB，在不依赖矩信息的情况下实现近最优遗憾界。
2024-06-09 cs.LG stat.ML
Stochastic Multi-Armed Bandits with Limited Control Variates
Singapore-MIT Alliance for Research（新加坡-麻省理工联合研究与技术中心）；Technology Centre（技术中心）；Department of IEOR Indian Institute of Technology Bombay（工业工程与运营研究系印度理工学院班加罗尔）；Department of DSAI Indian Institute of Technology Madras（数据科学与人工智能系印度理工学院马德拉斯）
本文提出UCB-LCV算法，用于处理有限控制变量的随机多臂老虎机问题，通过结合奖励和控制变量估计器，提升性能并适用于一般分布。
2026-03-02 cs.LG
Conformal-Style Quantile Analyses for Stochastic Bandits
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出ACP-UCB1算法，通过适应性符合估计和UCB类型乐观奖励bonus，解决随机老虎机中上尾性能优化问题，实现对数上分位数遗憾。
2026-05-08 cs.LG stat.ML
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
在生成模型选择中，混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率，挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Multi-armed Bandit Problem with Known Trend
Orange Labs（Orange实验室）
我们考虑多臂强盗模型的一个变体，我们称之为具有已知趋势的多臂强盗问题，其中赌徒知道每个臂的奖励函数的形状，但不知道其分布。这个新问题的动机是不同的在线问题，如主动学习，音乐和界面推荐应用程序，其中当手臂被模型采样时，收到的奖励根据已知的趋势变化。通过调整标准的多臂强盗算法UCB 1，以利用这一设置，我们提出了新的算法命名为A-UCB，假设一个随机模型。我们提供的遗憾的上限相比，有利的UCB 1。我们还证实，实验与不同的模拟
2017-05-10 cs.LG
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Adaptive KL-UCB based Bandit Algorithms for Markovian and i.i.d. Settings
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在基于后悔的多臂强盗（MAB）问题的表述中，除了极少数情况外，大部分文献都集中在带i.i.d.的武器上。奖励本文考虑了MAB问题的后悔保证问题，其中每个臂的回报形成一个可能不属于单参数指数族的马尔可夫链。在这样的问题中实现对数遗憾并不困难：标准Kullback-Leibler上置信限（KL-UCB）的变体可以完成这项工作。然而，从这样的分析获得的常数是穷人的以下原因：i.i.d.报酬是马尔可夫报酬的一种特殊情况，很难设计出一种算法，该算法与底层模型是真正的马尔可夫模型还是独立同分布模型无关。为了克服这个问题，我们引入了一种新的算法，该算法可以识别每个手臂的奖励是否是真正的马尔可夫或i.i.d.。使用基于总变异距离的测试。然后，当我们的算法确定手臂奖励是马尔可夫的时，我们的算法从使用标准KL-UCB切换到使用专门版本的KL-UCB，从而导致两个i.i.d.和马尔可夫模型
2022-10-08 cs.LG stat.ML
UCB-based Algorithms for Multinomial Logistic Regression Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of British Columbia（不列颠哥伦比亚大学）
在广义线性强盗的丰富家族中，也许研究得最好的是在二元奖励问题中使用的逻辑强盗：例如，当学习者/代理试图最大化可以选择两种可能结果之一的用户的利润时（例如，“click”vs“no-click”）。尽管最近取得了显著的进展并且改进了用于物流强盗的算法，但是现有的工作没有解决用户可以选择的结果的数量大于两个的实际情况（例如，“click”、“show me later”、“never show again”、“no click”）。在本文中，我们研究这样的扩展。我们使用多项logit（MNL）来模拟$K+1\geq 2$可能结果中的每一个的概率（+1代表“不点击”结果）：我们假设对于学习者的动作$\mathbf{x}_t$，用户选择$K+1\geq 2$结果中的一个，比如结果$i$，具有多项logit（MNL）概率模型，具有相应的未知参数$\bar{\boldsymbolθ}_{\ast i}$。每个结果$i$还与收入参数$ρ_i$相关联，目标是最大化预期收入。对于这个问题，我们提出了MNL-UCB，上置信界（UCB）为基础的算法，实现遗憾$\tilde{\mathcal{O}}(dK\sqrt{T})$与小依赖问题相关的常数，否则可以任意大，导致松散的遗憾界限。我们提出的数值模拟，证实了我们的理论结果。
2021-03-21 cs.LG stat.ML
A UCB Bandit Algorithm for General ML-Based Estimators
School of Mathematics, University of Minnesota—Twin Cities（明尼苏达大学 Twin Cities 分校数学系）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出ML-UCB算法，通过建模学习曲线行为解决复杂机器学习模型在老虎机中的探索问题，实验显示其在推荐系统中优于LinUCB。
2026-01-06 cs.AI cs.LG math.PR
A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms
Columbia University（哥伦比亚大学）
经典（随机）多臂强盗（MAB）问题中复杂性的关键驱动因素之一是顶部两个臂的平均回报之间的差异，也称为实例间隙。著名的置信上限（UCB）策略是最简单的基于乐观主义的MAB算法之一，它自然地适应了这个差距：对于游戏n的水平，它在具有“大”差距的情况下实现了最优O（log n）的遗憾，并且当差距可以任意“小”时，它实现了接近最优O（\sqrt{n log n}）的极大极小遗憾。“本文提供了关于UCB的臂采样行为的新结果，导致了几个重要的见解。其中，它表明，手臂采样率下UCB是渐近确定的，无论问题的复杂性。这一发现为UCB的O（\sqrt{n log n}）极大极小后悔性提供了新的精确渐近性和新的证明.此外，本文还提供了第一个完整的过程级表征的MAB问题下UCB在传统的扩散缩放。除此之外，本文采用的“小”差距最坏情况的镜头也揭示了深刻的区别之间的行为UCB和汤普森抽样，如“不完全学习”现象的特点，后者。
2021-10-26 cs.LG stat.ML
Cooperative Multi-Agent Graph Bandits: UCB Algorithm and Regret Analysis
Harvard J. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·保尔森工程与应用科学学院）
本文提出合作多智能体图赌博机问题，设计基于UCB的Multi-G-UCB算法，证明其遗憾界为O(γN log(T)[√KT+DK])，并通过数值实验验证有效性。
2024-03-17 cs.LG cs.MA stat.ML
A High Performance, Low Complexity Algorithm for Multi-Player Bandits Without Collision Sensing Information
CentraleSupelec（中央高等电力学院）；L2S（信号与系统实验室）
受认知无线电网络应用的启发，我们考虑了分散的多人多臂强盗问题，没有碰撞，也没有感知信息。我们提出了Randomized Selfish KL-UCB，这是一种计算复杂性非常低的算法，其灵感来自Selfish KL-UCB算法，该算法已被放弃，因为它在某些情况下可证明表现次优。我们对随机自私的KL-UCB进行了大量的数值实验，结果表明它在几乎所有环境中的性能都远远优于最先进的算法，有时甚至是几个数量级，而且不需要最先进的算法所需的额外知识。我们还强调了这种算法的潜力，更现实的动态设置，并支持我们的要求与进一步的实验。我们相信，低复杂度和高性能的随机自私KL-UCB算法，使其最适合在实际系统中的已知算法。
2021-02-19 cs.LG stat.ML
Multi-Armed Bandits with Arriving Arms: Sequential Screening, Dynamic Regret, and Sublinear Guarantees
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学姚氏数学科学中心）
针对可用臂随时间扩展的随机多臂老虎机问题，提出基于消除的UCB-AA算法，通过初步筛选新臂并考虑到达信息差异和漂移基准，实现动态遗憾的次线性界。
2026-06-08 cs.LG math.ST stat.ML
From Theory to Practice with RAVEN-UCB: Addressing Non-Stationarity in Multi-Armed Bandits through Variance Adaptation
School of Business, Central South University（中南大学商学院）；School of Finance and Statistics, Hunan University（湖南大学金融与统计学院）；Wisdom Lake Academy of Pharmacy, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学智慧湖药学院）
本文提出 RAVEN-UCB 算法，通过方差驱动探索、自适应控制和常数时间递归更新三项创新，在非平稳多臂老虎机问题中实现比 UCB1 和 UCB-V 更紧的遗憾界，并在多种非平稳场景实验中验证了其理论与实际鲁棒性。
2025-06-03 cs.LG stat.ML
Multi-Agent Multi-Armed Bandits with Limited Communication
Purdue University（普渡大学）
我们考虑的问题，$N$代理合作互动的一个随机$K$手臂土匪问题的实例$K \gg N$。代理的目标是同时最小化所有代理的总$T$时间步长，通信轮数，以及在每个通信轮的位数的累积遗憾。我们提出了有限的通信协作-置信上限（LCC-UCB），一个基于加倍历元的算法，每个代理只在历元结束后进行通信，并共享它所知道的最佳手臂的索引。在我们的算法LCC-UCB中，每个代理享有一个$\tilde{O}\left(\sqrt{({K/N}+ N)T}\right)$的遗憾，每个代理进行$O(\log T)$步的通信，并在每个通信步中广播$O(\log K)$比特。我们将这一工作推广到具有最大度$K_G$和直径$D$的稀疏图，并提出了具有$\tilde{O}\left(D\sqrt{(K/N+ K_G)DT}\right)$遗憾界的LCC-UCB-GRAPH.最后，我们的经验表明，LCC-UCB和LCC-UCB-GRAPH算法表现良好，优于通过中心节点通信的策略
2021-02-10 cs.AI cs.LG cs.MA
Replicable Bandits with UCB based Exploration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
研究随机多臂老虎机和线性老虎机中基于UCB探索的可复现算法，提出RepUCB和RepLinUCB，分别实现最优遗憾界，显著降低可复现性代价。
2026-06-09 cs.LG
Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）
我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。
2016-05-27 cs.LG math.ST stat.ML
The Sliding Regret in Stochastic Bandits: Discriminating Index and Randomized Policies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出滑动遗憾概念以度量单次运行中伪遗憾的平滑性，证明随机化方法（如 Thompson Sampling、MED）具有最优滑动遗憾，而 UCB 类指数策略的滑动遗憾和平均起伏均为次优。
2023-11-30 cs.LG cs.SY eess.SY
Regret Analysis of the Anytime Optimally Confident UCB Algorithm
University of Alberta（阿尔伯塔大学）
我介绍和分析的最佳置信UCB（OCUCB）算法设计的最小化的累积遗憾有限武装随机土匪与亚高斯噪声的任何时候版本。新算法简单，直观（事后看来），并具有迄今为止最强的有限时间遗憾保证。我还显示了一个有限时间的下限，几乎匹配的上限。
2016-05-06 cs.LG math.ST stat.ML
Regret Analysis of Bandit Problems with Causal Background Knowledge
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们研究如何学习最佳的干预措施，顺序给定的因果信息表示为因果图以及相关的条件分布。因果建模在现实世界的问题中很有用，比如在线广告，其中复杂的因果机制是干预和结果之间关系的基础。我们提出了两个算法，因果置信上限（C-UCB）和因果汤普森采样（C-TS），享受改善的累积遗憾界相比，不使用因果信息的算法。因此，我们解决了一个开放的问题所提出的\cite{lattimore2016causal}。此外，我们扩展C-UCB和C-TS的线性强盗设置，并提出因果线性UCB（CL-UCB）和因果线性TS（CL-TS）算法。这些算法享有的累积遗憾界，只有规模的特征尺寸。我们的实验显示了使用因果信息的好处。例如，我们观察到，即使有几百次迭代，因果算法的遗憾是标准算法的三分之一。我们还表明，在某些因果结构下，我们的算法比标准的强盗算法的规模更好的干预措施的数量增加。
2020-06-10 cs.LG stat.ML
Empirical Comparison of Forgetting Mechanisms for UCB-based Algorithms on a Data-Driven Simulation Platform
Swjtu-Leeds Joint School, South West Jiao Tong University（西南交通大学利兹学院）
本文提出FDSW-UCB算法，通过双视角整合长期和短期机制，实证表明其在动态环境中优于传统UCB算法。
2025-11-24 cs.LG
Budgeted Combinatorial Multi-Armed Bandits
我们考虑一个预算的组合多臂土匪设置，在每一轮，该算法选择一个超级手臂组成的一个或多个武器。我们的目标是在有限的预算范围内最大限度地减少所有回合后的总预期遗憾。现有的技术，在这方面的文献要么固定的预算，每轮或固定的数量的武器拉在每轮。我们的设置更一般，基于剩余预算和剩余回合数，算法可以决定每一轮要拉多少只手臂。首先，我们提出了CBwK-Greedy-UCB算法，它使用一个贪婪的技术，CBwK-Greedy，分配的武器轮。接下来，我们提出了一个减少这个问题的背包（BwK）与一个单一的拉。通过这种减少，我们提出了CBwK-LPUCB，巧妙地使用PrimalDualBwK。我们严格证明了CBwK-LP-UCB的遗憾界。我们通过实验比较了这两种算法，并观察到CBwK-Greedy-UCB比CBwK-LP-UCB表现得更好。我们还表明，对于非常高的预算，遗憾归零。
2022-02-13 cs.LG cs.MA
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University（斯坦福大学）
本文研究了多臂情形下的贝叶斯多臂老虎机问题，发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索，在理论和经验上均优于SS-UCB，能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
