Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Regret Analysis of Bandit Problems with Causal Background Knowledge
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们研究如何学习最佳的干预措施，顺序给定的因果信息表示为因果图以及相关的条件分布。因果建模在现实世界的问题中很有用，比如在线广告，其中复杂的因果机制是干预和结果之间关系的基础。我们提出了两个算法，因果置信上限（C-UCB）和因果汤普森采样（C-TS），享受改善的累积遗憾界相比，不使用因果信息的算法。因此，我们解决了一个开放的问题所提出的\cite{lattimore2016causal}。此外，我们扩展C-UCB和C-TS的线性强盗设置，并提出因果线性UCB（CL-UCB）和因果线性TS（CL-TS）算法。这些算法享有的累积遗憾界，只有规模的特征尺寸。我们的实验显示了使用因果信息的好处。例如，我们观察到，即使有几百次迭代，因果算法的遗憾是标准算法的三分之一。我们还表明，在某些因果结构下，我们的算法比标准的强盗算法的规模更好的干预措施的数量增加。
2020-06-10 cs.LG stat.ML
Variance-Aware Linear UCB with Deep Representation for Neural Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出方差感知的Neural-$σ^2$-LinearUCB算法，利用奖励噪声方差上界提升UCB不确定性量化质量，在理论和实验上均取得优于现有神经UCB方法的遗憾性能。
2025-03-11 cs.LG stat.ML
Adaptive KL-UCB based Bandit Algorithms for Markovian and i.i.d. Settings
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在基于后悔的多臂强盗（MAB）问题的表述中，除了极少数情况外，大部分文献都集中在带i.i.d.的武器上。奖励本文考虑了MAB问题的后悔保证问题，其中每个臂的回报形成一个可能不属于单参数指数族的马尔可夫链。在这样的问题中实现对数遗憾并不困难：标准Kullback-Leibler上置信限（KL-UCB）的变体可以完成这项工作。然而，从这样的分析获得的常数是穷人的以下原因：i.i.d.报酬是马尔可夫报酬的一种特殊情况，很难设计出一种算法，该算法与底层模型是真正的马尔可夫模型还是独立同分布模型无关。为了克服这个问题，我们引入了一种新的算法，该算法可以识别每个手臂的奖励是否是真正的马尔可夫或i.i.d.。使用基于总变异距离的测试。然后，当我们的算法确定手臂奖励是马尔可夫的时，我们的算法从使用标准KL-UCB切换到使用专门版本的KL-UCB，从而导致两个i.i.d.和马尔可夫模型
2022-10-08 cs.LG stat.ML
UCBoost: A Boosting Approach to Tame Complexity and Optimality for Stochastic Bandits
The Ohio State University（俄亥俄州立大学）；AT&T Labs Research（AT&T实验室研究部）
在这项工作中，我们解决了开放的问题，找到低复杂度接近最优的多臂强盗算法的顺序决策问题。现有的强盗算法或者是次优的并且计算简单（例如，UCB 1）或最优且计算复杂（例如，kl-UCB）。我们提出了一个提升的方法，上置信界为基础的算法随机土匪，我们称之为UCBoost。具体来说，我们提出了两种类型的UCBoost算法。我们发现，UCBoost（$D$）享有$O(1)$复杂性为每个手臂每轮以及遗憾的保证是$1/e$ -接近的kl-UCB算法。我们提出了一种基于近似的UCBoost算法，UCBoost（$ε$），享有遗憾的保证$ε$ -接近的kl-UCB以及$O(\log(1/ε))$的复杂性，每轮每个手臂。因此，我们的算法为从业者提供了一种实用的方法来交易的最优性与计算复杂性。最后，我们给出的数值结果表明，UCBoost（$ε$）可以达到相同的后悔性能的标准kl-UCB，而只招致$1\%$的计算成本kl-UCB。
2018-04-16 cs.AI cs.LG stat.ML
Why Most Optimism Bandit Algorithms Have the Same Regret Analysis: A Simple Unifying Theorem
Cornell University（康奈尔大学）
本文提出一个简单的统一定理，揭示了多种乐观老虎机算法在后悔分析上的共同本质，通过两个确定性引理实现了对数级别的后悔推导，并扩展到现代老虎机变体。
2025-12-20 cs.LG cs.SY eess.SY
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
UCB Exploration for Fixed-Budget Bayesian Best Arm Identification
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑科学智能技术研究院）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）
本文针对固定预算贝叶斯最佳臂识别问题，提出一种通过学习先验信息增强UCB探索的算法，理论证明其简单遗憾上界为 $\tilde{O}(\sqrt{K/n})$，并在实验中一致优于现有基线方法。
2024-10-23 cs.LG stat.ML
A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms
Columbia University（哥伦比亚大学）
经典（随机）多臂强盗（MAB）问题中复杂性的关键驱动因素之一是顶部两个臂的平均回报之间的差异，也称为实例间隙。著名的置信上限（UCB）策略是最简单的基于乐观主义的MAB算法之一，它自然地适应了这个差距：对于游戏n的水平，它在具有“大”差距的情况下实现了最优O（log n）的遗憾，并且当差距可以任意“小”时，它实现了接近最优O（\sqrt{n log n}）的极大极小遗憾。“本文提供了关于UCB的臂采样行为的新结果，导致了几个重要的见解。其中，它表明，手臂采样率下UCB是渐近确定的，无论问题的复杂性。这一发现为UCB的O（\sqrt{n log n}）极大极小后悔性提供了新的精确渐近性和新的证明.此外，本文还提供了第一个完整的过程级表征的MAB问题下UCB在传统的扩散缩放。除此之外，本文采用的“小”差距最坏情况的镜头也揭示了深刻的区别之间的行为UCB和汤普森抽样，如“不完全学习”现象的特点，后者。
2021-10-26 cs.LG stat.ML
Continuity-Free Near-Minimax Leading-Order Regret for CVaR-UCBVI
本文针对有限时间表格型CVaR强化学习，证明Bernstein CVaR-UCBVI算法无需连续性假设即可达到近极小极大主导阶遗憾，其主导项匹配极小极大下界，实现了该问题的近最优算法设计。
2026-09-01 cs.LG
UCB Momentum Q-learning: Correcting the bias without forgetting
Otto von Guericke University（奥托·冯·格里克大学）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；DeepMind（深度思维）
我们提出了UCBMQ，上置信界动量Q-学习，一种新的算法，用于表格和可能的阶段依赖性，情节马尔可夫决策过程的强化学习。UCBMQ是基于Q学习的，我们在Q学习中加入了动量项，并依靠乐观原则来应对不确定性。UCBMQ的新技术成分是使用动量来纠正Q学习所遭受的偏见，同时限制它对后悔的二阶项的影响。对于UCBMQ，我们能够保证最多$O(\sqrt{H^3SAT}+ H^4 S A )$的遗憾，其中$H$是事件的长度，$S$是状态的数量，$A$是动作的数量，$T$是事件的数量，并且忽略poly- $\log(SAHT)$中的项。值得注意的是，UCBMQ是第一个同时匹配$Ω(\sqrt{H^3SAT})$的下限的算法，对于足够大的$T$，并且具有仅与状态数$S$线性缩放的二阶项（相对于水平$T$）。
2022-03-18 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Efficient-UCBV: An Almost Optimal Algorithm using Variance Estimates
Indian Institute of Technology Madras（马德拉斯印度理工学院）；Indian Institute of Technology Tirupati（蒂鲁帕蒂印度理工学院）
我们提出了一种新的变种的UCB算法（简称为有效UCB方差（EUCBV）），以尽量减少在随机多臂强盗（MAB）设置的累积遗憾。EUCBV结合了UCB-Improved \citep{auer2010ucb}中提出的手臂消除策略，同时考虑方差估计来计算手臂的置信界限，类似于UCBV \citep{audibert2009exploration}。通过理论分析，我们建立了EUCBV招致的\emph{gap-dependent}遗憾界{ \scriptsize $O\left( \dfrac{Kσ^2_{\max} \log (TΔ^2 /K)}Δ\right)$ }后，$T$试验，其中$Δ$是最佳和次优臂之间的最小差距;上述界是一个改进现有的国家的最先进的UCB算法（如UCB 1，UCB-Improved，UCBV，MOSS）。此外，EUCBV引起\emph{gap-independent}遗憾界限{ \scriptsize $O\left(\sqrt{KT}\right)$ }，其是对UCB 1、UCBV和UCB-Improved的改进，同时与MOSS和OCUCB的相当。通过广泛的数值研究，我们表明，EUCBV显着优于流行的UCB变体（如MOSS，OCUCB等）。以及Thompson采样和Bayes-UCB算法。
2017-11-09 cs.LG
The K-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates
在本文中，我们提出并探讨了k-最近邻UCB算法的协变量的多臂土匪。我们专注于一个设置中的协变量支持度量空间的低内在维度，如嵌入在一个高维的环境特征空间的流形。该算法在概念上是简单和直接实现。K-Nearest Neighbor UCB算法不需要先验知识的边缘分布或时间范围的内在维度。我们证明了一个遗憾界的k-Nearest Neighbor UCB算法，这是极大极小最优的对数因子。特别是，该算法自动利用低内在维度的边缘分布的协变量和低噪声的数据，表示为一个边缘条件。此外，针对报酬有界的情形，给出了k-最近邻KL-UCB算法的后悔界，该算法是KL-UCB算法的一个类似物，适用于具有协变量的多臂强盗的情形.最后，我们提出了实证结果，证明了k-最近邻UCB和k-最近邻KL-UCB的能力，以利用的情况下，数据是支持一个未知的子流形的高维特征空间。
2018-03-01 cs.LG stat.ML
From Theory to Practice with RAVEN-UCB: Addressing Non-Stationarity in Multi-Armed Bandits through Variance Adaptation
School of Business, Central South University（中南大学商学院）；School of Finance and Statistics, Hunan University（湖南大学金融与统计学院）；Wisdom Lake Academy of Pharmacy, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学智慧湖药学院）
本文提出 RAVEN-UCB 算法，通过方差驱动探索、自适应控制和常数时间递归更新三项创新，在非平稳多臂老虎机问题中实现比 UCB1 和 UCB-V 更紧的遗憾界，并在多种非平稳场景实验中验证了其理论与实际鲁棒性。
2025-06-03 cs.LG stat.ML
Cooperative Multi-Agent Graph Bandits: UCB Algorithm and Regret Analysis
Harvard J. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·保尔森工程与应用科学学院）
本文提出合作多智能体图赌博机问题，设计基于UCB的Multi-G-UCB算法，证明其遗憾界为O(γN log(T)[√KT+DK])，并通过数值实验验证有效性。
2024-03-17 cs.LG cs.MA stat.ML
Multi-armed Bandit Algorithm against Strategic Replication
LINE Plus Corporation（LINE Plus公司）；Pohang University of Science and Technology（浦项科技大学）
我们考虑了一个多臂强盗问题，其中每个代理注册一组武器，当代理的武器被选中时，代理将获得奖励。代理可能会策略性地提交更多的复制武器，这可以通过滥用强盗算法的探索-利用平衡来带来更多的回报。我们的分析表明，一个标准的算法确实无法防止复制，并遭受线性遗憾的时间$T$。我们的目标是设计一个强盗算法，使复制的积极性降低，并实现了一个小的累积遗憾。我们设计了防复制的分层UCB（H-UCB），它在任意均衡下都具有$O(\ln T)$ -后悔.我们进一步提出了鲁棒层次UCB（RH-UCB），它具有一个次线性的遗憾，即使在一个现实的情况下与非理性的代理复制粗心。我们通过数值实验验证了我们的理论研究结果。
2021-10-23 cs.GT cs.LG stat.ML
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
我们研究了在线不安分的强盗问题，其中每个手臂的状态根据马尔可夫链演变，并且拉动手臂的奖励取决于被拉动的手臂和对应的马尔可夫链的当前状态。在本文中，我们提出了Restless-UCB，这是一种遵循探索然后提交框架的学习策略。在Restless-UCB中，我们提出了一种新的方法来构造离线实例，它只需要$O(N)$时间复杂度（$N$是手臂的数量），并指数优于现有的学习策略的复杂度。我们还证明了Restless-UCB达到了$\tilde{O}((N+M^3)T^{2\over 3})$的后悔上界，其中$M$是马尔可夫链状态空间大小，$T$是时间范围。与现有的算法相比，我们的结果消除了指数因子（在$M,N$）的遗憾上限，由于一个新的开发的稀疏性一般不安土匪问题的过渡。因此，我们的分析技术也可以采用收紧现有算法的遗憾界。最后，我们进行实验的基础上，真实世界的数据集，比较的Restless-UCB政策与国家的最先进的基准。实验结果表明，Restless-UCB算法在后悔方面优于现有算法，并显著减少了运行时间。
2020-11-06 cs.LG
UCB algorithms for multi-armed bandits: Precise regret and adaptive inference
Rutgers University（罗格斯大学）
本文通过确定性刻画UCB索引算法的臂拉动次数，给出多臂老虎机UCB算法的精确后悔值公式，明确经典Lai-Robbins公式的适用条件，否定其严格极小极大最优性，并证明UCB算法的稳定性可支撑序列数据下的传统置信集有效性。
2024-12-09 cs.IT cs.LG math.IT
Neural Contextual Bandits without Regret
ETH Zurich（苏黎世联邦理工学院）
上下文强盗是一个丰富的模型，用于给定边信息的顺序决策，具有重要的应用，例如，在推荐系统中。我们提出了新的算法，利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题，同时考虑全连接和卷积网络。为此，我们首先分析NTK-UCB，核化的强盗优化算法采用神经正切核（NTK），并限制其遗憾的NTK最大信息增益$γ_T$，一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后，我们介绍了我们的神经网络为基础的算法NN-UCB，并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数，我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率，其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Multi-Armed Bandits with Arriving Arms: Sequential Screening, Dynamic Regret, and Sublinear Guarantees
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学姚氏数学科学中心）
针对可用臂随时间扩展的随机多臂老虎机问题，提出基于消除的UCB-AA算法，通过初步筛选新臂并考虑到达信息差异和漂移基准，实现动态遗憾的次线性界。
2026-06-08 cs.LG math.ST stat.ML
Fooling Algorithms in Non-Stationary Bandits using Belief Inertia
Industrial and Systems Engineering, North Carolina State University（北卡罗来纳州立大学工业与系统工程系）；Data and Decision Sciences, Technion（技术ion数据与决策科学系）
本文提出信念惯性论证，通过构造对抗性实例使经典多臂赌博机算法在非平稳环境中遭受线性遗憾，并证明周期性重启也无法改变这一最坏情况结果。
2026-09-30 cs.LG math.PR stat.ML
Causal Markov Decision Processes: Learning Good Interventions Efficiently
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们引入因果马尔可夫决策过程（C-MDP），一个新的形式主义顺序决策相结合的标准MDP制定因果结构的状态转移和奖励函数。许多当代和新兴的应用领域，如数字医疗和数字营销，可以受益于C-MDP建模，因为干预和状态/奖励之间的因果关系机制。我们提出了因果置信上限值迭代（C-UCBVI）算法，该算法利用C-MDP中的因果结构，并提高了不考虑因果知识的标准强化学习算法的性能。我们证明了C-UCBVI满足$\tilde{O}(HS\sqrt{ZT})$后悔界，其中$T$是总时间步，$H$是情节视界，$S$是状态空间的基数.值得注意的是，我们的后悔界限不与行动/干预的大小（$A$）成比例，而只与因果图相关的量$Z$成比例，$Z$可以指数地小于$A$。通过将C-UCBVI扩展到因子化的MDP设置，我们提出了因果因子化的UCBVI（CF-UCBVI）算法，该算法进一步减少了$S$方面的指数后悔。此外，我们表明，RL算法的线性MDP问题也可以纳入C-MDP。我们的经验表明，我们的因果关系的方法在各种设置的好处，以验证我们的算法和理论结果。
2021-02-15 cs.LG stat.ML
Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
What You See May Not Be What You Get: UCB Bandit Algorithms Robust to ε-Contamination
University of Michigan（密歇根大学）
受强盗算法在教育中应用的启发，我们考虑了一个带有$\varepsilon$ -污染报酬的随机多臂强盗问题。我们允许对手在充分了解过去和未来的情况下给予任意的无限污染奖励。我们施加的约束，对于每一次$t$的比例污染的奖励的任何行动是小于或等于$\varepsilon$。在$\varepsilon$ -污染背景下，我们得到了两个鲁棒均值估计的集中不等式。我们定义了$\varepsilon$污染的随机强盗问题，并使用我们的鲁棒均值估计给出了一个强大的置信上限（UCB）算法，crUCB的两个变种。使用仅从潜在随机奖励中获得的后悔，crUCB的两种变体都实现了足够小的污染比例的$\mathcal{O} (\sqrt{KT\log T})$后悔。我们的模拟假设小的视野，反映了新探索的土匪在教育的设置。我们表明，在某些对抗制度crUCB不仅优于随机（UCB 1）和对抗（EXP 3）土匪设计的算法，但也有“两全其美”的保证（EXP 3 ++和TsallisInf），即使我们的污染奖励的比例约束被打破。
2020-06-17 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Conformal-Style Quantile Analyses for Stochastic Bandits
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出ACP-UCB1算法，通过适应性符合估计和UCB类型乐观奖励bonus，解决随机老虎机中上尾性能优化问题，实现对数上分位数遗憾。
2026-05-08 cs.LG stat.ML
Learning to Optimize Via Posterior Sampling
Stanford University（斯坦福大学）
本文考虑使用一个简单的后验抽样算法，以平衡探索和开发学习优化行动时，如在多臂土匪问题。该算法，也被称为汤普森采样，提供了显着的优势，流行的置信上限（UCB）的方法，并可以应用于有限或无限的行动空间和复杂的关系之间的行动奖励的问题。我们做了两个理论贡献。第一个建立后验采样和UCB算法之间的连接。这一结果使我们能够将UCB算法的后悔界限转换为贝叶斯后悔界限。我们的第二个理论贡献是贝叶斯后悔约束后验抽样，适用广泛，可以专门用于许多模型类。这个界限依赖于一个新的概念，我们称之为逃避者维度，它衡量了行动奖励之间的依赖程度。相比UCB算法贝叶斯遗憾界特定的模型类，我们的一般界匹配最好的线性模型，并比最好的广义线性模型。此外，我们的分析提供了深入了解后验采样的性能优势，这是突出通过模拟结果表明，性能超过最近提出的UCB算法。
2014-02-03 cs.LG
Gap-Dependent Bounds for Q-Learning using Reference-Advantage Decomposition
The Pennsylvania State University（宾夕法尼亚州立大学）
本文首次为采用方差估计器和参考优势分解的 Q-learning 算法（UCB-Advantage 和 Q-EarlySettled-Advantage）建立了对数级间隙相关遗憾界，并首次给出策略切换成本的间隙相关分析。
2025-03-10 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
The Sliding Regret in Stochastic Bandits: Discriminating Index and Randomized Policies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出滑动遗憾概念以度量单次运行中伪遗憾的平滑性，证明随机化方法（如 Thompson Sampling、MED）具有最优滑动遗憾，而 UCB 类指数策略的滑动遗憾和平均起伏均为次优。
2023-11-30 cs.LG cs.SY eess.SY
Finite-Time Analysis of Kernelised Contextual Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；University of Bristol（布里斯托大学）
我们解决了在线奖励最大化的问题，在一个大的有限的一组行动所描述的上下文。我们关注的情况下，行动的数量太大，采样所有的人，甚至一次。然而，我们假设我们可以访问动作的上下文之间的相似性，并且期望奖励是相关再生核希尔伯特空间（RKHS）中上下文图像的任意线性函数。我们提出了KernelUCB，核UCB算法，并通过频率论分析给出了一个累积遗憾界。对于上下文强盗，相关的算法GP-UCB原来是我们的算法的一个特例，我们的有限时间分析提高了不可知情况下的GP-UCB的遗憾界，无论是在核依赖量和RKHS范数的奖励函数。此外，对于线性内核，我们的遗憾界匹配的下限上下文线性土匪。
2013-09-26 cs.LG stat.ML
Revisiting Social Welfare in Bandits: UCB is (Nearly) All You Need
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文证明标准UCB算法配合初始均匀探索即可在仅依赖加性霍夫丁界的情况下实现接近最优的纳什遗憾，并推广至p-均值遗憾，统一达到接近最优界，克服了现有方法对奖励分布的严格限制。
2025-10-24 cs.LG
Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）
我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。
2016-05-27 cs.LG math.ST stat.ML
Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms: A Case with Bounded Regret
Bilkent University（比尔肯特大学）
本文研究了具有概率触发臂的组合多臂强盗问题。在假设所有手臂的触发概率（ATPs）都为正的条件下，证明了一类具有探索率$κ$的组合置信上界（CUCB- $κ$）策略和通过Thompson采样估计手臂期望状态的组合Thompson采样（CTS）策略能够实现有界后悔.此外，我们还证明了$0$和CTS会导致$O(\sqrt{T})$间隔独立的后悔。这些结果改进了以前的工作，分别显示$O(\log T)$缺口依赖和$O(\sqrt{T\log T})$缺口独立的遗憾，没有假设的ATP的结果。然后，我们数值评估CUCB- $κ$和CTS在现实世界的电影推荐问题中的性能，其中的动作对应于推荐一组电影，手臂对应于电影和用户之间的边缘，目标是最大化被至少一部电影吸引的用户总数。我们的数值结果补充了我们的理论研究结果有限的遗憾。除了这个问题，我们的研究结果也直接适用于在线影响力最大化（OIM）的问题，在许多以前的作品研究。
2017-07-24 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
The KL-UCB Algorithm for Bounded Stochastic Bandits and Beyond
LTCI（LTCI实验室）；CNRS（法国国家科学研究中心）；Telecom ParisTech（巴黎高等电信学院）
本文提出KL-UCB算法，通过有限时间分析证明其在有界奖励下优于UCB和UCB2，在伯努利奖励下达到Lai和Robbins下界，并扩展到指数族分布，数值实验显示其高效稳定。
2013-08-29 cs.LG cs.SY eess.SY
UCB-based Algorithms for Multinomial Logistic Regression Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of British Columbia（不列颠哥伦比亚大学）
在广义线性强盗的丰富家族中，也许研究得最好的是在二元奖励问题中使用的逻辑强盗：例如，当学习者/代理试图最大化可以选择两种可能结果之一的用户的利润时（例如，“click”vs“no-click”）。尽管最近取得了显著的进展并且改进了用于物流强盗的算法，但是现有的工作没有解决用户可以选择的结果的数量大于两个的实际情况（例如，“click”、“show me later”、“never show again”、“no click”）。在本文中，我们研究这样的扩展。我们使用多项logit（MNL）来模拟$K+1\geq 2$可能结果中的每一个的概率（+1代表“不点击”结果）：我们假设对于学习者的动作$\mathbf{x}_t$，用户选择$K+1\geq 2$结果中的一个，比如结果$i$，具有多项logit（MNL）概率模型，具有相应的未知参数$\bar{\boldsymbolθ}_{\ast i}$。每个结果$i$还与收入参数$ρ_i$相关联，目标是最大化预期收入。对于这个问题，我们提出了MNL-UCB，上置信界（UCB）为基础的算法，实现遗憾$\tilde{\mathcal{O}}(dK\sqrt{T})$与小依赖问题相关的常数，否则可以任意大，导致松散的遗憾界限。我们提出的数值模拟，证实了我们的理论结果。
2021-03-21 cs.LG stat.ML
Polynomial Regret Concentration of UCB for Non-Deterministic State Transitions
Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；Centre for Cognitive Science（认知科学中心）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对MCTS在随机领域应用有限的问题，本文扩展其理论框架至非确定性状态转移场景，推导UCB算法的多项式遗憾集中界并证明其适用于非确定性环境，拓宽了MCTS的现实应用范围。
2025-02-09 cs.DM cs.LG
Model-Free Non-Stationary RL: Near-Optimal Regret and Applications in Multi-Agent RL and Inventory Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；Cornell SC Johnson College of Business（康奈尔大学SC约翰逊商学院）
我们考虑非平稳马尔可夫决策过程中的无模型强化学习（RL）。奖励函数和状态转移函数都允许随时间任意变化，只要它们的累积变化不超过某些变化预算。我们提出了具有上置信界的重新启动Q学习（RestartQ-UCB），这是第一个用于非平稳RL的无模型算法，并表明它在动态遗憾方面优于现有的解决方案。具体地说，具有Freedman型奖励项的RestartQ-UCB实现了$\widetilde{O}(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H T^{\frac{2}{3}})$的动态遗憾界限，其中$S$和$A$分别是状态和动作的数量，$Δ>0$是变化预算，$H$是每集的时间步长数量，而$T$是时间步长的总数。我们进一步提出了一个无参数的算法命名为双重启Q-UCB，不需要事先知道的变化预算。我们证明了我们的算法是\emph{nearly optimal}通过建立一个信息理论的下限$Ω(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H^{\frac{2}{3}} T^{\frac{2}{3}})$，在非平稳RL的第一个下界。数值实验验证了RestartQ-UCB在累积奖励和计算效率方面的优势。我们在多代理RL和相关产品的库存控制的例子中展示了我们的结果的力量。
2022-08-20 cs.AI cs.LG stat.ML
Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Regret Analysis for Hierarchical Experts Bandit Problem
Tsinghua University（清华大学）
研究了标准强盗问题的一个推广，其中专家层为R层.多层次的专家一层一层地进行选择，只有最后一层的专家才能玩武器。学习策略的目标是最大限度地减少总的遗憾，在这个层次的专家设置。我们首先分析的情况下，总后悔增长的层数。然后重点研究了所有专家均采用上置信限策略的情形，给出了不同情形下的几个次线性上界。最后，我们设计了一些实验来帮助对一般层次UCB结构的后悔分析，并展示了我们的理论结果的实际意义。这篇文章给出了许多关于合理层次决策结构的见解。
2022-08-11 cs.LG
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University（凯斯西储大学）
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题，提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法，具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
Achieving Constant Regret in Linear Markov Decision Processes
School of Data Science and Society（数据科学与社会学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究针对强化学习恒定遗憾问题，提出Cert-LSVI-UCB算法，通过创新的多阶段值目标回归集中分析，在带误设的线性MDP中实现了与轮次数无关的高概率恒定遗憾界，为首个无需先验分布假设的同类算法。
2024-12-12 cs.LG
Achieving the Pareto Frontier of Regret Minimization and Best Arm Identification in Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）；National University of Singapore（新加坡国立大学）
该研究针对多臂老虎机中固定时间跨度的遗憾最小化与最优臂识别目标，设计了BoBW-lil'UCB$(γ)$算法，证明两目标无法同时最优，该算法可通过调参实现阶数最优，且性能优于UCB$_α$。
2023-06-09 cs.AI cs.IT cs.LG
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Contextual Procurement Auctions with Bandit Learning
研究重复上下文采购拍卖中平台从强盗反馈学习依赖上下文产品价值的问题，给出有\(\widetilde O((ng)^{1/3}T^{2/3})\)遗憾值的先探索后提交机制及固定支付UCB机制，证明了固定支付遗憾值与激励权衡的匹配下界。
2026-07-29 cs.GT cs.LG
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego（加州大学圣地亚哥分校）；West Virginia University（西弗吉尼亚大学）
我们提出了一种新的修改标准的置信上限（UCB）方法的随机多臂强盗（MAB）问题，调整的置信界的基础上，它的距离到其他的一个给定的强盗。我们的UCB距离调谐（UCB-DT）制定，使改进的性能，通过防止MAB算法专注于非最佳的土匪，这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的，我们称之为“强盗距离”，该距离度量是可参数化的，因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明，增加性能的UCB-DT与许多现有的国家的最先进的方法，使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具，称为“勘探讨价还价点”，它提供了深入了解勘探和开发之间的权衡。我们认为，勘探讨价还价点提供了一个直观的角度来看，是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science（统计与数据科学系）
本文研究线性MDP中隐私约束下的遗憾最小化问题，通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术，设计出一种新的差分隐私算法，实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
