Worst-case Performance of Greedy Policies in Bandits with Imperfect Context Observations
上下文强盗是在具有时变成分的环境中的不确定性下的序列决策的规范模型。在这种情况下，每个强盗手臂的预期奖励由一个未知参数与该手臂的上下文向量的内积组成。经典的强盗设置在很大程度上依赖于假设的上下文是完全观察到的，而不完全观察上下文强盗的更丰富的模型的研究是不成熟的。这项工作考虑了贪婪强化学习策略，这些策略采取行动，就好像参数和未观察到的上下文的当前估计值与相应的真值一致。我们建立了非渐近的最坏情况下的遗憾增长的时间范围和故障概率的多项式，而它的规模与武器的数量线性。数值分析显示上述效率的贪婪政策也提供。
2022-05-25 cs.LG stat.ML
Faster Maximum Inner Product Search in High Dimensions
Stanford University（斯坦福大学）；Oxford University（牛津大学）；University College London（伦敦大学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
针对高维最大内积搜索（MIPS）计算瓶颈，提出复杂度与维度无关的随机算法 BanditMIPS，通过多臂老虎机启发的自适应坐标采样策略将复杂度降至 O(1)，在保持高精度的同时显著提升速度。
2023-06-27 cs.AI cs.LG
Strategic A/B testing via Maximum Probability-driven Two-armed Bandit
本文提出一种基于反事实框架的最大概率驱动双臂老虎机（TAB）方法，通过加权均值波动性统计量控制第一类错误，有效检测微小平均处理效应，在维持高统计功效的同时显著降低A/B测试成本。
2025-06-27 cs.LG math.PR stat.ML
Combinatorial Bandits for Maximum Value Reward Function under Max Value-Index Feedback
London School of Economics（伦敦政治经济学院）；Microsoft Research Asia（微软亚洲研究院）
本文研究最大价值-索引反馈下的组合多臂赌博机问题，提出一种新算法，并证明其遗憾界与信息更丰富的半赌博机反馈下的已知界相当，实验验证了其有效性。
2023-05-25 cs.LG math.ST stat.TH
Functional Bandits
University of Southampton（南安普顿大学）；IBM Research Ireland（IBM爱尔兰研究院）
我们介绍的功能强盗问题，其目标是找到一个手臂，优化一个已知的功能未知的手臂奖励分布。这些问题出现在许多环境中，如自然语言处理中的最大熵方法和风险规避决策，但目前的最佳臂识别技术在这些领域失败。我们提出了一种新的方法，结合功能估计和手臂消除，来解决这个问题。该方法实现了可证明有效的性能保证。此外，我们说明了这种方法在风险管理和信息理论中的一些重要的泛函，并完善我们的一般理论结果在这些情况下。
2014-05-10 cs.LG stat.ML
A Note on a Tight Lower Bound for MNL-Bandit Assortment Selection Models
Leonard N. Stern School of Business, New York University（纽约大学伦纳德·N·斯特恩商学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机学院）
在这篇短文中，我们考虑了一个容量限制的多项罗吉特（MNL）强盗模型下的动态分类规划问题。我们证明了一个严格的下限积累的遗憾，匹配现有的遗憾上限的所有参数（时间范围$T$，项目数$N$和最大的分类能力$K$）的对数因子。我们的研究结果关闭了$O(\sqrt{K})$之间的差距，从现有的工程上，下遗憾的界限。
2018-09-28 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Scalable Generalized Linear Bandits: Online Computation and Hashing
UW-Madison（威斯康星大学麦迪逊分校）
广义线性Bandits（GLB）是随机线性Bandits的自然扩展，近年来得到了广泛的应用。然而，现有的GLB在轮数和臂数方面的规模很差，限制了它们在实践中的实用性。本文提出了新的，可扩展的解决方案，GLB问题在两个方面。首先，不同于现有的GLB，其每时间步长的空间和时间复杂度至少随时间线性增长$t$，我们提出了一个新的算法，执行在线计算，享受恒定的空间和时间复杂度。其核心是一种新的广义线性扩展的在线置信集转换（GLOC方法），它采用\emph{any}在线学习算法，并把它变成一个GLB算法。作为一个特殊的情况下，我们应用GLOC的在线牛顿步算法，这导致在低遗憾GLB算法的时间和内存复杂度比以前的工作低得多。其次，对于手臂的数量$N$是非常大的情况下，我们提出了新的算法，其中每个下一个手臂通过内积搜索选择。这样的方法可以经由散列算法（即，“可散列处理”）并导致$N$中的时间复杂度次线性。虽然GLOC的Thompson采样扩展是散列顺从的，但其针对$d$维臂集的遗憾界与$d^{3/2}$成比例，而GLOC的遗憾界与$d$成比例。为了缩小这一差距，我们提出了一个新的哈希适合的算法，其遗憾界尺度与$d^{5/4}$。最后，我们提出了一种快速近似散列密钥计算（内积），具有比最先进的更好的精度，这可以是独立的利益。我们总结了初步的实验结果，证实了我们的方法的优点。
2017-10-21 cs.LG stat.ML
Stochastic Bandits with Linear Constraints
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们研究了一个受约束的上下文线性强盗设置，代理的目标是产生一系列的政策，其预期的累积奖励的过程中的$T$轮是最大的，每个有一个预期的成本低于一定的阈值$τ$。我们提出了一个置信上限算法，称为乐观悲观线性强盗（OPLB），并证明了$\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$界上的$T$轮遗憾，其中分母是之间的差异的约束阈值和成本的一个已知的可行的行动。我们进一步专门研究我们的结果，多武装匪徒，并提出了一个计算效率高的算法，这种设置。在$K$ -armed bandits中，我们证明了该算法的遗憾界$\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$，这是对我们通过简单地将多武器bandits转换为上下文线性bandits的实例并使用OPLB的遗憾界得到的遗憾界的$\sqrt{K}$改进.我们还证明了一个下界的问题研究的文件，并提供模拟来验证我们的理论结果。
2020-06-17 cs.LG stat.ML
Bandit Online Learning with Unknown Delays
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文研究了多臂强盗（MAB）和强盗凸优化（BCO）环境下的带有未知延迟反馈的强盗在线学习问题。MAB和BCO仅需要通过反馈变得可用的所涉及的目标函数的值，并且用于估计出现在相应的迭代算法中的梯度。由于具有\emph{unknown}延迟的反馈的挑战性情况阻止了人们构建所寻求的梯度估计，因此现有的MAB和BCO算法变得难以处理。对于这种具有挑战性的设置，分别为MAB和BCO开发了延迟探索、开发和指数（DEXP3）迭代以及延迟强盗梯度下降（DBGD）迭代。利用统一的分析框架，建立了DEXP 3和DBGD的遗憾分别是${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$和${\cal O}\big( \sqrt{K(T+D)} \big)$，其中$\bar{d}$是最大延迟，$D$表示在$T$时隙上累积的延迟。数值试验使用合成和真实数据验证DEXP3和DBGD的性能。
2019-05-28 cs.LG stat.ML
Exploiting Structure of Uncertainty for Efficient Matroid Semi-Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind（深度思维）
我们提高了随机\emph{combinatorial semi-bandits}算法的效率。在大多数有趣的问题中，最先进的算法利用奖励的结构属性，例如\emph{independence}。然而，虽然是最佳的渐近遗憾，这些算法是低效的。在我们的论文中，我们首先减少他们的实现到一个特定的\emph{submodular maximization}。然后，在\emph{matroid}约束的情况下，我们设计了适应的近似例程，从而提供了第一个有效的算法，依赖于奖励结构，以提高遗憾界。特别是，我们提高了国家的最先进的有效的无间隙的遗憾约束的一个因素$\sqrt{m}/\log m$，其中$m$是最大的动作大小。最后，我们将展示我们的改进如何转化为更一般的\emph{budgeted combinatorial semi-bandits}。
2019-06-21 cs.LG stat.ML
Stochastic Low-Rank Bandits
Adobe Research（Adobe 研究院）；University of Alberta（阿尔伯塔大学）；Rutgers University（罗格斯大学）
计算机视觉和推荐系统中的许多问题都涉及到低秩矩阵。在这项工作中，我们研究的问题，找到一个随机低秩矩阵的最大项目，从顺序观察。在每一步，学习代理选择成对的行和列臂，并接收其潜在值的噪声乘积作为奖励。主要的挑战是潜在价值未被观察到。我们确定了一类非负矩阵的最大条目可以找到统计有效，并提出了一种算法，找到他们，我们称之为LowRankElim。我们推导出了$\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$的$n$ -步遗憾上界，其中$K$是行数，$L$是列数，$d$是矩阵的秩，$Δ$是最小间隙。该界限取决于其他特定问题的常数，而这些常数显然不依赖于$K L$。据我们所知，这是文献中的第一个这样的结果。
2017-12-13 cs.LG stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
在一个低秩线性强盗问题中，一个动作的回报（由一个大小为$d_1 \times d_2$的矩阵表示）是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中，当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔，改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置，得到一个算法，它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题，本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展，提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外，我们表明，现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Selecting k Paths with the Minimum Longest Path Length in the Stochastic Semi-Bandit Setting
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究生院）
针对并行数据传输中需最小化所选路径最大传输时间的问题，本文将其形式化为随机半带设置下的k路径选择问题，并提出相应求解算法。
2026-09-15 cs.LG
An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑上下文强盗问题，其中玩家根据过去的观察依次做出决策，以最大化累积奖励。虽然已经提出了许多算法的上下文强盗，他们中的大多数依赖于找到最大似然估计在每次迭代，这需要$O(t)$时间在$t$-th迭代和内存效率低。解决这个问题的一种自然方法是应用在线随机梯度下降（SGD），以便每步时间和内存复杂度可以降低到相对于$t$恒定，但基于在线SGD更新的上下文强盗策略，平衡探索和利用仍然难以捉摸。在这项工作中，我们表明，在线SGD可以应用到广义线性强盗问题。所提出的SGD-TS算法使用单步SGD更新来利用过去的信息，并使用汤普森采样进行探索，实现了$\tilde{O}(\sqrt{T})$遗憾，总时间复杂度在$T$和$d$中线性缩放，其中$T$是总轮数，$d$是特征数。实验结果表明，SGD-TS始终优于现有的算法在合成和真实的数据集。
2021-06-05 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Efficient Generalized Low-Rank Tensor Contextual Bandits
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出广义低秩张量上下文赌博机模型及G-LowTESTR算法，通过探索低秩张量子空间将问题降维，并在理论和实验上证明其优于向量化与矩阵化方法。
2024-01-17 cs.LG stat.ML
Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University（南京大学）
自动机器学习（AutoML）任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中，由于超参数的很多维度与所选算法无关，不仅空间庞大而且冗余。在本文中，我们提出了一个级联的方法，算法选择和超参数优化。在超参数优化的层次上采用搜索过程，而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法，而不是平均性能，因此，我们提出了极值区域置信上限（ER-UCB）策略，该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$，它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
Extreme bandits
Statistical Laboratory, CMS University of Cambridge（统计实验室，计算机科学与应用数学系，剑桥大学）；SequeL team INRIA Lille - Nord Europe（SequeL团队，法国国家信息与自动化研究所里尔-北欧洲研究中心）
本文研究在有限反馈下如何高效分配资源检测极端值，提出ExtremeHunter算法并进行实验证明其有效性。
2026-04-27 cs.LG stat.ML
Multinomial Logit Contextual Bandits: Provable Optimality and Practicality
Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）
考虑了一个参数未知的多项罗吉特（MNL）选择模型下的序贯分类选择问题。在每个周期中，学习代理观察关于用户和$N$可用项目的$d$维上下文信息，并且向用户提供大小为$K$的分类，并且观察从分类中选择的项目的强盗反馈。我们提出了基于上置信界的算法，这个MNL上下文强盗。第一个算法是一个简单而实用的方法，实现了$\tilde{\mathcal{O}}(d\sqrt{T})$遗憾超过$T$轮。接下来，我们提出了第二个算法，实现了$\tilde{\mathcal{O}}(\sqrt{dT})$遗憾。这与MNL强盗问题的下限相匹配，直到对数项，并通过$\sqrt{d}$因子改进了最佳已知结果。为了建立这个更尖锐的遗憾界，我们提出了一个非渐近置信界的极大似然估计的MNL模型，可能是独立的兴趣作为自己的理论贡献。然后，我们重新审视更简单，更实用，第一算法，并表明，一个简单的变种的算法实现了广泛的一类重要的应用程序的最佳遗憾。
2021-03-25 cs.LG stat.ML
Generalizing distribution of partial rewards for multi-armed bandits with temporally-partitioned rewards
Eindhoven University of Technology（埃因霍温理工大学）
本文研究了具有时间分割报酬的多臂强盗问题。在TP-MAB设置中，智能体将在多轮中获得奖励的子集，而不是一次获得手臂的全部奖励。在本文中，我们介绍了一个手臂的累积奖励如何分布在几个回合，称为贝塔传播属性的一般公式。需要这样的推广以能够处理其中每轮的最大奖励在各轮之间不均匀分布的分区奖励。我们推导出一个下界的TP-MAB问题的假设下，β-蔓延举行。此外，我们提供了一个算法TP-UCB-FR-G，它使用Beta-spread属性，以提高在某些情况下的遗憾上限。通过概括如何分配累积奖励，该设置可应用于更广泛的应用中。
2022-11-13 cs.LG stat.ML
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Diversified Multinomial Logit Contextual Bandits
Seoul National University（首尔国立大学）
研究针对现有上下文多项式逻辑回归博弈忽略品类内多样性、次模/组合博弈缺乏结构化选择概率的问题，提出多样化多项式逻辑回归（DMNL）上下文博弈及白盒UCB算法OFU-DMNL，给出遗憾界，实验证明其有收益且运行高效。
2026-09-29 cs.LG stat.ML
Pure-Exploration for Infinite-Armed Bandits with General Arm Reservoirs
本文考虑了一个多臂强盗对策，其中的武器数量远大于最大预算，并且实际上是无限的。我们刻画了算法返回概率至少为1 - δ的ε-好臂的总预算的充分必要条件。在这种情况下，样本复杂度取决于ε、δ和所谓的库分布ν，从库分布ν中得出臂的均值iid。虽然大量的文献都是围绕着分析ν的具体情况，比如β分布，但我们的分析并没有对ν的形式做任何假设。我们的算法是基于连续的减半与令人惊讶的例外，手臂开始被丢弃后，只有一个单一的拉，需要一个分析，超越浓度单独。该算法的可证明的正确性也为经验观察提供了解释，即Li et al.（2017）的Hyperband算法中用于超参数调整的最积极的括号几乎总是最好的。
2019-01-13 cs.LG stat.ML
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
在无限臂强盗问题中，每个臂的平均奖励从未知分布中采样，并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值，并提出了统一的Meta算法离线和在线设置，实现最佳的样本复杂性。我们表明，在线估计，学习者可以顺序选择是否采样一个新的或现有的手臂，提供了没有优势的离线设置估计的平均功能，但显着降低了其他功能，如中位数，最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下，我们确定了一个奇怪的阈值的现象，高斯卷积之间的不变性相对于噪声水平，这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT
Provably Optimal Algorithms for Generalized Linear Contextual Bandits
Microsoft Research（微软研究院）；Yale University（耶鲁大学）
从新闻推荐到广告，再到网络搜索，上下文强盗被广泛应用于互联网服务中。广义线性模型（特别是逻辑回归）在许多奖励为二元的应用中表现出比线性模型更强的性能。然而，迄今为止，对语境强盗的理论分析大多是线性强盗。在这项工作中，我们提出了一个基于置信上限的算法广义线性上下文土匪，实现了$\tilde{O}(\sqrt{dT})$遗憾$T$轮$d$维特征向量。这个遗憾匹配极小极大下限，直到对数项，并通过$\sqrt{d}$因子改进了先前的最佳结果，假设臂数是固定的。在我们的分析中的一个关键组成部分是建立一个新的，尖锐的有限样本的广义线性模型的最大似然估计的置信区间，这可能是独立的利益。我们还分析了一个更简单的置信上限算法，这是在实践中有用的，并证明它有一定的情况下，最佳遗憾。
2017-06-18 cs.AI cs.LG stat.ML
Thompson Sampling for Complex Bandit Problems
Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
我们考虑随机多臂强盗问题的复杂行动，在一组基本武器，决策者发挥复杂的行动，而不是在每一轮的基本武器。复杂动作的奖励是基本手臂奖励的函数，而观察到的反馈不一定是每个手臂的奖励。例如，当复杂动作是手臂的子集时，我们可能只观察到所选子集上的最大奖励。因此，由于奖励函数的性质，可以耦合跨复杂动作的反馈。我们证明了一个频率后悔界的汤普森采样在一个非常一般的设置，涉及参数，动作和观察空间和似然函数。该界限适用于参数空间上的离散支持先验，并且没有额外的结构特性，如封闭形式的后验，共轭先验结构或跨臂独立性。后悔界限随时间的变化而变化，但更重要的是，它有一个改进的常数，可以很好地捕捉到复杂行为之间的耦合，这是由于奖励的结构。作为应用，我们得到了改进的遗憾界类复杂的强盗问题，涉及选择子集的武器，包括第一个非平凡的遗憾界的非线性MAX奖励反馈的子集。
2013-11-03 cs.LG stat.ML
On the Sublinear Regret of Continuous K-Max Bandits
Microsoft Research Asia（微软亚洲研究院）；Institute for Interdisciplinary Information Sciences（交叉信息院）；Tsinghua University（清华大学）
研究连续K最大多臂老虎机问题，该问题在推荐等应用中出现，有离散化误差等困难。引入DCK - UCB算法，证明其实现了\(\widetilde{O}(T^{3/4})\)遗憾界，还针对特定情况提出MLE - Exp算法，为连续组合老虎机提供了算法解决方案。
2026-07-16 cs.LG
Neural Contextual Bandits without Regret
ETH Zurich（苏黎世联邦理工学院）
上下文强盗是一个丰富的模型，用于给定边信息的顺序决策，具有重要的应用，例如，在推荐系统中。我们提出了新的算法，利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题，同时考虑全连接和卷积网络。为此，我们首先分析NTK-UCB，核化的强盗优化算法采用神经正切核（NTK），并限制其遗憾的NTK最大信息增益$γ_T$，一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后，我们介绍了我们的神经网络为基础的算法NN-UCB，并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数，我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率，其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach
ShanghaiTech University（上海科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文研究了大规模物联网设备的免授权随机接入问题。通过在签名序列中嵌入数据符号，可以实现联合设备活动检测和数据解码，然而，这显著增加了计算复杂性。坐标下降算法，享受一个低的每次迭代的复杂性已被用来解决检测问题，但以前的作品通常采用随机坐标选择策略，导致收敛速度慢。在本文中，我们开发了多臂强盗的方法，通过坐标下降，这使得一个微妙的平衡之间的探索和开发坐标选择更有效的检测。具体来说，我们首先提出了一个基于强盗的策略，即，Bernoulli采样，通过学习哪些坐标将导致目标函数的更积极的下降来加快坐标下降的收敛速度。为了进一步提高算法的收敛速度，建立了一个多臂内强盗问题来学习Bernoulli采样的探索策略。收敛速度分析和仿真结果表明，所提出的基于强盗算法享有更快的收敛速度与更低的时间复杂度相比，国家的最先进的算法。此外，我们提出的算法适用于不同的场景，例如，低精度模数转换器（ADC）的大规模随机访问。
2020-01-28 cs.LG eess.SP stat.ML
Maximizing and Satisficing in Multi-armed Bandits with Graph Information
Arizona State University（亚利桑那州立大学）；Microsoft（微软）
在多武装匪徒的纯探索已经成为一个重要的框架建模决策和搜索下的不确定性。然而，在现代应用中，人们经常面临着大量的选择。即使每个选项获得一个观测值也可能成本太高，使得传统的纯探索算法无效。幸运的是，人们经常可以在可以利用的选项中获得类似的关系。在本文中，我们考虑的纯探索问题的随机多武器土匪之间的相似性被捕获的图和奖励可以表示为一个光滑的信号在这个图。特别地，我们考虑找到具有最大奖励的手臂的问题（即，最大化问题）或具有足够高的奖励的问题（即，在此模型下的满意度问题。我们提出了新的算法\textbf{\algoname{}}（GRAH为基础的UcB）和$ζ$ - \textbf{\algoname{}}这些问题，并提供了一个理论表征其性能，特别是elavenant的图边信息的好处。我们还证明了一个下界的数据要求，显示了一个大类的问题，这些算法是接近最优的。我们补充我们的理论与实验结果表明，利用这些边信息的好处。
2022-11-20 cs.LG stat.ML
Matroid Semi-Bandits in Sublinear Time
KTH Royal Institue of Technology（KTH皇家理工学院）；CyberAgent
针对拟阵半赌博机问题中现有算法每轮时间复杂度过高的问题，提出FasterCUCB算法，通过动态维护近似最大权重基，实现常见拟阵类别上的亚线性时间采样，同时保持与CUCB相同的遗憾上界。
2024-05-28 cs.LG
Linear Causal Bandits: Unknown Graph and Soft Interventions
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对未知因果图与未知随机干预模型的一般线性因果老虎机问题，提出计算高效算法，并给出匹配的遗憾上界与极小极大下界，揭示图规模影响随轮次减弱。
2024-11-04 cs.LG stat.ML
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置，证明学习率η=O(Δ_min²/(Δ_max log(n)))时，后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
Stochastic Rank-1 Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Telecom ParisTech（巴黎高等电信学院）
我们提出了随机秩- $1$强盗，一类在线学习问题，在每一步的学习代理选择一对行和列武器，并收到他们的价值作为奖励的产品。这个问题的主要挑战是行和列的各个值是不可观察的。我们假设这些值是随机的，并且是独立绘制的。我们提出了一个计算效率高的算法来解决我们的问题，我们称之为Rank 1 Elim。我们推导出一个$O((K + L) (1 / Δ) \log n)$上界的$n$ -步遗憾，其中$K$是行数，$L$是列数，和$Δ$是最小的行和列的差距，在假设的平均行和列奖励有界远离零。据我们所知，我们提出了第一个强盗算法，找到一个秩$1$矩阵的最大条目，其遗憾是线性的$K + L$，$1 / Δ$，和$\log n$。我们还得到了一个几乎匹配的下界。最后，我们评估Rank 1 Elim经验上的多个问题。我们观察到，它利用了我们问题的结构，即使我们的建模假设被轻微违反，它也可以学习接近最优的解决方案。
2017-03-08 cs.LG stat.ML
Algorithms for Non-Stationary Generalized Linear Bandits
DI ENS, CNRS, Inria, ENS, Université PSL（巴黎高等师范学院数据信息学系、法国国家科学研究中心、法国国家信息与自动化研究所、巴黎高等师范学院、巴黎文理研究大学）；UMPA, CNRS, Inria, ENS Lyon（里昂高等师范学院数学物理与分析实验室、法国国家科学研究中心、法国国家信息与自动化研究所、里昂高等师范学院）
广义线性模型（GLM）的统计框架可以应用于涉及分类或有序奖励的序列问题，例如，与点击，喜欢或评级相关。在二元奖励的例子中，众所周知，逻辑回归比使用标准线性模型更可取。以前的工作已经表明，如何处理GLM上下文在线学习与强盗反馈时，假设环境是静止的。在本文中，我们放松后一种假设，并提出了两个置信上限为基础的算法，利用滑动窗口或折扣的最大似然估计。我们提供了理论上的保证，这些算法的行为一般的上下文序列，并在存在突变。这些结果的形式是动态后悔的高概率上界，其阶为d^2/3 G^1/3 T^2/3，其中d，T和G分别是未知参数的维数，轮数和断点数。在模拟环境中的算法的经验表现。
2020-03-23 cs.LG stat.ML
Meta-Learning Adversarial Bandit Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Technion - Israel Institute of Technology（以色列理工学院）
本文首次研究对抗性赌博机反馈下的在线元学习，提出元算法同时调节内层学习器初始化与超参数，在MAB和BLO两种设置下给出任务平均遗憾界，并证明两层低维超参数调节足以学习界定OMD遗憾的复杂函数。
2023-11-01 cs.AI cs.LG stat.ML
Linear Bandits beyond Inner Product Spaces, the case of Bandit Optimal Transport
CREST, ENSAE, \& INRIA FairPlay team, Palaiseau, France
本文提出了一种改进的OFUL算法，通过将动作集嵌入希尔伯特子空间以实现线性老虎机在非内积结构下的高效学习，其后悔界介于~O(√T)和O(T)之间。
2026-10-06 cs.LG stat.ML
Improved Online Confidence Bounds for Multinomial Logistic Bandits
Seoul National University, Seoul, Korea（首尔国立大学）
针对现有MNL老虎机在线置信界依赖参数范数界与结果规模的问题，通过更紧的自和谐性质与Ville不等式推导改进置信界，提出两种算法分别实现方差依赖的最优悔值与无poly(B)的任意时间悔值。
2025-06-16 cs.LG stat.ML
Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文研究了基于模型的非线性函数逼近的Bandit和强化学习（RL）。我们建议研究收敛到近似局部最大值，因为我们表明，即使对于具有确定性奖励的单层神经网络强盗，全局收敛在统计上也是难以处理的。对于非线性强盗和RL，本文提出了一种基于模型的算法，虚拟上升与在线模型学习器（ViOlin），可证明收敛到局部最大值的样本复杂性，只依赖于顺序Rademacher复杂性的模型类。我们的研究结果意味着新的全球或局部遗憾界几个具体的设置，如线性强盗有限或稀疏模型类，和两层神经网络强盗。一个关键的算法见解是，乐观可能会导致过度探索，即使是双层神经网络模型类。另一方面，为了收敛到局部最大值，如果模型还可以合理地预测实际收益的梯度和Hessian的大小，则足以最大化虚拟收益。
2022-08-02 cs.LG
Off-Policy Evaluation and Learning from Logged Bandit Feedback: Error Reduction via Surrogate Policy
Indiana University Bloomington（印第安纳大学伯明顿分校）；Northwestern University（西北大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当从一批记录的强盗反馈中学习时，要学习的策略和非策略训练数据之间的差异带来了统计和计算挑战。与经典的监督学习和在线学习设置不同，在批量上下文强盗学习中，人们只能访问来自历史策略所采取的动作的记录反馈的集合，并且期望学习在可能看不见的上下文中采取良好动作的策略。这种批量学习设置在在线和交互式系统中无处不在，例如广告平台和推荐系统。现有的方法基于逆倾向权重，如逆倾向评分（IPS）和策略优化指数模型（POEM），享受无偏性，但往往遭受大的均方误差。在这项工作中，我们介绍了一种新的方法，名为最大似然逆倾向评分（MLIPS）批量学习记录的强盗反馈。而不是使用给定的历史政策的建议，在逆倾向权重，我们估计一个最大似然代理政策的基础上记录的动作上下文对，然后使用这个代理政策的建议。我们证明了MLIPS是渐近无偏的，而且，有一个较小的非渐近均方误差比IPS。这种误差减少现象有些令人惊讶，因为估计的代理策略不如给定的历史策略准确。多标签分类问题和一个大规模的广告投放数据集的结果证明了MLIPS的经验有效性。此外，所提出的替代策略技术是对现有的错误减少技术的补充，并且当结合时，能够一致地提高几种广泛使用的方法的性能。
2018-08-01 cs.LG math.OC stat.ML
Nearly Optimal Algorithms for Adversarial Kernelized Bandits
LY Corporation（LY公司）
针对对抗性环境下的核化赌博机问题，提出指数权重算法并证明其达到近最优遗憾界，同时给出下界并利用Nyström近似实现高效计算。
2026-10-20 cs.LG
New Classes of the Greedy-Applicable Arm Feature Distributions in the Sparse Linear Bandit Problem
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；RIKEN AIP（理化学研究所革新智能综合研究中心）；Tokyo Institute of Technology（东京工业大学）；Chuo University（中央大学）；Keio University（庆应义塾大学）；National Institute of Informatics（国立信息学研究所）；The University of Tokyo（东京大学）
本文针对稀疏线性赌博机问题，通过证明混合分布的贪心适用性并提出高斯混合、离散和径向分布相关的新分布类别，将贪心策略的理论保证扩展到具有原点非对称支撑的更广泛臂特征分布。
2024-03-29 cs.LG stat.ML
Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update
RIKEN AIP（日本理化学研究所高级研究所）；National Key Laboratory for Novel Software Technology（国家新型软件技术实验室）；School of Artificial Intelligence（人工智能学院）；The University of Tokyo（东京大学）
针对广义线性老虎机计算与统计效率难以兼顾的问题，提出基于在线镜像下降估计器的单次更新算法，在常数时空复杂度下实现几乎最优的遗憾界。
2025-10-30 cs.LG stat.ML
Online Nonsubmodular Optimization with Delayed Feedback in the Bandit Setting
针对老虎机场景下带延迟反馈的在线非子模优化问题，提出两种算法分别解决已有悔界依赖最大延迟、延迟与反馈效应耦合的局限，并通过结构化稀疏学习实验验证了方法优越性。
2025-08-01 cs.LG
Contextual Combinatorial Multi-output GP Bandits with Group Constraints
EPFL（洛桑联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Bilkent University（比尔肯特大学）
本文针对联邦多臂赌博机中带群组奖励约束的组合决策问题，提出双输出高斯过程建模和TCGP-UCB算法，在最大化超级臂奖励与满足群组约束间取得平衡，并证明其遗憾界优于现有非GP组合赌博机方法。
2023-07-10 cs.LG stat.AP stat.ML
Consequences of Kernel Regularity for Bandit Optimization
本文探讨了核正则性对老虎机优化的影响，通过分析不同核的谱性质，推导了显式的遗憾界，并提出了结合全局和局部方法的LP-GP-UCB算法。
2025-12-05 cs.LG stat.ML
Linear Bandit Algorithms with Sublinear Time Complexity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了两个线性强盗算法的每步复杂度的臂数亚线性$K$。该算法是专为臂组非常大且变化缓慢的应用而设计的。我们的关键认识是，选择一个手臂减少到最大内积搜索（MIPS）的问题，可以近似解决，而不会打破遗憾的保证。现有的近似MIPS求解器在次线性时间内运行。我们扩展了这些求解器，并为在线学习问题提供了理论保证，其中自适应性（即，后面的步骤取决于前面步骤中的反馈）成为独特的挑战。然后，我们明确的特征之间的权衡每一步的复杂性和遗憾。对于足够大的$K$，我们的算法具有次线性的每步复杂度和$\tilde O(\sqrt{T})$遗憾。经验上，我们评估我们提出的算法在一个合成的环境和现实世界中的在线电影推荐问题。我们提出的算法可以提供超过72倍的加速比相比，线性时间基线，同时保留类似的遗憾。
2022-06-09 cs.LG
Adversarial Attacks on Combinatorial Multi-Armed Bandits
Oregon State University（俄勒冈州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Princeton University（普林斯顿大学）
研究针对组合多臂老虎机（CMAB）的奖励投毒攻击，提出可攻击性的充要条件并设计攻击算法，揭示攻击难度取决于环境对对手的可知性，通过实验验证了理论发现。
2024-06-04 cs.DS cs.LG stat.ML
Contextual Linear Bandits with Delay as Payoff
University of Iowa（爱荷华大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
本文将延迟即收益模型扩展到上下文线性 bandit，提出基于体积张成集和分阶段臂淘汰的算法，并扩展至变化动作集，实验验证其优越性能。
2025-02-20 cs.LG
Nearly Minimax Optimal Regret for Multinomial Logistic Bandit
Seoul National University（首尔国立大学）
本文针对上下文多项式逻辑斯谛老虎机问题，在均匀和非均匀奖励下分别证明了极小极大最优遗憾界，并提出常数时间算法OFU-MNL+实现匹配上界，首次达到该问题的最优性。
2025-10-16 cs.LG stat.ML
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology（国防科技大学理学院）
针对对抗性线性上下文赌博机，提出在线内在线元学习算法 Meta-LinEXP3，利用任务先验指导内部学习器，实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
