New Classes of the Greedy-Applicable Arm Feature Distributions in the Sparse Linear Bandit Problem
NEC Corporation（日本电气股份有限公司）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；RIKEN AIP（理化学研究所革新智能综合研究中心）；Tokyo Institute of Technology（东京工业大学）；Chuo University（中央大学）；Keio University（庆应义塾大学）；National Institute of Informatics（国立信息学研究所）；The University of Tokyo（东京大学）
本文针对稀疏线性赌博机问题，通过证明混合分布的贪心适用性并提出高斯混合、离散和径向分布相关的新分布类别，将贪心策略的理论保证扩展到具有原点非对称支撑的更广泛臂特征分布。
2024-03-29 cs.LG stat.ML
Efficient Algorithms for Learning to Control Bandits with Unobserved Contexts
上下文强盗被广泛用于研究有限动作空间的基于学习的控制策略。虽然这个问题是很好的研究强盗与完美的观察上下文向量，很少有人知道的情况下，不完美的观察上下文。在这种情况下，现有的办法不适用，需要新的概念和技术框架。我们提出了一个可实现的后验抽样算法的土匪与不完美的背景下的意见，并研究其性能的学习最优决策。所提供的数值结果与算法的性能有关的不同数量的利益，包括武器的数量，尺寸，观察矩阵，后重新缩放因子，和信噪比。在一般情况下，所提出的算法暴露效率从噪声不完美的观察和采取相应的行动。启发性的理解，分析提供以及有趣的未来方向，它指向，以及进行了讨论。
2022-02-02 cs.LG stat.ML
Greedy Bandits with Sampled Context
George Mason University（乔治梅森大学）
贝叶斯策略的上下文强盗已被证明是有前途的单状态强化学习任务建模的不确定性，使用环境中的上下文信息。在本文中，我们提出了贪婪的土匪与采样上下文（GB-SC），上下文多武装土匪的方法，以开发先验的上下文信息使用汤普森采样，和手臂选择使用ε-贪婪的政策。框架GB-SC允许上下文奖励依赖性的评估，以及通过利用先前开发的部分可观察的上下文向量提供鲁棒性。我们的实验结果显示了在蘑菇环境中的预期遗憾和预期累积遗憾方面的竞争性能，以及对每个上下文子集如何影响决策的见解。
2020-07-27 cs.AI cs.LG
On the Robustness of Epoch-Greedy in Multi-Agent Contextual Bandit Mechanisms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文研究激励、上下文与对抗性点击破坏并存的多臂 bandit 机制，证明扩展后的 $ε$-greedy 可同时应对策略性臂和数据破坏，且性能随破坏量线性退化。
2023-07-15 cs.IR cs.LG stat.ML
One More Step Towards Reality: Cooperative Bandits with Imperfect Communication
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
合作强盗问题由于其在大规模决策中的应用而变得越来越重要。然而，这个问题的大多数研究只集中在完美的通信设置，而在大多数现实世界的分布式设置，通信往往是随机网络，任意腐败和延迟。在本文中，我们研究了三个典型的现实世界的通信场景下，即（a）消息传递随机时变网络，（b）即时奖励共享网络上的随机延迟，（c）消息传递与adversarially损坏的奖励，包括拜占庭通信。对于这些环境中的每一个，我们提出了分散的算法，实现有竞争力的性能，以及对所产生的群体遗憾的接近最优的保证。此外，在设置与完美的通信，我们提出了一种改进的延迟更新算法，优于现有的国家的最先进的各种网络拓扑结构。最后，我们提出了紧网络依赖的极大极小下限的群体遗憾。我们提出的算法是直接实现，并获得有竞争力的经验性能。
2021-11-24 cs.LG stat.ML
Be Greedy in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎国立统计与经济管理学院经济与统计研究中心）；Criteo AI Lab（Criteo人工智能实验室）
贪心算法是序贯决策问题中最简单的启发式算法，它在每一轮都不经意地采取局部最优选择，无视任何探索和/或信息收集的优势。从理论上讲，它有时表现不佳，例如在标准的多臂强盗问题中甚至是线性后悔（相对于时间范围）。另一方面，这种启发式在实践中表现得相当好，在一些非常特定的线性上下文和贝叶斯强盗模型中，它甚至具有次线性，甚至接近最优的后悔界限。我们建立在最近的工作路线，并调查土匪设置的武器数量相对较大，简单的贪心算法享有很高的竞争力的性能，在理论和实践中。我们首先提供了一个通用的最坏情况下的遗憾的贪心算法。当结合一些武器下采样，我们证明了它验证了近最优的最坏情况下的遗憾界在连续的，无限的和多臂强盗问题。此外，对于较短的时间跨度，贪婪的理论相对次优性甚至降低。因此，我们颠覆性地声称，对于许多有趣的问题和相关的视野，理论保证，实际性能和计算负担之间的最佳折衷肯定是遵循贪婪启发式。我们通过许多数值实验来支持我们的主张，这些实验表明，即使在相当长的时间范围内，与最先进的技术相比，也有显着的改进。
2021-01-04 cs.LG
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题，假设一个子模块和单调的奖励函数。在这项工作中，我们研究了一个更普遍的问题，即，当报酬函数不一定是单调的，并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法（RGL），并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明，在实验中，RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
A Smoothed Analysis of the Greedy Algorithm for the Linear Contextual Bandit Problem
强盗学习的特点是长期探索和短期剥削之间的紧张关系。然而，正如最近所指出的，在学习算法的选择对应于关于个体的重要决定（例如犯罪累犯预测、贷款和连续药物试验）的设置中，探索对应于明确牺牲一个个体的福祉以获得其他人的潜在未来利益。这引起了一个公平性问题。在这种情况下，人们可能会喜欢运行一个“贪婪”算法，它总是为手头的个人做出（短视的）最佳决策-但这样做可能会导致灾难性的学习失败。在本文中，我们考虑线性上下文强盗问题，并重新审视的贪心算法的性能。我们给出了一个平滑的分析，表明，即使上下文可能选择的对手，小扰动对手的选择足以为算法实现“没有遗憾”，也许（取决于具体的设置）与一个恒定的初始训练数据。这表明，“一般而言”（即在轻微扰动的环境中），勘探和开发在线性环境中不一定发生冲突。
2018-01-10 cs.LG
The Hardness Analysis of Thompson Sampling for Combinatorial Semi-bandits with Greedy Oracle
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
汤普森抽样（TS）在强盗领域引起了人们的极大兴趣。它在20世纪30年代被引入，但直到最近几年才在理论上得到证明。所有的分析组合多臂强盗（CMAB）设置需要一个精确的预言机提供任何输入的最优解。然而，这样的预言通常是不可行的，因为许多组合优化问题是NP-难的，只有近似预言可用。一个例子（Wang和Chen，2018）表明TS无法使用近似预言机进行学习。但是，这种oracle并不常见，它只针对特定的问题实例而设计。TS算法的收敛性分析是否可以扩展到CMAB算法的精确预言之外，仍然是一个悬而未决的问题。在本文中，我们研究这个问题下的贪婪预言机，这是一个常见的（近似）预言机与理论保证，以解决许多（离线）组合优化问题。我们给出了一个问题相关的后悔下界，其阶数为$Ω(\log T/Δ^2)$，用来量化TS在贪婪预言机下求解CMAB问题的难度，其中$T$是时间范围，$Δ$是奖励间隔.我们还提供了一个几乎匹配的后悔上限。这是TS用一个通用的近似预言机求解CMAB的第一个理论结果，打破了TS不能用近似预言机的误解。
2021-11-08 cs.DS cs.LG stat.ML
Greedy Algorithm for Structured Bandits: A Sharp Characterization of Asymptotic Success / Failure
Microsoft Research New York City（微软研究院纽约市）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文完整刻画了贪心算法在任意有限结构化赌博机中渐近成功的充要条件，即部分可辨识性，并将结果扩展到上下文赌博机与交互式决策。
2025-11-06 cs.DS cs.LG
Robust Bandit Learning with Imperfect Context
University of California, Riverside（加州大学河滨分校）
上下文多臂强盗中的标准假设是在臂选择之前完全知道真实上下文。然而，在许多实际应用中（例如，云资源管理），在ARM选择之前，上下文信息只能通过受到错误或对抗性修改的预测来获取。在本文中，我们研究了一个上下文的强盗设置，其中只有不完美的上下文可用于手臂选择，而真正的上下文是在每一轮结束时透露。我们提出了两个强大的手臂选择算法：MaxMinUCB（最大化最小UCB），最大限度地提高了最坏情况下的奖励，和MinWD（最小化最坏情况下的退化），最大限度地减少了最坏情况下的遗憾。重要的是，我们分析了MaxMinUCB和MinWD的鲁棒性，通过推导遗憾和奖励界限相比，一个预言，知道真正的上下文。我们的研究结果表明，随着时间的推移，MaxMinUCB和MinWD都表现为渐近以及他们的最佳同行，知道奖励函数。最后，我们将MaxMinUCB和MinWD应用于在线边缘数据中心选择，并运行合成模拟来验证我们的理论分析。
2021-04-04 cs.LG
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Kernel $ε$-Greedy for Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University（数学系、应用数学与统计学系，凯斯西储大学）
针对均值奖励函数位于再生核希尔伯特空间（RKHS）的带协变量多臂老虎机问题，提出基于在线加权核岭回归估计器的 $ε$-greedy 策略，证明了估计器一致性并实现了次线性及最优 $\sqrt{T}$ 遗憾界。
2025-06-01 cs.LG math.ST stat.ML
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen（鲁昂大学）；LITIS Lab（LITIS实验室）；Aix-Marseille University（艾克斯-马赛大学）；LIF（LIF实验室）
一些稀疏约束算法，如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法，通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度，然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的，特别是对于大规模和高维数据。在这项工作中，我们的目标是加速这些稀疏约束优化算法，利用关键的观察，这些算法的工作，只需要梯度的顶部条目的坐标。因此，我们引入基于贪婪方法和随机化方法的算法，旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题，找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解，我们能够提供一种基于Bandit的算法，以非常有效的方式直接估计顶部条目。理论观察指出，由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为，具有很高的概率，类似于他们的确切版本也给出了。我们已经进行了几个实验表明，贪婪的确定性和土匪的方法，我们提出可以实现一个数量级的加速，同时作为有效的精确梯度时，使用的算法，如OMP，弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
Learning from Imperfect Human Feedback: a Tale from Corruption-Robust Dueling
University of Chicago（芝加哥大学）；University of Virginia（弗吉尼亚大学）
本文研究从不完美人类反馈中学习（LIHF），将其建模为腐败规模随时间衰减的凹效用连续动作对决老虎机，提出了达到近乎最优遗憾下界的RoSMID算法，并构建了适用于其他梯度算法的通用抗腐败分析框架。
2024-10-14 cs.LG stat.ML
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology（武汉理工大学）；University of Paris-Sud XI（巴黎第十一大学）
针对非稳态多臂赌博机问题，通过分析一类标准奖励函数，建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件，并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
Elicitation and Decision Geometry in Single-Index Bandits
Case Western Reserve University（凯斯西储大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
针对双臂单指标上下文老虎机，提出自然边界学习（NBL）方法，利用序贯斯坦对比直接学习最优边界，在决策稳定性条件下实现对数遗憾，并通过数值实验验证。
2026-09-29 cs.LG stat.ML
Fractional Moments on Bandit Problems
Indian Institute of Technology Madras（印度马德拉斯理工学院）
强化学习解决了探索发现有利可图的行为和利用根据已经做出的最佳观察采取行动之间的困境。Bandit问题是无状态环境中的一类问题，代表了这种探索/利用情况。提出了一种基于分数期望的强盗问题的学习算法。理论上证明了该算法收敛于η-最优臂，并实现了O（n）的样本复杂度。实验结果表明，该算法产生的遗憾大大低于参数优化的eta-greedy和SoftMax方法和其他低样本复杂度的最先进的技术。
2012-02-14 cs.LG stat.ML
Budgeted Combinatorial Multi-Armed Bandits
我们考虑一个预算的组合多臂土匪设置，在每一轮，该算法选择一个超级手臂组成的一个或多个武器。我们的目标是在有限的预算范围内最大限度地减少所有回合后的总预期遗憾。现有的技术，在这方面的文献要么固定的预算，每轮或固定的数量的武器拉在每轮。我们的设置更一般，基于剩余预算和剩余回合数，算法可以决定每一轮要拉多少只手臂。首先，我们提出了CBwK-Greedy-UCB算法，它使用一个贪婪的技术，CBwK-Greedy，分配的武器轮。接下来，我们提出了一个减少这个问题的背包（BwK）与一个单一的拉。通过这种减少，我们提出了CBwK-LPUCB，巧妙地使用PrimalDualBwK。我们严格证明了CBwK-LP-UCB的遗憾界。我们通过实验比较了这两种算法，并观察到CBwK-Greedy-UCB比CBwK-LP-UCB表现得更好。我们还表明，对于非常高的预算，遗憾归零。
2022-02-13 cs.LG cs.MA
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Epsilon non-Greedy: A Bandit Approach for Unbiased Recommendation via Uniform Data
Sharif University of Technology（谢里夫理工大学）
针对推荐系统持续训练引发的自反馈循环偏差问题，提出基于上下文多臂老虎机的Epsilon non-Greedy框架，用少量均匀数据学习无偏估计量并优化后续训练数据，结合新离线序列训练模式，实验证明其优于现有去偏方法。
2023-10-07 cs.LG
Combinatorial Stochastic-Greedy Bandit
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
针对组合多臂老虎机仅能观测联合奖励、基础臂规模大的问题，提出SGB算法，通过采样优化比例未选臂的方式提升效率，证明了更优的遗憾界，且在社交影响力最大化任务中性能随k增大优势更显著。
2023-12-13 cs.AI cs.LG math.CO
A General Theory of the Stochastic Linear Bandit and Its Applications
Stanford University（斯坦福大学）
最近越来越多的实验在实践中被采用，导致了对多武装匪徒的关注激增，作为一种减少在线实验机会成本的技术。在这种情况下，决策者在一组给定的行动中依次选择，观察它们的噪声奖励，并旨在最大化她的累积预期奖励（或最小化后悔）在长度为$T$的范围内。在本文中，我们介绍了一个一般的分析框架和一个家庭的随机线性强盗问题，其中包括著名的算法，如在面对的不确定性线性强盗（OFUL）和汤普森采样（TS）作为特殊情况下的优化算法。我们的分析技术桥接了先前文献的几个流，并产生了一些新的结果。首先，我们的新概念乐观的期望产生了一个新的算法，称为筛选贪婪（SG），减少了过度探索问题的OFUL。SG利用这些数据来丢弃具有相对较低不确定性的动作，然后从剩余的动作中选择一个。除了证明SG在理论上是速率最优的，我们的经验模拟表明，SG优于现有的基准，如贪婪，OFUL和TS。我们的通用框架的第二个应用是（据我们所知）在与Goldenshluger和Zeevi（2013）的条件类似的条件下，OFUL和TS的第一个多对数（在$T$中）遗憾界限。最后，我们通过因子$\sqrt{k}$得到了$k$武装的上下文MABs的更精确的后悔界限.
2022-03-31 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon（亚马逊）；Deepmind（深度思维）；Miami Herbert Business School, University of Miami（迈阿密大学迈阿密赫伯特商学院）；Krannert School of Management, Purdue University（普渡大学克兰纳特管理学院）
本文提出了随机低秩张量老虎机，用于解决多维在线决策问题，通过张量消元、张量周期贪婪和张量集成采样算法，在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
On Adaptive Estimation for Dynamic Bernoulli Bandits
Imperial College London（帝国理工学院）
多臂强盗（MAB）问题是探索-开发困境的一个典型例子。它关注的是通过从多臂老虎机中顺序地拉动臂来最大化赌徒的总奖励，其中每个臂与奖励分配相关联。在静态MAB中，奖励分布不随时间改变，而在动态MAB中，每个臂的奖励分布可以改变，并且最佳臂可以随时间切换。受许多实际应用的激励，奖励是二进制的，我们专注于动态伯努利强盗。标准方法如$ε$ -贪婪和置信上限（UCB），依赖于样本均值估计，通常无法跟踪动态问题的潜在奖励的变化。在本文中，我们通过部署自适应估计的标准方法，克服了缓慢的变化响应的缺点，并提出了一个新的家庭的算法，这是自适应版本的$ε$ -贪婪，UCB，和汤普森采样。这些新方法简单易行。此外，它们不需要任何关于动态奖励过程的先验知识，这对实际应用很重要。我们研究了新算法在不同的情况下，数值和结果表明我们的算法在动态环境中的坚实的改进。
2018-05-15 cs.LG stat.ML
Regression Oracles and Exploration Strategies for Short-Horizon Multi-Armed Bandits
Google（谷歌）
本文探讨了多臂强盗（MAB）战略在非常短的地平线的情况下，即，当强盗策略只允许与环境的非常少的交互时。在MAB文献中，这是一个未充分研究的环境，在游戏中有许多应用，例如玩家建模。具体而言，我们追求三种不同的理念。首先，我们探索了回归预言机的使用，它用线性回归模型取代了epsilon-greedy等策略中使用的简单平均值。其次，我们研究了不同的勘探模式，如强制勘探阶段。最后，我们介绍了一个新的变种的UCB 1策略称为UCBT，有有趣的属性，没有可调参数。我们目前的实验结果在一个域的动机exergames，其目标是最大限度地提高球员的日常步骤。我们的研究结果表明，结合ε贪婪或ε减少回归预言机优于所有其他测试策略在短期设置。
2021-02-10 cs.AI cs.LG stat.ML
Blocking Bandits
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
提出一种拉动臂后使其暂时不可用的新颖多臂老虎机设置，证明贪心算法渐近最优，并设计基于UCB的算法实现对数级累积遗憾。
2024-07-29 cs.LG stat.ML
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
在生成模型选择中，混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率，挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Safe Linear Stochastic Bandits
Cornell University（康奈尔大学）
我们介绍了安全的线性随机强盗框架-线性随机强盗的推广-在每个阶段，学习者需要选择一个手臂与预期的奖励，不低于一个预定的（安全）阈值的高概率。我们假设学习者最初知道一个已知是安全的手臂，但不一定是最佳的。利用这一假设，我们引入了一种学习算法，该算法系统地将已知的安全武器与探索武器相结合，以随着时间的推移安全地扩展安全武器的集合，同时促进后续阶段的安全贪婪利用。除了确保满足的安全约束在每个阶段的发挥，所提出的算法表现出预期的遗憾，不超过$O(\sqrt{T}\log (T))$后，$T$阶段的发挥。
2019-11-21 cs.LG stat.ML
Geometry-Aware Approaches for Balancing Performance and Theoretical Guarantees in Linear Bandits
Graduate School of Business, Stanford University（斯坦福大学商学院）
针对线性老虎机算法实验性能与理论后悔界不符的问题，提出追踪不确定性椭球几何性质的数据驱动方法，推导基础算法的几何感知后悔界并实现过程校正，达到极小极大最优后悔且保留原算法实验优势。
2025-05-18 cs.LG stat.ML
Structured Linear Contextual Bandits: A Sharp and Geometric Smoothed Analysis
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
Bandit学习算法通常涉及探索和利用的平衡。然而，在许多实际应用中，很少遇到需要系统探索的最坏情况。在这项工作中，我们考虑了结构化线性上下文强盗的平滑设置，其中对抗性上下文受到高斯噪声的干扰，并且未知参数$θ^*$具有结构，例如，稀疏性、组稀疏性、低秩等。我们提出了用于单参数和多参数的简单贪心算法（即，每个上下文的不同参数）设置，并为具有任何假定结构的$θ^*$提供统一的遗憾分析。遗憾的界限表示的几何量，如高斯宽度与$θ^*$的结构。我们还获得了更清晰的遗憾界相比，早期的工作，非结构化$θ^*$设置作为我们改进的分析的结果。我们表明，有一个简单的贪心算法工程的平滑设置中的隐式探索。
2020-02-26 cs.LG math.ST stat.ML
Restless bandits with imperfect binary feedback: PCL-indexability analysis and computation
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
针对具有二元隐状态和不完美二元反馈的 restless bandits，提出基于部分守恒律（PCL）的分析与计算框架，通过验证定理、确定性骨架和组合词方法建立可索引性并计算 Whittle 指数，实验表明 MP 指数策略优于基准策略。
2026-06-11 cs.LG math.OC
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
University of Chinese Academy of Sciences（中国科学院大学）；Didi Chuxing（滴滴出行）
上下文多臂强盗（MAB）在各种问题上实现了尖端性能。然而，当涉及到推荐系统和在线广告等现实场景时，必须考虑探索的资源消耗。在实践中，通常存在与在环境中执行推荐（arm）相关联的非零成本，并且因此，应当利用固定的探索成本约束来学习策略。直接学习全局最优策略具有挑战性，因为它是一个NP难问题，并且显著地使强盗算法的探索和利用权衡复杂化。现有的方法侧重于解决问题，通过采用贪婪的政策，估计预期的回报和成本，并使用贪婪的选择，根据每个手臂的预期回报/成本比使用历史观察，直到勘探资源耗尽。然而，现有的方法很难扩展到无限的时间范围，因为学习过程将终止时，没有更多的资源。在本文中，我们提出了一个层次自适应上下文强盗方法（HATCH）进行策略学习的上下文强盗预算约束。HATCH采用了一种自适应的方法来分配资源的基础上剩余资源/时间和不同的用户上下文之间的奖励分布的估计的探索。此外，我们充分利用上下文特征信息，以找到最佳的个性化推荐。最后，为了证明理论上的保证，我们提出了一个遗憾界分析，并证明了HATCH实现了一个遗憾界低至$O(\sqrt{T})$。在合成数据集和实际应用中的实验结果表明了该方法的有效性和效率。
2020-04-06 cs.LG stat.ML
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Rebounding Bandits for Modeling Satiation Effects
Carnegie Mellon University（卡内基梅隆大学）
心理学研究表明，对许多商品的享受是受满足感的影响，在重复接触同一物品后，短期满意度会下降。然而，所提出的算法为动力推荐系统很少模型这些动态，而不是进行，好像用户的偏好是固定的时间。在这项工作中，我们介绍了反弹土匪，多臂土匪设置，饱足动力学建模为时不变的线性动力系统。每只手臂的预期回报随着连续接触它而单调下降，并且每当手臂不被拉动时，就会向初始回报反弹。与经典的强盗设置不同，解决反弹强盗的方法必须提前计划，基于模型的方法依赖于估计饱足动力学的参数。我们的规划问题的特点，表明贪婪的政策是最佳的武器表现出相同的确定性动态。为了解决未知参数的随机饱和动力学，我们提出了探索估计计划（EEP），一种算法，拉武器有条不紊，估计系统动态，然后相应的计划。
2021-10-27 cs.LG stat.ML
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China（中国科学技术大学信息科学技术学院）
我们考虑经典的多臂强盗问题的一个变种，其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组，每组具有共同的参数。因此，当玩家在每个时隙选择手臂时，同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法，UCB-g，解决了区域强盗问题相结合的置信上限（UCB）和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界，证明了UCB-g的序最优性。此外，我们提出了SW-UCB-g，这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
A Multi-Arm Bandit Approach To Subset Selection Under Constraints
IIIT Hyderabad（海得拉巴国际信息技术学院）
我们探讨了一类问题，中央计划需要选择一个子集的代理，每个不同的质量和成本。规划者希望最大化其效用，同时确保所选代理的平均质量高于某个阈值。当代理的质量是已知的，我们制定我们的问题作为一个整数线性规划（ILP），并提出了一个确定性的算法，即\dpss \，提供了一个精确的解决方案，我们的ILP。然后，我们考虑设置时的代理人的素质是未知的。我们将其建模为多臂强盗（MAB）问题，并提出\newalgo \来学习多轮的质量。我们表明，经过一定数量的回合，$τ$，\newalgo \输出的代理，满足平均质量约束的一个子集的概率很高。接下来，我们提供了$τ$的界限，并证明了在$τ$轮后，该算法会招致$O(\ln T)$的遗憾，其中$T$是总轮数。我们通过仿真进一步说明了\newalgo \的有效性。为了克服\dpss的计算限制，我们提出了一个多项式时间贪心算法，即\greedy，它提供了一个近似的解决方案，我们的ILP。通过实验比较了\dpss \和\greedy \的性能。
2021-02-09 cs.LG
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
Constant or logarithmic regret in asynchronous multiplayer bandits
ENSAE（国立统计与经济管理学院）；Crest（经济与统计研究中心）；Criteo AI Labs（科韬人工智能实验室）；INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）
本文研究异步多人赌博机问题，提出集中式算法 Cautious Greedy，在最优策略覆盖所有臂时实现常数遗憾，否则为对数遗憾，并证明其在数据依赖项上最优，突破了此前 $O(T^{2/3})$ 的遗憾上界。
2023-05-31 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对多臂老虎机问题中奖励分布信息难获取的痛点，提出贪心与强制探索交替的新型算法，无需分布信息即可适配多种分布，给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
Generalized Bandit Regret Minimizer Framework in Imperfect Information Extensive-Form Game
针对未知动态 IIEG 的老虎机反馈均衡学习问题，提出广义遗憾最小化框架，并据此给出无模型且计算高效的 SIX-OMD，显著改进收敛速率。
2023-08-18 cs.GT cs.LG
Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow
对于营销，我们有时需要按顺序推荐多个页面的内容。与一般的顺序决策过程不同，用例具有更简单的流程，其中客户每次看到每个页面上的推荐内容时只能返回反馈，因为在过程中向前移动或从过程中删除，直到终止状态。我们把这种类型的问题称为线性流中的顺序决策。我们建议制定的问题作为一个MDP与土匪的土匪采用模型的转移概率矩阵。在推荐阶段，我们使用汤普森抽样（TS）对转移概率进行抽样，并通过精确动态规划分配具有解析解的最佳动作序列。我们制定的问题的方式，使我们能够利用TS的效率，在平衡勘探和开发和Bandit的方便建模行动的不兼容性。在仿真研究中，我们观察到所提出的MDP与Bandits算法优于Q学习与$ε$ -贪婪和减少$ε$，独立Bandits，和互动Bandits。我们还发现，该算法的性能是最强大的跨页相互依赖强度的变化。
2022-03-16 cs.LG stat.ML
Infrequent Exploration in Linear Bandits
University of Washington（华盛顿大学）；Seoul National University（首尔国立大学）
本文提出用于线性老虎机不频繁探索的通用模块化框架 INFEX，在按计划执行探索策略、其余时间采用贪心动作的同时，实现了与标准高效算法相匹配的实例依赖遗憾，并提升了计算效率。
2025-10-29 cs.LG
Low-Complexity Algorithm for Restless Bandits with Imperfect Observations
Nanjing University（南京大学）；National Center for Applied Mathematics（国家应用数学中心）；University of Cambridge（剑桥大学）
针对不完美观测下的不安分多臂老虎机，提出简化动态规划方程的低复杂度算法，并建立其与 Whittle 指数的等价性、同质系统最优性及一般情形近优性。
2024-05-13 cs.LG math.OC
Annealed Softmax Greedy in Many-Armed Bayesian Bandits
Stanford University（斯坦福大学）
本文研究退火Softmax贪婪算法在多臂贝叶斯伯努利老虎机中的贝叶斯遗憾，证明在先验满足线性上尾条件（β=1的β正则性）时，算法达到接近最优的贝叶斯遗憾率，并与RLVR方法形成结构类比。
2026-08-18 cs.AI cs.LG
Adversarial Attacks on Stochastic Bandits
UW-Madison（威斯康星大学麦迪逊分校）；Google Brain（谷歌大脑）
我们研究了对抗攻击，操纵奖励信号来控制随机多臂强盗算法选择的行动。我们提出了第一个攻击两个流行的强盗算法：$ε$ -贪婪和UCB，\emph{without}知识的平均回报。攻击者只能花费对数的努力，乘以一个特定于问题的参数，随着强盗问题变得更容易攻击，这个参数会变得更小。结果意味着攻击者可以轻松地劫持强盗算法的行为，以促进或阻碍某些行为，例如特定的医疗。随着土匪在实践中的使用越来越广泛，我们的研究暴露了一个重大的安全威胁。
2018-10-29 cs.AI cs.CR cs.LG
An Asymptotically Optimal Strategy for Constrained Multi-armed Bandit Problems
Sogang University（西江大学）
对于随机多臂强盗（MAB）问题，从一个约束模型，推广经典的，我们证明了一个渐近最优性是可以实现的一个简单的策略扩展从$ε_t$ -贪婪的战略。我们提供了一个有限的时间下界的概率正确选择的最佳近可行的手臂，持有所有的时间步骤。在某些条件下，当时间$t$趋于无穷大时，该界趋近于1。还讨论了具有$(1-\frac{1}{t})^4$数量级的渐近收敛速率的$\{ε_t\}$的特定示例序列，该序列从足够大的$t$成立。
2018-05-03 cs.LG math.OC stat.ML
When Greedy Wins: Emergent Exploitation Bias in Meta-Bandit LLM Training
Duke University（杜克大学）；Mila - Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
该研究比较 SFT 与多种定制奖励 RL 对 LLM 老虎机探索策略的影响，发现性能提升伴随更贪婪的利用偏差，并强调奖励设计与超越平均遗憾的评估。
2025-09-29 cs.AI cs.CL cs.LG
