Rotting Bandits
The Technion（以色列理工学院）
多武装匪徒（MAB）框架强调了获取新知识（探索）和利用现有知识（利用）之间的紧张关系。在经典的MAB问题中，决策者必须在每个时间步选择一个手臂，并在此基础上获得奖励。决策者的目标是最大化她的累积期望回报的时间范围。MAB问题已经被广泛研究，特别是在假设武器的奖励分布随时间是平稳的或准平稳的情况下。我们考虑MAB框架的一个变体，我们称之为腐烂的强盗，其中每个手臂的预期奖励作为被拉动次数的函数衰减。我们受到许多现实世界场景的激励，例如在线广告，内容推荐，众包等。我们提出的算法，伴随着模拟，并推导出理论保证。
2017-11-02 cs.LG stat.ML
Adaptive Regret for Bandits Made Possible: Two Queries Suffice
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对快速变化环境下的在线优化问题，提出每轮仅需两次查询的强自适应老虎机学习器StABL，实现紧的自适应遗憾界，并扩展至老虎机凸优化及实验验证。
2024-01-17 cs.LG
Beyond Static Bias: Adaptive Multi-Fidelity Bandits with Improving Proxies
Department of Industrial and Systems Engineering, University of Houston（休斯敦大学工业与系统工程系）；School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）
本文研究了具有改进代理的自适应多保真度老虎机问题，提出TACC算法通过动态调整采样策略以降低成本并提高效率。
2026-05-08 cs.LG
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）；Ads Online Experimentation（广告在线实验部）；Central Applied Science（应用科学中央研究所）
针对奖励依赖于未观测马尔可夫状态的赌博机问题，提出基于LinUCB的自适应算法，通过滞后动作-奖励对和探针指纹两种摘要来区分状态，并采用残差、边际和过时测试动态更新指纹，在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Batched Neural Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）；Google Research NYC（谷歌研究院纽约分部）
在许多序贯决策问题中，个体被分成若干批，决策者只允许在批的末尾改变策略。这些批量问题有大量的应用，从临床试验到众包。受此启发，我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法，该算法结合了神经网络与乐观，以解决探索-开发权衡，同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB，并证明它实现了与完全顺序版本相同的遗憾，同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
Thresholding Bandit Problem with Both Duels and Pulls
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
持有武器的强盗问题（TBP）的目标是找到一组武器的平均回报大于给定的阈值。我们考虑一种新的TBP设置，其中除了拉臂之外，还可以\emph{duel}双臂，并获得具有更大均值的臂。在我们的众包激励应用程序中，双臂决斗比直接拉动更具成本效益和时间效率。我们把这个问题称为带有决斗选择的TBP（TBP-DC）。本文提出了一种基于排序和二分搜索交替进行的排序搜索（RS）算法。我们证明了RS的理论保证，也给出了下界，以显示它的最优性。实验表明，RS优于以前的基线算法，只使用拉或决斗。
2020-06-12 cs.LG stat.ML
Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits
ENS Rennes（雷恩高等师范学院）；Orange Labs（奥兰奇实验室）；Paul Sabatier University（保罗·萨巴蒂埃大学）
针对集中式智能充电方案可扩展性差、存在单点故障与隐私隐患的问题，提出基于自适应多智能体多臂老虎机的完全分布式智能充电系统，可应对系统不确定性，兼具分布式、可扩展、实时、无模型与公平性优势。
2023-07-20 cs.LG
Statistical Inference with M-Estimators on Adaptively Collected Data
Harvard University（哈佛大学）
Bandit算法越来越多地用于现实世界的顺序决策问题。与此相关的是，人们越来越希望能够使用由此产生的数据集来回答科学问题，例如：一种类型的广告是否会导致更多的购买？在哪些情况下移动健康干预是有效的？然而，经典的统计方法无法提供有效的置信区间时，使用与强盗算法收集的数据。最近已经为简单模型开发了替代方法（例如，平均值的比较）。然而，缺乏使用更复杂的模型对用（上下文）强盗算法收集的数据进行统计推断的通用方法;例如，当前方法不能用于对二进制奖励的逻辑回归模型中的参数进行有效推断。在这项工作中，我们开发的理论证明使用M-估计-其中包括基于经验风险最小化以及最大似然估计-自适应算法，包括（上下文）强盗算法收集的数据。具体而言，我们表明，M-估计，修改特定的自适应权重，可以用来构建渐近有效的置信区域的各种推断目标。
2021-11-20 cs.LG
Adaptive Best-of-Both-Worlds Algorithm for Heavy-Tailed Multi-Armed Bandits
Tsinghua University（清华大学）
在本文中，我们推广的概念，重尾多武装匪徒的对抗环境中，并开发了强大的两全其美的算法重尾多武装匪徒（MAB），其中损失的$α$ -th（$1<α\le 2$）时刻有界的$σ^α$，而方差可能不存在。具体地说，我们设计了一个算法\texttt{HTINF}，当重尾参数$α$和$σ$为智能体所知时，\texttt{HTINF}同时实现了随机环境和对抗环境下的最优后悔，而无需先验地知道实际的环境类型.当$α,σ$未知时，\texttt{HTINF}在随机情况下实现了$\log T$式的实例依赖后悔，在对抗情况下实现了$o(T)$无后悔保证.我们进一步开发了一个算法\texttt{AdaTINF}，实现$\mathcal O(σK^{1-\nicefrac 1α}T^{\nicefrac{1}α})$ minimax最优遗憾，即使在对抗设置，没有先验知识的$α$和$σ$。这一结果与已知的后悔下限相匹配（Bubeck等人，2013），其假设随机环境，并且$α$和$σ$都是已知的。据我们所知，所提出的\texttt{HTINF}算法是第一个享受两全其美的遗憾保证，和\texttt{AdaTINF}是第一个算法，可以适应$α$和$σ$，以实现最佳的间隙独立的遗憾界在经典的重尾随机MAB设置和我们的新的对抗配方。
2022-06-13 cs.LG
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
针对顺序学习方法的策略行为，例如在实际推荐系统中的“点击框架”，已经被广泛观察到。这种行为的动机，我们研究的组合多武装土匪（CMAB）的策略操纵下的奖励，其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置（例如对抗攻击和对抗腐败）的放松。本文提出了一种组合UCB算法的策略变体，在策略操作下，该算法的遗憾最多为$O(m\log T + m B_{max})$，其中$T$为时间范围，$m$为臂数，$B_{max}$为臂的最大预算，并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统，在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限，在各种制度的操纵预算。
2021-11-19 cs.AI cs.LG
Online Sign Identification: Minimization of the Number of Errors in Thresholding Bandits
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学校）；UMR 9189 CRIStAL（CRIStAL联合研究单位）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；Grenoble INP（格勒诺布尔理工学院）；LJK（LJK实验室）；Crest（CREST研究中心）；Ensae（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
在固定预算阈值强盗问题中，算法顺序地将预算数量的样本分配到不同的分布。然后，它预测每个分布的平均值是大于还是小于给定的阈值。我们介绍了一个大家庭的算法（包含大多数现有的相关），灵感来自弗兰克-沃尔夫算法，并提供了一个全面而通用的分析其性能。这使我们能够构建新的显式算法，为广泛的一类问题，其损失是在一个小的常数因子的非自适应Oracle的。非常有趣的是，我们观察到自适应方法在经验上大大优于非自适应神谕，这在标准在线学习设置中是一种不常见的行为，例如后悔最小化。我们解释这个令人惊讶的现象上有见地的玩具问题。
2021-10-18 cs.LG
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
CB-Orchestrator: Adaptive Workflow Optimization for LLM Agents via Contextual Bandits
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Huawei Technologies（华为技术有限公司）；City University of Hong Kong（香港城市大学）
本文针对LLM智能体工作流优化的高成本与复用问题，提出CB-Orchestrator框架，通过解耦工作流生成与选择、结合上下文多臂老虎机方法，在五个基准上实现性能提升并显著降低令牌开销。
2026-10-12 cs.LG
Adaptive Sample Sharing for Multi Agent Linear Bandits
本文研究多智能体线性老虎机中数据共享对遗憾最小化的影响，提出不依赖参数结构假设的BASS算法，形式化参数估计偏差与不确定性权衡，并在合成及真实数据集上验证其高效性及聚类结构恢复能力。
2025-05-27 cs.LG stat.ML
Adaptive Monte Carlo via Bandit Allocation
University of Alberta（阿尔伯塔大学）
我们考虑在一组无偏蒙特卡罗估计之间顺序选择的问题，以最小化最终组合估计的均方误差（MSE）。通过减少这个任务的随机多臂强盗问题，我们表明，发达的分配策略可以用来实现MSE的方法，在回顾中选择的最佳估计。然后，我们扩展这些发展的情况下，替代估计有不同的，可能是随机的成本。结果是一组新的自适应蒙特卡罗策略，提供比以前的方法更强的保证，同时提供实际的优势。
2014-05-13 cs.AI cs.LG
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子：区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下，当前最先进的方法以次优的方式进行探索，并且需要强的“特征多样性”条件。在本文中，我们介绍了新的算法，a）探索在数据自适应的方式，和b）提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件，其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性，同时恢复两个先前的结果，在不同的分布假设下。第二种方法完全消除了分布假设，扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits
Twitter Inc.（推特公司）；University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究了机会主义强盗-一个新的变种强盗拉一个次优的手臂在不同的环境条件下，如网络负载或产品价格变化的遗憾。当负载/价格低时，拉动次优臂的成本/遗憾也低（例如，尝试次优网络配置）。因此，直观地说，我们可以在负载/价格较低时进行更多探索，而在负载/价格较高时进行更多开发。受这种直觉的启发，我们提出了一个自适应置信上限（AdaUCB）算法，以适应性地平衡机会主义强盗的探索-利用权衡。我们证明了AdaUCB比传统的UCB算法以更小的系数实现了$O(\log T)$遗憾。此外，如果当负载水平低于某个阈值时探索成本为零，则AdaUCB实现关于$T$的$O(1)$遗憾。最后，基于合成数据和真实数据的实验结果表明，AdaUCB算法在大的负载/价格波动下，性能明显优于UCB和TS（Thompson Sampling）等其他Bandit算法.
2018-11-30 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Delay-Adaptive Learning in Generalized Linear Contextual Bandits
Stanford University（斯坦福大学）；University of Oxford（牛津大学）；New York University（纽约大学）
在本文中，我们考虑在线学习在广义线性上下文土匪奖励不立即观察。相反，决策者只有在一些延迟之后才能获得奖励，这是未知的和随机的。我们研究了两个著名的算法适应这种延迟设置的性能：一个基于置信上限，和其他基于汤普森采样。我们描述了这两种算法应如何适应处理延迟的修改，并给出两种算法的遗憾表征。我们的研究结果有助于建立这两种算法可以是强大的延迟，从而帮助澄清和重申这两种算法，这是广泛部署在现代推荐引擎的经验成功的上下文土匪文学的广阔前景。
2020-03-11 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Department of Information Technology, SRMIST（SRMIST信息科技系）；Indian Institute of Technology, Madras（印度理工学院Madras分校）
本文提出将上下文赌博机与深度Q网络结合，根据状态上下文自适应选择动作重复率，在Atari 2600游戏中显著优于静态持续时间基线，为游戏和机器人等实时应用提供了可扩展的解决方案。
2025-06-17 cs.AI cs.LG
Rate-adaptive model selection over a collection of black-box contextual bandit algorithms
我们考虑在随机上下文强盗设置的模型选择任务。假设我们给出一个基本上下文强盗算法的集合。我们提供了一个主算法，它结合了它们，并实现了相同的性能，直到常数，作为最好的基础算法，如果它已经运行自己。我们的方法只需要每个算法满足一个高概率的遗憾界。我们的过程非常简单，基本上做了以下几点：对于一个精心选择的概率序列$(p_{t})_{t\geq 1}$，在每一轮$t$中，它要么随机选择跟随哪个候选人（概率为$p_{t}$），要么在每个候选人的相同内部样本大小下比较每个候选人的累积奖励，并选择赢得比较的那个（概率为$1-p_{t}$）。据我们所知，我们的建议是第一个速率自适应的一般黑盒上下文强盗算法的集合：它实现了相同的遗憾率作为最佳候选。我们证明了我们的方法与仿真研究的有效性。
2020-06-05 cs.LG stat.ML
LinearAPT: An Adaptive Algorithm for the Fixed-Budget Thresholding Linear Bandit Problem
National Taiwan University（台湾大学）
针对随机多臂老虎机中的固定预算阈值线性老虎机问题，提出新型自适应算法LinearAPT，该算法有估计损失理论上界，在合成与真实数据集上表现鲁棒，兼具自适应性、简洁性与计算效率。
2024-03-10 cs.LG stat.ML
Optimal and Adaptive Off-policy Evaluation in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们研究了在情境强盗模型下的非策略评估问题-利用一个目标策略收集的数据来估计另一个策略的价值。我们认为一般（不可知）设置没有访问一致的奖励模型，并建立一个最小最大下限的均方误差（MSE）。的界限是匹配常数的逆倾向评分（IPS）和双稳健（DR）估计。这突出了不可知背景设置的困难，与多武装匪徒和上下文匪徒相比，可以访问一致的奖励模型，其中IPS是次优的。然后，我们提出了一种新的估计器，它可以使用现有的奖励模型（不一定是一致的），以实现更好的偏差-方差权衡比IPS和DR。我们证明了其MSE的上限，并证明了它的好处，经验上的不同收集的数据集，往往优于以前的工作的数量级。
2017-11-11 cs.LG stat.ML
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Adaptive Requesting in Decentralized Edge Networks via Non-Stationary Bandits
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）；Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）
本文提出了一种针对去中心化边缘网络中信息新鲜度优化的自适应老虎机算法，通过自适应窗口和周期监控实现近最优性能。
2026-01-17 cs.LG cs.MA
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
On Elimination Strategies for Bandit Fixed-Confidence Identification
Meta AI；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
消除算法的强盗识别，修剪合理的正确答案顺序，直到只有一个仍然是计算方便，因为他们随着时间的推移减少了问题的大小。然而，现有的消除策略往往不完全自适应（他们更新他们的采样规则不频繁），并不容易扩展到组合设置，其中的答案集是指数大的问题维度。另一方面，大多数现有的完全自适应策略，以解决一般的识别问题的计算要求，因为他们反复测试每个答案的正确性，从来没有减少问题的大小。我们表明，自适应方法可以修改为在停止和采样规则中使用消除，从而获得这两个世界中的最佳效果：算法（1）保持完全自适应，（2）遭受样本复杂度永远不会比它们的非消除对应物更差，（3）可证明早期消除某些错误答案。我们证实了这些好处的实验，消除显着提高计算复杂性的自适应方法对常见的任务，如最佳臂识别线性土匪。
2022-10-24 cs.LG stat.ML
ADAM Optimization with Adaptive Batch Selection
Seoul National University（首尔国立大学）
本文提出AdamCB，结合组合老虎机技术改进ADAM优化器，提升收敛速度和理论保证，实验证明其优于现有方法。
2025-12-07 cs.LG stat.ML
Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
研究了具有复合匿名反馈的多臂强盗问题。在这个模型中，拉一只手臂的奖励会在一段时间内传播（我们称这段时间为奖励间隔），玩家会收到这个动作的部分奖励，与拉其他手臂的奖励相交织。该模型的现有结果需要关于奖励区间大小的先验知识作为其算法的输入。在本文中，我们提出了自适应算法的随机和对抗的情况下，不需要任何先验信息的奖励区间。对于随机的情况下，我们证明了我们的算法保证了一个遗憾，符合下界（顺序）。对于对抗的情况下，我们提出了第一个算法，以联合处理非遗忘的对手和未知的奖励区间大小。我们还根据真实世界的数据集进行模拟。结果表明，我们的算法优于现有的基准。
2020-12-15 cs.LG stat.ML
Adaptive Endpointing with Deep Contextual Multi-armed Bandits
Amazon（亚马逊）
本文提出一种基于深度上下文多臂老虎机的自适应端点检测方法，利用在线奖励信号学习最优配置，避免网格搜索，在保持低延迟的同时减少早期截断错误。
2023-03-23 cs.LG eess.AS
Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits
Stern School of Business（斯特恩商学院）；New York University（纽约大学）；Institute for Program Structures and Data Organization（程序结构与数据组织研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Kyoto University（京都大学）
本文提出自适应重置老虎机算法 ADR-bandit，利用自适应窗口技术处理全局非平稳多臂老虎机问题，并在突变与渐变环境中证明其具有近乎最优性能，实验显示其优于现有方法。
2023-10-25 cs.LG stat.ML
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出ONLINESUBMOD方法，通过多臂老虎机框架和亚模函数优化，实现自适应子集选择，提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
CoCoB: Adaptive Collaborative Combinatorial Bandits for Online Recommendation
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院）
本文提出CoCoB算法，通过用户侧与物品侧的双侧老虎机架构自适应利用邻居偏好，解决了聚类老虎机中相似用户定义不清及缺乏合适邻居时的推荐质量下降问题，并在三个数据集上取得F1平均提升2.4%的效果。
2025-05-05 cs.AI cs.IR cs.LG
Challenges in Statistical Analysis of Data Collected by a Bandit Algorithm: An Empirical Exploration in Applications to Adaptively Randomized Experiments
University of Toronto（多伦多大学）；Sapienza University of Rome（罗马第一大学）；University of Cambridge（剑桥大学）；Universitè Laval（拉瓦尔大学）；Carleton College（卡尔顿学院）
几十年来，多臂强盗算法一直被认为是自适应随机实验的有用方法。在此类实验中，算法会改变分配给参与者的手臂（例如帮助学生学习的替代干预措施），目标是为尽可能多的参与者分配更高回报的手臂。我们应用强盗算法汤普森采样（TS）运行自适应实验在三个大学类。教师看到了尝试快速使用数据给他们的学生在实验中更好的武器（例如，更好地解释一个概念）的巨大价值。然而，我们的部署说明了科学家和从业者使用这种自适应实验的主要障碍：与传统的均匀随机分配相比，缺乏对特定现实世界实验的统计分析受到影响程度的量化见解（Pallmann et al，2018; FDA，2019）。因此，我们使用我们的案例研究的无处不在的双臂二进制奖励设置经验调查的影响，使用汤普森采样，而不是均匀的随机分配。在这种情况下，使用常见的统计假设检验，我们表明，使用TS收集数据可以使假阳性率（FPR;当不存在差异时错误地报告差异）和假阴性率（FNR;当存在差异时未能报告差异）增加一倍。
2021-03-26 cs.LG stat.AP
Learning Modular Safe Policies in the Bandit Setting with Application to Adaptive Clinical Trials
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
随机多臂强盗问题是一个著名的模型，用于研究勘探开发权衡。它在适应性临床试验中具有重要的可能应用，该试验允许患者的治疗分配概率的动态变化。然而，大多数的强盗学习算法的设计目标是最小化期望的遗憾。虽然这种方法在许多领域都很有用，但在临床试验中，它可能对离群数据很敏感，特别是当样本量很小时。本文定义并研究了一个新的鲁棒性判据。具体来说，我们考虑优化的回报率分布函数作为后悔措施。这为从业者提供了更大的灵活性来定义适当的后悔措施。我们提出的解决这类问题的学习算法是BESA算法的修改[Baransi等人，[2014年]，它考虑了一个更一般的版本的遗憾。我们提出了一个遗憾的约束，我们的方法和经验评估合成问题，以及从临床试验文献的数据集。我们的方法相媲美的一套标准的强盗算法。
2019-06-09 cs.AI cs.LG stat.ML
Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits
UC Berkeley（加州大学伯克利分校）
我们考虑两个流行的随机线性强盗设置的模型选择问题，并提出算法，适应未知的问题的复杂性。在第一个设置中，我们考虑$K$武装混合强盗，其中武装$i \in [K]$的平均奖励是$μ_i+ \langle α_{i,t},θ^* \rangle $，其中$α_{i,t} \in \mathbb{R}^d$是已知的上下文向量，而$μ_i \in [-1,1]$和$θ^*$是未知参数。我们定义$\|θ^*\|$作为问题的复杂性，并考虑一系列嵌套的假设类，每个假设一个不同的上限$\|θ^*\|$。利用这一点，我们提出了自适应线性强盗（ALB），一种新的相位为基础的算法，适应真正的问题的复杂性，$\|θ^*\|$。我们发现，ALB实现了$O(\|θ^*\|\sqrt{T})$的遗憾缩放，其中$\|θ^*\|$是先验未知的。作为一个推论，当$θ^*=0$，ALB恢复极小极大遗憾的简单强盗算法没有这样的知识$θ^*$。ALB算法是第一个使用参数范数作为线性强盗模型截面准则的算法。现有技术的算法\cite{osom}实现了$O(L\sqrt{T})$的遗憾，其中$L$是$\|θ^*\|$的上限，作为问题的输入。在第二种情况下，我们考虑标准的线性强盗问题（可能有无限数量的武器）的稀疏性$θ^*$，表示为$d^* \leq d$，是未知的算法。定义$d^*$的问题的复杂性，我们表明，ALB实现了$O(d^…
2020-06-15 cs.LG stat.ML
Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities
Nanyang Technological University（南洋理工大学）
参与众包平台的工作者可以有广泛的能力和兴趣。众包中的一个重要问题是任务推荐问题，其中最匹配特定工作者的偏好和可靠性的任务被推荐给该工作者。如果任务推荐方案分配的任务更有可能被更有可能可靠地完成任务的工作人员接受，则会为任务请求者带来更好的性能。如果没有关于工人的先验信息，他的偏好和可靠性需要随着时间的推移而学习。在本文中，我们提出了一个多臂强盗（MAB）框架来学习工人的偏好和他的可靠性，为不同类别的任务。然而，与经典的MAB问题不同，工人完成任务的奖励是不可观察的。因此，我们包括使用黄金任务（即，其解决方案已知为\emph{a priori}且不产生任何奖励的任务）。我们的模型可以被看作是MAB的一个新变体，其中随机奖励只能在使用黄金任务的时间步上观察到，并且估计向工作者推荐任务的预期奖励的准确性取决于使用的黄金任务的数量。我们发现，最佳的遗憾是$O(\sqrt{n})$，其中$n$是推荐给工人的任务数。我们开发了三种任务推荐策略来确定不同任务类别的黄金任务数量，并证明了它们是顺序最优的。仿真结果验证了我们的方法的有效性。
2018-07-27 cs.HC cs.LG cs.SI
On Adaptive Estimation for Dynamic Bernoulli Bandits
Imperial College London（帝国理工学院）
多臂强盗（MAB）问题是探索-开发困境的一个典型例子。它关注的是通过从多臂老虎机中顺序地拉动臂来最大化赌徒的总奖励，其中每个臂与奖励分配相关联。在静态MAB中，奖励分布不随时间改变，而在动态MAB中，每个臂的奖励分布可以改变，并且最佳臂可以随时间切换。受许多实际应用的激励，奖励是二进制的，我们专注于动态伯努利强盗。标准方法如$ε$ -贪婪和置信上限（UCB），依赖于样本均值估计，通常无法跟踪动态问题的潜在奖励的变化。在本文中，我们通过部署自适应估计的标准方法，克服了缓慢的变化响应的缺点，并提出了一个新的家庭的算法，这是自适应版本的$ε$ -贪婪，UCB，和汤普森采样。这些新方法简单易行。此外，它们不需要任何关于动态奖励过程的先验知识，这对实际应用很重要。我们研究了新算法在不同的情况下，数值和结果表明我们的算法在动态环境中的坚实的改进。
2018-05-15 cs.LG stat.ML
ParBalans: Parallel Multi-Armed Bandits-based Adaptive Large Neighborhood Search
Department of Mechanical & Industrial Engineering, Northeastern University（东北大学机械与工业工程系）；AI Center of Excellence, Fidelity Investments（fidelity investments 精英研究中心）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science, Brown University（布朗大学计算机科学系）
本文提出ParBalans，通过结合求解器级和算法级并行性扩展了基于多臂老虎机的自适应大邻域搜索方法Balans，在困难的混合整数规划基准上展现出与商业求解器Gurobi相当的竞争力。
2025-08-08 cs.AI cs.LG
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
University of Chinese Academy of Sciences（中国科学院大学）；Didi Chuxing（滴滴出行）
上下文多臂强盗（MAB）在各种问题上实现了尖端性能。然而，当涉及到推荐系统和在线广告等现实场景时，必须考虑探索的资源消耗。在实践中，通常存在与在环境中执行推荐（arm）相关联的非零成本，并且因此，应当利用固定的探索成本约束来学习策略。直接学习全局最优策略具有挑战性，因为它是一个NP难问题，并且显著地使强盗算法的探索和利用权衡复杂化。现有的方法侧重于解决问题，通过采用贪婪的政策，估计预期的回报和成本，并使用贪婪的选择，根据每个手臂的预期回报/成本比使用历史观察，直到勘探资源耗尽。然而，现有的方法很难扩展到无限的时间范围，因为学习过程将终止时，没有更多的资源。在本文中，我们提出了一个层次自适应上下文强盗方法（HATCH）进行策略学习的上下文强盗预算约束。HATCH采用了一种自适应的方法来分配资源的基础上剩余资源/时间和不同的用户上下文之间的奖励分布的估计的探索。此外，我们充分利用上下文特征信息，以找到最佳的个性化推荐。最后，为了证明理论上的保证，我们提出了一个遗憾界分析，并证明了HATCH实现了一个遗憾界低至$O(\sqrt{T})$。在合成数据集和实际应用中的实验结果表明了该方法的有效性和效率。
2020-04-06 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
National University of Singapore（国立新加坡大学）；Sea AI Lab（Sea人工智能实验室）；Singapore Management University（新加坡管理学院）；Yale University（耶鲁大学）
BanditSpec通过多臂老虎机算法实现自适应推测解码，优化超参数选择以提升LLM推理效率。
2025-11-20 cs.AI cs.LG stat.ML
An Adaptive Approach for Infinitely Many-armed Bandits under Generalized Rotting Constraints
Seoul National University（首尔国立大学）；London School of Economics（伦敦经济学院）；KAIST AI（韩国科学技术院人工智能研究所）
针对静态衰退设定下的无限臂老虎机问题，提出结合UCB与自适应滑动窗口的算法，在缓慢和突变衰退场景下均实现紧致遗憾界。
2025-06-01 cs.LG stat.ML
Towards Domain Adaptive Neural Contextual Bandits
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出首个通用领域自适应上下文赌博机方法，通过源领域反馈学习目标领域模型，在理论上保持次线性遗憾界，并在真实数据集上超越现有最优算法。
2025-04-06 cs.AI cs.CE cs.CV
Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
Adaptive Portfolio by Solving Multi-armed Bandit via Thompson Sampling
Zhejiang University（浙江大学）；Macqaurie University（麦考瑞大学）
作为现代投资组合理论的基石，马科维茨的均值-方差最优化模型被认为是投资组合管理的主要模型。但由于其参数难以估计，不能适用于所有时期。在某些情况下，简单的策略，如等权重和价值加权投资组合甚至可以获得更好的表现。在这种情况下，我们可以使用多个经典策略作为多臂强盗中的多个战略武器，从而自然地与投资组合选择问题建立联系。这也有助于通过在探索和利用之间进行权衡来最大化强盗算法中的回报。在本文中，我们提出了一个投资组合强盗策略，通过汤普森抽样，旨在使在线投资组合的选择，有效地利用多个武器之间的性能。同时，通过构建多个战略武器，可以得到适应不同投资时期的最优投资组合。此外，我们设计了一个新的奖励功能，根据用户的不同投资风险偏好，它可以适应各种投资风格。我们的实验结果表明，我们提出的投资组合策略在广泛的评估标准方面具有显著的优越性。
2019-11-14 cs.LG q-fin.PM stat.ML
A Smoothed Analysis of Online Lasso for the Sparse Linear Contextual Bandit Problem
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）
研究了参数$θ$为稀疏的线性上下文强盗问题.为了减轻采样效率低下，我们利用“扰动对手”的上下文产生adversarilly，但小的随机非自适应扰动。我们证明了简单的在线Lasso支持稀疏线性上下文强盗遗憾界$\mathcal{O}(\sqrt{kT\log d})$，即使当$d \gg T$，其中$k$和$d$是有效和周围的维数，分别。与Sivakumar等人（2020）最近的工作相比，我们的分析不依赖于前提条件处理，自适应扰动（自适应扰动违反i.i.d扰动设置）或误差集的截断。此外，我们的结果中的特殊结构明确地描述了扰动如何影响探测长度，指导扰动的设计和扰动方法的基本性能限制。数值实验是对理论分析的补充。
2020-07-16 cs.LG stat.ML
