Beyond Static Bias: Adaptive Multi-Fidelity Bandits with Improving Proxies
Department of Industrial and Systems Engineering, University of Houston（休斯敦大学工业与系统工程系）；School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）
本文研究了具有改进代理的自适应多保真度老虎机问题，提出TACC算法通过动态调整采样策略以降低成本并提高效率。
2026-05-08 cs.LG
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）；Ads Online Experimentation（广告在线实验部）；Central Applied Science（应用科学中央研究所）
针对奖励依赖于未观测马尔可夫状态的赌博机问题，提出基于LinUCB的自适应算法，通过滞后动作-奖励对和探针指纹两种摘要来区分状态，并采用残差、边际和过时测试动态更新指纹，在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits
ENS Rennes（雷恩高等师范学院）；Orange Labs（奥兰奇实验室）；Paul Sabatier University（保罗·萨巴蒂埃大学）
针对集中式智能充电方案可扩展性差、存在单点故障与隐私隐患的问题，提出基于自适应多智能体多臂老虎机的完全分布式智能充电系统，可应对系统不确定性，兼具分布式、可扩展、实时、无模型与公平性优势。
2023-07-20 cs.LG
Statistical Inference with M-Estimators on Adaptively Collected Data
Harvard University（哈佛大学）
Bandit算法越来越多地用于现实世界的顺序决策问题。与此相关的是，人们越来越希望能够使用由此产生的数据集来回答科学问题，例如：一种类型的广告是否会导致更多的购买？在哪些情况下移动健康干预是有效的？然而，经典的统计方法无法提供有效的置信区间时，使用与强盗算法收集的数据。最近已经为简单模型开发了替代方法（例如，平均值的比较）。然而，缺乏使用更复杂的模型对用（上下文）强盗算法收集的数据进行统计推断的通用方法;例如，当前方法不能用于对二进制奖励的逻辑回归模型中的参数进行有效推断。在这项工作中，我们开发的理论证明使用M-估计-其中包括基于经验风险最小化以及最大似然估计-自适应算法，包括（上下文）强盗算法收集的数据。具体而言，我们表明，M-估计，修改特定的自适应权重，可以用来构建渐近有效的置信区域的各种推断目标。
2021-11-20 cs.LG
Adaptive Best-of-Both-Worlds Algorithm for Heavy-Tailed Multi-Armed Bandits
Tsinghua University（清华大学）
在本文中，我们推广的概念，重尾多武装匪徒的对抗环境中，并开发了强大的两全其美的算法重尾多武装匪徒（MAB），其中损失的$α$ -th（$1<α\le 2$）时刻有界的$σ^α$，而方差可能不存在。具体地说，我们设计了一个算法\texttt{HTINF}，当重尾参数$α$和$σ$为智能体所知时，\texttt{HTINF}同时实现了随机环境和对抗环境下的最优后悔，而无需先验地知道实际的环境类型.当$α,σ$未知时，\texttt{HTINF}在随机情况下实现了$\log T$式的实例依赖后悔，在对抗情况下实现了$o(T)$无后悔保证.我们进一步开发了一个算法\texttt{AdaTINF}，实现$\mathcal O(σK^{1-\nicefrac 1α}T^{\nicefrac{1}α})$ minimax最优遗憾，即使在对抗设置，没有先验知识的$α$和$σ$。这一结果与已知的后悔下限相匹配（Bubeck等人，2013），其假设随机环境，并且$α$和$σ$都是已知的。据我们所知，所提出的\texttt{HTINF}算法是第一个享受两全其美的遗憾保证，和\texttt{AdaTINF}是第一个算法，可以适应$α$和$σ$，以实现最佳的间隙独立的遗憾界在经典的重尾随机MAB设置和我们的新的对抗配方。
2022-06-13 cs.LG
Online Sign Identification: Minimization of the Number of Errors in Thresholding Bandits
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学校）；UMR 9189 CRIStAL（CRIStAL联合研究单位）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；Grenoble INP（格勒诺布尔理工学院）；LJK（LJK实验室）；Crest（CREST研究中心）；Ensae（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
在固定预算阈值强盗问题中，算法顺序地将预算数量的样本分配到不同的分布。然后，它预测每个分布的平均值是大于还是小于给定的阈值。我们介绍了一个大家庭的算法（包含大多数现有的相关），灵感来自弗兰克-沃尔夫算法，并提供了一个全面而通用的分析其性能。这使我们能够构建新的显式算法，为广泛的一类问题，其损失是在一个小的常数因子的非自适应Oracle的。非常有趣的是，我们观察到自适应方法在经验上大大优于非自适应神谕，这在标准在线学习设置中是一种不常见的行为，例如后悔最小化。我们解释这个令人惊讶的现象上有见地的玩具问题。
2021-10-18 cs.LG
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
CB-Orchestrator: Adaptive Workflow Optimization for LLM Agents via Contextual Bandits
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Huawei Technologies（华为技术有限公司）；City University of Hong Kong（香港城市大学）
本文针对LLM智能体工作流优化的高成本与复用问题，提出CB-Orchestrator框架，通过解耦工作流生成与选择、结合上下文多臂老虎机方法，在五个基准上实现性能提升并显著降低令牌开销。
2026-10-12 cs.LG
Adaptive Sample Sharing for Multi Agent Linear Bandits
本文研究多智能体线性老虎机中数据共享对遗憾最小化的影响，提出不依赖参数结构假设的BASS算法，形式化参数估计偏差与不确定性权衡，并在合成及真实数据集上验证其高效性及聚类结构恢复能力。
2025-05-27 cs.LG stat.ML
Adaptive Monte Carlo via Bandit Allocation
University of Alberta（阿尔伯塔大学）
我们考虑在一组无偏蒙特卡罗估计之间顺序选择的问题，以最小化最终组合估计的均方误差（MSE）。通过减少这个任务的随机多臂强盗问题，我们表明，发达的分配策略可以用来实现MSE的方法，在回顾中选择的最佳估计。然后，我们扩展这些发展的情况下，替代估计有不同的，可能是随机的成本。结果是一组新的自适应蒙特卡罗策略，提供比以前的方法更强的保证，同时提供实际的优势。
2014-05-13 cs.AI cs.LG
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子：区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下，当前最先进的方法以次优的方式进行探索，并且需要强的“特征多样性”条件。在本文中，我们介绍了新的算法，a）探索在数据自适应的方式，和b）提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件，其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性，同时恢复两个先前的结果，在不同的分布假设下。第二种方法完全消除了分布假设，扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits
Twitter Inc.（推特公司）；University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究了机会主义强盗-一个新的变种强盗拉一个次优的手臂在不同的环境条件下，如网络负载或产品价格变化的遗憾。当负载/价格低时，拉动次优臂的成本/遗憾也低（例如，尝试次优网络配置）。因此，直观地说，我们可以在负载/价格较低时进行更多探索，而在负载/价格较高时进行更多开发。受这种直觉的启发，我们提出了一个自适应置信上限（AdaUCB）算法，以适应性地平衡机会主义强盗的探索-利用权衡。我们证明了AdaUCB比传统的UCB算法以更小的系数实现了$O(\log T)$遗憾。此外，如果当负载水平低于某个阈值时探索成本为零，则AdaUCB实现关于$T$的$O(1)$遗憾。最后，基于合成数据和真实数据的实验结果表明，AdaUCB算法在大的负载/价格波动下，性能明显优于UCB和TS（Thompson Sampling）等其他Bandit算法.
2018-11-30 cs.LG stat.ML
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Delay-Adaptive Learning in Generalized Linear Contextual Bandits
Stanford University（斯坦福大学）；University of Oxford（牛津大学）；New York University（纽约大学）
在本文中，我们考虑在线学习在广义线性上下文土匪奖励不立即观察。相反，决策者只有在一些延迟之后才能获得奖励，这是未知的和随机的。我们研究了两个著名的算法适应这种延迟设置的性能：一个基于置信上限，和其他基于汤普森采样。我们描述了这两种算法应如何适应处理延迟的修改，并给出两种算法的遗憾表征。我们的研究结果有助于建立这两种算法可以是强大的延迟，从而帮助澄清和重申这两种算法，这是广泛部署在现代推荐引擎的经验成功的上下文土匪文学的广阔前景。
2020-03-11 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Department of Information Technology, SRMIST（SRMIST信息科技系）；Indian Institute of Technology, Madras（印度理工学院Madras分校）
本文提出将上下文赌博机与深度Q网络结合，根据状态上下文自适应选择动作重复率，在Atari 2600游戏中显著优于静态持续时间基线，为游戏和机器人等实时应用提供了可扩展的解决方案。
2025-06-17 cs.AI cs.LG
Rate-adaptive model selection over a collection of black-box contextual bandit algorithms
我们考虑在随机上下文强盗设置的模型选择任务。假设我们给出一个基本上下文强盗算法的集合。我们提供了一个主算法，它结合了它们，并实现了相同的性能，直到常数，作为最好的基础算法，如果它已经运行自己。我们的方法只需要每个算法满足一个高概率的遗憾界。我们的过程非常简单，基本上做了以下几点：对于一个精心选择的概率序列$(p_{t})_{t\geq 1}$，在每一轮$t$中，它要么随机选择跟随哪个候选人（概率为$p_{t}$），要么在每个候选人的相同内部样本大小下比较每个候选人的累积奖励，并选择赢得比较的那个（概率为$1-p_{t}$）。据我们所知，我们的建议是第一个速率自适应的一般黑盒上下文强盗算法的集合：它实现了相同的遗憾率作为最佳候选。我们证明了我们的方法与仿真研究的有效性。
2020-06-05 cs.LG stat.ML
LinearAPT: An Adaptive Algorithm for the Fixed-Budget Thresholding Linear Bandit Problem
National Taiwan University（台湾大学）
针对随机多臂老虎机中的固定预算阈值线性老虎机问题，提出新型自适应算法LinearAPT，该算法有估计损失理论上界，在合成与真实数据集上表现鲁棒，兼具自适应性、简洁性与计算效率。
2024-03-10 cs.LG stat.ML
Towards More Efficient, Robust, Instance-adaptive, and Generalizable Sequential Decision making
The Chinese University of Hong Kong（香港中文大学）
本研究面向不确定性下的数据驱动序列决策，针对模型误设、对抗扰动、实例依赖性能及新环境泛化等挑战，发展高效、鲁棒、实例自适应且可泛化的RL与多臂老虎机算法。
2026-10-01 cs.LG
Optimal and Adaptive Off-policy Evaluation in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们研究了在情境强盗模型下的非策略评估问题-利用一个目标策略收集的数据来估计另一个策略的价值。我们认为一般（不可知）设置没有访问一致的奖励模型，并建立一个最小最大下限的均方误差（MSE）。的界限是匹配常数的逆倾向评分（IPS）和双稳健（DR）估计。这突出了不可知背景设置的困难，与多武装匪徒和上下文匪徒相比，可以访问一致的奖励模型，其中IPS是次优的。然后，我们提出了一种新的估计器，它可以使用现有的奖励模型（不一定是一致的），以实现更好的偏差-方差权衡比IPS和DR。我们证明了其MSE的上限，并证明了它的好处，经验上的不同收集的数据集，往往优于以前的工作的数量级。
2017-11-11 cs.LG stat.ML
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Adaptive Requesting in Decentralized Edge Networks via Non-Stationary Bandits
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）；Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）
本文提出了一种针对去中心化边缘网络中信息新鲜度优化的自适应老虎机算法，通过自适应窗口和周期监控实现近最优性能。
2026-01-17 cs.LG cs.MA
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
On Elimination Strategies for Bandit Fixed-Confidence Identification
Meta AI；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
消除算法的强盗识别，修剪合理的正确答案顺序，直到只有一个仍然是计算方便，因为他们随着时间的推移减少了问题的大小。然而，现有的消除策略往往不完全自适应（他们更新他们的采样规则不频繁），并不容易扩展到组合设置，其中的答案集是指数大的问题维度。另一方面，大多数现有的完全自适应策略，以解决一般的识别问题的计算要求，因为他们反复测试每个答案的正确性，从来没有减少问题的大小。我们表明，自适应方法可以修改为在停止和采样规则中使用消除，从而获得这两个世界中的最佳效果：算法（1）保持完全自适应，（2）遭受样本复杂度永远不会比它们的非消除对应物更差，（3）可证明早期消除某些错误答案。我们证实了这些好处的实验，消除显着提高计算复杂性的自适应方法对常见的任务，如最佳臂识别线性土匪。
2022-10-24 cs.LG stat.ML
ADAM Optimization with Adaptive Batch Selection
Seoul National University（首尔国立大学）
本文提出AdamCB，结合组合老虎机技术改进ADAM优化器，提升收敛速度和理论保证，实验证明其优于现有方法。
2025-12-07 cs.LG stat.ML
Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
研究了具有复合匿名反馈的多臂强盗问题。在这个模型中，拉一只手臂的奖励会在一段时间内传播（我们称这段时间为奖励间隔），玩家会收到这个动作的部分奖励，与拉其他手臂的奖励相交织。该模型的现有结果需要关于奖励区间大小的先验知识作为其算法的输入。在本文中，我们提出了自适应算法的随机和对抗的情况下，不需要任何先验信息的奖励区间。对于随机的情况下，我们证明了我们的算法保证了一个遗憾，符合下界（顺序）。对于对抗的情况下，我们提出了第一个算法，以联合处理非遗忘的对手和未知的奖励区间大小。我们还根据真实世界的数据集进行模拟。结果表明，我们的算法优于现有的基准。
2020-12-15 cs.LG stat.ML
Adaptive Endpointing with Deep Contextual Multi-armed Bandits
Amazon（亚马逊）
本文提出一种基于深度上下文多臂老虎机的自适应端点检测方法，利用在线奖励信号学习最优配置，避免网格搜索，在保持低延迟的同时减少早期截断错误。
2023-03-23 cs.LG eess.AS
Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits
Stern School of Business（斯特恩商学院）；New York University（纽约大学）；Institute for Program Structures and Data Organization（程序结构与数据组织研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Kyoto University（京都大学）
本文提出自适应重置老虎机算法 ADR-bandit，利用自适应窗口技术处理全局非平稳多臂老虎机问题，并在突变与渐变环境中证明其具有近乎最优性能，实验显示其优于现有方法。
2023-10-25 cs.LG stat.ML
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出ONLINESUBMOD方法，通过多臂老虎机框架和亚模函数优化，实现自适应子集选择，提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
CoCoB: Adaptive Collaborative Combinatorial Bandits for Online Recommendation
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院）
本文提出CoCoB算法，通过用户侧与物品侧的双侧老虎机架构自适应利用邻居偏好，解决了聚类老虎机中相似用户定义不清及缺乏合适邻居时的推荐质量下降问题，并在三个数据集上取得F1平均提升2.4%的效果。
2025-05-05 cs.AI cs.IR cs.LG
Challenges in Statistical Analysis of Data Collected by a Bandit Algorithm: An Empirical Exploration in Applications to Adaptively Randomized Experiments
University of Toronto（多伦多大学）；Sapienza University of Rome（罗马第一大学）；University of Cambridge（剑桥大学）；Universitè Laval（拉瓦尔大学）；Carleton College（卡尔顿学院）
几十年来，多臂强盗算法一直被认为是自适应随机实验的有用方法。在此类实验中，算法会改变分配给参与者的手臂（例如帮助学生学习的替代干预措施），目标是为尽可能多的参与者分配更高回报的手臂。我们应用强盗算法汤普森采样（TS）运行自适应实验在三个大学类。教师看到了尝试快速使用数据给他们的学生在实验中更好的武器（例如，更好地解释一个概念）的巨大价值。然而，我们的部署说明了科学家和从业者使用这种自适应实验的主要障碍：与传统的均匀随机分配相比，缺乏对特定现实世界实验的统计分析受到影响程度的量化见解（Pallmann et al，2018; FDA，2019）。因此，我们使用我们的案例研究的无处不在的双臂二进制奖励设置经验调查的影响，使用汤普森采样，而不是均匀的随机分配。在这种情况下，使用常见的统计假设检验，我们表明，使用TS收集数据可以使假阳性率（FPR;当不存在差异时错误地报告差异）和假阴性率（FNR;当存在差异时未能报告差异）增加一倍。
2021-03-26 cs.LG stat.AP
Learning Modular Safe Policies in the Bandit Setting with Application to Adaptive Clinical Trials
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
随机多臂强盗问题是一个著名的模型，用于研究勘探开发权衡。它在适应性临床试验中具有重要的可能应用，该试验允许患者的治疗分配概率的动态变化。然而，大多数的强盗学习算法的设计目标是最小化期望的遗憾。虽然这种方法在许多领域都很有用，但在临床试验中，它可能对离群数据很敏感，特别是当样本量很小时。本文定义并研究了一个新的鲁棒性判据。具体来说，我们考虑优化的回报率分布函数作为后悔措施。这为从业者提供了更大的灵活性来定义适当的后悔措施。我们提出的解决这类问题的学习算法是BESA算法的修改[Baransi等人，[2014年]，它考虑了一个更一般的版本的遗憾。我们提出了一个遗憾的约束，我们的方法和经验评估合成问题，以及从临床试验文献的数据集。我们的方法相媲美的一套标准的强盗算法。
2019-06-09 cs.AI cs.LG stat.ML
Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits
UC Berkeley（加州大学伯克利分校）
我们考虑两个流行的随机线性强盗设置的模型选择问题，并提出算法，适应未知的问题的复杂性。在第一个设置中，我们考虑$K$武装混合强盗，其中武装$i \in [K]$的平均奖励是$μ_i+ \langle α_{i,t},θ^* \rangle $，其中$α_{i,t} \in \mathbb{R}^d$是已知的上下文向量，而$μ_i \in [-1,1]$和$θ^*$是未知参数。我们定义$\|θ^*\|$作为问题的复杂性，并考虑一系列嵌套的假设类，每个假设一个不同的上限$\|θ^*\|$。利用这一点，我们提出了自适应线性强盗（ALB），一种新的相位为基础的算法，适应真正的问题的复杂性，$\|θ^*\|$。我们发现，ALB实现了$O(\|θ^*\|\sqrt{T})$的遗憾缩放，其中$\|θ^*\|$是先验未知的。作为一个推论，当$θ^*=0$，ALB恢复极小极大遗憾的简单强盗算法没有这样的知识$θ^*$。ALB算法是第一个使用参数范数作为线性强盗模型截面准则的算法。现有技术的算法\cite{osom}实现了$O(L\sqrt{T})$的遗憾，其中$L$是$\|θ^*\|$的上限，作为问题的输入。在第二种情况下，我们考虑标准的线性强盗问题（可能有无限数量的武器）的稀疏性$θ^*$，表示为$d^* \leq d$，是未知的算法。定义$d^*$的问题的复杂性，我们表明，ALB实现了$O(d^…
2020-06-15 cs.LG stat.ML
On Adaptive Estimation for Dynamic Bernoulli Bandits
Imperial College London（帝国理工学院）
多臂强盗（MAB）问题是探索-开发困境的一个典型例子。它关注的是通过从多臂老虎机中顺序地拉动臂来最大化赌徒的总奖励，其中每个臂与奖励分配相关联。在静态MAB中，奖励分布不随时间改变，而在动态MAB中，每个臂的奖励分布可以改变，并且最佳臂可以随时间切换。受许多实际应用的激励，奖励是二进制的，我们专注于动态伯努利强盗。标准方法如$ε$ -贪婪和置信上限（UCB），依赖于样本均值估计，通常无法跟踪动态问题的潜在奖励的变化。在本文中，我们通过部署自适应估计的标准方法，克服了缓慢的变化响应的缺点，并提出了一个新的家庭的算法，这是自适应版本的$ε$ -贪婪，UCB，和汤普森采样。这些新方法简单易行。此外，它们不需要任何关于动态奖励过程的先验知识，这对实际应用很重要。我们研究了新算法在不同的情况下，数值和结果表明我们的算法在动态环境中的坚实的改进。
2018-05-15 cs.LG stat.ML
ParBalans: Parallel Multi-Armed Bandits-based Adaptive Large Neighborhood Search
Department of Mechanical & Industrial Engineering, Northeastern University（东北大学机械与工业工程系）；AI Center of Excellence, Fidelity Investments（fidelity investments 精英研究中心）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science, Brown University（布朗大学计算机科学系）
本文提出ParBalans，通过结合求解器级和算法级并行性扩展了基于多臂老虎机的自适应大邻域搜索方法Balans，在困难的混合整数规划基准上展现出与商业求解器Gurobi相当的竞争力。
2025-08-08 cs.AI cs.LG
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
University of Chinese Academy of Sciences（中国科学院大学）；Didi Chuxing（滴滴出行）
上下文多臂强盗（MAB）在各种问题上实现了尖端性能。然而，当涉及到推荐系统和在线广告等现实场景时，必须考虑探索的资源消耗。在实践中，通常存在与在环境中执行推荐（arm）相关联的非零成本，并且因此，应当利用固定的探索成本约束来学习策略。直接学习全局最优策略具有挑战性，因为它是一个NP难问题，并且显著地使强盗算法的探索和利用权衡复杂化。现有的方法侧重于解决问题，通过采用贪婪的政策，估计预期的回报和成本，并使用贪婪的选择，根据每个手臂的预期回报/成本比使用历史观察，直到勘探资源耗尽。然而，现有的方法很难扩展到无限的时间范围，因为学习过程将终止时，没有更多的资源。在本文中，我们提出了一个层次自适应上下文强盗方法（HATCH）进行策略学习的上下文强盗预算约束。HATCH采用了一种自适应的方法来分配资源的基础上剩余资源/时间和不同的用户上下文之间的奖励分布的估计的探索。此外，我们充分利用上下文特征信息，以找到最佳的个性化推荐。最后，为了证明理论上的保证，我们提出了一个遗憾界分析，并证明了HATCH实现了一个遗憾界低至$O(\sqrt{T})$。在合成数据集和实际应用中的实验结果表明了该方法的有效性和效率。
2020-04-06 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
National University of Singapore（国立新加坡大学）；Sea AI Lab（Sea人工智能实验室）；Singapore Management University（新加坡管理学院）；Yale University（耶鲁大学）
BanditSpec通过多臂老虎机算法实现自适应推测解码，优化超参数选择以提升LLM推理效率。
2025-11-20 cs.AI cs.LG stat.ML
An Adaptive Approach for Infinitely Many-armed Bandits under Generalized Rotting Constraints
Seoul National University（首尔国立大学）；London School of Economics（伦敦经济学院）；KAIST AI（韩国科学技术院人工智能研究所）
针对静态衰退设定下的无限臂老虎机问题，提出结合UCB与自适应滑动窗口的算法，在缓慢和突变衰退场景下均实现紧致遗憾界。
2025-06-01 cs.LG stat.ML
Towards Domain Adaptive Neural Contextual Bandits
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出首个通用领域自适应上下文赌博机方法，通过源领域反馈学习目标领域模型，在理论上保持次线性遗憾界，并在真实数据集上超越现有最优算法。
2025-04-06 cs.AI cs.CE cs.CV
Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
A Smoothed Analysis of Online Lasso for the Sparse Linear Contextual Bandit Problem
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）
研究了参数$θ$为稀疏的线性上下文强盗问题.为了减轻采样效率低下，我们利用“扰动对手”的上下文产生adversarilly，但小的随机非自适应扰动。我们证明了简单的在线Lasso支持稀疏线性上下文强盗遗憾界$\mathcal{O}(\sqrt{kT\log d})$，即使当$d \gg T$，其中$k$和$d$是有效和周围的维数，分别。与Sivakumar等人（2020）最近的工作相比，我们的分析不依赖于前提条件处理，自适应扰动（自适应扰动违反i.i.d扰动设置）或误差集的截断。此外，我们的结果中的特殊结构明确地描述了扰动如何影响探测长度，指导扰动的设计和扰动方法的基本性能限制。数值实验是对理论分析的补充。
2020-07-16 cs.LG stat.ML
Adaptive Portfolio by Solving Multi-armed Bandit via Thompson Sampling
Zhejiang University（浙江大学）；Macqaurie University（麦考瑞大学）
作为现代投资组合理论的基石，马科维茨的均值-方差最优化模型被认为是投资组合管理的主要模型。但由于其参数难以估计，不能适用于所有时期。在某些情况下，简单的策略，如等权重和价值加权投资组合甚至可以获得更好的表现。在这种情况下，我们可以使用多个经典策略作为多臂强盗中的多个战略武器，从而自然地与投资组合选择问题建立联系。这也有助于通过在探索和利用之间进行权衡来最大化强盗算法中的回报。在本文中，我们提出了一个投资组合强盗策略，通过汤普森抽样，旨在使在线投资组合的选择，有效地利用多个武器之间的性能。同时，通过构建多个战略武器，可以得到适应不同投资时期的最优投资组合。此外，我们设计了一个新的奖励功能，根据用户的不同投资风险偏好，它可以适应各种投资风格。我们的实验结果表明，我们提出的投资组合策略在广泛的评估标准方面具有显著的优越性。
2019-11-14 cs.LG q-fin.PM stat.ML
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
How to Beat the Adaptive Multi-Armed Bandit
多臂强盗是不确定性迭代决策问题的一个简明模型。在每一轮中，赌徒必须拉动老虎机的$K$臂中的一个，除了它们是一致有界的之外，没有任何关于它们的支出的预知。一个标准的目标是尽量减少赌徒的后悔，定义为赌徒的总支出减去最大的支出，这将是任何固定的手臂，在事后。请注意，赌徒只被告知实际选择的武器的支出，而不是未选择的武器。几乎所有以前的工作对这个问题假设的支出是非自适应的，在这个意义上说，分布的支出的手臂$j$轮$i$是完全独立的选择由赌徒轮$1, \dots, i-1$。在自适应支付的更一般模型中，回合$i$中的支付可以任意地取决于由算法做出的过去选择的历史。我们提出了一个新的算法，这个问题，并证明了近最佳的保证，对非自适应和自适应对手的遗憾。在$T$轮之后，我们的算法具有高概率的遗憾$O(\sqrt{T})$（尾部概率呈指数衰减）。这种对$T$的依赖是最可能的，并且与该问题的完全信息版本相匹配，在该版本中，赌徒被告知每轮之后所有$K$武器的支出。以前，即使对于非自适应支付，已知的最佳高概率边界也是$O(T^{2/3})$，这是由于Auer，Cesa-Bianchi，Freund和Schapire。对于自适应支付，他们算法的期望遗憾是$O(T^{1/2}) for non-adaptive payouts, but as we show, $ Ω（T^{2/3}）$。
2006-02-14 cs.DS cs.LG
Adaptive Budget Optimization for Multichannel Advertising Using Combinatorial Bandits
Sony（索尼）；EPFL（洛桑联邦理工学院）
本文针对数字广告预算分配在非平稳环境中的适应性问题，提出一种结合饱和均值函数、定向探索和变点检测的组合赌博机策略，并通过仿真与真实数据验证其优于基线方法。
2025-02-05 cs.AI cs.LG
Raising Student Completion Rates with Adaptive Curriculum and Contextual Bandits
Korbit Technologies Inc.（Korbit科技公司）；University of Bath（巴斯大学）
提出了一种自适应学习的智能教学系统，该系统采用基于基于模型的强化学习，以情境强盗的形式为学生分配学习活动。该模型根据数千名学生的轨迹进行训练，以最大限度地提高他们的练习完成率，并继续在线学习，自动调整自己以适应新的活动。一项针对学生的随机对照试验表明，与其他方法相比，我们的模型导致了更高的完成率和显着提高的学生参与度。我们的方法是全自动的，为学习体验个性化提供新的机会。
2022-07-28 cs.AI cs.CL cs.CY
DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret
Cornell University（康奈尔大学）
动态治疗方案（DTR）是个性化的、自适应的、多阶段的治疗计划，其使治疗决策适应于个体的初始特征以及每个后续阶段的中间结果和特征，其受先前阶段中的决策的影响。例如，糖尿病、癌症和抑郁症等慢性疾病的个性化一线和二线治疗，这些治疗适应于患者对一线治疗的反应、疾病进展和个体特征。虽然现有的文献主要集中在估计的最佳DTR从离线数据，如从顺序随机试验，我们研究的问题，开发的最佳DTR在一个在线的方式，其中与每个人的互动影响我们的累积奖励和我们的数据收集为未来的学习。我们称之为DTR强盗问题。我们提出了一种新的算法，通过仔细平衡探索和利用，保证实现率最优的遗憾时，过渡和奖励模型是线性的。我们证明了我们的算法和它的好处都在合成实验和案例研究中的适应性治疗抑郁症使用真实世界的数据。
2022-09-20 cs.LG math.OC stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Adaptive Clustering and Personalization in Multi-Agent Stochastic Linear Bandits
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学研究所）；AWS AI（亚马逊云科技人工智能研究院）
我们考虑了$N$代理异构随机线性强盗框架中的最小化后悔问题，其中代理（用户）是相似的，但并不完全相同。我们使用两个普遍使用的想法在实践中的用户异质性模型;（i）一个聚类框架，其中用户被划分成组，在同一组中的用户是相同的，但不同的跨组，和（ii）个性化框架，其中没有两个用户一定是相同的，但用户的参数接近人口平均值。在分簇用户的设置中，我们提出了一种新的算法，基于连续细化的簇身份和遗憾最小化。我们发现，对于任何代理，遗憾的规模$\mathcal{O}(\sqrt{T/N})$，如果代理是在一个“良好分离”的集群，或规模为$\mathcal{O}(T^{\frac{1}{2} + \varepsilon}/(N)^{\frac{1}{2} -\varepsilon})$，如果其集群没有很好地分离，其中$\varepsilon$是积极的，任意接近$0$。我们的算法是自适应的聚类分离，是无参数的-它不需要知道簇的数量，分离和集群的大小，但遗憾的保证适应固有的复杂性。在个性化框架中，我们引入了一个自然的算法，其中，个人强盗实例初始化与全球平均模型的估计。我们发现，一个代理$i$的参数偏离人口平均$ε_i$，达到后悔缩放$\widetilde{O}(ε_i\sqrt{T})$。这表明，如果用户表示接近（小$ε_i)$），则所产生的遗憾低，反之亦然。结果进行了经验验证，我们观察到我们的自适应算法优…
2022-02-02 cs.LG stat.ML
