Online Learning with Improving Agents: Multiclass, Budgeted Agents and Bandit Learners
University of Waterloo（滑铁卢大学）
本文提出了一种在线学习模型，允许代理通过改进特征值来获得更优标签，并探讨了多类分类、老虎机反馈及成本建模等关键问题。
2026-02-19 cs.LG stat.ML
Offline-to-Online Learning in Linear Bandits
University of Tokyo（东京大学）
针对随机线性Bandit问题，提出一种平衡离线数据与在线探索的算法，实现次线性遗憾并随离线样本增加降低离线参考遗憾。
2026-06-03 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia（不列颠哥伦比亚大学）
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Online Bandit Linear Optimization: A Study
本文介绍了在线Bandit线性优化的概念，并探讨了一种由Abernethy等人创建的名为SCRiBLe（Bandit Learning中的自一致正则化）的高效设置。\cite{abernethy} . SCRiBLe设置和算法在输入空间的维度上产生$O(\sqrt{T})$遗憾界限和多项式运行时间复杂度界限。在本文中，我们建立到强盗线性优化的情况下，研究SCRiBLe。
2018-05-11 cs.AI cs.LG stat.ML
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题，提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性，实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Online Clustering of Bandits
University of Insubria（因苏布里亚大学）；Amazon Development Center Germany（亚马逊德国开发中心）
我们介绍了一种新的算法方法，内容推荐的基础上自适应聚类的探索-剥削（“土匪”）的战略。我们提供了一个尖锐的遗憾分析，该算法在一个标准的随机噪声设置，证明其可扩展性，并证明其有效性的人工和真实世界的数据集。我们的实验表明，在预测性能显着增加国家的最先进的方法，强盗问题。
2014-06-06 cs.LG stat.ML
Generalized Translation and Scale Invariant Online Algorithm for Adversarial Multi-Armed Bandits
我们研究了对抗性多臂强盗问题，并创建了一个完全在线的算法框架，该框架在任意平移和手臂损失的尺度下都是不变的。我们研究了我们的算法对一个通用的竞争类，这使得它适用于各种各样的问题场景的预期性能。我们的算法从一个普遍的预测的角度来看，所使用的性能指标是对任意臂选择序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是二阶界的平方损失的总和，其中任何仿射变换的损失没有影响的归一化遗憾。
2021-09-19 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Online Learning in Contextual Bandits using Gated Linear Networks
DeepMind
我们介绍了一个新的和完全在线的上下文强盗算法称为门控线性上下文强盗（GLCB）。该算法基于门控线性网络（GLN），这是一种最近推出的深度学习架构，具有非常适合在线设置的属性。利用GLN的数据相关门控特性，我们能够以有效的零算法开销来估计预测不确定性。我们经验评估GLCB相比，9国家的最先进的算法，利用深度神经网络，在一个标准的基准套件的离散和连续的上下文强盗问题。GLCB获得中位数第一位，尽管是唯一的在线方法，我们进一步支持这些结果与理论研究其收敛性能。
2020-11-20 cs.AI cs.LG stat.ML
Online Meta-Learning in Adversarial Multi-Armed Bandits
Technion - Israel Institute of Technology（以色列理工学院）
我们研究了对抗性多武装匪徒的元学习。我们认为在线内在线设置，其中一个球员（学习者）遇到一系列的多武装土匪插曲。玩家的表现是根据对手造成的损失，在每一集中对最好的手臂进行后悔。问题的难度取决于对手选择的每集最佳手臂的经验分布。我们提出了一个算法，可以利用这种经验分布的非均匀性，并获得问题相关的遗憾界。该解决方案包括单独播放每一集的内部学习器，以及在剧集之间更新内部算法的超参数的外部学习器。在最佳手臂分布远不均匀的情况下，它改进了可以通过在每个情节上单独执行的任何在线算法而无需元学习来实现的最佳界限。
2022-07-12 cs.LG stat.ML
Online learning in bandits with predicted context
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Harvard University（哈佛大学）
针对真实上下文不可观测、仅有带噪声预测的上下文赌博机问题，提出首个在温和条件下具有次线性遗憾保证的在线算法，通过扩展测量误差模型到在线决策，并在合成及真实数字干预数据上验证了其有效性。
2024-03-18 cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Online Survival Analysis: A Bandit Approach under Cox PH Model
Department of Statistics（统计学系）
本文基于Cox PH模型，提出在线强化学习方法，解决生存分析中阶梯进入、延迟反馈和右删失等挑战，通过理论保证和实验验证，实现高效学习最优治疗策略。
2026-04-22 cs.LG stat.ML
Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences
Microsoft Research, NYC（微软研究院，纽约市）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔综合理工学院）
我们研究的问题$K$武装决斗土匪随机和对抗环境中，学习者的目标是通过相对偏好的决策点查询在网上顺序的方式来聚合信息。我们首先提出了一个新的减少从任何（一般）决斗土匪多武装土匪，尽管简单，它使我们能够改善许多现有的结果决斗土匪。特别是，\emph{we give the first best-of-both world result for the dueling bandits regret minimization problem} --一个统一的框架，保证同时对随机和对抗性偏好进行最佳执行。此外，我们的算法也是第一个实现最佳的$O(\sum_{i = 1}^K \frac{\log T}{Δ_i})$遗憾约束对康多塞冠军的基准，最佳规模的手臂大小$K$和实例特定的次优差距$\{Δ_i\}_{i = 1}^K$。这解决了长期存在的问题，设计一个实例间隙相关的顺序最优后悔算法决斗土匪（匹配下限小常数因子）。我们进一步证明了我们提出的算法的鲁棒性，通过证明其最佳后悔率下adversarially损坏的偏好-这优于现有的最先进的损坏决斗结果的大幅度。总之，我们相信我们的减少想法将在解决不同类别的决斗土匪设置中找到更广泛的范围，否则将与通常更复杂的解决方案和更差的保证的多武装土匪分开研究。我们提出的算法的有效性是经验证实对现有的决斗土匪的方法。
2022-02-14 cs.LG stat.ML
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon（亚马逊）
个性化是许多在线体验的关键方面。特别是，内容排名通常是提供复杂个性化结果的关键组件。通常，应用监督学习排名方法，其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题，我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法，即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差，我们采用了基于位置的点击模型。最后，我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
A Smoothed Analysis of Online Lasso for the Sparse Linear Contextual Bandit Problem
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）
研究了参数$θ$为稀疏的线性上下文强盗问题.为了减轻采样效率低下，我们利用“扰动对手”的上下文产生adversarilly，但小的随机非自适应扰动。我们证明了简单的在线Lasso支持稀疏线性上下文强盗遗憾界$\mathcal{O}(\sqrt{kT\log d})$，即使当$d \gg T$，其中$k$和$d$是有效和周围的维数，分别。与Sivakumar等人（2020）最近的工作相比，我们的分析不依赖于前提条件处理，自适应扰动（自适应扰动违反i.i.d扰动设置）或误差集的截断。此外，我们的结果中的特殊结构明确地描述了扰动如何影响探测长度，指导扰动的设计和扰动方法的基本性能限制。数值实验是对理论分析的补充。
2020-07-16 cs.LG stat.ML
An Opportunistic Bandit Approach for User Interface Experimentation
University of California, Davis（加州大学戴维斯分校）；Target Corporation（塔吉特公司）
面对来自网上竞争对手的日益激烈的竞争，零售业正越来越多地投资于其网上购物平台，以赢得客户忠诚度的高风险战斗。用户体验在这场竞争中发挥着至关重要的作用，零售商正在不断试验和优化其用户界面，以获得更好的用户体验。实验的成本主要由向客户提供次优服务的机会成本决定。通过本文，我们证明了机会主义强盗的有效性，使实验尽可能便宜，使用真实的在线零售数据。事实上，我们将用户界面实验建模为一个机会主义的强盗问题，其中探索的成本根据从客户特征中提取的因素而变化。我们通过减少昂贵的探索和提供额外的上下文信息来帮助指导测试过程，从而大大减少了遗憾。此外，我们分析了使用机会主义强盗在线零售实验的优势和挑战。
2020-06-21 cs.LG stat.ML
Waterfall Bandits: Learning to Sell Ads Online
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Rutgers University（罗格斯大学）；Adobe Research（奥多比研究院）
一种流行的在线广告销售方法是瀑布式的，即出版商向广告网络提供一个库存的连续价格，并按此顺序选择获胜者。出版商选择订单和价格，以最大限度地提高收入。传统的解决方案是学习需求模型，然后随后解决给定需求模型的优化问题。这将导致线性遗憾。我们设计了一种解决该问题的在线学习算法，该算法将学习和优化交织在一起，并证明了该算法具有次线性遗憾性。我们对合成数据和真实数据的算法进行了评估，并表明它可以快速学习高质量的定价策略。这是第一个通过连续实验在线学习瀑布设计的原则性研究。
2019-04-20 cs.LG stat.ML
Comparison Lift: Bandit-based Experimentation System for Online Advertising
Stanford University（斯坦福大学）
Comparison Lift是一个实验即服务（EaaS）应用程序，用于测试JD.com的在线广告受众和创意。与许多其他主要关注固定样本A/B测试的EaaS工具不同，Comparison Lift部署了一个基于Bandit的自定义实验算法。基于土匪的办法有两方面的好处。首先，它使测试中引入的随机化与广告商的测试目标保持一致。其次，通过使实验设计适应测试期间获得的信息，它大大降低了广告商的实验成本。自2019年5月推出以来，Comparison Lift已被用于1,500多项实验。我们估计，该产品的使用帮助参与广告活动的点击率平均提高了46%。我们估计，与固定样本A/B设计相比，产品中的自适应设计在测试期间平均多产生了27%的点击。两者都表明广告商从产品中获得了显着的价值和成本节约。
2020-09-16 cs.LG stat.ML
Online Model Selection: a Rested Bandit Formulation
Italian Institute of Technology（意大利理工学院）；Google Research（谷歌研究院）；University College London（伦敦大学学院）
出于一个自然的问题，在线模型选择与强盗信息，我们介绍和分析了最佳的手臂识别问题，在休息的强盗设置，其中手臂预期损失减少的次数，手臂已经发挥。期望损失函数的形状在各臂之间是相似的，并且假设对于必须在运行中学习的未知参数是可用的。我们为这个问题定义了一个新的后悔概念，我们将其与总是在游戏结束时具有最小预期损失的策略进行比较。我们分析了一个手臂消除算法，其遗憾消失的时间范围增加。实际的收敛速度在细节上取决于预期损失的假定函数形式。不同于已知的模型选择的努力，在最近的土匪文学，我们的算法利用问题的具体结构，学习的未知参数的预期损失函数，以确定最好的手臂尽快。我们补充我们的分析与下限，表明所提出的解决方案的优势和局限性。
2020-12-07 cs.LG stat.ML
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）；Chongqing University（重庆大学）
对于拥有大量记录数据的公司来说，一个基本问题是：如何将这些记录数据与传入的流数据一起使用，以做出正确的决策？许多公司目前通过在线A/B测试做出决策，但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理，它只分析记录的数据来做出决策。然而，这些决策并不适应新的传入数据，因此错误的决策将不断损害用户的体验。为了克服上述限制，我们提出了一个框架来统一离线因果推理算法（例如，加权，匹配）和在线学习算法（例如，UCB、LinUCB）。我们提出了新的算法，并通过“遗憾”的概念，得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明，我们的算法优于其他算法，只使用日志数据或在线反馈，或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
在一个低秩线性强盗问题中，一个动作的回报（由一个大小为$d_1 \times d_2$的矩阵表示）是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中，当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔，改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置，得到一个算法，它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题，本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展，提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外，我们表明，现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH（POSTECH大学）；GSAI（GSAI研究院）
本文提出一种基于对抗性带的在线 conformal 预测方法，在部分反馈下保证长期覆盖性，通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Preference-based Online Learning with Dueling Bandits: A Survey
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；Google Research（谷歌研究院）
在机器学习中，多臂强盗的概念是指一类在线学习问题，其中智能体应该在顺序决策过程中同时探索和利用给定的一组选择方案。在标准设置中，智能体以实值奖励的形式从随机反馈中学习。然而，在许多应用程序中，数字奖励信号并不容易获得-相反，只提供较弱的信息，特别是相对偏好的形式之间的定性比较对的选择。这一观察激发了对多臂强盗问题的变体的研究，其中更一般的表示用于学习的反馈类型和预测目标。本文的目的是提供一个调查的艺术在这一领域，被称为基于偏好的多武装土匪或决斗土匪的国家。为此，我们提供了一个概述的文献中已经考虑的问题，以及解决这些问题的方法。我们的分类法主要是基于这些方法对数据生成过程的假设，以及与此相关的基于偏好的反馈的属性。
2021-07-12 cs.LG stat.ML
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University（北卡罗来纳州立大学）
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型，然后最大化长期奖励。了解所提出的模型是否合理，以及模型在渐近意义下的表现如何，是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理，证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时，我们提出了利用逆倾向得分加权的在线加权最小二乘估计，并建立了其渐近正态性。基于参数估计的性质，我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎！
2020-10-14 cs.LG stat.ML
Correlated bandits or: How to minimize mean-squared error online
University of Maryland, College Park（马里兰大学帕克分校）；LinkedIn Corp.（领英公司）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
虽然传统的多臂强盗问题的目标是找到具有最高平均值的臂，但在许多设置中，找到最好地捕获关于其他臂的信息的臂是令人感兴趣的。然而，这一目标需要了解潜在的相关结构，而不仅仅是武器的手段。用于工业监控和蜂窝网络监控的传感器放置是一些应用，其中底层相关结构起着重要作用。出于这样的应用程序，我们制定相关的强盗问题，其目标是找到最低的均方误差（MSE）估计的所有武器的武器。为此，我们首先推导出一个MSE估计，基于样本方差和协方差，并表明我们的估计指数集中在真正的MSE。在最佳臂识别框架下，我们提出了一种连续拒绝型算法，并提供了在识别最佳臂时错误概率的界。使用极小极大理论，我们还推导出相关强盗问题的基本性能限制。
2019-06-26 cs.LG stat.ML
Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
Dipartimento di Informatica, Università degli Studi di Milano（米兰大学信息科学系）；Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）
本文提出LowPopArt低秩矩阵估计方法及基于B(Q)的实验设计准则，并据此为一般臂集设计两种低秩线性赌博机算法，获得更优遗憾上界，突破了以往对臂集或探索分布的严格假设。
2024-06-08 cs.LG stat.ML
Fairness of Exposure in Online Restless Multi-armed Bandits
Indian Institute of Technology Ropar（印度罗帕尔理工学院）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
提出首个在线非平稳多臂老虎机公平框架，按臂价值比例分配拉取次数，实现亚线性公平遗憾并验证多拉取场景有效性。
2024-02-09 cs.LG stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
Better Boosting with Bandits for Online Learning
University College London（伦敦大学学院）；Usher Institute of Population Health Sciences and Informatics（亚瑟人口健康科学与信息学研究所）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；University of Manchester（曼彻斯特大学）
由于该算法的边际最大化性质，由提升集合生成的概率估计值校准得很差。集合的输出需要在它们可以用作概率估计之前被适当地校准。在这项工作中，我们证明了在线提升也容易产生扭曲的概率估计。在批量学习中，通过保留部分训练数据用于训练校准器函数来实现校准。在在线设置中，需要在每一轮中做出决定：新的示例是否用于更新集合的参数或校准器的参数。我们着手解决这一决定的帮助下，强盗优化算法。我们表现出优越的性能，未校准和天真校准的在线提升合奏的概率估计。我们提出的机制可以很容易地适应其他任务（例如成本敏感的分类），是强大的校准器和合奏的超参数的选择。
2020-01-16 cs.LG stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Bilinear Bandits with Low-rank Structure
Boston University（波士顿大学）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们引入了具有低秩结构的双线性强盗问题，其中一个行动采取来自两个不同实体类型的一对手臂的形式，并且奖励是手臂的已知特征向量的双线性函数。问题中的未知数是定义奖励的$d_1$ × $d_2$矩阵$\mathbfΘ^*$，并且具有低秩$r \ll \min\{d_1,d_2\}$。确定具有这种低秩结构的$\mathbfΘ^*$在找到正确的探索-开发权衡方面提出了重大挑战。在这项工作中，我们提出了一个新的两阶段算法称为“探索子空间，然后细化”（ESTR）。第一阶段是显式子空间探索，而第二阶段是称为“几乎低维OFUL”（LowOFUL）的线性强盗算法，该算法通过正则化技术利用并进一步细化估计的子空间。我们证明了ESTR的后悔是$\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$，其中$\widetilde{\mathcal{O}}$隐藏对数因子，$T$是时间范围，这改进了$\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$的后悔。我们推测ESTR的遗憾界是不可改进的多对数因子，我们的初步实验表明，ESTR优于一个天真的线性强盗减少。
2019-06-09 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University（宾夕法尼亚州立大学）；University at Buffalo（布法罗大学）
针对在线学习和决策过程中决策者面对高维数据的问题，提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法（G-MCP-Bandit）.我们证明了G-MCP-Bandit算法在样本大小维度T，O（log T）上渐近地达到最优累积后悔，并进一步在协变量维度d，O（log d）上达到一个紧界.此外，我们还提出了一种线性逼近方法，即两步加权Lasso方法，来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中，MCP估计以高概率匹配Oracle估计，并以最佳收敛速度收敛到真参数。最后，通过基于合成数据和两个真实数据集（华法林用药数据集和腾讯搜索广告数据集）的实验，证明了G-MCP-Bandit算法优于其他基准算法，尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
Efficient Online Set-valued Classification with Bandit Feedback
Binghamton University（宾汉姆顿大学）
针对老虎机反馈下真实标签不可见、校准数据稀疏的问题，提出BCCP框架，以无偏估计和随机梯度下降实现在线集值分类，并提供类别特定覆盖率保证。
2024-05-07 cs.LG stat.ML
Online Evaluation of Audiences for Targeted Advertising via Bandit Experiments
Stanford University（斯坦福大学）
实施数字广告活动的公司在确定广告创意与目标受众之间的正确匹配方面面临着一个复杂的问题。解决这个问题的典型方法是利用非实验性的方法，或者使用“分裂测试”策略，这些策略没有明确解决目标受众可能相互重叠所引起的复杂性。本文提出了一种自适应算法，通过在线实验来解决这个问题。该算法被设置为一个上下文强盗和解决重叠的问题，通过划分的目标受众到不相交的，不重叠的子群体。它在不相交空间中学习最佳创意展示策略，同时并行评估哪个创意在可能重叠的目标受众空间中具有最佳匹配。实验结果表明，该方法是更有效的相比，天真的“分裂测试”或非自适应的“A/B/n”测试的方法。我们还描述了一个测试产品，我们建立了使用该算法。该产品目前部署在JD.com的广告平台上，这是一家电子商务公司，也是中国的数字广告发布商。
2019-09-04 cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Online Learning for Active Cache Synchronization
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
现有的多臂强盗（MAB）模型有两个隐含的假设：一个手臂只在它被玩的时候产生一个回报，代理人观察每一个产生的回报。本文介绍了同步土匪，MAB的变种，所有武器在任何时候都产生成本，但代理观察一个手臂的瞬时成本只有当手臂被发挥。同步MAB的灵感来自在线缓存场景，如Web抓取，其中一个arm对应于一个缓存的项目，播放arm意味着从服务器下载其新的副本。我们提出了一个同步强盗的在线学习算法-$O(T^{2/3})$，建立了$O(T^{2/3})$的对抗遗憾，并展示了如何使其实用。
2020-08-21 cs.LG stat.ML
Multi-Dueling Bandits and Their Application to Online Ranker Evaluation
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
新的排名算法正在不断开发和完善，需要开发有效的方法来评估这些排名。在线排名评估的重点是有效地确定的挑战，从隐式用户反馈，排名的有限集合的排名是最好的。在线排名评估可以通过决斗禁令来建模，决斗禁令是一种用于在成对比较的有限反馈下的在线学习的数学模型。排名对的比较是通过交错结果集和检查用户点击的文档来执行的。决斗强盗模型解决了在每次迭代中比较哪对排名的关键问题，从而为探索-利用权衡提供了解决方案。最近，已经开发了用于同时比较两个以上的排序器的方法。然而，在每次迭代中比较哪些排名的问题是开放的。我们解决这个问题，提出了一个推广的决斗土匪模型，使用同时比较的一个不受限制的排名。我们评估我们的算法上的合成数据和几个标准的大规模在线排名评估数据集。我们的实验结果表明，该算法产生的数量级的改善性能相比，国家的最先进的决斗强盗算法。
2016-08-22 cs.IR cs.LG stat.ML
Bernoulli Rank-$1$ Bandits for Click Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Telecom ParisTech（巴黎高等电信学院）
用户点击搜索结果的概率取决于其相关性及其在结果页面上的位置。基于位置的模型通过将每个项目的吸引概率和每个位置的检查概率归因于每个项目来解释这种行为。要被点击，结果必须既有吸引力又经过检验。项目位置对被点击的概率因此形成秩- $1$矩阵的条目。我们提出了学习问题的伯努利秩- $1$土匪在每一步，学习代理选择一对行和列的武器，并收到产品的伯努利分布值作为奖励。这是随机秩- $1$强盗问题的一个特殊情况，在最近的工作中，提出了一种基于消除的算法Rank 1 Elim，并表明Rank 1 Elim的遗憾与“良性”实例的行数和列数呈线性关系。这些是平均行和列奖励$μ$的最小值远离零的情况。Rank 1 Elim的问题是，它无法与$μ\rightarrow 0$等直接的强盗策略竞争。在本文中，我们提出了Rank 1 ElimKL，简单地取代（粗）的置信区间的Rank 1 Elim的Kullback-Leibler（KL）分歧的基础上的置信区间，并与一个新的结果的帮助下，关于KL分歧的缩放，我们证明了这种变化，我们的算法将是有竞争力的，无论$μ$的值。使用合成数据的实验证实，在良性情况下，Rank 1 ElimKL的性能明显优于Rank 1 Elim，而使用来自真实数据的模型的实验证实，无论数据是否良性，这些改进都是显著的。
2017-03-19 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Online Learning to Estimate Warfarin Dose with Contextual Linear Bandits
Stanford University（斯坦福大学）
华法林是世界上最常用的口服抗凝剂之一，华法林的适当剂量很难确定，不仅因为它在患者中存在很大差异，而且服用不正确剂量会产生不良甚至严重的后果。典型的做法是开一个初始剂量，然后医生密切监测患者的反应，并相应地调整到正确的剂量。初始剂量的三种常用策略是固定剂量方法，Warcraft临床算法和IWPC（国际Warcraft药物遗传学联盟）开发的药物遗传学算法。它总是最好的规定正确的初始剂量，出于这一挑战的动机，这项工作探讨了多臂强盗算法的性能，以最好地预测正确剂量的Warcantine，而不是试错程序。使用来自药物遗传学和药物基因组学知识库（PharmGKB）的真实数据，开发了一系列线性强盗算法和变体，并在Warranty数据集上进行了评估。所有提出的算法都优于固定剂量基线算法，有些甚至与Warranty临床剂量算法相匹配。最后，提出了今后进一步探索和发展的方向。
2019-07-11 cs.LG stat.ML
Efficient Generalized Low-Rank Tensor Contextual Bandits
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出广义低秩张量上下文赌博机模型及G-LowTESTR算法，通过探索低秩张量子空间将问题降维，并在理论和实验上证明其优于向量化与矩阵化方法。
2024-01-17 cs.LG stat.ML
