A Map of Bandits for E-commerce
丰富的Bandit文献不仅提供了多样化的算法工具箱，而且使从业者很难找到解决手头问题的正确解决方案。关于Bandits的典型教科书侧重于设计和分析算法，对应用程序的调查通常会列出单个应用程序。虽然这些都是有价值的资源，但在将应用程序映射到适当的Bandit算法方面存在差距。在本文中，我们的目标是通过Bandits的结构化地图来缩小这一差距，以帮助从业者找到相关和实用的Bandit算法。我们没有提供全面的概述，而是专注于与奖励，动作和功能相关的少数关键决策点，这些决策点通常会影响Bandit算法在实践中的选择。
2021-07-01 cs.LG
Structured Linear Contextual Bandits: A Sharp and Geometric Smoothed Analysis
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
Bandit学习算法通常涉及探索和利用的平衡。然而，在许多实际应用中，很少遇到需要系统探索的最坏情况。在这项工作中，我们考虑了结构化线性上下文强盗的平滑设置，其中对抗性上下文受到高斯噪声的干扰，并且未知参数$θ^*$具有结构，例如，稀疏性、组稀疏性、低秩等。我们提出了用于单参数和多参数的简单贪心算法（即，每个上下文的不同参数）设置，并为具有任何假定结构的$θ^*$提供统一的遗憾分析。遗憾的界限表示的几何量，如高斯宽度与$θ^*$的结构。我们还获得了更清晰的遗憾界相比，早期的工作，非结构化$θ^*$设置作为我们改进的分析的结果。我们表明，有一个简单的贪心算法工程的平滑设置中的隐式探索。
2020-02-26 cs.LG math.ST stat.ML
Practical Contextual Bandits with Regression Oracles
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
上下文强盗的一个主要挑战是设计通用的算法，既实用又有理论依据。我们提出了一种新的技术，具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类，一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类，并在某些分布假设下实现了低遗憾。在一个广泛的实证评估，基于可实现性和不可知的基线相比，我们发现，我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Model selection for behavioral learning data and applications to contextual bandits
CNRS（法国国家科学研究中心）；Columbia University（哥伦比亚大学）
针对行为学习数据依赖个体且仅能通过行为观察的问题，提出适用于非平稳依赖数据的留出法和AIC型准则两种模型选择方法，提供接近i.i.d.情况的理论误差界，并在情境老虎机模型及人类分类任务数据上验证了方法有效性。
2025-02-18 cs.LG stat.ML
Navigating Sparsities in High-Dimensional Linear Contextual Bandits
University of Science and Technology of China（中国科学技术大学）；University of Virginia（弗吉尼亚大学）
针对高维线性上下文赌博机，提出基于逐点估计器的HOPE算法，统一处理参数与协方差特征值稀疏性，改进遗憾界并首次应对异质混合稀疏设置，实验验证其优越性。
2025-10-09 cs.LG math.ST stat.TH
Conformal bandits: bringing statistical validity and reward efficiency under weak arm separability
MEMOTEF, Sapienza Università di Roma（MEMOTEF，罗马大学）
Conformal Bandits通过整合符合预测，为小间隙领域提供了统计有效性和奖励效率，解决了传统老虎机策略在有限样本中的不足。
2026-08-04 cs.LG
Learning the distribution with largest mean: two bandit frameworks
CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）
在过去的几年里，多臂强盗模型在机器学习社区中越来越受欢迎，部分原因是包括在线内容优化在内的应用。本文回顾了两种不同的顺序学习任务，已被认为是在土匪文学，他们可以制定为（顺序）学习的分布具有最高的平均值之间的一组分布，学习过程中的一些限制。对于这两个（遗憾最小化和最好的手臂识别），我们目前最近，渐近最优算法。我们比较了每个算法的采样规则的行为以及与每个问题相关的复杂性。
2017-11-07 cs.LG math.ST stat.ML
Confidence Interval for Off-Policy Evaluation from Dependent Samples via Bandit Algorithm: Approach from Standardized Martingales
CyberAgent Inc.（赛博艾坚特公司）
本研究针对由bandit演算法所得到的相依样本，提出一个离政策评估（OPE）的问题。OPE的目标是评估一个新的策略使用的历史数据从行为策略产生的强盗算法。由于bandit算法根据过去的观察结果更新策略，因此样本不是独立和同分布（i.i.d.）的。然而，用于OPE的几种现有方法没有考虑这个问题，并且基于样本是i.i.d.的假设。在这项研究中，我们解决这个问题，通过构建一个估计从一个标准化的鞅差序列。为了标准化序列，我们考虑使用评估数据或样本分裂两步估计。这种方法产生的估计渐近正态性，而不限制一类行为的政策。在一个实验中，所提出的估计比现有的方法，它假设的行为策略收敛到一个时不变的政策表现得更好。
2020-06-12 cs.LG econ.EM stat.ME
Fitting Reinforcement Learning Model to Behavioral Data under Bandits
IMBIT//BrainLinks-BrainTools；Department of Computer Science, University of Freiburg（弗莱堡大学计算机科学系）
本文提出了一种基于凸松弛和优化的新型方法，用于在多臂老虎机环境下拟合强化学习模型，通过理论分析和实验验证，证明其在计算效率和性能上的优势。
2026-03-26 cs.CE cs.LG math.OC
Bandit learning in concave $N$-person games
Universidad de Santiago de Chile（智利圣地亚哥大学）；Lancaster University（兰卡斯特大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
本文研究了非合作凹对策中带强盗反馈的学习行为。强盗框架考虑了极低的信息环境，在这种环境中，代理甚至可能不知道他们正在玩游戏;因此，代理在这种设置中最明智的选择是采用无遗憾学习算法。一般来说，这并不意味着参与者的行为在长期内稳定下来：即使有完美的梯度信息，无悔学习也可能导致循环。然而，如果一个标准的单调性条件得到满足，我们的分析表明，基于镜像下降与强盗反馈的无悔学习收敛到纳什均衡的概率$1$。我们还推导出一个上界的收敛速度的过程中，几乎匹配的最佳可达到的速度单代理强盗随机优化。
2018-10-03 cs.GT cs.LG math.OC
Trading off rewards and errors in multi-armed bandits
Inria SequeL；CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
2026-10-06 cs.LG stat.ML
A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms
Columbia University（哥伦比亚大学）
经典（随机）多臂强盗（MAB）问题中复杂性的关键驱动因素之一是顶部两个臂的平均回报之间的差异，也称为实例间隙。著名的置信上限（UCB）策略是最简单的基于乐观主义的MAB算法之一，它自然地适应了这个差距：对于游戏n的水平，它在具有“大”差距的情况下实现了最优O（log n）的遗憾，并且当差距可以任意“小”时，它实现了接近最优O（\sqrt{n log n}）的极大极小遗憾。“本文提供了关于UCB的臂采样行为的新结果，导致了几个重要的见解。其中，它表明，手臂采样率下UCB是渐近确定的，无论问题的复杂性。这一发现为UCB的O（\sqrt{n log n}）极大极小后悔性提供了新的精确渐近性和新的证明.此外，本文还提供了第一个完整的过程级表征的MAB问题下UCB在传统的扩散缩放。除此之外，本文采用的“小”差距最坏情况的镜头也揭示了深刻的区别之间的行为UCB和汤普森抽样，如“不完全学习”现象的特点，后者。
2021-10-26 cs.LG stat.ML
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
针对顺序学习方法的策略行为，例如在实际推荐系统中的“点击框架”，已经被广泛观察到。这种行为的动机，我们研究的组合多武装土匪（CMAB）的策略操纵下的奖励，其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置（例如对抗攻击和对抗腐败）的放松。本文提出了一种组合UCB算法的策略变体，在策略操作下，该算法的遗憾最多为$O(m\log T + m B_{max})$，其中$T$为时间范围，$m$为臂数，$B_{max}$为臂的最大预算，并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统，在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限，在各种制度的操纵预算。
2021-11-19 cs.AI cs.LG
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Semi-Parametric Contextual Bandits with Graph-Laplacian Regularization
Sookmyung Women’s University（淑明女子大学）；UNIST（蔚山科学技术院）；University of California Berkeley（加州大学伯克利分校）；Seoul National University（首尔国立大学）
非平稳性在人类行为中无处不在，在上下文强盗中解决它具有挑战性。一些作品已经通过调查半参数上下文强盗来解决这个问题，并警告说忽略非平稳性可能会损害性能。另一种普遍的人类行为是社交互动，其以社交网络或图形结构的形式变得可用。因此，基于图的上下文强盗受到了广泛的关注。在本文中，我们提出了“SemiGraphTS”，一种新的上下文的基于图的半参数奖励模型的爱普生采样算法。我们的算法是第一个提出在这种情况下。我们推导出一个上界的累积遗憾，可以表示为一个因素的倍数取决于图的结构和顺序的半参数模型没有一个图。我们通过仿真和实际数据的例子来评估所提出的和现有的算法。
2022-05-17 cs.LG stat.ML
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination
Microsoft Research（微软研究院）
在统计学习、在线学习及其他领域中，一个反复出现的主题是，对于低噪声问题，更快的收敛速度是可能的，通常通过最佳假设的性能来量化;这样的结果被称为一阶或小损失保证。虽然一阶保证在统计和在线学习中相对较好地理解，但适应上下文强盗（以及更广泛地说，决策）中的低噪声提出了主要的算法挑战。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire询问一阶保证是否可能用于上下文强盗，如果是这样，它们是否可以通过有效的算法实现。我们给出了一个解决这个问题，通过提供一个最佳的和有效的减少从上下文强盗在线回归的对数（或交叉熵）损失。我们的算法是简单实用的，很容易容纳丰富的功能类，不需要超越可实现性的分布假设。在一个大规模的实证评估，我们发现，我们的方法通常优于可比的非一阶方法。在技术方面，我们表明，对数损失和信息理论的数量称为三角歧视在获得一阶保证发挥了根本性的作用，我们结合这一观察与新的改进回归预言减少框架的福斯特和Rakhlin。使用三角歧视产生新的结果，即使是经典的统计学习模型，我们预计，它会发现更广泛的使用。
2021-07-05 cs.LG math.ST stat.ML
Reconciling Risk Allocation and Prevalence Estimation in Public Health Using Batched Bandits
Stanford University（斯坦福大学）
在许多公共卫生环境中，在向已知的脆弱地区分配资源与了解这一问题的总体普遍性之间存在着明显的紧张关系。受我们帮助设计的一个挨家挨户的新冠病毒检测项目的启发，我们将多臂强盗策略和抽样理论的见解结合起来，演示如何在继续向风险地区分配资源的同时恢复准确的流行率估计。我们以传染病的爆发为例。公共卫生环境有几个特点，使其有别于典型的强盗环境，如分布偏移（真实的疾病流行率随时间而变化）和分批抽样（必须同时作出多项决定）。尽管如此，我们证明了几个强盗算法能够超越贪婪的资源分配策略，这往往比随机分配，因为他们没有注意到在新的领域爆发。
2021-10-25 cs.LG
Adversarial Attacks on Linear Contextual Bandits
Facebook AI Research（Facebook人工智能研究院）
上下文强盗算法应用于广泛的领域，从广告到推荐系统，从临床试验到教育。在这些领域中的许多领域中，恶意代理可能有动机攻击强盗算法以诱导其执行期望的行为。例如，一个不道德的广告发布者可能试图以牺牲广告商的利益来增加自己的收入;一个卖家可能想增加他们产品的曝光率，或者阻挠竞争对手的广告活动。在本文中，我们研究了几种攻击方案，并表明恶意代理可以迫使线性上下文强盗算法在$T$步骤的范围内拉动任何所需的手臂$T - o(T)$次，同时将对抗性修改应用于奖励或仅以$O(\log T)$形式增长的上下文。我们还调查了恶意代理有兴趣在单个上下文中影响强盗算法的行为的情况（例如，特定用户）。我们首先提供了攻击的可行性的充分条件，然后我们提出了一个有效的算法来执行攻击。我们验证了我们的理论结果在合成和真实世界的数据集上进行的实验。
2020-10-23 cs.LG stat.ML
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Categorized Bandits
CMLA, ENS Paris-Saclay（巴黎萨克雷高等师范学院CMLA）；Cdiscount（Cdiscount公司）；Criteo AI Lab（Criteo人工智能实验室）
我们引入了一个新的随机多武装土匪设置武器内的“有序”类别分组。激励的例子来自电子商务，在那里，客户通常对一个明确但未知的特定类别的物品比其他任何物品都有更大的胃口。我们引入了三个类别之间的排序概念，灵感来自随机变量之间的随机优势，这是逐渐变弱，使越来越多的土匪的情况下，满足至少其中之一。我们首先证明了这些模型的累积遗憾的实例相关的下界，表明如何增加的强盗问题的复杂性与一般性的排序概念考虑。我们还提供了充分利用模型结构及其相关理论保证的算法。最后，我们对真实数据进行了分析，以强调这些有序类别在实践中确实存在。
2020-05-04 cs.LG stat.ML
Online Residential Demand Response via Contextual Multi-Armed Bandits
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
住宅负荷具有很大的潜力，以提高电力系统的效率和可靠性，通过需求响应（DR）计划。住宅DR的一个主要挑战是处理未知和不确定的客户行为。以往的研究多采用学习技术来预测用户的DR行为，而忽略了时变环境因素的影响，这可能导致预测不准确和负荷调整效率低下。在本文中，我们考虑住宅DR问题的负载服务实体（LSE）的目的是选择一个最佳的客户子集，以最大限度地提高预期的负载减少与财政预算。为了学习环境影响下的不确定客户行为，将住宅DR问题转化为一个上下文多臂强盗（MAB）问题，提出了基于Thompson抽样的在线学习选择（OLS）算法，该算法考虑了上下文信息，适用于复杂的DR环境.数值仿真结果验证了该算法的学习有效性。
2020-05-17 cs.LG cs.SY eess.SY
Make the Minority Great Again: First-Order Regret Bound for Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
在线学习中的后悔界限将玩家的表现与$L^*$进行比较，后者是具有固定策略的事后最佳表现。通常，这种界限与时间范围$T$的平方根成比例。更精确的一阶后悔界限的概念用缩放的$\sqrt{L^*}$代替了它，它可能比$\sqrt{T}$小得多。众所周知，标准算法的小变量在完全信息和多臂强盗设置下满足一阶后悔界。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire提出了一个问题，即现有技术似乎不足以获得上下文强盗问题的一阶后悔界限。在本文中，我们解决了这个开放的问题，提出了一个新的战略的基础上扩大政策空间。
2018-02-09 cs.LG
Periodic Bandits and Wireless Network Selection
National University of Singapore（新加坡国立大学）
在随机和对抗环境中，已经广泛研究了Bandit风格的算法。这样的算法已经被证明是有用的，在多人设置，例如，解决无线网络选择问题，这可以被公式化为一个对抗的强盗问题。对抗设置的领先强盗算法是EXP3。然而，网络行为通常是重复的，其中用户密度和网络行为遵循规则模式。像EXP3这样的Bandit算法无法为周期性行为提供良好的保证。一个主要原因是这些算法与固定动作策略竞争，固定动作策略在周期性设置中无效。在本文中，我们定义了一个周期性的强盗设置，和周期性的遗憾，这种类型的设置作为一个更好的性能指标。我们的目标不是将算法的性能与固定动作策略进行比较，而是与在一些可能的周期模式$F$（例如，所有可能的周期函数都具有周期$1,2,\cdots,P$）下发挥作用的策略进行竞争。我们提出周期性EXP4，EXP4算法的周期性设置的计算效率的变体。在$K$臂、$T$时间步长和$F$中每个周期模式的长度至多为$P$的情况下，我们证明了由周期EXP4得到的周期遗憾至多为$O\big(\sqrt{PKT \log K + KT \log |F|}\big)$ .我们还证明了一个下限的$Ω\big(\sqrt{PKT + KT \frac{\log |F|}{\log K}} \big)$的周期性设置，这是最佳的对数因子。作为一个例子，我们专注于无线网络选择问题。通过模拟，我们表明，周期性EXP4随着时间的推移…
2019-04-28 cs.LG cs.NI
FPL Analysis for Adaptive Bandits
在线决策问题的“跟随扰动领导者”策略的一个主要问题是遗憾界通常是针对遗忘对手证明的。在部分观测的情况下，它是不清楚如何获得对自适应对手的性能保证，而不恶化的界限。我们提出一个概念上简单的论点来解决这个问题。利用这一点，在对抗性多臂强盗问题中，FPL的遗憾界为O（t^（2/3））。该界限仅适用于仅使用指定探索回合的观察结果的常见FPL变体。使用所有的观测值可以得到更强的O（t^（1/2））的界，与迄今为止已知的最佳界（本质上是已知的下界）相匹配。令人惊讶的是，这种变体甚至不需要明确的探索，它是自我稳定的。然而，抽样概率必须由外部提供或近似到足够的精度，在每一步中使用O（t^2 log t）个样本。
2005-07-26 cs.LG
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Exploration via Feature Perturbation in Contextual Bandits
Seoul National University（首尔国立大学）
提出特征扰动探索策略，通过向特征输入注入随机性实现上下文赌博机的有效探索，达到近乎最优遗憾界且计算高效，可扩展至神经网络模型。
2025-10-24 cs.LG stat.ML
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样，离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性，这是典型的大规模贝叶斯推断和图形模型，并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系，并提供了三个算法的理论保证。实验结果表明，该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits
Stern School of Business（斯特恩商学院）；New York University（纽约大学）；Institute for Program Structures and Data Organization（程序结构与数据组织研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Kyoto University（京都大学）
本文提出自适应重置老虎机算法 ADR-bandit，利用自适应窗口技术处理全局非平稳多臂老虎机问题，并在突变与渐变环境中证明其具有近乎最优性能，实验显示其优于现有方法。
2023-10-25 cs.LG stat.ML
Selectively Contextual Bandits
Princeton University（普林斯顿大学）；Netflix（奈飞）；Spotify（声田）
上下文强盗广泛用于工业个性化系统中。这些在线学习框架在存在随着观察到的用户的上下文特征而变化的治疗效果的情况下学习治疗分配策略。虽然个性化创建了反映个人兴趣的丰富的用户体验，但在社区中共享体验的好处是能够参与时代精神。这些好处是通过网络效应出现的，而不是在通常用于评估土匪的后悔指标中获得的。为了平衡这些需求，我们提出了一种新的在线学习算法，该算法保留了个性化的好处，同时增加了用户之间的治疗共性。我们的方法选择性地插入上下文强盗算法和上下文无关的多臂强盗之间，并利用上下文信息的治疗决策，只有当它承诺显着的收益。除了帮助个性化系统的用户在个性化和共享之间平衡他们的体验之外，通过使其选择性地依赖于上下文来简化治疗分配策略可以在某些情况下帮助提高学习率。我们使用公共数据集在分类设置中评估了我们的方法，并显示了混合策略的好处。
2022-05-09 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay（电子工程系，印度理工学院，孟买）
本文研究单调结构下基于阈值的多臂老虎机问题，推导了仅与阈值相邻臂相关的渐近遗憾下界，提出最优算法并经蒙特卡洛模拟验证，拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
QoS-Aware Multi-Armed Bandits
LMU Munich（慕尼黑大学）
出于运行时验证的QoS要求的自适应和自组织系统，能够重新配置其结构和行为，以响应运行时的数据，我们提出了一个QoS感知的变体汤普森采样多武装土匪。它是适用于设置中的臂的QoS满意度必须确保高的信心，有效地，而不是找到最佳的手臂，同时最大限度地减少遗憾。初步的实验结果鼓励在QoS感知决策领域的进一步研究。
2017-02-28 cs.LG cs.SE
Learning interactions to boost human creativity with bandits and GPT-4
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文利用多臂老虎机学习人机交互中的提示策略，在语义特征生成任务中提升人类与GPT-4的创造力，发现AI与人类偏好一致，且策略可迁移至模拟群体。
2023-11-16 cs.AI cs.HC cs.LG
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits
University of Oxford（牛津大学）
最近机器学习的许多成功都依赖于良好调整的超参数。这在强化学习（RL）中尤为突出，其中配置的微小变化可能导致失败。尽管调整超参数很重要，但它仍然很昂贵，而且通常是以一种幼稚而费力的方式完成的。最近解决这个问题的一个方法是基于群体的训练（PBT），它在一个单一的训练运行中更新权重和超参数。PBT已被证明在RL中特别有效，导致在该领域的广泛使用。然而，PBT缺乏理论保证，因为它依赖于随机算法来探索超参数空间。这种低效率意味着它通常需要大量的计算资源，这对于许多中小型实验室来说是禁止的。在这项工作中，我们介绍了第一个可证明有效的PBT风格的算法，人口为基础的土匪（PB2）。PB2使用概率模型以有效的方式指导搜索，从而可以发现高性能的超参数配置，其代理数量远远少于PBT通常所需的代理数量。我们在一系列RL实验中表明，PB2能够以适度的计算预算实现高性能。
2021-06-04 cs.LG stat.ML
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
On First-Order Bounds, Variance and Gap-Dependent Bounds for Adversarial Bandits
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；DeepMind（深度思维）
我们对k-武装对抗型土匪理论做出了三个贡献。首先，我们证明了Audibert和Bubeck [2009]的INF策略的修改变体的一阶界，而不牺牲最坏情况下的最优性或修改损失估计。其次，我们对基于跟随正则化领导者的算法进行了方差分析，表明在没有自适应的情况下，遗憾的方差通常是Ω（n^2），其中n是水平。最后，我们研究了取决于臂分离程度的界限，将Cowan和Katehakis [2015]的结果从随机设置推广到对抗设置，并将Seldin和Slivkins [2014]的结果改进为log（n）/log（log（n））。
2019-07-24 cs.LG stat.ML
Bandits meet Computer Architecture: Designing a Smartly-allocated Cache
The Technion - Israel Institute of Technology（以色列理工学院）
在许多嵌入式系统中，例如成像系统，系统具有单一的指定用途，并且重复地执行相同的线程。分析线程行为允许系统以提高整体系统性能的方式为每个线程分配其资源。我们研究了一个在线资源分配问题，其中资源管理器同时分配资源（探索），学习对不同消费者的影响（学习），并改进分配以实现最佳性能（开发）。我们建立在多武装匪徒的丰富框架上，并提出了在线和离线算法。通过大量的实验与合成数据和现实世界的高速缓存分配线程，我们展示了我们的al-出租的优点和属性
2016-01-31 cs.LG
Data Poisoning Attacks in Contextual Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Brain（谷歌大脑）
我们研究离线数据投毒攻击上下文土匪，一类强化学习的问题，在在线推荐和自适应医疗等重要应用。我们提供了一个基于凸优化的通用攻击框架，并表明通过稍微操纵数据中的奖励，攻击者可以迫使强盗算法为目标上下文向量拉一个目标手臂。目标手臂和目标上下文向量都由攻击者选择。也就是说，攻击者可以劫持上下文强盗的行为。我们还调查了这种攻击的可行性和副作用，并确定了未来的防御方向。仿真和真实数据实验验证了算法的有效性。
2018-08-24 cs.CR cs.LG stat.ML
Identifiable Latent Bandits: Leveraging observational data for personalized decision-making
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle（睡眠周期）
本文提出一种可识别的潜在老虎机框架，通过学习历史决策和结果来实现更高效的探索和个性化决策，优于传统老虎机。
2026-05-11 cs.LG stat.ML
On the Computational Tractability of Robust Bandits
Technion（以色列理工学院）；CORAL（计算理性智能体实验室）
本文研究鲁棒多臂老虎机问题的计算可处理性，发现一个特例存在多项式时间且遗憾为Õ(√T)的学习器，而其若干推广为NP难，为AI对齐提供计算高效学习器迈出一步。
2026-10-07 cs.LG
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个变种的最佳武器识别（BAI）问题的多武装匪徒（MAB），其中有两套武器（源和目标），目标是确定最佳的目标手臂，而只拉源武器。在本文中，我们研究的设置时，尽管手段是未知的，有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题，并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法，以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面，这些问题在典型的BAI设置中不会出现，并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
Set Membership Estimation for Stochastic Linear Contextual Bandits
The Grainger College of Engineering（格里纳尔工程学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有界奖励噪声的随机线性上下文赌博机，提出基于集合成员估计和乐观原则的SME-OFU算法，实现O(log T)的遗憾界，优于次高斯噪声下的最优界。
2026-10-16 cs.LG math.OC stat.ML
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
Pay to Learn, Share to Earn: Incentivized Federated Multi-Player Bandits
Indian Institute of Science（印度科学理工学院）
针对自利玩家不愿共享信息的联邦多玩家老虎机问题，提出激励感知框架及Buying-UCB算法，平衡探索与协作，理论推导遗憾与成本上界，实验验证有效性。
2026-10-06 cs.LG
MARBLE: Multi-Armed Restless Bandits in Latent Markovian Environment
Department of Computer and Systems Sciences (DSV), Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯研究中心）；Smartprofile（Smartprofile公司）
MARBLE引入潜在马尔可夫状态以应对非平稳环境中的多臂 restless 博弈，提出马尔可夫平均指数性准则，并证明在该准则下同步Q学习与Whittle指数几乎必然收敛到最优Q函数。
2026-04-09 cs.LG
Graph Clustering Bandits for Recommendation
University of Insubria（因苏布里亚大学）；Telefonica Research（西班牙电信研究院）
我们研究了一种有效的上下文相关的聚类技术的推荐系统的基础上探索开发策略，通过多武装土匪在多个用户。我们的算法动态组用户的基础上观察到的行为相似性在一系列记录的活动。在这样做时，该算法通过在他/她周围塑造集群来对当前服务的用户做出反应，但同时，它探索了当前未参与的用户的集群的生成。我们激励这种聚类策略的有效性，并提供了一个广泛的实证分析，对现实世界的数据集，显示可扩展性和改进的预测性能超过国家的最先进的方法，顺序聚类的用户在多臂土匪的情况下。
2016-05-02 cs.AI cs.IR cs.LG
Contextual Bandits with Large Action Spaces: Made Practical
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
顺序决策的一个核心问题是开发实用且计算效率高的算法，同时支持灵活的通用模型的使用。专注于上下文强盗问题，最近的进展提供了可证明的有效算法，具有强大的经验性能时，可能的替代品（“行动”）的数量很小，但保证决策在大，连续的行动空间仍然难以捉摸，导致理论和实践之间的显着差距。我们提出了第一个有效的，通用的算法，连续的，线性结构的动作空间的上下文土匪。我们的算法利用计算预言机进行（i）监督学习，以及（ii）动作空间的优化，并实现了与动作空间大小无关的样本复杂度、运行时间和内存。此外，它简单实用。我们进行了大规模的实证评估，并表明我们的方法通常享有优越的性能和效率相比，标准基线。
2022-07-12 cs.LG stat.ML
The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation
Harvard University（哈佛大学）；University of Virginia（弗吉尼亚大学）
受推荐系统等经济应用的启发，我们研究了由理性行为者进行的\emph{strategic behavior}下的随机强盗算法的行为，即，手臂每个手臂都是一个\emph{self-interested}策略参与者，在跨时期预算约束下，每当被拉时，他们都可以修改自己的奖励，以最大化自己的预期被拉次数。我们分析了三个流行的强盗算法的鲁棒性：UCB，$\varepsilon$ -贪婪，汤普森采样。我们证明了这三种算法都达到了一个遗憾上界$\mathcal{O}(\max \{ B, K\ln T\})$，其中$B$是跨武器的总预算，$K$是武器的总数，$T$是时间范围的长度。这种遗憾保证在\emph{arbitrary adaptive}的武器操纵策略下成立。我们的第二组主要结果表明，这个遗憾界是\emph{tight} -事实上，对于UCB，即使我们限制手臂的操作策略形成\emph{Nash equilibrium}，它也是紧的。下界利用了一个简单的操作策略，所有三种算法都是一样的，得到了一个$Ω(\max \{ B, K\ln T\})$的界。我们的结果说明了经典的强盗算法对策略操纵的鲁棒性，只要$B=o(T)$。
2020-11-12 cs.AI cs.GT cs.LG
Hierarchical Contextual Uplift Bandits for Catalog Personalization
Dream11
本文提出层次化上下文提升老虎机框架，通过动态调整上下文粒度和整合提升建模原理，提升幻想体育平台的推荐质量与用户满意度。
2026-01-20 cs.LG
Continuous Mean-Covariance Bandits
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出连续均值-协方差老虎机模型，考虑选项相关性，在三种反馈设置下提出最优遗憾算法并给出匹配下界，首次量化协方差结构对学习性能的影响。
2023-05-11 cs.LG
Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents
University of Chicago（芝加哥大学）；University of Maryland（马里兰大学）；Microsoft Research New York City（微软研究院纽约分部）
本文针对策略性智能体可能偏离理性行为的多臂老虎机问题，提出一类同时实现性能激励与鲁棒性保证的算法，并扩展到委托方对臂性能特征无信息的情形。
2025-03-09 cs.GT cs.LG
