Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Stochastic Contextual Bandits with Known Reward Functions
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
通信网络中的许多序贯决策问题都可以建模为上下文强盗问题，这是著名的多臂强盗问题的自然扩展。在上下文强盗问题中，在每一个时间，代理观察到一些边信息或上下文，拉一个手臂，并获得奖励，arm.We考虑的上下文奖励元组是独立地从一个未知的分布在每次审判的随机制定。出于网络应用程序，我们分析了一个设置，奖励是一个已知的非线性函数的上下文和所选的手臂的当前状态。我们首先考虑的情况下，离散和有限的上下文空间，并提出DCB（$ε$），我们证明，通过仔细的分析，算法，产生遗憾（累积奖励差距相比，分布感知精灵）缩放时间和线性的武器数量是不是最佳的任何情况下，改进现有的算法，其中遗憾的武器总数线性缩放。然后，我们研究了连续上下文空间与Lipschitz奖励函数，并提出CCB（$ε, δ$），一个算法，使用DCB（$ε$）作为一个子程序。CCB（$ε, δ$）揭示了一种新的由$δ$参数化的遗憾存储权衡。调整$δ$的时间范围，使我们能够获得次线性的遗憾界限，同时需要次线性的存储。通过利用联合学习的所有情况下，我们得到的CCB（$ε, δ$）的遗憾界是无法实现的任何现有的上下文强盗算法连续的上下文空间。我们还显示了类似的性能界限未知的地平线的情况下。
2016-05-06 cs.LG
Exploration via linearly perturbed loss minimisation
University of Alberta（阿尔伯塔大学）
本文提出了一种基于线性扰动损失的探索方法EVILL，通过求解线性扰动的正则化负对数似然函数的最小化问题，解释了随机奖励扰动为何能产生有效的多臂老虎机算法，并展示了数据依赖扰动如何使EVILL在理论和实践中达到与Thompson采样类参数扰动方法相当的性能。
2026-06-04 cs.LG stat.ML
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia（弗吉尼亚大学）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展，但现有的解决方案仅限于简单的模型，如多臂强盗和线性强盗，这妨碍了它们的实际效用。在本文中，而不是假设存在一个线性奖励映射的功能，预期的回报，我们考虑非线性奖励映射，让代理合作搜索再生核希尔伯特空间（RKHS）。这在通信效率方面带来了重大挑战，因为分布式内核学习需要传输原始数据，导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题，该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
Regret Analysis for Hierarchical Experts Bandit Problem
Tsinghua University（清华大学）
研究了标准强盗问题的一个推广，其中专家层为R层.多层次的专家一层一层地进行选择，只有最后一层的专家才能玩武器。学习策略的目标是最大限度地减少总的遗憾，在这个层次的专家设置。我们首先分析的情况下，总后悔增长的层数。然后重点研究了所有专家均采用上置信限策略的情形，给出了不同情形下的几个次线性上界。最后，我们设计了一些实验来帮助对一般层次UCB结构的后悔分析，并展示了我们的理论结果的实际意义。这篇文章给出了许多关于合理层次决策结构的见解。
2022-08-11 cs.LG
Bandit algorithms to emulate human decision making using probabilistic distortions
ABInBev（百威英博）；IIT Madras（印度理工学院马德拉斯分校）；IISc（印度科学理工学院）；University of Maryland（马里兰大学）
本文针对人类决策中的概率失真现象，在K臂和线性赌博机中提出失真感知算法，并证明其在遗憾最小化和最佳臂识别任务中具有阶最优性，最后通过交通路由仿真验证其优势。
2023-10-31 cs.LG stat.ML
Best-Arm Identification in Linear Bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；Microsoft Research New-England（微软新英格兰研究院）；Google DeepMind（谷歌DeepMind）
研究了线性强盗中的最佳臂识别问题，其中各臂的报酬线性依赖于一个未知参数$θ^*$，目标是返回具有最大报酬的臂.我们描述了问题的复杂性，并引入了样本分配策略，拉臂，以确定最佳的手臂与固定的信心，同时最大限度地减少样本预算。特别是，我们利用全球的线性结构，以提高近最佳武器的奖励估计的重要性。我们分析了所提出的策略，并比较其实证表现。最后，作为我们分析的副产品，我们指出了连接到最优实验设计中使用的$G$ -最优性准则。
2014-11-04 cs.LG
Sparse Stochastic Bandits
École polytechnique, Université Paris–Saclay（巴黎-萨克雷大学，巴黎综合理工学院）；École Normale Supérieure Paris–Saclay（巴黎-萨克雷高等师范学校）；Criteo Research（Criteo研究院）；Télécom ParisTech（巴黎电信学院）
在经典的多臂强盗问题中，决策者可以使用d个臂，依次拉动它们以最大化他的累积奖励。保证可以在一个称为后悔的相对量上获得，它与d（或与最小最大意义下的sqrt（d））成线性关系。在这里，我们考虑这个经典问题的稀疏情况下，只有少量的武器，即s < d，有一个积极的预期回报。我们能够利用这个额外的假设来提供一个算法，其遗憾与s而不是d成比例。此外，我们证明，该算法是最佳的，通过提供一个匹配的下限-至少对于一个广泛的和相关的范围内的参数，我们确定-并通过评估其性能的模拟数据。
2017-06-05 cs.LG
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University（爱荷华州立大学）
我们考虑的问题，M代理合作互动的一个随机K-武装上下文土匪的实例，其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置，在延迟后观察到确切的上下文，并在选择动作的时候，代理人不知道上下文，只有一个分布的上下文集可用。这种情况出现在不同的应用中，其中在决策时需要预测上下文（例如，天气预报或股票市场预测），并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界（UCB）的分布式算法，并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟，我们验证了我们的算法的性能。
2022-11-15 cs.LG
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
Global Bandits with Holder Continuity
标准的多臂强盗（MAB）问题假设武器是独立的。然而，在许多应用场景中，通过弹奏手臂获得的信息提供了关于手臂的其余部分的信息。因此，在这样的应用中，这种信息可以而且应该被利用，以使更快地收敛到最优解。在本文中，我们介绍和形式化的全球MAB（GMAB），其中武器是全球信息通过一个全球参数，即，选择一个臂显示关于所有臂的信息。我们提出了一个贪婪的政策，GMAB总是选择最高的估计预期回报的手臂，并证明它实现了有界的参数依赖的遗憾。因此，该策略仅选择次优臂200次，并且在有限数量的初始时间步之后，在所有剩余时间步中以概率1选择最优臂。此外，我们还研究了手臂关于彼此奖励的信息量如何影响学习速度。具体来说，我们证明了无参数（最坏情况下）的遗憾是次线性的时间，并减少与信息的武器。我们还证明了一个次线性的贝叶斯风险约束的GMAB降低到众所周知的贝叶斯风险约束的线性参数化土匪时，武器是完全信息。GMAB的应用范围从药物和治疗发现到动态定价。
2014-10-29 cs.LG
Optimal Resource Allocation with Semi-Bandit Feedback
University of Alberta（阿尔伯塔大学）；The Technion（以色列理工学院）；Microsoft Research（微软研究院）
研究了一类具有固定数量重复工件的顺序资源分配问题。在每一个时间步，管理者应该在作业之间分配可用的资源，以最大限度地提高预期的完成作业的数量。为给定的作业分配更多的资源会增加它完成的概率，但有一个截止值。具体来说，我们假设一个线性模型，其中概率线性增加，直到它等于1，之后分配额外的资源是浪费的。我们假设每个工作的难度是未知的，并提出了这个问题的第一个算法，并证明其遗憾的上界和下界。尽管其明显的简单性，问题有一个丰富的结构：我们表明，一个适当的乐观算法可以提高其学习速度显着超出通常预期的结果，为类似的问题，因为问题变得资源负载。
2014-06-15 cs.LG
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Neural Risk-sensitive Satisficing in Contextual Bandits
School of Science and Engineering, Tokyo Denki University（东京电机大学理工学部）
针对上下文赌博机算法在复杂非线性环境下适用性受限的问题，本研究将神经网络融入RegLinRS算法，提出NeuralRS方法，提升了算法在复杂场景下的效用。
2025-01-15 cs.LG
Bandit Multiclass Linear Classification for the Group Linear Separable Case
Kasetsart University（农业大学）
我们考虑了在线多类线性分类下的强盗反馈设置。Beygelzimer，Pál，Szörényi，Thiruvenkatachari，Wei和Zhang [ICML'19]考虑了两个线性可分性的概念，弱线性可分性和强线性可分性。当样本是强线性可分的且边界为$γ$时，他们提出了一种基于多类感知器的错误界为$O(K/γ^2)$的算法，其中$K$是类的数目。在弱线性可分的条件下，利用有理核对例子进行了处理，得到了$\min(K\cdot 2^{\tilde{O}(K\log^2(1/γ))},K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log K)})$的错误界。本文改进了弱线性可分性的概念来支持类分组的概念，称为组弱线性可分条件。这种情况可能是由于类结构包含固有的分组。证明了在此条件下，我们也可以利用有理核得到$K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log L)})$的错误界，其中$L\leq K$表示群的个数.
2021-08-31 cs.LG stat.ML
Worst-case Performance of Greedy Policies in Bandits with Imperfect Context Observations
上下文强盗是在具有时变成分的环境中的不确定性下的序列决策的规范模型。在这种情况下，每个强盗手臂的预期奖励由一个未知参数与该手臂的上下文向量的内积组成。经典的强盗设置在很大程度上依赖于假设的上下文是完全观察到的，而不完全观察上下文强盗的更丰富的模型的研究是不成熟的。这项工作考虑了贪婪强化学习策略，这些策略采取行动，就好像参数和未观察到的上下文的当前估计值与相应的真值一致。我们建立了非渐近的最坏情况下的遗憾增长的时间范围和故障概率的多项式，而它的规模与武器的数量线性。数值分析显示上述效率的贪婪政策也提供。
2022-05-25 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Ranking Bandits for Carousel Interfaces with Observable Browsing Depth
Hokkaido University（北海道大学）
针对轮播界面，提出可观测浏览深度的排序老虎机模型，利用浏览深度区分未点击与未展示物品，提出三种算法并证明渐近最优性，实验显示其遗憾低于PBM-UCB。
2026-10-21 cs.LG
Explore First, Exploit Next: The True Shape of Regret in Bandit Problems
CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）
在多臂强盗问题的情况下，我们重新讨论了遗憾的下界。我们获得非渐近的，分布依赖的界限，并提供简单的证明，只基于著名的性质Kullback-Leibler分歧。这些界限特别表明，在初始阶段的遗憾几乎线性增长，而众所周知的对数增长的遗憾只在最后阶段。证明技术来的信息理论的论点使用的本质，他们被剥夺了所有不必要的复杂性。
2018-10-13 cs.LG math.ST stat.TH
Meta-Learning Bandit Policies by Gradient Ascent
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾，对底层环境做很少的假设，要么是在贝叶斯意义上，假设环境参数的先验分布。前者在实际环境中往往过于保守，而后者则需要很难在实践中验证的假设。我们研究的强盗问题，这两个极端之间，学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例，并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的，因为它奠定了基础的元学习的强盗政策，并反映了更现实的假设，在许多实际领域。我们建议使用参数化的强盗政策，是可区分的，可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度，反映了结构的强盗问题和政策，为非上下文和上下文的设置，并提出了一些有趣的政策，都是可微的，并具有低遗憾。我们的算法和理论贡献的支持下，广泛的实验表明，基线减法，学习偏见的重要性，我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML
Cascading Bandits Robust to Adversarial Corruptions
Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
针对级联老虎机受对抗性篡改（如点击欺诈）时性能下降的问题，提出CBAC问题并设计两种分别假设篡改水平已知和未知的鲁棒算法，理论证明其未受攻击时对数级遗憾、受攻击时遗憾随篡改水平线性增加，实验验证了鲁棒性。
2025-02-12 cs.LG
LinearAPT: An Adaptive Algorithm for the Fixed-Budget Thresholding Linear Bandit Problem
National Taiwan University（台湾大学）
针对随机多臂老虎机中的固定预算阈值线性老虎机问题，提出新型自适应算法LinearAPT，该算法有估计损失理论上界，在合成与真实数据集上表现鲁棒，兼具自适应性、简洁性与计算效率。
2024-03-10 cs.LG stat.ML
On the Regularity and Fairness of Combinatorial Multi-Armed Bandit
本文针对无线网络应用，提出了一种参数化的规律且公平的学习算法，通过线性组合虚拟队列长度、TSLR度量和UCB估计值，在最大化累积奖励的同时保证了臂间的公平性与奖励规律性，并实现了零累积公平性违规。
2025-09-15 cs.LG
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science（印度科学学院）；Israel Institute of Technology (Technion)（以色列理工学院（Technion））
在固定置信度下，给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人（2012年）的著名LUCB算法，通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念，并且与几种方法相比，具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性，在许多情况下显示出最优性。数值结果表明，与其他算法相比，我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Structured Stochastic Linear Bandits
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
随机线性强盗问题在轮中进行，其中在每轮中，算法从决策集中选择向量，之后它接收由未知向量参数化的噪声线性损失。这样的问题的目标是最小化（伪）遗憾，这是算法的总预期损失和事后最佳固定向量的总预期损失之间的差异。在本文中，我们考虑未知参数具有结构的设置，例如，稀疏的、组稀疏的、低秩的，其可以由范数捕获，例如，$L_1$，$L_{(1,2)}$，核标准。我们专注于构建置信椭圆，其中包含的未知参数在所有轮的高概率。我们表明，这种椭球的半径取决于高斯宽度集与规范捕获的结构。这样的表征导致更紧密的置信椭圆，因此，更尖锐的遗憾界相比，在现有的文献中的边界是基于环境的维度。
2016-06-17 cs.LG stat.ML
Offline Local Search for Online Stochastic Bandits
Boston University（波士顿大学）；University of Houston（休斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法，实现O(log^3 T)的近似遗憾，优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards
University of Southern California（南加州大学）
在经典的多武器土匪问题中，目标是有一个动态操作武器的策略，每个武器都以未知的方式产生随机奖励。兴趣的关键指标是后悔，定义为无所不知的玩家积累的预期总回报与给定策略积累的预期总回报之间的差距。在以前的工作中提出的政策的存储，计算和遗憾都线性增长的武器，这是不可扩展的武器数量时，是大的。在这项工作中，我们考虑了一个广泛的多武装土匪与依赖武器，产生奖励作为一组未知参数的线性组合。对于这个一般的框架，我们提出了有效的政策，实现遗憾的增长随时间的推移，多项式的未知参数的数量（即使依赖武器的数量可能会呈指数增长）。此外，这些策略只需要在未知参数的数量上线性增长的存储。我们表明，这种推广是广泛适用的，有用的许多有趣的任务，在网络中，可以制定为易于处理的组合最优化问题与线性目标函数，如最大权重匹配，最短路径，和最小生成树计算。
2010-11-22 cs.LG cs.NI math.OC
Ensemble sampling for linear bandits: small ensembles suffice
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
该研究首次对随机线性老虎机的集成采样进行严谨分析，证明规模为d log T量级的小型集成即可实现接近√T量级的遗憾值，且支持无限动作集，突破了集成规模需随T线性增长的限制。
2025-01-15 cs.LG stat.ML
GINO-Q: Learning an Asymptotically Optimal Index Policy for Restless Multi-armed Bandits
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
针对不安分多臂老虎机（RMAB）求解的维度灾难问题，提出三时间尺度随机近似算法GINO-Q，通过分解子问题实现复杂度随臂数线性增长，无需可索引性，在不可索引场景下也能学习近优策略且收敛更快。
2025-08-01 cs.LG
Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback
University of Washington（华盛顿大学）；Harvard University（哈佛大学）
我们研究了一个多臂强盗问题在一个动态的环境中，根据马尔可夫链的手臂奖励的相关方式演变。与许多相关问题的工作不同，在我们的公式中，学习算法不能访问马尔可夫链状态的先验信息或观察，只能观察到平滑的奖励反馈后的时间间隔，我们称之为历元。我们证明了现有的方法，如UCB和$\varepsilon$贪婪可以遭受线性遗憾在这样的环境中。利用马尔可夫链上的混合时间界限，我们开发了名为EpochUCB和EpochGreedy的算法，它们从上述方法中汲取灵感，但承认问题公式的次线性遗憾保证。我们提出的算法进行的时代，其中一个手臂反复播放的迭代次数，线性增长的手臂在过去播放的次数的函数。我们分析这些算法在两种类型的平滑的奖励反馈在每个时代结束时：奖励是一个时代内的折扣奖励的折扣平均值，和奖励是一个时代内的奖励的时间平均值。
2019-03-01 cs.LG
Contextual Bandits with Large Action Spaces: Made Practical
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
顺序决策的一个核心问题是开发实用且计算效率高的算法，同时支持灵活的通用模型的使用。专注于上下文强盗问题，最近的进展提供了可证明的有效算法，具有强大的经验性能时，可能的替代品（“行动”）的数量很小，但保证决策在大，连续的行动空间仍然难以捉摸，导致理论和实践之间的显着差距。我们提出了第一个有效的，通用的算法，连续的，线性结构的动作空间的上下文土匪。我们的算法利用计算预言机进行（i）监督学习，以及（ii）动作空间的优化，并实现了与动作空间大小无关的样本复杂度、运行时间和内存。此外，它简单实用。我们进行了大规模的实证评估，并表明我们的方法通常享有优越的性能和效率相比，标准基线。
2022-07-12 cs.LG stat.ML
AFA-BANDIT: Provably Near-Optimal Online Multi-Feature Classification Under Budget Constraints
The University of Sydney（悉尼大学）
本文提出LP-Chain算法，将在线主动特征获取建模为组合背包老虎机问题，实现预算约束下可证明近似最优的分类，并在合成数据上优于现有基线。
2026-10-07 cs.LG
Covariance-adapting algorithm for semi-bandits with application to sparse rewards
Inria Lille & ENS Paris-Saclay（法国里尔研究所与巴黎-萨克雷高等科学研究院）；ENSAE & Criteo AI Lab（高等统计研究院与Criteo人工智能实验室）；DeepMind Paris（伦敦DeepMind巴黎分公司）
本文研究了随机组合半带隙问题，探讨了新的亚指数分布族，推导了更紧的期望遗憾下界，并构造了基于协方差估计的算法，应用于稀疏奖励场景。
2026-04-15 cs.LG stat.ML
Multi-Agent Low-Dimensional Linear Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）
我们研究了一个多智能体随机线性土匪的边信息，参数化的未知向量$θ^* \in \mathbb{R}^d$。边信息由低维子空间的有限集合组成，其中一个包含$θ^*$。在我们的设置中，代理可以通过在连接它们的通信图中发送建议来合作以减少遗憾。我们提出了一种新的分散式算法，其中代理相互通信子空间索引，每个代理在相应的（低维）子空间上扮演LinUCB的投影变体。通过分配搜索的最佳子空间的用户和学习的未知向量的每个代理在相应的低维子空间，我们表明，每代理有限时间遗憾的情况下，代理不进行通信时要小得多。最后，我们通过模拟来补充这些结果。
2022-05-25 cs.DC cs.LG cs.SI
A Better Resource Allocation Algorithm with Semi-Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）
研究了固定数目的机器人之间的顺序资源分配问题。在每次迭代中，该算法在臂之间分配资源，以最大化预期的成功率。将更多的资源分配给一个给定的分支会增加它成功的概率，但有一个截止点。我们遵循Lattlefield et al.（2014），并假设概率线性增加，直到它等于1，之后分配更多的资源是浪费的。这些截止值是固定的，学习者不知道。我们提出了一个算法，并证明了一个遗憾上界的$O(\log n)$改善了最佳已知界的$O(\log^2 n)$。我们证明的下界表明我们的上界是紧的。仿真结果表明了该算法的优越性。
2018-03-28 cs.LG stat.ML
Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs with a Generative Model
Princeton University（普林斯顿大学）
维数灾难是强化学习（RL）中一个广为人知的问题。在状态空间$\mathcal{S}$和动作空间$\mathcal{A}$都是有限的表格设置中，为了获得具有对生成模型的采样访问的接近最优的策略，极小极大最优样本复杂度与$|\mathcal{S}|\times|\mathcal{A}|$线性地成比例，当$\mathcal{S}$或$\mathcal{A}$大时，$|\mathcal{S}|\times|\mathcal{A}|$可能非常大。本文考虑一个马尔可夫决策过程（MDP），它允许一组状态-动作特征，它可以线性地表示（或近似）它的概率转移核。我们表明，一个基于模型的方法（分别。$~$ Q-学习）可证明地学习$\varepsilon$ -最优策略（相应地，$~$ Q-函数），一旦样本量超过$\frac{K}{(1-γ)^{3}\varepsilon^{2}}$的数量级（分别为$~$ $\frac{K}{(1-γ)^{4}\varepsilon^{2}}$），直至某个对数因子。这里，$K$是特征维度，而$γ\in(0,1)$是MDP的折扣因子。这两个样本的复杂性界限是可证明的紧，我们的结果为基于模型的方法匹配的极大极小下限。我们的研究结果表明，对于任意大规模的MDP，无论是基于模型的方法和Q学习是样本有效的$K$是相对较小的，因此，本文的标题。
2022-10-26 cs.IT cs.LG math.IT
Linear Stochastic Bandits Under Safety Constraints
Bandit算法在安全关键系统中有各种应用，其中重要的是要尊重依赖于每一轮Bandit未知参数的系统约束。在本文中，我们制定了一个线性随机多臂土匪问题的安全约束，依赖于（线性）的一个未知参数向量。因此，学习者无法识别所有安全动作，并且必须保守地采取行动，以确保她的动作在所有回合中都满足安全约束（至少具有高概率）。对于这些土匪，我们提出了一个新的UCB为基础的算法称为安全LUCB，其中包括必要的修改，尊重安全约束。该算法有两个阶段。在纯探索阶段，学习者从一组有限的安全动作中随机选择她的动作，目标是学习整个未知安全集的良好近似。一旦实现了这个目标，算法就开始了一个安全的探索-利用阶段，在这个阶段，学习者逐渐扩大他们对安全行动集的估计，同时控制后悔的增长。我们提供了一个一般的遗憾边界的算法，以及一个问题相关的界限，连接到安全集内的最佳行动的位置。然后，我们提出了一个修改后的启发式，利用我们的问题相关的分析，以改善遗憾。
2019-08-16 cs.LG stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Design Experiments to Compare Multi-armed Bandit Algorithms
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）；Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
本文提出Artificial Replay方法，通过重用历史轨迹降低实验成本，提升多臂老虎机算法比较的效率与可靠性。
2026-04-11 cs.LG math.ST stat.ML
Algorithm Design and Stronger Guarantees for the Improving Multi-Armed Bandits Problem
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）；IDEAL Institute, Toyota Technological Institute at Chicago（IDEAL研究所，芝加哥丰田技术研究所）
本文提出两种新的参数化老虎机算法家族，通过离线数据界定了学习近最优算法的样本复杂度，并在标准超参数调优基准上进行了实证评估。第一家族包含先前工作的最优随机算法，展示在满足额外凹性性质的臂奖励曲线下，可以实现更强的保证。第二家族算法在良好行为实例上保证最佳臂识别，在不良行为实例上退化为最坏情况保证。
2026-05-20 cs.LG stat.ML
PopArt: Efficient Sparse Regression and Experimental Design for Optimal Sparse Linear Bandits
University of Arizona（亚利桑那大学）
本文提出高效稀疏线性估计方法PopArt及凸实验设计准则，推导出改进regret上界的稀疏线性bandit算法，并在数据匮乏场景下证明了匹配下界。
2023-11-17 cs.LG stat.ML
Linear Contextual Bandits with Knapsacks
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
我们考虑的线性上下文强盗问题的资源消耗，除了奖励的产生。在每一轮中，拉动手臂的结果是奖励，也是资源消耗的矢量。这些结果的期望值线性依赖于该分支的上下文。预算/容量约束要求总消耗不超过每个资源的预算。我们的目标是最大化总回报。这个问题被证明是经典线性上下文强盗（linContextual），背包强盗（BwK）和在线随机包装问题（OSPP）的常见推广。我们目前的算法与近最佳的遗憾界这个问题。我们的边界比较有利的非结构化版本的问题的上下文和结果之间的关系可以是任意的，但该算法只竞争对一组固定的政策，通过优化预言机访问的结果。我们结合了linContextual，BwK和OSPP的工作中的技术，同时也解决了这些特殊情况下不存在的新困难。
2016-07-09 cs.LG math.OC stat.ML
On the Low-Complexity of Fair Learning for Combinatorial Multi-Armed Bandit
Pennsylvania State University（宾夕法尼亚州立大学）；Virginia Tech（弗吉尼亚理工大学）；Nokia Corporation（诺基亚公司）
针对带公平约束的组合多臂老虎机中悲观-乐观算法因超级臂指数增长导致计算复杂度过高的问题，提出基于pick-and-compare方法的低复杂度算法，将比较步数降为常数，仅轻微牺牲公平性和遗憾值性能，并通过仿真验证。
2025-01-10 cs.LG
Communication-Corruption Coupling and Verification in Cooperative Multi-Objective Bandits
Dept. of Electrical Engineering University at Buffalo Buffalo, NY, USA（电气工程系 布法罗大学）
该研究探讨了在对抗性腐败和有限验证条件下，合作多目标老虎机中通信与腐败的耦合关系，提出了一种协议诱导的多重性功能，并证明了在不同共享策略下团队的遗憾界限。
2026-02-20 cs.LG
Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case
Yahoo Research（雅虎研究院）；New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们研究了带Bandit反馈的高效在线多类线性分类问题，其中所有样本都属于$K$类之一，并且位于$d$维欧氏空间中.以前的工作已经离开了设计有效的算法有限的错误界限时，数据是线性可分的利润$γ$的挑战。在这项工作中，我们向这个问题迈出了第一步。我们考虑两个概念的线性可分性：强和弱。1.在强线性可分性条件下，我们设计了一个有效的算法，达到了$O\left( K/γ^2 \right)$的近最优错误界。2.在弱线性可分性条件下，我们设计了一个错误界为$\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$的有效算法。我们的算法基于内核感知器，其灵感来自于（Klivans和Servedio，2008）关于不正确学习半空间交集的工作。
2019-06-18 cs.LG stat.ML
Semi-bandit Optimization in the Dispersed Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
数据驱动的算法设计的目标是使用机器学习和数据为特定的应用领域获得高性能的算法。在人工智能、科学和工程的许多领域，从业者通常会修复一系列参数化算法，然后优化这些参数，以在应用程序领域的示例实例上获得良好的性能。在在线设置中，我们必须在每个实例到达时为它们选择算法参数，我们的目标是在事后与最好的固定算法竞争。在线数据驱动的算法设计存在两个主要挑战。首先，评估将算法参数映射到性能的损失函数在计算上是昂贵的，这通常需要学习者运行组合算法来测量其性能。第二，损失可能非常不稳定，并且具有明显的不连续性。然而，我们表明，在许多应用中，评估一个算法选择的损失函数有时可以揭示一系列类似算法的损失，基本上是免费的。我们开发的在线优化算法能够使用这种额外的信息，通过工作在半强盗反馈设置。我们的算法实现了遗憾的界限，基本上是一样好的全信息反馈下的算法，并显着更高的计算效率。我们应用我们的半强盗的结果，以获得第一个可证明的保证数据驱动的算法设计基于链接的聚类，我们提高了最佳遗憾界设计贪婪背包算法。
2020-12-21 cs.LG stat.ML
AutoML for Contextual Bandits
Google Inc.（谷歌公司）
上下文强盗是广泛流行的技术之一，用于个性化，推荐系统，移动健康，因果营销等应用。作为一种动态的方法，它可以比标准的A/B测试更有效地减少遗憾。我们提出了一个端到端的自动元学习管道，以近似上下文强盗问题的最佳Q函数。我们看到，我们的模型能够比随机探索表现得更好，更有效，并且能够收敛有限数量的样本，同时由于元学习方法而保持非常通用和易于使用。我们使用线性退火的e-贪婪探索策略来定义探索与开发时间表。我们在一个合成环境中测试了该系统，以充分表征它，并在一些开源数据集上对其进行了评估，以与之前的工作进行基准测试。我们看到，我们的模型优于其他模型，同时不需要调优或功能工程。
2022-02-02 cs.AI cs.LG stat.ML
Bandit Pareto Set Identification in a Multi-Output Linear Model
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9198-CRIStAL（里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL）
本文研究多输出线性bandit中的Pareto集合识别问题，提出首个基于最优设计的算法，在固定预算和固定置信度下均获近乎最优保证，并证明任务难度主要取决于h个臂的次优间隙。
2025-07-06 cs.LG stat.ML
Bandits with Stochastic Experts: Constant Regret, Empirical Experts and Episodes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌公司）；IBM Research（IBM研究院）；Google DeepMind（谷歌DeepMind）
针对随机专家上下文老虎机，提出D-UCB与仅需近似分布知识的ED-UCB，实现常数及回合变化环境下的遗憾保证并经模拟验证。
2024-10-28 cs.LG
On the Robustness of Epoch-Greedy in Multi-Agent Contextual Bandit Mechanisms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文研究激励、上下文与对抗性点击破坏并存的多臂 bandit 机制，证明扩展后的 $ε$-greedy 可同时应对策略性臂和数据破坏，且性能随破坏量线性退化。
2023-07-15 cs.IR cs.LG stat.ML
