Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Mostly Exploration-Free Algorithms for Contextual Bandits
Wharton School（沃顿商学院）；Stanford Graduate School of Business（斯坦福商学院）；Stanford University（斯坦福大学）
传统上，上下文强盗文献重点关注解决勘探-开发权衡的算法。特别地，利用当前估计而不进行任何探索的贪婪算法通常可能是次优的。然而，无探索贪婪算法在探索可能是昂贵的或不道德的（例如，临床试验）。令人惊讶的是，我们发现，一个简单的贪婪算法可以率最优（实现渐近最优后悔），如果有足够的随机性在所观察到的情况下（协变量）。我们证明，这总是一个两个武装土匪的情况下，一般类的上下文分布，满足一个条件，我们长期协变量多样性。此外，即使没有这个条件，我们证明了贪婪算法可以是率最优的正概率。因此，标准的强盗算法可能不必要地探索。受这些结果的启发，我们引入了Greedy-First，这是一种新的算法，它只使用观察到的上下文和奖励来确定是遵循贪婪算法还是探索。我们证明了该算法是速率最优的，而无需对上下文分布或臂数进行任何额外的假设。大量的模拟表明，贪婪第一成功地减少了探索，并优于现有的（基于探索）上下文的强盗算法，如汤普森采样或置信上限（UCB）。
2020-04-19 cs.LG stat.ML
The Batch Complexity of Bandit Pure Exploration
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究随机多臂赌博机纯探索中的批次复杂度，给出任意样本高效算法所需批次数的实例相关下界，并提出通用分批算法证明其上界，在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
CORe: Capitalizing On Rewards in Bandit Exploration
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
我们提出了一个强盗算法，纯粹通过随机化其过去的观察。特别是，充分的乐观的平均奖励估计是通过利用方差在过去观察到的奖励。我们将该算法命名为“奖励资本化”（CORe）。该算法具有通用性，可以很容易地应用于不同的强盗设置。CORe的主要好处是它的探索完全依赖于数据。它不依赖于任何外部噪声，无需参数调整即可适应不同的问题。我们推导了随机线性强盗中CORe的$n$ -回合遗憾的$\tilde O(d\sqrt{n\log K})$无间隙边界，其中$d$是特征数，$K$是臂数.对多个合成和真实世界问题的广泛实证评估证明了CORe的有效性。
2021-03-07 cs.LG stat.ML
When and why randomised exploration works (in linear bandits)
Criteo AI Lab（Criteo AI实验室）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出一种不依赖强制乐观或后验膨胀的分析方法，证明在动作空间光滑且强凸的d维线性赌博机中，随机探索算法（如汤普森采样）可实现O(d√n log(n))的n步遗憾界，首次表明在非平凡线性赌博机设置中汤普森采样能达到最优维度依赖。
2026-06-03 cs.LG stat.ML
RIE-Greedy: Regularization-Induced Exploration for Contextual Bandits
University of Toronto（多伦多大学）；University of Michigan（密歇根大学）
本文提出了一种基于正则化的探索策略（RIE-Greedy），利用模型拟合过程中的随机性作为内在探索源，理论证明其在两臂老虎机情况下等价于Thompson Sampling，并在大规模商业环境中优于epsilon-greedy等基准方法。
2026-05-17 cs.LG stat.ML
Pure exploration in multi-armed bandits with low rank structure using oblivious sampler
Hokkaido University（北海道大学）；Kyushu University（九州大学）
本文研究纯探索问题中奖励序列的低秩结构，提出探索策略无法获取反馈的分离设置，通过引入奖励向量的核信息设计了高效算法，并给出了遗憾界与下界的理论证明。
2023-06-28 cs.LG stat.ML
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对多臂老虎机问题中奖励分布信息难获取的痛点，提出贪心与强制探索交替的新型算法，无需分布信息即可适配多种分布，给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
Hierarchical Exploration for Accelerating Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；H. John Heinz III College, Carnegie Mellon University（卡内基梅隆大学H.约翰·海因茨三世学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
上下文强盗学习是一种越来越流行的通过用户反馈优化推荐系统的方法，但由于需要探索大的特征空间，在实践中收敛速度很慢。在本文中，我们提出了一个粗到细的分层方法编码先验知识，大大减少了所需的探索量。直观地，用户偏好可以合理地嵌入到可以有效探索的粗略低维特征空间中，仅在必要时才需要在高维空间中进行探索。我们引入了一个强盗算法，探讨在这个粗到细的频谱，并证明性能保证，这取决于如何以及粗糙的空间捕捉用户的喜好。我们证明了传统的强盗算法，通过广泛的模拟，以及在个性化的新闻推荐设置的现场用户研究的实质性改善。
2012-06-27 cs.LG stat.ML
Exploration via Feature Perturbation in Contextual Bandits
Seoul National University（首尔国立大学）
提出特征扰动探索策略，通过向特征输入注入随机性实现上下文赌博机的有效探索，达到近乎最优遗憾界且计算高效，可扩展至神经网络模型。
2025-10-24 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego（加州大学圣地亚哥分校）；West Virginia University（西弗吉尼亚大学）
我们提出了一种新的修改标准的置信上限（UCB）方法的随机多臂强盗（MAB）问题，调整的置信界的基础上，它的距离到其他的一个给定的强盗。我们的UCB距离调谐（UCB-DT）制定，使改进的性能，通过防止MAB算法专注于非最佳的土匪，这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的，我们称之为“强盗距离”，该距离度量是可参数化的，因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明，增加性能的UCB-DT与许多现有的国家的最先进的方法，使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具，称为“勘探讨价还价点”，它提供了深入了解勘探和开发之间的权衡。我们认为，勘探讨价还价点提供了一个直观的角度来看，是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Neural Contextual Bandits with Deep Representation and Shallow Exploration
University of California, Los Angeles（加州大学洛杉矶分校）；DeepMind（深度思考（DeepMind））；Adobe Research（Adobe研究院）
我们研究了一般类的上下文强盗，其中每个上下文动作对与原始特征向量相关联，但奖励生成函数是未知的。我们提出了一种新的学习算法，该算法使用深度ReLU神经网络的最后一个隐藏层（深度表示学习）来转换原始特征向量，并使用上置信界（UCB）方法来探索最后一个线性层（浅层探索）。我们证明了在标准假设下，我们提出的算法实现了$\tilde{O}(\sqrt{T})$有限时间后悔，其中$T$是学习时间范围。与现有的神经上下文强盗算法相比，我们的方法是计算效率更高，因为它只需要探索在深层神经网络的最后一层。
2020-12-03 cs.LG stat.ML
Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits
Twitter Inc.（推特公司）；University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究了机会主义强盗-一个新的变种强盗拉一个次优的手臂在不同的环境条件下，如网络负载或产品价格变化的遗憾。当负载/价格低时，拉动次优臂的成本/遗憾也低（例如，尝试次优网络配置）。因此，直观地说，我们可以在负载/价格较低时进行更多探索，而在负载/价格较高时进行更多开发。受这种直觉的启发，我们提出了一个自适应置信上限（AdaUCB）算法，以适应性地平衡机会主义强盗的探索-利用权衡。我们证明了AdaUCB比传统的UCB算法以更小的系数实现了$O(\log T)$遗憾。此外，如果当负载水平低于某个阈值时探索成本为零，则AdaUCB实现关于$T$的$O(1)$遗憾。最后，基于合成数据和真实数据的实验结果表明，AdaUCB算法在大的负载/价格波动下，性能明显优于UCB和TS（Thompson Sampling）等其他Bandit算法.
2018-11-30 cs.LG stat.ML
Pure Exploration and Regret Minimization in Matching Bandits
CREST（法国经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；London School of Economics（伦敦政治经济学院）；Criteo AI Lab（Criteo人工智能实验室）
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本，无论是一对或一个完整的匹配采样顺序。我们证明，它是可能的，利用秩1假设的邻接矩阵，以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数（多对数项）。
2021-07-31 cs.LG stat.ML
Sub-sampling for Efficient Non-Parametric Bandit Exploration
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（中央理工学院里尔分校）；UMR 9198-CRIStAL（UMR 9198-CRIStAL研究所）；F-59000 Lille France（法国里尔59000）
在本文中，我们提出了第一个多臂强盗算法的基础上重新采样，实现渐近最优的遗憾，同时为不同的家庭的武器（即伯努利，高斯和泊松分布）。不像汤普森采样，它需要指定一个不同的前在每种情况下是最佳的，我们的建议RB-SDA不需要任何分布相关的调整。RB-SDA属于子采样决斗算法（SDA）家族，它结合了BESA [1]和SSMC [2]算法首次使用的子采样思想和不同的子采样方案。具体地，RB-SDA使用随机块采样。我们进行了一项实验研究，评估这种有前途的新方法的灵活性和鲁棒性的探索在强盗模型。
2020-10-27 cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Reducing Exploration of Dying Arms in Mortal Bandits
MIT（麻省理工学院）；Duke University（杜克大学）
Mortal bandits已被证明在提供新闻文章推荐、运行自动化在线广告活动以及其他可用选项集随时间变化的应用程序中非常有用。以前关于这个问题的研究表明，当新的手臂最近出现时，如何调节它们的探索，但当手臂即将消失时，它们不会适应。由于在大多数应用中，我们可以准确或近似地确定手臂何时消失，我们可以利用这些信息来提高性能：我们不应该探索即将消失的手臂。我们为这项研究提供了算法，遗憾界限和实验的适应性，显示了对即将消失的武器的贪婪（探索/剥削）的明显好处。我们说明了雅虎的数值性能！首页今日模块用户点击日志数据集。
2019-07-04 cs.LG stat.ML
Deep Bandits Show-Off: Simple and Efficient Exploration with Deep Networks
Fudan University（复旦大学）；IBM Research AI（IBM研究院）
由于探索-利用困境带来的根本问题，设计高效的探索是强化学习的核心。像汤普森采样这样的贝叶斯探索策略通过建模和更新动作-价值函数（环境的结果模型）的参数分布，以原则性的方式解决了这种权衡。然而，这种技术变得不可行的复杂的环境中，由于保持概率分布的参数相应的复杂性的结果模型的计算棘手。此外，为缓解该问题而引入的近似技术通常会导致较差的探索-利用权衡，如在具有近似后验方法的深度神经网络模型的情况下所观察到的，该方法已被证明在深度强盗场景中表现不佳。在本文中，我们介绍了样本平均不确定性（SAU），一个简单而有效的不确定性措施的上下文土匪。虽然像汤普森抽样这样的贝叶斯方法通过首先量化结果模型参数的可变性来间接估计结果的不确定性，但SAU是一种基于值预测直接估计结果的不确定性的频率主义方法。重要的是，我们从理论上证明了SAU估计的不确定性度量渐近匹配汤普森采样提供的不确定性，以及其遗憾界。由于其简单性，SAU可以无缝地应用于深度上下文的强盗，作为一个非常可扩展的替代epsilon贪婪的探索。我们通过在几个真实世界的数据集上显示基于SAU的探索在适度的计算成本下优于当前最先进的深度贝叶斯强盗方法来实证我们的理论。代码可在\url{https://github.com/ibm/sau-explore}上获得。
2021-10-26 cs.LG stat.ML
Near Instance Optimal Model Selection for Pure Exploration Linear Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们介绍了纯探索线性强盗的模型选择问题，其中学习者需要适应包含真实模型的最小假设类的实例相关复杂性度量。我们设计的算法在固定的信心和固定的预算设置与近实例最优保证。我们的算法的核心是一个新的优化问题的基础上试验设计，利用几何的动作集，以确定一个接近最优的假设类。我们的固定预算算法是基于一种新的选择验证过程，它提供了一种新的方法来研究欠研究的固定预算设置（即使没有增加的挑战模型选择）。我们适应我们的算法，在固定的信心和固定的预算设置，模型误指定的问题。
2022-03-17 cs.LG stat.ML
Pure Exploration in Kernel and Neural Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Chicago（芝加哥大学）
我们研究纯粹的探索土匪，其中的特征表示的维度可以远远大于武器的数量。为了克服维数灾难，我们建议自适应地将每个手臂的特征表示嵌入到低维空间中，并仔细处理诱导的模型误指定。我们的方法在概念上是非常不同的，从现有的作品，只能处理低维线性土匪或被动处理模型的误指定。我们展示了我们的方法在两个以前研究不足的纯探索设置中的应用：（1）奖励函数属于可能无限维的再生核希尔伯特空间，（2）奖励函数是非线性的，可以用神经网络近似。我们的主要结果提供了样本的复杂性保证，只依赖于内核或神经表示的特征空间的有效尺寸。在合成数据集和真实数据集上进行的大量实验证明了我们方法的有效性。
2022-03-17 cs.LG stat.ML
Differentiable Bandit Exploration
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
贝叶斯强盗中的探索策略最大化了从某些分布$\mathcal{P}$中提取的问题实例的平均奖励。在这项工作中，我们学习这样的政策，一个未知的分布$\mathcal{P}$使用样本从$\mathcal{P}$。我们的方法是元学习的一种形式，并利用$\mathcal{P}$的属性，而不对其形式进行强有力的假设。为此，我们以可区分的方式对策略进行参数化，并通过策略梯度对其进行优化，这是一种通用且易于实现的方法。我们得到有效的梯度估计，并引入新的方差降低技术。我们还分析和实验各种强盗政策类，包括神经网络和一种新的softmax政策。后者具有遗憾保证，是我们优化的自然起点。我们的实验表明，我们的方法的通用性。我们还观察到，神经网络政策可以学习隐含的偏见表示，只有通过采样的实例。
2020-06-09 cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
Maximum entropy exploration in contextual bandits with neural networks and energy based models
lastminute.com group（lastminute.com集团）
上下文强盗可以解决大量的现实问题。然而，目前流行的算法来解决这些问题，要么依赖于线性模型，或不可靠的不确定性估计的非线性模型，这是需要处理的勘探开发权衡。受人类认知理论的启发，我们引入了使用最大熵探索的新技术，依靠神经网络在连续和离散动作空间的设置中找到最优策略。我们提出了两类模型，一类是用神经网络作为奖励估计器，另一类是用基于能量的模型，该模型模拟了给定动作获得最优奖励的概率。我们评估这些模型在静态和动态情境土匪模拟环境中的性能。我们表明，这两种技术优于众所周知的标准算法，其中基于能量的模型具有最佳的整体性能。这为从业者提供了在静态和动态设置中表现良好的新技术，特别适合具有连续动作空间的非线性场景。
2022-10-12 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Pure Exploration in Infinitely-Armed Bandit Models with Fixed-Confidence
Northeastern University（东北大学）；CNRS & CRIStAL, UMR 9189, Université de Lille（法国国家科学研究中心与里尔大学晶体实验室（UMR 9189））；Inria Lille, SequeL team（法国国家信息与自动化研究所里尔分所序列团队）
我们认为，在固定的信心设置的无限武装土匪问题时，什么都不知道的手臂水库分布的近最佳手臂识别的问题。我们（1）引入了一个类似PAC的框架，在该框架内导出和投射结果;（2）导出了用于近最优手臂识别的样本复杂度下限;（3）提出了一种算法，该算法以高概率识别近最优手臂，并导出其样本复杂度的上限，该上限在我们的下限的对数因子内;和（4）讨论我们的log^2（1/delta）依赖性是否不可避免的“两阶段”（先选择手臂，然后确定最好的）算法在无限设置。这项工作允许应用强盗模型更广泛的一类问题，较少的假设举行。
2018-03-13 cs.LG stat.ML
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义的背景土匪-一个特殊的情况下，背景土匪的勘探成本在不同的环境条件下，如网络负载或回报变化的建议。当探索成本低时，拉次优手臂的实际遗憾也低（例如，尝试次优推荐）。因此，直观地说，勘探成本相对较低时，我们可以多勘探，勘探成本相对较高时，我们可以多开采。受这种直觉的启发，对于具有线性收益的机会主义上下文强盗，我们提出了一种自适应置信上限算法（AdaLinUCB）来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O（（log T）^2），并且比传统的LinUCB算法具有更小的系数.此外，基于合成和真实世界的数据集，我们表明，AdaLinUCB显着优于其他上下文的强盗算法，在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）；National Chiao Tung University（国立交通大学）
受自适应控制中的有偏最大似然估计方法的启发，我们提出了RBMLE --一种新的随机多臂强盗（SMAB）学习算法。对于广泛的SMAB，包括参数指数家庭以及非参数子高斯/指数家庭，我们表明，RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$，我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用，通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能，我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明，建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争，同时更计算效率和可扩展性相比，其中表现最好的。
2020-10-23 cs.LG stat.ML
Randomized Exploration in Generalized Linear Bandits
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
本文提出两种用于广义线性赌博机的随机化算法 GLM-TSL 和 GLM-FPL，分别基于拉普拉斯近似后验采样和随机扰动历史奖励拟合，并证明其遗憾上界为 $\tilde{O}(d \sqrt{n \log K})$，在逻辑斯蒂和神经网络赌博机中验证了随机化探索的有效性。
2023-07-10 cs.LG stat.ML
Improved Algorithms for Conservative Exploration in Bandits
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））
在数字营销、医疗保健、金融和机器人等许多领域，通常在生产中运行经过良好测试且可靠的基线策略（例如，推荐系统）。然而，基线政策往往不是最佳的。在这种情况下，期望部署在线学习算法（例如，多臂Bandit算法），其与系统交互以在学习过程期间性能几乎永远不会比基线本身的性能差的约束下学习更好/最优策略。本文研究了上下文线性bandit环境下的保守学习问题，并提出了一种新的算法--保守约束LinUCB（CLUCB 2）。我们得出遗憾的界限CLUCB 2匹配现有的结果和经验表明，它优于国家的最先进的保守的强盗算法在一些合成和现实世界的问题。最后，我们考虑了一个更现实的约束，性能验证只在预定义的检查点（而不是在每一步），并显示这种放松的约束有利地影响遗憾和经验表现的CLUCB 2。
2020-02-08 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Linear Bandits
Google Research（谷歌研究院）；DeepMind（深度思维）；Facebook AI Research（脸书人工智能研究院）
本文提出 LinPHE 算法，通过混合观测奖励与伪奖励构建扰动历史进行探索，在随机线性赌博机中实现 $\tilde{O}(d \sqrt{n})$ 遗憾界，并推广至逻辑模型。
2023-07-10 cs.LG stat.ML
Garbage In, Reward Out: Bootstrapping Exploration in Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）；Adobe Research（奥多比研究院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个强盗算法，通过随机化其奖励历史来探索。具体来说，它在其历史的非参数自助样本中拉动具有伪奖励的最高平均奖励的手臂。我们设计了伪奖励，使得自助均值以足够高的概率是乐观的。我们把算法叫做Giro，意思是垃圾进，奖励出。我们分析了伯努利强盗中的Giro，并推导出其$n$回合遗憾的$O(K Δ^{-1} \log n)$界，其中$Δ$是最优和最佳次优臂的期望回报之差，$K$是臂的数量。我们的探索设计的主要优点是，它很容易推广到结构化的问题。为了证明这一点，我们提出了一个任意奖励泛化模型的上下文Giro。我们评估Giro及其上下文变体在多个合成和现实世界的问题，并观察到它表现良好。
2019-06-21 cs.LG stat.ML
Efficient learning by implicit exploration in bandit problems with side observations
SequeL team, INRIA Lille – Nord Europe（SequeL团队，INRIA里尔–北欧地区）
本文提出了一种在部分可观测模型下实现近最优后悔保证的算法，通过隐式探索策略在不预先知晓观察系统的情况下提升效率，同时定义了新的部分信息设置以解决在线组合优化问题。
2026-04-27 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在强化学习的算法优化中，如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解，实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法，已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法，其中报酬服从未知的非对称$α$ -稳定分布，并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Neural Exploitation and Exploration of Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出EE-Net，一种基于神经网络的情境老虎机利用与探索策略，通过实例方法提供O(√T)的 regret 上界，并在真实数据集上优于线性及神经情境老虎机基线。
2026-04-05 cs.LG
Pure Exploration in Asynchronous Federated Bandits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Yale University（耶鲁大学）；Oregon State University（俄勒冈州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对联邦多臂老虎机和线性老虎机的纯探索问题，提出首个固定置信度下的异步算法，在完全异步环境中实现接近最优的样本复杂度与高效通信，并通过实验验证其有效性。
2024-09-30 cs.LG
lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
本文提出了一种新的置信上界（UCB）过程中确定的最大平均值在一个多臂强盗游戏在固定的信心设置使用少量的总样本。该程序不能改进的意义上说，所需的样本数，以确定最佳臂是在一个恒定的因素的下限的基础上的法律的迭代对数（LIL）。受LIL的启发，我们构造了我们的置信区间，以明确说明算法的无限时间范围。此外，通过使用一个新的停止时间的算法，我们避免了工会绑定的武器，已观察到在其他UCB型算法。我们证明了该算法是最佳的常数，并通过模拟表明，它提供了优越的性能相对于国家的最先进的。
2013-12-27 cs.LG stat.ML
An optimal algorithm for the Thresholding Bandit Problem
University of Potsdam（波茨坦大学）
我们研究了一个特定的\textit{combinatorial pure exploration stochastic bandit problem}，学习者的目的是找到一组武器，其手段是高于给定的阈值，达到给定的精度，和\textit{for a fixed time horizon}。我们提出了一个无参数算法的基础上，原来的启发式，并证明它是最佳的这个问题，通过推导匹配的上，下界。据我们所知，这是第一个非平凡的纯探索设置与\textit{fixed budget}的最佳策略构建。
2016-05-27 cs.LG stat.ML
Decentralized Exploration in Multi-Armed Bandits -- Extended version
Orange Labs（奥兰治实验室）；Microsoft Research（微软研究院）
我们考虑分散的探索问题：一组玩家通过与相同的随机环境异步交互来协作识别最佳手臂。我们的目标是确保在异步，协作和节俭的球员之间的最佳手臂识别问题的隐私。在数字服务的背景下，我们主张这种分散的方法可以在用户的利益和服务提供商的利益之间实现良好的平衡：提供商优化其服务，同时保护用户的隐私并节省资源。我们将隐私级别定义为对手通过拦截有关单个用户的消息可以推断出的信息量。我们提供了一个通用的算法分散消除，它使用任何最好的手臂识别算法作为一个子程序。我们证明，该算法确保隐私，具有较低的通信成本，并在最佳手臂识别问题的下界相比，其样本复杂性遭受的惩罚取决于最频繁的球员的概率的倒数。然后，由于该方法的通用性，我们将该算法扩展到非平稳土匪。最后，通过实验验证并完成了分析.
2023-01-16 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Constrained Pure Exploration Multi-Armed Bandits with a Fixed Budget
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们考虑一个约束，纯勘探，随机多臂强盗制定下一个固定的预算。每个臂与未知的、可能是多维的分布相关联，并且由作为该分布的函数的多个属性描述。其目的是根据用户对其他属性的定义约束来优化特定属性。该框架模拟了金融投资组合优化等应用程序，在这些应用程序中，执行平均收益的风险约束最大化是很自然的。我们假设属性可以使用来自臂分布的样本来估计，并且这些估计量满足适当的浓度不等式。我们提出了一个算法称为\textsc{Constrained-SR}的基础上的连续的Reflection框架，建议一个最佳的手臂和标志的实例是可行的或不可行的。该算法的一个关键特点是，它是基于信息论的双臂实例的下限。我们描述了一个依赖于实例的上限错误的概率下\textsc{Constrained-SR}，指数衰减的预算。我们进一步表明，在某些特殊情况下，相关的衰减率是接近最佳的相对于信息理论的下限。
2022-11-27 cs.LG stat.ML
Exploration via linearly perturbed loss minimisation
University of Alberta（阿尔伯塔大学）
本文提出了一种基于线性扰动损失的探索方法EVILL，通过求解线性扰动的正则化负对数似然函数的最小化问题，解释了随机奖励扰动为何能产生有效的多臂老虎机算法，并展示了数据依赖扰动如何使EVILL在理论和实践中达到与Thompson采样类参数扰动方法相当的性能。
2026-06-04 cs.LG stat.ML
Pure-Exploration for Infinite-Armed Bandits with General Arm Reservoirs
本文考虑了一个多臂强盗对策，其中的武器数量远大于最大预算，并且实际上是无限的。我们刻画了算法返回概率至少为1 - δ的ε-好臂的总预算的充分必要条件。在这种情况下，样本复杂度取决于ε、δ和所谓的库分布ν，从库分布ν中得出臂的均值iid。虽然大量的文献都是围绕着分析ν的具体情况，比如β分布，但我们的分析并没有对ν的形式做任何假设。我们的算法是基于连续的减半与令人惊讶的例外，手臂开始被丢弃后，只有一个单一的拉，需要一个分析，超越浓度单独。该算法的可证明的正确性也为经验观察提供了解释，即Li et al.（2017）的Hyperband算法中用于超参数调整的最积极的括号几乎总是最好的。
2019-01-13 cs.LG stat.ML
Regression Oracles and Exploration Strategies for Short-Horizon Multi-Armed Bandits
Google（谷歌）
本文探讨了多臂强盗（MAB）战略在非常短的地平线的情况下，即，当强盗策略只允许与环境的非常少的交互时。在MAB文献中，这是一个未充分研究的环境，在游戏中有许多应用，例如玩家建模。具体而言，我们追求三种不同的理念。首先，我们探索了回归预言机的使用，它用线性回归模型取代了epsilon-greedy等策略中使用的简单平均值。其次，我们研究了不同的勘探模式，如强制勘探阶段。最后，我们介绍了一个新的变种的UCB 1策略称为UCBT，有有趣的属性，没有可调参数。我们目前的实验结果在一个域的动机exergames，其目标是最大限度地提高球员的日常步骤。我们的研究结果表明，结合ε贪婪或ε减少回归预言机优于所有其他测试策略在短期设置。
2021-02-10 cs.AI cs.LG stat.ML
A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
University of Tokyo（东京大学）
针对动作集随臂数多项式增长的R-CPE-MAB问题，提出CombGapE快速算法，实现匹配下界的样本复杂度，并在合成与真实数据集上显著优于现有方法。
2025-01-09 cs.LG
Pure Exploration Bandit Problem with General Reward Functions Depending on Full Distributions
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了一般分布函数上的纯探索强盗模型，即每只手臂的报酬函数依赖于整个分布，而不仅仅是它的均值。我们采用竞赛框架和LUCB框架来解决这个问题，并设计算法来估计不同类型分布的奖励函数的值。然后，我们证明了我们的估计方法的正确性保证与适当的参数，并获得样本复杂度上界。最后，我们讨论了一些重要的应用程序和相应的解决方案，在我们的学习框架。
2021-05-08 cs.LG
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest（波尔多西南法国国立信息学与自动化研究院）；ENSTA ParisTech（巴黎高等先进技术学院）；Bordeaux University（波尔多大学）
我们考虑的情况下，代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互，智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法，将这种情况视为多武装土匪问题，其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂，并建立该方法是既能够区分不同质量的策略，即使当差异是微不足道的，并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
Incentivizing Combinatorial Bandit Exploration
Peking University（北京大学）；University of Minnesota（明尼苏达大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
考虑一个在推荐系统中向自利用户推荐操作的强盗算法。用户可以自由选择其他操作，并且需要激励他们遵循算法的建议。虽然用户更喜欢利用，但该算法可以通过利用从以前用户收集的信息来激励他们进行探索。关于这个问题的所有已发表的工作，被称为激励探索，集中在小的，非结构化的动作集，主要针对的情况下，用户的信念是独立的行动。然而，现实的探索问题往往具有大型，结构化的行动集和高度相关的信念。我们专注于一个范式探索问题的结构：组合半土匪。我们证明了汤普森采样，当应用于组合半土匪，是激励兼容时，初始化与足够数量的样本的每个手臂（这个数字是预先确定的贝叶斯先验）。此外，我们设计了激励相容的算法来收集初始样本。
2022-06-01 cs.LG
