A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架，将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法，仅需老虎机反馈，并应用于子模最大化，实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Combinatorial Multi-armed Bandits for Real-Time Strategy Games
Drexel University（德雷塞尔大学）
具有大分支因子的博弈对博弈树搜索算法提出了重大挑战。在本文中，我们解决这个问题的蒙特卡罗树搜索（MCTS）算法的抽样策略称为{ \em天真抽样}，基于一个变种的多臂强盗问题称为{ \em组合多臂强盗}（CMAB）。我们分析了{ \em naïve sampling}的几种变体的理论特性，并将其与文献中其他现有的CMAB策略进行了实证比较。然后，我们评估这些战略的背景下，实时的【形】战略（RTS）游戏，一种类型的计算机游戏，其特点是非常大的分支因子。我们的研究结果表明，随着分支因子的增长，{ \em朴素采样}优于其他采样策略。
2017-10-13 cs.AI
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Online Multi-Armed Bandit
MIT（麻省理工学院）
我们介绍了一个新的变种的多武装土匪问题，其中土匪一次一个流到玩家，在每一点上，玩家可以选择拉当前的土匪或移动到下一个土匪。一旦玩家离开一个强盗，他们可能永远不会再访问它，这是我们的问题和经典的多臂强盗问题之间的一个关键区别。在这个在线的背景下，我们研究伯努利强盗（强盗支付Ber（$p_i$）为一些潜在的平均值$p_i$）与潜在的手段画i.i.d.从各种分布，包括均匀分布，一般来说，所有的分布，有一个CDF满足一定的可微性条件接近零。在所有情况下，我们建议几种策略，并调查其预期的性能。此外，我们绑定的任何最优策略的性能，并表明，我们建议的策略确实是最优的常数因子。我们还调查的情况下，从其基本手段的分布是不知道提前。我们再次，能够建议算法是最佳的常数因子为这种情况下，给定某些温和的条件下，宇宙的分布。
2017-07-17 cs.AI cs.GT
Bandits Don't Follow Rules: Balancing Multi-Facet Machine Translation with Multi-Armed Bandits
Google Research（谷歌研究院）
用于机器翻译（MT）的训练数据通常来源于大量的大型语料库，这些语料库本质上是多方面的，例如，包含来自多个领域或不同质量或复杂性水平的内容。当然，这些方面的出现频率并不相等，它们对于手头的测试场景也不同等重要。在这项工作中，我们建议优化这种平衡与MT模型参数，以减轻系统开发人员从手动时间表设计。多臂强盗被训练成以最有利于MT系统的方式在面之间动态地选择。我们在三个不同的多方面应用中评估它：平衡发音和自然训练数据，或来自多个领域或多个语言对的数据。我们发现，强盗学习导致竞争的MT系统的任务，我们的分析提供了深入了解其学习策略和底层数据集。
2021-10-13 cs.AI cs.CL
Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）
针对AutoML领域的CASH资源分配难题，本文提出适配轻尾有界奖励分布的最大k臂老虎机方法MaxUCB，在四个标准AutoML基准上验证其性能优于现有方法，并开源了代码与数据。
2025-11-19 cs.AI cs.LG
PyXAB -- A Python Library for $\mathcal{X}$-Armed Bandit and Online Blackbox Optimization Algorithms
Purdue University（普渡大学）
我们介绍了一个用于$\mathcal{X}$的Python开源库PyXAB-武装强盗和在线黑盒优化。PyXAB包含了超过10个$\mathcal{X}$武装的强盗算法的实现，如HOO，StoSOO，HCT，以及最近的作品RIGHT和VHCT。PyXAB还提供了最常用的合成目标来评估不同算法的性能以及参数空间上分层分区的各种选择。PyXAB的在线文档包括清晰的安装说明、简单的示例、详细的功能描述和API的完整参考。PyXAB在MIT许可下发布，以鼓励学术和工业使用。该库可以直接从PyPI安装，其源代码可以在https://github.com/WilliamLwj/PyXAB上获得
2023-03-07 cs.AI cs.LG cs.SE
Algorithms for multi-armed bandit problems
McGill University（麦吉尔大学）
虽然许多算法的多臂强盗问题是很好地理解理论，其有效性的经验确认是普遍缺乏。本文提出了一个彻底的实证研究最流行的多臂强盗算法。从我们的研究结果中可以得出三个重要的结论。首先，简单的算法，如ε-greedy和Boltzmann exploration，在大多数情况下都比理论上合理的算法好得多。其次，大多数算法的性能随强盗问题的参数变化而变化。我们的研究确定了每个算法的设置，它表现良好，和设置，它表现不佳。第三，算法的相对性能只受强盗武器的数量和奖励的方差的影响。这一发现可能会指导后续的经验评估的设计。在本文的第二部分中，我们将注意力转向了Bandit算法应用的一个重要领域：临床试验。虽然临床试验的设计一直是激励多臂土匪研究的主要实际问题之一，但土匪算法从未被评估为潜在的治疗分配策略。使用数据从一个真正的研究，我们模拟的结果，2001-2002年的临床试验会有，如果强盗算法已被用于分配患者的治疗。我们发现，适应性试验将成功治疗至少50%以上的患者，同时显着减少不良反应的数量和增加患者的保留。在试验结束时，仍然可以以高水平的统计置信度确定最佳治疗。我们的研究结果表明，强盗算法是有吸引力的替代目前的自适应治疗分配策略。
2014-02-25 cs.AI cs.LG
A Multi-armed Bandit MCMC, with applications in sampling from doubly intractable posterior
Stanford University（斯坦福大学）
马尔可夫链蒙特卡罗（MCMC）算法被广泛应用于复杂分布的采样，特别是贝叶斯推断中的后验分布的采样。然而，MCMC是不直接适用于面对双重棘手的问题。本文讨论并比较了两种现有的解决方案--伪边际蒙特卡罗法和交换法。本文还提出了一种新的算法：多臂强盗MCMC（MABMC），它在每一步中选择两个（或多个）随机接受率。MABMC可以直接应用于伪边际蒙特卡罗和Exchange算法，具有较高的平均接受概率。
2019-03-27 cs.AI physics.data-an stat.CO
Contextual Restless Multi-Armed Bandits with Application to Demand Response Decision-Making
Texas A&M University（德克萨斯农工大学）
本文提出Contextual Restless Bandits (CRB)框架，结合上下文与非静止老虎机特征以建模内外状态，开发指数策略算法并应用于智能电网需求响应决策，验证了其性能与效率。
2024-03-22 cs.AI
Global Rewards in Restless Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
本文提出RMAB-G模型以解决restless多臂老虎机中奖励不可分离的问题，开发了Linear-和Shapley-Whittle指数，并设计了结合迭代计算与MCTS的自适应策略，在合成及食物救援数据上验证了其优越性。
2024-06-07 cs.AI cs.CY cs.LG
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
An Instance-Dependent Analysis for the Cooperative Multi-Player Multi-Armed Bandit
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
研究了多人多武装匪徒中的信息共享与合作问题。我们提出了第一个算法，实现对数后悔这个问题时，碰撞奖励是未知的。我们的研究结果基于两项创新。首先，我们表明，一个简单的修改连续消除策略可以用来让球员估计他们的次优差距，常数的因素，在没有碰撞。其次，我们利用第一个结果来设计一个通信协议，成功地使用冲突的小奖励，以协调玩家之间，同时保持有意义的实例依赖的对数遗憾保证。
2022-09-30 cs.AI cs.LG stat.ML
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Incorporating Multi-armed Bandit with Local Search for MaxSAT
Huazhong University of Science and Technology（华中科技大学）；University of Picardie Jules Verne（皮卡第儒勒·凡尔纳大学）；Artificial Intelligence Research Institute (IIIA), CSIC（西班牙国家研究委员会人工智能研究所）
部分MaxSAT（PMS）和加权PMS（WPMS）是MaxSAT问题的两个实际推广。在本文中，我们提出了一个局部搜索算法，称为BandHS，它采用两个多臂土匪引导搜索方向时，逃离局部最优。一个bandit与所有软子句组合以帮助算法选择以满足适当的软子句，而另一个bandit与硬子句中的所有文字组合以帮助算法选择适当的文字以满足硬子句。这两个bandits可以提高算法在可行解空间和不可行解空间的搜索能力。我们进一步提出了一个初始化方法（W）PMS优先单位和二元条款时，产生的初始解决方案。大量的实验表明，我们提出的方法，极大地提高了国家的最先进的局部搜索算法，SATLike3.0，和国家的最先进的SAT为基础的不完全求解器，NuWLS-c的优良性能和泛化能力。
2022-11-29 cs.AI
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest（波尔多西南法国国立信息学与自动化研究院）；ENSTA ParisTech（巴黎高等先进技术学院）；Bordeaux University（波尔多大学）
我们考虑的情况下，代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互，智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法，将这种情况视为多武装土匪问题，其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂，并建立该方法是既能够区分不同质量的策略，即使当差异是微不足道的，并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
Interactive Restless Multi-armed Bandit Game and Swarm Intelligence Effect
Kitasato University（北里大学）；Financial Services Agency（金融厅）
我们得到了在一个不安分的多臂强盗（rMAB）互动博弈中出现群体智能效应的条件。一个玩家与多个代理人竞争。每一个强盗都有一个收益，每一轮的概率为$p_{c}$。智能体和玩家选择三个选项之一：（1）利用（一个好的强盗），（2）创新（从$n_{I}$随机选择的强盗中学习一个好的强盗），（3）观察（一个好的强盗的社会学习）。每个代理都有两个参数$(c,p_{obs})$来指定决策：（i）$c$，利用的阈值，以及（ii）$p_{obs}$，学习中观察的概率。参数$(c,p_{obs})$均匀分布。我们确定的最佳策略的球员使用完整的知识rMAB。我们展示了在$(p_{c},n_{I})$空间中社会学习或非社会学习是否更优，并定义了群体智能效应。我们进行了一个实验室实验（67名受试者），并观察群体智能效应，只有当$(p_{c},n_{I})$被选择，使社会学习是远远优于非社会学习。
2015-03-13 cs.AI cs.LG physics.data-an
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
HAMLET -- A Learning Curve-Enabled Multi-Armed Bandit for Algorithm Selection
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
自动算法选择和超参数调整促进了机器学习的应用。传统的多臂强盗策略着眼于观察到的回报的历史，以确定最有前途的武器，以优化预期的总回报在长期内。当考虑到有限的时间预算和计算资源时，这种对奖励的向后看法是不合适的，因为强盗应该展望未来，在指定的时间预算结束时预测最高的最终奖励。这项工作通过引入HAMLET来解决这一问题，HAMLET通过学习曲线外推和计算时间意识来扩展Bandit方法，以便在一组机器学习算法中进行选择。结果表明，HAMLET变体1-3在实验中表现出与其他基于带宽的算法选择策略相同或更好的性能，对于大多数考虑的时间预算，记录超参数调整轨迹。性能最佳的HAMLET变体3将学习曲线外推与众所周知的置信上限探索奖金相结合。该变体的性能优于所有非HAMLET策略，在1，485次运行中具有95%的统计显著性。
2020-05-28 cs.AI cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Stochastic Multi-Armed Bandits with Control Variates
National University of Singapore（新加坡国立大学）；IIT Bombay（印度理工学院孟买分校）
本文研究了随机多臂强盗问题的一个新的变种，其中关于臂奖励的辅助信息以控制变量的形式提供。在排队和无线网络等许多应用中，手臂奖励是一些外生变量的函数。这些变量的平均值是从历史数据中先验已知的，可以用作控制变量。利用控制变量理论，我们得到了具有较小方差和更紧置信界的均值估计。我们开发了一个基于置信上限的算法命名为UCB-CV和表征的后悔界的奖励和控制变量之间的相关性时，他们遵循多元正态分布。我们还使用Jackknifing和Splitting等重新分配方法将UCB-CV扩展到其他分布。合成问题实例的实验验证所提出的算法的性能保证。
2022-01-15 cs.AI cs.LG stat.ML
Functional multi-armed bandit and the best function identification problems
Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skoltech（斯克里普切尔技术学院）；Avito；Moscow, Russia（莫斯科，俄罗斯）
本文提出函数多臂老虎机问题和最佳函数识别问题，通过非线性优化算法构建F-LCB算法，提供 regret 上界并展示实验结果。
2026-02-17 cs.AI cs.LG math.OC
