Online Multi-Armed Bandit
MIT(麻省理工学院)
我们介绍了一个新的变种的多武装土匪问题,其中土匪一次一个流到玩家,在每一点上,玩家可以选择拉当前的土匪或移动到下一个土匪。一旦玩家离开一个强盗,他们可能永远不会再访问它,这是我们的问题和经典的多臂强盗问题之间的一个关键区别。在这个在线的背景下,我们研究伯努利强盗(强盗支付Ber($p_i$)为一些潜在的平均值$p_i$)与潜在的手段画i.i.d.从各种分布,包括均匀分布,一般来说,所有的分布,有一个CDF满足一定的可微性条件接近零。在所有情况下,我们建议几种策略,并调查其预期的性能。此外,我们绑定的任何最优策略的性能,并表明,我们建议的策略确实是最优的常数因子。我们还调查的情况下,从其基本手段的分布是不知道提前。我们再次,能够建议算法是最佳的常数因子为这种情况下,给定某些温和的条件下,宇宙的分布。
2017-07-17 cs.AI cs.GT
Contextual Restless Multi-Armed Bandits with Application to Demand Response Decision-Making
Texas A&M University(德克萨斯农工大学)
本文提出Contextual Restless Bandits (CRB)框架,结合上下文与非静止老虎机特征以建模内外状态,开发指数策略算法并应用于智能电网需求响应决策,验证了其性能与效率。
2024-03-22 cs.AI
Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning
Department of Computer Science, University of Tübingen(图宾根大学计算机科学系)
针对AutoML领域的CASH资源分配难题,本文提出适配轻尾有界奖励分布的最大k臂老虎机方法MaxUCB,在四个标准AutoML基准上验证其性能优于现有方法,并开源了代码与数据。
2025-11-19 cs.AI cs.LG
Incorporating Multi-armed Bandit with Local Search for MaxSAT
Huazhong University of Science and Technology(华中科技大学);University of Picardie Jules Verne(皮卡第儒勒·凡尔纳大学);Artificial Intelligence Research Institute (IIIA), CSIC(西班牙国家研究委员会人工智能研究所)
部分MaxSAT(PMS)和加权PMS(WPMS)是MaxSAT问题的两个实际推广。在本文中,我们提出了一个局部搜索算法,称为BandHS,它采用两个多臂土匪引导搜索方向时,逃离局部最优。一个bandit与所有软子句组合以帮助算法选择以满足适当的软子句,而另一个bandit与硬子句中的所有文字组合以帮助算法选择适当的文字以满足硬子句。这两个bandits可以提高算法在可行解空间和不可行解空间的搜索能力。我们进一步提出了一个初始化方法(W)PMS优先单位和二元条款时,产生的初始解决方案。大量的实验表明,我们提出的方法,极大地提高了国家的最先进的局部搜索算法,SATLike3.0,和国家的最先进的SAT为基础的不完全求解器,NuWLS-c的优良性能和泛化能力。
2022-11-29 cs.AI
Algorithms for multi-armed bandit problems
McGill University(麦吉尔大学)
虽然许多算法的多臂强盗问题是很好地理解理论,其有效性的经验确认是普遍缺乏。本文提出了一个彻底的实证研究最流行的多臂强盗算法。从我们的研究结果中可以得出三个重要的结论。首先,简单的算法,如ε-greedy和Boltzmann exploration,在大多数情况下都比理论上合理的算法好得多。其次,大多数算法的性能随强盗问题的参数变化而变化。我们的研究确定了每个算法的设置,它表现良好,和设置,它表现不佳。第三,算法的相对性能只受强盗武器的数量和奖励的方差的影响。这一发现可能会指导后续的经验评估的设计。在本文的第二部分中,我们将注意力转向了Bandit算法应用的一个重要领域:临床试验。虽然临床试验的设计一直是激励多臂土匪研究的主要实际问题之一,但土匪算法从未被评估为潜在的治疗分配策略。使用数据从一个真正的研究,我们模拟的结果,2001-2002年的临床试验会有,如果强盗算法已被用于分配患者的治疗。我们发现,适应性试验将成功治疗至少50%以上的患者,同时显着减少不良反应的数量和增加患者的保留。在试验结束时,仍然可以以高水平的统计置信度确定最佳治疗。我们的研究结果表明,强盗算法是有吸引力的替代目前的自适应治疗分配策略。
2014-02-25 cs.AI cs.LG
PyXAB -- A Python Library for $\mathcal{X}$-Armed Bandit and Online Blackbox Optimization Algorithms
Purdue University(普渡大学)
我们介绍了一个用于$\mathcal{X}$的Python开源库PyXAB-武装强盗和在线黑盒优化。PyXAB包含了超过10个$\mathcal{X}$武装的强盗算法的实现,如HOO,StoSOO,HCT,以及最近的作品RIGHT和VHCT。PyXAB还提供了最常用的合成目标来评估不同算法的性能以及参数空间上分层分区的各种选择。PyXAB的在线文档包括清晰的安装说明、简单的示例、详细的功能描述和API的完整参考。PyXAB在MIT许可下发布,以鼓励学术和工业使用。该库可以直接从PyPI安装,其源代码可以在https://github.com/WilliamLwj/PyXAB上获得
2023-03-07 cs.AI cs.LG cs.SE
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay(印度理工学院孟买分校)
在本文中,我们提出了一个常数字(RAM模型)算法的遗憾最小化有限和无限的随机多臂强盗(MAB)的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下,可用的字的内存是有限的。设计一个有效的后悔最小化算法,使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的,并要求武器的奖励分配属于某个特定的家庭。最近,针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而,由于潜在的基于PAC的消除,他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法,该算法需要记住最多$M$武器的统计数据,并且对于任何$K$武装的有限bandit实例,它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018},并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Global Rewards in Restless Multi-Armed Bandits
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
本文提出RMAB-G模型以解决restless多臂老虎机中奖励不可分离的问题,开发了Linear-和Shapley-Whittle指数,并设计了结合迭代计算与MCTS的自适应策略,在合成及食物救援数据上验证了其优越性。
2024-06-07 cs.AI cs.CY cs.LG
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University(俄亥俄州立大学)
多臂强盗问题在平稳假设下得到了广泛的研究。然而,在现实中,这个假设往往不成立,因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题,提出了一种基于变化检测的框架,并研究了一类基于变化检测的UCB(Upper Confidence Bound)策略CD-UCB,该策略主动检测变化点并重新启动UCB索引.然后,我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB,并使用累积和(PHTUM)和Page-Hinkley检验(PHT)来检测变化。我们证明了在较温和的假设下,EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎!网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
An Instance-Dependent Analysis for the Cooperative Multi-Player Multi-Armed Bandit
Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
研究了多人多武装匪徒中的信息共享与合作问题。我们提出了第一个算法,实现对数后悔这个问题时,碰撞奖励是未知的。我们的研究结果基于两项创新。首先,我们表明,一个简单的修改连续消除策略可以用来让球员估计他们的次优差距,常数的因素,在没有碰撞。其次,我们利用第一个结果来设计一个通信协议,成功地使用冲突的小奖励,以协调玩家之间,同时保持有意义的实例依赖的对数遗憾保证。
2022-09-30 cs.AI cs.LG stat.ML
A Multi-armed Bandit MCMC, with applications in sampling from doubly intractable posterior
Stanford University(斯坦福大学)
马尔可夫链蒙特卡罗(MCMC)算法被广泛应用于复杂分布的采样,特别是贝叶斯推断中的后验分布的采样。然而,MCMC是不直接适用于面对双重棘手的问题。本文讨论并比较了两种现有的解决方案--伪边际蒙特卡罗法和交换法。本文还提出了一种新的算法:多臂强盗MCMC(MABMC),它在每一步中选择两个(或多个)随机接受率。MABMC可以直接应用于伪边际蒙特卡罗和Exchange算法,具有较高的平均接受概率。
2019-03-27 cs.AI physics.data-an stat.CO
A Regret bound for Non-stationary Multi-Armed Bandits with Fairness Constraints
Indian Institute of Science(印度科学学院)
多武装土匪的框架是最常见的平台,研究顺序决策问题的策略。最近,公平的概念在机器学习社区引起了广泛的关注。可以施加公平条件,即在任何给定的时间点,甚至在学习阶段,表现不佳的候选人不应该优先于更好的候选人。这种公平性约束是已知的最严格的,并已在随机多武装匪徒的框架中,在一个固定的设置已经建立了遗憾的界限进行了研究。本文的主要目的是研究这个问题在一个非平稳设置。本文提出了一种新的算法--带探索的公平置信上界公平UCBe算法,用于求解慢变随机$k$ -武装强盗问题。由此我们得到了两个结果:(i)Fair-UCBe确实满足上述公平性条件,(ii)对于某些合适的$α\in (0, 1)$,它达到了$O\left(k^{\frac{3}{2}} T^{1 - \fracα{2}} \sqrt{\log T}\right)$的遗憾界,其中$T$是时间范围.这是第一个公平的算法与次线性遗憾界适用于非平稳土匪尽我们所知。我们表明,我们的算法在非平稳的情况下的性能接近其固定对应的环境中的变化趋于零。
2020-12-24 cs.AI cs.LG
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida(佛罗里达大学)
在本文中,我们提出了一个信息理论的探索策略,随机,离散的多武装土匪,实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联,并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中,信息是由一个参数量化的,这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新,具有足够快的冷却时间表,导致一个最佳的遗憾,这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST(韩国科学技术院)
针对预算多臂老虎机问题,基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准,在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest(波尔多西南法国国立信息学与自动化研究院);ENSTA ParisTech(巴黎高等先进技术学院);Bordeaux University(波尔多大学)
我们考虑的情况下,代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互,智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法,将这种情况视为多武装土匪问题,其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂,并建立该方法是既能够区分不同质量的策略,即使当差异是微不足道的,并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
Interactive Restless Multi-armed Bandit Game and Swarm Intelligence Effect
Kitasato University(北里大学);Financial Services Agency(金融厅)
我们得到了在一个不安分的多臂强盗(rMAB)互动博弈中出现群体智能效应的条件。一个玩家与多个代理人竞争。每一个强盗都有一个收益,每一轮的概率为$p_{c}$。智能体和玩家选择三个选项之一:(1)利用(一个好的强盗),(2)创新(从$n_{I}$随机选择的强盗中学习一个好的强盗),(3)观察(一个好的强盗的社会学习)。每个代理都有两个参数$(c,p_{obs})$来指定决策:(i)$c$,利用的阈值,以及(ii)$p_{obs}$,学习中观察的概率。参数$(c,p_{obs})$均匀分布。我们确定的最佳策略的球员使用完整的知识rMAB。我们展示了在$(p_{c},n_{I})$空间中社会学习或非社会学习是否更优,并定义了群体智能效应。我们进行了一个实验室实验(67名受试者),并观察群体智能效应,只有当$(p_{c},n_{I})$被选择,使社会学习是远远优于非社会学习。
2015-03-13 cs.AI cs.LG physics.data-an
HAMLET -- A Learning Curve-Enabled Multi-Armed Bandit for Algorithm Selection
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
自动算法选择和超参数调整促进了机器学习的应用。传统的多臂强盗策略着眼于观察到的回报的历史,以确定最有前途的武器,以优化预期的总回报在长期内。当考虑到有限的时间预算和计算资源时,这种对奖励的向后看法是不合适的,因为强盗应该展望未来,在指定的时间预算结束时预测最高的最终奖励。这项工作通过引入HAMLET来解决这一问题,HAMLET通过学习曲线外推和计算时间意识来扩展Bandit方法,以便在一组机器学习算法中进行选择。结果表明,HAMLET变体1-3在实验中表现出与其他基于带宽的算法选择策略相同或更好的性能,对于大多数考虑的时间预算,记录超参数调整轨迹。性能最佳的HAMLET变体3将学习曲线外推与众所周知的置信上限探索奖金相结合。该变体的性能优于所有非HAMLET策略,在1,485次运行中具有95%的统计显著性。
2020-05-28 cs.AI cs.LG stat.ML
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架,将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法,仅需老虎机反馈,并应用于子模最大化,实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Multi-Armed Bandits in Brain-Computer Interfaces
Lund University(隆德大学);Blekinge Tekniska Högskola(布莱金厄理工学院)
多臂强盗(MAB)问题模拟了一个决策者,根据当前和获得的新知识优化其行动,以最大限度地提高其回报。这种类型的在线决策在脑机接口(BCI)的许多程序中是突出的,并且MAB先前已被用于调查,例如,使用什么样的心理命令来优化脑机接口的性能。然而,在BCI的上下文中的MAB优化仍然是相对未开发的,即使它有潜力提高BCI的性能在校准和实时实施。因此,本综述旨在进一步向BCI社区介绍MAB。该审查包括MAB问题和标准解决方法的背景,以及与BCI系统相关的解释。此外,它还包括BCI中MAB的最新概念以及对未来研究的建议。
2022-05-19 cs.AI cs.HC cs.SY
Evolutionary Multi-Armed Bandits with Genetic Thompson Sampling
Columbia University(哥伦比亚大学)
在线学习和演化计算作为机器学习的两大流派,已经成为现实世界决策引擎背后的两大重要驱动力,在生物医学、经济学和工程学领域得到广泛应用。虽然有利用土匪来改善进化算法的优化过程的工作,它仍然是一个空白领域的进化方法如何可以帮助改善在线学习代理,如多臂土匪的顺序决策任务。在这项工作中,我们提出了遗传汤普森采样,一个强盗算法,保持人口的代理和更新他们的遗传原则,如精英选择,交叉和突变。在多臂土匪模拟环境和一个实际的流行病控制问题的实证结果表明,通过将遗传算法到土匪算法,我们的方法显着优于基线在非平稳设置。最后,我们介绍了EvoBandit,一个基于Web的交互式可视化,以指导读者完成整个学习过程,并在飞行中执行轻量级评估。我们希望通过这项调查让研究人员参与到这一不断发展的研究领域中。
2022-04-26 cs.AI cs.LG cs.MA
Stochastic Multi-Armed Bandits with Control Variates
National University of Singapore(新加坡国立大学);IIT Bombay(印度理工学院孟买分校)
本文研究了随机多臂强盗问题的一个新的变种,其中关于臂奖励的辅助信息以控制变量的形式提供。在排队和无线网络等许多应用中,手臂奖励是一些外生变量的函数。这些变量的平均值是从历史数据中先验已知的,可以用作控制变量。利用控制变量理论,我们得到了具有较小方差和更紧置信界的均值估计。我们开发了一个基于置信上限的算法命名为UCB-CV和表征的后悔界的奖励和控制变量之间的相关性时,他们遵循多元正态分布。我们还使用Jackknifing和Splitting等重新分配方法将UCB-CV扩展到其他分布。合成问题实例的实验验证所提出的算法的性能保证。
2022-01-15 cs.AI cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University(纽约州立大学宾汉姆顿分校)
多人多臂强盗是一个越来越相关的决策问题,认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上,即玩家对所有的手臂都有\textit{full access},并且当拉动同一只手臂时没有奖励,因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而,这些设置忽略了许多现实世界应用中的几个重要因素,其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}(即,手臂有时可能是"行走“的,并且玩家无法接近)。为此,本文提出了一个\textit{multi-player multi-armed walking bandits}模型,旨在解决上述建模问题。现在的目标是最大化的奖励,但是,玩家只能从本地子集拉手臂,只有收集一个完整的奖励,如果没有其他玩家拉相同的arm.We采用置信上限(UCB)来处理的探索开发权衡,并采用分布式优化技术,以妥善处理冲突。通过仔细整合这两种技术,我们提出了一个分散的算法与近最优保证的遗憾,并可以很容易地实现,以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Optimal Sensing via Multi-armed Bandit Relaxations in Mixed Observability Domains
Tampere University of Technology(坦佩雷理工大学)
研究在混合可观测域中不确定决策问题,通过放松约束推导最优价值函数上界,并利用多臂老虎机的可计算最优策略提升搜索空间剪枝效率,实验显示在目标监控领域有效。
2016-03-15 cs.AI cs.RO cs.SY
Functional multi-armed bandit and the best function identification problems
Lomonosov Moscow State University(莫斯科罗蒙诺索夫莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skoltech(斯克里普切尔技术学院);Avito;Moscow, Russia(莫斯科,俄罗斯)
本文提出函数多臂老虎机问题和最佳函数识别问题,通过非线性优化算法构建F-LCB算法,提供 regret 上界并展示实验结果。
2026-02-17 cs.AI cs.LG math.OC
Genetic multi-armed bandits: a reinforcement learning approach for discrete optimization via simulation
University of Augsburg(奥格斯堡大学)
本文提出了一种新的算法,称为GMAB,结合了多武装匪徒的强化学习域的概念和随机搜索策略域的遗传算法,通过模拟来解决离散随机优化问题。特别是,重点是嘈杂的大规模问题,这往往涉及众多的维度以及多个局部最优。我们的目标是结合属性的多武装匪徒,以应付挥发性的模拟观测的能力,遗传算法处理高维的解决方案空间伴随着大量的可行的解决方案。为此,多臂强盗框架作为基础,其中每个观察到的模拟被纳入GMAB的内存。基于这种记忆,遗传算子指导搜索,因为它们为探索和开发提供了强大的工具。实证结果表明,GMAB实现了优越的性能相比,从文献中的基准算法在各种各样的测试问题。在所有的实验中,GMAB需要相当少的模拟,以实现类似的或(远)更好的解决方案比现有的方法产生的。同时,GMAB在所需运行时方面的开销非常小,这是因为建议了基于树的内存实现。此外,我们证明了它的收敛到全局最优的模拟努力去无穷大。
2023-02-15 cs.AI cs.LG cs.NE