Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Practical Calculation of Gittins Indices for Multi-armed Bandits
Lancaster University（兰卡斯特大学）
Gittins指数为经典的多臂强盗问题提供了一个最优解。使用它们的一个障碍是人们普遍认为它们的计算非常困难。本文给出了一种计算多臂强盗Gittins指数的通用方法，并详细研究了Bernoulli和Gaussian报酬的情况。伴随着易于使用的开源软件，这项工作消除了计算在这些常见的设置中使用Gittins索引的障碍。
2019-09-11 cs.LG stat.ML
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Meta；Nvidia Research（英伟达研究院）
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
Lower Bounds for Multi-armed Bandit with Non-equivalent Multiple Plays
Yandex（扬德克斯）
我们研究了随机多臂强盗问题与非等价多个播放，在每一步，代理选择不仅是一组武器，但他们的顺序，这影响奖励分配。在几个问题的配方与不同的假设，我们提供了标准的渐近$O(\log{t})$，但新的系数，并提供最佳的算法，遗憾的下限，从而证明这些界限不能得到改善。
2015-07-17 cs.LG
Non-trivial two-armed partial-monitoring games are bandits
University of Alberta（阿尔伯塔大学）
我们认为在线学习在部分监控游戏对一个健忘的对手。我们表明，当学习者的行动数量是两个和游戏是非平凡的，那么它是一个强盗般的游戏，从而极大极小遗憾是$Θ(\sqrt{T})$。
2011-08-24 cs.LG
A Regret bound for Non-stationary Multi-Armed Bandits with Fairness Constraints
Indian Institute of Science（印度科学学院）
多武装土匪的框架是最常见的平台，研究顺序决策问题的策略。最近，公平的概念在机器学习社区引起了广泛的关注。可以施加公平条件，即在任何给定的时间点，甚至在学习阶段，表现不佳的候选人不应该优先于更好的候选人。这种公平性约束是已知的最严格的，并已在随机多武装匪徒的框架中，在一个固定的设置已经建立了遗憾的界限进行了研究。本文的主要目的是研究这个问题在一个非平稳设置。本文提出了一种新的算法--带探索的公平置信上界公平UCBe算法，用于求解慢变随机$k$ -武装强盗问题。由此我们得到了两个结果：（i）Fair-UCBe确实满足上述公平性条件，（ii）对于某些合适的$α\in (0, 1)$，它达到了$O\left(k^{\frac{3}{2}} T^{1 - \fracα{2}} \sqrt{\log T}\right)$的遗憾界，其中$T$是时间范围.这是第一个公平的算法与次线性遗憾界适用于非平稳土匪尽我们所知。我们表明，我们的算法在非平稳的情况下的性能接近其固定对应的环境中的变化趋于零。
2020-12-24 cs.AI cs.LG
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Multi-armed Bandit Problem with Known Trend
Orange Labs（Orange实验室）
我们考虑多臂强盗模型的一个变体，我们称之为具有已知趋势的多臂强盗问题，其中赌徒知道每个臂的奖励函数的形状，但不知道其分布。这个新问题的动机是不同的在线问题，如主动学习，音乐和界面推荐应用程序，其中当手臂被模型采样时，收到的奖励根据已知的趋势变化。通过调整标准的多臂强盗算法UCB 1，以利用这一设置，我们提出了新的算法命名为A-UCB，假设一个随机模型。我们提供的遗憾的上限相比，有利的UCB 1。我们还证实，实验与不同的模拟
2017-05-10 cs.LG
Optimal Activation of Halting Multi-Armed Bandit Models
Rutgers University（罗格斯大学）；University of Southern California（南加州大学）
本文提出 Halting Bandit 动态分配模型，并借此为经典 Gittins 指数分解及一般折旧与承诺情形下的近期多臂老虎机结果提供新证明。
2023-04-20 cs.LG stat.ML
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究汤普森抽样算法的随机多武装土匪在批量设置，在其中，我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化（或批次）。我们提出了两个算法，并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面，并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
BanditMF: Multi-Armed Bandit Based Matrix Factorization Recommender System
多武装匪徒（MAB）提供了一个原则性的在线学习方法，以实现勘探和开发之间的平衡。多臂强盗算法由于其优越的性能和低反馈学习而无需学习在多种情况下采取行动，在推荐系统等应用中受到广泛关注。同样，在推荐系统中，协同过滤（CF）可以说是推荐系统中最早和最有影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协同过滤，经典的方法是离线训练模型，然后进行在线测试，但这种方法已经不能处理用户偏好的动态变化，即所谓的冷启动。那么在缺乏有效信息的情况下，如何有效地向用户推荐商品呢？为了解决上述问题，一个多臂强盗的协同过滤推荐系统已被提出，命名为BanditMF。BanditMF主要解决多臂Bandits算法和协同过滤中的两个难题：（1）如何解决有效信息稀缺条件下协同过滤的冷启动问题;（2）如何解决强社会关系域中Bandits算法由于独立估计与每个用户相关的未知参数而忽略用户之间的相关性而导致的次优问题。
2022-10-24 cs.IR cs.LG
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Coordination without communication: optimal regret in two players multi-armed bandits
Microsoft Research（微软研究院）；University of British Columbia（不列颠哥伦比亚大学）
我们考虑两个代理人同时玩同一个随机三臂强盗问题。两个特工在合作，但他们无法沟通。我们提出了一个策略，没有冲突的球员之间的所有（具有非常高的概率），并接近最佳的遗憾$O(\sqrt{T \log(T)})$。我们还认为，额外的对数项$\sqrt{\log(T)}$应该是必要的，通过证明一个完整的信息变量的问题的下限。
2020-07-09 cs.GT cs.LG cs.MA
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria（奥地利科学技术研究所）
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
Multiple Identifications in Multi-Armed Bandits
Princeton University（普林斯顿大学）
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
Evolutionary Multi-Armed Bandits with Genetic Thompson Sampling
Columbia University（哥伦比亚大学）
在线学习和演化计算作为机器学习的两大流派，已经成为现实世界决策引擎背后的两大重要驱动力，在生物医学、经济学和工程学领域得到广泛应用。虽然有利用土匪来改善进化算法的优化过程的工作，它仍然是一个空白领域的进化方法如何可以帮助改善在线学习代理，如多臂土匪的顺序决策任务。在这项工作中，我们提出了遗传汤普森采样，一个强盗算法，保持人口的代理和更新他们的遗传原则，如精英选择，交叉和突变。在多臂土匪模拟环境和一个实际的流行病控制问题的实证结果表明，通过将遗传算法到土匪算法，我们的方法显着优于基线在非平稳设置。最后，我们介绍了EvoBandit，一个基于Web的交互式可视化，以指导读者完成整个学习过程，并在飞行中执行轻量级评估。我们希望通过这项调查让研究人员参与到这一不断发展的研究领域中。
2022-04-26 cs.AI cs.LG cs.MA
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Global Rewards in Restless Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
本文提出RMAB-G模型以解决restless多臂老虎机中奖励不可分离的问题，开发了Linear-和Shapley-Whittle指数，并设计了结合迭代计算与MCTS的自适应策略，在合成及食物救援数据上验证了其优越性。
2024-06-07 cs.AI cs.CY cs.LG
Multi-user lax communications: a multi-armed bandit approach
受认知无线电网络的启发，我们考虑了一个多用户共享多个信道的设置建模为多用户多臂强盗（MAB）问题。每个信道的特性是未知的，并且对于每个用户是不同的。每个用户都可以在通道之间进行选择，但她的成功取决于所选择的特定通道以及其他用户的选择：如果两个用户选择相同的通道，则他们的消息会发生冲突，并且没有一个用户能够发送任何数据。我们的设置是完全分布式的，所以没有中央控制。在许多通信系统中，用户不能建立直接通信协议，因此信息交换必须限制在最低限度。我们开发了一个算法，学习一个稳定的配置多用户MAB问题。我们还提供收敛保证和受真实通信网络启发的实验，包括与最先进算法的比较。
2015-12-02 cs.LG cs.MA
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Risk-Averse Multi-Armed Bandit Problems under Mean-Variance Measure
Cornell University（康奈尔大学）
主要研究了在长度为$T$的水平上期望总报酬测度下的多臂强盗问题。在本文中，我们解决的问题，多臂土匪问题的风险，并开发下的均值方差，在经济学和金融数学中常用的风险措施的措施平行的结果。我们证明了模型特定的后悔和模型独立的后悔的平均方差的奖励过程是下界$Ω(\log T)$和$Ω(T^{2/3})$，分别。然后，我们表明，变化的UCB政策和DSEE政策的经典风险中性MAB实现这些下限。
2017-08-14 cs.LG
An Instance-Dependent Analysis for the Cooperative Multi-Player Multi-Armed Bandit
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
研究了多人多武装匪徒中的信息共享与合作问题。我们提出了第一个算法，实现对数后悔这个问题时，碰撞奖励是未知的。我们的研究结果基于两项创新。首先，我们表明，一个简单的修改连续消除策略可以用来让球员估计他们的次优差距，常数的因素，在没有碰撞。其次，我们利用第一个结果来设计一个通信协议，成功地使用冲突的小奖励，以协调玩家之间，同时保持有意义的实例依赖的对数遗憾保证。
2022-09-30 cs.AI cs.LG stat.ML
Relative Upper Confidence Bound for the K-Armed Dueling Bandit Problem
University of Amsterdam（阿姆斯特丹大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
本文提出了一种新的方法来解决K-臂决斗强盗问题，这是常规K-臂强盗问题的一种变体，只提供关于臂对的相对反馈。我们的方法扩展了上置信界算法的相对设置，通过使用成对概率的估计来选择一个有前途的手臂，并应用上置信界的赢家作为基准。我们证明了一个有限时间后悔界的顺序为O（log t）。此外，我们的实证结果使用真实数据从信息检索应用程序表明，它大大优于最先进的。
2013-12-17 cs.LG
Fair Algorithms for Multi-Agent Multi-Armed Bandits
University of Toronto（多伦多大学）
我们提出了一个多智能体的经典多臂强盗问题的变种，其中有$N$代理和$K$武器，并拉动一个手臂产生一个（可能不同的）随机奖励每个代理。与经典的多臂强盗问题不同，目标不是学习“最好的手臂”;事实上，每个智能体都可能认为不同的手臂对她个人来说是最好的。相反，我们寻求学习武器的公平分配。借鉴经济学和计算机科学的长期研究，我们使用纳什社会福利作为我们的公平概念。我们设计了三个经典的多臂强盗算法的多智能体变体，并表明它们实现了次线性后悔，这是现在衡量的纳什社会福利损失。
2021-02-24 cs.AI cs.GT
PyXAB -- A Python Library for $\mathcal{X}$-Armed Bandit and Online Blackbox Optimization Algorithms
Purdue University（普渡大学）
我们介绍了一个用于$\mathcal{X}$的Python开源库PyXAB-武装强盗和在线黑盒优化。PyXAB包含了超过10个$\mathcal{X}$武装的强盗算法的实现，如HOO，StoSOO，HCT，以及最近的作品RIGHT和VHCT。PyXAB还提供了最常用的合成目标来评估不同算法的性能以及参数空间上分层分区的各种选择。PyXAB的在线文档包括清晰的安装说明、简单的示例、详细的功能描述和API的完整参考。PyXAB在MIT许可下发布，以鼓励学术和工业使用。该库可以直接从PyPI安装，其源代码可以在https://github.com/WilliamLwj/PyXAB上获得
2023-03-07 cs.AI cs.LG cs.SE
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
Batched Multi-armed Bandits Problem
Stanford University（斯坦福大学）
在本文中，我们研究了多臂强盗问题中的批量设置，其中所采用的政策必须分为少量的批次数据。虽然在\cite{perchet2016batched}中已经完全刻画了双臂随机强盗的极小极大后悔，但对于多臂情况，武器数量对后悔的影响仍然是开放的。此外，自适应地选择批量大小是否有助于减少遗憾的问题也仍然有待探讨。在本文中，我们提出了BaSE（批量连续消除）的政策，以实现率最优的遗憾（对数因子内）批量多武装土匪，匹配的下限，即使批量大小是以自适应的方式确定。
2019-10-26 cs.IT cs.LG math.IT
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室）；IMT, Université de Toulouse（图卢兹大学 数学与计算机科学研究所）
本文致力于研究最大K臂强盗问题，该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko（2014）中的ExtremeHunter算法进行了显著的改进，然后提出了一种替代方法，表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析，这两种方法进行了比较，通过数值实验。
2017-07-27 cs.LG stat.ML
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
Stochastic Multi-armed Bandits with Non-stationary Rewards Generated by a Linear Dynamical System
Washington University in St. Louis（圣路易斯华盛顿大学）
随机多臂强盗为研究未知环境下的决策问题提供了一个框架。我们提出了一个变种的随机多臂强盗的奖励是从随机线性动力系统采样。这种随机多臂强盗变体的建议策略是学习动力系统的模型，同时根据学习的模型选择最佳动作。受Merton提出的跨期资本资产定价模型和Fernholz提出的随机投资组合理论等数学金融领域的启发，这一策略被应用于量化金融作为高频交易策略，其目标是在一段时间内实现收益最大化。
2022-04-06 cs.LG cs.SY eess.SY
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
University of Oslo（奥斯陆大学）
多臂强盗问题是一个经典的决策问题，其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中，就像在其他机器学习应用中一样，区分系统固有的随机性（任意不确定性）和来自代理有限知识的随机性（认知不确定性）是很重要的。在本文中，我们认为主观逻辑的形式主义，一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见，我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题，我们将它们与文献中的经典算法进行比较，并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明，主观逻辑量，使有用的评估的不确定性，可以利用更精细的代理。
2020-08-17 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Risk-Aversion in Multi-armed Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
随机多臂强盗解决了探索-开发的困境，并最终最大化预期回报。然而，在许多实际问题中，最大化期望回报并不是最理想的目标。在本文中，我们介绍了一种新的设置的基础上的风险规避的原则，其目标是竞争的手臂与最佳的风险回报权衡。这种设置被证明本质上比标准的多臂强盗设置更困难，部分原因是探索风险，这引入了与算法的可变性相关的遗憾。使用方差作为衡量风险，我们介绍了两种新的算法，研究其理论保证，并报告初步的实证结果。
2013-01-09 cs.LG
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest（波尔多西南法国国立信息学与自动化研究院）；ENSTA ParisTech（巴黎高等先进技术学院）；Bordeaux University（波尔多大学）
我们考虑的情况下，代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互，智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法，将这种情况视为多武装土匪问题，其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂，并建立该方法是既能够区分不同质量的策略，即使当差异是微不足道的，并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis（加州大学戴维斯分校）
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Trading off rewards and errors in multi-armed bandits
Inria SequeL；CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
2026-10-06 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Risk averse non-stationary multi-armed bandits
Concordia University（康考迪亚大学）
研究了损失非平稳时的风险规避多臂强盗问题。条件风险价值（CVaR）被用作目标函数。两种估计方法提出了这个目标函数的存在下，非平稳损失，一个依赖于加权经验分布的损失和另一个上的双重表示的CVaR。这样的估计可以嵌入到经典的手臂选择方法，如ε贪婪政策。仿真实验评估的两种新的估计方法的基础上的手臂选择算法的性能，这样的政策被证明优于天真的基准不考虑非平稳性。
2021-09-28 cs.LG
Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions
Microsoft Research（微软研究院）；UBC（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）
我们考虑合作的多人版本的随机多臂强盗问题。我们研究的制度，球员不能沟通，但有机会分享随机性。在前两位作者之前的工作中，为两个参与者和三个手臂构建了一个策略，遗憾的是$\tilde{O}(\sqrt{T})$，并且参与者之间没有任何冲突（概率非常高）。在本文中，我们表明，这些属性（接近最佳的遗憾，没有碰撞）是可以实现的任何数量的球员和武器。在高层次上，以前的策略严重依赖于$2$维几何直觉，难以在更高的维度上推广，而在这里，我们采取更组合的路线来构建新的策略。
2020-11-08 cs.LG cs.MA stat.ML
Non-Stochastic Multi-Player Multi-Armed Bandits: Optimal Rate With Collision Information, Sublinear Without
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们考虑非随机版本的（合作）多人多臂强盗问题。该模型假设玩家之间没有任何交流，而且当两个（或更多）玩家选择相同的动作时，这会导致最大的损失。我们证明了这个问题的第一个$\sqrt{T}$型遗憾保证，在碰撞的反馈模型，碰撞的球员宣布。这样一个界限是不知道的，即使是更简单的随机版本。我们还证明了第一次次线性保证的反馈模型中的碰撞信息是不可用的，即$T^{1-\frac{1}{2m}}$其中$m$是球员的数量。
2019-05-01 cs.LG cs.MA stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
Indexability of Finite State Restless Multi-Armed Bandit and Rollout Policy
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）
该研究针对有限状态躁动多臂老虎机的无限时域折扣奖励最大化问题，分析单臂模型的可索引性，提出值迭代验证方法，还研究了在线rollout策略，实验表明二者性能均优于短视策略。
2023-04-30 cs.LG cs.SY eess.SY
