A Survey on Contextual Multi-armed Bandits
Li Zhou
在这个调查中，我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
In this survey we cover a few stochastic and adversarial contextual bandit algorithms. We analyze each algorithm's assumption and regret bound.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
Query-Reward Tradeoffs in Multi-Armed Bandits
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
Lower Bounds for Multi-armed Bandit with Non-equivalent Multiple Plays
我们研究了随机多臂强盗问题与非等价多个播放，在每一步，代理选择不仅是一组武器，但他们的顺序，这影响奖励分配。在几个问题的配方与不同的假设，我们提供了标准的渐近$O(\log{t})$，但新的系数，并提供最佳的算法，遗憾的下限，从而证明这些界限不能得到改善。
Non-trivial two-armed partial-monitoring games are bandits
我们认为在线学习在部分监控游戏对一个健忘的对手。我们表明，当学习者的行动数量是两个和游戏是非平凡的，那么它是一个强盗般的游戏，从而极大极小遗憾是$Θ(\sqrt{T})$。
Multi-armed Bandit Problem with Known Trend
我们考虑多臂强盗模型的一个变体，我们称之为具有已知趋势的多臂强盗问题，其中赌徒知道每个臂的奖励函数的形状，但不知道其分布。这个新问题的动机是不同的在线问题，如主动学习，音乐和界面推荐应用程序，其中当手臂被模型采样时，收到的奖励根据已知的趋势变化。通过调整标准的多臂强盗算法UCB 1，以利用这一设置，我们提出了新的算法命名为A-UCB，假设一个随机模型。我们提供的遗憾的上限相比，有利的UCB 1。我们还证实，实验与不同的模拟
Batched Thompson Sampling for Multi-Armed Bandits
我们研究汤普森抽样算法的随机多武装土匪在批量设置，在其中，我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化（或批次）。我们提出了两个算法，并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面，并获得几乎紧的遗憾批次权衡双臂的情况下。
Bounded Regret for Finite-Armed Structured Bandits
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
Risk-Averse Multi-Armed Bandit Problems under Mean-Variance Measure
主要研究了在长度为$T$的水平上期望总报酬测度下的多臂强盗问题。在本文中，我们解决的问题，多臂土匪问题的风险，并开发下的均值方差，在经济学和金融数学中常用的风险措施的措施平行的结果。我们证明了模型特定的后悔和模型独立的后悔的平均方差的奖励过程是下界$Ω(\log T)$和$Ω(T^{2/3})$，分别。然后，我们表明，变化的UCB政策和DSEE政策的经典风险中性MAB实现这些下限。
Relative Upper Confidence Bound for the K-Armed Dueling Bandit Problem
本文提出了一种新的方法来解决K-臂决斗强盗问题，这是常规K-臂强盗问题的一种变体，只提供关于臂对的相对反馈。我们的方法扩展了上置信界算法的相对设置，通过使用成对概率的估计来选择一个有前途的手臂，并应用上置信界的赢家作为基准。我们证明了一个有限时间后悔界的顺序为O（log t）。此外，我们的实证结果使用真实数据从信息检索应用程序表明，它大大优于最先进的。
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
Risk-Aversion in Multi-armed Bandits
随机多臂强盗解决了探索-开发的困境，并最终最大化预期回报。然而，在许多实际问题中，最大化期望回报并不是最理想的目标。在本文中，我们介绍了一种新的设置的基础上的风险规避的原则，其目标是竞争的手臂与最佳的风险回报权衡。这种设置被证明本质上比标准的多臂强盗设置更困难，部分原因是探索风险，这引入了与算法的可变性相关的遗憾。使用方差作为衡量风险，我们介绍了两种新的算法，研究其理论保证，并报告初步的实证结果。
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
Risk averse non-stationary multi-armed bandits
研究了损失非平稳时的风险规避多臂强盗问题。条件风险价值（CVaR）被用作目标函数。两种估计方法提出了这个目标函数的存在下，非平稳损失，一个依赖于加权经验分布的损失和另一个上的双重表示的CVaR。这样的估计可以嵌入到经典的手臂选择方法，如ε贪婪政策。仿真实验评估的两种新的估计方法的基础上的手臂选择算法的性能，这样的政策被证明优于天真的基准不考虑非平稳性。
Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits
受能源管理应用的启发，本文提出了多臂风险感知Bandit（MARAB）算法。为了限制风险武器的开发，MARAB将其条件风险值作为武器质量。当用户提供的风险水平为0时，手臂质量趋向于手臂分布密度的本质下确界，并且MARAB趋向于MIN多手臂强盗算法，针对具有最大最小值的手臂。作为第一个贡献，本文提出了一个理论分析的MIN算法在温和的假设下，建立其鲁棒性相比UCB。分析支持广泛的实验验证MIN和MARAB相比，UCB和国家的最先进的风险意识MAB算法对人工和现实世界的问题。
Local Clustering in Contextual Multi-Armed Bandits
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
针对动作集随臂数多项式增长的R-CPE-MAB问题，提出CombGapE快速算法，实现匹配下界的样本复杂度，并在合成与真实数据集上显著优于现有方法。
Stochastic Multi-Armed Bandits with Unrestricted Delay Distributions
我们研究了随机多臂强盗（MAB）问题的随机延迟的反馈接收的算法。我们考虑两种设置：与奖励相关的延迟设置，其中实现的延迟可能取决于随机奖励，以及与奖励无关的延迟设置。我们的主要贡献是算法，实现接近最佳的遗憾，在每个设置，额外的添加剂依赖于分位数的延迟分布。我们的结果不对延迟分布做任何假设：特别是，我们不假设它们来自任何参数分布族，并且允许无限的支持和期望;我们还允许无限延迟，其中算法可能偶尔不会观察到任何反馈。
MARBLE: Multi-Armed Restless Bandits in Latent Markovian Environment
MARBLE引入潜在马尔可夫状态以应对非平稳环境中的多臂 restless 博弈，提出马尔可夫平均指数性准则，并证明在该准则下同步Q学习与Whittle指数几乎必然收敛到最优Q函数。
Towards Noise-Resilient Quantum Multi-Armed and Stochastic Linear Bandits
本文提出噪声鲁棒的量子多臂和随机线性滑动窗口算法，通过改进量子奖励 oracle 的估计精度，在噪声环境下提升性能并保持对经典方法的优势。
Distributed Exploration in Multi-Armed Bandits
我们研究探索在多臂土匪的设置中，$k$球员合作，以确定一个$ε$ -最佳arm. Our动机来自于最近就业的土匪算法在计算密集型，大规模的应用。我们的研究结果表明，每个球员所需的手臂拉的数量和他们之间的通信量之间的一个不平凡的权衡。特别是，我们的主要结果表明，通过允许$k$玩家只交流一次，他们能够学习$\sqrt{k}$比单个玩家快$\sqrt{k}$倍。也就是说，将学习分发给$k$玩家会产生$\sqrt{k}$并行加速因子。我们补充这一结果的下限表明，这是一般最好的可能。在另一个极端，我们提出了一种算法，实现了理想的因素$k$的学习性能的加速，与通信只有对数$1/ε$。
Decoupling Exploration and Exploitation in Multi-Armed Bandits
我们考虑一个多臂强盗问题，决策者可以探索和利用不同的武器在每一轮。被利用的手臂增加了决策者的累积奖励（不一定观察奖励），而被探索的手臂揭示了它的价值。我们设计了这种设置的算法，并表明，依赖于武器的数量，k，可以比标准的平方根k依赖，这取决于武器的奖励序列的行为。对于分段平稳随机土匪的重要情况下，我们表现出显着的改善现有的算法。我们的算法是基于一个非均匀的采样政策，我们表明这是必不可少的任何算法在对抗设置的成功。最后，我们展示了一些仿真结果上的超宽带信道选择启发设置表明我们的算法的适用性。
QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits
针对协作式随机$k$-臂老虎机问题，提出可将任意单智能体算法扩展至多智能体场景的黑盒归约方法QuACK，证明其遗憾保证在次高斯环境下紧且通用，实验性能优于或持平专用多智能体算法。
Meet Me at the Arm: The Cooperative Multi-Armed Bandits Problem with Shareable Arms
本文研究了在无感知设置下多玩家多臂老虎机问题，提出A-CAPELLA算法，通过协议驱动协调实现对容量的感知，达到对数遗憾水平。
On Kernelized Multi-armed Bandits
考虑具有连续臂的随机强盗问题，假设臂上的期望报酬函数是固定的但未知。本文提出了两种基于高斯过程的连续强盗优化算法--改进的GP-UCB算法（IGP-UCB）和GP-Thomson抽样算法（GP-TS），并给出了相应的后悔界。具体而言，当预期的奖励函数属于再生核希尔伯特空间（RKHS）时，边界保持不变，该再生核希尔伯特空间自然对应于算法用作输入的高斯过程核。在此基础上，我们得到了一个新的任意维数（可能是无穷维）的向量值鞅的自归一化浓度不等式。最后，实验评估和比较现有的算法在合成和现实世界的环境中进行，突出了所提出的策略在许多情况下的有利收益。
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中，奖励取决于手臂和环境。在基于流的主动学习设置中，获得奖励的基础事实是昂贵的，并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此，该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中，我们考虑了一个基于流的主动学习设置，其中地面实况的查询请求被发送到注释器，连同地面实况的一些先验信息。根据先验信息的准确性，查询成本会有所不同。我们的算法主要进行两个操作：细化的上下文和手臂空间和动作的选择。在我们的算法中，上下文空间和手臂空间的分区保持一定的时间槽，然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值，旨在最大化总奖励。我们分析表明，遗憾是次线性的，并在相同的顺序与传统的上下文多臂强盗算法，其中没有查询成本
Robust Decentralized Multi-armed Bandits: From Corruption-Resilience to Byzantine-Resilience
针对去中心化协作多智能体多臂老虎机易受对抗攻击的问题，提出鲁棒算法DeMABAR，可同时应对对抗损坏与拜占庭攻击场景，经理论分析和数值实验验证其鲁棒性与有效性。
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
Practical Calculation of Gittins Indices for Multi-armed Bandits
Gittins指数为经典的多臂强盗问题提供了一个最优解。使用它们的一个障碍是人们普遍认为它们的计算非常困难。本文给出了一种计算多臂强盗Gittins指数的通用方法，并详细研究了Bernoulli和Gaussian报酬的情况。伴随着易于使用的开源软件，这项工作消除了计算在这些常见的设置中使用Gittins索引的障碍。
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
Optimal Activation of Halting Multi-Armed Bandit Models
本文提出 Halting Bandit 动态分配模型，并借此为经典 Gittins 指数分解及一般折旧与承诺情形下的近期多臂老虎机结果提供新证明。
BanditMF: Multi-Armed Bandit Based Matrix Factorization Recommender System
多武装匪徒（MAB）提供了一个原则性的在线学习方法，以实现勘探和开发之间的平衡。多臂强盗算法由于其优越的性能和低反馈学习而无需学习在多种情况下采取行动，在推荐系统等应用中受到广泛关注。同样，在推荐系统中，协同过滤（CF）可以说是推荐系统中最早和最有影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协同过滤，经典的方法是离线训练模型，然后进行在线测试，但这种方法已经不能处理用户偏好的动态变化，即所谓的冷启动。那么在缺乏有效信息的情况下，如何有效地向用户推荐商品呢？为了解决上述问题，一个多臂强盗的协同过滤推荐系统已被提出，命名为BanditMF。BanditMF主要解决多臂Bandits算法和协同过滤中的两个难题：（1）如何解决有效信息稀缺条件下协同过滤的冷启动问题;（2）如何解决强社会关系域中Bandits算法由于独立估计与每个用户相关的未知参数而忽略用户之间的相关性而导致的次优问题。
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
Multiple Identifications in Multi-Armed Bandits
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法，该算法基于对看似不好的武器的连续拒绝，以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是，我们表明，这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
A Parallel algorithm for $\mathcal{X}$-Armed bandits
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
本文致力于研究最大K臂强盗问题，该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko（2014）中的ExtremeHunter算法进行了显著的改进，然后提出了一种替代方法，表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析，这两种方法进行了比较，通过数值实验。
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
多臂强盗问题是一个经典的决策问题，其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中，就像在其他机器学习应用中一样，区分系统固有的随机性（任意不确定性）和来自代理有限知识的随机性（认知不确定性）是很重要的。在本文中，我们认为主观逻辑的形式主义，一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见，我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题，我们将它们与文献中的经典算法进行比较，并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明，主观逻辑量，使有用的评估的不确定性，可以利用更精细的代理。
Correlated Multi-armed Bandits with a Latent Random Source
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
Lifelong Learning in Multi-Armed Bandits
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
Bayesian Optimization -- Multi-Armed Bandit Problem
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
Multi-armed Bandit Requiring Monotone Arm Sequences
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
Trading off rewards and errors in multi-armed bandits
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡，提出具有后悔保证的算法，通过实验验证上下界。
Deep Contextual Multi-armed Bandits
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
Bridging Adversarial and Nonstationary Multi-armed Bandit
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
QoS-Aware Multi-Armed Bandits
出于运行时验证的QoS要求的自适应和自组织系统，能够重新配置其结构和行为，以响应运行时的数据，我们提出了一个QoS感知的变体汤普森采样多武装土匪。它是适用于设置中的臂的QoS满意度必须确保高的信心，有效地，而不是找到最佳的手臂，同时最大限度地减少遗憾。初步的实验结果鼓励在QoS感知决策领域的进一步研究。
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits
我们提出了一个PAC贝叶斯分析终身学习。在终身学习问题中，一系列的学习任务被一次一个地观察，目标是将从以前的任务中获得的信息转移到新的学习任务中。我们考虑的情况下，每个学习任务是一个多臂强盗问题。我们得到的预期平均奖励，将获得下界，如果一个给定的多臂强盗算法运行在一个新的任务与特定的先验和一组步骤。我们提出了终身学习算法，使用我们的新的边界作为学习目标。我们提出的算法进行了评估，在几个终身多臂土匪问题，并发现执行比基线方法，不使用泛化界限。
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作，被称为多武装土匪整合现有的研究作为资源，为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪，然后探讨该模型的并发症的分类方案，对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后，在本文的最后，我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
Transfer in Sequential Multi-armed Bandits via Reward Samples
本文针对序贯多臂老虎机中奖励分布随回合变化的问题，提出一种基于UCB的样本迁移算法，利用历史回合奖励样本提升累积遗憾性能，实证显示优于标准UCB。
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
Stochastic Multi-armed Bandits with Non-stationary Rewards Generated by a Linear Dynamical System
随机多臂强盗为研究未知环境下的决策问题提供了一个框架。我们提出了一个变种的随机多臂强盗的奖励是从随机线性动力系统采样。这种随机多臂强盗变体的建议策略是学习动力系统的模型，同时根据学习的模型选择最佳动作。受Merton提出的跨期资本资产定价模型和Fernholz提出的随机投资组合理论等数学金融领域的启发，这一策略被应用于量化金融作为高频交易策略，其目标是在一段时间内实现收益最大化。
Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning
针对AutoML领域的CASH资源分配难题，本文提出适配轻尾有界奖励分布的最大k臂老虎机方法MaxUCB，在四个标准AutoML基准上验证其性能优于现有方法，并开源了代码与数据。
Differential Privacy for Multi-armed Bandits: What Is It and What Is Its Cost?
基于差分隐私（DP）框架，引入并统一了多臂强盗算法的隐私定义。我们用一个统一的图形模型来表示框架，并使用它来连接隐私定义。我们推导出并对比了满足这些定义的强盗算法的遗憾下界。我们利用统一的证明技术来实现所有的下限。我们发现，对于所有这些，学习者的遗憾增加了一个乘法因子依赖于隐私级别$ε$。我们观察到，当我们不需要本地差分隐私的奖励的依赖性较弱。
Analysis of Thompson Sampling for the multi-armed bandit problem
多臂强盗问题是研究序贯决策问题中探索/开发权衡的一个流行模型。现在有许多算法可用于这个研究得很好的问题。最早的算法之一，由W. R.汤普森，可以追溯到1933年。该算法被称为Thompson Sampling，是一种自然贝叶斯算法。其基本思想是选择一个手臂发挥根据其概率是最好的手臂。汤普森采样算法已被实验证明是接近最佳。此外，它是有效的实施，并表现出几个理想的属性，如延迟反馈的小遗憾。然而，这种算法的理论理解是相当有限的。在本文中，我们首次证明了汤普森抽样算法实现对数期望后悔的多臂强盗问题。更准确地说，对于双臂强盗问题，期望的时间后悔$T$是$O(\frac{\ln T}Δ + \frac{1}{Δ^3})$。而且，对于$N$ -武装强盗问题，$T$的期望后悔时间是$O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$ .我们的边界是最优的，但对$Δ_i$的依赖和大哦中的常数因子。
Batched Multi-armed Bandits Problem
在本文中，我们研究了多臂强盗问题中的批量设置，其中所采用的政策必须分为少量的批次数据。虽然在\cite{perchet2016batched}中已经完全刻画了双臂随机强盗的极小极大后悔，但对于多臂情况，武器数量对后悔的影响仍然是开放的。此外，自适应地选择批量大小是否有助于减少遗憾的问题也仍然有待探讨。在本文中，我们提出了BaSE（批量连续消除）的政策，以实现率最优的遗憾（对数因子内）批量多武装土匪，匹配的下限，即使批量大小是以自适应的方式确定。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。