On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials
Spotify（声田）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Sanofi R&D（赛诺菲研发中心）
我们研究了在早期临床试验中通过多臂强盗透镜寻找最佳剂量的问题。我们提倡使用汤普森抽样原则，这是一种灵活的算法，可以适应不同类型的单调性假设的毒性和有效性的剂量。对于最简单的版本的汤普森采样，基于一个均匀的先验分布为每个剂量，我们提供了有限的时间上限的次优剂量选择，这是前所未有的剂量发现算法的数量。通过一个大型的模拟研究，我们表明，汤普森采样的基础上更复杂的先验分布的变体优于国家的最先进的剂量识别算法在不同类型的剂量发现研究，发生在I期或I/II期试验。
2020-04-07 cs.LG stat.ML
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
Analysis of Thompson Sampling for the multi-armed bandit problem
Microsoft Research India（微软印度研究院）
多臂强盗问题是研究序贯决策问题中探索/开发权衡的一个流行模型。现在有许多算法可用于这个研究得很好的问题。最早的算法之一，由W. R.汤普森，可以追溯到1933年。该算法被称为Thompson Sampling，是一种自然贝叶斯算法。其基本思想是选择一个手臂发挥根据其概率是最好的手臂。汤普森采样算法已被实验证明是接近最佳。此外，它是有效的实施，并表现出几个理想的属性，如延迟反馈的小遗憾。然而，这种算法的理论理解是相当有限的。在本文中，我们首次证明了汤普森抽样算法实现对数期望后悔的多臂强盗问题。更准确地说，对于双臂强盗问题，期望的时间后悔$T$是$O(\frac{\ln T}Δ + \frac{1}{Δ^3})$。而且，对于$N$ -武装强盗问题，$T$的期望后悔时间是$O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$ .我们的边界是最优的，但对$Δ_i$的依赖和大哦中的常数因子。
2012-04-09 cs.DS cs.LG
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Thompson Sampling for Budgeted Multi-armed Bandits
University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
Thompson抽样算法是最早提出的多臂强盗（MAB）随机算法之一。在本文中，我们推广的汤普森抽样到martedMAB，其中有随机成本的拉臂和总成本的预算约束。我们从伯努利强盗的例子开始，其中一只手臂的随机奖励（成本）是从伯努利分布中独立采样的。在这种情况下，为了实现汤普森采样算法，在每一轮，我们从每个手臂的奖励和成本的后验分布中采样两个数字，获得它们的比率，选择具有最大比率的手臂，然后更新后验分布。我们证明了该算法的分布依赖遗憾界是$O(\ln B)$，其中$B$表示预算。通过引入Bernoulli试验，将该算法推广到报酬（成本）服从一般分布的情形，并证明了该算法的后悔界几乎保持不变.仿真结果验证了该算法的有效性。
2015-05-01 cs.LG
Thompson Sampling for Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对实值组合纯探索问题，提出GenTS-Explore算法，首个能处理指数级动作集的算法，并证明其达到最优样本复杂度。
2023-11-15 cs.LG stat.ML
Adaptive Portfolio by Solving Multi-armed Bandit via Thompson Sampling
Zhejiang University（浙江大学）；Macqaurie University（麦考瑞大学）
作为现代投资组合理论的基石，马科维茨的均值-方差最优化模型被认为是投资组合管理的主要模型。但由于其参数难以估计，不能适用于所有时期。在某些情况下，简单的策略，如等权重和价值加权投资组合甚至可以获得更好的表现。在这种情况下，我们可以使用多个经典策略作为多臂强盗中的多个战略武器，从而自然地与投资组合选择问题建立联系。这也有助于通过在探索和利用之间进行权衡来最大化强盗算法中的回报。在本文中，我们提出了一个投资组合强盗策略，通过汤普森抽样，旨在使在线投资组合的选择，有效地利用多个武器之间的性能。同时，通过构建多个战略武器，可以得到适应不同投资时期的最优投资组合。此外，我们设计了一个新的奖励功能，根据用户的不同投资风险偏好，它可以适应各种投资风格。我们的实验结果表明，我们提出的投资组合策略在广泛的评估标准方面具有显著的优越性。
2019-11-14 cs.LG q-fin.PM stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
Hybrid Combinatorial Multi-armed Bandits with Probabilistically Triggered Arms
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）
本文提出混合概率触发组合多臂老虎机框架，结合离线数据与在线交互，通过混合CUCB算法提升探索效率并纠正数据偏差，实验证明其在高质量和低质量数据下的优越性能。
2025-12-26 cs.LG
Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors
Tsinghua University（清华大学）
Thompson抽样对许多多臂强盗问题有令人印象深刻的经验表现。但目前的汤普森采样算法只适用于共轭先验的情况下，因为这些算法需要推断后验，这往往是计算上棘手的先验不共轭。在本文中，我们提出了一种新的算法，汤普森采样，只需要从一个听话的分布，所以我们的算法是有效的，即使先验是非共轭的。为此，我们通过Gumbel-Max技巧将Thompson采样重新定义为优化问题。之后，我们构造一组随机变量，我们的目标是确定具有最高均值的随机变量。最后，我们解决了它的最佳手臂识别技术。
2017-08-16 cs.LG stat.ML
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Evolutionary Multi-Armed Bandits with Genetic Thompson Sampling
Columbia University（哥伦比亚大学）
在线学习和演化计算作为机器学习的两大流派，已经成为现实世界决策引擎背后的两大重要驱动力，在生物医学、经济学和工程学领域得到广泛应用。虽然有利用土匪来改善进化算法的优化过程的工作，它仍然是一个空白领域的进化方法如何可以帮助改善在线学习代理，如多臂土匪的顺序决策任务。在这项工作中，我们提出了遗传汤普森采样，一个强盗算法，保持人口的代理和更新他们的遗传原则，如精英选择，交叉和突变。在多臂土匪模拟环境和一个实际的流行病控制问题的实证结果表明，通过将遗传算法到土匪算法，我们的方法显着优于基线在非平稳设置。最后，我们介绍了EvoBandit，一个基于Web的交互式可视化，以指导读者完成整个学习过程，并在飞行中执行轻量级评估。我们希望通过这项调查让研究人员参与到这一不断发展的研究领域中。
2022-04-26 cs.AI cs.LG cs.MA
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University（哥伦比亚大学）
该研究针对多臂老虎机问题，提出贝叶斯非参数汤普森采样算法，无需指定奖励模型参数形式，实验表明其后悔性能与Oracle TS相当，且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Combinatorial Multi-Armed Bandit and Its Extension to Probabilistically Triggered Arms
Microsoft（微软）；Cornell University（康奈尔大学）；Tsinghua University（清华大学）
我们定义了一个一般框架的一大类组合多臂强盗（CMAB）问题，其中的子集的基础武器与未知的分布形式的超级武器。在每一轮中，使用超级手臂，并使用超级手臂中包含的基础手臂，并观察其结果。我们进一步考虑了扩展，其中基于已经触发的武器的结果，更多的武器可能被概率触发。超级手臂的奖励取决于所有参与手臂的结果，并且它只需要满足两个温和的假设，这允许大量的非线性奖励实例。我们假设一个离线的（α，β）-近似预言机的可用性，该预言机采用武器的结果分布的平均值，并输出一个超级武器，该超级武器以概率β生成最优预期奖励的α分数。CMAB的在线学习算法的目标是最小化（α，β）-近似后悔，其是总是玩最佳超级武器时的期望奖励的α β分数与根据算法玩超级武器的期望奖励之间的差。我们提供CUCB算法，实现O（log n）分布相关的遗憾，其中n是轮数，我们进一步提供了一个大类的奖励函数的分布无关的界限。我们的遗憾分析是紧密的，因为它匹配的UCB1算法的约束（一个常数因子）的经典MAB问题，它显着提高了遗憾界在早期的文件组合土匪与线性奖励。我们将我们的CMAB框架应用到两个新的应用程序，概率最大覆盖率和社会影响力最大化，都具有非线性奖励结构。特别是，社会影响力最大化的应用需要我们对概率触发武器的扩展。
2016-03-29 cs.LG
Bootstrapped Thompson Sampling and Deep Exploration
本技术说明提出了一种新的方法来进行汤普森抽样所实现的探索，但没有明确地保持或从后验分布采样。该方法是基于自举技术，使用观察到的和人工生成的数据相结合。后者用于诱导一个先验分布，正如我们将证明的那样，这对有效的勘探至关重要。我们解释了该方法如何应用于多臂强盗和强化学习问题，以及它如何与汤普森采样相关。该方法特别适合于探索与深度学习相结合的环境，因为在这些环境中，从后验分布中维护或生成样本在计算上变得不可行。
2015-07-01 cs.LG stat.ML
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Thompson Sampling: An Asymptotically Optimal Finite Time Analysis
Telecom Paristech（巴黎电信学院）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）
自1933年以来，解决随机多臂强盗问题的汤普森采样的最优性问题一直是公开的。在本文中，我们积极回答它的情况下，伯努利奖励提供第一个有限时间分析，匹配的渐近速率在莱和罗宾斯的下限的累积遗憾。证明是伴随着与其他最优策略的数值比较，实验一直缺乏在文献中，直到现在的伯努利的情况下。
2012-07-19 cs.LG stat.ML
Thompson Sampling with Approximate Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；VinAI（VinAI研究院）
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法，但需要后验推理，这往往必须在实践中近似。我们表明，即使是小的常数推理错误（$α$发散），也会导致性能不佳（线性遗憾），这是由于近似的探索不足（对于$α<1$）或过度探索（对于$α>0$）。对于$α> 0$，这是不可避免的，而对于$α\leq 0$，即使当推理误差是一个大的常数时，也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
MOTS: Minimax Optimal Thompson Sampling
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
汤普森抽样是许多在线决策问题中最广泛使用的算法之一，由于其实现简单和优于其他国家的最先进的方法的经验性能。尽管它的流行和经验的成功，它仍然是一个悬而未决的问题，汤普森采样是否可以匹配的极小极大下限$Ω(\sqrt{KT})$的$K$武装土匪问题，其中$T$是总的时间范围。在本文中，我们解决了这个长期开放的问题，提出了一个变种的汤普森采样称为MOTS，自适应剪辑的采样实例所选择的手臂在每个时间步。我们证明了这种简单的汤普森采样的变体实现了有限时间范围$T$的极小极大最优后悔界$O(\sqrt{KT})$，以及高斯奖励时的渐近最优后悔界$T$接近无穷大。据我们所知，MOTS是第一个汤普森采样类型的算法，实现了极大极小最优多臂强盗问题。
2020-10-01 cs.LG math.ST stat.ML
A Note on Information-Directed Sampling and Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了三种贝叶斯式多臂强盗算法：信息定向抽样、汤普森抽样和广义汤普森抽样。目的是对这三种算法及其遗憾界给出一个直观的解释，并提供一些在原论文中省略的推导。
2015-03-24 cs.AI cs.LG
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Optimism Stabilizes Thompson Sampling for Adaptive Inference
Peking University（北京大学）
本文通过引入乐观机制（如方差膨胀或均值奖励）稳定汤普森采样，使得各臂拉取次数收敛于确定性尺度，从而在K臂随机bandit中实现渐近有效的Wald推断，并解决了多最优臂的扩展问题。
2026-06-17 cs.AI cs.LG math.OC
Odds-Ratio Thompson Sampling: A Specification and Design Guide for Contrast-Based Multi-Armed Bandits
针对批量多臂老虎机，提出比值比汤普森采样（OR-TS），携带对比后验并每批重估共同水平，优于绝对率记忆，在移动水平下显著降低遗憾并更频繁选中最优臂。
2026-09-18 cs.LG
Odds-Ratio Thompson Sampling to Control for Time-Varying Effect
Clova AI, NAVER Corp.（NAVER公司Clova人工智能研究院）
多臂强盗方法已被用于动态实验，特别是在在线服务。在这些方法中，汤姆逊抽样法由于简单而性能良好而被广泛使用。许多汤普森抽样方法的二进制奖励使用逻辑模型，是写在一个特定的参数。在这项研究中，我们用比值比参数重新参数化逻辑斯蒂模型。这表明汤普森采样可以与参数子集一起使用。基于这一发现，我们提出了一种新的方法，“奇数比汤普森采样”，这是预期的工作鲁棒性随时间变化的影响。使用所提出的方法在连续的实验中进行了描述，讨论了该方法的一个理想的属性。仿真结果表明，该方法对时间背景效应具有较强的鲁棒性，而在没有时间背景效应的情况下，其性能损失很小。最后，使用实际服务的数据集，我们表明，新的方法将在实际环境中获得更大的回报。
2020-03-04 cs.LG stat.ML
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Thompson Sampling for Contextual Bandits with Linear Payoffs
Microsoft Research（微软研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。然而，关于其理论性能的许多问题仍然悬而未决。本文设计并分析了一种推广的Thompson抽样算法，用于求解具有线性支付函数的随机上下文多臂强盗问题，当上下文由自适应对手提供时.这是上下文强盗问题中最重要和最广泛研究的版本之一。我们提供了第一个理论保证汤普森采样的上下文版本。我们证明了一个高概率的遗憾界的$\tilde{O}(d^{3/2}\sqrt{T})$（或$\tilde{O}(d\sqrt{T \log(N)})$），这是最好的遗憾界的任何计算效率的算法可用于这个问题在目前的文献中，并在一个因素的$\sqrt{d}$（或$\sqrt{\log(N)}$）的信息理论下限为这个问题。
2014-02-03 cs.DS cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Neural Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
汤普森采样算法是求解上下文多臂强盗问题的最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，它适应深度神经网络的探索和开发。在我们的算法的核心是一个新的后验分布的奖励，其平均值是神经网络逼近器，其方差是建立在相应的神经网络的神经切线功能。我们证明了，提供的基本奖励函数是有界的，该算法是保证实现$\mathcal{O}(T^{1/2})$，它匹配的总轮数$T$方面的其他上下文强盗算法的遗憾的累积遗憾。与其他基准的强盗算法在各种数据集上的实验比较证实了我们的理论。
2021-12-30 cs.LG stat.ML
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
Connections Between Mirror Descent, Thompson Sampling and the Information Ratio
DeepMind（深度思维）；University of Copenhagen（哥本哈根大学）
Russo和Van Roy（2014）结合极大极小对偶的信息论分析已被证明是在完全和部分信息设置下分析在线学习算法的强大工具。在大多数应用中，它与基于镜像下降的经典分析有着诱人的相似之处。我们做了一个正式的连接，表明在大多数应用中的信息理论界可以从现有的在线凸优化技术。除此之外，对于$k$ -武装的对抗土匪，我们提供了一个有效的算法与遗憾匹配的最佳信息理论上界，并提高最知名的遗憾保证在线线性优化$\ell_p$ -球和土匪与图形反馈。
2019-05-28 cs.LG stat.ML
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
On Thompson Sampling with Langevin Algorithms
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
多臂强盗问题的Thompson采样方法在理论和实践中都有良好的性能。然而，它遭受了显着的限制计算，所产生的需要在每次迭代后验分布的样本。我们提出了两个马尔可夫链蒙特卡罗（MCMC）的方法，汤普森采样量身定制，以解决这个问题。我们构造快速收敛的Langevin算法来生成具有精度保证的近似样本，并利用新的后验浓度率来分析由此产生的近似Thompson采样算法的遗憾。此外，我们指定必要的超参数的MCMC过程，以保证最佳的实例相关的频率后悔，同时具有低的计算复杂性。特别是，我们的算法利用后验浓度和样本重用机制，以确保在每一轮中只需要恒定数量的迭代和恒定数量的数据。所得到的近似Thompson采样算法具有对数遗憾性，并且其计算复杂性不与算法的时间范围成比例。
2020-06-18 cs.LG stat.ML
Risk-Constrained Thompson Sampling for CVaR Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。风险明显复杂化的基本回报最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们考虑一个流行的风险度量在定量金融称为条件风险价值（CVaR）。我们探讨了基于汤普森采样的算法CVaR-TS在此风险度量下的性能。我们提供了全面的比较，我们的遗憾边界与国家的最先进的L/UCB为基础的算法在可比的设置，并证明其明显的改善性能。我们还包括数值模拟经验验证CVaR-TS优于其他L/UCB为基础的算法。
2021-02-04 cs.LG stat.ML
Thompson Exploration with Best Challenger Rule in Best Arm Identification
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Kyoto University（京都大学）
针对固定置信度最佳臂识别问题，提出结合Thompson sampling与best challenger rule的新策略，无需强制探索且计算高效，在多臂问题上实现近最优并有竞争力的样本复杂度。
2025-08-11 cs.LG stat.ML
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Kolmogorov-Smirnov Test-Based Actively-Adaptive Thompson Sampling for Non-Stationary Bandits
IIIT Delhi（印度德里信息技术学院）
我们考虑非平稳多臂强盗（MAB）框架，并提出了一个Kolmogorov-Smirnov（KS）测试为基础的汤普森采样（TS）算法命名为TS-KS，主动检测变化点，并重置TS参数一旦检测到的变化。特别是，对于双臂强盗的情况下，我们得出的奖励分布的样本数量的界限，以检测一旦发生的变化。因此，我们表明，该算法具有次线性遗憾。与现有的作品相反，我们的算法能够检测到的变化时，潜在的奖励分布的变化，即使平均奖励保持不变。最后，为了测试所提出的算法的有效性，我们将其用于两个案例研究：i）无线边缘计算中的任务卸载场景，以及ii）投资组合优化。我们的研究结果表明，所提出的TS-KS算法不仅优于静态TS算法，但它也优于其他的强盗算法设计的非平稳环境。此外，TS-KS的性能与Facebook-PROPHET和ARIMA等最先进的预测算法相当。
2021-10-21 cs.LG cs.MA stat.ML
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
Contextual Multi-armed Bandit Algorithm for Semiparametric Reward Model
Seoul National University（首尔国立大学）
上下文多臂强盗（MAB）算法已被证明有希望在连续的决策任务，如新闻文章推荐系统，网页广告投放算法，和移动健康的累积奖励最大化。然而，大多数提出的上下文MAB算法假设奖励和动作的上下文之间的线性关系。本文提出了一种新的上下文MAB算法的放松，半参数奖励模型，支持非平稳性。所提出的方法是较少的限制，更容易实现和速度比两个替代算法，考虑相同的模型，同时实现了严格的遗憾上限。我们证明了所提出的算法的高概率上界的遗憾所产生的线性奖励模型的汤普森抽样算法具有相同的顺序。建议和现有的算法进行评估，通过模拟，也适用于雅虎！新闻文章推荐日志数据。
2019-01-31 cs.LG stat.ML
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind Paris（巴黎DeepMind）
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中，存在一个有效的政策与最佳渐近遗憾的问题（一个因素多对数的行动规模）仍然是开放的许多家庭的分布，包括相互独立的结果，更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略（CTS）的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果，我们提出了一个严密的分析CTS使用Beta先验。然后，我们看看更一般的设置多变量亚高斯的结果，并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策（ESCB），虽然最佳的，是不是计算效率。
2021-01-03 cs.LG stat.ML
Unimodal Thompson Sampling for Graph-Structured Arms
Politecnico di Milano（米兰理工大学）
我们研究，据我们所知，第一个贝叶斯算法的单峰多臂强盗（MAB）问题的图结构。在这种设置中，每个臂对应于图的一个节点，并且每个边提供了两个节点之间在预期奖励方面的关系，该关系对于学习者来说是未知的。此外，对于图中的任何节点，都存在通向提供最大预期回报的唯一节点的路径，沿着该路径，预期回报单调增加。在此设置上的先前结果描述了频率主义MAB算法的行为。在本文中，我们设计了一个基于汤普森采样的算法，其渐近伪遗憾匹配的下限所考虑的设置。我们表明，-因为它发生在大量的情况下-贝叶斯MAB算法大大优于频率论的。特别是，我们提供了一个彻底的实验评估的性能，我们和国家的最先进的算法的图形的属性不同。
2016-11-22 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc（Oath公司）
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者，用户参与和社会份额。在雅虎首页，标题测试是使用测试推出策略进行的：我们首先在定义的测试期内将相等比例的流量分配给每个标题变体，然后将所有未来流量转移到性能最好的变体。在本文中，我们介绍了一个多臂强盗（MAB）的方法与批量汤普森采样（bTS）动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明，bTS方法具有较好的鲁棒性，能够准确快速地收敛到最优标题，在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Thompson Sampling with Virtual Helping Agents
Purdue University（普渡大学）；IIT (BHU)（印度理工学院（瓦拉纳西））；Stanford University（斯坦福大学）；Motorola Mobility（摩托罗拉移动）
我们解决了在线顺序决策的问题，即，平衡利用当前知识以最大化即时性能与探索新信息以使用多臂强盗框架获得长期利益之间的权衡。汤普森抽样是解决这种探索-开发困境的选择行动的方法之一。我们首先提出了一个通用的框架，有助于探索性地调整探索与开发权衡汤普森采样使用多个样本的后验分布。利用这个框架，我们提出了两个算法的多臂强盗问题，并提供理论界的累积遗憾。接下来，我们证明了经验改进的累积后悔性能的算法超过汤普森采样。我们还展示了该算法在真实世界数据集上的有效性。与现有的方法相反，我们的框架提供了一种机制，根据手头的任务来改变探索/开发的量。为此，我们将我们的框架扩展到两个额外的问题，即，最佳手臂识别和时间敏感学习的土匪，并比较我们的算法与现有的方法。
2022-09-16 cs.AI cs.LG
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia（亿达美）
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣，但它有一个缺点，这是其他常见的CMAB策略在考虑非精确预言时所没有的：对于某些预言，CTS具有较差的近似遗憾（与时间范围$T$线性缩放）[Wang和Chen，2018]。然后，有必要进行研究，以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始：他们给出了贪婪预言机CTS的一次近似后悔分析，获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界，其中$Δ$是某个最小奖励差距。在本文中，我们的目标是推动这项研究进一步比简单的情况下，贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS，在一个特定的条件下获得的近似甲骨文，允许减少到确切的甲骨文分析。因此，我们把这个条件称为REDUCE2EXACT，并观察到它在许多具体的例子中得到满足。此外，它可以扩展到概率触发的武器设置，从而捕获更多的问题，如在线影响最大化。
2023-02-22 cs.LG stat.ML
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
研究了一个分散协作的多智能体多臂强盗问题，其中$K$和$N$智能体通过网络连接.在我们的模型中，每个手臂的奖励分配对于所有代理都是相同的，并且奖励在代理和时间步长上独立绘制。在每一轮中，智能体选择一只手臂进行游戏，然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架，扩展单代理贝叶斯强盗算法的分散设置。具体来说，我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法，并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题，并建立了一个依赖于问题的累积后悔上界。我们发现，遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究，我们表明，我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议，并在时变网络，其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
Feedback graph regret bounds for Thompson Sampling and UCB
Microsoft Research NYC（微软研究院纽约中心）；Cornell University（康奈尔大学）
研究了Mannor和Shamir引入的基于图的反馈结构下的随机多臂强盗问题。我们分析了两个最突出的随机强盗算法，汤普森采样和置信上限（UCB），在基于图的反馈设置的性能。我们表明，这些算法实现了遗憾的保证，结合图结构和臂分布的手段之间的差距。令人惊讶的是，尽管事实上，这些算法不明确使用的图形结构来选择武器，他们观察到的额外的反馈，但不探索基于it.Towards这个结果，我们引入了“分层技术”突出的共性在两个算法。
2020-02-14 cs.DS cs.LG stat.ML
Application of Multi-Armed Bandits to Model-assisted designs for Dose-Finding Clinical Trials
我们考虑将多臂强盗应用于剂量探索临床试验的模型辅助设计。多武装土匪是非常简单和强大的方法，以确定行动，以最大限度地提高奖励在有限的试验次数。在多武装匪徒中，我们首先考虑使用汤普森采样，该采样基于来自后验分布的随机样本来确定行动。在小样本量下，如剂量探索试验中，由于后验分布的尾部较重，随机样本的变异性太大，我们还考虑了正则化Thompson抽样和贪婪算法的应用。贪婪算法基于后验均值确定剂量。此外，我们还提出了一种方法来确定剂量的基础上的后验中位数。我们评估我们提出的设计的性能，通过模拟研究的六种情况。
2022-01-14 stat.ME
A study of Thompson Sampling with Parameter h
University of Cambridge（剑桥大学）
Thompson抽样算法是求解随机多臂强盗问题的著名贝叶斯算法。在每一个时间步的算法选择每个手臂的概率成正比，它是当前最好的arm.We修改的策略，通过引入一个参数h，它改变了一个手臂的概率的重要性是当前最好的arm.We表明，汤普森采样的最优性是强大的参数值范围内的两个手臂土匪这种扰动。
2017-10-05 cs.IT cs.LG math.IT
