Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
A Note on Information-Directed Sampling and Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了三种贝叶斯式多臂强盗算法：信息定向抽样、汤普森抽样和广义汤普森抽样。目的是对这三种算法及其遗憾界给出一个直观的解释，并提供一些在原论文中省略的推导。
2015-03-24 cs.AI cs.LG
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
Robust Thompson Sampling Algorithms Against Reward Poisoning Attacks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
针对奖励投毒下 Thompson sampling 无法获得真实后验的问题，本文用抗操纵伪后验构建随机与上下文线性 bandit 鲁棒算法，并证明其在任意攻击下具有近最优遗憾。
2024-10-25 cs.LG
Thompson Sampling for Budgeted Multi-armed Bandits
University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
Thompson抽样算法是最早提出的多臂强盗（MAB）随机算法之一。在本文中，我们推广的汤普森抽样到martedMAB，其中有随机成本的拉臂和总成本的预算约束。我们从伯努利强盗的例子开始，其中一只手臂的随机奖励（成本）是从伯努利分布中独立采样的。在这种情况下，为了实现汤普森采样算法，在每一轮，我们从每个手臂的奖励和成本的后验分布中采样两个数字，获得它们的比率，选择具有最大比率的手臂，然后更新后验分布。我们证明了该算法的分布依赖遗憾界是$O(\ln B)$，其中$B$表示预算。通过引入Bernoulli试验，将该算法推广到报酬（成本）服从一般分布的情形，并证明了该算法的后悔界几乎保持不变.仿真结果验证了该算法的有效性。
2015-05-01 cs.LG
Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors
Tsinghua University（清华大学）
Thompson抽样对许多多臂强盗问题有令人印象深刻的经验表现。但目前的汤普森采样算法只适用于共轭先验的情况下，因为这些算法需要推断后验，这往往是计算上棘手的先验不共轭。在本文中，我们提出了一种新的算法，汤普森采样，只需要从一个听话的分布，所以我们的算法是有效的，即使先验是非共轭的。为此，我们通过Gumbel-Max技巧将Thompson采样重新定义为优化问题。之后，我们构造一组随机变量，我们的目标是确定具有最高均值的随机变量。最后，我们解决了它的最佳手臂识别技术。
2017-08-16 cs.LG stat.ML
A Tutorial on Thompson Sampling
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）；Adobe Research（奥多比研究院）
汤普森抽样是一种在线决策问题的算法，其中采取的行动必须在利用已知的最大化即时性能和投资积累新的信息，可能会提高未来的性能之间取得平衡的方式顺序。该算法以计算效率高的方式解决了广泛的问题，因此得到了广泛的应用。本教程涵盖了算法及其应用，通过一系列示例说明了概念，包括伯努利强盗问题，最短路径问题，产品推荐，分类，神经网络主动学习和马尔可夫决策过程中的强化学习。这些问题中的大多数涉及复杂的信息结构，其中采取行动所揭示的信息告知了对其他行动的信念。我们还将讨论何时以及为什么汤普森采样是有效的或无效的，以及与替代算法的关系。
2020-07-14 cs.LG
Batched Thompson Sampling
Stanford University（斯坦福大学）
我们引入了一种新的随时批量汤普森抽样政策的多武装土匪代理观察她的行动的回报，并调整她的政策，只有在年底的一小部分批次。我们表明，该政策同时实现了一个问题相关的遗憾顺序$O(\log(T))$和一个极大极小遗憾顺序$O(\sqrt{T\log(T)})$，而批次的数量可以有界的$O(\log(T))$独立的问题实例在一个时间范围$T$。我们还表明，在预期中，我们的政策所使用的批次的数量可以由一个实例依赖的顺序$O(\log\log(T))$的界限。这些结果表明，汤普森采样保持相同的性能，在这种批量设置的情况下，当瞬时反馈后，每个动作，同时需要最小的反馈。这些结果还表明，汤普森采样执行竞争力最近提出的算法定制的批量设置。这些算法优化了给定时间范围$T$的批处理结构，并在实验开始时优先考虑探索，以消除次优操作。我们表明，汤普森采样与自适应的自适应策略相结合，可以实现类似的性能，而不知道的时间范围$T$的问题，而不必仔细优化批处理结构，以实现一个目标的遗憾界（即问题相关与极小极大遗憾）为一个给定的$T$。
2021-10-01 cs.LG
Thompson Sampling for Online Learning with Linear Experts
Technion（以色列理工学院）
在这篇文章中，我们提出了一个版本的汤普森采样算法的问题，在线线性推广与充分的信息（即，Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然，我们表明，它基本上减少到Kalai和Vempala的跟随扰动领导者的策略，用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习，Thompson采样（具有时变似然）的sqrt（T）遗憾界限。
2013-11-03 cs.LG stat.ML
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Distributed Thompson Sampling
我们研究了一个具有M个智能体和K个手臂的多智能体多武器协作强盗。代理人的目标是最小化累积的遗憾。在分布式环境下，我们采用了传统的Thompson采样算法。然而，与代理的沟通能力，我们注意到，通信可能会进一步降低分布式汤普森抽样方法的遗憾的上限。为了进一步提高分布式Thompson采样算法的性能，提出了一种基于消除的分布式Thompson采样算法，该算法允许多个智能体协同学习。在Bernoulli报酬下分析了该算法，并导出了一个与问题相关的累积后悔上界。
2021-09-09 cs.AI cs.LG
Stochastically Constrained Best Arm Identification with Thompson Sampling
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The University of Hong Kong（香港大学）
本文针对多性能度量下的随机约束最佳臂识别问题，首次提出基于 Thompson sampling 的采样算法，并证明其后验收敛速率的渐近最优性，数值实验验证了性能优势。
2025-01-07 cs.LG
Asymptotic Convergence of Thompson Sampling
Stanford University（斯坦福大学）
汤普森抽样已被证明是一个有效的政策，在各种在线学习任务。许多工作已经分析了汤普森采样的有限时间性能，并证明了它在很宽的概率设置下实现了次线性遗憾。然而，它的渐近行为仍然大多未被探索。在本文中，我们证明了一个渐近收敛的结果，汤普森抽样的假设下，一个次线性贝叶斯后悔，并表明，汤普森抽样代理的行动提供了一个强一致的估计的最佳行动。我们的结果依赖于鞅结构固有的汤普森采样。
2020-11-08 cs.LG math.ST stat.TH
Connecting Thompson Sampling and UCB: Towards More Efficient Trade-offs Between Privacy and Regret
University of Alberta（阿尔伯塔大学）
本文提出DP-TS-UCB算法，通过连接汤普森采样与UCB的探索机制，在差分隐私老虎机中实现隐私与遗憾的可调权衡，并给出GDP与遗憾界理论保证。
2025-06-05 cs.LG
Thompson sampling with the online bootstrap
Facebook, Inc.（脸书公司）；Radboud University（拉德堡德大学）
汤普森采样提供了一个解决方案，强盗问题，其中新的观察分配到武器的后验概率，一个手臂是最佳的。虽然有时容易实现和渐近最优，汤普森采样可以在大规模的强盗问题的计算要求，其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样（BTS），一个探试法解决强盗问题，修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS，并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后，我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性，我们通过模拟表明，BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改，特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Periodic Bootstrap Thompson Sampling For Periodically Non-Stationary Bandit Problems
针对周期性非平稳多臂老虎机问题，提出周期性自展汤普森采样（PBTS），通过同步信念重置、嵌入自展探索阶段克服传统TS缺陷。实验表明PBTS能显著降低累积遗憾，还阐述了其实际部署潜力与局限及未来研究方向。
2026-07-21 cs.LG
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Dynamic Prior Thompson Sampling for Cold-Start Exploration in Recommender Systems
Roblox
动态先验汤普森采样通过控制新项目与现有项目的竞争概率，提升推荐系统冷启动探索的精度和效率。
2026-02-01 cs.LG
Link Adaptation Using Joint-Thompson Sampling
IIT Hyderabad（印度海得拉尔理工学院）
研究如何通过链路自适应算法选择MCS类型，提出联合汤普森采样算法，利用MCS成功概率有序的特点，采用多元有序贝塔分布作为先验，解决现有算法在特定场景的不足，实现各场景下有竞争力的吞吐量和稳健性能。
2026-07-14 cs.LG
EVaDE : Event-Based Variational Thompson Sampling for Model-Based Reinforcement Learning
National University of Singapore（新加坡国立大学）
针对高维 MBRL 后验采样难题，本文提出 EVaDE，利用基于对象领域知识和 Gaussian dropout 事件卷积层实现变分 Thompson 采样，并在 100K Atari 上验证 EVaDE-SimPLe 的效果。
2025-01-16 cs.LG
Optimal Thompson Sampling strategies for support-aware CVaR bandits
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；CIRAD（法国农业国际合作研究发展中心）；Alliance of CIAT and Bioversity International（国际热带农业中心与国际生物多样性中心联盟）
在本文中，我们研究了一个多臂强盗问题，其中每个臂的质量是衡量的条件风险值（CVaR）在一定水平的回报分布的α。虽然现有的工作在这种情况下主要集中在上置信界算法，我们引入了一个新的汤普森抽样方法CVaR土匪有限的奖励，是足够灵活，以解决各种问题的基础上的物理资源。在Riou & Honda（2020）最近的工作基础上，我们引入了连续有界奖励的B-CVTS和多项分布的M-CVTS。在理论方面，我们提供了一个非平凡的扩展，他们的分析，使理论上约束他们的CVaR后悔最小化性能。引人注目的是，我们的研究结果表明，这些策略是第一个可证明达到渐近最优的CVaR土匪，匹配相应的渐近下限为这个设置。此外，我们实证说明了汤普森采样方法的好处，无论是在一个现实的环境中模拟农业中的用例和各种合成的例子。
2022-03-21 cs.LG
Odds-Ratio Thompson Sampling to Control for Time-Varying Effect
Clova AI, NAVER Corp.（NAVER公司Clova人工智能研究院）
多臂强盗方法已被用于动态实验，特别是在在线服务。在这些方法中，汤姆逊抽样法由于简单而性能良好而被广泛使用。许多汤普森抽样方法的二进制奖励使用逻辑模型，是写在一个特定的参数。在这项研究中，我们用比值比参数重新参数化逻辑斯蒂模型。这表明汤普森采样可以与参数子集一起使用。基于这一发现，我们提出了一种新的方法，“奇数比汤普森采样”，这是预期的工作鲁棒性随时间变化的影响。使用所提出的方法在连续的实验中进行了描述，讨论了该方法的一个理想的属性。仿真结果表明，该方法对时间背景效应具有较强的鲁棒性，而在没有时间背景效应的情况下，其性能损失很小。最后，使用实际服务的数据集，我们表明，新的方法将在实际环境中获得更大的回报。
2020-03-04 cs.LG stat.ML
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看，\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数，而不是最佳的行动或最佳的政策，在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明，用先验分布的熵来约束遗憾，并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是，物流强盗$d$维参数，$K$行动，Lipschitz logits，我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限，不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
Bootstrapped Thompson Sampling and Deep Exploration
本技术说明提出了一种新的方法来进行汤普森抽样所实现的探索，但没有明确地保持或从后验分布采样。该方法是基于自举技术，使用观察到的和人工生成的数据相结合。后者用于诱导一个先验分布，正如我们将证明的那样，这对有效的勘探至关重要。我们解释了该方法如何应用于多臂强盗和强化学习问题，以及它如何与汤普森采样相关。该方法特别适合于探索与深度学习相结合的环境，因为在这些环境中，从后验分布中维护或生成样本在计算上变得不可行。
2015-07-01 cs.LG stat.ML
Thompson Sampling for (Combinatorial) Pure Exploration
Tsinghua University（清华大学）
现有的组合纯勘探方法主要集中在UCB方法。为了使算法有效，他们通常使用臂集合$S$内的置信上限之和来表示$S$的置信上限，这可能比$S$的严格置信上限大得多，并且导致比必要的复杂度高得多，因为$S$中不同臂的经验均值是独立的。为了应对这一挑战，我们探索了汤普森采样（TS）的想法，使用独立的随机样本，而不是置信上限，并设计了第一个基于TS的算法TS-Explore（组合）纯探索。在TS-Explore中，组集$S$内的独立随机样本之和将不超过$S$的高概率严格置信上限。因此，它解决了上述挑战，并实现了一个较低的复杂度上界比现有的有效的基于UCB的算法在一般的组合纯探索。对于经典多臂强盗算法的纯探索，我们证明了TS-Explore算法达到了一个渐近最优的复杂度上界。
2022-06-18 cs.LG
Distilled Thompson Sampling: Practical and Efficient Thompson Sampling via Imitation Learning
Columbia Business School（哥伦比亚大学商学院）；Meta
提出基于模仿学习的蒸馏汤普森采样算法，将TS策略蒸馏为显式策略，实现低延迟决策并成功部署于Meta视频系统，显著提升视频质量与观看时间。
2024-07-22 cs.AI cs.LG
Analysis and Design of Thompson Sampling for Stochastic Partial Monitoring
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
我们研究有限随机部分监控，这是一个一般模型的顺序学习有限反馈。虽然汤普森抽样是一个最有前途的算法在各种在线决策问题，其性质的随机部分监测尚未从理论上研究，现有的算法依赖于一个启发式近似的后验分布。为了缓解这些问题，我们提出了一种新的基于时间序列的采样算法，它使我们能够准确地从后验分布中采样目标参数。此外，我们证明了新算法实现了对数问题依赖的期望伪遗憾$\mathrm{O}(\log T)$的线性化的局部可观测性问题的变体。这一结果是部分监控情形下Thompson抽样的第一遗憾界，也是线性强盗情形下Thompson抽样的第一对数遗憾界。
2021-06-10 cs.LG stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在强化学习的算法优化中，如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解，实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法，已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法，其中报酬服从未知的非对称$α$ -稳定分布，并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Thompson Sampling in Online RLHF with General Function Approximation
Department of Electrical and Computer Engineering, University of Florida（电气与计算机工程系，佛罗里达大学）
针对在线RLHF设置，提出受Thompson sampling启发的无模型后验采样算法，基于BE维度建立O(√T)遗憾界，并通过MLE泛化界推导出平方Bellman误差的集中型不等式。
2025-05-29 cs.LG
Thompson Sampling for the MNL-Bandit
Columbia University（哥伦比亚大学）；Columbia Business School（哥伦比亚商学院）
我们考虑参数不确定性下的顺序子集选择问题，其中在每个时间步，决策者选择一个子集的基数$K$从$N$可能的项目（武器），并观察（强盗）反馈的形式的索引的项目之一，在所述子集中，或没有。指标集中的每个项目都被赋予一定的价值（奖励），反馈由多项Logit（MNL）选择模型控制，其参数是先验未知的。决策者的目标是最大化的预期累积回报在有限的地平线$T$，或者，最小化的遗憾相对于一个预言，知道MNL参数。我们称之为MNL-强盗问题。这个问题是一个更大的家庭的勘探开发问题，涉及一个组合的目标，并出现在几个重要的应用领域的代表。我们提出了一种方法来适应汤普森采样这个问题，并表明它实现了接近最优的遗憾，以及有吸引力的数值性能。
2019-01-03 cs.LG
On Thompson Sampling with Langevin Algorithms
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
多臂强盗问题的Thompson采样方法在理论和实践中都有良好的性能。然而，它遭受了显着的限制计算，所产生的需要在每次迭代后验分布的样本。我们提出了两个马尔可夫链蒙特卡罗（MCMC）的方法，汤普森采样量身定制，以解决这个问题。我们构造快速收敛的Langevin算法来生成具有精度保证的近似样本，并利用新的后验浓度率来分析由此产生的近似Thompson采样算法的遗憾。此外，我们指定必要的超参数的MCMC过程，以保证最佳的实例相关的频率后悔，同时具有低的计算复杂性。特别是，我们的算法利用后验浓度和样本重用机制，以确保在每一轮中只需要恒定数量的迭代和恒定数量的数据。所得到的近似Thompson采样算法具有对数遗憾性，并且其计算复杂性不与算法的时间范围成比例。
2020-06-18 cs.LG stat.ML
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
Thompson Sampling via Local Uncertainty
McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
汤普森抽样是一种有效的序贯决策算法，它利用后验不确定性来解决探索-开发困境。最近，人们对将贝叶斯神经网络集成到汤普森采样中产生了极大的兴趣。这些方法大多依赖于全局变量的不确定性进行探索。在本文中，我们提出了一个新的概率建模框架汤普森采样，局部潜变量的不确定性被用来采样的平均回报。采用变分推断逼近局部变量的后验，并进一步引入半隐式结构以增强其表达能力。我们在八个上下文bandit基准数据集上的实验结果表明，由局部不确定性引导的Thompson采样在具有低计算复杂度的同时实现了最先进的性能。
2020-08-05 cs.LG stat.ME stat.ML
Thompson Sampling is Asymptotically Optimal in General Environments
Australian National University（澳大利亚国立大学）；University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
本文讨论了在可数类一般随机环境下的非参数强化学习中的一种Thompson采样方法。这些环境可以是非马尔可夫、非遍历和部分可观测的。我们表明，汤普森采样学习环境类的意义上，（1）渐近收敛到最优值的平均值和（2）给定的可恢复性假设后悔是次线性的。
2016-06-03 cs.AI cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Thompson Sampling with Approximate Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；VinAI（VinAI研究院）
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法，但需要后验推理，这往往必须在实践中近似。我们表明，即使是小的常数推理错误（$α$发散），也会导致性能不佳（线性遗憾），这是由于近似的探索不足（对于$α<1$）或过度探索（对于$α>0$）。对于$α> 0$，这是不可避免的，而对于$α\leq 0$，即使当推理误差是一个大的常数时，也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Learning Unknown Markov Decision Processes: A Thompson Sampling Approach
University of California, Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
我们考虑学习一个未知的马尔可夫决策过程（MDP）的问题，是弱通信的无限水平设置。提出了一种基于Thompson采样的动态情节强化学习算法（TSDE）。在每个事件开始时，该算法根据未知模型参数的后验分布生成一个样本。然后，它遵循采样模型的最优平稳策略，用于该事件的其余部分。每个事件的持续时间由两个停止标准动态确定。第一停止标准控制发作长度的增长率。第二个停止准则发生在访问任何状态-动作对的次数加倍时。我们建立$\tilde O(HS\sqrt{AT})$边界的预期后悔贝叶斯设置下，其中$S$和$A$是状态和动作空间的大小，$T$是时间，和$H$是跨度的界限。这个遗憾界匹配弱通信MDP的最佳可用界。数值结果表明，它比现有的算法性能更好的无限地平线MDP。
2017-09-14 cs.LG
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Stable Thompson Sampling: Valid Inference via Variance Inflation
本文提出稳定汤普森采样方法，通过方差膨胀实现有效参数推断，尽管数据非独立同分布，仍能获得渐近正态估计，同时仅小幅增加后悔值。
2026-03-15 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
A study of Thompson Sampling with Parameter h
University of Cambridge（剑桥大学）
Thompson抽样算法是求解随机多臂强盗问题的著名贝叶斯算法。在每一个时间步的算法选择每个手臂的概率成正比，它是当前最好的arm.We修改的策略，通过引入一个参数h，它改变了一个手臂的概率的重要性是当前最好的arm.We表明，汤普森采样的最优性是强大的参数值范围内的两个手臂土匪这种扰动。
2017-10-05 cs.IT cs.LG math.IT
Meta-Thompson Sampling
Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
如何有效地进行网络学习是在线学习的一个基本问题。我们提出了一个变体的汤普森采样，学习更好地探索，因为它与来自未知的先验的强盗实例相互作用。该算法元学习先验知识，因此我们称之为MetaTS。我们提出了几种有效的实现MetaTS和分析它在高斯强盗。我们的分析显示了元学习的好处，是一个更广泛的兴趣，因为我们得到了一个新的先验依赖贝叶斯后悔界汤普森采样。我们的理论得到了实证评估的补充，这表明MetaTS能够快速适应未知的先验。
2021-06-23 cs.LG stat.ML
Thompson sampling for improved exploration in GFlowNets
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；DreamFold（DreamFold公司）；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）
本文将GFlowNets训练轨迹选择视为主动学习问题，提出基于贝叶斯技术的TS-GFN算法，通过维持策略近似后验分布来采样轨迹，在两个领域实现了比以往离线策略更优的探索和更快的收敛速度。
2023-06-30 cs.LG
Thompson Sampling with Unrestricted Delays
Stanford University（斯坦福大学）
研究了带延迟反馈的随机多臂强盗问题中的Thompson抽样性质。在具有独立同分布时滞的情况下，我们建立了任意时滞分布的Thompson采样的第一遗憾界，包括期望值无界的情形。我们的界限是定性可比的最佳可用的界限通过ad-hoc算法，并只依赖于延迟通过选定的分位数的延迟分布。此外，在广泛的模拟实验中，我们发现汤普森采样优于一些替代方案，包括专门为延迟反馈设置设计的方法。
2022-05-22 cs.LG math.ST stat.ME
Generalized Thompson Sampling for Contextual Bandits
Microsoft Research（微软研究院）
Thompson Sampling是解决多武装匪徒的最古老的算法之一，最近已被证明具有最先进的性能。经验的成功导致了极大的兴趣，在理论上理解这一启发式。在本文中，我们处理这个问题的方式与现有的努力非常不同。特别是，出于汤普森采样和指数更新之间的连接，我们提出了一个新的家庭的算法称为广义汤普森采样的专家学习框架，其中包括汤普森采样作为一个特殊情况。与大多数专家学习算法类似，广义汤普森采样使用损失函数来调整专家的权重。一般的遗憾界，这也是实例化的两个重要的损失函数：平方损失和对数损失。在现有的界限相比，我们的研究结果适用于相当普遍的背景土匪。更重要的是，他们量化了“先验”分布对后悔界限的影响。
2013-10-27 cs.AI cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Thompson Sampling under Bernoulli Rewards with Local Differential Privacy
University of Arizona（亚利桑那大学）
本文研究了在本地差分隐私保证下的多臂老虎机遗憾最小化问题，在伯努利场景下考虑线性、二次和指数三种隐私机制，推导了Thompson Sampling算法的随机遗憾界，并通过模拟验证了不同机制在不同隐私预算下的收敛性。
2023-07-03 cs.CR cs.LG
Double-Linear Thompson Sampling for Context-Attentive Bandits
IBM（国际商业机器公司）；Orange（奥兰治公司）；IBM Research AI（IBM研究院人工智能部门）；Mila（米拉魁北克人工智能研究所）
在本文中，我们分析和扩展一个在线学习框架称为上下文注意的强盗，各种实际应用的动机，从医疗诊断对话系统，由于观察成本只有一个小的子集的潜在大量的上下文变量可以观察到在每次迭代，但是，代理有自由选择哪些变量进行观察。我们推导出一种新的算法，称为上下文注意汤普森采样（CATS），它建立在线性汤普森采样方法，使其适应上下文注意强盗设置。我们提供了一个理论上的遗憾分析和广泛的实证评估，证明了所提出的方法在各种现实生活中的数据集上优于几种基线方法
2020-10-15 cs.AI cs.LG
