Challenger-Based Combinatorial Bandits for Subcarrier Selection in OFDM Systems
Department of Computer and Systems Sciences (DSV)（计算机与系统科学系）
针对多用户MIMO下行链路前m用户调度集识别的组合纯探索难题，提出带冠军与挑战者短名单的间隙索引线性老虎机框架，在高准确率下大幅降低耗时与计算量，实现AI通信系统的高效子载波选择。
2025-10-06 cs.LG
Thompson Sampling Is 2-Competitive for Mistakes
研究贝叶斯博弈模型，证明汤普森采样在错误率方面最多是其他策略的两倍，适用于特定条件下的随机博弈，证实相关猜想，且结果在多种权重序列下成立。
2026-07-15 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在强化学习的算法优化中，如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解，实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法，已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法，其中报酬服从未知的非对称$α$ -稳定分布，并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Unimodal Thompson Sampling for Graph-Structured Arms
Politecnico di Milano（米兰理工大学）
我们研究，据我们所知，第一个贝叶斯算法的单峰多臂强盗（MAB）问题的图结构。在这种设置中，每个臂对应于图的一个节点，并且每个边提供了两个节点之间在预期奖励方面的关系，该关系对于学习者来说是未知的。此外，对于图中的任何节点，都存在通向提供最大预期回报的唯一节点的路径，沿着该路径，预期回报单调增加。在此设置上的先前结果描述了频率主义MAB算法的行为。在本文中，我们设计了一个基于汤普森采样的算法，其渐近伪遗憾匹配的下限所考虑的设置。我们表明，-因为它发生在大量的情况下-贝叶斯MAB算法大大优于频率论的。特别是，我们提供了一个彻底的实验评估的性能，我们和国家的最先进的算法的图形的属性不同。
2016-11-22 cs.LG stat.ML
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors
Tsinghua University（清华大学）
Thompson抽样对许多多臂强盗问题有令人印象深刻的经验表现。但目前的汤普森采样算法只适用于共轭先验的情况下，因为这些算法需要推断后验，这往往是计算上棘手的先验不共轭。在本文中，我们提出了一种新的算法，汤普森采样，只需要从一个听话的分布，所以我们的算法是有效的，即使先验是非共轭的。为此，我们通过Gumbel-Max技巧将Thompson采样重新定义为优化问题。之后，我们构造一组随机变量，我们的目标是确定具有最高均值的随机变量。最后，我们解决了它的最佳手臂识别技术。
2017-08-16 cs.LG stat.ML
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究汤普森抽样算法的随机多武装土匪在批量设置，在其中，我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化（或批次）。我们提出了两个算法，并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面，并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
Thompson Sampling for Complex Bandit Problems
Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
我们考虑随机多臂强盗问题的复杂行动，在一组基本武器，决策者发挥复杂的行动，而不是在每一轮的基本武器。复杂动作的奖励是基本手臂奖励的函数，而观察到的反馈不一定是每个手臂的奖励。例如，当复杂动作是手臂的子集时，我们可能只观察到所选子集上的最大奖励。因此，由于奖励函数的性质，可以耦合跨复杂动作的反馈。我们证明了一个频率后悔界的汤普森采样在一个非常一般的设置，涉及参数，动作和观察空间和似然函数。该界限适用于参数空间上的离散支持先验，并且没有额外的结构特性，如封闭形式的后验，共轭先验结构或跨臂独立性。后悔界限随时间的变化而变化，但更重要的是，它有一个改进的常数，可以很好地捕捉到复杂行为之间的耦合，这是由于奖励的结构。作为应用，我们得到了改进的遗憾界类复杂的强盗问题，涉及选择子集的武器，包括第一个非平凡的遗憾界的非线性MAX奖励反馈的子集。
2013-11-03 cs.LG stat.ML
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Thompson Sampling for Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对实值组合纯探索问题，提出GenTS-Explore算法，首个能处理指数级动作集的算法，并证明其达到最优样本复杂度。
2023-11-15 cs.LG stat.ML
Thompson Sampling for Budgeted Multi-armed Bandits
University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
Thompson抽样算法是最早提出的多臂强盗（MAB）随机算法之一。在本文中，我们推广的汤普森抽样到martedMAB，其中有随机成本的拉臂和总成本的预算约束。我们从伯努利强盗的例子开始，其中一只手臂的随机奖励（成本）是从伯努利分布中独立采样的。在这种情况下，为了实现汤普森采样算法，在每一轮，我们从每个手臂的奖励和成本的后验分布中采样两个数字，获得它们的比率，选择具有最大比率的手臂，然后更新后验分布。我们证明了该算法的分布依赖遗憾界是$O(\ln B)$，其中$B$表示预算。通过引入Bernoulli试验，将该算法推广到报酬（成本）服从一般分布的情形，并证明了该算法的后悔界几乎保持不变.仿真结果验证了该算法的有效性。
2015-05-01 cs.LG
A study of Thompson Sampling with Parameter h
University of Cambridge（剑桥大学）
Thompson抽样算法是求解随机多臂强盗问题的著名贝叶斯算法。在每一个时间步的算法选择每个手臂的概率成正比，它是当前最好的arm.We修改的策略，通过引入一个参数h，它改变了一个手臂的概率的重要性是当前最好的arm.We表明，汤普森采样的最优性是强大的参数值范围内的两个手臂土匪这种扰动。
2017-10-05 cs.IT cs.LG math.IT
Thompson Sampling in Partially Observable Contextual Bandits
University of Georgia（佐治亚大学）；Southern Methodist University（南卫理公会大学）
研究部分可观测上下文赌博机中的决策问题，提出Thompson Sampling策略平衡探索与利用，通过新鞅技巧和浓度不等式建立多对数regret界限，并验证其有效性。
2024-02-15 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials
Spotify（声田）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Sanofi R&D（赛诺菲研发中心）
我们研究了在早期临床试验中通过多臂强盗透镜寻找最佳剂量的问题。我们提倡使用汤普森抽样原则，这是一种灵活的算法，可以适应不同类型的单调性假设的毒性和有效性的剂量。对于最简单的版本的汤普森采样，基于一个均匀的先验分布为每个剂量，我们提供了有限的时间上限的次优剂量选择，这是前所未有的剂量发现算法的数量。通过一个大型的模拟研究，我们表明，汤普森采样的基础上更复杂的先验分布的变体优于国家的最先进的剂量识别算法在不同类型的剂量发现研究，发生在I期或I/II期试验。
2020-04-07 cs.LG stat.ML
Adaptive Portfolio by Solving Multi-armed Bandit via Thompson Sampling
Zhejiang University（浙江大学）；Macqaurie University（麦考瑞大学）
作为现代投资组合理论的基石，马科维茨的均值-方差最优化模型被认为是投资组合管理的主要模型。但由于其参数难以估计，不能适用于所有时期。在某些情况下，简单的策略，如等权重和价值加权投资组合甚至可以获得更好的表现。在这种情况下，我们可以使用多个经典策略作为多臂强盗中的多个战略武器，从而自然地与投资组合选择问题建立联系。这也有助于通过在探索和利用之间进行权衡来最大化强盗算法中的回报。在本文中，我们提出了一个投资组合强盗策略，通过汤普森抽样，旨在使在线投资组合的选择，有效地利用多个武器之间的性能。同时，通过构建多个战略武器，可以得到适应不同投资时期的最优投资组合。此外，我们设计了一个新的奖励功能，根据用户的不同投资风险偏好，它可以适应各种投资风格。我们的实验结果表明，我们提出的投资组合策略在广泛的评估标准方面具有显著的优越性。
2019-11-14 cs.LG q-fin.PM stat.ML
Analysis of Thompson Sampling for the multi-armed bandit problem
Microsoft Research India（微软印度研究院）
多臂强盗问题是研究序贯决策问题中探索/开发权衡的一个流行模型。现在有许多算法可用于这个研究得很好的问题。最早的算法之一，由W. R.汤普森，可以追溯到1933年。该算法被称为Thompson Sampling，是一种自然贝叶斯算法。其基本思想是选择一个手臂发挥根据其概率是最好的手臂。汤普森采样算法已被实验证明是接近最佳。此外，它是有效的实施，并表现出几个理想的属性，如延迟反馈的小遗憾。然而，这种算法的理论理解是相当有限的。在本文中，我们首次证明了汤普森抽样算法实现对数期望后悔的多臂强盗问题。更准确地说，对于双臂强盗问题，期望的时间后悔$T$是$O(\frac{\ln T}Δ + \frac{1}{Δ^3})$。而且，对于$N$ -武装强盗问题，$T$的期望后悔时间是$O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$ .我们的边界是最优的，但对$Δ_i$的依赖和大哦中的常数因子。
2012-04-09 cs.DS cs.LG
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
Stochastically Constrained Best Arm Identification with Thompson Sampling
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The University of Hong Kong（香港大学）
本文针对多性能度量下的随机约束最佳臂识别问题，首次提出基于 Thompson sampling 的采样算法，并证明其后验收敛速率的渐近最优性，数值实验验证了性能优势。
2025-01-07 cs.LG
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
Feedback graph regret bounds for Thompson Sampling and UCB
Microsoft Research NYC（微软研究院纽约中心）；Cornell University（康奈尔大学）
研究了Mannor和Shamir引入的基于图的反馈结构下的随机多臂强盗问题。我们分析了两个最突出的随机强盗算法，汤普森采样和置信上限（UCB），在基于图的反馈设置的性能。我们表明，这些算法实现了遗憾的保证，结合图结构和臂分布的手段之间的差距。令人惊讶的是，尽管事实上，这些算法不明确使用的图形结构来选择武器，他们观察到的额外的反馈，但不探索基于it.Towards这个结果，我们引入了“分层技术”突出的共性在两个算法。
2020-02-14 cs.DS cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Thompson sampling with the online bootstrap
Facebook, Inc.（脸书公司）；Radboud University（拉德堡德大学）
汤普森采样提供了一个解决方案，强盗问题，其中新的观察分配到武器的后验概率，一个手臂是最佳的。虽然有时容易实现和渐近最优，汤普森采样可以在大规模的强盗问题的计算要求，其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样（BTS），一个探试法解决强盗问题，修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS，并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后，我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性，我们通过模拟表明，BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改，特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Thompson Sampling for Combinatorial Network Optimization in Unknown Environments
Bilkent University（比尔肯特大学）；University of Cambridge（剑桥大学）
影响力最大化、自适应路由和动态频谱分配都需要从大量替代方案中选择正确的行动。由于组合优化的进步，这些和许多类似的问题可以有效地解决给定的环境与已知的随机性。在本文中，我们采取这一步，并专注于在未知环境中的组合优化。我们考虑一个非常一般的学习框架，称为组合多臂强盗概率触发武器和一个非常强大的贝叶斯算法，称为组合汤普森采样（CTS）。在半强盗反馈模型下，假设在事先不知道基臂期望结果的情况下访问预言机，我们证明了当期望奖励在基臂期望结果中是Lipschitz连续时，CTS实现了$O(\sum_{i =1}^m\log T/(p_iΔ_i))$后悔和$O(\max\{\mathbb{E}[m\sqrt{T\log T/p^*}],\mathbb{E}[m^2/p^*]\})$贝叶斯后悔，其中$m$表示基臂的数目，$p_i$和$Δ_i$分别表示基臂的最小非零触发概率和最小次优间隙$i$，$T$表示时间范围，而$p^*$表示总的最小非零触发概率。我们还表明，当预期的奖励满足触发概率调制Lipschitz连续性，CTS实现$O(\max\{m\sqrt{T\log T},m^2\})$贝叶斯后悔，当触发概率为非零的所有基本武器，CTS实现$O(1/p^*\log(1/p^*))$后悔的时间范围无关。最后，我们数值比较CTS与算法的置信上限的基础上，在几个网络问题，并表明，CTS优于这些算法的至少…
2020-09-21 cs.LG stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University（印第安纳大学）；University of Alberta（阿尔伯塔大学）
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪，特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置，我们分析了渐近依赖实例的遗憾，并显示匹配的上限和下限是什么可以实现的。令人惊讶的是，我们的研究结果表明，基于乐观或汤普森采样的算法都不会达到最佳速率，甚至在非常简单的情况下，也可以任意远离最佳速率。这是一个令人不安的结果，因为这些技术是广泛用于顺序优化的标准工具。例如，对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Doubly robust Thompson sampling for linear payoffs
Seoul National University（首尔国立大学）；UNIST（蔚山科学技术院）；Shepherd23 Inc.（Shepherd23公司）
针对上下文赌博机中奖励缺失与遗憾分析复杂的问题，提出结合双重稳健估计器的DR汤普森采样算法，推导了不含上下文维度的更优遗憾界，实验验证其性能优于LinTS。
2023-04-30 cs.LG stat.ML
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Optimism Stabilizes Thompson Sampling for Adaptive Inference
Peking University（北京大学）
本文通过引入乐观机制（如方差膨胀或均值奖励）稳定汤普森采样，使得各臂拉取次数收敛于确定性尺度，从而在K臂随机bandit中实现渐近有效的Wald推断，并解决了多最优臂的扩展问题。
2026-06-17 cs.AI cs.LG math.OC
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University（哥伦比亚大学）
该研究针对多臂老虎机问题，提出贝叶斯非参数汤普森采样算法，无需指定奖励模型参数形式，实验表明其后悔性能与Oracle TS相当，且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
MOTS: Minimax Optimal Thompson Sampling
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
汤普森抽样是许多在线决策问题中最广泛使用的算法之一，由于其实现简单和优于其他国家的最先进的方法的经验性能。尽管它的流行和经验的成功，它仍然是一个悬而未决的问题，汤普森采样是否可以匹配的极小极大下限$Ω(\sqrt{KT})$的$K$武装土匪问题，其中$T$是总的时间范围。在本文中，我们解决了这个长期开放的问题，提出了一个变种的汤普森采样称为MOTS，自适应剪辑的采样实例所选择的手臂在每个时间步。我们证明了这种简单的汤普森采样的变体实现了有限时间范围$T$的极小极大最优后悔界$O(\sqrt{KT})$，以及高斯奖励时的渐近最优后悔界$T$接近无穷大。据我们所知，MOTS是第一个汤普森采样类型的算法，实现了极大极小最优多臂强盗问题。
2020-10-01 cs.LG math.ST stat.ML
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
研究了一个分散协作的多智能体多臂强盗问题，其中$K$和$N$智能体通过网络连接.在我们的模型中，每个手臂的奖励分配对于所有代理都是相同的，并且奖励在代理和时间步长上独立绘制。在每一轮中，智能体选择一只手臂进行游戏，然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架，扩展单代理贝叶斯强盗算法的分散设置。具体来说，我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法，并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题，并建立了一个依赖于问题的累积后悔上界。我们发现，遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究，我们表明，我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议，并在时变网络，其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Bootstrapped Thompson Sampling and Deep Exploration
本技术说明提出了一种新的方法来进行汤普森抽样所实现的探索，但没有明确地保持或从后验分布采样。该方法是基于自举技术，使用观察到的和人工生成的数据相结合。后者用于诱导一个先验分布，正如我们将证明的那样，这对有效的勘探至关重要。我们解释了该方法如何应用于多臂强盗和强化学习问题，以及它如何与汤普森采样相关。该方法特别适合于探索与深度学习相结合的环境，因为在这些环境中，从后验分布中维护或生成样本在计算上变得不可行。
2015-07-01 cs.LG stat.ML
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms: A Case with Bounded Regret
Bilkent University（比尔肯特大学）
本文研究了具有概率触发臂的组合多臂强盗问题。在假设所有手臂的触发概率（ATPs）都为正的条件下，证明了一类具有探索率$κ$的组合置信上界（CUCB- $κ$）策略和通过Thompson采样估计手臂期望状态的组合Thompson采样（CTS）策略能够实现有界后悔.此外，我们还证明了$0$和CTS会导致$O(\sqrt{T})$间隔独立的后悔。这些结果改进了以前的工作，分别显示$O(\log T)$缺口依赖和$O(\sqrt{T\log T})$缺口独立的遗憾，没有假设的ATP的结果。然后，我们数值评估CUCB- $κ$和CTS在现实世界的电影推荐问题中的性能，其中的动作对应于推荐一组电影，手臂对应于电影和用户之间的边缘，目标是最大化被至少一部电影吸引的用户总数。我们的数值结果补充了我们的理论研究结果有限的遗憾。除了这个问题，我们的研究结果也直接适用于在线影响力最大化（OIM）的问题，在许多以前的作品研究。
2017-07-24 cs.LG stat.ML
Thompson Sampling with Approximate Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；VinAI（VinAI研究院）
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法，但需要后验推理，这往往必须在实践中近似。我们表明，即使是小的常数推理错误（$α$发散），也会导致性能不佳（线性遗憾），这是由于近似的探索不足（对于$α<1$）或过度探索（对于$α>0$）。对于$α> 0$，这是不可避免的，而对于$α\leq 0$，即使当推理误差是一个大的常数时，也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Thompson Sampling for (Combinatorial) Pure Exploration
Tsinghua University（清华大学）
现有的组合纯勘探方法主要集中在UCB方法。为了使算法有效，他们通常使用臂集合$S$内的置信上限之和来表示$S$的置信上限，这可能比$S$的严格置信上限大得多，并且导致比必要的复杂度高得多，因为$S$中不同臂的经验均值是独立的。为了应对这一挑战，我们探索了汤普森采样（TS）的想法，使用独立的随机样本，而不是置信上限，并设计了第一个基于TS的算法TS-Explore（组合）纯探索。在TS-Explore中，组集$S$内的独立随机样本之和将不超过$S$的高概率严格置信上限。因此，它解决了上述挑战，并实现了一个较低的复杂度上界比现有的有效的基于UCB的算法在一般的组合纯探索。对于经典多臂强盗算法的纯探索，我们证明了TS-Explore算法达到了一个渐近最优的复杂度上界。
2022-06-18 cs.LG
Thompson Sampling: An Asymptotically Optimal Finite Time Analysis
Telecom Paristech（巴黎电信学院）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）
自1933年以来，解决随机多臂强盗问题的汤普森采样的最优性问题一直是公开的。在本文中，我们积极回答它的情况下，伯努利奖励提供第一个有限时间分析，匹配的渐近速率在莱和罗宾斯的下限的累积遗憾。证明是伴随着与其他最优策略的数值比较，实验一直缺乏在文献中，直到现在的伯努利的情况下。
2012-07-19 cs.LG stat.ML
Distributed Thompson Sampling
我们研究了一个具有M个智能体和K个手臂的多智能体多武器协作强盗。代理人的目标是最小化累积的遗憾。在分布式环境下，我们采用了传统的Thompson采样算法。然而，与代理的沟通能力，我们注意到，通信可能会进一步降低分布式汤普森抽样方法的遗憾的上限。为了进一步提高分布式Thompson采样算法的性能，提出了一种基于消除的分布式Thompson采样算法，该算法允许多个智能体协同学习。在Bernoulli报酬下分析了该算法，并导出了一个与问题相关的累积后悔上界。
2021-09-09 cs.AI cs.LG
Random Effect Bandits
Fudan University（复旦大学）；Amazon（亚马逊）
研究了多臂强盗的后悔最小化问题。众所周知，边信息，如汤普森采样中的臂均值的先验分布，可以提高Bandit算法的统计效率。当正确指定先验时，它是一种祝福，而当错误指定时，它是一种诅咒。为了解决这个问题，我们引入了一个随机效应模型的假设土匪。在这个模型中，平均手臂奖励独立于我们估计的未知分布。我们推导出一个随机效应估计的手臂手段，分析其不确定性，并设计了一个UCB算法ReUCB，使用它，我们分析ReUCB，并推导出一个上界的$n$轮贝叶斯遗憾，这改善了不使用随机效应结构。我们的实验表明，ReUCB可以优于汤普森采样，而不知道臂均值的先验分布。
2022-03-05 cs.LG stat.ML
Double Doubly Robust Thompson Sampling for Generalized Linear Contextual Bandits
Columbia University（哥伦比亚大学）；Seoul National University（首尔大学）；Shepherd23 Inc.（Shepherd23 公司）
我们提出了一种新的上下文强盗算法的广义线性奖励与$\tilde{O}(\sqrt{κ^{-1} ϕT})$遗憾超过$T$轮，其中$ϕ$是上下文的协方差的最小特征值和$κ$是奖励的方差的下界。在$ϕ=O(d)$的几个实际情况下，我们的结果是广义线性模型（GLM）土匪的第一遗憾界的顺序$\sqrt{d}$不依赖于Auer [2002]的方法。我们实现这一界限使用一种新的估计称为双双稳健（DDR）估计，双稳健（DR）估计的子类，但具有更严格的误差界。Auer [2002]的方法通过丢弃观察到的奖励来实现独立性，而我们的算法使用我们的DDR估计器来实现考虑所有上下文的独立性。我们还提供了一个$O(κ^{-1} ϕ\log (NT) \log T)$遗憾界的概率裕度条件下的$N$武器。Bastani和Bayati [2020]以及Bastani等人[2021]在所有臂的背景是共同的但系数是特定于臂的设置下给出了边际条件下的遗憾界。当所有臂的上下文不同但系数相同时，我们的是线性模型或GLM的裕度条件下的第一遗憾界。我们使用合成数据和真实例子进行实证研究，证明了我们的算法的有效性。
2023-03-01 cs.LG stat.ML
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Optimal Top-Two Method for Best Arm Identification and Fluid Analysis
TIFR Mumbai（塔塔基础研究所孟买分校）；Ashoka University（阿肖克大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种最优top-2类型算法用于最佳臂识别，通过阈值锚定的分配函数决定采样策略，在δ趋近0时达到样本复杂度下界，并利用流体常微分方程分析证明其最优性。
2024-12-15 cs.IT cs.LG math.IT
Odds-Ratio Thompson Sampling: A Specification and Design Guide for Contrast-Based Multi-Armed Bandits
针对批量多臂老虎机，提出比值比汤普森采样（OR-TS），携带对比后验并每批重估共同水平，优于绝对率记忆，在移动水平下显著降低遗憾并更频繁选中最优臂。
2026-09-18 cs.LG
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia（亿达美）
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣，但它有一个缺点，这是其他常见的CMAB策略在考虑非精确预言时所没有的：对于某些预言，CTS具有较差的近似遗憾（与时间范围$T$线性缩放）[Wang和Chen，2018]。然后，有必要进行研究，以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始：他们给出了贪婪预言机CTS的一次近似后悔分析，获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界，其中$Δ$是某个最小奖励差距。在本文中，我们的目标是推动这项研究进一步比简单的情况下，贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS，在一个特定的条件下获得的近似甲骨文，允许减少到确切的甲骨文分析。因此，我们把这个条件称为REDUCE2EXACT，并观察到它在许多具体的例子中得到满足。此外，它可以扩展到概率触发的武器设置，从而捕获更多的问题，如在线影响最大化。
2023-02-22 cs.LG stat.ML
Odds-Ratio Thompson Sampling to Control for Time-Varying Effect
Clova AI, NAVER Corp.（NAVER公司Clova人工智能研究院）
多臂强盗方法已被用于动态实验，特别是在在线服务。在这些方法中，汤姆逊抽样法由于简单而性能良好而被广泛使用。许多汤普森抽样方法的二进制奖励使用逻辑模型，是写在一个特定的参数。在这项研究中，我们用比值比参数重新参数化逻辑斯蒂模型。这表明汤普森采样可以与参数子集一起使用。基于这一发现，我们提出了一种新的方法，“奇数比汤普森采样”，这是预期的工作鲁棒性随时间变化的影响。使用所提出的方法在连续的实验中进行了描述，讨论了该方法的一个理想的属性。仿真结果表明，该方法对时间背景效应具有较强的鲁棒性，而在没有时间背景效应的情况下，其性能损失很小。最后，使用实际服务的数据集，我们表明，新的方法将在实际环境中获得更大的回报。
2020-03-04 cs.LG stat.ML
Parallelizing Thompson Sampling
Yale University（耶鲁大学）；Google Research（谷歌研究院）
我们如何利用在线决策问题的信息并行性，同时有效地平衡探索-开发权衡？本文介绍了一个批量Thompson抽样框架，用于两个典型的在线决策问题，即随机多臂强盗和线性上下文多臂强盗。在一个时间范围$T$，我们的\textit{batch}汤普森采样政策实现了相同的（渐近）遗憾界的一个完全连续的，而只进行$O(\log T)$批处理查询。为了实现这种指数下降，即，为了减少从$T$到$O(\log T)$的交互数量，我们的批处理策略动态地确定每个批处理的持续时间，以便平衡探索-利用权衡。我们还证明了实验，动态批分配显着优于自然基线，如静态批分配。
2021-06-02 cs.AI cs.LG math.OC
Evolutionary Multi-Armed Bandits with Genetic Thompson Sampling
Columbia University（哥伦比亚大学）
在线学习和演化计算作为机器学习的两大流派，已经成为现实世界决策引擎背后的两大重要驱动力，在生物医学、经济学和工程学领域得到广泛应用。虽然有利用土匪来改善进化算法的优化过程的工作，它仍然是一个空白领域的进化方法如何可以帮助改善在线学习代理，如多臂土匪的顺序决策任务。在这项工作中，我们提出了遗传汤普森采样，一个强盗算法，保持人口的代理和更新他们的遗传原则，如精英选择，交叉和突变。在多臂土匪模拟环境和一个实际的流行病控制问题的实证结果表明，通过将遗传算法到土匪算法，我们的方法显着优于基线在非平稳设置。最后，我们介绍了EvoBandit，一个基于Web的交互式可视化，以指导读者完成整个学习过程，并在飞行中执行轻量级评估。我们希望通过这项调查让研究人员参与到这一不断发展的研究领域中。
2022-04-26 cs.AI cs.LG cs.MA
