On Thompson Sampling and Bilateral Uncertainty in Additive Bayesian Optimization
本文研究加性贝叶斯优化中忽略双边不确定性的汤普森采样近似，通过利用条件独立性实现高效采样，实证表明该近似性能略逊但实际影响微小，支持其实际应用。
2025-10-13 cs.LG stat.ML
Fast, Precise Thompson Sampling for Bayesian Optimization
Yeshiva University（叶史瓦大学）
针对贝叶斯优化中汤普森采样（TS）表现不佳的问题，提出改进的交错汤普森采样器（STS），其比TS更精确地定位最大化器且计算更快，在数值实验中性能优于TS、PSS等方法，作为MTV输入时与PSS性能相当。
2024-11-29 cs.LG stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样，包括更一般的光滑后验。然而，它仍然遇到的高维问题时，要求高精度的可扩展性问题。为了解决这个问题，我们提出了一个近似的汤普森采样策略，利用欠阻尼朗之万蒙特卡罗，后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件，我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
An Information-Theoretic Analysis of Thompson Sampling with Infinite Action Spaces
KTH Royal Institute of Technology（瑞典皇家理工学院）；Division of Information Science and Engineering (ISE)（信息科学与工程系（ISE））
本文将汤普森采样的信息论遗憾分析从有限动作空间扩展到无限连续动作空间，并在Lipschitz连续奖励下给出显式依赖动作空间复杂度的遗憾界。
2025-02-04 cs.LG stat.ML
A Finite Time Analysis of Thompson Sampling for Bayesian Optimization with Preferential Feedback
Imperial College London（帝国理工学院伦敦分校）；MediaTek Research（联发科技研究）
本文提出一种基于偏好反馈的贝叶斯优化的强化学习方法，通过单调链接建模比较并利用双核机制，证明其性能与传统贝叶斯优化方法一致。
2026-04-27 cs.LG stat.ML
Scalable Thompson Sampling via Optimal Transport
Duke University（杜克大学）；Adobe Research（Adobe研究（Adobe Research））；SUNY at Buffalo（纽约州立大学布法罗分校（SUNY at Buffalo））
汤普森抽样（Thompson sampling，TS）算法是一种序列决策算法，它要求在模型上保持后验分布。然而，计算精确的后验分布是棘手的，但最简单的模型。因此，近似后验分布的有效计算是具有复杂模型的可扩展TS（例如神经网络）的关键问题。在本文中，我们使用分布优化技术来近似的后验分布，通过Wasserstein梯度流解决。在此基础上，提出了一种基于粒子优化的TS算法，以有效地逼近后验。我们的方法是可扩展的，并没有明确的分布假设后验近似。在人工数据和真实大规模数据上的实验表明了所提方法的优越性能。
2019-02-19 cs.LG stat.ML
An Information-Theoretic Analysis of Thompson Sampling
Stanford University（斯坦福大学）
我们提供了一个信息理论分析汤普森采样，适用于广泛的在线优化问题，决策者必须从部分反馈中学习。这种分析继承了信息论的简洁性和优雅性，并导致了与最优行动分布的熵成比例的后悔界限。这加强了先前的结果，并对信息如何提高绩效产生了新的见解。
2015-06-08 cs.LG
Optimal Exploration is no harder than Thompson Sampling
University of Washington（华盛顿大学）
针对纯探索线性老虎机问题，提出一种仅需后验采样和argmax预言机的算法，实现了渐近最优的指数收敛速率，且经验表现与现有最优方法相当。
2023-10-24 cs.LG stat.ML
Feedback graph regret bounds for Thompson Sampling and UCB
Microsoft Research NYC（微软研究院纽约中心）；Cornell University（康奈尔大学）
研究了Mannor和Shamir引入的基于图的反馈结构下的随机多臂强盗问题。我们分析了两个最突出的随机强盗算法，汤普森采样和置信上限（UCB），在基于图的反馈设置的性能。我们表明，这些算法实现了遗憾的保证，结合图结构和臂分布的手段之间的差距。令人惊讶的是，尽管事实上，这些算法不明确使用的图形结构来选择武器，他们观察到的额外的反馈，但不探索基于it.Towards这个结果，我们引入了“分层技术”突出的共性在两个算法。
2020-02-14 cs.DS cs.LG stat.ML
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Further Optimal Regret Bounds for Thompson Sampling
Microsoft Research India（微软印度研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。在本文中，我们提供了一个新的遗憾分析汤普森采样，同时证明了最佳的问题依赖的界的$(1+ε)\sum_i \frac{\ln T}{Δ_i}+O(\frac{N}{ε^2})$和第一个接近最佳的问题无关的界的$O(\sqrt{NT\ln T})$对该算法的预期遗憾。我们的接近最优的问题独立的界限解决了一个COLT 2012年公开问题的Chapelle和李。Kaufmann等人最近首次证明了这个问题的最佳问题相关后悔界限[ALT 2012]。我们新颖的基于鞅的分析技术在概念上很简单，很容易扩展到Beta分布以外的分布，也可以扩展到更一般的背景强盗设置[Mandarpt，Agrawal和Goyal，2012]。
2012-09-15 cs.DS cs.LG stat.ML
Connecting Thompson Sampling and UCB: Towards More Efficient Trade-offs Between Privacy and Regret
University of Alberta（阿尔伯塔大学）
本文提出DP-TS-UCB算法，通过连接汤普森采样与UCB的探索机制，在差分隐私老虎机中实现隐私与遗憾的可调权衡，并给出GDP与遗憾界理论保证。
2025-06-05 cs.LG
An Information-Theoretic Analysis for Thompson Sampling with Many Actions
Stanford University（斯坦福大学）
Russo和Van Roy的信息论贝叶斯后悔界限捕捉到了后悔对先验不确定性的依赖。然而，这种依赖性是通过熵来实现的，随着动作数量的增加，熵可以变得任意大。我们建立新的界限，而不是依赖于率失真的概念。除此之外，这使我们能够通过信息论的论点恢复线性强盗的接近最优的界限。我们还提供了一个边界的逻辑强盗，大大提高了最好的以前可用的，虽然这个边界取决于信息理论统计，我们只能通过计算来量化。
2020-07-08 cs.IT cs.LG math.IT
Approximate Thompson Sampling for Learning Linear Quadratic Regulators with $O(\sqrt{T})$ Regret
Department of Applied Artificial Intelligence, Seoul National University of Science and Technology（应用人工智能系，首尔科学技术大学）；Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气电子工程系和ASRI，首尔国立大学）
提出一种基于Langevin动力学和激励机制的近似Thompson采样算法，用于学习LQR，在无限制性假设下实现了$O(\sqrt{T})$的贝叶斯遗憾界。
2025-05-29 cs.LG cs.SY eess.SY
Thompson Sampling via Fine-Tuning of LLMs
IBM Research – Zurich（IBM瑞士研究院）；Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）
通过微调大语言模型实现高效汤普森采样，提升贝叶斯优化的样本和计算效率。
2026-02-27 cs.AI cs.LG
Optimistic Thompson Sampling for No-Regret Learning in Unknown Games
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对未知博弈中的多玩家决策问题，提出基于汤普森采样的算法，利用对手动作与奖励结构将实验预算降低十倍以上，并给出对数级遗憾界，同时提出先乐观后无悔框架并在交通路由与雷达感知中验证其有效性。
2024-02-25 cs.AI cs.GT cs.LG
High-Probability Regret Bounds for Feel-Good Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
本文针对上下文多臂老虎机问题，推导了愉悦汤普森采样两种变体的首个高概率后悔界，其性能与上置信界算法相当，证明思路部分由GPT-6 Astra辅助开发。
2026-10-15 cs.IT cs.LG math.IT
Thompson Sampling in Online RLHF with General Function Approximation
Department of Electrical and Computer Engineering, University of Florida（电气与计算机工程系，佛罗里达大学）
针对在线RLHF设置，提出受Thompson sampling启发的无模型后验采样算法，基于BE维度建立O(√T)遗憾界，并通过MLE泛化界推导出平方Bellman误差的集中型不等式。
2025-05-29 cs.LG
Federated Bayesian Optimization via Thompson Sampling
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
贝叶斯优化（BO）是一种重要的方法来优化昂贵的评估黑箱函数。移动电话等边缘设备的大规模计算能力，加上隐私问题，导致人们对联邦学习（FL）的兴趣激增，FL专注于通过一阶优化技术对深度神经网络（DNN）进行协作训练。然而，一些常见的机器学习任务，如DNN的超参数调整，缺乏对梯度的访问，因此需要零阶/黑盒优化。这暗示了将BO扩展到FL设置（FBO）的可能性，以便代理在这些黑盒优化任务中进行协作。本文介绍了联邦汤普森采样（FTS），它以原则性的方式克服了FBO和FL的许多关键挑战：我们（a）使用随机傅立叶特征来近似BO中使用的高斯过程代理模型，它自然地产生要在代理之间交换的参数，（b）基于Thompson采样设计FTS，这显著地减少了要交换的参数的数量，以及（c）提供理论上的收敛保证，该收敛保证对于异构代理是鲁棒的，这是FL和FBO中的主要挑战。我们实证证明FTS的有效性，在通信效率，计算效率和实际性能。
2020-10-22 cs.AI cs.LG
The Price of Incentivizing Exploration: A Characterization via Thompson Sampling and Sample Complexity
Stanford University（斯坦福大学）；Microsoft Research NYC（微软研究院纽约）
我们考虑激励探索：一个版本的多武装土匪的武器的选择是由自利代理控制，算法只能发出建议。算法控制着信息的流动，信息不对称可以激励智能体进行探索。先前的工作实现了最佳的后悔率乘法因子，成为任意大的贝叶斯先验，并按指数级的武器数量。一个更基本的问题是对每个手臂进行一次采样，这也会遇到类似的因素。我们关注的是激励的代价：广义上说，为了激励相容而导致的业绩损失。我们证明了汤普森采样，一个标准的强盗算法，是激励兼容的，如果初始化有足够多的数据点。因此，由于激励措施造成的业绩损失仅限于收集这些数据点的最初几轮。这个问题在很大程度上被简化为样本的复杂性：需要多少轮？我们解决这个问题，提供匹配的上限和下限，并实例化他们在各种推论。通常，最佳样本复杂度在臂数上是多项式的，在“信念强度”上是指数的。
2022-06-12 cs.DS cs.GT cs.LG
Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors
Tsinghua University（清华大学）
Thompson抽样对许多多臂强盗问题有令人印象深刻的经验表现。但目前的汤普森采样算法只适用于共轭先验的情况下，因为这些算法需要推断后验，这往往是计算上棘手的先验不共轭。在本文中，我们提出了一种新的算法，汤普森采样，只需要从一个听话的分布，所以我们的算法是有效的，即使先验是非共轭的。为此，我们通过Gumbel-Max技巧将Thompson采样重新定义为优化问题。之后，我们构造一组随机变量，我们的目标是确定具有最高均值的随机变量。最后，我们解决了它的最佳手臂识别技术。
2017-08-16 cs.LG stat.ML
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Odds-Ratio Thompson Sampling to Control for Time-Varying Effect
Clova AI, NAVER Corp.（NAVER公司Clova人工智能研究院）
多臂强盗方法已被用于动态实验，特别是在在线服务。在这些方法中，汤姆逊抽样法由于简单而性能良好而被广泛使用。许多汤普森抽样方法的二进制奖励使用逻辑模型，是写在一个特定的参数。在这项研究中，我们用比值比参数重新参数化逻辑斯蒂模型。这表明汤普森采样可以与参数子集一起使用。基于这一发现，我们提出了一种新的方法，“奇数比汤普森采样”，这是预期的工作鲁棒性随时间变化的影响。使用所提出的方法在连续的实验中进行了描述，讨论了该方法的一个理想的属性。仿真结果表明，该方法对时间背景效应具有较强的鲁棒性，而在没有时间背景效应的情况下，其性能损失很小。最后，使用实际服务的数据集，我们表明，新的方法将在实际环境中获得更大的回报。
2020-03-04 cs.LG stat.ML
Bootstrapped Thompson Sampling and Deep Exploration
本技术说明提出了一种新的方法来进行汤普森抽样所实现的探索，但没有明确地保持或从后验分布采样。该方法是基于自举技术，使用观察到的和人工生成的数据相结合。后者用于诱导一个先验分布，正如我们将证明的那样，这对有效的勘探至关重要。我们解释了该方法如何应用于多臂强盗和强化学习问题，以及它如何与汤普森采样相关。该方法特别适合于探索与深度学习相结合的环境，因为在这些环境中，从后验分布中维护或生成样本在计算上变得不可行。
2015-07-01 cs.LG stat.ML
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在强化学习的算法优化中，如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解，实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法，已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法，其中报酬服从未知的非对称$α$ -稳定分布，并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
On Thompson Sampling with Langevin Algorithms
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
多臂强盗问题的Thompson采样方法在理论和实践中都有良好的性能。然而，它遭受了显着的限制计算，所产生的需要在每次迭代后验分布的样本。我们提出了两个马尔可夫链蒙特卡罗（MCMC）的方法，汤普森采样量身定制，以解决这个问题。我们构造快速收敛的Langevin算法来生成具有精度保证的近似样本，并利用新的后验浓度率来分析由此产生的近似Thompson采样算法的遗憾。此外，我们指定必要的超参数的MCMC过程，以保证最佳的实例相关的频率后悔，同时具有低的计算复杂性。特别是，我们的算法利用后验浓度和样本重用机制，以确保在每一轮中只需要恒定数量的迭代和恒定数量的数据。所得到的近似Thompson采样算法具有对数遗憾性，并且其计算复杂性不与算法的时间范围成比例。
2020-06-18 cs.LG stat.ML
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Thompson Sampling with Approximate Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；VinAI（VinAI研究院）
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法，但需要后验推理，这往往必须在实践中近似。我们表明，即使是小的常数推理错误（$α$发散），也会导致性能不佳（线性遗憾），这是由于近似的探索不足（对于$α<1$）或过度探索（对于$α>0$）。对于$α> 0$，这是不可避免的，而对于$α\leq 0$，即使当推理误差是一个大的常数时，也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Thompson sampling with the online bootstrap
Facebook, Inc.（脸书公司）；Radboud University（拉德堡德大学）
汤普森采样提供了一个解决方案，强盗问题，其中新的观察分配到武器的后验概率，一个手臂是最佳的。虽然有时容易实现和渐近最优，汤普森采样可以在大规模的强盗问题的计算要求，其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样（BTS），一个探试法解决强盗问题，修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS，并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后，我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性，我们通过模拟表明，BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改，特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Stable Thompson Sampling: Valid Inference via Variance Inflation
本文提出稳定汤普森采样方法，通过方差膨胀实现有效参数推断，尽管数据非独立同分布，仍能获得渐近正态估计，同时仅小幅增加后悔值。
2026-03-15 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
TS-UCB: Improving on Thompson Sampling With Little to No Additional Computation
Massachusetts Institute of Technology（麻省理工学院）
汤普森抽样已经成为一种普遍存在的方法，在线决策问题的强盗反馈。汤普森抽样算法的关键任务是从最优行为的后验中抽取样本。我们提出了一种替代的手臂选择规则，我们称之为TS-UCB，需要微不足道的额外计算工作，但提供显着的性能改善相对于汤普森采样。在每一步中，TS-UCB使用两个成分计算每组的分数：后验样本和置信上限。TS-UCB可用于这两个量可用的任何设置中，并且它在作为输入的后验样本数量方面是灵活的。TS-UCB在一套全面的合成和真实世界的数据集上实现了大幅降低的遗憾，包括来自Yahoo！以及Riquelme et al.（2018）提出的深度强盗套件中的一套基准数据集。最后，从理论的角度来看，我们建立了最优后悔保证TS-UCB的K-臂和线性强盗模型。
2021-05-04 cs.LG stat.ML
Thompson Sampling: An Asymptotically Optimal Finite Time Analysis
Telecom Paristech（巴黎电信学院）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）
自1933年以来，解决随机多臂强盗问题的汤普森采样的最优性问题一直是公开的。在本文中，我们积极回答它的情况下，伯努利奖励提供第一个有限时间分析，匹配的渐近速率在莱和罗宾斯的下限的累积遗憾。证明是伴随着与其他最优策略的数值比较，实验一直缺乏在文献中，直到现在的伯努利的情况下。
2012-07-19 cs.LG stat.ML
Neural Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
汤普森采样算法是求解上下文多臂强盗问题的最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，它适应深度神经网络的探索和开发。在我们的算法的核心是一个新的后验分布的奖励，其平均值是神经网络逼近器，其方差是建立在相应的神经网络的神经切线功能。我们证明了，提供的基本奖励函数是有界的，该算法是保证实现$\mathcal{O}(T^{1/2})$，它匹配的总轮数$T$方面的其他上下文强盗算法的遗憾的累积遗憾。与其他基准的强盗算法在各种数据集上的实验比较证实了我们的理论。
2021-12-30 cs.LG stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University（哥伦比亚大学）
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索，其确定伪动作上的概率分布（即，采样参数）作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明，直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点，并提供了有意义的改进，即使在长时间的问题，标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Thompson Sampling Is 2-Competitive for Mistakes
研究贝叶斯博弈模型，证明汤普森采样在错误率方面最多是其他策略的两倍，适用于特定条件下的随机博弈，证实相关猜想，且结果在多种权重序列下成立。
2026-07-15 cs.LG stat.ML
Double Thompson Sampling for Dueling Bandits
University of California, Davis（加州大学戴维斯分校）
本文提出了一种求解决斗强盗问题的双汤普森采样（D-TS）算法。如其名称所示，D-TS根据汤普森采样选择第一和第二候选。具体而言，D-TS保持偏好矩阵的后验分布，并通过从后验分布中采样两次来选择用于比较的一对手臂。这个简单的算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为其特殊情况。对于一般的Copeland决斗土匪，我们证明了D-TS实现了$O(K^2 \log T)$遗憾。对于孔多塞决斗强盗，我们进一步简化了D-TS算法，并表明简化的D-TS算法实现了$O(K \log T + K^2 \log \log T)$遗憾。仿真结果表明，基于合成和真实世界的数据的D-TS算法的有效性。
2016-10-27 cs.LG stat.ML
On the Suboptimality of Thompson Sampling in High Dimensions
在本文中，我们考虑汤普森采样（TS）的组合半土匪。我们证明，也许令人惊讶的是，TS是次优的这个问题的意义上说，它的遗憾的规模呈指数级的环境尺寸，其极大极小遗憾规模几乎是线性的。这种现象发生在各种各样的假设下，包括非线性和线性奖励函数，具有伯努利分布的奖励和均匀的先验。我们还表明，包括固定量的强制探索TS并不能缓解这个问题。我们补充我们的理论结果与数值结果表明，在实践中TS确实可以在一些高维的情况下表现得很差。
2021-10-20 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Thompson Sampling via Local Uncertainty
McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
汤普森抽样是一种有效的序贯决策算法，它利用后验不确定性来解决探索-开发困境。最近，人们对将贝叶斯神经网络集成到汤普森采样中产生了极大的兴趣。这些方法大多依赖于全局变量的不确定性进行探索。在本文中，我们提出了一个新的概率建模框架汤普森采样，局部潜变量的不确定性被用来采样的平均回报。采用变分推断逼近局部变量的后验，并进一步引入半隐式结构以增强其表达能力。我们在八个上下文bandit基准数据集上的实验结果表明，由局部不确定性引导的Thompson采样在具有低计算复杂度的同时实现了最先进的性能。
2020-08-05 cs.LG stat.ME stat.ML
Thompson Sampling is Asymptotically Optimal in General Environments
Australian National University（澳大利亚国立大学）；University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
本文讨论了在可数类一般随机环境下的非参数强化学习中的一种Thompson采样方法。这些环境可以是非马尔可夫、非遍历和部分可观测的。我们表明，汤普森采样学习环境类的意义上，（1）渐近收敛到最优值的平均值和（2）给定的可恢复性假设后悔是次线性的。
2016-06-03 cs.AI cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Thompson Sampling for Pursuit-Evasion Problems
NC State University（北卡罗来纳州立大学）
追踪-规避是一个多智能体序贯决策问题，其中一组被称为追踪者的智能体协调它们在空间域中的遍历，以定位试图规避它们的智能体。追踪规避问题出现在许多重要的应用领域，包括防御和路由规划。学习最佳协调追求者的行为，以最大限度地减少时间捕获的逃避者是具有挑战性的，因为一个大的动作空间和稀疏的嘈杂的状态信息，因此，以前的方法主要依赖于反演算法。我们提出了一个变体的汤普森采样的追求逃避，允许应用现有的基于模型的规划算法。这种方法是通用的，因为它允许任意数量的追踪者，一般的空间域，以及由线人提供的辅助信息的整合。在一套模拟实验中，汤普森采样的追求逃避显着减少时间捕获相对于竞争的算法。
2018-11-11 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们设计和分析的经典汤普森采样（TS）过程中的贝叶斯优化（BO）的设置功能评估是昂贵的，但可以并行执行的变化。我们的理论分析表明，在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果：使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外，通过建模完成函数评估所需的时间，我们表明，在时间约束下，异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析，表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些，建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Thompson Sampling for Dynamic Pricing
Walmart Labs（沃尔玛实验室）
在本文中，我们采用主动学习算法的动态定价在一个著名的电子商务网站。动态定价涉及定期更改项目的价格，并使用定价决策的反馈来更新项目的价格。最流行的动态定价方法使用被动学习方法，其中算法使用历史数据来学习定价问题的各种参数，并使用更新的参数来生成一组新的价格。我们表明，可以使用主动学习算法，如汤普森采样，以更有效地学习的基本参数的定价问题。我们将我们的算法应用到一个真正的电子商务系统，并表明该算法确实提高了收入相比，使用被动学习的定价算法。
2018-02-08 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
A Note on Information-Directed Sampling and Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了三种贝叶斯式多臂强盗算法：信息定向抽样、汤普森抽样和广义汤普森抽样。目的是对这三种算法及其遗憾界给出一个直观的解释，并提供一些在原论文中省略的推导。
2015-03-24 cs.AI cs.LG
