On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Time-Sensitive Bandit Learning and Satisficing Thompson Sampling
Northwestern University（西北大学）；Stanford University（斯坦福大学）
关于强盗学习和后悔分析的文献集中在目标是以限制探索成本的方式收敛于最优行动的背景下。这种取向的一个缺点是，它没有以连贯的方式对待时间偏好。当最佳行动相对于接近最佳行动而言学习成本较高时，时间偏好起着重要的作用。这种局限性不仅限制了理论结果的相关性，而且影响了算法的设计。事实上，汤普森抽样和UCB等流行方法在这种情况下可能表现不佳。在本文中，我们考虑折扣，而不是累积的遗憾，折扣因子编码的时间偏好。我们提出了满意的汤普森采样-汤普森采样的变化-并建立了一个强大的折扣遗憾界这个新的算法。
2017-04-28 cs.LG
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Double Thompson Sampling for Dueling Bandits
University of California, Davis（加州大学戴维斯分校）
本文提出了一种求解决斗强盗问题的双汤普森采样（D-TS）算法。如其名称所示，D-TS根据汤普森采样选择第一和第二候选。具体而言，D-TS保持偏好矩阵的后验分布，并通过从后验分布中采样两次来选择用于比较的一对手臂。这个简单的算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为其特殊情况。对于一般的Copeland决斗土匪，我们证明了D-TS实现了$O(K^2 \log T)$遗憾。对于孔多塞决斗强盗，我们进一步简化了D-TS算法，并表明简化的D-TS算法实现了$O(K \log T + K^2 \log \log T)$遗憾。仿真结果表明，基于合成和真实世界的数据的D-TS算法的有效性。
2016-10-27 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Thompson Sampling for Budgeted Multi-armed Bandits
University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
Thompson抽样算法是最早提出的多臂强盗（MAB）随机算法之一。在本文中，我们推广的汤普森抽样到martedMAB，其中有随机成本的拉臂和总成本的预算约束。我们从伯努利强盗的例子开始，其中一只手臂的随机奖励（成本）是从伯努利分布中独立采样的。在这种情况下，为了实现汤普森采样算法，在每一轮，我们从每个手臂的奖励和成本的后验分布中采样两个数字，获得它们的比率，选择具有最大比率的手臂，然后更新后验分布。我们证明了该算法的分布依赖遗憾界是$O(\ln B)$，其中$B$表示预算。通过引入Bernoulli试验，将该算法推广到报酬（成本）服从一般分布的情形，并证明了该算法的后悔界几乎保持不变.仿真结果验证了该算法的有效性。
2015-05-01 cs.LG
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
Generalized Thompson Sampling for Contextual Bandits
Microsoft Research（微软研究院）
Thompson Sampling是解决多武装匪徒的最古老的算法之一，最近已被证明具有最先进的性能。经验的成功导致了极大的兴趣，在理论上理解这一启发式。在本文中，我们处理这个问题的方式与现有的努力非常不同。特别是，出于汤普森采样和指数更新之间的连接，我们提出了一个新的家庭的算法称为广义汤普森采样的专家学习框架，其中包括汤普森采样作为一个特殊情况。与大多数专家学习算法类似，广义汤普森采样使用损失函数来调整专家的权重。一般的遗憾界，这也是实例化的两个重要的损失函数：平方损失和对数损失。在现有的界限相比，我们的研究结果适用于相当普遍的背景土匪。更重要的是，他们量化了“先验”分布对后悔界限的影响。
2013-10-27 cs.AI cs.LG stat.ML
Double-Linear Thompson Sampling for Context-Attentive Bandits
IBM（国际商业机器公司）；Orange（奥兰治公司）；IBM Research AI（IBM研究院人工智能部门）；Mila（米拉魁北克人工智能研究所）
在本文中，我们分析和扩展一个在线学习框架称为上下文注意的强盗，各种实际应用的动机，从医疗诊断对话系统，由于观察成本只有一个小的子集的潜在大量的上下文变量可以观察到在每次迭代，但是，代理有自由选择哪些变量进行观察。我们推导出一种新的算法，称为上下文注意汤普森采样（CATS），它建立在线性汤普森采样方法，使其适应上下文注意强盗设置。我们提供了一个理论上的遗憾分析和广泛的实证评估，证明了所提出的方法在各种现实生活中的数据集上优于几种基线方法
2020-10-15 cs.AI cs.LG
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Analysis of Thompson Sampling for the multi-armed bandit problem
Microsoft Research India（微软印度研究院）
多臂强盗问题是研究序贯决策问题中探索/开发权衡的一个流行模型。现在有许多算法可用于这个研究得很好的问题。最早的算法之一，由W. R.汤普森，可以追溯到1933年。该算法被称为Thompson Sampling，是一种自然贝叶斯算法。其基本思想是选择一个手臂发挥根据其概率是最好的手臂。汤普森采样算法已被实验证明是接近最佳。此外，它是有效的实施，并表现出几个理想的属性，如延迟反馈的小遗憾。然而，这种算法的理论理解是相当有限的。在本文中，我们首次证明了汤普森抽样算法实现对数期望后悔的多臂强盗问题。更准确地说，对于双臂强盗问题，期望的时间后悔$T$是$O(\frac{\ln T}Δ + \frac{1}{Δ^3})$。而且，对于$N$ -武装强盗问题，$T$的期望后悔时间是$O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$ .我们的边界是最优的，但对$Δ_i$的依赖和大哦中的常数因子。
2012-04-09 cs.DS cs.LG
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；DeepMind；Duke University（杜克大学）；Norwegian University of Science and Technology（挪威科技大学）
我们提出了一个新的框架结构化土匪，我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动，潜变量和观察，从而统一和扩展了许多现有的模型，如组合半土匪，级联土匪，低秩土匪。我们开发了新的在线学习算法，学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动，我们从模型参数的后验中采样，然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题，并表明，他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan（密歇根大学）
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验（例如，尖峰和平板），以模拟未知参数，并提供一个接近最佳的上限预期的累积遗憾。据我们所知，这是第一个工作，提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度，我们使用变分推断代替马尔可夫链蒙特卡罗（MCMC）来近似后验分布。大量的模拟表明，我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
Thompson Sampling for Unimodal Bandits
在本文中，我们提出了一个汤普森采样算法的\emph{unimodal}土匪，其中的预期回报是单峰的偏序武器。为了更好地利用单峰结构，在每一步，而不是从整个决策空间的探索，我们的算法作出决定，根据后验分布只在附近的手臂，具有最高的经验均值估计。从理论上证明了在Bernoulli报酬下，算法的遗憾度达到了单峰强盗的下界，因此是渐近最优的。对于高斯奖励，我们的算法的遗憾是$\mathcal{O}(\log T)$，这是远远优于标准的汤普森采样算法。大量的实验证明了该算法在合成数据集和实际应用中的有效性。
2021-06-16 cs.AI cs.LG
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看，\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数，而不是最佳的行动或最佳的政策，在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明，用先验分布的熵来约束遗憾，并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是，物流强盗$d$维参数，$K$行动，Lipschitz logits，我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限，不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
Optimal Thompson Sampling strategies for support-aware CVaR bandits
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；CIRAD（法国农业国际合作研究发展中心）；Alliance of CIAT and Bioversity International（国际热带农业中心与国际生物多样性中心联盟）
在本文中，我们研究了一个多臂强盗问题，其中每个臂的质量是衡量的条件风险值（CVaR）在一定水平的回报分布的α。虽然现有的工作在这种情况下主要集中在上置信界算法，我们引入了一个新的汤普森抽样方法CVaR土匪有限的奖励，是足够灵活，以解决各种问题的基础上的物理资源。在Riou & Honda（2020）最近的工作基础上，我们引入了连续有界奖励的B-CVTS和多项分布的M-CVTS。在理论方面，我们提供了一个非平凡的扩展，他们的分析，使理论上约束他们的CVaR后悔最小化性能。引人注目的是，我们的研究结果表明，这些策略是第一个可证明达到渐近最优的CVaR土匪，匹配相应的渐近下限为这个设置。此外，我们实证说明了汤普森采样方法的好处，无论是在一个现实的环境中模拟农业中的用例和各种合成的例子。
2022-03-21 cs.LG
Periodic Bootstrap Thompson Sampling For Periodically Non-Stationary Bandit Problems
针对周期性非平稳多臂老虎机问题，提出周期性自展汤普森采样（PBTS），通过同步信念重置、嵌入自展探索阶段克服传统TS缺陷。实验表明PBTS能显著降低累积遗憾，还阐述了其实际部署潜力与局限及未来研究方向。
2026-07-21 cs.LG
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Position-Based Multiple-Play Bandits with Thompson Sampling
Louis Vuitton（路易威登）；Univ. Rennes（雷恩大学）；Ensai（雷恩高等统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST；Université de Rennes 1（雷恩第一大学）；IRISA；INRIA（法国国家信息与自动化研究所）；IUF（法国大学研究院）
多播放强盗的目的是在网页上的相关位置显示相关的项目。我们介绍了一种新的基于带宽的算法，PB-MHB，在线推荐系统，它使用汤普森采样框架。该算法处理由基于位置的模型支配的显示设置。我们的抽样方法不需要作为输入的概率，用户看在网页中的一个给定的位置，在实践中，很难获得。模拟和真实数据集上的实验表明，我们的方法，具有较少的先验信息，提供更好的建议比国家的最先进的算法。
2021-03-03 cs.IR cs.LG stat.ML
Thompson sampling with the online bootstrap
Facebook, Inc.（脸书公司）；Radboud University（拉德堡德大学）
汤普森采样提供了一个解决方案，强盗问题，其中新的观察分配到武器的后验概率，一个手臂是最佳的。虽然有时容易实现和渐近最优，汤普森采样可以在大规模的强盗问题的计算要求，其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样（BTS），一个探试法解决强盗问题，修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS，并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后，我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性，我们通过模拟表明，BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改，特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Analysis of Thompson Sampling for Graphical Bandits Without the Graphs
The Ohio State University（俄亥俄州立大学）；Tulane University（杜兰大学）
我们研究多臂强盗问题与图形反馈，其中决策者被允许观察所选择的动作的相邻动作，在设置中的图形可能会随着时间的推移而变化，从来没有完全透露给决策者。我们发现，当反馈图是无向的，原始的汤普森采样达到最佳的（对数因子内）遗憾$\tilde{O}\left(\sqrt{β_0(G)T}\right)$在时间范围$T$，其中$β_0(G)$是潜在的图形的平均独立数。据我们所知，这是第一个结果表明，原来的汤普森采样是最佳的图形土匪在无向设置。在有向环境下，本文还给出了一个稍弱的后悔限.为了填补这一空白，我们提出了一个变种的汤普森采样，达到最佳的遗憾，在有向设置内的对数因子。这两种算法都可以有效地实现，并且在任何时候都不需要反馈图的知识。
2018-05-23 cs.AI cs.LG stat.ML
Thompson Sampling for the MNL-Bandit
Columbia University（哥伦比亚大学）；Columbia Business School（哥伦比亚商学院）
我们考虑参数不确定性下的顺序子集选择问题，其中在每个时间步，决策者选择一个子集的基数$K$从$N$可能的项目（武器），并观察（强盗）反馈的形式的索引的项目之一，在所述子集中，或没有。指标集中的每个项目都被赋予一定的价值（奖励），反馈由多项Logit（MNL）选择模型控制，其参数是先验未知的。决策者的目标是最大化的预期累积回报在有限的地平线$T$，或者，最小化的遗憾相对于一个预言，知道MNL参数。我们称之为MNL-强盗问题。这个问题是一个更大的家庭的勘探开发问题，涉及一个组合的目标，并出现在几个重要的应用领域的代表。我们提出了一种方法来适应汤普森采样这个问题，并表明它实现了接近最优的遗憾，以及有吸引力的数值性能。
2019-01-03 cs.LG
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind Paris（巴黎DeepMind）
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中，存在一个有效的政策与最佳渐近遗憾的问题（一个因素多对数的行动规模）仍然是开放的许多家庭的分布，包括相互独立的结果，更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略（CTS）的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果，我们提出了一个严密的分析CTS使用Beta先验。然后，我们看看更一般的设置多变量亚高斯的结果，并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策（ESCB），虽然最佳的，是不是计算效率。
2021-01-03 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
Risk-Constrained Thompson Sampling for CVaR Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。风险明显复杂化的基本回报最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们考虑一个流行的风险度量在定量金融称为条件风险价值（CVaR）。我们探讨了基于汤普森采样的算法CVaR-TS在此风险度量下的性能。我们提供了全面的比较，我们的遗憾边界与国家的最先进的L/UCB为基础的算法在可比的设置，并证明其明显的改善性能。我们还包括数值模拟经验验证CVaR-TS优于其他L/UCB为基础的算法。
2021-02-04 cs.LG stat.ML
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
Thompson Sampling for Contextual Bandits with Linear Payoffs
Microsoft Research（微软研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。然而，关于其理论性能的许多问题仍然悬而未决。本文设计并分析了一种推广的Thompson抽样算法，用于求解具有线性支付函数的随机上下文多臂强盗问题，当上下文由自适应对手提供时.这是上下文强盗问题中最重要和最广泛研究的版本之一。我们提供了第一个理论保证汤普森采样的上下文版本。我们证明了一个高概率的遗憾界的$\tilde{O}(d^{3/2}\sqrt{T})$（或$\tilde{O}(d\sqrt{T \log(N)})$），这是最好的遗憾界的任何计算效率的算法可用于这个问题在目前的文献中，并在一个因素的$\sqrt{d}$（或$\sqrt{\log(N)}$）的信息理论下限为这个问题。
2014-02-03 cs.DS cs.LG stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
On the Performance of Thompson Sampling on Logistic Bandits
Stanford University（斯坦福大学）
我们研究的逻辑强盗，其中奖励是二元的成功概率$\exp(βa^\top θ) / (1 + \exp(βa^\top θ))$和行动$a$和系数$θ$内的$d$维单位球。虽然先前的遗憾边界的算法，解决逻辑强盗表现出指数依赖于斜率参数$β$，我们建立了一个遗憾边界的汤普森采样是独立的$β$。具体来说，我们建立，当一组可行的行动是相同的可能的系数向量的集合，汤普森采样的贝叶斯后悔是$\tilde{O}(d\sqrt{T})$。我们还建立了一个适用范围更广的$\tilde{O}(\sqrt{dηT}/λ)$界限，其中$λ$是最坏情况下的最优对数几率，$η$是“脆弱性维度”，我们定义了一个新的统计量来捕获一个模型的最优行为无法满足其他模型的程度。我们表明，脆弱性尺寸起着至关重要的作用，显示，对于任何$ε> 0$，没有算法可以实现$\mathrm{poly}(d, 1/λ)\cdot T^{1-ε}$遗憾。
2019-05-12 cs.LG stat.ML
Thompson Sampling Algorithms for Cascading Bandits
National University of Singapore（新加坡国立大学）
由于在线推荐系统迫切需要高效优化，我们重新审视了Kveton等人提出的级联强盗模型。虽然汤普森采样（TS）算法已被证明是经验上优于上置信界（UCB）算法级联土匪，理论保证只知道后者。在本文中，我们首先提供了一个与问题相关的关于具有Beta-Bernoulli更新的TS算法的遗憾的上界;这个上界比Huyuk和Tekin（2019）在更一般的设置下最近的推导更紧。接下来，我们设计并分析了另一种具有高斯更新的TS算法TS-Cascade。TS-级联实现了国家的最先进的遗憾势必级联土匪。作为补充，我们考虑了级联强盗模型的线性推广，它允许在大型级联强盗问题实例中进行有效的学习。我们介绍并分析了TS算法，它享有的遗憾界，依赖于线性模型的维数，而不是项目的数量。最后，通过使用信息理论技术和明智地构建级联强盗的例子，我们得到了一个几乎匹配的遗憾下界的标准模型。本文首次建立了部分反馈随机组合强盗问题TS算法的理论保证。数值实验表明，所提出的TS算法相比现有的基于UCB的优越性。
2021-05-16 cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Bandits: a Markov Chain Monte Carlo Showdown
Georgia Institute of Technology（佐治亚理工学院）；Havard University School of Engineeering and Applied Sciences（哈佛大学工程与应用科学学院）
本研究首次系统评估了 Feel-Good Thompson 采样及其平滑变体在上下文赌博机中的性能，发现其在线性和逻辑设定中优于普通 TS，但在神经设定中较弱，并推荐作为现代基准的基线。
2025-10-24 cs.LG
Thompson Sampling For Stochastic Bandits with Graph Feedback
Chalmers University of Technology（查尔姆斯理工大学）；University of Lille（里尔大学）；Harvard University（哈佛大学）
我们提出了一种新的扩展的汤普森采样随机序贯决策问题与图反馈，即使当图结构本身是未知的和/或变化。我们提供了理论上的保证贝叶斯后悔的算法，其性能的图形的基本属性。汤普森抽样的优点是适用于不同的问题，而不需要构造复杂的置信上限。我们说明了它的性能，通过广泛的实验结果，真实和模拟网络与图形反馈。更具体地说，我们测试了我们的算法的幂律，种植分区和Erdo的Renyi图，以及来自Facebook和Flixster数据的图形。这些都表明，我们的算法明显优于采用置信上限的相关方法，即使后者使用更多的图的信息。
2017-01-16 cs.AI cs.LG
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Thompson Sampling for Multi-Objective Linear Contextual Bandit
Seoul National University（首尔国立大学）
本文提出MOL-TS算法，首次在多目标线性上下文老虎机问题中实现帕累托遗憾保证，通过有效帕累托前沿提升多目标优化性能。
2025-11-30 cs.LG stat.ML
Modified Meta-Thompson Sampling for Linear Bandits and Its Bayes Regret Analysis
College of Sciences, National University of Defense Technology（国防科技大学理学院）
针对现有元汤普森采样（Meta-TS）仅适用于高斯老虎机的局限，提出适配线性上下文老虎机的Meta-TSLB算法，推导其贝叶斯遗憾上界，补充相关理论分析，并通过实验验证其性能与泛化潜力。
2024-09-11 cs.LG math.OC stat.ML
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
A Broader View of Thompson Sampling
Columbia Business School（哥伦比亚商学院）
本文通过将汤普森采样重新解释为在线优化算法，揭示了其平衡探索与利用的机制，并提出了基于残差不确定性正则化的策略改进方法。
2026-05-27 cs.LG
VITS : Variational Inference Thompson Sampling for contextual bandits
CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris（法国综合理工学院CMAP、法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院）；Inria Paris（法国国家信息与自动化研究所巴黎分部）；Centre de Recherche des Cordeliers, INSERM, Universite de Paris, Sorbonne Universite（科尔德里耶研究中心、法国国家健康与医学研究院、巴黎大学、索邦大学）
本文提出基于高斯变分推断的VITS算法，用于上下文赌博机，提供高效易采样的后验近似，实现与传统TS同阶的次线性遗憾界，并在合成及真实数据上验证有效性。
2024-07-20 cs.LG stat.ML
Satisficing in Time-Sensitive Bandit Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
最近关于强盗学习的许多文献都集中在旨在收敛于最优动作的算法上。一个缺点是，这种取向没有考虑到时间敏感性，当学习最佳行动需要比接近最佳行动更多的信息时，时间敏感性可以发挥关键作用。事实上，流行的方法，如置信上限方法和汤普森抽样在这种情况下可能会表现不佳。我们认为，而不是学习一个满意的行动，这是接近最优的，而需要较少的信息，并提出满意的汤普森采样，一个算法，服务于这一目的。我们建立了一个一般的约束预期折扣后悔和研究的应用程序，满足汤普森抽样线性和无限武装土匪，证明任意大的利益汤普森抽样。我们还讨论了满足的概念和率失真理论之间的关系，这对选择满足行动提供了指导。
2020-01-07 cs.AI cs.LG
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Thompson Sampling Algorithms for Mean-Variance Bandits
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究所）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
多臂强盗（MAB）问题是一个经典的学习任务，它体现了探索与开发的权衡。但是，标准制剂未考虑{ \em风险}。在在线决策系统中，风险是首要关注的问题。在这方面，均值-方差风险度量是最常见的目标函数之一。在MAB问题的背景下，现有的均值-方差优化算法对奖励分布有不切实际的假设。我们开发了均值方差MAB的汤普森采样式算法，并提供了更少的假设高斯和伯努利土匪全面的遗憾分析。我们的算法实现了最著名的遗憾界的均值方差MABs，也达到了信息理论界在某些参数制度。实证模拟表明，我们的算法显着优于现有的基于LCB的算法的所有风险容忍度。
2020-08-03 cs.IT cs.LG math.IT
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似（即，高斯分布），这对于一般协方差矩阵的高维应用中的采样是低效的。此外，高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法，即，Langevin Monte Carlo Thompson Sampling（LMC-TS），使用马尔可夫链蒙特卡罗（MCMC）方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高，因为它只需要执行嘈杂的梯度下降更新，而无需构建拉普拉斯近似的后验分布。我们证明，该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪，即，线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验，这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Dueling Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对线性上下文对决老虎机缺乏后验采样方法的问题，提出含 Feel-Good 探索项的 FGTS.CDB，获得近极小极大遗憾并在合成数据上显著优于现有算法。
2024-04-09 cs.LG math.OC stat.ML
