Optimal Exploration is no harder than Thompson Sampling
University of Washington（华盛顿大学）
针对纯探索线性老虎机问题，提出一种仅需后验采样和argmax预言机的算法，实现了渐近最优的指数收敛速率，且经验表现与现有最优方法相当。
2023-10-24 cs.LG stat.ML
Thompson Sampling via Local Uncertainty
McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
汤普森抽样是一种有效的序贯决策算法，它利用后验不确定性来解决探索-开发困境。最近，人们对将贝叶斯神经网络集成到汤普森采样中产生了极大的兴趣。这些方法大多依赖于全局变量的不确定性进行探索。在本文中，我们提出了一个新的概率建模框架汤普森采样，局部潜变量的不确定性被用来采样的平均回报。采用变分推断逼近局部变量的后验，并进一步引入半隐式结构以增强其表达能力。我们在八个上下文bandit基准数据集上的实验结果表明，由局部不确定性引导的Thompson采样在具有低计算复杂度的同时实现了最先进的性能。
2020-08-05 cs.LG stat.ME stat.ML
Dynamic Prior Thompson Sampling for Cold-Start Exploration in Recommender Systems
Roblox
动态先验汤普森采样通过控制新项目与现有项目的竞争概率，提升推荐系统冷启动探索的精度和效率。
2026-02-01 cs.LG
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
State-Aware Variational Thompson Sampling for Deep Q-Networks
National University of Singapore（新加坡国立大学）
汤普森采样是一种众所周知的方法，用于平衡强化学习中的探索和利用。它需要维护值-动作函数的后验分布;这对于具有高维状态-动作空间的任务来说通常是难以处理的。我们推导出DQNs的变分Thompson采样近似，它使用一个深度网络，其参数被学习到的变分噪声分布扰动。我们解释成功的NoisyNets方法\cite{fortunato2018noisy}作为一个近似的变分汤普森采样方法，我们得到的。此外，我们提出了状态感知噪声探索（SANE），它旨在通过允许非均匀扰动来改善NoisyNets，其中参数扰动的量取决于代理的状态。这是在辅助扰动模块的帮助下完成的，辅助扰动模块的输出是状态相关的，并且通过梯度下降来学习端到端。我们假设，这种状态感知的嘈杂的探索是特别有用的问题，在某些\textit{high risk}状态的探索可能会导致代理失败严重。我们证明了状态感知的探索方法的有效性，在关闭政策设置通过增加DQNs与辅助扰动模块。
2021-02-07 cs.AI cs.LG
Thompson Sampling for Noncompliant Bandits
Columbia University（哥伦比亚大学）；Netflix（网飞）
汤普森抽样是一种用于平衡强盗问题中的探索和利用的贝叶斯方法，具有理论保证，并在许多领域表现出强大的经验性能。传统的汤普森抽样，但是，假设完美的遵守，代理人的选择的行动被视为实施的行动。本文介绍了一个放松这一假设的随机不服从模型。我们证明，任何不遵守2臂伯努利强盗增加现有的遗憾界。通过我们的不合规模型，我们推导出汤普森抽样变量，这些变量可以显式处理观察到的和潜在的不合规行为。通过广泛的实证分析，我们证明了我们的算法在兼容和不兼容的环境中匹配或优于传统的汤普森采样。
2018-12-03 cs.LG stat.ML
Thompson Sampling for Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对实值组合纯探索问题，提出GenTS-Explore算法，首个能处理指数级动作集的算法，并证明其达到最优样本复杂度。
2023-11-15 cs.LG stat.ML
RIE-Greedy: Regularization-Induced Exploration for Contextual Bandits
University of Toronto（多伦多大学）；University of Michigan（密歇根大学）
本文提出了一种基于正则化的探索策略（RIE-Greedy），利用模型拟合过程中的随机性作为内在探索源，理论证明其在两臂老虎机情况下等价于Thompson Sampling，并在大规模商业环境中优于epsilon-greedy等基准方法。
2026-05-17 cs.LG stat.ML
Thompson Exploration with Best Challenger Rule in Best Arm Identification
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Kyoto University（京都大学）
针对固定置信度最佳臂识别问题，提出结合Thompson sampling与best challenger rule的新策略，无需强制探索且计算高效，在多臂问题上实现近最优并有竞争力的样本复杂度。
2025-08-11 cs.LG stat.ML
TSEB: More Efficient Thompson Sampling for Policy Learning
IIT Madras（印度理工学院马德拉斯分校）；University of Montreal（蒙特利尔大学）
在基于模型的解决方法中，学习问题的未知环境中，探索学习模型参数需要付出代价的遗憾。如果算法分别利用奖励或探索模型参数，则可以实现关于后悔或PAC界限的最佳性能。在本文中，我们提出了TSEB，汤普森采样为基础的自适应探索奖金的算法，旨在解决问题，更严格的PAC保证，同时谨慎的遗憾。所提出的方法保持分布的模型参数，连续细化更多的经验。在任何给定的时间，智能体解决从该分布中采样的模型，并且采样的奖励分布被探索奖金偏斜，以便生成更多信息的探索。然后，通过求解的策略用于生成更多的经验，这有助于更新模型参数的后验。我们提供了一个详细的分析PAC的保证，和收敛的建议的方法。我们表明，我们的自适应探索奖金鼓励了算法更好的PAC界限所需的额外探索。我们提供了两个不同的模拟域的实证分析。
2015-10-10 cs.LG
Thompson sampling for improved exploration in GFlowNets
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；DreamFold（DreamFold公司）；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）
本文将GFlowNets训练轨迹选择视为主动学习问题，提出基于贝叶斯技术的TS-GFN算法，通过维持策略近似后验分布来采样轨迹，在两个领域实现了比以往离线策略更优的探索和更快的收敛速度。
2023-06-30 cs.LG
Efficient Model-Based Reinforcement Learning Through Optimistic Thompson Sampling
University of Cambridge（剑桥大学）；Karolinska Institutet（卡罗林斯卡学院）
本文提出一种基于汤普森采样的乐观探索方法，首次支持对转移与奖励联合不确定性建模，并在 MuJoCo 和 VMAS 任务中证明其能显著加速稀疏奖励和难探索环境下的学习。
2025-03-10 cs.LG cs.RO
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Thompson Sampling with Virtual Helping Agents
Purdue University（普渡大学）；IIT (BHU)（印度理工学院（瓦拉纳西））；Stanford University（斯坦福大学）；Motorola Mobility（摩托罗拉移动）
我们解决了在线顺序决策的问题，即，平衡利用当前知识以最大化即时性能与探索新信息以使用多臂强盗框架获得长期利益之间的权衡。汤普森抽样是解决这种探索-开发困境的选择行动的方法之一。我们首先提出了一个通用的框架，有助于探索性地调整探索与开发权衡汤普森采样使用多个样本的后验分布。利用这个框架，我们提出了两个算法的多臂强盗问题，并提供理论界的累积遗憾。接下来，我们证明了经验改进的累积后悔性能的算法超过汤普森采样。我们还展示了该算法在真实世界数据集上的有效性。与现有的方法相反，我们的框架提供了一种机制，根据手头的任务来改变探索/开发的量。为此，我们将我们的框架扩展到两个额外的问题，即，最佳手臂识别和时间敏感学习的土匪，并比较我们的算法与现有的方法。
2022-09-16 cs.AI cs.LG
The Price of Incentivizing Exploration: A Characterization via Thompson Sampling and Sample Complexity
Stanford University（斯坦福大学）；Microsoft Research NYC（微软研究院纽约）
我们考虑激励探索：一个版本的多武装土匪的武器的选择是由自利代理控制，算法只能发出建议。算法控制着信息的流动，信息不对称可以激励智能体进行探索。先前的工作实现了最佳的后悔率乘法因子，成为任意大的贝叶斯先验，并按指数级的武器数量。一个更基本的问题是对每个手臂进行一次采样，这也会遇到类似的因素。我们关注的是激励的代价：广义上说，为了激励相容而导致的业绩损失。我们证明了汤普森采样，一个标准的强盗算法，是激励兼容的，如果初始化有足够多的数据点。因此，由于激励措施造成的业绩损失仅限于收集这些数据点的最初几轮。这个问题在很大程度上被简化为样本的复杂性：需要多少轮？我们解决这个问题，提供匹配的上限和下限，并实例化他们在各种推论。通常，最佳样本复杂度在臂数上是多项式的，在“信念强度”上是指数的。
2022-06-12 cs.DS cs.GT cs.LG
When and why randomised exploration works (in linear bandits)
Criteo AI Lab（Criteo AI实验室）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出一种不依赖强制乐观或后验膨胀的分析方法，证明在动作空间光滑且强凸的d维线性赌博机中，随机探索算法（如汤普森采样）可实现O(d√n log(n))的n步遗憾界，首次表明在非平凡线性赌博机设置中汤普森采样能达到最优维度依赖。
2026-06-03 cs.LG stat.ML
Meta-Thompson Sampling
Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
如何有效地进行网络学习是在线学习的一个基本问题。我们提出了一个变体的汤普森采样，学习更好地探索，因为它与来自未知的先验的强盗实例相互作用。该算法元学习先验知识，因此我们称之为MetaTS。我们提出了几种有效的实现MetaTS和分析它在高斯强盗。我们的分析显示了元学习的好处，是一个更广泛的兴趣，因为我们得到了一个新的先验依赖贝叶斯后悔界汤普森采样。我们的理论得到了实证评估的补充，这表明MetaTS能够快速适应未知的先验。
2021-06-23 cs.LG stat.ML
Freshness-Aware Thompson Sampling
Orange Labs（奥兰治实验室）
为了跟踪用户内容的动态性，研究人员最近开始将用户与上下文感知推荐系统（CARS）之间的交互建模为系统需要处理探索和利用困境的强盗问题。在这个意义上，我们建议研究新鲜度的用户的内容在CARS通过强盗问题。本文介绍了一种新的算法FA-TS，该算法根据用户的风险情况来管理新鲜文档的推荐。对实验结果的深入评价和详细分析揭示了勘探/开采（exr/exp）行为的几个重要发现。
2014-09-29 cs.IR cs.LG
On the Suboptimality of Thompson Sampling in High Dimensions
在本文中，我们考虑汤普森采样（TS）的组合半土匪。我们证明，也许令人惊讶的是，TS是次优的这个问题的意义上说，它的遗憾的规模呈指数级的环境尺寸，其极大极小遗憾规模几乎是线性的。这种现象发生在各种各样的假设下，包括非线性和线性奖励函数，具有伯努利分布的奖励和均匀的先验。我们还表明，包括固定量的强制探索TS并不能缓解这个问题。我们补充我们的理论结果与数值结果表明，在实践中TS确实可以在一些高维的情况下表现得很差。
2021-10-20 cs.LG stat.ML
Deep Bandits Show-Off: Simple and Efficient Exploration with Deep Networks
Fudan University（复旦大学）；IBM Research AI（IBM研究院）
由于探索-利用困境带来的根本问题，设计高效的探索是强化学习的核心。像汤普森采样这样的贝叶斯探索策略通过建模和更新动作-价值函数（环境的结果模型）的参数分布，以原则性的方式解决了这种权衡。然而，这种技术变得不可行的复杂的环境中，由于保持概率分布的参数相应的复杂性的结果模型的计算棘手。此外，为缓解该问题而引入的近似技术通常会导致较差的探索-利用权衡，如在具有近似后验方法的深度神经网络模型的情况下所观察到的，该方法已被证明在深度强盗场景中表现不佳。在本文中，我们介绍了样本平均不确定性（SAU），一个简单而有效的不确定性措施的上下文土匪。虽然像汤普森抽样这样的贝叶斯方法通过首先量化结果模型参数的可变性来间接估计结果的不确定性，但SAU是一种基于值预测直接估计结果的不确定性的频率主义方法。重要的是，我们从理论上证明了SAU估计的不确定性度量渐近匹配汤普森采样提供的不确定性，以及其遗憾界。由于其简单性，SAU可以无缝地应用于深度上下文的强盗，作为一个非常可扩展的替代epsilon贪婪的探索。我们通过在几个真实世界的数据集上显示基于SAU的探索在适度的计算成本下优于当前最先进的深度贝叶斯强盗方法来实证我们的理论。代码可在\url{https://github.com/ibm/sau-explore}上获得。
2021-10-26 cs.LG stat.ML
An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑上下文强盗问题，其中玩家根据过去的观察依次做出决策，以最大化累积奖励。虽然已经提出了许多算法的上下文强盗，他们中的大多数依赖于找到最大似然估计在每次迭代，这需要$O(t)$时间在$t$-th迭代和内存效率低。解决这个问题的一种自然方法是应用在线随机梯度下降（SGD），以便每步时间和内存复杂度可以降低到相对于$t$恒定，但基于在线SGD更新的上下文强盗策略，平衡探索和利用仍然难以捉摸。在这项工作中，我们表明，在线SGD可以应用到广义线性强盗问题。所提出的SGD-TS算法使用单步SGD更新来利用过去的信息，并使用汤普森采样进行探索，实现了$\tilde{O}(\sqrt{T})$遗憾，总时间复杂度在$T$和$d$中线性缩放，其中$T$是总轮数，$d$是特征数。实验结果表明，SGD-TS始终优于现有的算法在合成和真实的数据集。
2021-06-05 cs.LG stat.ML
TS-Insight: Visualizing Thompson Sampling for Verification and XAI
University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）
TS-Insight是一个可视化分析工具，通过追踪各臂的后验分布、证据计数和采样结果，揭示汤普森采样算法的内部决策机制，以支持验证、诊断与可解释性，提升敏感领域中的信任与部署效果。
2025-08-21 cs.AI cs.HC cs.LG
Neural Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
汤普森采样算法是求解上下文多臂强盗问题的最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，它适应深度神经网络的探索和开发。在我们的算法的核心是一个新的后验分布的奖励，其平均值是神经网络逼近器，其方差是建立在相应的神经网络的神经切线功能。我们证明了，提供的基本奖励函数是有界的，该算法是保证实现$\mathcal{O}(T^{1/2})$，它匹配的总轮数$T$方面的其他上下文强盗算法的遗憾的累积遗憾。与其他基准的强盗算法在各种数据集上的实验比较证实了我们的理论。
2021-12-30 cs.LG stat.ML
Thompson Sampling with Information Relaxation Penalties
Columbia University（哥伦比亚大学）
我们考虑了贝叶斯环境下的有限时域多臂强盗（MAB）问题，为此我们提出了一个信息松弛抽样框架。有了这个框架，我们定义了一个直观的家庭的控制策略，包括汤普森采样（TS）和贝叶斯最优策略作为端点。类似于TS，在每个决策时期拉一个相对于随机采样参数最好的手臂，我们的算法对整个未来的奖励实现进行采样，并采取相应的最佳行动。然而，这是在存在“惩罚”的情况下进行的，这些惩罚旨在补偿未来信息的可用性。我们开发了几种新的政策和性能界限MAB的问题，在提高性能和增加两个端点之间的计算复杂性方面有所不同。我们的政策可以被看作是自然的概括TS，同时纳入知识的时间范围，并明确考虑勘探开发权衡。我们证明了相关的结构性能界限和次优差距的结果。数值实验表明，这类新的政策表现良好，特别是在有限的时间范围内引入显着的勘探开发紧张局势的问题。最后，受有限时域Gittins指数的启发，我们提出了一个建立在我们的框架上的索引策略，该框架在我们的数值实验中特别优于最先进的算法。
2021-06-16 cs.LG stat.ML
Risk-Constrained Thompson Sampling for CVaR Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。风险明显复杂化的基本回报最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们考虑一个流行的风险度量在定量金融称为条件风险价值（CVaR）。我们探讨了基于汤普森采样的算法CVaR-TS在此风险度量下的性能。我们提供了全面的比较，我们的遗憾边界与国家的最先进的L/UCB为基础的算法在可比的设置，并证明其明显的改善性能。我们还包括数值模拟经验验证CVaR-TS优于其他L/UCB为基础的算法。
2021-02-04 cs.LG stat.ML
Maillard Sampling: Boltzmann Exploration Done Optimally
University of Arizona（亚利桑那大学）
Maillard（2013）的博士论文提出了一个相当模糊的算法来解决$K$ -armed bandit问题。这种不太为人所知的算法，我们称之为美拉德采样（MS），计算在\textit{closed form}中选择每个手臂的概率，这对于汤普森采样是不正确的，汤普森采样是业界广泛采用的强盗算法。这意味着，与汤普森抽样不同，来自运行MS的强盗记录数据可以很容易地用于反事实评估。出于这样的优点，我们重新审视MS，并进行了改进的分析，以表明它实现了渐近最优性和$\sqrt{KT\log{T}}$极大极小遗憾界，其中$T$是时间范围，这符合已知的界限渐近最优UCB。%的业绩。然后，我们提出了一个变种的MS称为MS $^+$，提高其极大极小绑定到$\sqrt{KT\log{K}}$。MS $^+$也可以被调整为积极的（即，较少的探索），而不会失去渐近最优性，这是现有的Bandit算法无法获得的独特特征。数值计算结果表明了MS $^+$的有效性。
2022-03-04 cs.LG stat.ML
Langevin Soft Actor-Critic: Efficient Exploration through Uncertainty-Driven Critic Learning
Mila（米拉研究院）；McGill University（麦吉尔大学）
针对连续控制RL中actor-critic算法样本效率差的问题，提出无模型算法LSAC，通过基于LMC的Thompson采样、平行回火及扩散样本正则化等不确定性估计技术增强critic学习，实现高效探索。
2025-01-29 cs.LG
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Time-Sensitive Bandit Learning and Satisficing Thompson Sampling
Northwestern University（西北大学）；Stanford University（斯坦福大学）
关于强盗学习和后悔分析的文献集中在目标是以限制探索成本的方式收敛于最优行动的背景下。这种取向的一个缺点是，它没有以连贯的方式对待时间偏好。当最佳行动相对于接近最佳行动而言学习成本较高时，时间偏好起着重要的作用。这种局限性不仅限制了理论结果的相关性，而且影响了算法的设计。事实上，汤普森抽样和UCB等流行方法在这种情况下可能表现不佳。在本文中，我们考虑折扣，而不是累积的遗憾，折扣因子编码的时间偏好。我们提出了满意的汤普森采样-汤普森采样的变化-并建立了一个强大的折扣遗憾界这个新的算法。
2017-04-28 cs.LG
Modified Meta-Thompson Sampling for Linear Bandits and Its Bayes Regret Analysis
College of Sciences, National University of Defense Technology（国防科技大学理学院）
针对现有元汤普森采样（Meta-TS）仅适用于高斯老虎机的局限，提出适配线性上下文老虎机的Meta-TSLB算法，推导其贝叶斯遗憾上界，补充相关理论分析，并通过实验验证其性能与泛化潜力。
2024-09-11 cs.LG math.OC stat.ML
Randomized Exploration for Linear Bandits via Absolute Perturbations
Department of Computing Science, University of Alberta, Canada（阿尔伯塔大学计算机科学系）
提出绝对汤普森采样（ATS），通过将符号扰动替换为绝对值确保乐观性，实现与TS相同的计算效率且易于分析，达到$\tilde{O}(d^{3/2}\sqrt{K})$遗憾界；进一步提出集成绝对汤普森采样（EATS），随集成规模增大趋近UCB行为。
2026-06-26 cs.LG
Thompson Sampling in Partially Observable Contextual Bandits
University of Georgia（佐治亚大学）；Southern Methodist University（南卫理公会大学）
研究部分可观测上下文赌博机中的决策问题，提出Thompson Sampling策略平衡探索与利用，通过新鞅技巧和浓度不等式建立多对数regret界限，并验证其有效性。
2024-02-15 cs.LG stat.ML
EVaDE : Event-Based Variational Thompson Sampling for Model-Based Reinforcement Learning
National University of Singapore（新加坡国立大学）
针对高维 MBRL 后验采样难题，本文提出 EVaDE，利用基于对象领域知识和 Gaussian dropout 事件卷积层实现变分 Thompson 采样，并在 100K Atari 上验证 EVaDE-SimPLe 的效果。
2025-01-16 cs.LG
Feel-Good Thompson Sampling for Contextual Dueling Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对线性上下文对决老虎机缺乏后验采样方法的问题，提出含 Feel-Good 探索项的 FGTS.CDB，获得近极小极大遗憾并在合成数据上显著优于现有算法。
2024-04-09 cs.LG math.OC stat.ML
A Broader View of Thompson Sampling
Columbia Business School（哥伦比亚商学院）
本文通过将汤普森采样重新解释为在线优化算法，揭示了其平衡探索与利用的机制，并提出了基于残差不确定性正则化的策略改进方法。
2026-05-27 cs.LG
Dual-Directed Algorithm Design for Efficient Pure Exploration
Stanford Graduate School of Business, Stanford University（斯坦福商学院、斯坦福大学）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（工业工程与决策分析系、香港科学与技术大学）
针对多类纯探索问题，提出基于对偶变量的统一算法设计原则，衍生出信息导向选择规则，使top-two汤普森采样达到渐近最优，并适用于阈值赌博机与ε-最优臂识别。
2025-05-27 cs.LG stat.ML
Thompson Sampling for Unimodal Bandits
在本文中，我们提出了一个汤普森采样算法的\emph{unimodal}土匪，其中的预期回报是单峰的偏序武器。为了更好地利用单峰结构，在每一步，而不是从整个决策空间的探索，我们的算法作出决定，根据后验分布只在附近的手臂，具有最高的经验均值估计。从理论上证明了在Bernoulli报酬下，算法的遗憾度达到了单峰强盗的下界，因此是渐近最优的。对于高斯奖励，我们的算法的遗憾是$\mathcal{O}(\log T)$，这是远远优于标准的汤普森采样算法。大量的实验证明了该算法在合成数据集和实际应用中的有效性。
2021-06-16 cs.AI cs.LG
Thompson Sampling-Based Learning and Control for Unknown Dynamic Systems
MIIT Key Laboratory of Servo Motion System Drive and Control, School of Automation, Beijing Institute of Technology（信息产业部伺服驱动与控制重点实验室，自动化学院，北京理工大学）；Department of Mechanical Engineering, Faculty of Engineering, University of Victoria（机械工程系，工程学院，维多利亚大学）；Center for Systems and Control, College of Engineering, Peking University（系统与控制中心，工程学院，北京大学）
本文提出基于再生核希尔伯特空间的参数化方法，结合汤普森采样框架，实现未知动态系统的主动学习控制，提升控制效率与稳定性。
2026-02-05 cs.LG
On the Prior Sensitivity of Thompson Sampling
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
随机强盗问题的Thompson抽样算法在经验上取得了成功，人们对它的理论性质有着浓厚的兴趣。该算法的一个重要优点是，它允许领域知识被方便地编码为先验分布，以更有效地平衡探索和利用。虽然人们普遍认为，当先验是好的（坏的）时，算法的遗憾是低的（高的），但对确切的依赖性知之甚少。在本文中，我们充分描述了算法的最坏情况下的后悔先验选择的依赖性，专注于一个特殊的，但有代表性的情况。这些结果也提供了洞察的算法的先验选择的一般敏感性。特别是，与$p$是真正的奖励生成模型的先验概率质量，我们证明$O(\sqrt{T/p})$和$O(\sqrt{(1-p)T})$遗憾的坏和好的先验情况下，分别上限，以及\emph{matching}下限。我们的证明依赖于发现的一个基本性质的汤普森采样和大量使用鞅理论，这两个出现在文学小说，尽我们所知。
2016-07-21 cs.AI cs.LG stat.ML
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University（斯坦福大学）
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次，代理是无法观察到她的行动，直到每一批结束的奖励。我们表明，在这个批量设置，汤普森采样达到相同的渐近性能的情况下，即时反馈后，每个动作，只要批量大小增加次指数。该结果意味着，即使汤普森采样在$ω(\log T)$批次中接收延迟反馈，它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案，减少了$Θ(\log T)$的批次数量，同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置，以前的结果依赖于批量设置的定制算法，优化了批量结构，并在实验开始时优先考虑探索，以消除次优行动。我们表明，汤普森采样，另一方面，是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
Thompson Sampling Algorithms for Mean-Variance Bandits
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究所）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
多臂强盗（MAB）问题是一个经典的学习任务，它体现了探索与开发的权衡。但是，标准制剂未考虑{ \em风险}。在在线决策系统中，风险是首要关注的问题。在这方面，均值-方差风险度量是最常见的目标函数之一。在MAB问题的背景下，现有的均值-方差优化算法对奖励分布有不切实际的假设。我们开发了均值方差MAB的汤普森采样式算法，并提供了更少的假设高斯和伯努利土匪全面的遗憾分析。我们的算法实现了最著名的遗憾界的均值方差MABs，也达到了信息理论界在某些参数制度。实证模拟表明，我们的算法显着优于现有的基于LCB的算法的所有风险容忍度。
2020-08-03 cs.IT cs.LG math.IT
Q-Star Meets Scalable Posterior Sampling: Bridging Theory and Practice via HyperAgent
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI and Robotics X（腾讯AI与机器人X实验室）
本文提出基于超模型框架的强化学习算法 HyperAgent，通过高效增量近似最优 Q 值后验实现探索，在大规模深度 RL 基准上表现稳健，并在表格设定下实现对数级每步计算复杂度和次线性遗憾。
2024-06-14 cs.AI cs.LG stat.ML
Analysis of Thompson Sampling for the multi-armed bandit problem
Microsoft Research India（微软印度研究院）
多臂强盗问题是研究序贯决策问题中探索/开发权衡的一个流行模型。现在有许多算法可用于这个研究得很好的问题。最早的算法之一，由W. R.汤普森，可以追溯到1933年。该算法被称为Thompson Sampling，是一种自然贝叶斯算法。其基本思想是选择一个手臂发挥根据其概率是最好的手臂。汤普森采样算法已被实验证明是接近最佳。此外，它是有效的实施，并表现出几个理想的属性，如延迟反馈的小遗憾。然而，这种算法的理论理解是相当有限的。在本文中，我们首次证明了汤普森抽样算法实现对数期望后悔的多臂强盗问题。更准确地说，对于双臂强盗问题，期望的时间后悔$T$是$O(\frac{\ln T}Δ + \frac{1}{Δ^3})$。而且，对于$N$ -武装强盗问题，$T$的期望后悔时间是$O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$ .我们的边界是最优的，但对$Δ_i$的依赖和大哦中的常数因子。
2012-04-09 cs.DS cs.LG
Adaptive Portfolio by Solving Multi-armed Bandit via Thompson Sampling
Zhejiang University（浙江大学）；Macqaurie University（麦考瑞大学）
作为现代投资组合理论的基石，马科维茨的均值-方差最优化模型被认为是投资组合管理的主要模型。但由于其参数难以估计，不能适用于所有时期。在某些情况下，简单的策略，如等权重和价值加权投资组合甚至可以获得更好的表现。在这种情况下，我们可以使用多个经典策略作为多臂强盗中的多个战略武器，从而自然地与投资组合选择问题建立联系。这也有助于通过在探索和利用之间进行权衡来最大化强盗算法中的回报。在本文中，我们提出了一个投资组合强盗策略，通过汤普森抽样，旨在使在线投资组合的选择，有效地利用多个武器之间的性能。同时，通过构建多个战略武器，可以得到适应不同投资时期的最优投资组合。此外，我们设计了一个新的奖励功能，根据用户的不同投资风险偏好，它可以适应各种投资风格。我们的实验结果表明，我们提出的投资组合策略在广泛的评估标准方面具有显著的优越性。
2019-11-14 cs.LG q-fin.PM stat.ML
Connecting Thompson Sampling and UCB: Towards More Efficient Trade-offs Between Privacy and Regret
University of Alberta（阿尔伯塔大学）
本文提出DP-TS-UCB算法，通过连接汤普森采样与UCB的探索机制，在差分隐私老虎机中实现隐私与遗憾的可调权衡，并给出GDP与遗憾界理论保证。
2025-06-05 cs.LG
Batched Thompson Sampling
Stanford University（斯坦福大学）
我们引入了一种新的随时批量汤普森抽样政策的多武装土匪代理观察她的行动的回报，并调整她的政策，只有在年底的一小部分批次。我们表明，该政策同时实现了一个问题相关的遗憾顺序$O(\log(T))$和一个极大极小遗憾顺序$O(\sqrt{T\log(T)})$，而批次的数量可以有界的$O(\log(T))$独立的问题实例在一个时间范围$T$。我们还表明，在预期中，我们的政策所使用的批次的数量可以由一个实例依赖的顺序$O(\log\log(T))$的界限。这些结果表明，汤普森采样保持相同的性能，在这种批量设置的情况下，当瞬时反馈后，每个动作，同时需要最小的反馈。这些结果还表明，汤普森采样执行竞争力最近提出的算法定制的批量设置。这些算法优化了给定时间范围$T$的批处理结构，并在实验开始时优先考虑探索，以消除次优操作。我们表明，汤普森采样与自适应的自适应策略相结合，可以实现类似的性能，而不知道的时间范围$T$的问题，而不必仔细优化批处理结构，以实现一个目标的遗憾界（即问题相关与极小极大遗憾）为一个给定的$T$。
2021-10-01 cs.LG
Periodic Bootstrap Thompson Sampling For Periodically Non-Stationary Bandit Problems
针对周期性非平稳多臂老虎机问题，提出周期性自展汤普森采样（PBTS），通过同步信念重置、嵌入自展探索阶段克服传统TS缺陷。实验表明PBTS能显著降低累积遗憾，还阐述了其实际部署潜力与局限及未来研究方向。
2026-07-21 cs.LG
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为，因此是异方差的。经典的探索策略，如置信上限算法和汤普森采样未能适当考虑异方差，即使在强盗设置。最近的研究结果，解决这个问题的土匪的动机，我们建议使用信息定向采样（IDS）的探索强化学习。作为我们的主要贡献，我们建立在分布式强化学习的最新进展，并提出了一种新的，易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏，并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Thompson Sampling for the MNL-Bandit
Columbia University（哥伦比亚大学）；Columbia Business School（哥伦比亚商学院）
我们考虑参数不确定性下的顺序子集选择问题，其中在每个时间步，决策者选择一个子集的基数$K$从$N$可能的项目（武器），并观察（强盗）反馈的形式的索引的项目之一，在所述子集中，或没有。指标集中的每个项目都被赋予一定的价值（奖励），反馈由多项Logit（MNL）选择模型控制，其参数是先验未知的。决策者的目标是最大化的预期累积回报在有限的地平线$T$，或者，最小化的遗憾相对于一个预言，知道MNL参数。我们称之为MNL-强盗问题。这个问题是一个更大的家庭的勘探开发问题，涉及一个组合的目标，并出现在几个重要的应用领域的代表。我们提出了一种方法来适应汤普森采样这个问题，并表明它实现了接近最优的遗憾，以及有吸引力的数值性能。
2019-01-03 cs.LG
Scalable Exploration via Ensemble++
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对汤普森采样在大规模场景下的计算难题，提出采用共享因子集成架构的Ensemble++探索框架，理论与实验均验证其在低集成规模下可实现优异的遗憾-计算权衡。
2025-10-28 cs.AI cs.HC cs.IT
Parallel Contextual Bandits in Wireless Handover Optimization
Noah’s Ark Lab Paris（巴黎诺亚方舟实验室）；Huawei Technologies Ltd（华为技术有限公司）
随着蜂窝网络变得越来越密集，无线基站参数的可扩展和动态调谐只能通过自动优化来实现。虽然上下文强盗框架出现作为这样一个任务的一个自然的候选人，其扩展到一个并行设置是不简单的：一个需要仔细适应现有的方法，充分利用这个问题的多代理结构。我们提出了两种方法：一种来自确定性的UCB类方法，另一种依赖于汤普森采样。由于其掠夺性，后者的直觉是更好地保持勘探开发平衡的土匪批。这一点在玩具实验中得到了验证，其中Thompson采样显示出对上下文变化的鲁棒性。最后，我们将这两种方法应用于一个真实的基站网络数据集，并证明汤普森采样优于手动调整和上下文UCB。
2019-01-21 cs.LG cs.NI stat.ML
Thompson Sampling Achieves $\tilde O(\sqrt{T})$ Regret in Linear Quadratic Control
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
汤普森抽样（Thompson Sampling，TS）是一种有效的不确定性决策方法，它从一个精心设计的分布中抽样，并根据观测数据进行更新。在这项工作中，我们研究了问题的自适应控制的稳定线性二次型调节器（LQR）使用TS，其中系统的动态是未知的。以前的工作已经建立了$\tilde O(\sqrt{T})$频率后悔是最优的LQR的自适应控制。然而，现有的方法要么只工作在限制性的设置，需要先验已知的稳定控制器，或利用计算棘手的方法。我们提出了一种有效的TS算法用于LQR的自适应控制，基于TS的自适应控制，TSAC，即使对于多维系统，也可以达到$\tilde O(\sqrt{T})$遗憾，从而解决了Abeille和Lazaric（2018）中提出的开放问题。TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效地探索环境来实现底层系统的快速稳定。我们的结果取决于开发一个新的下限的概率，TS提供了一个乐观的样本。通过仔细规定的早期探索策略和政策更新规则，我们表明，TS实现订单最优后悔多维稳定LQR的自适应控制。我们经验证明的性能和效率的TSAC在几个自适应控制任务。
2022-06-17 cs.LG cs.SY eess.SY
Sub-sampling for Efficient Non-Parametric Bandit Exploration
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（中央理工学院里尔分校）；UMR 9198-CRIStAL（UMR 9198-CRIStAL研究所）；F-59000 Lille France（法国里尔59000）
在本文中，我们提出了第一个多臂强盗算法的基础上重新采样，实现渐近最优的遗憾，同时为不同的家庭的武器（即伯努利，高斯和泊松分布）。不像汤普森采样，它需要指定一个不同的前在每种情况下是最佳的，我们的建议RB-SDA不需要任何分布相关的调整。RB-SDA属于子采样决斗算法（SDA）家族，它结合了BESA [1]和SSMC [2]算法首次使用的子采样思想和不同的子采样方案。具体地，RB-SDA使用随机块采样。我们进行了一项实验研究，评估这种有前途的新方法的灵活性和鲁棒性的探索在强盗模型。
2020-10-27 cs.LG stat.ML
Double Thompson Sampling in Finite stochastic Games
University of YYY（YYY大学）；Company Name（公司名称）；Institute of WWW（WWW研究所）
在有限折扣马尔可夫决策过程下，考虑了底层环境的状态转移矩阵未知的情况下的勘探与开发之间的权衡问题。针对这类问题，提出了一种双汤普森采样强化学习算法（简称双汤普森算法）。该算法利用$S$状态、$A$动作和直径$D$，在时间范围$T$内得到了总遗憾界为$\tilde{\mathcal{O}}(D\sqrt{SAT})$.该方法分为两部分，第一部分是传统的基于先验分布的转移矩阵后验抽样方法。在第二部分中，我们采用基于计数的后验更新方法来平衡局部最优行动和长期最优行动，以找到全局最优的博弈值。我们建立了$\tilde{\mathcal{O}}(\sqrt{T}/S^{2})$的后悔界限。这是目前已知的有限折扣马氏决策过程的最佳后悔界。数值结果证明了该方法的有效性和优越性。
2022-02-28 cs.GT cs.LG
