Generalized Thompson Sampling for Contextual Bandits
Microsoft Research（微软研究院）
Thompson Sampling是解决多武装匪徒的最古老的算法之一，最近已被证明具有最先进的性能。经验的成功导致了极大的兴趣，在理论上理解这一启发式。在本文中，我们处理这个问题的方式与现有的努力非常不同。特别是，出于汤普森采样和指数更新之间的连接，我们提出了一个新的家庭的算法称为广义汤普森采样的专家学习框架，其中包括汤普森采样作为一个特殊情况。与大多数专家学习算法类似，广义汤普森采样使用损失函数来调整专家的权重。一般的遗憾界，这也是实例化的两个重要的损失函数：平方损失和对数损失。在现有的界限相比，我们的研究结果适用于相当普遍的背景土匪。更重要的是，他们量化了“先验”分布对后悔界限的影响。
2013-10-27 cs.AI cs.LG stat.ML
Double Thompson Sampling for Dueling Bandits
University of California, Davis（加州大学戴维斯分校）
本文提出了一种求解决斗强盗问题的双汤普森采样（D-TS）算法。如其名称所示，D-TS根据汤普森采样选择第一和第二候选。具体而言，D-TS保持偏好矩阵的后验分布，并通过从后验分布中采样两次来选择用于比较的一对手臂。这个简单的算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为其特殊情况。对于一般的Copeland决斗土匪，我们证明了D-TS实现了$O(K^2 \log T)$遗憾。对于孔多塞决斗强盗，我们进一步简化了D-TS算法，并表明简化的D-TS算法实现了$O(K \log T + K^2 \log \log T)$遗憾。仿真结果表明，基于合成和真实世界的数据的D-TS算法的有效性。
2016-10-27 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Minimal Exploration in Structured Stochastic Bandits
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）
本文介绍并解决了一类广泛的随机强盗问题的功能映射的手臂相应的奖励表现出一些已知的结构特性。大多数现有的结构（例如线性、Lipschitz、单峰、组合、决斗等）都在我们的框架内。我们推导出这些问题的渐近实例特定的遗憾下界，并开发OSSB，一个算法的遗憾匹配这个基本限制。OSSB不是基于“面对不确定性的乐观主义”或Thompson抽样的经典原则，而是旨在匹配次优武器的最小探索率，其特征在于在遗憾下限的推导中。我们说明了OSSB的效率使用数值实验的情况下，线性强盗问题，并表明OSSB优于现有的算法，包括汤普森采样。
2017-11-01 cs.AI cs.LG math.OC
Modified Meta-Thompson Sampling for Linear Bandits and Its Bayes Regret Analysis
College of Sciences, National University of Defense Technology（国防科技大学理学院）
针对现有元汤普森采样（Meta-TS）仅适用于高斯老虎机的局限，提出适配线性上下文老虎机的Meta-TSLB算法，推导其贝叶斯遗憾上界，补充相关理论分析，并通过实验验证其性能与泛化潜力。
2024-09-11 cs.LG math.OC stat.ML
Analysis of Thompson Sampling for Graphical Bandits Without the Graphs
The Ohio State University（俄亥俄州立大学）；Tulane University（杜兰大学）
我们研究多臂强盗问题与图形反馈，其中决策者被允许观察所选择的动作的相邻动作，在设置中的图形可能会随着时间的推移而变化，从来没有完全透露给决策者。我们发现，当反馈图是无向的，原始的汤普森采样达到最佳的（对数因子内）遗憾$\tilde{O}\left(\sqrt{β_0(G)T}\right)$在时间范围$T$，其中$β_0(G)$是潜在的图形的平均独立数。据我们所知，这是第一个结果表明，原来的汤普森采样是最佳的图形土匪在无向设置。在有向环境下，本文还给出了一个稍弱的后悔限.为了填补这一空白，我们提出了一个变种的汤普森采样，达到最佳的遗憾，在有向设置内的对数因子。这两种算法都可以有效地实现，并且在任何时候都不需要反馈图的知识。
2018-05-23 cs.AI cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Dueling Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对线性上下文对决老虎机缺乏后验采样方法的问题，提出含 Feel-Good 探索项的 FGTS.CDB，获得近极小极大遗憾并在合成数据上显著优于现有算法。
2024-04-09 cs.LG math.OC stat.ML
Coordinate Descent with Bandit Sampling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
坐标下降法通常通过一次更新一个随机决策变量（对应于一个坐标）来最小化成本函数。理想情况下，我们应该更新在成本函数中产生最大下降的决策变量。然而，找到这个坐标将需要检查所有这些坐标，这将有效地否定坐标下降旨在提供的计算易处理性的改进。为了解决这个问题，我们提出了一个新的自适应方法来选择一个坐标。首先，我们找到一个下限的金额成本函数减少时，坐标更新。然后，我们使用一个多臂的强盗算法来学习的坐标结果在最大的下限，通过交错这种学习与传统的坐标下降更新，除了坐标选择成比例的预期减少。我们表明，我们的方法提高了理论和实验上的坐标下降方法的收敛性。
2018-12-04 cs.AI cs.LG math.OC
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；DeepMind；Duke University（杜克大学）；Norwegian University of Science and Technology（挪威科技大学）
我们提出了一个新的框架结构化土匪，我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动，潜变量和观察，从而统一和扩展了许多现有的模型，如组合半土匪，级联土匪，低秩土匪。我们开发了新的在线学习算法，学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动，我们从模型参数的后验中采样，然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题，并表明，他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Sub-sampling for Efficient Non-Parametric Bandit Exploration
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（中央理工学院里尔分校）；UMR 9198-CRIStAL（UMR 9198-CRIStAL研究所）；F-59000 Lille France（法国里尔59000）
在本文中，我们提出了第一个多臂强盗算法的基础上重新采样，实现渐近最优的遗憾，同时为不同的家庭的武器（即伯努利，高斯和泊松分布）。不像汤普森采样，它需要指定一个不同的前在每种情况下是最佳的，我们的建议RB-SDA不需要任何分布相关的调整。RB-SDA属于子采样决斗算法（SDA）家族，它结合了BESA [1]和SSMC [2]算法首次使用的子采样思想和不同的子采样方案。具体地，RB-SDA使用随机块采样。我们进行了一项实验研究，评估这种有前途的新方法的灵活性和鲁棒性的探索在强盗模型。
2020-10-27 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Provable Anytime Ensemble Sampling Algorithms in Nonlinear Contextual Bandits
Duke University（杜克大学）
本文提出了一种统一的集成采样框架，开发了两种非线性上下文老虎机设置的 regret 绑定：GLM-ES 和 Neural-ES，通过最大似然估计在随机扰动数据上维护多个估计器，证明了 GLM-ES 和 Neural-ES 的 regret 绑定，并展示了其在非线性模型中的实用性。
2026-09-23 cs.AI cs.LG stat.ML
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen（哥本哈根大学）
我们推导出Zimmert和Seldin（2021）的Tsallis-INF算法的改进遗憾界。我们表明，在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界，其中$T$是时间范围，$K$是武器的数量，$Δ_i$是次优差距，$i^*$是最好的手臂，$C$是腐败的幅度，和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪，随机约束对抗土匪，随机土匪与对抗腐败的特殊情况。此外，我们提供了一个一般性的分析，它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Adversarial Attacks on Stochastic Bandits
UW-Madison（威斯康星大学麦迪逊分校）；Google Brain（谷歌大脑）
我们研究了对抗攻击，操纵奖励信号来控制随机多臂强盗算法选择的行动。我们提出了第一个攻击两个流行的强盗算法：$ε$ -贪婪和UCB，\emph{without}知识的平均回报。攻击者只能花费对数的努力，乘以一个特定于问题的参数，随着强盗问题变得更容易攻击，这个参数会变得更小。结果意味着攻击者可以轻松地劫持强盗算法的行为，以促进或阻碍某些行为，例如特定的医疗。随着土匪在实践中的使用越来越广泛，我们的研究暴露了一个重大的安全威胁。
2018-10-29 cs.AI cs.CR cs.LG
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样，离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性，这是典型的大规模贝叶斯推断和图形模型，并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系，并提供了三个算法的理论保证。实验结果表明，该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题，假设一个子模块和单调的奖励函数。在这项工作中，我们研究了一个更普遍的问题，即，当报酬函数不一定是单调的，并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法（RGL），并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明，在实验中，RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Non-Stationary Bandit Learning via Predictive Sampling
Jones Graduate School of Business, Rice University（里士满大学沃森商学院研究生院）；Stanford Graduate School of Business（斯坦福商学院）；Department of Management Science and Engineering, Department of Electrical Engineering, Stanford University（斯坦福大学管理科学与工程系、电气工程系）
本文提出预测采样算法，通过区分信息快速失效的行动来改进非平稳环境下的老虎机学习，理论证明其性能并验证其在复杂环境中的有效性。
2026-06-06 cs.LG stat.ML
Double-Linear Thompson Sampling for Context-Attentive Bandits
IBM（国际商业机器公司）；Orange（奥兰治公司）；IBM Research AI（IBM研究院人工智能部门）；Mila（米拉魁北克人工智能研究所）
在本文中，我们分析和扩展一个在线学习框架称为上下文注意的强盗，各种实际应用的动机，从医疗诊断对话系统，由于观察成本只有一个小的子集的潜在大量的上下文变量可以观察到在每次迭代，但是，代理有自由选择哪些变量进行观察。我们推导出一种新的算法，称为上下文注意汤普森采样（CATS），它建立在线性汤普森采样方法，使其适应上下文注意强盗设置。我们提供了一个理论上的遗憾分析和广泛的实证评估，证明了所提出的方法在各种现实生活中的数据集上优于几种基线方法
2020-10-15 cs.AI cs.LG
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Variance-Aware Feel-Good Thompson Sampling for Contextual Bandits
本文提出FGTSVA算法，通过扩展解耦系数技术，为一般奖励函数的上下文bandit实现了最优的方差感知Thompson Sampling的regret界。
2025-11-03 cs.LG math.OC stat.ML
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind Paris（巴黎DeepMind）
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中，存在一个有效的政策与最佳渐近遗憾的问题（一个因素多对数的行动规模）仍然是开放的许多家庭的分布，包括相互独立的结果，更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略（CTS）的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果，我们提出了一个严密的分析CTS使用Beta先验。然后，我们看看更一般的设置多变量亚高斯的结果，并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策（ESCB），虽然最佳的，是不是计算效率。
2021-01-03 cs.LG stat.ML
Information Directed Sampling for Stochastic Bandits with Graph Feedback
The Ohio State University（俄亥俄州立大学）；AT&T Labs Research（AT&T实验室研究中心）
考虑带图反馈的随机多臂强盗问题，允许决策者观察所选行动的相邻行动。我们允许图的结构随时间而变化，并考虑确定性和Erdens-Rényi随机图模型。对于这样的图反馈模型，我们首先提出了一种新的分析汤普森采样，导致更严格的性能约束比现有的工作。接下来，我们提出了新的基于信息定向采样的策略，这些策略在决策中是图形感知的。在确定性图的情况下，我们建立了一个贝叶斯后悔界的建议的政策，规模与团覆盖数的图，而不是行动的数量。在随机图的情况下，我们提供了一个贝叶斯遗憾界的建议的政策，规模与行动的数量的比率超过预期的观察每次迭代。据我们所知，这是第一个分析结果的随机土匪与随机图反馈。最后，使用数值评估，我们证明了我们提出的IDS策略优于现有的方法，包括适应的置信上限，$ε$贪婪和Exp 3算法。
2017-11-08 cs.AI cs.LG stat.ML
Ensemble sampling for linear bandits: small ensembles suffice
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
该研究首次对随机线性老虎机的集成采样进行严谨分析，证明规模为d log T量级的小型集成即可实现接近√T量级的遗憾值，且支持无限动作集，突破了集成规模需随T线性增长的限制。
2025-01-15 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似（即，高斯分布），这对于一般协方差矩阵的高维应用中的采样是低效的。此外，高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法，即，Langevin Monte Carlo Thompson Sampling（LMC-TS），使用马尔可夫链蒙特卡罗（MCMC）方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高，因为它只需要执行嘈杂的梯度下降更新，而无需构建拉普拉斯近似的后验分布。我们证明，该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪，即，线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验，这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Position-Based Multiple-Play Bandits with Thompson Sampling
Louis Vuitton（路易威登）；Univ. Rennes（雷恩大学）；Ensai（雷恩高等统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST；Université de Rennes 1（雷恩第一大学）；IRISA；INRIA（法国国家信息与自动化研究所）；IUF（法国大学研究院）
多播放强盗的目的是在网页上的相关位置显示相关的项目。我们介绍了一种新的基于带宽的算法，PB-MHB，在线推荐系统，它使用汤普森采样框架。该算法处理由基于位置的模型支配的显示设置。我们的抽样方法不需要作为输入的概率，用户看在网页中的一个给定的位置，在实践中，很难获得。模拟和真实数据集上的实验表明，我们的方法，具有较少的先验信息，提供更好的建议比国家的最先进的算法。
2021-03-03 cs.IR cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿）
研究了具有对抗扰动的线性动力系统的控制问题，其中控制器的唯一反馈是标量损失，而损失函数本身是未知的。对于这个问题，无论系统是已知的还是未知的，我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题，我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆，这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Thompson Sampling for Unimodal Bandits
在本文中，我们提出了一个汤普森采样算法的\emph{unimodal}土匪，其中的预期回报是单峰的偏序武器。为了更好地利用单峰结构，在每一步，而不是从整个决策空间的探索，我们的算法作出决定，根据后验分布只在附近的手臂，具有最高的经验均值估计。从理论上证明了在Bernoulli报酬下，算法的遗憾度达到了单峰强盗的下界，因此是渐近最优的。对于高斯奖励，我们的算法的遗憾是$\mathcal{O}(\log T)$，这是远远优于标准的汤普森采样算法。大量的实验证明了该算法在合成数据集和实际应用中的有效性。
2021-06-16 cs.AI cs.LG
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法，这个问题的遗憾是近最佳的，大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的，并且可以容忍大量的腐败，几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria（奥地利科学技术研究所）
考虑随机多臂强盗中的后悔最小化问题，当衡量一个臂的优良性不是平均收益，而是均值和方差的一般函数时，我们刻画了学习可能的条件，并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
BanditLP: Large-Scale Stochastic Optimization for Personalized Recommendations
LinkedIn
BanditLP通过结合神经汤普森采样与大规模线性规划，实现了大规模随机优化以提升个性化推荐效果，并在LinkedIn邮件营销中取得实际业务收益。
2026-01-22 cs.AI cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology（麻省理工学院）
汤普森采样提供了一种有效的技术，引入先验知识的多臂强盗问题，以及提供显着的经验性能。在本文中，我们重新审视汤普森抽样算法下的对称$α$稳定分布，这是一类重尾概率分布在金融和经济学中使用的奖励，在问题，如建模股票价格和人类行为。我们提出了一个有效的框架后验推理，这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界，并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果，我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会，并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Data Poisoning Attacks on Stochastic Bandits
The Ohio State University（俄亥俄州立大学）
随机多臂强盗形成了一类在线学习问题，在在线推荐系统、自适应医疗等许多方面有重要应用。尽管对这些学习算法的潜在攻击可能会劫持它们的行为，在现实世界的应用中造成灾难性的损失，但对强盗算法的对抗攻击知之甚少。本文提出了一个基于凸优化的离线攻击的框架，研究了基于凸优化的离线攻击对几种流行的Bandit算法的攻击。我们表明，攻击者可以迫使强盗算法拉目标手臂的概率很高，通过轻微的操纵数据中的奖励。然后研究了一种对bandit算法的在线攻击形式，提出了一种在不知道bandit算法的情况下对任意bandit算法的自适应攻击策略。我们的自适应攻击策略可以劫持的行为的强盗算法遭受线性遗憾只有对数成本的攻击。我们的研究结果表明，一个显着的安全威胁随机土匪。
2019-05-16 cs.CR cs.LG stat.ML
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan（密歇根大学）
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验（例如，尖峰和平板），以模拟未知参数，并提供一个接近最佳的上限预期的累积遗憾。据我们所知，这是第一个工作，提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度，我们使用变分推断代替马尔可夫链蒙特卡罗（MCMC）来近似后验分布。大量的模拟表明，我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
Sampling as Bandits: Evaluation-Efficient Design for Black-Box Densities
本文提出带老虎机重要性采样（BIS）框架，通过多臂老虎机的序列选择过程优化样本集，提高在目标密度计算昂贵时的采样效率，适用于多模态、重尾分布及现实贝叶斯推断任务。
2026-03-14 cs.LG stat.CO stat.ME
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Thompson Sampling Algorithms for Cascading Bandits
National University of Singapore（新加坡国立大学）
由于在线推荐系统迫切需要高效优化，我们重新审视了Kveton等人提出的级联强盗模型。虽然汤普森采样（TS）算法已被证明是经验上优于上置信界（UCB）算法级联土匪，理论保证只知道后者。在本文中，我们首先提供了一个与问题相关的关于具有Beta-Bernoulli更新的TS算法的遗憾的上界;这个上界比Huyuk和Tekin（2019）在更一般的设置下最近的推导更紧。接下来，我们设计并分析了另一种具有高斯更新的TS算法TS-Cascade。TS-级联实现了国家的最先进的遗憾势必级联土匪。作为补充，我们考虑了级联强盗模型的线性推广，它允许在大型级联强盗问题实例中进行有效的学习。我们介绍并分析了TS算法，它享有的遗憾界，依赖于线性模型的维数，而不是项目的数量。最后，通过使用信息理论技术和明智地构建级联强盗的例子，我们得到了一个几乎匹配的遗憾下界的标准模型。本文首次建立了部分反馈随机组合强盗问题TS算法的理论保证。数值实验表明，所提出的TS算法相比现有的基于UCB的优越性。
2021-05-16 cs.LG stat.ML
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究汤普森抽样算法的随机多武装土匪在批量设置，在其中，我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化（或批次）。我们提出了两个算法，并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面，并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen（哥本哈根大学）；University of Southern California（南加州大学）
我们开发了第一个通用的半强盗算法，同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究，但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了（Zimmert & Seldin，2019）最近的工作，用于多臂强盗的特殊情况，但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明，该算法在不同的环境下确实表现出良好的一致性。最后，我们提供了一个初步的扩展，我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Information Directed Sampling for Sparse Linear Bandits
Deepmind（深度思维）；Purdue University（普渡大学）
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型，并具有丰富的信息后悔结构。在这项工作中，我们探讨了使用信息导向抽样（IDS），自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界，几乎匹配现有的各种问题的情况下的下限，证明了自适应的IDS。为了有效地实现稀疏入侵检测系统，我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
