Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook(脸书)
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标(奖励)和一个约束的奖励相对于基线政策。然而,许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法,用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后,我们将我们的方法应用于现实世界的视频转码问题,并提供了一个实用的方法,导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Generalized Thompson Sampling for Contextual Bandits
Microsoft Research(微软研究院)
Thompson Sampling是解决多武装匪徒的最古老的算法之一,最近已被证明具有最先进的性能。经验的成功导致了极大的兴趣,在理论上理解这一启发式。在本文中,我们处理这个问题的方式与现有的努力非常不同。特别是,出于汤普森采样和指数更新之间的连接,我们提出了一个新的家庭的算法称为广义汤普森采样的专家学习框架,其中包括汤普森采样作为一个特殊情况。与大多数专家学习算法类似,广义汤普森采样使用损失函数来调整专家的权重。一般的遗憾界,这也是实例化的两个重要的损失函数:平方损失和对数损失。在现有的界限相比,我们的研究结果适用于相当普遍的背景土匪。更重要的是,他们量化了“先验”分布对后悔界限的影响。
2013-10-27 cs.AI cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University(兰卡斯特大学STOR-i博士训练中心);Department of Mathematics and Statistics, Lancaster University(兰卡斯特大学数学与统计系)
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而,它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下,给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度,最近提出的措施的复杂性的函数类,这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物,并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Provable Anytime Ensemble Sampling Algorithms in Nonlinear Contextual Bandits
Duke University(杜克大学)
本文提出了一种统一的集成采样框架,开发了两种非线性上下文老虎机设置的 regret 绑定:GLM-ES 和 Neural-ES,通过最大似然估计在随机扰动数据上维护多个估计器,证明了 GLM-ES 和 Neural-ES 的 regret 绑定,并展示了其在非线性模型中的实用性。
2026-09-23 cs.AI cs.LG stat.ML
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);DeepMind;Duke University(杜克大学);Norwegian University of Science and Technology(挪威科技大学)
我们提出了一个新的框架结构化土匪,我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动,潜变量和观察,从而统一和扩展了许多现有的模型,如组合半土匪,级联土匪,低秩土匪。我们开发了新的在线学习算法,学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动,我们从模型参数的后验中采样,然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题,并表明,他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Sub-sampling for Efficient Non-Parametric Bandit Exploration
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(中央理工学院里尔分校);UMR 9198-CRIStAL(UMR 9198-CRIStAL研究所);F-59000 Lille France(法国里尔59000)
在本文中,我们提出了第一个多臂强盗算法的基础上重新采样,实现渐近最优的遗憾,同时为不同的家庭的武器(即伯努利,高斯和泊松分布)。不像汤普森采样,它需要指定一个不同的前在每种情况下是最佳的,我们的建议RB-SDA不需要任何分布相关的调整。RB-SDA属于子采样决斗算法(SDA)家族,它结合了BESA [1]和SSMC [2]算法首次使用的子采样思想和不同的子采样方案。具体地,RB-SDA使用随机块采样。我们进行了一项实验研究,评估这种有前途的新方法的灵活性和鲁棒性的探索在强盗模型。
2020-10-27 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样,其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法,性能分析可在全上下文观测下使用。然而,很少有人知道的问题,上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪,并建立理论性能保证。从技术上讲,我们表明,所提出的政策尺度的遗憾与时间和武器的数量,线性的维度。此外,我们建立学习未知参数的速率,并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院)
该研究针对线性组合半老虎机问题,提出首个有限时间后悔不随维度指数增长的汤普森采样方法,并发现失配采样悖论,即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Information Directed Sampling for Stochastic Bandits with Graph Feedback
The Ohio State University(俄亥俄州立大学);AT&T Labs Research(AT&T实验室研究中心)
考虑带图反馈的随机多臂强盗问题,允许决策者观察所选行动的相邻行动。我们允许图的结构随时间而变化,并考虑确定性和Erdens-Rényi随机图模型。对于这样的图反馈模型,我们首先提出了一种新的分析汤普森采样,导致更严格的性能约束比现有的工作。接下来,我们提出了新的基于信息定向采样的策略,这些策略在决策中是图形感知的。在确定性图的情况下,我们建立了一个贝叶斯后悔界的建议的政策,规模与团覆盖数的图,而不是行动的数量。在随机图的情况下,我们提供了一个贝叶斯遗憾界的建议的政策,规模与行动的数量的比率超过预期的观察每次迭代。据我们所知,这是第一个分析结果的随机土匪与随机图反馈。最后,使用数值评估,我们证明了我们提出的IDS策略优于现有的方法,包括适应的置信上限,$ε$贪婪和Exp 3算法。
2017-11-08 cs.AI cs.LG stat.ML
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样,离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性,这是典型的大规模贝叶斯推断和图形模型,并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系,并提供了三个算法的理论保证。实验结果表明,该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay(巴黎萨克雷高等师范学院);CNRS(法国国家科学研究中心);Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);DeepMind(深度思维);CentraleSupélec(中央理工-高等电力学院)
随机秩一Bandits(Katarya et al,(2017 a,b))是一个简单的框架,用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾,但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子,然后提供了一个新的单峰汤普森采样(UTS)分析,最初由Paladino等人(2017)提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比,国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute(刘易斯-西格勒研究所);Princeton University(普林斯顿大学);Department of Computer Science(计算机科学系);Center for Statistics and Machine Learning(统计与机器学习中心)
我们解决的问题,后悔最小化的逻辑上下文土匪,其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下,以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程,我们提出了一个改进版本的汤普森采样,贝叶斯制定的上下文土匪接近最佳的性能。我们的方法,Polya-Gamma增强汤普森采样(PG-TS),实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间,并利用了高回报的武器,迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法,并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore(新加坡国立大学)
多臂强盗(MAB)问题是一个普遍存在的决策问题,体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标,部分原因是没有普遍认同的定义it. In本文中,我们认为熵风险(ER)的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Non-Stationary Bandit Learning via Predictive Sampling
Jones Graduate School of Business, Rice University(里士满大学沃森商学院研究生院);Stanford Graduate School of Business(斯坦福商学院);Department of Management Science and Engineering, Department of Electrical Engineering, Stanford University(斯坦福大学管理科学与工程系、电气工程系)
本文提出预测采样算法,通过区分信息快速失效的行动来改进非平稳环境下的老虎机学习,理论证明其性能并验证其在复杂环境中的有效性。
2026-06-06 cs.LG stat.ML
Double-Linear Thompson Sampling for Context-Attentive Bandits
IBM(国际商业机器公司);Orange(奥兰治公司);IBM Research AI(IBM研究院人工智能部门);Mila(米拉魁北克人工智能研究所)
在本文中,我们分析和扩展一个在线学习框架称为上下文注意的强盗,各种实际应用的动机,从医疗诊断对话系统,由于观察成本只有一个小的子集的潜在大量的上下文变量可以观察到在每次迭代,但是,代理有自由选择哪些变量进行观察。我们推导出一种新的算法,称为上下文注意汤普森采样(CATS),它建立在线性汤普森采样方法,使其适应上下文注意强盗设置。我们提供了一个理论上的遗憾分析和广泛的实证评估,证明了所提出的方法在各种现实生活中的数据集上优于几种基线方法
2020-10-15 cs.AI cs.LG
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology(KTH皇家理工学院)
本文基于提升信息比框架分析 Thompson Sampling,将遗憾界从二值奖励推广至 sub-Gaussian 奖励,并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille(里尔法国国家信息与自动化研究所);ENS Paris-Saclay(巴黎萨克雷高等师范学院);ENSAE(法国国家统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室);DeepMind Paris(巴黎DeepMind)
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中,存在一个有效的政策与最佳渐近遗憾的问题(一个因素多对数的行动规模)仍然是开放的许多家庭的分布,包括相互独立的结果,更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略(CTS)的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果,我们提出了一个严密的分析CTS使用Beta先验。然后,我们看看更一般的设置多变量亚高斯的结果,并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策(ESCB),虽然最佳的,是不是计算效率。
2021-01-03 cs.LG stat.ML
Ensemble sampling for linear bandits: small ensembles suffice
University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学)
该研究首次对随机线性老虎机的集成采样进行严谨分析,证明规模为d log T量级的小型集成即可实现接近√T量级的遗憾值,且支持无限动作集,突破了集成规模需随T线性增长的限制。
2025-01-15 cs.LG stat.ML
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University(比尔肯特大学)
分析了在半强盗反馈条件下,具有概率触发臂的组合多臂强盗的组合Thompson采样(CTS)的后悔性。我们假设学习者可以访问精确的优化预言,但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时,我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界,其中$m$表示基臂数目,$p_i$表示基臂$i$的最小非零触发概率,$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界(CUCB)通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology(加州理工学院);Purdue University(普渡大学)
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似(即,高斯分布),这对于一般协方差矩阵的高维应用中的采样是低效的。此外,高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法,即,Langevin Monte Carlo Thompson Sampling(LMC-TS),使用马尔可夫链蒙特卡罗(MCMC)方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高,因为它只需要执行嘈杂的梯度下降更新,而无需构建拉普拉斯近似的后验分布。我们证明,该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪,即,线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验,这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Thompson Sampling for Unimodal Bandits
在本文中,我们提出了一个汤普森采样算法的\emph{unimodal}土匪,其中的预期回报是单峰的偏序武器。为了更好地利用单峰结构,在每一步,而不是从整个决策空间的探索,我们的算法作出决定,根据后验分布只在附近的手臂,具有最高的经验均值估计。从理论上证明了在Bernoulli报酬下,算法的遗憾度达到了单峰强盗的下界,因此是渐近最优的。对于高斯奖励,我们的算法的遗憾是$\mathcal{O}(\log T)$,这是远远优于标准的汤普森采样算法。大量的实验证明了该算法在合成数据集和实际应用中的有效性。
2021-06-16 cs.AI cs.LG
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore(新加坡国立大学);California Institute of Technology(加州理工学院)
研究了指数家族强盗的Thompson抽样算法的后悔性,其中奖励分布来自一维指数家族,包括Bernoulli,Gaussian,Gamma,Exponential等常见的奖励分布,提出了一种Thompson抽样算法ExpTS,它使用了一种新的抽样分布,以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS,这同时产生有限时间后悔界以及渐近后悔界。特别地,对于具有指数族奖励的$K$ -武装强盗,在地平线上的ExpTS $T$是子UCB(问题依赖的有限时间后悔的强准则),极大极小最优直到因子$\sqrt{\log K}$,并且对于指数族奖励是渐近最优的。此外,我们提出了ExpTS $^+$,通过增加一个贪婪的开发步骤,除了在ExpTS中使用的抽样分布,以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法,并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的,概念上简单,可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Stochastic Optimization with Bandit Sampling
EPFL(洛桑联邦理工学院)
许多随机优化算法通过从训练集中均匀随机地采样数据点来动态地估计成本函数的梯度。然而,估计器可能具有较大的方差,这无意中减慢了算法的收敛速度。减少这种差异的一种方法是从精心选择的非均匀分布中对数据点进行采样。在这项工作中,我们提出了一种新的非均匀采样方法,使用多臂强盗框架。理论上,我们表明,我们的算法渐近近似的最佳方差的一个因素内的3。经验上,我们表明,使用这种数据点选择技术的结果显着减少收敛时间和方差的几个随机优化算法,如SGD,SVRG和SAGA。这种采样数据点的方法是通用的,可以与任何使用无偏梯度估计的算法结合使用-我们希望它具有广泛的适用性,超出了本工作中探索的具体示例。
2017-08-09 cs.AI cs.LG math.OC
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology(麻省理工学院)
汤普森采样提供了一种有效的技术,引入先验知识的多臂强盗问题,以及提供显着的经验性能。在本文中,我们重新审视汤普森抽样算法下的对称$α$稳定分布,这是一类重尾概率分布在金融和经济学中使用的奖励,在问题,如建模股票价格和人类行为。我们提出了一个有效的框架后验推理,这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界,并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果,我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会,并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Thompson Sampling Algorithms for Cascading Bandits
National University of Singapore(新加坡国立大学)
由于在线推荐系统迫切需要高效优化,我们重新审视了Kveton等人提出的级联强盗模型。虽然汤普森采样(TS)算法已被证明是经验上优于上置信界(UCB)算法级联土匪,理论保证只知道后者。在本文中,我们首先提供了一个与问题相关的关于具有Beta-Bernoulli更新的TS算法的遗憾的上界;这个上界比Huyuk和Tekin(2019)在更一般的设置下最近的推导更紧。接下来,我们设计并分析了另一种具有高斯更新的TS算法TS-Cascade。TS-级联实现了国家的最先进的遗憾势必级联土匪。作为补充,我们考虑了级联强盗模型的线性推广,它允许在大型级联强盗问题实例中进行有效的学习。我们介绍并分析了TS算法,它享有的遗憾界,依赖于线性模型的维数,而不是项目的数量。最后,通过使用信息理论技术和明智地构建级联强盗的例子,我们得到了一个几乎匹配的遗憾下界的标准模型。本文首次建立了部分反馈随机组合强盗问题TS算法的理论保证。数值实验表明,所提出的TS算法相比现有的基于UCB的优越性。
2021-05-16 cs.LG stat.ML
Position-Based Multiple-Play Bandits with Thompson Sampling
Louis Vuitton(路易威登);Univ. Rennes(雷恩大学);Ensai(雷恩高等统计与信息分析学院);CNRS(法国国家科学研究中心);CREST;Université de Rennes 1(雷恩第一大学);IRISA;INRIA(法国国家信息与自动化研究所);IUF(法国大学研究院)
多播放强盗的目的是在网页上的相关位置显示相关的项目。我们介绍了一种新的基于带宽的算法,PB-MHB,在线推荐系统,它使用汤普森采样框架。该算法处理由基于位置的模型支配的显示设置。我们的抽样方法不需要作为输入的概率,用户看在网页中的一个给定的位置,在实践中,很难获得。模拟和真实数据集上的实验表明,我们的方法,具有较少的先验信息,提供更好的建议比国家的最先进的算法。
2021-03-03 cs.IR cs.LG stat.ML
A PAC algorithm in relative precision for bandit problem with costly sampling
Nantes Université(南特大学);Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院)
本文研究了在有限集上最大化期望函数的问题,即有限臂强盗问题。首先,我们提出了一个天真的随机强盗算法获得一个可能的近似正确(PAC)的解决方案,这个离散最优化问题的相对精度,这是一个解决方案,解决了最优化问题的相对误差小于规定的公差,具有很高的概率。我们还提出了一个自适应随机强盗算法,它提供了一个PAC解决方案具有相同的保证。自适应算法优于朴素算法的平均复杂度方面的生成的样本的数量,特别适合于高采样成本的应用程序。
2022-04-12 cs.LG math.OC stat.ML
Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的类型的收购功能,在线决策的多臂和上下文的强盗问题的极端收益。具体而言,我们将收益函数建模为高斯过程,并制定了一种新型的置信上限(UCB)获取函数,该函数根据观察到的奖励的变化性指导对被认为最相关的土匪的探索。这是通过计算一个易于处理的似然比来实现的,该似然比量化了输出相对于输入的重要性,并且本质上充当了促进对极端奖励的探索的\textit{attention mechanism}。我们展示了所提出的方法在几个合成基准的好处,以及一个现实的例子,涉及嘈杂的传感器网络数据。最后,我们提供了一个JAX库,用于使用高斯过程进行有效的bandit优化。
2021-10-08 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST(韩国科学技术院)
针对预算多臂老虎机问题,基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准,在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan(密歇根大学);Criteo AI Lab(科韬人工智能实验室)
不安分的强盗问题假设武器的时变奖励分布,这增加了模型的灵活性,但使分析更具挑战性。我们研究学习算法在未知的奖励分布,并证明了一个次线性,$O(\sqrt{T}\log T)$,后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置,解决了Jung和Tewari(2019)提出的开放问题,其分析仅限于情节案例。我们采用他们的策略映射框架,这使得我们的算法是有效的,同时保持遗憾的意义。我们的算法采用了Ouyang et al.(2017)的TSDE算法,以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射,和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research(谷歌研究院);Hong Kong University of Science and Technology(香港科技大学)
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而,这类方法在频率设置的一般理论仍然缺乏。在本文中,我们提出了一个理论分析的汤普森抽样,重点是频率主义的遗憾界。在这种情况下,我们表明,标准的汤普森采样是不够积极的探索新的行动,导致次优在一些悲观的情况下。一个简单的修改,称为感觉良好的汤普森采样,这有利于高奖励模型更积极地比标准的汤普森采样,提出了解决这个问题。我们表明,理论框架可以用来推导贝叶斯后悔界标准汤普森抽样,和频率论后悔界感觉良好的汤普森抽样。结果表明,在这两种情况下,我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析,在线最小二乘回归界可以直接使用在线聚集技术,已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外,分析可以推广到处理一类线性可嵌入上下文强盗问题(推广流行的线性上下文强盗模型)。得到的结果再次匹配极小极大下界。最后,我们说明,分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Thompson Sampling for Bandits with Clustered Arms
Chalmers University(查尔姆斯理工大学)
我们提出了算法的基础上,多层次的汤普森抽样计划,随机多臂土匪及其上下文的变化与线性预期奖励,在设置武器被聚集。我们表明,无论是理论上和经验上,如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比,使用标准的汤普森采样。在随机多臂土匪的情况下,我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后,我们进行了实证评估表明,我们的算法相比,以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Risk-Constrained Thompson Sampling for CVaR Bandits
National University of Singapore(新加坡国立大学)
多臂强盗(MAB)问题是一个普遍存在的决策问题,体现了探索-开发权衡。标准公式排除了决策中的风险。风险明显复杂化的基本回报最大化的目标,部分原因是没有普遍认同的定义it. In本文中,我们考虑一个流行的风险度量在定量金融称为条件风险价值(CVaR)。我们探讨了基于汤普森采样的算法CVaR-TS在此风险度量下的性能。我们提供了全面的比较,我们的遗憾边界与国家的最先进的L/UCB为基础的算法在可比的设置,并证明其明显的改善性能。我们还包括数值模拟经验验证CVaR-TS优于其他L/UCB为基础的算法。
2021-02-04 cs.LG stat.ML
Sampling as Bandits: Evaluation-Efficient Design for Black-Box Densities
本文提出带老虎机重要性采样(BIS)框架,通过多臂老虎机的序列选择过程优化样本集,提高在目标密度计算昂贵时的采样效率,适用于多模态、重尾分布及现实贝叶斯推断任务。
2026-03-14 cs.LG stat.CO stat.ME
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究汤普森抽样算法的随机多武装土匪在批量设置,在其中,我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化(或批次)。我们提出了两个算法,并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面,并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan(密歇根大学)
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验(例如,尖峰和平板),以模拟未知参数,并提供一个接近最佳的上限预期的累积遗憾。据我们所知,这是第一个工作,提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度,我们使用变分推断代替马尔可夫链蒙特卡罗(MCMC)来近似后验分布。大量的模拟表明,我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
Variance-sensitive Thompson sampling for generalised linear bandits, revisited
University of Oxford(牛津大学);Criteo AI Lab(Criteo人工智能实验室)
本文通过高斯庞加莱不等式证明Thompson采样在随机广义线性bandits中的方差敏感遗憾界,并指出移除预热阶段保持相同方差敏感尺度是开放且非平凡的问题。
2026-05-29 cs.LG
Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Institute of Engineering Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学工程学院)
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量,我们表明,情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量,$n$是强盗的数量和$S$是每个强盗的状态数(在S,n和K中的确切界限在本文中给出)。直到因子$\sqrt S$,这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的:它的运行时间与强盗的数量成线性关系。我们进一步表明,这种线性运行时间不能通过适应经典的非贝叶斯算法,如UCRL 2或UCBVI马尔可夫强盗问题。最后,我们进行数值实验,证实MB-PSRL优于其他现有的算法在实践中,无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine(加州大学欧文分校)
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型,我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题,基于参数的潜在后验分布,采用汤普森采样。更具体地说,我们介绍了折扣衰减对以前的样本的影响,并分析了不同的衰减率与潜在的样本动态。因此,探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
From Optimality to Robustness: Dirichlet Sampling Strategies in Stochastic Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
随机多臂强盗问题在标准的臂分布假设下(如支集有界、指数族等)得到了广泛的研究。这些假设适用于许多现实世界的问题,但有时他们需要的知识(例如尾巴),可能无法精确访问的从业者,提出了问题的鲁棒性的强盗算法模型错误。在本文中,我们研究了一个通用的Dirichlet采样(DS)算法,基于两两比较的经验指数计算与重新采样的武器的观察和数据依赖的探索奖金。我们发现,这种策略的不同变体实现可证明的最佳遗憾保证时,分布有界和对数遗憾半有界分布与温和的分位数条件。我们还表明,一个简单的调整实现鲁棒性方面的一大类无界分布,在成本略低于对数渐近遗憾。最后,我们提供了数值实验显示DS的优点,在综合农业数据的决策问题。
2021-11-18 cs.LG stat.ML
Langevin Thompson Sampling with Logarithmic Communication: Bandits and Reinforcement Learning
Yale University(耶鲁大学);University of California, San Diego(加州大学圣地亚哥分校)
针对汤普森采样的分布假设限制及批量决策的通信成本问题,提出批量朗之万汤普森采样算法,在多臂老虎机和强化学习场景下实现对数级通信成本与最优阶遗憾保证。
2023-06-15 cs.AI cs.LG stat.ML
On the Performance of Thompson Sampling on Logistic Bandits
Stanford University(斯坦福大学)
我们研究的逻辑强盗,其中奖励是二元的成功概率$\exp(βa^\top θ) / (1 + \exp(βa^\top θ))$和行动$a$和系数$θ$内的$d$维单位球。虽然先前的遗憾边界的算法,解决逻辑强盗表现出指数依赖于斜率参数$β$,我们建立了一个遗憾边界的汤普森采样是独立的$β$。具体来说,我们建立,当一组可行的行动是相同的可能的系数向量的集合,汤普森采样的贝叶斯后悔是$\tilde{O}(d\sqrt{T})$。我们还建立了一个适用范围更广的$\tilde{O}(\sqrt{dηT}/λ)$界限,其中$λ$是最坏情况下的最优对数几率,$η$是“脆弱性维度”,我们定义了一个新的统计量来捕获一个模型的最优行为无法满足其他模型的程度。我们表明,脆弱性尺寸起着至关重要的作用,显示,对于任何$ε> 0$,没有算法可以实现$\mathrm{poly}(d, 1/λ)\cdot T^{1-ε}$遗憾。
2019-05-12 cs.LG stat.ML
Information Directed Sampling for Sparse Linear Bandits
Deepmind(深度思维);Purdue University(普渡大学)
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型,并具有丰富的信息后悔结构。在这项工作中,我们探讨了使用信息导向抽样(IDS),自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界,几乎匹配现有的各种问题的情况下的下限,证明了自适应的IDS。为了有效地实现稀疏入侵检测系统,我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
Thompson Sampling for Multi-Objective Linear Contextual Bandit
Seoul National University(首尔国立大学)
本文提出MOL-TS算法,首次在多目标线性上下文老虎机问题中实现帕累托遗憾保证,通过有效帕累托前沿提升多目标优化性能。
2025-11-30 cs.LG stat.ML
Information-Directed Sampling for Causal Bandits
研究含不可操纵变量的情境因果博弈,假设因果图已知且无潜在混杂,采用贝叶斯公式。开发汤普森采样和信息导向采样的因果变体,建立相关遗憾界和置信界,实验证明所提方法能有效利用信息,优于因果和非因果基线。
2026-09-22 cs.AI cs.LG
Adam with Bandit Sampling for Deep Learning
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
Adam是一种广泛用于训练深度学习模型的优化方法。它计算不同参数的个体自适应学习率。在本文中,我们提出了一个推广亚当,称为亚当,使我们能够适应不同的训练样本的基础上,他们在模型的收敛的重要性。为了实现这一点,我们在所有的例子中保持一个分布,在每次迭代中根据这个分布进行采样,选择一个小批量,我们使用多臂强盗算法进行更新。这确保了对模型训练更有益的示例以更高的概率被采样。我们从理论上证明了Adambs在某些情况下提高了Adam- $O(\sqrt{\frac{\log n}{T} })$而不是$O(\sqrt{\frac{n}{T}})$的收敛速度。在各种模型和数据集上的实验证明了Adambs在实践中的快速收敛。
2020-10-24 cs.LG stat.ML
Modified Meta-Thompson Sampling for Linear Bandits and Its Bayes Regret Analysis
College of Sciences, National University of Defense Technology(国防科技大学理学院)
针对现有元汤普森采样(Meta-TS)仅适用于高斯老虎机的局限,提出适配线性上下文老虎机的Meta-TSLB算法,推导其贝叶斯遗憾上界,补充相关理论分析,并通过实验验证其性能与泛化潜力。
2024-09-11 cs.LG math.OC stat.ML
Evolutionary Multi-Armed Bandits with Genetic Thompson Sampling
Columbia University(哥伦比亚大学)
在线学习和演化计算作为机器学习的两大流派,已经成为现实世界决策引擎背后的两大重要驱动力,在生物医学、经济学和工程学领域得到广泛应用。虽然有利用土匪来改善进化算法的优化过程的工作,它仍然是一个空白领域的进化方法如何可以帮助改善在线学习代理,如多臂土匪的顺序决策任务。在这项工作中,我们提出了遗传汤普森采样,一个强盗算法,保持人口的代理和更新他们的遗传原则,如精英选择,交叉和突变。在多臂土匪模拟环境和一个实际的流行病控制问题的实证结果表明,通过将遗传算法到土匪算法,我们的方法显着优于基线在非平稳设置。最后,我们介绍了EvoBandit,一个基于Web的交互式可视化,以指导读者完成整个学习过程,并在飞行中执行轻量级评估。我们希望通过这项调查让研究人员参与到这一不断发展的研究领域中。
2022-04-26 cs.AI cs.LG cs.MA
Feel-Good Thompson Sampling for Contextual Dueling Bandits
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对线性上下文对决老虎机缺乏后验采样方法的问题,提出含 Feel-Good 探索项的 FGTS.CDB,获得近极小极大遗憾并在合成数据上显著优于现有算法。
2024-04-09 cs.LG math.OC stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham(伯明翰大学);Iowa State University(爱荷华州立大学)
针对带噪声上下文的随机线性老虎机问题,提出一种基于贝叶斯框架的Thompson Sampling算法,并通过信息论分析证明其贝叶斯遗憾,发现延迟观测真实上下文可降低遗憾,实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Satisficing in Time-Sensitive Bandit Learning
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
最近关于强盗学习的许多文献都集中在旨在收敛于最优动作的算法上。一个缺点是,这种取向没有考虑到时间敏感性,当学习最佳行动需要比接近最佳行动更多的信息时,时间敏感性可以发挥关键作用。事实上,流行的方法,如置信上限方法和汤普森抽样在这种情况下可能会表现不佳。我们认为,而不是学习一个满意的行动,这是接近最优的,而需要较少的信息,并提出满意的汤普森采样,一个算法,服务于这一目的。我们建立了一个一般的约束预期折扣后悔和研究的应用程序,满足汤普森抽样线性和无限武装土匪,证明任意大的利益汤普森抽样。我们还讨论了满足的概念和率失真理论之间的关系,这对选择满足行动提供了指导。
2020-01-07 cs.AI cs.LG
VITS : Variational Inference Thompson Sampling for contextual bandits
CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris(法国综合理工学院CMAP、法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院);Inria Paris(法国国家信息与自动化研究所巴黎分部);Centre de Recherche des Cordeliers, INSERM, Universite de Paris, Sorbonne Universite(科尔德里耶研究中心、法国国家健康与医学研究院、巴黎大学、索邦大学)
本文提出基于高斯变分推断的VITS算法,用于上下文赌博机,提供高效易采样的后验近似,实现与传统TS同阶的次线性遗憾界,并在合成及真实数据上验证有效性。
2024-07-20 cs.LG stat.ML
Coordinate Descent with Bandit Sampling
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
坐标下降法通常通过一次更新一个随机决策变量(对应于一个坐标)来最小化成本函数。理想情况下,我们应该更新在成本函数中产生最大下降的决策变量。然而,找到这个坐标将需要检查所有这些坐标,这将有效地否定坐标下降旨在提供的计算易处理性的改进。为了解决这个问题,我们提出了一个新的自适应方法来选择一个坐标。首先,我们找到一个下限的金额成本函数减少时,坐标更新。然后,我们使用一个多臂的强盗算法来学习的坐标结果在最大的下限,通过交错这种学习与传统的坐标下降更新,除了坐标选择成比例的预期减少。我们表明,我们的方法提高了理论和实验上的坐标下降方法的收敛性。
2018-12-04 cs.AI cs.LG math.OC