OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley(加州大学伯克利分校)
我们考虑随机线性(多臂)上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法,同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权,而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤,对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Taming the Monster: A Fast and Simple Algorithm for Contextual Bandits
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Yahoo! Labs(雅虎研究院);Princeton University(普林斯顿大学)
我们提出了一个新的算法的上下文强盗学习问题,学习者反复采取的$K$行动之一,以响应所观察到的上下文,并观察奖励只为所选择的行动。我们的方法假设访问一个oracle来解决完全监督的成本敏感的分类问题,并实现了统计上最优的遗憾保证,只有$\tilde{O}(\sqrt{KT/\log N})$ oracle调用所有$T$轮,其中$N$是我们竞争的政策类中的政策数量。通过这样做,我们获得了最实用的上下文强盗学习算法之间的方法,一般的政策类的工作。我们进一步进行了一个概念验证实验,该实验证明了我们的算法(的在线变体)相对于几个基线的出色的计算和预测性能。
2014-10-14 cs.LG stat.ML
The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits
Indiana University(印第安纳大学);University of Alberta(阿尔伯塔大学)
随机线性土匪是一个自然和简单的推广有限武装土匪与许多实际应用。目前的方法侧重于推广现有的技术有限武装土匪,特别是乐观原则和汤普森抽样。虽然以前的工作大多是在最坏的情况下设置,我们分析了渐近依赖实例的遗憾,并显示匹配的上限和下限是什么可以实现的。令人惊讶的是,我们的研究结果表明,基于乐观或汤普森采样的算法都不会达到最佳速率,甚至在非常简单的情况下,也可以任意远离最佳速率。这是一个令人不安的结果,因为这些技术是广泛用于顺序优化的标准工具。例如,对于广义线性强盗和强化学习。
2016-10-14 cs.LG stat.ML
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院);Chicago Booth(芝加哥大学布斯商学院)
我们考虑动态定价与许多产品下不断发展,但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定(潜在)功能的产品的基础上,我们表明,收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法,其收入的最佳固定价格向量的方法在事后,在一个速度,只取决于内在的需求模型的排名,而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法,同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology(麻省理工学院)
我们考虑在可实现性假设下的一般(随机)上下文强盗问题,即,作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法,实现了统计上最优的遗憾,只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$,则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化,解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是,离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
A Unified Regularization Approach to High-Dimensional Generalized Tensor Bandits
University at Buffalo(布法罗大学)
本文提出一种基于弱可分解正则化器的统一框架,用于高维广义张量赌博机,以处理高阶上下文信息,并实现更优的理论界与更广泛的适用性。
2025-01-23 cs.LG stat.ML
Deep Bandits Show-Off: Simple and Efficient Exploration with Deep Networks
Fudan University(复旦大学);IBM Research AI(IBM研究院)
由于探索-利用困境带来的根本问题,设计高效的探索是强化学习的核心。像汤普森采样这样的贝叶斯探索策略通过建模和更新动作-价值函数(环境的结果模型)的参数分布,以原则性的方式解决了这种权衡。然而,这种技术变得不可行的复杂的环境中,由于保持概率分布的参数相应的复杂性的结果模型的计算棘手。此外,为缓解该问题而引入的近似技术通常会导致较差的探索-利用权衡,如在具有近似后验方法的深度神经网络模型的情况下所观察到的,该方法已被证明在深度强盗场景中表现不佳。在本文中,我们介绍了样本平均不确定性(SAU),一个简单而有效的不确定性措施的上下文土匪。虽然像汤普森抽样这样的贝叶斯方法通过首先量化结果模型参数的可变性来间接估计结果的不确定性,但SAU是一种基于值预测直接估计结果的不确定性的频率主义方法。重要的是,我们从理论上证明了SAU估计的不确定性度量渐近匹配汤普森采样提供的不确定性,以及其遗憾界。由于其简单性,SAU可以无缝地应用于深度上下文的强盗,作为一个非常可扩展的替代epsilon贪婪的探索。我们通过在几个真实世界的数据集上显示基于SAU的探索在适度的计算成本下优于当前最先进的深度贝叶斯强盗方法来实证我们的理论。代码可在\url{https://github.com/ibm/sau-explore}上获得。
2021-10-26 cs.LG stat.ML
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子:区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下,当前最先进的方法以次优的方式进行探索,并且需要强的“特征多样性”条件。在本文中,我们介绍了新的算法,a)探索在数据自适应的方式,和b)提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件,其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性,同时恢复两个先前的结果,在不同的分布假设下。第二种方法完全消除了分布假设,扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Multinomial Logit Contextual Bandits: Provable Optimality and Practicality
Seoul National University(首尔大学);Columbia University(哥伦比亚大学)
考虑了一个参数未知的多项罗吉特(MNL)选择模型下的序贯分类选择问题。在每个周期中,学习代理观察关于用户和$N$可用项目的$d$维上下文信息,并且向用户提供大小为$K$的分类,并且观察从分类中选择的项目的强盗反馈。我们提出了基于上置信界的算法,这个MNL上下文强盗。第一个算法是一个简单而实用的方法,实现了$\tilde{\mathcal{O}}(d\sqrt{T})$遗憾超过$T$轮。接下来,我们提出了第二个算法,实现了$\tilde{\mathcal{O}}(\sqrt{dT})$遗憾。这与MNL强盗问题的下限相匹配,直到对数项,并通过$\sqrt{d}$因子改进了最佳已知结果。为了建立这个更尖锐的遗憾界,我们提出了一个非渐近置信界的极大似然估计的MNL模型,可能是独立的兴趣作为自己的理论贡献。然后,我们重新审视更简单,更实用,第一算法,并表明,一个简单的变种的算法实现了广泛的一类重要的应用程序的最佳遗憾。
2021-03-25 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University(波士顿大学);Google Research(谷歌研究院)
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序,对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题,我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪,而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限,我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Why Most Optimism Bandit Algorithms Have the Same Regret Analysis: A Simple Unifying Theorem
Cornell University(康奈尔大学)
本文提出一个简单的统一定理,揭示了多种乐观老虎机算法在后悔分析上的共同本质,通过两个确定性引理实现了对数级别的后悔推导,并扩展到现代老虎机变体。
2025-12-20 cs.LG cs.SY eess.SY
Stochastic Linear Bandits with Hidden Low Rank Structure
California Institute of Technology(加州理工学院);University of California, Irvine(加州大学欧文分校)
高维表示通常具有较低维的底层结构。在许多决策制定过程中尤其如此。例如,当从深度神经网络生成动作的表示时,期望低秩结构是合理的,而像稀疏性这样的传统结构不再有效。子空间恢复方法,如主成分分析(PCA),可以发现潜在的低秩结构的特征空间,降低学习任务的复杂性。在这项工作中,我们提出了投影随机线性强盗(PSLB),高维随机线性强盗(SLB)的行动时,表示有一个底层的低维子空间结构的算法。PSLB部署基于PCA的投影迭代地找到SLB中的低秩结构。我们表明,部署投影方法,确保降维和结果在一个更严格的遗憾的上界,是在子空间的维数和它的属性,而不是周围空间的维数。我们将图像分类任务修改为SLB设置,并根据经验表明,当预先训练的DNN提供高维特征表示时,与最先进的算法相比,部署PSLB会显著减少遗憾并更快地收敛到准确的模型。
2019-01-28 cs.LG stat.ML
High dimensional stochastic linear contextual bandit with missing covariates
University of Michigan(密歇根大学);Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近的作品在强盗问题采用套索收敛理论的顺序决策设置。即使在完全观测的背景下,也存在阻碍现有套索收敛理论应用的技术挑战:1)在条件次高斯噪声下证明限制特征值条件,以及2)解释背景变量与所选动作之间的依赖性。研究了随机线性bandit算法中协变量缺失对后悔的影响。我们的工作提供了一个高概率上限的遗憾所提出的算法在协变量采样概率方面,显示遗憾退化,由于错过了最多$ζ_{min}^2$,其中$ζ_{min}$是观察协变量的上下文向量的最小概率。我们说明了我们的算法的实际应用的试验设计收集基因表达数据的顺序选择类区分DNA探针。
2022-07-22 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon(亚马逊);Deepmind(深度思维);Miami Herbert Business School, University of Miami(迈阿密大学迈阿密赫伯特商学院);Krannert School of Management, Purdue University(普渡大学克兰纳特管理学院)
本文提出了随机低秩张量老虎机,用于解决多维在线决策问题,通过张量消元、张量周期贪婪和张量集成采样算法,在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis(加州大学戴维斯分校)
本文在一定的光滑性和子水平集假设下,研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后,我们提出了一个自适应的bin分裂方法,它可以显着提高性能。此外,一个极小极大下界的推导,这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Some performance considerations when using multi-armed bandit algorithms in the presence of missing data
MRC Biostatistics Unit, University of Cambridge(剑桥大学MRC生物统计中心);Institute of Psychiatry, Psychology & Neuroscience, King’s College London(伦敦国王学院精神病学、心理学与神经科学研究所)
在比较多臂强盗算法的性能时,缺失数据的潜在影响往往被忽视。在实践中,它也会影响它们的实现,其中克服这一点的最简单方法是继续根据原始的bandit算法进行采样,忽略丢失的结果。我们调查的性能的影响,这种方法来处理缺失数据的几个强盗算法通过广泛的模拟研究,假设奖励是随机缺失。我们专注于双臂强盗算法与二进制结果的背景下,患者分配的临床试验相对较小的样本量。然而,我们的研究结果适用于其他应用程序的土匪算法的缺失数据预计会发生。我们评估由此产生的经营特征,包括预期回报。考虑了两个臂中不同的缺失概率。我们的工作的关键发现是,当使用忽略缺失数据的最简单的策略时,对多臂强盗策略的预期性能的影响根据这些策略平衡探索-开发权衡的方式而变化。面向探索的算法继续将样本分配给具有更多缺失响应的手臂(其被感知为具有较少观察信息的手臂被算法认为比其他情况更具吸引力)。相比之下,算法是面向开发将迅速分配一个高的值,从武器的样本与当前的高平均值,而不管水平的意见,每arm. Further,算法更侧重于探索,我们说明,失踪的反应,可以减轻使用一个简单的平均值插补方法的问题。
2022-07-07 cs.LG stat.ML
Pure Exploration in Kernel and Neural Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加州大学洛杉矶分校);University of Chicago(芝加哥大学)
我们研究纯粹的探索土匪,其中的特征表示的维度可以远远大于武器的数量。为了克服维数灾难,我们建议自适应地将每个手臂的特征表示嵌入到低维空间中,并仔细处理诱导的模型误指定。我们的方法在概念上是非常不同的,从现有的作品,只能处理低维线性土匪或被动处理模型的误指定。我们展示了我们的方法在两个以前研究不足的纯探索设置中的应用:(1)奖励函数属于可能无限维的再生核希尔伯特空间,(2)奖励函数是非线性的,可以用神经网络近似。我们的主要结果提供了样本的复杂性保证,只依赖于内核或神经表示的特征空间的有效尺寸。在合成数据集和真实数据集上进行的大量实验证明了我们方法的有效性。
2022-03-17 cs.LG stat.ML
Causal Bandits: Learning Good Interventions via Causal Inference
Australian National University(澳大利亚国立大学);Data61/NICTA(Data61/国家信息与通信技术研究院);University of Alberta(阿尔伯塔大学)
我们研究了使用因果模型来提高在随机环境中可以在线学习良好干预措施的速度的问题。我们的形式主义相结合的多臂土匪和因果推断模型的一种新型的土匪反馈,不利用现有的方法。我们提出了一个新的算法,利用因果反馈,并证明其简单的遗憾,严格优于(在所有数量)比不使用额外的因果信息的算法的约束。
2016-06-10 cs.LG stat.ML
Improved Algorithm on Online Clustering of Bandits
The Chinese University of Hong Kong(香港中文大学);Microsoft(微软);University of Cambridge(剑桥大学)
我们通过允许用户频率的非均匀分布来概括土匪在线聚类的设置。提出了一种更有效的算法,用简单的集合结构来表示簇。我们证明了新算法的遗憾界,它是免费的最小频率超过用户。在合成数据集和真实数据集上的实验结果表明,新算法优于现有的方法。
2019-07-02 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University(北京大学);Haihua Institute for Frontier Information Technology(海华前沿信息技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究了局部差分私有(LDP)强盗学习。首先,我们提出了简单的黑盒约简框架,可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架,我们可以改进以前的最佳结果为私人强盗学习与一点反馈,如私人强盗凸优化,并获得第一个结果为强盗凸优化(BCO)与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比,以前专门设计的和相对较弱的差分私有(DP)上下文无关的强盗算法。进一步地,我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits,它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$,并被证明是近最优的。请注意,鉴于DP上下文线性强盗的现有$Ω(T)$下限(Shariff & Sheffe,2018),我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Towards Costless Model Selection in Contextual Bandits: A Bias-Variance Perspective
Stanford University(斯坦福大学)
本文从偏差-方差视角研究上下文赌博机中的无成本模型选择,提出基于新颖误设测试的算法,随数据增加适应不断演变的偏差-方差权衡,在短时间跨度下提供取决于更简单类别复杂度的改进后悔保证。
2023-10-23 cs.LG stat.ML
A Reduction-Based Framework for Conservative Bandits and Reinforcement Learning
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
在本文中,我们提出了一个基于减少的框架,保守土匪和RL,其中我们的核心技术是计算必要的和足够的预算,从运行基线政策。对于下界,我们改进了现有的保守多臂土匪的下界,并获得了新的下界保守线性土匪,列表RL和低秩MDP,通过黑箱约简,把一定的下界在非保守设置到一个新的下界在保守设置。对于上界,在多武装土匪,线性土匪和表格RL,我们的新的上界收紧或匹配现有的显着简单的分析。我们还得到了保守低秩MDP的一个新的上界。
2022-03-16 cs.LG stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University(宾夕法尼亚州立大学);University at Buffalo(布法罗大学)
针对在线学习和决策过程中决策者面对高维数据的问题,提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法(G-MCP-Bandit).我们证明了G-MCP-Bandit算法在样本大小维度T,O(log T)上渐近地达到最优累积后悔,并进一步在协变量维度d,O(log d)上达到一个紧界.此外,我们还提出了一种线性逼近方法,即两步加权Lasso方法,来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中,MCP估计以高概率匹配Oracle估计,并以最佳收敛速度收敛到真参数。最后,通过基于合成数据和两个真实数据集(华法林用药数据集和腾讯搜索广告数据集)的实验,证明了G-MCP-Bandit算法优于其他基准算法,尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们认为阈值强盗问题,其目标是找到武器的平均奖励高于给定的阈值$θ$,与固定预算的$T$试验。我们介绍LSA,一个新的,简单的,随时算法,旨在最大限度地减少总遗憾(或预期数量的错误分类武器)。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果,以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology(皇家理工学院)
该研究针对线性老虎机问题,依托已有信息论框架与率失真分析,通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界,得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
Double Thompson Sampling for Dueling Bandits
University of California, Davis(加州大学戴维斯分校)
本文提出了一种求解决斗强盗问题的双汤普森采样(D-TS)算法。如其名称所示,D-TS根据汤普森采样选择第一和第二候选。具体而言,D-TS保持偏好矩阵的后验分布,并通过从后验分布中采样两次来选择用于比较的一对手臂。这个简单的算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为其特殊情况。对于一般的Copeland决斗土匪,我们证明了D-TS实现了$O(K^2 \log T)$遗憾。对于孔多塞决斗强盗,我们进一步简化了D-TS算法,并表明简化的D-TS算法实现了$O(K \log T + K^2 \log \log T)$遗憾。仿真结果表明,基于合成和真实世界的数据的D-TS算法的有效性。
2016-10-27 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay(巴黎萨克雷高等师范学院);CNRS(法国国家科学研究中心);Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);DeepMind(深度思维);CentraleSupélec(中央理工-高等电力学院)
随机秩一Bandits(Katarya et al,(2017 a,b))是一个简单的框架,用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾,但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子,然后提供了一个新的单峰汤普森采样(UTS)分析,最初由Paladino等人(2017)提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比,国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Hierarchical Exploration for Accelerating Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);H. John Heinz III College, Carnegie Mellon University(卡内基梅隆大学H.约翰·海因茨三世学院);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
上下文强盗学习是一种越来越流行的通过用户反馈优化推荐系统的方法,但由于需要探索大的特征空间,在实践中收敛速度很慢。在本文中,我们提出了一个粗到细的分层方法编码先验知识,大大减少了所需的探索量。直观地,用户偏好可以合理地嵌入到可以有效探索的粗略低维特征空间中,仅在必要时才需要在高维空间中进行探索。我们引入了一个强盗算法,探讨在这个粗到细的频谱,并证明性能保证,这取决于如何以及粗糙的空间捕捉用户的喜好。我们证明了传统的强盗算法,通过广泛的模拟,以及在个性化的新闻推荐设置的现场用户研究的实质性改善。
2012-06-27 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University(兰卡斯特大学STOR-i博士训练中心);Department of Mathematics and Statistics, Lancaster University(兰卡斯特大学数学与统计系)
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而,它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下,给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度,最近提出的措施的复杂性的函数类,这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物,并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Best-of-three-worlds Analysis for Linear Bandits with Follow-the-regularized-leader Algorithm
Shanghai Jiao Tong University(上海交通大学)
针对线性老虎机在未知随机或对抗损失环境下的自适应问题,本文证明带负熵正则化器的 FTRL 可实现三优世界遗憾界,且设计比检测-切换方法更简单。
2023-07-18 cs.LG stat.ML
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中,它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策,虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Optimal Regret for Single Index Bandits
Department of Computer Science and Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系)
本文研究单索引老虎机问题,提出ZoomSIB-UCB算法,通过估计投影方向和离散化实现一维老虎机,达到O(T^{2/3})的最优后悔,同时证明下界验证了该结果的最优性。
2026-08-04 cs.LG stat.ML
Symmetric Linear Bandits with Hidden Symmetry
University of Warwick(华威大学)
本文研究了具有隐藏对称性的高维线性老虎机问题,通过模型选择方法在低维子空间集合中学习对称性,实现了改进的 regret 绑定。
2025-12-31 cs.LG stat.ML
High-dimensional Contextual Bandit Problem without Sparsity
New York University(纽约大学);The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所AIP中心)
针对无稀疏性假设的高维线性上下文赌博机问题,利用过参数化模型理论提出EtC与AEtC算法,通过平衡探索与利用实现了最优速率。
2025-06-25 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester(曼彻斯特大学)
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态,而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了,如果学习率是很好的选择,那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Near Optimal Pure Exploration in Logistic Bandits
University of Michigan(密歇根大学)
本文针对logistic bandit中的一般纯探索问题,提出首个track-and-stop算法Log-TS,其期望样本复杂度渐近匹配实例特定下界近似值,仅差一个对数因子。
2025-02-07 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University(纽约大学);Microsoft Research(微软研究院);Inria(法国国家信息与自动化研究所)
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功,但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法,重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现,最近的方法(福斯特等人,2018)在不确定性下使用乐观主义总体效果最好。令人惊讶的是,第二个是一个简单的贪婪基线,它只通过上下文的多样性进行隐式探索,然后是在线封面的变体(Agarwal et al.,2014年),这往往是更保守的,但鲁棒的问题规格的设计。一路上,我们还评估了上下文强盗算法设计的各个组成部分,如损失估计。总体而言,这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan(密歇根大学)
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验(例如,尖峰和平板),以模拟未知参数,并提供一个接近最佳的上限预期的累积遗憾。据我们所知,这是第一个工作,提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度,我们使用变分推断代替马尔可夫链蒙特卡罗(MCMC)来近似后验分布。大量的模拟表明,我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University(普林斯顿大学);Università degli Studi di Milano(米兰大学)
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代,但在一些现代应用中出现了探索-利用权衡,例如广告投放,网站优化和数据包路由。从数学上讲,多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中,我们关注两个极端的案例,在这两个案例中,后悔的分析特别简单和优雅:i.i.d.收益和对抗性收益除了基本的设置,许多行动,我们还分析了一些最重要的变种和扩展,如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
Blessings of Multiple Good Arms in Multi-Objective Linear Bandits
Seoul National University(首尔大学)
本文提出在多目标线性老虎机中利用多个良好臂带来的隐含探索优势,通过理论和实验验证了简单贪婪算法的有效性,并引入了帕累托公平性框架。
2026-02-13 cs.LG stat.ML
Robustness Guarantees for Mode Estimation with an Application to Bandits
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
模式估计是统计学中的经典问题,在机器学习中有着广泛的应用。尽管如此,在可能的对抗性数据污染下,对其鲁棒性的理解很少。在本文中,我们给出了精确的鲁棒性保证以及简单随机化下的隐私保证。然后,我们介绍了一个理论,多武装土匪的价值观是模式的奖励分布,而不是平均值。我们证明遗憾的保证顶臂识别,顶M-武器识别,上下文模态土匪,和无限连续武器顶臂恢复的问题。我们在模拟中表明,我们的算法是强大的扰动的武器对抗性噪声序列,从而呈现模态土匪一个有吸引力的选择的情况下,奖励可能有离群值或对抗腐败。
2020-03-05 cs.LG stat.ML
A Dimension-free Algorithm for Contextual Continuum-armed Bandits
City University of Hong Kong(香港城市大学);University of Toronto(多伦多大学);Fudan University(复旦大学)
在上下文连续体-武装匪徒中,上下文$x$和武器$y$都是连续的,并且从高维空间中提取。学习$f(x,y)$的收益函数没有特定的参数形式。文献表明,对于Lipschitz连续函数,最优后悔是$\tilde{O}(T^{\frac{d_x+d_y+1}{d_x+d_y+2}})$,其中$d_x$和$d_y$是上下文和臂的维度,因此遭受维度灾难。我们开发了一个算法,实现遗憾$\tilde{O}(T^{\frac{d_x+1}{d_x+2}})$时,$f$是全球凹的$y$。在许多应用中,全局最小化是一个常见的假设。该算法是基于随机逼近和在线估计的梯度信息。我们的研究结果产生了一个有价值的见解,灾难的维度的武器可以克服一些温和的结构的支付函数。
2022-10-03 cs.LG stat.ML
Semiparametric Contextual Bandits
Microsoft Research NYC(微软研究院纽约);Microsoft Research New England(微软新英格兰研究院)
本文研究了半参数上下文强盗,线性随机强盗问题的推广,其中行动的奖励被建模为一个线性函数的已知动作功能混淆的非线性动作独立项。当线性函数是$d$维时,我们设计了新算法,使$\tilde{O}(d\sqrt{T})$对$T$轮感到遗憾,这与更简单的无混淆情况的最佳已知界限相匹配,并改进了Greenewald等人的最新结果。(2017)。通过实证评估,我们表明,我们的算法优于以前的方法时,有非线性混杂效应的奖励。从技术上讲,我们的算法使用了一个新的奖励估计的启发双重鲁棒的方法和我们的证明需要新的集中不等式的自归一化鞅。
2018-07-16 cs.LG stat.ML
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化(ERM)的甲骨文每轮,其中d是行动的数量。该方法使用未标记的数据,使问题的计算简单。当ERM问题本身是计算困难的,我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后,我们证明了当全信息监督在线学习问题具有非平凡的后悔保证(和有效)时,上下文强盗问题的对抗版本是可学习的(和有效的)。
2016-02-06 cs.LG stat.ML
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是一种用于优化$D$维函数的技术,该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功,但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中,我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力,包含更丰富的函数类。我们证明了,添加剂功能的遗憾只有线性依赖于$D$,即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处,在我们的框架。通过合成的例子,一个科学的模拟和人脸检测问题,我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
Meta Learning in Bandits within Shared Affine Subspaces
Ruhr University Bochum(波鸿鲁尔大学);University of Tübingen(蒂宾根大学)
本文研究在共享低维仿射子空间中元学习多个上下文老虎机任务,通过在线主成分分析学习该子空间,并提出基于乐观原则和汤普森采样的两种策略,理论分析与实验均表明其能显著降低遗憾。
2024-03-31 cs.LG stat.ML
Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits
University of Chicago(芝加哥大学);New York University(纽约大学)
我们研究了高维稀疏线性上下文强盗中的动态批量学习问题,其中决策者在给定的最大批量约束下,只能在每批结束时观察奖励,可以动态地决定下一批(在当前批次结束时)中包含多少个人,以及在每批中采用什么个性化的动作选择方案。这种批量约束在各种实际环境中普遍存在,包括营销中的个性化产品供应和临床试验中的药物治疗选择。我们通过一个遗憾的下限,并提供了一个匹配的上限(对数因子),从而规定了这个问题的最佳方案的基本学习限制。据我们所知,我们的工作提供了第一个理论上的理解动态批量学习高维稀疏线性上下文土匪。值得注意的是,即使是一个特殊的情况下,我们的结果-当没有批量约束-收益率,简单的探索免费算法使用LASSO估计已经达到了最小最大最佳遗憾界的标准在线学习在高维线性上下文土匪(对于无利润率的情况下),一个结果,似乎未知的新兴文献中的高维上下文土匪。
2022-07-16 cs.IT cs.LG math.IT
Gamification of Pure Exploration for Linear Bandits
INRIA - DIENS - PSL Research University(法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学);INRIA(法国国家信息与自动化研究所);DeepMind Paris(深度思维巴黎分公司)
我们调查了一个积极的纯探索设置,其中包括最佳臂识别,在线性随机土匪的背景下。虽然渐近最优算法存在的标准多臂土匪,这种算法的存在最好的武器识别线性土匪一直难以捉摸,尽管几次尝试解决it. First,我们提供了一个彻底的比较和新的见解在不同的概念的最优性的线性情况下,包括G-最优性,最佳试验设计和渐近最优性的转导最优性。其次,我们设计了线性强盗中固定置信纯探索的第一个渐近最优算法。因此,我们的算法自然绕过了一个简单但困难的实例所造成的陷阱,大多数以前的算法必须被设计来显式处理。最后,我们避免了需要完全解决的最优设计问题,提供了一种方法,需要一个有效的实施。
2020-07-02 cs.LG stat.ML
A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Tata Institute of Fundamental Research(塔塔基础研究院)
本文提出了一种通过回归将约束上下文老虎机问题简化为无约束问题的方法,适用于对抗性上下文设置,并提供了改进的保证和透明的分析。
2026-02-04 cs.LG
Empirical Likelihood for Contextual Bandits
Microsoft Dynamics 365 AI(微软 Dynamics 365 人工智能);Microsoft Research(微软研究院)
我们提出了一个估计和置信区间计算的价值,从政策外的数据在上下文的强盗设置的政策。为此,我们应用经验似然技术制定我们的估计和置信区间作为简单的凸优化问题。然后,使用我们的置信区间的下限,我们提出了一个政策外的政策优化算法,搜索策略与大的回报下限。我们的经验发现,我们的估计和置信区间改善了以前的建议,在有限样本制度。最后,我们提出的策略优化算法优于一个强大的基线系统,用于从非策略数据中学习。
2020-10-17 cs.LG stat.ML
Exploration via Feature Perturbation in Contextual Bandits
Seoul National University(首尔国立大学)
提出特征扰动探索策略,通过向特征输入注入随机性实现上下文赌博机的有效探索,达到近乎最优遗憾界且计算高效,可扩展至神经网络模型。
2025-10-24 cs.LG stat.ML