Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院);University of Alberta(阿尔伯塔大学);Simon Fraser University(西蒙菲莎大学);Indian Institute of Science(印度科学学院)
该研究证明任意常数学习率下随机梯度老虎机算法几乎必然收敛到全局最优策略,突破标准假设限制,基于动作采样率等新发现扩展了对该方法在老虎机场景中行为的理解。
2025-02-11 cs.LG
Stochastic Gradient Succeeds for Bandits
Google DeepMind(谷歌DeepMind);University of Alberta(阿尔伯塔大学);Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
本文证明常数步长的随机梯度老虎机算法以 O(1/t) 速率几乎必然收敛到全局最优策略,揭示了噪声增长条件和自动弱探索两项关键机制,并通过实验验证了理论发现。
2024-02-27 cs.LG
HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings
University of Ottawa(渥太华大学)
本文分析随机与对抗环境下 ETC、UCB、EXP3 的遗憾界,并提出 HABO 框架,将超参数作为超级臂、配置作为子臂进行调优,实验显示其在效率和准确率上优于 Bayesian Optimization。
2025-03-13 cs.LG
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application(硬件/软件协同设计技术与应用的MoE工程研究中心);East China Normal University(东华大学)
本文提出了一种改进的随机老虎机框架BARBAT,通过消除K因子实现最优悔恨界,并扩展至多种设置,提升并行化能力与计算效率。
2026-01-02 cs.LG
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置,证明学习率η=O(Δ_min²/(Δ_max log(n)))时,后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
Stochastic Graph Bandit Learning with Side-Observations
The Hong Kong University of Science and Technology(香港科技大学)
本文研究了具有图反馈的随机上下文bandit问题,提出了一种适应图结构和奖励差距的算法,首次提供了依赖差距的遗憾上界,且无需图量知识,数值实验验证了其高效性。
2024-01-06 cs.LG
Stochastic Multi-Armed Bandits with Unrestricted Delay Distributions
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
我们研究了随机多臂强盗(MAB)问题的随机延迟的反馈接收的算法。我们考虑两种设置:与奖励相关的延迟设置,其中实现的延迟可能取决于随机奖励,以及与奖励无关的延迟设置。我们的主要贡献是算法,实现接近最佳的遗憾,在每个设置,额外的添加剂依赖于分位数的延迟分布。我们的结果不对延迟分布做任何假设:特别是,我们不假设它们来自任何参数分布族,并且允许无限的支持和期望;我们还允许无限延迟,其中算法可能偶尔不会观察到任何反馈。
2021-06-04 cs.LG
Towards Noise-Resilient Quantum Multi-Armed and Stochastic Linear Bandits
School of Electronics and Communication Engineering(电子与通信工程学院)
本文提出噪声鲁棒的量子多臂和随机线性滑动窗口算法,通过改进量子奖励 oracle 的估计精度,在噪声环境下提升性能并保持对经典方法的优势。
2026-03-19 cs.LG
Near-Optimal Stochastic Linear Bandits with Delay
Tel Aviv University(特拉维夫大学);University of Iowa(爱荷华大学);Tel Aviv University and Google Research(特拉维夫大学和谷歌研究)
研究多种延迟模型下的随机线性赌博机,给出近最优遗憾界,揭示延迟与线性结构交互的维度影响。
2026-06-16 cs.LG
The Impact of Batch Learning in Stochastic Linear Bandits
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);Tilburg University(蒂尔堡大学);University of Jyväskylä(于韦斯屈莱大学)
本文研究批量学习在随机线性bandit中的影响,提供与策略无关的遗憾分析,证明批量学习对遗憾的影响为批量大小的乘法因子,并验证了有限臂与无限臂设置的理论一致性。
2022-09-01 cs.LG
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen(哥本哈根大学)
我们推导出Zimmert和Seldin(2021)的Tsallis-INF算法的改进遗憾界。我们表明,在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界,其中$T$是时间范围,$K$是武器的数量,$Δ_i$是次优差距,$i^*$是最好的手臂,$C$是腐败的幅度,和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪,随机约束对抗土匪,随机土匪与对抗腐败的特殊情况。此外,我们提供了一个一般性的分析,它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
An Efficient Pessimistic-Optimistic Algorithm for Stochastic Linear Bandits with General Constraints
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学)
本文考虑了一般非线性约束下的随机线性土匪问题。我们的目标是最大限度地提高预期的累积回报超过地平线$T$受到一组约束,在每一轮$τ\leq T$。我们提出了一个悲观-乐观算法,这是有效的,在两个方面。首先,该算法在循环$τ\leq T,$中产生$\tilde{\cal O}\left(\left(\frac{K^{0.75}}δ+d\right)\sqrtτ\right)$(伪)遗憾,其中$K$是约束的数量,$d$是奖励特征空间的维度,并且$δ$是斯莱特常数;并且在任何循环$τ>τ',$中产生零约束违反,其中$τ'$独立于水平$T.$。我们的算法是基于优化的原始-对偶方法,包括两个组成部分。原始分量类似于无约束随机线性强盗(我们的算法使用线性置信上限算法(LinUCB))。对偶分量的计算复杂度取决于约束的数量,但与上下文空间、动作空间和特征空间的大小无关。因此,我们的算法的整体计算复杂度是类似的线性UCB无约束随机线性土匪。
2021-11-10 cs.LG
Non-stochastic Bandits With Evolving Observations
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
提出统一延迟与损坏反馈的在线学习框架,处理对抗性演化观测,给出全信息与赌博机设定的遗憾最小化算法,匹配并扩展已知界。
2024-05-27 cs.LG
A Survey on Contextual Multi-armed Bandits
Carnegie Mellon University(卡内基梅隆大学)
在这个调查中,我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
2016-02-01 cs.LG
Selecting k Paths with the Minimum Longest Path Length in the Stochastic Semi-Bandit Setting
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院)
针对并行数据传输中需最小化所选路径最大传输时间的问题,本文将其形式化为随机半带设置下的k路径选择问题,并提出相应求解算法。
2026-09-15 cs.LG
Active Learning for Stochastic Contextual Linear Bandits
Stanford University(斯坦福大学)
提出一种通过主动采样上下文-动作对奖励来学习近最优策略的算法,理论上证明主动上下文采样可将最小最大率改进最多√d倍,并在华法林剂量预测和笑话推荐任务中验证了样本效率提升。
2026-05-24 cs.LG
Offline-to-online hyperparameter transfer for stochastic bandits
Google LLC(谷歌公司);TTIC(芝加哥丰田技术研究所)
本文研究随机老虎机超参数调优难题,提出利用多任务离线数据为未知分布中的新在线任务迁移超参数,并给出任务间与任务内样本复杂度界。
2025-01-06 cs.LG
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们开发的线性强盗算法,自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中,我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾,而且还在损坏的环境中工作,额外的遗憾是损坏的量,而现有技术(Li et al.,2019)既没有实现实例最优性,也没有实现对腐败量的最优依赖性。此外,通过为该算法配备对抗组件和精心设计的测试,我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾,这是我们所知的第一个此类算法。最后,我们所有的保证都具有很高的概率,而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego(加州大学圣地亚哥分校);Shanghai Jiao Tong University(上海交通大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
我们研究了在合作的多智能体设置,$V$代理与一个共同的$K$ -武装土匪问题,和每对代理可以相互通信,以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中,奖励是从所有代理和回合的分布中独立采样的,但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明,腐败的添加剂长期是不可避免的任何算法在这个问题。然后,我们提出了一个新的算法,是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置,但也获得了遗憾与腐败的腐败设置中的附加项,同时保持有效的通信。该算法也适用于单代理腐败问题,并实现了一个高概率的遗憾,消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
多臂强盗(MAB)和随机线性强盗(SLB)是强化学习中的重要模型,而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中,我们研究了MAB和SLB与量子奖励预言,并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾,指数改善的依赖$T$。据我们所知,这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比,我们的量子输入模型更简单,并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University(爱荷华州立大学)
我们考虑的问题,M代理合作互动的一个随机K-武装上下文土匪的实例,其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置,在延迟后观察到确切的上下文,并在选择动作的时候,代理人不知道上下文,只有一个分布的上下文集可用。这种情况出现在不同的应用中,其中在决策时需要预测上下文(例如,天气预报或股票市场预测),并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界(UCB)的分布式算法,并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟,我们验证了我们的算法的性能。
2022-11-15 cs.LG
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种归约框架,将随机上下文线性赌博机问题转化为线性赌博机问题求解,在上下文分布已知或未知时均能取得近最优遗憾界,并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法,这个问题的遗憾是近最佳的,大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的,并且可以容忍大量的腐败,几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University(波士顿大学);Google Research(谷歌研究院)
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序,对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题,我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪,而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限,我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对固定预算下随机线性老虎机,提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen,利用 G-最优设计与连续消除,实现错误概率指数衰减。
2025-05-24 cs.LG
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria(奥地利科学技术研究所)
考虑随机多臂强盗中的后悔最小化问题,当衡量一个臂的优良性不是平均收益,而是均值和方差的一般函数时,我们刻画了学习可能的条件,并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
The best of both worlds: stochastic and adversarial bandits
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
我们提出了一个新的强盗算法,SAO(随机和对抗最优),其遗憾,本质上是最优的对抗性奖励和随机奖励。具体地,SAO结合了Exp3的平方根最坏情况遗憾(Auer等人,SIAM J. on Computing 2002)和UCB 1的(多)对数遗憾(Auer et al.,机器学习2002)的随机奖励。对抗性奖励和随机奖励是(非贝叶斯)多臂强盗文献中的两个主要设置。之前关于多武装土匪的工作将它们分开对待,并且不试图联合优化两者。我们的结果属于一个一般的主题,实现良好的最坏情况下的性能,同时也利用了“好”的问题的情况下,一个重要的问题,在设计的算法与部分已知的输入。
2012-02-20 cs.DS cs.LG
Sparse Stochastic Bandits
École polytechnique, Université Paris–Saclay(巴黎-萨克雷大学,巴黎综合理工学院);École Normale Supérieure Paris–Saclay(巴黎-萨克雷高等师范学校);Criteo Research(Criteo研究院);Télécom ParisTech(巴黎电信学院)
在经典的多臂强盗问题中,决策者可以使用d个臂,依次拉动它们以最大化他的累积奖励。保证可以在一个称为后悔的相对量上获得,它与d(或与最小最大意义下的sqrt(d))成线性关系。在这里,我们考虑这个经典问题的稀疏情况下,只有少量的武器,即s < d,有一个积极的预期回报。我们能够利用这个额外的假设来提供一个算法,其遗憾与s而不是d成比例。此外,我们证明,该算法是最佳的,通过提供一个匹配的下限-至少对于一个广泛的和相关的范围内的参数,我们确定-并通过评估其性能的模拟数据。
2017-06-05 cs.LG
Feature and Parameter Selection in Stochastic Linear Bandits
University of California, Santa Barbara(加州大学圣巴巴拉分校);DeepMind(深度思维);Google Research(谷歌研究院)
研究了随机线性强盗模型中的两种模型选择设置。在第一种设置中,我们称之为特征选择,LB问题的预期回报是在至少一个$M$特征图(模型)的线性跨度中。在第二种设置中,LB问题的奖励参数从表示为$\mathbb R^d$中的(可能)重叠球的$M$模型中任意选择。但是,代理只能访问错误指定的模型,即~球的中心和半径的估计。我们将此设置称为参数选择。对于每一个设置,我们开发和分析一个计算效率高的算法,是基于减少土匪的全信息问题。这使我们能够获得不比真实模型已知的情况更差的后悔界限(直到$\sqrt{\log M}$因子)。这是在这些设置中对模型数量$M$的最佳依赖性。最后,我们经验表明,我们的算法使用合成和真实世界的实验的有效性。
2022-06-17 cs.LG
Corralling Stochastic Bandit Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学);Courant Institute(柯朗研究所);Google Research(谷歌研究院)
我们研究的问题,畜栏随机强盗算法,即结合多个强盗算法设计的随机环境中,设计一个畜栏算法,以及最好的基础算法的目标。我们给出了两个一般的算法,这种设置,我们表现出有利的后悔保证的好处。我们发现,遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂,并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
When Are Linear Stochastic Bandits Attackable?
Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学)
我们研究了线性随机土匪的对抗攻击:通过操纵奖励,对手的目的是控制土匪算法的行为。也许令人惊讶的是,我们首先表明,一些攻击目标永远无法实现。这与上下文无关的随机强盗形成鲜明对比,本质上是由于线性随机强盗中武器之间的相关性。基于这一发现,本文研究了一个$k$武装的线性土匪环境的可攻击性。我们首先提供了一个完整的必要性和充分性的基础上的武器的上下文向量的几何特征的可攻击性。然后,我们提出了一个两阶段的攻击方法对LinUCB和鲁棒相位消除。该方法首先断言给定的环境是否可攻击;如果是,它会破坏奖励,迫使算法仅使用次线性成本线性拉动目标手臂。数值实验进一步验证了该攻击方法的有效性和成本效率。
2022-07-03 cs.CR cs.LG
Thompson Sampling for Bandits with Clustered Arms
Chalmers University(查尔姆斯理工大学)
我们提出了算法的基础上,多层次的汤普森抽样计划,随机多臂土匪及其上下文的变化与线性预期奖励,在设置武器被聚集。我们表明,无论是理论上和经验上,如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比,使用标准的汤普森采样。在随机多臂土匪的情况下,我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后,我们进行了实证评估表明,我们的算法相比,以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen(哥本哈根大学);University of Southern California(南加州大学)
我们开发了第一个通用的半强盗算法,同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究,但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了(Zimmert & Seldin,2019)最近的工作,用于多臂强盗的特殊情况,但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明,该算法在不同的环境下确实表现出良好的一致性。最后,我们提供了一个初步的扩展,我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Replicable Bandits
Google Research(谷歌研究院);National Technical University of Athens(雅典国立技术大学);Yale University(耶鲁大学);ETH Zurich(苏黎世联邦理工学院)
在本文中,我们介绍了可复制的政策的概念的背景下,随机土匪,在互动学习的典型问题之一。在强盗环境中的策略被称为可复制的,如果它以高概率在两个不同且独立的执行中拉动完全相同的手臂序列(即,在独立的奖励实现下)。我们发现,不仅存在可复制的政策,而且他们实现了几乎相同的最佳(不可复制)的遗憾界限的时间范围。更具体地说,在随机多武装土匪设置,我们开发了一个最佳的问题相关的遗憾界的依赖于可复制性参数也是最佳的政策。类似地,对于随机线性土匪(有无穷多个武器),我们开发了可复制的政策,实现了最著名的问题独立的遗憾界限与最佳的依赖于可复制性参数。我们的研究结果表明,尽管随机化对于探索-利用权衡至关重要,但在两轮不同的执行中拉动完全相同的手臂时,仍然可以实现最佳平衡。
2023-02-14 cs.LG
Fairness of Exposure in Stochastic Bandits
Cornell University(康奈尔大学)
上下文强盗算法已被广泛用于在线系统(例如市场,音乐流媒体,新闻)中的推荐,在这些系统中,它们现在对哪些项目被暴露给用户产生重大影响。这就提出了对这些物品以及从这种曝光中受益的卖家、艺术家和作家的公平性的问题。我们认为,传统的强盗公式可能会导致一个不可取的和不公平的赢家通吃的风险分配。为了解决这个问题,我们提出了一个新的强盗目标,保证基于价值的公平暴露的项目,同时优化效用的用户。我们制定公平后悔和奖励后悔在这种情况下,随机多武装土匪和随机线性土匪的算法。我们证明了该算法实现了次线性公平后悔和奖励后悔。除了理论分析,我们还提供了经验证据,这些算法可以公平地分配暴露于不同的武器有效。
2021-09-12 cs.IR cs.LG
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
随机线性上下文强盗算法在实际中有着重要的应用,如推荐系统,在线广告,临床试验等。最近的工作表明,最佳强盗算法容易受到对抗性攻击,并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境,无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外,现有的方法都不能抵御攻击上下文。在这项工作中,我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作,而且可以在攻击上下文下工作。此外,它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证,并通过实验表明,我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Data Poisoning Attacks on Stochastic Bandits
The Ohio State University(俄亥俄州立大学)
随机多臂强盗形成了一类在线学习问题,在在线推荐系统、自适应医疗等许多方面有重要应用。尽管对这些学习算法的潜在攻击可能会劫持它们的行为,在现实世界的应用中造成灾难性的损失,但对强盗算法的对抗攻击知之甚少。本文提出了一个基于凸优化的离线攻击的框架,研究了基于凸优化的离线攻击对几种流行的Bandit算法的攻击。我们表明,攻击者可以迫使强盗算法拉目标手臂的概率很高,通过轻微的操纵数据中的奖励。然后研究了一种对bandit算法的在线攻击形式,提出了一种在不知道bandit算法的情况下对任意bandit算法的自适应攻击策略。我们的自适应攻击策略可以劫持的行为的强盗算法遭受线性遗憾只有对数成本的攻击。我们的研究结果表明,一个显着的安全威胁随机土匪。
2019-05-16 cs.CR cs.LG stat.ML
Stochastic Multi-armed Bandits with Non-stationary Rewards Generated by a Linear Dynamical System
Washington University in St. Louis(圣路易斯华盛顿大学)
随机多臂强盗为研究未知环境下的决策问题提供了一个框架。我们提出了一个变种的随机多臂强盗的奖励是从随机线性动力系统采样。这种随机多臂强盗变体的建议策略是学习动力系统的模型,同时根据学习的模型选择最佳动作。受Merton提出的跨期资本资产定价模型和Fernholz提出的随机投资组合理论等数学金融领域的启发,这一策略被应用于量化金融作为高频交易策略,其目标是在一段时间内实现收益最大化。
2022-04-06 cs.LG cs.SY eess.SY
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego(加州大学圣地亚哥分校);West Virginia University(西弗吉尼亚大学)
我们提出了一种新的修改标准的置信上限(UCB)方法的随机多臂强盗(MAB)问题,调整的置信界的基础上,它的距离到其他的一个给定的强盗。我们的UCB距离调谐(UCB-DT)制定,使改进的性能,通过防止MAB算法专注于非最佳的土匪,这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的,我们称之为“强盗距离”,该距离度量是可参数化的,因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明,增加性能的UCB-DT与许多现有的国家的最先进的方法,使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具,称为“勘探讨价还价点”,它提供了深入了解勘探和开发之间的权衡。我们认为,勘探讨价还价点提供了一个直观的角度来看,是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis(加州大学戴维斯分校)
本文在一定的光滑性和子水平集假设下,研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后,我们提出了一个自适应的bin分裂方法,它可以显着提高性能。此外,一个极小极大下界的推导,这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University(国立交通大学);Texas A&M University(德克萨斯农工大学)
修改奖励偏置最大似然方法最初提出的自适应控制文献中,我们提出了新的学习算法,以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策,我们证明实现了订单最优,并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点,每次拉低计算时间的线性土匪,从而导致有利的遗憾,以及计算效率。
2020-10-08 cs.LG stat.ML
Risk-Averse Stochastic Convex Bandit
Georgia Institute of Technology(佐治亚理工学院)
受临床试验和金融应用的启发,我们研究了决策者是风险厌恶的在线凸优化问题(带强盗反馈)。我们提供了两个算法来解决这个问题。第一个是下降型算法,这是很容易实现的。第二个算法,它结合了椭球方法和中心点设备,实现(几乎)最优的遗憾界轮数。据我们所知,这是第一次尝试解决在线凸强盗问题中的风险规避。
2018-10-01 cs.LG stat.ML
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen(哥本哈根大学);ICREA(加泰罗尼亚高等研究院);Pompeu Fabra University(庞培法布拉大学)
我们提出了一种新的多臂土匪随机算法中的间隙估计策略,并将其与Seldin和Slivkins(2014)的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性,并消除了顺序为$Δe^{1/Δ^2}$的附加因子,其中$Δ$是问题实例的最小间隙。在对抗制中,后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Residual Bootstrap Exploration for Stochastic Linear Bandit
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
针对随机线性强盗问题,提出了一种新的基于自举的在线算法。其核心思想是采用残差自助探索,通过对平均报酬估计的残差进行重新采样来估计下一步的报酬。我们的算法,随机线性强盗(\texttt{LinReBoot})的剩余引导探索,估计其重新采样分布的线性奖励,并拉最高的奖励估计的手臂。特别是,我们贡献了一个理论框架,以揭开神秘的剩余引导为基础的探索机制在随机线性强盗问题。关键的见解是,自助探索的强度是基于在线学习模型和残差的重新采样分布之间的合作乐观。这样的观察使我们能够表明,建议\texttt{LinReBoot}安全的高概率$\tilde{O}(d \sqrt{n})$次线性遗憾在温和的条件下。我们的实验支持的\texttt{ReBoot}原则在线性强盗问题的各种配方容易推广,并显示显着的计算效率的\texttt{LinReBoot}。
2022-06-17 cs.LG stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University(哥伦比亚大学);Morgan Stanley(摩根大通)
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响,证明LinTS和LinBUCB保持原始遗憾速率但常数增大,且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
Safe Linear Stochastic Bandits
Cornell University(康奈尔大学)
我们介绍了安全的线性随机强盗框架-线性随机强盗的推广-在每个阶段,学习者需要选择一个手臂与预期的奖励,不低于一个预定的(安全)阈值的高概率。我们假设学习者最初知道一个已知是安全的手臂,但不一定是最佳的。利用这一假设,我们引入了一种学习算法,该算法系统地将已知的安全武器与探索武器相结合,以随着时间的推移安全地扩展安全武器的集合,同时促进后续阶段的安全贪婪利用。除了确保满足的安全约束在每个阶段的发挥,所提出的算法表现出预期的遗憾,不超过$O(\sqrt{T}\log (T))$后,$T$阶段的发挥。
2019-11-21 cs.LG stat.ML
A Note on KL-UCB+ Policy for the Stochastic Bandit
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文研究了随机K臂强盗问题的一个经典情形。在这个问题中,它已被称为KL-UCB政策实现渐近最优后悔界和KL-UCB+政策的经验表现优于KL-UCB政策,虽然后悔界的KL-UCB+政策的原始形式一直是未知的。本文证明了KL-UCB+策略的渐近最优性的一个简单证明可以用与分析其他已知策略相同的方法给出。
2019-03-20 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们探索了一个新的设置的多臂强盗(MAB)问题的灵感来自现实世界的应用程序,我们称之为“随机延迟复合匿名反馈(SDCAF)”的强盗。在SDCAF中,拉臂的奖励是随时间随机的,但在拉臂后的未来分散在固定数量的时间步长上,这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质,玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法,这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析,以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题,其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂,于是接收所选组中的每个手臂的反馈。与现有的作品不同,我们研究这个问题在一个非随机设置与子集相关的反馈,即,所接收的半强盗反馈可以由不经意的对手产生,并且还可以取决于所选择的武器集合。此外,我们认为一个一般的反馈方案,包括数字为基础的,以及基于偏好的情况下,并介绍了一个健全的理论框架,保证合理的概念,最佳武器,学习者试图找到这种设置。我们提出了一个通用的算法,适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题,足够的和必要的预算的算法,以找到最好的手臂得到回答和补充,推导出下限的任何学习算法,这个问题的情况。
2022-10-14 cs.LG stat.ML
Metadata-based Multi-Task Bandits with Bayesian Hierarchical Models
North Carolina State University(北卡罗来纳州立大学)
如何有效地进行侦查是多兵种土匪的核心问题。在本文中,我们介绍了基于元数据的多任务强盗问题,其中代理需要解决大量相关的多臂强盗任务,并且可以利用一些特定于任务的特征(即,元数据)来跨任务共享知识。作为一个通用的框架,我们建议通过贝叶斯分层模型的镜头捕捉任务关系,汤普森采样算法的设计,有效地学习任务关系,共享信息,并尽量减少累积的遗憾。对高斯强盗和伯努利强盗的两个具体例子进行了仔细的分析。贝叶斯对高斯强盗的遗憾清楚地表明了与我们的算法共享信息的好处。所提出的方法是进一步支持广泛的实验。
2021-08-13 cs.AI cs.LG
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence(博世人工智能中心);Technische Universität Darmstadt(达姆施塔特工业大学);University of Southern Denmark(南丹麦大学);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
本文利用自适应鞅混合尾部界构造更紧的置信序列,提出随机线性老虎机改进算法,并通过凸规划实现高效动作选择,在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University(爱荷华州立大学)
针对共享低维线性表示的多个随机上下文线性赌博机任务,提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法,并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML