An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben(莱奥本矿业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个算法,实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$,对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明,没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins(2012)之前的结果,该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Task Selection for Bandit-Based Task Assignment in Heterogeneous Crowdsourcing
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
任务选择(挑选合适的标签任务)和工人选择(将标签任务分配给合适的工人)是众包任务分配中的两个主要挑战。最近,工人选择已成功地解决了基于Bandit的任务分配(BBTA)方法,而任务选择尚未得到彻底的研究。本文通过实验比较了几种借鉴自主动学习文献的任务选择策略,表明最小置信度策略显著提高了众包中任务分配的性能。
2015-07-26 cs.LG
Exploiting Transitivity for Top-k Selection with Score-Based Dueling Bandits
University of Warwick(华威大学)
研究了具有分数信息的Dueling Bandit问题中的top-k子集选择问题。现实世界的成对排序问题往往表现出高度的传递性和先前的工作建议抽样方法,利用这种传递性,通过使用参数偏好模型,如布拉德利-特里-卢斯(BTL)和瑟斯顿模型。到目前为止,这项工作的重点是样本结果是赢/输二元反应的情况下。我们扩展到选择问题,抽样结果包含定量信息,提出了一个瑟斯顿风格的模型和适应成对最优计算预算分配子集选择(POCBAm)抽样方法,利用该模型进行有效的样本选择。我们对标准POCBAM和其他竞争算法的实证性能进行比较。
2020-12-31 cs.LG
Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院);University of Alberta(阿尔伯塔大学);Simon Fraser University(西蒙菲莎大学);Indian Institute of Science(印度科学学院)
该研究证明任意常数学习率下随机梯度老虎机算法几乎必然收敛到全局最优策略,突破标准假设限制,基于动作采样率等新发现扩展了对该方法在老虎机场景中行为的理解。
2025-02-11 cs.LG
Stochastic Gradient Succeeds for Bandits
Google DeepMind(谷歌DeepMind);University of Alberta(阿尔伯塔大学);Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
本文证明常数步长的随机梯度老虎机算法以 O(1/t) 速率几乎必然收敛到全局最优策略,揭示了噪声增长条件和自动弱探索两项关键机制,并通过实验验证了理论发现。
2024-02-27 cs.LG
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application(硬件/软件协同设计技术与应用的MoE工程研究中心);East China Normal University(东华大学)
本文提出了一种改进的随机老虎机框架BARBAT,通过消除K因子实现最优悔恨界,并扩展至多种设置,提升并行化能力与计算效率。
2026-01-02 cs.LG
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置,证明学习率η=O(Δ_min²/(Δ_max log(n)))时,后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
Stochastic Graph Bandit Learning with Side-Observations
The Hong Kong University of Science and Technology(香港科技大学)
本文研究了具有图反馈的随机上下文bandit问题,提出了一种适应图结构和奖励差距的算法,首次提供了依赖差距的遗憾上界,且无需图量知识,数值实验验证了其高效性。
2024-01-06 cs.LG
Stochastic Multi-Armed Bandits with Unrestricted Delay Distributions
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
我们研究了随机多臂强盗(MAB)问题的随机延迟的反馈接收的算法。我们考虑两种设置:与奖励相关的延迟设置,其中实现的延迟可能取决于随机奖励,以及与奖励无关的延迟设置。我们的主要贡献是算法,实现接近最佳的遗憾,在每个设置,额外的添加剂依赖于分位数的延迟分布。我们的结果不对延迟分布做任何假设:特别是,我们不假设它们来自任何参数分布族,并且允许无限的支持和期望;我们还允许无限延迟,其中算法可能偶尔不会观察到任何反馈。
2021-06-04 cs.LG
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);University of Southern California(南加州大学)
在统计学习中,模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Robust Bandit Learning with Imperfect Context
University of California, Riverside(加州大学河滨分校)
上下文多臂强盗中的标准假设是在臂选择之前完全知道真实上下文。然而,在许多实际应用中(例如,云资源管理),在ARM选择之前,上下文信息只能通过受到错误或对抗性修改的预测来获取。在本文中,我们研究了一个上下文的强盗设置,其中只有不完美的上下文可用于手臂选择,而真正的上下文是在每一轮结束时透露。我们提出了两个强大的手臂选择算法:MaxMinUCB(最大化最小UCB),最大限度地提高了最坏情况下的奖励,和MinWD(最小化最坏情况下的退化),最大限度地减少了最坏情况下的遗憾。重要的是,我们分析了MaxMinUCB和MinWD的鲁棒性,通过推导遗憾和奖励界限相比,一个预言,知道真正的上下文。我们的研究结果表明,随着时间的推移,MaxMinUCB和MinWD都表现为渐近以及他们的最佳同行,知道奖励函数。最后,我们将MaxMinUCB和MinWD应用于在线边缘数据中心选择,并运行合成模拟来验证我们的理论分析。
2021-04-04 cs.LG
Challenger-Based Combinatorial Bandits for Subcarrier Selection in OFDM Systems
Department of Computer and Systems Sciences (DSV)(计算机与系统科学系)
针对多用户MIMO下行链路前m用户调度集识别的组合纯探索难题,提出带冠军与挑战者短名单的间隙索引线性老虎机框架,在高准确率下大幅降低耗时与计算量,实现AI通信系统的高效子载波选择。
2025-10-06 cs.LG
The Pareto Frontier of model selection for general Contextual Bandits
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
模型选择的最新进展提出了这些技术的基本限制的问题。在特定的审查下,模型选择一般的上下文强盗与嵌套的政策类,导致COLT 2020开放的问题。它询问是否有可能同时获得策略类嵌套序列中所有策略的最佳单个算法保证,或者如果没有,则这对于复杂性项和时间之间的折衷$α\in[\frac{1}{2},1)$是可能的:$\ln(|Π_m|)^{1-α}T^α$。我们对这个问题的回答令人失望。即使在纯粹随机的情况下,也不可能得到所期望的结果。我们提出了一个帕累托边界的对数因子匹配的上限和下限,从而证明了增加的复杂性项$\ln(|Π_m|)$独立的$T$是不可避免的一般政策类。作为一个附带结果,我们还解决了COLT 2016关于全信息博弈中二阶边界的公开问题。
2021-10-25 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay(电子工程系,印度理工学院,孟买)
本文研究单调结构下基于阈值的多臂老虎机问题,推导了仅与阈值相邻臂相关的渐近遗憾下界,提出最优算法并经蒙特卡洛模拟验证,拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
Towards Noise-Resilient Quantum Multi-Armed and Stochastic Linear Bandits
School of Electronics and Communication Engineering(电子与通信工程学院)
本文提出噪声鲁棒的量子多臂和随机线性滑动窗口算法,通过改进量子奖励 oracle 的估计精度,在噪声环境下提升性能并保持对经典方法的优势。
2026-03-19 cs.LG
Near-Optimal Stochastic Linear Bandits with Delay
Tel Aviv University(特拉维夫大学);University of Iowa(爱荷华大学);Tel Aviv University and Google Research(特拉维夫大学和谷歌研究)
研究多种延迟模型下的随机线性赌博机,给出近最优遗憾界,揭示延迟与线性结构交互的维度影响。
2026-06-16 cs.LG
The Impact of Batch Learning in Stochastic Linear Bandits
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);Tilburg University(蒂尔堡大学);University of Jyväskylä(于韦斯屈莱大学)
本文研究批量学习在随机线性bandit中的影响,提供与策略无关的遗憾分析,证明批量学习对遗憾的影响为批量大小的乘法因子,并验证了有限臂与无限臂设置的理论一致性。
2022-09-01 cs.LG
An Efficient Pessimistic-Optimistic Algorithm for Stochastic Linear Bandits with General Constraints
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学)
本文考虑了一般非线性约束下的随机线性土匪问题。我们的目标是最大限度地提高预期的累积回报超过地平线$T$受到一组约束,在每一轮$τ\leq T$。我们提出了一个悲观-乐观算法,这是有效的,在两个方面。首先,该算法在循环$τ\leq T,$中产生$\tilde{\cal O}\left(\left(\frac{K^{0.75}}δ+d\right)\sqrtτ\right)$(伪)遗憾,其中$K$是约束的数量,$d$是奖励特征空间的维度,并且$δ$是斯莱特常数;并且在任何循环$τ>τ',$中产生零约束违反,其中$τ'$独立于水平$T.$。我们的算法是基于优化的原始-对偶方法,包括两个组成部分。原始分量类似于无约束随机线性强盗(我们的算法使用线性置信上限算法(LinUCB))。对偶分量的计算复杂度取决于约束的数量,但与上下文空间、动作空间和特征空间的大小无关。因此,我们的算法的整体计算复杂度是类似的线性UCB无约束随机线性土匪。
2021-11-10 cs.LG
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen(哥本哈根大学)
我们推导出Zimmert和Seldin(2021)的Tsallis-INF算法的改进遗憾界。我们表明,在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界,其中$T$是时间范围,$K$是武器的数量,$Δ_i$是次优差距,$i^*$是最好的手臂,$C$是腐败的幅度,和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪,随机约束对抗土匪,随机土匪与对抗腐败的特殊情况。此外,我们提供了一个一般性的分析,它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
Non-stochastic Bandits With Evolving Observations
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
提出统一延迟与损坏反馈的在线学习框架,处理对抗性演化观测,给出全信息与赌博机设定的遗憾最小化算法,匹配并扩展已知界。
2024-05-27 cs.LG
A Survey on Contextual Multi-armed Bandits
Carnegie Mellon University(卡内基梅隆大学)
在这个调查中,我们涵盖了一些随机和对抗性的上下文强盗算法。分析了每种算法的假设条件和遗憾界。
2016-02-01 cs.LG
Selecting k Paths with the Minimum Longest Path Length in the Stochastic Semi-Bandit Setting
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院)
针对并行数据传输中需最小化所选路径最大传输时间的问题,本文将其形式化为随机半带设置下的k路径选择问题,并提出相应求解算法。
2026-09-15 cs.LG
Multi-Environment Meta-Learning in Stochastic Linear Bandits
University of California, Santa Barbara(加州大学圣巴巴拉分校);Google Research(谷歌研究院);Stanford University(斯坦福大学);University of British Columbia(不列颠哥伦比亚大学)
在这项工作中,我们研究元学习(或学习学习)的方法在多任务线性随机强盗问题,可以起源于多个环境。受[1]关于线性强盗问题序列中的元学习的工作的启发,该线性强盗问题的参数是从单个分布中采样的(即,单个环境),这里我们考虑当任务参数从混合分布中提取时元学习的可行性。对于这个问题,我们提出了一个正则化版本的OFUL算法,当训练的任务与标记的环境,实现低遗憾的新任务,而不需要的环境知识,新任务的起源。具体来说,我们对新算法的遗憾范围捕获了环境误分类的影响,并强调了单独学习每个任务或在不识别不同混合成分的情况下进行元学习的好处。
2022-05-12 cs.LG
Active Learning for Stochastic Contextual Linear Bandits
Stanford University(斯坦福大学)
提出一种通过主动采样上下文-动作对奖励来学习近最优策略的算法,理论上证明主动上下文采样可将最小最大率改进最多√d倍,并在华法林剂量预测和笑话推荐任务中验证了样本效率提升。
2026-05-24 cs.LG
Offline-to-online hyperparameter transfer for stochastic bandits
Google LLC(谷歌公司);TTIC(芝加哥丰田技术研究所)
本文研究随机老虎机超参数调优难题,提出利用多任务离线数据为未知分布中的新在线任务迁移超参数,并给出任务间与任务内样本复杂度界。
2025-01-06 cs.LG
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子:区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下,当前最先进的方法以次优的方式进行探索,并且需要强的“特征多样性”条件。在本文中,我们介绍了新的算法,a)探索在数据自适应的方式,和b)提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件,其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性,同时恢复两个先前的结果,在不同的分布假设下。第二种方法完全消除了分布假设,扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们开发的线性强盗算法,自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中,我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾,而且还在损坏的环境中工作,额外的遗憾是损坏的量,而现有技术(Li et al.,2019)既没有实现实例最优性,也没有实现对腐败量的最优依赖性。此外,通过为该算法配备对抗组件和精心设计的测试,我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾,这是我们所知的第一个此类算法。最后,我们所有的保证都具有很高的概率,而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego(加州大学圣地亚哥分校);Shanghai Jiao Tong University(上海交通大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
我们研究了在合作的多智能体设置,$V$代理与一个共同的$K$ -武装土匪问题,和每对代理可以相互通信,以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中,奖励是从所有代理和回合的分布中独立采样的,但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明,腐败的添加剂长期是不可避免的任何算法在这个问题。然后,我们提出了一个新的算法,是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置,但也获得了遗憾与腐败的腐败设置中的附加项,同时保持有效的通信。该算法也适用于单代理腐败问题,并实现了一个高概率的遗憾,消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
多臂强盗(MAB)和随机线性强盗(SLB)是强化学习中的重要模型,而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中,我们研究了MAB和SLB与量子奖励预言,并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾,指数改善的依赖$T$。据我们所知,这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比,我们的量子输入模型更简单,并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种归约框架,将随机上下文线性赌博机问题转化为线性赌博机问题求解,在上下文分布已知或未知时均能取得近最优遗憾界,并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法,这个问题的遗憾是近最佳的,大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的,并且可以容忍大量的腐败,几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University(波士顿大学);Google Research(谷歌研究院)
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序,对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题,我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪,而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限,我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Generalized Risk-Aversion in Stochastic Multi-Armed Bandits
Institute of Science and Technology Austria(奥地利科学技术研究所)
考虑随机多臂强盗中的后悔最小化问题,当衡量一个臂的优良性不是平均收益,而是均值和方差的一般函数时,我们刻画了学习可能的条件,并给出了没有自然算法能达到次线性后悔的例子.
2014-05-05 cs.LG stat.ML
The best of both worlds: stochastic and adversarial bandits
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
我们提出了一个新的强盗算法,SAO(随机和对抗最优),其遗憾,本质上是最优的对抗性奖励和随机奖励。具体地,SAO结合了Exp3的平方根最坏情况遗憾(Auer等人,SIAM J. on Computing 2002)和UCB 1的(多)对数遗憾(Auer et al.,机器学习2002)的随机奖励。对抗性奖励和随机奖励是(非贝叶斯)多臂强盗文献中的两个主要设置。之前关于多武装土匪的工作将它们分开对待,并且不试图联合优化两者。我们的结果属于一个一般的主题,实现良好的最坏情况下的性能,同时也利用了“好”的问题的情况下,一个重要的问题,在设计的算法与部分已知的输入。
2012-02-20 cs.DS cs.LG
Corralling Stochastic Bandit Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学);Courant Institute(柯朗研究所);Google Research(谷歌研究院)
我们研究的问题,畜栏随机强盗算法,即结合多个强盗算法设计的随机环境中,设计一个畜栏算法,以及最好的基础算法的目标。我们给出了两个一般的算法,这种设置,我们表现出有利的后悔保证的好处。我们发现,遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂,并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
When Are Linear Stochastic Bandits Attackable?
Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学)
我们研究了线性随机土匪的对抗攻击:通过操纵奖励,对手的目的是控制土匪算法的行为。也许令人惊讶的是,我们首先表明,一些攻击目标永远无法实现。这与上下文无关的随机强盗形成鲜明对比,本质上是由于线性随机强盗中武器之间的相关性。基于这一发现,本文研究了一个$k$武装的线性土匪环境的可攻击性。我们首先提供了一个完整的必要性和充分性的基础上的武器的上下文向量的几何特征的可攻击性。然后,我们提出了一个两阶段的攻击方法对LinUCB和鲁棒相位消除。该方法首先断言给定的环境是否可攻击;如果是,它会破坏奖励,迫使算法仅使用次线性成本线性拉动目标手臂。数值实验进一步验证了该攻击方法的有效性和成本效率。
2022-07-03 cs.CR cs.LG
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley(加州大学伯克利分校);University of Massachusetts(马萨诸塞大学);DeepMind(深度思维);Adobe(奥多比);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法,候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象,可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法,使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题,只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明,即使当一个基本算法有$O(\log T)$遗憾,在一般情况下,它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾,甚至渐近。使用我们的技术,我们解决模型选择在各种问题,如错误指定的线性上下文土匪,线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明,没有这样的先验知识,任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen(哥本哈根大学);University of Southern California(南加州大学)
我们开发了第一个通用的半强盗算法,同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究,但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了(Zimmert & Seldin,2019)最近的工作,用于多臂强盗的特殊情况,但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明,该算法在不同的环境下确实表现出良好的一致性。最后,我们提供了一个初步的扩展,我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Fairness of Exposure in Stochastic Bandits
Cornell University(康奈尔大学)
上下文强盗算法已被广泛用于在线系统(例如市场,音乐流媒体,新闻)中的推荐,在这些系统中,它们现在对哪些项目被暴露给用户产生重大影响。这就提出了对这些物品以及从这种曝光中受益的卖家、艺术家和作家的公平性的问题。我们认为,传统的强盗公式可能会导致一个不可取的和不公平的赢家通吃的风险分配。为了解决这个问题,我们提出了一个新的强盗目标,保证基于价值的公平暴露的项目,同时优化效用的用户。我们制定公平后悔和奖励后悔在这种情况下,随机多武装土匪和随机线性土匪的算法。我们证明了该算法实现了次线性公平后悔和奖励后悔。除了理论分析,我们还提供了经验证据,这些算法可以公平地分配暴露于不同的武器有效。
2021-09-12 cs.IR cs.LG
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
随机线性上下文强盗算法在实际中有着重要的应用,如推荐系统,在线广告,临床试验等。最近的工作表明,最佳强盗算法容易受到对抗性攻击,并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境,无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外,现有的方法都不能抵御攻击上下文。在这项工作中,我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作,而且可以在攻击上下文下工作。此外,它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证,并通过实验表明,我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Data Poisoning Attacks on Stochastic Bandits
The Ohio State University(俄亥俄州立大学)
随机多臂强盗形成了一类在线学习问题,在在线推荐系统、自适应医疗等许多方面有重要应用。尽管对这些学习算法的潜在攻击可能会劫持它们的行为,在现实世界的应用中造成灾难性的损失,但对强盗算法的对抗攻击知之甚少。本文提出了一个基于凸优化的离线攻击的框架,研究了基于凸优化的离线攻击对几种流行的Bandit算法的攻击。我们表明,攻击者可以迫使强盗算法拉目标手臂的概率很高,通过轻微的操纵数据中的奖励。然后研究了一种对bandit算法的在线攻击形式,提出了一种在不知道bandit算法的情况下对任意bandit算法的自适应攻击策略。我们的自适应攻击策略可以劫持的行为的强盗算法遭受线性遗憾只有对数成本的攻击。我们的研究结果表明,一个显着的安全威胁随机土匪。
2019-05-16 cs.CR cs.LG stat.ML
Near Instance Optimal Model Selection for Pure Exploration Linear Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们介绍了纯探索线性强盗的模型选择问题,其中学习者需要适应包含真实模型的最小假设类的实例相关复杂性度量。我们设计的算法在固定的信心和固定的预算设置与近实例最优保证。我们的算法的核心是一个新的优化问题的基础上试验设计,利用几何的动作集,以确定一个接近最优的假设类。我们的固定预算算法是基于一种新的选择验证过程,它提供了一种新的方法来研究欠研究的固定预算设置(即使没有增加的挑战模型选择)。我们适应我们的算法,在固定的信心和固定的预算设置,模型误指定的问题。
2022-03-17 cs.LG stat.ML
Stochastic Multi-armed Bandits with Non-stationary Rewards Generated by a Linear Dynamical System
Washington University in St. Louis(圣路易斯华盛顿大学)
随机多臂强盗为研究未知环境下的决策问题提供了一个框架。我们提出了一个变种的随机多臂强盗的奖励是从随机线性动力系统采样。这种随机多臂强盗变体的建议策略是学习动力系统的模型,同时根据学习的模型选择最佳动作。受Merton提出的跨期资本资产定价模型和Fernholz提出的随机投资组合理论等数学金融领域的启发,这一策略被应用于量化金融作为高频交易策略,其目标是在一段时间内实现收益最大化。
2022-04-06 cs.LG cs.SY eess.SY
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego(加州大学圣地亚哥分校);West Virginia University(西弗吉尼亚大学)
我们提出了一种新的修改标准的置信上限(UCB)方法的随机多臂强盗(MAB)问题,调整的置信界的基础上,它的距离到其他的一个给定的强盗。我们的UCB距离调谐(UCB-DT)制定,使改进的性能,通过防止MAB算法专注于非最佳的土匪,这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的,我们称之为“强盗距离”,该距离度量是可参数化的,因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明,增加性能的UCB-DT与许多现有的国家的最先进的方法,使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具,称为“勘探讨价还价点”,它提供了深入了解勘探和开发之间的权衡。我们认为,勘探讨价还价点提供了一个直观的角度来看,是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis(加州大学戴维斯分校)
本文在一定的光滑性和子水平集假设下,研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后,我们提出了一个自适应的bin分裂方法,它可以显着提高性能。此外,一个极小极大下界的推导,这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University(国立交通大学);Texas A&M University(德克萨斯农工大学)
修改奖励偏置最大似然方法最初提出的自适应控制文献中,我们提出了新的学习算法,以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策,我们证明实现了订单最优,并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点,每次拉低计算时间的线性土匪,从而导致有利的遗憾,以及计算效率。
2020-10-08 cs.LG stat.ML
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen(哥本哈根大学);ICREA(加泰罗尼亚高等研究院);Pompeu Fabra University(庞培法布拉大学)
我们提出了一种新的多臂土匪随机算法中的间隙估计策略,并将其与Seldin和Slivkins(2014)的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性,并消除了顺序为$Δe^{1/Δ^2}$的附加因子,其中$Δ$是问题实例的最小间隙。在对抗制中,后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Residual Bootstrap Exploration for Stochastic Linear Bandit
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
针对随机线性强盗问题,提出了一种新的基于自举的在线算法。其核心思想是采用残差自助探索,通过对平均报酬估计的残差进行重新采样来估计下一步的报酬。我们的算法,随机线性强盗(\texttt{LinReBoot})的剩余引导探索,估计其重新采样分布的线性奖励,并拉最高的奖励估计的手臂。特别是,我们贡献了一个理论框架,以揭开神秘的剩余引导为基础的探索机制在随机线性强盗问题。关键的见解是,自助探索的强度是基于在线学习模型和残差的重新采样分布之间的合作乐观。这样的观察使我们能够表明,建议\texttt{LinReBoot}安全的高概率$\tilde{O}(d \sqrt{n})$次线性遗憾在温和的条件下。我们的实验支持的\texttt{ReBoot}原则在线性强盗问题的各种配方容易推广,并显示显着的计算效率的\texttt{LinReBoot}。
2022-06-17 cs.LG stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University(哥伦比亚大学);Morgan Stanley(摩根大通)
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响,证明LinTS和LinBUCB保持原始遗憾速率但常数增大,且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
A Note on a Tight Lower Bound for MNL-Bandit Assortment Selection Models
Leonard N. Stern School of Business, New York University(纽约大学伦纳德·N·斯特恩商学院);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机学院)
在这篇短文中,我们考虑了一个容量限制的多项罗吉特(MNL)强盗模型下的动态分类规划问题。我们证明了一个严格的下限积累的遗憾,匹配现有的遗憾上限的所有参数(时间范围$T$,项目数$N$和最大的分类能力$K$)的对数因子。我们的研究结果关闭了$O(\sqrt{K})$之间的差距,从现有的工程上,下遗憾的界限。
2018-09-28 cs.LG stat.ML
Safe Linear Stochastic Bandits
Cornell University(康奈尔大学)
我们介绍了安全的线性随机强盗框架-线性随机强盗的推广-在每个阶段,学习者需要选择一个手臂与预期的奖励,不低于一个预定的(安全)阈值的高概率。我们假设学习者最初知道一个已知是安全的手臂,但不一定是最佳的。利用这一假设,我们引入了一种学习算法,该算法系统地将已知的安全武器与探索武器相结合,以随着时间的推移安全地扩展安全武器的集合,同时促进后续阶段的安全贪婪利用。除了确保满足的安全约束在每个阶段的发挥,所提出的算法表现出预期的遗憾,不超过$O(\sqrt{T}\log (T))$后,$T$阶段的发挥。
2019-11-21 cs.LG stat.ML