A Deep Bayesian Bandits Approach for Anticancer Therapy: Exploration via Functional Prior
University of Washington(华盛顿大学)
用机器学习学习个性化癌症治疗对提高癌症患者的生存机会大有希望。尽管最近在机器学习和精确肿瘤学方面取得了进展,但这种方法仍然具有挑战性,因为在临床前/临床研究中收集数据以建模多种治疗效果通常是一个昂贵且耗时的过程。此外,治疗分配中的随机化被证明是次优的,因为一些受试者/样本在试验期间没有接受最适当的治疗。为了应对这一挑战,我们将药物筛选研究制定为“上下文强盗”问题,其中算法基于癌细胞系的上下文信息选择抗癌治疗剂,同时调整其治疗策略以“在线”方式最大化治疗反应。我们建议使用一种新的深度贝叶斯强盗框架,该框架使用功能性先验近似后验,基于由基因组特征和药物结构组成的多模态信息进行药物反应预测。我们在三个大规模的体外药物基因组学数据集上经验性地评估了我们的方法,并表明我们的方法在确定给定细胞系的最佳治疗方面优于几个基准。
2022-07-10 cs.LG
Gradient Ascent for Active Exploration in Bandit Problems
Institut de Mathématiques de Toulouse, Université de Toulouse(图卢兹大学图卢兹数学研究所);IRT Saint Exupéry(圣埃克絮佩里技术研究院)
对于一般的主动探索强盗问题,在固定置信度下,我们提出了一种基于梯度上升的新算法。这个问题包括几个很好的研究问题,如最佳手臂识别或持牌土匪。它包括一个新的采样规则的基础上在线懒惰镜像上升。我们证明了该算法是渐近最优的,最重要的是,计算效率。
2019-05-20 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种归约框架,将随机上下文线性赌博机问题转化为线性赌博机问题求解,在上下文分布已知或未知时均能取得近最优遗憾界,并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗(MAB)问题是一个强化学习框架,在该框架中,智能体通过对每个动作的绝对反馈来选择适当的动作,以最大化其收益。决斗强盗问题是MAB问题的一种变体,其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中,它是不可能提供定量反馈的每个动作,但定性反馈的每个动作是首选的情况下,人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB,该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法,我们结合一对动作,并使用它作为一个动作。以前的UCB算法,如相对置信上限(RUCB)只能应用于孔多塞决斗土匪的情况下,而该算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样(DSPs)的情况下,科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester(曼彻斯特大学)
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中,有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点,给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果,一个不同的策略梯度算法,再次强盗问题。对于这第二个算法,它是可能的,以证明在随机情况下的遗憾界\cite{DW20}。最后,我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);University of Southern California(南加州大学)
在统计学习中,模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Fractional Moments on Bandit Problems
Indian Institute of Technology Madras(印度马德拉斯理工学院)
强化学习解决了探索发现有利可图的行为和利用根据已经做出的最佳观察采取行动之间的困境。Bandit问题是无状态环境中的一类问题,代表了这种探索/利用情况。提出了一种基于分数期望的强盗问题的学习算法。理论上证明了该算法收敛于η-最优臂,并实现了O(n)的样本复杂度。实验结果表明,该算法产生的遗憾大大低于参数优化的eta-greedy和SoftMax方法和其他低样本复杂度的最先进的技术。
2012-02-14 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo(东京大学);Kyoto University(京都大学)
我们研究了$K$ -武装决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界,是基于信息的分歧。受确定性最小经验发散算法(Honda and Takemura,2010)的启发,提出了一种新的算法,并分析了其遗憾性。该算法被发现是第一个遗憾的上限,下限相匹配。实验结果表明,该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan(密歇根大学)
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究,其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而,很少有论文采用学习的角度来看,参数是未知的。在本文中,我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手,并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活,可以代表各种基准,包括最佳固定动作策略,最优策略,Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
PAC-Bayes Bounds for Bandit Problems: A Survey and Experimental Comparison
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southern Denmark(南丹麦大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本文综述了多臂老虎机问题中的PAC-Bayes界并开展实验比较,发现其在离线上下文老虎机算法中能提供非空洞性能保证,而在线算法的累积遗憾界仍较宽松。
2023-07-16 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University(普林斯顿大学);Università degli Studi di Milano(米兰大学)
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代,但在一些现代应用中出现了探索-利用权衡,例如广告投放,网站优化和数据包路由。从数学上讲,多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中,我们关注两个极端的案例,在这两个案例中,后悔的分析特别简单和优雅:i.i.d.收益和对抗性收益除了基本的设置,许多行动,我们还分析了一些最重要的变种和扩展,如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo(东京大学)
我们研究的K-臂决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度,击败其他武器的最大数量的武器,其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度(CW-RMED)算法,并给出了它的一个渐近最优后悔界,但该算法能否有效地计算还不清楚。为了解决这个问题,我们设计了一个有效的版本(ECW-RMED),并推导出其渐近遗憾界。决斗强盗算法的实验比较表明,ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Strasbourg University(斯特拉斯堡大学);CNRS(法国国家科学研究中心)
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中,探索是由用户调整的参数。然而,我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数,以及所选动作的即时奖励。我们在这里提出了两个算法,使用一个强盗找到上下文强盗算法的最佳探索,我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay(巴黎萨克雷高等师范学院博雷利中心);Cdiscount(Cdiscount公司);CREST, ENSAE Paris(巴黎经济与统计高等学校统计与经济研究中心);Criteo AI Lab(Criteo人工智能实验室)
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中,我们研究了多臂强盗框架中的问题,目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾,我们在这里检查平均遗憾的强盗实例从一些先验分布,可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法,我们进行了广泛的实验评估,在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题,显示经验的改进,比以前的工作。
2020-12-28 cs.LG stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题,传统的多臂土匪问题,其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上,其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序,如网络搜索排名和推荐系统,其中执行顺序更新可能是不可行的。在这项工作中,我们要求:$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$,这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔,其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后,在各种现实世界的数据集的计算实验中,我们观察到,我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法(使用$T$轮)。
2022-09-25 cs.LG stat.ML
Dueling Bandits with Qualitative Feedback
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们提出并研究了一个新的多臂强盗问题,称为定性决斗强盗(QDB)问题,其中一个代理观察到的不是数字,而是定性反馈,通过拉每个arm. We采用相同的遗憾决斗强盗(DB)问题,决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题,但这种减少显着降低了性能-实际上,在QDB问题中,一个手臂赢得另一个手臂的决斗的概率可以直接估计,而无需进行实际的决斗。在本文中,我们提出了这样的QDB问题的直接算法。我们的理论分析表明,所提出的算法显着优于DB算法,通过将定性反馈,实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Recovering Bandits
Universitat Pompeu Fabra(庞培法布拉大学);Lancaster University(兰卡斯特大学)
我们研究恢复土匪问题,随机多臂土匪问题的一个变种,每个手臂的预期奖励根据一些未知的函数的时间,因为手臂最后一次玩。虽然是在许多现实世界中出现的经典强盗问题的自然延伸,但这种变化伴随着显着的困难。特别是,方法需要提前计划,估计比经典的强盗设置更多的数量。在这项工作中,我们探索使用高斯过程来解决估计和规划问题。我们还讨论了不同的后悔定义,让我们量化的方法的性能。为了提高计算效率的方法,我们提供了一个乐观的规划近似。我们补充这些讨论与遗憾的界限和实证研究。
2019-10-31 cs.LG stat.ML
Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems
University of Oslo(奥斯陆大学)
多臂强盗问题是一个经典的决策问题,其中一个代理必须学习一个最佳的行动平衡的探索和利用。正确管理这种权衡需要正确评估不确定性;在多臂强盗中,就像在其他机器学习应用中一样,区分系统固有的随机性(任意不确定性)和来自代理有限知识的随机性(认知不确定性)是很重要的。在本文中,我们认为主观逻辑的形式主义,一个简洁的和表达的框架来表达狄利克雷多项模型作为主观意见,我们将其应用到多武装匪徒的问题。我们提出了基于主观逻辑的新算法来解决多臂强盗问题,我们将它们与文献中的经典算法进行比较,并分析了它们在评估不确定性动态方面提供的见解。我们的初步研究结果表明,主观逻辑量,使有用的评估的不确定性,可以利用更精细的代理。
2020-08-17 cs.LG stat.ML
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam(波茨坦大学)
本文研究了在$K$ -武装随机强盗环境下,具有\textit{fixed budget $T$}的\textit{best arm identification}问题,其中武器分布定义在$[0,1]$上.我们证明,任何强盗策略,至少有一个强盗问题的复杂性$H$,将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$,其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法,这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的,因此,目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在强化学习的算法优化中,如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解,实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法,已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法,其中报酬服从未知的非对称$α$ -稳定分布,并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Optimal Gradient-based Algorithms for Non-concave Bandit Optimization
University of Washington(华盛顿大学);Tsinghua University(清华大学);Peking University(北京大学);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
具有线性或凹报酬的强盗问题已经得到了广泛的研究,但相对较少的工作,研究非凹报酬的强盗。本文考虑一类报酬函数为非凹函数的bandit问题,包括低秩广义线性bandit问题和具有多项式激活的两层神经网络bandit问题.对于低秩广义线性强盗问题,我们给出了一个在维数上极小极大最优的算法,反驳了文献[LMT 21,JWWN 19]中的两个结论。我们的算法是基于一个统一的零阶优化范式,适用于在很大的普遍性,并在几个结构化的多项式设置(在维度)达到最佳速率。我们进一步证明了我们的算法在生成模型设置中的RL中的适用性,从而提高了先前方法的样本复杂性。最后,我们证明了标准的乐观算法(例如,UCB)因尺寸因素而次优。在神经网络设置(多项式激活函数)与无噪声奖励,我们提供了一个强盗算法的样本复杂度等于内在代数维数。再次,我们表明,乐观的方法有更差的样本复杂性,多项式的外维数(这可能是指数更差的多项式次数)。
2021-07-09 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute(艾伦·图灵研究所)
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题,提出分层最近邻算法,可在计算遗憾项时保留任意上下文集,且兼具高计算效率。
2023-12-14 cs.LG stat.ML
Minimax Optimal Algorithms for Adversarial Bandit Problem with Multiple Plays
Bilkent University(比尔肯特大学);Massachusetts Institute of Technology(麻省理工学院)
研究了半强盗反馈下的多对策对抗强盗问题。我们引入了一个高效的算法,渐近实现最佳的开关$m$ -手臂策略的性能与最小最大最优遗憾界。为了构造我们的算法,我们引入了一个新的专家意见算法的多播放设置。通过使用我们的专家建议算法,我们还通过$O(\sqrt{m})$改进了多播放设置的最知名的高概率界。我们的结果是保证持有在一个单独的序列方式,因为我们没有统计假设的强盗臂增益。通过一组广泛的实验,涉及合成和真实的数据,我们证明了显着的性能增益所提出的算法相对于国家的最先进的算法。
2019-11-25 cs.LG stat.ML
An optimal algorithm for the Thresholding Bandit Problem
University of Potsdam(波茨坦大学)
我们研究了一个特定的\textit{combinatorial pure exploration stochastic bandit problem},学习者的目的是找到一组武器,其手段是高于给定的阈值,达到给定的精度,和\textit{for a fixed time horizon}。我们提出了一个无参数算法的基础上,原来的启发式,并证明它是最佳的这个问题,通过推导匹配的上,下界。据我们所知,这是第一个非平凡的纯探索设置与\textit{fixed budget}的最佳策略构建。
2016-05-27 cs.LG stat.ML
Tuning Confidence Bound for Stochastic Bandits with Bandit Distance
UC San Diego(加州大学圣地亚哥分校);West Virginia University(西弗吉尼亚大学)
我们提出了一种新的修改标准的置信上限(UCB)方法的随机多臂强盗(MAB)问题,调整的置信界的基础上,它的距离到其他的一个给定的强盗。我们的UCB距离调谐(UCB-DT)制定,使改进的性能,通过防止MAB算法专注于非最佳的土匪,这是一个众所周知的缺陷标准UCB的预期遗憾。标准UCB的“距离调整”是使用建议的距离度量完成的,我们称之为“强盗距离”,该距离度量是可参数化的,因此可以根据问题要求进行优化以控制从探索到利用的过渡率。我们的经验表明,增加性能的UCB-DT与许多现有的国家的最先进的方法,使用UCB配方的MAB问题。我们的贡献还包括开发一个概念工具,称为“勘探讨价还价点”,它提供了深入了解勘探和开发之间的权衡。我们认为,勘探讨价还价点提供了一个直观的角度来看,是有用的比较分析的性能UCB为基础的方法。
2021-10-06 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research(IBM研究院)
我们考虑上下文强盗问题的一个新变体(即,具有决策者可用的边信息或上下文的多臂强盗),其中在每个决策处使用的上下文可能被破坏(“无用上下文”)。这个新的问题是由某些在线设置,包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置,我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同,我们能够从所有迭代中学习,即使是那些有损坏的上下文,通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology(皇家理工学院)
该研究针对线性老虎机问题,依托已有信息论框架与率失真分析,通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界,得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院)
针对多臂老虎机问题中奖励分布信息难获取的痛点,提出贪心与强制探索交替的新型算法,无需分布信息即可适配多种分布,给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
On Abruptly-Changing and Slowly-Varying Multiarmed Bandit Problems
Michigan State University(密歇根州立大学)
研究了非平稳随机多臂强盗(MAB)问题,提出了两种遗传算法,即有限记忆确定性探索和利用排序(LM-DSEE)和滑动窗口置信上限(SW-UCB).我们严格分析这些算法在不断变化和缓慢变化的环境中,并表征其性能。我们表明,这些算法在任何一种环境下的预期累积遗憾是上界的次线性函数的时间,即,后悔的时间平均值渐近收敛于零。我们补充我们的分析结果与数值说明。
2018-04-23 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University(波士顿大学);Google Research(谷歌研究院)
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序,对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题,我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪,而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限,我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Multiple Identifications in Multi-Armed Bandits
Princeton University(普林斯顿大学)
研究了多臂强盗博弈中最高$m$臂的识别问题。我们提出的解决方案依赖于一种新的算法,该算法基于对看似不好的武器的连续拒绝,以及对好武器的连续接受。这种算法的贡献允许解决以前无法实现的其他多重标识设置。特别是,我们表明,这种想法的连续接受和拒绝适用于多强盗最好的手臂识别问题。
2012-05-14 cs.LG stat.ML
NeurWIN: Neural Whittle Index Network For Restless Bandits Via Deep RL
Texas A&M University(德克萨斯A&M大学);National Chiao Tung University(台湾交通大学)
Whittle指数策略是一个强有力的工具,以获得渐近最优解的臭名昭著的棘手问题的不安土匪。然而,找到惠特尔指数仍然是一个困难的问题,许多实际的不安分的强盗与复杂的过渡内核。本文提出了NeurWIN,一个神经Whittle指数网络,旨在通过利用Whittle指数的数学特性来学习任何不安分的土匪的Whittle指数。我们表明,神经网络产生的Whittle指数也是一个产生的最优控制的一组马尔可夫决策问题。这一特性促使我们使用深度强化学习来训练NeurWIN。我们证明了效用的NeurWIN最近研究的三个不安分的土匪问题,通过评估其性能。实验结果表明,NeurWIN的性能明显优于其他RL算法。
2022-01-20 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法,这个问题的遗憾是近最佳的,大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的,并且可以容忍大量的腐败,几乎没有性能下降。
2019-03-28 cs.LG stat.ML
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化(ERM)的甲骨文每轮,其中d是行动的数量。该方法使用未标记的数据,使问题的计算简单。当ERM问题本身是计算困难的,我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后,我们证明了当全信息监督在线学习问题具有非平凡的后悔保证(和有效)时,上下文强盗问题的对抗版本是可学习的(和有效的)。
2016-02-06 cs.LG stat.ML
Meta-Learning Bandit Policies by Gradient Ascent
Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾,对底层环境做很少的假设,要么是在贝叶斯意义上,假设环境参数的先验分布。前者在实际环境中往往过于保守,而后者则需要很难在实践中验证的假设。我们研究的强盗问题,这两个极端之间,学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例,并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的,因为它奠定了基础的元学习的强盗政策,并反映了更现实的假设,在许多实际领域。我们建议使用参数化的强盗政策,是可区分的,可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度,反映了结构的强盗问题和政策,为非上下文和上下文的设置,并提出了一些有趣的政策,都是可微的,并具有低遗憾。我们的算法和理论贡献的支持下,广泛的实验表明,基线减法,学习偏见的重要性,我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley(加州大学伯克利分校);University of Massachusetts(马萨诸塞大学);DeepMind(深度思维);Adobe(奥多比);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法,候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象,可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法,使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题,只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明,即使当一个基本算法有$O(\log T)$遗憾,在一般情况下,它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾,甚至渐近。使用我们的技术,我们解决模型选择在各种问题,如错误指定的线性上下文土匪,线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明,没有这样的先验知识,任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样,离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性,这是典型的大规模贝叶斯推断和图形模型,并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系,并提供了三个算法的理论保证。实验结果表明,该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University(兰卡斯特大学STOR-i博士训练中心);Department of Mathematics and Statistics, Lancaster University(兰卡斯特大学数学与统计系)
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而,它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下,给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度,最近提出的措施的复杂性的函数类,这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物,并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University(康奈尔大学)
研究了一个具有记忆约束的对抗性强盗问题,其中只能存储一个臂子集的统计信息。一个层次的学习策略,只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔,建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Optimal Thresholding Linear Bandit
University of Michigan(密歇根大学)
本文研究随机线性老虎机中固定置信度的 $ε$-Thresholding Bandit Problem,证明了样本复杂度下界,并将 Best Arm Identification 算法扩展至该问题且证明其渐近最优。
2024-02-11 cs.LG stat.ML
LinearAPT: An Adaptive Algorithm for the Fixed-Budget Thresholding Linear Bandit Problem
National Taiwan University(台湾大学)
针对随机多臂老虎机中的固定预算阈值线性老虎机问题,提出新型自适应算法LinearAPT,该算法有估计损失理论上界,在合成与真实数据集上表现鲁棒,兼具自适应性、简洁性与计算效率。
2024-03-10 cs.LG stat.ML
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室);IMT, Université de Toulouse(图卢兹大学 数学与计算机科学研究所)
本文致力于研究最大K臂强盗问题,该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko(2014)中的ExtremeHunter算法进行了显著的改进,然后提出了一种替代方法,表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析,这两种方法进行了比较,通过数值实验。
2017-07-27 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin(威斯康星大学)
本文研究了从K个分布(臂)中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名,噪声排序,离群点检测,并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于,它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集,其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器,除了自己,这种依赖性的结果在一个新的硬度参数,表征样本的复杂性的问题。我们提出了消除和UCB风格的算法,并表明它们是最小最大的。我们的实验表明,UCB风格的算法需要比非自适应采样少6- 8倍的样本,以实现相同的错误。
2019-06-03 cs.LG stat.ML
Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits
UC Berkeley(加州大学伯克利分校)
我们考虑两个流行的随机线性强盗设置的模型选择问题,并提出算法,适应未知的问题的复杂性。在第一个设置中,我们考虑$K$武装混合强盗,其中武装$i \in [K]$的平均奖励是$μ_i+ \langle α_{i,t},θ^* \rangle $,其中$α_{i,t} \in \mathbb{R}^d$是已知的上下文向量,而$μ_i \in [-1,1]$和$θ^*$是未知参数。我们定义$\|θ^*\|$作为问题的复杂性,并考虑一系列嵌套的假设类,每个假设一个不同的上限$\|θ^*\|$。利用这一点,我们提出了自适应线性强盗(ALB),一种新的相位为基础的算法,适应真正的问题的复杂性,$\|θ^*\|$。我们发现,ALB实现了$O(\|θ^*\|\sqrt{T})$的遗憾缩放,其中$\|θ^*\|$是先验未知的。作为一个推论,当$θ^*=0$,ALB恢复极小极大遗憾的简单强盗算法没有这样的知识$θ^*$。ALB算法是第一个使用参数范数作为线性强盗模型截面准则的算法。现有技术的算法\cite{osom}实现了$O(L\sqrt{T})$的遗憾,其中$L$是$\|θ^*\|$的上限,作为问题的输入。在第二种情况下,我们考虑标准的线性强盗问题(可能有无限数量的武器)的稀疏性$θ^*$,表示为$d^* \leq d$,是未知的算法。定义$d^*$的问题的复杂性,我们表明,ALB实现了$O(d^…
2020-06-15 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley(加州大学伯克利分校)
我们考虑随机线性(多臂)上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法,同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权,而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤,对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题,其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂,于是接收所选组中的每个手臂的反馈。与现有的作品不同,我们研究这个问题在一个非随机设置与子集相关的反馈,即,所接收的半强盗反馈可以由不经意的对手产生,并且还可以取决于所选择的武器集合。此外,我们认为一个一般的反馈方案,包括数字为基础的,以及基于偏好的情况下,并介绍了一个健全的理论框架,保证合理的概念,最佳武器,学习者试图找到这种设置。我们提出了一个通用的算法,适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题,足够的和必要的预算的算法,以找到最好的手臂得到回答和补充,推导出下限的任何学习算法,这个问题的情况。
2022-10-14 cs.LG stat.ML
A Practical Method for Solving Contextual Bandit Problems Using Decision Trees
Columbia University(哥伦比亚大学);Moloco(Moloco公司);University of New Hampshire(新罕布什尔大学)
对于上下文多臂强盗问题,已经提出了许多具有强理论保证的有效算法。然而,在实践中应用这些算法可能很困难,因为它们需要领域专业知识来构建适当的功能并调整其参数。我们提出了一种新的方法,上下文强盗问题,是简单,实用,可以应用很少或没有领域的专业知识。我们的算法依赖于决策树模型的上下文奖励关系。决策树是非参数的、可解释的,并且在没有手工制作的特征的情况下工作得很好。为了指导探索-开发权衡,我们使用了一种自举方法,该方法将Thompson采样抽象为非贝叶斯设置。我们还讨论了几个计算算法,并证明了我们的方法在几个数据集上的性能。
2018-10-19 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University(国立交通大学);Texas A&M University(德克萨斯农工大学)
修改奖励偏置最大似然方法最初提出的自适应控制文献中,我们提出了新的学习算法,以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策,我们证明实现了订单最优,并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点,每次拉低计算时间的线性土匪,从而导致有利的遗憾,以及计算效率。
2020-10-08 cs.LG stat.ML
On Distributed Multi-player Multiarmed Bandit Problems in Abruptly Changing Environment
Michigan State University(密歇根州立大学)
研究了突变环境下的多人随机多臂强盗(MAB)问题。考虑了一个碰撞模型,在该模型中,如果只有一个玩家选择了某个手臂,则该玩家在该手臂上获得奖励,并设计了两个新的算法,即Round-Robin滑动窗口置信上限算法(RR-SW-UCB)和滑动窗口分布式学习优先算法(SW-DLP).我们严格地分析了这些算法,并表明,这些算法的预期累积群体遗憾是上界的次线性函数的时间,即,后悔的时间平均值渐近收敛于零。我们补充我们的分析结果与数值说明。
2018-12-12 cs.LG stat.ML
Note on Follow-the-Perturbed-Leader in Combinatorial Semi-Bandit Problems
Kyoto University(京都大学);RIKEN AIP(理化学研究所(Advanced Institute for Scientific Technology))
本文研究规模不变组合半老虎机问题中FTPL策略的最优性与复杂度,证明其在Fréchet和Pareto分布下的遗憾界,并提出条件几何重采样以降低计算复杂度。
2025-07-22 cs.LG stat.ML
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen(哥本哈根大学);University of Southern California(南加州大学)
我们开发了第一个通用的半强盗算法,同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究,但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了(Zimmert & Seldin,2019)最近的工作,用于多臂强盗的特殊情况,但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明,该算法在不同的环境下确实表现出良好的一致性。最后,我们提供了一个初步的扩展,我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校)
随机上下文强盗问题,它模拟探索和开发之间的权衡,有许多实际的应用,包括推荐系统,在线广告和临床试验。与许多其他机器学习算法一样,上下文强盗算法通常具有一个或多个超参数。作为一个例子,在大多数最优随机上下文强盗算法中,存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法,以执行良好。然而,在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的,因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题,我们首先提出了一个两层的强盗结构,用于自动调整探索参数,并进一步将其推广到辛迪加强盗框架,该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界,并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外,它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的,足以处理许多流行的上下文强盗算法,如LinUCB,LinTS,UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
A Further Efficient Algorithm with Best-of-Both-Worlds Guarantees for $m$-Set Semi-Bandit Problem
本文提出了一种更高效的算法,通过几何重采样在$m$-集合半对抗问题中实现最佳双世界保证的最优性,同时降低了计算复杂度。
2026-03-12 cs.LG stat.ML