Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Offline Local Search for Online Stochastic Bandits
Boston University(波士顿大学);University of Houston(休斯顿大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法,实现O(log^3 T)的近似遗憾,优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
Multi-Armed Bandits-Based Optimization of Decision Trees
Department of Computer Science York University Ontario, Canada(计算机科学系 约克大学)
针对决策树传统贪婪剪枝方法泛化能力差的问题,提出一种基于多臂老虎机(MAB)的强化学习剪枝方法,将剪枝视为探索-利用问题,动态选择最优分支节点进行剪枝,显著提升了模型的预测性能和泛化能力。
2025-08-08 cs.AI cs.LG
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon(亚马逊);Columbia University(哥伦比亚大学)
针对多保真度树优化问题,提出CANOPY方法,通过在线学习分段平滑先验的有效区域,引导昂贵评估,在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Limited depth bandit-based strategy for Monte Carlo planning in continuous action spaces
Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);INESC-ID(葡萄牙系统与计算机工程研究所)
本文讨论了用搜索树求解最优控制问题。我们首先考虑多臂强盗问题与连续的行动空间,并提出LD-HOO,有限深度的分层乐观优化(HOO)算法的变种。我们提供了一个遗憾的分析LD-HOO,并表明,渐近,我们的算法表现出相同的累积遗憾,同时更快,更高效的内存。然后,我们提出了一个基于LD-HOO的最优控制问题的Monte Carlo树搜索算法,并举例说明所得到的方法在几个最优控制问题中的应用。
2021-06-29 cs.LG math.OC
Tree Bandits for Generative Bayes
针对似然难获取的生成模型中ABC采样效率低的问题,提出基于树状二元赌博机的自我感知框架,通过递归划分细化高似然区域,提供后验采样与最大后验估计两个版本,以更低仿真成本实现准确近似,还可应用于深度生成模型的掩码图像分类。
2024-04-16 cs.LG stat.CO stat.ME
Tree-Guided Identify-Then-Exploit: A Unified Framework of Best Arm Identification and Regret Minimization for Dueling Bandits
State Key Lab of CAD&CG(计算机辅助设计与图形学国家重点实验室)
针对Condorcet赢家假设下的N臂随机决斗式赌博机,提出树引导的识别-然后-利用(TG-ITE)统一框架,通过共享树引导识别方法在O(N)次比较内找到高置信度候选,并针对不同目标设计利用策略,首次同时实现最佳臂识别O(N)样本复杂度、弱遗憾O(N)和强遗憾O(N log T)保证,并消除现有方法中O(log N)的次优差距。
2026-11-17 cs.LG stat.ML
Neural Architecture Search via Combinatorial Multi-Armed Bandit
The University of Melbourne(墨尔本大学);Deakin University(迪肯大学)
神经架构搜索(NAS)作为设计高性能深度神经网络(DNN)的有效工具已经获得了显著的普及。NAS可以通过策略梯度、进化算法、可区分的体系结构搜索或树搜索方法来执行。虽然策略梯度和可区分架构搜索都取得了重大进展,但树搜索方法迄今为止未能达到相当的准确性或搜索效率。在本文中,我们制定NAS作为一个组合多臂强盗(CMAB)问题(CMAB-NAS)。这允许将大的搜索空间分解成更小的块,其中可以更有效地和高效地应用树搜索方法。我们进一步利用基于树的方法称为嵌套蒙特卡罗搜索来解决CMAB-NAS问题。在CIFAR-10上,我们的方法发现了一种细胞结构,该结构实现了与最先进技术相当的低出错率,仅使用0.58 GPU天,比当前的树搜索方法快20倍。此外,发现的结构可以很好地转移到大规模数据集,如ImageNet。
2021-04-24 cs.CV cs.LG stat.ML
An Asymptotically Optimal Contextual Bandit Algorithm Using Hierarchical Structures
Bilkent University(比尔肯特大学);Massachusetts Institute of Technology(麻省理工学院);Sabancı University(萨班哲大学)
我们提出了在线算法顺序学习的上下文多臂强盗设置。我们的方法是划分上下文空间,然后以数据驱动的方式将所有可能的分区区域和强盗臂集之间的映射进行优化组合。我们表明,在我们的方法中,最好的映射是能够近似的最佳手臂选择政策,以任何所需的程度下温和的Lipschitz条件。因此,我们设计我们的算法的基础上的最佳自适应组合和渐近实现的最佳映射以及最佳的手臂选择政策的性能。即使在对抗性环境中,这种最优性也是可以保证的,因为我们不依赖于任何关于上下文或强盗武器损失的统计假设。此外,我们设计了有效的实现我们的算法在各种层次划分结构,如字典或任意位置分裂和二叉树(和其他几个分区的例子)。例如,在二叉树分区的情况下,计算复杂性仅与最精细分区中的区域数量成对数线性关系。总之,我们提供了显着的性能改进,通过引入上界(w.r.t.最佳臂选择策略),这些策略在数学上被证明在每轮平均损失意义上以比现有技术更快的速率消失。我们的实验工作广泛地覆盖了从强盗设置到真实和合成数据的多类分类的各种场景。在这些实验中,我们表明,我们的算法是非常优越的国家的最先进的技术,同时保持引入的数学保证和计算体面的可扩展性。
2017-12-07 cs.LG
Random Forest for the Contextual Bandit Problem - extended version
Orange Labs(Orange实验室)
为了解决上下文强盗问题,我们提出了一个在线的随机森林算法。所提出的算法的分析是基于样本的复杂性需要找到最佳的决策树桩。然后,决策树被组装成一个随机的决策树集合,即Bandit Forest。我们表明,该算法是最佳的对数因子。样本复杂度对上下文变量数量的依赖性是对数的。该算法的计算成本相对于时间范围是线性的。这些分析结果允许所提出的算法在实际应用中是有效的,其中要处理的事件的数量是巨大的,并且其中我们期望从大集合中选择的一些上下文变量与奖励具有潜在的非线性依赖关系。在实验中做了说明的理论分析,强盗森林获得了可喜的结果相比,国家的最先进的算法。
2016-09-15 cs.LG
Hawkes Process Multi-armed Bandits for Disaster Search and Rescue
Indiana University - Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
我们提出了一个新的框架整合霍克斯过程与多臂强盗算法来解决时空事件预测和检测问题时,数据可能是欠采样或空间偏差。特别是,我们引入了一个置信上限算法,利用贝叶斯空间霍克斯过程估计平衡利用地理区域的数据收集和探索地理区域的数据是未观察到之间的权衡。我们首先使用模拟数据验证我们的模型,然后使用2017年哈维飓风的服务数据调用将其应用于灾难搜索和救援问题。我们的模型在累积奖励和其他几个排名评估指标方面优于最先进的基线空间MAB算法。
2020-04-03 cs.LG stat.ML
Efficient Multivariate Bandit Algorithm with Path Planning
eBay Inc.(易趣公司)
本文解决了多臂强盗(Multivariate-MAB)问题中考虑臂维数层次时的臂指数爆炸问题。本文提出了一种路径规划框架(TS-PP),该框架利用决策图/树模型描述了具有m维交互的手臂奖励成功率,并采用汤普森抽样(TS)进行手臂选择的启发式搜索。自然,使用一系列过程来对抗维度灾难是非常简单的,这些过程通过关注每个过程的一个维度来顺序操作。为了我们最好的承认,我们是第一个解决多变量MAB问题,使用图路径规划策略和部署类似的蒙特卡罗树搜索的想法。我们提出的方法利用树模型相比,传统的模型,如一般的线性回归的优势。仿真结果验证了我们的要求,实现更快的收敛速度,更有效的最优手臂分配和更低的累积遗憾。
2020-09-15 cs.LG stat.ML
A Bandit Approach to Maximum Inner Product Search
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
最大内积搜索(MIPS)的次线性时间近似算法已经有了大量的研究。为了实现快速查询时间,最先进的技术需要大量的预处理,当后续查询的数量不足以分摊成本时,这可能是一个负担。此外,现有的方法没有能力直接控制其近似结果的次优性与理论保证。在本文中,我们提出了MIPS的第一近似算法,不需要任何预处理,并允许用户控制和约束结果的次优性。我们将MIPS视为最佳手臂识别问题,并引入了一个新的强盗设置,可以充分利用MIPS的特殊结构。我们的方法在合成和真实世界的数据集上都优于最先进的方法。
2018-12-15 cs.LG stat.ML
Designing Truthful Contextual Multi-Armed Bandits based Sponsored Search Auctions
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);IIT Ropar(印度理工学院罗帕尔分校)
对于赞助搜索拍卖,我们考虑了策略代理存在的上下文多臂强盗问题。在这种设置中,在每一轮,广告平台(中心)运行拍卖以选择与用户发布的查询相关的最适合的广告。选择具有高期望值的广告(即,从广告的点击得到点击$\times$值的概率)。获得点击的概率(CTR)对于中心来说是未知的,并且取决于发布查询的用户的简档(上下文)。此外,对于点击导出的值是广告商的私人信息,因此需要如实地引出。在这种设置中的现有解决方案是不实用的,因为它遭受非常高的遗憾($O(T^{\frac{2}{3}})$)。
2020-02-26 cs.GT cs.LG
Relational Boosted Bandits
Indian Institute of Technology Madras(马德拉斯印度理工学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
近年来,上下文强盗算法在现实世界的用户交互问题中变得至关重要。然而,这些算法依赖于上下文作为属性值表示,这使得它们不可行的现实世界的领域,如社交网络是内在的关系。我们提出了关系提升强盗(RB2),上下文强盗算法的基础上(关系)提升树的关系域。RB2使我们能够学习可解释和可解释的模型,因为关系表示的描述性更强。我们实证证明了RB2在链接预测、关系分类和推荐等任务上的有效性和可解释性。
2020-12-16 cs.AI cs.LG
Neural Bandits for Data Mining: Searching for Dangerous Polypharmacy
Université Laval(拉瓦尔大学);Centre d’excellence sur le vieillissement de Québec(魁北克老龄化卓越中心)
针对组合爆炸导致难以穷举搜索危险药物联用的问题,提出基于神经汤普森采样与差分进化的OptimNeuralTS策略,高效挖掘理赔数据并构建预测模型,在3万步内检测出72%的潜在不适当联用且平均精度达99%。
2023-04-05 cs.LG
Optimal Algorithms for Range Searching over Multi-Armed Bandits
Indian Institute of Science(印度科学理工学院)
本文研究了多臂强盗(MAB)版本的范围搜索问题。在其基本形式中,范围搜索将一组点(在实数线上)和一组(实数)区间视为输入。在这里,对于每个指定的点,我们都有一个相关的权重,问题的目标是在每个给定的区间内找到一个最大权重点。目前的工作地址范围搜索与随机权重:每个点对应于一个手臂(允许样本访问)和点的权重是(未知)的基础分布的平均值。在这种MAB设置中,我们开发了样本有效的算法,该算法在给定的间隔内以高概率找到接近最佳的臂,即,我们得到PAC(可能近似正确)保证。我们还提供了一个泛化算法,其中每个点的权重是一个多维向量。我们的算法的样本的复杂性取决于,特别是,在给定的区间的最佳命中集的大小。最后,我们建立下界证明所获得的样本复杂性是本质上紧。我们的研究结果突出了几何结构的意义-特别是,击中集-在我们的MAB设置。
2021-05-04 cs.CG cs.LG
Graphical Models for Bandit Problems
我们引入了丰富的一类图形模型的多臂强盗问题,允许状态或上下文空间和动作空间是非常大的,但简洁地指定任何上下文动作对的回报。我们的主要结果是这样的模型,其遗憾是有界的参数的数量和其运行时间只取决于树宽度的图子结构诱导的动作空间的算法。
2012-02-14 cs.AI cs.LG stat.ML
ParBalans: Parallel Multi-Armed Bandits-based Adaptive Large Neighborhood Search
Department of Mechanical & Industrial Engineering, Northeastern University(东北大学机械与工业工程系);AI Center of Excellence, Fidelity Investments(fidelity investments 精英研究中心);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science, Brown University(布朗大学计算机科学系)
本文提出ParBalans,通过结合求解器级和算法级并行性扩展了基于多臂老虎机的自适应大邻域搜索方法Balans,在困难的混合整数规划基准上展现出与商业求解器Gurobi相当的竞争力。
2025-08-08 cs.AI cs.LG
Causal Bandits with Unknown Graph Structure
University of Michigan(密歇根大学);Adobe Inc.(Adobe公司)
在因果强盗问题中,行动集由因果图的变量上的干预组成。最近,一些研究人员研究了此类强盗问题,并指出了它们的实际应用。然而,所有现有的作品都依赖于一个限制性的和不切实际的假设,即学习者预先获得因果图结构的全部知识。在本文中,我们开发了新的因果强盗算法不知道因果图。我们的算法适用于因果树,因果森林和一般类的因果图。我们的算法的遗憾保证大大提高了标准的多臂强盗(MAB)算法在温和的条件下。最后,我们证明我们的温和的条件是必要的:没有他们不能做得比标准的MAB算法。
2021-11-09 cs.LG stat.ML
Bandits via Additive Quantized Representations
Meta Platforms(Meta 平台)
本文提出残差量化(RQ)作为表示层,使上下文 Bandits 算法在严格有界内存下实现非线性表达,在 13 个数据集上多数优于非 RQ 方法,并以千倍内存缩减匹配强基线。
2026-10-05 cs.LG
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia(弗吉尼亚大学);Oregon State University(俄勒冈州立大学);Princeton University(普林斯顿大学)
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展,但现有的解决方案仅限于简单的模型,如多臂强盗和线性强盗,这妨碍了它们的实际效用。在本文中,而不是假设存在一个线性奖励映射的功能,预期的回报,我们考虑非线性奖励映射,让代理合作搜索再生核希尔伯特空间(RKHS)。这在通信效率方面带来了重大挑战,因为分布式内核学习需要传输原始数据,导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题,该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
Nearest Neighbour with Bandit Feedback
The Alan Turing Institute(阿兰·图灵研究所)
本研究将最近邻规则适配到上下文老虎机问题,提出的算法可处理完全对抗性设置,结合快速近邻搜索数据结构后具备高效的运行时间与空间复杂度,给出通用遗憾界并分析了随机场景下的表现,还可应用于在线分类问题。
2024-03-07 cs.LG
BanditRank: Learning to Rank Using Contextual Bandits
Indian Institute of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校);Yahoo Japan Corporation(雅虎日本公司)
我们提出了一种可扩展的深度学习方法,该方法使用强化学习来训练神经网络,用于信息检索(IR)中的离线排名。我们称我们的方法为BanditRank,因为它将排名视为上下文强盗问题。在IR的学习排序领域,当前的深度学习模型是在与评估指标不同的目标函数上训练的。由于大多数评估指标是离散量,因此无法在没有近似的情况下直接使用梯度下降算法来利用它们。BanditRank通过使用梯度下降直接优化特定于任务的度量(例如平均精度(MAP))来弥补这一差距。具体地说,一个上下文的强盗的行动是排名输入文件的训练使用策略梯度算法直接最大化的奖励。奖励可以是单个度量,例如MAP,或几个度量的组合。排名的概念也是BanditRank中固有的,类似于当前的\textit{listwise}方法。为了评估BanditRank的有效性,我们对与三种不同任务相关的数据集进行了一系列实验,即,网络搜索、社区和事实问答。我们发现,当应用于问答数据集时,它比最先进的方法表现得更好。在网络搜索数据集上,我们发现BanditRank的表现优于四个强大的列表基线,包括LambdaMART,AdaRank,ListNet和Coordinate Ascent。
2019-10-23 cs.IR cs.LG
Bandits for Sponsored Search Auctions under Unknown Valuation Model: Case Study in E-Commerce Advertising
Eindhoven University of Technology(埃因霍温理工大学);Zalando SE(扎兰多股份公司)
针对赞助搜索拍卖估值未知、反馈无假设约束的问题,提出适配黑盒拍卖与延迟批量反馈的多臂老虎机出价系统,经Zalando案例验证可有效提升拍卖盈利能力。
2024-05-14 cs.AI cs.GT cs.LG
Towards Practical Lipschitz Bandits
Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学);Autodesk, Inc.(欧特克公司)
随机Lipschitz强盗算法平衡了探索和利用,并已被用于各种重要的任务领域。在本文中,我们提出了一个框架Lipschitz强盗方法,自适应学习分区的上下文和手臂空间。由于这种灵活性,该算法能够有效地优化奖励,并通过关注最相关的空间部分来最大限度地减少遗憾。在我们的分析中,我们将基于树的方法与高斯过程联系起来。根据我们的分析,我们为Lipschitz强盗问题设计了一个新的分层贝叶斯模型。我们的实验表明,我们的算法可以实现最先进的性能在具有挑战性的现实世界的任务,如神经网络超参数调整。
2021-01-21 cs.LG stat.ML
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析,例如,[Kleinberg et al. 2008,Bubeck et al. 2011,Slivkins 2014],他们提出的算法存在严重的实际问题,包括极端的时间复杂度和对oracle实现的依赖。有了这个动机,我们提出了一种新的算法与上置信界(UCB)的探索,即树UCB-Hoeffding,使用自适应分区。我们的分区方案很容易实现,不需要任何Oracle设置。使用基于树的搜索策略,对于第一次$T$迭代,总计算成本可以改进为$\mathcal{O}(T\log T)$。此外,我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
The Minimal Search Space for Conditional Causal Bandits
Lehman College and The Graduate Center, City University of New York(纽约市立大学雷曼学院和研究生中心)
本文针对条件干预的因果老虎机问题,提出一种图论方法识别包含最优条件干预的最小节点集,并设计O(|V|+|E|)算法,显著缩小搜索空间并加速收敛。
2026-07-09 cs.AI cs.LG stat.ML
Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University(南京大学)
自动机器学习(AutoML)任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中,由于超参数的很多维度与所选算法无关,不仅空间庞大而且冗余。在本文中,我们提出了一个级联的方法,算法选择和超参数优化。在超参数优化的层次上采用搜索过程,而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法,而不是平均性能,因此,我们提出了极值区域置信上限(ER-UCB)策略,该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$,它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
Adaptive Crowdsourcing Algorithms for the Bandit Survey Problem
Microsoft Research Silicon Valley(微软硅谷研究院);Microsoft Corporation(微软公司)
最近,众包已经成为事实上的平台,用于分发和收集人类计算,用于广泛的任务和应用,例如信息检索,自然语言处理和机器学习。目前的众包平台在质量控制方面有一些局限性。确保高质量的大部分工作必须由实验者来完成,他必须管理达到良好结果所需的工人数量。我们提出了一个简单的模型,自适应质量控制在众包多项选择任务,我们称之为\emph{bandit survey problem}。这个模型与著名的多臂强盗问题有关,但在技术上有所不同。我们提出了几种算法,这个问题,并支持他们的分析和模拟。我们的方法是基于我们的经验进行相关性评估的大型商业搜索引擎。
2013-05-20 cs.LG
Finding the bandit in a graph: Sequential search-and-stop
INRIA Lille(里尔法国国家信息与自动化研究所);ENS Paris-Saclay(巴黎-萨克雷高等师范学院);Criteo Research(Criteo研究院)
我们考虑的问题,代理人要找到一个隐藏的对象,是随机位于一些顶点的有向无环图(DAG)根据一个固定的,但可能是未知的分布。智能体只能检查已经检查过内邻居的顶点。在本文中,我们解决了一个学习设置,我们允许代理停止之前发现的对象,并重新开始搜索同一问题的一个新的独立的实例。我们的目标是在给定时间预算的情况下最大化找到的隐藏对象的总数。因此,智能体可以跳过一个实例后,意识到它会花太多的时间在它身上。我们的贡献是搜索理论和多武装土匪。如果分布是已知的,我们提供了一个准最优和有效的平稳策略。如果分布是未知的,我们还展示了如何顺序地近似它,并在同一时间,采取接近最佳的行动,以收集尽可能多的隐藏对象。
2019-04-22 cs.LG math.OC stat.ML
Bandit Linear Optimization for Sequential Decision Making and Extensive-Form Games
Carnegie Mellon University(卡内基梅隆大学);Strategic Machine, Inc.(战略机器公司);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司)
树型序贯决策(TFSDM)扩展了经典的一次性决策模型之间的代理和一个潜在的敌对环境树型的相互作用。它捕获了每个玩家在扩展形式的游戏中面临的在线决策问题,以及马尔可夫决策过程和部分可观察的马尔可夫决策过程,其中代理人以观察到的历史为条件。在过去的十年中,已经有相当大的努力,设计在线优化方法TFSDM。几乎所有的工作都是在完全反馈的情况下进行的,在这种情况下,智能体可以访问反事实,也就是说,如果智能体在任何决策节点选择了不同的行动,将会发生什么。关于强盗设置,人们知之甚少,在强盗设置中,假设被颠倒了(没有反事实信息可用),尽管后一种设置在一次性决策中被很好地理解了近20年。在本文中,我们给出了第一个算法的土匪线性优化问题的TFSDM,提供(i)线性时间迭代(在决策树的大小)和(ii)$O(\sqrt{T})$累积遗憾的期望相比,任何固定的战略,在任何时候$T$。这是可能的新结果,我们得出,这可能有独立的用途,以及:1)几何的扩张熵正则化,2)自相关矩阵的自然抽样计划的序列形式的战略,3)建设的无偏估计的线性损失的序列形式的战略,和4)一个精细的后悔分析时,使用扩张熵正则化的镜像下降。
2021-03-08 cs.GT cs.LG
Stochastic Contextual Bandits with Graph-based Contexts
Kasetsart University(泰国农业大学)
本研究将在线图预测推广为上下文为图顶点的随机上下文老虎机问题,基于Zimmert和Seldin的最优算法提出适配线图、树及一般图的算法,实现了有竞争力的遗憾界,且无需独立同分布假设,效率更高。
2023-05-02 cs.LG stat.ML
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA;ENS Cachan(卡尚高等师范学院);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法,它建立了一个级联的离散化树的基础上通用链,以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数,也大大扩展了UCB策略的应用范围。此外,通用的遗憾界,然后专门为高斯过程索引的无限维空间,以及高斯过程的二次形式。下界也证明了高斯过程的情况下,评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam(阿姆斯特丹大学)
非平稳性出现在许多在线应用中,如网络搜索和广告。在本文中,我们研究了在线学习排名问题的非平稳环境中,用户的偏好突然改变,在一个未知的时刻。我们考虑的问题,确定K个最有吸引力的项目,并提出级联非平稳土匪,一个在线学习变种的级联模型,其中用户浏览排名列表从上到下,点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题:CascadeDUCB和CascadeSWUCB。我们分析了它们的性能,并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾,并表明这两种算法匹配的下限的对数因子。最后,我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
为小批量梯度下降确定适当的批量大小总是很耗时,因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降(RMGD)算法的基础上,多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数,以实现最佳性能。这种可能性鼓励探索不同的批量大小,然后再利用批量大小的成功历史。在每个时期,RMGD从其概率分布中采样批量大小,然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后,更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明,RMGD实现的性能优于最佳性能的单批大小。此外,很明显,它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是,RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Optimal Control of Fluid Restless Multi-armed Bandits: A Machine Learning Approach
Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心);Departamento de Estadı́stica, Universidad Carlos III de Madrid(马德里卡斯蒂利亚-拉曼查大学统计系)
本文提出了一种机器学习框架,用于解决具有状态方程的流体 restless 多臂老虎机问题,通过非线性变换和最优分类树学习高效的状态反馈策略,展示了在设备维护、传染病控制和渔业管理中的应用效果。
2026-05-07 cs.LG
Faster Maximum Inner Product Search in High Dimensions
Stanford University(斯坦福大学);Oxford University(牛津大学);University College London(伦敦大学学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
针对高维最大内积搜索(MIPS)计算瓶颈,提出复杂度与维度无关的随机算法 BanditMIPS,通过多臂老虎机启发的自适应坐标采样策略将复杂度降至 O(1),在保持高精度的同时显著提升速度。
2023-06-27 cs.AI cs.LG
From Random Search to Bandit Learning in Metric Measure Spaces
本文为随机搜索在超参数优化中的工作机制提供了理论解释,引入散射维度量化其收敛速率,并基于此提出BLiN-MOS算法解决度量测度空间中的Lipschitz bandits问题。
2024-02-12 cs.LG stat.ML
Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs
Rice University(里士大学);Amazon Web Services(亚马逊网络服务);University of California, San Diego(加州大学圣地亚哥分校)
本文提出一种在推测解码中能证明无遗憾的草案模型选择算法,通过评估所有草案模型而非仅选定模型,显著提升性能,适用于多种解码方法,并在多个领域优于现有方法。
2026-04-22 cs.LG
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
在具有大超参数搜索空间的高级深度学习中,超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中,我们提出了一种有效的和强大的基于带宽的算法称为子采样(SS)的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力,并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化,提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点,并证明了BOSS在许多应用程序上的卓越性能,包括神经架构搜索(NAS),数据增强(DA),对象检测(OD)和强化学习(RL)。
2020-12-16 cs.LG math.ST stat.ML
Thresholding Bandit Problem with Both Duels and Pulls
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学)
持有武器的强盗问题(TBP)的目标是找到一组武器的平均回报大于给定的阈值。我们考虑一种新的TBP设置,其中除了拉臂之外,还可以\emph{duel}双臂,并获得具有更大均值的臂。在我们的众包激励应用程序中,双臂决斗比直接拉动更具成本效益和时间效率。我们把这个问题称为带有决斗选择的TBP(TBP-DC)。本文提出了一种基于排序和二分搜索交替进行的排序搜索(RS)算法。我们证明了RS的理论保证,也给出了下界,以显示它的最优性。实验表明,RS优于以前的基线算法,只使用拉或决斗。
2020-06-12 cs.LG stat.ML
Personalized Web Search
Language Technologies Institute(语言技术研究所)
个性化是搜索引擎提高用户体验的重要手段。现有的工作大多做纯特征工程,提取大量的会话风格的特征,然后训练一个排序模型。在这里,我们提出了一种新的方法来建模的长期和短期的用户行为使用多臂强盗算法。该算法可以很好地泛化用户间的会话信息,并且作为一种Explore-Exploit风格的算法,它可以很好地泛化到新的URL和新的用户。实验结果表明,该算法的性能优于默认排序,优于几种流行的多臂强盗算法。
2015-02-03 cs.IR cs.LG
Advertising Media and Target Audience Optimization via High-dimensional Bandits
Stanford University(斯坦福大学)
我们提出了一个数据驱动的算法,广告商可以使用它来自动化他们的数字广告活动在在线出版商。该算法使广告商能够搜索可用的目标受众和广告媒体,通过在线实验为其活动找到最佳组合。找到最佳受众广告组合的问题因许多独特的挑战而变得复杂,包括(a)需要积极探索以解决先前的不确定性并加速搜索有利可图的组合,(b)许多组合可供选择,从而产生高维搜索公式,以及(c)非常低的成功概率,通常只有百分之一的一小部分。我们的算法(命名为LRDL,是Logistic Regression with Debiased Lasso的首字母缩写)通过结合四个元素来解决这些挑战:用于主动探索的多臂强盗框架;用于处理高维的Lasso惩罚函数;处理Lasso引起的正则化偏差的内置去偏内核;以及用于促进跨臂交叉学习的结果的半参数回归模型。该算法被实现为汤普森采样器,据我们所知,它是第一个可以实际解决上述所有挑战的算法。真实数据和合成数据的仿真结果表明,该方法是有效的,并证明了其优越的性能对最近的高维bandit文献的几个基准。
2022-09-17 cs.IR cs.LG
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida(佛罗里达大学)
在本文中,我们提出了一个信息理论的探索策略,随机,离散的多武装土匪,实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联,并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中,信息是由一个参数量化的,这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新,具有足够快的冷却时间表,导致一个最佳的遗憾,这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Challenger-Based Combinatorial Bandits for Subcarrier Selection in OFDM Systems
Department of Computer and Systems Sciences (DSV)(计算机与系统科学系)
针对多用户MIMO下行链路前m用户调度集识别的组合纯探索难题,提出带冠军与挑战者短名单的间隙索引线性老虎机框架,在高准确率下大幅降低耗时与计算量,实现AI通信系统的高效子载波选择。
2025-10-06 cs.LG
Observation-Augmented Contextual Multi-Armed Bandits for Robotic Search and Exploration
University of Colorado Boulder(科罗拉多大学博尔德分校)
提出 OA-CMAB 框架,利用可能出错的外部语义观测增强机器人决策,并通过鲁棒贝叶斯推断与期望自由能最小化实现稳健选址。
2025-01-05 cs.LG cs.RO
Adaptive Endpointing with Deep Contextual Multi-armed Bandits
Amazon(亚马逊)
本文提出一种基于深度上下文多臂老虎机的自适应端点检测方法,利用在线奖励信号学习最优配置,避免网格搜索,在保持低延迟的同时减少早期截断错误。
2023-03-23 cs.LG eess.AS
MABSplit: Faster Forest Training Using Multi-Armed Bandits
Stanford University(斯坦福大学);Oxford University(牛津大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
随机森林是当今最广泛使用的机器学习模型之一,尤其是在需要可解释性的领域。我们提出了一个算法,加速训练的随机森林和其他流行的基于树的学习方法。在我们的算法的核心是一个新的节点分裂子程序,被称为MABSplit,用于有效地找到分裂点时,构建决策树。我们的算法借用技术从多臂土匪文学明智地确定如何分配样本和计算能力的候选分裂点。我们提供了理论上的保证,MABSplit提高了样本的复杂性,每个节点分裂从线性对数的数据点的数量。在某些设置中,MABSplit可以使训练速度加快100倍(训练时间减少99%),而不会降低泛化性能。当MABSplit用于各种基于森林的变体时,我们展示了类似的加速,例如极端随机森林和随机补丁。我们还表明,我们的算法可以用于分类和回归任务。最后,我们表明,MABSplit优于现有的方法在泛化性能和特征重要性计算下,一个固定的计算预算。我们所有的实验结果都可以通过https://github.com/ThrunGroup/FastForest上的一行脚本重现。
2022-12-14 cs.DS cs.LG
Linear Bandit Algorithms with Sublinear Time Complexity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了两个线性强盗算法的每步复杂度的臂数亚线性$K$。该算法是专为臂组非常大且变化缓慢的应用而设计的。我们的关键认识是,选择一个手臂减少到最大内积搜索(MIPS)的问题,可以近似解决,而不会打破遗憾的保证。现有的近似MIPS求解器在次线性时间内运行。我们扩展了这些求解器,并为在线学习问题提供了理论保证,其中自适应性(即,后面的步骤取决于前面步骤中的反馈)成为独特的挑战。然后,我们明确的特征之间的权衡每一步的复杂性和遗憾。对于足够大的$K$,我们的算法具有次线性的每步复杂度和$\tilde O(\sqrt{T})$遗憾。经验上,我们评估我们提出的算法在一个合成的环境和现实世界中的在线电影推荐问题。我们提出的算法可以提供超过72倍的加速比相比,线性时间基线,同时保留类似的遗憾。
2022-06-09 cs.LG
Combinatorial Multi-Armed Bandits with Filtered Feedback
Lancaster University(兰卡斯特大学);Naval Postgraduate School(海军研究生院)
在搜索和检测问题的动机,我们提出了一个解决方案的组合多臂强盗(CMAB)问题的重尾奖励分布和一类新的反馈,过滤semibandit反馈。在CMAB问题中,智能体在每一轮中从集合$\{1,...,k\}$中抽取一组手臂,从与这些手臂相关联的概率分布中生成随机结果,并获得总体奖励。在半强盗反馈下,假设生成的随机结果都被观察到。滤波半强盗反馈允许从以初始随机结果为条件的第二分布中采样观察到的结果。这种反馈机制是有价值的,因为它允许CMAB方法应用于顺序搜索和检测问题,其中进行组合动作,但没有观察到真正的奖励(在回合中出现的感兴趣的对象的数量),而是过滤的奖励(搜索器成功找到的对象的数量,根据定义必须小于出现的数量)。我们提出了一个上置信界类型的算法,Robust-F-CUCB,和相关的遗憾界的顺序$\mathcal{O}(\ln(n))$,以平衡勘探和开发,面对过滤的奖励和重尾奖励分布。
2017-05-26 cs.LG stat.ML
Dynamic Global Sensitivity for Differentially Private Contextual Bandits
Oregon State University(俄勒冈州立大学);University of Virginia(弗吉尼亚大学)
Bandit算法已经成为交互式推荐的参考解决方案。然而,由于这些算法直接与用户交互以改进推荐,因此其实际使用引起了严重的隐私问题。在这项工作中,我们提出了一个差分私人线性上下文的强盗算法,通过基于树的机制添加拉普拉斯或高斯噪声的模型参数。我们的主要观点是,随着模型在在线更新过程中收敛,其参数的全局灵敏度会随着时间的推移而缩小(因此称为动态全局灵敏度)。与现有的解决方案相比,我们的动态全局敏感性分析,使我们能够注入更少的噪声,以获得$(ε, δ)$ -差分隐私增加的遗憾所造成的噪声注入$\tilde O(\log{T}\sqrt{T}/ε)$。我们提供了一个严格的理论分析,通过动态全局灵敏度和相应的上界的遗憾,我们所提出的算法增加的噪声量。在合成数据集和真实数据集上的实验结果证实了该算法相对于现有解决方案的优势。
2022-08-30 cs.LG stat.ML
Balans: Multi-Armed Bandits-based Adaptive Large Neighborhood Search for Mixed-Integer Programming Problem
Department of Computer Science, University of Southern California(南加州大学计算机科学系);AI Center of Excellence, Fidelity Investments(富达投资人工智能卓越中心);Department of Computer Science, Brown University(布朗大学计算机科学系)
针对学习型 MIP 求解依赖离线训练且泛化有限的问题,本文提出 Balans,利用多臂老虎机在线自适应选择破坏与修复邻域,在困难实例上显著优于默认求解器和现有 LNS。
2025-07-23 cs.AI cs.LG math.OC
KLUCB Approach to Copeland Bandits
多臂强盗(MAB)问题是一个强化学习框架,在该框架中,智能体通过对每个动作的绝对反馈来选择适当的动作,以最大化其收益。决斗强盗问题是MAB问题的一种变体,其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中,它是不可能提供定量反馈的每个动作,但定性反馈的每个动作是首选的情况下,人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB,该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法,我们结合一对动作,并使用它作为一个动作。以前的UCB算法,如相对置信上限(RUCB)只能应用于孔多塞决斗土匪的情况下,而该算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样(DSPs)的情况下,科普兰决斗土匪。
2019-02-07 cs.LG stat.ML