Non-Stationary Bandits under Recharging Payoffs: Improved Planning with Sublinear Regret
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随机多臂强盗设置最近已在非平稳制度,其中每个动作的平均收益是一个非递减的函数,因为它是最后一次播放的回合数。该模型捕捉了用户的自然行为方面,这些方面决定了推荐平台,广告投放系统等的性能。即使假设先验知识的平均回报函数,计算上述模型中的最优规划是NP难的,而最先进的是一个$1/4$ -近似算法的情况下,最多一个手臂可以发挥每一轮。我们首先集中在设置的平均支付函数是已知的。在这种情况下,我们显着提高了最知名的保证规划问题的多项式时间$(1-{1}/{e})$ -近似算法(渐近和预期),随机LP舍入和时间相关(交错)调度方法的新组合的基础上。此外,我们的算法实现了改进的保证-与以前的工作相比-在每一轮可以玩多个手臂的情况下。移动到强盗设置,当平均支付函数最初是未知的,我们展示了我们的算法可以转化为一个强盗算法与次线性遗憾。
2022-10-12 cs.DS cs.LG
Risk-Aware Decision Making in Restless Bandits: Theory and Algorithms for Planning and Learning
GERAD
本文提出了一种风险意识的 restless bandits 决策方法,结合理论与算法,用于规划和学习场景中降低风险暴露。
2026-02-19 cs.LG cs.SY eess.SY
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器,奖励是从正态分布,线性依赖于未知的参数向量和未知的方差采样。具体而言,与贝叶斯公式,我们认为多元正态伽马先验代表环境的不确定性,所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验,并在方差分布的5/2矩存在的条件下,得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Correlated Multiarmed Bandit Problem: Bayesian Algorithms and Regret Analysis
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
考虑了多臂相关强盗(MAB)问题,其中每只手臂的报酬由多元高斯随机变量建模,研究了贝叶斯先验假设对可信上限(UCL)算法性能的影响,并提出了一种新的相关UCL算法.我们严格的准确性,置信度和相关尺度的影响,在决策性能的算法上的先验。我们的研究结果表明,如何先验和相关性结构可以利用,以提高性能。
2015-07-07 cs.LG math.OC stat.ML
Recovering Bandits
Universitat Pompeu Fabra(庞培法布拉大学);Lancaster University(兰卡斯特大学)
我们研究恢复土匪问题,随机多臂土匪问题的一个变种,每个手臂的预期奖励根据一些未知的函数的时间,因为手臂最后一次玩。虽然是在许多现实世界中出现的经典强盗问题的自然延伸,但这种变化伴随着显着的困难。特别是,方法需要提前计划,估计比经典的强盗设置更多的数量。在这项工作中,我们探索使用高斯过程来解决估计和规划问题。我们还讨论了不同的后悔定义,让我们量化的方法的性能。为了提高计算效率的方法,我们提供了一个乐观的规划近似。我们补充这些讨论与遗憾的界限和实证研究。
2019-10-31 cs.LG stat.ML
Planning to Fairly Allocate: Probabilistic Fairness in the Restless Bandit Setting
University of Maryland(马里兰大学)
针对不安分多臂老虎机资源分配中现有Whittle指数方法缺乏公平性保障的问题,提出概率公平策略ProbFair,在满足预算约束、最大化总期望奖励的同时保证臂被拉动概率有严格正下界,真实与合成实验均验证其兼顾效用与公平保障。
2023-07-19 cs.AI cs.CY cs.LG
Discover Life Skills for Planning with Bandits via Observing and Learning How the World Works
University of Sydney(悉尼大学)
我们提出了一种新的方法,规划代理组成的抽象技能,通过观察和学习历史与世界的相互作用。我们的框架在马尔可夫状态空间模型中通过一组未知前提下的动作进行操作。我们将技能表述为基于当前状态提出行动计划的高级抽象策略。每个策略通过观察状态的转换来学习新的计划,同时代理与世界交互。这种方法自动学习新计划以实现特定的预期效果,但这些计划的成功通常取决于它们适用的状态。因此,我们制定了无限多武装土匪问题,在那里我们平衡的资源分配,评估现有武器的成功概率和探索新的选择等计划的评估。其结果是一个规划者能够在嘈杂的环境下自动学习强大的高级技能;这些技能隐式地学习动作的先决条件,而无需明确的知识。我们表明,这种规划方法在高维状态空间域的实验非常有竞争力。
2022-07-17 cs.AI cs.RO stat.ML
A Note on a Tight Lower Bound for MNL-Bandit Assortment Selection Models
Leonard N. Stern School of Business, New York University(纽约大学伦纳德·N·斯特恩商学院);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机学院)
在这篇短文中,我们考虑了一个容量限制的多项罗吉特(MNL)强盗模型下的动态分类规划问题。我们证明了一个严格的下限积累的遗憾,匹配现有的遗憾上限的所有参数(时间范围$T$,项目数$N$和最大的分类能力$K$)的对数因子。我们的研究结果关闭了$O(\sqrt{K})$之间的差距,从现有的工程上,下遗憾的界限。
2018-09-28 cs.LG stat.ML
Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound
Princeton University(普林斯顿大学)
当状态-动作空间较大时,强化学习(RL)中的探索会受到维数灾难的影响。一种常见的做法是使用给定的特性来参数化高维值和策略函数。然而,现有的方法要么没有理论保证,要么在规划范围$H$中遭受指数级的遗憾。在本文中,我们提出了一种在线RL算法,即MatrixRL,它利用线性强盗的思想来学习概率转移模型的低维表示,同时仔细平衡开发-探索权衡。我们证明了MatrixRL实现了遗憾界${O}\big(H^2d\log T\sqrt{T}\big)$,其中$d$是特征的数量。MatrixRL有一个等价的核化版本,它能够在不使用显式特征的情况下处理任意核希尔伯特空间。在这种情况下,内核化的MatrixRL满足遗憾界限${O}\big(H^2\widetilde{d}\log T\sqrt{T}\big)$,其中$\widetilde{d}$是内核空间的有效维度。据我们所知,对于使用特征或内核的RL,我们的结果是在时间$T$和维度$d$(或$\widetilde{d}$)以及规划范围$H$中的多项式上接近最优的第一遗憾界限。
2019-06-13 cs.LG stat.ML
Selective Intervention Planning using Restless Multi-Armed Bandits to Improve Maternal and Child Health Outcomes
Robert Bosch Centre for Data Science and Artificial Intelligence(罗伯特·博世数据科学与人工智能中心);IIT Madras(印度理工学院马德拉斯分校);Google Research(谷歌研究院);Harvard University(哈佛大学);ARMMAN
印度的产妇死亡率为每10万活产113人,儿童死亡率为每10万活产2,830人。缺乏获得预防保健信息的途径是造成这些死亡的一个主要因素,特别是在低资源家庭。我们与ARMMAN合作,ARMMAN是一家位于印度的非营利组织,采用基于呼叫的信息计划向孕妇和近期分娩的妇女传播健康相关信息。我们分析了在ARMMAN创建的计划中注册的30多万名妇女的通话记录,并试图确定那些可能没有参与这些被证明会产生积极健康结果的通话计划的妇女。我们建立了基于机器学习的模型,从通话记录和受益人的人口统计信息中预测长期参与模式,并通过试点验证讨论了这种方法在现实世界中的适用性。通过试点服务质量改进研究,我们表明,使用我们的模型的预测,使干预措施提高了61.37%的参与度指标。然后,我们制定的干预规划问题不安分的多武装土匪(RMABs),并提出了使用这种方法的初步结果。
2021-10-18 cs.LG
Rebounding Bandits for Modeling Satiation Effects
Carnegie Mellon University(卡内基梅隆大学)
心理学研究表明,对许多商品的享受是受满足感的影响,在重复接触同一物品后,短期满意度会下降。然而,所提出的算法为动力推荐系统很少模型这些动态,而不是进行,好像用户的偏好是固定的时间。在这项工作中,我们介绍了反弹土匪,多臂土匪设置,饱足动力学建模为时不变的线性动力系统。每只手臂的预期回报随着连续接触它而单调下降,并且每当手臂不被拉动时,就会向初始回报反弹。与经典的强盗设置不同,解决反弹强盗的方法必须提前计划,基于模型的方法依赖于估计饱足动力学的参数。我们的规划问题的特点,表明贪婪的政策是最佳的武器表现出相同的确定性动态。为了解决未知参数的随机饱和动力学,我们提出了探索估计计划(EEP),一种算法,拉武器有条不紊,估计系统动态,然后相应的计划。
2021-10-27 cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Estimating Quality in Multi-Objective Bandits Optimization
Université Laval(拉瓦尔大学)
许多现实世界的应用程序的特点是许多相互冲突的性能指标。由于在多目标设置中进行优化会导致一组非支配解,因此需要偏好函数来选择具有目标之间的适当权衡的解。问题是:为了使最大化偏好函数的解保持不变,这些目标的估计必须有多好?在本文中,我们引入了偏好半径的概念来表征的偏好函数的鲁棒性,并提供指导方针,控制质量的估计在多目标设置。更具体地说,我们提供了一个一般的制定下的强盗设置的多目标优化。我们展示了偏好半径与最优间隙的关系,并利用这一概念对多元正态先验的Thompson抽样算法进行了理论分析。最后,我们提出的实验来支持理论结果,并强调一个事实,即不能简单地将多目标问题转化为单目标问题。
2017-04-20 cs.LG stat.ML
Reinforcement learning with combinatorial actions for coupled restless bandits
Harvard University(哈佛大学);University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学)
针对动作跨臂耦合、需在指数级联合空间决策的coRMAB,论文提出将Q网络嵌入混合整数规划的SEQUOIA算法,并在四类组合约束问题中平均提升24.8%。
2025-03-17 cs.AI cs.LG
Efficient Resource Allocation with Fairness Constraints in Restless Multi-Armed Bandits
Singapore Management University(新加坡管理大学)
不安的多武装土匪(RMAB)是一个适当的模型,代表决策问题,在公共卫生干预措施(例如,结核病、孕产妇和儿童保健)、反偷猎规划、传感器监测、个性化建议等等。现有的研究在RMAB的机制和理论成果,以各种各样的设置,重点是最大限度地提高预期价值。在本文中,我们感兴趣的是确保RMAB决策也是公平的不同武器,同时最大限度地提高期望值。在公共卫生背景下,这将确保不同的人和/或社区在作出公共卫生干预决定时得到公平的代表。为了实现这一目标,我们正式定义的公平性约束在RMAB和规划和学习方法,以解决公平的方式解决RMAB。我们展示了公平的RMAB的关键理论属性和实验证明,我们提出的方法处理公平性约束,而不会牺牲显着的解决方案质量。
2022-07-27 cs.LG
LIBRA: Language Model Informed Bandit Recourse Algorithm for Personalized Treatment Planning
McCombs School of Business, University of Texas at Austin(德克萨斯大学奥斯汀分校麦克斯韦商学院);Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校奈文·金达管理学院);Mays Business School, Texas A&M University(德克萨斯农工大学梅斯商学院);Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
LIBRA 是一种结合大语言模型和带状学习的算法,用于在个性化治疗中实现更高效的决策和鲁棒性。
2026-01-17 cs.AI cs.LG math.ST
Multi-User Contextual Cascading Bandits for Personalized Recommendation
Department of Industrial Engineering and Operations Research, University of California, Berkeley(工业工程与运营管理系,加州大学伯克利分校)
针对多用户同时与顺序展示物品交互的在线广告场景,提出多用户上下文级联老虎机模型(MCCB),设计UCBBP和AUCBBP算法并证明其遗憾界,数值实验验证了算法有效性。
2025-08-24 cs.LG math.OC stat.ML
Follow-the-Perturbed-Leader for Adversarial Markov Decision Processes with Bandit Feedback
Tsinghua University(清华大学);University of Southern California(南加利福尼亚大学)
我们考虑对抗马尔可夫决策过程(AMDPs)的后悔最小化,其中损失函数随时间变化并且对抗性地选择,并且学习者仅观察访问状态-动作对的损失(即,Bandit反馈)。虽然已经有一个激增的研究这个问题使用在线镜像下降(OMD)的方法,很少有人知道的跟随扰动领导(FTPL)的方法,这通常是计算效率更高,也更容易实现,因为它只需要解决一个离线规划问题。受此启发,我们从标准的情节有限时域设置开始,仔细研究FTPL学习AMDPs。我们在分析中发现了一些独特而有趣的困难,并提出了一个解决方案,最终表明FTPL在这种情况下也能够实现接近最优的遗憾界限。更重要的是,我们发现了两个重要的应用:首先,FTPL的分析结果很容易推广到具有顺序最优遗憾的延迟强盗反馈,而OMD方法表现出额外的困难(Jin等人,2022年)。其次,使用FTPL,我们还开发了第一个无遗憾算法学习通信AMDPs在无限时域设置与强盗反馈和随机过渡。我们的算法是有效的,假设访问离线规划预言,而即使是更容易的全信息设置,唯一现有的算法(Eurasekaran和Tewari,2021)是计算效率低下。
2022-09-18 cs.AI cs.LG stat.ML
Stochastic Multi-Armed Bandits with Control Variates
National University of Singapore(新加坡国立大学);IIT Bombay(印度理工学院孟买分校)
本文研究了随机多臂强盗问题的一个新的变种,其中关于臂奖励的辅助信息以控制变量的形式提供。在排队和无线网络等许多应用中,手臂奖励是一些外生变量的函数。这些变量的平均值是从历史数据中先验已知的,可以用作控制变量。利用控制变量理论,我们得到了具有较小方差和更紧置信界的均值估计。我们开发了一个基于置信上限的算法命名为UCB-CV和表征的后悔界的奖励和控制变量之间的相关性时,他们遵循多元正态分布。我们还使用Jackknifing和Splitting等重新分配方法将UCB-CV扩展到其他分布。合成问题实例的实验验证所提出的算法的性能保证。
2022-01-15 cs.AI cs.LG stat.ML
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire(新罕布什尔大学)
多武装匪徒是一个典型的机器学习问题,需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展,但对实际接近最优的有限时间性能的关注较少。在本文中,我们提出了一个算法贝叶斯多武装土匪,利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上,引入了线性可分的价值函数,它既考虑了预期收益,又考虑了探索的收益,从而实现了n步前视。该算法享有次线性的性能保证,我们目前的模拟结果,确认其强度与结构化的先验问题。我们的方法的简单性和通用性,使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约,证明满足遍历和快速混合条件时,慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值,并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Explore Once, Evaluate Many: Multiple Policy Evaluation for Stochastic Linear Bandits
Boston University(波士顿大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
针对随机线性多臂老虎机,提出PRISMA算法,可同时评估K个目标策略,以至少1-δ的概率将各策略价值估计至精度ε,所需样本量与K、d等呈对数相关,无需依赖二阶矩特征值下界。
2026-10-16 cs.LG stat.ML
Constrained Pareto Set Identification with Bandit Feedback
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France(里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9198-CRIStAL);Univ. Bordeaux, Inserm, Inria, BPH, U1219, Sistm, F-33000 Bordeaux, France(波尔多大学、法国国家医学研究院、Inria、BPH、U1219、Sistm)
针对多目标 K 臂赌博机中的线性可行性约束,本文提出固定置信度 Pareto 集识别算法,证明其样本复杂度接近信息论下界,并在基准上优于赛马与两阶段方法。
2025-06-09 cs.LG stat.ML
Efficient Algorithms for Finite Horizon and Streaming Restless Multi-Armed Bandit Problems
Harvard University(哈佛大学)
我们提出了流土匪,一个不安分的多武装土匪(RMAB)框架中,异构武器可能会到达和离开系统后,停留在有限的生命周期。流Bandits自然捕捉到了健康干预规划问题,其中卫生工作者必须管理患者队列的健康结果,而每天都有新患者加入,现有患者离开队列。我们的贡献如下:(1)给出了问题满足可指数性的条件,这是保证RMABs的Whittle指数解的存在性和渐近最优性的前提。我们建立的条件,使用多时间减少流Bandit设置定期RMAB。(2)我们进一步证明了一种现象,我们称之为指数衰减,即惠特尔指数值低,为短的剩余寿命驱动的直觉支撑我们的算法。(3)我们提出了一种新的和有效的算法来计算基于索引的解决方案流Bandits。与以前的方法不同,我们的算法不依赖于解决昂贵的有限时域问题的每个手臂的RMAB,从而降低了计算复杂性相比,现有的方法。(4)最后,我们评估我们的方法,通过模拟运行在现实世界的数据集,从结核病患者监测任务和干预计划任务,以改善孕产妇保健,除了其他合成域。在整个董事会,我们的算法实现了2个数量级的速度比现有的方法,同时保持相同的解决方案的质量。
2022-02-16 cs.AI cs.LG
Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach
Singapore University of Technology and Design(新加坡科技设计大学);Missouri University of Science and Technology(密苏里科技大学)
深度神经网络(DNN)的进步显著增强了物联网应用中异常数据的实时检测。然而,复杂性-准确性-延迟的困境仍然存在:复杂的DNN模型提供更高的准确性,但典型的物联网设备几乎无法承受计算负载,并且将负载卸载到云端的补救措施会导致长时间的延迟。在本文中,我们提出了一个自适应异常检测方案与层次边缘计算(HEC)来解决这一挑战。具体来说,我们首先构建复杂度不断增加的多个异常检测DNN模型,并将每个模型与相应的HEC层相关联。然后,我们设计了一个自适应的模型选择方案,制定为一个上下文强盗问题,并解决了使用强化学习策略网络。我们还采用了并行策略训练方法,利用分布式模型来加速训练过程。我们使用真实的物联网设备构建了一个HEC测试平台,使用单变量和多变量物联网数据集实现并评估了我们的上下文-强盗方法。与基线和最先进的方案相比,我们的自适应方法在单变量数据集上取得了最佳的准确性-延迟权衡,并在多变量数据集上取得了最佳的准确性和F1分数,延迟仅比最佳(但不灵活)方案长得可以忽略不计。
2021-08-09 cs.AI cs.DC cs.LG
Better Optimism By Bayes: Adaptive Planning with Rich Models
UCL(伦敦大学学院)
推理和规划的计算成本将贝叶斯基于模型的强化学习限制在两个悲惨的命运之一:强大的贝叶斯自适应规划,但仅适用于简单的模型,或者强大的贝叶斯非参数模型,但使用简单的短视规划策略,如汤普森采样。我们要问的是,将丰富的概率模型与更接近完全贝叶斯规划的近似值相结合是否可行,是否真正有益。首先,我们使用了一系列的反例来显示汤普森抽样固有的过度乐观的正式问题。然后,我们利用国家的最先进的技术,在有效的贝叶斯自适应规划和非参数贝叶斯方法进行定性优于现有的传统算法和汤普森采样的两个上下文土匪样的问题。
2014-02-09 cs.AI cs.LG stat.ML
Jointly Efficient and Optimal Algorithms for Logistic Bandits
Criteo AI Lab(Criteo 人工智能实验室);University of Arizona(亚利桑那大学)
最近,由于其理论和实践相结合的相关性,物流强盗受到了仔细的审查。这项研究工作提供了统计上有效的算法,改善了以前的策略的遗憾指数大的因素。然而,这样的算法是惊人的昂贵,因为它们需要在每一轮$Ω(t)$操作。另一方面,另一条研究路线专注于计算效率(每轮$\mathcal{O}(1)$成本),但代价是放弃了上述指数级的改进。不幸的是,获得两个世界的最佳结果并不是将两种方法结合起来的问题。相反,我们为物流强盗引入了一个新的学习过程。它产生的信心集,足够的统计数据可以很容易地保持在线,而不牺牲统计的紧密性。结合有效的规划机制,我们设计了快速算法,其遗憾性能仍然符合Abeille等人的问题相关下限。据我们所知,这些是第一个同时享有统计和计算效率的Logistic Bandit算法。
2022-01-19 cs.LG
Indexability is Not Enough for Whittle: Improved, Near-Optimal Algorithms for Restless Bandits
University of Oxford(牛津大学);Google Research(谷歌研究院);Harvard University(哈佛大学)
研究了具有多个行动的不安分多武装匪徒(RMABs)的规划问题。这是多智能体系统的一种流行模型,其应用包括多通道通信、监控和机器维护任务以及医疗保健。惠特尔指数政策,这是基于拉格朗日松弛,被广泛用于这些设置,由于其简单性和在某些条件下的近最优性。在这项工作中,我们首先表明,惠特尔索引政策可以失败,在简单和实际相关的RMAB设置,即使当RMAB是可索引的。我们讨论了为什么最优性保证失败,为什么渐近最优性可能无法很好地转化为实际相关的规划视野。然后,我们提出了一个替代的规划算法的基础上的平均场方法,它可以证明和有效地获得接近最优的政策与大量的武器,没有严格的结构假设所需的惠特尔指数政策。该方法借鉴了已有研究的思想,并作了一些改进:该方法不含超参数,并提供了一种改进的非渐近分析方法,该方法具有:(a)不需要外生超参数,对已知问题参数的多项式依赖性更强;(b)高概率界,表明策略的回报是可靠的;以及(c)匹配该算法关于臂数的次优性下限,从而证明我们的界限的紧密性。我们广泛的实验分析表明,平均场方法匹配或优于其他基线。
2023-02-28 cs.AI cs.LG cs.MA
Block Optimism for Nonstationary Bandits with Latent Linear Dynamics
Seoul National University(首尔国立大学)
针对具有潜在线性动力学的非平稳赌博机,提出基于循环近似和UCB的块级乐观算法,将遗憾从$\tilde{O}(T^{2/3})$改进至$\tilde{O}(\sqrt T)$。
2026-10-02 cs.LG stat.ML
Collapsing Bandits and Their Application to Public Health Interventions
Harvard University(哈佛大学);University of Virginia(弗吉尼亚大学)
我们提出并研究了Collpasing Bandits,一种新的不安分的多臂强盗(RMAB)设置,其中每个手臂都遵循具有特殊结构的二进制状态马尔可夫过程:当一个手臂被播放时,状态被完全观察到,从而“崩溃”任何不确定性,但当一个手臂是被动的,没有观察到,从而允许不确定性演变。目标是通过规划每轮有限的行动预算,使尽可能多的武器保持“良好”状态。这种崩溃的强盗是许多医疗保健领域的自然模型,其中工作人员必须同时监测患者并以最大限度地提高患者队列健康的方式提供干预措施。我们的主要贡献如下:(一)建立在惠特尔指数技术的RMABs,我们得出的条件下,崩溃的土匪问题是可索引的。我们的推导取决于新的条件下,最优的政策时,可能采取的形式,无论是“向前”或“反向”的阈值政策的特点。(ii)我们利用阈值策略的最优性来构建计算Whittle指数的快速算法,包括封闭形式。(iii)我们评估了我们的算法在几个数据分布,包括来自现实世界的医疗保健任务的数据,其中工作人员必须监测和提供干预措施,以最大限度地提高患者对结核病药物的依从性。我们的算法实现了3个数量级的加速比相比,国家的最先进的RMAB技术,同时实现类似的性能。
2020-07-05 cs.AI cs.LG stat.ML
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cornell University(康奈尔大学)
蒙特卡洛规划,例如蒙特卡罗树搜索(MCTS),已被证明在有限空间的应用显着的性能。在本文中,我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划,这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT,这是一种用称为分层乐观优化(HOO)的连续武装强盗策略增强MCTS的算法(Bubeck等人,2011年)。具体来说,我们通过使用适当的多项式,而不是对数,奖金项的置信上限,以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的(Silver等人,2017 b),以及其在实现有限空间MCTS的理论保证方面的重要作用(Shah等人,2019年)。我们调查,第一次,增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木,我们建立非渐近收敛保证POLY-HOOT:值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果,证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
Multi-armed Bandit Learning on a Graph
Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院);Stanford University(斯坦福大学);KTH(瑞典皇家理工学院)
多臂强盗(MAB)问题是一个简单而强大的框架,已被广泛研究的背景下的不确定性决策。在许多现实世界的应用中,例如机器人应用,选择手臂对应于约束下一个可用手臂(动作)的选择的物理动作。出于这一动机,我们研究了MAB的一个扩展,称为图强盗,其中代理在图上旅行,以最大限度地提高从不同节点收集的奖励。该图定义了代理在每一步选择下一个可用节点的自由度。我们假设图结构是完全可用的,但奖励分布是未知的。基于离线的基于图的规划算法和乐观原则,我们设计了一个学习算法,G-UCB,使用乐观原则平衡长期的探索和开发。我们表明,我们提出的算法实现了$O(\sqrt{|S|T\log(T)}+D|S|\log T)$学习遗憾,其中$|S|$是节点的数量和$D$是直径的图形,它匹配的理论下限$Ω(\sqrt{|S|T})$的对数因子。据我们所知,这一结果是第一个紧遗憾界在非情节,非折扣学习问题与已知的确定性过渡。数值实验证实,我们的算法优于几个基准。
2023-03-20 cs.AI cs.LG stat.ML
Online Clustering of Data Sequences with Bandit Information
Department of Electrical Engineering, IIT Madras, Chennai, Tamil Nadu, India(马德拉斯理工学院电子工程系,印度钦奈,泰米尔纳德邦);Department of Artificial Intelligence, IIT Kharagpur, Kharagpur, West Bengal, India(克拉格浦尔理工学院人工智能系,印度克拉格浦尔,西孟加拉邦)
本文研究在多臂老虎机框架下,基于固定置信度设定的数据序列在线聚类问题,提出ATBOC算法并分析其性能,同时提出更高效的LUCBBOC和BOC-ELIM算法,通过仿真验证其有效性。
2026-03-20 cs.IT cs.LG math.IT
Efficient Algorithms for Logistic Contextual Slate Bandits with Bandit Feedback
Microsoft Research India(微软印度研究院)
本文提出Slate-GLM-OFU和Slate-GLM-TS算法,通过局部规划和全局学习实现低计算成本和低遗憾,实验显示其在合成设置中优于现有基线,并在二分类任务中表现良好。
2026-05-12 cs.LG
Sharper Guarantees for Misspecified Kernelized Bandit Optimization
Politecnico di Milano(米兰理工大学);University of Alberta(阿尔伯塔大学)
本文针对非指定核化老虎机优化问题,提出更高效的保证方法,通过谱局部化和域分割算法,减少非指定误差放大,改进了离线和在线设置下的性能界。
2026-05-07 cs.LG math.OC stat.ML
Fairness for Workers Who Pull the Arms: An Index Based Policy for Allocation of Restless Bandit Tasks
Harvard University(哈佛大学)
本文提出了一种基于指数的分配策略,用于在资源受限条件下公平分配异质工人的 restless 带机任务,以提高干预计划的公平性和效率。
2023-03-01 cs.AI cs.LG cs.MA
Object Search in Partially-Known Environments via LLM-informed Model-based Planning and Prompt Selection
Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系)
本文提出了一种基于LLM的模型规划框架和提示选择方法,用于部分已知环境中的物体搜索。利用LLM估计不同位置搜索目标物体的可能性,并结合环境地图提取的旅行成本,以实现有效的搜索性能。
2026-07-09 cs.AI cs.LG cs.RO
Deep Synoptic Monte Carlo Planning in Reconnaissance Blind Chess
ML Collective;Google(谷歌)
本文介绍了大型不完全信息博弈的深度天气蒙特卡罗规划(DSMCP)。该算法构造了一个信念状态与未加权的粒子滤波器和计划通过播放,从信念状态的样本开始。该算法通过对“概要”(一种新的信息状态的随机抽象)进行推理来解释不确定性。DSMCP是Penumbra程序的基础,该程序在2020年官方侦察盲棋比赛中战胜了其他33个程序。本文还评估了算法的变种,包括谨慎,偏执狂,和一个新的强盗算法。此外,它审计了Penumbra中使用的概要功能,并提供了逐位显着性统计。
2021-11-01 cs.AI cs.LG
Multi-armed Bandits with Application to 5G Small Cells
University of Manitoba(曼尼托巴大学)
由于移动业务的普遍需求,下一代无线网络被期望能够提供高数据速率,而无线资源变得越来越稀缺。这就要求下一代无线网络朝着能够有效支持资源需求应用(如个性化移动服务)的新网络范式发展。为新兴的第五代(5G)蜂窝网络预见的这种范例的示例包括非常密集地部署的小小区和设备到设备通信。对于5G网络,必须寻找频谱和能量高效的解决方案来解决资源分配问题,这些问题i)适合分布式实现,ii)能够处理不确定性和信息缺乏,以及iii)能够应对用户的自私。本文的核心目标是调查和建立多武装匪徒(MAB)框架的潜力,以应对这一挑战。特别是,我们提供了一个简短的教程土匪问题,包括不同的变化和解决方案的方法。此外,我们讨论了最近的应用以及未来的研究方向。此外,我们提供了一个详细的例子,使用MAB模型在5G网络中进行节能的小小区规划。
2015-10-02 cs.DC cs.LG cs.NI
Lagrangian Relaxation for Multi-Action Partially Observable Restless Bandits: Heuristic Policies and Indexability
Department of Electrical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校电子工程系);Department of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电子工程与计算机科学系)
针对多动作部分可观测不安分多臂老虎机问题,研究其拉格朗日界计算近似方法、值函数性质、启发式策略及Whittle索引策略的局限性,为公共卫生干预等场景的资源分配提供理论支撑。
2025-08-30 cs.LG cs.SY eess.SY
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University(哈佛大学)
我们引入鲁棒性\textit{restless multi-armed bandits}(RMABs),一个流行的模型之间的约束资源分配独立的随机过程(武器)。几乎所有的RMAB技术假设随机动力学是精确已知的。然而,在许多现实世界的设置中,动态是用显著的\emph{uncertainty}来估计的,例如,通过历史数据,如果忽略这些数据,可能会导致不良结果。为了解决这个问题,我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架(甲骨文的\textit{agent}和\textit{nature}),这是经常用于单过程的强大的规划,但需要显着的新技术,以适应组合性质的RMAB。具体来说,我们设计了一种深度强化学习(RL)算法DDLPO,它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战,大大降低了样本复杂性,并保证了收敛。DDLPO,一般的利益,实现我们的奖励最大化代理甲骨文。然后,我们解决了具有挑战性的遗憾最大化的自然预言机,一个非静态的强化学习的挑战,通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
Robust and Adaptive Planning under Model Uncertainty
Stanford University(斯坦福大学)
模型不确定性下的规划是许多决策和学习应用中的一个基本问题。在本文中,我们提出了鲁棒自适应蒙特卡罗规划(RAMCP)算法,它允许计算风险敏感的贝叶斯自适应政策,最佳权衡探索,剥削和鲁棒性。RAMCP制定的风险敏感规划问题作为一个两个玩家的零和游戏,其中一个对手扰动代理的信念模型。我们介绍两个版本的RAMCP算法。第一个,RAMCP-F,收敛到一个最佳的风险敏感的政策,而不必重建搜索树的基础上的信念模型被扰动。第二个版本,RAMCP-I,提高了计算效率的成本失去理论保证,但产生的经验结果相比,RAMCP-F。RAMCP是证明了一个N拉多臂土匪问题,以及病人的治疗方案。
2019-01-09 cs.AI cs.LG
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Missouri University of Science and Technology(密苏里科技大学);CNRS(法国国家科学研究中心);Telecom Sud Paris(南巴黎电信学院);Institut Mines Telecom(矿业电信学院);Paris-Saclay University(巴黎-萨克雷大学)
深度神经网络(DNN)的进步极大地支持了异常物联网数据的实时检测。然而,物联网设备很难负担复杂的DNN模型,并且将异常检测任务卸载到云端会导致长时间的延迟。在本文中,我们提出并构建了一个用于分布式分层边缘计算(HEC)系统的自适应异常检测方法的演示,以解决单变量和多变量物联网数据的这个问题。首先,我们构建了多个异常检测DNN模型,其复杂度不断增加,并将每个模型与HEC中的一个层从下到上相关联。然后,我们设计了一个自适应方案,选择这些模型之一的飞行,从每个输入数据提取的上下文信息的基础上。模型的选择制定为一个上下文的强盗问题,其特征在于一个单步马尔可夫决策过程,并使用强化学习策略网络解决。我们构建了一个HEC测试平台,实现了我们提出的方法,并使用真实的物联网数据集对其进行了评估。演示表明,我们提出的方法显着降低了检测延迟(例如,单变量数据集的71.4%),而不会牺牲准确性,而不是将检测任务卸载到云端。我们还将其与其他基线方案进行了比较,并证明了它实现了最佳的精度-延迟权衡。我们的演示也可在线获得:https://rebrand.ly/91a71
2020-04-15 cs.DC cs.LG cs.NI
Experiment Planning with Function Approximation
Broad Institute(博德研究所);Boston University(波士顿大学);Stanford University(斯坦福大学)
本文针对上下文赌博机中奖励模型复杂且需提前生成数据收集策略的实验规划问题,提出基于eluder维度的规划采样方法和均匀采样策略,并揭示规划与自适应学习的统计差异。
2024-01-10 cs.AI cs.LG stat.ML
Last Switch Dependent Bandits with Monotone Payoff Functions
Columbia University(哥伦比亚大学)
本文研究 LSD 老虎机的最优规划问题,提出首个常数近似算法及在线学习版本,并借助高维松弛和虚拟状态镜像技术在单调收益下达到接近 recharge bandits 的保证。
2023-06-01 cs.DS cs.LG
A/B Testing and Best-arm Identification for Linear Bandits with Robustness to Non-stationarity
针对非平稳环境下的线性老虎机固定预算最佳臂识别问题,提出算法P1-RAGE,兼顾非平稳鲁棒性与平稳环境下的快速识别率。
2024-02-15 cs.LG stat.ML
MNL-Bandits under Inventory and Limited Switches Constraints
City University of Hong Kong(香港城市大学)
优化向客户展示的产品种类是增加线下和在线零售商收入的关键。为了在探索顾客偏好和利用顾客从数据中学习到的选择之间取得平衡,本文采用多项标称Logit(MNL)选择模型来捕捉顾客对产品的选择,研究了零售商在计划期$T$内以利润最大化为目标的最优补偿问题。为了使问题设置更实际,我们考虑了库存约束和有限开关约束,其中零售商不能用完资源库存之前的时间$T$,并禁止切换的品种显示给客户太多次。这样的设置适合在线零售商想要动态地优化客户群体的分类选择的情况。我们开发了一个有效的UCB类算法,以优化调度,同时从数据中学习客户的选择。我们证明了我们的算法可以实现一个次线性遗憾界$\tilde{O}\left(T^{1-α/2}\right)$,如果$O(T^α)$开关是允许的。%,我们的遗憾界是最优的$T$。大量的数值实验表明,我们的算法优于基线和我们的算法的性能和理论上界之间的差距是小的。
2022-04-22 cs.LG
Online Learning in Budget-Constrained Dynamic Colonel Blotto Games
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究预算约束动态Colonel Blotto博弈中的在线资源分配问题,将其转化为有向图路径规划,结合组合老虎机与带背包的老虎机算法求解,理论证明遗憾值具次线性上界并经仿真验证。
2023-05-08 cs.GT cs.LG cs.MA
Linear Bandits under Exact Sliding-Window Constraints
本文研究精确滑动窗口约束下的线性赌博机,提出转移直径与历史状态直径,开发稀有切换OFUL算法,实现亚线性遗憾并保持精确可行性。
2026-10-07 cs.LG
Regret analysis of the Piyavskii-Shubert algorithm for global Lipschitz optimization
AURA AERO(光环航空);Toulouse School of Economics(图卢兹经济学院)
我们考虑的问题,最大化的非凹Lipschitz多元函数在紧域通过顺序查询其(可能扰动)的值。我们研究了一个自然的算法,最初设计的Piyavskii和舒伯特在1972年,我们证明了新的界限的功能需要达到或证明一个给定的优化精度的评估数量。我们的分析使用了带宽优化的观点,并解决了Hansen等人的一个开放问题。(1991)通过限定评估的数量来证明具有接近最优的填充数和的给定精度。
2022-07-04 cs.LG math.OC stat.ML
Learning to Incentivize Perfect-Knowledge Agents with Unobserved Rewards
University of California, Berkeley(加利福尼亚大学伯克利分校)
针对主无法观测代理奖励的重复主从博弈,本文提出一种基于在线逆优化的估计器与策略,实现平方根级遗憾,并通过模拟验证其适用性。
2026-11-05 cs.AI cs.GT cs.LG
Adaptive Experimentation at Scale: A Computational Framework for Flexible Batches
Columbia Business School(哥伦比亚商学院)
针对批次反馈和有限重新分配时期下的自适应实验问题,提出计算驱动框架与 Residual Horizon Optimization 算法,在未知奖励分布等困难场景中显著提升统计功效。
2023-08-14 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
最近的研究表明,情景强化学习(RL)并不比上下文强盗更困难,即使有很长的规划视野和未知的状态转换。然而,这些结果仅限于表格马尔可夫决策过程(MDP)或线性混合MDP的计算效率低下的算法。在本文中,我们提出了第一个计算效率的地平线自由算法的线性混合MDP,实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态,其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时,我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾,其中$d$是上下文的维度,$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时,这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML