An Arm-Wise Randomization Approach to Combinatorial Linear Semi-Bandits
NEC Corporation(日本电气股份有限公司);The University of Tokyo(东京大学)
组合线性半强盗(CLS)是一种广泛适用的顺序决策框架,其中学习者从与特征向量相关联的给定臂集合中选择臂子集。现有的算法工作不佳的聚类的情况下,其中的特征向量形成几个大的集群。这个缺点在实践中是至关重要的,因为它可以在许多应用程序中找到,包括推荐系统。本文分析了这一缺陷产生的原因,并引入了一种关键的臂式随机化技术来克服这一缺陷,提出了两种基于该技术的算法:扰动C ${}^2$ UCB(PC ${}^2$ UCB)和Thompson采样(TS)。我们的实证评估与人工和真实世界的数据集表明,所提出的算法与手臂明智的随机化技术优于现有的算法,没有这种技术,特别是对于集群的情况下。我们的贡献还包括理论分析,为我们的算法提供高概率渐近遗憾界。
2019-09-10 cs.LG stat.ML
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology(武汉理工大学);University of Paris-Sud XI(巴黎第十一大学)
针对非稳态多臂赌博机问题,通过分析一类标准奖励函数,建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件,并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
Risk-sensitive Bandits: Arm Mixture Optimality and Regret-efficient Algorithms
Google DeepMind(谷歌DeepMind)
本文提出风险敏感赌博机通用框架,揭示最优策略常需混合多个臂而非选择单一臂,并设计遗憾高效算法以准确跟踪最优臂混合或单独臂,实现 $O((\log T/T)^ν)$ 的遗憾界。
2025-03-11 cs.LG stat.ML
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University(西江大学)
对于有约束的多臂强盗模型,通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下,最优值是已知的。我们给出了渐近最优性概率的一个有限时间界,该概率为1-O(|A| Te^{-T}),其中T是视界大小,A是强盗中的臂的集合。然后,我们研究了一个宽松的版本的算法,估计的最优值的一般形式,并讨论了算法的渐近最优性后,一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Adaptive Combinatorial Experimental Design: Pareto Optimality for Decision-Making and Inference
University of Science and Technology of China(中国科学技术大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学)
本文提出 MixCombKL 和 MixCombUCB 算法,通过帕累托最优性在组合多臂老虎机中实现 regret 最小化与统计功效的平衡。
2026-02-27 cs.LG
Nearly Tight Bounds for Exploration in Streaming Multi-armed Bandits with Known Optimality Gap
Indiana University(印第安纳大学);Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学)
研究已知最优性间隙的多趟流式多臂老虎机纯探索问题,证明所需趟数为 $Θ(\log n)$,并给出了相匹配的下界证明与单臂内存算法。
2025-02-03 cs.DS cs.LG
The Symmetry between Arms and Knapsacks: A Primal-Dual Approach for Bandits with Knapsacks
Imperial College Business School(帝国理工学院商学院);Stanford University(斯坦福大学)
在本文中,我们研究了背包强盗(BwK)问题,并开发了一个基于原始对偶的算法,实现了问题依赖的对数遗憾界。BwK问题扩展了多臂强盗(MAB)问题,以模拟与玩每个手臂相关的资源消耗,现有的BwK文献主要集中在推导渐近最优无分布遗憾界。我们首先研究BwK问题的原始和对偶线性规划。从这个原始对偶的角度来看,我们发现武器和背包之间的对称性,然后提出了一个新的概念的次优措施的BwK问题。次优性度量突出了背包在确定算法遗憾中的重要作用,并启发了我们两阶段算法的设计。在第一阶段,该算法确定的最佳武器和绑定背包,并在第二阶段,它耗尽绑定背包通过播放最佳武器通过一个自适应过程。我们的遗憾上限涉及到建议的次优性措施,它有一个对数依赖的地平线长度$T$和多项式依赖$m$(武器的数量)和$d$(背包的数量)。据我们所知,这是解决一般BwK问题的第一个问题依赖的对数遗憾界。
2021-06-23 cs.DS cs.LG
Best-Arm Identification in Linear Bandits
INRIA Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧分部);Microsoft Research New-England(微软新英格兰研究院);Google DeepMind(谷歌DeepMind)
研究了线性强盗中的最佳臂识别问题,其中各臂的报酬线性依赖于一个未知参数$θ^*$,目标是返回具有最大报酬的臂.我们描述了问题的复杂性,并引入了样本分配策略,拉臂,以确定最佳的手臂与固定的信心,同时最大限度地减少样本预算。特别是,我们利用全球的线性结构,以提高近最佳武器的奖励估计的重要性。我们分析了所提出的策略,并比较其实证表现。最后,作为我们分析的副产品,我们指出了连接到最优实验设计中使用的$G$ -最优性准则。
2014-11-04 cs.LG
Achieving Exponential Asymptotic Optimality in Average-Reward Restless Bandits without Global Attractor Assumption
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对无限时间跨度平均奖励非静息多臂老虎机问题,提出双集合策略,在非周期单链、非退化与局部稳定性温和假设下首次实现指数渐近最优性,并证明局部稳定性的关键作用。
2026-11-03 cs.LG math.OC math.PR
Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality
The University of Arizona(亚利桑那大学)
我们研究随机结构土匪最小化遗憾。近年来,研究人员发现,流行的乐观算法不能实现渐进的实例依赖后悔最优性(简称渐近最优性)。另一方面,众所周知,人们可以实现有限的遗憾(即,不会随着$n$无限增长)。不幸的是,现有的渐近最优算法依赖于引入$ω(1)$项w.r.t.时间的地平线$n$在他们的遗憾,未能适应“容易”的实例。在本文中,我们专注于有限假设的情况下,并询问是否可以达到渐近最优,同时尽可能享受有限的遗憾。我们通过引入一种名为CRush Optimism with Pessimism(CROP)的新算法来提供一个积极的答案,该算法通过拉动悲观假设所指示的信息臂来消除乐观假设。我们的有限时间分析表明,作物$(i)$实现了一个常数因子的渐近最优性,由于强制探索的设计,$(ii)$适应有界遗憾,和$(iii)$的遗憾界规模不与$K$,但与我们介绍的有效数量的武器$K_ψ$。我们还讨论了一类问题,其中作物可以指数优于现有的算法在\textit{nonasymptotic}制度。这个问题类还揭示了一个令人惊讶的事实,即使是一个千里眼的先知谁发挥根据渐近最优的手臂拉方案可能会遭受线性最坏情况下的遗憾。
2020-10-23 cs.LG stat.ML
Gamification of Pure Exploration for Linear Bandits
INRIA - DIENS - PSL Research University(法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学);INRIA(法国国家信息与自动化研究所);DeepMind Paris(深度思维巴黎分公司)
我们调查了一个积极的纯探索设置,其中包括最佳臂识别,在线性随机土匪的背景下。虽然渐近最优算法存在的标准多臂土匪,这种算法的存在最好的武器识别线性土匪一直难以捉摸,尽管几次尝试解决it. First,我们提供了一个彻底的比较和新的见解在不同的概念的最优性的线性情况下,包括G-最优性,最佳试验设计和渐近最优性的转导最优性。其次,我们设计了线性强盗中固定置信纯探索的第一个渐近最优算法。因此,我们的算法自然绕过了一个简单但困难的实例所造成的陷阱,大多数以前的算法必须被设计来显式处理。最后,我们避免了需要完全解决的最优设计问题,提供了一种方法,需要一个有效的实施。
2020-07-02 cs.LG stat.ML
Gap Entropy and Almost Instance-Wise Optimal Best-Arm Identification
UIUC(伊利诺伊大学厄巴纳-香槟分校);NUS(新加坡国立大学);Tencent Hunyuan(腾讯混元)
本文解决了最佳臂识别中间隙熵与几乎逐实例最优性猜想,给出匹配的上下界,并提供一个无需先验间隙的单一算法,其复杂度达到逐实例下界直至加性双臂项。
2026-09-15 cs.AI cs.CC cs.LG
Multi-Access Communications with Energy Harvesting: A Multi-Armed Bandit Model and the Optimality of the Myopic Policy
Imperial College London(伦敦帝国学院)
研究了一个具有N个发射节点的多址无线网络,每个发射节点配备有能量收集(EH)设备和有限容量的可充电电池。在每个时隙(TS),节点以特定概率操作,该概率可以取决于数据的可用性或其信道的状态。每个节点处的能量到达过程被建模为独立的两状态马尔可夫过程,使得在每个TS处,节点要么收获一个单位的能量,要么不收获。在每个TS处,节点的子集由接入点(AP)调度。假设AP不知道EH过程或电池的状态,最大化总吞吐量的调度策略进行了研究。将该问题归结为一个不安分多臂强盗(RMAB)问题,给出了最优调度策略的上界,并在关于EH过程和电池容量的一定假设下,证明了近视策略(MP)的最优性.对于一般情况下,MP的性能进行了比较数值上限。
2015-01-01 cs.IT cs.LG math.IT
Thompson Exploration with Best Challenger Rule in Best Arm Identification
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Kyoto University(京都大学)
针对固定置信度最佳臂识别问题,提出结合Thompson sampling与best challenger rule的新策略,无需强制探索且计算高效,在多臂问题上实现近最优并有竞争力的样本复杂度。
2025-08-11 cs.LG stat.ML
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University(康奈尔大学)
我们考虑了有限时域不安分的强盗,每个周期有多个拉,这在推荐系统,主动学习,收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略,但是所需的计算在臂数$N$上呈指数级缩放。因此,理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长,即,与最优策略相比,预期性能的损失,对于由Whittle提出的经典渐近制度中的此类策略,其中$N$增长,同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明,这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是,我们表明,它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策,称为流体优先级的政策,其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立,我们表明,流体优先级的政策,但有一个最优的差距,即$O(\sqrt{N})$,显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay(电子工程系,印度理工学院,孟买)
本文研究单调结构下基于阈值的多臂老虎机问题,推导了仅与阈值相邻臂相关的渐近遗憾下界,提出最优算法并经蒙特卡洛模拟验证,拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
From Optimality to Robustness: Dirichlet Sampling Strategies in Stochastic Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
随机多臂强盗问题在标准的臂分布假设下(如支集有界、指数族等)得到了广泛的研究。这些假设适用于许多现实世界的问题,但有时他们需要的知识(例如尾巴),可能无法精确访问的从业者,提出了问题的鲁棒性的强盗算法模型错误。在本文中,我们研究了一个通用的Dirichlet采样(DS)算法,基于两两比较的经验指数计算与重新采样的武器的观察和数据依赖的探索奖金。我们发现,这种策略的不同变体实现可证明的最佳遗憾保证时,分布有界和对数遗憾半有界分布与温和的分位数条件。我们还表明,一个简单的调整实现鲁棒性方面的一大类无界分布,在成本略低于对数渐近遗憾。最后,我们提供了数值实验显示DS的优点,在综合农业数据的决策问题。
2021-11-18 cs.LG stat.ML
UCBoost: A Boosting Approach to Tame Complexity and Optimality for Stochastic Bandits
The Ohio State University(俄亥俄州立大学);AT&T Labs Research(AT&T实验室研究部)
在这项工作中,我们解决了开放的问题,找到低复杂度接近最优的多臂强盗算法的顺序决策问题。现有的强盗算法或者是次优的并且计算简单(例如,UCB 1)或最优且计算复杂(例如,kl-UCB)。我们提出了一个提升的方法,上置信界为基础的算法随机土匪,我们称之为UCBoost。具体来说,我们提出了两种类型的UCBoost算法。我们发现,UCBoost($D$)享有$O(1)$复杂性为每个手臂每轮以及遗憾的保证是$1/e$ -接近的kl-UCB算法。我们提出了一种基于近似的UCBoost算法,UCBoost($ε$),享有遗憾的保证$ε$ -接近的kl-UCB以及$O(\log(1/ε))$的复杂性,每轮每个手臂。因此,我们的算法为从业者提供了一种实用的方法来交易的最优性与计算复杂性。最后,我们给出的数值结果表明,UCBoost($ε$)可以达到相同的后悔性能的标准kl-UCB,而只招致$1\%$的计算成本kl-UCB。
2018-04-16 cs.AI cs.LG stat.ML
Stochastically Constrained Best Arm Identification with Thompson Sampling
City University of Hong Kong(香港城市大学);National University of Singapore(新加坡国立大学);The University of Hong Kong(香港大学)
本文针对多性能度量下的随机约束最佳臂识别问题,首次提出基于 Thompson sampling 的采样算法,并证明其后验收敛速率的渐近最优性,数值实验验证了性能优势。
2025-01-07 cs.LG
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University(斯坦福大学)
本文研究了多臂情形下的贝叶斯多臂老虎机问题,发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索,在理论和经验上均优于SS-UCB,能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
A General Framework of Multi-Armed Bandit Processes by Arm Switch Restrictions
Zhejiang Normal University(浙江师范大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));East China Normal University(华东师范大学);The Shenzhen Research Institute of Big Data(深圳大数据研究院)
通过对连续演化的臂间切换引入一种约束,提出了多臂强盗过程的一般框架。对任意单臂在开关约束下构造Gittins指标过程,并建立相应Gittins指标规则的最优性。本文所定义的Gittins指标与MAB过程在连续时间、整数时间、半马尔可夫环境以及一般离散时间环境下的Gittins指标是一致的,从而使新理论不仅涵盖了经典模型的特例,而且还适用于许多文献中尚未涉及的其他情况.虽然Gittins指数政策的最优性的证明受益于现有理论中的思想MAB过程在连续时间,新技术的引入,大大简化了证明。
2018-08-22 cs.LG math.OC math.PR
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出了一种新政策,通过逐步将更多臂推向最优分布,证明在Unichain和非周期性假设下,该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
Multi-Armed Bandits on Partially Revealed Unit Interval Graphs
Cornell University(康奈尔大学);CCDC Army Research Laboratory(CCDC陆军研究实验室);Chalmers University(查尔姆斯大学)
研究了一类随机多臂强盗问题,该问题具有不同臂之间相似性和相异性的边信息。问题的动作空间可以用单位区间图(UIG)表示,其中每个节点表示一个手臂,两个节点之间的边的存在(不存在)表明它们的平均奖励之间的相似性(不相似性)。两个设置的完整和部分侧信息的基础上是否UIG是完全揭示的研究和一般的两步学习结构,包括离线减少的动作空间和在线聚合的奖励观察从类似的武器,提出了充分利用的拓扑结构的侧信息。在这两种情况下,所提出的学习策略的计算效率和顺序最优性的动作空间的大小和时间长度的。
2019-08-31 cs.LG
Optimal Best-Arm Identification under Fixed Confidence with Multiple Optima
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), Vietnam(计算机科学与工程学院,胡志明市技术大学(HCMUT),越南);Vietnam National University Ho Chi Minh City (VNU-HCM), Vietnam(越南胡志明市国家大学(VNU-HCM),越南)
在固定置信度下,本文提出改进的Track-and-Stop算法,通过考虑平局情况,实现多最优臂识别的最优性能保证。
2026-03-04 cs.IT cs.LG math.IT
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore(新加坡国立大学);California Institute of Technology(加州理工学院)
研究了指数家族强盗的Thompson抽样算法的后悔性,其中奖励分布来自一维指数家族,包括Bernoulli,Gaussian,Gamma,Exponential等常见的奖励分布,提出了一种Thompson抽样算法ExpTS,它使用了一种新的抽样分布,以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS,这同时产生有限时间后悔界以及渐近后悔界。特别地,对于具有指数族奖励的$K$ -武装强盗,在地平线上的ExpTS $T$是子UCB(问题依赖的有限时间后悔的强准则),极大极小最优直到因子$\sqrt{\log K}$,并且对于指数族奖励是渐近最优的。此外,我们提出了ExpTS $^+$,通过增加一个贪婪的开发步骤,除了在ExpTS中使用的抽样分布,以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法,并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的,概念上简单,可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Information-Directed Selection for Top-Two Algorithms
The Hong Kong University of Science and Technology(香港科技大学);Columbia University(哥伦比亚大学)
针对多臂老虎机最佳k臂识别,本文用对偶条件扩展top-two原则并提出IDS选择规则,证明top-two Thompson sampling渐近最优,实验显示性能显著提升。
2023-07-17 cs.LG stat.ML
Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文针对平均奖励下的不安分老虎机问题,提出基于仿真的“跟随虚拟建议”框架,将单臂策略转化为 N 臂策略,首次在离散和连续时间设定下摆脱 UGAP 假设并实现 O(1/√N) 最优性差距。
2024-01-16 cs.LG math.OC math.PR
Approximate Function Evaluation via Multi-Armed Bandits
Stanford University(斯坦福大学)
我们研究了一个已知的光滑函数$f$在一个未知点$\boldsymbolμ \in \mathbb{R}^n$的值的估计问题,其中每个组件$μ_i$可以通过一个嘈杂的预言采样。更频繁地对与具有较大方向导数的函数的方向相对应的$\boldsymbolμ$的分量进行采样更有采样效率。然而,由于$\boldsymbolμ$是未知的,最佳采样频率也是未知的。我们设计了一个实例自适应算法,该算法根据每个坐标的重要性学习采样,并且概率至少$1-δ$返回$f(\boldsymbolμ)$的$ε$准确估计。我们推广我们的算法,以适应异方差噪声,并证明渐近最优性时,$f$是线性的。我们证实了我们的理论结果与数值实验,显示了戏剧性的收益所提供的自适应。
2022-03-18 cs.LG
A study of Thompson Sampling with Parameter h
University of Cambridge(剑桥大学)
Thompson抽样算法是求解随机多臂强盗问题的著名贝叶斯算法。在每一个时间步的算法选择每个手臂的概率成正比,它是当前最好的arm.We修改的策略,通过引入一个参数h,它改变了一个手臂的概率的重要性是当前最好的arm.We表明,汤普森采样的最优性是强大的参数值范围内的两个手臂土匪这种扰动。
2017-10-05 cs.IT cs.LG math.IT
Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms
Rensselaer Polytechnic Institute(伦斯勒理工学院);Imperial College London(伦敦帝国学院);Indian Institute of Technology Madras(马德拉斯印度理工学院);Google Research India(谷歌印度研究院)
本文提出以偏好度量(PM)为中心的老虎机框架,其最佳策略为混合多臂而非单臂,并设计了含估计与跟踪机制的后悔高效算法。
2025-04-30 cs.LG stat.ML
Minimax Optimal Simple Regret in Two-Armed Best-Arm Identification
Department of Basic Science, The University of Tokyo(东京大学基础科学系)
本研究证明在双臂固定预算最优臂识别中,Neyman分配在简单遗憾上达到极小极大最优,且无需局部分布假设,并在伯努利分布下退化为均匀分配。
2025-01-21 cs.LG econ.EM math.ST
Achieving $\tilde{\mathcal{O}}(1/N)$ Optimality Gap in Restless Bandits through Gaussian Approximation
Electrical Engineering and Computer Science Department, University of Michigan, Ann Arbor(密歇根大学电气工程与计算机科学系);Computer Science Department, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
针对退化 Restless Bandits,提出基于高斯近似的随机规划策略,实现 $\tilde{\mathcal{O}}(1/N)$ 最优性间隙,优于现有 LP 方法的 $\Theta(1/\sqrt{N})$。
2025-05-25 cs.LG math.OC math.PR
Price of Safety in Linear Best Arm Identification
Inria Lille(里尔法国国家信息与自动化研究所);Huawei(华为);Noah’s Ark Paris(巴黎诺亚方舟实验室)
本文研究线性反馈下带逐阶段安全约束的最佳臂识别问题,提出基于间隙的算法,在保证安全的同时分析并量化了因安全约束带来的额外样本复杂度代价。
2023-09-15 cs.LG stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China(中国人民大学统计学院);School of Management, Fudan University(复旦大学管理学院);Mendoza College of Business, University of Notre Dame(圣母大学门多萨商学院);Center for Applied Statistics, School of Statistics, Renmin University of China(中国人民大学应用统计中心);Department of Statistics, University of Warwick(华威大学统计系)
针对敏感数据序贯决策中的隐私问题,本文提出统一置信界型估计器及跳跃启动方案,解决LDP下非参数化上下文MAB的极小化极大最优性,并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Double Explore-then-Commit: Asymptotic Optimality and Beyond
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了具有亚高斯报酬的多臂强盗问题。探索-然后-提交(ETC)策略,由探索阶段和开发阶段组成,是各种在线决策应用中最广泛使用的算法之一。然而,Garivier et al.(2016)已经表明,ETC在渐近意义上是次优的,因为地平线的增长,因此,比完全顺序策略,如上置信限(UCB)更差。在本文中,我们证明了ETC算法的一个变体实际上可以实现多臂强盗问题的渐近最优性的UCB型算法,并将其扩展到批量强盗设置。具体来说,我们提出了一个双重探索,然后提交(DETC)算法,有两个探索和开发阶段,并证明DETC达到渐近最优的遗憾界。据我们所知,DETC是第一个非完全顺序算法,达到这样的渐近最优。此外,我们将DETC扩展到批量强盗问题,其中(i)探索过程被分成少量批次,(ii)轮复杂性是核心利益。我们证明了一个批量版本的DETC可以达到渐近最优,只有一个常数轮复杂度。这是第一个批量强盗算法,可以同时获得最佳的渐近遗憾界和最佳轮复杂度。
2020-11-19 cs.LG stat.ML
Achieving an $O(1/N)$ Optimality Gap in Average-Reward Weakly-Coupled MDPs
Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
本文针对平均奖励弱耦合MDP,提出一种非优先级策略,在特定条件下实现$O(1/N)$最优性差距,优于先前$1/\sqrt{N}$的结果。
2026-09-30 cs.LG math.OC math.PR
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong(香港城市大学);Northwest Polytechnical University(西北工业大学)
该研究针对多目标老虎机场景,提出少对多最优臂识别问题,设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法,证明其样本复杂度保证,通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science(印度科学学院);Israel Institute of Technology (Technion)(以色列理工学院(Technion))
在固定置信度下,给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人(2012年)的著名LUCB算法,通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念,并且与几种方法相比,具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性,在许多情况下显示出最优性。数值结果表明,与其他算法相比,我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
An Asymptotically Optimal Strategy for Constrained Multi-armed Bandit Problems
Sogang University(西江大学)
对于随机多臂强盗(MAB)问题,从一个约束模型,推广经典的,我们证明了一个渐近最优性是可以实现的一个简单的策略扩展从$ε_t$ -贪婪的战略。我们提供了一个有限的时间下界的概率正确选择的最佳近可行的手臂,持有所有的时间步骤。在某些条件下,当时间$t$趋于无穷大时,该界趋近于1。还讨论了具有$(1-\frac{1}{t})^4$数量级的渐近收敛速率的$\{ε_t\}$的特定示例序列,该序列从足够大的$t$成立。
2018-05-03 cs.LG math.OC stat.ML
Nash Social Welfare for Multi Armed Bandits: Trajectory-wise Expected and High Probability Regret
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对公平多臂老虎机,提出轨迹级与高概率纳什遗憾度量,并设计RR-NCB算法,在更强度量下达到最优遗憾界。
2026-10-07 cs.LG stat.ML
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学);Google Research, Brain Team(谷歌研究院,大脑团队);DeepMind;Amazon(亚马逊)
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加,但其理论基础仍然不发达。为了提高对这个问题的理解,我们提供了三个结果,其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先,我们介绍了一类信心调整的指数算法,统一的乐观和悲观的原则,在一个共同的框架,这使得一般的分析。对于这个家庭,我们表明,任何信心调整指数算法是最小最大最优的,无论是乐观的,悲观的或中立的。我们的分析表明,依赖于实例的最优性,通常用于建立在线随机强盗算法的最优性,不能实现任何算法在批量设置。特别是,对于在某些环境中表现最佳的任何算法,存在另一种环境,在这种环境中,相同的算法遭受任意更大的遗憾。因此,为了建立一个框架,区分算法,我们引入了一个新的加权极大极小准则,认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Regional Multi-Armed Bandits
School of Information Science and Technology University of Science and Technology of China(中国科学技术大学信息科学技术学院)
我们考虑经典的多臂强盗问题的一个变种,其中每个手臂的预期奖励是一个未知参数的函数。臂被分成不同的组,每组具有共同的参数。因此,当玩家在每个时隙选择手臂时,同一组中的其他手臂的信息也被揭示。这个区域性的强盗模型自然地连接了玩家只能学习所选手臂的非信息性强盗设置和对一个手臂进行采样可以揭示所有手臂信息的全局强盗模型。我们提出了一个有效的算法,UCB-g,解决了区域强盗问题相结合的置信上限(UCB)和贪婪的原则。参数依赖和参数自由后悔上界推导。我们还建立了一个匹配下界,证明了UCB-g的序最优性。此外,我们提出了SW-UCB-g,这是一个扩展的UCB-g的非平稳环境中的参数随时间缓慢变化。
2018-02-22 cs.LG stat.ML
Distributed Learning in Multi-Armed Bandit with Multiple Players
University of California, Davis(加州大学戴维斯分校)
我们制定和研究一个分散的多臂强盗(MAB)问题。有M个分布式参与者竞争N个独立的武器。每一只手臂,在演奏时,都提供了身份证。根据具有未知参数的分布进行奖励。在每一次,每个玩家选择一只手臂玩,不与其他玩家交换观察或任何信息。选择相同手臂的玩家发生碰撞,根据碰撞模型,要么没有人获得奖励,要么碰撞的玩家以任意方式分享奖励。我们发现,分散的MAB的最小系统遗憾随着时间的增长,在相同的对数顺序在集中式的对手,球员集体作为一个单一的实体,通过交换意见和共同决策。一个分散的政策,以实现这一最优秩序,同时确保公平的参与者之间,而不假设任何预先协议或参与者之间的信息交换。基于M个最优武器的时分公平共享(TDFS),构造了该策略,并在一般报酬模型下证明了其序最优性。此外,TDFS策略的基本结构可以与任何订单最优的单人策略一起使用,以实现分散设置中的订单最优性。我们还建立了一个下界的系统遗憾的增长率的一般类的分散政策,建议的政策属于。该问题在认知无线电网络、多信道通信系统、多智能体系统、网络搜索和广告以及社交网络中有潜在的应用。
2010-06-07 cs.LG math.OC math.PR
On the Optimal Sample Complexity for Best Arm Identification
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院)
我们研究最佳手臂识别(BEST-1-ARM)问题,定义如下。我们给出了$n$随机强盗臂。$i$第th臂具有奖励分布$D_i$,其具有未知的平均值$μ_{i}$。每次使用$i$ th手臂时,我们可以获得奖励,i.i.d.采样。来自$D_i$。我们希望使用尽可能少的样本,以至少$1-δ$的概率确定具有最大平均值的臂。我们提供了一个非平凡的算法BEST-1-ARM,这提高了几个前上界相同的问题。我们还研究了一个重要的特殊情况下,只有两个手臂,我们称之为符号问题。本文给出了一个新的符号下界,简化并推广了Farrell在1964年的一个经典结果,给出了一个全新的证明。利用这个新的符号下界,我们通过一个有趣的从符号到BEST-1-ARM的约简,得到了BEST-1-ARM的第一个超越经典Mannor-Tsitsiklis下界的下界,并从实例最优性的角度对BEST-1-ARM的最优样本复杂度提出了一个有趣的猜想.
2016-08-23 cs.DS cs.LG
Online Algorithms for the Multi-Armed Bandit Problem with Markovian Rewards
University of Michigan(密歇根大学)
考虑了经典的具有马尔可夫报酬的多臂强盗问题。当一只手臂被使用时,它会以马尔可夫的方式改变状态,而当它不被使用时,它会保持冻结状态。参与者每次使用一只手臂时都会得到一个与状态相关的奖励,而手臂的状态数和状态转移概率对参与者来说是未知的。玩家的目标是随着时间的推移学习最好的手臂,以最大限度地提高其长期总回报。我们表明,在一定的条件下的状态转移概率的武器,一个样本均值为基础的指数政策实现对数遗憾一致的试验总数。结果表明,基于样本均值的索引策略可以应用于剩余马尔可夫强盗模型下的学习问题,而不会损失序的最优性。此外,Anantharam指数策略与UCB策略的比较表明,UCB策略在选择较小的勘探参数时,其损失小于Anantharam指数策略。
2022-11-12 cs.LG math.OC
Multi-thresholding Good Arm Identification with Bandit Feedback
Informatics Dept, Faculty of Information Science and Electrical Engineering, Kyushu University, Japan(信息学系,信息科学与电气工程学部,九州大学,日本);Computational Learning Theory Team, RIKEN-AIP, Fukuoka, 819-0395, Japan(计算学习理论团队,日本理化学研究所-AIP,福冈,日本)
研究多目标随机bandit中的好臂识别问题,提出MultiTUCB算法,在合成和真实数据集上表现优于基线方法。
2025-06-26 cs.LG
Polynomial Cost of Adaptation for X -Armed Bandits
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Université Paris-Sud(巴黎南大学)
在随机连续武装匪徒的背景下,我们提出了一种算法,适应未知的光滑的目标函数。我们展示和计算的多项式成本的适应H{<$}lder正则性的遗憾最小化。为此,我们首先重新考虑了Locatelli和Carpentier [20]最近的下界,并定义和刻画了容许率函数。我们的新算法匹配任何这些最小速率函数。我们提供了一个有限时间的分析和彻底的讨论渐近最优性。
2019-12-09 cs.LG math.ST stat.ML
Probabilistic Sequential Shrinking: A Best Arm Identification Algorithm for Stochastic Bandits with Corruptions
National University of Singapore(新加坡国立大学);Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹与分析研究所)
我们考虑一个最佳臂识别(BAI)问题的随机土匪对抗腐败的固定预算设置的T步骤。我们设计了一种新的随机算法,概率顺序收缩($u$)(PSS($u$)),这是不可知的腐败量。当每步损坏量(CPS)低于阈值时,PSS($u$)将具有倾向于$1$的概率的最佳臂或项目标识为$T\rightarrow \infty$。否则,最优性差距的识别项目退化优雅的CPS。我们认为,这样的分歧是必要的。在PSS($u$)中,参数$u$用于在最优性间隙和成功概率之间进行平衡。注入的随机化被证明是必不可少的,以减轻腐败的影响。为了证明这一点,我们设计了两种适用于任何算法的攻击策略。我们将其中一个应用于PSS的确定性模拟($u$),Karnin等人(2013)称为连续减半(SH)。攻击策略导致SH的高失败概率,但PSS($u$)保持鲁棒性。在没有损坏的情况下,PSS($2$)的性能保证与SH的性能保证相匹配。我们表明,当CPS是足够大的,没有算法可以实现BAI概率趋于$1$作为$T\rightarrow \infty$。数值实验证实了我们的理论研究结果。
2021-06-18 cs.IT cs.LG math.IT
Multi-Armed Bandits with Censored Consumption of Resources
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑经典多臂强盗问题的资源感知变体:在每一轮中,学习者选择一个手臂并确定资源限制。然后,只要消耗的资源(随机)量保持低于限制,它就会观察到相应的(随机)奖励。否则,观测被删失,即,没有获得任何奖励。对于这个问题的设置,我们引入了一个措施的遗憾,它结合了实际分配的资源,每个学习轮以及最优的可实现的奖励。因此,为了最小化遗憾,学习者需要设置资源限制并以这样的方式选择手臂,即在预定义的资源限制内实现高奖励的机会很高,而资源限制本身应保持尽可能低。我们提出了一个UCB启发的在线学习算法,我们从理论上分析了其遗憾上限。在模拟研究中,我们表明,我们的学习算法优于标准的多臂强盗算法的直接扩展。
2022-10-17 cs.LG stat.ML
Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization
针对传统多目标多臂老虎机忽视用户偏好的问题,本文提出偏好感知框架,探索未知与隐藏偏好场景,通过偏好估计与感知优化机制实现帕累托前沿内的定制化优化,理论与实证均验证其近最优遗憾与有效性。
2025-11-15 cs.LG
Indexability is Not Enough for Whittle: Improved, Near-Optimal Algorithms for Restless Bandits
University of Oxford(牛津大学);Google Research(谷歌研究院);Harvard University(哈佛大学)
研究了具有多个行动的不安分多武装匪徒(RMABs)的规划问题。这是多智能体系统的一种流行模型,其应用包括多通道通信、监控和机器维护任务以及医疗保健。惠特尔指数政策,这是基于拉格朗日松弛,被广泛用于这些设置,由于其简单性和在某些条件下的近最优性。在这项工作中,我们首先表明,惠特尔索引政策可以失败,在简单和实际相关的RMAB设置,即使当RMAB是可索引的。我们讨论了为什么最优性保证失败,为什么渐近最优性可能无法很好地转化为实际相关的规划视野。然后,我们提出了一个替代的规划算法的基础上的平均场方法,它可以证明和有效地获得接近最优的政策与大量的武器,没有严格的结构假设所需的惠特尔指数政策。该方法借鉴了已有研究的思想,并作了一些改进:该方法不含超参数,并提供了一种改进的非渐近分析方法,该方法具有:(a)不需要外生超参数,对已知问题参数的多项式依赖性更强;(b)高概率界,表明策略的回报是可靠的;以及(c)匹配该算法关于臂数的次优性下限,从而证明我们的界限的紧密性。我们广泛的实验分析表明,平均场方法匹配或优于其他基线。
2023-02-28 cs.AI cs.LG cs.MA
Decentralized Blockchain-based Robust Multi-agent Multi-armed Bandit
Northwestern University(西北大学)
本文研究去中心化区块链上存在恶意参与者的鲁棒多智能体多臂老虎机问题,首次结合区块链技术与新颖机制设计最优策略,通过验证者池、基于数字签名的共识、基于UCB的安全多方计算策略及激励机制,证明了算法理论遗憾值上界为$\log{T}$且达到最优。
2024-07-25 cs.LG cs.MA
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本研究提出老虎机UCB策略的统一理论,以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件,证明MaxSearch的阶最优性,还提出PIUCB算法并验证其性能,为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
UCB algorithms for multi-armed bandits: Precise regret and adaptive inference
Rutgers University(罗格斯大学)
本文通过确定性刻画UCB索引算法的臂拉动次数,给出多臂老虎机UCB算法的精确后悔值公式,明确经典Lai-Robbins公式的适用条件,否定其严格极小极大最优性,并证明UCB算法的稳定性可支撑序列数据下的传统置信集有效性。
2024-12-09 cs.IT cs.LG math.IT