An Optimal-Control Approach to Infinite-Horizon Restless Bandits: Achieving Asymptotic Optimality with Minimal Assumptions
本文提出基于最优控制框架解决无限时域不安定老虎机问题,通过可达性条件替代严格假设,并利用“对齐与引导”策略实现渐近最优,数值实验显示模型预测控制性能优越。
2024-03-18 math.DS math.OC math.PR
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University(康奈尔大学)
不安分土匪是一类重要的问题,在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器,一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算,但所需的计算量随着臂数$N$呈指数增长。因此,重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略,在这个意义上,对于大$N$,每个臂的最优性差距(即,相对于最优策略的预期性能的损失)消失。然而,最流行的方法,Whittle索引,需要一个难以验证的可索引性条件被定义良好,另一个难以验证的条件,以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列,每个时间段一个有限的截断点,我们得到一类的政策,称为流体平衡政策,有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同,流体平衡策略不需要定义良好的可索引性,并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明,流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
在本文中,我们考虑的问题,学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中,有一个有限集的手臂,每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链,其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Decentralized Bandit Learning of Markov Perfect Equilibria
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Princeton University(普林斯顿大学)
针对具有连续动作的一般和马尔可夫博弈,提出分散式多臂老虎机学习方法,基于同时扰动随机近似更新动作,证明其几乎必然收敛到唯一平稳马尔可夫完美均衡,收敛速率为$O(n^{-1/2})$,并扩展至情节有限时域学习。
2026-10-14 cs.LG math.OC
Continuous-in-time Limit for Bayesian Bandits
University of California-San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
该研究针对贝叶斯老虎机最优策略计算难的问题,推导其重标度后收敛于连续HJB方程,基于显式解或数值法提出大时域下的近似贝叶斯最优策略,且计算成本不随时域增长。
2023-09-30 cs.LG cs.NA math.NA
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University(西江大学)
对于有约束的多臂强盗模型,通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下,最优值是已知的。我们给出了渐近最优性概率的一个有限时间界,该概率为1-O(|A| Te^{-T}),其中T是视界大小,A是强盗中的臂的集合。然后,我们研究了一个宽松的版本的算法,估计的最优值的一般形式,并讨论了算法的渐近最优性后,一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Optimality of Myopic Policy for Restless Multiarmed Bandit with Imperfect Observation
我们考虑N个项目的排序问题。每个项目都是一个多状态的马尔可夫过程。在每个时刻,一个项目被安排工作,并根据所选项目的状态获得一些奖励。我们的目标是设计一个调度策略,最大限度地提高预期的累积折扣奖励在有限或无限的地平线。所考虑的问题可以转换成一个不安多臂强盗(RMAB)的问题,是决策论的根本重要性。众所周知,解决RMAB问题是PSPACE困难的,由于指数计算复杂度,最优策略通常难以解决。一个自然的选择是考虑容易实施的短视政策,使直接回报最大化。在本文中,我们进行了分析研究所考虑的RMAB问题,并建立了一组封闭形式的条件,以保证最优的近视政策。
2016-01-31 math.OC
The Finite-Horizon Two-Armed Bandit Problem with Binary Responses: A Multidisciplinary Survey of the History, State of the Art, and Myths
Lancaster University(兰卡斯特大学)
在本文中,我们考虑的两个武装土匪问题,这往往自然出现本身或作为一个子问题,在一些多武装的推广,并作为一个起点,引入额外的问题功能。考虑二元反应的动机是其广泛的适用性和被研究最多的设置之一。我们专注于未贴现的有限时域目标,这是在许多应用中最相关的。我们试图统一的术语,因为这是不同的学科,已经考虑到这个问题,并提出了一个统一的模型投在马尔可夫决策过程框架,受试者响应建模使用伯努利分布,和相应的β分布贝叶斯更新。我们从几个学科的方法,包括实验设计,贝叶斯决策论,朴素设计,强化学习,生物统计学和组合设计的历史和国家的艺术进行了广泛的说明。我们评估这些设计,连同一些新提出的,准确的计算(使用作者在Julia编程语言中新编写的包),以比较它们的性能。我们表明,结论是不同的温和的视野(典型的实践)比小视野(典型的学术文献报告计算结果)。我们进一步列出并澄清了关于这个问题的一些神话,例如,我们表明,在计算上,更大的问题可以设计到贝叶斯最优比通常认为的。
2019-06-20 cs.LG math.OC stat.CO
Model Predictive Control is almost Optimal for Heterogeneous Restless Multi-armed Bandits
LAAS CNRS(法国国家科学研究中心自动分析与控制系统实验室);INP Grenoble, INRIA, CNRS(格勒诺布尔国立理工学院、法国国家信息与自动化研究所、法国国家科学研究中心)
本文针对异构不安定多臂老虎机问题,提出LP更新策略,证明其次优性差距为O(√(1/N)),还推导带重计算的LP更新策略,仿真显示τ=5时计算高效且性能优异,且LP索引策略对应τ=1的情况。
2026-09-02 math.OC math.PR stat.ML
Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits
SUNY-Binghamton University(纽约州立大学宾汉姆顿分校);Indian Institute of Science(印度科学学院)
我们研究了一个有限时间内具有多个行动的不稳定多臂强盗问题,称为R(MA)^2B。每个手臂的状态根据受控马尔可夫决策过程(MDP)演变,拉动手臂的奖励取决于相应MDP的当前状态和所采取的行动。目标是顺序选择武器的行动,以便最大化所收集的累积奖励的期望值。由于寻找最优策略通常是棘手的,我们提出了一个计算上有吸引力的指数政策,我们称之为占用测量奖励指数政策。我们的政策是明确的,即使底层的MDP是不可索引的。我们证明了当激活预算和臂数按比例增加时,它是渐近最优的,同时保持它们的比例为常数。对于系统参数未知的情况,我们提出了一种学习算法。我们的学习算法在面对不确定性时使用乐观原则,并进一步使用生成模型,以充分利用占用测量奖励指数策略的结构。我们称之为R(MA)^2B-UCB算法。与现有算法相比,R(MA)^2B-UCB算法具有接近离线最优策略的性能,并且以较低的计算复杂性实现了次线性后悔.实验结果表明,R(MA)^2B-UCB算法在遗憾度和运行时间方面均优于现有算法.
2022-03-23 cs.LG math.OC stat.ML
Stochastic differential equations for limiting description of UCB rule for Gaussian multi-armed bandits
Yaroslav-the-Wise Novgorod State University(智者雅罗斯拉夫诺夫哥罗德国立大学)
本文针对高斯多臂老虎机UCB策略,用随机微分方程和常微分方程构建极限描述,并通过蒙特卡洛模拟验证,估计最小控制视界。
2023-05-11 cs.LG math.OC math.ST
Predictive & Trust-based Multi-Agent Coordination
本文提出基于信任的预测式多智能体共识协议ADC,通过滚动时域共享预测数据并学习邻居的信任与承诺特征,结合李雅普诺夫理论证明一致性收敛,并用数值仿真验证。
2025-07-17 cs.SY eess.SY math.OC
Cooperative Bandit Learning in Directed Networks with Arm-Access Constraints
University of Cyprus(塞浦路斯大学);Aalto University(阿尔托大学)
研究带臂访问约束的协同多智能体老虎机问题,提出基于共识的分布式UCB算法,考虑臂访问结构和网络不对称性,实现对数 regret 分析。
2026-03-24 cs.SY eess.SY math.OC
Model Predictive Control is Almost Optimal for Restless Bandit
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP(格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG(格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP、实验室LIG)
本文针对不安分马尔可夫老虎机问题提出基于模型预测控制的滚动时域策略,证明其次优性差距在一般情况下为O(1/√N),在局部稳定性条件下呈指数衰减,且方法易于实现并优于现有方法。
2025-06-05 cs.LG math.OC math.PR
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题,假设一个子模块和单调的奖励函数。在这项工作中,我们研究了一个更普遍的问题,即,当报酬函数不一定是单调的,并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法(RGL),并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明,在实验中,RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
LP-based policies for restless bandits: necessary and sufficient conditions for (exponentially fast) asymptotic optimality
本文提出基于线性规划的策略框架,证明其渐近最优性,并构造 LP-index 与 LP-update 策略,后者在估计误差下表现更优。
2023-12-22 math.OC math.PR
Multi-Armed Bernoulli Bandits via Minimax Single-Arm Stopping
Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College Business School(帝国理工学院商学院)
本文提出基于单臂停止问题最小最大解的索引策略,用于有限时域伯努利多臂老虎机,实现分布无关的遗憾界,并在实验中优于基准策略。
2026-09-22 cs.LG math.OC stat.ML
Phase Transitions in Bandits with Switching Constraints
Massachusetts Institute of Technology(麻省理工学院)
我们考虑经典的随机多臂强盗问题的约束条件,限制的总成本之间的切换动作不大于一个给定的切换预算。对于这个问题,我们证明了匹配的最佳上限和下限(即,minimax)遗憾,并提供有效的速率优化算法。令人惊讶的是,这个问题的最佳遗憾表现出非常规的增长率的时间范围和武器的数量。因此,我们发现了令人惊讶的“相变”,关于如何最佳后悔率的变化相对于切换预算:当臂的数量是固定的,有等长的阶段,在每个阶段内的最佳后悔率保持(几乎)相同,并表现出突变阶段之间;当臂的数目随着时间范围而增长时,这种突然的变化变得更加微妙并且可能消失,但是涉及某些新测量的相变的一般概念仍然存在。结果使我们能够充分表征的后悔率和所产生的切换成本之间的权衡随机多臂强盗问题,这一基本问题提供了新的见解。在一般的转换成本结构下,结果揭示了强盗问题和图遍历问题(如最短哈密尔顿路径问题)之间的有趣联系。
2021-03-18 cs.DS cs.LG math.OC
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
最近的研究表明,情景强化学习(RL)并不比上下文强盗更困难,即使有很长的规划视野和未知的状态转换。然而,这些结果仅限于表格马尔可夫决策过程(MDP)或线性混合MDP的计算效率低下的算法。在本文中,我们提出了第一个计算效率的地平线自由算法的线性混合MDP,实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态,其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时,我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾,其中$d$是上下文的维度,$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时,这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对噪声随接近最优解线性减小的随机凸赌博机,提出正则化在线牛顿方法,实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Optimal Exploration-Exploitation in a Multi-Armed-Bandit Problem with Non-stationary Rewards
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
在多臂强盗(MAB)问题中,赌徒需要在每一轮游戏中选择K个臂中的一个,每个臂的特征在于未知的奖励分布。只有当选择了一个分支时,才能观察到奖励实现,并且赌徒的目标是在游戏T的某个给定范围内最大化他的累积预期收益。要做到这一点,赌徒需要获得关于武器的信息(探索),同时优化即时奖励(剥削);由于这种权衡而付出的代价通常被称为遗憾,主要问题是这个价格作为视界长度T的函数可以有多小。这个问题已经被广泛研究时,奖励分布不随时间而变化;一个假设,支持一个尖锐的特征的遗憾,但往往是违反在实际环境中。在本文中,我们专注于一个MAB制定,允许广泛的时间不确定性的奖励,同时仍然保持数学上的易处理性。我们充分的特点(遗憾)的复杂性,这类MAB的问题,通过建立一个直接的联系,允许奖励的程度之间的“变化”和最小的可实现的遗憾。我们的分析得出了两个相当不同的文献链之间的一些联系:对抗性和随机MAB框架。
2019-06-06 cs.LG math.OC math.PR
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出了一种新政策,通过逐步将更多臂推向最优分布,证明在Unichain和非周期性假设下,该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
No Regret Bound for Extreme Bandits
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
超参数优化的算法比比皆是,所有这些算法都在不同且通常无法验证的假设下工作得很好。出于顺序选择使用哪种算法的一般挑战,我们研究了更具体的任务,选择分布用于随机超参数优化。这项工作自然是在极端强盗设置中进行的,它处理从集合中顺序选择哪个分布进行采样,以最小化(最大化)单个最佳成本(奖励)。虽然在标准的强盗设置中的分布主要是由它们的平均值来表征的,但是当我们关心最小成本而不是平均成本时,就会出现许多微妙之处。例如,可能不存在像标准强盗设置中那样定义良好的“最佳”分布。最佳分配取决于已经获得的奖励和剩余的时间范围。而在标准的强盗设置,这是明智的比较政策与预言发挥最好的一只手臂,在极端的强盗设置,有多个明智的预言模型。我们在极端强盗情境中定义了一个合理的“极端后悔”概念,它与标准强盗情境中的后悔概念相似。然后,我们证明,没有政策可以渐近地实现没有极端的遗憾。
2016-04-11 cs.LG math.OC math.ST
Lenient Regret and Good-Action Identification in Gaussian Process Bandits
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,高斯过程(GP)的强盗放宽优化标准,说明任何函数值超过一定的阈值是“足够好”。在理论方面,我们研究了各种{ \em宽大后悔}的概念,其中所有接近最优的行动招致零惩罚,并提供了上限的宽大后悔的GP-UCB和消除算法,绕过通常的$O(\sqrt{T})$长期(与时间范围$T$)导致的缩放非常接近的功能最大值。此外,我们补充这些上限与算法无关的下限。在实践方面,我们认为,根据一个已知的预先指定的阈值找到一个单一的“好的行动”的问题,并介绍了几个好的行动识别算法,利用知识的阈值。我们通过实验发现,此类算法通常比标准的基于优化的方法更快地找到好的操作。
2021-05-26 cs.IT cs.LG math.IT
The KL-UCB Algorithm for Bounded Stochastic Bandits and Beyond
LTCI(LTCI实验室);CNRS(法国国家科学研究中心);Telecom ParisTech(巴黎高等电信学院)
本文提出KL-UCB算法,通过有限时间分析证明其在有界奖励下优于UCB和UCB2,在伯努利奖励下达到Lai和Robbins下界,并扩展到指数族分布,数值实验显示其高效稳定。
2013-08-29 cs.LG cs.SY eess.SY