A Verification Theorem for Threshold-Indexability of Real-State Discounted Restless Bandits
惠特尔指数，它的特点是最佳的政策，控制某些单一的不安土匪项目（一个马尔可夫决策过程的两个行动：主动和被动）是一个广泛使用的启发式指数政策的基础上，为棘手的不安多臂土匪问题。然而，应用这样一个政策需要克服两个障碍：手头模型中的单个项目必须被证明是可索引的，因此它们拥有惠特尔指数;并且必须对指数进行评估。当项目状态空间是实区间时，如在最近的传感器调度应用中，这样的障碍可能特别令人烦恼。本文给出了折扣准则下一般真实状态离散时间不安分土匪可指数化（相对于广义Whittle指数）的充分条件，该条件不基于阐明最优值函数的性质，也不像现有方法那样需要事先证明阈值策略的最优性.主要贡献是一个验证定理，如果阈值政策下的项目绩效指标和明确定义的边际生产率（MP）指数满足三个条件，那么该项目是可索引的广义惠特尔指数由MP指数，阈值政策是最佳的动态项目控制。
2021-05-05 math.OC
Optimality of Myopic Policy for Restless Multiarmed Bandit with Imperfect Observation
我们考虑N个项目的排序问题。每个项目都是一个多状态的马尔可夫过程。在每个时刻，一个项目被安排工作，并根据所选项目的状态获得一些奖励。我们的目标是设计一个调度策略，最大限度地提高预期的累积折扣奖励在有限或无限的地平线。所考虑的问题可以转换成一个不安多臂强盗（RMAB）的问题，是决策论的根本重要性。众所周知，解决RMAB问题是PSPACE困难的，由于指数计算复杂度，最优策略通常难以解决。一个自然的选择是考虑容易实施的短视政策，使直接回报最大化。在本文中，我们进行了分析研究所考虑的RMAB问题，并建立了一组封闭形式的条件，以保证最优的近视政策。
2016-01-31 math.OC
Relaxed Indexability and Index Policy for Partially Observable Restless Bandits
针对资源约束下仅能操作M个过程的部分可观测restless多臂老虎机问题，提出基于松弛可索引性的低复杂度算法，实现近最优性能并支持近似Whittle索引的高效在线计算。
2025-01-14 math.OC
Weakly-Coupled Multi-Action Restless Bandits -- Exponential Convergence in Probability
RMIT University（皇家墨尔本理工大学）；the University of Melbourne（墨尔本大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
本文研究有限时间 horizon 的马尔可夫决策过程，包含多个组的多动作有限状态 restless 博弈过程，各组内过程相同，但不同组过程差异较大。研究了多个弱耦合约束下的过程行为，并设计保证收敛到理想轨迹的策略，证明在系统规模增大时，过程以指数速率收敛到确定性过程。
2026-04-17 math.OC
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Conditions for indexability of restless bandits and an O(K^3) algorithm to compute Whittle index
不安分土匪是一类顺序资源分配问题，涉及在多个备选进程之间分配一个或多个资源，其中进程的演化取决于分配给它们的资源。这些模型反映了勘探和开采之间的基本权衡。1988年，惠特尔开发了一个指数启发式的不安土匪问题，已成为一个流行的解决方案，由于其简单性和强大的经验性能。如果模型满足称为可索引性的技术条件，则Whittle指数启发式适用。在本文中，我们提出了两个一般的充分条件，可索引性，并确定更简单的验证这些条件的改进。然后，我们重新审视以前提出的算法称为自适应贪婪算法，这是已知的计算惠特尔指数的一个子类的不安土匪。我们表明，自适应贪婪算法的推广计算的Whittle指数为所有indexable不安分的土匪。我们提出了一个有效的实现该算法，可以计算一个不安分的强盗与$K$状态的惠特尔指数在O（K^3）的计算。最后，我们提出了一个详细的数值研究，肯定了惠特尔指数启发式的强大性能。
2021-08-25 cs.SY eess.SY math.OC
Online Learning of Rested and Restless Bandits
University of Michigan（密歇根大学）
在本文中，我们研究了在线学习问题，涉及休息和不安分的多臂土匪多个播放。该系统由一个单一的播放器/用户和一组K有限状态离散时间马尔可夫链（武器）与未知的状态空间和统计。在每一步，玩家可以玩M个武器。用户的目标是在一系列试验中决定每一步K个手臂中的哪M个来玩，以便最大化其长期奖励。不安分的多臂强盗是特别相关的机会性频谱接入（OSA）的应用，其中（次要）用户可以访问一组K个信道，每个信道的时变条件作为随机衰落和/或某些主要用户的活动的结果。
2011-02-17 cs.LG math.OC
Whittle index based Q-learning for restless bandits with average reward
Inria Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；Indian Institute of Technology（印度理工学院）
针对平均奖励多臂不安分赌博机问题，提出结合Whittle指数与Q学习的新型强化学习算法，通过利用Whittle指数策略结构缩小搜索空间以提升计算效率，给出严格收敛分析，数值实验验证了其优异性能。
2021-09-21 cs.LG math.OC stat.ML
A belief-state restless bandit model for treatment adherence: Whittle indexability via partial conservation laws
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
针对容量受限的治疗依从性外展问题，提出基于信念状态的 restless multi-armed bandit 模型，利用部分守恒定律证明单患者阈值策略最优性和可指标化，推导闭式 Whittle 指标，并在多患者场景中实现高效拉格朗日松弛策略。
2026-06-17 math.OC
Low-Complexity Algorithm for Restless Bandits with Imperfect Observations
Nanjing University（南京大学）；National Center for Applied Mathematics（国家应用数学中心）；University of Cambridge（剑桥大学）
针对不完美观测下的不安分多臂老虎机，提出简化动态规划方程的低复杂度算法，并建立其与 Whittle 指数的等价性、同质系统最优性及一般情形近优性。
2024-05-13 cs.LG math.OC
Regret Bounds for Restless Markov Bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
我们认为不安分的马尔可夫土匪问题，其中每个手臂的状态根据独立于学习者的行动马尔可夫过程的演变。我们建议一个算法，$T$步骤后实现$\tilde{O}(\sqrt{T})$遗憾的最佳政策，知道所有武器的分布。没有假设马尔可夫链，除了他们是不可约的。此外，我们表明，指数为基础的政策，所考虑的问题是次优的。
2012-09-12 cs.LG math.OC stat.ML
Threshold-indexability of restless bandits with real interval state spaces: a performance-metric verification framework and long-run average analysis
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究具有实区间状态空间的不安分多臂老虎机的阈值可索引性，开发性能度量框架，通过扩展贴现PCL方法，在特定条件下证明阈值可索引性与MP指数特性等价，应用于相关领域并简化卡尔曼滤波老虎机索引性问题。
2026-07-28 math.OC
Dynamic priority allocation via restless bandit marginal productivity indices
本文综述了不安定老虎机指数化的理论与算法，提出用边际生产力指数（MPI）统一各类指数，并展示其在多项目动态优先级分配中接近最优且优于传统基准策略的性能。
2023-04-12 math.OC math.PR
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种新政策，通过逐步将更多臂推向最优分布，证明在Unichain和非周期性假设下，该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
An Optimal-Control Approach to Infinite-Horizon Restless Bandits: Achieving Asymptotic Optimality with Minimal Assumptions
本文提出基于最优控制框架解决无限时域不安定老虎机问题，通过可达性条件替代严格假设，并利用“对齐与引导”策略实现渐近最优，数值实验显示模型预测控制性能优越。
2024-03-18 math.DS math.OC math.PR
Restless bandits with imperfect binary feedback: PCL-indexability analysis and computation
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
针对具有二元隐状态和不完美二元反馈的 restless bandits，提出基于部分守恒律（PCL）的分析与计算框架，通过验证定理、确定性骨架和组合词方法建立可索引性并计算 Whittle 指数，实验表明 MP 指数策略优于基准策略。
2026-06-11 cs.LG math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Learning in A Changing World: Restless Multi-Armed Bandit with Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
我们考虑不安分的多臂强盗（RMAB）的问题与未知的动态，其中一个球员选择M的N个武器在每一个时间玩。每只手臂的奖励状态在游戏时根据未知的马尔可夫规则过渡，在被动时根据任意的未知随机过程演变。手臂选择策略的性能是通过后悔来衡量的，后悔被定义为相对于玩家知道哪M个手臂是最有价值的并且总是玩M个最好的手臂的情况的奖励损失。我们构建了一个政策与交错的探索和开发时代的结构，实现了遗憾的对数顺序时，任意（但非平凡）的某些系统参数的界限是已知的。当没有知识的系统是可用的，我们表明，建议的政策实现了遗憾任意接近对数阶。我们进一步扩展到一个分散的设置，多个分布式的球员共享武器没有信息交换的问题。在一个外生的不安模型和一个内生的不安模型，我们表明，分散的扩展建议的政策保持在集中设置的对数后悔顺序。这些结果适用于各种动态系统和通信网络中的自适应学习，以及金融投资。
2011-12-26 cs.LG math.OC math.PR
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University（康奈尔大学）
我们考虑了有限时域不安分的强盗，每个周期有多个拉，这在推荐系统，主动学习，收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略，但是所需的计算在臂数$N$上呈指数级缩放。因此，理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长，即，与最优策略相比，预期性能的损失，对于由Whittle提出的经典渐近制度中的此类策略，其中$N$增长，同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明，这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是，我们表明，它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策，称为流体优先级的政策，其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立，我们表明，流体优先级的政策，但有一个最优的差距，即$O(\sqrt{N})$，显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
Restless Bandits with Constrained Arms: Applications in Social and Information Networks
Department of Electrical Engineering IIT Bombay, Mumbai INDIA.（印度孟买印度理工学院电气工程系）
研究社交网络中动态可用信息源的信息收集问题，提出基于restless multi-armed bandit模型的解决方案，通过数值模拟比较了索引策略、我的opic策略和均匀随机策略的性能。
2018-01-19 cs.SY eess.SY math.OC
Decentralized Restless Bandit with Multiple Players and Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
针对多玩家未知动力学的分散式休止多臂赌博机问题，提出一种分散式策略，在已知系统参数边界时实现对数阶遗憾，在无先验知识时实现任意接近对数阶的遗憾。
2011-02-15 cs.LG cs.SY eess.SY
A Restless Bandit Model for Energy-Efficient Job Assignments in Server Farms
针对异构服务器农场的节能任务分配问题，提出基于Whittle松弛的近最优可扩展策略，证明了其渐近最优性，并通过数值仿真验证了其在非渐近情形下的有效性与鲁棒性。
2023-10-20 cs.DC math.OC
Multi-Action Restless Bandits with Weakly Coupled Constraints: Simultaneous Learning and Control
RMIT University（皇家墨尔本理工大学）；the University of Melbourne（墨尔本大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
针对受弱耦合约束的多动作不安分老虎机在线控制问题，提出无需先知转移矩阵和奖励函数的同时学习与控制方案，并证明其在时间与规模维度收敛且规模偏差指数衰减。
2024-12-04 cs.LG math.OC math.PR
Achieving Exponential Asymptotic Optimality in Average-Reward Restless Bandits without Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对无限时间跨度平均奖励非静息多臂老虎机问题，提出双集合策略，在非周期单链、非退化与局部稳定性温和假设下首次实现指数渐近最优性，并证明局部稳定性的关键作用。
2026-11-03 cs.LG math.OC math.PR
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology（武汉理工大学）；University of Paris-Sud XI（巴黎第十一大学）
针对非稳态多臂赌博机问题，通过分析一类标准奖励函数，建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件，并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
Online Learning in Opportunistic Spectrum Access: A Restless Bandit Approach
University of Michigan（密歇根大学）
我们考虑机会频谱接入（OSA）问题，其中每个信道的时变条件（例如，作为随机衰落或某些主用户活动的结果）被建模为任意有限状态马尔可夫链。在每个时刻，（次要）用户探测信道并收集作为信道状态的函数的某个奖励（例如，良好的信道条件导致用户的更高数据速率）。每个信道具有潜在不同的状态空间和统计数据，这两者对于用户来说都是未知的，用户试图了解哪个信道是最好的，并且最大化其对最好信道的使用。我们的目标是构建一个很好的在线学习算法，以尽量减少用户的总回报和使用最佳信道（平均）的性能之间的差异，它知道哪一个是最好的从先验知识的信道统计（也被称为遗憾）。这是一个经典的探索和利用问题，当奖励过程被假设为iid时，结果比比皆是。与之前的工作相比，最大的区别在于，在我们的案例中，奖励过程被假设为马尔可夫过程，其中iid是一个特例。此外，奖励过程是不稳定的，因为信道条件将独立于用户的动作而继续演变。这导致了一个不安分的强盗问题，其中存在的算法或性能界限在这个学习环境中，以我们所知的最好的结果。在本文中，我们介绍了一种算法，利用再生循环的马尔可夫链和计算的样本均值为基础的索引政策，并表明，在温和的条件下的状态转移概率的马尔可夫链该算法实现了对数遗憾一致的时间，而且这个遗憾界也是最优的。
2010-10-01 cs.LG math.OC
Model Predictive Control is Almost Optimal for Restless Bandit
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP（格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔INP、实验室LIG）
本文针对不安分马尔可夫老虎机问题提出基于模型预测控制的滚动时域策略，证明其次优性差距在一般情况下为O(1/√N)，在局部稳定性条件下呈指数衰减，且方法易于实现并优于现有方法。
2025-06-05 cs.LG math.OC math.PR
LP-based policies for restless bandits: necessary and sufficient conditions for (exponentially fast) asymptotic optimality
本文提出基于线性规划的策略框架，证明其渐近最优性，并构造 LP-index 与 LP-update 策略，后者在估计误差下表现更优。
2023-12-22 math.OC math.PR
Multi-channel Opportunistic Access: A Case of Restless Bandits with Multiple Plays
本文考虑了以下随机控制问题中出现的机会频谱接入：一个系统由n个信道（吉尔伯特-埃利奥特信道），每个信道的状态（好或坏）演变为独立和同分布的马尔可夫过程。用户可以在每个时隙中（基于感测结果）精确地选择k个信道来感测和访问。每当用户感知并访问好的频道时，就会获得奖励。我们的目标是设计一个渠道选择政策，最大限度地提高预期的折扣总回报累计在有限或无限的地平线。在我们以前的工作中，我们建立了k = 1的特殊情况下贪婪策略的最优性（即，单信道接入）的情况下，信道状态转换随时间正相关。在本文中，我们表明在相同的条件下，贪婪的政策是最优的一般情况下，k >= 1，这里介绍的方法，因此更一般。这个问题可以被看作是一个特殊的情况下，不安分的强盗问题，与多个播放。我们讨论当前的问题和现有的文献之间的连接这一类的问题。
2009-10-10 cs.DM cs.IT math.IT
Lagrangian Index Policy for Restless Bandits with Average Reward
INRIA Sophia Antipolis（INRIA索菲亚-安蒂波利斯）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种用于 restless 多臂老虎机的拉格朗日指数策略，通过强化学习算法实现在线学习，并分析了其在最优网络爬行和信息年龄最小化中的应用。
2025-12-30 cs.AI cs.LG math.OC
The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret
University of Southern California（南加州大学）
在经典的贝叶斯不安分多臂强盗（RMAB）问题中，存在$N$臂，每个臂上的奖励在每个时刻以参数已知的马尔可夫链形式演化.玩家寻求在每次激活$K \geq 1$臂，以便最大化在多次游戏中获得的预期总奖励。RMAB是一个具有挑战性的问题，通常被认为是PSPACE困难的。在这项工作中，我们认为更难的非贝叶斯RMAB，其中的马尔可夫链的参数被假定为未知的\emph{a priori}。我们开发了一个原始的方法来解决这个问题，适用于当相应的贝叶斯问题的结构，根据已知的参数值，最优解是一个规定的有限集的政策。在这样的设置中，我们建议学习的最佳政策，非贝叶斯RMAB采用一个合适的元政策，把每个政策从这个有限集作为一个手臂在一个不同的非贝叶斯多臂强盗问题的单臂选择政策是最佳的。我们证明了这种方法，通过开发一种新的感知策略，在未知的动态信道上的机会频谱接入。我们证明了我们的策略实现了接近对数的遗憾（与模型感知的精灵相比，预期奖励的差异），这导致了在已知模型下最优策略可以实现的相同平均奖励。这是第一个这样的结果在文献中的非贝叶斯RMAB。
2010-11-22 cs.LG cs.NI math.OC
DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
Harvard University（哈佛大学）；Texas A&M University（德克萨斯大学）；Stony Brook University（石溪大学）
本文针对 restless bandits 中奖励函数难以指定的问题，提出 Pref-RMAB 模型和 DOPL 算法，通过在线收集并直接利用成对偏好反馈进行决策，首次实现次线性遗憾并验证其有效性。
2025-07-16 cs.LG math.OC stat.ML
Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）；Indian Institute of Science（印度科学学院）
我们研究了一个有限时间内具有多个行动的不稳定多臂强盗问题，称为R（MA）^2B。每个手臂的状态根据受控马尔可夫决策过程（MDP）演变，拉动手臂的奖励取决于相应MDP的当前状态和所采取的行动。目标是顺序选择武器的行动，以便最大化所收集的累积奖励的期望值。由于寻找最优策略通常是棘手的，我们提出了一个计算上有吸引力的指数政策，我们称之为占用测量奖励指数政策。我们的政策是明确的，即使底层的MDP是不可索引的。我们证明了当激活预算和臂数按比例增加时，它是渐近最优的，同时保持它们的比例为常数。对于系统参数未知的情况，我们提出了一种学习算法。我们的学习算法在面对不确定性时使用乐观原则，并进一步使用生成模型，以充分利用占用测量奖励指数策略的结构。我们称之为R（MA）^2B-UCB算法。与现有算法相比，R（MA）^2B-UCB算法具有接近离线最优策略的性能，并且以较低的计算复杂性实现了次线性后悔.实验结果表明，R（MA）^2B-UCB算法在遗憾度和运行时间方面均优于现有算法.
2022-03-23 cs.LG math.OC stat.ML
Indexability is Not Enough for Whittle: Improved, Near-Optimal Algorithms for Restless Bandits
University of Oxford（牛津大学）；Google Research（谷歌研究院）；Harvard University（哈佛大学）
研究了具有多个行动的不安分多武装匪徒（RMABs）的规划问题。这是多智能体系统的一种流行模型，其应用包括多通道通信、监控和机器维护任务以及医疗保健。惠特尔指数政策，这是基于拉格朗日松弛，被广泛用于这些设置，由于其简单性和在某些条件下的近最优性。在这项工作中，我们首先表明，惠特尔索引政策可以失败，在简单和实际相关的RMAB设置，即使当RMAB是可索引的。我们讨论了为什么最优性保证失败，为什么渐近最优性可能无法很好地转化为实际相关的规划视野。然后，我们提出了一个替代的规划算法的基础上的平均场方法，它可以证明和有效地获得接近最优的政策与大量的武器，没有严格的结构假设所需的惠特尔指数政策。该方法借鉴了已有研究的思想，并作了一些改进：该方法不含超参数，并提供了一种改进的非渐近分析方法，该方法具有：（a）不需要外生超参数，对已知问题参数的多项式依赖性更强;（b）高概率界，表明策略的回报是可靠的;以及（c）匹配该算法关于臂数的次优性下限，从而证明我们的界限的紧密性。我们广泛的实验分析表明，平均场方法匹配或优于其他基线。
2023-02-28 cs.AI cs.LG cs.MA
Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对平均奖励下的不安分老虎机问题，提出基于仿真的“跟随虚拟建议”框架，将单臂策略转化为 N 臂策略，首次在离散和连续时间设定下摆脱 UGAP 假设并实现 O(1/√N) 最优性差距。
2024-01-16 cs.LG math.OC math.PR
Network Utility Maximization over Partially Observable Markovian Channels
我们考虑部分可观测马尔可夫开/关信道上的效用最大化问题。在该网络中，瞬时信道状态是未知的，并且根据过去的观测提供的部分信道信息，在每个时隙中最多选择一个用户进行服务。直接求解效用最大化问题是困难的，因为它涉及到求解部分可观测的马尔可夫决策过程。相反，我们构建了一个近似解优化网络效用只在一个良好的约束网络容量区域呈现的平稳策略。使用一种新的基于帧的李雅普诺夫漂移参数，我们设计了一个政策的准入控制和用户选择，稳定网络的效用，可以任意接近最优的约束区域。等价地，我们正在处理一个高维的不安分土匪问题的一般功能目标马尔可夫ON/OFF不安分土匪。因此，本文开发的网络控制算法作为一种新的近似方法来攻击这样复杂的不安土匪问题。
2010-08-20 cs.NI math.OC
From Relaxed Indexability to Exact Indexability: A $t$-Step Approach for Partially Observable Restless Bandits
针对部分可观测不安分赌机，提出t步前瞻阈值策略，可验证可索引性，其近似惠特尔指数几何收敛，性能优于一步基线且接近最优基准。
2026-09-09 cs.LG math.OC
Achieving $\tilde{\mathcal{O}}(1/N)$ Optimality Gap in Restless Bandits through Gaussian Approximation
Electrical Engineering and Computer Science Department, University of Michigan, Ann Arbor（密歇根大学电气工程与计算机科学系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
针对退化 Restless Bandits，提出基于高斯近似的随机规划策略，实现 $\tilde{\mathcal{O}}(1/N)$ 最优性间隙，优于现有 LP 方法的 $\Theta(1/\sqrt{N})$。
2025-05-25 cs.LG math.OC math.PR
Model Predictive Control is almost Optimal for Heterogeneous Restless Multi-armed Bandits
LAAS CNRS（法国国家科学研究中心自动分析与控制系统实验室）；INP Grenoble, INRIA, CNRS（格勒诺布尔国立理工学院、法国国家信息与自动化研究所、法国国家科学研究中心）
本文针对异构不安定多臂老虎机问题，提出LP更新策略，证明其次优性差距为O(√(1/N))，还推导带重计算的LP更新策略，仿真显示τ=5时计算高效且性能优异，且LP索引策略对应τ=1的情况。
2026-09-02 math.OC math.PR stat.ML
A Restless Bandit Model for Dynamic Ride Matching with Reneging Travelers
本文研究考虑退队旅行者的大规模动态拼车匹配问题，将其建模为马尔可夫决策过程，提出双变量指数（BI）策略以最大化长期平均收益，并在特例中证明其最优性，数值实验表明该策略显著优于基线策略。
2024-07-30 math.OC math.PR
The Non-Bayesian Restless Multi-Armed Bandit: A Case of Near-Logarithmic Strict Regret
Department of Aeronautics；Astronautics Massachusetts Institute of Technology, Cambridge, MA 02139, USA Ming Hsieh Department of Electrical Engineering University of Southern California, Los Angeles, CA 90089, USA Department of Electrical；Computer Engineering University of California, Davis, CA 95616, USA Email
针对非贝叶斯不安分多臂老虎机问题，提出一种元策略方法，通过学习有限策略集中的最优策略，实现近对数遗憾，并首次在非贝叶斯RMAB中达到与已知模型最优策略相同的平均奖励。
2011-09-07 cs.LG cs.NI cs.SY
Asymptotic Randomised Control with applications to bandits
我们认为一个一般的多臂强盗问题与相关（和简单的上下文和不安）的元素，作为一个放松的控制问题。通过引入熵正则化，我们得到了一个光滑的渐近逼近的价值函数。这产生了一个新的半指数近似的最佳决策过程。这个半指数可以被解释为明确地平衡探索-开发权衡，如在乐观（UCB）原则中，学习溢价明确地描述了环境中可用信息的不对称性和报酬函数的非线性。所得到的渐近随机控制（ARC）算法的性能比较有利，以及与其他方法相关的多武装匪徒。
2022-09-03 math.OC stat.ML
Large-scale Charging of Electric Vehicles: A Multi-Armed Bandit Approach
电动汽车（EV）的成功推出关键取决于方便和经济的充电设施的可用性。被认为是由服务提供商的电动汽车的大规模充电的调度问题。引入了一个马尔可夫决策过程模型，其中电动汽车随机到达充电设施，具有随机需求和完成期限。服务提供商面临随机充电成本、凸未完成惩罚以及限制EV充电器同时激活的最大数量的峰值功率约束。作为一个不安分的多臂强盗问题，电动汽车充电问题是可索引的。在充电费用不变的情况下，得到了惠特尔指数的封闭表达式。然而，惠特尔指数政策一般来说并不是最优的。根据少松弛、长处理时间的原则，提出了一种基于空间交换的Whittle索引策略的改进。该策略优于现有的收费算法，特别是当收费成本是时变的。
2016-05-24 math.OC
A unifying computations of Whittle's Index for Markovian bandits
多武装不安分的土匪框架允许模拟各种各样的决策问题，在不同的领域，如工业工程，计算机通信，运筹学，金融工程，通信网络等在一个开创性的工作，惠特尔开发了一种方法来获得良好的表现（惠特尔）指数的政策，通过解决一个轻松的版本，原来的问题。然而，计算惠特尔指数本身是一个困难的问题，因此研究人员专注于计算惠特尔指数数值或与问题相关的方法。在我们的主要贡献，我们推导出一个解析表达式的惠特尔指数的任何马尔可夫强盗有限和无限的过渡率。我们得到了松弛问题的最优解是阈值型的充分条件，并得到了bandit是可索引的条件，这是保证Whittle指数存在的一个性质.我们的解决方案的方法提供了一个统一的表达惠特尔的指数，我们强调从文献中检索已知的指数作为特殊情况。有限速率的适用性与机器修理工的问题，和无限速率的通信网络的例子，其中传输速率即时反应的数据包丢失。
2019-06-26 math.OC
Dynamic allocation indices for restless projects and queueing admission control: a polyhedral approach
本文基于部分守恒定律提出一种多面体方法，用于设计与计算不安定强盗问题的动态分配指标，并应用于排队准入控制等难题。
2023-04-04 math.OC math.PR
Reoptimization Nearly Solves Weakly Coupled Markov Decision Processes
本文提出LP更新策略，通过周期性重解线性规划松弛问题来求解弱耦合马尔可夫决策过程，并证明其在N个同质子组件下具有渐近最优性及更优收敛速率，实验表明该策略优于现有启发式方法。
2024-05-06 math.OC math.PR
Exponential Convergence Rate for the Asymptotic Optimality of Whittle Index Policy
我们评估了当土匪数量增加时，不安分的马尔可夫土匪的Whittle指数策略的性能。在[30]中证明，如果bandits是可索引的并且相关的确定性系统具有全局吸引子不动点，则此性能是渐近最优的。在本文中，我们表明，在相同的条件下，收敛速度是指数的强盗的数量，除非不动点是奇异的（将在后面定义）。我们的证明是基于随机系统的确定性方程的性质：我们表明，它是一个分段仿射连续动力系统内的单纯形的经验措施的土匪。使用模拟和数值求解器，我们还调查的情况下，指数率定理的条件被违反，特别是当吸引极限环出现，或当不动点是奇异的。我们说明了我们的定理上的马尔可夫衰落信道模型，这在文献中已经得到了很好的研究。最后，我们将同步模型的结果扩展到异步模型。
2020-12-16 cs.PF math.OC math.PR
Exploiting Channel Memory for Multi-User Wireless Scheduling without Channel Measurement: Capacity Regions and Algorithms
本文在两个假设下研究了多用户无线下行链路的基本网络容量：（1）信道没有被明确测量，因此瞬时状态是未知的;（2）信道被建模为ON/OFF马尔可夫链。这是一个需要探索的重要网络模型，因为在某些情况下，信道探测可能代价高昂或不可行。在这种情况下，我们可以使用具有来自先前传输的ACK/NACK反馈的信道存储器来提高网络吞吐量。计算封闭形式的容量区域的网络是困难的，因为它涉及到解决高维部分可观察马尔可夫决策问题。相反，在本文中，我们构建了一个内部和外部的能力区域的界限，表明该界限是紧的用户数是大的，流量是对称的。对于异构流量和任意数量的用户的情况下，我们提出了一个简单的依赖于带宽的策略，可以稳定的网络与任何数据率严格的内部容量范围内。稳定性分析使用了一种新的基于帧的李雅普诺夫漂移参数。外边界分析使用随机耦合和状态聚合约束的一个不安分的强盗问题的性能，使用相关的多臂强盗系统。我们的研究结果是有用的认知无线电网络，机会调度延迟/不确定的信道状态信息，和不安分的强盗问题。
2010-04-21 cs.IT cs.NI math.DS
