NeurWIN: Neural Whittle Index Network For Restless Bandits Via Deep RL
Texas A&M University（德克萨斯A&M大学）；National Chiao Tung University（台湾交通大学）
Whittle指数策略是一个强有力的工具，以获得渐近最优解的臭名昭著的棘手问题的不安土匪。然而，找到惠特尔指数仍然是一个困难的问题，许多实际的不安分的强盗与复杂的过渡内核。本文提出了NeurWIN，一个神经Whittle指数网络，旨在通过利用Whittle指数的数学特性来学习任何不安分的土匪的Whittle指数。我们表明，神经网络产生的Whittle指数也是一个产生的最优控制的一组马尔可夫决策问题。这一特性促使我们使用深度强化学习来训练NeurWIN。我们证明了效用的NeurWIN最近研究的三个不安分的土匪问题，通过评估其性能。实验结果表明，NeurWIN的性能明显优于其他RL算法。
2022-01-20 cs.LG stat.ML
Whittle Index Learning Algorithms for Restless Bandits with Constant Stepsizes
IIIT Allahabad（印度阿拉巴德国际信息技术学院）；IIT Madras（印度马德拉斯理工学院）
针对不安分多臂老虎机，提出恒定步长双时间尺度随机逼近的 Whittle 指数学习框架，结合 Q-learning、DQN 及函数逼近，并通过分析与数值实验验证其有效性。
2024-09-06 cs.LG cs.SY eess.SY
Networked Restless Bandits with Positive Externalities
University of Maryland, College Park（马里兰大学学院公园分校）
不安分的多武装匪徒经常被用来模拟无约束的资源分配任务，其中资源的接收与有利的状态转换的概率增加相关联。以前的工作假设，个别武器只有受益，如果他们直接收到的资源。然而，许多分配任务发生在社区内，其特点是正外部性，使武器获得部分利益时，他们的邻居（S）接收资源。因此，我们介绍了网络不安分的土匪，一种新颖的多臂土匪设置中，武器都是不安分的，嵌入在一个有向图。然后，我们提出Greta，一个图形感知，Whittle指数为基础的启发式算法，可用于有效地构建一个约束的奖励最大化的动作向量在每个时间步。我们的实证结果表明，Greta在一系列超参数值和图形拓扑结构上优于比较策略。
2022-12-09 cs.AI cs.CY cs.LG
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
On learning Whittle index policy for restless bandits with scalable regret
McGill University（麦吉尔大学）
针对不安分老虎机资源调度问题，提出贴合模型结构的基于 Thompson 采样的模型驱动 RL 算法，并证明其相对 Whittle 索引策略具有可扩展遗憾。
2023-04-26 cs.LG cs.SY eess.SY
Online Learning of Rested and Restless Bandits
University of Michigan（密歇根大学）
在本文中，我们研究了在线学习问题，涉及休息和不安分的多臂土匪多个播放。该系统由一个单一的播放器/用户和一组K有限状态离散时间马尔可夫链（武器）与未知的状态空间和统计。在每一步，玩家可以玩M个武器。用户的目标是在一系列试验中决定每一步K个手臂中的哪M个来玩，以便最大化其长期奖励。不安分的多臂强盗是特别相关的机会性频谱接入（OSA）的应用，其中（次要）用户可以访问一组K个信道，每个信道的时变条件作为随机衰落和/或某些主要用户的活动的结果。
2011-02-17 cs.LG math.OC
Decentralized Restless Bandit with Multiple Players and Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
针对多玩家未知动力学的分散式休止多臂赌博机问题，提出一种分散式策略，在已知系统参数边界时实现对数阶遗憾，在无先验知识时实现任意接近对数阶的遗憾。
2011-02-15 cs.LG cs.SY eess.SY
Whittle index based Q-learning for restless bandits with average reward
Inria Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；Indian Institute of Technology（印度理工学院）
针对平均奖励多臂不安分赌博机问题，提出结合Whittle指数与Q学习的新型强化学习算法，通过利用Whittle指数策略结构缩小搜索空间以提升计算效率，给出严格收敛分析，数值实验验证了其优异性能。
2021-09-21 cs.LG math.OC stat.ML
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology（武汉理工大学）；University of Paris-Sud XI（巴黎第十一大学）
针对非稳态多臂赌博机问题，通过分析一类标准奖励函数，建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件，并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
MARBLE: Multi-Armed Restless Bandits in Latent Markovian Environment
Department of Computer and Systems Sciences (DSV), Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯研究中心）；Smartprofile（Smartprofile公司）
MARBLE引入潜在马尔可夫状态以应对非平稳环境中的多臂 restless 博弈，提出马尔可夫平均指数性准则，并证明在该准则下同步Q学习与Whittle指数几乎必然收敛到最优Q函数。
2026-04-09 cs.LG
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University（哈佛大学）
我们引入鲁棒性\textit{restless multi-armed bandits}（RMABs），一个流行的模型之间的约束资源分配独立的随机过程（武器）。几乎所有的RMAB技术假设随机动力学是精确已知的。然而，在许多现实世界的设置中，动态是用显著的\emph{uncertainty}来估计的，例如，通过历史数据，如果忽略这些数据，可能会导致不良结果。为了解决这个问题，我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架（甲骨文的\textit{agent}和\textit{nature}），这是经常用于单过程的强大的规划，但需要显着的新技术，以适应组合性质的RMAB。具体来说，我们设计了一种深度强化学习（RL）算法DDLPO，它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战，大大降低了样本复杂性，并保证了收敛。DDLPO，一般的利益，实现我们的奖励最大化代理甲骨文。然后，我们解决了具有挑战性的遗憾最大化的自然预言机，一个非静态的强化学习的挑战，通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
General Formulation and PCL-Analysis for Restless Bandits with Limited Observability
本文提出了一种针对受限可观测 restless 贼人问题的通用公式和 PCL 分析方法，通过构建概率模型并应用可达区域方法，实现了对无限状态问题的索引性分析，并展示了算法的高效性。
2025-12-16 cs.LG stat.ML
Constrained Restless Bandits for Dynamic Scheduling in Cyber-Physical Systems
Department of Electrical Engineering, Indian Institute of Technology Bombay（印度理工学院班加罗尔电子工程系）；Polytechnique Montreal（蒙特利尔理工学院）；IIIT Allahabad（阿哈迈德纳巴德印度理工学院）；University of Ottawa（渥太华大学）；IIT Bombay（印度理工学院班加罗尔）
本文研究了一类受约束的 restless 多臂老虎机（CRMAB），其中约束以时间变化的动作集（可用臂集）形式存在。该变化可以是随机的或半确定性的。给定一组臂，每个决策区间内固定数量的臂可以被选择进行播放。每个臂的播放会产生依赖于当前状态的奖励。当前臂的状态通过二进制反馈信号部分可观察，而当前可用臂的状态则是完全可观察的。目标是最大化长期累积奖励。未来臂可用性的不确定性以及部分状态信息使这一目标具有挑战性。CRMAB的应用可以发现于涉及时间变化可用性的网络物理系统中的资源分配。首先，通过 Whittle 的指数策略分析该优化问题。为此，研究了一个受约束的 restless 单臂老虎机。证明其具有阈值型最优策略，并且是可指数化的。提出了一种计算 Whittle 指数的算法。还提出了一种复杂度更低的替代解决方案方法，以在线滚动策略的形式呈现。还详细讨论了这两种方案的复杂性，表明具有短前瞻的在线滚动策略比 Whittle 指数计算更容易实施。进一步，推导了价值函数的上界，以估计各种解决方案的次优程度。模拟研究比较了 Whittle 指数、在线滚动、贪心和修改 Whittle 指数策略的性能。
2021-09-06 cs.LG cs.SY eess.SY
Networked Restless Multi-Armed Bandits for Mobile Interventions
Harvard University（哈佛大学）；University of Southern California（南加利福尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
出于广泛的一类移动干预问题，我们提出和研究不安分的多武装土匪（RMABs）与网络效应。在我们的模型中，手臂部分充电并通过图形连接，因此拉动一只手臂也会改善相邻手臂的状态，显着扩展了先前研究的完全充电的设置，没有网络效应。在流动干预措施中，由于经常性的人口流动（例如往返于家和工作地点之间），可能会产生网络效应。我们发现，在RMABs的网络效应诱导强奖励耦合是不占现有的解决方案的方法。我们提出了一个新的解决方案的方法，网络的RMABs，利用自然的假设下产生的干预效果的结构上的属性。我们提供了充分的条件，我们的方法在理想化的设置，并证明它的经验优于最先进的基线在三个移动干预领域使用现实世界的图表。
2022-01-28 cs.LG
Efficient Resource Allocation with Fairness Constraints in Restless Multi-Armed Bandits
Singapore Management University（新加坡管理大学）
不安的多武装土匪（RMAB）是一个适当的模型，代表决策问题，在公共卫生干预措施（例如，结核病、孕产妇和儿童保健）、反偷猎规划、传感器监测、个性化建议等等。现有的研究在RMAB的机制和理论成果，以各种各样的设置，重点是最大限度地提高预期价值。在本文中，我们感兴趣的是确保RMAB决策也是公平的不同武器，同时最大限度地提高期望值。在公共卫生背景下，这将确保不同的人和/或社区在作出公共卫生干预决定时得到公平的代表。为了实现这一目标，我们正式定义的公平性约束在RMAB和规划和学习方法，以解决公平的方式解决RMAB。我们展示了公平的RMAB的关键理论属性和实验证明，我们提出的方法处理公平性约束，而不会牺牲显着的解决方案质量。
2022-07-27 cs.LG
Global Rewards in Restless Multi-Armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
本文提出RMAB-G模型以解决restless多臂老虎机中奖励不可分离的问题，开发了Linear-和Shapley-Whittle指数，并设计了结合迭代计算与MCTS的自适应策略，在合成及食物救援数据上验证了其优越性。
2024-06-07 cs.AI cs.CY cs.LG
Low-Complexity Algorithm for Restless Bandits with Imperfect Observations
Nanjing University（南京大学）；National Center for Applied Mathematics（国家应用数学中心）；University of Cambridge（剑桥大学）
针对不完美观测下的不安分多臂老虎机，提出简化动态规划方程的低复杂度算法，并建立其与 Whittle 指数的等价性、同质系统最优性及一般情形近优性。
2024-05-13 cs.LG math.OC
Bridging Rested and Restless Bandits with Graph-Triggering: Rising and Rotting
Politecnico di Milano（米兰理工大学）
本文提出图触发带 (GTBs) 框架，统一了 rested 和 restless 单元，研究了上升和腐烂类型的单调带问题，提供了最优策略和算法，并讨论了学习问题的复杂性。
2026-06-29 cs.LG stat.ML
Deep Index Policy for Multi-Resource Restless Matching Bandit and Its Application in Multi-Channel Scheduling
Texas A&M University（得克萨斯农工大学）
针对多信道无线调度中的资源分配挑战，提出深度索引策略（DIP）在线学习算法，利用策略梯度定理学习部分索引，并在三个MR-RMB问题上验证其高效性。
2024-08-20 cs.LG
Reinforcement learning with combinatorial actions for coupled restless bandits
Harvard University（哈佛大学）；University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
针对动作跨臂耦合、需在指数级联合空间决策的coRMAB，论文提出将Q网络嵌入混合整数规划的SEQUOIA算法，并在四类组合约束问题中平均提升24.8%。
2025-03-17 cs.AI cs.LG
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种新政策，通过逐步将更多臂推向最优分布，证明在Unichain和非周期性假设下，该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
Interactive Restless Multi-armed Bandit Game and Swarm Intelligence Effect
Kitasato University（北里大学）；Financial Services Agency（金融厅）
我们得到了在一个不安分的多臂强盗（rMAB）互动博弈中出现群体智能效应的条件。一个玩家与多个代理人竞争。每一个强盗都有一个收益，每一轮的概率为$p_{c}$。智能体和玩家选择三个选项之一：（1）利用（一个好的强盗），（2）创新（从$n_{I}$随机选择的强盗中学习一个好的强盗），（3）观察（一个好的强盗的社会学习）。每个代理都有两个参数$(c,p_{obs})$来指定决策：（i）$c$，利用的阈值，以及（ii）$p_{obs}$，学习中观察的概率。参数$(c,p_{obs})$均匀分布。我们确定的最佳策略的球员使用完整的知识rMAB。我们展示了在$(p_{c},n_{I})$空间中社会学习或非社会学习是否更优，并定义了群体智能效应。我们进行了一个实验室实验（67名受试者），并观察群体智能效应，只有当$(p_{c},n_{I})$被选择，使社会学习是远远优于非社会学习。
2015-03-13 cs.AI cs.LG physics.data-an
Optimistic Whittle Index Policy: Online Learning for Restless Bandits
Google Research（谷歌研究院）
提出基于UCB的在线学习算法UCWhittle，通过估计转移概率置信界并构建双线性规划计算乐观Whittle指数，在未知转移的RMAB中实现次线性遗憾，性能优于现有基线。
2023-03-08 cs.LG
A single algorithm for both restless and rested rotting bandits
SCOOL, Inria Lille（SCOOL，Inria里尔分校）；FAIR Paris（巴黎FAIR）；DeepMind Paris（巴黎DeepMind）
本文提出 RAW-UCB 算法，能同时处理休息和活跃 rotting bandits 问题，无需先验知识，实现接近最优的 regret。
2026-04-23 cs.LG stat.ML
The Bandit Whisperer: Communication Learning for Restless Bandits
Harvard University（哈佛大学）；GE Healthcare（通用电气医疗集团）；Google Deepmind（谷歌DeepMind）
针对传统强化学习训练的不安分多臂老虎机在系统性数据误差场景下性能不佳的问题，提出首个通信学习方法，通过相似臂间传递Q函数参数、基于分解式Q网络学习通信策略，显著提升模型性能。
2025-03-19 cs.LG cs.MA
Non-Stationary Restless Multi-Armed Bandits with Provable Guarantee
Georgia Institute of Technology（佐治亚理工学院）
针对现实场景中非平稳动态导致传统RMAB算法失效的问题，提出结合滑动窗口强化学习与UCB机制的算法，并首次为受有界变化预算约束的非平稳RMAB问题提供了基础理论框架与遗憾界证明。
2025-08-14 cs.LG
Planning to Fairly Allocate: Probabilistic Fairness in the Restless Bandit Setting
University of Maryland（马里兰大学）
针对不安分多臂老虎机资源分配中现有Whittle指数方法缺乏公平性保障的问题，提出概率公平策略ProbFair，在满足预算约束、最大化总期望奖励的同时保证臂被拉动概率有严格正下界，真实与合成实验均验证其兼顾效用与公平保障。
2023-07-19 cs.AI cs.CY cs.LG
Restless Bandit Problem with Rewards Generated by a Linear Gaussian Dynamical System
Washington University in Saint Louis（圣路易斯华盛顿大学）
针对奖励由线性高斯动力系统生成的随机多臂老虎机问题，提出一种基于改进卡尔曼滤波器的线性组合预测方法，实现跨动作奖励预测，并在数值实验中优于两种基准算法。
2024-05-22 cs.LG cs.SY eess.SY
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
A Sensing Policy Based on Confidence Bounds and a Restless Multi-Armed Bandit Model
Aalto University（阿尔托大学）；Princeton University（普林斯顿大学）
针对报酬分布未知的多臂不安分强盗问题，提出了一种感知策略。这项工作是在认知无线电的背景下，在决定哪些部分的频谱感测和利用时出现的土匪问题。研究表明，当收益服从有界独立同分布或有限状态马尔可夫时，该策略具有渐近对数弱后悔率。仿真结果验证了一致对数弱遗憾。所提出的策略是一个集中协调的索引策略，其中频带的索引由样本均值项和置信项组成。样本均值项促进频谱利用，而置信度项鼓励探索。置信项被设计成使得任何次优频带的连续感测实例之间的时间间隔呈指数增长。次优感测时间实例之间的这种指数增长导致了缓慢增长的弱遗憾。仿真结果表明，该策略的性能优于文献中的其他类似方法。
2012-11-19 cs.IT cs.LG math.IT
Restless dependent bandits with fading memory
University of Potsdam（波茨坦大学）；Otto von Güricke Universität Magdeburg（奥托·冯·格里克马格德堡大学）
我们研究了随机多臂强盗问题的情况下，当手臂样本是依赖于时间和产生的所谓的弱$\cC$混合过程。我们建立了一个$\cC-$ Mix Improved UCB算法，并在两个不同的场景下提供了问题相关和独立的后悔分析。在第一个，所谓的快速混合的情况下，我们表明，伪遗憾享有相同的上限（高达一个因素），为i.i.d.观察结果;而在第二种情况下，缓慢混合的情况下，我们发现了一个令人惊讶的效果，遗憾的上限是类似的独立的情况下，与增量{ \em添加剂}的条款，它不依赖于臂的数量。缓慢混合场景的分析支持最小最大下限，该下限（直到$\log(T)$因子）与获得的上限相匹配。
2019-06-25 cs.LG stat.ML
Efficient Algorithms for Finite Horizon and Streaming Restless Multi-Armed Bandit Problems
Harvard University（哈佛大学）
我们提出了流土匪，一个不安分的多武装土匪（RMAB）框架中，异构武器可能会到达和离开系统后，停留在有限的生命周期。流Bandits自然捕捉到了健康干预规划问题，其中卫生工作者必须管理患者队列的健康结果，而每天都有新患者加入，现有患者离开队列。我们的贡献如下：（1）给出了问题满足可指数性的条件，这是保证RMABs的Whittle指数解的存在性和渐近最优性的前提。我们建立的条件，使用多时间减少流Bandit设置定期RMAB。(2)我们进一步证明了一种现象，我们称之为指数衰减，即惠特尔指数值低，为短的剩余寿命驱动的直觉支撑我们的算法。(3)我们提出了一种新的和有效的算法来计算基于索引的解决方案流Bandits。与以前的方法不同，我们的算法不依赖于解决昂贵的有限时域问题的每个手臂的RMAB，从而降低了计算复杂性相比，现有的方法。(4)最后，我们评估我们的方法，通过模拟运行在现实世界的数据集，从结核病患者监测任务和干预计划任务，以改善孕产妇保健，除了其他合成域。在整个董事会，我们的算法实现了2个数量级的速度比现有的方法，同时保持相同的解决方案的质量。
2022-02-16 cs.AI cs.LG
Balancing Act: Prioritization Strategies for LLM-Designed Restless Bandit Rewards
Harvard University, USA（哈佛大学）；Hasso Plattner Institute, Germany（哈索普拉特纳研究所）
针对LLM设计不安分多臂老虎机奖励时的多目标权衡问题，提出带独立裁决器组件的Social Choice Language Model方法，通过用户选择的社会福利函数调控权衡，实验验证其选出的奖励函数更有效、对齐且平衡。
2025-10-21 cs.AI cs.LG cs.MA
Optimal Control of Fluid Restless Multi-armed Bandits: A Machine Learning Approach
Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）；Departamento de Estadı́stica, Universidad Carlos III de Madrid（马德里卡斯蒂利亚-拉曼查大学统计系）
本文提出了一种机器学习框架，用于解决具有状态方程的流体 restless 多臂老虎机问题，通过非线性变换和最优分类树学习高效的状态反馈策略，展示了在设备维护、传染病控制和渔业管理中的应用效果。
2026-05-07 cs.LG
Approximations of the Restless Bandit Problem
Lancaster University（兰卡斯特大学）
研究了支付分布为平稳$φ$ -混合情形下的多臂不安分强盗问题。这个版本的问题为大多数现实世界的应用程序提供了一个更现实的模型，但在实践中无法最佳解决，因为它是已知的PSPACE困难。本文的目的是刻画的问题，{ \em好}近似解，可以找到使用听话的方法的一个子类。具体而言，它表明，在某些条件下的$φ$混合系数，UCB的修改版本可以证明是有效的。主要的挑战在于，与i.i.d.不同。设置，抽样支付的分布可能不具有与原始强盗武器相同的特征。特别地，$φ$混合性质不一定延续。这是克服仔细控制的效果，抽样政策的回报分布。本文中开发的一些证明技术可以更普遍地用于依赖下的在线采样。所提出的算法，伴随着相应的遗憾分析。
2018-12-28 cs.LG math.PR math.ST
Learning in A Changing World: Restless Multi-Armed Bandit with Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
我们考虑不安分的多臂强盗（RMAB）的问题与未知的动态，其中一个球员选择M的N个武器在每一个时间玩。每只手臂的奖励状态在游戏时根据未知的马尔可夫规则过渡，在被动时根据任意的未知随机过程演变。手臂选择策略的性能是通过后悔来衡量的，后悔被定义为相对于玩家知道哪M个手臂是最有价值的并且总是玩M个最好的手臂的情况的奖励损失。我们构建了一个政策与交错的探索和开发时代的结构，实现了遗憾的对数顺序时，任意（但非平凡）的某些系统参数的界限是已知的。当没有知识的系统是可用的，我们表明，建议的政策实现了遗憾任意接近对数阶。我们进一步扩展到一个分散的设置，多个分布式的球员共享武器没有信息交换的问题。在一个外生的不安模型和一个内生的不安模型，我们表明，分散的扩展建议的政策保持在集中设置的对数后悔顺序。这些结果适用于各种动态系统和通信网络中的自适应学习，以及金融投资。
2011-12-26 cs.LG math.OC math.PR
Distributed Learning in Markovian Restless Bandits over Interference Graphs for Stable Spectrum Sharing
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（本·古里安大学电气与计算机工程学院）
本文提出SMILE算法，通过在干扰图上结合restless bandit学习与图约束协调，实现无线网络中稳定且干扰感知的信道分配，具有理论保证和高效性。
2025-12-19 cs.LG
Restless bandits with imperfect binary feedback: PCL-indexability analysis and computation
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
针对具有二元隐状态和不完美二元反馈的 restless bandits，提出基于部分守恒律（PCL）的分析与计算框架，通过验证定理、确定性骨架和组合词方法建立可索引性并计算 Whittle 指数，实验表明 MP 指数策略优于基准策略。
2026-06-11 cs.LG math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Fairness of Exposure in Online Restless Multi-armed Bandits
Indian Institute of Technology Ropar（印度罗帕尔理工学院）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
提出首个在线非平稳多臂老虎机公平框架，按臂价值比例分配拉取次数，实现亚线性公平遗憾并验证多拉取场景有效性。
2024-02-09 cs.LG stat.ML
Restless Linear Bandits
ENSAE - CREST, IP Paris（法国国立统计与经济行政学校 - 经济与统计研究中心，巴黎理工学院）
针对带时间依赖的更通用线性老虎机问题，提出基于Berbee耦合引理的LinMix-UCB乐观算法，实现次线性遗憾，解决长程依赖下探索-利用的鲁棒性问题。
2024-05-17 cs.IT cs.LG math.IT
Learning in Restless Bandits under Exogenous Global Markov Process
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Princeton University（普林斯顿大学）
研究了具有未知手臂动态的不安分多臂强盗（RMAB）问题的一个推广，其中每个手臂的报酬分布由一个未知的外生全局马尔可夫过程控制，在每个全局状态下，每个手臂的报酬过程按照一个未知的马尔可夫规则演化，而不同手臂的报酬过程是不相同的.每次，玩家从$N$手臂中选择一只手臂进行游戏，并从奖励状态的有限集合中获得随机奖励。武器是不安分的，也就是说，他们的本地状态的发展，无论球员的行动。最近的研究相关的RMAB设置的动机，后悔被定义为奖励损失相对于一个球员，知道的动态问题，并发挥在每次$t$的手臂，最大化预期的即时价值。我们的目标是制定一个手臂选择政策，尽量减少遗憾。为此，我们开发了外生马尔可夫过程下的学习（LEMP）算法。我们从理论上分析了LEMP，并建立了一个有限样本界的遗憾。我们发现，LEMP实现了对数遗憾顺序与时间。我们进一步分析LEMP数值和目前的模拟结果，支持理论研究结果，并证明LEMP显着优于其他算法。
2022-02-10 cs.LG eess.SP
Restless Multi-Armed Bandits under Exogenous Global Markov Process
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Princeton University（普林斯顿大学）
研究了具有未知手臂动态的不安分多臂强盗（RMAB）问题的一个推广，其中每个手臂的报酬分布由一个未知的外生全局马尔可夫过程控制，在每个全局状态下，每个手臂的报酬过程按照一个未知的马尔可夫规则演化，而不同手臂的报酬过程是不相同的.每次，玩家从N只手臂中选择一只手臂进行游戏，并从奖励状态的有限集合中获得随机奖励。武器是不安分的，也就是说，他们的本地状态的发展，无论球员的行动。最近的研究相关的RMAB设置的动机，后悔被定义为奖励损失相对于一个球员，知道的动态问题，并发挥在每一个时间t的手臂，最大限度地提高预期的即时价值。我们的目标是制定一个手臂选择政策，尽量减少遗憾。为此，我们开发了外生马尔可夫过程下的学习（LEMP）算法。我们从理论上分析了LEMP，并建立了一个有限样本界的遗憾。我们发现，LEMP实现了对数遗憾顺序与时间。我们进一步分析LEMP数值和目前的模拟结果，支持理论研究结果，并证明LEMP显着优于其他算法。
2022-10-09 cs.LG eess.SP
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University（康奈尔大学）
我们考虑了有限时域不安分的强盗，每个周期有多个拉，这在推荐系统，主动学习，收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略，但是所需的计算在臂数$N$上呈指数级缩放。因此，理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长，即，与最优策略相比，预期性能的损失，对于由Whittle提出的经典渐近制度中的此类策略，其中$N$增长，同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明，这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是，我们表明，它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策，称为流体优先级的政策，其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立，我们表明，流体优先级的政策，但有一个最优的差距，即$O(\sqrt{N})$，显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
From Restless to Contextual: A Thresholding Bandit Reformulation For Finite-horizon Improvement
Cornell Tech（康奈尔科技）；Causal Foundry
本文通过将在线动态老虎机重新公式化为预算阈值上下文老虎机，解决了现有算法在有限时间 horizon 性能差的问题，提出了一种实用学习策略，实现了亚线性遗憾，提升了累积奖励。
2026-04-06 cs.LG
Learn to Intervene: An Adaptive Learning Policy for Restless Bandits in Application to Preventive Healthcare
Harvard University（哈佛大学）；Google（谷歌）
在许多公共卫生环境中，患者坚持健康计划非常重要，例如服用药物和定期健康检查。不幸的是，受益人可能会逐渐脱离这些方案，这对他们的健康有害。一个逐步脱离接触的具体例子是，一个组织实施了一个免费的自动呼叫方案，在孕妇中传播预防保健信息。许多女性在入学几个月后就不再接电话了。为了避免这种脱节，必须及时进行干预。这种干预措施往往费用昂贵，而且只能提供给一小部分受益者。我们将这种情况建模为一个不安分的多臂强盗（RMAB）问题，假设每个受益人根据干预从一个状态过渡到另一个状态。此外，由于转移概率是未知的先验，我们提出了一个基于Whittle指数的Q学习机制，并表明它收敛到最优解。我们的方法改进了现有的基于学习的方法，用于在文献中的多个基准和孕产妇医疗数据集上进行RMAB。
2021-07-22 cs.AI cs.LG
GINO-Q: Learning an Asymptotically Optimal Index Policy for Restless Multi-armed Bandits
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
针对不安分多臂老虎机（RMAB）求解的维度灾难问题，提出三时间尺度随机近似算法GINO-Q，通过分解子问题实现复杂度随臂数线性增长，无需可索引性，在不可索引场景下也能学习近优策略且收敛更快。
2025-08-01 cs.LG
Towards Soft Fairness in Restless Multi-Armed Bandits
Singapore Management University（新加坡管理大学）
不安多武装匪徒（RMAB）是一个框架，用于分配不确定性下的有限资源。这是一个非常有用的模式，可用于监测受益人和及时采取干预措施，以确保公共卫生环境中的最大效益（例如，确保病人在结核病环境中服药，确保孕妇收听有关良好怀孕做法的自动电话）。由于资源有限，某些社区或地区通常缺乏可产生后续影响的干预措施。为了避免饥饿在执行的干预措施在个人/地区/社区，我们首先提供了一个软公平约束，然后提供了一种方法来执行软公平约束的RMAB。软公平性约束要求，如果选择后一个手臂的长期累积回报更高，则算法在概率上永远不会偏向于一个手臂。我们的方法采用了基于softmax的值迭代方法在RMAB设置设计选择算法，管理，以满足建议的公平性约束。我们的方法，称为SoftFair，也提供了理论上的性能保证，是渐近最优的。最后，我们证明了我们的方法模拟基准的效用，并表明软公平约束可以处理没有显着牺牲的价值。
2022-07-27 cs.AI cs.CY cs.LG
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Selective Intervention Planning using Restless Multi-Armed Bandits to Improve Maternal and Child Health Outcomes
Robert Bosch Centre for Data Science and Artificial Intelligence（罗伯特·博世数据科学与人工智能中心）；IIT Madras（印度理工学院马德拉斯分校）；Google Research（谷歌研究院）；Harvard University（哈佛大学）；ARMMAN
印度的产妇死亡率为每10万活产113人，儿童死亡率为每10万活产2，830人。缺乏获得预防保健信息的途径是造成这些死亡的一个主要因素，特别是在低资源家庭。我们与ARMMAN合作，ARMMAN是一家位于印度的非营利组织，采用基于呼叫的信息计划向孕妇和近期分娩的妇女传播健康相关信息。我们分析了在ARMMAN创建的计划中注册的30多万名妇女的通话记录，并试图确定那些可能没有参与这些被证明会产生积极健康结果的通话计划的妇女。我们建立了基于机器学习的模型，从通话记录和受益人的人口统计信息中预测长期参与模式，并通过试点验证讨论了这种方法在现实世界中的适用性。通过试点服务质量改进研究，我们表明，使用我们的模型的预测，使干预措施提高了61.37%的参与度指标。然后，我们制定的干预规划问题不安分的多武装土匪（RMABs），并提出了使用这种方法的初步结果。
2021-10-18 cs.LG
ContextWIN: Whittle Index Based Mixture-of-Experts Neural Model For Restless Bandits Via Deep RL
New York University（纽约大学）
本研究提出ContextWIN架构，通过在强化学习框架中集成混合专家机制扩展NeurWIN模型，利用上下文信息为NeurWIN网络子集分配特定权重，提高了RMAB问题中Whittle指数计算的效率和准确性，并严格证明了模型的收敛性。
2024-10-13 cs.IR cs.LG stat.ML
Multi-Action Restless Bandits with Weakly Coupled Constraints: Simultaneous Learning and Control
RMIT University（皇家墨尔本理工大学）；the University of Melbourne（墨尔本大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
针对受弱耦合约束的多动作不安分老虎机在线控制问题，提出无需先知转移矩阵和奖励函数的同时学习与控制方案，并证明其在时间与规模维度收敛且规模偏差指数衰减。
2024-12-04 cs.LG math.OC math.PR
Fairness for Workers Who Pull the Arms: An Index Based Policy for Allocation of Restless Bandit Tasks
Harvard University（哈佛大学）
本文提出了一种基于指数的分配策略，用于在资源受限条件下公平分配异质工人的 restless 带机任务，以提高干预计划的公平性和效率。
2023-03-01 cs.AI cs.LG cs.MA
