Non-Stationary Restless Multi-Armed Bandits with Provable Guarantee
Georgia Institute of Technology（佐治亚理工学院）
针对现实场景中非平稳动态导致传统RMAB算法失效的问题，提出结合滑动窗口强化学习与UCB机制的算法，并首次为受有界变化预算约束的非平稳RMAB问题提供了基础理论框架与遗憾界证明。
2025-08-14 cs.LG
Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
我们研究了在线不安分的强盗问题，其中每个手臂的状态根据马尔可夫链演变，并且拉动手臂的奖励取决于被拉动的手臂和对应的马尔可夫链的当前状态。在本文中，我们提出了Restless-UCB，这是一种遵循探索然后提交框架的学习策略。在Restless-UCB中，我们提出了一种新的方法来构造离线实例，它只需要$O(N)$时间复杂度（$N$是手臂的数量），并指数优于现有的学习策略的复杂度。我们还证明了Restless-UCB达到了$\tilde{O}((N+M^3)T^{2\over 3})$的后悔上界，其中$M$是马尔可夫链状态空间大小，$T$是时间范围。与现有的算法相比，我们的结果消除了指数因子（在$M,N$）的遗憾上限，由于一个新的开发的稀疏性一般不安土匪问题的过渡。因此，我们的分析技术也可以采用收紧现有算法的遗憾界。最后，我们进行实验的基础上，真实世界的数据集，比较的Restless-UCB政策与国家的最先进的基准。实验结果表明，Restless-UCB算法在后悔方面优于现有算法，并显著减少了运行时间。
2020-11-06 cs.LG
Optimal Control of Fluid Restless Multi-armed Bandits: A Machine Learning Approach
Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）；Departamento de Estadı́stica, Universidad Carlos III de Madrid（马德里卡斯蒂利亚-拉曼查大学统计系）
本文提出了一种机器学习框架，用于解决具有状态方程的流体 restless 多臂老虎机问题，通过非线性变换和最优分类树学习高效的状态反馈策略，展示了在设备维护、传染病控制和渔业管理中的应用效果。
2026-05-07 cs.LG
Fairness of Exposure in Online Restless Multi-armed Bandits
Indian Institute of Technology Ropar（印度罗帕尔理工学院）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
提出首个在线非平稳多臂老虎机公平框架，按臂价值比例分配拉取次数，实现亚线性公平遗憾并验证多拉取场景有效性。
2024-02-09 cs.LG stat.ML
A Sensing Policy Based on Confidence Bounds and a Restless Multi-Armed Bandit Model
Aalto University（阿尔托大学）；Princeton University（普林斯顿大学）
针对报酬分布未知的多臂不安分强盗问题，提出了一种感知策略。这项工作是在认知无线电的背景下，在决定哪些部分的频谱感测和利用时出现的土匪问题。研究表明，当收益服从有界独立同分布或有限状态马尔可夫时，该策略具有渐近对数弱后悔率。仿真结果验证了一致对数弱遗憾。所提出的策略是一个集中协调的索引策略，其中频带的索引由样本均值项和置信项组成。样本均值项促进频谱利用，而置信度项鼓励探索。置信项被设计成使得任何次优频带的连续感测实例之间的时间间隔呈指数增长。次优感测时间实例之间的这种指数增长导致了缓慢增长的弱遗憾。仿真结果表明，该策略的性能优于文献中的其他类似方法。
2012-11-19 cs.IT cs.LG math.IT
Restless Multi-Armed Bandits under Exogenous Global Markov Process
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Princeton University（普林斯顿大学）
研究了具有未知手臂动态的不安分多臂强盗（RMAB）问题的一个推广，其中每个手臂的报酬分布由一个未知的外生全局马尔可夫过程控制，在每个全局状态下，每个手臂的报酬过程按照一个未知的马尔可夫规则演化，而不同手臂的报酬过程是不相同的.每次，玩家从N只手臂中选择一只手臂进行游戏，并从奖励状态的有限集合中获得随机奖励。武器是不安分的，也就是说，他们的本地状态的发展，无论球员的行动。最近的研究相关的RMAB设置的动机，后悔被定义为奖励损失相对于一个球员，知道的动态问题，并发挥在每一个时间t的手臂，最大限度地提高预期的即时价值。我们的目标是制定一个手臂选择政策，尽量减少遗憾。为此，我们开发了外生马尔可夫过程下的学习（LEMP）算法。我们从理论上分析了LEMP，并建立了一个有限样本界的遗憾。我们发现，LEMP实现了对数遗憾顺序与时间。我们进一步分析LEMP数值和目前的模拟结果，支持理论研究结果，并证明LEMP显着优于其他算法。
2022-10-09 cs.LG eess.SP
On Optimality of Greedy Policy for a Class of Standard Reward Function of Restless Multi-armed Bandit Problem
Wuhan University of Technology（武汉理工大学）；University of Paris-Sud XI（巴黎第十一大学）
针对非稳态多臂赌博机问题，通过分析一类标准奖励函数，建立了保证贪婪策略在折扣期望奖励准则下最优性的折扣因子闭式条件，并验证了其在认知无线电网络中的有效性。
2011-04-28 cs.LG cs.SY eess.SY
Towards Soft Fairness in Restless Multi-Armed Bandits
Singapore Management University（新加坡管理大学）
不安多武装匪徒（RMAB）是一个框架，用于分配不确定性下的有限资源。这是一个非常有用的模式，可用于监测受益人和及时采取干预措施，以确保公共卫生环境中的最大效益（例如，确保病人在结核病环境中服药，确保孕妇收听有关良好怀孕做法的自动电话）。由于资源有限，某些社区或地区通常缺乏可产生后续影响的干预措施。为了避免饥饿在执行的干预措施在个人/地区/社区，我们首先提供了一个软公平约束，然后提供了一种方法来执行软公平约束的RMAB。软公平性约束要求，如果选择后一个手臂的长期累积回报更高，则算法在概率上永远不会偏向于一个手臂。我们的方法采用了基于softmax的值迭代方法在RMAB设置设计选择算法，管理，以满足建议的公平性约束。我们的方法，称为SoftFair，也提供了理论上的性能保证，是渐近最优的。最后，我们证明了我们的方法模拟基准的效用，并表明软公平约束可以处理没有显着牺牲的价值。
2022-07-27 cs.AI cs.CY cs.LG
Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）；Indian Institute of Science（印度科学学院）
我们研究了一个有限时间内具有多个行动的不稳定多臂强盗问题，称为R（MA）^2B。每个手臂的状态根据受控马尔可夫决策过程（MDP）演变，拉动手臂的奖励取决于相应MDP的当前状态和所采取的行动。目标是顺序选择武器的行动，以便最大化所收集的累积奖励的期望值。由于寻找最优策略通常是棘手的，我们提出了一个计算上有吸引力的指数政策，我们称之为占用测量奖励指数政策。我们的政策是明确的，即使底层的MDP是不可索引的。我们证明了当激活预算和臂数按比例增加时，它是渐近最优的，同时保持它们的比例为常数。对于系统参数未知的情况，我们提出了一种学习算法。我们的学习算法在面对不确定性时使用乐观原则，并进一步使用生成模型，以充分利用占用测量奖励指数策略的结构。我们称之为R（MA）^2B-UCB算法。与现有算法相比，R（MA）^2B-UCB算法具有接近离线最优策略的性能，并且以较低的计算复杂性实现了次线性后悔.实验结果表明，R（MA）^2B-UCB算法在遗憾度和运行时间方面均优于现有算法.
2022-03-23 cs.LG math.OC stat.ML
GINO-Q: Learning an Asymptotically Optimal Index Policy for Restless Multi-armed Bandits
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
针对不安分多臂老虎机（RMAB）求解的维度灾难问题，提出三时间尺度随机近似算法GINO-Q，通过分解子问题实现复杂度随臂数线性增长，无需可索引性，在不可索引场景下也能学习近优策略且收敛更快。
2025-08-01 cs.LG
Interactive Restless Multi-armed Bandit Game and Swarm Intelligence Effect
Kitasato University（北里大学）；Financial Services Agency（金融厅）
我们得到了在一个不安分的多臂强盗（rMAB）互动博弈中出现群体智能效应的条件。一个玩家与多个代理人竞争。每一个强盗都有一个收益，每一轮的概率为$p_{c}$。智能体和玩家选择三个选项之一：（1）利用（一个好的强盗），（2）创新（从$n_{I}$随机选择的强盗中学习一个好的强盗），（3）观察（一个好的强盗的社会学习）。每个代理都有两个参数$(c,p_{obs})$来指定决策：（i）$c$，利用的阈值，以及（ii）$p_{obs}$，学习中观察的概率。参数$(c,p_{obs})$均匀分布。我们确定的最佳策略的球员使用完整的知识rMAB。我们展示了在$(p_{c},n_{I})$空间中社会学习或非社会学习是否更优，并定义了群体智能效应。我们进行了一个实验室实验（67名受试者），并观察群体智能效应，只有当$(p_{c},n_{I})$被选择，使社会学习是远远优于非社会学习。
2015-03-13 cs.AI cs.LG physics.data-an
The Non-Bayesian Restless Multi-Armed Bandit: A Case of Near-Logarithmic Strict Regret
Department of Aeronautics；Astronautics Massachusetts Institute of Technology, Cambridge, MA 02139, USA Ming Hsieh Department of Electrical Engineering University of Southern California, Los Angeles, CA 90089, USA Department of Electrical；Computer Engineering University of California, Davis, CA 95616, USA Email
针对非贝叶斯不安分多臂老虎机问题，提出一种元策略方法，通过学习有限策略集中的最优策略，实现近对数遗憾，并首次在非贝叶斯RMAB中达到与已知模型最优策略相同的平均奖励。
2011-09-07 cs.LG cs.NI cs.SY
Selective Intervention Planning using Restless Multi-Armed Bandits to Improve Maternal and Child Health Outcomes
Robert Bosch Centre for Data Science and Artificial Intelligence（罗伯特·博世数据科学与人工智能中心）；IIT Madras（印度理工学院马德拉斯分校）；Google Research（谷歌研究院）；Harvard University（哈佛大学）；ARMMAN
印度的产妇死亡率为每10万活产113人，儿童死亡率为每10万活产2，830人。缺乏获得预防保健信息的途径是造成这些死亡的一个主要因素，特别是在低资源家庭。我们与ARMMAN合作，ARMMAN是一家位于印度的非营利组织，采用基于呼叫的信息计划向孕妇和近期分娩的妇女传播健康相关信息。我们分析了在ARMMAN创建的计划中注册的30多万名妇女的通话记录，并试图确定那些可能没有参与这些被证明会产生积极健康结果的通话计划的妇女。我们建立了基于机器学习的模型，从通话记录和受益人的人口统计信息中预测长期参与模式，并通过试点验证讨论了这种方法在现实世界中的适用性。通过试点服务质量改进研究，我们表明，使用我们的模型的预测，使干预措施提高了61.37%的参与度指标。然后，我们制定的干预规划问题不安分的多武装土匪（RMABs），并提出了使用这种方法的初步结果。
2021-10-18 cs.LG
Networked Restless Bandits with Positive Externalities
University of Maryland, College Park（马里兰大学学院公园分校）
不安分的多武装匪徒经常被用来模拟无约束的资源分配任务，其中资源的接收与有利的状态转换的概率增加相关联。以前的工作假设，个别武器只有受益，如果他们直接收到的资源。然而，许多分配任务发生在社区内，其特点是正外部性，使武器获得部分利益时，他们的邻居（S）接收资源。因此，我们介绍了网络不安分的土匪，一种新颖的多臂土匪设置中，武器都是不安分的，嵌入在一个有向图。然后，我们提出Greta，一个图形感知，Whittle指数为基础的启发式算法，可用于有效地构建一个约束的奖励最大化的动作向量在每个时间步。我们的实证结果表明，Greta在一系列超参数值和图形拓扑结构上优于比较策略。
2022-12-09 cs.AI cs.CY cs.LG
Scalable Decision-Focused Learning in Restless Multi-Armed Bandits with Application to Maternal and Child Health
Google Research（谷歌研究院）
本文针对不安多臂老虎机问题中训练目标与评估目标不匹配的问题，提出一种直接优化 Whittle 指数解质量的决策聚焦学习方法，并首次实现可扩展到真实世界母婴健康问题规模。
2023-08-13 cs.AI cs.LG
Online Restless Multi-Armed Bandits with Long-Term Fairness Constraints
Stony Brook University（石溪大学）
针对多臂赌博机缺乏公平性问题，提出RMAB-F模型与Fair-UCRL算法，在未知MDP下实现长期公平约束，并证明遗憾次线性界，计算高效且实验有效。
2023-12-22 cs.LG
Efficient Algorithms for Finite Horizon and Streaming Restless Multi-Armed Bandit Problems
Harvard University（哈佛大学）
我们提出了流土匪，一个不安分的多武装土匪（RMAB）框架中，异构武器可能会到达和离开系统后，停留在有限的生命周期。流Bandits自然捕捉到了健康干预规划问题，其中卫生工作者必须管理患者队列的健康结果，而每天都有新患者加入，现有患者离开队列。我们的贡献如下：（1）给出了问题满足可指数性的条件，这是保证RMABs的Whittle指数解的存在性和渐近最优性的前提。我们建立的条件，使用多时间减少流Bandit设置定期RMAB。(2)我们进一步证明了一种现象，我们称之为指数衰减，即惠特尔指数值低，为短的剩余寿命驱动的直觉支撑我们的算法。(3)我们提出了一种新的和有效的算法来计算基于索引的解决方案流Bandits。与以前的方法不同，我们的算法不依赖于解决昂贵的有限时域问题的每个手臂的RMAB，从而降低了计算复杂性相比，现有的方法。(4)最后，我们评估我们的方法，通过模拟运行在现实世界的数据集，从结核病患者监测任务和干预计划任务，以改善孕产妇保健，除了其他合成域。在整个董事会，我们的算法实现了2个数量级的速度比现有的方法，同时保持相同的解决方案的质量。
2022-02-16 cs.AI cs.LG
Finite-Time Analysis of Whittle Index based Q-Learning for Restless Multi-Armed Bandits with Neural Network Function Approximation
Stony Brook University（石溪大学）
针对不安分多臂老虎机中Whittle指数求解难、结合神经网络的双时间尺度Q学习算法非渐近收敛性不明确的问题，提出Neural-Q-Whittle算法，通过有限时间分析证明其收敛速率为$\boldsymbol{\frac{1}{k^{2/3}}}$。
2023-10-03 cs.AI cs.LG
Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对平均奖励下的不安分老虎机问题，提出基于仿真的“跟随虚拟建议”框架，将单臂策略转化为 N 臂策略，首次在离散和连续时间设定下摆脱 UGAP 假设并实现 O(1/√N) 最优性差距。
2024-01-16 cs.LG math.OC math.PR
Field Study in Deploying Restless Multi-Armed Bandits: Assisting Non-Profits in Improving Maternal and Child Health
Google Research（谷歌研究院）
手机的普及使非营利组织能够及时向受益人提供重要的健康信息。本文介绍了我们的工作，以协助非营利组织，采用自动化的消息传递程序，及时提供预防保健信息的受益人（新的和期待的母亲）在怀孕期间和分娩后。不幸的是，这种信息提供方案的一个关键挑战是，很大一部分受益人退出了该方案。然而，非营利组织通常只有有限的卫生工作者资源（时间）来拨打关键的服务电话，与受益人进行实时互动，以防止这种参与度下降。为了帮助非营利组织优化这一有限的资源，我们开发了一个不安分的多武装土匪（RMABs）系统。该系统的一个关键技术贡献是一种新的离线历史数据聚类方法，以推断未知的RMAB参数。我们的第二个主要贡献是与一家非政府组织合作，通过一项现实世界的服务质量改进研究，对我们的RMAB系统进行评估。该研究比较了在7周内优化服务呼叫的策略，以减少参与下降到23003参与者。我们发现，与其他比较组相比，RMAB组提供了统计学上显著的改善，减少了约30%的参与度下降。据我们所知，这是第一项证明RMAB在现实世界公共卫生环境中的效用的研究。我们正在将我们的RMAB系统过渡到非政府组织，以供实际使用。
2021-10-27 cs.AI cs.LG
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
Best Arm Identification in Restless Markov Multi-Armed Bandits
National University of Singapore（新加坡国立大学）
我们研究了在多臂强盗环境中，当每个臂是一个共同的有限状态空间上的时间齐次和遍历离散时间马尔可夫过程时，如何确定最佳臂的问题。每个臂上的状态演化由臂的转移概率矩阵（TPM）控制。知道臂TPM的集合但不知道TPM到臂的精确映射的决策实体希望尽可能快地找到最佳臂的索引，服从错误概率的上限。决策实体每次顺序地选择一个臂，并且所有被选择的臂继续经历状态演化（{ \em restless}臂）。对于这个问题，我们推导出第一个已知的问题的实例相关的渐近下界的增长率的期望时间所需的指数，找到最好的手臂，其中的渐近是作为错误概率为零。此外，我们提出了一种顺序策略，对于输入参数$R$，强制选择尚未被选择用于$R$连续时刻的臂。我们表明，这种政策实现了一个上限，依赖于$R$，是单调非递增的$R\to\infty$。一般来说，作为$R\to\infty$的上限的极限值是否与下限相匹配的问题仍然是开放的。我们确定了一个特殊的情况下，其中的上限和下限相匹配。以前的工作最好的手臂识别处理（a）独立和同分布的观察，从武器，和（b）休息马尔可夫武器，而我们的工作涉及更困难的设置不安分的马尔可夫武器。
2022-03-29 cs.IT cs.LG math.IT
A Decision-Language Model (DLM) for Dynamic Restless Multi-Armed Bandit Tasks in Public Health
MIT（麻省理工学院）；Harvard University（哈佛大学）；GE Healthcare（通用电气医疗）；Google（谷歌）
本文提出用于RMAB的Decision Language Model (DLM)，利用LLM作为自动化规划器解释人类语言指令并迭代生成奖励函数，从而在公共卫生场景中动态微调资源分配策略，并与ARMMAN合作通过Gemini Pro模型仿真验证了其有效性。
2024-10-25 cs.AI cs.LG cs.MA
Equitable Restless Multi-Armed Bandits: A General Framework Inspired By Digital Health
Harvard University（哈佛大学）；Google Research（谷歌研究院）；Verily Life Sciences（Verily生命科学）
本文首次研究公平RMAB（ERMAB），针对最小最大奖励与最大Nash福利提出注水及考虑群体规模的贪婪算法，并在三个仿真领域验证其可显著提升公平性且基本不损失效用。
2023-08-17 cs.AI cs.CY cs.LG
Learning in Restless Multi-Armed Bandits via Adaptive Arm Sequencing Rules
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
考虑一类手臂动力学未知的不安分多臂强盗（RMAB）问题。每次，玩家从N只手臂中选择一只手臂进行游戏，称为主动手臂，并从奖励状态的有限集合中获得随机奖励。主动臂的奖励状态根据未知的马尔可夫动力学过渡。被动武器（在时间t没有被选择参与游戏）的奖励状态根据任意未知的随机过程演变。我们的目标是一个手臂的选择政策，最大限度地减少遗憾，定义为奖励损失相对于一个球员，总是发挥最有价值的手臂。这类的RMAB问题最近已被研究的背景下，通信网络和金融投资应用。我们开发了一种策略，选择武器以连续的方式发挥，被称为自适应排序规则（ASR）算法。ASR算法下的手臂选择排序规则由当前样本奖励手段自适应更新和控制。通过设计明智的自适应排序规则，我们表明，ASR算法实现了一个对数的遗憾顺序与时间，并建立了一个有限样本界的遗憾。虽然现有的方法已经示出了对数遗憾顺序与时间在此RMAB设置，理论分析表明，在ASR下的系统参数的遗憾缩放显着改善。大量的仿真结果支持了理论研究，并证明了强大的性能的算法相比，现有的方法。
2019-06-19 cs.LG stat.ML
Decisions and Deployment: The Five-Year SAHELI Project (2020-2025) on Restless Multi-Armed Bandits for Improving Maternal and Child Health
Harvard University（哈佛大学）；Google Deepmind（谷歌DeepMind）；ARMMAN
SAHELI项目利用决策聚焦学习方法优化资源分配，通过大规模随机对照试验发现该方法使母婴参与度下降减少31%，显著提升实际健康行为。
2026-04-08 cs.AI cs.LG
Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种新政策，通过逐步将更多臂推向最优分布，证明在Unichain和非周期性假设下，该政策具有O(1/√N)的渐进最优性。
2026-03-30 cs.LG math.OC math.PR
On learning Whittle index policy for restless bandits with scalable regret
McGill University（麦吉尔大学）
针对不安分老虎机资源调度问题，提出贴合模型结构的基于 Thompson 采样的模型驱动 RL 算法，并证明其相对 Whittle 索引策略具有可扩展遗憾。
2023-04-26 cs.LG cs.SY eess.SY
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Learning in Restless Bandits under Exogenous Global Markov Process
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Princeton University（普林斯顿大学）
研究了具有未知手臂动态的不安分多臂强盗（RMAB）问题的一个推广，其中每个手臂的报酬分布由一个未知的外生全局马尔可夫过程控制，在每个全局状态下，每个手臂的报酬过程按照一个未知的马尔可夫规则演化，而不同手臂的报酬过程是不相同的.每次，玩家从$N$手臂中选择一只手臂进行游戏，并从奖励状态的有限集合中获得随机奖励。武器是不安分的，也就是说，他们的本地状态的发展，无论球员的行动。最近的研究相关的RMAB设置的动机，后悔被定义为奖励损失相对于一个球员，知道的动态问题，并发挥在每次$t$的手臂，最大化预期的即时价值。我们的目标是制定一个手臂选择政策，尽量减少遗憾。为此，我们开发了外生马尔可夫过程下的学习（LEMP）算法。我们从理论上分析了LEMP，并建立了一个有限样本界的遗憾。我们发现，LEMP实现了对数遗憾顺序与时间。我们进一步分析LEMP数值和目前的模拟结果，支持理论研究结果，并证明LEMP显着优于其他算法。
2022-02-10 cs.LG eess.SP
Decentralized Restless Bandit with Multiple Players and Unknown Dynamics
University of California, Davis（加州大学戴维斯分校）
针对多玩家未知动力学的分散式休止多臂赌博机问题，提出一种分散式策略，在已知系统参数边界时实现对数阶遗憾，在无先验知识时实现任意接近对数阶的遗憾。
2011-02-15 cs.LG cs.SY eess.SY
Restless dependent bandits with fading memory
University of Potsdam（波茨坦大学）；Otto von Güricke Universität Magdeburg（奥托·冯·格里克马格德堡大学）
我们研究了随机多臂强盗问题的情况下，当手臂样本是依赖于时间和产生的所谓的弱$\cC$混合过程。我们建立了一个$\cC-$ Mix Improved UCB算法，并在两个不同的场景下提供了问题相关和独立的后悔分析。在第一个，所谓的快速混合的情况下，我们表明，伪遗憾享有相同的上限（高达一个因素），为i.i.d.观察结果;而在第二种情况下，缓慢混合的情况下，我们发现了一个令人惊讶的效果，遗憾的上限是类似的独立的情况下，与增量{ \em添加剂}的条款，它不依赖于臂的数量。缓慢混合场景的分析支持最小最大下限，该下限（直到$\log(T)$因子）与获得的上限相匹配。
2019-06-25 cs.LG stat.ML
IRL for Restless Multi-Armed Bandits with Applications in Maternal and Child Health
Harvard University（哈佛大学）；Singapore Management University（新加坡管理大学）；University of Chicago（芝加哥大学）；Google Deepmind（谷歌DeepMind）；University of Georgia（佐治亚大学）
针对RMAB模型奖励函数需已知的缺陷，首次将IRL用于RMAB奖励学习，提出WHIRL算法结合专家目标生成轨迹、梯度优化高效学习奖励，在运行时间、准确性上优于基线，并在印度妇幼健康场景验证有效。
2024-12-11 cs.AI cs.LG
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University（哈佛大学）
我们引入鲁棒性\textit{restless multi-armed bandits}（RMABs），一个流行的模型之间的约束资源分配独立的随机过程（武器）。几乎所有的RMAB技术假设随机动力学是精确已知的。然而，在许多现实世界的设置中，动态是用显著的\emph{uncertainty}来估计的，例如，通过历史数据，如果忽略这些数据，可能会导致不良结果。为了解决这个问题，我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架（甲骨文的\textit{agent}和\textit{nature}），这是经常用于单过程的强大的规划，但需要显着的新技术，以适应组合性质的RMAB。具体来说，我们设计了一种深度强化学习（RL）算法DDLPO，它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战，大大降低了样本复杂性，并保证了收敛。DDLPO，一般的利益，实现我们的奖励最大化代理甲骨文。然后，我们解决了具有挑战性的遗憾最大化的自然预言机，一个非静态的强化学习的挑战，通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Lagrangian Relaxation for Multi-Action Partially Observable Restless Bandits: Heuristic Policies and Indexability
Department of Electrical Engineering, Indian Institute of Technology Madras（印度理工学院马德拉斯分校电子工程系）；Department of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电子工程与计算机科学系）
针对多动作部分可观测不安分多臂老虎机问题，研究其拉格朗日界计算近似方法、值函数性质、启发式策略及Whittle索引策略的局限性，为公共卫生干预等场景的资源分配提供理论支撑。
2025-08-30 cs.LG cs.SY eess.SY
Optimistic Whittle Index Policy: Online Learning for Restless Bandits
Google Research（谷歌研究院）
提出基于UCB的在线学习算法UCWhittle，通过估计转移概率置信界并构建双线性规划计算乐观Whittle指数，在未知转移的RMAB中实现次线性遗憾，性能优于现有基线。
2023-03-08 cs.LG
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在本文中，我们考虑的问题，学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中，有一个有限集的手臂，每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链，其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Online Learning in Opportunistic Spectrum Access: A Restless Bandit Approach
University of Michigan（密歇根大学）
我们考虑机会频谱接入（OSA）问题，其中每个信道的时变条件（例如，作为随机衰落或某些主用户活动的结果）被建模为任意有限状态马尔可夫链。在每个时刻，（次要）用户探测信道并收集作为信道状态的函数的某个奖励（例如，良好的信道条件导致用户的更高数据速率）。每个信道具有潜在不同的状态空间和统计数据，这两者对于用户来说都是未知的，用户试图了解哪个信道是最好的，并且最大化其对最好信道的使用。我们的目标是构建一个很好的在线学习算法，以尽量减少用户的总回报和使用最佳信道（平均）的性能之间的差异，它知道哪一个是最好的从先验知识的信道统计（也被称为遗憾）。这是一个经典的探索和利用问题，当奖励过程被假设为iid时，结果比比皆是。与之前的工作相比，最大的区别在于，在我们的案例中，奖励过程被假设为马尔可夫过程，其中iid是一个特例。此外，奖励过程是不稳定的，因为信道条件将独立于用户的动作而继续演变。这导致了一个不安分的强盗问题，其中存在的算法或性能界限在这个学习环境中，以我们所知的最好的结果。在本文中，我们介绍了一种算法，利用再生循环的马尔可夫链和计算的样本均值为基础的索引政策，并表明，在温和的条件下的状态转移概率的马尔可夫链该算法实现了对数遗憾一致的时间，而且这个遗憾界也是最优的。
2010-10-01 cs.LG math.OC
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Whittle Index Learning Algorithms for Restless Bandits with Constant Stepsizes
IIIT Allahabad（印度阿拉巴德国际信息技术学院）；IIT Madras（印度马德拉斯理工学院）
针对不安分多臂老虎机，提出恒定步长双时间尺度随机逼近的 Whittle 指数学习框架，结合 Q-learning、DQN 及函数逼近，并通过分析与数值实验验证其有效性。
2024-09-06 cs.LG cs.SY eess.SY
A Modularized Framework for Piecewise-Stationary Restless Bandits
本文提出模块化框架，整合任意RMAB算法与变化检测及新颖的递减探索机制，以应对探索与检测延迟的权衡，证明了在分段平稳环境下，该框架的 regret 绑定为~O(√(LMKT))。
2026-04-11 cs.IT cs.LG math.IT
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
A Dynamic Observation Strategy for Multi-agent Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，在这个问题中，决策智能体可以在线性观测成本下观测其邻居的选择和回报。邻居由网络图定义，该网络图对系统的固有观测约束进行编码。我们定义了一个与观察相关的成本，这样在每一个实例中，代理人进行观察，它会收到一个恒定的观察遗憾。我们设计了一个抽样算法和一个观察协议，每个代理通过最小化期望累积抽样后悔和期望累积观察后悔来最大化自己的期望累积回报。对于我们提出的协议，我们证明了总累积遗憾是数学界。我们使用数值模拟来验证分析界限的准确性。
2020-04-08 cs.LG math.OC
Bounded regret in stochastic multi-armed bandits
Princeton University（普林斯顿大学）；Université Paris Diderot（巴黎狄德罗大学）
当已知最优臂的值$μ^{(\star)}$以及最小正间隙$Δ$的正下界时，研究了随机多臂强盗问题.我们提出了一个新的随机化策略，在这种情况下，达到遗憾{ \em一致有界的时间}。我们还证明了几个下界，特别是有界后悔是不可能的，如果一个人只知道$Δ$，和有界后悔$1/Δ$是不可能的，如果一个人只知道$μ^{(\star)}$
2013-02-12 cs.LG math.ST stat.ML
The Restless Hidden Markov Bandit with Linear Rewards and Side Information
Stanford University（斯坦福大学）；Bar-Ilan University（巴伊兰大学）
本文提出了一个具有线性报酬的隐马尔可夫强盗问题模型。与当前对马尔可夫强盗的研究相反，我们并不假设决策者在做出决策之前就知道国家。此外，我们假设结构侧信息的决策者事先知道，有两种类型的隐藏状态;一个是共同的所有武器和发展根据马尔可夫分布，另一个是唯一的每个手臂，并根据独立同分布。我们提出了一个算法和遗憾分析。令人惊讶的是，我们可以恢复隐藏状态，并保持对数遗憾的情况下，凸多面体行动集。此外，我们表明，结构侧信息导致预期的遗憾，不依赖于行动空间中的极端点的数量。因此，我们得到实际的解决方案，即使在高维问题。
2021-01-21 cs.LG eess.SP stat.ML
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）
我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。
2016-05-27 cs.LG math.ST stat.ML
General Formulation and PCL-Analysis for Restless Bandits with Limited Observability
本文提出了一种针对受限可观测 restless 贼人问题的通用公式和 PCL 分析方法，通过构建概率模型并应用可达区域方法，实现了对无限状态问题的索引性分析，并展示了算法的高效性。
2025-12-16 cs.LG stat.ML
Achieving Exponential Asymptotic Optimality in Average-Reward Restless Bandits without Global Attractor Assumption
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对无限时间跨度平均奖励非静息多臂老虎机问题，提出双集合策略，在非周期单链、非退化与局部稳定性温和假设下首次实现指数渐近最优性，并证明局部稳定性的关键作用。
2026-11-03 cs.LG math.OC math.PR
Coordination without communication: optimal regret in two players multi-armed bandits
Microsoft Research（微软研究院）；University of British Columbia（不列颠哥伦比亚大学）
我们考虑两个代理人同时玩同一个随机三臂强盗问题。两个特工在合作，但他们无法沟通。我们提出了一个策略，没有冲突的球员之间的所有（具有非常高的概率），并接近最佳的遗憾$O(\sqrt{T \log(T)})$。我们还认为，额外的对数项$\sqrt{\log(T)}$应该是必要的，通过证明一个完整的信息变量的问题的下限。
2020-07-09 cs.GT cs.LG cs.MA
Stochastic Multi-Objective Multi-Armed Bandits: Regret Definition and Algorithm
针对现有多目标多臂老虎机帕累托遗憾指标的局限性，提出新型全面遗憾指标与高效帕累托最优臂概念，并开发出可实现次线性遗憾的两阶段MO-MAB算法。
2025-06-16 cs.DS cs.LG
An Efficient Algorithm for Fair Multi-Agent Multi-Armed Bandit with Low Regret
Khoury College, Northeastern University（东北大学库理学院）
最近，一个多智能体变种的经典多臂强盗提出了解决公平性问题的在线学习。受社会选择和经济学长期研究的启发，我们的目标是优化纳什社会福利而不是总效用。不幸的是，以前的算法要么不是有效的或实现次优遗憾的轮数$T$。我们提出了一个新的高效算法，甚至比以前的低效的遗憾更低。对于$N$代理、$K$武器和$T$回合，我们的方法具有$\tilde{O}(\sqrt{NKT} + NK)$的遗憾界。这是对先前方法的改进，先前方法具有$\tilde{O}( \min(NK, \sqrt{N} K^{3/2})\sqrt{T})$的遗憾界。我们还补充我们的高效算法与低效的方法与$\tilde{O}(\sqrt{KT} + N^2K)$遗憾。实验结果证实了与以前的方法相比，我们的高效算法的有效性。
2022-09-23 cs.DS cs.LG
