Age of information cost minimization with no buffers, random arrivals and unreliable channels: A PCL-indexability analysis
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出在无缓冲、随机到达和不可靠信道的条件下,通过PCL可索引性分析,利用Whittle索引策略最小化信息年龄成本。
2026-01-19 math.OC
A fast-pivoting algorithm for Whittle's restless bandit index
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出了一种快速转动算法,用于计算restless bandit问题的Whittle指数,通过简化单纯形方法和自适应贪婪算法,显著提升了计算效率。
2026-01-21 math.OC
Restless bandits with imperfect binary feedback: PCL-indexability analysis and computation
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对具有二元隐状态和不完美二元反馈的 restless bandits,提出基于部分守恒律(PCL)的分析与计算框架,通过验证定理、确定性骨架和组合词方法建立可索引性并计算 Whittle 指数,实验表明 MP 指数策略优于基准策略。
2026-06-11 cs.LG math.OC
From Relaxed Indexability to Exact Indexability: A $t$-Step Approach for Partially Observable Restless Bandits
针对部分可观测不安分赌机,提出t步前瞻阈值策略,可验证可索引性,其近似惠特尔指数几何收敛,性能优于一步基线且接近最优基准。
2026-09-09 cs.LG math.OC
Whittle index based Q-learning for restless bandits with average reward
Inria Sophia Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所);Indian Institute of Technology(印度理工学院)
针对平均奖励多臂不安分赌博机问题,提出结合Whittle指数与Q学习的新型强化学习算法,通过利用Whittle指数策略结构缩小搜索空间以提升计算效率,给出严格收敛分析,数值实验验证了其优异性能。
2021-09-21 cs.LG math.OC stat.ML
Deadline Scheduling as Restless Bandits
研究了随机截止期调度问题。引入了一个有约束的马尔可夫决策过程模型,其中工件随机到达服务中心,工件大小、报酬和完工期限都是随机的。服务提供商面临着随机的处理成本,凸的非完成处罚,并限制同时处理的作业的能力约束。作为一个不安分的多臂强盗问题,随机截止期调度问题是可索引的。在加工费用不变的情况下,得到了惠特尔指数的封闭表达式。给出了Whittle指数策略的间隙最优性的上界,并证明了当工件到达率和可用处理器数同时增加到无穷大时,上界收敛于零.
2017-07-06 math.OC
Indexability is Not Enough for Whittle: Improved, Near-Optimal Algorithms for Restless Bandits
University of Oxford(牛津大学);Google Research(谷歌研究院);Harvard University(哈佛大学)
研究了具有多个行动的不安分多武装匪徒(RMABs)的规划问题。这是多智能体系统的一种流行模型,其应用包括多通道通信、监控和机器维护任务以及医疗保健。惠特尔指数政策,这是基于拉格朗日松弛,被广泛用于这些设置,由于其简单性和在某些条件下的近最优性。在这项工作中,我们首先表明,惠特尔索引政策可以失败,在简单和实际相关的RMAB设置,即使当RMAB是可索引的。我们讨论了为什么最优性保证失败,为什么渐近最优性可能无法很好地转化为实际相关的规划视野。然后,我们提出了一个替代的规划算法的基础上的平均场方法,它可以证明和有效地获得接近最优的政策与大量的武器,没有严格的结构假设所需的惠特尔指数政策。该方法借鉴了已有研究的思想,并作了一些改进:该方法不含超参数,并提供了一种改进的非渐近分析方法,该方法具有:(a)不需要外生超参数,对已知问题参数的多项式依赖性更强;(b)高概率界,表明策略的回报是可靠的;以及(c)匹配该算法关于臂数的次优性下限,从而证明我们的界限的紧密性。我们广泛的实验分析表明,平均场方法匹配或优于其他基线。
2023-02-28 cs.AI cs.LG cs.MA
Dynamic allocation indices for restless projects and queueing admission control: a polyhedral approach
本文基于部分守恒定律提出一种多面体方法,用于设计与计算不安定强盗问题的动态分配指标,并应用于排队准入控制等难题。
2023-04-04 math.OC math.PR
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University(康奈尔大学)
不安分土匪是一类重要的问题,在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器,一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算,但所需的计算量随着臂数$N$呈指数增长。因此,重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略,在这个意义上,对于大$N$,每个臂的最优性差距(即,相对于最优策略的预期性能的损失)消失。然而,最流行的方法,Whittle索引,需要一个难以验证的可索引性条件被定义良好,另一个难以验证的条件,以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列,每个时间段一个有限的截断点,我们得到一类的政策,称为流体平衡政策,有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同,流体平衡策略不需要定义良好的可索引性,并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明,流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
A unifying computations of Whittle's Index for Markovian bandits
多武装不安分的土匪框架允许模拟各种各样的决策问题,在不同的领域,如工业工程,计算机通信,运筹学,金融工程,通信网络等在一个开创性的工作,惠特尔开发了一种方法来获得良好的表现(惠特尔)指数的政策,通过解决一个轻松的版本,原来的问题。然而,计算惠特尔指数本身是一个困难的问题,因此研究人员专注于计算惠特尔指数数值或与问题相关的方法。在我们的主要贡献,我们推导出一个解析表达式的惠特尔指数的任何马尔可夫强盗有限和无限的过渡率。我们得到了松弛问题的最优解是阈值型的充分条件,并得到了bandit是可索引的条件,这是保证Whittle指数存在的一个性质.我们的解决方案的方法提供了一个统一的表达惠特尔的指数,我们强调从文献中检索已知的指数作为特殊情况。有限速率的适用性与机器修理工的问题,和无限速率的通信网络的例子,其中传输速率即时反应的数据包丢失。
2019-06-26 math.OC
A Restless Bandit Model for Resource Allocation, Competition and Reservation
我们研究的资源分配问题,不断变化的请求,并与资源的有限容量共享的多个请求。它被建模为一组异构的不安的多臂强盗问题(RMABP)连接的资源容量的约束。根据惠特尔的放松的想法和韦伯和韦斯的渐近最优性证明,我们提出了一个简单的政策,并证明它是渐近最优的到达率和容量增加的制度。我们提供了一个简单的充分条件的政策的渐近最优性,并在完整的一般性提出了一种方法,产生一组候选政策,渐近最优性可以检查。数值实验证明了这些结果的有效性。据我们所知,这是第一个工作提供渐近最优结果,这样的资源分配问题,这样的组合多个RMABP。
2020-03-27 math.OC
Age of Information: Whittle Index for Scheduling Stochastic Arrivals
信息时代是一个新的概念,它表征了终端设备上信息的新鲜度。本文从调度的角度研究了信息时代。我们考虑一个无线广播网络,其中一个基站更新许多用户的随机信息到达。假设每次只能更新一个用户。在这种情况下,我们的目标是开发一个传输调度算法,以最大限度地减少长期运行的平均年龄。为了开发一种低复杂度的传输调度算法,我们应用惠特尔的框架不安分的强盗。我们成功地推导出了封闭形式的Whittle指数,并建立了可索引性。基于Whittle指数,我们提出了一个调度算法,同时实验表明,它非常接近年龄最优调度算法。
2018-04-17 cs.IT cs.NI math.IT
Large-scale Charging of Electric Vehicles: A Multi-Armed Bandit Approach
电动汽车(EV)的成功推出关键取决于方便和经济的充电设施的可用性。被认为是由服务提供商的电动汽车的大规模充电的调度问题。引入了一个马尔可夫决策过程模型,其中电动汽车随机到达充电设施,具有随机需求和完成期限。服务提供商面临随机充电成本、凸未完成惩罚以及限制EV充电器同时激活的最大数量的峰值功率约束。作为一个不安分的多臂强盗问题,电动汽车充电问题是可索引的。在充电费用不变的情况下,得到了惠特尔指数的封闭表达式。然而,惠特尔指数政策一般来说并不是最优的。根据少松弛、长处理时间的原则,提出了一种基于空间交换的Whittle索引策略的改进。该策略优于现有的收费算法,特别是当收费成本是时变的。
2016-05-24 math.OC
Low-Complexity Algorithm for Restless Bandits with Imperfect Observations
Nanjing University(南京大学);National Center for Applied Mathematics(国家应用数学中心);University of Cambridge(剑桥大学)
针对不完美观测下的不安分多臂老虎机,提出简化动态规划方程的低复杂度算法,并建立其与 Whittle 指数的等价性、同质系统最优性及一般情形近优性。
2024-05-13 cs.LG math.OC
Efficient Algorithm Design of Dynamic Spectrum Access by Whittle Index
School of Mathematics and Physics, Xi’an Jiaotong-Liverpool University(西安利物浦大学数学与物理学院);ByteDance(字节跳动);Department of Electrical and Computer Engineering, University of California at Davis(加州大学戴维斯分校电气与计算机工程系)
本文提出基于CQI反馈的动态频谱接入算法,通过分析价值函数结构获得紧界,证明阈值策略最优,并推导出闭合形式的信道指数函数,实现低复杂度的信道排序。
2026-08-26 math.OC
Exponential Convergence Rate for the Asymptotic Optimality of Whittle Index Policy
我们评估了当土匪数量增加时,不安分的马尔可夫土匪的Whittle指数策略的性能。在[30]中证明,如果bandits是可索引的并且相关的确定性系统具有全局吸引子不动点,则此性能是渐近最优的。在本文中,我们表明,在相同的条件下,收敛速度是指数的强盗的数量,除非不动点是奇异的(将在后面定义)。我们的证明是基于随机系统的确定性方程的性质:我们表明,它是一个分段仿射连续动力系统内的单纯形的经验措施的土匪。使用模拟和数值求解器,我们还调查的情况下,指数率定理的条件被违反,特别是当吸引极限环出现,或当不动点是奇异的。我们说明了我们的定理上的马尔可夫衰落信道模型,这在文献中已经得到了很好的研究。最后,我们将同步模型的结果扩展到异步模型。
2020-12-16 cs.PF math.OC math.PR
A Restless Bandit Model for Energy-Efficient Job Assignments in Server Farms
针对异构服务器农场的节能任务分配问题,提出基于Whittle松弛的近最优可扩展策略,证明了其渐近最优性,并通过数值仿真验证了其在非渐近情形下的有效性与鲁棒性。
2023-10-20 cs.DC math.OC
Restless Bandits with Constrained Arms: Applications in Social and Information Networks
Department of Electrical Engineering IIT Bombay, Mumbai INDIA.(印度孟买印度理工学院电气工程系)
研究社交网络中动态可用信息源的信息收集问题,提出基于restless multi-armed bandit模型的解决方案,通过数值模拟比较了索引策略、我的opic策略和均匀随机策略的性能。
2018-01-19 cs.SY eess.SY math.OC
Dynamic priority allocation via restless bandit marginal productivity indices
本文综述了不安定老虎机指数化的理论与算法,提出用边际生产力指数(MPI)统一各类指数,并展示其在多项目动态优先级分配中接近最优且优于传统基准策略的性能。
2023-04-12 math.OC math.PR
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University(康奈尔大学)
我们考虑了有限时域不安分的强盗,每个周期有多个拉,这在推荐系统,主动学习,收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略,但是所需的计算在臂数$N$上呈指数级缩放。因此,理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长,即,与最优策略相比,预期性能的损失,对于由Whittle提出的经典渐近制度中的此类策略,其中$N$增长,同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明,这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是,我们表明,它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策,称为流体优先级的政策,其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立,我们表明,流体优先级的政策,但有一个最优的差距,即$O(\sqrt{N})$,显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
Lagrangian Index Policy for Restless Bandits with Average Reward
INRIA Sophia Antipolis(INRIA索菲亚-安蒂波利斯);Indian Institute of Technology Bombay(印度班加罗尔理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种用于 restless 多臂老虎机的拉格朗日指数策略,通过强化学习算法实现在线学习,并分析了其在最优网络爬行和信息年龄最小化中的应用。
2025-12-30 cs.AI cs.LG math.OC
Dynamic Intrusion Detection in Resource-Constrained Cyber Networks
University of California, Davis(加州大学戴维斯分校)
针对大规模资源受限网络,将入侵检测调度问题建模为特定类型的不安分多臂老虎机,并给出Whittle指数的闭式解及低复杂度策略,证明同构组件下策略的有限时域最优性。
2011-12-01 cs.SY eess.SY math.DS