Knapsack based Optimal Policies for Budget-Limited Multi-Armed Bandits
The University of Sydney Business School(悉尼大学商学院);University of Southampton(南安普顿大学)
在学习受限的多臂强盗(MAB)问题中,学习者的行为是昂贵的,并受到固定预算的约束。因此,最优开发策略可能不是像MAB的其他变体那样反复拉动最优手臂,而是拉动不同手臂的序列,使代理在预算内的总奖励最大化。与现有MAB的这种差异意味着需要新的方法来最大化总回报。有鉴于此,我们开发了两个拉策略,即:(i)KUBE;和(ii)分数KUBE。而前者提供了更好的性能高达40%,在我们的实验设置,后者是计算成本较低。我们还证明了这两个政策的遗憾的对数上界,并表明,这些界限是渐近最优的(即,他们只是不同的最好的可能的遗憾由一个常数因子)。
2012-04-09 cs.AI cs.LG
Contextual Combinatorial Bandits with Probabilistically Triggered Arms
The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);California Institute of Technology(加州理工学院);Microsoft Research(微软研究院)
本文研究具有概率触发臂的上下文组合多臂老虎机问题,提出 C$^2$-UCB-T 和方差自适应算法 VAC$^2$-UCB,分别在不同平滑性条件下取得更优遗憾界,并通过实验验证了算法性能的提升。
2024-11-18 cs.AI cs.LG stat.ML
Representative Arm Identification: A fixed confidence approach to identify cluster representatives
Centre for Machine Intelligence and Data Science(机器智能与数据科学中心);IIT Bombay(印度理工学院孟买分校);Department of Electrical Engineering(电气工程系)
本文在多臂老虎机框架下研究代表性臂识别问题,旨在从预定义簇中可靠识别指定数量臂。作者推导了样本复杂度下界,提出两种基于置信区间的算法并证明其上界匹配下界,实验证明其性能优于LUCB替代方案。
2024-08-26 cs.AI cs.LG math.PR
Best arm identification in multi-armed bandits with delayed feedback
Stanford University(斯坦福大学);University of Michigan(密歇根大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一个泛化的最佳手臂识别问题,在随机多臂土匪(MAB)的设置,每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度,但是如果我们能够访问在拉取完成之前接收到的部分反馈,则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系,作为一个特殊的情况下,我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外,我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置,涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设,表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay(印度理工学院孟买分校)
在本文中,我们提出了一个常数字(RAM模型)算法的遗憾最小化有限和无限的随机多臂强盗(MAB)的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下,可用的字的内存是有限的。设计一个有效的后悔最小化算法,使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的,并要求武器的奖励分配属于某个特定的家庭。最近,针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而,由于潜在的基于PAC的消除,他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法,该算法需要记住最多$M$武器的统计数据,并且对于任何$K$武装的有限bandit实例,它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018},并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
Modelling Cournot Games as Multi-agent Multi-armed Bandits
University of Kentucky(肯塔基大学)
我们研究了使用多代理多臂强盗(MA-MAB)设置建模重复古诺寡头博弈,其中作为代理商的公司从代表生产量(离散值)的一组武器中选择。代理与单独和独立的强盗问题交互。在这个公式中,每个代理在武器之间进行顺序选择,以最大化自己的奖励。智能体没有任何关于环境的信息;他们只能在采取行动后看到自己的奖励。然而,市场需求是工业总产量的平稳函数,不允许随机进入或退出市场。考虑到这些假设,我们发现,一个$ε$贪婪的方法提供了一个更可行的学习机制比其他传统的MAB方法,因为它不需要任何额外的知识系统操作。我们还提出了两个新的方法,利用有序的行动空间:$ε$ -贪婪+HL和$ε$ -贪婪+EL。这些新方法通过消除利润较低的选择,帮助企业专注于利润更高的活动,从而优化勘探。我们使用计算机模拟来研究结果中各种均衡的出现,并对联合累积后悔进行实证分析。
2022-01-01 cs.AI cs.GT cs.LG
A Causal Bandit Approach to Learning Good Atomic Interventions in Presence of Unobserved Confounders
Adobe Research(Adobe研究院);Technion Israel Institute of Technology(以色列理工学院)
我们研究的问题,确定最佳干预的因果贝叶斯网络(CBN)指定的因果图。我们将其建模为带有边信息的随机多臂强盗(MAB)问题,其中干预措施对应于强盗实例的武器。首先,我们提出了一个简单的遗憾最小化算法,作为输入的半马尔可夫因果图与原子干预和可能无法观察到的变量,并实现$\tilde{O}(\sqrt{M/T})$预期的简单遗憾,其中$M$是依赖于输入CBN,可以是非常小的相比,武器的数量。我们还表明,这几乎是最佳的CBN所描述的因果图具有$n$ ary树结构。我们简单的遗憾最小化的结果,上界和下界,subternal以前的结果在文献中,假设额外的结构限制的输入因果图。特别是,我们的研究结果表明,我们提出的算法的简单的遗憾保证只能通过考虑更细致入微的结构限制的因果图得到改善。接下来,我们提出了一种累积遗憾最小化算法,该算法将具有所有可观察节点和原子干预的一般因果图作为输入,并且比不考虑因果边信息的最优MAB算法表现得更好。我们还实验比较我们的算法与文献中最知名的算法。据我们所知,这项工作给出了第一个简单的和累积的遗憾最小化算法的CBN与原子干预下的一般因果图和未观察到的混杂因素。
2022-05-19 cs.AI cs.LG
Bandits with Multiple Optimal Arms: Minimax Regret and Non-Adaptivity
University of California, Los Angeles(加州大学洛杉矶分校)
本文研究具有多个最优臂的多臂老虎机,提出了改进的极小极大遗憾界并匹配下界,表明对最优臂数量的近似了解对实现接近最优性能是必要的。
2026-10-02 cs.AI cs.LG math.ST
Near-Optimal Regret for KL-Regularized Multi-Armed Bandits
Department of Computer Science, University of California, Los Angeles, CA 90095, USA(计算机科学系,加州大学洛杉矶分校)
本文提出了一种针对KL正则化多臂老虎机的近最优后悔分析方法,通过新颖的剥皮论证得出高概率后悔界,并在不同正则化范围内提供了全面的理论保证。
2026-10-23 cs.AI cs.LG math.ST
Multi-armed Bandit Learning on a Graph
Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院);Stanford University(斯坦福大学);KTH(瑞典皇家理工学院)
多臂强盗(MAB)问题是一个简单而强大的框架,已被广泛研究的背景下的不确定性决策。在许多现实世界的应用中,例如机器人应用,选择手臂对应于约束下一个可用手臂(动作)的选择的物理动作。出于这一动机,我们研究了MAB的一个扩展,称为图强盗,其中代理在图上旅行,以最大限度地提高从不同节点收集的奖励。该图定义了代理在每一步选择下一个可用节点的自由度。我们假设图结构是完全可用的,但奖励分布是未知的。基于离线的基于图的规划算法和乐观原则,我们设计了一个学习算法,G-UCB,使用乐观原则平衡长期的探索和开发。我们表明,我们提出的算法实现了$O(\sqrt{|S|T\log(T)}+D|S|\log T)$学习遗憾,其中$|S|$是节点的数量和$D$是直径的图形,它匹配的理论下限$Ω(\sqrt{|S|T})$的对数因子。据我们所知,这一结果是第一个紧遗憾界在非情节,非折扣学习问题与已知的确定性过渡。数值实验证实,我们的算法优于几个基准。
2023-03-20 cs.AI cs.LG stat.ML
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong(计算机科学与工程系,香港中文大学)
在生成模型选择中,混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率,挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Fair Algorithms with Probing for Multi-Agent Multi-Armed Bandits
本文提出了一种多智能体多臂老虎机框架,通过引入探针机制在保证公平性的同时提升系统性能。
2026-01-27 cs.AI cs.LG
Multi-armed Bandit and Backbone boost Lin-Kernighan-Helsgaun Algorithm for the Traveling Salesman Problems
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
针对 LKH 中 α 值未利用历史信息且引导单一的问题,本文提出动态骨干信息,并通过多臂老虎机自适应组合骨干、α 值与距离,显著提升 LKH/LKH-3 在 TSP、CTSP 和 CVRPTW 上的性能与泛化性。
2025-01-07 cs.AI cs.DS
Fast Change Identification in Multi-Play Bandits and its Applications in Wireless Networks
IIT Delhi(印度理工学院德里分校)
下一代无线服务的特点是各种各样的要求,以维持这一点,无线接入点需要定期探测网络中的用户。在这方面,我们研究了一种新的多臂强盗(MAB)设置,任务探测所有的武器定期跟踪最好的当前手臂在一个非平稳的环境中。特别是,我们开发的\texttt{TS-GE},平衡经典的汤普森采样(TS)的遗憾保证与广播探测(BP)的所有武器,同时为了积极检测奖励分布的变化。该算法的主要创新之处在于通过一个名为组探索(GE)的可选子程序来识别改变的手臂,该子程序按比例缩放为$K-$武装匪徒设置的$\log_2(K)$。我们描述了环境参数的漏检概率和虚警概率。我们强调的条件下,遗憾的保证\texttt{TS-GE}优于国家的最先进的算法,特别是,\texttt{ADSWITCH}和\texttt{M-UCB}。我们通过在两个无线系统应用中使用\texttt{TS-GE}来证明其功效-移动边缘计算(MEC)中的任务卸载和为同时无线信息和功率传输(SWIPT)而设计的工业物联网(IIoT)网络。
2022-11-24 cs.AI cs.IT cs.LG
Multi-agent Multi-armed Bandits with Stochastic Sharable Arm Capacities
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);College of Computer Science, Chongqing University(重庆大学计算机学院)
针对随机可共享臂容量的多智能体多臂老虎机问题,提出贪心算法与迭代分布式算法,实现无通信下最优臂拉取配置的共识,并验证有效性。
2024-08-20 cs.AI
Multi-Armed Bandits With Best-Action Queries
Politecnico di Milano(米兰理工大学);Alphabetical order(按字母顺序)
研究在带反馈模型中最佳动作查询对多臂老虎机的影响,发现随机奖励环境下最佳动作查询无法降低 regrets,但在独立同分布环境下仍可实现改进。
2026-05-08 cs.AI cs.LG
Continuous Time Bandits With Sampling Costs
本文研究带采样成本的连续时间多臂赌博机问题,建立单臂和多臂情形下的遗憾下界,并提出达到下界(至多相差对数或常数因子)的学习算法。
2023-04-19 cs.AI cs.LG stat.ML
Competitive Multi-armed Bandit Games for Resource Sharing
The Ohio State University(俄亥俄州立大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究资源共享中的竞争性多臂老虎机博弈,分析自私策略的收敛延迟和无限价格无政府状态,并提出CISP机制,通过信息与货币激励实现社会最优、预算平衡和真实报告。
2025-03-26 cs.AI cs.GT