Top-m identification for linear bandits
Université de Paris（巴黎大学）；Inserm（法国国家健康与医学研究院）；Université Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Université Sorbonne Paris Nord（巴黎第十三大学）；Assistance Publique des Hôpitaux de Paris（巴黎公共医疗援助医院）
出于药物再利用的应用程序，我们提出了第一个算法来解决识别的m $\ge$ 1武器最大的手段，在线性土匪模型，在固定的信心设置。这些算法属于一般家庭的间隙指数聚焦算法（GIFA），我们介绍了Top-m识别线性土匪。我们提出了一个统一的分析这些算法，这表明如何使用的功能可能会降低样本的复杂性。我们进一步验证这些算法的经验模拟数据和一个简单的药物再利用任务。
2021-03-18 cs.AI cs.LG math.ST
Periodic Bandits and Wireless Network Selection
National University of Singapore（新加坡国立大学）
在随机和对抗环境中，已经广泛研究了Bandit风格的算法。这样的算法已经被证明是有用的，在多人设置，例如，解决无线网络选择问题，这可以被公式化为一个对抗的强盗问题。对抗设置的领先强盗算法是EXP3。然而，网络行为通常是重复的，其中用户密度和网络行为遵循规则模式。像EXP3这样的Bandit算法无法为周期性行为提供良好的保证。一个主要原因是这些算法与固定动作策略竞争，固定动作策略在周期性设置中无效。在本文中，我们定义了一个周期性的强盗设置，和周期性的遗憾，这种类型的设置作为一个更好的性能指标。我们的目标不是将算法的性能与固定动作策略进行比较，而是与在一些可能的周期模式$F$（例如，所有可能的周期函数都具有周期$1,2,\cdots,P$）下发挥作用的策略进行竞争。我们提出周期性EXP4，EXP4算法的周期性设置的计算效率的变体。在$K$臂、$T$时间步长和$F$中每个周期模式的长度至多为$P$的情况下，我们证明了由周期EXP4得到的周期遗憾至多为$O\big(\sqrt{PKT \log K + KT \log |F|}\big)$ .我们还证明了一个下限的$Ω\big(\sqrt{PKT + KT \frac{\log |F|}{\log K}} \big)$的周期性设置，这是最佳的对数因子。作为一个例子，我们专注于无线网络选择问题。通过模拟，我们表明，周期性EXP4随着时间的推移…
2019-04-28 cs.LG cs.NI
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂，同时最大限度地减少抽样预算。我们设计了一个简单的算法，其采样复杂度匹配已知的实例特定的下界，渐近几乎肯定和预期。该算法依赖于手臂采样规则，该规则跟踪手臂绘制的最佳比例，并且可以像我们希望的那样很少更新，而不会损害其理论保证。此外，与现有的最佳臂识别策略，我们的算法使用的停止规则，不依赖于武器的数量。实验结果表明，我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Aging Bandits: Regret Analysis and Order-Optimal Learning Algorithm for Wireless Networks with Stochastic Arrivals
我们考虑一个单跳无线网络的源发送时间敏感的信息到目的地在多个不可靠的信道。来自每个源的分组根据具有已知统计的随机过程生成，并且每个无线信道的状态（开/关）根据具有未知统计的随机过程而变化。无线信道的可靠性是通过观察来了解的。在每个时隙，学习算法选择单个对（源、信道），并且所选择的源尝试经由所选择的信道发送其分组。成功传输到目的地的概率取决于所选信道的可靠性。学习算法的目标是最小化$T$时隙上网络中的信息量（AoI）。为了分析学习算法的性能，我们引入了AoI遗憾的概念，这是所考虑的学习算法的预期累积AoI与已知先验信道可靠性的Genie算法的预期累积AoI之间的差异。AoI遗憾捕获由于必须学习$T$时隙上的信道的统计而引起的惩罚。结果是双重的：首先，我们考虑使用已知的随机多臂强盗问题的解决方案的学习算法（如$ε$ -贪婪，上置信界，和汤普森采样），并表明它们的AoI后悔尺度为$Θ(\log T)$ ; 2其次，我们开发了一种新的学习算法，并表明它具有$O(1)$后悔。据我们所知，这是第一个有界AoI遗憾的学习算法。
2020-12-21 cs.IT cs.LG cs.SY
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam（波茨坦大学）
本文研究了在$K$ -武装随机强盗环境下，具有\textit{fixed budget $T$}的\textit{best arm identification}问题，其中武器分布定义在$[0,1]$上.我们证明，任何强盗策略，至少有一个强盗问题的复杂性$H$，将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$，其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法，这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的，因此，目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Quantile Bandits for Best Arms Identification
The Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61部门）
我们考虑随机多武装土匪的最佳武器识别任务的一个变种。出于规避风险的决策问题，我们的目标是确定一组$m$武器的最高$τ$分位数值在一个固定的预算。证明了具有非减风险率的随机变量的顺序统计量和分位数的非对称双边集中不等式，这可能是独立的兴趣。利用这些不等式，我们分析了分位数版本的连续接受和拒绝（Q-SAR）。我们推导出一个上限的概率臂错误识别，第一个理由的分位数为基础的算法固定预算多个最好的武器识别。我们展示了最佳手臂识别的说明性实验。
2023-02-21 cs.LG
Best Arm Identification in Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎文理研究大学-巴黎多芬大学）；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Liverpool University（利物浦大学）
我们引入了一个新的图形双线性强盗问题的学习者（或\emph{central entity}）分配武器的节点图，并观察每个边缘的噪声双线性奖励表示两个端点之间的相互作用。我们研究了最佳手臂识别问题，其中学习者希望找到最大化双线性奖励之和的图分配。通过有效地利用这个强盗问题的几何形状，我们提出了一个\emph{decentralized}分配策略的基础上随机抽样的理论保证。特别是，我们表征的图形结构（如星，完整或圆）的收敛速度的影响，并提出实证实验，证实这种依赖。
2021-06-10 cs.LG
Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits
imec；Data Science Institute, Interuniversity Institute of Biostatistics and Statistical Bioinformatics, UHasselt（哈瑟尔特大学生物统计学与统计生物信息学跨大学研究所数据科学研究所）
提出首个任意时间多目标多臂老虎机算法Top-Two帕累托前沿汤普森采样(TTPFTS)，用于帕累托集识别，在合成环境和超大型分子库中验证有效性，并引入不确定性量化指标。
2026-10-27 cs.AI cs.LG
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University（哥伦比亚大学）
本文研究了半参数带its中的固定置信度最佳臂识别，通过正交化回归方法，提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题，提出两种基于消除的算法，同时实现遗憾最小化与最佳臂识别，并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
在纯探索问题中，信息是按顺序收集的，以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究，但很少有作品致力于识别一个臂，即$\varepsilon$ -接近最佳的一个（而不是最好的一个）。在这个有多个正确答案的问题中，识别算法应该集中在这些答案中的一个候选者上，并验证它是正确的。我们表明，挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反，应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案，我们开发了一个简单的程序，以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后，我们提出了一个渐近最优算法，这种设置，这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University（清华大学）
在最佳- $K$识别问题（Best- $K$ -Arm）中，我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度，通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机，并在过去的十年中引起了相当大的关注。在本文中，我们提出了新的实用算法的最佳- $K$ -手臂问题，它具有接近最佳的样本复杂性边界（匹配的下限对数因子），并优于最佳- $K$ -手臂问题（即使是$K=1$）在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science（印度科学学院）；Israel Institute of Technology (Technion)（以色列理工学院（Technion））
在固定置信度下，给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人（2012年）的著名LUCB算法，通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念，并且与几种方法相比，具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性，在许多情况下显示出最优性。数值结果表明，与其他算法相比，我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
On the Existence of a Complexity in Fixed Budget Bandit Identification
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189-CRIStAL（UMR 9189-里尔计算机、信号与自动控制实验室）
本文研究固定预算赌博机辨识中复杂度的存在性，证明若存在复杂度则由最优非自适应采样过程决定，并指出包括双臂伯努利最佳臂辨识在内的多个任务不存在此类复杂度。
2023-06-30 cs.LG stat.ML
Probabilistic Sequential Shrinking: A Best Arm Identification Algorithm for Stochastic Bandits with Corruptions
National University of Singapore（新加坡国立大学）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹与分析研究所）
我们考虑一个最佳臂识别（BAI）问题的随机土匪对抗腐败的固定预算设置的T步骤。我们设计了一种新的随机算法，概率顺序收缩（$u$）（PSS（$u$）），这是不可知的腐败量。当每步损坏量（CPS）低于阈值时，PSS（$u$）将具有倾向于$1$的概率的最佳臂或项目标识为$T\rightarrow \infty$。否则，最优性差距的识别项目退化优雅的CPS。我们认为，这样的分歧是必要的。在PSS（$u$）中，参数$u$用于在最优性间隙和成功概率之间进行平衡。注入的随机化被证明是必不可少的，以减轻腐败的影响。为了证明这一点，我们设计了两种适用于任何算法的攻击策略。我们将其中一个应用于PSS的确定性模拟（$u$），Karnin等人（2013）称为连续减半（SH）。攻击策略导致SH的高失败概率，但PSS（$u$）保持鲁棒性。在没有损坏的情况下，PSS（$2$）的性能保证与SH的性能保证相匹配。我们表明，当CPS是足够大的，没有算法可以实现BAI概率趋于$1$作为$T\rightarrow \infty$。数值实验证实了我们的理论研究结果。
2021-06-18 cs.IT cs.LG math.IT
Achieving the Pareto Frontier of Regret Minimization and Best Arm Identification in Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）；National University of Singapore（新加坡国立大学）
该研究针对多臂老虎机中固定时间跨度的遗憾最小化与最优臂识别目标，设计了BoBW-lil'UCB$(γ)$算法，证明两目标无法同时最优，该算法可通过调参实现阶数最优，且性能优于UCB$_α$。
2023-06-09 cs.AI cs.IT cs.LG
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University（耶鲁大学）；Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））；Bar-Ilan University（巴伊兰大学）
我们研究的最佳武器识别问题的多武装土匪随机，潜在的私人奖励，当目标是确定在一个固定的，规定的水平与最高分位数的手臂。首先，我们提出了一个（非私有）连续消除算法的严格最优最佳臂识别，我们证明了我们的算法是$δ$ -PAC，我们描述了它的样本复杂度。此外，我们提供了一个下限的预期数量的拉动，表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距，特别是分位数土匪问题，我们表明，当差距接近零，最佳臂识别是不可能的。其次，出于应用程序的奖励是私人的，我们提供了一个差分私人连续消除算法的样本复杂度是有限的，即使是无限的支持大小的分布，我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
On Elimination Strategies for Bandit Fixed-Confidence Identification
Meta AI；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
消除算法的强盗识别，修剪合理的正确答案顺序，直到只有一个仍然是计算方便，因为他们随着时间的推移减少了问题的大小。然而，现有的消除策略往往不完全自适应（他们更新他们的采样规则不频繁），并不容易扩展到组合设置，其中的答案集是指数大的问题维度。另一方面，大多数现有的完全自适应策略，以解决一般的识别问题的计算要求，因为他们反复测试每个答案的正确性，从来没有减少问题的大小。我们表明，自适应方法可以修改为在停止和采样规则中使用消除，从而获得这两个世界中的最佳效果：算法（1）保持完全自适应，（2）遭受样本复杂度永远不会比它们的非消除对应物更差，（3）可证明早期消除某些错误答案。我们证实了这些好处的实验，消除显着提高计算复杂性的自适应方法对常见的任务，如最佳臂识别线性土匪。
2022-10-24 cs.LG stat.ML
Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits
University of Virginia（弗吉尼亚大学）；Princeton University（普林斯顿大学）；Southern University of Science and Technology（南方科技大学）
本文研究多目标提示选择问题，提出基于纯探索老虎机框架的高效方法，通过理论保证和实验验证，改进了提示优化的效率和效果。
2026-05-14 cs.AI cs.LG
Best Arm Identification for Cascading Bandits in the Fixed Confidence Setting
National University of Singapore（新加坡国立大学）
我们设计和分析CascadeBAI，一种算法，用于找到最佳的一组$K$项目，也称为手臂，级联土匪的框架内。上界的时间复杂度的CascadeBAI是通过克服一个关键的分析挑战，即概率估计的量，在每一步的反馈。为此，我们定义了一类新的随机变量（r.v.的），我们称之为左侧子高斯r.v.这些是r.v.的累积量生成函数（CGF）可以有界的二次仅为非正的论点的CGF。这使得充分紧的伯恩斯坦型浓度不等式的应用。我们表明，通过推导的下限上的时间复杂度，CascadeBAI的性能是最佳的，在一些实际的制度。最后，大量的数值模拟证实了CascadeBAI的有效性以及我们对其时间复杂度的上限的严密性。
2020-06-15 cs.IT cs.LG math.IT
Best-Arm Identification in Linear Bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；Microsoft Research New-England（微软新英格兰研究院）；Google DeepMind（谷歌DeepMind）
研究了线性强盗中的最佳臂识别问题，其中各臂的报酬线性依赖于一个未知参数$θ^*$，目标是返回具有最大报酬的臂.我们描述了问题的复杂性，并引入了样本分配策略，拉臂，以确定最佳的手臂与固定的信心，同时最大限度地减少样本预算。特别是，我们利用全球的线性结构，以提高近最佳武器的奖励估计的重要性。我们分析了所提出的策略，并比较其实证表现。最后，作为我们分析的副产品，我们指出了连接到最优实验设计中使用的$G$ -最优性准则。
2014-11-04 cs.LG
Functional multi-armed bandit and the best function identification problems
Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skoltech（斯克里普切尔技术学院）；Avito；Moscow, Russia（莫斯科，俄罗斯）
本文提出函数多臂老虎机问题和最佳函数识别问题，通过非线性优化算法构建F-LCB算法，提供 regret 上界并展示实验结果。
2026-02-17 cs.AI cs.LG math.OC
Offline Contextual Bandit with Counterfactual Sample Identification
Criteo AI Lab（Criteo人工智能实验室）；Criteo AI Lab, Fairplay joint team（Criteo人工智能实验室，Fairplay联合团队）
针对上下文赌博机直接奖励模型易受混淆影响的问题，提出反事实样本识别方法，通过比较动作与相同上下文下的反事实动作来识别成功动作，在理论与实际应用中均优于直接模型。
2025-09-03 cs.LG
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
本文提出FCSR算法，用于在分组老虎机中实现固定预算约束下的最佳臂识别，通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon（里昂高等师范学院）
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案（提供通过一个简化的分析无约束的情况下）。在此算法的基础上，我们提出了一个渐近最优的策略。此外，我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别（BAI）是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了，但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象，但到目前为止，这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题，本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics（上海财经大学）；Columbia University（哥伦比亚大学）
针对批处理多臂老虎机的最优臂识别问题，提出通用线性规划框架及两阶段算法，兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
On Best-Arm Identification with a Fixed Budget in Non-Parametric Multi-Armed Bandits
ENS de Lyon（里昂高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
我们奠定了一个非参数理论的最佳武器识别的多武器土匪与一个固定的预算T。我们考虑一般的，可能是非参数的，分布在手臂上的模型D;一个首要的例子是所有概率分布在[0，1]上的模型D = P（0，1）。我们提出了上界的平均对数概率的误认的最佳臂的基础上的信息理论的数量，对应于infima的Kullback-Leibler分歧之间的一些分布D和一个给定的分布。这是通过对Audibert、Bubeck和Munos（2010）的连续拒绝策略的精确分析而实现的。最后，我们提供了相同的平均对数概率的下限，也在相同的新的信息理论量方面，这些下限较大时，所考虑的策略的（自然）假设更强。所有这些新的上界和下界都是基于现有的界的推广，例如，分布之间的差距。
2023-02-06 cs.IT cs.LG math.IT
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们考虑一个变种的最佳武器识别（BAI）问题的多武装匪徒（MAB），其中有两套武器（源和目标），目标是确定最佳的目标手臂，而只拉源武器。在本文中，我们研究的设置时，尽管手段是未知的，有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题，并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法，以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面，这些问题在典型的BAI设置中不会出现，并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
Best-Arm Identification in Unimodal Bandits
Bocconi University（博科尼大学）；EPFL（苏黎世联邦理工学院）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189-CRIStAL（9189-CRIStAL联合实验室）
本研究针对单峰老虎机的最优臂识别问题，提出了利用单峰结构的Track-and-Stop和Top Two算法改进，实现了渐近最优或接近最优的性能，并提供了理论保证和实证验证。
2025-05-26 cs.AI cs.LG
Best Group Identification in Multi-Objective Bandits
College of Management of Technology EPFL（EPFL管理技术学院）；Department of Computer Engineering（计算机工程系）；Sharif University of Technology（谢里夫理工大学）
本文提出多目标老虎机中的最佳组识别问题，针对帕累托与线性两种设置设计消除算法，给出样本复杂度上下界，并通过实验验证性能。
2025-05-23 cs.LG
Optimal Best Arm Identification with Fixed Confidence in Restless Bandits
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；National University of Singapore（新加坡国立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对转移概率矩阵未知的非平稳马尔可夫多臂老虎机，研究固定置信度下的最佳臂识别，建立了期望停止时间的渐近下界，提出匹配该下界的最优策略，填补了相关研究空白。
2024-06-23 cs.IT cs.LG math.IT
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
EVaR-Optimal Arm Identification in Bandits
UMPA, ENS de Lyon（里昂高等师范学院 UMPA）；UMPA/LIP ENS de Lyon（里昂高等师范学院 UMPA/LIP）
本研究在赌博机框架下，针对熵值风险准则提出固定置信度最优臂识别算法，并证明其样本复杂度下界渐近匹配，满足高风险场景的风险规避需求。
2025-10-06 cs.LG
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen（图宾根大学）；Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；Google DeepMind（谷歌DeepMind）
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题，提出一种基于先验信息和环境结构的固定分配算法，并给出理论界，通过新证明方法获得更紧的界，实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Quick Best Action Identification in Linear Bandit Problems
University of California, Davis（加州大学戴维斯分校）
本文研究了具有固定置信约束的随机线性Bandit系统中的最佳行动识别问题。在所考虑的最佳动作识别问题中，而不是最小化在现有的作品中所做的累积遗憾，学习者的目标是获得一个准确的估计的基础上，他的行动和奖励序列的基本参数。为了提高估计效率，学习者可以选择他的行动根据他的历史信息，因此整个过程中设计的顺序自适应的方式。我们首先表明，现有的算法设计，以尽量减少累计遗憾是不一致的估计，因此不是一个很好的政策，我们的问题。然后，我们描述了任何政策的估计误差的下限。我们进一步设计了一个简单的政策，并表明，所设计的政策的估计误差达到相同的缩放顺序推导出的下界。
2018-12-02 cs.LG stat.ML
Almost Minimax Optimal Best Arm Identification in Piecewise Stationary Linear Bandits
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出分段平稳线性老虎机模型，设计了PS$\varepsilon$BAI$^+$算法，通过并行执行变点检测与上下文对齐，以最小样本复杂度识别最优臂，并证明其在对数因子内达到极小极大最优。
2024-10-10 cs.AI cs.IT cs.LG
Best Arm Identification for Contaminated Bandits
Massachusetts Institute of Technology（麻省理工学院）
本文研究了鲁棒统计背景下的主动学习。具体来说，我们提出了一个变种的最佳手臂识别问题的\emph{contaminated bandits}，其中每个手臂拉有概率$\varepsilon$生成一个样本从任意的污染分布，而不是真正的底层分布。目标是以高概率确定最佳（或近似最佳）真实分布，其次是保证该分布的质量。污染的强盗设置的主要挑战是，真正的分布是只有部分可识别的，即使有无限的样本。为了解决这个问题，我们开发了紧密的，非渐近的样本复杂性边界的前两个强大的时刻（中位数和中位数绝对偏差）从污染的样本的高概率估计。这些浓度不等式的主要技术贡献的文件，可能是独立的利益。利用这些结果，我们适应几个经典的最佳手臂识别算法的污染的强盗设置，并推导出样本复杂度上界为我们的问题。最后，我们提供了匹配信息理论上的样本复杂度（小对数因子）的下界。
2019-05-15 cs.LG math.ST stat.ML
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California（南加州大学）
我们考虑的问题，通过自适应采样，$n$选项（武器）具有最大的平均值。我们的目标是确定一个规则，确定一个固定的最低置信度，使用尽可能少的观察，即最好的武器，这是一个固定的信心（FC）最好的武器识别（BAI）在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”（VT）的规则，采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置，并通过早期消除得到改善。我们的分析表明，这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”（PW）算法。数值结果表明，这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong（香港城市大学）；Northwest Polytechnical University（西北工业大学）
该研究针对多目标老虎机场景，提出少对多最优臂识别问题，设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法，证明其样本复杂度保证，通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Best arm identification in multi-armed bandits with delayed feedback
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个泛化的最佳手臂识别问题，在随机多臂土匪（MAB）的设置，每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度，但是如果我们能够访问在拉取完成之前接收到的部分反馈，则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系，作为一个特殊的情况下，我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外，我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置，涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设，表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Fixed-Budget Best-Arm Identification in Structured Bandits
University of Southern California（南加州大学）；Google Research（谷歌研究院）
本文提出一种利用联合泛化模型逐步淘汰次优臂的结构化固定预算最佳臂识别算法，在线性与广义线性模型中给出分析及G-最优设计实现，并在GLM场景下首次提供实用算法与理论保证。
2023-07-04 cs.LG
Polynomial-time Algorithms for Multiple-arm Identification with Full-bandit Feedback
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所革新智能综合研究中心）
我们研究了随机组合纯探索（CPE）的问题，其中一个代理顺序地拉动一组单臂（a.k.a.在CPE的各种问题设置中，我们专注于全强盗设置，在那里我们不能观察每个单臂的奖励，而只能观察奖励的总和。虽然我们可以将具有全Bandits反馈的CPE视为线性Bandits中的纯探索的特殊情况，但是基于线性Bandits的方法在计算上是不可行的，因为超级臂的数量可能是指数的。在本文中，我们首先提出了一个多项式时间的强盗算法的CPE一般组合约束下，并提供了一个上界的样本复杂度。其次，我们设计了一个近似算法的0-1二次最大化问题，这出现在许多强盗算法的置信椭球。基于我们的近似算法，我们提出了新的bandit算法的top-k选择问题，并证明了我们的算法运行在多项式时间。最后，我们在合成数据集和真实数据集上进行了实验，并从计算时间和样本复杂度两个方面证实了我们理论分析的有效性。
2019-06-01 cs.DS cs.LG stat.ML
Best Arm Identification in Bandits with Limited Precision Sampling
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；National University of Singapore（新加坡国立大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对有限精度采样下的多臂老虎机最佳臂识别问题，提出渐近最优的跟踪算法，并给出停止时间的下界与上界。
2023-05-10 cs.AI cs.IT cs.LG
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对固定预算下随机线性老虎机，提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen，利用 G-最优设计与连续消除，实现错误概率指数衰减。
2025-05-24 cs.LG
UB3: Best Beam Identification in Millimeter Wave Systems via Pure Exploration Unimodal Bandits
IITB-Monash Research Academy（IITB-莫纳什研究院）；IIT Bombay（印度理工学院孟买分校）；Innopolis University（Innopolis 大学）
毫米波（mmWave）通信具有宽频谱，并且可以支持每秒千兆比特量级的数据速率，如5G系统中所设想的。然而，由于它们对衰减损耗的敏感性，它们不能用于长距离。为了使它们能够在5G网络中使用，它需要将传输能量聚焦在尖锐的笔形波束中。由于发射器和接收器波束对之间的任何未对准都可能显著降低数据速率，因此它们尽可能对准是很重要的。为了找到最佳的发送-接收波束对，最近的波束对准（BA）技术检查整个波束空间，这可能导致大量的BA延迟。最近的工作提出自适应地选择波束，使得在接收信号强度或吞吐量方面测量的累积回报最大化。在本文中，我们开发了一种算法，利用单峰结构的接收信号强度的波束，以确定最好的波束在有限的时间内使用纯勘探策略。在固定时隙中识别最佳波束的策略比连续执行探索和利用的累积奖励最大化策略更适合于无线网络协议设计。我们的算法被命名为最佳波束的单峰Bandit（UB 3），并在几轮中以高概率识别最佳波束。我们证明了概率中的误差指数不依赖于波束的数量，并通过建立单峰强盗的下界证明了这确实是这种情况。我们证明，UB 3优于国家的最先进的算法，通过广泛的模拟。此外，我们的算法实现简单，具有较低的计算复杂度。
2022-12-26 cs.AI cs.IT cs.LG
Multi-armed Bandit Learning for TDMA Transmission Slot Scheduling and Defragmentation for Improved Bandwidth Usage
Michigan State University（密歇根州立大学）
提出了一种在无线传感器网络和物联网中有效利用带宽的时分多址（TDMA）MAC时隙分配协议。所开发的协议有两个主要组成部分：一个多臂强盗（MAB）为基础的时隙分配机制，无冲突传输，和分散整理时隙后移（DDSB）操作，提高带宽的使用效率。所提出的框架是分散的，每个节点发现它的传输时间表独立没有任何集中式仲裁器的控制。所开发的机制适用于具有或不具有时间同步的网络，因此，使其适用于无线传感器和物联网节点的低复杂度无线收发器。该框架能够管理学习收敛时间和带宽之间的权衡。此外，它允许节点适应拓扑变化，同时保持有效的带宽使用。所开发的逻辑进行了测试，完全连接和任意网状网络与广泛的仿真实验。它示出了如何节点可以学习使用MAB选择无冲突的传输时隙。此外，节点学会自我调整自己的传输时间表使用一种新的DDSB框架，以减少带宽的使用。
2023-01-14 cs.AI cs.LG cs.NI
Semi-overlapping Multi-bandit Best Arm Identification for Sequential Support Network Learning
Department of Artificial Intelligence and Systems Engineering（人工智能与系统工程系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；E-Group ICT Software Zrt.（E-Group ICT软件公司）
本文提出半重叠多臂老虎机模型，用于高效学习支持网络，改进多老虎机最佳臂识别的误差界并提升性能保证。
2025-12-31 cs.AI cs.LG
Multi-armed Bandits with Application to 5G Small Cells
University of Manitoba（曼尼托巴大学）
由于移动业务的普遍需求，下一代无线网络被期望能够提供高数据速率，而无线资源变得越来越稀缺。这就要求下一代无线网络朝着能够有效支持资源需求应用（如个性化移动服务）的新网络范式发展。为新兴的第五代（5G）蜂窝网络预见的这种范例的示例包括非常密集地部署的小小区和设备到设备通信。对于5G网络，必须寻找频谱和能量高效的解决方案来解决资源分配问题，这些问题i）适合分布式实现，ii）能够处理不确定性和信息缺乏，以及iii）能够应对用户的自私。本文的核心目标是调查和建立多武装匪徒（MAB）框架的潜力，以应对这一挑战。特别是，我们提供了一个简短的教程土匪问题，包括不同的变化和解决方案的方法。此外，我们讨论了最近的应用以及未来的研究方向。此外，我们提供了一个详细的例子，使用MAB模型在5G网络中进行节能的小小区规划。
2015-10-02 cs.DC cs.LG cs.NI
Robust Best-arm Identification in Linear Bandits
University College London（伦敦大学学院）；MediaTek Research（联发科技研究院）
该研究针对线性奖励下的鲁棒最优臂识别问题，提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法，经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Optimal Best Arm Identification in Two-Armed Bandits with a Fixed Budget under a Small Gap
CyberAgent, Inc.（CyberAgent公司）；The University of Tokyo（东京大学）；Columbia University（哥伦比亚大学）
我们考虑固定预算的最佳臂识别双臂高斯强盗问题。一个长期悬而未决的问题是存在一个最佳策略，在该策略下，错误识别的概率符合一个下限。我们证明了当期望回报之间的差距很小时，遵循Neyman分配规则（Neyman，1934）的策略是渐近最优的。首先，我们回顾了Kaufmann et al.（2016）得出的下限。然后，我们提出了“奈曼分配（NA）-增强逆概率加权（AIPW）”的策略，它包括使用奈曼分配估计标准差的抽样规则和使用AIPW估计的推荐规则。我们提出的策略是最优的，因为当预算趋于无穷大且差距趋于零时，上限与下限相匹配。
2022-12-28 cs.LG econ.EM math.ST
Fixed-Confidence Multiple Change Point Identification under Bandit Feedback
Department of Mathematics, Imperial College London, London, England（伦敦帝国学院数学系）
研究固定置信度分段常数bandit问题中的多变点识别，基于实例依赖下界设计渐近最优的Track-and-Stop变体，通过集中采样变点附近实现高效识别。
2025-07-11 cs.LG stat.ML
Near Optimal Best Arm Identification for Clustered Bandits
IIT Bombay（印度理工学院孟买分校）
针对多智能体多臂老虎机中智能体—老虎机映射未知的问题，提出 Cl-BAI 与 BAI-Cl 两种算法，给出 $δ$-PC 保证、样本复杂度界及近极小极大最优性，并验证其样本与通信效率。
2025-05-15 cs.LG cs.MA
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
