Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Diversified Multinomial Logit Contextual Bandits
Seoul National University（首尔国立大学）
研究针对现有上下文多项式逻辑回归博弈忽略品类内多样性、次模/组合博弈缺乏结构化选择概率的问题，提出多样化多项式逻辑回归（DMNL）上下文博弈及白盒UCB算法OFU-DMNL，给出遗憾界，实验证明其有收益且运行高效。
2026-09-29 cs.LG stat.ML
Duelling Bandits with Weak Regret in Adversarial Environments
University of Copenhagen（哥本哈根大学）
对多臂强盗问题的研究，深入探讨了探索与开发的权衡问题。然而，存在基数绝对值反馈模型（例如，从一到五的评级）不适合的许多应用。这激发了决斗强盗问题的形成，学习者选择一对行动并观察到嘈杂的二进制反馈，表明两者之间的相对偏好。由于两个原因，对这个问题有许多不同的背景和解释。首先，由于没有行动的总顺序，最佳行动没有自然的定义。现有的工作要么明确假设存在线性顺序，要么使用自定义定义的赢家。第二，有多种合理的后悔概念来衡量学习者的表现。大多数以前的工作都集中在$\textit{strong regret}$上，它平均了两个选择的操作的质量。这项工作的重点是$\textit{weak regret}$，这是基于质量的两个行动选择的更好。弱后悔是更合适的表现措施时，对劣质行动没有显着的不利影响对对的质量。研究了对抗环境下的强盗决斗问题。我们提供了一个算法，它具有理论上的保证，在基于效用的设置，这意味着一个总的顺序，和无限制的设置。对于后者，我们使用$\textit{Borda winner}$，找到最大化获胜概率的动作。论文最后给出了基于真实数据和合成数据的实验结果，展示了算法的性能和局限性。
2018-12-10 cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Safe Linear Leveling Bandits
Bilkent University（比尔肯特大学）
多武装匪徒（MAB）在各种环境中被广泛研究，其目标是\textit{maximize}行动的结果（即，奖励）随着时间的推移。由于安全性在许多现实问题中至关重要，因此MAB算法的安全版本也引起了相当大的兴趣。在这项工作中，我们通过\textit{linear stochastic bandits}的镜头处理不同的关键任务，其目的是保持行动的结果接近目标水平，同时尊重\textit{two-sided}安全约束，我们称之为\textit{leveling}。这种任务在许多领域都很普遍。例如，许多医疗保健问题需要将生理变量保持在一定范围内，并且优选地接近目标水平。我们的目标的根本变化需要一个新的收购策略，这是一个MAB算法的核心。我们建议SALE-LTS：通过线性汤普森采样算法的安全水平，与一个新的收购策略，以适应我们的任务，并表明它实现了次线性遗憾与相同的时间和尺寸依赖于经典的奖励最大化问题，没有任何安全约束的以前的作品。我们证明和讨论我们的算法的经验性能，详细通过彻底的实验。
2021-12-13 cs.LG
Instance-optimal PAC Algorithms for Contextual Bandits
University of Washington（华盛顿大学）；Amazon（亚马逊）
本文研究上下文赌博机的 $(ε,δ)$-PAC 最优臂识别问题，通过 $ρ_Π$ 给出匹配的实例依赖样本复杂度上下界，并提出依赖多项式次 argmax oracle 调用的实例最优、计算高效算法。
2022-07-05 cs.LG stat.ML
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
从先前的任务中学习，并将这些经验转移到提高未来的表现上，对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能，但大多数关于迁移的文献都集中在批量学习任务上。在本文中，我们研究的问题\textit{sequential transfer in online learning}，特别是在多臂强盗框架，其目标是尽量减少累积遗憾的一系列任务，通过逐步转移知识，从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务，并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
Physics-Informed Parametric Bandits for Beam Alignment in mmWave Communications
本文提出两种物理信息老虎机算法，用于高效识别毫米波通信中的最优波束方向，通过利用信道的稀疏多径特性，在多种信道环境中表现出色。
2026-03-01 cs.LG
Revisiting Matrix Sketching in Linear Bandits: Achieving Sublinear Regret via Dyadic Block Sketching
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出双尺度块压缩方法，通过动态调整压缩大小，在无需先验知识的情况下实现线性老虎机的亚线性遗憾界。
2026-02-27 cs.LG stat.ML
Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的类型的收购功能，在线决策的多臂和上下文的强盗问题的极端收益。具体而言，我们将收益函数建模为高斯过程，并制定了一种新型的置信上限（UCB）获取函数，该函数根据观察到的奖励的变化性指导对被认为最相关的土匪的探索。这是通过计算一个易于处理的似然比来实现的，该似然比量化了输出相对于输入的重要性，并且本质上充当了促进对极端奖励的探索的\textit{attention mechanism}。我们展示了所提出的方法在几个合成基准的好处，以及一个现实的例子，涉及嘈杂的传感器网络数据。最后，我们提供了一个JAX库，用于使用高斯过程进行有效的bandit优化。
2021-10-08 cs.LG stat.ML
Cost-Ordered Feasibility for Multi-Armed Bandits with Cost Subsidy
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文研究了在未知最佳奖励基础上，基于成本约束的多臂老虎机问题，提出COF算法，通过实例依赖的上界分析，改进了理论 regret 上界并验证了算法的优越性能。
2026-05-08 cs.LG cs.SY eess.SY
Non-Stationary Dueling Bandits Under a Weighted Borda Criterion
Columbia University（哥伦比亚大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文研究非平稳对决赌博机中的Borda胜者问题，提出加权Borda分数框架，统一了Borda与Condorcet问题，并首次给出最优自适应动态遗憾上界。
2024-09-28 cs.LG stat.ML
Residual Bootstrap Exploration for Bandit Algorithms
Department of Statistics, Purdue University（普渡大学统计系）；Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Purdue University（普渡大学）；Princeton University（普林斯顿大学）
在本文中，我们提出了一种新的扰动为基础的探索方法在有界或无界奖励的强盗算法，称为剩余引导探索（\texttt{ReBoot}）。\texttt{ReBoot}通过基于残差的扰动机制注入数据驱动的随机性来执行探索。这种新的机制捕获了拟合误差的潜在分布特性，更重要的是，通过以\textit{unconventional}的方式膨胀方差水平来促进探索以逃避次优解（对于小样本量）。在理论上，通过适当的方差膨胀水平，\texttt{ReBoot}可证明高斯型多臂强盗的实例依赖对数后悔。我们评估的\texttt{ReBoot}在不同的合成多武装土匪的问题，并观察到\texttt{ReBoot}表现更好的无界奖励和更强大的\texttt{Giro} \cite{kveton2018garbage}和\texttt{PHE} \cite{kveton2019perturbed}，具有可比的汤普森采样方法的计算效率。
2020-02-19 cs.LG stat.ML
Stochastic Top-$K$ Subset Bandits with Linear Space and Non-Linear Feedback
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
许多现实世界的问题，如社会影响力最大化，面临着在给定时刻从$N$选项中选择最佳$K$的困境。该设置可以被建模为组合的强盗，其每次从$N$臂中选择$K$，目的是实现探测和利用之间的有效权衡。这是第一个工作的组合土匪收到的反馈可以是一个非线性函数的选择$K$武器。直接使用多臂Bandit需要在$N$ -choose- $K$选项中进行选择，使得状态空间变大。在本文中，我们提出了一种新的算法，这是计算效率和存储是线性的$N$。该算法是一种基于分治的策略，我们称之为CMAB-SM。此外，所提出的算法对于时间范围$T$实现了$\tilde O(K^{\frac{1}{2}}N^{\frac{1}{3}}T^{\frac{2}{3}})$的\textit{regret bound}，其在所有参数$T$、$N$和$K$中是\textit{sub-linear}。当应用于社会影响力最大化问题时，该算法的性能优于UCB算法和一些更复杂的特定领域的方法。
2021-10-11 cs.AI cs.LG stat.ML
Squeeze All: Novel Estimator and Self-Normalized Bound for Linear Contextual Bandits
Columbia University（哥伦比亚大学）；Seoul National University（首尔国立大学）；Shepherd23 Inc.（Shepherd23公司）
本文提出了一个具有$O(\sqrt{dT\log T})$遗憾界的线性上下文强盗算法，其中$d$是上下文维数，$T$是时间范围.我们提出的算法配备了一个新的估计器，其中的探索是通过显式随机化嵌入。根据随机化，我们提出的估计量从所有手臂的上下文或从选定的上下文中做出贡献。我们建立了一个自我规范化的界限，我们的估计，这使得一个新的分解的累积遗憾到\textit{additive}维依赖的条款，而不是乘法条款。我们还证明了一个新的下界下，我们的问题设置的$Ω(\sqrt{dT})$。因此，遗憾的是，我们提出的算法匹配的下限对数因子。数值实验支持理论保证，并表明我们提出的方法优于现有的线性强盗算法。
2023-03-28 cs.LG stat.ML
Local Anti-Concentration Class: Logarithmic Regret for Greedy Linear Contextual Bandit
Columbia University（哥伦比亚大学）
本文提出局部反集中（LAC）条件，证明其适用于Gaussian、指数族及截断变体等广泛分布，并据此给出免探索贪心线性上下文老虎机的 O(poly log T) 累积期望遗憾界。
2025-01-16 cs.LG stat.ML
Cooperative Multi-Agent Bandits with Heavy Tails
Media Lab and Institute for Data, Systems and Society, Massachusetts Institute of Technology（麻省理工学院媒体实验室与数据、系统与社会研究所）
我们研究了合作多智能体环境中的重尾随机强盗问题，其中一组智能体与一个共同的强盗问题进行交互，同时在具有延迟的网络上进行通信。在这种情况下，现有的随机强盗算法利用置信区间所产生的平均为基础的通信协议称为~ \textit{running consensus}，这并不适合自己的鲁棒估计重尾设置。我们提出了\textsc{MP-UCB}，一个分散的多智能体算法的合作随机土匪，采用了强大的估计与消息传递协议。我们证明了\textsc{MP-UCB}的几个问题设置的最佳遗憾界，也证明了它的优越性，现有的方法。此外，我们建立了合作的强盗问题的第一个下界，除了提供有效的鲁棒的强盗位置估计算法。
2020-08-14 cs.LG cs.MA stat.ML
Thompson Sampling for Multi-Objective Linear Contextual Bandit
Seoul National University（首尔国立大学）
本文提出MOL-TS算法，首次在多目标线性上下文老虎机问题中实现帕累托遗憾保证，通过有效帕累托前沿提升多目标优化性能。
2025-11-30 cs.LG stat.ML
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Optimism in the Face of Ambiguity Principle for Multi-Armed Bandits
EPFL（洛桑联邦理工学院）；University of Chicago（芝加哥大学）
针对FTRL计算复杂、FTPL分析繁琐的问题，提出基于模糊面前乐观原则的新FTPL算法，统一分析对抗与随机多臂老虎机并实现最优策略，计算效率提升至标准FTRL的10^4倍，泛化现有FTPL且涵盖FTRL特例。
2025-02-13 cs.LG stat.ML
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University（哈佛大学）
我们引入鲁棒性\textit{restless multi-armed bandits}（RMABs），一个流行的模型之间的约束资源分配独立的随机过程（武器）。几乎所有的RMAB技术假设随机动力学是精确已知的。然而，在许多现实世界的设置中，动态是用显著的\emph{uncertainty}来估计的，例如，通过历史数据，如果忽略这些数据，可能会导致不良结果。为了解决这个问题，我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架（甲骨文的\textit{agent}和\textit{nature}），这是经常用于单过程的强大的规划，但需要显着的新技术，以适应组合性质的RMAB。具体来说，我们设计了一种深度强化学习（RL）算法DDLPO，它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战，大大降低了样本复杂性，并保证了收敛。DDLPO，一般的利益，实现我们的奖励最大化代理甲骨文。然后，我们解决了具有挑战性的遗憾最大化的自然预言机，一个非静态的强化学习的挑战，通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
Combinatorial Allocation Bandits with Nonlinear Arm Utility
The University of Tokyo and RIKEN（东京大学和RIKEN）；Keio University（庆应大学）；Hanuku-kaso, Co., Ltd.（Hanuku-kaso公司）
提出组合分配赌博机问题，通过臂满意度最大化而非正反馈数量，设计基于置信上界和汤普森采样的算法，实现近似遗憾界。
2026-06-23 cs.LG stat.ML
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
在纯探索问题中，信息是按顺序收集的，以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究，但很少有作品致力于识别一个臂，即$\varepsilon$ -接近最佳的一个（而不是最好的一个）。在这个有多个正确答案的问题中，识别算法应该集中在这些答案中的一个候选者上，并验证它是正确的。我们表明，挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反，应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案，我们开发了一个简单的程序，以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后，我们提出了一个渐近最优算法，这种设置，这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
Lasso Bandit with Compatibility Condition on Optimal Arm
Seoul National University（首尔大学）
研究随机稀疏线性bandit问题，提出基于最优臂兼容性条件和强制采样技术的算法，在单参数设置下以最弱假设实现了对数依赖于维度的遗憾界，数值实验验证了其优越性能。
2025-03-01 cs.LG stat.ML
Rising Rested Bandits: Lower Bounds and Efficient Algorithms
Politecnico di Milano（米兰理工大学）
针对期望奖励单调非递减且凹的上升型休眠多臂老虎机问题，推导遗憾下界以探究样本复杂度，设计R-ed-UCB算法并得出依赖实例属性的遗憾界（特定情况为O~(T^(2/3))），且实证优于非平稳MABs的先进方法。
2024-11-26 cs.LG stat.ML
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon（亚马逊）；Columbia University（哥伦比亚大学）
针对多保真度树优化问题，提出CANOPY方法，通过在线学习分段平滑先验的有效区域，引导昂贵评估，在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
Optimal Regret for Single Index Bandits
Department of Computer Science and Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）
本文研究单索引老虎机问题，提出ZoomSIB-UCB算法，通过估计投影方向和离散化实现一维老虎机，达到O(T^{2/3})的最优后悔，同时证明下界验证了该结果的最优性。
2026-08-04 cs.LG stat.ML
Learning Fair Division from Bandit Feedback
University of Electro-Communications（电气通信大学）；New York University（纽约大学）；CyberAgent, Inc.（CyberAgent 株式会社）
针对在线公平分配中价值不确定性问题，提出基于对偶平均的包装算法，通过bandit反馈学习物品分布与智能体价值，在线性Fisher市场渐近达到最优Nash社会福利，并验证其优越性。
2023-11-15 cs.AI cs.LG stat.ML
Encrypted Linear Contextual Bandit
Meta AI；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）
上下文强盗是一个通用的在线学习的顺序决策问题，已发现在广泛的领域，包括推荐系统，在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即，个人或群体层面的数据--以及奖励，以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中，我们介绍了一个基于同态加密{ \color{violet}，它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息（上下文和奖励），并没有能力解密it. Leaving同态加密的属性，我们表明，尽管设置的复杂性，它是可能的，以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题，同时保持数据加密。
2022-03-23 cs.LG
The Multi-fidelity Multi-armed Bandit
Carnegie Mellon University（卡内基梅隆大学）；Rice University（莱斯大学）
我们研究了经典的随机$K$ -武装土匪观察每个手臂的结果是昂贵的，但便宜的近似这个结果是可用的。例如，在在线广告中，广告的效果可以通过将其显示较短的时间段或面向较窄的受众来近似。我们将此任务形式化为多保真度强盗，其中，在每个时间步，预报员可以选择在任何一个$M$概率下使用手臂。最高的保真度（期望的结果）花费成本$λ^{(m)}$。$m^{\text{th}}$保真度（近似值）扩展$λ^{(m)} < λ^{(M)}$并返回最高保真度的有偏估计。我们开发的MF-UCB，一种新的置信上限的程序，这种设置，并证明它自然适应序列的可用近似值和成本，从而达到更好的遗憾比天真的策略，忽略了近似值。例如，在上面的在线广告示例中，MF-UCB将使用较低的优先级来快速消除次优广告，并将较大的昂贵实验保留在一小组有希望的候选者上。我们补充了这个结果的下限，并表明MF-UCB在一定条件下是接近最优的。
2016-10-30 cs.LG
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题，提出两种基于消除的算法，同时实现遗憾最小化与最佳臂识别，并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners
Indian Institute of Science（印度科学学院）；Technion, Israel Institute of Technology（以色列理工学院）
研究了线性参数化多臂强盗的最佳臂识别问题。给定一组特征向量$\mathcal{X}\subset\mathbb{R}^d,$、置信参数$δ$和未知向量$θ^*,$，目标是识别$\arg\max_{x\in\mathcal{X}}x^Tθ^*$，概率至少为$1-δ,$，使用$x^Tθ^*.$形式的噪声测量。对于此固定置信度（$δ$ -PAC）设置，我们提出了一种明确可实现且可证明的阶数最优样本复杂度算法来解决此问题。以前的方法依赖于访问极大极小优化预言机。该算法，我们称之为\textit{Phased Elimination Linear Exploration Game}（PELEG），保持一个高概率的信心椭圆包含$θ^*$在每一轮，并使用它来消除次优武器的阶段。PELEG实现了沿着最令人困惑的（即，接近，但不是最佳的）方向，通过解释问题作为两个玩家零和游戏，并使用低后悔学习器计算玩家的策略，在每一轮顺序收敛到它的鞍点。我们分析了PELEG的样本复杂性，并表明它匹配，为了，在线性强盗设置样本复杂性的实例相关的下界。我们还提供了数值计算结果，该算法符合其理论保证。
2020-06-13 cs.LG stat.ML
Trend Detection based Regret Minimization for Bandit Problems
Max Planck Institut für Informatik, Saarland University（马克斯·普朗克信息学研究所，萨尔大学）；RWTH Aachen University（亚琛工业大学）
我们研究了经典的多武装土匪问题的一个变种。在这个问题中，学习者必须做出一系列决定，从一组固定的选择中挑选。在每一轮中，她只收到所选行动造成的损失作为反馈。传统上，这个问题已经研究了损失的行动是从一个未知的分布或当他们是敌对的。在本文中，我们研究这个问题时，行动的损失也满足一定的结构性质，特别是，并显示出一个趋势结构。当这是真的，我们表明，使用\textit{trend detection}，我们可以实现遗憾的顺序$\tilde{O} (N \sqrt{TK})$相对于切换策略的版本的问题，其中一个单一的行动是选择在每一轮和$\tilde{O} (Nm \sqrt{TK})$时，$m$行动选择每一轮。这种保证是对传统基准的重大改进。作为一个框架，我们的方法可以与各种著名的强盗算法，如Exp3相结合。对于这两个版本的问题，我们也为\textit{anytime}设置，即当选择序列的长度事先不知道的遗憾保证。最后，我们通过与一些知名的其他策略进行比较，确定了我们的方法的优势。
2017-09-15 cs.LG
Using causal abstractions to accelerate decision-making in complex bandit problems
University of Oxford（牛津大学）；University of Bergen（卑尔根大学）
针对多抽象层级因果多臂老虎机缺乏通用优化方法的问题，提出AT-UCB算法，结合因果抽象理论先在粗粒度实例探索再在目标实例的潜在最优动作上用UCB，从理论和实证上证明其能显著降低累积遗憾。
2025-09-04 cs.LG
Parallelizing Contextual Bandits
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
不确定性下的标准决策方法侧重于对决策空间的顺序探索。然而，\textit{simultaneously}提出了一批决策，利用可用资源进行并行实验，有可能迅速加速探索。我们提出了一个家庭的（并行）上下文强盗算法适用于有界逃避维度的问题，其遗憾是几乎相同的完全顺序的同行-访问相同的总数量的Oracle查询-到一个较低的顺序“烧伤”术语。我们进一步表明，这些算法可以专门为类的线性奖励函数，我们介绍和分析了几个新的线性强盗算法，明确介绍了多样性到他们的行动选择。最后，我们还提出了这些并行算法在几个领域，包括材料发现和生物序列设计问题的实证评估，以证明实用的并行强盗在实际环境中。
2023-02-05 cs.LG q-bio.BM q-bio.QM
Decentralized Heterogeneous Multi-Player Multi-Armed Bandits with Non-Zero Rewards on Collisions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个完全分散的多人随机多臂强盗设置的球员不能相互沟通，只能观察自己的行动和奖励。环境可能对不同的玩家表现不同，$\textit{i.e.}$，给定手臂的奖励分布在玩家之间是异构的。在碰撞的情况下（当多个玩家使用同一只手臂时），我们允许碰撞的玩家获得非零奖励。该武器被使用的时间范围$T$是玩家已知的\emph{not}。在这个设置中，玩家的数量被允许大于武器的数量，我们提出了一个政策，实现了近订单最优的预期遗憾的顺序$O(\log^{1 + δ} T)$为一些$0 < δ< 1$在一个时间跨度的持续时间$T$。这篇论文被IEEE Transactions on信息论接受。
2021-12-28 cs.GT cs.LG stat.ML
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen（鲁昂大学）；LITIS Lab（LITIS实验室）；Aix-Marseille University（艾克斯-马赛大学）；LIF（LIF实验室）
一些稀疏约束算法，如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法，通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度，然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的，特别是对于大规模和高维数据。在这项工作中，我们的目标是加速这些稀疏约束优化算法，利用关键的观察，这些算法的工作，只需要梯度的顶部条目的坐标。因此，我们引入基于贪婪方法和随机化方法的算法，旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题，找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解，我们能够提供一种基于Bandit的算法，以非常有效的方式直接估计顶部条目。理论观察指出，由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为，具有很高的概率，类似于他们的确切版本也给出了。我们已经进行了几个实验表明，贪婪的确定性和土匪的方法，我们提出可以实现一个数量级的加速，同时作为有效的精确梯度时，使用的算法，如OMP，弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality
The University of Arizona（亚利桑那大学）
我们研究随机结构土匪最小化遗憾。近年来，研究人员发现，流行的乐观算法不能实现渐进的实例依赖后悔最优性（简称渐近最优性）。另一方面，众所周知，人们可以实现有限的遗憾（即，不会随着$n$无限增长）。不幸的是，现有的渐近最优算法依赖于引入$ω(1)$项w.r.t.时间的地平线$n$在他们的遗憾，未能适应“容易”的实例。在本文中，我们专注于有限假设的情况下，并询问是否可以达到渐近最优，同时尽可能享受有限的遗憾。我们通过引入一种名为CRush Optimism with Pessimism（CROP）的新算法来提供一个积极的答案，该算法通过拉动悲观假设所指示的信息臂来消除乐观假设。我们的有限时间分析表明，作物$(i)$实现了一个常数因子的渐近最优性，由于强制探索的设计，$(ii)$适应有界遗憾，和$(iii)$的遗憾界规模不与$K$，但与我们介绍的有效数量的武器$K_ψ$。我们还讨论了一类问题，其中作物可以指数优于现有的算法在\textit{nonasymptotic}制度。这个问题类还揭示了一个令人惊讶的事实，即使是一个千里眼的先知谁发挥根据渐近最优的手臂拉方案可能会遭受线性最坏情况下的遗憾。
2020-10-23 cs.LG stat.ML
BanditRank: Learning to Rank Using Contextual Bandits
Indian Institute of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）；Yahoo Japan Corporation（雅虎日本公司）
我们提出了一种可扩展的深度学习方法，该方法使用强化学习来训练神经网络，用于信息检索（IR）中的离线排名。我们称我们的方法为BanditRank，因为它将排名视为上下文强盗问题。在IR的学习排序领域，当前的深度学习模型是在与评估指标不同的目标函数上训练的。由于大多数评估指标是离散量，因此无法在没有近似的情况下直接使用梯度下降算法来利用它们。BanditRank通过使用梯度下降直接优化特定于任务的度量（例如平均精度（MAP））来弥补这一差距。具体地说，一个上下文的强盗的行动是排名输入文件的训练使用策略梯度算法直接最大化的奖励。奖励可以是单个度量，例如MAP，或几个度量的组合。排名的概念也是BanditRank中固有的，类似于当前的\textit{listwise}方法。为了评估BanditRank的有效性，我们对与三种不同任务相关的数据集进行了一系列实验，即，网络搜索、社区和事实问答。我们发现，当应用于问答数据集时，它比最先进的方法表现得更好。在网络搜索数据集上，我们发现BanditRank的表现优于四个强大的列表基线，包括LambdaMART，AdaRank，ListNet和Coordinate Ascent。
2019-10-23 cs.IR cs.LG
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Stochastic Multi-Objective Multi-Armed Bandits: Regret Definition and Algorithm
针对现有多目标多臂老虎机帕累托遗憾指标的局限性，提出新型全面遗憾指标与高效帕累托最优臂概念，并开发出可实现次线性遗憾的两阶段MO-MAB算法。
2025-06-16 cs.DS cs.LG
Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries
The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
提出MO-PQUCB算法，通过主动查询获取用户偏好信号，结合Plackett-Luce模型和正则化UCB，解决多目标老虎机中偏好与奖励的耦合问题，实现更优的遗憾界。
2026-08-18 cs.AI cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Doubly Optimal No-Regret Online Learning in Strongly Monotone Games with Bandit Feedback
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学尚德商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文针对强单调博弈中的赌博机反馈在线学习问题，提出基于自协调障碍函数的新算法，首次同时实现单智能体最优遗憾和多智能体最优末次迭代收敛速率，解决了该领域长期存在的开放问题。
2024-03-29 cs.GT cs.LG math.OC
Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
我们研究了腐败的强盗问题，即一个随机的多臂强盗问题与$k$未知的奖励分布，这是重尾和腐败的历史独立的对手或自然。具体地说，通过玩手臂获得的奖励来自相应的概率为$1-\varepsilon \in (0.5,1]$的重尾奖励分布和概率为$\varepsilon \in [0,0.5)$的无界支持的任意腐败分布。首先，我们提供任何损坏的强盗算法的$\textit{a problem-dependent lower bound on the regret}$。下界表明，腐败的强盗问题是困难的，比经典的随机强盗问题与亚高斯或重尾奖励。接下来，我们提出了一种新型的UCB类型的腐败强盗算法，即HubUCB，它建立在Huber的估计器之上，用于鲁棒均值估计。利用Huber估计的一个新的集中不等式，我们证明了HubUCB达到了一个接近最优的后悔上界。由于计算Huber估计具有二次复杂性，我们进一步介绍了一个顺序版本的Huber估计，表现出线性复杂性。我们利用这个顺序估计设计SeqHubUCB，享受类似的遗憾保证，同时减少计算负担。最后，我们通过实验说明了HubUCB和SeqHubUCB在解决不同奖励分配和不同腐败程度的腐败土匪的效率。
2023-03-21 cs.LG math.ST stat.TH
Top-$k$ Pareto Bandits: Hypervolume Regret for Multi-Objective Slate Selection
针对多目标老虎机中多臂候选集的帕累托前沿近似问题，提出基于超体积贡献乐观估计的THV-UCB算法，定义近似超体积遗憾，给出无间隙和间隙相关的遗憾界，为小集合近似帕累托前沿提供理论支撑。
2026-07-30 cs.AI cs.LG stat.ML
Distributed Bandits with Heterogeneous Agents
The Chinese University of Hong Kong（香港中文大学）
本文解决了一个多智能体的强盗设置$M$代理合作解决同一个$K$武装随机强盗问题的情况下。代理商为\textit{heterogeneous}：每个代理具有对本地分支子集的有限访问，并且代理是异步的，在决策回合之间具有不同的间隙。每个智能体的目标是找到其最优的局部分支，并且智能体可以通过与其他智能体共享他们的观察结果来进行合作。虽然代理之间的合作提高了学习的性能，但它带来了代理之间通信的额外复杂性。对于这种异构的多代理设置，我们提出了两种学习算法，\ucbo和\AAE。我们证明了这两种算法实现了订单最优的遗憾，这是$O\left(\sum_{i:\tildeΔ_i>0} \log T/\tildeΔ_i\right)$，其中$\tildeΔ_i$是最小次优差距之间的奖励平均臂$i$和任何局部最优臂。此外，仔细选择有价值的信息合作，\AAE实现了低的通信复杂性度$O(\log T)$。最后，数值实验验证了这两种算法的有效性。
2022-02-16 cs.DC cs.LG
Cascading Bandits Robust to Adversarial Corruptions
Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
针对级联老虎机受对抗性篡改（如点击欺诈）时性能下降的问题，提出CBAC问题并设计两种分别假设篡改水平已知和未知的鲁棒算法，理论证明其未受攻击时对数级遗憾、受攻击时遗憾随篡改水平线性增加，实验验证了鲁棒性。
2025-02-12 cs.LG
Improving Thompson Sampling via Information Relaxation for Budgeted Multi-armed Bandits
KAIST（韩国科学技术院）
针对预算多臂老虎机问题，基于信息松弛采样框架提出一系列结合剩余预算优化决策的随机化算法及对应性能基准，在理论与仿真中均实现比BTS和传统基准更优的增量改进。
2024-08-28 cs.AI cs.LG
Automatic Ensemble Learning for Online Influence Maximization
The Chinese University of Hong Kong（香港中文大学）
我们考虑的问题，选择一个种子集，以最大限度地提高社会网络中的受影响的节点的预期数量，被称为\textit{influence maximization}（IM）的问题。我们假设社会网络的拓扑结构是规定的，而边缘之间的影响概率是未知的。为了学习影响概率并同时最大化影响传播，我们考虑了利用影响概率的当前估计以确保一定的影响传播和探索更多节点以更好地了解影响概率之间的权衡。开发-探索权衡是多臂强盗（MAB）问题的核心问题。如果将影响力扩散视为奖励，则IM问题可以归结为组合多臂强盗问题。在每一轮中，学习器在社交网络中选择有限数量的种子节点，然后根据真实的影响概率在网络中传播影响。当且仅当边的起始节点受到影响时，学习器才能观察到边的激活状态，这被称为边级半强盗反馈。两个经典的强盗算法，包括汤普森采样和EpperimentalGreedy被用来解决这个组合问题。为了保证这两种算法的鲁棒性，我们使用了一种自动集成学习策略，它结合了探索策略和开发策略。集成算法是自适应的，因为每个算法的概率可以根据算法的历史性能进行调整。实验结果表明，自动调整的探索算法和开发算法的混合的有效性。
2019-11-25 cs.LG stat.ML
Regret Minimisation in Multi-Armed Bandits Using Bounded Arm Memory
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们提出了一个常数字（RAM模型）算法的遗憾最小化有限和无限的随机多臂强盗（MAB）的情况下。大多数现有的后悔最小化算法需要记住他们遇到的所有武器的统计数据。这可能成为一个问题的情况下，可用的字的内存是有限的。设计一个有效的后悔最小化算法，使用恒定数量的单词一直是社区的兴趣。一些早期的尝试认为武器的数量是无限的，并要求武器的奖励分配属于某个特定的家庭。最近，针对持枪匪徒的一种基于探索然后提交的算法~ \citep{Liau+PSY:2018}似乎摆脱了这种假设。然而，由于潜在的基于PAC的消除，他们的方法招致了很高的遗憾。我们提出了一个概念上简单且高效的算法，该算法需要记住最多$M$武器的统计数据，并且对于任何$K$武装的有限bandit实例，它都享有$O(KM +K^{1.5}\sqrt{T\log (T/MK)}/M)$的遗憾上限。我们将其扩展为次线性\textit{quantile-regret} ~ \citep{RoyChaudhuri+K:2018}，并通过实验验证了我们算法的有效性。
2019-01-24 cs.AI cs.LG
