Problem Dependent View on Structured Thresholding Bandit Problems
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
研究了在几种形状约束下的随机持票Bandit问题（TBP）的问题依赖性。在TBP中，学习器的目标是在顺序游戏结束时输出其均值高于给定阈值的一组武器。香草，非结构化的情况下，已经很好地研究在文献中。以$K$为臂数，考虑臂均值序列$(μ_k)_{k=1}^K$单调递增（MTBP）和$(μ_k)_{k=1}^K$凹（CTBP）的情况。我们认为这两种情况下的问题相关的制度和研究的错误的概率-即错误分类至少一个arm. In固定的预算设置的概率，我们提供的上和下界的错误的概率在凹和单调设置，以及相关的算法。在这两种设置中的边界匹配的问题依赖的制度，在指数的普遍常数。
2021-06-18 cs.LG stat.ML
A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）
我们研究联邦上下文线性强盗，其中$M$代理相互合作，以解决一个全球性的上下文线性强盗问题的帮助下，一个中央服务器。我们考虑异步设置，其中所有代理独立工作，一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一个简单的算法命名为\texttt{FedLinUCB}基于乐观的原则。我们证明了\texttt{FedLinUCB}的后悔受$\tilde{O}(d\sqrt{\sum_{m=1}^M T_m})$约束，通信复杂性为$\tilde{O}(dM^2)$，其中$d$是上下文向量的维数，$T_m$是第$m$个体与环境交互的总次数.据我们所知，这是第一个可证明有效的算法，允许完全异步通信的联邦上下文线性土匪，同时实现相同的遗憾保证在单代理设置。
2022-07-07 cs.LG stat.ML
The Influence of Shape Constraints on the Thresholding Bandit Problem
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；Centre Inria Lille - Nord Europe（里尔-北欧欧洲INRIA中心）
研究了在几种形状约束下的随机持票Bandit问题。在（i）普通的、非结构化的TBP之上，我们考虑（ii）臂均值序列$(μ_k)_k$是单调递增的MTBP的情况，（iii）$(μ_k)_k$是单峰UTBP的情况，以及（iv）$(μ_k)_k$是凹CTBP的情况。在TBP问题中，目标是在顺序博弈结束时输出其均值高于给定阈值的武器集合。遗憾是错误分类的手臂和阈值之间的最高差距。在固定的预算设置中，我们提供了问题独立的极大极小利率的预期遗憾在所有设置，以及相关的算法。我们证明了遗憾的极小极大率是（i）TBP的$\sqrt{\log(K)K/T}$，（ii）MTBP的$\sqrt{\log(K)/T}$，（iii）UTBP的$\sqrt{K/T}$和（iv）CTBP的$\sqrt{\log\log K/T}$，其中$K$是武器数量，$T$是预算。这些比率表明，依赖于$K$的极大极小遗憾变化显着取决于形状约束。这突出了这样一个事实，即形状约束从根本上修改了TBP的性质。
2021-02-23 cs.LG stat.ML
Locally Differentially Private Thresholding Bandits
Bocconi University（博科尼大学）；Imperial College London（伦敦帝国理工学院）
本研究针对阈值多臂赌博机问题，在固定预算和固定置信度设置下提出基于伯努利差分隐私机制的私有响应方法，推导理论性能界并证明其在多项式对数因子内匹配通用下界，为隐私保护决策框架提供见解。
2025-08-24 cs.LG
Pure Exploration in Asynchronous Federated Bandits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Yale University（耶鲁大学）；Oregon State University（俄勒冈州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对联邦多臂老虎机和线性老虎机的纯探索问题，提出首个固定置信度下的异步算法，在完全异步环境中实现接近最优的样本复杂度与高效通信，并通过实验验证其有效性。
2024-09-30 cs.LG
Constant or logarithmic regret in asynchronous multiplayer bandits
ENSAE（国立统计与经济管理学院）；Crest（经济与统计研究中心）；Criteo AI Labs（科韬人工智能实验室）；INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）
本文研究异步多人赌博机问题，提出集中式算法 Cautious Greedy，在最优策略覆盖所有臂时实现常数遗憾，否则为对数遗憾，并证明其在数据依赖项上最优，突破了此前 $O(T^{2/3})$ 的遗憾上界。
2023-05-31 cs.LG stat.ML
Online Sign Identification: Minimization of the Number of Errors in Thresholding Bandits
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学校）；UMR 9189 CRIStAL（CRIStAL联合研究单位）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；Grenoble INP（格勒诺布尔理工学院）；LJK（LJK实验室）；Crest（CREST研究中心）；Ensae（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
在固定预算阈值强盗问题中，算法顺序地将预算数量的样本分配到不同的分布。然后，它预测每个分布的平均值是大于还是小于给定的阈值。我们介绍了一个大家庭的算法（包含大多数现有的相关），灵感来自弗兰克-沃尔夫算法，并提供了一个全面而通用的分析其性能。这使我们能够构建新的显式算法，为广泛的一类问题，其损失是在一个小的常数因子的非自适应Oracle的。非常有趣的是，我们观察到自适应方法在经验上大大优于非自适应神谕，这在标准在线学习设置中是一种不常见的行为，例如后悔最小化。我们解释这个令人惊讶的现象上有见地的玩具问题。
2021-10-18 cs.LG
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia（弗吉尼亚大学）
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增，例如，在联邦学习中，如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中，我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架，异步模型更新和通信的同构客户端和异构客户端的集合，分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析，并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
Thresholding Data Shapley for Data Cleansing Using Multi-Armed Bandits
Research and Development Group Hitachi, Ltd.（日立公司研发集团）
针对 Data Shapley 评估数据贡献计算成本高的问题，提出基于阈值化老虎机算法的迭代方法，在保证模型性能的同时快速识别并移除有害实例，有效提升了数据清洗的计算速度。
2024-02-13 cs.AI cs.LG
Gradient Ascent for Active Exploration in Bandit Problems
Institut de Mathématiques de Toulouse, Université de Toulouse（图卢兹大学图卢兹数学研究所）；IRT Saint Exupéry（圣埃克絮佩里技术研究院）
对于一般的主动探索强盗问题，在固定置信度下，我们提出了一种基于梯度上升的新算法。这个问题包括几个很好的研究问题，如最佳手臂识别或持牌土匪。它包括一个新的采样规则的基础上在线懒惰镜像上升。我们证明了该算法是渐近最优的，最重要的是，计算效率。
2019-05-20 cs.LG stat.ML
Decentralized Asynchronous Multi-player Bandits
Northeastern University, China（东北大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
针对无全局时钟、玩家可任意进出的去中心化异步MP-MAB问题，提出探索与利用自适应切换、低概率检测玩家离开的算法，获得次线性遗憾并经实验验证。
2025-09-30 cs.LG stat.ML
From Restless to Contextual: A Thresholding Bandit Reformulation For Finite-horizon Improvement
Cornell Tech（康奈尔科技）；Causal Foundry
本文通过将在线动态老虎机重新公式化为预算阈值上下文老虎机，解决了现有算法在有限时间 horizon 性能差的问题，提出了一种实用学习策略，实现了亚线性遗憾，提升了累积奖励。
2026-04-06 cs.LG
Thresholding Bandits with Augmented UCB
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在本文中，我们提出了增强UCB（AugUCB）算法的固定预算版本的阈值强盗问题（TBP），其中的目标是确定一组武器的质量高于阈值。AugUCB的一个关键特征是，它使用均值和方差估计来消除已经充分探索的武器;据我们所知，这是第一个采用这种方法来考虑TBP的算法。从理论上讲，我们得到的损失（错误分类的概率）AugUCB上的上限。虽然文献中的UCBEV提供了更好的保证，但重要的是要强调UCBEV可以访问问题复杂性（其计算需要手臂的均值和方差），因此在实践中并不现实;这与AugUCB相反，AugUCB的实现不需要任何此类复杂性输入。我们进行了大量的仿真实验，以验证AugUCB的性能。通过我们的模拟工作，我们建立AugUCB，由于其利用方差估计，执行显着优于国家的最先进的APT，CSAR和其他非方差为基础的算法。
2019-06-07 cs.LG
Multi-thresholding Good Arm Identification with Bandit Feedback
Informatics Dept, Faculty of Information Science and Electrical Engineering, Kyushu University, Japan（信息学系，信息科学与电气工程学部，九州大学，日本）；Computational Learning Theory Team, RIKEN-AIP, Fukuoka, 819-0395, Japan（计算学习理论团队，日本理化学研究所-AIP，福冈，日本）
研究多目标随机bandit中的好臂识别问题，提出MultiTUCB算法，在合成和真实数据集上表现优于基线方法。
2025-06-26 cs.LG
On-Demand Communication for Asynchronous Multi-Agent Bandits
Univ. of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Nanjing University（南京大学）；The Chinese Univ. of Hong Kong（香港中文大学）
本文提出按需通信协议ODC，针对异步多智能体多臂老虎机问题，根据经验拉动时间定制通信，集成于UCB和AAE扩展算法，实现通信高效且遗憾值接近最优。
2023-08-31 cs.DC cs.LG cs.MA
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CREST（CREST（法国国家统计与经济研究所研究中心））；ENSAE（法国国立统计与经济管理学校）
针对异构异步多玩家老虎机最优分配计算的未解决问题，证明其NP难性，提出贪心算法并给出1/e及1/√e的近似保证，为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
The Batch Complexity of Bandit Pure Exploration
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究随机多臂赌博机纯探索中的批次复杂度，给出任意样本高效算法所需批次数的实例相关下界，并提出通用分批算法证明其上界，在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
Decentralized Exploration in Multi-Armed Bandits -- Extended version
Orange Labs（奥兰治实验室）；Microsoft Research（微软研究院）
我们考虑分散的探索问题：一组玩家通过与相同的随机环境异步交互来协作识别最佳手臂。我们的目标是确保在异步，协作和节俭的球员之间的最佳手臂识别问题的隐私。在数字服务的背景下，我们主张这种分散的方法可以在用户的利益和服务提供商的利益之间实现良好的平衡：提供商优化其服务，同时保护用户的隐私并节省资源。我们将隐私级别定义为对手通过拦截有关单个用户的消息可以推断出的信息量。我们提供了一个通用的算法分散消除，它使用任何最好的手臂识别算法作为一个子程序。我们证明，该算法确保隐私，具有较低的通信成本，并在最佳手臂识别问题的下界相比，其样本复杂性遭受的惩罚取决于最频繁的球员的概率的倒数。然后，由于该方法的通用性，我们将该算法扩展到非平稳土匪。最后，通过实验验证并完成了分析.
2023-01-16 cs.LG stat.ML
Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users
University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究联邦上下文组合级联赌博机问题，提出一种支持异步通信和异构用户聚类的UCB型算法，在仅付出对数级通信成本的同时取得与同步框架相当的次线性遗憾界。
2024-02-26 cs.AI cs.LG
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University（西江大学）
对于有约束的多臂强盗模型，通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下，最优值是已知的。我们给出了渐近最优性概率的一个有限时间界，该概率为1-O（|A| Te^{-T}），其中T是视界大小，A是强盗中的臂的集合。然后，我们研究了一个宽松的版本的算法，估计的最优值的一般形式，并讨论了算法的渐近最优性后，一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Thresholded Lasso Bandit
KTH Royal Institute of Technology（瑞典皇家理工学院）；Cyberagent, Inc.（Cyberagent公司）
在本文中，我们重新审视稀疏随机上下文线性土匪的遗憾最小化问题，其中特征向量可能是大尺寸$d$，但其中的奖励函数取决于一些，比如说$s_0\ll d$，这些功能。我们提出了一种新的Lasso bandit算法，该算法（i）估计定义奖励函数及其稀疏支持的向量，即，显著特征元素，使用阈值化的Lasso框架，以及（ii）根据投影在其支持上的此估计来选择臂greatest。该算法不需要稀疏指数$s_0$的先验知识，并且在一些对称假设下可以是无参数的。对于这个简单的算法，我们建立非渐近遗憾的上限缩放一般为$\mathcal{O}( \log d + \sqrt{T} )$，并作为$\mathcal{O}( \log d + \log T)$下所谓的利润率条件（概率条件下的分离的手臂奖励）。先前算法的遗憾在两种设置中分别缩放为$\mathcal{O}( \log d + \sqrt{T \log (d T)})$和$\mathcal{O}( \log T \log d)$。通过数值实验，我们证实了我们的算法优于现有的方法。
2022-06-19 cs.LG stat.ML
Decentralized Competing Bandits in Non-Stationary Matching Markets
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云科技人工智能）；UC Berkeley（加州大学伯克利分校）
了解双边在线匹配市场的复杂动态，需求方代理商竞争与供应方（武器）匹配，最近收到了很大的兴趣。为此，在本文中，我们介绍了非平稳（动态）环境下的分散双边匹配市场的框架。我们坚持串行独裁设置，需求方代理商有未知的和不同的偏好，供应方（武器），但武器有固定的和已知的偏好。我们提出并分析了一个分散和异步的学习算法，即分散的非平稳竞争土匪（\texttt{DNCB}），其中代理人发挥（限制性）连续消除型学习算法，以了解他们的偏好的武器。理解这样一个系统的复杂性源于这样一个事实，即竞争的强盗以异步的方式选择他们的行动，并且较低排名的代理只能从一组手臂中学习，而不是由较高排名的代理学习PDMATHAMN，这导致\emph{forced exploration}。仔细定义的复杂性参数，我们描述了这个\emph{forced exploration}，并获得次线性（对数）遗憾的\texttt{DNCB}。此外，我们通过实验验证了我们的理论研究结果。
2022-05-31 cs.IT cs.LG math.IT
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
Batch Entanglement Detection in Parameterized Qubit States using Classical Bandit Algorithms
IIT Madras（印度马德拉斯理工学院）；IBM Research India（IBM印度研究院）
本文提出一种基于经典多臂老虎机算法的批量纠缠检测方法，通过测量单参数纠缠见证者并设置阈值，实现对两量子比特状态集的纠缠识别，展示了其在量子信息处理中的应用。
2026-03-23 cs.AI cs.LG quant-ph
Robust Actor-Critic Contextual Bandit for Mobile Health (mHealth) Interventions
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们认为行动者-评论家的上下文强盗的移动健康（mHealth）干预。最先进的决策算法通常会忽略数据集中的离群值。在本文中，我们提出了一种新的强大的上下文强盗方法的mHealth。与现有的上下文Bandit方法相比，该方法在不含离群点的数据集上既能减少离群点的影响，又能寻求相似的解，从而达到了一个矛盾的目标。这种性能依赖于两种技术：（1）capped- $\ell_{2}$范数;（2）设置阈值超参数的可靠方法，其灵感来自统计学中最基本的技术之一。虽然该模型是非凸和不可微的，我们提出了一个有效的加权算法，并提供坚实的理论分析。我们证明了所提出的算法可以找到足够的减少点后，每次迭代，并最终收敛后，有限次迭代。在两个数据集上的大量实验结果表明，我们的方法可以实现几乎相同的结果相比，国家的最先进的上下文强盗方法在数据集上没有离群值，并显着优于那些国家的最先进的方法在严重噪声数据集与离群值在各种参数设置。
2018-02-27 cs.LG
Federated Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
上下文多臂强盗（MAB）是推荐系统中一个重要的序贯决策问题。一系列的作品，被称为土匪集群（CLUB），利用用户之间的协作效应，并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧，越来越多的人要求保持用户数据分散，并将强盗学习推到本地服务器端。然而，现有的CLUB算法是在集中式设置下设计的，其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗（FCUB）问题，其目的是最大限度地减少总遗憾，同时满足隐私和通信的考虑。针对这个问题，我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私，以前的差分隐私（DP）的定义是不是很合适，我们提出了一个新的DP的概念，作用于用户集群级别。我们提供了严格的证据表明，我们的算法同时实现（聚类）DP，次线性通信复杂性和次线性遗憾。最后，实验评估表明，我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests
Cornell University（康奈尔大学）；Alibaba Group（阿里巴巴集团）
研究了高度非平稳环境下的上下文强盗问题。由于用户兴趣的时变，上下文强盗问题在各种推荐系统中普遍存在。两个模型与不相交和混合支付被认为是表征的现象，用户对不同的项目的偏好不同，随着时间的推移。在不相交支付模型中，使用手臂的奖励由特定于手臂的偏好向量确定，该偏好向量是分段平稳的，不同手臂之间的变化是异步的和明显的。提出了一种有效的学习算法，是自适应的突然奖励的变化和理论的遗憾分析表明，一个次线性缩放的时间长度$T$的遗憾实现。该算法被进一步扩展到一个更一般的设置与混合的回报，其中的奖励，发挥手臂是由一个手臂特定的偏好向量和联合系数向量共享的所有武器。在真实世界的数据集上进行了实证实验，以验证所提出的学习算法在这两种设置下对基线的优势。
2020-02-29 cs.AI cs.LG stat.ML
An Efficient Algorithm for Cooperative Semi-Bandits
Institute for Data Science & Analytics（数据科学与分析研究所）；Bocconi University（博科尼大学）；Toulouse School of Economics（图卢兹经济学院）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
本文研究了多智能体网络上的异步在线组合优化问题。在每个时间步，一些代理被随机激活，请求进行预测，系统支付相应的损失。然后，主动代理的邻居接收半强盗反馈，并交换一些简洁的本地信息。我们的目标是最大限度地减少网络的遗憾，定义为累计损失的预测活性剂和事后最佳的行动，从一个组合决策集选择之间的差异。在这样的背景下，主要的挑战是控制所得到的算法的计算复杂性，同时保留最小最大最优后悔保证。我们介绍了Coop-FTPL，这是著名的Follow The Perturbed Leader算法的合作版本，它实现了一个新的损失估计过程，将Neu和Bart{ó}k [2013]的几何恢复推广到我们的设置。假设决策集的元素是k维二进制向量，最多有m个非零元素，$α$ 1是网络的独立数，我们证明了我们算法在T个时间步后的期望后悔是QmkTlog（k）（k $α$ 1 /Q + m）阶，其中Q是总激活概率质量.此外，我们证明，这是只有$\sqrt$ k log k-远离最佳可实现的速率和Coop-FTPL具有最先进的T 3/2最坏情况下的计算复杂性。
2021-02-09 cs.LG stat.ML
ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
提出ALMAB-DC框架，结合高斯过程代理模型、多臂老虎机控制和异步分布式调度，解决昂贵黑箱优化问题，在多个基准上显著优于现有方法。
2026-06-03 cs.LG stat.CO stat.ME
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
在无限臂强盗问题中，每个臂的平均奖励从未知分布中采样，并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值，并提出了统一的Meta算法离线和在线设置，实现最佳的样本复杂性。我们表明，在线估计，学习者可以顺序选择是否采样一个新的或现有的手臂，提供了没有优势的离线设置估计的平均功能，但显着降低了其他功能，如中位数，最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下，我们确定了一个奇怪的阈值的现象，高斯卷积之间的不变性相对于噪声水平，这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT
Distributed Algorithms for Multi-Agent Multi-Armed Bandits with Collision
针对无中心协调的多玩家多臂老虎机碰撞问题，提出带自适应通信协议的分布式算法，实现近最优群体与个体遗憾，通信成本仅O(log log T)，并扩展至异步场景。
2025-10-08 cs.LG
Distributed Bandits with Heterogeneous Agents
The Chinese University of Hong Kong（香港中文大学）
本文解决了一个多智能体的强盗设置$M$代理合作解决同一个$K$武装随机强盗问题的情况下。代理商为\textit{heterogeneous}：每个代理具有对本地分支子集的有限访问，并且代理是异步的，在决策回合之间具有不同的间隙。每个智能体的目标是找到其最优的局部分支，并且智能体可以通过与其他智能体共享他们的观察结果来进行合作。虽然代理之间的合作提高了学习的性能，但它带来了代理之间通信的额外复杂性。对于这种异构的多代理设置，我们提出了两种学习算法，\ucbo和\AAE。我们证明了这两种算法实现了订单最优的遗憾，这是$O\left(\sum_{i:\tildeΔ_i>0} \log T/\tildeΔ_i\right)$，其中$\tildeΔ_i$是最小次优差距之间的奖励平均臂$i$和任何局部最优臂。此外，仔细选择有价值的信息合作，\AAE实现了低的通信复杂性度$O(\log T)$。最后，数值实验验证了这两种算法的有效性。
2022-02-16 cs.DC cs.LG
High-dimensional Linear Bandits with Knapsacks
Department of Statistics and Data Science, University of Pennsylvania（统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, The Hong Kong University of Science and Technology（数学系，香港科学与技术大学）；Department of Industrial Engineering & Decision Analytics, The Hong Kong University of Science and Technology（工业工程与决策分析系，香港科学与技术大学）
针对高维线性背包赌博机问题，提出结合在线硬阈值稀疏估计与原始-对偶更新的算法，实现随特征维度对数增长的次线性遗憾，并在特定条件下达到最优遗憾界。
2026-09-09 cs.DS cs.LG stat.ML
Thresholding Bandit for Dose-ranging: The Impact of Monotonicity
我们分析了样本的阈值强盗问题的复杂性，有和没有假设的平均值的武器增加。在每种情况下，我们提供了一个有效的下界为任何风险$δ$和任何$δ$正确的算法，此外，我们提出了一个算法的样本复杂度是相同的数量级的小风险。这项工作的动机是1期临床试验，一个实际上重要的设置，其中手臂的手段是增加的性质，并在没有令人满意的解决方案是迄今为止。
2018-07-24 math.ST stat.ML stat.TH
Whittle Index Learning Algorithms for Restless Bandits with Constant Stepsizes
IIIT Allahabad（印度阿拉巴德国际信息技术学院）；IIT Madras（印度马德拉斯理工学院）
针对不安分多臂老虎机，提出恒定步长双时间尺度随机逼近的 Whittle 指数学习框架，结合 Q-learning、DQN 及函数逼近，并通过分析与数值实验验证其有效性。
2024-09-06 cs.LG cs.SY eess.SY
Scaling Federated Linear Contextual Bandits via Sketching
University of Science and Technology of China（中国科学技术大学）；University of Washington Tacoma（华盛顿大学塔可姆分校）
本文提出FSCLB算法，通过SVD和双降维策略降低联邦线性上下文老虎机的计算和通信开销，理论分析证明其在降维后仍能保持最优 regret 绑定。
2026-05-01 cs.LG
Federated Linear Bandits with Finite Adversarial Actions
University of Virginia（弗吉尼亚大学）；Texas A&M University（德克萨斯A&M大学）
本文提出 FedSupLinUCB 解决客户端异构有限对抗动作下的联邦线性上下文老虎机问题，获得阶最优遗憾、通信复杂度及方差自适应与抗损坏扩展。
2023-11-02 cs.IT cs.LG math.IT
Regret and Belief Complexity Trade-off in Gaussian Process Bandits via Information Thresholding
University of Maryland（马里兰大学）；Purdue University（普渡大学）；US Army Research Laboratory（美国陆军研究实验室）；Amazon（亚马逊）
贝叶斯优化是一种通过最大后验更新而不是模拟退火进行全局搜索的框架，并且在不确定性下的决策制定中获得了突出地位。在这项工作中，我们投贝叶斯优化作为一个多臂强盗问题，其中的支付函数是从高斯过程（GP）采样。此外，我们专注于通过置信上限（UCB）或预期改善（EI），由于其在实践中的普遍使用的行动选择。以前的作品使用GPS的土匪不能允许迭代范围$T$是大的，因为计算后验参数的复杂性与过去的观察的数量成三次方。为了避免这种计算负担，我们提出了一个简单的统计测试：只有将一个动作纳入GP后，当其条件熵超过$ε$阈值。这样做，使我们能够精确地描述之间的权衡遗憾界的GP强盗算法和复杂性的后验分布依赖于压缩参数$ε$离散和连续的行动集。据我们所知，这是第一个结果，使我们能够获得次线性遗憾界，同时仍然保持次线性增长率的复杂性后，在现有的文献中是线性的。此外，可以实现复杂度的可证明有限界，但该算法将导致$ε$ -遗憾，这意味着$\textbf{Reg}_T/T \rightarrow \mathcal{O}(ε)$作为$T\rightarrow \infty$。实验上，我们观察到国家的最先进的精度和复杂性的权衡GP强盗算法应用于全局优化，这表明压缩GP的优点，在强盗设置。
2022-03-21 cs.IT cs.LG math.IT
Social Learning in Multi Agent Multi Armed Bandits
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Bristol（布里斯托尔大学）
在本文中，我们介绍了一个分布式版本的经典随机多臂强盗（MAB）问题。我们的设置包括大量的代理$n$，协作和同时解决同一个实例的$K$武装MAB，以尽量减少平均累积遗憾超过所有代理。代理可以通过交换有限数量的比特的基于成对异步流言的协议在彼此\emph{only}之间通信和协作。在我们的模型中，每个点上的智能体决定（i）使用哪只手臂，（ii）是否使用，如果使用，（iii）与什么和谁通信。在我们的模型中，代理是分散的，即他们的行为只取决于他们过去观察到的历史。我们开发了一种新的算法，在该算法中，代理人，无论何时选择，通信只手臂ID，而不是样本，与另一个代理人选择统一和独立的随机。我们的算法实现的每个代理后悔缩放是$O \left( \frac{\lceil\frac{K}{n}\rceil+\log(n)}Δ \log(T) + \frac{\log^3(n) \log \log(n)}{Δ^2} \right)$。此外，我们算法中的任何代理在$T$的时间间隔内仅通信总共$Θ(\log(T))$次。我们将我们的结果与两个基准进行比较-一个是代理之间没有通信，另一个对应于完整的交互。我们表明，无论是理论上和经验，我们的算法经验显着减少每代理遗憾的情况下，当代理不合作和通信复杂性性相比，需要$T$通信尝试由代理在$T$手臂拉的完整的交互设置。
2019-11-05 cs.DC cs.LG cs.NI
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Dual-Directed Algorithm Design for Efficient Pure Exploration
Stanford Graduate School of Business, Stanford University（斯坦福商学院、斯坦福大学）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（工业工程与决策分析系、香港科学与技术大学）
针对多类纯探索问题，提出基于对偶变量的统一算法设计原则，衍生出信息导向选择规则，使top-two汤普森采样达到渐近最优，并适用于阈值赌博机与ε-最优臂识别。
2025-05-27 cs.LG stat.ML
Minimax Rate-Optimal Algorithms for High-Dimensional Stochastic Linear Bandits
针对高维稀疏随机线性赌博机，提出基于阈值化Lasso的三阶段臂选择算法，达到最小最大遗憾率，并给出匹配上下界。
2025-05-23 math.ST stat.ML stat.TH
Integrating Multi-Armed Bandit, Active Learning, and Distributed Computing for Scalable Optimization
Institute of Statistical Science（统计科学研究所）；Academia Sinica, Taiwan（台湾中央研究院）
ALMAB-DC通过集成主动学习、多臂老虎机和分布式计算，提供了一种高效可扩展的黑箱优化框架，适用于高维和资源密集型优化问题。
2026-01-02 stat.CO stat.ML
Adaptive Double-Exploration Tradeoff for Outlier Detection
The Chinese University of Hong Kong（香港中文大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）
我们研究了一个变种的阈值强盗问题（TBP）的背景下，离群值检测，其目标是确定离群值的奖励高于阈值。与传统的TBP算法不同的是，阈值被定义为所有臂的回报的函数，这是由识别异常值的标准所驱动的。学习者需要探索手臂的回报以及门槛。我们把这个问题称为“离群点检测的双重探索”。我们构造一个自适应更新的置信区间的阈值，在前几轮的阈值的估计值的基础上。此外，通过自动权衡探索各个臂和探索离群阈值，我们提供了一个有效的算法的样本复杂度。在人工数据集和真实数据集上的实验结果表明了该算法的有效性。
2022-03-21 cs.LG stat.ML
