Scaling Federated Linear Contextual Bandits via Sketching
University of Science and Technology of China（中国科学技术大学）；University of Washington Tacoma（华盛顿大学塔可姆分校）
本文提出FSCLB算法，通过SVD和双降维策略降低联邦线性上下文老虎机的计算和通信开销，理论分析证明其在降维后仍能保持最优 regret 绑定。
2026-05-01 cs.LG
Federated Neural Bandits
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近关于神经上下文强盗的工作已经取得了令人信服的性能，因为它们能够利用神经网络（NN）的强大表示能力进行奖励预测。上下文强盗的许多应用涉及多个代理谁合作，而不共享原始观察，从而产生了联邦上下文强盗的设置。现有的联邦上下文bandits依赖于线性或内核化bandits，这在建模复杂的现实世界奖励函数时可能会有所不足。因此，本文引入了联邦神经元置信上界（FN-UCB）算法。为了更好地利用联合设置，FN-UCB采用两个UCB的加权组合：$\text{UCB}^{a}$允许每个代理额外使用来自其他代理的观察来加速探索（而不共享原始观察），而$\text{UCB}^{b}$使用具有聚合参数的NN进行奖励预测，其方式类似于监督学习的联合平均。值得注意的是，我们的理论分析所需的两个UCB之间的权重适合于有趣的解释，该解释最初强调$\text{UCB}^{a}$以加速探索，并且在收集了足够的观察结果以训练NN以进行准确的奖励预测之后更依赖于$\text{UCB}^{b}$（即，可靠的开发）。我们证明了FN-UCB的累积遗憾和通信回合数的次线性上界，并实证证明了其竞争性能。
2023-03-01 cs.AI cs.LG
Vertical Federated Linear Contextual Bandits
Tencent AI Lab（腾讯人工智能实验室）；HKUST（香港科技大学）；Tencent（腾讯）
在本文中，我们研究了一个新的问题，建立上下文土匪在垂直联邦设置，即，上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此，我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制（O3M）加密本地上下文信息，同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法，LinUCB和LinTS，并实例化两个实际的协议，在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时，很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验，我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）
我们研究联邦上下文线性强盗，其中$M$代理相互合作，以解决一个全球性的上下文线性强盗问题的帮助下，一个中央服务器。我们考虑异步设置，其中所有代理独立工作，一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一个简单的算法命名为\texttt{FedLinUCB}基于乐观的原则。我们证明了\texttt{FedLinUCB}的后悔受$\tilde{O}(d\sqrt{\sum_{m=1}^M T_m})$约束，通信复杂性为$\tilde{O}(dM^2)$，其中$d$是上下文向量的维数，$T_m$是第$m$个体与环境交互的总次数.据我们所知，这是第一个可证明有效的算法，允许完全异步通信的联邦上下文线性土匪，同时实现相同的遗憾保证在单代理设置。
2022-07-07 cs.LG stat.ML
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Fairness and Privacy Guarantees in Federated Contextual Bandits
IIIT, Hyderabad（印度理工学院海得拉巴分校）；IIT, Ropar（印度理工学院罗帕尔分校）
本文提出联邦公平上下文老虎机算法Fed-FairX-LinUCB及其隐私版本，通过新颖通信协议实现次线性公平遗憾，并保证差分隐私，实验验证其接近最优性能。
2024-02-05 cs.LG
Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach
University of Kansas（堪萨斯大学）
本文针对个性化联邦学习中的动态用户聚类问题，提出受多臂老虎机启发的dUCB算法，以平衡探索与利用，帮助新用户高效找到最佳聚类，并通过多场景实验验证其有效性。
2023-10-29 cs.DC cs.LG
Personalized Federated X -armed Bandit
Purdue University（普渡大学）
本文研究个性化联邦 $\mathcal{X}$-armed bandit 问题，提出具有双重淘汰策略的 \texttt{PF-PNE} 算法，在保护数据机密性下优化异构局部目标，理论分析证明其优于单客户端算法，并在合成和真实数据集上表现更佳。
2023-10-25 cs.LG stat.ML
Federated Multi-Armed Bandits Under Byzantine Attacks
Bilkent University（毕尔肯大学）；Massachusetts Institute of Technology（麻省理工学院）
针对联邦多臂老虎机中的通信效率与拜占庭攻击问题，提出Fed-MoM-UCB在线算法，并证明拜占庭客户端占比低于一半时β-最优臂遗憾高概率有界。
2025-02-17 cs.LG
Federated $\mathcal{X}$-armed Bandit with Flexible Personalisation
School of Mathematical Sciences（数学科学学院）；Lancaster University（兰卡斯特大学）
针对高度异构环境下联邦学习的局部与全局目标优化难题，提出一种结合客户端偏好与全局知识的代理目标函数及阶段式消除算法，实现次线性遗憾与对数级通信开销，在多领域有应用潜力。
2024-09-11 cs.LG stat.ML
Federated Multi-armed Bandits with Personalization
University of Virginia（弗吉尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
提出了一种个性化联邦多臂强盗（PF-MAB）的一般框架，它是一种类似于监督学习中联邦学习（FL）框架的新的强盗范式，具有FL的个性化特征。在PF-MAB框架下，研究了一种灵活平衡泛化和个性化的混合强盗学习问题。给出了混合模型的下界分析。然后，我们提出了个性化的联邦置信上限（PF-UCB）算法，其中的探索长度是精心选择，以实现所需的平衡学习的局部模型和提供全局信息的混合学习目标。理论分析表明，PF-UCB算法实现了与个性化程度无关的$O(\log(T))$遗憾，并具有与下界相似的实例依赖性.实验结果验证了理论分析的正确性，并证明了算法的有效性。
2021-02-25 cs.IT cs.LG math.IT
Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits
KAIST（韩国科学技术院）
联邦学习已经成为协作机器学习的创新范例。与传统的机器学习不同，全局模型是协作学习的，而数据仍然分布在大量的客户端设备上，因此不会损害用户隐私。然而，尽管它非常受欢迎，但仍然存在一些挑战;首先，联邦学习中的全局聚合涉及有偏模型平均的挑战和客户端采样中缺乏先验知识，这反过来又分别导致高泛化误差和慢收敛速度。在这项工作中，我们提出了一种新的算法，称为FedCM，解决了两个挑战，利用先验知识与多臂强盗为基础的客户端采样和过滤偏置模型与组合模型平均。基于使用各种算法和代表性异构数据集的广泛评估，我们表明FedCM在泛化精度和收敛速度方面分别显著优于最先进的算法高达37.25%和4.17倍。
2020-12-06 cs.DC cs.LG
Online Clustering of Contextual Cascading Bandits
The Chinese University of Hong Kong（香港中文大学）
我们认为一个新的设置的上下文级联土匪，在线学习问题，其中底层的集群结构的用户是未知的，需要从一个随机的前缀反馈学习的在线聚类。更确切地说，学习代理向用户推荐有序的项目列表，用户检查列表并在第一个满意的项目处停止（如果有的话）。我们提出了一个俱乐部级联算法，并证明了一个$T$ -步遗憾界的顺序$\tilde{O}(\sqrt{T})$。以前的工作对应于退化的情况下，只有一个集群，我们的一般遗憾界在这种特殊情况下也显着提高他们。我们在人工数据和真实数据上进行了实验，并证明了我们的算法的有效性和结合在线聚类方法的优势。
2019-02-01 cs.LG
FedMABA: Towards Fair Federated Learning through Multi-Armed Bandits Allocation
The Chinese University of Hong Kong（香港中文大学）
针对联邦学习中统计异构导致的客户端性能不公平问题，本文提出基于对抗性多臂老虎机分配的FedMABA算法，并在多种Non-I.I.D.场景下验证其公平性提升效果。
2024-10-26 cs.CR cs.LG
Communication-Efficient Federated Non-Linear Bandit Optimization
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
针对现有联邦老虎机优化仅支持简单函数类的局限，提出适用于通用非线性目标的Fed-GO-UCB算法，证明其在累积遗憾和通信成本上均达次线性速率，实验验证了有效性。
2023-11-03 cs.DC cs.LG
Mobility-Aware Federated Learning: Multi-Armed Bandit Based Selection in Vehicular Network
Frontier Research Center, Pengcheng Laboratory（鹏城实验室前沿研究中心）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对车载网络中车辆移动导致联邦学习训练失败的问题，提出移动感知方案MAVFL，利用实时参与率进行车辆选择，并设计基于多臂老虎机的算法最小化训练损失与延迟，实现约28%的更快收敛。
2024-10-15 cs.AI cs.LG
Federated Linear Contextual Bandits with User-level Differential Privacy
Google（谷歌）；Meta；The Pennsylvania State University（宾夕法尼亚州立大学）；Meta Platforms, Inc.（元平台公司）
该研究聚焦用户级差分隐私下的联邦线性上下文老虎机问题，构建统一联邦老虎机框架，分别提出中心差分隐私近优算法并推导匹配上下界，同时给出本地差分隐私下的后悔下界，明确学习性能与隐私保障的权衡关系。
2023-06-09 cs.CR cs.IT cs.LG
Federated Linear Contextual Bandits
The Pennsylvania State University（宾夕法尼亚州立大学）；Facebook；University of Virginia（弗吉尼亚大学）
本文提出了一种新的联邦线性上下文强盗模型，其中每个客户端面对不同的$K$武装随机强盗通过共同的全局参数耦合。通过利用线性奖励的几何结构，提出了一种称为Fed-PE的协作算法，以应对客户端之间的异构性，而无需交换本地特征向量或原始数据。Fed-PE依赖于一种新的多客户端G-最优设计，并实现了接近最优的遗憾，不相交和共享参数的情况下，对数通信成本。此外，还引入了共线性相关策略的概念，并在此基础上得到了参数不相交时的极小极大后悔下界。实验证明了所提出的算法的有效性在合成和真实世界的数据集。
2021-10-27 cs.IT cs.LG math.IT
Privacy-Preserving Communication-Efficient Federated Multi-Armed Bandits
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
通信瓶颈和数据隐私是联邦多臂强盗（MAB）问题中的两个关键问题，例如通过无线连接车辆的决策和推荐情况。在本文中，我们设计的隐私保护通信效率的算法在这样的问题，并研究隐私，通信和学习性能之间的相互作用的遗憾。具体而言，我们设计了保护隐私的学习算法和通信协议，并推导出了网络私有代理在主从结构、分散结构和混合结构下进行在线强盗学习时的学习遗憾。我们的强盗学习算法是基于时代明智的次优臂消除在每个代理和代理交换学习知识与服务器/彼此在每个时代结束。此外，我们采用了差分隐私（DP）的方法来保护数据隐私在每个代理交换信息时，我们削减通信成本，使更少的代理参与更少的通信频率。通过分析我们提出的算法框架在主-工，分散和混合结构中的遗憾，我们从理论上展示了遗憾和通信成本/隐私之间的权衡。最后，我们实证显示这些权衡与我们的理论分析是一致的。
2021-11-02 cs.LG cs.NI
FedConPE: Efficient Federated Conversational Bandits with Heterogeneous Clients
The Chinese University of Hong Kong（香港中文大学）
针对集中式对话推荐的隐私与效率问题，提出联邦阶段淘汰算法 FedConPE，通过自适应关键术语协调异构客户端，实现近最优遗憾、更低通信与对话开销。
2024-06-20 cs.AI cs.LG stat.ML
Federated Linear Bandit Learning via Over-the-Air Computation
East China Normal University（华东师范大学）；EPFL（洛桑联邦理工学院）；ShanghaiTech University（上海科技大学）
针对无线联邦上下文线性老虎机学习的通信开销问题，提出基于AirComp的定制化联邦线性老虎机方案，经理论分析和实验验证其在多种设置下遗憾界性能具竞争力。
2023-08-28 cs.LG eess.SP stat.ML
Doubly Adversarial Federated Bandits
London School of Economics and Political Science（伦敦政治经济学院）
研究双重对抗非随机联邦多臂老虎机问题，提出近似最优算法FEDEXP3，在无需交换臂身份或损失序列下实现次线性遗憾，并验证其有效性。
2023-10-21 cs.AI cs.LG cs.MA
Incentivized Truthful Communication for Federated Bandits
University of Virginia（弗吉尼亚大学）；University of Chicago（芝加哥大学）
针对联邦老虎机中现有激励机制的诚实假设漏洞，提出激励兼容协议Truth-FedBan，使激励与报告成本无关，实现真实报告为最优策略，同时保持次线性遗憾和通信成本，首次实现激励兼容与近乎最优遗憾的兼得。
2024-02-07 cs.GT cs.LG
FedPOB: Sample-Efficient Federated Prompt Optimization via Bandits
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；South China University of Technology（华南理工大学）；University of Edinburgh（爱丁堡大学）；Beihang University（北航）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；East China Normal University（华东师范大学）；City University of Hong Kong（香港城市大学）
针对黑盒 LLM、查询成本与隐私协作难题，提出基于多臂赌博机的 FedPOB 及偏好反馈版 FedPOB-Pref，实现样本高效的联邦提示优化并优于基线。
2025-09-29 cs.AI cs.LG
Federated Multi-Armed Bandits
University of Virginia（弗吉尼亚大学）
联邦多臂强盗（Federated Multi-armed Bandits，FMAB）是与联邦学习（Federated Learning，FL）框架相对应的一种新的强盗范式，用于监督学习。它的灵感来自认知无线电和推荐系统中的实际应用，并享有功能，类似FL。本文提出了一个一般框架的FMAB，然后研究了两个具体的联邦强盗模型。我们首先研究近似模型，其中异构局部模型是从未知分布的全局模型的随机实现。该模型引入了客户端采样的新的不确定性，因为即使有限的局部模型是完全已知的，全局模型也可能无法可靠地学习。此外，这种不确定性不能量化的先验知识的次优差距。我们解决了近似模型，提出联邦双UCB（Fed 2-UCB），它构建了一个新的“双UCB”原则占臂和客户端采样的不确定性。我们表明，逐步承认新的客户端是实现O（log（T））的遗憾，同时明确考虑通信成本的关键。精确模型，其中的全球强盗模型是异构的本地模型的精确平均，然后作为一个特殊情况进行了研究。我们发现，有点令人惊讶的是，订单最优的遗憾，可以实现独立的客户端的数量与仔细选择的更新周期。实验结果验证了理论分析的正确性，并证明了算法的有效性。
2021-03-03 cs.IT cs.LG cs.MA
Federated Online Sparse Decision Making
本文提出了一种新的联邦线性上下文强盗模型，其中每个客户端面对不同的K-臂随机强盗与高维决策上下文和耦合通过共同的全局参数。通过利用线性奖励的稀疏性结构，提出了一种协作算法\texttt{Fedego Lasso}来处理客户端之间的异构性，而无需交换本地决策上下文向量或原始奖励数据. \texttt{Fedego Lasso}依赖于一种新的多客户端团队合作自私的强盗策略设计，并实现了接近最优的遗憾共享参数的情况下，对数通信成本。此外，一个新的概念工具，称为联邦自我中心的政策，介绍了划定探索开发权衡。实验证明了所提出的算法的有效性在合成和真实世界的数据集。
2022-03-20 cs.LG stat.ML
On Differentially Private Federated Linear Contextual Bandits
Wayne State University（韦恩州立大学）；Microsoft Research（微软研究院）
本文针对差分隐私下联邦线性情境老虎机中隐私保护失效、遗憾界错误等问题，提出通用算法框架，并在本地差分隐私和shuffle模型下实现近乎最优遗憾。
2023-05-31 cs.CR cs.LG
Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users
University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究联邦上下文组合级联赌博机问题，提出一种支持异步通信和异构用户聚类的UCB型算法，在仅付出对数级通信成本的同时取得与同步框架相当的次线性遗憾界。
2024-02-26 cs.AI cs.LG
Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Cornell University（康奈尔大学）
联邦学习（FL）是一种新兴的机器学习（ML）范例，用于训练多个节点（即，客户端）持有本地数据集，而不显式地交换数据。近年来，由于其在隐私考虑和通信资源方面的优势，它吸引了越来越多的兴趣。在FL中，选定的客户端训练它们的本地模型并将模型的函数发送到服务器，这消耗随机处理和传输时间。服务器更新全局模型并将其广播回客户端。FL中的客户端选择问题是在每个给定的时间调度一个子集的客户端进行训练和传输，以优化学习性能。在本文中，我们提出了一种新的基于多臂强盗（MAB）的客户端选择方法，以最大限度地减少训练延迟，而不损害模型的泛化能力，即为新的观察提供可靠的预测。我们开发了一种新的算法来实现这一目标，被称为强盗调度FL（BSFL）。我们从理论上分析BSFL，并表明它实现了对数遗憾，定义为BSFL的损失相比，一个精灵，有完整的知识的延迟意味着所有客户端。此外，使用合成和真实数据集的仿真结果表明，BSFL优于现有的方法。
2023-03-18 cs.LG eess.SP
Improved Algorithm on Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）；University of Cambridge（剑桥大学）
我们通过允许用户频率的非均匀分布来概括土匪在线聚类的设置。提出了一种更有效的算法，用简单的集合结构来表示簇。我们证明了新算法的遗憾界，它是免费的最小频率超过用户。在合成数据集和真实数据集上的实验结果表明，新算法优于现有的方法。
2019-07-02 cs.LG stat.ML
Online Clustering of Bandits
University of Insubria（因苏布里亚大学）；Amazon Development Center Germany（亚马逊德国开发中心）
我们介绍了一种新的算法方法，内容推荐的基础上自适应聚类的探索-剥削（“土匪”）的战略。我们提供了一个尖锐的遗憾分析，该算法在一个标准的随机噪声设置，证明其可扩展性，并证明其有效性的人工和真实世界的数据集。我们的实验表明，在预测性能显着增加国家的最先进的方法，强盗问题。
2014-06-06 cs.LG stat.ML
Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例，并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法，有效地将这种离线信息在在线探索阶段，并获得他们的遗憾界限。特别是，我们开发的Meta算法，有效地对冲其他两种算法：一个使用历史观测和聚类，另一个只使用历史观测。当聚类质量好时，前者优于后者，反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验，验证了我们的理论见解，并证明Meta是一种强大的策略，可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Towards Federated Multi-Armed Bandit Learning for Content Dissemination using Swarm of UAVs
Michigan State University（密歇根州立大学）
针对灾害场景下通信隔离用户的关键内容访问需求，提出无人机群混合网络架构，结合联邦多臂老虎机学习与选择性缓存算法优化缓存策略，提升内容可用性并验证其在多场景下的有效性。
2025-04-18 cs.LG cs.NI
BanditPAM: Almost Linear Time $k$-Medoids Clustering via Multi-Armed Bandits
Stanford University（斯坦福大学）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
聚类是数据科学中普遍存在的任务。与常用的$k$ -均值聚类相比，$k$ -中心点聚类要求聚类中心为实际数据点，并支持任意距离度量，从而允许更高的可解释性和结构化对象的聚类。当前最先进的$k$ -中心点聚类算法（诸如围绕中心点划分（PAM））是迭代的，并且对于每次迭代，数据集大小$n$是二次的，这对于大数据集是极其昂贵的。我们提出BanditPAM，一个随机算法的灵感来自多武装匪徒的技术，降低了从$O(n^2)$到$O(n \log n)$的每个PAM迭代的复杂性，并以高概率返回相同的结果，在实践中经常持有的数据的假设下。因此，BanditPAM匹配最先进的集群损失，同时更快地找到解决方案。我们在几个大型真实世界数据集上实证验证了我们的结果，包括编码练习提交数据集，10 x Genomics 68 k PBMC单细胞RNA测序数据集和MNIST手写数字数据集。在这些实验中，我们观察到BanditPAM返回与最先进的PAM类算法相同的结果，速度快4倍，同时执行的距离计算少200倍。BanditPAM所展示的改进使$k$ -medoids聚类能够应用于广泛的应用，包括识别大规模单细胞数据中的细胞类型，并为在线学习计算机科学的学生提供可扩展的反馈。我们还发布了我们算法的高度优化的Python和C++实现。
2020-12-06 cs.AI cs.LG stat.ML
Harnessing the Power of Federated Learning in Federated Contextual Bandits
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对现有联邦上下文老虎机（FCB）方法偏离经典联邦学习（FL）框架、难以复用FL成果的问题，提出基于逆间隔加权的FedIGW设计，可灵活整合FL协议、分析与附加功能，并通过理论与实验验证了其有效性。
2024-09-16 cs.IT cs.LG cs.MA
Optimal Clustering with Noisy Queries via Multi-Armed Bandit
Fudan University（复旦大学）
出于许多应用的动机，我们研究了一个错误的预言机的聚类。在该问题中，存在属于$k$未知簇的$n$项，允许算法询问oracle两个项是否属于同一簇。然而，来自神谕的答案只有在概率为$\frac{1}{2}+\fracδ{2}$的情况下才是正确的。目标是以最少的噪声查询来恢复隐藏的聚类。以前的工作表明，这个问题可以解决$O(\frac{nk\log n}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询，而$Ω(\frac{nk}{δ^2})$查询是必要的。因此，对于$k$和$δ$的任何值，在上限和下限之间仍然存在非平凡的差距。在这项工作中，我们获得了第一个匹配的上限和下限的参数范围很广。特别地，提出了一种新的带$O(\frac{n(k+\log n)}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询的多项式时间算法.此外，我们证明了一个新的下界的$Ω(\frac{n\log n}{δ^2})$，结合现有的$Ω(\frac{nk}{δ^2})$界，匹配我们的上限到一个添加剂$\text{poly}(k,\frac{1}δ,\log n)$长期。为了得到新的结果，我们的主要成分是我们的问题和多臂强盗之间的一个有趣的联系，这可能会提供有用的见解，为其他类似的问题。
2022-07-12 cs.LG
Graph Clustering Bandits for Recommendation
University of Insubria（因苏布里亚大学）；Telefonica Research（西班牙电信研究院）
我们研究了一种有效的上下文相关的聚类技术的推荐系统的基础上探索开发策略，通过多武装土匪在多个用户。我们的算法动态组用户的基础上观察到的行为相似性在一系列记录的活动。在这样做时，该算法通过在他/她周围塑造集群来对当前服务的用户做出反应，但同时，它探索了当前未参与的用户的集群的生成。我们激励这种聚类策略的有效性，并提供了一个广泛的实证分析，对现实世界的数据集，显示可扩展性和改进的预测性能超过国家的最先进的方法，顺序聚类的用户在多臂土匪的情况下。
2016-05-02 cs.AI cs.IR cs.LG
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Online Clustering of Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Tianjin University（天津大学）
本文首次提出对决赌博机聚类方法，通过 COLDB 和 CONDB 两种算法实现基于偏好反馈的多用户协作决策，并从理论和实验上证明其能改善遗憾界。
2025-02-04 cs.AI cs.LG
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Clustered Bandits
Tan Tao University（新陶大学）；Stanford University（斯坦福大学）；Technion（以色列理工学院）
我们考虑一个多臂强盗设置，其灵感来自电子商务中的真实应用。在我们的设置中，有几种类型的用户，每种用户对不同的手臂都有特定的反应。当用户进入系统时，决策者不知道他的类型。决策者可以单独对待每个用户，忽略先前观察到的用户，或者可以尝试利用只存在少数类型的优势，并根据用户对手臂的反应对用户进行聚类。我们设计的算法，结合通常的探索，开发权衡与聚类的用户和展示聚类的价值。在开发算法的集群设置的过程中，我们提出并分析了简单的算法的设置，决策者知道，用户属于少数类型之一，但不知道哪一个。
2012-06-19 cs.LG
Horde of Bandits using Gaussian Markov Random Fields
University of British Columbia（不列颠哥伦比亚大学）
强盗团伙（GOB）模型\cite{cesa2013gang}是最近的上下文强盗框架，共享信息之间的一组强盗问题，相关的一个已知的（可能是嘈杂的）图。该模型在推荐系统等问题中非常有用，在这些问题中，大量的用户使得在用户之间传输信息变得至关重要。尽管它的有效性，现有的GOB模型只能适用于小的问题，由于其二次时间依赖于节点的数量。解决可伸缩性问题的现有解决方案需要一个通常不切实际的集群假设。通过利用高斯马尔可夫随机场（GMRF）的连接，我们表明，GOB模型可以扩展到更大的图形，而无需额外的假设。此外，我们提出了一个汤普森采样算法，它使用最近的GMRF采样扰动技术，使其能够扩展到更大的问题（导致“成群”的土匪）。我们给遗憾的界限和实验结果GOB与汤普森采样和时代的贪心算法，表明这些方法是一样好或显着优于忽略图或采用基于聚类的方法。最后，当一个现有的图是不可用的，我们提出了一个启发式的学习它的飞行，并显示有希望的结果。
2017-03-07 cs.LG
Multi-Armed Bandit Based Client Scheduling for Federated Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
联邦学习（FL）利用分布式客户端的计算能力和本地数据，具有降低通信开销和保护数据隐私等普适特性。在FL的每一轮通信中，客户端根据自己的数据更新本地模型，并通过无线信道上传本地更新。然而，延迟所造成的数百至数千个通信轮仍然是一个瓶颈，在FL。为了尽量减少训练延迟，这项工作提供了一个多臂基于Bandit的框架在线客户端调度（CS）在FL不知道无线信道状态信息和统计特性的客户端。首先，我们提出了一种基于置信上限策略的CS算法（CS-UCB），用于理想场景，其中客户端的本地数据集是独立同分布的（i.i.d.）而且平衡。给出了CS-UCB算法的期望性能遗憾的上界，表明该算法的性能遗憾随通信轮次的增加而递增。然后，为了解决非i.i.d.以及本地数据集的不平衡性和客户端的可变可用性，提出了一种基于UCB策略和虚拟队列技术的CS算法（CS-UCB-Q）。给出了一个上界，表明在一定条件下，CS-UCB-Q算法的期望性能遗憾值随通信轮数呈次线性增长.此外，还分析了FL训练的收敛性能。仿真结果验证了算法的有效性。
2020-07-05 cs.IT cs.LG math.IT
Distributed Clustering of Linear Bandits in Peer to Peer Networks
University of Oxford（牛津大学）；Technion（以色列理工学院）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；University of Insubria（因苏布里亚大学）
我们提供了两个分布式置信球算法，用于解决有限通信能力的对等网络中的线性强盗问题。首先，我们假设所有的同行都在解决相同的线性强盗问题，并证明我们的算法实现了最佳的渐近后悔率的任何集中式算法，可以立即通信的同行之间的信息。对于第二个，我们假设有集群的同行解决相同的强盗问题，在每个集群，我们证明了我们的算法发现这些集群，同时实现最佳的渐近后悔率在每个。通过在几个真实数据集上的实验，我们证明了所提出的算法的性能相比，国家的最先进的。
2016-06-07 cs.AI cs.LG stat.ML
Anonymous Bandits for Multi-User Systems
Google Research（谷歌研究院）
在这项工作中，我们提出并研究了一个新的框架在线学习系统中的多个用户，提供用户匿名。具体来说，我们扩展的概念土匪遵守标准的$k$ -匿名约束，要求每个观察是至少$k$用户的奖励的聚合。这提供了一个简单而有效的框架，其中人们可以在线方式学习用户聚类，而无需观察任何用户的个人决策。我们开始研究匿名土匪，并提供了第一次次线性后悔算法和下界。
2022-10-21 cs.LG
Constructing Adversarial Examples for Vertical Federated Learning: Optimal Client Corruption through Multi-Armed Bandit
HKUST（香港科技大学）；Southeast University（东南大学）；Shenzhen Research Institute of Big Data, CUHK(SZ)（香港中文大学（深圳）深圳大数据研究院）；HKUST(GZ)（香港科技大学（广州））
本文针对纵向联邦学习推理过程提出一种自适应客户端破坏攻击，将最优破坏模式选择建模为多臂老虎机问题，并设计E-TS算法高效识别最优客户端子集以提升攻击成功率。
2024-08-08 cs.CR cs.LG
Clustering Items through Bandit Feedback: Finding the Right Feature out of Many
针对基于老虎机反馈的二分组聚类问题，提出利用Sequential Halving寻找相关特征的自适应算法，给出高概率恢复的预算上界及在部分情形下紧致的实例相关下界。
2025-03-18 cs.LG stat.ML
Clus-UCB: A Near-Optimal Algorithm for Clustered Bandits
Department of Electrical Engineering（电子工程系）；Indian Institute Of Technology Bombay（孟买印度理工学院）
本文针对已知聚类结构的多臂老虎机问题，提出Clus-UCB算法，通过聚类内信息共享实现渐近近最优的遗憾性能，并通过仿真验证其优于KL-UCB等现有算法。
2025-08-19 cs.LG
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong（香港中文大学）
本文针对老虎机在线聚类中识别用户簇所需的强假设问题，提出UniCLUB和PhaseUniCLUB两种增强探索算法，并引入平滑对抗情境设置以消除i.i.d.要求，在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
Online Clustering of Bandits with Misspecified User Models
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
本文首次提出用户模型误设下的老虎机聚类问题，设计两种鲁棒算法并证明其在更宽松假设下的遗憾上界，实验验证了算法优于现有方法。
2023-10-10 cs.AI cs.LG
Federated Linear Bandits with Finite Adversarial Actions
University of Virginia（弗吉尼亚大学）；Texas A&M University（德克萨斯A&M大学）
本文提出 FedSupLinUCB 解决客户端异构有限对抗动作下的联邦线性上下文老虎机问题，获得阶最优遗憾、通信复杂度及方差自适应与抗损坏扩展。
2023-11-02 cs.IT cs.LG math.IT
