Collaborative Filtering Bandits
University of Insubria（因苏布里亚大学）；Telefónica Research（西班牙电信研究中心）
经典的协同过滤和基于内容的过滤方法试图在给定训练数据的情况下学习静态推荐模型。这些方法在高度动态的推荐领域（如新闻推荐和计算广告）中远非理想，这些领域的项目和用户集非常不稳定。在这项工作中，我们研究了一种自适应聚类技术的内容推荐的基础上探索开发策略的上下文多臂强盗设置。我们的算法考虑到由于用户与项目的交互而产生的协作效应，通过基于正在考虑的项目动态地对用户进行分组，并且同时基于在用户上引起的聚类的相似性对项目进行分组。由此产生的算法，从而利用数据中的偏好模式的方式类似于协同过滤方法。我们对中等规模的真实世界数据集进行了实证分析，显示了可扩展性和提高的预测性能（以点击率为衡量标准），超过了最先进的集群方法。我们还提供了一个标准的线性随机噪声设置内的遗憾分析。
2016-05-31 cs.AI cs.LG stat.ML
When and Whom to Collaborate with in a Changing Environment: A Collaborative Dynamic Bandit Solution
University of Virginia（弗吉尼亚大学）
合作式的强盗学习，即，利用协同过滤技术提高在线交互式推荐中样本效率的Bandit算法，因其两全其美而受到广泛关注。然而，所有现有的协作式强盗学习解决方案都强加了关于环境的静态假设，即，用户偏好和用户之间的依赖性都被假定为随时间是静态的。不幸的是，由于用户的兴趣和依赖关系不断变化，这一假设在实践中很难成立，这不可避免地使推荐系统在实践中的性能次优。在这项工作中，我们开发了一个协作的动态强盗解决方案，以处理不断变化的环境中的建议。我们明确地建模的用户偏好和他们的依赖关系作为一个随机过程的潜在变化。个体用户的偏好是由一个混合的全球共享的上下文强盗模型与狄利克雷过程先验。因此，用户之间的协作是通过全局强盗模型的贝叶斯推理来实现的。每个用户的模型选择和手臂选择通过汤普森采样来平衡开发和探索。我们的解决方案被证明是保持一个标准的$\tilde O(\sqrt{T})$次线性遗憾，即使在这样一个具有挑战性的环境。对合成和真实世界数据集的广泛实证评估进一步证实了对不断变化的环境建模的必要性以及我们的算法相对于几种最先进的在线学习解决方案的实用优势。
2021-04-14 cs.LG
Near-Optimal Collaborative Learning in Bandits
Université Paris Cité（巴黎西岱大学）；Inserm（法国国家健康与医学研究院）；MediaTek Research（联发科研究院）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文介绍了一个一般的多智能体强盗模型，其中每个智能体都面对一个有限的手臂集合，并可以通过一个中央控制器与其他智能体通信，以便在纯探索或玩后悔最小化时识别其最优手臂。扭曲的是，每个智能体的最优手臂是具有最大期望混合奖励的手臂，其中，一个分支的混合奖励是该分支对所有代理的奖励的加权和。这使得代理之间的通信经常是必要的。这种通用设置允许恢复和扩展用于协作式强盗学习的几种最近的模型，包括最近提出的具有个性化的联邦学习（Shi等人，2021年）。在本文中，我们提供了新的下界的样本复杂性的纯探索和遗憾。然后，我们提出了一个接近最优的纯探索算法。该算法是基于两个新的成分相消：每个阶段内的数据依赖的采样方案，旨在匹配放松的下限。
2022-10-28 cs.LG stat.ML
Collaborative Multi-Agent Heterogeneous Multi-Armed Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究 N 个智能体协作学习 M 个随机多臂老虎机的新问题，提出两种场景下的去中心化算法，推导了每智能体与群体遗憾上界，并证明群体遗憾下界，验证算法近最优性。
2024-07-02 cs.DC cs.LG cs.MA
On Context-Dependent Clustering of Bandits
University of Insubria（因苏布里亚大学）；University of Cambridge（剑桥大学）；IIT Kanpur（坎普尔印度理工学院）；Telefonica Research（西班牙电信研究院）；Amazon Berlin（亚马逊柏林）
我们研究了一种新的集群的强盗算法CAB的协同推荐任务，实现了底层的反馈共享机制，通过估计在上下文相关的方式用户的邻域。CAB通过将协作效应纳入推理以及以无缝交错探索-利用权衡和协作步骤的方式进行学习过程，从而与最先进的方法截然不同。我们证明了遗憾的界限下的各种假设的数据，表现出明确的依赖于预期数量的集群超过用户，一个自然的衡量统计难度的学习任务。在生产和真实世界数据集上的实验表明，CAB相对于具有代表性的最先进的方法池提供了显着提高的预测性能。
2017-02-27 cs.AI cs.IR cs.LG
Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits
Indiana University（印第安纳大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多臂强盗中的最佳臂识别（或纯探索）是机器学习中的一个基本问题。在本文中，我们研究这个问题的分布式版本，我们有多个代理，他们希望学习最好的手臂协作。我们希望量化有限交互（或通信步骤）下的协作能力，因为在许多情况下交互是昂贵的。我们衡量的运行时间的分布式算法的加速比最好的集中式算法，只有一个代理。我们给几乎紧轮加速权衡这个问题，沿着我们开发了几种新的技术证明时间或置信度约束下的通信步骤的数量的下界。
2019-08-30 cs.IT cs.LG math.IT
Collaborative Learning of Stochastic Bandits over a Social Network
IIT Madras（印度理工学院马德拉斯分校）；IISc（印度科学研究所）
我们考虑一个合作的在线学习范例，其中一组代理通过社会网络连接从事玩一个随机的多臂强盗游戏。每当代理采取行动时，相应的奖励会立即被代理及其社交网络中的邻居观察到。我们执行的各种政策在这种协作学习环境中的遗憾分析。本文的一个关键发现是，广泛研究的单智能体学习策略的网络设置的自然扩展不需要执行良好的遗憾。特别是，我们确定了一类非利他主义和个人一致的政策，并认为通过推导遗憾下界，他们很容易遭受大的遗憾在网络设置。我们还表明，学习性能可以大大提高，如果代理利用网络的结构，并开发一个简单的学习算法的基础上支配集的网络。具体来说，我们首先考虑一个星形网络，这是一个共同的主题，在分层社交网络，并分析表明，枢纽代理可以作为一个信息汇，以加快学习和改善整体遗憾。我们还推导出适用于一般网络的算法的网络范围内的遗憾界。我们在各种网络上进行数值实验，以证实我们的分析结果。
2016-07-11 cs.LG stat.ML
Collaborative Linear Bandits with Adversarial Agents: Near-Optimal Regret Bounds
University of Pennsylvania（宾夕法尼亚大学）
我们考虑一个线性随机强盗问题，涉及$M$代理，可以通过一个中央服务器合作，以尽量减少遗憾。这些代理人中的一小部分$α$是敌对的，可以任意行事，导致以下紧张局势：虽然合作可以潜在地减少遗憾，但它也可以破坏学习过程。在这项工作中，我们提供了一个基本的理解，这种紧张局势，通过精心构建的强大的置信区间，通过设计新的算法，平衡的勘探开发权衡。我们还补充我们的算法与严密的分析。首先，我们开发了一个强大的协作阶段消除算法，实现$\tilde{O}\left(α+ 1/\sqrt{M}\right) \sqrt{dT}$后悔每个好的代理，在这里，$d$是模型维和$T$是地平线。对于小的$α$，我们的结果因此揭示了一个明确的好处，尽管对手的合作。使用信息理论的参数，然后，我们证明了一个匹配的下限，从而提供了第一套紧密的，接近最优的遗憾界限合作线性土匪与对手。此外，通过利用高维鲁棒统计的最新进展，我们将我们的算法思想和结果显著扩展到（i）允许非线性观察图的广义线性Bandit模型;以及（ii）允许时变特征向量的上下文Bandit设置。
2022-06-06 cs.LG cs.MA cs.SY
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Collaborative Pure Exploration in Kernel Bandit
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）；CENTAI Institute（CENTAI研究所）
本文提出了一个协作纯探索核强盗问题（CoPE-KB），它为有限通信和一般奖励函数下的多智能体多任务决策提供了一个新的模型，并适用于许多在线学习任务，例如，推荐系统和网络调度。我们考虑CoPE-KB的两种设置，即，固定置信度（FC）和固定预算（FB），并设计了两个优化算法CoopKernelFC（FC）和CoopKernelFB（FB）。我们的算法配备了创新和高效的核估计，同时实现计算和通信效率。匹配的上界和下界下的统计和通信指标建立证明我们的算法的最优性。理论界成功地量化了任务相似性对学习加速的影响，并且只依赖于核特征空间的有效维数。我们的分析技术，包括数据维分解，线性结构化的实例转换和（通信）轮加速比感应，是新颖的，适用于其他强盗问题。实验结果验证了我们的理论结果，并证明了我们的算法的性能优越性。
2023-03-16 cs.LG
Collaborative Multi-agent Stochastic Linear Bandits
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）
我们研究了一个合作的多代理随机线性土匪设置，其中$N$代理，形成一个网络在本地进行通信，以尽量减少他们的整体遗憾。在这种情况下，每个代理都有自己的线性强盗问题（自己的奖励参数），目标是选择最佳的全局行动w.r.t.奖励参数的平均值。在每一轮中，每个智能体提出一个动作，并随机选择一个动作作为网络动作。所有的代理观察相应的奖励的播放动作，并使用加速共识程序来计算的平均奖励的估计获得的所有代理。我们提出了一个分布式置信上限（UCB）算法，并证明了高概率界上的$T$轮遗憾，其中我们包括一个线性增长的遗憾与每个通信轮。我们的遗憾界是$\mathcal{O}\Big(\sqrt{\frac{T}{N \log(1/|λ_2|)}}\cdot (\log T)^2\Big)$阶的，其中$λ_2$是通信矩阵的第二大（绝对值）特征值。
2022-05-12 cs.LG cs.MA
Online Interactive Collaborative Filtering Using Multi-Armed Bandit with Dependent Arms
Florida International University（佛罗里达国际大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；St. John’s University（圣约翰大学）
在线交互式推荐系统努力迅速地向消费者建议适当的项目（例如，电影、新闻文章），包括消费者和项目内容信息。然而，这样的上下文信息在实践中通常对于推荐是不可用的，其中仅可以利用用户关于项目的交互数据。此外，交互记录的缺乏，特别是对于新用户和项目，进一步影响了推荐的性能。为了解决这些问题，在在线交互式推荐设置中采用了仅依赖于交互数据的推荐技术之一的协同过滤（CF）以及能够实现开发和探索之间的平衡的在线多臂强盗机制，通过假设独立项目（即，武器）。尽管如此，该假设在现实中很少成立，因为现实世界的项目往往彼此相关（例如，有两篇类似的文章）。在本文中，我们研究在线交互式协同过滤问题，考虑项目之间的依赖关系。我们明确制定的项目依赖性的武器，在一个单一的集群内的武器共享类似的潜在主题的集群。根据主题建模技术，我们提出了一个生成模型，从他们的底层主题生成项目。此外，一个有效的在线算法的基础上粒子学习的推断我们的模型的潜在参数和状态。此外，我们推断的模型可以自然地集成与现有的多臂选择策略在在线互动协作设置。两个现实世界的应用，电影和新闻的在线推荐的实证研究，证明了所提出的方法的有效性和效率。
2017-08-11 cs.IR cs.LG
Bayesian Collaborative Bandits with Thompson Sampling for Improved Outreach in Maternal Health Program
Google DeepMind（谷歌DeepMind）；Harvard University（哈佛大学）
针对移动健康项目呼叫时机优化的协同多臂老虎机问题，提出基于汤普森采样的贝叶斯方法，通过吉布斯采样利用先验信息加速收敛，在真实与合成数据上均显著提升效率与受益人留存率，并提供理论分析。
2024-10-30 cs.LG
Pay to Learn, Share to Earn: Incentivized Federated Multi-Player Bandits
Indian Institute of Science（印度科学理工学院）
针对自利玩家不愿共享信息的联邦多玩家老虎机问题，提出激励感知框架及Buying-UCB算法，平衡探索与协作，理论推导遗憾与成本上界，实验验证有效性。
2026-10-06 cs.LG
On the optimal regret of collaborative personalized linear bandits
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究协作个性化线性赌博机的最优遗憾，提出两阶段协作算法，实现与信息论下界匹配的最优遗憾，并刻画了协作在不同异质性条件下的收益。
2025-06-19 cs.LG
Neural Contextual Bandits for Personalized Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本教程探讨上下文赌博机在个性化推荐中的应用，重点研究神经上下文赌博机及其协作变体，以缓解马太效应并处理用户异质性，同时展望大型神经模型带来的新挑战。
2023-12-21 cs.AI cs.IR cs.LG
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
Contextual Blocking Bandits
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了一个新的变种的多臂强盗问题，在每个时间步，玩家观察到一个独立的采样上下文，确定武器的平均奖励。但是，使用手臂会将其（在所有上下文中）阻止固定且已知数量的未来时间步。捕获诸如具有不同用户的推荐系统或广告放置的重要场景的上述上下文设置使对其非上下文对应物有效的贪婪解决方案技术无效（Basu等人，NeurIPS 19）。假设知识的上下文分布和平均奖励的每个手臂上下文对，我们投的问题作为一个在线的二分匹配问题，其中右顶点（上下文）到达随机和左顶点（手臂）被阻止了有限数量的回合，每次他们被匹配。这个问题最近已经在全信息的情况下进行了研究，竞争比的界限已经推导出来。我们专注于强盗设置，奖励分布最初是未知的，我们提出了一个基于UCB的变体的全信息算法，保证了$\mathcal{O}(\log T)$ -后悔w.r. t。在$T$时间步长中的$α$ -最优策略，匹配该设置中的$Ω(\log(T))$后悔下限。由于阻塞引起的时间相关性，现有的上界后悔技术失败。为了证明我们的遗憾界，我们引入了新的概念，延迟开发和机会子采样，并将它们与组合土匪和非平稳马尔可夫链耦合的想法。
2020-06-17 cs.LG stat.ML
Graph Neural Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对在线推荐场景，提出结合图神经网络的Graph Neural Bandits框架，通过用户图建模细粒度协同效应并分设利用与探索模型，经理论和实验验证了有效性。
2023-08-21 cs.LG
Context-Aware Bandits
我们提出了一个有效的上下文感知的集群的强盗（CAB）算法，它可以捕获的合作效果。CAB可以很容易地部署在一个现实世界的推荐系统，其中多武装匪徒已被证明表现良好，特别是相对于冷启动问题。CAB利用了一个上下文感知的集群，通过探索开发策略来增强。CAB根据所考虑的内容范围动态地对用户进行聚类。我们给出了一个理论分析，在标准的随机多武装土匪设置。我们展示了我们的方法在生产和真实世界数据集上的效率，展示了可扩展性，更重要的是，与几种最先进的方法相比，预测性能显著提高。
2017-02-26 cs.AI cs.LG stat.ML
Collaborating in Multi-Armed Bandits with Strategic Agents
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究）
研究多代理贝叶斯老虎机问题中的协作学习，提出CAOS机制通过信息共享维持协作并保证强后悔界。
2026-05-13 cs.LG
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Multi-Player Approaches for Dueling Bandits
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；AIP（Advanced Institute for Photonics and Electronics）；Kyoto University（京都大学）
针对多玩家对抗型博弈老虎机问题，提出基于黑盒和消息传递的方法，并验证其优于单玩家基准算法。
2025-04-23 cs.LG stat.ML
Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits
KAIST（韩国科学技术院）
联邦学习已经成为协作机器学习的创新范例。与传统的机器学习不同，全局模型是协作学习的，而数据仍然分布在大量的客户端设备上，因此不会损害用户隐私。然而，尽管它非常受欢迎，但仍然存在一些挑战;首先，联邦学习中的全局聚合涉及有偏模型平均的挑战和客户端采样中缺乏先验知识，这反过来又分别导致高泛化误差和慢收敛速度。在这项工作中，我们提出了一种新的算法，称为FedCM，解决了两个挑战，利用先验知识与多臂强盗为基础的客户端采样和过滤偏置模型与组合模型平均。基于使用各种算法和代表性异构数据集的广泛评估，我们表明FedCM在泛化精度和收敛速度方面分别显著优于最先进的算法高达37.25%和4.17倍。
2020-12-06 cs.DC cs.LG
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对固定预算下随机线性老虎机，提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen，利用 G-最优设计与连续消除，实现错误概率指数衰减。
2025-05-24 cs.LG
Learning with Limited Shared Information in Multi-agent Multi-armed Bandit
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Microsoft Research（微软研究院）
针对多智能体多臂老虎机中智能体因隐私等原因不愿共享全部信息的问题，提出LSI-MAMAB模型与Balanced-ETC算法，证明其渐近最优性，设计激励机制保障参与收益，并通过实验验证理论结果。
2025-02-21 cs.LG
Combinatorial Blocking Bandits with Stochastic Delays
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
最近的工作已经考虑了自然变化的多臂强盗问题，其中每个手臂的奖励分配是一个特殊的函数的时间过去，因为它的最后一次拉。在这个方向上，一个简单的（但广泛适用的）模型是阻挡强盗，其中一只手臂在每次游戏后的确定数量的回合中变得不可用。在这项工作中，我们在两个方向上扩展上述模型：（i）我们考虑一般的组合设置，在每一轮可以玩一个以上的武器，受到可行性约束。(ii)我们允许每个手臂的阻塞时间是随机的。我们首先研究上述设置的计算/无条件硬度，并确定问题变得易于处理的必要条件（即使在近似意义上）。基于这些条件，我们提供了一个严密的分析，一个自然的贪婪启发式的近似保证，总是发挥最大的预期奖励可行的子集之间的可用（非阻塞）武器。当武器的预期回报是未知的，我们适应上述启发式到一个强盗算法，基于UCB，我们提供次线性（近似）遗憾的保证，匹配的理论下限在没有延迟的限制情况下。
2021-05-22 cs.DS cs.LG
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Federated Linear Contextual Bandits
The Pennsylvania State University（宾夕法尼亚州立大学）；Facebook；University of Virginia（弗吉尼亚大学）
本文提出了一种新的联邦线性上下文强盗模型，其中每个客户端面对不同的$K$武装随机强盗通过共同的全局参数耦合。通过利用线性奖励的几何结构，提出了一种称为Fed-PE的协作算法，以应对客户端之间的异构性，而无需交换本地特征向量或原始数据。Fed-PE依赖于一种新的多客户端G-最优设计，并实现了接近最优的遗憾，不相交和共享参数的情况下，对数通信成本。此外，还引入了共线性相关策略的概念，并在此基础上得到了参数不相交时的极小极大后悔下界。实验证明了所提出的算法的有效性在合成和真实世界的数据集。
2021-10-27 cs.IT cs.LG math.IT
Communication-Efficient Collaborative Best Arm Identification
Indiana University（印第安纳大学）
我们研究的顶部$m$臂识别，在强盗理论的一个基本问题，在多智能体学习模型中，代理合作学习的目标函数。我们有兴趣设计协作学习算法，实现最大的加速比（相比单代理学习算法）使用最小的通信成本，通信往往是多代理学习的瓶颈。我们给出了算法和不可能的结果，并进行了一组实验来证明我们的算法的有效性。
2022-11-26 cs.LG
Recurrent Submodular Welfare and Matroid Blocking Bandits
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的一系列研究集中在随机多武装土匪问题（MAB）的研究上，在这种情况下，玩家的行动和武器的奖励分布之间施加了特定结构的时间相关性（Kleinberg和Immorlica [FOCS 18]，Basu等人[NeurIPS 19]）。与标准MAB设置相反，在事后的最佳解决方案可以被平凡地表征，这些相关性导致（次）最佳解决方案，表现出有趣的动态模式-一种从算法和学习角度都产生新挑战的现象。在这项工作中，我们将上述方向扩展到一个组合的强盗设置和研究随机MAB的一个变体，其中武器受到拟阵约束，每个手臂变得不可用（阻止）为固定数量的回合后，每次播放。一个自然的共同推广的国家的最先进的阻塞土匪，和拟阵土匪，产生一个$(1-\frac{1}{e})$ -近似的分割拟阵，但它只保证一个$\frac{1}{2}$ -近似的一般拟阵。在本文中，我们开发了新的算法思想，使我们能够获得多项式时间的$(1 - \frac{1}{e})$ -近似算法（渐近和期望）的任何拟阵，从而控制$(1-\frac{1}{e})$ -近似遗憾。一个关键的组成部分是相关（交错）调度技术。一路上，我们发现了一个有趣的连接子模块化福利最大化的一个变种，我们提供（渐近）匹配的上下近似界。
2021-02-28 cs.DS cs.LG
Multi-View Interactive Collaborative Filtering
Rowan University（罗文大学）；College of Science and Mathematics（科学与数学学院）
本文提出MV-ICTR算法，融合评分与上下文信息建模用户偏好和物品特征，并结合多臂老虎机策略实现在线个性化，显著提升冷启动场景下的推荐性能。
2023-05-14 cs.AI cs.IR cs.LG
Asymptotic Optimality of Thompson Sampling for Risk-Averse Bandits with Sub-Gaussian Rewards
University of California, Berkeley（加州大学伯克利分校）
本文证明了一种无锚非参数汤普森采样算法在风险厌恶型多臂赌博机中达到实例依赖的渐近最优后悔界，适用于任意连续风险泛函，且仅需连续性条件，优于先前参数方法。
2026-08-25 cs.LG stat.ML
Federated Learning for Heterogeneous Bandits with Unobserved Contexts
Iowa State University（爱荷华州立大学）
针对上下文未观测的异构联邦多臂老虎机问题，提出基于特征变换和消除机制的联邦算法，证明了线性奖励下的遗憾界，实验验证其性能优于基线方法。
2024-01-30 cs.LG stat.ML
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia（弗吉尼亚大学）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展，但现有的解决方案仅限于简单的模型，如多臂强盗和线性强盗，这妨碍了它们的实际效用。在本文中，而不是假设存在一个线性奖励映射的功能，预期的回报，我们考虑非线性奖励映射，让代理合作搜索再生核希尔伯特空间（RKHS）。这在通信效率方面带来了重大挑战，因为分布式内核学习需要传输原始数据，导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题，该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
Federated Online Sparse Decision Making
本文提出了一种新的联邦线性上下文强盗模型，其中每个客户端面对不同的K-臂随机强盗与高维决策上下文和耦合通过共同的全局参数。通过利用线性奖励的稀疏性结构，提出了一种协作算法\texttt{Fedego Lasso}来处理客户端之间的异构性，而无需交换本地决策上下文向量或原始奖励数据. \texttt{Fedego Lasso}依赖于一种新的多客户端团队合作自私的强盗策略设计，并实现了接近最优的遗憾共享参数的情况下，对数通信成本。此外，一个新的概念工具，称为联邦自我中心的政策，介绍了划定探索开发权衡。实验证明了所提出的算法的有效性在合成和真实世界的数据集。
2022-03-20 cs.LG stat.ML
Decentralized Exploration in Multi-Armed Bandits -- Extended version
Orange Labs（奥兰治实验室）；Microsoft Research（微软研究院）
我们考虑分散的探索问题：一组玩家通过与相同的随机环境异步交互来协作识别最佳手臂。我们的目标是确保在异步，协作和节俭的球员之间的最佳手臂识别问题的隐私。在数字服务的背景下，我们主张这种分散的方法可以在用户的利益和服务提供商的利益之间实现良好的平衡：提供商优化其服务，同时保护用户的隐私并节省资源。我们将隐私级别定义为对手通过拦截有关单个用户的消息可以推断出的信息量。我们提供了一个通用的算法分散消除，它使用任何最好的手臂识别算法作为一个子程序。我们证明，该算法确保隐私，具有较低的通信成本，并在最佳手臂识别问题的下界相比，其样本复杂性遭受的惩罚取决于最频繁的球员的概率的倒数。然后，由于该方法的通用性，我们将该算法扩展到非平稳土匪。最后，通过实验验证并完成了分析.
2023-01-16 cs.LG stat.ML
FedConPE: Efficient Federated Conversational Bandits with Heterogeneous Clients
The Chinese University of Hong Kong（香港中文大学）
针对集中式对话推荐的隐私与效率问题，提出联邦阶段淘汰算法 FedConPE，通过自适应关键术语协调异构客户端，实现近最优遗憾、更低通信与对话开销。
2024-06-20 cs.AI cs.LG stat.ML
Federated Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
上下文多臂强盗（MAB）是推荐系统中一个重要的序贯决策问题。一系列的作品，被称为土匪集群（CLUB），利用用户之间的协作效应，并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧，越来越多的人要求保持用户数据分散，并将强盗学习推到本地服务器端。然而，现有的CLUB算法是在集中式设置下设计的，其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗（FCUB）问题，其目的是最大限度地减少总遗憾，同时满足隐私和通信的考虑。针对这个问题，我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私，以前的差分隐私（DP）的定义是不是很合适，我们提出了一个新的DP的概念，作用于用户集群级别。我们提供了严格的证据表明，我们的算法同时实现（聚类）DP，次线性通信复杂性和次线性遗憾。最后，实验评估表明，我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Distributed Linear Bandits under Communication Constraints
Cornell University（康奈尔大学）
针对通信约束下的分布式线性老虎机问题，本文推导了次线性遗憾所需通信量的信息论下界，提出了达到集中式学习最优次线性遗憾阶的低通信量算法，其稀疏变体可实现更优的遗憾-通信权衡。
2022-11-04 cs.LG
Order-Optimal Regret in Distributed Kernel Bandits using Uniform Sampling with Shared Randomness
School of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种分布式核老虎机算法，通过本地均匀探索和与中央服务器的共享随机性，结合高斯过程稀疏近似，首次以次线性通信代价实现与集中式学习相同的最优遗憾阶。
2024-02-20 cs.DC cs.LG stat.ML
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University（爱荷华州立大学）
我们考虑的问题，M代理合作互动的一个随机K-武装上下文土匪的实例，其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置，在延迟后观察到确切的上下文，并在选择动作的时候，代理人不知道上下文，只有一个分布的上下文集可用。这种情况出现在不同的应用中，其中在决策时需要预测上下文（例如，天气预报或股票市场预测），并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界（UCB）的分布式算法，并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟，我们验证了我们的算法的性能。
2022-11-15 cs.LG
A Contextual-Bandit Approach to Personalized News Article Recommendation
Yahoo! Labs（雅虎实验室）；Princeton University（普林斯顿大学）
个性化Web服务通过利用内容和用户信息来努力使其服务（广告、新闻文章等）适应个体用户。尽管最近取得了一些进展，但这个问题仍然具有挑战性，至少有两个原因。首先，Web服务的特点是动态变化的内容池，使传统的协同过滤方法不适用。其次，大多数具有实际意义的Web服务的规模要求解决方案在学习和计算方面都要快速。在这项工作中，我们建模的个性化推荐的新闻文章作为一个上下文强盗问题，一个原则性的方法，其中一个学习算法依次选择文章，以服务于用户的上下文信息的基础上，用户和文章，同时适应其文章选择策略的基础上，用户点击反馈，以最大限度地提高总用户点击。这项工作的贡献是三方面的。首先，我们提出了一个新的，一般的上下文强盗算法，是计算效率和学习理论的动机。其次，我们认为，任何强盗算法可以可靠地评估离线使用以前记录的随机流量。最后，使用这种离线评估方法，我们成功地将我们的新算法应用到一个雅虎！Front Page Today模块数据集包含超过3300万个事件。结果显示，与标准的上下文无关的强盗算法相比，点击提升了12.5%，当数据变得更加稀缺时，优势变得更大。
2012-03-01 cs.AI cs.IR cs.LG
FedMABA: Towards Fair Federated Learning through Multi-Armed Bandits Allocation
The Chinese University of Hong Kong（香港中文大学）
针对联邦学习中统计异构导致的客户端性能不公平问题，本文提出基于对抗性多臂老虎机分配的FedMABA算法，并在多种Non-I.I.D.场景下验证其公平性提升效果。
2024-10-26 cs.CR cs.LG
On Regret-optimal Cooperative Nonstochastic Multi-armed Bandits
The London School of Economics and Political Science（伦敦政治经济学院）
本文研究带延迟通信的非随机多智能体多臂老虎机问题，提出了合作FTRL算法并证明其在特定条件下达到后悔最优，数值实验验证了其优于已有算法。
2023-10-21 cs.LG cs.MA math.ST
Fair Distributed Cooperative Bandit Learning on Networks for Intelligent Internet of Things Systems (Technical Report)
School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；China Academy of Electronics and Information Technology（中国电子科技集团公司电子科学研究院）
本文针对智能物联网系统提出公平分布式协作赌博机模型及DC-ULCB算法，实现服务器协作选传感器以最大化数据速率并保证公平，理论证明遗憾对数上界，仿真验证优于现有算法。
2024-03-18 cs.DC cs.LG
Federated Linear Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）
本文提出FLDB-OGD算法，将在线梯度下降与联邦学习结合，解决多智能体线性对决赌博机中参数无闭式解导致的协作难题，并从理论和实验上证明了其遗憾上界及遗憾-通信权衡。
2025-06-03 cs.LG
Adaptive Requesting in Decentralized Edge Networks via Non-Stationary Bandits
School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科学与技术大学）；School of Computer Science and Electronic Engineering, University of Essex（计算机科学与电子工程学院，埃塞克斯大学）；Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）
本文提出了一种针对去中心化边缘网络中信息新鲜度优化的自适应老虎机算法，通过自适应窗口和周期监控实现近最优性能。
2026-01-17 cs.LG cs.MA
Coordinated Attacks against Contextual Bandits: Fundamental Limits and Defense Mechanisms
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Technion（以色列理工学院）
在线推荐系统的动机，我们提出的问题，找到最佳的政策在多任务上下文土匪时，一小部分$α< 1/2$的任务（用户）是任意的和敌对的。其余部分优秀用户与$S$上下文和$A$操作（项）共享相同的上下文强盗实例。当然，用户是好的还是敌对的事先并不知道。我们的目标是鲁棒地学习策略，以尽可能少的用户交互来最大化好用户的奖励。在没有对抗性用户的情况下，协同过滤的既定结果表明，$O(1/ε^2)$每用户交互足以学习一个好的策略，正是因为信息可以在用户之间共享。这种并行化增益从根本上改变了敌对用户的存在：除非有超多项式数量的用户，我们显示了一个下限的$\tildeΩ(\min(S,A) \cdot α^2 / ε^2)$ { \it每用户}的互动学习$ε$的最佳政策的好用户。然后，我们表明，我们可以实现一个$\tilde{O}(\min(S,A)\cdot α/ε^2)$上限，采用有效的鲁棒均值估计单变量和高维随机变量。我们还表明，这可以根据上下文的分布得到改善。
2022-01-30 cs.CR cs.IT cs.LG
Learning the Optimal Path and DNN Partition for Collaborative Edge Inference
University of Miami（迈阿密大学）；Middle Tennessee State University（中田纳西州立大学）
本文研究网络参数未知且存在多条路径时协作边缘推理的最优路径选择与DNN层分配问题，将其建模为带切换成本的对抗性群组线性赌博机问题，并提出具有亚线性遗憾的B-EXPUCB算法，仿真验证其优于现有方法。
2024-10-02 cs.DC cs.LG
Multi-Agent Multi-Armed Bandits with Limited Communication
Purdue University（普渡大学）
我们考虑的问题，$N$代理合作互动的一个随机$K$手臂土匪问题的实例$K \gg N$。代理的目标是同时最小化所有代理的总$T$时间步长，通信轮数，以及在每个通信轮的位数的累积遗憾。我们提出了有限的通信协作-置信上限（LCC-UCB），一个基于加倍历元的算法，每个代理只在历元结束后进行通信，并共享它所知道的最佳手臂的索引。在我们的算法LCC-UCB中，每个代理享有一个$\tilde{O}\left(\sqrt{({K/N}+ N)T}\right)$的遗憾，每个代理进行$O(\log T)$步的通信，并在每个通信步中广播$O(\log K)$比特。我们将这一工作推广到具有最大度$K_G$和直径$D$的稀疏图，并提出了具有$\tilde{O}\left(D\sqrt{(K/N+ K_G)DT}\right)$遗憾界的LCC-UCB-GRAPH.最后，我们的经验表明，LCC-UCB和LCC-UCB-GRAPH算法表现良好，优于通过中心节点通信的策略
2021-02-10 cs.AI cs.LG cs.MA
Multi-Agent Bandit Learning through Heterogeneous Action Erasure Channels
University of California, Los Angeles（加州大学洛杉矶分校）
针对多智能体分布式环境中动作擦除导致的错误反馈问题，提出基于重复协议与学习调度的算法，实现跨异构动作擦除信道的并发交互，保证次线性regret并优于现有线性regret算法。
2024-04-29 cs.DC cs.LG cs.MA
PageRank Bandits for Link Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI；University of Rochester（罗切斯特大学）
针对传统监督式链接预测难以适配动态兴趣、难平衡利用与探索的问题，提出融合上下文老虎机与PageRank的PRB算法，设计新奖励并提供理论保证，在线离线实验均验证了其有效性。
2024-11-03 cs.AI cs.LG cs.SI
A UCB Bandit Algorithm for General ML-Based Estimators
School of Mathematics, University of Minnesota—Twin Cities（明尼苏达大学 Twin Cities 分校数学系）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出ML-UCB算法，通过建模学习曲线行为解决复杂机器学习模型在老虎机中的探索问题，实验显示其在推荐系统中优于LinUCB。
2026-01-06 cs.AI cs.LG math.PR
