Heterogeneous Stochastic Interactions for Multiple Agents in a Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，其中决策代理可以观察他们的邻居的选择和奖励。邻居由具有异构和随机互连的网络图定义。这些交互由每个代理的社交性决定，这对应于代理观察其邻居的概率。我们为每个代理设计了一个算法，以最大限度地提高自己的预期累积奖励，并证明性能界限，取决于社会的代理和网络结构。我们使用的界限来预测排名排序的代理根据他们的表现，并验证分析和计算的准确性。
2019-05-21 cs.LG math.OC
Multi-Agent Bandit Learning through Heterogeneous Action Erasure Channels
University of California, Los Angeles（加州大学洛杉矶分校）
针对多智能体分布式环境中动作擦除导致的错误反馈问题，提出基于重复协议与学习调度的算法，实现跨异构动作擦除信道的并发交互，保证次线性regret并优于现有线性regret算法。
2024-04-29 cs.DC cs.LG cs.MA
Decentralized Heterogeneous Multi-Player Multi-Armed Bandits with Non-Zero Rewards on Collisions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个完全分散的多人随机多臂强盗设置的球员不能相互沟通，只能观察自己的行动和奖励。环境可能对不同的玩家表现不同，$\textit{i.e.}$，给定手臂的奖励分布在玩家之间是异构的。在碰撞的情况下（当多个玩家使用同一只手臂时），我们允许碰撞的玩家获得非零奖励。该武器被使用的时间范围$T$是玩家已知的\emph{not}。在这个设置中，玩家的数量被允许大于武器的数量，我们提出了一个政策，实现了近订单最优的预期遗憾的顺序$O(\log^{1 + δ} T)$为一些$0 < δ< 1$在一个时间跨度的持续时间$T$。这篇论文被IEEE Transactions on信息论接受。
2021-12-28 cs.GT cs.LG stat.ML
Multi-player Multi-armed Bandits for Stable Allocation in Heterogeneous Ad-Hoc Networks
IIIT Delhi（德里印度信息技术学院）；IIT Bombay（孟买印度理工学院）
下一代网络预计将是超密集的，并且旨在探索允许用户在授权、共享以及未授权频谱中进行通信的频谱共享范例。这种超密集网络将在基站处引起显著的信令负载，导致对频谱和能量效率的负面影响。为了使信令开销最小化，正在考虑针对在未许可和共享频谱中通信的用户的自组织方法。对于这样的用户，决策需要完全分散，因为：1）用户和来自基站的信令之间不可能进行通信，这需要在每个用户处进行独立的信道选择。当多个用户在同一信道上同时发送时发生冲突。2）信道质量可能是异构的，即，它们在所有用户之间并不相同，而且是未知的，以及3）网络可以是动态的，其中用户可以随时进入或离开。我们开发了一个基于多臂强盗的静态网络分布式算法，并将其扩展到动态网络。该算法的目标是在有限时间内实现稳定的正交分配（SOC），并满足上述三个约束条件，具有两个新的特点：1）低复杂度窄带无线电相比，宽带无线电在现有的工作，和2）无历元的方法，动态网络。我们建立了一个收敛的算法SOC和验证通过广泛的仿真实验。
2019-07-10 cs.LG cs.NI stat.ML
Multitask Bandit Learning Through Heterogeneous Feedback Aggregation
University of California San Diego（加州大学圣地亚哥分校）；University of Arizona（亚利桑那大学）
在许多现实世界的应用中，多个智能体试图学习如何执行高度相关但略有不同的任务，在一个在线的强盗学习协议。我们制定这个问题的$ε$ -多玩家多武装土匪问题，其中一组球员同时与一组武器，并为每个手臂，奖励分配的所有球员是相似的，但不一定相同。我们开发了一个基于置信上限的算法，RobustAgg $(ε)$，自适应地聚合不同玩家收集的奖励。在玩家之间的奖励分布的成对相似性的上限是已知的设置中，我们实现了依赖于玩家之间信息共享的顺从性的实例依赖的后悔保证。我们补充这些上限与几乎匹配的下限。在设置成对的相似性是未知的，我们提供了一个下界，以及一个算法，权衡最小最大遗憾保证适应未知的相似性结构。
2021-07-20 cs.LG stat.ML
Federated Learning for Heterogeneous Bandits with Unobserved Contexts
Iowa State University（爱荷华州立大学）
针对上下文未观测的异构联邦多臂老虎机问题，提出基于特征变换和消除机制的联邦算法，证明了线性奖励下的遗憾界，实验验证其性能优于基线方法。
2024-01-30 cs.LG stat.ML
Who Gets Watched? Allocating Scarce Escalation Resources on Pediatric Wards with Neural Index Policies
Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）
针对多动作静止多臂老虎机，提出神经索引策略，通过可微背包层处理异构预算，端到端训练，性能接近最优，可扩展至数百臂。
2026-11-02 cs.LG stat.ML
FedConPE: Efficient Federated Conversational Bandits with Heterogeneous Clients
The Chinese University of Hong Kong（香港中文大学）
针对集中式对话推荐的隐私与效率问题，提出联邦阶段淘汰算法 FedConPE，通过自适应关键术语协调异构客户端，实现近最优遗憾、更低通信与对话开销。
2024-06-20 cs.AI cs.LG stat.ML
A Bandit Approach to Online Pricing for Heterogeneous Edge Resource Allocation
边缘计算（EC）通过将云资源定位在终端用户附近，提供卓越的用户体验。有效地分配边缘资源同时最大化EC平台的利润的挑战仍然是一个复杂的问题，特别是随着资源请求的在线到达的复杂性的增加。为了解决这一挑战，我们建议投的问题作为一个多臂的强盗问题，并开发两种新的在线定价机制，Kullback-Leibler上置信界（KL-UCB）算法和最小最大最优算法，异构边缘资源分配。这些机制是实时操作的，并且不需要需求分布的先验知识，这在实践中可能难以获得。拟议的公布定价方案允许用户选择并支付他们首选的资源，平台根据观察到的历史数据动态调整资源价格。数值结果表明，所提出的机制相比，来自传统的强盗算法，包括Epsilon贪婪，基本UCB，和汤普森采样算法的基准计划的优势。
2023-02-14 cs.LG
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CREST（CREST（法国国家统计与经济研究所研究中心））；ENSAE（法国国立统计与经济管理学校）
针对异构异步多玩家老虎机最优分配计算的未解决问题，证明其NP难性，提出贪心算法并给出1/e及1/√e的近似保证，为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
Leveraging heterogeneous spillover in maximizing contextual bandit rewards
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出一种考虑异质溢出效应的上下文老虎机框架，通过引入邻居行为和网络结构信息提升推荐奖励。
2025-01-24 cs.LG cs.SI
Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
针对去中心化异构老虎机中的非平稳性，提出DRFC算法，通过平衡全局比较忽略局部变化，实现无局部变化依赖的遗憾界，并验证其有效性。
2026-09-16 cs.LG
Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization
University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
尽管近年来分散式多玩家多武装土匪（MP-MAB）问题的重大利益和许多进展，在异构MP-MAB设置的自然集中下界的遗憾差距仍然是开放的。在本文中，我们提出了BEACON --具有自适应通信的批处理探索--来缩小这一差距。BEACON在隐式通信和有效探索方面做出了新的贡献，实现了这一目标。对于前者，我们提出了一种新的自适应差分通信（ADC）的设计，显着提高了隐式通信效率。对于后者，一个精心制作的批量勘探计划的开发，使合并的组合置信上限（CUCB）的原则。然后，我们将现有的线性奖励MP-MAB问题，其中系统奖励总是单独收集的奖励的总和，一个新的MP-MAB问题，其中系统奖励是一个一般的（非线性）功能的个人奖励。我们扩展了BEACON来解决这个问题，并证明了一个对数遗憾。BEACON桥梁组合MAB（CMAB）和MP-MAB，在MAB的两个很大程度上脱节的领域的算法设计和遗憾分析，本文的结果表明，这种以前被忽视的连接是值得进一步研究。
2021-10-29 cs.IT cs.LG math.IT
On-Demand Communication for Asynchronous Multi-Agent Bandits
Univ. of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Nanjing University（南京大学）；The Chinese Univ. of Hong Kong（香港中文大学）
本文提出按需通信协议ODC，针对异步多智能体多臂老虎机问题，根据经验拉动时间定制通信，集成于UCB和AAE扩展算法，实现通信高效且遗憾值接近最优。
2023-08-31 cs.DC cs.LG cs.MA
Multiplayer Multi-armed Bandits for Optimal Assignment in Heterogeneous Networks
IIT Bombay（印度理工学院孟买分校）；IIIT Delhi（德里印度理工学院）
我们考虑一个ad hoc网络，多个用户访问同一组信道。信道特性是未知的，并且对于每个用户可能是不同的（异构的）。没有控制器可用于协调用户的信道选择，并且如果多个用户选择相同的信道，则它们会冲突，并且它们中没有一个接收任何速率（或奖励）。对于这样一个完全分散的网络，我们开发了旨在实现最佳网络吞吐量的算法。由于用户之间缺乏任何直接通信，我们允许每个用户通过以特定模式传输来交换信息，并从其他人那里感知这种传输。然而，这种用于信息交换的传输和感测不会增加网络吞吐量。对于宽带传感和窄带传感的情况下，我们首先开发的探索和提交算法，收敛到近最优的分配，在一个小的回合数的概率很高。在此基础上，我们开发了一种算法，即使用户数量随着时间的推移而变化，也能提供对数遗憾。我们通过大量的实验验证了我们的主张，并表明我们的算法比最先进的CSM-MAB，dE 3和dE 3-TS算法表现得更好。
2019-08-30 cs.LG stat.ML
Heterogeneous Multi-Player Multi-Armed Bandits Robust To Adversarial Attacks
The Grainger College of Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院）
针对存在对抗者利用碰撞影响奖励的异构多人多臂老虎机问题，提出一种允许极少量通信的鲁棒策略，实现了近阶最优遗憾。
2025-01-21 cs.LG stat.ML
Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity
Univ. of Pennsylvania（宾夕法尼亚大学）；Arizona State University（亚利桑那州立大学）
针对稀疏异质性下的多任务线性回归与上下文赌博机问题，提出两阶段估计器MOLAR，改善估计误差对维度的依赖，获更优遗憾保证且达极小极大最优，实验验证了其效率。
2024-12-13 cs.LG stat.ME stat.ML
Causal Feature Selection Method for Contextual Multi-Armed Bandits in Recommender System
Roblox
本文提出HIE和HDD两种无模型方法，用于识别推荐系统中驱动异质处理效应的特征，提升上下文多臂老虎机性能。
2025-11-30 cs.IR cs.LG stat.ML
Combining Diverse Information for Coordinated Action: Stochastic Bandit Algorithms for Heterogeneous Agents
Harvard University（哈佛大学）
本文针对异质敏感度智能体的随机多臂老虎机问题，提出UCB风格算法Min-Width，通过加权聚合不同智能体-臂对的奖励并协调分配，实现高效协作并分析其遗憾。
2024-08-06 cs.AI cs.LG cs.MA
Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users
University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究联邦上下文组合级联赌博机问题，提出一种支持异步通信和异构用户聚类的UCB型算法，在仅付出对数级通信成本的同时取得与同步框架相当的次线性遗憾界。
2024-02-26 cs.AI cs.LG
Heterogeneous Multi-agent Multi-armed Bandits on Stochastic Block Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；Carnegie Mellon University（卡内基梅隆大学）
针对随机块模型诱导簇结构下的异构多智能体多臂老虎机问题，提出结合平均共识与信息聚合加权的UCB型算法，实现$\log{T}$阶最优遗憾，兼顾簇内同质与簇间异构，放宽边概率假设且扩展性更好。
2025-02-11 cs.LG
Computation Offloading in Heterogeneous Vehicular Edge Networks: On-line and Off-policy Bandit Solutions
University of Bologna（博洛尼亚大学）；Lancaster University（兰卡斯特大学）；University of Tübingen（蒂宾根大学）；University of Manitoba（曼尼托巴大学）
随着智能交通系统（ITS）和车辆通信的快速发展，车辆边缘计算（VEC）正在成为支持低延迟ITS应用和服务的有前途的技术。在本文中，我们考虑的计算卸载问题，从移动车辆/用户在异构VEC的情况下，并专注于网络和基站的选择问题，不同的网络有不同的流量负载。在快速变化的车辆环境中，用户的计算卸载体验受到由于与基站共处的边缘计算服务器处的拥塞而引起的延迟的强烈影响。然而，由于这种环境的非平稳特性以及信息短缺，预测这种拥塞是一项复杂的任务。为了解决这一问题，我们提出了一个在线学习算法和一个基于多臂强盗理论的离策略学习算法。为了在分段静态环境中动态地选择最不拥塞的网络，这些算法使用卸载历史来预测卸载任务经历的延迟。此外，为了最大限度地减少由于车辆的移动性造成的任务损失，我们开发了一种用于基站选择的方法。此外，我们提出了一个中继机制，选定的网络，它的基础上的逗留时间的车辆。通过密集的数值分析，我们证明了所提出的基于学习的解决方案通过选择最不拥塞的网络来适应网络的流量变化，从而减少了卸载任务的延迟。此外，我们证明了建议的联合基站选择和中继机制，最大限度地减少在车辆环境中的任务损失。
2023-03-15 cs.LG cs.NI eess.SP
Decentralized Randomly Distributed Multi-agent Multi-armed Bandit with Heterogeneous Rewards
Northwestern University（西北大学）
本文研究去中心化多智能体多臂老虎机问题，提出结合快速混合马尔可夫链随机图模拟、一致性方法与加权UCB技术的算法框架，去除了双随机性假设，在次高斯和次指数环境下实现了高概率成立的最优遗憾上界。
2023-10-18 cs.LG stat.ML
Heterogeneous Multi-Agent Bandits with Parsimonious Hints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；City University of Hong Kong（香港城市大学）
针对异构多智能体多臂老虎机问题，提出GP-HCLA、HD-ETC和EBHD-ETC算法，通过最小化提示查询实现与时间无关的遗憾，并证明最优性。
2025-02-22 cs.AI cs.GT cs.LG
Model Predictive Control is almost Optimal for Heterogeneous Restless Multi-armed Bandits
LAAS CNRS（法国国家科学研究中心自动分析与控制系统实验室）；INP Grenoble, INRIA, CNRS（格勒诺布尔国立理工学院、法国国家信息与自动化研究所、法国国家科学研究中心）
本文针对异构不安定多臂老虎机问题，提出LP更新策略，证明其次优性差距为O(√(1/N))，还推导带重计算的LP更新策略，仿真显示τ=5时计算高效且性能优异，且LP索引策略对应τ=1的情况。
2026-09-02 math.OC math.PR stat.ML
Federated Multi-Armed Bandits
University of Virginia（弗吉尼亚大学）
联邦多臂强盗（Federated Multi-armed Bandits，FMAB）是与联邦学习（Federated Learning，FL）框架相对应的一种新的强盗范式，用于监督学习。它的灵感来自认知无线电和推荐系统中的实际应用，并享有功能，类似FL。本文提出了一个一般框架的FMAB，然后研究了两个具体的联邦强盗模型。我们首先研究近似模型，其中异构局部模型是从未知分布的全局模型的随机实现。该模型引入了客户端采样的新的不确定性，因为即使有限的局部模型是完全已知的，全局模型也可能无法可靠地学习。此外，这种不确定性不能量化的先验知识的次优差距。我们解决了近似模型，提出联邦双UCB（Fed 2-UCB），它构建了一个新的“双UCB”原则占臂和客户端采样的不确定性。我们表明，逐步承认新的客户端是实现O（log（T））的遗憾，同时明确考虑通信成本的关键。精确模型，其中的全球强盗模型是异构的本地模型的精确平均，然后作为一个特殊情况进行了研究。我们发现，有点令人惊讶的是，订单最优的遗憾，可以实现独立的客户端的数量与仔细选择的更新周期。实验结果验证了理论分析的正确性，并证明了算法的有效性。
2021-03-03 cs.IT cs.LG cs.MA
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia（弗吉尼亚大学）
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增，例如，在联邦学习中，如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中，我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架，异步模型更新和通信的同构客户端和异构客户端的集合，分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析，并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
On Transportability for Structural Causal Bandits
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
本文提出了一种结构因果投递框架，通过融合源环境的先验信息来增强部署学习，实现了亚线性遗憾界并可能优于传统方法。
2025-11-22 cs.LG stat.ML
Deep Index Policy for Multi-Resource Restless Matching Bandit and Its Application in Multi-Channel Scheduling
Texas A&M University（得克萨斯农工大学）
针对多信道无线调度中的资源分配挑战，提出深度索引策略（DIP）在线学习算法，利用策略梯度定理学习部分索引，并在三个MR-RMB问题上验证其高效性。
2024-08-20 cs.LG
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Content-Level Selective Offloading in Heterogeneous Networks: Multi-armed Bandit Optimization and Regret Bounds
Imperial College London（伦敦帝国学院）
我们认为内容级的选择性卸载蜂窝下行链路业务的无线infostation终端存储在其高速缓存中的高数据速率的内容。信息站附近的蜂窝用户可以通过宽带连接（例如，WiFi），减少了蜂窝网络上的延迟和负载。信息站缓存控制器（CC）的目标是将最受欢迎的内容存储在缓存中，以便将最大量的流量卸载到信息站。实际上，CC不知道文件的流行度简档，CC仅观察对存储在高速缓存中的那些内容的即时需求。因此，基于需求历史和与将每个内容放置在高速缓存中相关联的成本来优化高速缓存内容放置。通过以规则的时间间隔刷新高速缓存内容，CC逐渐学习流行度简档，同时以可能的最佳方式利用有限的高速缓存容量。这是制定为一个多臂强盗（MAB）的切换成本的问题。提出了几种算法来决定随着时间的推移缓存内容。性能是根据缓存效率来衡量的，缓存效率定义为卸载到信息站的净流量。除了理论遗憾界限外，还通过数值模拟对所提出的算法进行了分析。特别是，系统参数的影响，如文件的数量，用户的数量，高速缓存的大小，和偏度的流行配置文件，对性能的数值研究。结果表明，所提出的算法学习的流行度配置文件迅速为广泛的系统参数。
2014-07-23 cs.IT cs.LG math.IT
Federated $\mathcal{X}$-armed Bandit with Flexible Personalisation
School of Mathematical Sciences（数学科学学院）；Lancaster University（兰卡斯特大学）
针对高度异构环境下联邦学习的局部与全局目标优化难题，提出一种结合客户端偏好与全局知识的代理目标函数及阶段式消除算法，实现次线性遗憾与对数级通信开销，在多领域有应用潜力。
2024-09-11 cs.LG stat.ML
A Practical Algorithm for Multiplayer Bandits when Arm Means Vary Among Players
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；ENSAE Paris（巴黎经济与统计学院）；McGill University（麦吉尔大学）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；CRIStAL（里尔信号、自动化、计算机与图像处理研究中心）；Criteo AI Lab（卡塔戈人工智能实验室）
我们研究了一个多人随机多臂强盗问题，其中玩家不能交流，如果两个或两个以上的玩家拉同一只手臂，发生碰撞，参与的玩家获得零奖励。我们认为具有挑战性的异构设置，其中不同的武器可能有不同的手段，为不同的球员，并提出了一个新的和有效的算法，结合了利用强制碰撞的想法，隐式通信和执行匹配消除。我们对算法进行了有限时间分析，给出了该问题的第一个次线性极大极小遗憾界，并证明了如果玩家的最优分配是唯一的，我们的算法获得了最优的$O(\ln(T))$遗憾，解决了NeurIPS 2018上提出的一个悬而未决的问题。
2020-03-20 cs.LG stat.ML
Personalized Federated X -armed Bandit
Purdue University（普渡大学）
本文研究个性化联邦 $\mathcal{X}$-armed bandit 问题，提出具有双重淘汰策略的 \texttt{PF-PNE} 算法，在保护数据机密性下优化异构局部目标，理论分析证明其优于单客户端算法，并在合成和真实数据集上表现更佳。
2023-10-25 cs.LG stat.ML
Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits
KAIST（韩国科学技术院）
联邦学习已经成为协作机器学习的创新范例。与传统的机器学习不同，全局模型是协作学习的，而数据仍然分布在大量的客户端设备上，因此不会损害用户隐私。然而，尽管它非常受欢迎，但仍然存在一些挑战;首先，联邦学习中的全局聚合涉及有偏模型平均的挑战和客户端采样中缺乏先验知识，这反过来又分别导致高泛化误差和慢收敛速度。在这项工作中，我们提出了一种新的算法，称为FedCM，解决了两个挑战，利用先验知识与多臂强盗为基础的客户端采样和过滤偏置模型与组合模型平均。基于使用各种算法和代表性异构数据集的广泛评估，我们表明FedCM在泛化精度和收敛速度方面分别显著优于最先进的算法高达37.25%和4.17倍。
2020-12-06 cs.DC cs.LG
From Restless to Contextual: A Thresholding Bandit Reformulation For Finite-horizon Improvement
Cornell Tech（康奈尔科技）；Causal Foundry
本文通过将在线动态老虎机重新公式化为预算阈值上下文老虎机，解决了现有算法在有限时间 horizon 性能差的问题，提出了一种实用学习策略，实现了亚线性遗憾，提升了累积奖励。
2026-04-06 cs.LG
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Multi-agent Multi-armed Bandit with Fully Heavy-tailed Dynamics
University of Amsterdam（阿姆斯特丹大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
研究完全重尾设定下的去中心化多智能体多臂老虎机，提出利用重尾图枢纽结构和新信息延迟界的算法框架，在同质和异质奖励下分别实现$O(M^{1-1/α}\log{T})$和$O(M\log{T})$遗憾界，改进现有工作。
2025-01-31 cs.LG stat.ML
One Good Source is All You Need: Near-Optimal Regret for Bandits under Heterogeneous Noise
本文提出SOAR算法，在异质噪声下实现近最优遗憾，通过快速修剪高方差来源和平衡min-max LCB-UCB方法，取得实例依赖的最优遗憾界。
2026-05-01 cs.LG
Discovering strategies for coastal resilience with AI-based prediction and optimization
Research and Exploratory Development Department（研究与探索发展部门）；Johns Hopkins Applied Physics Laboratory（约翰霍普金斯应用物理实验室）
本研究提出一种结合风暴潮生成、代理建模和连续臂老虎机问题求解的AI驱动方法，用于优化海岸干预方案，并在佛罗里达州案例中验证其可显著降低风暴损失。
2025-09-23 cs.LG physics.ao-ph
On Statistical Discrimination as a Failure of Social Learning: A Multi-Armed Bandit Approach
本文用多臂老虎机模型刻画招聘中的社会学习，说明自由放任会使少数群体因数据不足而被持续低估，并提出混合补贴机制与 Rooney Rule，证明临时平权行动可有效缓解此类统计歧视。
2023-07-14 cs.GT econ.EM econ.TH
Online Fair Revenue Maximizing Cake Division with Non-Contiguous Pieces in Adversarial Bandits
Sharif University of Technology（谢里夫理工大学）
经典的切蛋糕问题提供了一个模型，用于解决公平和有效地分配一个可分割的，异构的资源与不同的偏好之间的代理。专注于蛋糕切割的标准制定，其中每个代理必须在离线设置中接收一块连续的蛋糕，这项工作的重点是在线分配代理之间的非连续的蛋糕块，并建立算法结果的公平性措施。在这方面，我们利用经典的对抗性多武装土匪，同时实现次线性公平和收入后悔。对抗性强盗是模拟对抗性强化学习环境的强大工具，它通过在探索和利用之间应用智能权衡，在每一步中只观察一个动作的奖励，为学习的遗憾提供了强大的上限。本文研究了著名的基于指数加权{-}重要性概率分布的EXP_3算法的性能。
2021-11-29 cs.GT cs.LG
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学应用统计中心）；Department of Statistics, University of Warwick（华威大学统计系）
针对敏感数据序贯决策中的隐私问题，本文提出统一置信界型估计器及跳跃启动方案，解决LDP下非参数化上下文MAB的极小化极大最优性，并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Fairness for Workers Who Pull the Arms: An Index Based Policy for Allocation of Restless Bandit Tasks
Harvard University（哈佛大学）
本文提出了一种基于指数的分配策略，用于在资源受限条件下公平分配异质工人的 restless 带机任务，以提高干预计划的公平性和效率。
2023-03-01 cs.AI cs.LG cs.MA
Decentralized Online Big Data Classification - a Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们假设每个处理元素可用的分类函数是固定的，但它们对各种类型的传入数据的预测精度是未知的，并且可以随时间动态变化，因此它们需要在线学习。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发分布式在线学习算法，我们可以证明，他们有次线性遗憾。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-08-25 cs.LG cs.MA
Nonstationary Continuum-Armed Bandit Strategies for Automated Trading in a Simulated Financial Market
University of Bristol（布里斯托大学）；Tokyo Institute of Technology（东京工业大学）
针对适应市场变化的自动交易策略设计，将其构建为非平稳连续武装强盗问题，提出基于贝叶斯优化与“bandit-over-bandit”框架的PRBO算法，在BSE模拟中利润显著优于PRSH且超参数更少。
2023-06-26 cs.LG cs.MA
Top-K Ranking Deep Contextual Bandits for Information Selection Systems
DEVCOM Army Research Laboratory（美国陆军研究实验室）；University of Maryland（马里兰大学）
在当今的技术环境中，信息是丰富的，动态的，和异构的性质。信息的自动过滤和优先级排序是基于信息是否为目标增加了实质性价值之间的区别。上下文多臂强盗已被广泛用于学习根据用户兴趣或相关性过滤内容和优先级。学习排名技术优化了项目的相关性排名，允许相应地选择内容。我们提出了一种新的方法，top-K排名的上下文多臂强盗框架下。我们用神经网络对随机奖励函数进行建模，以允许非线性近似来学习奖励和上下文之间的关系。我们展示了这种方法，并评估了在模拟场景中使用真实世界数据集从实验中学习的性能。实验结果表明，该方法在复杂的奖励结构和高维的上下文特征下表现良好。
2022-01-28 cs.IR cs.LG
Multi-User Contextual Cascading Bandits for Personalized Recommendation
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）
针对多用户同时与顺序展示物品交互的在线广告场景，提出多用户上下文级联老虎机模型（MCCB），设计UCBBP和AUCBBP算法并证明其遗憾界，数值实验验证了算法有效性。
2025-08-24 cs.LG math.OC stat.ML
Multi-User Dueling Bandits: A Fair Approach using Nash Social Welfare
Electrical and Computer Engineering, Purdue University（电子与计算机工程系，普渡大学）
针对多用户偏好异质的决斗式赌博机问题，采用纳什社会福利目标最大化用户效用乘积，提出Fair-Explore-Then-Commit和Fair-ε-Greedy算法，并证明其遗憾上界匹配下界。
2026-09-09 cs.LG
Bandit Learning in General Open Multi-agent Systems
Mechanical and Industrial Engineering University of Massachusetts Amherst（机械与工业工程大学马萨诸塞大学阿姆赫斯特）
本文研究一般开放多智能体系统中的强化学习问题，提出统一的开放系统带抵制问题框架，引入预训练度、稳定性等新概念，并开发具有证明保证的全局UCB学习方法。
2026-10-20 cs.LG stat.ML
Multi-Agent Stochastic Bandits Robust to Adversarial Corruptions
CICS, UMass Amherst（马萨诸塞大学阿默斯特分校CICS（计算机与信息科学学院））；CS, CityU（香港城市大学计算机科学系）
针对异构多智能体多臂老虎机中的对抗性攻击问题，提出一种鲁棒的协作学习算法，证明对手攻击仅引入加性遗憾项，并在退化场景下改进现有最优遗憾界。
2024-11-12 cs.LG stat.ML
Efficient Algorithms for Finite Horizon and Streaming Restless Multi-Armed Bandit Problems
Harvard University（哈佛大学）
我们提出了流土匪，一个不安分的多武装土匪（RMAB）框架中，异构武器可能会到达和离开系统后，停留在有限的生命周期。流Bandits自然捕捉到了健康干预规划问题，其中卫生工作者必须管理患者队列的健康结果，而每天都有新患者加入，现有患者离开队列。我们的贡献如下：（1）给出了问题满足可指数性的条件，这是保证RMABs的Whittle指数解的存在性和渐近最优性的前提。我们建立的条件，使用多时间减少流Bandit设置定期RMAB。(2)我们进一步证明了一种现象，我们称之为指数衰减，即惠特尔指数值低，为短的剩余寿命驱动的直觉支撑我们的算法。(3)我们提出了一种新的和有效的算法来计算基于索引的解决方案流Bandits。与以前的方法不同，我们的算法不依赖于解决昂贵的有限时域问题的每个手臂的RMAB，从而降低了计算复杂性相比，现有的方法。(4)最后，我们评估我们的方法，通过模拟运行在现实世界的数据集，从结核病患者监测任务和干预计划任务，以改善孕产妇保健，除了其他合成域。在整个董事会，我们的算法实现了2个数量级的速度比现有的方法，同时保持相同的解决方案的质量。
2022-02-16 cs.AI cs.LG
Selfish Robustness and Equilibria in Multi-Player Bandits
Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；CREST（经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
受认知无线电的启发，随机多人多武装土匪最近引起了人们的极大兴趣。在这类问题中，几个玩家同时拉动手臂，如果其中一些玩家同时拉动同一只手臂，则会发生碰撞-奖励为0。虽然合作的情况下，玩家最大化集体奖励（顺从地遵循一些固定的协议）已被大多数考虑，鲁棒性恶意玩家是一个至关重要的和具有挑战性的问题。现有的方法只考虑对抗性干扰器的情况，其目标是盲目地最小化集体奖励。相反，我们将考虑更自然的自私的参与者，他们的动机是最大化他们的个人回报，可能以牺牲社会福利为代价。我们提供了第一个算法鲁棒自私的球员（又名。纳什均衡）与对数后悔，当手臂的性能进行观察。当冲突也被观察到，严峻的触发类型的策略，使一些隐式的基于通信的算法，我们构建强大的算法在两个不同的设置：同质（遗憾相比，集中式的最佳）和异构的情况下（适应和相关的概念遗憾）。我们还提供不可能的结果时，只有奖励观察到或当手臂的手段任意不同的球员。
2020-06-19 cs.LG stat.ML
ActiveHNE: Active Heterogeneous Network Embedding
Southwest University（西南大学）；Alibaba Group（阿里巴巴集团）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
异构网络嵌入（HNE）是一项具有挑战性的任务，这是由于不同的节点类型和/或节点之间的不同关系。现有的HNE方法通常是无监督的。为了最大限度地利用HNE中稀有和有价值的监督信息，我们开发了一种新的主动异构网络嵌入（ActiveHNE）框架，它包括两个组件：判别异构网络嵌入（DHNE）和异构网络中的主动查询（AQHN）。在DHNE中，我们提出了一种新的基于图卷积神经网络的半监督异构网络嵌入方法。在AQHN中，我们首先介绍了三个主动选择策略的基础上的不确定性和代表性，然后推导出一个批量选择方法，组装这些策略使用多臂强盗机制。ActiveHNE旨在通过将AQHN获得的最有价值的监督反馈到DHNE中来提高HNE的性能。在公共数据集上的实验表明了ActiveHNE的有效性和在降低查询开销方面的优势。
2019-05-15 cs.LG cs.SI stat.ML
