Bandit-Based Task Assignment for Heterogeneous Crowdsourcing
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
我们考虑了众包中的任务分配问题，其目的是在有限的预算内收集尽可能多的可靠标签。这种情况下的挑战是如何应对任务的多样性和工作人员的任务依赖可靠性，例如，一个工作人员可能擅长识别运动队的名字，但不熟悉化妆品品牌。我们将这种实际环境称为异质众包。在本文中，我们提出了一个上下文的强盗制定异构众包任务分配，这是能够处理的探索-剥削工人选择权衡。我们还从理论上研究了所提出的方法的遗憾界，并证明了其实用性的实验。
2015-07-21 cs.LG
Task Selection for Bandit-Based Task Assignment in Heterogeneous Crowdsourcing
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
任务选择（挑选合适的标签任务）和工人选择（将标签任务分配给合适的工人）是众包任务分配中的两个主要挑战。最近，工人选择已成功地解决了基于Bandit的任务分配（BBTA）方法，而任务选择尚未得到彻底的研究。本文通过实验比较了几种借鉴自主动学习文献的任务选择策略，表明最小置信度策略显著提高了众包中任务分配的性能。
2015-07-26 cs.LG
Decentralized Heterogeneous Multi-Player Multi-Armed Bandits with Non-Zero Rewards on Collisions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个完全分散的多人随机多臂强盗设置的球员不能相互沟通，只能观察自己的行动和奖励。环境可能对不同的玩家表现不同，$\textit{i.e.}$，给定手臂的奖励分布在玩家之间是异构的。在碰撞的情况下（当多个玩家使用同一只手臂时），我们允许碰撞的玩家获得非零奖励。该武器被使用的时间范围$T$是玩家已知的\emph{not}。在这个设置中，玩家的数量被允许大于武器的数量，我们提出了一个政策，实现了近订单最优的预期遗憾的顺序$O(\log^{1 + δ} T)$为一些$0 < δ< 1$在一个时间跨度的持续时间$T$。这篇论文被IEEE Transactions on信息论接受。
2021-12-28 cs.GT cs.LG stat.ML
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
Federated Offline Policy Learning
Stanford University（斯坦福大学）
研究从多异构数据源观测bandit反馈中学习个性化决策策略的联邦离线策略学习问题，提出基于双重稳健评估和局部策略聚合的算法，并建立全局与局部遗憾的有限样本上界以揭示数据源异质性下的权衡。
2024-10-11 cs.DC cs.LG econ.EM
Heterogeneous Stochastic Interactions for Multiple Agents in a Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，其中决策代理可以观察他们的邻居的选择和奖励。邻居由具有异构和随机互连的网络图定义。这些交互由每个代理的社交性决定，这对应于代理观察其邻居的概率。我们为每个代理设计了一个算法，以最大限度地提高自己的预期累积奖励，并证明性能界限，取决于社会的代理和网络结构。我们使用的界限来预测排名排序的代理根据他们的表现，并验证分析和计算的准确性。
2019-05-21 cs.LG math.OC
FedConPE: Efficient Federated Conversational Bandits with Heterogeneous Clients
The Chinese University of Hong Kong（香港中文大学）
针对集中式对话推荐的隐私与效率问题，提出联邦阶段淘汰算法 FedConPE，通过自适应关键术语协调异构客户端，实现近最优遗憾、更低通信与对话开销。
2024-06-20 cs.AI cs.LG stat.ML
A Bandit Approach to Online Pricing for Heterogeneous Edge Resource Allocation
边缘计算（EC）通过将云资源定位在终端用户附近，提供卓越的用户体验。有效地分配边缘资源同时最大化EC平台的利润的挑战仍然是一个复杂的问题，特别是随着资源请求的在线到达的复杂性的增加。为了解决这一挑战，我们建议投的问题作为一个多臂的强盗问题，并开发两种新的在线定价机制，Kullback-Leibler上置信界（KL-UCB）算法和最小最大最优算法，异构边缘资源分配。这些机制是实时操作的，并且不需要需求分布的先验知识，这在实践中可能难以获得。拟议的公布定价方案允许用户选择并支付他们首选的资源，平台根据观察到的历史数据动态调整资源价格。数值结果表明，所提出的机制相比，来自传统的强盗算法，包括Epsilon贪婪，基本UCB，和汤普森采样算法的基准计划的优势。
2023-02-14 cs.LG
Queue Length Regret Bounds for Contextual Queueing Bandits
Department of Industrial & Systems Engineering, KAIST（韩国科学技术院工业与系统工程系）；Department of Mathematical Sciences, Seoul National University（首尔国立大学数学科学系）；Research Institute of Mathematics, Seoul National University（首尔国立大学数学研究所）；Korea Institute for Advanced Study（韩国高级研究院）；Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目）
本文提出了一种新的上下文感知调度框架，即上下文队列强化学习，用于在同时学习未知服务速率的过程中进行调度。通过考虑异质的上下文特征，智能体选择任务并将其匹配到服务器以最大化离开速率。服务/离开速率由具有未知服务器特定参数的逻辑模型决定。为了评估策略的性能，我们考虑队列长度遗憾，定义为策略与最优策略之间队列长度的差异。主要挑战在于，在给定时间步长下，队列中剩余任务特征列表可能因策略与最优策略的不同而不同，因为它们可能以不同的顺序处理任务。为此，我们提出了带有复杂耦合论证的策略切换队列的概念。这导致了一种新的队列长度遗憾分解框架，使我们能够理解选择次优任务-服务器对的短期影响及其对队列状态差异的长期影响。我们证明了我们的算法CQB-ε达到了O(T^{-1/4})的遗憾上界。我们还考虑了对抗性选择的上下文设置，其中我们的第二个算法CQB-Opt达到了O(log²T)的遗憾上界。最后，我们提供了实验结果以验证我们的理论发现。
2026-05-18 cs.LG
Multiplayer Multi-armed Bandits for Optimal Assignment in Heterogeneous Networks
IIT Bombay（印度理工学院孟买分校）；IIIT Delhi（德里印度理工学院）
我们考虑一个ad hoc网络，多个用户访问同一组信道。信道特性是未知的，并且对于每个用户可能是不同的（异构的）。没有控制器可用于协调用户的信道选择，并且如果多个用户选择相同的信道，则它们会冲突，并且它们中没有一个接收任何速率（或奖励）。对于这样一个完全分散的网络，我们开发了旨在实现最佳网络吞吐量的算法。由于用户之间缺乏任何直接通信，我们允许每个用户通过以特定模式传输来交换信息，并从其他人那里感知这种传输。然而，这种用于信息交换的传输和感测不会增加网络吞吐量。对于宽带传感和窄带传感的情况下，我们首先开发的探索和提交算法，收敛到近最优的分配，在一个小的回合数的概率很高。在此基础上，我们开发了一种算法，即使用户数量随着时间的推移而变化，也能提供对数遗憾。我们通过大量的实验验证了我们的主张，并表明我们的算法比最先进的CSM-MAB，dE 3和dE 3-TS算法表现得更好。
2019-08-30 cs.LG stat.ML
Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文研究了基于模型的非线性函数逼近的Bandit和强化学习（RL）。我们建议研究收敛到近似局部最大值，因为我们表明，即使对于具有确定性奖励的单层神经网络强盗，全局收敛在统计上也是难以处理的。对于非线性强盗和RL，本文提出了一种基于模型的算法，虚拟上升与在线模型学习器（ViOlin），可证明收敛到局部最大值的样本复杂性，只依赖于顺序Rademacher复杂性的模型类。我们的研究结果意味着新的全球或局部遗憾界几个具体的设置，如线性强盗有限或稀疏模型类，和两层神经网络强盗。一个关键的算法见解是，乐观可能会导致过度探索，即使是双层神经网络模型类。另一方面，为了收敛到局部最大值，如果模型还可以合理地预测实际收益的梯度和Hessian的大小，则足以最大化虚拟收益。
2022-08-02 cs.LG
Collaborative Multi-Agent Heterogeneous Multi-Armed Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究 N 个智能体协作学习 M 个随机多臂老虎机的新问题，提出两种场景下的去中心化算法，推导了每智能体与群体遗憾上界，并证明群体遗憾下界，验证算法近最优性。
2024-07-02 cs.DC cs.LG cs.MA
Heterogeneous Multi-Player Multi-Armed Bandits Robust To Adversarial Attacks
The Grainger College of Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院）
针对存在对抗者利用碰撞影响奖励的异构多人多臂老虎机问题，提出一种允许极少量通信的鲁棒策略，实现了近阶最优遗憾。
2025-01-21 cs.LG stat.ML
Distributed Bandits with Heterogeneous Agents
The Chinese University of Hong Kong（香港中文大学）
本文解决了一个多智能体的强盗设置$M$代理合作解决同一个$K$武装随机强盗问题的情况下。代理商为\textit{heterogeneous}：每个代理具有对本地分支子集的有限访问，并且代理是异步的，在决策回合之间具有不同的间隙。每个智能体的目标是找到其最优的局部分支，并且智能体可以通过与其他智能体共享他们的观察结果来进行合作。虽然代理之间的合作提高了学习的性能，但它带来了代理之间通信的额外复杂性。对于这种异构的多代理设置，我们提出了两种学习算法，\ucbo和\AAE。我们证明了这两种算法实现了订单最优的遗憾，这是$O\left(\sum_{i:\tildeΔ_i>0} \log T/\tildeΔ_i\right)$，其中$\tildeΔ_i$是最小次优差距之间的奖励平均臂$i$和任何局部最优臂。此外，仔细选择有价值的信息合作，\AAE实现了低的通信复杂性度$O(\log T)$。最后，数值实验验证了这两种算法的有效性。
2022-02-16 cs.DC cs.LG
RepUCB: Representation Learning-Based UCB for Heterogeneous Multi-Task Linear Bandits
Qingdao University（青岛大学）；Iowa State University（爱荷华州立大学）
本文提出了一种多任务线性老虎机中的共享表示学习方法，通过低秩共享表示提升决策效率，理论分析表明其在样本效率上优于独立解决多个任务。
2026-09-23 cs.LG
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CREST（CREST（法国国家统计与经济研究所研究中心））；ENSAE（法国国立统计与经济管理学校）
针对异构异步多玩家老虎机最优分配计算的未解决问题，证明其NP难性，提出贪心算法并给出1/e及1/√e的近似保证，为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
针对去中心化异构老虎机中的非平稳性，提出DRFC算法，通过平衡全局比较忽略局部变化，实现无局部变化依赖的遗憾界，并验证其有效性。
2026-09-16 cs.LG
Multi-player Multi-armed Bandits for Stable Allocation in Heterogeneous Ad-Hoc Networks
IIIT Delhi（德里印度信息技术学院）；IIT Bombay（孟买印度理工学院）
下一代网络预计将是超密集的，并且旨在探索允许用户在授权、共享以及未授权频谱中进行通信的频谱共享范例。这种超密集网络将在基站处引起显著的信令负载，导致对频谱和能量效率的负面影响。为了使信令开销最小化，正在考虑针对在未许可和共享频谱中通信的用户的自组织方法。对于这样的用户，决策需要完全分散，因为：1）用户和来自基站的信令之间不可能进行通信，这需要在每个用户处进行独立的信道选择。当多个用户在同一信道上同时发送时发生冲突。2）信道质量可能是异构的，即，它们在所有用户之间并不相同，而且是未知的，以及3）网络可以是动态的，其中用户可以随时进入或离开。我们开发了一个基于多臂强盗的静态网络分布式算法，并将其扩展到动态网络。该算法的目标是在有限时间内实现稳定的正交分配（SOC），并满足上述三个约束条件，具有两个新的特点：1）低复杂度窄带无线电相比，宽带无线电在现有的工作，和2）无历元的方法，动态网络。我们建立了一个收敛的算法SOC和验证通过广泛的仿真实验。
2019-07-10 cs.LG cs.NI stat.ML
Decentralized Randomly Distributed Multi-agent Multi-armed Bandit with Heterogeneous Rewards
Northwestern University（西北大学）
本文研究去中心化多智能体多臂老虎机问题，提出结合快速混合马尔可夫链随机图模拟、一致性方法与加权UCB技术的算法框架，去除了双随机性假设，在次高斯和次指数环境下实现了高概率成立的最优遗憾上界。
2023-10-18 cs.LG stat.ML
Multi-Agent Bandit Learning through Heterogeneous Action Erasure Channels
University of California, Los Angeles（加州大学洛杉矶分校）
针对多智能体分布式环境中动作擦除导致的错误反馈问题，提出基于重复协议与学习调度的算法，实现跨异构动作擦除信道的并发交互，保证次线性regret并优于现有线性regret算法。
2024-04-29 cs.DC cs.LG cs.MA
Heterogeneous Multi-player Multi-armed Bandits: Closing the Gap and Generalization
University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
尽管近年来分散式多玩家多武装土匪（MP-MAB）问题的重大利益和许多进展，在异构MP-MAB设置的自然集中下界的遗憾差距仍然是开放的。在本文中，我们提出了BEACON --具有自适应通信的批处理探索--来缩小这一差距。BEACON在隐式通信和有效探索方面做出了新的贡献，实现了这一目标。对于前者，我们提出了一种新的自适应差分通信（ADC）的设计，显着提高了隐式通信效率。对于后者，一个精心制作的批量勘探计划的开发，使合并的组合置信上限（CUCB）的原则。然后，我们将现有的线性奖励MP-MAB问题，其中系统奖励总是单独收集的奖励的总和，一个新的MP-MAB问题，其中系统奖励是一个一般的（非线性）功能的个人奖励。我们扩展了BEACON来解决这个问题，并证明了一个对数遗憾。BEACON桥梁组合MAB（CMAB）和MP-MAB，在MAB的两个很大程度上脱节的领域的算法设计和遗憾分析，本文的结果表明，这种以前被忽视的连接是值得进一步研究。
2021-10-29 cs.IT cs.LG math.IT
Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity
Univ. of Pennsylvania（宾夕法尼亚大学）；Arizona State University（亚利桑那州立大学）
针对稀疏异质性下的多任务线性回归与上下文赌博机问题，提出两阶段估计器MOLAR，改善估计误差对维度的依赖，获更优遗憾保证且达极小极大最优，实验验证了其效率。
2024-12-13 cs.LG stat.ME stat.ML
Leveraging heterogeneous spillover in maximizing contextual bandit rewards
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出一种考虑异质溢出效应的上下文老虎机框架，通过引入邻居行为和网络结构信息提升推荐奖励。
2025-01-24 cs.LG cs.SI
Causal Feature Selection Method for Contextual Multi-Armed Bandits in Recommender System
Roblox
本文提出HIE和HDD两种无模型方法，用于识别推荐系统中驱动异质处理效应的特征，提升上下文多臂老虎机性能。
2025-11-30 cs.IR cs.LG stat.ML
Flooding with Absorption: An Efficient Protocol for Heterogeneous Bandits over Complex Networks
Kim Jaechul Graduate School of AI, KAIST（金在哲人工智能研究生院（韩国科学技术院））
本文针对复杂网络上具有异构臂的多智能体多臂老虎机问题，提出带吸收的洪泛协议 FwA，在保持较低遗憾的同时显著降低通信成本。
2024-02-25 cs.DC cs.LG cs.NI
Heterogeneous Multi-agent Multi-armed Bandits on Stochastic Block Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；Carnegie Mellon University（卡内基梅隆大学）
针对随机块模型诱导簇结构下的异构多智能体多臂老虎机问题，提出结合平均共识与信息聚合加权的UCB型算法，实现$\log{T}$阶最优遗憾，兼顾簇内同质与簇间异构，放宽边概率假设且扩展性更好。
2025-02-11 cs.LG
Federated Contextual Cascading Bandits with Asynchronous Communication and Heterogeneous Users
University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究联邦上下文组合级联赌博机问题，提出一种支持异步通信和异构用户聚类的UCB型算法，在仅付出对数级通信成本的同时取得与同步框架相当的次线性遗憾界。
2024-02-26 cs.AI cs.LG
Combining Diverse Information for Coordinated Action: Stochastic Bandit Algorithms for Heterogeneous Agents
Harvard University（哈佛大学）
本文针对异质敏感度智能体的随机多臂老虎机问题，提出UCB风格算法Min-Width，通过加权聚合不同智能体-臂对的奖励并协调分配，实现高效协作并分析其遗憾。
2024-08-06 cs.AI cs.LG cs.MA
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Decentralized Online Riemannian Optimization Beyond Hadamard Manifolds
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
针对可能具有正曲率的流形，提出曲率感知的黎曼共识步骤，实现去中心化在线黎曼梯度下降算法，并证明O(√T)遗憾界。
2026-06-06 cs.LG cs.MA math.OC
Heterogeneous manifolds for curvature-aware graph embedding
Twitter Inc.（推特公司）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
图嵌入，其中图的节点由连续空间中的点表示，用于广泛的Graph ML应用程序中。这种嵌入的质量关键取决于空间的几何形状是否与图的几何形状匹配。对于许多类型的真实世界的图来说，欧氏空间通常是一个糟糕的选择，其中层次结构和幂律度分布与负曲率有关。在这方面，最近已经表明，双曲空间和更一般的流形，如常曲率空间和矩阵流形的产品，是有利的近似匹配节点成对距离。然而，所有这些类的流形都是齐次的，这意味着曲率分布在每个点上都是相同的，使得它们不适合匹配图的局部曲率（和相关的结构性质）。在本文中，我们研究图嵌入在更广泛的一类异构旋转对称流形。通过向任何给定的现有齐次模型添加一个额外的径向维度，我们可以同时考虑图上的非均匀曲率分布和成对距离。我们评估了我们的方法在合成和真实数据集上的重建任务，并显示了它在更好地保留高阶结构和异构随机图生成方面的潜力。
2022-02-02 cs.LG stat.ML
Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits
University of Virginia（弗吉尼亚大学）
线性上下文强盗是一个流行的在线学习问题。它主要在集中学习环境中进行研究。随着大规模分散模型学习需求的激增，例如，在联邦学习中，如何在保持遗憾最小化的同时降低通信成本成为一个公开的挑战。在本文中，我们研究线性上下文强盗在联邦学习设置。我们提出了一个通用的框架，异步模型更新和通信的同构客户端和异构客户端的集合，分别。对该分布式学习框架下的后悔和沟通成本进行了严格的理论分析，并通过大量的实证分析验证了该解决方案的有效性.
2021-10-04 cs.LG
Beyond variance reduction: Understanding the true impact of baselines on policy optimization
Mila, McGill University（米拉研究所，麦吉尔大学）；Mila, University of Montreal（米拉研究所，蒙特利尔大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；Google DeepMind（谷歌DeepMind）
Bandit和强化学习（RL）问题通常可以被定义为优化问题，其目标是最大化平均性能，同时只能访问真实梯度的随机估计。传统上，随机优化理论预测，学习动态由损失函数的曲率和梯度估计的噪声决定。在本文中，我们证明，这是不是强盗和RL问题的情况。为了使我们的分析能够根据多步MDP进行解释，我们专注于从随机优化原理（例如，自然的策略梯度和EXP3），我们表明，一些标准的假设，从优化理论违反了这些问题。我们目前的理论结果表明，至少对于强盗问题，曲率和噪声是不足以解释的学习动态和看似无害的选择，如基线可以确定算法是否收敛。这些理论研究结果与我们的实证评估相匹配，我们将其扩展到多州MDP。
2021-02-19 cs.LG stat.ML
Generalized Linear Bandits with Memory
Seoul National University（首尔大学）；Shinsegae（新世界（集团））
该研究针对带记忆的广义线性老虎机，改进了线性情况下的遗憾界，提出基于收缩置信界的分块算法，实现了$\text{sqrt}(T)$型遗憾率，通过数值实验验证了理论结果。
2026-08-18 cs.LG stat.ML
Heterogeneous Multi-Agent Bandits with Parsimonious Hints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；City University of Hong Kong（香港城市大学）
针对异构多智能体多臂老虎机问题，提出GP-HCLA、HD-ETC和EBHD-ETC算法，通过最小化提示查询实现与时间无关的遗憾，并证明最优性。
2025-02-22 cs.AI cs.GT cs.LG
Computation Offloading in Heterogeneous Vehicular Edge Networks: On-line and Off-policy Bandit Solutions
University of Bologna（博洛尼亚大学）；Lancaster University（兰卡斯特大学）；University of Tübingen（蒂宾根大学）；University of Manitoba（曼尼托巴大学）
随着智能交通系统（ITS）和车辆通信的快速发展，车辆边缘计算（VEC）正在成为支持低延迟ITS应用和服务的有前途的技术。在本文中，我们考虑的计算卸载问题，从移动车辆/用户在异构VEC的情况下，并专注于网络和基站的选择问题，不同的网络有不同的流量负载。在快速变化的车辆环境中，用户的计算卸载体验受到由于与基站共处的边缘计算服务器处的拥塞而引起的延迟的强烈影响。然而，由于这种环境的非平稳特性以及信息短缺，预测这种拥塞是一项复杂的任务。为了解决这一问题，我们提出了一个在线学习算法和一个基于多臂强盗理论的离策略学习算法。为了在分段静态环境中动态地选择最不拥塞的网络，这些算法使用卸载历史来预测卸载任务经历的延迟。此外，为了最大限度地减少由于车辆的移动性造成的任务损失，我们开发了一种用于基站选择的方法。此外，我们提出了一个中继机制，选定的网络，它的基础上的逗留时间的车辆。通过密集的数值分析，我们证明了所提出的基于学习的解决方案通过选择最不拥塞的网络来适应网络的流量变化，从而减少了卸载任务的延迟。此外，我们证明了建议的联合基站选择和中继机制，最大限度地减少在车辆环境中的任务损失。
2023-03-15 cs.LG cs.NI eess.SP
One Good Source is All You Need: Near-Optimal Regret for Bandits under Heterogeneous Noise
本文提出SOAR算法，在异质噪声下实现近最优遗憾，通过快速修剪高方差来源和平衡min-max LCB-UCB方法，取得实例依赖的最优遗憾界。
2026-05-01 cs.LG
Content-Level Selective Offloading in Heterogeneous Networks: Multi-armed Bandit Optimization and Regret Bounds
Imperial College London（伦敦帝国学院）
我们认为内容级的选择性卸载蜂窝下行链路业务的无线infostation终端存储在其高速缓存中的高数据速率的内容。信息站附近的蜂窝用户可以通过宽带连接（例如，WiFi），减少了蜂窝网络上的延迟和负载。信息站缓存控制器（CC）的目标是将最受欢迎的内容存储在缓存中，以便将最大量的流量卸载到信息站。实际上，CC不知道文件的流行度简档，CC仅观察对存储在高速缓存中的那些内容的即时需求。因此，基于需求历史和与将每个内容放置在高速缓存中相关联的成本来优化高速缓存内容放置。通过以规则的时间间隔刷新高速缓存内容，CC逐渐学习流行度简档，同时以可能的最佳方式利用有限的高速缓存容量。这是制定为一个多臂强盗（MAB）的切换成本的问题。提出了几种算法来决定随着时间的推移缓存内容。性能是根据缓存效率来衡量的，缓存效率定义为卸载到信息站的净流量。除了理论遗憾界限外，还通过数值模拟对所提出的算法进行了分析。特别是，系统参数的影响，如文件的数量，用户的数量，高速缓存的大小，和偏度的流行配置文件，对性能的数值研究。结果表明，所提出的算法学习的流行度配置文件迅速为广泛的系统参数。
2014-07-23 cs.IT cs.LG math.IT
Constant-Curvature Sliced Gromov-Wasserstein for Heterogeneous Cross-Curvature Alignment
BIFOLD（柏林智能数据与机器学习研究所）；Technical University of Berlin（柏林工业大学）；Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；University of Trento（特伦托大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；RIKEN AIP（日本理化学研究所先进智能研究中心）
提出常曲率切片Gromov-Wasserstein（CCSGW）散度，用于对齐异质常曲率空间上的分布，通过测地线投影实现高效比较，并在图异常检测、节点分类和多模态学习中取得一致性能提升。
2026-10-07 cs.LG
Learning What to Recommend: Minimax Optimal Simple Regret in Logistic Bandits
University of Alberta（阿尔伯塔大学）；University of Washington, Seattle（华盛顿大学（西雅图））；OpenAI（开放人工智能研究所）
针对简单遗憾目标下的随机逻辑斯蒂老虎机，提出两种曲率感知算法（MULog和THATS），实现与下界匹配的遗憾上界，并揭示最优动作处sigmoid逆斜率κ_*决定极小化难度。
2026-05-27 cs.LG
Adversarial Attacks on Cooperative Multi-agent Bandits
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）
本文研究合作式多智能体多臂赌博机的对抗脆弱性，分别针对同构与异构设置提出低成本攻击策略，并通过数值实验验证其有效性。
2023-11-03 cs.CR cs.LG cs.MA
Adaptive Clustering and Personalization in Multi-Agent Stochastic Linear Bandits
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学研究所）；AWS AI（亚马逊云科技人工智能研究院）
我们考虑了$N$代理异构随机线性强盗框架中的最小化后悔问题，其中代理（用户）是相似的，但并不完全相同。我们使用两个普遍使用的想法在实践中的用户异质性模型;（i）一个聚类框架，其中用户被划分成组，在同一组中的用户是相同的，但不同的跨组，和（ii）个性化框架，其中没有两个用户一定是相同的，但用户的参数接近人口平均值。在分簇用户的设置中，我们提出了一种新的算法，基于连续细化的簇身份和遗憾最小化。我们发现，对于任何代理，遗憾的规模$\mathcal{O}(\sqrt{T/N})$，如果代理是在一个“良好分离”的集群，或规模为$\mathcal{O}(T^{\frac{1}{2} + \varepsilon}/(N)^{\frac{1}{2} -\varepsilon})$，如果其集群没有很好地分离，其中$\varepsilon$是积极的，任意接近$0$。我们的算法是自适应的聚类分离，是无参数的-它不需要知道簇的数量，分离和集群的大小，但遗憾的保证适应固有的复杂性。在个性化框架中，我们引入了一个自然的算法，其中，个人强盗实例初始化与全球平均模型的估计。我们发现，一个代理$i$的参数偏离人口平均$ε_i$，达到后悔缩放$\widetilde{O}(ε_i\sqrt{T})$。这表明，如果用户表示接近（小$ε_i)$），则所产生的遗憾低，反之亦然。结果进行了经验验证，我们观察到我们的自适应算法优…
2022-02-02 cs.LG stat.ML
On Pareto Optimality for Parametric Choice Bandits
Department of Management Science and Engineering, Tsinghua University, Beijing, China（清华大学管理科学与工程系，北京，中国）；Department of Industrial Systems Engineering and Management, National University of Singapore, Singapore（新加坡国立大学工业系统工程与管理系，新加坡）
本文研究在随机选择下在线商品组合优化问题，提出结合两个正则化最大似然估计器的强制探索乐观面对不确定性方案，分析了自归一化集中不等式、似然椭球置信集定理和近似乐观动作的遗憾界，推导了多名义logit模型的得分和曲率代理，得出帕累托最优区间和平衡点。
2026-04-24 cs.LG stat.ML
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略，在异构边缘设备上实现个性化压缩，同时保持聚合兼容性和收敛稳定性，实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
Navigating Sparsities in High-Dimensional Linear Contextual Bandits
University of Science and Technology of China（中国科学技术大学）；University of Virginia（弗吉尼亚大学）
针对高维线性上下文赌博机，提出基于逐点估计器的HOPE算法，统一处理参数与协方差特征值稀疏性，改进遗憾界并首次应对异质混合稀疏设置，实验验证其优越性。
2025-10-09 cs.LG math.ST stat.TH
Distributed Multi-Task Learning for Stochastic Bandits with Context Distribution and Stage-wise Constraints
Iowa State University（爱荷华州立大学）
针对未知上下文且需满足阶段性约束的分布式随机线性上下文赌博机问题，提出DiSC-UCB及其改进算法DiSC-UCB2，通过构建修剪动作集和中央服务器同步共享估计，实现了有界遗憾与通信开销，并在合成与真实数据上得到验证。
2025-04-28 cs.LG cs.MA
An Index Policy Based on Sarsa and Q-learning for Heterogeneous Smart Target Tracking
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；School of Engineering, RMIT University（RMIT大学工程学院）
针对主被动雷达网络多智能目标跟踪的非短视雷达调度问题，提出基于Sarsa和Q-learning的ISQ策略，通过近似Whittle索引最大化长期跟踪奖励，优于传统方法并快速收敛至基准策略。
2024-02-19 cs.LG cs.SY eess.SY
Prior-Free Competitive Ratios for Improving Bandits: Scale, Curvature and Horizon Are Free, but Not Jointly Under Noise
University of New South Wales（新南威尔士大学）
本文研究改进型多臂老虎机问题，提出无需先验的探测-提交算法，实现最优竞争比 $\Theta(\sqrt k+k/T)$，并揭示噪声下先验代价的跃升。
2026-09-17 cs.LG
Multi-Objective Multi-Agent Bandits: From Learning Efficiency to Fairness Optimization
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文研究了在随机奖励下的多目标多智能体老虎机问题，提出基于Pareto regret的高效学习算法和基于社会福利的公平学习方法，证明了算法在效率和公平性上的性能。
2026-05-07 cs.LG
Learning to Orchestrate Agents under Uncertainty
Department of Applied Mathematics and Theoretical Physics, University of Cambridge（应用数学与理论物理系，剑桥大学）；Centre for Human-Inspired Artificial Intelligence, University of Cambridge（启发式人工智能中心，剑桥大学）；African Institute for Mathematical Sciences, South Africa（南非数学科学研究所）；Department of Engineering Science, University of Oxford（工程科学系，牛津大学）
提出BOT-Orch框架，将编排问题转化为带正则化的多臂赌博机问题，在不确定性下实现异构智能体的自适应编排，理论保证遗憾界为O(√T)并优于基线。
2026-05-26 cs.LG
Distributed Optimization via Kernelized Multi-armed Bandits
Purdue University（普渡大学）
本文将异构奖励下的分布式优化建模为多智能体核化多臂赌博机，提出保护隐私的去中心化 MA-IGP-UCB，并以延迟更新和更多通信为代价给出降低智能体数量依赖的 MAD-IGP-UCB。
2023-12-07 cs.LG cs.MA math.OC
ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
提出ALMAB-DC框架，结合高斯过程代理模型、多臂老虎机控制和异步分布式调度，解决昂贵黑箱优化问题，在多个基准上显著优于现有方法。
2026-06-03 cs.LG stat.CO stat.ME
Learning Adaptive SED for heterogeneous load balancing
针对服务速率未知的异构两服务器负载均衡系统，提出一种在线学习算法，平衡经验SED路由与强制探索，实现有限遗憾并收敛至SED策略。
2026-09-09 cs.LG math.PR
Creator Incentives in Recommender Systems: A Cooperative Game-Theoretic Approach for Stable and Fair Collaboration in Multi-Agent Bandits
Courant Institute, New York University（纽约大学库朗数学研究所）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；FAIR, Meta AI（Meta AI 基础人工智能研究团队）
本文提出基于合作博弈的多智能体老虎机模型，分析推荐系统中创作者激励问题，证明在同质智能体下博弈凸性，提出基于 regrets 的支付规则，实验显示支付与Shapley公平性的一致性与差异。
2026-04-09 cs.CY cs.GT cs.LG
