On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University（兰卡斯特大学STOR-i博士训练中心）；Department of Mathematics and Statistics, Lancaster University（兰卡斯特大学数学与统计系）
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而，它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下，给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度，最近提出的措施的复杂性的函数类，这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物，并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Robust Lipschitz Bandits to Adversarial Corruptions
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究对抗性扰动下的Lipschitz老虎机问题，提出首个在强弱两类对手下均能实现次线性遗憾的鲁棒算法，证明强对手场景下的最优性并通过实验验证有效性。
2023-10-08 cs.LG stat.ML
Lipschitz Dueling Bandits over Continuous Action Spaces
Indian Institute of Technology Ropar, India（印度理工学院罗巴尔分校）；Indian Institute of Technology Hyderabad, India（印度理工学院海德拉巴分校）；Purdue University, USA（普渡大学）
本文首次研究了在连续动作空间中具有Lipschitz结构的随机对战强化学习问题，提出了一种基于轮次探索和递归区域消除的算法，证明了O(T^{(d_z+1)/(d_z+2)})的遗憾界。
2026-08-12 cs.IR cs.LG cs.MA
Invariant Lipschitz Bandits: A Side Observation Approach
University of Warwick（华威大学）
本文针对在线老虎机场景下对称性利用不足的问题，提出UniformMesh-N算法，将基于群轨道的侧观测整合到均匀离散臂集的UniformMesh算法中，证明了有限群下更优的遗憾上界及匹配下界，推动对称性在序贯决策中的研究。
2023-08-28 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Coordinating the Unknown Lipschitz Constant in Multiplayer Bandits
针对连续动作空间中利普希茨常数未知的协作多智能体老虎机问题，设计适配三种信息结构的算法，证明共享奖励或可观测动作可免费达成离散化一致性，否则通过抖动量化估计值达成且不增加悔的主阶成本。
2026-08-12 cs.AI cs.LG
Non-Stationary Lipschitz Bandits
University of Tübingen（图宾根大学）；École Polytechnique, CMAP（巴黎政治学院（CMAP））
针对动作无限、奖励函数可任意变化的非平稳Lipschitz老虎机问题，提出基于动作空间分层离散化的自适应检测显著偏移算法，无需非平稳先验即实现最小最大最优动态后悔界，为该场景首个最优保证。
2025-10-22 cs.LG stat.ML
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程（POMDP）。寻找POMDPs的精确解通常在计算上是难以处理的，但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗（MAB）算法，该算法假设不同动作的结果是不相关的。在某些应用中，如连续空间中的运动规划，类似的动作会产生类似的结果。在本文中，我们利用MAB启发式算法的变体，对行动结果进行Lipschitz连续性假设，以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下，自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Incentivized Lipschitz Bandits
Department of Computer Science, University of Colorado（计算机科学系，科罗拉多大学）
本文研究连续度量空间中无限臂多臂赌博机的激励性探索问题，提出均匀离散化算法，在奖励漂移下同时实现次线性遗憾与补偿，并推广至上下文赌博机。
2025-08-26 cs.AI cs.LG
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看，\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数，而不是最佳的行动或最佳的政策，在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明，用先验分布的熵来约束遗憾，并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是，物流强盗$d$维参数，$K$行动，Lipschitz logits，我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限，不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析，例如，[Kleinberg et al. 2008，Bubeck et al. 2011，Slivkins 2014]，他们提出的算法存在严重的实际问题，包括极端的时间复杂度和对oracle实现的依赖。有了这个动机，我们提出了一种新的算法与上置信界（UCB）的探索，即树UCB-Hoeffding，使用自适应分区。我们的分区方案很容易实现，不需要任何Oracle设置。使用基于树的搜索策略，对于第一次$T$迭代，总计算成本可以改进为$\mathcal{O}(T\log T)$。此外，我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits
Imperial College London（伦敦帝国学院）
针对协作式随机$k$-臂老虎机问题，提出可将任意单智能体算法扩展至多智能体场景的黑盒归约方法QuACK，证明其遗憾保证在次高斯环境下紧且通用，实验性能优于或持平专用多智能体算法。
2024-10-31 cs.LG
Collaborating in Multi-Armed Bandits with Strategic Agents
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究）
研究多代理贝叶斯老虎机问题中的协作学习，提出CAOS机制通过信息共享维持协作并保证强后悔界。
2026-05-13 cs.LG
Off-Policy Risk Assessment in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
即使无法进行实验，从业者也可以使用以前记录的数据来评估未来的政策。然而，虽然土匪文学采用了一套不同的目标，大多数研究的政策外评估的日期集中在预期的回报。在本文中，我们引入Lipschitz风险泛函，一个广泛的目标，包括条件风险价值（CVaR），方差，均值方差，许多扭曲的风险，CPT风险，等等。我们提出了政策外风险评估（OPRA），一个框架，首先估计目标政策的CDF，然后生成插件估计任何收集的Lipschitz风险，提供有限的样本保证，同时在整个类。我们实例OPRA与重要性采样和双重鲁棒估计。我们的主要理论贡献是（i）第一个统一的浓度不等式的CDF估计在上下文土匪和（ii）我们的Lipschitz风险估计的误差界，这都收敛于$O(1/\sqrt{n})$的速度。
2021-06-29 cs.LG stat.ML
A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization
本文提出仅依赖目标函数 Lipschitz 连续性的 BLiE 超参数优化算法，给出 $ε$-最优参数的预算与并行化理论保证，并在基准及扩散模型噪声调度任务中验证其优势。
2023-06-08 cs.LG stat.ML
Learning with Limited Shared Information in Multi-agent Multi-armed Bandit
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Microsoft Research（微软研究院）
针对多智能体多臂老虎机中智能体因隐私等原因不愿共享全部信息的问题，提出LSI-MAMAB模型与Balanced-ETC算法，证明其渐近最优性，设计激励机制保障参与收益，并通过实验验证理论结果。
2025-02-21 cs.LG
Multi-Armed Bandits in Metric Spaces
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Brown University（布朗大学）
在多臂强盗问题中，在线算法在一系列试验中从一组策略中进行选择，以便最大化所选策略的总收益。虽然强盗算法的性能与一个小的有限的策略集是相当好的理解，强盗问题与大的策略集仍然是一个非常活跃的研究课题，由实际应用，如在线拍卖和网络广告的动机。这样的研究的目标是确定广泛和自然类的策略集和支付功能，使设计有效的解决方案。在这项工作中，我们研究了一个非常一般的设置多臂强盗问题，其中的策略形成一个度量空间，支付函数满足Lipschitz条件的度量。我们把这个问题称为“Lipschitz MAB问题”。我们提出了一个完整的解决方案，在这种情况下的多臂问题。也就是说，对于每一个度量空间（L，X），我们定义了一个等距不变的界限从下面的性能Lipschitz MAB算法的X，我们提出了一个算法来任意接近满足这个界限。此外，我们的技术提供了更好的结果，良性的回报函数。
2008-09-29 cs.DS cs.LG
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们研究了在合作的多智能体设置，$V$代理与一个共同的$K$ -武装土匪问题，和每对代理可以相互通信，以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中，奖励是从所有代理和回合的分布中独立采样的，但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明，腐败的添加剂长期是不可避免的任何算法在这个问题。然后，我们提出了一个新的算法，是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置，但也获得了遗憾与腐败的腐败设置中的附加项，同时保持有效的通信。该算法也适用于单代理腐败问题，并实现了一个高概率的遗憾，消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对固定预算下随机线性老虎机，提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen，利用 G-最优设计与连续消除，实现错误概率指数衰减。
2025-05-24 cs.LG
Instance-dependent Stochastic Lipschitz bandit
Crest (Fairplay joint team)（Crest（Fairplay联合团队））；EDF R&D（EDF研发）；Criteo AI Lab（Criteo人工智能实验室）
针对Lipschitz bandit问题，提出一种基于水平集次优性间隙积分的算法，实现比传统缩放维度更优的实例依赖遗憾界。
2026-10-26 cs.LG stat.ML
Memory--Batch Tradeoffs in Lipschitz Bandits
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文研究随机 Lipschitz 多臂老虎机中内存与批次的权衡，提出含新惩罚项的极小极大遗憾刻画，揭示状态宽度与更新深度不可互换，匹配策略可实现相关性能。
2026-09-29 cs.LG stat.ML
Batched Bandits with Heavy-Tailed Rewards
本文提出鲁棒批量老虎机算法，针对重尾奖励设计，在有限臂和Lipschitz连续设定中解决批量多臂老虎机问题，发现重尾奖励在实例无关和Lipschitz设定中需更少批次达到近最优遗憾，而实例依赖设定中批次数与尾重无关。
2026-07-07 cs.LG stat.ML
Multiplayer Information Asymmetric Bandits in Metric Spaces
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究度量空间中的多玩家信息不对称 Lipschitz 老虎机，利用固定离散化的 CAB 与自适应离散化的 zooming 算法，在奖励、动作及两者不对称设置下分析遗憾界。
2025-03-11 cs.LG stat.ML
Bandits and Experts in Metric Spaces
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Brown University（布朗大学）
在多臂强盗问题中，在线算法在一系列试验中从一组策略中进行选择，以便最大化所选策略的总收益。虽然强盗算法的性能与一个小的有限的策略集是相当好的理解，强盗问题与大的策略集仍然是一个非常活跃的研究课题，由实际应用，如在线拍卖和网络广告的动机。这样的研究的目标是确定广泛和自然类的策略集和支付功能，使设计有效的解决方案。在这项工作中，我们研究了一个非常一般的设置多臂强盗问题，其中的策略形成一个度量空间，支付函数满足Lipschitz条件的度量。我们把这个问题称为“Lipschitz MAB问题”。在这种情况下，我们提出了一个解决方案的多臂强盗问题。也就是说，对于每一个度量空间，我们定义了一个等距不变的界限，从下面的性能Lipschitz MAB算法的度量空间，我们提出了一个算法来任意接近满足这个界限。此外，我们的技术提供了更好的结果，良性的回报函数。我们还解决了全反馈（“最佳专家”）版本的问题，在每一轮之后，所有武器的收益都会显示出来。
2019-04-15 cs.DS cs.LG
Robust Decentralized Multi-armed Bandits: From Corruption-Resilience to Byzantine-Resilience
针对去中心化协作多智能体多臂老虎机易受对抗攻击的问题，提出鲁棒算法DeMABAR，可同时应对对抗损坏与拜占庭攻击场景，经理论分析和数值实验验证其鲁棒性与有效性。
2025-11-13 cs.LG
Adaptive Discretization against an Adversary: Lipschitz bandits, Dynamic Pricing, and Auction Tuning
MIT（麻省理工学院）；Microsoft Research NYC（微软研究院纽约）
针对对抗收益下Lipschitz赌博机的自适应离散化研究空白，提出Adversarial Zooming算法，推导了兼具最坏情况最优性和实例依赖性的悔界，并将其拓展应用于动态定价、拍卖调优等非平滑对抗场景。
2025-06-12 cs.DS cs.GT cs.LG
Online Learning with Improving Agents: Multiclass, Budgeted Agents and Bandit Learners
University of Waterloo（滑铁卢大学）
本文提出了一种在线学习模型，允许代理通过改进特征值来获得更优标签，并探讨了多类分类、老虎机反馈及成本建模等关键问题。
2026-02-19 cs.LG stat.ML
Smooth Bandit Optimization: Generalization to Hölder Space
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
我们考虑了一个光滑的奖励函数的强盗优化，目标是累积后悔最小化。本文研究了具有$0<α\leq 1$的$α$-Hölder连续（包括Lipschitz）函数的这一问题.我们的主要结果是在推广的奖励函数的霍尔德空间与指数$α>1$之间的差距Lipschitz土匪和无限可微的模型，如线性土匪。对于Hölder连续函数，基于离散化域的箱中的随机采样的方法足以作为最佳。相比之下，我们提出了一类两层的算法，部署错误指定的线性/多项式强盗算法在箱子。我们表明，该算法可以利用高阶光滑的功能，推导出一个遗憾的上限$\tilde{O}(T^\frac{d+α}{d+2α})$时，$α>1$，这符合现有的下限。我们还研究了适应未知函数光滑度的连续尺度的Hölder空间索引的$α$，与强盗模型选择方法与我们提出的两层算法。我们发现，它达到了遗憾率匹配现有的下限内的$α\leq 1$子集的适应。
2020-12-11 cs.LG stat.ML
Delay and Cooperation in Nonstochastic Bandits
Università degli Studi di Milano（米兰大学）；University of Insubria（因苏布里亚大学）；Microsoft Research（微软研究院）；Tel-Aviv University（特拉维夫大学）
我们研究网络的通信学习代理合作解决一个共同的非随机土匪问题。代理使用底层通信网络来获取关于其他代理所选操作的消息，并丢弃经过多个$d$跳才到达的消息，其中$d$是延迟参数。我们介绍\textsc{Exp3-Coop}，一个合作版本的{ \sc Exp 3}算法，并证明了$K$行动和$N$代理的平均每代理的遗憾后，$T$轮是最多的顺序$\sqrt{\bigl(d+1 + \tfrac{K}{N}α_{\le d}\bigr)(T\ln K)}$，其中$α_{\le d}$是独立数的$d$次幂的连接通信图$G$。然后，我们表明，对于任何连通图，$d=\sqrt{K}$的遗憾界是$K^{1/4}\sqrt{T}$，严格优于非合作代理的极小极大遗憾$\sqrt{KT}$。当$G$是稠密的时，$d$的更明智的选择导致任意接近完全信息极小极大遗憾$\sqrt{T\ln K}$的界限。当$G$有稀疏的组件，我们表明，\textsc{Exp3-Coop}的一个变体，允许代理选择他们的参数，根据其中心在$G$，严格提高了遗憾。最后，作为我们的分析的副产品，我们提供了第一个表征的最小最大遗憾的强盗学习延迟。
2016-06-01 cs.LG
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University（爱荷华州立大学）
我们考虑的问题，M代理合作互动的一个随机K-武装上下文土匪的实例，其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置，在延迟后观察到确切的上下文，并在选择动作的时候，代理人不知道上下文，只有一个分布的上下文集可用。这种情况出现在不同的应用中，其中在决策时需要预测上下文（例如，天气预报或股票市场预测），并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界（UCB）的分布式算法，并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟，我们验证了我们的算法的性能。
2022-11-15 cs.LG
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University（哈佛大学）
我们引入鲁棒性\textit{restless multi-armed bandits}（RMABs），一个流行的模型之间的约束资源分配独立的随机过程（武器）。几乎所有的RMAB技术假设随机动力学是精确已知的。然而，在许多现实世界的设置中，动态是用显著的\emph{uncertainty}来估计的，例如，通过历史数据，如果忽略这些数据，可能会导致不良结果。为了解决这个问题，我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架（甲骨文的\textit{agent}和\textit{nature}），这是经常用于单过程的强大的规划，但需要显着的新技术，以适应组合性质的RMAB。具体来说，我们设计了一种深度强化学习（RL）算法DDLPO，它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战，大大降低了样本复杂性，并保证了收敛。DDLPO，一般的利益，实现我们的奖励最大化代理甲骨文。然后，我们解决了具有挑战性的遗憾最大化的自然预言机，一个非静态的强化学习的挑战，通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
Pure Exploration in Asynchronous Federated Bandits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Yale University（耶鲁大学）；Oregon State University（俄勒冈州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对联邦多臂老虎机和线性老虎机的纯探索问题，提出首个固定置信度下的异步算法，在完全异步环境中实现接近最优的样本复杂度与高效通信，并通过实验验证其有效性。
2024-09-30 cs.LG
Asymptotic Optimality for Decentralised Bandits
University of Bristol（布里斯托大学）
我们考虑了大量的代理商合作的多武器土匪问题，大量的武器。我们的目标是最大限度地减少每个代理在通信约束设置的遗憾。我们提出了一个分散的算法，建立在和改进的Gossip-Insert-Eliminate方法的Chawla等arxiv：2001.05452。我们提供了一个理论分析所产生的遗憾，这表明我们的算法是渐近最优的。事实上，我们的遗憾保证匹配的渐近最优速率在充分的通信设置。最后，我们提出的实证结果支持我们的结论
2021-09-20 cs.LG
Adaptive Sample Sharing for Multi Agent Linear Bandits
本文研究多智能体线性老虎机中数据共享对遗憾最小化的影响，提出不依赖参数结构假设的BASS算法，形式化参数估计偏差与不确定性权衡，并在合成及真实数据集上验证其高效性及聚类结构恢复能力。
2025-05-27 cs.LG stat.ML
Federated Linear Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）
本文提出FLDB-OGD算法，将在线梯度下降与联邦学习结合，解决多智能体线性对决赌博机中参数无闭式解导致的协作难题，并从理论和实验上证明了其遗憾上界及遗憾-通信权衡。
2025-06-03 cs.LG
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India（印度理工学院罗帕尔分校）；Purdue University, West Lafayette, USA（普渡大学）
本文提出多代理组合老虎机框架，用于在带反馈下解决亚模性福利问题，通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
Heterogeneous Stochastic Interactions for Multiple Agents in a Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，其中决策代理可以观察他们的邻居的选择和奖励。邻居由具有异构和随机互连的网络图定义。这些交互由每个代理的社交性决定，这对应于代理观察其邻居的概率。我们为每个代理设计了一个算法，以最大限度地提高自己的预期累积奖励，并证明性能界限，取决于社会的代理和网络结构。我们使用的界限来预测排名排序的代理根据他们的表现，并验证分析和计算的准确性。
2019-05-21 cs.LG math.OC
Bandit Max-Min Fair Allocation
Institute of Science Tokyo（东京科学大学）；University of Tokyo（东京大学）
在本文中，我们研究了一个新的决策问题称为强盗最大最小公平分配（BMMFA）问题。这个问题的目标是最大化的最小效用与附加剂的评价，通过反复分配不可分割的货物给他们。这个问题的一个关键特征是，每个代理的每个项目的估值只能通过半强盗反馈观察到，而现有的工作假设，在每轮开始时提供的项目值。另一个关键特征是，该算法的奖励函数与回合无关，这与大多数土匪设置问题不同。我们的第一个贡献是提出了一个算法，有一个渐进的遗憾界的$O(m\sqrt{T}\ln T/n + m\sqrt{T \ln(mnT)})$，其中$n$是代理的数量，$m$是项目的数量，和$T$是时间范围。这是基于一个新的组合的强盗技术和资源分配算法研究的文献竞争分析。我们的第二个贡献是提供$Ω(m\sqrt{T}/n)$的遗憾下界。当$T$充分大于$n$时，上限和下限之间的间隙是$T$的对数因子。
2025-05-08 cs.LG
AgentBuddy: A Contextual Bandit based Decision Support System for Customer Support Agents
Intuit（财捷公司）
在这篇简短的论文中，我们提出了早期的见解，从决策支持系统的客户支持代理（CSA）服务客户的领先的会计软件。该系统正在开发中，旨在向委员会审议大会提供建议，使其更有成效。该解决方案的一个独特之处在于使用了强盗算法来创建一个易于处理的人在环系统，该系统可以在线方式从CSA学习。除了讨论ML方面，我们还提出了从CSA的早期反馈中收集的重要见解。这些见解激发了我们未来的工作，也可能会引起ML从业者的更广泛兴趣。
2019-02-24 cs.AI cs.LG
Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits
ENS Rennes（雷恩高等师范学院）；Orange Labs（奥兰奇实验室）；Paul Sabatier University（保罗·萨巴蒂埃大学）
针对集中式智能充电方案可扩展性差、存在单点故障与隐私隐患的问题，提出基于自适应多智能体多臂老虎机的完全分布式智能充电系统，可应对系统不确定性，兼具分布式、可扩展、实时、无模型与公平性优势。
2023-07-20 cs.LG
On the optimal regret of collaborative personalized linear bandits
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究协作个性化线性赌博机的最优遗憾，提出两阶段协作算法，实现与信息论下界匹配的最优遗憾，并刻画了协作在不同异质性条件下的收益。
2025-06-19 cs.LG
Contextual Bandit Applications in Customer Support Bot
Microsoft Azure AI（微软 Azure AI）
虚拟支持代理作为企业提供更好、更方便的客户服务的一种方式越来越受欢迎。这个领域的一些挑战包括模糊的用户查询以及不断变化的支持主题和用户行为（非平稳性）。但是，我们可以访问用户提供的部分反馈（点击、调查和其他事件），这些反馈可用于改善用户体验。适应性学习技术，如上下文强盗，是一个自然适合这个问题的设置。在本文中，我们讨论了现实世界的实现上下文强盗（CB）的微软虚拟代理。它包括基于神经线性土匪（NLB）的意图消歧和基于多武装土匪（MAB）集合的上下文建议。我们的解决方案已经部署到生产环境中，并改进了Microsoft虚拟代理的关键业务指标，A/B实验证实了这一点。结果包括问题解决率的相对增加超过12%，以及升级到人类操作员的相对减少超过4%。虽然我们目前的用例集中在支持机器人的意图消歧和上下文推荐上，但我们相信我们的方法可以扩展到其他领域。
2021-12-06 cs.LG
Learning in Matching Games with Bandit Feedback
University of Neuchatel（日内瓦大学）
研究广义双边匹配市场中代理通过零和博弈交互的学习问题，提出基于UCB的算法，以匹配不稳定性为遗憾度量，实现次线性遗憾上界。
2026-06-17 cs.LG
Distributed Algorithms for Multi-Agent Multi-Armed Bandits with Collision
针对无中心协调的多玩家多臂老虎机碰撞问题，提出带自适应通信协议的分布式算法，实现近最优群体与个体遗憾，通信成本仅O(log log T)，并扩展至异步场景。
2025-10-08 cs.LG
DCM Bandits: Multiplayer Information Asymmetric Cascading Bandits for Multiple Clicks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究将DCM老虎机扩展至多人信息非对称多点击场景，针对含非对称性的三种场景提供次线性悔恨保证，改进了单智能体结果，算法在非对称环境中表现良好，凸显反馈结构的关键作用。
2026-08-13 cs.LG
Cooperative Multi-Agent Bandits with Heavy Tails
Media Lab and Institute for Data, Systems and Society, Massachusetts Institute of Technology（麻省理工学院媒体实验室与数据、系统与社会研究所）
我们研究了合作多智能体环境中的重尾随机强盗问题，其中一组智能体与一个共同的强盗问题进行交互，同时在具有延迟的网络上进行通信。在这种情况下，现有的随机强盗算法利用置信区间所产生的平均为基础的通信协议称为~ \textit{running consensus}，这并不适合自己的鲁棒估计重尾设置。我们提出了\textsc{MP-UCB}，一个分散的多智能体算法的合作随机土匪，采用了强大的估计与消息传递协议。我们证明了\textsc{MP-UCB}的几个问题设置的最佳遗憾界，也证明了它的优越性，现有的方法。此外，我们建立了合作的强盗问题的第一个下界，除了提供有效的鲁棒的强盗位置估计算法。
2020-08-14 cs.LG cs.MA stat.ML
Distributed Bandits with Heterogeneous Agents
The Chinese University of Hong Kong（香港中文大学）
本文解决了一个多智能体的强盗设置$M$代理合作解决同一个$K$武装随机强盗问题的情况下。代理商为\textit{heterogeneous}：每个代理具有对本地分支子集的有限访问，并且代理是异步的，在决策回合之间具有不同的间隙。每个智能体的目标是找到其最优的局部分支，并且智能体可以通过与其他智能体共享他们的观察结果来进行合作。虽然代理之间的合作提高了学习的性能，但它带来了代理之间通信的额外复杂性。对于这种异构的多代理设置，我们提出了两种学习算法，\ucbo和\AAE。我们证明了这两种算法实现了订单最优的遗憾，这是$O\left(\sum_{i:\tildeΔ_i>0} \log T/\tildeΔ_i\right)$，其中$\tildeΔ_i$是最小次优差距之间的奖励平均臂$i$和任何局部最优臂。此外，仔细选择有价值的信息合作，\AAE实现了低的通信复杂性度$O(\log T)$。最后，数值实验验证了这两种算法的有效性。
2022-02-16 cs.DC cs.LG
A Dynamic Observation Strategy for Multi-agent Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，在这个问题中，决策智能体可以在线性观测成本下观测其邻居的选择和回报。邻居由网络图定义，该网络图对系统的固有观测约束进行编码。我们定义了一个与观察相关的成本，这样在每一个实例中，代理人进行观察，它会收到一个恒定的观察遗憾。我们设计了一个抽样算法和一个观察协议，每个代理通过最小化期望累积抽样后悔和期望累积观察后悔来最大化自己的期望累积回报。对于我们提出的协议，我们证明了总累积遗憾是数学界。我们使用数值模拟来验证分析界限的准确性。
2020-04-08 cs.LG math.OC
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
Gaussian Imagination in Bandit Learning
Stanford University（斯坦福大学）
假设分布是高斯分布，通常会使原本难以处理的计算变得容易。我们研究的代理，达到一个有界的信息比与高斯先验分布和高斯似然函数时，而不是一个伯努利强盗强盗环境的性能。相对于信息理论界的贝叶斯后悔的代理人会招致与高斯强盗互动时，我们绑定的遗憾，当代理人与伯努利强盗互动。如果高斯先验分布和似然函数是充分扩散的，则这种增加以在时间范围的平方根中至多是线性的速率增长，并且因此每时间步的增加消失。我们的研究结果正式民间传说，所谓的贝叶斯代理人仍然有效时，实例化与扩散错误指定的分布。
2022-02-21 cs.LG stat.ML
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数，涵盖均值-方差、熵风险等，通过新型经验集中不等式推导数据依赖的次优界，无须强叠加假设，达到最小最大最优。
2026-05-15 cs.LG stat.ML
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Collaborative Multi-agent Stochastic Linear Bandits
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）
我们研究了一个合作的多代理随机线性土匪设置，其中$N$代理，形成一个网络在本地进行通信，以尽量减少他们的整体遗憾。在这种情况下，每个代理都有自己的线性强盗问题（自己的奖励参数），目标是选择最佳的全局行动w.r.t.奖励参数的平均值。在每一轮中，每个智能体提出一个动作，并随机选择一个动作作为网络动作。所有的代理观察相应的奖励的播放动作，并使用加速共识程序来计算的平均奖励的估计获得的所有代理。我们提出了一个分布式置信上限（UCB）算法，并证明了高概率界上的$T$轮遗憾，其中我们包括一个线性增长的遗憾与每个通信轮。我们的遗憾界是$\mathcal{O}\Big(\sqrt{\frac{T}{N \log(1/|λ_2|)}}\cdot (\log T)^2\Big)$阶的，其中$λ_2$是通信矩阵的第二大（绝对值）特征值。
2022-05-12 cs.LG cs.MA
