Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Engineering Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学工程学院）
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量，我们表明，情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量，$n$是强盗的数量和$S$是每个强盗的状态数（在S，n和K中的确切界限在本文中给出）。直到因子$\sqrt S$，这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的：它的运行时间与强盗的数量成线性关系。我们进一步表明，这种线性运行时间不能通过适应经典的非贝叶斯算法，如UCRL 2或UCBVI马尔可夫强盗问题。最后，我们进行数值实验，证实MB-PSRL优于其他现有的算法在实践中，无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
Scalable and Interpretable Contextual Bandits: A Literature Review and Retail Offer Prototype
Juraj Dobrila University of Pula, Faculty of Informatics（朱拉·多布里拉大学普拉分校信息学院）
本文综述上下文多臂老虎机方法，提出可扩展可解释的零售优惠选择框架，通过类别级建模和逻辑回归实现高效学习与透明决策。
2025-05-22 cs.LG
Sequential Monte Carlo Bandits
Pipewave Inc.（Pipewave公司）；Harvard University（哈佛大学）
在本文中，我们提出了一个灵活而有效的框架来处理多武装匪徒，结合序贯蒙特卡罗算法与分层贝叶斯建模技术。该框架自然包括不安分的土匪，上下文土匪，和其他土匪变种下一个单一的推理模型。尽管该模型的一般性，我们提出了有效的蒙特卡罗算法，使推理可扩展性，基于最近的发展序贯蒙特卡罗方法。通过两个模拟研究，该框架被证明优于其他经验方法，同时也自然扩展到更复杂的问题，现有的方法无法应付。此外，我们成功地将我们的框架应用于基于在线视频的广告推荐，并显示其提高的效率相比，目前的最先进的强盗算法。
2013-10-04 cs.LG stat.ME stat.ML
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）；National Chiao Tung University（国立交通大学）
受自适应控制中的有偏最大似然估计方法的启发，我们提出了RBMLE --一种新的随机多臂强盗（SMAB）学习算法。对于广泛的SMAB，包括参数指数家庭以及非参数子高斯/指数家庭，我们表明，RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$，我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用，通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能，我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明，建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争，同时更计算效率和可扩展性相比，其中表现最好的。
2020-10-23 cs.LG stat.ML
A Decentralized Communication Policy for Multi Agent Multi Armed Bandit Problems
Sri Lanka Technological Campus（斯里兰卡理工学院）；University of Peradeniya（佩拉德尼亚大学）
本文提出了一种新的政策，一组代理，单独以及集体，解决多武装土匪（MAB）问题。该策略仅依赖于代理通过自己的选项采样以及通过与邻居的通信获得的信息。选择政策是基于上置信度为基础（UCB）的战略，而提出的通信策略，迫使代理商与其他代理商，他们认为是最有可能探索比利用。整体策略显着优于一个独立的Erdens-Rényi（ER）图为基础的随机通信策略。该政策被证明是具有成本效益的通信方面，因此可以很容易地扩展到一个大型网络的代理。
2020-02-21 cs.LG stat.ML
Online and Scalable Model Selection with Multi-Armed Bandits
Copilot AI；Xaxis
许多在实时流量上运行的在线应用程序都由机器学习模型提供支持，这些模型的训练、验证和超参数调整都是在历史数据上进行的。然而，在离线分析中表现出强大性能的模型在在线部署时通常会产生较差的性能。这个问题是在非平稳环境中训练历史数据的困难的结果。此外，用于模型选择的机器学习度量可能与用于确定被测试应用的成功的真实世界业务度量不充分相关。这些问题在实时竞价（RTB）领域尤为突出，其中ML模型为竞价策略提供动力，并且模型的变化可能会影响广告活动的性能。在这项工作中，我们提出了自动化模型分析（AMS），一个系统的可扩展的在线选择RTB投标策略的基础上，现实世界的性能指标。AMS采用多臂强盗（MAB）来几乎同时运行和评估多个模型对实时流量，分配最多的流量给最好的模型，同时减少流量给那些在线性能较差的模型，从而最大限度地减少劣质模型对整体活动性能的影响。避免了对离线数据的依赖，而是根据可操作的业务目标逐个进行模型选择。AMS允许新模型在开发完成后立即安全地引入到实时活动中，从而最大限度地降低整体性能的风险。在多个广告活动的实时流量测试中，AMS系统被证明在提高广告活动性能方面非常有效。
2021-01-25 cs.AI cs.LG
Scalable Decision-Focused Learning in Restless Multi-Armed Bandits with Application to Maternal and Child Health
Google Research（谷歌研究院）
本文针对不安多臂老虎机问题中训练目标与评估目标不匹配的问题，提出一种直接优化 Whittle 指数解质量的决策聚焦学习方法，并首次实现可扩展到真实世界母婴健康问题规模。
2023-08-13 cs.AI cs.LG
BLOB : A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
推荐系统的一个常见任务是从用户浏览历史中的项目中建立用户兴趣的概况，然后从同一目录中向用户推荐项目。用户的行为由两部分组成：他们在没有干预的情况下观看的项目序列（有机部分）和推荐给他们的项目序列及其结果（强盗部分）。在本文中，我们提出了贝叶斯潜在有机强盗模型（BLOB），概率的方法来结合“有机”和“强盗”的信号，以提高推荐质量的估计。由于其给出推荐性能的直接反馈，所以该强盗信号是有价值的，但是信号质量非常不均匀，因为其高度集中于被推荐器系统的过去版本认为是最优的推荐。相比之下，有机信号通常很强，覆盖大多数项目，但并不总是与推荐任务相关。为了利用有机信号来有效地学习贝叶斯模型中的强盗信号，我们确定了三种基本类型的距离，即动作-历史距离、动作-动作距离和历史-历史距离。我们使用变分自动编码器和局部重新参数化技巧实现完整模型的可扩展近似。我们使用广泛的模拟研究表明，我们的方法优于或匹配的价值都是最先进的有机为基础的推荐算法，和土匪为基础的方法（价值和政策为基础的）在有机和土匪丰富的环境。
2020-08-28 cs.LG stat.ML
Scalable Policy Maximization Under Network Interference
Duke University（杜克大学）
本文针对动态网络干扰下的最优策略学习，提出可扩展的汤普森采样算法，利用线性奖励结构，实现次线性遗憾，并优于现有方法，填补了因果推断与实用算法的可扩展性差距。
2025-05-23 cs.LG stat.ML
Parallel Contextual Bandits in Wireless Handover Optimization
Noah’s Ark Lab Paris（巴黎诺亚方舟实验室）；Huawei Technologies Ltd（华为技术有限公司）
随着蜂窝网络变得越来越密集，无线基站参数的可扩展和动态调谐只能通过自动优化来实现。虽然上下文强盗框架出现作为这样一个任务的一个自然的候选人，其扩展到一个并行设置是不简单的：一个需要仔细适应现有的方法，充分利用这个问题的多代理结构。我们提出了两种方法：一种来自确定性的UCB类方法，另一种依赖于汤普森采样。由于其掠夺性，后者的直觉是更好地保持勘探开发平衡的土匪批。这一点在玩具实验中得到了验证，其中Thompson采样显示出对上下文变化的鲁棒性。最后，我们将这两种方法应用于一个真实的基站网络数据集，并证明汤普森采样优于手动调整和上下文UCB。
2019-01-21 cs.LG cs.NI stat.ML
Designing for the Next Click: Bandits for Real-Time Page Layout
Target Corporation（塔吉特公司）
该研究提出一种基于LinUCB的上下文多臂老虎机系统，可实时优化电商商品页面布局，在零售平台A/B测试中较启发式基线实现会话级性能正向提升，为Web学习型设计提供可扩展路径。
2026-09-01 cs.LG
A Gang of Bandits
University of Milan（米兰大学）；University of Insubria（因苏布里亚大学）
多臂强盗问题受到了极大的关注，因为它们充分地形式化了在几个工业相关应用中出现的探索-利用权衡，例如在线广告和更普遍的推荐系统。然而，在许多情况下，这些应用程序具有很强的社会组件，其在强盗算法中的集成可能会导致显着的性能提高。例如，我们可能希望通过利用用户之间的潜在社交关系网络来向一组用户提供内容。在本文中，我们介绍了新的算法方法来解决这样的网络强盗问题。更具体地说，我们设计和分析了一个全球性的战略，分配一个强盗算法的每个网络节点（用户），并允许它“共享”信号（上下文和收益）与neghboring节点。然后，我们推导出两个更可扩展的变种，这种策略的基础上不同的方式聚类的图节点。我们实验比较的算法和它的变种，以国家的最先进的方法，不使用的关系信息的上下文土匪。我们的实验，在合成和真实世界的数据集上进行，显示了利用网络结构获得的预测性能显着增加。
2013-11-04 cs.LG cs.SI stat.ML
On learning Whittle index policy for restless bandits with scalable regret
McGill University（麦吉尔大学）
针对不安分老虎机资源调度问题，提出贴合模型结构的基于 Thompson 采样的模型驱动 RL 算法，并证明其相对 Whittle 索引策略具有可扩展遗憾。
2023-04-26 cs.LG cs.SY eess.SY
Copeland Dueling Bandits
University of Amsterdam（阿姆斯特丹大学）；Yahoo! Labs（雅虎实验室）
一个版本的决斗强盗问题的解决，其中孔多塞赢家可能不存在。提出了两种算法，而不是寻求最大限度地减少遗憾的科普兰赢家，这与孔多塞赢家，是保证存在。第一个是Copeland Confidence Bound（CCB），它是为少量武器设计的，而第二个是Scalable Copeland Bandits（SCB），它更适合大规模问题。我们提供的理论结果绑定建行和SCB积累的遗憾，大大提高了现有的结果。这些现有的结果要么提供$O(K \log T)$形式的界限，但需要限制性的假设，或提供$O(K^2 \log T)$形式的界限，而不需要这样的假设。我们的结果提供了两全其美：没有限制性假设的$O(K \log T)$边界。
2015-06-01 cs.LG
Efficient Learning in Large-Scale Combinatorial Semi-Bandits
Yahoo Labs（雅虎实验室）；Adobe Research（Adobe研究院）；Technicolor Labs（Technicolor实验室）
随机组合半强盗是一个在线学习问题，其中在每一步中，学习代理选择一个受组合约束的基本项的子集，然后观察这些项的随机权重并接收它们的和作为回报。在本文中，我们考虑有效的学习在大规模组合半土匪与线性推广，并作为一个解决方案，提出了两个学习算法称为组合线性汤普森采样（CombLinTS）和组合线性UCB（CombLinUCB）。这两种算法都是计算效率高，只要离线版本的组合问题可以有效地解决。我们建立，CombLinTS和CombLinUCB也证明是合理的假设下，统计有效的，通过开发的遗憾界是独立的问题规模（项目数）和次线性的时间。我们还评估了CombLinTS在各种问题上的数千个项目。我们的实验结果表明，CombLinTS是可扩展的，鲁棒的算法参数的选择，并显着优于我们的基线最好的。
2017-01-31 cs.AI cs.LG stat.ML
Deep Bandits Show-Off: Simple and Efficient Exploration with Deep Networks
Fudan University（复旦大学）；IBM Research AI（IBM研究院）
由于探索-利用困境带来的根本问题，设计高效的探索是强化学习的核心。像汤普森采样这样的贝叶斯探索策略通过建模和更新动作-价值函数（环境的结果模型）的参数分布，以原则性的方式解决了这种权衡。然而，这种技术变得不可行的复杂的环境中，由于保持概率分布的参数相应的复杂性的结果模型的计算棘手。此外，为缓解该问题而引入的近似技术通常会导致较差的探索-利用权衡，如在具有近似后验方法的深度神经网络模型的情况下所观察到的，该方法已被证明在深度强盗场景中表现不佳。在本文中，我们介绍了样本平均不确定性（SAU），一个简单而有效的不确定性措施的上下文土匪。虽然像汤普森抽样这样的贝叶斯方法通过首先量化结果模型参数的可变性来间接估计结果的不确定性，但SAU是一种基于值预测直接估计结果的不确定性的频率主义方法。重要的是，我们从理论上证明了SAU估计的不确定性度量渐近匹配汤普森采样提供的不确定性，以及其遗憾界。由于其简单性，SAU可以无缝地应用于深度上下文的强盗，作为一个非常可扩展的替代epsilon贪婪的探索。我们通过在几个真实世界的数据集上显示基于SAU的探索在适度的计算成本下优于当前最先进的深度贝叶斯强盗方法来实证我们的理论。代码可在\url{https://github.com/ibm/sau-explore}上获得。
2021-10-26 cs.LG stat.ML
An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（脸书人工智能研究院）
在上下文的线性强盗设置，建立在乐观原则的算法未能利用问题的结构，并已被证明是渐近次优的。在本文中，我们遵循最近的方法，从问题相关的遗憾下界导出渐近最优算法，我们引入了一种新的算法，提高了国家的最先进的沿多个维度。我们建立在一个重新制定的下限，上下文分布和勘探政策是解耦的，我们得到了一个算法的鲁棒性不平衡的上下文分布。然后，使用增量原始-对偶方法来解决拉格朗日松弛的下限，我们得到一个可扩展的和计算效率高的算法。最后，我们删除了强制探索，并建立在优化问题的置信区间上，以鼓励更好地适应问题结构的最低水平的探索。我们证明了我们的算法的渐近最优性，同时提供问题相关和最坏情况下的有限时间后悔保证。我们的界限规模与武器的数量的对数，从而避免了线性依赖常见的所有相关的先前的作品。值得注意的是，我们建立极小极大最优的任何学习视野中的特殊情况下，非上下文的线性土匪。最后，我们验证了我们的算法获得了更好的经验性能比国家的最先进的基线。
2020-11-20 cs.LG stat.ML
BanditPAM: Almost Linear Time $k$-Medoids Clustering via Multi-Armed Bandits
Stanford University（斯坦福大学）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
聚类是数据科学中普遍存在的任务。与常用的$k$ -均值聚类相比，$k$ -中心点聚类要求聚类中心为实际数据点，并支持任意距离度量，从而允许更高的可解释性和结构化对象的聚类。当前最先进的$k$ -中心点聚类算法（诸如围绕中心点划分（PAM））是迭代的，并且对于每次迭代，数据集大小$n$是二次的，这对于大数据集是极其昂贵的。我们提出BanditPAM，一个随机算法的灵感来自多武装匪徒的技术，降低了从$O(n^2)$到$O(n \log n)$的每个PAM迭代的复杂性，并以高概率返回相同的结果，在实践中经常持有的数据的假设下。因此，BanditPAM匹配最先进的集群损失，同时更快地找到解决方案。我们在几个大型真实世界数据集上实证验证了我们的结果，包括编码练习提交数据集，10 x Genomics 68 k PBMC单细胞RNA测序数据集和MNIST手写数字数据集。在这些实验中，我们观察到BanditPAM返回与最先进的PAM类算法相同的结果，速度快4倍，同时执行的距离计算少200倍。BanditPAM所展示的改进使$k$ -medoids聚类能够应用于广泛的应用，包括识别大规模单细胞数据中的细胞类型，并为在线学习计算机科学的学生提供可扩展的反馈。我们还发布了我们算法的高度优化的Python和C++实现。
2020-12-06 cs.AI cs.LG stat.ML
Multi-Statistic Approximate Bayesian Computation with Multi-Armed Bandits
Uppsala University（乌普萨拉大学）；Department of Information Technology（信息技术系）；Division of Scientific Computing（科学计算部）；SE-751 05, Uppsala（乌普萨拉，SE-751 05）；Sweden（瑞典）
近似贝叶斯计算是一种成熟和流行的无似然推理方法，在许多学科中都有应用。该方法的有效性主要取决于是否有性能良好的汇总统计量。摘要统计选择严重依赖于领域知识和精心设计的功能，并且可能是一个费力耗时的过程。由于该方法对数据维度敏感，因此选择汇总统计量的过程必须平衡包括信息统计量和特征向量维度的需求。本文提出了一个多臂强盗问题，从一个给定的候选汇总统计池动态选择一个合适的汇总统计量的问题。这允许近似贝叶斯计算拒绝抽样动态地集中于表现良好的汇总统计上的分布，而不是固定的统计集。所提出的方法是独特的，因为它不需要任何预处理，并可扩展到大量的候选统计。这使得能够有效地使用可能的时间序列汇总统计的大型库，而无需先前的特征工程。所提出的方法相比，国家的最先进的方法，使用一个具有挑战性的测试问题，从系统生物学文献的汇总统计量的选择。
2018-05-22 cs.LG stat.ML
Online Matching: A Real-time Bandit System for Large-scale Recommendations
Google Deepmind（谷歌DeepMind）；Google Inc（谷歌公司）
本文提出Online Matching，一个可扩展的闭环Bandit系统，通过混合“离线+在线”方法和Diag-LinUCB算法实现实时分布式参数更新，在YouTube实验中有效提升了新内容发现与物品探索能力。
2023-07-29 cs.LG
Anti-Concentrated Confidence Bonuses for Scalable Exploration
Microsoft Research（微软研究院）；Harvard University（哈佛大学）
内在奖励在设计顺序决策算法时，在基础理论和最先进的深度强化学习中，在处理探索-开发权衡方面发挥着核心作用。LinUCB算法是随机线性强盗文献的核心，它规定了一个椭圆奖金，解决了在大动作空间中利用共享信息的挑战。然而，由于维持动作特征的逆协方差矩阵的计算成本，这种奖金方案不能直接转移到高维探索问题。我们引入了\emph{anti-concentrated confidence bounds}，有效地近似椭圆奖金，使用一个集成的回归训练预测随机噪声从政策网络衍生的功能。利用这种近似，我们得到随机线性强盗算法，获得$\tilde O(d \sqrt{T})$遗憾界$\mathrm{poly}(d)$固定行动。我们为深度强化学习开发了一个实用的变体，它在Atari基准测试中与当代内在奖励学习竞争。
2022-04-11 cs.LG
An empirical evaluation of active inference in multi-armed bandits
Technische Universität Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI), Technische Universität Dresden（德累斯顿工业大学触觉互联网与人机闭环研究中心）；Max Planck UCL Centre for Computational Psychiatry and Ageing Research, University College London（伦敦大学学院马克斯·普朗克计算精神病学与衰老研究中心）；Secondmind；University College London（伦敦大学学院）
在不确定性条件下，顺序决策的一个关键特征是需要在利用（根据现有知识选择最佳行动）和探索（获得有关其他行动价值的信息）之间取得平衡。多臂强盗问题，一个经典的任务，捕捉这种权衡，作为一个车辆在机器学习开发强盗算法，被证明是有用的，在许多工业应用。主动推理框架是最近在神经科学中开发的一种用于理解人类和动物行为的顺序决策方法，其特点是其复杂的策略，用于解决探索-开发权衡。这使得主动推理成为已经建立的强盗算法的令人兴奋的替代方案。在这里，我们推导出一个有效的和可扩展的近似主动推理算法，并比较它的两个国家的最先进的强盗算法：贝叶斯置信上限和乐观的汤普森采样。这种比较是在两种类型的强盗问题：一个固定的和动态的切换强盗。我们的经验评估表明，主动推理算法不会产生有效的长期行为在固定土匪。然而，在更具有挑战性的切换强盗问题的主动推理性能大大优于两个国家的最先进的强盗算法。这些结果为理论和应用机器学习的进一步研究开辟了令人兴奋的场所，并为主动推理作为研究人类和动物行为的一般框架提供了额外的可信度。
2021-08-04 cs.LG
Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research Cambridge（微软研究院剑桥分院）
大多数学习排序研究都假设不同文档的效用是独立的，这导致学习的排序函数返回冗余的结果。少数几种避免这种情况的方法缺乏理论基础，或者无法扩展。我们提出了一个学习排名配方，优化满意的用户的分数，与几个可扩展的算法，明确考虑到文档的相似性和排名的上下文。我们的公式是来自文献的两个多臂强盗模型的非平凡的共同推广：“排名强盗”（Radlinski等人，ICML 2008）和“Lipschitz bandits”（Kleinberg等人，STOC 2008）。我们提出了这种方法的理论依据，以及一个接近最佳的算法。我们的评估增加了优化，提高了经验性能，并表明我们的算法比以前的方法更快地学习数量级。
2012-09-01 cs.DS cs.LG
Non-Stationary Contextual Bandit Learning via Neural Predictive Ensemble Sampling
Meta AI；Stanford University（斯坦福大学）
本文提出一种结合深度神经网络与持久价值优先探索机制的非平稳上下文老虎机算法，在真实推荐数据集上显著优于现有基线。
2023-10-14 cs.IR cs.LG
Thompson sampling with the online bootstrap
Facebook, Inc.（脸书公司）；Radboud University（拉德堡德大学）
汤普森采样提供了一个解决方案，强盗问题，其中新的观察分配到武器的后验概率，一个手臂是最佳的。虽然有时容易实现和渐近最优，汤普森采样可以在大规模的强盗问题的计算要求，其性能取决于模型拟合到观察到的数据。我们介绍了自举汤普森抽样（BTS），一个探试法解决强盗问题，修改汤普森抽样取代后验分布汤普森抽样的自举分布。我们首先解释BTS，并表明BTS的性能是有竞争力的汤普森采样在研究伯努利强盗的情况下。随后，我们详细说明了为什么BTS使用在线引导比常规的汤普森采样更具可扩展性，我们通过模拟表明，BTS对错误指定的误差分布更鲁棒。BTS是汤普森采样的一个有吸引力的修改，特别是当来自后验的样本不可用或昂贵时。
2014-10-15 cs.LG stat.CO stat.ML
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Department of Information Technology, SRMIST（SRMIST信息科技系）；Indian Institute of Technology, Madras（印度理工学院Madras分校）
本文提出将上下文赌博机与深度Q网络结合，根据状态上下文自适应选择动作重复率，在Atari 2600游戏中显著优于静态持续时间基线，为游戏和机器人等实时应用提供了可扩展的解决方案。
2025-06-17 cs.AI cs.LG
Arm order recognition in multi-armed bandit problem with laser chaos time series
The University of Tokyo（东京大学）；Tokyo University of Science（东京理科大学）
通过利用超快和不规则的时间序列产生的激光延迟反馈，我们以前已经证明了一个可扩展的算法来解决多臂强盗（MAB）的问题，利用时分复用的激光混沌时间序列。尽管该算法检测具有最高奖励期望的手臂，但无法正确识别手臂在奖励期望方面的顺序。在这里，我们提出了一种算法，其中的探索程度是自适应控制的基础上的置信区间，代表的估计精度的奖励期望。我们已经证明了数字，我们的方法确实提高了手臂顺序识别的准确性显着，随着减少对奖励环境的依赖，和总奖励几乎保持与传统的MAB方法相比。本研究适用于订单信息至关重要的部门，例如信息和通信技术的资源有效分配。
2020-05-26 cs.ET cs.LG eess.SP
Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits
ENS Rennes（雷恩高等师范学院）；Orange Labs（奥兰奇实验室）；Paul Sabatier University（保罗·萨巴蒂埃大学）
针对集中式智能充电方案可扩展性差、存在单点故障与隐私隐患的问题，提出基于自适应多智能体多臂老虎机的完全分布式智能充电系统，可应对系统不确定性，兼具分布式、可扩展、实时、无模型与公平性优势。
2023-07-20 cs.LG
Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training
University of Illinois Chicago（伊利诺伊大学香槟分校）；Caltech（加州理工学院）；RPI（罗切斯特理工学院）；MBZUAI（澳门大学人工智能研究院）；University of Chicago（芝加哥大学）；NEC Laboratories America（NEC美国实验室）
ACTOR-CURATOR通过策略改进带状机实现RL后训练的联合适应课程学习，有效提升训练稳定性和效率。
2026-02-24 cs.AI cs.CL cs.LG
Scalable and Sustainable Deep Learning via Randomized Hashing
Rice University（莱斯大学）
当前的深度学习架构正在变得越来越大，以便从复杂的数据集中学习。这些架构需要庞大的矩阵乘法运算来训练数百万个参数。相反，另一个日益增长的趋势是将深度学习引入低功耗嵌入式设备。从计算和能源的角度来看，与深度网络的训练和测试相关的矩阵运算非常昂贵。我们提出了一种新的基于哈希的技术，以大幅减少训练和测试深度网络所需的计算量。我们的方法结合了最近的想法，从自适应辍学和随机散列最大内积搜索，以有效地选择具有最高激活的节点。我们的深度学习新算法通过在显著更少的（稀疏）节点上操作，降低了正向和反向传播的总体计算成本。因此，我们的算法只使用了总乘法的5%，同时平均保持在原始模型精度的1%以内。所提出的基于散列的反向传播的一个独特性质是更新总是稀疏的。由于稀疏的梯度更新，我们的算法非常适合异步和并行训练，从而随着核心数量的增加而接近线性加速。我们证明了我们提出的算法的可扩展性和可持续性（能源效率），通过严格的实验评估几个真实的数据集。
2016-12-05 cs.LG cs.NE stat.ML
Scalable Exploration via Ensemble++
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对汤普森采样在大规模场景下的计算难题，提出采用共享因子集成架构的Ensemble++探索框架，理论与实验均验证其在低集成规模下可实现优异的遗憾-计算权衡。
2025-10-28 cs.AI cs.HC cs.IT
Balancing Expressivity and Learnability in Quantum Kernel Bandit Optimization
National University of Singapore（新加坡国立大学）；University of Birmingham（伯明翰大学）
针对量子核高斯过程赌博机优化，提出投影量子核与经典核近似技术以降低特征维度，推导了误设定GP赌博机算法的遗憾界，平衡了近似误差与信息增益。
2026-07-02 cs.IT cs.LG math.IT
Adaptive, Robust and Scalable Bayesian Filtering for Online Learning
School of Mathematical Sciences（数学科学学院）
该论文以贝叶斯滤波统一在线学习、序贯预测和上下文老虎机问题，提出自适应框架、鲁棒广义贝叶斯滤波器及可扩展二阶更新工具。
2025-05-12 cs.LG stat.ML
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University（哥伦比亚大学）
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展，探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
Scalable Prototype Selection by Genetic Algorithms and Hashing
相异度空间中的分类已经成为一个非常活跃的研究领域，因为它提供了从以成对非度量相异度形式给出的数据中学习的可能性，否则将难以处理。原型的选择是进一步创建空间的关键步骤。然而，尽管以前的努力，以找到良好的原型，如何选择最佳的表示集仍然是一个悬而未决的问题。在本文中，我们提出了可扩展的方法来选择非常大的数据集的原型集。这些方法是基于遗传算法，基于相异散列，和两个不同的无监督和监督的可扩展标准。无监督的标准是基于最小生成树的图形创建的原型作为节点和差异的边缘。监督标准是基于计数匹配的标签的对象和它们最接近的原型。这些类型的算法的适用性进行了分析的具体情况下，相异性表示。实验结果表明，该方法选择良好的原型利用大数据集，他们这样做在低运行时间。
2017-12-26 stat.ML
An Algorithmic Framework to Control Bias in Bandit-based Personalization
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
个性化在在线空间中很普遍，因为它通过允许向每个用户提供最相关的内容来提高效率和收入。然而，最近的研究表明，个性化方法可能会传播社会或系统性偏见和偏见;这导致了对监管机制和算法的呼吁，以打击偏见和不平等。从理论上讲，bandit优化在学习用户偏好和相应地个性化内容或提要方面取得了巨大成功。我们提出了一个算法框架，允许在这种基于强盗的个性化的可能性，以控制偏见或歧视。我们的模型允许对可以显示给用户的敏感类型的内容的一般公平性约束的规范。然而，面临的挑战是提出一个可扩展的和低遗憾算法的约束优化问题，出现。我们的主要技术贡献是一个可证明的快速和低遗憾算法的公平约束的强盗优化问题。我们的证明关键地利用了问题的特殊结构。在合成数据集和真实数据集上的实验表明，我们的算法框架可以控制偏差，只有轻微的收入损失。
2018-02-23 cs.AI cs.CY cs.IR
Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards
University of Southern California（南加州大学）
在经典的多武器土匪问题中，目标是有一个动态操作武器的策略，每个武器都以未知的方式产生随机奖励。兴趣的关键指标是后悔，定义为无所不知的玩家积累的预期总回报与给定策略积累的预期总回报之间的差距。在以前的工作中提出的政策的存储，计算和遗憾都线性增长的武器，这是不可扩展的武器数量时，是大的。在这项工作中，我们考虑了一个广泛的多武装土匪与依赖武器，产生奖励作为一组未知参数的线性组合。对于这个一般的框架，我们提出了有效的政策，实现遗憾的增长随时间的推移，多项式的未知参数的数量（即使依赖武器的数量可能会呈指数增长）。此外，这些策略只需要在未知参数的数量上线性增长的存储。我们表明，这种推广是广泛适用的，有用的许多有趣的任务，在网络中，可以制定为易于处理的组合最优化问题与线性目标函数，如最大权重匹配，最短路径，和最小生成树计算。
2010-11-22 cs.LG cs.NI math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Offline Contextual Multi-armed Bandits for Mobile Health Interventions: A Case Study on Emotion Regulation
University of Virginia（弗吉尼亚大学）
通过移动电话等普及的电子设备提供治疗建议有可能成为长期健康行为管理的可行和可扩展的治疗媒介。但积极的治疗方案的实验可能是耗时的，昂贵的，在某些情况下完全不道德的。人们越来越感兴趣的方法，让实验者学习和评估部署前的一个新的治疗策略的有用性。我们提出了第一个发展的治疗推荐系统的情绪调节使用真实世界的历史移动数字数据n = 114高社交焦虑的参与者来测试新的情绪调节策略的有用性。我们探讨了一些离线上下文土匪估计学习，并提出了一个一般的框架学习算法。我们的实验表明，提出的双重鲁棒离线学习算法表现明显优于基线方法，这表明这种类型的推荐算法可以改善情绪调节。鉴于情绪调节在许多精神疾病中都会受损，并且这种推荐算法可以很容易地扩大规模，这种方法有可能增加许多人获得治疗的机会。我们还分享了一些见解，使我们能够将上下文强盗模型转化为这种复杂的现实数据，包括哪些上下文特征对于预测情绪调节策略的有效性最为重要。
2020-08-21 cs.HC cs.IR cs.LG
Intelligent Load Balancing and Resource Allocation in O-RAN: A Multi-Agent Multi-Armed Bandit Approach
National Yang Ming Chiao Tung University（国立阳明交通大学）
开放式无线电接入网络（O-RAN）架构为互联网服务提供商提供了一种具有成本效益和可扩展的解决方案，以使用机器学习算法优化其网络。该架构的开放接口实现了网络功能虚拟化，其中O-RAN充当用户的主要通信设备。然而，有限的频率资源和信息爆炸使得在没有有效的业务控制或资源分配的情况下难以实现最佳网络体验。为了解决这个问题，我们考虑移动性感知的负载均衡，以均匀地分布在网络上的负载，防止网络拥塞和用户中断所造成的过度负载集中在开放式无线电单元（O-RU）由一个单一的开放式分布式单元（O-DU）。我们已经提出了一种多代理多臂强盗负载平衡和资源分配（mmLBRA）计划，旨在实现负载均衡，提高有效的总和速率性能的O-RAN网络。我们还提出了mmLBRA-LB和mmLBRA-RA子方案，它们可以分别在非实时RAN智能控制器（Non-RT RIC）和近RT RIC中独立操作，从而提供了O-RU中具有中等负载和高速率的解决方案。仿真结果表明，所提出的mmLBRA计划显着增加了有效的网络和速率，同时实现更好的负载均衡O-RU相比，基于规则和其他现有的探试法在公开文献中。
2023-03-25 cs.AI cs.LG
Private and Byzantine-Proof Cooperative Decision-Making
Massachusetts Institute of Technology（麻省理工学院）
合作强盗问题是一个多智能体决策问题，涉及一组智能体，同时与多臂强盗进行交互，同时在网络上进行延迟通信。这个问题的中心思想是设计算法，可以有效地利用通信来获得改进，而不是孤立地行动。在本文中，我们研究了两种情况下的随机强盗问题-（a）当代理人希望使他们的通信相对于行动序列的私人，和（b）当代理人可以拜占庭，即，他们提供（随机）不正确的信息。对于这两个问题的设置，我们提供了置信上限算法，获得最佳的遗憾，同时（a）差分私人和（b）容忍拜占庭代理。我们的分散式算法不需要关于代理之间的连接网络的信息，使其可扩展到大型动态系统。我们测试我们的算法的竞争力的基准随机图，并证明其优越的性能与现有的强大的算法。我们希望我们的工作能够成为创建维护隐私的分布式决策系统的重要一步。
2022-05-27 cs.CR cs.LG cs.MA
Bandit Sampling for Multiplex Networks
Google Research（谷歌研究院）；J.P. Morgan AI Research（摩根大通人工智能研究院）
图神经网络由于其在许多分类和预测任务中的优异性能而获得了突出地位。特别是，它们用于节点分类和链接预测，在社交网络、生物医学数据集和金融交易图中具有广泛的应用。大多数现有的工作主要集中在单路设置，我们可以访问一个网络，只有一个类型的实体之间的连接。然而，在多路复用设置中，在实体之间存在多种类型的连接或\emph{layers}，当考虑来自其他连接类型的信息时，诸如链接预测的任务的性能已经被示出为更强。我们提出了一个算法，可扩展的学习多路复用网络与大量的层。我们的方法的效率是通过一个在线学习算法实现的，该算法学习如何对相关的相邻层进行采样，以便在训练过程中只聚合具有相关信息的层。这种采样不同于以前的工作，如MNE，它聚集信息跨\emph{all}层，从而导致计算棘手的大型网络。我们的方法还改进了最近的层采样方法的\textsc{DeePlex}中，未采样的层不需要进行训练，使效率进一步提高。我们提出的合成和现实世界的情况下，证明了我们所提出的方法的实际有效性的实验结果。
2022-02-08 cs.LG
Falcon: Fair Active Learning using Multi-armed Bandits
KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出可扩展的公平主动学习框架 Falcon，通过试错样本选择与对抗式多臂老虎机自动权衡信息量和推迟率，在公平性、准确率及效率上显著超越现有方法。
2024-01-24 cs.LG
Why Keep Your Doubts to Yourself? Trading Visual Uncertainties in Multi-Agent Bandit Systems
Sun Yat-sen University（中山大学）；University of Washington（华盛顿大学）；Snap Inc.（Snap公司）；Syracuse University（雪城大学）
Agora通过去中心化市场交易机制提升多智能体系统在视觉任务中的协调效率与经济性。
2026-01-26 cs.AI cs.LG
Decisions and Deployment: The Five-Year SAHELI Project (2020-2025) on Restless Multi-Armed Bandits for Improving Maternal and Child Health
Harvard University（哈佛大学）；Google Deepmind（谷歌DeepMind）；ARMMAN
SAHELI项目利用决策聚焦学习方法优化资源分配，通过大规模随机对照试验发现该方法使母婴参与度下降减少31%，显著提升实际健康行为。
2026-04-08 cs.AI cs.LG
A Scalable Recommendation Engine for New Users and Items
Duke University（杜克大学）；University College London（伦敦大学学院）
在许多数字环境中，诸如在线新闻和具有许多新用户和项目的电子零售，推荐系统面临若干挑战：冷启动问题），ii）如何学习用户对项目的偏好（测试和学习），以及iii）如何在具有无数人口统计和属性的许多用户和项目之间进行缩放。虽然许多推荐系统适应这些挑战的各个方面，但几乎没有解决所有问题的系统。本文介绍了一个协同过滤（CF）多臂强盗（B）与属性（A）推荐系统（CFB-A），以共同适应所有这些考虑。包括对MovieLens数据的离线测试、合成数据模拟和在线杂货店实验的经验应用表明，CFB-A导致累积平均奖励（例如，花费的总金钱或时间、点击次数、购买数量、平均评分等）相对于现存最强大的基线方法。
2023-02-27 cs.IR cs.LG
Constrained Policy Optimization for Controlled Self-Learning in Conversational AI Systems
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究提出一种基于用户定义约束和元梯度学习的可扩展框架，用于对话式AI的自学习，在策略价值与约束满足间取得最佳平衡。
2022-09-17 cs.AI cs.CL cs.LG
Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University（多特蒙德工业大学）
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图，但不幸的是，用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制，我们提出了散列图内核，一个通用的框架，从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是，两者，能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析，并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
From Relaxed Indexability to Exact Indexability: A $t$-Step Approach for Partially Observable Restless Bandits
针对部分可观测不安分赌机，提出t步前瞻阈值策略，可验证可索引性，其近似惠特尔指数几何收敛，性能优于一步基线且接近最优基准。
2026-09-09 cs.LG math.OC
Scalable and Robust Self-Learning for Skill Routing in Large-Scale Conversational AI Systems
Amazon Alexa AI（亚马逊Alexa人工智能）
技能路由是大规模会话系统的重要组成部分。与传统的基于规则的技能路由相比，最先进的系统使用基于模型的方法来实现自然对话。为了提供训练此类模型所需的监督信号，提出了人工注释、复制基于规则的系统、基于用户释义的重新标记以及基于强盗的学习等想法。然而，这些方法：（a）在技能和技能加入的数量方面不成比例，（b）需要非常昂贵的专家注释/规则设计，（c）在每次模型更新的用户体验中引入风险。在本文中，我们提出了一种可扩展的自学习方法，探索路由选择，而不会导致突然的政策变化，打破了用户体验，从用户交互中学习，并通过频繁的模型刷新逐步提高路由。为了实现这种强大的频繁的模型更新，我们建议一种简单有效的方法，确保控制策略更新的各个域，然后由一个off-policy评估，使部署决策，而不需要任何冗长的A/B实验。我们进行各种离线和在线A/B实验的商业大规模的会话系统，以证明所提出的方法在现实世界的生产环境中的有效性。
2022-04-14 cs.AI cs.CL cs.HC
GCWSNet: Generalized Consistent Weighted Sampling for Scalable and Accurate Training of Neural Networks
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
我们开发了“广义一致加权采样”（GCWS）的散列“powered-GMM”（pGMM）内核（与调优参数$p$）。事实证明，GCWS提供了一个数值稳定的计划，应用电源转换的原始数据，无论大小的$p$和数据。功率变换通常对提高性能有效，在许多情况下相当有效。我们将散列数据馈送到各种公共分类数据集上的神经网络，并将我们的方法命名为“GCWSNet”。我们广泛的实验表明，GCWSNet往往提高分类精度。此外，从实验中可以明显看出，GCWSNet收敛得更快。事实上，GCWS通常只需要（少于）一个训练过程的时间就可以达到合理的精度。该属性是非常期望的，因为许多应用，诸如广告点击率（CTR）预测模型或数据流（即，数据只看到一次），通常只训练一个时期。另一个有益的副作用是，神经网络的第一层的计算变成了加法而不是乘法，因为输入数据变成了二进制（并且高度稀疏）。经验比较（归一化）随机傅立叶特征（NRFF）。本文还提出了通过计数草图来减小GCWSNet的模型规模，并为分析计数草图对GCWS精度的影响提供了理论依据。我们的分析表明，“8位”策略应该工作得很好，因为我们总是可以在GCWS散列的输出上应用8位计数草图散列，而不会对准确性造成太大影响。在训练深度神经网络时，还有许多其他方法可以利用GCWS。例如，可以在最后一层的输出上应用GCWS，以提高训练的深度神经网络的准确性。
2022-01-07 cs.LG stat.ML
Conflict-free collective stochastic decision making by orbital angular momentum of photons through quantum interference
The University of Tokyo（东京大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Institut Néel（奈尔研究所）
在最近的光学和计算的交叉学科研究中，基于单光子的决策已经被证明是利用光的波粒二象性来解决多臂强盗问题。此外，基于纠缠光子的决策已经成功地解决了竞争性的多臂强盗问题，避免了参与者之间的决策冲突，同时确保了平等。然而，由于这些研究是基于光的偏振，可用的选择的数量仅限于两个，对应于两个正交的偏振态。在这里，我们提出了一个可扩展的原则来解决竞争决策的情况下，通过使用光子的轨道角动量的基础上，其高维，理论上允许无限数量的武器。此外，通过将Hong-Ou-Mandel效应扩展到两个以上的状态，我们在理论上建立了一个实验配置，能够产生多光子态的轨道角动量和条件，提供无冲突的选择在每一个回合。我们用数值方法研究了三臂强盗问题的总回报，所提出的策略几乎达到了理论最大值，这比传统的混合策略要大，以实现纳什均衡。这要归功于量子干涉效应，它实现了无冲突的选择，即使在探索阶段也能找到最好的武器。
2021-09-18 cs.ET cs.LG physics.optics
Integrating Multi-Armed Bandit, Active Learning, and Distributed Computing for Scalable Optimization
Institute of Statistical Science（统计科学研究所）；Academia Sinica, Taiwan（台湾中央研究院）
ALMAB-DC通过集成主动学习、多臂老虎机和分布式计算，提供了一种高效可扩展的黑箱优化框架，适用于高维和资源密集型优化问题。
2026-01-02 stat.CO stat.ML
Efficient Discrete Supervised Hashing for Large-scale Cross-modal Retrieval
Ludong University（鲁东大学）；Yantai Research Institute of New Generation Information Technology, Southwest Jiaotong University（西南交通大学烟台新一代信息技术研究院）；Zhejiang University（浙江大学）；Southwest Jiaotong University（西南交通大学）；University of Texas at San Antonio（得克萨斯大学圣安东尼奥分校）
有监督跨模式哈希算法以其良好的性能和效率在大规模检索任务中得到了越来越多的研究兴趣。然而，散列编码仍存在一些挑战性的问题：1）由于散列编码的异质性，大多数散列编码不能很好地保持散列编码的语义相关性; 2）大多数散列编码放松了散列编码的离散约束，导致量化误差大，性能不高; 3）大多数算法在训练过程中存在较高的内存开销和计算复杂性，这使得它们不具有可扩展性。针对上述问题，本文提出了一种基于矩阵分解的监督式跨模态散列算法，称为高效离散监督散列算法（Efficient Discrete Supervised Hashing，EDSH）。具体来说，异构特征的集体矩阵分解和带有类标签的语义嵌入被无缝集成以学习哈希码。因此，基于特征的相似性和语义相关性都可以在哈希码中保留，这使得学习的哈希码更具区分性。然后提出了一种有效的离散优化算法来处理可扩展性问题。该算法不需要逐位学习哈希码，而是直接得到哈希码矩阵，效率更高。在三个公开的真实数据集上的实验结果表明，EDSH在准确性和可扩展性方面都优于一些现有的跨模式哈希方法。
2019-05-03 cs.LG cs.MM stat.ML
