Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例，并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法，有效地将这种离线信息在在线探索阶段，并获得他们的遗憾界限。特别是，我们开发的Meta算法，有效地对冲其他两种算法：一个使用历史观测和聚类，另一个只使用历史观测。当聚类质量好时，前者优于后者，反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验，验证了我们的理论见解，并证明Meta是一种强大的策略，可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Revisiting Clustering of Neural Bandits: Selective Reinitialization for Mitigating Loss of Plasticity
Gaoling School of Artificial Intelligence Renmin University of China Beijing China；Gaoling School of Artificial Intelligence Renmin University of China
本文提出SeRe框架，通过选择性重置缓解神经带客算法的退化性问题，提升其在动态环境中的适应性和鲁棒性。
2025-12-02 cs.AI cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Context-Aware Bandits
我们提出了一个有效的上下文感知的集群的强盗（CAB）算法，它可以捕获的合作效果。CAB可以很容易地部署在一个现实世界的推荐系统，其中多武装匪徒已被证明表现良好，特别是相对于冷启动问题。CAB利用了一个上下文感知的集群，通过探索开发策略来增强。CAB根据所考虑的内容范围动态地对用户进行聚类。我们给出了一个理论分析，在标准的随机多武装土匪设置。我们展示了我们的方法在生产和真实世界数据集上的效率，展示了可扩展性，更重要的是，与几种最先进的方法相比，预测性能显著提高。
2017-02-26 cs.AI cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Online Clustering of Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Tianjin University（天津大学）
本文首次提出对决赌博机聚类方法，通过 COLDB 和 CONDB 两种算法实现基于偏好反馈的多用户协作决策，并从理论和实验上证明其能改善遗憾界。
2025-02-04 cs.AI cs.LG
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Federated Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
上下文多臂强盗（MAB）是推荐系统中一个重要的序贯决策问题。一系列的作品，被称为土匪集群（CLUB），利用用户之间的协作效应，并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧，越来越多的人要求保持用户数据分散，并将强盗学习推到本地服务器端。然而，现有的CLUB算法是在集中式设置下设计的，其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗（FCUB）问题，其目的是最大限度地减少总遗憾，同时满足隐私和通信的考虑。针对这个问题，我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私，以前的差分隐私（DP）的定义是不是很合适，我们提出了一个新的DP的概念，作用于用户集群级别。我们提供了严格的证据表明，我们的算法同时实现（聚类）DP，次线性通信复杂性和次线性遗憾。最后，实验评估表明，我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Online Clustering of Contextual Cascading Bandits
The Chinese University of Hong Kong（香港中文大学）
我们认为一个新的设置的上下文级联土匪，在线学习问题，其中底层的集群结构的用户是未知的，需要从一个随机的前缀反馈学习的在线聚类。更确切地说，学习代理向用户推荐有序的项目列表，用户检查列表并在第一个满意的项目处停止（如果有的话）。我们提出了一个俱乐部级联算法，并证明了一个$T$ -步遗憾界的顺序$\tilde{O}(\sqrt{T})$。以前的工作对应于退化的情况下，只有一个集群，我们的一般遗憾界在这种特殊情况下也显着提高他们。我们在人工数据和真实数据上进行了实验，并证明了我们的算法的有效性和结合在线聚类方法的优势。
2019-02-01 cs.LG
Collaborative Filtering Bandits
University of Insubria（因苏布里亚大学）；Telefónica Research（西班牙电信研究中心）
经典的协同过滤和基于内容的过滤方法试图在给定训练数据的情况下学习静态推荐模型。这些方法在高度动态的推荐领域（如新闻推荐和计算广告）中远非理想，这些领域的项目和用户集非常不稳定。在这项工作中，我们研究了一种自适应聚类技术的内容推荐的基础上探索开发策略的上下文多臂强盗设置。我们的算法考虑到由于用户与项目的交互而产生的协作效应，通过基于正在考虑的项目动态地对用户进行分组，并且同时基于在用户上引起的聚类的相似性对项目进行分组。由此产生的算法，从而利用数据中的偏好模式的方式类似于协同过滤方法。我们对中等规模的真实世界数据集进行了实证分析，显示了可扩展性和提高的预测性能（以点击率为衡量标准），超过了最先进的集群方法。我们还提供了一个标准的线性随机噪声设置内的遗憾分析。
2016-05-31 cs.AI cs.LG stat.ML
Clustering Items through Bandit Feedback: Finding the Right Feature out of Many
针对基于老虎机反馈的二分组聚类问题，提出利用Sequential Halving寻找相关特征的自适应算法，给出高概率恢复的预算上界及在部分情形下紧致的实例相关下界。
2025-03-18 cs.LG stat.ML
Online Clustering of Bandits with Misspecified User Models
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
本文首次提出用户模型误设下的老虎机聚类问题，设计两种鲁棒算法并证明其在更宽松假设下的遗憾上界，实验验证了算法优于现有方法。
2023-10-10 cs.AI cs.LG
Active clustering with bandit feedback
INRAE（法国国家农业食品与环境研究院）；Institut Agro（法国国家农业、食品与环境学院）；Univ Montpellier（蒙彼利埃大学）；Université Paris-Saclay（巴黎萨克雷大学）；Institut für Mathematik, Universität Potsdam（波茨坦大学数学研究所）
针对带次高斯反馈的随机老虎机中的隐藏臂分区问题，本文给出非渐近预算下界，并提出计算高效且在多数情形下达到下界的 ACB 主动聚类算法。
2024-06-17 cs.LG stat.ML
Meta Clustering of Neural Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出M-CNB算法，通过元学习器动态适应聚类并结合UCB探索策略，解决神经老虎机聚类问题，在推荐和在线分类中优于SOTA方法。
2024-09-27 cs.IR cs.LG
Offline Clustering of Linear Bandits: The Power of Clusters under Limited Data
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
针对离线上下文老虎机中用户数据有限的问题，提出Off-C2LUB和Off-CLUB两种聚类算法，前者在数据有限时优于现有方法，后者在数据充足时接近下界，并在真实和合成数据上验证。
2025-10-25 cs.LG stat.ML
Efficient Clustering in Stochastic Bandits
Department of Electrical Engineering Indian Institute of Technology Madras（电气工程系印度理工学院马德拉斯分校）；Department of Artificial Intelligence Indian Institute of Technology Kharagpur（人工智能系印度理工学院Khargpur分校）
本文提出EBC算法，通过单步优化实现高效老虎机聚类，解决不同分布臂的聚类问题，并在计算效率和渐近最优性上优于现有方法。
2026-01-14 cs.LG stat.ML
Optimal Clustering with Bandit Feedback
Institute of Operations Research and Analytics（运营研究与分析研究所）；National University of Singapore（新加坡国立大学）；Thrust of Data Science and Analytics（数据科学与分析中心）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Department of Mathematics（数学系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对带老虎机反馈的在线聚类问题，推导了依赖实例的信息论样本复杂度下界，提出了计算高效且渐近最优的BOC算法，其性能渐近匹配下界且优于非自适应基线。
2024-05-15 cs.IT cs.LG math.IT
An Instance-Dependent Analysis for the Cooperative Multi-Player Multi-Armed Bandit
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
研究了多人多武装匪徒中的信息共享与合作问题。我们提出了第一个算法，实现对数后悔这个问题时，碰撞奖励是未知的。我们的研究结果基于两项创新。首先，我们表明，一个简单的修改连续消除策略可以用来让球员估计他们的次优差距，常数的因素，在没有碰撞。其次，我们利用第一个结果来设计一个通信协议，成功地使用冲突的小奖励，以协调玩家之间，同时保持有意义的实例依赖的对数遗憾保证。
2022-09-30 cs.AI cs.LG stat.ML
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Adaptive Clustering and Personalization in Multi-Agent Stochastic Linear Bandits
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学研究所）；AWS AI（亚马逊云科技人工智能研究院）
我们考虑了$N$代理异构随机线性强盗框架中的最小化后悔问题，其中代理（用户）是相似的，但并不完全相同。我们使用两个普遍使用的想法在实践中的用户异质性模型;（i）一个聚类框架，其中用户被划分成组，在同一组中的用户是相同的，但不同的跨组，和（ii）个性化框架，其中没有两个用户一定是相同的，但用户的参数接近人口平均值。在分簇用户的设置中，我们提出了一种新的算法，基于连续细化的簇身份和遗憾最小化。我们发现，对于任何代理，遗憾的规模$\mathcal{O}(\sqrt{T/N})$，如果代理是在一个“良好分离”的集群，或规模为$\mathcal{O}(T^{\frac{1}{2} + \varepsilon}/(N)^{\frac{1}{2} -\varepsilon})$，如果其集群没有很好地分离，其中$\varepsilon$是积极的，任意接近$0$。我们的算法是自适应的聚类分离，是无参数的-它不需要知道簇的数量，分离和集群的大小，但遗憾的保证适应固有的复杂性。在个性化框架中，我们引入了一个自然的算法，其中，个人强盗实例初始化与全球平均模型的估计。我们发现，一个代理$i$的参数偏离人口平均$ε_i$，达到后悔缩放$\widetilde{O}(ε_i\sqrt{T})$。这表明，如果用户表示接近（小$ε_i)$），则所产生的遗憾低，反之亦然。结果进行了经验验证，我们观察到我们的自适应算法优…
2022-02-02 cs.LG stat.ML
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
A General Framework for Clustering and Distribution Matching with Bandit Feedback
National University of Singapore（新加坡国立大学）
针对带博弈反馈的聚类与分布匹配问题，提出通用框架，推导相关非渐近下界，开发基于Track-and-Stop和Frank--Wolfe的高效在线算法，其平均臂拉动次数渐近匹配下界且揭示收敛速度新界。
2025-01-09 cs.IT cs.LG math.IT
Online Clustering of Data Sequences with Bandit Information
Department of Electrical Engineering, IIT Madras, Chennai, Tamil Nadu, India（马德拉斯理工学院电子工程系，印度钦奈，泰米尔纳德邦）；Department of Artificial Intelligence, IIT Kharagpur, Kharagpur, West Bengal, India（克拉格浦尔理工学院人工智能系，印度克拉格浦尔，西孟加拉邦）
本文研究在多臂老虎机框架下，基于固定置信度设定的数据序列在线聚类问题，提出ATBOC算法并分析其性能，同时提出更高效的LUCBBOC和BOC-ELIM算法，通过仿真验证其有效性。
2026-03-20 cs.IT cs.LG math.IT
Exploration in Linear Bandits with Rich Action Sets and its Implications for Inference
Halicioglu Data Science Institute, University of California（加州大学哈利奇奥卢数据科学研究所）；Boston University（波士顿大学）；Indian Institute of Science（印度科学学院）
当作用集具有良好的曲率时，我们给出了一个非渐近下界的设计矩阵的特征谱的任何线性强盗算法与次线性遗憾。具体地说，我们表明，预期的设计矩阵的最小特征值的增长作为$Ω(\sqrt{n})$时，预期的累积遗憾的算法是$O(\sqrt{n})$，其中$n$是学习地平线，和行动空间有一个常数海森周围的最佳手臂。这表明，这样的行动空间迫使多项式下界，而不是对数下界，如\cite{lattimore2017end}所示，在离散（即，良好分离的）动作空间。此外，虽然前面的结果只在渐近状态下成立（如$n \to \infty$），但我们对这些“局部丰富”作用空间的结果是任意时间的。此外，在一个温和的技术假设下，我们得到了一个类似的最小特征值保持高概率的下界。我们将我们的结果应用到两个实际的场景--线性强盗中的\emph{model selection}和\emph{clustering}。对于模型选择，我们表明，一个基于历元的线性强盗算法适应真实的模型复杂度在历元数的速率指数，凭借我们的新的谱界。对于聚类，我们考虑一个多代理框架，我们表明，通过利用频谱结果，没有强制的探索是必要的-代理可以运行一个线性强盗算法，并估计他们的基本参数一次，因此招致低遗憾。
2023-01-07 cs.AI cs.LG stat.ML
Optimal Clustering with Noisy Queries via Multi-Armed Bandit
Fudan University（复旦大学）
出于许多应用的动机，我们研究了一个错误的预言机的聚类。在该问题中，存在属于$k$未知簇的$n$项，允许算法询问oracle两个项是否属于同一簇。然而，来自神谕的答案只有在概率为$\frac{1}{2}+\fracδ{2}$的情况下才是正确的。目标是以最少的噪声查询来恢复隐藏的聚类。以前的工作表明，这个问题可以解决$O(\frac{nk\log n}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询，而$Ω(\frac{nk}{δ^2})$查询是必要的。因此，对于$k$和$δ$的任何值，在上限和下限之间仍然存在非平凡的差距。在这项工作中，我们获得了第一个匹配的上限和下限的参数范围很广。特别地，提出了一种新的带$O(\frac{n(k+\log n)}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询的多项式时间算法.此外，我们证明了一个新的下界的$Ω(\frac{n\log n}{δ^2})$，结合现有的$Ω(\frac{nk}{δ^2})$界，匹配我们的上限到一个添加剂$\text{poly}(k,\frac{1}δ,\log n)$长期。为了得到新的结果，我们的主要成分是我们的问题和多臂强盗之间的一个有趣的联系，这可能会提供有用的见解，为其他类似的问题。
2022-07-12 cs.LG
Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective
Massachusetts Institute of Technology（麻省理工学院）
在经典的多臂强盗问题，实例相关的算法实现改善性能的“简单”的问题之间的差距最好的和第二最好的手臂。类似的保证可能的上下文强盗？虽然积极的结果是已知的某些特殊情况下，有没有一般的理论特征时，以及如何实例依赖的背景土匪的遗憾界可以实现丰富的，一般类的政策。我们引入了一个家庭的复杂性措施，这是充分和必要的，以获得实例相关的遗憾界。然后，我们引入新的甲骨文高效的算法，适应的差距，只要有可能，同时也达到了最坏的情况下的极大极小率。最后，我们提供了结构性的结果，绑在一起的一些复杂性的措施，以前提出的整个上下文土匪，强化学习，和主动学习，并阐明他们的作用，在确定最佳的实例相关的遗憾。在一个大规模的实证评估中，我们发现，我们的方法往往会为具有挑战性的勘探问题提供优越的结果。将我们的重点转向具有函数逼近的强化学习，我们开发了新的具有丰富观测值的强化学习的Oracle高效算法，以获得最佳的间隙相关样本复杂度。
2020-10-07 cs.LG math.ST stat.ML
Multi-dueling Bandits with Dependent Arms
Caltech（加州理工学院）
决斗强盗问题是一个在线学习框架，用于从成对偏好反馈中学习，特别适合于建模引起主观或隐式人类反馈的设置。本文研究了具有依赖武器的多个决斗土匪问题，通过同时决斗多个武器以及建模武器之间的依赖关系来扩展原始决斗土匪设置。这些扩展捕获了许多现实世界应用中的关键特征，并允许有机会开发比原始设置更有效的算法。我们提出了\selfsparring算法，它减少了多决斗土匪问题，可以使用随机土匪算法，如汤普森采样，解决了传统的土匪设置，并可以自然地使用高斯过程的依赖模型。我们提出了一个多决斗设置的无遗憾分析，并证明了我们的算法的有效性，经验上广泛的模拟设置。
2017-04-29 cs.LG
Restless dependent bandits with fading memory
University of Potsdam（波茨坦大学）；Otto von Güricke Universität Magdeburg（奥托·冯·格里克马格德堡大学）
我们研究了随机多臂强盗问题的情况下，当手臂样本是依赖于时间和产生的所谓的弱$\cC$混合过程。我们建立了一个$\cC-$ Mix Improved UCB算法，并在两个不同的场景下提供了问题相关和独立的后悔分析。在第一个，所谓的快速混合的情况下，我们表明，伪遗憾享有相同的上限（高达一个因素），为i.i.d.观察结果;而在第二种情况下，缓慢混合的情况下，我们发现了一个令人惊讶的效果，遗憾的上限是类似的独立的情况下，与增量{ \em添加剂}的条款，它不依赖于臂的数量。缓慢混合场景的分析支持最小最大下限，该下限（直到$\log(T)$因子）与获得的上限相匹配。
2019-06-25 cs.LG stat.ML
Hierarchical Causal Bandit
Stanford University（斯坦福大学）；National Chiao Tung University（国立交通大学）
因果强盗是一种新生的学习模型，其中智能体顺序地在变量的因果网络中进行实验，以识别奖励最大化干预。尽管该模型的广泛适用性，现有的分析结果在很大程度上限于一个并行的强盗版本，所有变量是相互独立的。在这项工作中，我们介绍了层次因果土匪模型作为一个可行的路径，了解一般的因果土匪与因变量。其核心思想是纳入一个上下文变量，捕捉所有变量之间的相互作用与直接影响。使用这个层次结构的框架，我们得到尖锐的见解，在因果土匪与依赖武器的算法设计，并获得几乎匹配的遗憾界的情况下，一个二进制的背景。
2021-03-07 cs.LG stat.ML
Comparative Performance of Collaborative Bandit Algorithms: Effect of Sparsity and Exploration Intensity
本文聚焦软聚类类协同上下文老虎机算法，通过实验探究稀疏性与探索强度的影响，发现控制协同稀疏性可提升性能，提高探索强度能校正关联误设带来的方差，引入潜在因子可进一步修正误设。
2025-10-03 cs.LG
Stochastic bandits with arm-dependent delays
Otto-von-Guericke University of Magdeburg（马格德堡奥托·冯·格里克大学）；GoogleDeepMind（谷歌深度思维）
由于其在应用中的相关性，最近的重要工作一直致力于随机延迟强盗设置。然而，现有算法的适用性受到这样一个事实的限制，即强的假设往往是对延迟分布，如充分的可观测性，限制性的形状约束，或均匀的武器。在这项工作中，我们大大削弱了它们，只假设延迟的尾部有一个界限。特别是，我们涵盖了重要的情况下，不同的武器的延迟分布，以及延迟的情况下，重尾。为了解决这些困难，我们提出了一个简单而有效的基于UCB的算法，称为PatientBandits。我们提供了问题依赖和问题独立的边界上的遗憾，以及性能下界。
2020-06-18 cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen（图宾根大学）；Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；Google DeepMind（谷歌DeepMind）
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题，提出一种基于先验信息和环境结构的固定分配算法，并给出理论界，通过新证明方法获得更紧的界，实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Clustered Bandits
Tan Tao University（新陶大学）；Stanford University（斯坦福大学）；Technion（以色列理工学院）
我们考虑一个多臂强盗设置，其灵感来自电子商务中的真实应用。在我们的设置中，有几种类型的用户，每种用户对不同的手臂都有特定的反应。当用户进入系统时，决策者不知道他的类型。决策者可以单独对待每个用户，忽略先前观察到的用户，或者可以尝试利用只存在少数类型的优势，并根据用户对手臂的反应对用户进行聚类。我们设计的算法，结合通常的探索，开发权衡与聚类的用户和展示聚类的价值。在开发算法的集群设置的过程中，我们提出并分析了简单的算法的设置，决策者知道，用户属于少数类型之一，但不知道哪一个。
2012-06-19 cs.LG
On First-Order Bounds, Variance and Gap-Dependent Bounds for Adversarial Bandits
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；DeepMind（深度思维）
我们对k-武装对抗型土匪理论做出了三个贡献。首先，我们证明了Audibert和Bubeck [2009]的INF策略的修改变体的一阶界，而不牺牲最坏情况下的最优性或修改损失估计。其次，我们对基于跟随正则化领导者的算法进行了方差分析，表明在没有自适应的情况下，遗憾的方差通常是Ω（n^2），其中n是水平。最后，我们研究了取决于臂分离程度的界限，将Cowan和Katehakis [2015]的结果从随机设置推广到对抗设置，并将Seldin和Slivkins [2014]的结果改进为log（n）/log（log（n））。
2019-07-24 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对在线强化学习中探索与利用的平衡难题，提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案，可证明在随机多臂老虎机中达到近最优遗憾，并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
Confidence Interval for Off-Policy Evaluation from Dependent Samples via Bandit Algorithm: Approach from Standardized Martingales
CyberAgent Inc.（赛博艾坚特公司）
本研究针对由bandit演算法所得到的相依样本，提出一个离政策评估（OPE）的问题。OPE的目标是评估一个新的策略使用的历史数据从行为策略产生的强盗算法。由于bandit算法根据过去的观察结果更新策略，因此样本不是独立和同分布（i.i.d.）的。然而，用于OPE的几种现有方法没有考虑这个问题，并且基于样本是i.i.d.的假设。在这项研究中，我们解决这个问题，通过构建一个估计从一个标准化的鞅差序列。为了标准化序列，我们考虑使用评估数据或样本分裂两步估计。这种方法产生的估计渐近正态性，而不限制一类行为的政策。在一个实验中，所提出的估计比现有的方法，它假设的行为策略收敛到一个时不变的政策表现得更好。
2020-06-12 cs.LG econ.EM stat.ME
Horde of Bandits using Gaussian Markov Random Fields
University of British Columbia（不列颠哥伦比亚大学）
强盗团伙（GOB）模型\cite{cesa2013gang}是最近的上下文强盗框架，共享信息之间的一组强盗问题，相关的一个已知的（可能是嘈杂的）图。该模型在推荐系统等问题中非常有用，在这些问题中，大量的用户使得在用户之间传输信息变得至关重要。尽管它的有效性，现有的GOB模型只能适用于小的问题，由于其二次时间依赖于节点的数量。解决可伸缩性问题的现有解决方案需要一个通常不切实际的集群假设。通过利用高斯马尔可夫随机场（GMRF）的连接，我们表明，GOB模型可以扩展到更大的图形，而无需额外的假设。此外，我们提出了一个汤普森采样算法，它使用最近的GMRF采样扰动技术，使其能够扩展到更大的问题（导致“成群”的土匪）。我们给遗憾的界限和实验结果GOB与汤普森采样和时代的贪心算法，表明这些方法是一样好或显着优于忽略图或采用基于聚类的方法。最后，当一个现有的图是不可用的，我们提出了一个启发式的学习它的飞行，并显示有希望的结果。
2017-03-07 cs.LG
Fatigue-aware Bandits for Dependent Click Models
University of California, Berkeley（加州大学伯克利分校）；IBM Research（IBM研究院）
当推荐系统发送大量内容以保持用户参与时，用户可能会经历疲劳，这是由以下因素造成的：1）过度浏览不相关的内容，2）看到太多类似的推荐而感到无聊。为了解决这个问题，我们考虑一个在线学习设置，其中平台学习一个策略来推荐考虑用户疲劳的内容。我们提出了一个扩展的依赖点击模型（DCM）来描述用户的行为。我们规定，对于每一个内容，其对用户的吸引力取决于其内在的相关性和折扣系数，衡量有多少类似的内容已经显示。用户按顺序查看推荐的内容，并点击他们认为有吸引力的内容。用户随时可能离开平台，不喜欢内容时退出的概率更高。基于用户的反馈，平台学习底层内容的相关性以及由于内容疲劳而产生的折扣效果。我们把这个学习任务称为“疲劳感知DCM Bandit”问题。我们考虑两个学习场景，这取决于贴现效应是否已知。对于每一种情况下，我们提出了一个学习算法，同时探索和利用，并表征其遗憾界。
2020-08-22 cs.IR cs.LG stat.ML
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California（南加利福尼亚大学）
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计，我们的方法使用标准的无偏估计，并依赖于一个简单的增加学习率调度的时间表，连同帮助下，数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性，我们的方法享有几个优点。首先，获得的高概率后悔界限是数据依赖的，可能比最坏情况下的界限小得多，这解决了Neu（2015）提出的一个开放问题。其次，解决Bartlett et al.（2008）和Abernethy and Rakhlin（2009）的另一个开放问题，我们的方法导致了第一个通用且有效的算法，具有对抗性线性强盗的高概率后悔界，而以前的方法要么效率低下，要么只适用于特定的动作集。最后，我们的方法也可以应用于学习对抗马尔可夫决策过程，并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Problem Dependent View on Structured Thresholding Bandit Problems
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
研究了在几种形状约束下的随机持票Bandit问题（TBP）的问题依赖性。在TBP中，学习器的目标是在顺序游戏结束时输出其均值高于给定阈值的一组武器。香草，非结构化的情况下，已经很好地研究在文献中。以$K$为臂数，考虑臂均值序列$(μ_k)_{k=1}^K$单调递增（MTBP）和$(μ_k)_{k=1}^K$凹（CTBP）的情况。我们认为这两种情况下的问题相关的制度和研究的错误的概率-即错误分类至少一个arm. In固定的预算设置的概率，我们提供的上和下界的错误的概率在凹和单调设置，以及相关的算法。在这两种设置中的边界匹配的问题依赖的制度，在指数的普遍常数。
2021-06-18 cs.LG stat.ML
CoCoB: Adaptive Collaborative Combinatorial Bandits for Online Recommendation
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院）
本文提出CoCoB算法，通过用户侧与物品侧的双侧老虎机架构自适应利用邻居偏好，解决了聚类老虎机中相似用户定义不清及缺乏合适邻居时的推荐质量下降问题，并在三个数据集上取得F1平均提升2.4%的效果。
2025-05-05 cs.AI cs.IR cs.LG
Anonymous Bandits for Multi-User Systems
Google Research（谷歌研究院）
在这项工作中，我们提出并研究了一个新的框架在线学习系统中的多个用户，提供用户匿名。具体来说，我们扩展的概念土匪遵守标准的$k$ -匿名约束，要求每个观察是至少$k$用户的奖励的聚合。这提供了一个简单而有效的框架，其中人们可以在线方式学习用户聚类，而无需观察任何用户的个人决策。我们开始研究匿名土匪，并提供了第一次次线性后悔算法和下界。
2022-10-21 cs.LG
Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）；University of California Berkeley（加州大学伯克利分校）
本文系统研究线性老虎机中的奖励腐败问题，统一分析强腐败与弱腐败并刻画极小极大遗憾差距，同时通过通用归约和专门算法解决间隙依赖误设问题，首次将结果推广到强化学习中的线性 MDP。
2024-10-17 cs.LG stat.ML
Signature Approach for Contextual Bandits with Nonlinear and Path-dependent Rewards
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
本文提出DisSigUCB算法，通过签名变换将路径依赖奖励函数近似为线性函数，实现非线性和路径依赖场景下的子线性 regret 绑定。
2026-05-11 cs.LG math.OC
Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under Batch Update Policy
CyberAgent Inc.（赛博特工公司）
政策外评估（OPE）的目标是使用通过行为策略获得的历史数据来评估新策略。然而，由于上下文强盗算法基于过去的观察来更新策略，因此样本不是独立且同分布的（i.i.d.）。本文通过构造相依样本的鞅差序列（MDS）的估计量来解决这个问题。在数据生成过程中，我们不假设策略的收敛性，但策略在一定时期内使用相同的条件概率选择行动。然后，我们得到了一个渐近正常的估计值的评价政策。作为我们的方法的另一个优点，基于批处理的方法同时解决了支持不足的问题。使用基准和真实世界的数据集，我们实验证实了所提出的方法的有效性。
2020-10-23 cs.LG econ.EM stat.ML
Fully Gap-Dependent Bounds for Multinomial Logit Bandit
Tsinghua University（清华大学）
我们研究了多项logit（MNL）强盗问题，在每个时间步，卖方提供了一个品种的大小最多$K$从池的$N$项目，和买方购买的项目从品种根据MNL选择模型。目标是学习模型参数并最大化预期收益。我们提出了（i）一个算法，确定最佳的组合$S^*$内$\widetilde{O}(\sum_{i = 1}^N Δ_i^{-2})$时间步长的概率很高，和（ii）一个算法，招致$O(\sum_{i \notin S^*} KΔ_i^{-1} \log T)$遗憾$T$时间步长。据我们所知，我们的算法是第一个实现完全依赖于所有项目的次优差距的差距依赖的界限。我们的技术贡献包括一个算法框架，涉及的MNL-土匪问题的一个变种的顶部- $K$手臂识别问题的多武装土匪，一个广义的基于时代的提供程序，和一个基于层的自适应估计程序。
2020-11-19 cs.LG
Clus-UCB: A Near-Optimal Algorithm for Clustered Bandits
Department of Electrical Engineering（电子工程系）；Indian Institute Of Technology Bombay（孟买印度理工学院）
本文针对已知聚类结构的多臂老虎机问题，提出Clus-UCB算法，通过聚类内信息共享实现渐近近最优的遗憾性能，并通过仿真验证其优于KL-UCB等现有算法。
2025-08-19 cs.LG
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis（加州大学戴维斯分校）
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
Near Optimal Best Arm Identification for Clustered Bandits
IIT Bombay（印度理工学院孟买分校）
针对多智能体多臂老虎机中智能体—老虎机映射未知的问题，提出 Cl-BAI 与 BAI-Cl 两种算法，给出 $δ$-PC 保证、样本复杂度界及近极小极大最优性，并验证其样本与通信效率。
2025-05-15 cs.LG cs.MA
Nonstochastic Bandits and Experts with Arm-Dependent Delays
我们研究非随机土匪和专家在延迟设置延迟依赖于时间和武器。虽然延迟仅取决于时间的设置已被广泛研究，但臂相关延迟设置更好地捕捉了现实世界的应用，但代价是引入了新的技术挑战。在充分的信息（专家）设置，我们设计了一个一阶遗憾界，揭示了一个有趣的权衡延迟和损失之间的算法。我们证明了一个类似的一阶后悔界也为土匪设置，当学习者被允许观察有多少损失丢失。这些是延迟设置中的第一界限，其仅取决于最佳臂的损失和延迟。当在强盗设置中除了损失之外没有观察到其他信息时，我们仍然设法通过修改Zimmert和Seldin（2020）的算法来证明遗憾界限。我们的分析取决于漂移的一个新的界限，衡量一个算法在一轮的前瞻性时可以表现得更好。
2021-12-21 cs.LG
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
