BanditLP: Large-Scale Stochastic Optimization for Personalized Recommendations
LinkedIn
BanditLP通过结合神经汤普森采样与大规模线性规划，实现了大规模随机优化以提升个性化推荐效果，并在LinkedIn邮件营销中取得实际业务收益。
2026-01-22 cs.AI cs.LG stat.ML
Two-Stage Neural Contextual Bandits for Personalised News Recommendation
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Deakin University（迪肯大学）；Microsoft Research Asia（微软亚洲研究院）
我们考虑的问题，个性化的新闻推荐，每个用户消费的顺序方式的新闻。现有的个性化新闻推荐方法注重挖掘用户兴趣，忽略了用户对推荐的探索性，导致了反馈循环的偏差，长期影响了推荐质量。我们建立在上下文强盗推荐策略，自然解决开发探索权衡。主要的挑战是探索大规模项目空间和利用不确定性的深度表示的计算效率。我们提出了一个两阶段的分层主题新闻深度上下文强盗框架，有效地学习用户的偏好时，有很多的新闻项目。我们使用深度学习表示用户和新闻，并将神经置信上限（UCB）策略推广到广义加性UCB和双线性UCB。在大规模新闻推荐数据集上的实验结果表明，我们提出的策略是有效的，优于基线强盗政策。
2022-06-26 cs.IR cs.LG
BanditPAM: Almost Linear Time $k$-Medoids Clustering via Multi-Armed Bandits
Stanford University（斯坦福大学）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
聚类是数据科学中普遍存在的任务。与常用的$k$ -均值聚类相比，$k$ -中心点聚类要求聚类中心为实际数据点，并支持任意距离度量，从而允许更高的可解释性和结构化对象的聚类。当前最先进的$k$ -中心点聚类算法（诸如围绕中心点划分（PAM））是迭代的，并且对于每次迭代，数据集大小$n$是二次的，这对于大数据集是极其昂贵的。我们提出BanditPAM，一个随机算法的灵感来自多武装匪徒的技术，降低了从$O(n^2)$到$O(n \log n)$的每个PAM迭代的复杂性，并以高概率返回相同的结果，在实践中经常持有的数据的假设下。因此，BanditPAM匹配最先进的集群损失，同时更快地找到解决方案。我们在几个大型真实世界数据集上实证验证了我们的结果，包括编码练习提交数据集，10 x Genomics 68 k PBMC单细胞RNA测序数据集和MNIST手写数字数据集。在这些实验中，我们观察到BanditPAM返回与最先进的PAM类算法相同的结果，速度快4倍，同时执行的距离计算少200倍。BanditPAM所展示的改进使$k$ -medoids聚类能够应用于广泛的应用，包括识别大规模单细胞数据中的细胞类型，并为在线学习计算机科学的学生提供可扩展的反馈。我们还发布了我们算法的高度优化的Python和C++实现。
2020-12-06 cs.AI cs.LG stat.ML
Latent Contextual Bandits and their Application to Personalized Recommendations for New Users
Carnegie Mellon University（卡内基梅隆大学）
针对新用户的个性化推荐，也被称为冷启动问题，可以被公式化为上下文强盗问题。现有的上下文强盗算法通常仅依赖于特征来捕获用户可变性。这样的方法在学习新用户的兴趣方面是低效的。在本文中，我们提出了潜在的上下文强盗。我们既考虑了为新用户利用一组学习到的潜在用户类的好处，又考虑了如何从以前的用户那里学习这些潜在类。我们表明，我们的方法实现了更好的遗憾界比现有的算法。我们还展示了我们的方法使用大型现实世界的数据集和初步的用户研究的好处。
2016-04-22 cs.AI cs.LG
Spoiled for Choice? Personalized Recommendation for Healthcare Decisions: A Multi-Armed Bandit Approach
Michael G. Foster School of Business, University of Washington（华盛顿大学迈克尔·G·福斯特商学院）；Kelley School of Business, Indiana University（印第安纳大学凯利商学院）
在线医疗社区为用户提供各种医疗干预措施，以促进健康行为并提高依从性。然而，当面临太多的干预选择时，个人可能会发现很难决定采取哪种选择，特别是当他们缺乏评估不同选择的经验或知识时。选择过多的问题可能会对用户参与健康管理产生负面影响。在这项研究中，我们采取设计科学的角度提出了一个建议框架，帮助用户选择医疗保健干预措施。考虑到用户的健康行为可以是高度动态和多样化的，我们提出了一个多臂强盗（MAB）驱动的推荐框架，这使我们能够自适应地学习用户的偏好变化，同时促进推荐的多样性。为了更好地适应MAB的医疗背景下，我们合成两个创新的模型组件的基础上突出的健康理论。第一个组件是基于深度学习的特征工程程序，旨在学习与用户的连续健康历史、健康管理经验、偏好和医疗干预的内在属性有关的关键推荐上下文。第二个组成部分是多样性约束，它在结构上使不同维度的建议多样化，为用户提供全面的支持。我们将我们的方法应用于在线体重管理环境，并通过一系列实验对其进行严格评估。我们的研究结果表明，每个设计组件是有效的，我们的推荐设计优于广泛的国家的最先进的推荐系统。我们的研究有助于研究商业智能的应用，并对多个利益相关者产生影响，包括在线医疗平台，政策制定者和用户。
2020-09-13 cs.AI cs.IR cs.LG
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs（雅虎研究院）
上下文强盗算法已经成为流行的在线推荐系统，如Digg，雅虎！Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要，但由于其“部分标签”性质，非常具有挑战性。通常的做法是创建一个模拟器，它模拟当前问题的在线环境，然后在这个模拟器上运行一个算法。然而，创建模拟器本身往往是困难的，建模偏差通常是不可避免地引入。在本文中，我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同，我们的方法是完全数据驱动的，非常容易适应不同的应用。更重要的是，我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎！前页符合我们的理论结果。此外，我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明，我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
BLOB : A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
推荐系统的一个常见任务是从用户浏览历史中的项目中建立用户兴趣的概况，然后从同一目录中向用户推荐项目。用户的行为由两部分组成：他们在没有干预的情况下观看的项目序列（有机部分）和推荐给他们的项目序列及其结果（强盗部分）。在本文中，我们提出了贝叶斯潜在有机强盗模型（BLOB），概率的方法来结合“有机”和“强盗”的信号，以提高推荐质量的估计。由于其给出推荐性能的直接反馈，所以该强盗信号是有价值的，但是信号质量非常不均匀，因为其高度集中于被推荐器系统的过去版本认为是最优的推荐。相比之下，有机信号通常很强，覆盖大多数项目，但并不总是与推荐任务相关。为了利用有机信号来有效地学习贝叶斯模型中的强盗信号，我们确定了三种基本类型的距离，即动作-历史距离、动作-动作距离和历史-历史距离。我们使用变分自动编码器和局部重新参数化技巧实现完整模型的可扩展近似。我们使用广泛的模拟研究表明，我们的方法优于或匹配的价值都是最先进的有机为基础的推荐算法，和土匪为基础的方法（价值和政策为基础的）在有机和土匪丰富的环境。
2020-08-28 cs.LG stat.ML
What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects
Grouplang
BRACE算法针对非合规带隙问题，通过结构区间和固定间隙识别，实现推荐和治疗政策的有效性与稳定性。
2026-03-10 cs.LG stat.ML
Unreliable Multi-Armed Bandits: A Novel Approach to Recommendation Systems
IIT Bombay（印度理工学院孟买分校）
本文提出一种不可靠多臂老虎机模型，将推荐系统建模为通过具有自主性的中间层访问臂的老虎机，并给出基本定理及接近最优的探索-承诺算法。
2019-11-14 cs.LG stat.AP stat.ML
A Contextual-Bandit Approach to Personalized News Article Recommendation
Yahoo! Labs（雅虎实验室）；Princeton University（普林斯顿大学）
个性化Web服务通过利用内容和用户信息来努力使其服务（广告、新闻文章等）适应个体用户。尽管最近取得了一些进展，但这个问题仍然具有挑战性，至少有两个原因。首先，Web服务的特点是动态变化的内容池，使传统的协同过滤方法不适用。其次，大多数具有实际意义的Web服务的规模要求解决方案在学习和计算方面都要快速。在这项工作中，我们建模的个性化推荐的新闻文章作为一个上下文强盗问题，一个原则性的方法，其中一个学习算法依次选择文章，以服务于用户的上下文信息的基础上，用户和文章，同时适应其文章选择策略的基础上，用户点击反馈，以最大限度地提高总用户点击。这项工作的贡献是三方面的。首先，我们提出了一个新的，一般的上下文强盗算法，是计算效率和学习理论的动机。其次，我们认为，任何强盗算法可以可靠地评估离线使用以前记录的随机流量。最后，使用这种离线评估方法，我们成功地将我们的新算法应用到一个雅虎！Front Page Today模块数据集包含超过3300万个事件。结果显示，与标准的上下文无关的强盗算法相比，点击提升了12.5%，当数据变得更加稀缺时，优势变得更大。
2012-03-01 cs.AI cs.IR cs.LG
On Context-Dependent Clustering of Bandits
University of Insubria（因苏布里亚大学）；University of Cambridge（剑桥大学）；IIT Kanpur（坎普尔印度理工学院）；Telefonica Research（西班牙电信研究院）；Amazon Berlin（亚马逊柏林）
我们研究了一种新的集群的强盗算法CAB的协同推荐任务，实现了底层的反馈共享机制，通过估计在上下文相关的方式用户的邻域。CAB通过将协作效应纳入推理以及以无缝交错探索-利用权衡和协作步骤的方式进行学习过程，从而与最先进的方法截然不同。我们证明了遗憾的界限下的各种假设的数据，表现出明确的依赖于预期数量的集群超过用户，一个自然的衡量统计难度的学习任务。在生产和真实世界数据集上的实验表明，CAB相对于具有代表性的最先进的方法池提供了显着提高的预测性能。
2017-02-27 cs.AI cs.IR cs.LG
Challenges and Solutions for Bandits in the Wild: Warm-Started Mixture Bandits for Cross-Cohort Slate Recommendation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU（莱茵兰-普法尔茨州凯泽斯劳滕-兰道工业大学（RPTU））；LMU（慕尼黑大学（LMU））
针对推荐系统冷启动队列的挑战，提出热启动混合老虎机CohortMix-TS，利用跨队列迁移和库存感知榜单构建，提升早期推荐质量并防止物品耗尽，经模拟和野外部署验证有效。
2026-09-30 cs.AI cs.LG
Collaborative Filtering Bandits
University of Insubria（因苏布里亚大学）；Telefónica Research（西班牙电信研究中心）
经典的协同过滤和基于内容的过滤方法试图在给定训练数据的情况下学习静态推荐模型。这些方法在高度动态的推荐领域（如新闻推荐和计算广告）中远非理想，这些领域的项目和用户集非常不稳定。在这项工作中，我们研究了一种自适应聚类技术的内容推荐的基础上探索开发策略的上下文多臂强盗设置。我们的算法考虑到由于用户与项目的交互而产生的协作效应，通过基于正在考虑的项目动态地对用户进行分组，并且同时基于在用户上引起的聚类的相似性对项目进行分组。由此产生的算法，从而利用数据中的偏好模式的方式类似于协同过滤方法。我们对中等规模的真实世界数据集进行了实证分析，显示了可扩展性和提高的预测性能（以点击率为衡量标准），超过了最先进的集群方法。我们还提供了一个标准的线性随机噪声设置内的遗憾分析。
2016-05-31 cs.AI cs.LG stat.ML
The Use of Bandit Algorithms in Intelligent Interactive Recommender Systems
IBM Research AI（IBM研究院人工智能部门）
在当今的商业市场中，许多高科技互联网企业不断探索创新的方法来提供最佳的在线用户体验，以获得竞争优势。指出了开发智能交互式推荐系统的巨大需求，该系统可以通过准确地预测用户的偏好来顺序地向用户推荐最合适的项目，同时不断地接收最新的反馈以改进推荐结果。多臂强盗算法能够提供高效的推荐服务，已被广泛应用于各种在线系统中。然而，很少有现有的强盗模型能够适应现代推荐系统引入的新变化。
2021-07-01 cs.AI cs.IR
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Distributed Clustering of Linear Bandits in Peer to Peer Networks
University of Oxford（牛津大学）；Technion（以色列理工学院）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；University of Insubria（因苏布里亚大学）
我们提供了两个分布式置信球算法，用于解决有限通信能力的对等网络中的线性强盗问题。首先，我们假设所有的同行都在解决相同的线性强盗问题，并证明我们的算法实现了最佳的渐近后悔率的任何集中式算法，可以立即通信的同行之间的信息。对于第二个，我们假设有集群的同行解决相同的强盗问题，在每个集群，我们证明了我们的算法发现这些集群，同时实现最佳的渐近后悔率在每个。通过在几个真实数据集上的实验，我们证明了所提出的算法的性能相比，国家的最先进的。
2016-06-07 cs.AI cs.LG stat.ML
HyperBandit: Contextual Bandit with Hypernewtork for Time-Varying User Preferences in Streaming Recommendation
Renmin University of China（中国人民大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出 HyperBandit，用时间特征驱动的超网络动态生成奖励估计参数，并结合低秩分解与上下文 bandit 策略，实现流式推荐中对时变用户偏好的快速适应。
2023-08-14 cs.AI cs.IR
Linear Bandits in High Dimension and Recommendation Systems
Stanford University（斯坦福大学）
大量的在线服务提供自动化推荐，以帮助用户在大量的项目集合中导航。新的项目（产品，视频，歌曲，广告）是根据用户的过去历史和-如果可用-她的人口统计资料。推荐必须满足帮助用户探索可用项目空间的双重目标，同时允许系统探测用户的偏好。我们使用线性参数化的多武装匪徒模型的这种权衡，提出了一个政策，并证明了上限和下限的累积“奖励”，符合常数的数据穷人（高维）政权。之前关于线性强盗的工作主要集中在数据丰富（低维）的机制上，并使用累积“风险”作为品质因数。对于这个数据丰富的制度，我们提供了一个简单的修改，我们的政策，实现接近最佳的风险表现下，更严格的假设的几何形状的问题。我们测试了用于在Netflix和MovieLens数据集上建立可验证性的方案（的变体），并与我们开发的理论的定性预测取得了良好的一致性。
2013-01-08 cs.LG stat.ML
Improved Algorithm on Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）；University of Cambridge（剑桥大学）
我们通过允许用户频率的非均匀分布来概括土匪在线聚类的设置。提出了一种更有效的算法，用简单的集合结构来表示簇。我们证明了新算法的遗憾界，它是免费的最小频率超过用户。在合成数据集和真实数据集上的实验结果表明，新算法优于现有的方法。
2019-07-02 cs.LG stat.ML
Achieving User-Side Fairness in Contextual Bandits
University of Arkansas（阿肯色大学）；Penn State University（宾夕法尼亚州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
基于多臂强盗（MAB）算法的个性化推荐具有很高的实用性和效率，因为它可以根据反馈动态调整推荐策略。然而，个性化推荐可能会导致不公平。本文主要研究如何在个性化推荐中实现用户端公平性。我们制定我们的公平个性化推荐作为一个修改的上下文强盗，并专注于实现公平的个人被推荐的项目，而不是实现公平的项目被推荐。我们引入并定义了一个度量标准，该度量标准捕获了特权和受保护群体获得的奖励的公平性。提出了一种公平上下文强盗算法Fair-LinUCB，改进了传统的LinUCB算法，实现了用户组级公平性。我们的算法检测和监控不公平，同时学习向学生推荐个性化视频，以实现高效率。我们提供了一个理论上的遗憾分析，并表明我们的算法有一个略高于LinUCB遗憾界。我们进行了大量的实验评估，我们的公平上下文强盗的LinUCB的性能进行比较，并表明我们的方法实现了组级的公平性，同时保持了较高的实用性。
2020-10-22 cs.AI cs.LG
Calibrated Recommendations with Contextual Bandits
Spotify；NYU（纽约大学）；Uber
针对Spotify首页内容类型分布不均的问题，提出基于上下文Bandits的校准方法，动态学习用户最优内容分布，提升推荐精确度与参与度，尤其惠及播客等冷门类型。
2025-09-05 cs.IR cs.LG stat.ML
A Field Test of Bandit Algorithms for Recommendations: Understanding the Validity of Assumptions on Human Preferences in Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）
本文通过众包漫画推荐实验检验多臂老虎机中人类偏好固定不变的核心假设，发现该假设不成立，并提出一个用于理解偏好动态和测试多臂老虎机算法的灵活实验框架。
2023-04-16 cs.HC cs.IR cs.LG
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong（香港中文大学）
本文针对老虎机在线聚类中识别用户簇所需的强假设问题，提出UniCLUB和PhaseUniCLUB两种增强探索算法，并引入平滑对抗情境设置以消除i.i.d.要求，在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
在线推荐服务向用户推荐多种商品。如今，相当比例的用户通过移动设备访问电子商务平台。由于移动设备的屏幕尺寸有限，商品的位置对点击有很大的影响：1）位置越高，一个商品的点击就越多。2)“伪曝光”问题：第一眼只显示了几个推荐项目，用户需要滑动屏幕才能浏览其他项目。因此，一些排名靠后的推荐项目不会被用户查看，将这类项目视为负样本是不恰当的。虽然许多工作模型的在线推荐作为上下文强盗问题，他们很少考虑到的影响的立场，因此，估计的奖励函数可能会有偏差。在本文中，我们旨在解决这两个问题，以提高性能的在线移动推荐。我们的贡献是四方面的。首先，由于我们关注的是一组推荐项目的奖励，我们将在线推荐建模为上下文组合强盗问题，并定义了推荐集的奖励。其次，我们提出了一种新的上下文组合强盗方法称为UBM-LinUCB解决两个问题，通过采用用户浏览模型（UBM），点击网络搜索模型的位置。第三，我们提供了一个正式的遗憾分析，并证明我们的算法实现次线性遗憾的项目数无关。最后，我们评估我们的算法在两个真实世界的数据集由一个新的无偏估计。淘宝网是世界上最受欢迎的电子商务平台之一。两个CTR指标上的实验结果表明，该算法优于其他上下文强盗算法。
2020-08-21 cs.IR cs.LG
A Hybrid Bandit Framework for Diversified Recommendation
Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-新加坡南洋理工大学新加坡联合研究院）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)（新加坡南洋理工大学-英属哥伦比亚大学老年人积极生活联合卓越研究中心（LILY））；School of Computer Science and Engineering, Nanyang Technological University（新加坡南洋理工大学计算机科学与工程学院）；Alibaba Group（阿里巴巴集团）
交互式推荐系统通过及时接收用户反馈来更新推荐策略，从而使用户参与到推荐过程中。因此，它们被广泛应用于实际应用场景。以往的交互式推荐方法主要关注于学习用户对项目集相关性的个性化偏好。然而，用户的个性化偏好对项目集多样性的影响往往被忽略。为了克服这个问题，我们提出了线性模色散Bandit（LMDB）框架，这是一个在线学习设置，用于优化模函数和色散函数的组合。具体地说，LMDB采用模块化函数来建模每个项目的相关性属性，和分散函数来描述项目集的多样性属性。此外，我们还开发了一个学习算法，称为线性模色散混合（LMDH）来解决LMDB问题，并推导出其n步遗憾的无间隙界。在真实数据集上进行了大量的实验，以证明所提出的LMDB框架在平衡推荐准确性和多样性方面的有效性。
2020-12-24 cs.IR cs.LG
Deep Bayesian Bandits: Exploring in Online Personalized Recommendations
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Twitter（推特公司）
以连续学习方式训练的推荐系统受到反馈回路问题的困扰，也称为算法偏见。这会导致新训练的模型表现得更好，并倾向于用户已经参与的项目。这种行为在个性化广告推荐中尤其有害，因为它还可能导致新的广告系列尚未开发。探索旨在通过提供有关环境的新信息来解决这一限制，这些信息包括用户偏好，并可以带来更高的长期回报。在这项工作中，我们制定了一个显示广告推荐作为一个上下文的强盗和实现的探索技术，需要从后验分布的点击率在计算上易于处理的方式进行采样。传统的大规模深度学习模型默认不提供不确定性估计。我们近似这些不确定性测量的预测采用自举模型与多个头和辍学单位。我们在离线模拟环境中使用公开的用户广告参与数据集对一些不同的模型进行基准测试。我们在离线模拟和大规模生产流量的在线AB设置中测试了我们提出的深度贝叶斯强盗算法，在那里我们展示了我们的探索模型的积极收益。
2020-08-03 cs.AI cs.LG cs.NE
Contextual-Bandit Based Personalized Recommendation with Time-Varying User Interests
Cornell University（康奈尔大学）；Alibaba Group（阿里巴巴集团）
研究了高度非平稳环境下的上下文强盗问题。由于用户兴趣的时变，上下文强盗问题在各种推荐系统中普遍存在。两个模型与不相交和混合支付被认为是表征的现象，用户对不同的项目的偏好不同，随着时间的推移。在不相交支付模型中，使用手臂的奖励由特定于手臂的偏好向量确定，该偏好向量是分段平稳的，不同手臂之间的变化是异步的和明显的。提出了一种有效的学习算法，是自适应的突然奖励的变化和理论的遗憾分析表明，一个次线性缩放的时间长度$T$的遗憾实现。该算法被进一步扩展到一个更一般的设置与混合的回报，其中的奖励，发挥手臂是由一个手臂特定的偏好向量和联合系数向量共享的所有武器。在真实世界的数据集上进行了实证实验，以验证所提出的学习算法在这两种设置下对基线的优势。
2020-02-29 cs.AI cs.LG stat.ML
Online Clustering of Bandits
University of Insubria（因苏布里亚大学）；Amazon Development Center Germany（亚马逊德国开发中心）
我们介绍了一种新的算法方法，内容推荐的基础上自适应聚类的探索-剥削（“土匪”）的战略。我们提供了一个尖锐的遗憾分析，该算法在一个标准的随机噪声设置，证明其可扩展性，并证明其有效性的人工和真实世界的数据集。我们的实验表明，在预测性能显着增加国家的最先进的方法，强盗问题。
2014-06-06 cs.LG stat.ML
Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例，并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法，有效地将这种离线信息在在线探索阶段，并获得他们的遗憾界限。特别是，我们开发的Meta算法，有效地对冲其他两种算法：一个使用历史观测和聚类，另一个只使用历史观测。当聚类质量好时，前者优于后者，反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验，验证了我们的理论见解，并证明Meta是一种强大的策略，可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation
University of Chinese Academy of Sciences（中国科学院大学）；Didi Chuxing（滴滴出行）
上下文多臂强盗（MAB）在各种问题上实现了尖端性能。然而，当涉及到推荐系统和在线广告等现实场景时，必须考虑探索的资源消耗。在实践中，通常存在与在环境中执行推荐（arm）相关联的非零成本，并且因此，应当利用固定的探索成本约束来学习策略。直接学习全局最优策略具有挑战性，因为它是一个NP难问题，并且显著地使强盗算法的探索和利用权衡复杂化。现有的方法侧重于解决问题，通过采用贪婪的政策，估计预期的回报和成本，并使用贪婪的选择，根据每个手臂的预期回报/成本比使用历史观察，直到勘探资源耗尽。然而，现有的方法很难扩展到无限的时间范围，因为学习过程将终止时，没有更多的资源。在本文中，我们提出了一个层次自适应上下文强盗方法（HATCH）进行策略学习的上下文强盗预算约束。HATCH采用了一种自适应的方法来分配资源的基础上剩余资源/时间和不同的用户上下文之间的奖励分布的估计的探索。此外，我们充分利用上下文特征信息，以找到最佳的个性化推荐。最后，为了证明理论上的保证，我们提出了一个遗憾界分析，并证明了HATCH实现了一个遗憾界低至$O(\sqrt{T})$。在合成数据集和实际应用中的实验结果表明了该方法的有效性和效率。
2020-04-06 cs.LG stat.ML
Design Principles of Robust Multi-Armed Bandit Framework in Video Recommendations
Amazon Prime Video（亚马逊Prime Video）
针对推荐系统中多臂老虎机方法面临的分布变化、物品互噬等挑战，本文提出鲁棒设计原则，经实验验证可有效提升模型鲁棒性，在ROC-AUC、PR-AUC上最高分别带来11.88%、44.85%的相对增益，还能缓解流行度偏差。
2023-09-24 cs.IR cs.LG
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义的背景土匪-一个特殊的情况下，背景土匪的勘探成本在不同的环境条件下，如网络负载或回报变化的建议。当探索成本低时，拉次优手臂的实际遗憾也低（例如，尝试次优推荐）。因此，直观地说，勘探成本相对较低时，我们可以多勘探，勘探成本相对较高时，我们可以多开采。受这种直觉的启发，对于具有线性收益的机会主义上下文强盗，我们提出了一种自适应置信上限算法（AdaLinUCB）来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O（（log T）^2），并且比传统的LinUCB算法具有更小的系数.此外，基于合成和真实世界的数据集，我们表明，AdaLinUCB显着优于其他上下文的强盗算法，在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
Revisiting Clustering of Neural Bandits: Selective Reinitialization for Mitigating Loss of Plasticity
Gaoling School of Artificial Intelligence Renmin University of China Beijing China；Gaoling School of Artificial Intelligence Renmin University of China
本文提出SeRe框架，通过选择性重置缓解神经带客算法的退化性问题，提升其在动态环境中的适应性和鲁棒性。
2025-12-02 cs.AI cs.LG stat.ML
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Cascading Bandits for Large-Scale Recommendation Problems
Carnegie Mellon University（卡内基梅隆大学）；Université de Montréal（蒙特利尔大学）；Adobe Research（Adobe研究院）
大多数推荐系统推荐一个项目列表。用户检查列表，从第一个项目到最后一个，并且通常选择第一个有吸引力的项目，而不检查其余的项目。这种类型的用户行为可以通过级联模型来建模。在这项工作中，我们研究级联土匪，级联模型的在线学习变体，其目标是推荐$K$最有吸引力的项目从一个大的$L$候选项目。我们提出了两个算法来解决这个问题，这是基于线性推广的思想。我们解决方案的关键思想是，我们从项目的特征中学习项目吸引概率的预测值，而不是像现有工作那样独立学习每个项目的吸引概率。这导致实际的学习算法，其遗憾不依赖于项目的数量$L$。我们绑定的遗憾，一个算法和全面评估其他一系列的推荐问题。该算法表现良好，优于所有基线。
2016-06-30 cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Bandits Under The Influence (Extended Version)
LRI CNRS Université Paris-Saclay（巴黎萨克雷大学国家科学研究中心计算机科学实验室）；Northeastern University（东北大学）
推荐系统应该适应用户的兴趣，因为后者的发展。用户兴趣演变的一个普遍原因是其社交圈的影响。一般来说，当兴趣未知时，探索推荐空间同时还利用观察到的偏好的在线算法是优选的。我们提出的在线推荐算法植根于线性多臂土匪文学。我们的强盗算法是专门为推荐场景定制的，在这些场景中，用户的兴趣会在社会影响下演变。特别是，我们表明，我们的适应经典的LinREL和汤普森采样算法保持相同的渐近遗憾界在非社会的情况下。我们使用合成和真实数据集验证我们的方法。
2020-09-21 cs.DB cs.LG stat.ML
Prior-informed optimization of treatment recommendation via bandit algorithms trained on large language model-processed historical records
School of Industrial Engineering, College of Engineering, University of Tehran（工业工程学院，工程学院，德黑兰大学）
针对现有医疗忽略个体差异的问题，研究整合LLMs、CTGAN、T-learner与先验知情上下文老虎机构建系统，在III期结肠癌数据上KernelUCB表现优于参考方法，推进个体化医学发展。
2025-10-21 cs.AI cs.LG
Context-Aware Bandits
我们提出了一个有效的上下文感知的集群的强盗（CAB）算法，它可以捕获的合作效果。CAB可以很容易地部署在一个现实世界的推荐系统，其中多武装匪徒已被证明表现良好，特别是相对于冷启动问题。CAB利用了一个上下文感知的集群，通过探索开发策略来增强。CAB根据所考虑的内容范围动态地对用户进行聚类。我们给出了一个理论分析，在标准的随机多武装土匪设置。我们展示了我们的方法在生产和真实世界数据集上的效率，展示了可扩展性，更重要的是，与几种最先进的方法相比，预测性能显著提高。
2017-02-26 cs.AI cs.LG stat.ML
Fiduciary Bandits
Technion - Israel Institute of Technology（以色列理工学院）；University of British Columbia（不列颠哥伦比亚大学）
推荐系统经常面临探索-利用的权衡：系统只能通过向某些用户推荐新选项来了解新选项的可取性。这样的系统因此可以被建模为多臂强盗设置;然而，用户是自私的，不能遵循建议。我们要问的是，探索是否仍然可以以一种严格尊重代理人利益的方式进行-即，由一个充当受托人的系统来管理。更正式地说，我们引入了一个模型，在这个模型中，推荐系统面临着一个探索-利用权衡的约束下，它永远不能推荐任何行动，它知道收益较低的预期回报比代理将实现，如果它单独行动。我们的主要贡献是一个积极的结果：一个渐进最优的，激励相容的，和事前个别合理的推荐算法。
2020-06-28 cs.GT cs.IR cs.LG
Neural Combinatorial Clustered Bandits for Recommendation Systems
Carnegie Mellon University（卡内基梅隆大学）
针对推荐系统，提出神经组合聚类老虎机NeUClust，利用深度神经网络估计奖励并聚类选择超级臂，实现$\tilde{O}(\tilde{d}\tilde{T})$遗憾界，实验优于现有算法。
2024-10-18 cs.AI cs.LG
Evaluating Deep Vs. Wide & Deep Learners As Contextual Bandits For Personalized Email Promo Recommendations
个性化使企业能够从过去的互动中了解客户的偏好，从而以更具相关性的内容瞄准个人客户。我们认为预测最佳促销提供给一个给定的客户的几个选项作为一个上下文的强盗问题的问题。客户和/或活动的识别信息可用于推断改进最佳报价预测的未知客户/活动特征。使用生成的合成电子邮件促销数据集，我们证明了类似的预测精度（a）广泛和深入的网络，将识别信息（或其他分类特征）作为输入到广泛的部分和（b）仅深度神经网络，包括在输入中嵌入分类特征。包括分类特征的准确性的提高取决于每个类别的未知数值特征的可变性。我们还表明，选择选项使用置信上限或汤普森采样，近似通过蒙特卡洛辍学层在广泛和深入的模型，稍微提高模型的性能。
2022-01-31 cs.AI cs.LG
Learning by Repetition: Stochastic Multi-armed Bandits under Priming Effect
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们研究了在随机多臂强盗环境中持续参与对学习的影响。在广告和推荐系统中，重复效应包括一个磨合期，用户通过点击或购买来奖励平台的倾向取决于他们最近看到推荐的频率。它还包括一个抵消磨损期，如果推荐最近被显示太多次，用户积极响应的倾向就会受到抑制。启动效应可以自然地建模为策略空间上的时间约束，因为当前动作的奖励取决于平台采取的历史动作。我们提供了新的算法，实现次线性遗憾的时间和相关的磨损/磨损参数。启动对后悔上界的影响也是加性的，我们得到了一个保证，匹配流行的算法，如UCB 1和汤普森采样时，没有启动效应。我们的工作补充了最近的工作建模随时间变化的奖励，延迟和腐败的土匪，并扩展了使用丰富的行为模型在顺序决策设置。
2020-06-18 cs.AI cs.LG stat.ML
Epsilon non-Greedy: A Bandit Approach for Unbiased Recommendation via Uniform Data
Sharif University of Technology（谢里夫理工大学）
针对推荐系统持续训练引发的自反馈循环偏差问题，提出基于上下文多臂老虎机的Epsilon non-Greedy框架，用少量均匀数据学习无偏估计量并优化后续训练数据，结合新离线序列训练模式，实验证明其优于现有去偏方法。
2023-10-07 cs.LG
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）；Bytedance AI Lab（字节跳动人工智能实验室）
上下文强盗算法提供了原则性的在线学习解决方案，以平衡各种应用（如推荐系统）中的开发-探索权衡。然而，传统的上下文强盗算法的学习速度往往是缓慢的，由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题，因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度，我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈（例如，新闻推荐中的文章），而且还有来自用户的关于关键术语的偶尔的会话反馈。这里，关键词可以涉及分支的子集，例如，新闻推荐中的文章类别。然后，我们设计了会话UCB算法（ConUCB），以解决会话上下文强盗中的两个挑战：（1）选择哪些关键词进行会话，（2）如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界，这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Adaptively Optimize Content Recommendation Using Multi Armed Bandit Algorithms in E-commerce
The Home Depot（家得宝）
电子商业网站努力为用户提供最及时的相关信息，以减少购物摩擦，提高客户满意度。多臂强盗模型（MAB）作为一种自适应优化算法提供了可能的途径。在本文中，我们分析了使用三个经典的MAB算法，ε-贪婪，汤普森采样（TS），和上置信界1（UCB 1）的动态内容推荐，走查内部开发这些算法的过程来解决一个真实的世界电子商业用例。首先，我们分析了三个MAB算法使用模拟购买数据集与非平稳的奖励分布，以模拟可能随时间变化的客户偏好，其中的流量分配动态和不同算法的累积奖励进行了研究。第二，我们使用实际的历史A/B测试数据集，比较了三种MAB算法的累积回报与超过1,000次试验。我们发现，竞争推荐的成功率之间的差异越大，MAB算法可以实现的累积奖励就越多。此外，我们还发现在不同的测试场景下，TS的平均累积奖励最高。第三，我们开发了一种批量更新的MAB算法，以克服电子商业中的延迟奖励问题，并在我们的应用程序主页上实现在线内容优化。为了进行最先进的比较，在我们的批量更新的MAB算法，第三方MAB解决方案和默认业务逻辑之间进行了真正的A/B测试。结果表明，我们的批量更新的MAB算法优于同行，并实现了6.13%的相对点击率（CTR）增加和16.1%的相对转换率（CVR）增加相比，默认的经验，和2.9%的相对CTR增加和1.4%的相对CVR增加相比，外部MAB服务。
2021-08-19 cs.AI cs.IR cs.LG
Online Clustering of Dueling Bandits
The Chinese University of Hong Kong（香港中文大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）；Tianjin University（天津大学）
本文首次提出对决赌博机聚类方法，通过 COLDB 和 CONDB 两种算法实现基于偏好反馈的多用户协作决策，并从理论和实验上证明其能改善遗憾界。
2025-02-04 cs.AI cs.LG
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Federated Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
上下文多臂强盗（MAB）是推荐系统中一个重要的序贯决策问题。一系列的作品，被称为土匪集群（CLUB），利用用户之间的协作效应，并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧，越来越多的人要求保持用户数据分散，并将强盗学习推到本地服务器端。然而，现有的CLUB算法是在集中式设置下设计的，其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗（FCUB）问题，其目的是最大限度地减少总遗憾，同时满足隐私和通信的考虑。针对这个问题，我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私，以前的差分隐私（DP）的定义是不是很合适，我们提出了一个新的DP的概念，作用于用户集群级别。我们提供了严格的证据表明，我们的算法同时实现（聚类）DP，次线性通信复杂性和次线性遗憾。最后，实验评估表明，我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Multi-User Contextual Cascading Bandits for Personalized Recommendation
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）
针对多用户同时与顺序展示物品交互的在线广告场景，提出多用户上下文级联老虎机模型（MCCB），设计UCBBP和AUCBBP算法并证明其遗憾界，数值实验验证了算法有效性。
2025-08-24 cs.LG math.OC stat.ML
Online Clustering of Contextual Cascading Bandits
The Chinese University of Hong Kong（香港中文大学）
我们认为一个新的设置的上下文级联土匪，在线学习问题，其中底层的集群结构的用户是未知的，需要从一个随机的前缀反馈学习的在线聚类。更确切地说，学习代理向用户推荐有序的项目列表，用户检查列表并在第一个满意的项目处停止（如果有的话）。我们提出了一个俱乐部级联算法，并证明了一个$T$ -步遗憾界的顺序$\tilde{O}(\sqrt{T})$。以前的工作对应于退化的情况下，只有一个集群，我们的一般遗憾界在这种特殊情况下也显着提高他们。我们在人工数据和真实数据上进行了实验，并证明了我们的算法的有效性和结合在线聚类方法的优势。
2019-02-01 cs.LG
Clustering Items through Bandit Feedback: Finding the Right Feature out of Many
针对基于老虎机反馈的二分组聚类问题，提出利用Sequential Halving寻找相关特征的自适应算法，给出高概率恢复的预算上界及在部分情形下紧致的实例相关下界。
2025-03-18 cs.LG stat.ML
Impatient Bandits: Optimizing Recommendations for the Long-Term Without Delay
University of Manchester（曼彻斯特大学）；Spotify（声田）；Columbia University（哥伦比亚大学）
针对延迟奖励下的长期推荐优化问题，提出结合贝叶斯滤波器整合多阶段观测的预测模型与对应老虎机算法，在播客推荐任务中性能显著优于短期代理优化和等待完整奖励的方法。
2023-07-20 cs.LG stat.ML
