On the Value of Bandit Feedback for Offline Recommender System Evaluation
Criteo AI Lab（Criteo人工智能实验室）
在学术文献中，推荐系统经常被评估下一个项目预测的任务。该过程旨在回答以下问题：“给定到时间t的用户-项目交互的自然序列，我们能否预测用户在时间t+1将与哪个项目交互？".通过所述方法获得的评估结果然后被用作预测哪个系统将在在线设置中表现得更好的代理。然而，在线设置提出了一个微妙的不同问题：“给定用户与项目交互的自然序列，直到时间t，我们能让用户在时间t+1与推荐项目交互吗？".从因果关系的角度来看，系统执行干预，我们希望衡量其效果。下一个项目预测通常被用作一个后备目标，当有关干预措施及其效果的信息（显示的建议以及是否收到点击）不可用时。然而，当这种类型的数据可用时，它可以为可靠地估计在线推荐系统的性能提供很大的价值。通过一系列的模拟实验与健身房环境，我们显示传统的离线评估方案不足。此外，我们展示了如何利用所谓的强盗反馈进行有效的离线评估，更准确地反映在线性能。
2019-07-26 cs.IR cs.LG stat.ML
Comparison-based Conversational Recommender System with Relative Bandit Feedback
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shandong University（山东大学）
随着会话式推荐的最新进展，推荐系统能够通过会话式交互主动且动态地引出用户偏好。为了实现这一点，系统定期查询用户对属性的偏好，并收集他们的反馈。然而，大多数现有的会话式推荐系统只能使用户提供绝对的反馈属性。在实践中，绝对反馈通常是有限的，因为用户在表达偏好时倾向于提供有偏见的反馈。相反，用户通常更倾向于表达比较偏好，因为用户偏好本质上是相对的。为了使用户在会话交互过程中提供比较偏好，我们提出了一种新的基于比较的会话推荐系统。相对反馈虽然更实用，但由于其反馈尺度与用户的绝对偏好不匹配，不容易被纳入。通过有效地收集和理解来自交互方式的相对反馈，我们进一步提出了一种新的强盗算法，我们称之为RelativeConUCB。在合成数据集和真实数据集上的实验结果表明，与会话推荐系统中现有的强盗算法相比，本文提出的方法具有明显的优势。
2022-08-21 cs.IR cs.LG
The Bandit's Blind Spot: The Critical Role of User State Representation in Recommender Systems
Federal University of São Carlos（圣卡洛斯联邦大学）
本文研究了基于矩阵分解模型的嵌入式状态表示对传统上下文多臂老虎机算法性能的影响，发现状态表示的变化对性能提升效果大于算法本身的变化，强调了嵌入质量与状态构建的重要性。
2026-04-29 cs.IR cs.LG
Taming Non-stationary Bandits: A Bayesian Approach
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
研究了非平稳环境中的多臂强盗问题。基于贝叶斯方法，我们提出了一个变体的汤普森采样，可用于休息和不安的土匪的情况。通过对先验分布的参数进行贴现，我们描述了一种系统地降低过去观测值影响的方法。此外，我们推导出精确的表达式的概率挑选次优武器。通过增加贝叶斯样本的利用价值，我们还提供了一个乐观的版本的算法。在各种情况下进行了大量的实证分析，以验证所提出的算法的效用。还包括与各种状态的手臂算法的比较研究。
2017-07-31 cs.LG stat.ML
Non-Stationary Bandit Learning via Predictive Sampling
Jones Graduate School of Business, Rice University（里士满大学沃森商学院研究生院）；Stanford Graduate School of Business（斯坦福商学院）；Department of Management Science and Engineering, Department of Electrical Engineering, Stanford University（斯坦福大学管理科学与工程系、电气工程系）
本文提出预测采样算法，通过区分信息快速失效的行动来改进非平稳环境下的老虎机学习，理论证明其性能并验证其在复杂环境中的有效性。
2026-06-06 cs.LG stat.ML
Bandit Learning for Diversified Interactive Recommendation
Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）
交互式推荐系统使用户和推荐系统之间的互动吸引了越来越多的研究关注。以前的方法主要集中在优化推荐精度。然而，它们往往忽略了推荐结果的多样性，从而往往导致不满意的用户体验。本文提出了一种新的基于用户隐式反馈的交互式推荐模型DC $^2$ B（DiversifiedContextualCombinatorialBandit）。具体地说，DC $^2$ B在推荐过程中采用决定点过程，以促进推荐结果的多样性。为了学习模型参数，提出了一种基于变分贝叶斯推理的Thompson采样型算法。此外，还对DC $^2$ B的性能进行了理论分析.在真实数据集上进行了大量的实验，以证明所提出的方法的有效性。
2019-07-01 cs.IR cs.LG stat.ML
Improved Regret Analysis in Gaussian Process Bandits: Optimality for Noiseless Reward, RKHS norm, and Non-Stationary Variance
MI-6 Ltd.（MI-6有限公司）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
针对高斯过程（GP）老虎机问题，通过改进最大后验方差上界并优化MVR和PE算法，在无噪声、RKHS范数及非平稳方差场景下实现更优遗憾上界，且与下界匹配。
2025-02-10 cs.LG stat.ML
Existence conditions for hidden feedback loops in online recommender systems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们探讨了在线推荐系统中隐藏的反馈环效应。反馈循环导致在线多臂强盗（MAB）建议退化为一个小的子集，失去覆盖范围和新颖性。我们研究了用户兴趣的不确定性和噪声如何影响反馈回路的存在。首先，我们证明了用户兴趣中的无偏加性随机噪声不会阻止反馈回路。其次，我们证明了重置用户兴趣的非零概率足以限制反馈回路并估计效果的大小。我们的实验证实了理论研究结果在模拟环境中的四个强盗算法。
2021-12-16 cs.IR cs.LG
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Creator Incentives in Recommender Systems: A Cooperative Game-Theoretic Approach for Stable and Fair Collaboration in Multi-Agent Bandits
Courant Institute, New York University（纽约大学库朗数学研究所）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；FAIR, Meta AI（Meta AI 基础人工智能研究团队）
本文提出基于合作博弈的多智能体老虎机模型，分析推荐系统中创作者激励问题，证明在同质智能体下博弈凸性，提出基于 regrets 的支付规则，实验显示支付与Shapley公平性的一致性与差异。
2026-04-09 cs.CY cs.GT cs.LG
Deep Bayesian Bandits: Exploring in Online Personalized Recommendations
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Twitter（推特公司）
以连续学习方式训练的推荐系统受到反馈回路问题的困扰，也称为算法偏见。这会导致新训练的模型表现得更好，并倾向于用户已经参与的项目。这种行为在个性化广告推荐中尤其有害，因为它还可能导致新的广告系列尚未开发。探索旨在通过提供有关环境的新信息来解决这一限制，这些信息包括用户偏好，并可以带来更高的长期回报。在这项工作中，我们制定了一个显示广告推荐作为一个上下文的强盗和实现的探索技术，需要从后验分布的点击率在计算上易于处理的方式进行采样。传统的大规模深度学习模型默认不提供不确定性估计。我们近似这些不确定性测量的预测采用自举模型与多个头和辍学单位。我们在离线模拟环境中使用公开的用户广告参与数据集对一些不同的模型进行基准测试。我们在离线模拟和大规模生产流量的在线AB设置中测试了我们提出的深度贝叶斯强盗算法，在那里我们展示了我们的探索模型的积极收益。
2020-08-03 cs.AI cs.LG cs.NE
Time-varying Gaussian Process Bandit Optimization with Non-constant Evaluation Time
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
高斯过程强盗是一个问题，我们要找到一个最大化的黑盒函数与最小数量的功能评估。如果黑盒函数随时间变化，则时变贝叶斯优化是一个很有前途的框架。然而，当前方法的缺点是假设每个观察的评估时间是恒定的，这对于许多实际应用来说可能是不现实的，例如，推荐系统和环境监测。其结果是，当前的方法的性能可以降低时，这个假设被违反。为了解决这个问题，我们提出了一种新的时变贝叶斯优化算法，可以有效地处理非恒定的评估时间。此外，我们从理论上建立了我们的算法的遗憾界。我们的界限阐明了评估时间序列的模式可以极大地影响问题的难度。我们也提供实验结果来验证所提出的方法的实际效果。
2020-03-11 cs.LG stat.ML
Online certification of preference-based fairness for personalized recommender systems
Meta AI
推荐系统正面临审查，因为它们对我们所能获得的机会的影响越来越大。目前对公平性的审计仅限于敏感群体级别的粗粒度奇偶性评估。我们建议审计无嫉妒性，这是一个与个人偏好相一致的更细粒度的标准：每个用户都应该喜欢他们的推荐。由于审计嫉妒需要估计用户的偏好超出他们现有的建议，我们投审计作为一个新的纯探索多武装土匪的问题。我们提出了一个样本效率的算法，理论上保证它不会恶化用户体验。我们还研究了在现实世界的推荐数据集上实现的权衡。
2023-03-06 cs.AI cs.CY cs.LG
A Payload Optimization Method for Federated Recommender Systems
National University of Computer and Emerging Technology（国立计算机与新兴技术大学）；Huawei Technologies Oy (Finland) Co. Ltd（华为技术（芬兰）有限公司）；ComparablesAI Oy
介绍了一种用于联邦推荐系统的有效负载优化方法。在联邦学习（FL）中，在服务器和用户之间移动的全局模型有效负载取决于要推荐的项目的数量。当项目数量增加时，模型有效负载也会增加。如果FRS在生产模式下运行，则这对它来说是一个挑战。为了解决有效载荷的挑战，我们制定了一个多臂强盗解决方案，选择了部分全球模型，并将其传输给所有用户。选择过程由一种新的适合FL系统的奖励函数指导。据我们所知，这是第一个寻求解决项目相关有效载荷的优化方法。使用三个基准推荐数据集对该方法进行了评估。实证验证证实，所提出的方法优于简单的方法，不受益于土匪的项目选择的目的。此外，我们已经证明了我们提出的方法的实用性，通过严格评估的有效载荷减少的建议性能下降的影响。我们的方法实现了高达90%的减少模型负载，产生只有$\sim$ 4%-8%的损失，在高度稀疏的数据集的推荐性能
2021-07-27 cs.AI cs.IR cs.LG
BanditMF: Multi-Armed Bandit Based Matrix Factorization Recommender System
多武装匪徒（MAB）提供了一个原则性的在线学习方法，以实现勘探和开发之间的平衡。多臂强盗算法由于其优越的性能和低反馈学习而无需学习在多种情况下采取行动，在推荐系统等应用中受到广泛关注。同样，在推荐系统中，协同过滤（CF）可以说是推荐系统中最早和最有影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协同过滤，经典的方法是离线训练模型，然后进行在线测试，但这种方法已经不能处理用户偏好的动态变化，即所谓的冷启动。那么在缺乏有效信息的情况下，如何有效地向用户推荐商品呢？为了解决上述问题，一个多臂强盗的协同过滤推荐系统已被提出，命名为BanditMF。BanditMF主要解决多臂Bandits算法和协同过滤中的两个难题：（1）如何解决有效信息稀缺条件下协同过滤的冷启动问题;（2）如何解决强社会关系域中Bandits算法由于独立估计与每个用户相关的未知参数而忽略用户之间的相关性而导致的次优问题。
2022-10-24 cs.IR cs.LG
HELLINGER-UCB: A novel algorithm for stochastic multi-armed bandit problem and cold start problem in recommender system
JPMorgan Chase（摩根大通）；Meta；Stony Brook University（石溪大学）
提出基于平方 Hellinger 距离的 Hellinger-UCB 算法，证明其达到理论下界，并通过数值与金融推荐在线实验验证其低延迟及更高 CTR。
2024-04-16 cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Causal Feature Selection Method for Contextual Multi-Armed Bandits in Recommender System
Roblox
本文提出HIE和HDD两种无模型方法，用于识别推荐系统中驱动异质处理效应的特征，提升上下文多臂老虎机性能。
2025-11-30 cs.IR cs.LG stat.ML
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
Context Uncertainty in Contextual Bandits with Applications to Recommender Systems
AWS AI Labs（亚马逊云科技人工智能实验室）
递归神经网络已被证明是有效的建模推荐系统的顺序用户反馈。然而，它们通常只关注项目的相关性，而不能有效地为用户探索不同的项目，因此从长远来看损害了系统的性能。为了解决这个问题，我们提出了一种新型的递归神经网络，称为递归探索网络（REN），共同执行表示学习和有效的探索在潜在的空间。REN试图平衡相关性和探索性，同时考虑到表征中的不确定性。我们的理论分析表明，REN可以保持率最优的次线性遗憾，即使在学习表示存在不确定性。我们的实证研究表明，REN可以在合成和真实世界的推荐数据集上获得令人满意的长期回报，优于最先进的模型。
2022-02-16 cs.AI cs.IR cs.LG
A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits
UIUC（伊利诺伊大学厄巴纳-香槟分校）；SMU（新加坡管理大学）
研究了分段平稳组合半强盗问题。与原来的组合半强盗问题相比，我们的设置假设的奖励分布的基础武器可能会改变在一个分段固定的方式在未知的时间步长。我们提出了一种算法，\texttt{GLR-CUCB}，它采用了一种有效的组合半强盗算法，\texttt{CUCB}，几乎无参数的变点检测器，\emph{Generalized Likelihood Ratio Test}（GLRT）。我们的分析表明，\texttt{GLR-CUCB}的遗憾是上界由$\mathcal{O}(\sqrt{NKT\log{T}})$，其中$N$是分段固定段的数量，$K$是基本臂的数量，和$T$是时间步的数量。作为补充，我们还得到了一个几乎匹配的遗憾下界的顺序$Ω(\sqrt{NKT}$），分段固定的多臂土匪和组合半土匪，使用信息理论技术和明智地构建分段固定的土匪实例。我们的下限比最好的遗憾下限$Ω(\sqrt{T})$更紧。在合成数据集和真实数据集上的数值实验证明了\texttt{GLR-CUCB}算法相对于其他最先进算法的优越性。
2020-02-21 cs.LG stat.ML
DAL: A Practical Prior-Free Black-Box Framework for Piecewise Stationary Bandits
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）
提出检测增强学习（DAL）框架，无需非平稳性先验知识，将任意最优静态赌博机算法与变化检测器结合，在多种非平稳场景下超越现有方法。
2026-06-16 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Learning Contextual Bandits in a Non-stationary Environment
University of Virginia（弗吉尼亚大学）
多臂强盗算法已经成为解决推荐系统中的探索/利用困境以及许多其他重要现实问题（如显示广告）的参考解决方案。然而，这样的算法通常假设一个固定的奖励分布，这在实践中很难保持用户的偏好是动态的。这不可避免地使推荐系统的性能不佳。在本文中，我们考虑的情况下，潜在的奖励分布保持不变（可能很短）的时期和变化在未知的时刻。据此，我们提出了一个上下文的强盗算法，检测可能的变化的环境的基础上，其回报估计的信心和更新的手臂选择策略。严格的上后悔界分析所提出的算法证明了它的学习有效性，在这样一个非平凡的环境。对合成和真实世界数据集的广泛实证评估证实了其在不断变化的环境中的实用性。
2018-05-23 cs.LG stat.ML
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
Non-stationary Bandits and Meta-Learning with a Small Set of Optimal Arms
University of Southern California（南加州大学）；VinUniversity（Vin大学）；VinAI Research（VinAI研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）
我们研究了一个顺序决策问题，学习者面临一系列的$K$武装土匪任务。任务边界可能是已知的（bandit元学习设置），也可能是未知的（非平稳bandit设置）。对于给定的整数$M\le K$，学习器旨在与大小为$M$的臂的最佳子集竞争。我们设计了一个算法的基础上减少到土匪子模块最大化，并表明，$T$轮组成的$N$任务，在大量的任务和少量的最佳武器$M$的制度，它的遗憾在这两种设置是小于简单的基线$\tilde{O}(\sqrt{KNT})$，可以通过使用标准算法设计的非平稳土匪问题。对于任务长度固定的强盗元学习问题$τ$，我们证明了该算法的遗憾有界为$\tilde{O}(NM\sqrt{M τ}+N^{2/3}Mτ)$ .在每个任务中的最佳武器的可识别性的额外假设下，我们展示了一个强盗元学习算法与改进的$\tilde{O}(N\sqrt{M τ}+N^{1/2}\sqrt{M K τ})$遗憾。
2022-10-19 cs.LG stat.ML
R-UCB: a Contextual Bandit Algorithm for Risk-Aware Recommender Systems
Télécom SudParis（南巴黎电信学院）
移动上下文感知推荐系统可以自然地建模为探索/利用权衡（exr/exp）问题，其中系统必须在处理其当前知识（利用）和学习更多关于未知用户的偏好以改进其知识（探索）之间进行选择。强化学习社区已经解决了这个问题，但是他们没有考虑当前用户情况的风险水平，其中如果风险水平高，则推荐用户在其当前情况下可能不期望的项目可能是危险的。本文介绍了一种算法R-UCB，它考虑了用户的情况下的风险水平，自适应地平衡之间的exr和exp。对实验结果的详细分析揭示了exr/exp行为中的几个重要发现。
2014-08-10 cs.IR cs.LG
On Slowly-varying Non-stationary Bandits
Indian Institute of Science（印度科学院）
我们考虑最小化的动态遗憾，在非平稳的土匪缓慢变化的财产。也就是说，我们假设手臂的回报是随机的，并且随着时间的推移是独立的，但是在任何两个连续的时间步长，任何手臂的期望回报之间的绝对差至多是漂移极限$δ> 0$。针对这一过去没有得到足够重视的情形，我们给出了一个新的算法，它将著名的逐次消去算法自然地推广到了非平稳的bandit情形。我们建立了第一个依赖于实例的后悔上界缓慢变化的非平稳土匪。分析反过来依赖于一个新的表征的实例作为一个可检测的差距，这取决于预期的手臂奖励差异。我们还提供了这个问题的第一个极大极小遗憾下界，使我们能够证明我们的算法本质上是极大极小最优的。此外，这个下限，我们得到的匹配，更一般的总变差预算土匪问题，建立似乎更容易前一个问题至少是困难的更一般的后一个问题在极大极小意义上。我们补充我们的理论结果与实验插图。
2021-10-25 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Exploitation Over Exploration: Unmasking the Bias in Linear Bandit Recommender Offline Evaluation
Federal University of São Carlos（圣卡洛斯联邦大学）
研究发现，在线性老虎机推荐系统离线评估中，贪婪模型在多数数据集上表现优异，表明探索策略可能被低估，需改进评估方法。
2026-04-16 cs.IR cs.LG
Non-Stationary Delayed Bandits with Intermediate Observations
DeepMind
在线推荐系统在接收反馈时通常会面临长时间的延迟，特别是在优化一些长期指标时。虽然在静态环境中减轻学习延迟的影响是众所周知的，但当环境发生变化时，这个问题变得更具挑战性。事实上，如果变化的时间尺度与延迟相当，就不可能了解环境，因为现有的观测已经过时。然而，如果中间信号没有延迟地可用，则可以解决所出现的问题，使得给定这些信号，系统的长期行为是稳定的。为了模拟这种情况，我们引入了随机的，非平稳的，延迟土匪与中间观测的问题。我们开发了一个计算效率高的算法UCRL的基础上，并证明次线性后悔保证其性能。实验结果表明，我们的方法是能够学习在非平稳的延迟环境中，现有的方法失败。
2020-08-11 cs.LG stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Accelerated learning from recommender systems using multi-armed bandit
推荐系统是许多在线市场的重要组成部分，其中通常有数百万个项目潜在地呈现给具有各种需求或需求的用户。考虑到数据中所有固有的偏见，评估推荐系统算法是一项艰巨的任务，成功的公司必须能够快速改进他们的解决方案，以保持他们的竞争优势。评估推荐算法的黄金标准一直是A/B测试，因为它是一种无偏的方法来估计一个或多个算法在现实世界中的比较结果。然而，A/B测试存在许多问题，使其成为唯一的测试方法变得不切实际，包括较长的交付时间和较高的探索成本。我们认为多武装强盗（MAB）测试可以解决这些问题。我们展示了如何在生产系统中实施MAB解决方案，作为离线和在线A/B测试之间的额外步骤。我们展示了我们的实验结果，并比较了我们用例的所有离线、MAB和在线A/B测试指标。
2019-08-16 cs.IR cs.LG
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）；Bytedance AI Lab（字节跳动人工智能实验室）
上下文强盗算法提供了原则性的在线学习解决方案，以平衡各种应用（如推荐系统）中的开发-探索权衡。然而，传统的上下文强盗算法的学习速度往往是缓慢的，由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题，因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度，我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈（例如，新闻推荐中的文章），而且还有来自用户的关于关键术语的偶尔的会话反馈。这里，关键词可以涉及分支的子集，例如，新闻推荐中的文章类别。然后，我们设计了会话UCB算法（ConUCB），以解决会话上下文强盗中的两个挑战：（1）选择哪些关键词进行会话，（2）如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界，这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Near-Optimal Algorithm for Non-Stationary Kernelized Bandits
MI-6 Ltd.（MI-6有限公司）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
本文针对非平稳核化老虎机问题，首次给出算法无关遗憾下界，并提出带随机排列的重启分阶段消除算法（R-PERP），以低计算成本实现近最优遗憾。
2024-10-21 cs.LG stat.ML
Non-Stationary Lipschitz Bandits
University of Tübingen（图宾根大学）；École Polytechnique, CMAP（巴黎政治学院（CMAP））
针对动作无限、奖励函数可任意变化的非平稳Lipschitz老虎机问题，提出基于动作空间分层离散化的自适应检测显著偏移算法，无需非平稳先验即实现最小最大最优动态后悔界，为该场景首个最优保证。
2025-10-22 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Quantum contextual bandits and recommender systems for quantum data
Centre for Quantum Technologies, National University of Singapore, Singapore（量子技术中心，新加坡国立大学）；Department of Electrical and Computer Engineering, Faculty of Engineering, National University of Singapore, Singapore（电气与计算机工程系，工程学院，新加坡国立大学）
本文利用线性上下文赌博机框架为量子数据构建推荐系统，提出低能量子态推荐问题，通过将动作视为模型相，实现在线量子相分类。
2023-01-31 cs.IR cs.LG quant-ph
A New Algorithm for Non-stationary Contextual Bandits: Efficient, Optimal, and Parameter-free
University of Southern California（南加州大学）
我们提出了第一个上下文强盗算法，是无参数，高效，最佳的动态遗憾。具体来说，我们的算法实现了动态遗憾$\mathcal{O}(\min\{\sqrt{ST}, Δ^{\frac{1}{3}}T^{\frac{2}{3}}\})$的上下文强盗问题与$T$轮，$S$开关和$Δ$总变化的数据分布。重要的是，我们的算法是自适应的，不需要提前知道$S$或$Δ$，并可以有效地实现假设访问一个ERM oracle。我们的结果严格地改进了（Luo et al.，2018），并大大推广和改进了（Auer等人，2018）的$\mathcal{O}(\sqrt{ST})$结果，该结果仅适用于没有上下文信息的双臂强盗问题。我们的算法的关键新颖性是引入重放阶段，在该阶段中，算法根据其先前的决定在一定的时间内采取行动，以检测非平稳性，同时保持探索和开发之间的良好平衡。
2019-06-18 cs.LG stat.ML
Bandit Convex Optimization in Non-stationary Environments
Nanjing University（南京大学）
Bandit Convex Optimization（BCO）是一个基本框架，用于建模具有部分信息的顺序决策，其中玩家唯一可用的反馈是一点或两点函数值。在本文中，我们研究了非平稳环境中的BCO，并选择\emph{dynamic regret}作为性能指标，它被定义为算法所产生的累积损失与任何可行的比较器序列之间的差异。令$T$是时间范围，并且$P_T$是反映环境的非平稳性的比较器序列的路径长度。提出了一种新的算法，分别实现了单点和两点反馈模型下的$O(T^{3/4}(1+P_T)^{1/2})$和$O(T^{1/2}(1+P_T)^{1/2})$动态后悔。后一个结果是最优的，与本文建立的$Ω(T^{1/2}(1+P_T)^{1/2})$下限相匹配。值得注意的是，我们的算法是更适应于非平稳环境，因为它不需要事先知道的路径长度$P_T$提前，这是通常未知的。
2020-03-01 cs.LG stat.ML
Kiefer Wolfowitz Algorithm is Asymptotically Optimal for a Class of Non-Stationary Bandit Problems
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
我们考虑为一类强盗问题设计分配规则或“在线学习算法”的问题，其中每次可用的控制动作集$s$是$\mathbb{R}^d$的凸紧子集。当在时间$s$选择动作$x$时，算法获得在$x$处评估的未知且时变函数$f_s$的噪声值。算法的“遗憾”是其预期奖励与策略获得的奖励之间的差距，该策略在每次$s$时都知道函数$f_s$，因此选择使$f_s$最大化的动作$x_s$。对于这个非平稳的强盗问题的设置，我们考虑两个变种的Kiefer Wolfowitz（KW）算法i）KW与固定步长$β$，和ii）KW与滑动窗口的长度$L$。我们表明，如果在时间$T$的函数$f_s$变化的次数是$o(T)$，如果所提出的算法的学习率选择“最佳”，那么所提出的算法的遗憾是$o(T)$，因此算法是渐近有效的。
2017-03-08 cs.LG stat.ML
Non-stationary Bandits with Knapsacks
Imperial College London（伦敦帝国理工学院）；NYU Stern School of Business（纽约大学斯特恩商学院）
本文研究了非平稳环境中的背包强盗问题。BwK问题将多臂强盗（MAB）问题推广到与使用每个手臂相关的资源消耗模型。每次，决策者/玩家选择使用一个手臂，他/她将获得奖励并从多种资源类型中的每一种中消耗一定量的资源。其目标是在有限时间内最大限度地提高累积奖励的资源上的一些背包约束。现有的作品研究BwK问题下，无论是随机或对抗性的环境。我们的论文认为，这两个极端之间不断插值的非平稳环境。我们首先表明，传统的概念的变化预算是不足以表征的非平稳性的BwK问题的次线性遗憾，由于存在的约束，然后我们提出了一个新的概念的全球非平稳性措施。我们采用非平稳措施，以获得上界和下界的问题。我们的研究结果是基于基本的线性规划的原始-对偶分析，并突出了约束和非平稳性之间的相互作用。最后，我们还将非平稳性测度推广到带约束的在线凸优化问题，并得到了相应的遗憾界。
2022-10-12 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits
Nanjing University（南京大学）
本文重新分析非平稳参数化赌博机的加权策略，提出精细化遗憾框架，得到与窗口/重启方法同样高效的简单算法，并改进 GLB 与 SCB 的遗憾界。
2023-06-07 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
A Survey on Practical Applications of Multi-Armed and Contextual Bandits
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
近年来，多臂强盗（MAB）框架在各种应用中吸引了大量的关注，从推荐系统和信息检索到医疗保健和金融，由于其出色的性能与某些有吸引力的属性相结合，例如从较少的反馈中学习。多臂强盗领域目前正在蓬勃发展，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典强盗问题之上。本文旨在提供一个全面的审查顶端最近的发展，在多臂土匪的多个现实生活中的应用。具体来说，我们介绍了一种常见的基于MAB的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这个令人兴奋和快速增长的领域的未来有关的新观点。
2019-04-02 cs.LG stat.ML
Weighted Linear Bandits for Non-Stationary Environments
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；Deepmind（深度思维）
我们考虑一个随机线性强盗模型，其中可用的行动对应于任意的上下文向量，其相关的奖励遵循非平稳线性回归模型。在此设置中，允许未知回归参数随时间变化。为了解决这个问题，我们提出了D-LinUCB，这是一种基于折扣线性回归的新型乐观算法，其中使用指数权重来平滑地忘记过去。这涉及研究一般假设下的序贯加权最小二乘估计的偏差。作为一个副产品，我们获得了新的偏差结果，可以使用超越非平稳环境。我们提供的D-LinUCB在缓慢变化和快速变化的环境中的行为的理论保证。我们得到了动态后悔的一个上界，它的阶为d^{2/3} B\_T^{1/3}T^{2/3}，其中B\_T是非平稳性的度量（d和T分别是维数和视界）。这个速率已知是最佳的。我们还说明了D-LinUCB的经验性能，并将其与最近提出的替代品在模拟环境中进行比较。
2020-03-20 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs
本文提出了一种简化分析框架，改进了非平稳参数老虎机和MDP的加权策略，提升了算法效率和遗憾界。
2026-01-03 cs.LG stat.ML
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对多臂老虎机问题中奖励分布信息难获取的痛点，提出贪心与强制探索交替的新型算法，无需分布信息即可适配多种分布，给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
