Bandit Learning to Rank with Position-Based Click Models: Personalized and Equal Treatments
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊）
针对基于位置点击模型的多臂老虎机在线排序学习研究不足的问题，提出通用MAB框架及GreedyRank、UCBRank两种策略，证明其次线性遗憾界并通过实验验证效率，覆盖个性化与均等化处理场景。
2023-11-08 cs.IR cs.LG
On the Robustness of Epoch-Greedy in Multi-Agent Contextual Bandit Mechanisms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文研究激励、上下文与对抗性点击破坏并存的多臂 bandit 机制，证明扩展后的 $ε$-greedy 可同时应对策略性臂和数据破坏，且性能随破坏量线性退化。
2023-07-15 cs.IR cs.LG stat.ML
Cascading Hybrid Bandits: Online Learning to Rank for Relevance and Diversity
University of Amsterdam（阿姆斯特丹大学）；Bloomberg（彭博）；Ahold Delhaize（阿霍德·德尔海兹）
相关性排序和结果多样化是现代推荐系统的两个核心领域。相关性排名旨在建立一个按项目相关性降序排序的排名列表，而结果多样化则侧重于生成一个涵盖广泛主题的项目排名列表。在本文中，我们研究了一个在线学习设置，旨在推荐一个排名列表，其中包含最大化排名效用的$K$项目，即，一个列表，其中的项目是相关的，其主题是多样化的。我们将其表述为级联混合土匪（CHB）问题。CHB假设级联用户行为，其中用户从上到下浏览显示的列表，单击第一个有吸引力的项目，并停止浏览其余的。我们提出了一个混合上下文强盗的方法，称为CascadeHybrid，解决这个问题。CascadeHybrid使用两个独立的函数对项目相关性和主题多样性进行建模，并同时从用户点击反馈中学习这些函数。我们在两个真实世界的推荐数据集上进行实验来评估CascadeHybrid：MovieLens和Yahoo音乐数据集。我们的实验结果表明，CascadeHybrid优于基线。此外，我们证明了理论上的保证$n$步骤的性能，证明了CascadeHybrid的健全。
2020-08-12 cs.IR cs.LG stat.ML
Personalized Advertisement Recommendation: A Ranking Approach to Address the Ubiquitous Click Sparsity Problem
University of Michigan（密歇根大学）；Adobe Big Data Experience Lab（奥多比大数据体验实验室）
研究了个性化广告推荐问题，即用户访问一个系统（网站），系统向用户显示一个$K$广告。系统使用内部广告推荐策略将用户的配置文件（上下文）映射到其中一个广告。用户点击或忽略广告，相应地，系统更新其推荐策略。PAR问题通常由可扩展的\emph{contextual bandit}算法来解决，其中策略通常基于分类器。PAR中的一个实际问题是极端的点击稀疏性，这是由于很少有用户真正点击广告。系统地研究了基于分类器策略的上下文强盗算法在极端点击稀疏情况下的缺陷。然后，我们提出了一个替代政策，排名的基础上，通过优化曲线下面积（AUC）排名损失，这可以显着缓解点击稀疏的问题。我们在公共数据集以及三个行业专有数据集上进行了广泛的实验，以说明通过使用基于排名的策略比基于分类器的策略获得的点击率（CTR）的改进。
2016-03-06 cs.IR cs.LG
Designing Truthful Contextual Multi-Armed Bandits based Sponsored Search Auctions
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；IIT Ropar（印度理工学院罗帕尔分校）
对于赞助搜索拍卖，我们考虑了策略代理存在的上下文多臂强盗问题。在这种设置中，在每一轮，广告平台（中心）运行拍卖以选择与用户发布的查询相关的最适合的广告。选择具有高期望值的广告（即，从广告的点击得到点击$\times$值的概率）。获得点击的概率（CTR）对于中心来说是未知的，并且取决于发布查询的用户的简档（上下文）。此外，对于点击导出的值是广告商的私人信息，因此需要如实地引出。在这种设置中的现有解决方案是不实用的，因为它遭受非常高的遗憾（$O(T^{\frac{2}{3}})$）。
2020-02-26 cs.GT cs.LG
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc（Oath公司）
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者，用户参与和社会份额。在雅虎首页，标题测试是使用测试推出策略进行的：我们首先在定义的测试期内将相等比例的流量分配给每个标题变体，然后将所有未来流量转移到性能最好的变体。在本文中，我们介绍了一个多臂强盗（MAB）的方法与批量汤普森采样（bTS）动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明，bTS方法具有较好的鲁棒性，能够准确快速地收敛到最优标题，在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Designing for the Next Click: Bandits for Real-Time Page Layout
Target Corporation（塔吉特公司）
该研究提出一种基于LinUCB的上下文多臂老虎机系统，可实时优化电商商品页面布局，在零售平台A/B测试中较启发式基线实现会话级性能正向提升，为Web学习型设计提供可扩展路径。
2026-09-01 cs.LG
Comparison Lift: Bandit-based Experimentation System for Online Advertising
Stanford University（斯坦福大学）
Comparison Lift是一个实验即服务（EaaS）应用程序，用于测试JD.com的在线广告受众和创意。与许多其他主要关注固定样本A/B测试的EaaS工具不同，Comparison Lift部署了一个基于Bandit的自定义实验算法。基于土匪的办法有两方面的好处。首先，它使测试中引入的随机化与广告商的测试目标保持一致。其次，通过使实验设计适应测试期间获得的信息，它大大降低了广告商的实验成本。自2019年5月推出以来，Comparison Lift已被用于1,500多项实验。我们估计，该产品的使用帮助参与广告活动的点击率平均提高了46%。我们估计，与固定样本A/B设计相比，产品中的自适应设计在测试期间平均多产生了27%的点击。两者都表明广告商从产品中获得了显着的价值和成本节约。
2020-09-16 cs.LG stat.ML
Characterizing Truthful Multi-Armed Bandit Mechanisms
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Cornell University（康奈尔大学）；Facebook（脸书）
我们考虑一个多轮拍卖设置为互联网广告的点击付费拍卖的动机。在每一轮拍卖中，拍卖人选择一个广告客户并展示她的广告，然后点击或不点击。广告商从点击中获得价值;点击的价值是她的私人信息。最初，拍卖商和广告商都没有关于点击广告的可能性的任何信息。拍卖人的目标是设计一个（优势策略）真实机制，（近似）最大化社会福利。如果广告商出价的是他们真正的私人价值，我们的问题就相当于“多臂强盗问题”，因此可以看作是后者的一个策略版本。特别地，对于这两个问题，算法的质量可以通过“遗憾”来表征，即算法与总是选择相同的“最佳”广告的基准之间的社会福利的差异。我们研究了多臂强盗算法的设计是如何受到限制，所产生的机制必须是真实的。我们发现，真实的机制有一定的强结构属性-本质上，他们必须分离的探索和剥削-他们招致更高的遗憾比最佳的多臂强盗算法。此外，我们提供了一个真实的机制，（基本上）与我们的遗憾下限相匹配。
2013-06-03 cs.DS cs.GT cs.LG
Minimax Regret for Cascading Bandits
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
级联强盗是一个自然和流行的模型，框架的任务，学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况，我们证明了问题独立的匹配上界和下界（即，无间隙）遗憾，这两个严格改善最好的已知。一个关键的观察是，这个问题的困难实例是那些具有小平均奖励的实例，即，在实践中最相关的小点击率。基于此，以及小均值意味着Bernoullis的小方差的事实，我们的关键技术结果表明，方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法（最多对数项），而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准（非级联）bandit设置形成鲜明对比，其中方差感知算法仅改进常数。鉴于此，作为一个额外的贡献，我们提出了一个方差感知算法的结构化情况下的线性奖励，并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
A Contextual-Bandit Approach to Personalized News Article Recommendation
Yahoo! Labs（雅虎实验室）；Princeton University（普林斯顿大学）
个性化Web服务通过利用内容和用户信息来努力使其服务（广告、新闻文章等）适应个体用户。尽管最近取得了一些进展，但这个问题仍然具有挑战性，至少有两个原因。首先，Web服务的特点是动态变化的内容池，使传统的协同过滤方法不适用。其次，大多数具有实际意义的Web服务的规模要求解决方案在学习和计算方面都要快速。在这项工作中，我们建模的个性化推荐的新闻文章作为一个上下文强盗问题，一个原则性的方法，其中一个学习算法依次选择文章，以服务于用户的上下文信息的基础上，用户和文章，同时适应其文章选择策略的基础上，用户点击反馈，以最大限度地提高总用户点击。这项工作的贡献是三方面的。首先，我们提出了一个新的，一般的上下文强盗算法，是计算效率和学习理论的动机。其次，我们认为，任何强盗算法可以可靠地评估离线使用以前记录的随机流量。最后，使用这种离线评估方法，我们成功地将我们的新算法应用到一个雅虎！Front Page Today模块数据集包含超过3300万个事件。结果显示，与标准的上下文无关的强盗算法相比，点击提升了12.5%，当数据变得更加稀缺时，优势变得更大。
2012-03-01 cs.AI cs.IR cs.LG
Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
在线推荐服务向用户推荐多种商品。如今，相当比例的用户通过移动设备访问电子商务平台。由于移动设备的屏幕尺寸有限，商品的位置对点击有很大的影响：1）位置越高，一个商品的点击就越多。2)“伪曝光”问题：第一眼只显示了几个推荐项目，用户需要滑动屏幕才能浏览其他项目。因此，一些排名靠后的推荐项目不会被用户查看，将这类项目视为负样本是不恰当的。虽然许多工作模型的在线推荐作为上下文强盗问题，他们很少考虑到的影响的立场，因此，估计的奖励函数可能会有偏差。在本文中，我们旨在解决这两个问题，以提高性能的在线移动推荐。我们的贡献是四方面的。首先，由于我们关注的是一组推荐项目的奖励，我们将在线推荐建模为上下文组合强盗问题，并定义了推荐集的奖励。其次，我们提出了一种新的上下文组合强盗方法称为UBM-LinUCB解决两个问题，通过采用用户浏览模型（UBM），点击网络搜索模型的位置。第三，我们提供了一个正式的遗憾分析，并证明我们的算法实现次线性遗憾的项目数无关。最后，我们评估我们的算法在两个真实世界的数据集由一个新的无偏估计。淘宝网是世界上最受欢迎的电子商务平台之一。两个CTR指标上的实验结果表明，该算法优于其他上下文强盗算法。
2020-08-21 cs.IR cs.LG
Dynamic Ad Allocation: Bandits with Budgets
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research New York（微软研究院纽约分院）
我们考虑应用多武装土匪互联网广告（特别是，动态广告分配按点击付费模型，点击概率的不确定性）。我们关注的是一个重要的实际问题，即广告商在他们可以花多少钱在他们的广告活动上受到限制。据我们所知，在关于用于广告分配的基于强盗的方法的先前工作中没有考虑这个问题。我们定义了一个简单的、程式化的模型，在这个模型中，算法在每一轮中选择一个广告来显示，每个广告都有一个\emph{budget}：可以花在这个广告上的最大金额。该模型承认UCB 1的自然变体，UCB 1是一种用于随机奖励的多武装匪徒的着名算法。我们得到强有力的可证明的保证，这个算法。
2013-06-01 cs.DS cs.LG
Cascading Bandits Robust to Adversarial Corruptions
Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
针对级联老虎机受对抗性篡改（如点击欺诈）时性能下降的问题，提出CBAC问题并设计两种分别假设篡改水平已知和未知的鲁棒算法，理论证明其未受攻击时对数级遗憾、受攻击时遗憾随篡改水平线性增加，实验验证了鲁棒性。
2025-02-12 cs.LG
Optimizing Online Advertising with Multi-Armed Bandits: Mitigating the Cold Start Problem under Auction Dynamics
Avito；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对在线广告冷启动问题，提出一种适用于按点击付费拍卖系统的类UCB多臂老虎机算法，在给出预算遗憾理论上界的同时，通过受控探索与利用兼顾平台长期盈利和短期利润。
2025-02-03 cs.LG
Online Learning to Rank under Corruption: A Robust Cascading Bandits Approach
Brown University（布朗大学）；University of Washington - Tacoma（华盛顿大学-塔科马）
本文提出鲁棒级联老虎机算法 MSUCB，通过中位数均值估计器首次在带腐败的在线学习排序中兼顾最优对数遗憾与强鲁棒性，并在真实数据集上显著优于现有方法。
2025-11-04 cs.LG
Online Learning to Rank in Stochastic Click Models
Adobe Research（Adobe研究院）；Czech Technical University（捷克技术大学）；DeepMind；University of Alberta（阿尔伯塔大学）
在线学习排序是信息检索和机器学习的核心问题。最近针对特定点击模型中的这个问题提出了许多经证明有效的算法。点击模型是用户如何与文档列表交互的模型。虽然这些结果是显着的，它们对实践的影响是有限的，因为所有提出的算法是专为特定的点击模型，并在其他模型中缺乏收敛保证。在这项工作中，我们提出了BatchRank，第一个在线学习排名算法的点击模型的广泛类。该类包含两个最基本的点击模型，级联和基于位置的模型。我们推导出一个间隙相关的上限上的$T$步骤遗憾的BatchRank和评估它的一系列网络搜索查询。我们观察到，BatchRank优于排名土匪，比级联模型的现有算法CascadeKL-UCB更强大。
2017-06-20 cs.LG stat.ML
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
在本文中，我们研究的问题，安全的在线学习重新排名，用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中，排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用（如搜索）的标准。然而，这种方法缺乏探索，因此受到离线训练数据的信息内容的限制。在在线设置中，算法可以对列表进行实验，并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置，但它们倾向于从头开始学习用户偏好，这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank，一个强盗算法的安全重新排名，结合了离线和在线设置的优势。该算法从一个初始的基本列表开始，并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限，优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
Multi-Dueling Bandits and Their Application to Online Ranker Evaluation
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
新的排名算法正在不断开发和完善，需要开发有效的方法来评估这些排名。在线排名评估的重点是有效地确定的挑战，从隐式用户反馈，排名的有限集合的排名是最好的。在线排名评估可以通过决斗禁令来建模，决斗禁令是一种用于在成对比较的有限反馈下的在线学习的数学模型。排名对的比较是通过交错结果集和检查用户点击的文档来执行的。决斗强盗模型解决了在每次迭代中比较哪对排名的关键问题，从而为探索-利用权衡提供了解决方案。最近，已经开发了用于同时比较两个以上的排序器的方法。然而，在每次迭代中比较哪些排名的问题是开放的。我们解决这个问题，提出了一个推广的决斗土匪模型，使用同时比较的一个不受限制的排名。我们评估我们的算法上的合成数据和几个标准的大规模在线排名评估数据集。我们的实验结果表明，该算法产生的数量级的改善性能相比，国家的最先进的决斗强盗算法。
2016-08-22 cs.IR cs.LG stat.ML
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon（亚马逊）
个性化是许多在线体验的关键方面。特别是，内容排名通常是提供复杂个性化结果的关键组件。通常，应用监督学习排名方法，其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题，我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法，即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差，我们采用了基于位置的点击模型。最后，我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
Beyond the Click-Through Rate: Web Link Selection with Multi-level Feedback
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
网络链接选择问题是从一个大的网络链接池中选择一个小的网络链接子集，并将所选择的链接放置在只能容纳有限数量的链接的网页上，例如，广告、推荐或新闻馈送。尽管长期关注的点击率反映了链接本身的吸引力，但收入只能从点击后的用户行为中获得，例如，在通过推荐链接被引导到产品页面之后购买。因此，网络链接具有固有的\emph{multi-level feedback structure}。有了这个观察，我们考虑上下文无关的网络链接选择问题，其目标是最大化收入，同时确保吸引力不低于一个预设的阈值。该问题的关键挑战在于，每个环节的多级反馈是随机的，并且除非该环节被选择，否则是不可观察的。我们建模这个问题的约束随机多臂强盗制定，并设计了一个有效的链接选择算法，称为约束上界置信算法（\textbf{Con-UCB}），并证明$O(\sqrt{T\ln T})$界的遗憾和违反的吸引力约束。我们进行了广泛的实验在三个真实世界的数据集，并表明，\textbf{Con-UCB}优于国家的最先进的上下文无关的强盗算法的多级反馈结构。
2018-05-04 cs.AI cs.LG stat.ML
Bandits with adversarial scaling
Microsoft Research NYC（微软研究院纽约分院）；Cornell University（康奈尔大学）；Google Research NYC（谷歌研究院纽约分院）
我们研究“对抗缩放”，一个多臂的强盗模型，其中奖励有一个随机和一个对抗组件。我们的模型捕捉显示广告的“点击率”可以分解为一个（固定跨时间）手臂质量组件和一个非随机的用户相关性组件（固定跨武器）。尽管我们的模型的相对随机性，我们证明了两个设置，大多数土匪算法遭受。在积极的一面，我们表明，两个算法，一个从动作消除和一个从镜像下降家庭是适应性足够强大的对抗缩放。我们的研究结果揭示了自适应参数选择的鲁棒性随机土匪，这可能是独立的利益。
2020-08-29 cs.GT cs.LG stat.ML
Uplifting Bandits
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Amazon（亚马逊）
我们引入了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只改变其中一些随机变量的分布。在每个动作之后，代理观察所有变量的实现。该模型的动机是营销活动和推荐系统，其中变量代表个人客户的结果，如点击。我们提出了UCB式的算法，估计的隆起的行动超过一个基线。我们研究了问题的多个变体，包括当基线和受影响的变量是未知的，并证明了所有这些次线性遗憾界。我们还提供了证明我们的建模假设的必要性的下限。在合成数据集和真实数据集上的实验表明，与不使用这种结构的政策相比，估计提升的方法具有优势。
2022-06-08 cs.LG stat.ML
Reducing Exploration of Dying Arms in Mortal Bandits
MIT（麻省理工学院）；Duke University（杜克大学）
Mortal bandits已被证明在提供新闻文章推荐、运行自动化在线广告活动以及其他可用选项集随时间变化的应用程序中非常有用。以前关于这个问题的研究表明，当新的手臂最近出现时，如何调节它们的探索，但当手臂即将消失时，它们不会适应。由于在大多数应用中，我们可以准确或近似地确定手臂何时消失，我们可以利用这些信息来提高性能：我们不应该探索即将消失的手臂。我们为这项研究提供了算法，遗憾界限和实验的适应性，显示了对即将消失的武器的贪婪（探索/剥削）的明显好处。我们说明了雅虎的数值性能！首页今日模块用户点击日志数据集。
2019-07-04 cs.LG stat.ML
FAN: Fatigue-Aware Network for Click-Through Rate Prediction in E-commerce Recommendation
Alibaba Group（阿里巴巴集团）
本文提出 FAN 模型，通过 Fourier Transformation 处理未点击时间序列获取疲劳频谱，并结合类别调制、gating network 和辅助任务学习疲劳表示，显著提升了电商推荐中的 CTR 预测效果。
2023-04-10 cs.HC cs.IR cs.LG
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Prompt Optimization with Logged Bandit Data
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
本文研究利用用户反馈优化LLM提示生成个性化句子，提出基于核的离线策略梯度方法，利用生成句子相似性降低方差并抑制偏差，在电影推荐基准上验证了其有效性。
2025-04-03 cs.AI cs.IR cs.LG
Online Learning in Contextual Second-Price Pay-Per-Click Auctions
University of Southern California（南加州大学）
该研究针对上下文第二价格按点击付费拍卖的在线学习问题，证明了√T遗憾的可达性与下界，提出两种高效上下文拍卖算法，并通过合成实验验证了其有效性与性能优势。
2023-10-08 cs.LG
Stochastic Bandits with Vector Losses: Minimizing $\ell^\infty$-Norm of Relative Losses
Inria Lille（法国国家信息与自动化研究所里尔分部）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；MIT（麻省理工学院）
多臂强盗被广泛应用于推荐系统等场景，其目标是最大化点击率。但是，应该考虑更多的因素，例如，用户粘性、用户增长率、用户体验评估等。在本文中，我们将这种情况建模为具有多个损失的$K$ -武装强盗问题。我们定义臂的相对损失向量，其中第$i$条目将臂和最佳臂相对于第$i$损失进行比较。我们研究两个目标：（a）在给定的置信水平下，找到相对损失的最小$\ell^\infty$范数的手臂（指固定置信度的最佳手臂识别）;（b）最小化累积相对损失的$\ell^\infty$范数（指后悔最小化）。对于目标（a），我们推导出一个依赖于问题的样本复杂度下界，并讨论了如何实现匹配算法。对于目标（b），我们提供了$Ω(T^{2/3})$的遗憾下界，并提供了一个匹配算法。
2020-10-15 cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Ranking Bandits for Carousel Interfaces with Observable Browsing Depth
Hokkaido University（北海道大学）
针对轮播界面，提出可观测浏览深度的排序老虎机模型，利用浏览深度区分未点击与未展示物品，提出三种算法并证明渐近最优性，实验显示其遗憾低于PBM-UCB。
2026-10-21 cs.LG
Simultaneously Learning Stochastic and Adversarial Bandits under the Position-Based Model
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
在线学习排名（OLTR）交互式地学习基于描述用户点击行为的特定点击模型从大集合中选择项目列表。最近的工作，这个问题集中在随机环境中的项目吸引力被假定为在学习过程中是不变的。然而，在许多现实世界的场景中，环境可能是动态的，甚至是任意变化的。本文研究了基于位置模型（PBM）下随机环境和对抗环境下的OLTR问题。我们提出了一种基于Tsallis熵的FTRL框架的方法，并开发了一种新的自约束，特别是为PBM设计的。我们证明了该算法同时实现了随机环境下的$O(\log{T})$后悔和对抗环境下的$O(m\sqrt{nT})$后悔，其中$T$是轮数，$n$是项目数，$m$是位置数.我们还提供了对抗PBM的$Ω(m\sqrt{nT})$阶的下界，该下界与我们的上界相匹配，并在最先进的下界上有所改进。实验表明，我们的算法可以同时在随机和对抗性环境中学习，与现有的针对单一环境设计的方法相比具有竞争力。
2022-07-12 cs.LG
Sequential ranking under random semi-bandit feedback
在许多web应用中，推荐不是向用户建议的单个项目，而是在某些上下文中可以排名的可能感兴趣的内容的列表。组合强盗问题在过去的两年中得到了广泛的研究，并且有许多理论结果：后悔算法的下界或渐近最优算法。然而，由于可以考虑的各种情况，结果被设计为解决特定奖励结构（如级联模型）的问题。目前的工作重点是当用户被允许点击几个项目，同时从上到下扫描列表的排名项目的问题。
2016-05-26 cs.DS cs.LG
Collaborative Filtering Bandits
University of Insubria（因苏布里亚大学）；Telefónica Research（西班牙电信研究中心）
经典的协同过滤和基于内容的过滤方法试图在给定训练数据的情况下学习静态推荐模型。这些方法在高度动态的推荐领域（如新闻推荐和计算广告）中远非理想，这些领域的项目和用户集非常不稳定。在这项工作中，我们研究了一种自适应聚类技术的内容推荐的基础上探索开发策略的上下文多臂强盗设置。我们的算法考虑到由于用户与项目的交互而产生的协作效应，通过基于正在考虑的项目动态地对用户进行分组，并且同时基于在用户上引起的聚类的相似性对项目进行分组。由此产生的算法，从而利用数据中的偏好模式的方式类似于协同过滤方法。我们对中等规模的真实世界数据集进行了实证分析，显示了可扩展性和提高的预测性能（以点击率为衡量标准），超过了最先进的集群方法。我们还提供了一个标准的线性随机噪声设置内的遗憾分析。
2016-05-31 cs.AI cs.LG stat.ML
Algorithms for Non-Stationary Generalized Linear Bandits
DI ENS, CNRS, Inria, ENS, Université PSL（巴黎高等师范学院数据信息学系、法国国家科学研究中心、法国国家信息与自动化研究所、巴黎高等师范学院、巴黎文理研究大学）；UMPA, CNRS, Inria, ENS Lyon（里昂高等师范学院数学物理与分析实验室、法国国家科学研究中心、法国国家信息与自动化研究所、里昂高等师范学院）
广义线性模型（GLM）的统计框架可以应用于涉及分类或有序奖励的序列问题，例如，与点击，喜欢或评级相关。在二元奖励的例子中，众所周知，逻辑回归比使用标准线性模型更可取。以前的工作已经表明，如何处理GLM上下文在线学习与强盗反馈时，假设环境是静止的。在本文中，我们放松后一种假设，并提出了两个置信上限为基础的算法，利用滑动窗口或折扣的最大似然估计。我们提供了理论上的保证，这些算法的行为一般的上下文序列，并在存在突变。这些结果的形式是动态后悔的高概率上界，其阶为d^2/3 G^1/3 T^2/3，其中d，T和G分别是未知参数的维数，轮数和断点数。在模拟环境中的算法的经验表现。
2020-03-23 cs.LG stat.ML
Multiple-Play Bandits in the Position-Based Model
Université Paris Sud（巴黎南大学）；Université Paris Saclay（巴黎萨克雷大学）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
按顺序学习将物品放置在多位置显示器或列表中是一项可以投入多人游戏半强盗设置的任务。然而，在这种情况下，一个主要的问题是当系统不能决定是否用户的反馈，每个项目实际上是可利用的。事实上，许多内容可能已经被用户简单地忽略了。目前的工作提出了利用现有的信息显示位置偏置下所谓的基于位置的点击模型（PBM）。我们首先讨论了这个模型是如何不同的级联模型和它的变种认为在最近的几个作品多播放土匪。然后，我们提供了一个新的遗憾下限，这个模型以及计算效率高的算法，显示良好的经验和理论性能。
2016-06-08 cs.LG math.ST stat.TH
A Practical Algorithm for Feature-Rich, Non-Stationary Bandit Problems
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Manulife Financial（美利坚人寿保险集团）
本文提出了一种结合密集臂特征、非线性奖励函数和时间变化奖励分布的老虎机算法，通过条件耦合的上下文C3 Thompson采样在四个数据集上实现了更低的累积遗憾和更高的点击提升。
2026-03-17 cs.LG
Optimizing Ranking Systems Online as Bandits
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（皇家阿霍德德尔海兹集团）；Microsoft（微软）
排序系统是现代检索和推荐系统的核心部分，其目标是根据用户上下文对候选项进行排序。在线优化排名系统意味着部署的系统可以服务于用户请求，例如，查询，并通过从用户交互中学习来优化排名策略，例如，次点击Bandit是一个通用的在线学习框架，可以用于我们的优化任务。然而，由于排名的独特性，在设计用于排名系统优化的强盗算法方面存在一些挑战。在这篇论文中，我们研究并提出了四个挑战的解决方案，在优化排名系统在线：有效性，安全性，非平稳性和多样化。首先，有效性与算法从交互中学习的速度有关。本文研究了有效的在线排名评估任务，提出了一种有效的在线排名评估算法。其次，部署的算法应该是安全的，这意味着算法只显示用户请求的合理内容。为了解决安全的在线学习排名问题，我们提出了BubbleRank算法。第三，当用户不断改变他们的偏好时，算法应该处理非平稳性。我们制定这个非平稳在线学习排名问题级联非平稳土匪，并提出CascadeDUCB和CascadeSWUCB算法来解决这个问题。最后，排行榜的内容应该是多样的。我们认为结果多样化的任务，并提出了CascadeHybird算法，同时考虑项目的相关性和结果多样化时，从用户交互学习。
2021-10-12 cs.IR cs.LG
Learning by Repetition: Stochastic Multi-armed Bandits under Priming Effect
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们研究了在随机多臂强盗环境中持续参与对学习的影响。在广告和推荐系统中，重复效应包括一个磨合期，用户通过点击或购买来奖励平台的倾向取决于他们最近看到推荐的频率。它还包括一个抵消磨损期，如果推荐最近被显示太多次，用户积极响应的倾向就会受到抑制。启动效应可以自然地建模为策略空间上的时间约束，因为当前动作的奖励取决于平台采取的历史动作。我们提供了新的算法，实现次线性遗憾的时间和相关的磨损/磨损参数。启动对后悔上界的影响也是加性的，我们得到了一个保证，匹配流行的算法，如UCB 1和汤普森采样时，没有启动效应。我们的工作补充了最近的工作建模随时间变化的奖励，延迟和腐败的土匪，并扩展了使用丰富的行为模型在顺序决策设置。
2020-06-18 cs.AI cs.LG stat.ML
HELLINGER-UCB: A novel algorithm for stochastic multi-armed bandit problem and cold start problem in recommender system
JPMorgan Chase（摩根大通）；Meta；Stony Brook University（石溪大学）
提出基于平方 Hellinger 距离的 Hellinger-UCB 算法，证明其达到理论下界，并通过数值与金融推荐在线实验验证其低延迟及更高 CTR。
2024-04-16 cs.LG stat.ML
Contextual Bandit Applications in Customer Support Bot
Microsoft Azure AI（微软 Azure AI）
虚拟支持代理作为企业提供更好、更方便的客户服务的一种方式越来越受欢迎。这个领域的一些挑战包括模糊的用户查询以及不断变化的支持主题和用户行为（非平稳性）。但是，我们可以访问用户提供的部分反馈（点击、调查和其他事件），这些反馈可用于改善用户体验。适应性学习技术，如上下文强盗，是一个自然适合这个问题的设置。在本文中，我们讨论了现实世界的实现上下文强盗（CB）的微软虚拟代理。它包括基于神经线性土匪（NLB）的意图消歧和基于多武装土匪（MAB）集合的上下文建议。我们的解决方案已经部署到生产环境中，并改进了Microsoft虚拟代理的关键业务指标，A/B实验证实了这一点。结果包括问题解决率的相对增加超过12%，以及升级到人类操作员的相对减少超过4%。虽然我们目前的用例集中在支持机器人的意图消歧和上下文推荐上，但我们相信我们的方法可以扩展到其他领域。
2021-12-06 cs.LG
Counterfactual Estimation and Optimization of Click Metrics for Search Engines
Microsoft Inc.（微软公司）；Facebook Inc.（脸书公司）
针对预定义的在线度量来优化交互式系统是特别具有挑战性的，当度量是根据用户反馈（例如点击和支付）来计算时。关键的挑战是反事实的性质：在网络搜索的情况下，对搜索引擎的组件的任何更改都可能导致同一查询的不同搜索结果页面，但我们通常无法从搜索日志中可靠地推断用户对新结果页面的反应。因此，似乎不可能准确地估计依赖于用户反馈的在线指标，除非运行新引擎来为用户服务，并与A/B测试中的基线进行比较。这种方法虽然有效和成功，但不幸的是昂贵和耗时。在本文中，我们建议使用因果推理技术来解决这个问题，在上下文的强盗框架。这种方法有效地允许人们从搜索日志中离线运行（可能无限）许多A/B测试，从而可以快速且廉价地估计和优化在线指标。专注于商业搜索引擎中的一个重要组成部分，我们展示了如何这些想法可以被实例化和应用，并获得非常有前途的结果，建议这些技术的广泛适用性。
2014-03-12 cs.AI cs.LG stat.AP
Contextual Bandits with Side-Observations
Indian Institute of Science（印度科学研究所）；Ohio State University（俄亥俄州立大学）；University of California Davis（加利福尼亚大学戴维斯分校）
我们调查的背景土匪存在的侧观察跨武器，以设计推荐算法，通过社交网络连接的用户。社交网络中的用户对他们朋友的活动做出响应，从而提供关于彼此偏好的信息。在我们的模型中，当学习算法向用户推荐一篇文章时，它不仅观察他/她的反应（例如广告点击），而且还观察侧面观察，即，如果他的邻居看到同样的文章，他们的反应是什么。我们通过图$\mathcal{G}$来建模这些观察依赖关系，其中节点对应于用户，边缘对应于社交链接。我们推导出一个问题/实例相关的下限上的遗憾的任何一致的算法。我们提出了一个优化（线性规划）为基础的数据驱动的学习算法，利用结构的$\mathcal{G}$，以便向用户提出建议，并表明它是渐近最优的，在这个意义上说，它的遗憾匹配的下限为回合数$T\to\infty$。我们证明了这种渐近最优后悔是上界的$O\left(|χ(\mathcal{G})|\log T\right)$，其中$|χ(\mathcal{G})|$是$\mathcal{G}$的控制数。相比之下，现有学习算法的简单应用会导致$O\left(N\log T\right)$遗憾，其中$N$是用户数量。
2020-10-23 cs.LG stat.ML
Deep Bayesian Bandits: Exploring in Online Personalized Recommendations
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Twitter（推特公司）
以连续学习方式训练的推荐系统受到反馈回路问题的困扰，也称为算法偏见。这会导致新训练的模型表现得更好，并倾向于用户已经参与的项目。这种行为在个性化广告推荐中尤其有害，因为它还可能导致新的广告系列尚未开发。探索旨在通过提供有关环境的新信息来解决这一限制，这些信息包括用户偏好，并可以带来更高的长期回报。在这项工作中，我们制定了一个显示广告推荐作为一个上下文的强盗和实现的探索技术，需要从后验分布的点击率在计算上易于处理的方式进行采样。传统的大规模深度学习模型默认不提供不确定性估计。我们近似这些不确定性测量的预测采用自举模型与多个头和辍学单位。我们在离线模拟环境中使用公开的用户广告参与数据集对一些不同的模型进行基准测试。我们在离线模拟和大规模生产流量的在线AB设置中测试了我们提出的深度贝叶斯强盗算法，在那里我们展示了我们的探索模型的积极收益。
2020-08-03 cs.AI cs.LG cs.NE
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
针对顺序学习方法的策略行为，例如在实际推荐系统中的“点击框架”，已经被广泛观察到。这种行为的动机，我们研究的组合多武装土匪（CMAB）的策略操纵下的奖励，其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置（例如对抗攻击和对抗腐败）的放松。本文提出了一种组合UCB算法的策略变体，在策略操作下，该算法的遗憾最多为$O(m\log T + m B_{max})$，其中$T$为时间范围，$m$为臂数，$B_{max}$为臂的最大预算，并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统，在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限，在各种制度的操纵预算。
2021-11-19 cs.AI cs.LG
Stochastic bandits robust to adversarial corruptions
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
我们引入了一个新的具有对抗性腐败的随机强盗模型，其目的是捕获大部分输入遵循随机模式但其中一部分可以对抗性地改变以欺骗算法的设置，例如，点击欺诈、虚假评论和垃圾邮件。该模型的目标是鼓励设计出（i）在混合对抗和随机模型中工作良好的强盗算法，以及（ii）当我们从完全随机模型转向完全对抗模型时，其性能会优雅地恶化。在我们的模型中，所有武器的奖励最初来自一个分布，然后由一个适应性的对手改变。我们提供了一个简单的算法，其性能优雅地降低与总腐败的对手注入的数据，测量的总和跨轮的最大的更改对手在该轮的数据，这总腐败表示为$C$。我们的算法提供了一个保证，保留最佳保证（直到对数项）如果输入是随机的并且其性能线性地下降到损坏量$C$，我们还提供了一个下界，表明如果算法在随机设置中实现最佳性能，则这种线性退化是必要的（下限甚至适用于已知的损坏量，这是我们的算法在没有额外对数的情况下实现最佳性能的特殊情况）。
2018-03-25 cs.DS cs.GT cs.LG
Stochastic Bandit Models for Delayed Conversions
Université Paris-Saclay（巴黎萨克雷大学）；Telecom ParisTech（巴黎高等电信学院）；LIMSI, CNRS（法国国家科学研究中心计算机科学与人机交互实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Criteo Research（Criteo研究院）
在线广告和产品推荐是多臂强盗方法的重要应用领域。在这些领域中，立即可用的奖励通常只是兴趣的实际结果的代理，我们称之为转换。例如，在网络广告中，点击可以在广告显示后的几秒钟内观察到，但相应的销售（如果有的话）将需要几个小时，如果不是几天的话。本文在Chapelle（2014）提出的框架内提出并研究了一个新的随机多臂强盗模型-基于网络广告领域的实证研究-其中每个行为都可能触发未来的奖励，然后会发生随机延迟。我们假设与每个动作相关联的转换的概率是未知的，而转换延迟的分布是已知的，区分（理想化）的情况下，转换事件可以观察到无论他们的延迟和更现实的设置中，后期转换审查。我们提供了性能下限，以及两个简单而有效的算法的基础上UCB和KLUCB框架。后一种算法，这是最好的转换率低时，是基于泊松化参数，在其他设置中，需要不同的成功概率的伯努利观测的聚合独立的兴趣。
2017-07-12 cs.LG
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester（曼彻斯特大学）
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人，2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中，我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率：当开关发生所有的武器变化（全局开关），开关独立发生每个手臂（每臂开关），当开关速率是已知的，当它必须从数据中推断。这导致了我们统称为变点汤普森采样（CTS）的一系列算法。我们在4个人工环境中展示了该算法的实证结果，其中2个来自真实世界的数据;新闻点击[Yahoo！2011]和外汇数据[Dukascopy，2012]，将它们与其他一些强盗算法进行比较。在现实世界的数据中，CTS是最有效的。
2013-02-15 cs.LG
Online Ad Procurement in Non-stationary Autobidding Worlds
Massachusetts Institute of Technology（麻省理工学院）；The University of Chicago（芝加哥大学）
针对自动出价平台信息有限且采购结果非平稳的问题，本文提出带长期约束的在线学习原始-对偶算法，在多种未知数据生成过程下实现低遗憾。
2023-07-10 cs.GT cs.IR cs.LG
An Efficient Bandit Algorithm for Realtime Multivariate Optimization
Amazon.com, Inc.（亚马逊公司）；UC Santa Cruz（加州大学圣克鲁兹分校）
优化通常用于确定网页的内容，例如最大化着陆页上的转化或搜索引擎结果页上的点击率。通常，这些页面的布局可以分离为几个单独的决策。例如，着陆页的组成可能涉及决定显示哪个图像，使用哪个措辞，显示什么颜色的背景等。这种优化是指数级大决策空间上的组合问题。随机实验不能很好地扩展到这种设置，因此，在实践中，人们通常仅限于一次优化网页的单个方面。这意味着在实验速度和利用布局决策之间可能的相互作用方面错失了机会。在这里，我们专注于交互式网页的多变量优化。我们制定了一种方法，其中页面的不同组件之间的可能的相互作用明确建模。我们应用强盗方法有效地探索布局空间，并使用爬山法实时选择最佳内容。我们的算法还扩展到上下文和个性化的布局选择。仿真结果表明，我们的方法适用于大的决策空间与内容之间的强相互作用。我们进一步应用我们的算法来优化促进亚马逊服务采用的消息。经过一周的在线优化，我们看到与中位数布局相比，转化率增加了21%。我们的技术目前正在部署，以优化Amazon.com多个位置的内容。
2018-10-22 cs.LG stat.ML
MultiScale Contextual Bandits for Long Term Objectives
Cornell University（康奈尔大学）
针对短期干预与长期反馈时间尺度脱节导致难以优化长期目标的问题，提出MultiScale Policy Learning框架及MSBL算法，利用低尺度数据为高尺度提供分层先验，实现跨尺度高效策略优化。
2025-05-28 cs.LG
Mathematics of statistical sequential decision-making: concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
Université de Lille（里尔大学）；Université de Technologies de Troyes（特鲁瓦技术大学）；ENSAI Rennes（雷恩国立统计与信息分析学校）；Inria Montpellier（法国国家信息与自动化研究所蒙彼利埃中心）；CWI Amsterdam（荷兰国家数学与计算机科学研究中心）；Université de Bordeaux（波尔多大学）；Inria Lille（法国国家信息与自动化研究所里尔中心）；CHU Lille（里尔大学附属医院）；Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔计算机、信号与自动化研究中心）
本文研究术后随访序贯决策中的数学挑战，提出安全的集中性界、风险感知上下文老虎机框架及非参数Dirichlet采样算法，并开发了预测减重手术后长期体重轨迹的可解释机器学习模型。
2024-05-03 cs.LG math.ST stat.ML
Best arm identification in rare events
Tata Institute of Fundamental Research（塔塔基础研究所）
我们考虑随机多臂强盗框架中的最佳手臂识别问题，其中每个手臂都有很小的概率实现大的回报，而绝大多数概率的回报是零。该框架的一个关键应用是在线广告，其中广告的点击率可能是单个百分比的一小部分，并且最终转化为销售，虽然利润很高，但可能再次是点击率的一小部分。最近，BAI问题的算法已经开发出来，最大限度地减少样本的复杂性，同时提供正确的手臂选择的统计保证。正如我们所观察到的，这些算法在计算上可能是禁止的。我们利用这样一个事实，即每个手臂的奖励过程很好地近似于一个复合泊松过程，以达到更快的算法，在样本复杂性的小增加。我们分析的问题，在一个渐进的制度，奖励发生的稀有性减少到零，奖励金额增加到无穷大。这有助于说明所提出的算法的好处。它还揭示了在罕见事件设置的最佳BAI算法的底层结构。
2023-03-14 cs.LG stat.ML
