Bandits for Sponsored Search Auctions under Unknown Valuation Model: Case Study in E-Commerce Advertising
Eindhoven University of Technology（埃因霍温理工大学）；Zalando SE（扎兰多股份公司）
针对赞助搜索拍卖估值未知、反馈无假设约束的问题，提出适配黑盒拍卖与延迟批量反馈的多臂老虎机出价系统，经Zalando案例验证可有效提升拍卖盈利能力。
2024-05-14 cs.AI cs.GT cs.LG
GuideBoot: Guided Bootstrap for Deep Contextual Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
探索/开发（E&E）困境的核心是互动系统，如在线广告，上下文强盗算法已被提出。贝叶斯方法提供了有原则的不确定性估计的指导探索，但适用性往往是有限的，由于过于简化的假设。另一方面，非贝叶斯自助方法可以通过使用深度奖励模型来应用于复杂问题，但缺乏对探索行为的明确指导。它仍然在很大程度上没有解决开发一个实用的方法，复杂的深上下文土匪。在本文中，我们介绍了引导引导（GuideBoot），结合了两个世界的优点。GuideBoot通过在真实样本和带有假标签的噪声样本上训练多个模型来为探索行为提供明确的指导，其中噪声是根据预测的不确定性添加的。所提出的方法是有效的，因为它可以通过只利用一个随机选择的模型，但也是有效的，因为我们表明，它可以被看作是一个非贝叶斯近似的汤普森采样。此外，我们将其扩展到一个在线版本，可以只从流数据中学习，这在实际应用中很受欢迎。综合任务和大规模的广告环境的广泛实验表明，GuideBoot实现了显着的改进，对以前的国家的最先进的方法。
2021-07-18 cs.IR cs.LG
Stochastic Bandits for Multi-platform Budget Optimization in Online Advertising
Facebook Core Data Science（Facebook核心数据科学部门）；Sapienza University of Rome（罗马大学）；Facebook AI Applied Research（Facebook人工智能应用研究部门）
我们研究的问题，一个在线广告系统，希望以最佳的方式花费广告客户的给定预算的活动在多个平台上，不知道的价值为显示广告的用户在这些平台上。我们模拟这个具有挑战性的实际应用作为一个背包问题的随机土匪在$T$轮的投标与一组不同的投标$m$ -元组，其中$m$是平台的数量的一组武器。我们修改了Badanidiyuru \emph{et al.,}中提出的算法，将其扩展到多平台的情况下，获得离散和连续出价空间的算法。也就是说，对于离散投标空间，我们给出了一个带遗憾的算法$O\left(OPT \sqrt {\frac{mn}{B} }+ \sqrt{mn OPT}\right)$，其中$OPT$是已知分布的最优算法的性能。对于连续的出价空间，我们的算法的遗憾是$\tilde{O}\left(m^{1/3} \cdot \min\left\{ B^{2/3}, (m T)^{2/3} \right\} \right)$。当限制到这种特殊情况时，这个界限在$OPT \ll T$体系中比Sankararaman和Slivkins更好，就像手头的特定应用中的情况一样。其次，我们显示了一个$ Ω\left (\sqrt {m OPT} \right)$的离散情况下的下限和一个$Ω\left( m^{1/3} B^{2/3}\right)$的连续设置的下限，几乎匹配的上限。最后，我们使用了一个来自一家拥有…
2021-03-25 cs.GT cs.LG
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Contextual Bandits for Advertising Campaigns: A Diffusion-Model Independent Approach (Extended Version)
LISN, CNRS, University Paris-Saclay（巴黎-萨克雷大学，法国国家科学研究中心，计算机科学及其交互实验室）
受社会媒体中信息扩散和广告的场景的启发，我们研究了一个影响力最大化问题，其中假设对传播网络或决定信息如何传播的模型知之甚少。在这样一个高度不确定的环境中，人们可以专注于多轮扩散活动，目标是从已知的几个有影响力的节点开始，最大限度地增加受影响或激活的不同用户的数量。在活动期间，在连续的轮中顺序地选择传播种子，并且在每轮中以激活的节点的形式收集反馈。然后，一轮的影响（奖励）被量化为新激活的节点的数量。总的来说，一个人必须最大限度地提高运动的总传播，作为回合奖励的总和。在这种情况下，可以使用探索-利用方法来学习关键的潜在扩散参数，同时运行活动。我们描述和比较了两种方法的上下文多武装土匪，上的置信上限的影响者的剩余潜力，一个使用广义线性模型和良好的图灵估计剩余潜力（GLM-GT-UCB），和另一个直接适应的LinUCB算法，我们的设置（LogNorm-LinUCB）。我们表明，它们在合成和真实世界数据上使用最先进的想法优于基线方法，同时表现出不同和互补的行为，这取决于它们部署的场景。
2022-01-13 cs.LG cs.SI
Stochastic Bandit Models for Delayed Conversions
Université Paris-Saclay（巴黎萨克雷大学）；Telecom ParisTech（巴黎高等电信学院）；LIMSI, CNRS（法国国家科学研究中心计算机科学与人机交互实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Criteo Research（Criteo研究院）
在线广告和产品推荐是多臂强盗方法的重要应用领域。在这些领域中，立即可用的奖励通常只是兴趣的实际结果的代理，我们称之为转换。例如，在网络广告中，点击可以在广告显示后的几秒钟内观察到，但相应的销售（如果有的话）将需要几个小时，如果不是几天的话。本文在Chapelle（2014）提出的框架内提出并研究了一个新的随机多臂强盗模型-基于网络广告领域的实证研究-其中每个行为都可能触发未来的奖励，然后会发生随机延迟。我们假设与每个动作相关联的转换的概率是未知的，而转换延迟的分布是已知的，区分（理想化）的情况下，转换事件可以观察到无论他们的延迟和更现实的设置中，后期转换审查。我们提供了性能下限，以及两个简单而有效的算法的基础上UCB和KLUCB框架。后一种算法，这是最好的转换率低时，是基于泊松化参数，在其他设置中，需要不同的成功概率的伯努利观测的聚合独立的兴趣。
2017-07-12 cs.LG
Improving Real-Time Bidding in Online Advertising Using Markov Decision Processes and Machine Learning Techniques
Birla Institute of Technology and Science（贝拉理工科学技术学院）
本文提出一种结合深度学习和强化学习的实时竞价方法，利用深度神经网络预测拍卖细节与价格，强化学习确定最优出价，在iPinYou数据集上验证了其成本效益和精度优势。
2023-05-05 cs.IR cs.LG
The Multi-fidelity Multi-armed Bandit
Carnegie Mellon University（卡内基梅隆大学）；Rice University（莱斯大学）
我们研究了经典的随机$K$ -武装土匪观察每个手臂的结果是昂贵的，但便宜的近似这个结果是可用的。例如，在在线广告中，广告的效果可以通过将其显示较短的时间段或面向较窄的受众来近似。我们将此任务形式化为多保真度强盗，其中，在每个时间步，预报员可以选择在任何一个$M$概率下使用手臂。最高的保真度（期望的结果）花费成本$λ^{(m)}$。$m^{\text{th}}$保真度（近似值）扩展$λ^{(m)} < λ^{(M)}$并返回最高保真度的有偏估计。我们开发的MF-UCB，一种新的置信上限的程序，这种设置，并证明它自然适应序列的可用近似值和成本，从而达到更好的遗憾比天真的策略，忽略了近似值。例如，在上面的在线广告示例中，MF-UCB将使用较低的优先级来快速消除次优广告，并将较大的昂贵实验保留在一小组有希望的候选者上。我们补充了这个结果的下限，并表明MF-UCB在一定条件下是接近最优的。
2016-10-30 cs.LG
Adversarial Attacks on Linear Contextual Bandits
Facebook AI Research（Facebook人工智能研究院）
上下文强盗算法应用于广泛的领域，从广告到推荐系统，从临床试验到教育。在这些领域中的许多领域中，恶意代理可能有动机攻击强盗算法以诱导其执行期望的行为。例如，一个不道德的广告发布者可能试图以牺牲广告商的利益来增加自己的收入;一个卖家可能想增加他们产品的曝光率，或者阻挠竞争对手的广告活动。在本文中，我们研究了几种攻击方案，并表明恶意代理可以迫使线性上下文强盗算法在$T$步骤的范围内拉动任何所需的手臂$T - o(T)$次，同时将对抗性修改应用于奖励或仅以$O(\log T)$形式增长的上下文。我们还调查了恶意代理有兴趣在单个上下文中影响强盗算法的行为的情况（例如，特定用户）。我们首先提供了攻击的可行性的充分条件，然后我们提出了一个有效的算法来执行攻击。我们验证了我们的理论结果在合成和真实世界的数据集上进行的实验。
2020-10-23 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
A Simple Unified Framework for High Dimensional Bandit Problems
Purdue University（普渡大学）
具有低维结构的随机高维强盗问题在不同的应用中是有用的，例如在线广告和药物发现。在这项工作中，我们提出了一个简单的统一算法，这样的问题，并提出了一个通用的分析框架，我们的算法的遗憾上限。我们表明，在一些温和的统一假设下，我们的算法可以适用于不同的高维强盗问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在LASSO强盗中实现了可比较的遗憾界，以及在低秩矩阵强盗，组稀疏矩阵强盗和一个新的问题：多智能体LASSO强盗中实现了新的界。
2022-06-19 cs.LG stat.ML
Practical Bandits: An Industry Perspective
ShareChat；Netflix（网飞）；Amazon（亚马逊）；Spotify（声田）
强盗范式为需要在不确定性下进行决策的问题提供了一个统一的建模框架。因为许多业务指标可以被视为奖励（也就是奖励）。效用），但是强盗算法已经受到诸如搜索、推荐和广告之类的工业应用的巨大且不断增长的兴趣。事实上，强盗镜头带来了直接优化我们关心的指标的承诺。然而，成功地将土匪运用到生产中的道路并不容易。即使当行动空间和奖励是明确的，从业者仍然需要作出决定，多臂或上下文的方法，对或关闭的政策设置，延迟或即时反馈，短视或长期优化等，更糟糕的是，工业平台通常会产生大的行动空间，其中现有的方法往往会崩溃。关于这些主题的研究文献是广泛而庞大的，但这可能会压倒从业者，他们的主要目标是解决实际问题，因此需要为每个项目确定特定的实例或方法。本教程将采取一个步骤，填补理论和实践之间的差距土匪。我们的目标是提出该领域及其现有术语，概念和算法的统一概述-重点是与工业相关的问题。我们希望我们的工业视角将有助于未来的从业者谁希望利用他们的应用程序的强盗范例。
2023-02-02 cs.IR cs.LG
Sequential Monte Carlo Bandits
Pipewave Inc.（Pipewave公司）；Harvard University（哈佛大学）
在本文中，我们提出了一个灵活而有效的框架来处理多武装匪徒，结合序贯蒙特卡罗算法与分层贝叶斯建模技术。该框架自然包括不安分的土匪，上下文土匪，和其他土匪变种下一个单一的推理模型。尽管该模型的一般性，我们提出了有效的蒙特卡罗算法，使推理可扩展性，基于最近的发展序贯蒙特卡罗方法。通过两个模拟研究，该框架被证明优于其他经验方法，同时也自然扩展到更复杂的问题，现有的方法无法应付。此外，我们成功地将我们的框架应用于基于在线视频的广告推荐，并显示其提高的效率相比，目前的最先进的强盗算法。
2013-10-04 cs.LG stat.ME stat.ML
Encrypted Linear Contextual Bandit
Meta AI；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）
上下文强盗是一个通用的在线学习的顺序决策问题，已发现在广泛的领域，包括推荐系统，在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即，个人或群体层面的数据--以及奖励，以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中，我们介绍了一个基于同态加密{ \color{violet}，它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息（上下文和奖励），并没有能力解密it. Leaving同态加密的属性，我们表明，尽管设置的复杂性，它是可能的，以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题，同时保持数据加密。
2022-03-23 cs.LG
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Bandits with adversarial scaling
Microsoft Research NYC（微软研究院纽约分院）；Cornell University（康奈尔大学）；Google Research NYC（谷歌研究院纽约分院）
我们研究“对抗缩放”，一个多臂的强盗模型，其中奖励有一个随机和一个对抗组件。我们的模型捕捉显示广告的“点击率”可以分解为一个（固定跨时间）手臂质量组件和一个非随机的用户相关性组件（固定跨武器）。尽管我们的模型的相对随机性，我们证明了两个设置，大多数土匪算法遭受。在积极的一面，我们表明，两个算法，一个从动作消除和一个从镜像下降家庭是适应性足够强大的对抗缩放。我们的研究结果揭示了自适应参数选择的鲁棒性随机土匪，这可能是独立的利益。
2020-08-29 cs.GT cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Dynamic Ad Allocation: Bandits with Budgets
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research New York（微软研究院纽约分院）
我们考虑应用多武装土匪互联网广告（特别是，动态广告分配按点击付费模型，点击概率的不确定性）。我们关注的是一个重要的实际问题，即广告商在他们可以花多少钱在他们的广告活动上受到限制。据我们所知，在关于用于广告分配的基于强盗的方法的先前工作中没有考虑这个问题。我们定义了一个简单的、程式化的模型，在这个模型中，算法在每一轮中选择一个广告来显示，每个广告都有一个\emph{budget}：可以花在这个广告上的最大金额。该模型承认UCB 1的自然变体，UCB 1是一种用于随机奖励的多武装匪徒的着名算法。我们得到强有力的可证明的保证，这个算法。
2013-06-01 cs.DS cs.LG
Rotting Bandits
The Technion（以色列理工学院）
多武装匪徒（MAB）框架强调了获取新知识（探索）和利用现有知识（利用）之间的紧张关系。在经典的MAB问题中，决策者必须在每个时间步选择一个手臂，并在此基础上获得奖励。决策者的目标是最大化她的累积期望回报的时间范围。MAB问题已经被广泛研究，特别是在假设武器的奖励分布随时间是平稳的或准平稳的情况下。我们考虑MAB框架的一个变体，我们称之为腐烂的强盗，其中每个手臂的预期奖励作为被拉动次数的函数衰减。我们受到许多现实世界场景的激励，例如在线广告，内容推荐，众包等。我们提出的算法，伴随着模拟，并推导出理论保证。
2017-11-02 cs.LG stat.ML
Contextual Multinomial Logit Bandits with General Value Functions
University of Southern California（南加州大学）
针对上下文MNL bandits仅限于线性价值函数的局限，本文提出使用包含真实值的一般价值函数类，在随机和对抗设置下设计多套算法，在线性情况下首次消除对指数级问题常数的依赖并具备计算高效等优势。
2024-02-18 cs.LG
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Online Causal Inference for Advertising in Real-Time Bidding Auctions
Cornell Johnson（康奈尔大学约翰逊商学院）；Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Stanford GSB（斯坦福大学商学院）；UCSD Rady（加州大学圣迭戈分校雷迪管理学院）；Yale SOM（耶鲁大学管理学院）；Insper（因斯佩尔商学院）；Chicago Booth（芝加哥大学布斯商学院）；Temple Fox（天普大学福克斯商学院）
本文针对实时竞价拍卖中的广告效果评估问题，提出基于最优出价识别的因果推断方法，并设计自适应汤普森采样算法在最小化实验成本的同时恢复广告效果，理论和实验均验证了其优越性。
2024-02-26 cs.GT cs.LG econ.EM
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
线性上下文强盗是一类重要的序贯决策问题，在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究，但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中，我们解决这个开放的问题，考虑线性上下文强盗（变化）无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.，[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Algorithms for Differentially Private Multi-Armed Bandits
Chalmers University of Technology（查尔姆斯理工大学）
我们提出了差分隐私算法的随机多臂强盗（MAB）问题。这对于自适应临床试验、实验设计和用户定向广告等应用来说是一个问题，在这些应用中，私人信息与个人奖励相关联。我们的主要贡献是表明，存在$(ε, δ)$差异私人变种的置信上限算法，具有最佳的遗憾，$O(ε^{-1} + \log T)$。这是一个显着的改进，以前的结果，只实现多对数遗憾$O(ε^{-2} \log^{2} T)$，因为我们使用了一种新的间隔为基础的机制。我们还大大提高了以前的家庭的算法，使用一个连续的释放机制的界限。实验清楚地证实了我们的理论界限。
2015-11-27 cs.CR cs.LG stat.ML
Dynamical Linear Bandits
Politecnico di Milano（米兰理工大学）
本文提出动态线性赌博机（DLB）设定，将隐藏状态线性动力学引入线性赌博机，并设计 DynLin-UCB 算法，在理论上给出期望遗憾上界，在合成与真实数据上验证其优于多个基线。
2023-05-30 cs.LG
Multiplayer Information Asymmetric Contextual Bandits
Princeton University（普林斯顿大学）
本文提出多人信息不对称上下文赌博机框架，通过改进LinUCB和设计基于探索后承诺的ETC算法，在仅一种或两种不对称情况下均实现O(√T)最优遗憾。
2025-03-11 cs.LG
Reducing Exploration of Dying Arms in Mortal Bandits
MIT（麻省理工学院）；Duke University（杜克大学）
Mortal bandits已被证明在提供新闻文章推荐、运行自动化在线广告活动以及其他可用选项集随时间变化的应用程序中非常有用。以前关于这个问题的研究表明，当新的手臂最近出现时，如何调节它们的探索，但当手臂即将消失时，它们不会适应。由于在大多数应用中，我们可以准确或近似地确定手臂何时消失，我们可以利用这些信息来提高性能：我们不应该探索即将消失的手臂。我们为这项研究提供了算法，遗憾界限和实验的适应性，显示了对即将消失的武器的贪婪（探索/剥削）的明显好处。我们说明了雅虎的数值性能！首页今日模块用户点击日志数据集。
2019-07-04 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Designing Truthful Contextual Multi-Armed Bandits based Sponsored Search Auctions
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；IIT Ropar（印度理工学院罗帕尔分校）
对于赞助搜索拍卖，我们考虑了策略代理存在的上下文多臂强盗问题。在这种设置中，在每一轮，广告平台（中心）运行拍卖以选择与用户发布的查询相关的最适合的广告。选择具有高期望值的广告（即，从广告的点击得到点击$\times$值的概率）。获得点击的概率（CTR）对于中心来说是未知的，并且取决于发布查询的用户的简档（上下文）。此外，对于点击导出的值是广告商的私人信息，因此需要如实地引出。在这种设置中的现有解决方案是不实用的，因为它遭受非常高的遗憾（$O(T^{\frac{2}{3}})$）。
2020-02-26 cs.GT cs.LG
Provably Optimal Algorithms for Generalized Linear Contextual Bandits
Microsoft Research（微软研究院）；Yale University（耶鲁大学）
从新闻推荐到广告，再到网络搜索，上下文强盗被广泛应用于互联网服务中。广义线性模型（特别是逻辑回归）在许多奖励为二元的应用中表现出比线性模型更强的性能。然而，迄今为止，对语境强盗的理论分析大多是线性强盗。在这项工作中，我们提出了一个基于置信上限的算法广义线性上下文土匪，实现了$\tilde{O}(\sqrt{dT})$遗憾$T$轮$d$维特征向量。这个遗憾匹配极小极大下限，直到对数项，并通过$\sqrt{d}$因子改进了先前的最佳结果，假设臂数是固定的。在我们的分析中的一个关键组成部分是建立一个新的，尖锐的有限样本的广义线性模型的最大似然估计的置信区间，这可能是独立的利益。我们还分析了一个更简单的置信上限算法，这是在实践中有用的，并证明它有一定的情况下，最佳遗憾。
2017-06-18 cs.AI cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
High-Dimensional Sparse Linear Bandits
Deepmind；Princeton University（普林斯顿大学）
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度，地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索，然后提交算法表明，$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限，并提供了另一个例子，其中仔细平衡信息和遗憾之间的权衡是必要的。最后，我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
Waterfall Bandits: Learning to Sell Ads Online
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Rutgers University（罗格斯大学）；Adobe Research（奥多比研究院）
一种流行的在线广告销售方法是瀑布式的，即出版商向广告网络提供一个库存的连续价格，并按此顺序选择获胜者。出版商选择订单和价格，以最大限度地提高收入。传统的解决方案是学习需求模型，然后随后解决给定需求模型的优化问题。这将导致线性遗憾。我们设计了一种解决该问题的在线学习算法，该算法将学习和优化交织在一起，并证明了该算法具有次线性遗憾性。我们对合成数据和真实数据的算法进行了评估，并表明它可以快速学习高质量的定价策略。这是第一个通过连续实验在线学习瀑布设计的原则性研究。
2019-04-20 cs.LG stat.ML
Unreliable Multi-Armed Bandits: A Novel Approach to Recommendation Systems
IIT Bombay（印度理工学院孟买分校）
本文提出一种不可靠多臂老虎机模型，将推荐系统建模为通过具有自主性的中间层访问臂的老虎机，并给出基本定理及接近最优的探索-承诺算法。
2019-11-14 cs.LG stat.AP stat.ML
Optimising Individual-Treatment-Effect Using Bandits
University of Brussels (VUB)（布鲁塞尔自由大学（VUB））
在经济学、医疗保健和市场营销等领域应用因果推理模型受到机器学习社区的极大兴趣。特别是，在精准医疗和定向广告等环境中估计个体治疗效果（ITE）的应用已经达到顶峰。在强兼容性假设下优化该ITE-意味着所有表达对治疗结果影响的混杂因素都记录在数据中-通常被称为提升建模（UM）。虽然这些技术已被证明在许多环境中很有用，但由于概念漂移，它们在动态环境中会受到生动的影响。例如，当竞争对手的产品发布时，对营销活动的负面影响。针对这一点，我们提出了提升上下文多臂土匪（U-CMAB），一种新的方法来优化ITE借鉴土匪文学。真实和模拟数据的实验表明，我们提出的方法相比，有利的国家的最先进的。我们所有的代码可以在网上找到https://github.com/vub-dl/u-cmab。
2019-10-16 cs.AI cs.LG stat.ML
Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization
Duke University（杜克大学）
针对已知平均奖励随动作呈凹性的上下文赌博机问题，提出将凹性约束融入高斯过程后验的 UCB 算法，并给出遗憾界与抗凝血剂量优化实验验证。
2026-10-22 cs.LG stat.ML
Adapting Bandit Algorithms for Settings with Sequentially Available Arms
Politecnico di Milano（米兰理工大学）
虽然经典版本的多武装匪徒（MAB）框架已成功地应用于几个实际问题，在许多现实世界的应用中，可能的行动并没有同时呈现给学习者，如在互联网运动管理和环境监测设置。相反，在这样的应用程序中，一组选项在一段时间内顺序地呈现给学习者，并且这个过程在整个时间范围内重复。每次，学习者都会被问到是否选择建议的选项。我们将此场景定义为顺序拉/无拉强盗设置，我们提出了一个元算法，即顺序拉/无拉MAB（Seq），以适应任何经典的MAB政策，以更好地适应这种设置的遗憾最小化和最佳手臂识别问题。通过允许在一轮内选择多个手臂，所提出的元算法收集更多的信息，特别是在第一轮中，其特征在于手臂估计值的高度不确定性。与此同时，适应算法提供了与所采用的经典策略相同的理论保证。Seq元算法在广告和环境监测应用的合成和真实数据集上进行了广泛的测试，并与经典的MAB策略进行了比较，突出了其良好的经验表现。
2021-09-30 cs.LG
Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising
Alibaba Group（阿里巴巴集团）；University College London（伦敦大学学院）；Shanghai JiaoTong University（上海交通大学）
实时广告允许广告商为访问用户的每个印象出价。为了优化特定的目标，如最大化的收入和投资回报率（ROI）的广告投放，广告客户不仅需要估计广告和用户的兴趣之间的相关性，但最重要的是需要一个战略响应相对于其他广告客户在市场上出价。在本文中，我们制定投标优化与多智能体强化学习。为了处理大量的广告客户，我们提出了一种聚类方法，并为每个聚类分配一个策略投标代理。提出并实现了一种实用的分布式协调多代理竞价系统（DCMAB），以平衡广告主之间的竞争与合作。对行业规模的真实世界数据的实证研究证明了我们的方法的有效性。我们的研究结果表明，基于集群的投标将在很大程度上优于单代理和土匪的方法，和协调投标实现更好的整体目标比纯粹的自利投标代理。
2018-09-11 cs.AI cs.LG stat.ML
High Precision Audience Expansion via Extreme Classification in a Two-Sided Marketplace
Relevance（相关性）；Airbnb, Inc.（Airbnb公司）；Search（搜索）
本文通过双侧市场中的极端分类方法，实现高精度受众扩展，优化房源检索以提高匹配效率。
2026-02-16 cs.AI cs.IR cs.LG
Targeted Advertising on Social Networks Using Online Variational Tensor Regression
本文提出首个基于张量的上下文老虎机框架TensorUCB，用于在线定向广告，通过在线变分算法处理多模式张量，显著提升影响力最大化任务性能。
2025-01-25 cs.LG cs.SI
Contextual Bandits for Maximizing Stimulated Word-of-Mouth Rewards
University of California, Berkeley（加州大学伯克利分校）
提出上下文多臂赌博机框架，通过学习个体溢出概率并排序连接用户，以最大化激励口碑奖励，实验证明考虑溢出异质性可提升目标定位精度。
2026-06-16 cs.LG
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
High-dimensional Nonparametric Contextual Bandit Problem
MI-6 Ltd.（MI-6公司）；New York University（纽约大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）
针对大特征空间下核化上下文老虎机现有方法在高斯核上高维时遗憾界平凡的问题，引入上下文分布随机假设，证明维度达样本量级仍可无遗憾学习，并推导了宽松遗憾的速率。
2025-05-20 cs.LG stat.ME stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University（宾夕法尼亚州立大学）；University at Buffalo（布法罗大学）
针对在线学习和决策过程中决策者面对高维数据的问题，提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法（G-MCP-Bandit）.我们证明了G-MCP-Bandit算法在样本大小维度T，O（log T）上渐近地达到最优累积后悔，并进一步在协变量维度d，O（log d）上达到一个紧界.此外，我们还提出了一种线性逼近方法，即两步加权Lasso方法，来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中，MCP估计以高概率匹配Oracle估计，并以最佳收敛速度收敛到真参数。最后，通过基于合成数据和两个真实数据集（华法林用药数据集和腾讯搜索广告数据集）的实验，证明了G-MCP-Bandit算法优于其他基准算法，尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
Catoni-Style Change Point Detection for Regret Minimization in Non-Stationary Heavy-Tailed Bandits
Politecnico di Milano（米兰理工学院）；JPMorgan AI Research（摩根大通人工智能研究）
本文针对非平稳重尾老虎机问题，提出基于Catoni式变点检测的Robust-CPD-UCB算法，结合乐观策略，给出遗憾上界与下界，并通过实验验证。
2025-05-26 cs.LG
Knowledge Infused Policy Gradients with Upper Confidence Bound for Relational Bandits
University of South Carolina（南卡罗来纳大学）
上下文Bandits在各种现实生活场景中发现了重要的用例，例如在线广告，推荐系统，医疗保健等。然而，大多数算法使用平面特征向量来表示上下文，而在现实世界中，有不同数量的对象和它们之间的关系在上下文中建模。例如，在音乐推荐系统中，用户上下文包含他们听的音乐，哪些艺术家创作了这种音乐，艺术家专辑等。添加更丰富的关系上下文表示也引入了更大的上下文空间，使探索-利用变得更加困难。为了提高探索-利用的效率，可以注入关于上下文的知识来指导探索-利用策略。关系上下文表示允许人类以自然的方式指定知识，由于其描述性的性质。我们提出了一个适应知识注入策略梯度上下文的强盗设置和一个新的知识注入策略梯度置信上限算法，并进行了实验分析的模拟音乐推荐数据集和各种现实生活中的数据集，专家知识可以大大减少总遗憾，它不能。
2021-06-25 cs.AI cs.LG
Non-Stationary Bandits with Auto-Regressive Temporal Dependency
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运营研究中心）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；IBM Research（IBM研究院）
针对传统多臂老虎机忽略现实场景时间动态的问题，提出融合交替与重启机制的自回归奖励非平稳MAB框架，实现接近下界的遗憾上界，并通过旅游需求预测案例验证了有效性与适用性。
2023-12-12 cs.DS cs.LG
Multi-armed Bandits with Cost Subsidy
MIT（麻省理工学院）；Facebook（脸书）
在本文中，我们考虑了一种新的变种的多臂强盗（MAB）问题，MAB与成本补贴，它模拟了许多现实生活中的应用，学习代理必须支付选择一个手臂，并关注优化累积成本和奖励。我们提出了两个应用程序，智能短信路由问题和广告受众优化问题所面临的几个企业（特别是在线平台），并显示我们的问题如何独特地捕捉这些应用程序的关键功能。我们表明，天真的概括现有的MAB算法，如上置信界和汤普森采样不执行这个问题。然后，我们建立了一个基本的下界的性能任何在线学习算法，这个问题，突出了我们的问题相比，经典的MAB问题的硬度。我们还提出了探索然后提交的一个简单变体，并为此算法建立了接近最佳的遗憾界限。最后，我们进行了广泛的数值模拟，以了解各种情况下的一套算法的行为，并建议采用不同的算法的实用指南。
2021-03-15 cs.AI cs.LG
Combinatorial Rising Bandits
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出组合上升老虎机框架和CRUCB算法，解决组合老虎机中因基础臂增强传播导致的依赖问题，通过理论分析和实验验证其高效性和有效性。
2026-03-03 cs.LG stat.ML
Generic Outlier Detection in Multi-Armed Bandit
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们研究了多臂强盗环境中的离群臂检测问题，该问题在许多高影响力的领域（如金融，医疗保健和在线广告）中有着广泛的应用。对于这个问题，学习者的目标是确定武器的预期回报显着偏离大多数其他武器。不同于现有的工作，我们的目标是一般的离群臂或离群臂组，其预期奖励可以更大，更小，甚至在正常臂之间。为此，我们首先提供了一个全面的定义，这样的通用离群臂和离群臂组。然后，我们提出了一种新的拉算法命名为黄金来识别这样的通用离群臂。它建立了一个实时的邻域图的基础上的置信上限和捕获的行为模式的离群正常的武器。并从多个方面分析了其性能。在合成和真实世界的数据集上进行的实验中，该算法实现了98%的准确率，同时节省了83%的勘探成本，平均与国家的最先进的技术相比。
2020-07-14 cs.AI cs.LG stat.ML
Generalized Low-Rank Matrix Contextual Bandits with Graph Information
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Microsoft（微软公司）
针对矩阵上下文赌博机未利用图信息的问题，提出融合低秩结构与图正则化的广义UCB框架，并证明其累积遗憾界更优。
2025-07-23 cs.LG
Efficient Algorithms for Generalized Linear Bandits with Heavy-tailed Rewards
City University of Hong Kong（香港城市大学）；The City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Waterloo（滑铁卢大学）；Zhejiang University（浙江大学）；JD AI Research（京东人工智能研究院）；Nanjing University（南京大学）；Peng Cheng Laboratory（鹏城实验室）
本文针对重尾奖励的广义线性赌博机问题，提出基于截断和中位数均值的两种高效算法，实现几乎最优遗憾界，并在计算开销和在线学习能力上优于现有方法。
2023-10-28 cs.LG
Privacy-Preserving Bandits
Queen Mary University of London（伦敦玛丽女王大学）；Brave Software（勇敢软件公司）；Imperial College London（帝国理工学院）
上下文强盗算法（CBAs）通常依赖于个人数据来提供建议。集中式CBA代理利用来自最近交互的潜在敏感数据为最终用户提供个性化服务。通过在用户的设备上运行本地代理，将敏感数据保持在本地，保护了用户的隐私，然而，代理需要更长的时间来产生有用的建议，因为它不利用来自其他用户的反馈。本文提出了一种技术，我们称之为隐私保护的强盗（P2B），一个系统，更新本地代理通过收集反馈，从其他本地代理在一个不同的私人方式。我们所提出的方法与非私人，以及一个完全私人（本地）系统的比较，显示合成基准和现实世界的数据的竞争力表现。具体来说，我们观察到多标签分类准确率仅下降了2.6%和3.6%，而在线广告的CTR增加了0.0025，用于隐私预算$ε\approx 0.693$。这些结果表明，P2B是解决设备上隐私保护个性化挑战的有效方法。
2020-03-11 cs.CR cs.LG cs.MA
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
