Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Neural Contextual Bandits for Personalized Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本教程探讨上下文赌博机在个性化推荐中的应用，重点研究神经上下文赌博机及其协作变体，以缓解马太效应并处理用户异质性，同时展望大型神经模型带来的新挑战。
2023-12-21 cs.AI cs.IR cs.LG
Tsetlin Machine for Solving Contextual Bandit Problems
McGill University（麦吉尔大学）；University of Agder（阿格德大学）
本文介绍了一个可解释的上下文强盗算法使用Tsetlin机，它解决了复杂的模式识别任务使用命题逻辑。建议的强盗学习算法依赖于简单的位操作，从而简化计算和解释。然后，我们提出了一种机制，执行汤普森采样与Tsetlin机，鉴于其非参数性质。我们的实证分析表明，Tsetlin机器作为一个基本的上下文强盗学习者优于其他流行的基本学习者的八个九个数据集。我们进一步分析了我们的学习者的可解释性，研究如何根据模拟上下文的命题表达式选择武器。
2022-02-04 cs.AI cs.LG cs.NE
Online Learning in Contextual Bandits using Gated Linear Networks
DeepMind
我们介绍了一个新的和完全在线的上下文强盗算法称为门控线性上下文强盗（GLCB）。该算法基于门控线性网络（GLN），这是一种最近推出的深度学习架构，具有非常适合在线设置的属性。利用GLN的数据相关门控特性，我们能够以有效的零算法开销来估计预测不确定性。我们经验评估GLCB相比，9国家的最先进的算法，利用深度神经网络，在一个标准的基准套件的离散和连续的上下文强盗问题。GLCB获得中位数第一位，尽管是唯一的在线方法，我们进一步支持这些结果与理论研究其收敛性能。
2020-11-20 cs.AI cs.LG stat.ML
Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing
The Pennsylvania State University（宾夕法尼亚州立大学）
研究用于大语言模型路由的相关感知上下文博弈问题，提出耦合奖励混合与解耦预测混合两种利用替代奖励的算法，经理论分析和实验评估，相比基线方法提高了样本效率和精度 - 成本权衡。
2026-10-15 cs.AI cs.LG
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
Diffusion Models Meet Contextual Bandits
Criteo AI Lab（Criteo人工智能实验室）；CREST（CREST研究所）；ENSAE（ENSAE学院）；IP Paris（IP巴黎研究所）
针对上下文老虎机在线决策的效率难题，提出以预训练扩散模型为先验捕捉动作依赖、搭配高效后验近似算法的方案，经实验验证在多种场景下有效且通用。
2025-10-28 cs.AI cs.LG stat.ML
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义的背景土匪-一个特殊的情况下，背景土匪的勘探成本在不同的环境条件下，如网络负载或回报变化的建议。当探索成本低时，拉次优手臂的实际遗憾也低（例如，尝试次优推荐）。因此，直观地说，勘探成本相对较低时，我们可以多勘探，勘探成本相对较高时，我们可以多开采。受这种直觉的启发，对于具有线性收益的机会主义上下文强盗，我们提出了一种自适应置信上限算法（AdaLinUCB）来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O（（log T）^2），并且比传统的LinUCB算法具有更小的系数.此外，基于合成和真实世界的数据集，我们表明，AdaLinUCB显着优于其他上下文的强盗算法，在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
A Contextual Combinatorial Bandit Approach to Negotiation
BIGAI（北京智源人工智能研究院）；Peking University（北京大学）
本文提出基于上下文组合多臂老虎机的谈判学习框架及 NegUCB 方法，在无奖励函数约束和部分观测条件下实现次线性遗憾，并在三个谈判任务中验证其优越性。
2024-06-30 cs.AI cs.LG
Simulated Contextual Bandits for Personalization Tasks from Recommendation Datasets
Skoltech（斯科尔科沃科学技术学院）
我们提出了一种方法，用于从MovieLens，Netflix，Last.fm，Million Song等推荐数据集生成用于个性化任务的模拟上下文强盗环境，这允许基于真实数据开发个性化环境，以反映真实世界用户交互的细微差别。所获得的环境可用于开发解决个性化任务、算法基准测试、模型仿真等的方法。我们用MovieLens和IMDb数据集上的数值例子证明了我们的方法。
2022-12-17 cs.AI cs.IR cs.LG
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Towards Domain Adaptive Neural Contextual Bandits
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出首个通用领域自适应上下文赌博机方法，通过源领域反馈学习目标领域模型，在理论上保持次线性遗憾界，并在真实数据集上超越现有最优算法。
2025-04-06 cs.AI cs.CE cs.CV
On Learning to Rank Long Sequences with Contextual Bandits
Google Research（谷歌研究院）；John Hopcroft Center（约翰·霍普克罗夫特中心）；Shanghai Jiao Tong University（上海交通大学）
出于学习排序长项目序列的问题，我们引入了一个变种的级联强盗模型，认为灵活的长度序列不同的奖励和损失。我们制定了两个生成模型，这个问题的广义线性设置，并设计和分析上置信度算法it.Our分析提供了严格的遗憾界，当专门香草级联土匪，结果在更清晰的保证比以前在文献中。我们评估我们的算法在一些现实世界的数据集，并显示显着改善的经验性能相比，已知的级联土匪基线。
2021-06-07 cs.AI cs.LG
Achieving User-Side Fairness in Contextual Bandits
University of Arkansas（阿肯色大学）；Penn State University（宾夕法尼亚州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
基于多臂强盗（MAB）算法的个性化推荐具有很高的实用性和效率，因为它可以根据反馈动态调整推荐策略。然而，个性化推荐可能会导致不公平。本文主要研究如何在个性化推荐中实现用户端公平性。我们制定我们的公平个性化推荐作为一个修改的上下文强盗，并专注于实现公平的个人被推荐的项目，而不是实现公平的项目被推荐。我们引入并定义了一个度量标准，该度量标准捕获了特权和受保护群体获得的奖励的公平性。提出了一种公平上下文强盗算法Fair-LinUCB，改进了传统的LinUCB算法，实现了用户组级公平性。我们的算法检测和监控不公平，同时学习向学生推荐个性化视频，以实现高效率。我们提供了一个理论上的遗憾分析，并表明我们的算法有一个略高于LinUCB遗憾界。我们进行了大量的实验评估，我们的公平上下文强盗的LinUCB的性能进行比较，并表明我们的方法实现了组级的公平性，同时保持了较高的实用性。
2020-10-22 cs.AI cs.LG
Contextual Bandits with Sparse Data in Web setting
Stockholms universitet（斯德哥尔摩大学）
本文是一个范围研究，以确定当前的方法用于处理稀疏数据与上下文土匪在Web设置。该领域是高度当前和最先进的方法被确定。对2017-2020年进行了调查，确定了19篇方法文章和2篇综述文章。五类方法进行了描述，很容易选择如何解决稀疏数据使用上下文强盗的方法可用于修改的具体设置的关注。此外，每种方法都有多种技术可供选择，用于未来的评估。还提到了每一条所涉及的问题领域。在Web设置中使用上下文强盗稀疏数据问题的整体更新的理解。所确定的方法是政策评估（离线和在线），混合方法，模型表示（集群和深层神经网络），降维和模拟。
2021-05-06 cs.AI cs.LG stat.ML
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine（加利福尼亚大学欧文分校）；University of Miami（迈阿密大学）
针对华法林剂量个体差异大且错误剂量风险高的问题，利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估，构建个性化剂量策略，在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Provably Optimal Algorithms for Generalized Linear Contextual Bandits
Microsoft Research（微软研究院）；Yale University（耶鲁大学）
从新闻推荐到广告，再到网络搜索，上下文强盗被广泛应用于互联网服务中。广义线性模型（特别是逻辑回归）在许多奖励为二元的应用中表现出比线性模型更强的性能。然而，迄今为止，对语境强盗的理论分析大多是线性强盗。在这项工作中，我们提出了一个基于置信上限的算法广义线性上下文土匪，实现了$\tilde{O}(\sqrt{dT})$遗憾$T$轮$d$维特征向量。这个遗憾匹配极小极大下限，直到对数项，并通过$\sqrt{d}$因子改进了先前的最佳结果，假设臂数是固定的。在我们的分析中的一个关键组成部分是建立一个新的，尖锐的有限样本的广义线性模型的最大似然估计的置信区间，这可能是独立的利益。我们还分析了一个更简单的置信上限算法，这是在实践中有用的，并证明它有一定的情况下，最佳遗憾。
2017-06-18 cs.AI cs.LG stat.ML
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架，将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法，仅需老虎机反馈，并应用于子模最大化，实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
Federated Linear Contextual Bandits with Heterogeneous Clients
University of Virginia（弗吉尼亚大学）
针对联邦 bandit 学习中客户端异构会导致线性遗憾的问题，提出基于客户端聚类的协作学习算法，在单模型共享协议下为所有客户端取得次线性遗憾与通信成本。
2024-02-29 cs.AI cs.LG
Improving Offline Contextual Bandits with Distributional Robustness
Criteo AI Lab（科韬人工智能实验室）
本文扩展了分布式鲁棒优化（DRO）方法离线上下文土匪。具体来说，我们利用这个框架，介绍了一个凸的反事实风险最小化原则的重新制定。除了依赖于凸规划，我们的方法是兼容的随机最优化，因此可以很容易地适应大数据制度。我们的方法依赖于通过DRO框架的离线上下文土匪的渐近置信区间的建设。通过利用已知的稳健估计的渐近结果，我们还展示了如何自动校准这样的置信区间，这反过来又消除了超参数选择的负担，政策优化。我们提出了初步的实证结果支持我们的方法的有效性。
2020-11-13 cs.AI cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
Learning Neural Contextual Bandits Through Perturbed Rewards
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
由于表示学习的强大功能，神经上下文强盗算法表现出显着的性能改善，相对于他们的经典同行。但是，由于他们的探索必须在整个神经网络参数空间中进行，以获得接近最佳的遗憾，由此产生的计算成本是非常高的。我们在更新神经网络时扰动奖励，以消除显式探索的需要和相应的计算开销。我们证明了$\tilde{O}(\tilde{d}\sqrt{T})$遗憾上界仍然是可实现的标准规则性条件下，其中$T$是互动的轮数和$\tilde{d}$是有效维数的神经切线核矩阵。与几个基准上下文强盗算法，包括最近的两个神经上下文强盗模型的广泛比较，证明了我们提出的神经强盗算法的有效性和计算效率。
2022-03-18 cs.LG
Encrypted Linear Contextual Bandit
Meta AI；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）
上下文强盗是一个通用的在线学习的顺序决策问题，已发现在广泛的领域，包括推荐系统，在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即，个人或群体层面的数据--以及奖励，以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中，我们介绍了一个基于同态加密{ \color{violet}，它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息（上下文和奖励），并没有能力解密it. Leaving同态加密的属性，我们表明，尽管设置的复杂性，它是可能的，以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题，同时保持数据加密。
2022-03-23 cs.LG
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
AdaptEx: A Self-Service Contextual Bandit Platform
Expedia Group（亿客行集团）
本研究提出了应用于Expedia集团的自助式上下文老虎机平台AdaptEx，借助多臂老虎机算法结合访客上下文实现个性化体验，相比传统测试降本提效，可应对动态内容与持续冷启动场景。
2023-08-08 cs.AI cs.IR cs.LG
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统，了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中，我们提出了一类新的攻击：行动中毒攻击，对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案，对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法：LinUCB的建议的攻击策略的成本。我们表明，在白盒和黑盒设置，所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁，只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究离线上下文强盗问题，我们的目标是获得一个最佳的政策，使用观测数据。然而，这些数据通常包含两个缺陷：（i）未观察到一些混淆行为的变量，以及（ii）在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚，缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略，本文提出了一种新的策略学习算法CAP-Adjusted Pessimism（CAP）策略学习，该算法将奖励函数形成为积分方程组的解，建立置信度集，并由灰色系统采取悲观行动。温和的假设的数据，我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Contextual Bandit with Herding Effects: Algorithms and Recommendation Applications
Chongqing University（重庆大学）；University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对用户反馈中羊群效应导致的偏差，提出TS-Conf算法，通过后验采样平衡探索与利用，有效减轻负面影响并提升推荐准确率。
2024-08-28 cs.AI cs.IR cs.LG
Estimation Considerations in Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架，不会出现在多武装土匪，但在上下文土匪是至关重要的，在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪，整合平衡方法从因果推断文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外，我们开发的上下文强盗更简单的分配政策，利用稀疏模型估计方法从计量经济学文献和经验表明，在早期阶段，他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）；Bytedance AI Lab（字节跳动人工智能实验室）
上下文强盗算法提供了原则性的在线学习解决方案，以平衡各种应用（如推荐系统）中的开发-探索权衡。然而，传统的上下文强盗算法的学习速度往往是缓慢的，由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题，因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度，我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈（例如，新闻推荐中的文章），而且还有来自用户的关于关键术语的偶尔的会话反馈。这里，关键词可以涉及分支的子集，例如，新闻推荐中的文章类别。然后，我们设计了会话UCB算法（ConUCB），以解决会话上下文强盗中的两个挑战：（1）选择哪些关键词进行会话，（2）如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界，这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Neural Contextual Bandits without Regret
ETH Zurich（苏黎世联邦理工学院）
上下文强盗是一个丰富的模型，用于给定边信息的顺序决策，具有重要的应用，例如，在推荐系统中。我们提出了新的算法，利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题，同时考虑全连接和卷积网络。为此，我们首先分析NTK-UCB，核化的强盗优化算法采用神经正切核（NTK），并限制其遗憾的NTK最大信息增益$γ_T$，一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后，我们介绍了我们的神经网络为基础的算法NN-UCB，并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数，我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率，其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology（麻省理工学院）
我们考虑在可实现性假设下的一般（随机）上下文强盗问题，即，作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法，实现了统计上最优的遗憾，只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$，则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化，解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是，离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Contextual Bandits with Random Projection
The Chinese University of Hong Kong（香港中文大学）
具有线性收益的上下文强盗，也称为线性强盗，为解决顺序决策的实际问题提供了一个强大的替代方案，例如，在线广告。在大数据时代，上下文数据通常倾向于高维，这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在，目前大多数的Bandit算法都面临两个挑战：一是时间复杂度高，二是高维数据的遗憾上界太大。为了有效地解决这两个问题，本文提出了一种基于随机投影的上下文Bandits算法（\texttt{CBRAP}），该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的，因为它使球员选择一个手臂在一个低维空间，并放宽了稀疏性假设的常数非零组件在以前的工作。此外，我们提供了一个线性的遗憾上界的算法，这是与减少的维数。
2019-03-20 cs.LG stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI（亚马逊云科技人工智能部门）
我们证明了一个独立的实例（多）对数后悔随机上下文土匪线性回报。以前，在\cite{chu2011contextual}，一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意（adversarily选择）的背景。在本文中，我们表明，随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits（\texttt{LR-SCB}），它利用随机上下文，并执行参数估计（在$\ell_2$范数）和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作，其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的（多）对数后悔源于两个关键事实：（a）应用范数自适应算法来利用参数估计和（b）分析移位线性上下文强盗算法，表明移位导致后悔增加。我们还通过实验证明，随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
Privacy Amplification via Shuffling for Linear Contextual Bandits
Meta AI；CREST, ENSAE（国立统计与经济行政学院经济与统计研究中心）
上下文强盗算法被广泛地用于期望通过利用上下文信息来提供个性化服务的领域中，所述上下文信息可能包含需要被保护的敏感信息。受此启发，我们研究了具有差分隐私（DP）约束的上下文线性强盗问题。虽然文献集中在集中式（联合DP）或本地（本地DP）的隐私，我们认为洗牌模型的隐私，我们表明，是可能实现的隐私/实用程序之间的权衡JDP和LDP。通过利用洗牌从隐私和土匪的攻击，我们提出了一个算法的遗憾界$\widetilde{\mathcal{O}}(T^{2/3}/\varepsilon^{1/3})$，同时保证中央（联合）和本地隐私。我们的研究结果表明，它是可能的，以获得JDP和LDP之间的权衡利用洗牌模型，同时保护本地隐私。
2021-12-11 cs.LG
