Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Privacy Amplification via Shuffling for Linear Contextual Bandits
Meta AI；CREST, ENSAE（国立统计与经济行政学院经济与统计研究中心）
上下文强盗算法被广泛地用于期望通过利用上下文信息来提供个性化服务的领域中，所述上下文信息可能包含需要被保护的敏感信息。受此启发，我们研究了具有差分隐私（DP）约束的上下文线性强盗问题。虽然文献集中在集中式（联合DP）或本地（本地DP）的隐私，我们认为洗牌模型的隐私，我们表明，是可能实现的隐私/实用程序之间的权衡JDP和LDP。通过利用洗牌从隐私和土匪的攻击，我们提出了一个算法的遗憾界$\widetilde{\mathcal{O}}(T^{2/3}/\varepsilon^{1/3})$，同时保证中央（联合）和本地隐私。我们的研究结果表明，它是可能的，以获得JDP和LDP之间的权衡利用洗牌模型，同时保护本地隐私。
2021-12-11 cs.LG
Random Forest for the Contextual Bandit Problem - extended version
Orange Labs（Orange实验室）
为了解决上下文强盗问题，我们提出了一个在线的随机森林算法。所提出的算法的分析是基于样本的复杂性需要找到最佳的决策树桩。然后，决策树被组装成一个随机的决策树集合，即Bandit Forest。我们表明，该算法是最佳的对数因子。样本复杂度对上下文变量数量的依赖性是对数的。该算法的计算成本相对于时间范围是线性的。这些分析结果允许所提出的算法在实际应用中是有效的，其中要处理的事件的数量是巨大的，并且其中我们期望从大集合中选择的一些上下文变量与奖励具有潜在的非线性依赖关系。在实验中做了说明的理论分析，强盗森林获得了可喜的结果相比，国家的最先进的算法。
2016-09-15 cs.LG
Selectively Contextual Bandits
Princeton University（普林斯顿大学）；Netflix（奈飞）；Spotify（声田）
上下文强盗广泛用于工业个性化系统中。这些在线学习框架在存在随着观察到的用户的上下文特征而变化的治疗效果的情况下学习治疗分配策略。虽然个性化创建了反映个人兴趣的丰富的用户体验，但在社区中共享体验的好处是能够参与时代精神。这些好处是通过网络效应出现的，而不是在通常用于评估土匪的后悔指标中获得的。为了平衡这些需求，我们提出了一种新的在线学习算法，该算法保留了个性化的好处，同时增加了用户之间的治疗共性。我们的方法选择性地插入上下文强盗算法和上下文无关的多臂强盗之间，并利用上下文信息的治疗决策，只有当它承诺显着的收益。除了帮助个性化系统的用户在个性化和共享之间平衡他们的体验之外，通过使其选择性地依赖于上下文来简化治疗分配策略可以在某些情况下帮助提高学习率。我们使用公共数据集在分类设置中评估了我们的方法，并显示了混合策略的好处。
2022-05-09 cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Contextual Multinomial Logit Bandits with General Value Functions
University of Southern California（南加州大学）
针对上下文MNL bandits仅限于线性价值函数的局限，本文提出使用包含真实值的一般价值函数类，在随机和对抗设置下设计多套算法，在线性情况下首次消除对指数级问题常数的依赖并具备计算高效等优势。
2024-02-18 cs.LG
Robust Actor-Critic Contextual Bandit for Mobile Health (mHealth) Interventions
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们认为行动者-评论家的上下文强盗的移动健康（mHealth）干预。最先进的决策算法通常会忽略数据集中的离群值。在本文中，我们提出了一种新的强大的上下文强盗方法的mHealth。与现有的上下文Bandit方法相比，该方法在不含离群点的数据集上既能减少离群点的影响，又能寻求相似的解，从而达到了一个矛盾的目标。这种性能依赖于两种技术：（1）capped- $\ell_{2}$范数;（2）设置阈值超参数的可靠方法，其灵感来自统计学中最基本的技术之一。虽然该模型是非凸和不可微的，我们提出了一个有效的加权算法，并提供坚实的理论分析。我们证明了所提出的算法可以找到足够的减少点后，每次迭代，并最终收敛后，有限次迭代。在两个数据集上的大量实验结果表明，我们的方法可以实现几乎相同的结果相比，国家的最先进的上下文强盗方法在数据集上没有离群值，并显着优于那些国家的最先进的方法在严重噪声数据集与离群值在各种参数设置。
2018-02-27 cs.LG
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Uncertainty of Joint Neural Contextual Bandit
Meta AI
针对大规模推荐系统中联合神经上下文赌博机超参数调优复杂的问题，本文从理论和实验两方面分析了模型不确定性，发现其与隐藏层大小和训练数据量呈特定比例关系，从而有效指导模型调优。
2024-06-04 cs.LG
Contextual Bandit Applications in Customer Support Bot
Microsoft Azure AI（微软 Azure AI）
虚拟支持代理作为企业提供更好、更方便的客户服务的一种方式越来越受欢迎。这个领域的一些挑战包括模糊的用户查询以及不断变化的支持主题和用户行为（非平稳性）。但是，我们可以访问用户提供的部分反馈（点击、调查和其他事件），这些反馈可用于改善用户体验。适应性学习技术，如上下文强盗，是一个自然适合这个问题的设置。在本文中，我们讨论了现实世界的实现上下文强盗（CB）的微软虚拟代理。它包括基于神经线性土匪（NLB）的意图消歧和基于多武装土匪（MAB）集合的上下文建议。我们的解决方案已经部署到生产环境中，并改进了Microsoft虚拟代理的关键业务指标，A/B实验证实了这一点。结果包括问题解决率的相对增加超过12%，以及升级到人类操作员的相对减少超过4%。虽然我们目前的用例集中在支持机器人的意图消歧和上下文推荐上，但我们相信我们的方法可以扩展到其他领域。
2021-12-06 cs.LG
Neural Exploitation and Exploration of Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出EE-Net，一种基于神经网络的情境老虎机利用与探索策略，通过实例方法提供O(√T)的 regret 上界，并在真实数据集上优于线性及神经情境老虎机基线。
2026-04-05 cs.LG
Multi-facet Contextual Bandits: A Neural Network Perspective
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mayo Clinic Arizona（亚利桑那州梅奥诊所）
上下文多臂强盗已被证明是一个有效的工具，在推荐系统。在本文中，我们研究了一个新的问题，多方面的土匪涉及一组土匪，每个用户的需求从一个独特的方面。在每一轮中，对于给定的用户，我们需要从每个强盗中选择一只手臂，这样所有手臂的组合才能最大化最终的奖励。这个问题可以立即应用于电子商务，医疗保健等，为了解决这个问题，我们提出了一种新的算法，名为MuFasa，它利用组装神经网络，共同学习多个土匪的底层奖励功能。它估计了一个置信上限（UCB）与预期的回报，以平衡开发和勘探。在适度的假设下，我们给出了MuFasa的后悔分析。它可以达到接近最优的$\widetilde{ \mathcal{O}}((K+1)\sqrt{T})$后悔界限，其中$K$是强盗的数量，$T$是玩过的回合数。此外，我们进行了大量的实验，以表明MuFasa在真实世界的数据集上优于强基线。
2021-06-30 cs.LG
Hierarchical Contextual Uplift Bandits for Catalog Personalization
Dream11
本文提出层次化上下文提升老虎机框架，通过动态调整上下文粒度和整合提升建模原理，提升幻想体育平台的推荐质量与用户满意度。
2026-01-20 cs.LG
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia（弗吉尼亚大学）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展，但现有的解决方案仅限于简单的模型，如多臂强盗和线性强盗，这妨碍了它们的实际效用。在本文中，而不是假设存在一个线性奖励映射的功能，预期的回报，我们考虑非线性奖励映射，让代理合作搜索再生核希尔伯特空间（RKHS）。这在通信效率方面带来了重大挑战，因为分布式内核学习需要传输原始数据，导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题，该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
Leveraging Good Representations in Linear Contextual Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook AI研究院）
线性上下文Bandit文献主要集中在针对给定表示的高效学习算法的设计上。然而，上下文强盗问题可能允许多个线性表示，每个线性表示具有直接影响学习算法的遗憾的不同特征。特别是，最近的工作表明，存在“好”的表示，不断的问题依赖的遗憾可以实现。在本文中，我们首先提供了一个系统的分析，在文献中提出的不同定义的“好”表示。然后，我们提出了一种新的选择算法，能够适应最好的表示在一组$M$候选人。我们表明，遗憾确实是从来没有比最好的表示（高达$\ln M$因素）运行LinUCB获得的遗憾。其结果是，我们的算法实现了不断的遗憾，每当一个“好”的表示是在集合中。此外，我们表明，该算法仍然可以通过隐式地构建一个“好”的表示，即使没有一个初始表示是“好”的实现不断的遗憾。最后，我们实证验证我们的理论研究结果在一些标准的上下文强盗问题。
2021-04-08 cs.LG
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Fair Algorithms for Infinite and Contextual Bandits
University of Pennsylvania（宾夕法尼亚大学）
我们研究线性强盗问题中的公平性。从Joseph et al. [2016]中引入的精英公平的概念开始，我们对一个更一般的问题进行了更精细的分析，通过对可用选择的数量和结构以及选择的数量进行更少的建模假设，实现了更好的性能保证。我们还分析了以前未研究的问题，在无限线性强盗问题的公平性，获得实例相关的遗憾的上界以及下界证明这种实例依赖是必要的。其结果是一个在线线性环境中的精英公平框架，它比当前的艺术水平更强大，更普遍，更现实。
2017-06-29 cs.LG
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
Institute of Child Health, University College London（伦敦大学学院儿童健康研究所）；Strive Health Ltd.（奋进健康有限公司）；National Institute for Health Research（国家卫生研究院）；University College London, Biomedical Research Council（伦敦大学学院生物医学研究委员会）；Great Ormond Street Hospital（大奥蒙德街医院）；McGill University（麦吉尔大学）
研究上下文博弈离策略评估，提出核加权重要性采样估计器Kernel-WIS，它结合普通加权重要性采样有界性与普通重要性采样线性，渐近一致且优于基线方法，尤其在行为策略错误指定等复杂情况。
2026-08-05 cs.LG
Make the Minority Great Again: First-Order Regret Bound for Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
在线学习中的后悔界限将玩家的表现与$L^*$进行比较，后者是具有固定策略的事后最佳表现。通常，这种界限与时间范围$T$的平方根成比例。更精确的一阶后悔界限的概念用缩放的$\sqrt{L^*}$代替了它，它可能比$\sqrt{T}$小得多。众所周知，标准算法的小变量在完全信息和多臂强盗设置下满足一阶后悔界。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire提出了一个问题，即现有技术似乎不足以获得上下文强盗问题的一阶后悔界限。在本文中，我们解决了这个开放的问题，提出了一个新的战略的基础上扩大政策空间。
2018-02-09 cs.LG
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Latent Contextual Bandits and their Application to Personalized Recommendations for New Users
Carnegie Mellon University（卡内基梅隆大学）
针对新用户的个性化推荐，也被称为冷启动问题，可以被公式化为上下文强盗问题。现有的上下文强盗算法通常仅依赖于特征来捕获用户可变性。这样的方法在学习新用户的兴趣方面是低效的。在本文中，我们提出了潜在的上下文强盗。我们既考虑了为新用户利用一组学习到的潜在用户类的好处，又考虑了如何从以前的用户那里学习这些潜在类。我们表明，我们的方法实现了更好的遗憾界比现有的算法。我们还展示了我们的方法使用大型现实世界的数据集和初步的用户研究的好处。
2016-04-22 cs.AI cs.LG
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong（香港中文大学）
具有线性收益的上下文强盗，也称为线性强盗，为解决顺序决策的实际问题提供了一个强大的替代方案，例如，在线广告。在大数据时代，上下文数据通常倾向于高维，这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在，目前大多数的Bandit算法都面临两个挑战：一是时间复杂度高，二是高维数据的遗憾上界太大。为了有效地解决这两个问题，本文提出了一种基于随机投影的上下文Bandits算法（\texttt{CBRAP}），该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的，因为它使球员选择一个手臂在一个低维空间，并放宽了稀疏性假设的常数非零组件在以前的工作。此外，我们提供了一个线性的遗憾上界的算法，这是与减少的维数。
2019-03-20 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
LLMs-augmented Contextual Bandit
Rochester Institute of Technology（罗切斯特理工学院）
针对传统上下文赌博机算法难以处理复杂上下文的问题，该研究提出将大语言模型作为编码器融入上下文赌博机框架以丰富上下文表示，实验显示其在累积奖励和遗憾值上均优于传统算法，为上下文感知决策系统开辟新方向。
2023-11-03 cs.AI cs.LG
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech（弗吉尼亚理工大学）；University of Buffalo（布法罗大学）
针对制造业流式数据标注成本高的问题，提出基于上下文老虎机的集成主动学习方法，通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
上下文强盗是多臂强盗的一种形式，其中代理可以在每个时间步访问每个手臂的预测性辅助信息（称为上下文），并且已用于建模个性化新闻推荐，广告投放和其他应用。在这项工作中，我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样，目标是利用不同手臂的上下文相似性，以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪，建立相应的遗憾界，并解释这个界量化的优势，在存在高任务（手臂）相似性的学习。我们还描述了一个有效的计划，估计任务相似性的数据，并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute（艾伦·图灵研究所）
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题，提出分层最近邻算法，可在计算遗憾项时保留任意上下文集，且兼具高计算效率。
2023-12-14 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似（即，高斯分布），这对于一般协方差矩阵的高维应用中的采样是低效的。此外，高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法，即，Langevin Monte Carlo Thompson Sampling（LMC-TS），使用马尔可夫链蒙特卡罗（MCMC）方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高，因为它只需要执行嘈杂的梯度下降更新，而无需构建拉普拉斯近似的后验分布。我们证明，该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪，即，线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验，这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Regularized OFU: an Efficient UCB Estimator forNon-linear Contextual Bandit
Microsoft Research, Asia（微软亚洲研究院）；Tsinghua University（清华大学）
平衡勘探与开发是情境强盗的基本问题。EE权衡的一个强有力的原则是面对不确定性的乐观主义（OFU），其中代理根据奖励的置信上限（UCB）采取行动。OFU已经实现了（近）最佳的遗憾界限的线性/内核上下文强盗。然而，对于非线性复杂任务，如以深度神经网络作为奖励函数的上下文强盗，如何推导出高效的EE权衡方法，目前还不清楚。本文提出了一种新的OFU算法--正则化OFU（ROFU）。在ROFU中，我们通过一个可微函数来度量奖励的不确定性，并通过求解一个正则化优化问题来计算置信上界。我们证明了，对于多臂强盗、核上下文强盗和神经正切核强盗，ROFU在一定的不确定性测度下达到了（近）最优后悔界，这从理论上证明了它在EE权衡上的有效性.重要的是，ROFU允许一个非常有效的基于梯度的优化器的实现，它很容易扩展到神经正切核之外的一般深度神经网络模型，与以前的OFU方法形成鲜明对比.实验结果表明，ROFU算法在各种环境下都能很好地解决背景强盗问题。
2021-06-29 cs.AI cs.LG
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Estimation Considerations in Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架，不会出现在多武装土匪，但在上下文土匪是至关重要的，在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪，整合平衡方法从因果推断文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外，我们开发的上下文强盗更简单的分配政策，利用稀疏模型估计方法从计量经济学文献和经验表明，在早期阶段，他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
