Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan（密歇根大学）
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验（例如，尖峰和平板），以模拟未知参数，并提供一个接近最佳的上限预期的累积遗憾。据我们所知，这是第一个工作，提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度，我们使用变分推断代替马尔可夫链蒙特卡罗（MCMC）来近似后验分布。大量的模拟表明，我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
A conversion theorem and minimax optimality for continuum contextual bandits
University of Oxford CMAP, Ecole Polytechnique, IP Paris（牛津大学计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CMAP, Ecole Polytechnique, IP Paris（计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CSML, Istituto Italiano di Tecnologia University College London（计算机科学与机器学习，意大利技术研究所，伦敦大学学院）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）
针对上下文连续赌博机，提出静态到上下文遗憾转换定理，并证明在多种设定下算法达到极小极大最优上下文遗憾率。
2025-10-27 cs.LG math.ST stat.ML
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Contextual Information-Directed Sampling
Deepmind（深度思维）；Columbia University（哥伦比亚大学）
信息定向采样（Information-Directed Sampling，IDS）是一种高效的强化学习算法。然而，目前还不清楚什么是正确的形式的信息比优化时，上下文信息可用。我们研究了入侵检测系统的设计，通过两个上下文强盗问题：上下文强盗与图反馈和稀疏线性上下文强盗。我们证明了上下文入侵检测系统的优势，条件入侵检测系统，并强调考虑上下文分布的重要性。主要的信息是，一个智能代理应该投资更多的行动，是有益的未来看不见的上下文，而条件IDS可能是短视的。我们进一步提出了一个计算效率的版本的上下文IDS的基础上演员批评和经验评估神经网络上下文强盗。
2022-06-09 cs.LG math.ST stat.ML
Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective
Massachusetts Institute of Technology（麻省理工学院）
在经典的多臂强盗问题，实例相关的算法实现改善性能的“简单”的问题之间的差距最好的和第二最好的手臂。类似的保证可能的上下文强盗？虽然积极的结果是已知的某些特殊情况下，有没有一般的理论特征时，以及如何实例依赖的背景土匪的遗憾界可以实现丰富的，一般类的政策。我们引入了一个家庭的复杂性措施，这是充分和必要的，以获得实例相关的遗憾界。然后，我们引入新的甲骨文高效的算法，适应的差距，只要有可能，同时也达到了最坏的情况下的极大极小率。最后，我们提供了结构性的结果，绑在一起的一些复杂性的措施，以前提出的整个上下文土匪，强化学习，和主动学习，并阐明他们的作用，在确定最佳的实例相关的遗憾。在一个大规模的实证评估中，我们发现，我们的方法往往会为具有挑战性的勘探问题提供优越的结果。将我们的重点转向具有函数逼近的强化学习，我们开发了新的具有丰富观测值的强化学习的Oracle高效算法，以获得最佳的间隙相关样本复杂度。
2020-10-07 cs.LG math.ST stat.ML
Tractable contextual bandits beyond realizability
Stanford University（斯坦福大学）
易处理的上下文强盗算法通常依赖于可实现性假设-即，真实期望奖励模型属于已知类，例如线性函数。在这项工作中，我们提出了一个听话的强盗算法，是不敏感的可实现性假设和计算减少到解决一个约束回归问题，在每个时代。当可实现性不成立时，我们的算法确保了基于可实现性的算法在可实现性下实现的相同保证，直到一个附加项，该附加项占了误指定错误。该额外项与T乘以类中最佳模型与真实模型之间的均方误差的函数成比例，其中T是时间步长的总数。我们的工作揭示了易于处理的上下文强盗的偏差方差权衡。这种权衡并没有被假设可实现性的算法所捕获，因为在这种假设下，类中存在一个估计量，该估计量达到零偏差。
2021-02-26 cs.LG math.ST stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Post-Contextual-Bandit Inference
Netflix（网飞公司）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
上下文强盗算法正在越来越多地取代电子商务、医疗保健和政策制定中的非自适应A/B测试，因为它们既可以改善研究参与者的结果，也可以增加识别好的甚至是最好的政策的机会。尽管如此，为了支持研究结束时对新干预措施的可信推断，我们仍然希望构建平均处理效应、亚组效果或新政策价值的有效置信区间。然而，由上下文强盗算法收集的数据的自适应性质使得这变得困难：标准估计不再是渐近正态分布的，并且经典的置信区间无法提供正确的覆盖。虽然这已经解决了在非上下文环境中使用稳定的估计，上下文设置提出了独特的挑战，我们在本文中首次解决。我们提出了上下文自适应双重鲁棒（CADR）估计，第一个估计的政策价值是渐近正常的上下文自适应数据收集。构造CADR的主要技术挑战是设计自适应和一致的条件标准差估计器以实现稳定。使用57个OpenML数据集进行的大量数值实验表明，基于CADR的置信区间唯一地提供了正确的覆盖率。
2021-06-01 cs.LG math.ST stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Resourceful Contextual Bandits
Google Research（谷歌研究院）；Microsoft Research（微软研究院）
我们研究的上下文土匪与资源的辅助约束，这是常见的在现实世界中的应用，如选择广告或动态定价的项目。我们设计的第一个算法来解决这些问题，处理时间以外的资源约束，并提高了一个平凡的减少非上下文的情况下。我们考虑非常一般的背景土匪（任意的政策集，例如Dudik等人。（UAI'11））和土匪与资源限制（土匪背包，Badanidiyuru等人。（FOCS'13）），并证明了一个遗憾的保证与接近最优的统计特性。
2015-07-31 cs.DS cs.GT cs.LG
From Bandits to Experts: A Tale of Domination and Independence
Tel-Aviv University（特拉维夫大学）；Università degli Studi di Milano（米兰大学）；University of Insubria（因苏布里亚大学）
我们考虑部分可观性模型的多武装土匪，介绍了Mannor和Shamir。我们的主要结果是在有向可观测性模型中的可观测图的支配数和独立数的遗憾的一个特征。我们还表明，在无向的情况下，学习者可以实现最佳的遗憾，甚至没有访问的可观察性图之前，选择一个动作。这两个结果都显示使用Exp3算法的变体上的可观测性图在一个时间有效的方式。
2013-07-17 cs.LG stat.ML
Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
Columbia University（哥伦比亚大学）
针对现有乐观算法难处理通用函数类与大上下文空间的问题，提出在策略空间构建置信界的UCCB原则，可高效处理相关场景并拓展至无限动作上下文赌博机。
2024-03-09 cs.LG math.ST stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Adversarial Rewards in Universal Learning for Contextual Bandits
MIT（麻省理工学院）；Purdue University（普渡大学）
该研究针对上下文赌博机的对抗性奖励场景，证明乐观通用学习通常不可行，给出多种对抗奖励模型下通用学习的充要条件与在线奖励的精确刻画，揭示了新的对抗性现象。
2023-06-12 cs.LG math.ST stat.ML
Transfer Learning for Contextual Multi-armed Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对协变量偏移下的非参数上下文多臂老虎机，本文提出达到极小极大遗憾的迁移学习算法，并给出可自适应未知平滑度的近最优数据驱动方法。
2024-01-25 cs.LG math.ST stat.ML
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统，了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中，我们提出了一类新的攻击：行动中毒攻击，对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案，对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法：LinUCB的建议的攻击策略的成本。我们表明，在白盒和黑盒设置，所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁，只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Estimation Considerations in Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架，不会出现在多武装土匪，但在上下文土匪是至关重要的，在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪，整合平衡方法从因果推断文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外，我们开发的上下文强盗更简单的分配政策，利用稀疏模型估计方法从计量经济学文献和经验表明，在早期阶段，他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Stationary Mixing Bandits
ENS Cachan（卡尚高等师范学校）；Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
我们研究的强盗问题，武器与固定的Φ混合过程，因此奖励是依赖的：从这种设置所产生的问题是，恢复一些独立性，忽略一些奖励的价值。正如我们将要看到的，我们要解决的强盗问题要求我们解决探索/开发/独立的权衡。为了做到这一点，我们提供了一个UCB策略，以及一个一般的遗憾分析的情况下，独立块（被忽略的奖励）的大小是固定的，我们更进一步，提供了一个算法，能够计算的独立块的大小从数据。最后，我们给出了我们的强盗问题的分析，在不安的情况下，即，在用于所有混合过程的时间计数器同时演变的情况下。
2014-06-23 cs.LG
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）；Bytedance AI Lab（字节跳动人工智能实验室）
上下文强盗算法提供了原则性的在线学习解决方案，以平衡各种应用（如推荐系统）中的开发-探索权衡。然而，传统的上下文强盗算法的学习速度往往是缓慢的，由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题，因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度，我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈（例如，新闻推荐中的文章），而且还有来自用户的关于关键术语的偶尔的会话反馈。这里，关键词可以涉及分支的子集，例如，新闻推荐中的文章类别。然后，我们设计了会话UCB算法（ConUCB），以解决会话上下文强盗中的两个挑战：（1）选择哪些关键词进行会话，（2）如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界，这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
Learning Neural Contextual Bandits Through Perturbed Rewards
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
由于表示学习的强大功能，神经上下文强盗算法表现出显着的性能改善，相对于他们的经典同行。但是，由于他们的探索必须在整个神经网络参数空间中进行，以获得接近最佳的遗憾，由此产生的计算成本是非常高的。我们在更新神经网络时扰动奖励，以消除显式探索的需要和相应的计算开销。我们证明了$\tilde{O}(\tilde{d}\sqrt{T})$遗憾上界仍然是可实现的标准规则性条件下，其中$T$是互动的轮数和$\tilde{d}$是有效维数的神经切线核矩阵。与几个基准上下文强盗算法，包括最近的两个神经上下文强盗模型的广泛比较，证明了我们提出的神经强盗算法的有效性和计算效率。
2022-03-18 cs.LG
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Encrypted Linear Contextual Bandit
Meta AI；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）
上下文强盗是一个通用的在线学习的顺序决策问题，已发现在广泛的领域，包括推荐系统，在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即，个人或群体层面的数据--以及奖励，以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中，我们介绍了一个基于同态加密{ \color{violet}，它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息（上下文和奖励），并没有能力解密it. Leaving同态加密的属性，我们表明，尽管设置的复杂性，它是可能的，以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题，同时保持数据加密。
2022-03-23 cs.LG
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Neural Contextual Bandits for Personalized Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本教程探讨上下文赌博机在个性化推荐中的应用，重点研究神经上下文赌博机及其协作变体，以缓解马太效应并处理用户异质性，同时展望大型神经模型带来的新挑战。
2023-12-21 cs.AI cs.IR cs.LG
Towards Domain Adaptive Neural Contextual Bandits
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文提出首个通用领域自适应上下文赌博机方法，通过源领域反馈学习目标领域模型，在理论上保持次线性遗憾界，并在真实数据集上超越现有最优算法。
2025-04-06 cs.AI cs.CE cs.CV
Latent Contextual Bandits and their Application to Personalized Recommendations for New Users
Carnegie Mellon University（卡内基梅隆大学）
针对新用户的个性化推荐，也被称为冷启动问题，可以被公式化为上下文强盗问题。现有的上下文强盗算法通常仅依赖于特征来捕获用户可变性。这样的方法在学习新用户的兴趣方面是低效的。在本文中，我们提出了潜在的上下文强盗。我们既考虑了为新用户利用一组学习到的潜在用户类的好处，又考虑了如何从以前的用户那里学习这些潜在类。我们表明，我们的方法实现了更好的遗憾界比现有的算法。我们还展示了我们的方法使用大型现实世界的数据集和初步的用户研究的好处。
2016-04-22 cs.AI cs.LG
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Tsetlin Machine for Solving Contextual Bandit Problems
McGill University（麦吉尔大学）；University of Agder（阿格德大学）
本文介绍了一个可解释的上下文强盗算法使用Tsetlin机，它解决了复杂的模式识别任务使用命题逻辑。建议的强盗学习算法依赖于简单的位操作，从而简化计算和解释。然后，我们提出了一种机制，执行汤普森采样与Tsetlin机，鉴于其非参数性质。我们的实证分析表明，Tsetlin机器作为一个基本的上下文强盗学习者优于其他流行的基本学习者的八个九个数据集。我们进一步分析了我们的学习者的可解释性，研究如何根据模拟上下文的命题表达式选择武器。
2022-02-04 cs.AI cs.LG cs.NE
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University（爱荷华州立大学）
针对共享低维线性表示的多个随机上下文线性赌博机任务，提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法，并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong（香港中文大学）
具有线性收益的上下文强盗，也称为线性强盗，为解决顺序决策的实际问题提供了一个强大的替代方案，例如，在线广告。在大数据时代，上下文数据通常倾向于高维，这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在，目前大多数的Bandit算法都面临两个挑战：一是时间复杂度高，二是高维数据的遗憾上界太大。为了有效地解决这两个问题，本文提出了一种基于随机投影的上下文Bandits算法（\texttt{CBRAP}），该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的，因为它使球员选择一个手臂在一个低维空间，并放宽了稀疏性假设的常数非零组件在以前的工作。此外，我们提供了一个线性的遗憾上界的算法，这是与减少的维数。
2019-03-20 cs.LG stat.ML
Data Poisoning Attacks in Contextual Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Brain（谷歌大脑）
我们研究离线数据投毒攻击上下文土匪，一类强化学习的问题，在在线推荐和自适应医疗等重要应用。我们提供了一个基于凸优化的通用攻击框架，并表明通过稍微操纵数据中的奖励，攻击者可以迫使强盗算法为目标上下文向量拉一个目标手臂。目标手臂和目标上下文向量都由攻击者选择。也就是说，攻击者可以劫持上下文强盗的行为。我们还调查了这种攻击的可行性和副作用，并确定了未来的防御方向。仿真和真实数据实验验证了算法的有效性。
2018-08-24 cs.CR cs.LG stat.ML
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Online Learning in Contextual Bandits using Gated Linear Networks
DeepMind
我们介绍了一个新的和完全在线的上下文强盗算法称为门控线性上下文强盗（GLCB）。该算法基于门控线性网络（GLN），这是一种最近推出的深度学习架构，具有非常适合在线设置的属性。利用GLN的数据相关门控特性，我们能够以有效的零算法开销来估计预测不确定性。我们经验评估GLCB相比，9国家的最先进的算法，利用深度神经网络，在一个标准的基准套件的离散和连续的上下文强盗问题。GLCB获得中位数第一位，尽管是唯一的在线方法，我们进一步支持这些结果与理论研究其收敛性能。
2020-11-20 cs.AI cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
LLMs-augmented Contextual Bandit
Rochester Institute of Technology（罗切斯特理工学院）
针对传统上下文赌博机算法难以处理复杂上下文的问题，该研究提出将大语言模型作为编码器融入上下文赌博机框架以丰富上下文表示，实验显示其在累积奖励和遗憾值上均优于传统算法，为上下文感知决策系统开辟新方向。
2023-11-03 cs.AI cs.LG
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech（弗吉尼亚理工大学）；University of Buffalo（布法罗大学）
针对制造业流式数据标注成本高的问题，提出基于上下文老虎机的集成主动学习方法，通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
