Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）；Bytedance AI Lab（字节跳动人工智能实验室）
上下文强盗算法提供了原则性的在线学习解决方案，以平衡各种应用（如推荐系统）中的开发-探索权衡。然而，传统的上下文强盗算法的学习速度往往是缓慢的，由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题，因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度，我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈（例如，新闻推荐中的文章），而且还有来自用户的关于关键术语的偶尔的会话反馈。这里，关键词可以涉及分支的子集，例如，新闻推荐中的文章类别。然后，我们设计了会话UCB算法（ConUCB），以解决会话上下文强盗中的两个挑战：（1）选择哪些关键词进行会话，（2）如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界，这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Neural Contextual Bandits for Personalized Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本教程探讨上下文赌博机在个性化推荐中的应用，重点研究神经上下文赌博机及其协作变体，以缓解马太效应并处理用户异质性，同时展望大型神经模型带来的新挑战。
2023-12-21 cs.AI cs.IR cs.LG
Simulated Contextual Bandits for Personalization Tasks from Recommendation Datasets
Skoltech（斯科尔科沃科学技术学院）
我们提出了一种方法，用于从MovieLens，Netflix，Last.fm，Million Song等推荐数据集生成用于个性化任务的模拟上下文强盗环境，这允许基于真实数据开发个性化环境，以反映真实世界用户交互的细微差别。所获得的环境可用于开发解决个性化任务、算法基准测试、模型仿真等的方法。我们用MovieLens和IMDb数据集上的数值例子证明了我们的方法。
2022-12-17 cs.AI cs.IR cs.LG
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
Learning Neural Contextual Bandits Through Perturbed Rewards
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
由于表示学习的强大功能，神经上下文强盗算法表现出显着的性能改善，相对于他们的经典同行。但是，由于他们的探索必须在整个神经网络参数空间中进行，以获得接近最佳的遗憾，由此产生的计算成本是非常高的。我们在更新神经网络时扰动奖励，以消除显式探索的需要和相应的计算开销。我们证明了$\tilde{O}(\tilde{d}\sqrt{T})$遗憾上界仍然是可实现的标准规则性条件下，其中$T$是互动的轮数和$\tilde{d}$是有效维数的神经切线核矩阵。与几个基准上下文强盗算法，包括最近的两个神经上下文强盗模型的广泛比较，证明了我们提出的神经强盗算法的有效性和计算效率。
2022-03-18 cs.LG
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Encrypted Linear Contextual Bandit
Meta AI；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）
上下文强盗是一个通用的在线学习的顺序决策问题，已发现在广泛的领域，包括推荐系统，在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即，个人或群体层面的数据--以及奖励，以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中，我们介绍了一个基于同态加密{ \color{violet}，它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息（上下文和奖励），并没有能力解密it. Leaving同态加密的属性，我们表明，尽管设置的复杂性，它是可能的，以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题，同时保持数据加密。
2022-03-23 cs.LG
AdaptEx: A Self-Service Contextual Bandit Platform
Expedia Group（亿客行集团）
本研究提出了应用于Expedia集团的自助式上下文老虎机平台AdaptEx，借助多臂老虎机算法结合访客上下文实现个性化体验，相比传统测试降本提效，可应对动态内容与持续冷启动场景。
2023-08-08 cs.AI cs.IR cs.LG
Contextual Bandit with Herding Effects: Algorithms and Recommendation Applications
Chongqing University（重庆大学）；University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对用户反馈中羊群效应导致的偏差，提出TS-Conf算法，通过后验采样平衡探索与利用，有效减轻负面影响并提升推荐准确率。
2024-08-28 cs.AI cs.IR cs.LG
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Privacy Amplification via Shuffling for Linear Contextual Bandits
Meta AI；CREST, ENSAE（国立统计与经济行政学院经济与统计研究中心）
上下文强盗算法被广泛地用于期望通过利用上下文信息来提供个性化服务的领域中，所述上下文信息可能包含需要被保护的敏感信息。受此启发，我们研究了具有差分隐私（DP）约束的上下文线性强盗问题。虽然文献集中在集中式（联合DP）或本地（本地DP）的隐私，我们认为洗牌模型的隐私，我们表明，是可能实现的隐私/实用程序之间的权衡JDP和LDP。通过利用洗牌从隐私和土匪的攻击，我们提出了一个算法的遗憾界$\widetilde{\mathcal{O}}(T^{2/3}/\varepsilon^{1/3})$，同时保证中央（联合）和本地隐私。我们的研究结果表明，它是可能的，以获得JDP和LDP之间的权衡利用洗牌模型，同时保护本地隐私。
2021-12-11 cs.LG
On the Robustness of Epoch-Greedy in Multi-Agent Contextual Bandit Mechanisms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文研究激励、上下文与对抗性点击破坏并存的多臂 bandit 机制，证明扩展后的 $ε$-greedy 可同时应对策略性臂和数据破坏，且性能随破坏量线性退化。
2023-07-15 cs.IR cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Random Forest for the Contextual Bandit Problem - extended version
Orange Labs（Orange实验室）
为了解决上下文强盗问题，我们提出了一个在线的随机森林算法。所提出的算法的分析是基于样本的复杂性需要找到最佳的决策树桩。然后，决策树被组装成一个随机的决策树集合，即Bandit Forest。我们表明，该算法是最佳的对数因子。样本复杂度对上下文变量数量的依赖性是对数的。该算法的计算成本相对于时间范围是线性的。这些分析结果允许所提出的算法在实际应用中是有效的，其中要处理的事件的数量是巨大的，并且其中我们期望从大集合中选择的一些上下文变量与奖励具有潜在的非线性依赖关系。在实验中做了说明的理论分析，强盗森林获得了可喜的结果相比，国家的最先进的算法。
2016-09-15 cs.LG
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Selectively Contextual Bandits
Princeton University（普林斯顿大学）；Netflix（奈飞）；Spotify（声田）
上下文强盗广泛用于工业个性化系统中。这些在线学习框架在存在随着观察到的用户的上下文特征而变化的治疗效果的情况下学习治疗分配策略。虽然个性化创建了反映个人兴趣的丰富的用户体验，但在社区中共享体验的好处是能够参与时代精神。这些好处是通过网络效应出现的，而不是在通常用于评估土匪的后悔指标中获得的。为了平衡这些需求，我们提出了一种新的在线学习算法，该算法保留了个性化的好处，同时增加了用户之间的治疗共性。我们的方法选择性地插入上下文强盗算法和上下文无关的多臂强盗之间，并利用上下文信息的治疗决策，只有当它承诺显着的收益。除了帮助个性化系统的用户在个性化和共享之间平衡他们的体验之外，通过使其选择性地依赖于上下文来简化治疗分配策略可以在某些情况下帮助提高学习率。我们使用公共数据集在分类设置中评估了我们的方法，并显示了混合策略的好处。
2022-05-09 cs.LG
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Contextual Bandit with Adaptive Feature Extraction
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个在线的决策设置被称为上下文强盗问题，并提出了一种方法，提高上下文强盗性能，使用自适应特征提取（表示学习）基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练（我们的方法可以利用它，但标准的上下文强盗不能利用它），然后在线选择和调整编码器。具体而言，给定输入样本（上下文），所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量，并基于上下文和反馈（奖励）更新强盗和编码函数。我们在各种数据集上的实验，以及在几种静态和非静态环境中的实验，表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Latent Contextual Bandits and their Application to Personalized Recommendations for New Users
Carnegie Mellon University（卡内基梅隆大学）
针对新用户的个性化推荐，也被称为冷启动问题，可以被公式化为上下文强盗问题。现有的上下文强盗算法通常仅依赖于特征来捕获用户可变性。这样的方法在学习新用户的兴趣方面是低效的。在本文中，我们提出了潜在的上下文强盗。我们既考虑了为新用户利用一组学习到的潜在用户类的好处，又考虑了如何从以前的用户那里学习这些潜在类。我们表明，我们的方法实现了更好的遗憾界比现有的算法。我们还展示了我们的方法使用大型现实世界的数据集和初步的用户研究的好处。
2016-04-22 cs.AI cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Estimation Considerations in Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架，不会出现在多武装土匪，但在上下文土匪是至关重要的，在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪，整合平衡方法从因果推断文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外，我们开发的上下文强盗更简单的分配政策，利用稀疏模型估计方法从计量经济学文献和经验表明，在早期阶段，他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统，了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中，我们提出了一类新的攻击：行动中毒攻击，对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案，对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法：LinUCB的建议的攻击策略的成本。我们表明，在白盒和黑盒设置，所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁，只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Ranking In Generalized Linear Bandits
University of Oxford（牛津大学）
研究广义线性bandit中的排序问题，考虑位置和物品依赖性对奖励的影响，设计了UCB和Thompson Sampling算法，推广现有研究并连接图论。
2024-01-01 cs.IR cs.LG math.OC
Contextual Bandits with Random Projection
The Chinese University of Hong Kong（香港中文大学）
具有线性收益的上下文强盗，也称为线性强盗，为解决顺序决策的实际问题提供了一个强大的替代方案，例如，在线广告。在大数据时代，上下文数据通常倾向于高维，这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在，目前大多数的Bandit算法都面临两个挑战：一是时间复杂度高，二是高维数据的遗憾上界太大。为了有效地解决这两个问题，本文提出了一种基于随机投影的上下文Bandits算法（\texttt{CBRAP}），该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的，因为它使球员选择一个手臂在一个低维空间，并放宽了稀疏性假设的常数非零组件在以前的工作。此外，我们提供了一个线性的遗憾上界的算法，这是与减少的维数。
2019-03-20 cs.LG stat.ML
Contextual Multinomial Logit Bandits with General Value Functions
University of Southern California（南加州大学）
针对上下文MNL bandits仅限于线性价值函数的局限，本文提出使用包含真实值的一般价值函数类，在随机和对抗设置下设计多套算法，在线性情况下首次消除对指数级问题常数的依赖并具备计算高效等优势。
2024-02-18 cs.LG
Robust Actor-Critic Contextual Bandit for Mobile Health (mHealth) Interventions
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们认为行动者-评论家的上下文强盗的移动健康（mHealth）干预。最先进的决策算法通常会忽略数据集中的离群值。在本文中，我们提出了一种新的强大的上下文强盗方法的mHealth。与现有的上下文Bandit方法相比，该方法在不含离群点的数据集上既能减少离群点的影响，又能寻求相似的解，从而达到了一个矛盾的目标。这种性能依赖于两种技术：（1）capped- $\ell_{2}$范数;（2）设置阈值超参数的可靠方法，其灵感来自统计学中最基本的技术之一。虽然该模型是非凸和不可微的，我们提出了一个有效的加权算法，并提供坚实的理论分析。我们证明了所提出的算法可以找到足够的减少点后，每次迭代，并最终收敛后，有限次迭代。在两个数据集上的大量实验结果表明，我们的方法可以实现几乎相同的结果相比，国家的最先进的上下文强盗方法在数据集上没有离群值，并显着优于那些国家的最先进的方法在严重噪声数据集与离群值在各种参数设置。
2018-02-27 cs.LG
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Thompson Sampling in Dynamic Systems for Contextual Bandit Problems
University of California, Irvine（加州大学欧文分校）
考虑时变动力系统中具有丰富结构特征的多臂强盗问题。对于非线性动力学模型，我们提出了基于拉普拉斯近似的后验分布的近似推断。对于上下文强盗问题，基于参数的潜在后验分布，采用汤普森采样。更具体地说，我们介绍了折扣衰减对以前的样本的影响，并分析了不同的衰减率与潜在的样本动态。因此，探索和开发是自适应权衡根据系统中的动态。
2013-10-17 cs.LG
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
LLMs-augmented Contextual Bandit
Rochester Institute of Technology（罗切斯特理工学院）
针对传统上下文赌博机算法难以处理复杂上下文的问题，该研究提出将大语言模型作为编码器融入上下文赌博机框架以丰富上下文表示，实验显示其在累积奖励和遗憾值上均优于传统算法，为上下文感知决策系统开辟新方向。
2023-11-03 cs.AI cs.LG
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech（弗吉尼亚理工大学）；University of Buffalo（布法罗大学）
针对制造业流式数据标注成本高的问题，提出基于上下文老虎机的集成主动学习方法，通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Uncertainty of Joint Neural Contextual Bandit
Meta AI
针对大规模推荐系统中联合神经上下文赌博机超参数调优复杂的问题，本文从理论和实验两方面分析了模型不确定性，发现其与隐藏层大小和训练数据量呈特定比例关系，从而有效指导模型调优。
2024-06-04 cs.LG
Multi-Task Learning for Contextual Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
上下文强盗是多臂强盗的一种形式，其中代理可以在每个时间步访问每个手臂的预测性辅助信息（称为上下文），并且已用于建模个性化新闻推荐，广告投放和其他应用。在这项工作中，我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样，目标是利用不同手臂的上下文相似性，以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪，建立相应的遗憾界，并解释这个界量化的优势，在存在高任务（手臂）相似性的学习。我们还描述了一个有效的计划，估计任务相似性的数据，并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Tsetlin Machine for Solving Contextual Bandit Problems
McGill University（麦吉尔大学）；University of Agder（阿格德大学）
本文介绍了一个可解释的上下文强盗算法使用Tsetlin机，它解决了复杂的模式识别任务使用命题逻辑。建议的强盗学习算法依赖于简单的位操作，从而简化计算和解释。然后，我们提出了一种机制，执行汤普森采样与Tsetlin机，鉴于其非参数性质。我们的实证分析表明，Tsetlin机器作为一个基本的上下文强盗学习者优于其他流行的基本学习者的八个九个数据集。我们进一步分析了我们的学习者的可解释性，研究如何根据模拟上下文的命题表达式选择武器。
2022-02-04 cs.AI cs.LG cs.NE
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology（麻省理工学院）
我们考虑在可实现性假设下的一般（随机）上下文强盗问题，即，作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法，实现了统计上最优的遗憾，只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$，则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化，解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是，离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research Cambridge（微软研究院剑桥分院）
大多数学习排序研究都假设不同文档的效用是独立的，这导致学习的排序函数返回冗余的结果。少数几种避免这种情况的方法缺乏理论基础，或者无法扩展。我们提出了一个学习排名配方，优化满意的用户的分数，与几个可扩展的算法，明确考虑到文档的相似性和排名的上下文。我们的公式是来自文献的两个多臂强盗模型的非平凡的共同推广：“排名强盗”（Radlinski等人，ICML 2008）和“Lipschitz bandits”（Kleinberg等人，STOC 2008）。我们提出了这种方法的理论依据，以及一个接近最佳的算法。我们的评估增加了优化，提高了经验性能，并表明我们的算法比以前的方法更快地学习数量级。
2012-09-01 cs.DS cs.LG
Contextual Bandit Applications in Customer Support Bot
Microsoft Azure AI（微软 Azure AI）
虚拟支持代理作为企业提供更好、更方便的客户服务的一种方式越来越受欢迎。这个领域的一些挑战包括模糊的用户查询以及不断变化的支持主题和用户行为（非平稳性）。但是，我们可以访问用户提供的部分反馈（点击、调查和其他事件），这些反馈可用于改善用户体验。适应性学习技术，如上下文强盗，是一个自然适合这个问题的设置。在本文中，我们讨论了现实世界的实现上下文强盗（CB）的微软虚拟代理。它包括基于神经线性土匪（NLB）的意图消歧和基于多武装土匪（MAB）集合的上下文建议。我们的解决方案已经部署到生产环境中，并改进了Microsoft虚拟代理的关键业务指标，A/B实验证实了这一点。结果包括问题解决率的相对增加超过12%，以及升级到人类操作员的相对减少超过4%。虽然我们目前的用例集中在支持机器人的意图消歧和上下文推荐上，但我们相信我们的方法可以扩展到其他领域。
2021-12-06 cs.LG
