Corrupt Bandits for Preserving Local Privacy
Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）
我们研究了随机多臂强盗（MAB）问题的一个变种，其中的奖励是腐败的。在这个框架中，出于在线推荐系统中的隐私保护的动机，目标是最大化（未观察到的）奖励的总和，基于通过具有已知参数的随机腐败过程对这些奖励的变换的观察。我们提供了一个下界的预期遗憾的任何强盗算法在此损坏的设置。我们设计了一个频率论算法，KLUCB-CF，和贝叶斯算法，TS-CF，并给出他们的遗憾上界。我们还提供了适当的腐败参数，以保证所需的本地隐私水平，并分析这如何影响遗憾。最后，我们提出了一些实验结果，证实了我们的分析。
2017-11-02 cs.LG stat.ML
Hawkes Process Multi-armed Bandits for Disaster Search and Rescue
Indiana University - Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
我们提出了一个新的框架整合霍克斯过程与多臂强盗算法来解决时空事件预测和检测问题时，数据可能是欠采样或空间偏差。特别是，我们引入了一个置信上限算法，利用贝叶斯空间霍克斯过程估计平衡利用地理区域的数据收集和探索地理区域的数据是未观察到之间的权衡。我们首先使用模拟数据验证我们的模型，然后使用2017年哈维飓风的服务数据调用将其应用于灾难搜索和救援问题。我们的模型在累积奖励和其他几个排名评估指标方面优于最先进的基线空间MAB算法。
2020-04-03 cs.LG stat.ML
Coordinating the Unknown Lipschitz Constant in Multiplayer Bandits
针对连续动作空间中利普希茨常数未知的协作多智能体老虎机问题，设计适配三种信息结构的算法，证明共享奖励或可观测动作可免费达成离散化一致性，否则通过抖动量化估计值达成且不增加悔的主阶成本。
2026-08-12 cs.AI cs.LG
Learning to Incentivize Perfect-Knowledge Agents with Unobserved Rewards
University of California, Berkeley（加利福尼亚大学伯克利分校）
针对主无法观测代理奖励的重复主从博弈，本文提出一种基于在线逆优化的估计器与策略，实现平方根级遗憾，并通过模拟验证其适用性。
2026-11-05 cs.AI cs.GT cs.LG
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research（IBM研究院）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中在每个决策处使用的上下文可能被破坏（“无用上下文”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置，我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同，我们能够从所有迭代中学习，即使是那些有损坏的上下文，通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
随机上下文强盗问题，它模拟探索和开发之间的权衡，有许多实际的应用，包括推荐系统，在线广告和临床试验。与许多其他机器学习算法一样，上下文强盗算法通常具有一个或多个超参数。作为一个例子，在大多数最优随机上下文强盗算法中，存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法，以执行良好。然而，在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的，因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题，我们首先提出了一个两层的强盗结构，用于自动调整探索参数，并进一步将其推广到辛迪加强盗框架，该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界，并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外，它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的，足以处理许多流行的上下文强盗算法，如LinUCB，LinTS，UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Online learning in bandits with predicted context
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Harvard University（哈佛大学）
针对真实上下文不可观测、仅有带噪声预测的上下文赌博机问题，提出首个在温和条件下具有次线性遗憾保证的在线算法，通过扩展测量误差模型到在线决策，并在合成及真实数字干预数据上验证了其有效性。
2024-03-18 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中，探索是由用户调整的参数。然而，我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数，以及所选动作的即时奖励。我们在这里提出了两个算法，使用一个强盗找到上下文强盗算法的最佳探索，我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research（摩根大通人工智能研究院）
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题，提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程，证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute（艾伦·图灵研究所）
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题，提出分层最近邻算法，可在计算遗憾项时保留任意上下文集，且兼具高计算效率。
2023-12-14 cs.LG stat.ML
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究离线上下文强盗问题，我们的目标是获得一个最佳的政策，使用观测数据。然而，这些数据通常包含两个缺陷：（i）未观察到一些混淆行为的变量，以及（ii）在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚，缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略，本文提出了一种新的策略学习算法CAP-Adjusted Pessimism（CAP）策略学习，该算法将奖励函数形成为积分方程组的解，建立置信度集，并由灰色系统采取悲观行动。温和的假设的数据，我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
上下文强盗是多臂强盗的一种形式，其中代理可以在每个时间步访问每个手臂的预测性辅助信息（称为上下文），并且已用于建模个性化新闻推荐，广告投放和其他应用。在这项工作中，我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样，目标是利用不同手臂的上下文相似性，以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪，建立相应的遗憾界，并解释这个界量化的优势，在存在高任务（手臂）相似性的学习。我们还描述了一个有效的计划，估计任务相似性的数据，并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University（爱荷华州立大学）
针对共享低维线性表示的多个随机上下文线性赌博机任务，提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法，并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong（香港中文大学）
具有线性收益的上下文强盗，也称为线性强盗，为解决顺序决策的实际问题提供了一个强大的替代方案，例如，在线广告。在大数据时代，上下文数据通常倾向于高维，这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在，目前大多数的Bandit算法都面临两个挑战：一是时间复杂度高，二是高维数据的遗憾上界太大。为了有效地解决这两个问题，本文提出了一种基于随机投影的上下文Bandits算法（\texttt{CBRAP}），该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的，因为它使球员选择一个手臂在一个低维空间，并放宽了稀疏性假设的常数非零组件在以前的工作。此外，我们提供了一个线性的遗憾上界的算法，这是与减少的维数。
2019-03-20 cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Effects of Model Misspecification on Bayesian Bandits: Case Studies in UX Optimization
Capital One（第一资本）；George Mason University（乔治梅森大学）
近年来，使用汤普森抽样的贝叶斯强盗取得了越来越多的成功。然而，现有的价值模型（奖励）在许多现实问题上都是错误的。我们证明了这一点上的用户体验优化（UXO）的问题，提供了一个新的配方作为一个不安，睡眠的强盗未观察到的混杂因素加上可选的停止。我们的案例研究显示了常见的错误指定如何导致次优奖励，我们提供了模型扩展来解决这些问题，以及科学的模型构建过程，从业者可以采用或适应解决自己独特的问题。据我们所知，这是第一个研究表明过度分散对土匪探索/利用效率的影响，将普遍的过度自信和过度自信分别与过度探索和过度探索联系起来。我们还提出了第一个模型，利用协整在一个不安的土匪，证明有限的遗憾和快速和一致的选择停止是可能的，超越简单的窗口，贴现和漂移模型。
2020-10-07 cs.AI cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem
University of Rochester（罗切斯特大学）
本文考虑了Locatelli等人最近提出的多臂阈值强盗问题-通过尽可能少的拉动（或回合）来识别预期奖励高于预定义阈值的所有手臂。虽然Locatelli等人提出的算法。[2016]在一定意义上实现了最优轮复杂度，但仍然存在未解决的问题。本文提出了一种异步并行阈值算法及其无参数版本，以提高效率和适用性。一方面，这两种算法在每轮都使用经验方差来指导拉取决策，显著提高了“最优”算法在所有手臂高阶矩有界时的轮复杂度。所提出的算法可以被证明是最优的。另一方面，大多数强盗算法假设在拉取之后可以立即观察到奖励，或者在观察到所有奖励之前不会做出下一个决定。我们提出的异步并行算法允许选择下一个拉与未观察到的奖励从早期的拉，这避免了这样一个不切实际的假设，并显着提高了识别过程。我们的理论分析证明了所提出的异步并行算法的有效性和效率。
2017-07-09 cs.LG stat.ML
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech（弗吉尼亚理工大学）；University of Buffalo（布法罗大学）
针对制造业流式数据标注成本高的问题，提出基于上下文老虎机的集成主动学习方法，通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Conservative Contextual Combinatorial Cascading Bandit
Shanghai Jiaotong University（上海交通大学）
保守机制是决策问题中一种理想的属性，它可以平衡资源的开发和利用。我们提出了新的\emph{conservative contextual combinatorial cascading bandit ($C^4$-bandit)}，级联在线学习游戏，其中包括保守的机制。在每一个时间步，学习代理被赋予一些上下文，并推荐一个项目列表，但不比基本策略差，然后通过一些停止规则观察奖励。我们设计了$C^4$ -UCB算法来解决这个问题，并证明了它的n步后悔上界的两种情况：已知的基线奖励和未知的基线奖励。在这两种情况下的后悔可以被分解为两项：（a）一般上下文组合级联强盗的上限;和（b）保守机制的后悔的常数项。作为副产品，我们还改进了保守上下文组合强盗的界。在合成数据上的实验证明了该方法的优越性，验证了理论分析的正确性。
2021-04-23 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似（即，高斯分布），这对于一般协方差矩阵的高维应用中的采样是低效的。此外，高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法，即，Langevin Monte Carlo Thompson Sampling（LMC-TS），使用马尔可夫链蒙特卡罗（MCMC）方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高，因为它只需要执行嘈杂的梯度下降更新，而无需构建拉普拉斯近似的后验分布。我们证明，该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪，即，线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验，这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Robust Contextual Linear Bandits
Amazon（亚马逊）
模型误设定是统计方法和机器学习应用中的主要考虑因素。然而，它往往被忽视的上下文土匪。本文研究了一种常见形式的错误指定，一个组间异质性，是不捕获的上下文。为了解决这个问题，我们假设异质性是由于特定于手臂的随机变量，这是可以学习的。我们称这种设置为鲁棒上下文强盗。特定于手臂的变量解释了未知的手臂间异质性，我们将它们纳入平均奖励及其不确定性的鲁棒上下文估计。我们开发了两个有效的强盗算法为我们的设置：UCB算法称为RoLinUCB和后验采样算法称为RoLinTS。我们分析了这两种算法，并将它们的$n$ -轮贝叶斯遗憾约束.我们的实验表明，RoLinTS是统计上有效的经典方法时，错误是低，更强大的错误是高时，更显着的计算效率比其天真的实现。
2022-10-26 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
我们使用代理损失，以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失，我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失，我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下，我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Semi-Parametric Contextual Bandits with Graph-Laplacian Regularization
Sookmyung Women’s University（淑明女子大学）；UNIST（蔚山科学技术院）；University of California Berkeley（加州大学伯克利分校）；Seoul National University（首尔国立大学）
非平稳性在人类行为中无处不在，在上下文强盗中解决它具有挑战性。一些作品已经通过调查半参数上下文强盗来解决这个问题，并警告说忽略非平稳性可能会损害性能。另一种普遍的人类行为是社交互动，其以社交网络或图形结构的形式变得可用。因此，基于图的上下文强盗受到了广泛的关注。在本文中，我们提出了“SemiGraphTS”，一种新的上下文的基于图的半参数奖励模型的爱普生采样算法。我们的算法是第一个提出在这种情况下。我们推导出一个上界的累积遗憾，可以表示为一个因素的倍数取决于图的结构和顺序的半参数模型没有一个图。我们通过仿真和实际数据的例子来评估所提出的和现有的算法。
2022-05-17 cs.LG stat.ML
Learning with Incomplete Context: Linear Contextual Bandits with Pretrained Imputation
Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计系）
研究如何在在线线性上下文老虎机中利用预训练模型补全缺失特征，提出PULSE-UCB算法并证明其 regret 保证。
2026-04-01 cs.LG stat.ML
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子：区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下，当前最先进的方法以次优的方式进行探索，并且需要强的“特征多样性”条件。在本文中，我们介绍了新的算法，a）探索在数据自适应的方式，和b）提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件，其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性，同时恢复两个先前的结果，在不同的分布假设下。第二种方法完全消除了分布假设，扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
Vertical Federated Linear Contextual Bandits
Tencent AI Lab（腾讯人工智能实验室）；HKUST（香港科技大学）；Tencent（腾讯）
在本文中，我们研究了一个新的问题，建立上下文土匪在垂直联邦设置，即，上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此，我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制（O3M）加密本地上下文信息，同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法，LinUCB和LinTS，并实例化两个实际的协议，在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时，很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验，我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
线性上下文强盗是一类重要的序贯决策问题，在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究，但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中，我们解决这个开放的问题，考虑线性上下文强盗（变化）无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.，[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne（数学与统计学学院墨尔本大学）
本文提出了一种基于经验似然的贝叶斯推断方法，用于在有限样本条件下对多个上下文老虎机策略进行联合分析，实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University（斯坦福大学）
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而，当奖励模型没有很好地指定，强盗算法可能会招致意想不到的遗憾，所以最近的工作集中在算法，是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法，通过恢复到一个很好的安全的政策时，有证据表明，误指定是造成遗憾的增加，以适应误指定错误。我们的算法只需要一个离线回归预言，以确保遗憾的保证，优雅地降低在平均误指定水平的措施。与先前的工作相比，我们获得了类似的遗憾保证，但我们不依赖于主算法，并且不需要更强大的预言机，如在线或约束回归预言机（例如，Foster等人（2020 a）; Krishnamurthy等人（2020））。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
Leveraging User-Triggered Supervision in Contextual Bandits
Google Research（谷歌研究院）
我们研究上下文强盗（CB）的问题，用户有时可以在给定的上下文中的最佳行动作出回应。例如，在文本预测或自动完成设置中出现这样的交互，其中简单地忽略差的建议，并且用户输入所需的文本。至关重要的是，这种额外的反馈仅在一部分上下文上由用户触发。我们开发了一个新的框架来利用这些信号，同时对它们的偏见性质保持稳健。我们还增加了标准的CB算法，以利用信号，并显示改进的遗憾保证所产生的算法在各种条件下的有益性和偏见固有的这种反馈。
2023-02-07 cs.LG stat.ML
A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）
我们研究联邦上下文线性强盗，其中$M$代理相互合作，以解决一个全球性的上下文线性强盗问题的帮助下，一个中央服务器。我们考虑异步设置，其中所有代理独立工作，一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一个简单的算法命名为\texttt{FedLinUCB}基于乐观的原则。我们证明了\texttt{FedLinUCB}的后悔受$\tilde{O}(d\sqrt{\sum_{m=1}^M T_m})$约束，通信复杂性为$\tilde{O}(dM^2)$，其中$d$是上下文向量的维数，$T_m$是第$m$个体与环境交互的总次数.据我们所知，这是第一个可证明有效的算法，允许完全异步通信的联邦上下文线性土匪，同时实现相同的遗憾保证在单代理设置。
2022-07-07 cs.LG stat.ML
