Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);University of Southern California(南加州大学)
在统计学习中,模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research(微软研究院);University of Maryland(马里兰大学);Yale University(耶鲁大学)
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲,我们的状态和证明无遗憾算法的学习,是强大的两个源之间的错位成本分布。从经验上讲,我们在大量的数据集上评估了其中的一些算法,表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.(HubSpot公司)
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模,这使得能够进行不确定性驱动的(原则性的)探索,或者通过使用ε贪婪探索策略进行非线性建模。在这里,我们提出了一个深度学习框架的上下文多武装匪徒,这是既非线性的,同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题,方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平,辍学率是学习的,而不是被认为是一个超参数。我们证明,我们的方法大大减少了两个任务(UCI蘑菇任务和赌场奇偶校验任务)相比,1)非上下文土匪,2)ε贪婪的深度上下文土匪,和3)固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology(维也纳工业大学);Microsoft Research(微软研究院)
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法,解决平均性能与最坏情况行为之间的权衡问题,并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University(斯坦福大学)
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感,特别是在存在丰富异质性或复杂结果模型的情况下,这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪,整合平衡方法的因果推理文献中的估计,使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪,并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势,平衡的上下文强盗大量的监督学习数据集和合成的例子,模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University(纽约大学);University of Arizona(亚利桑那大学);Microsoft Research(微软研究院)
我们创建了一个计算上易于处理的算法,上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作,并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
随机线性上下文强盗算法在实际中有着重要的应用,如推荐系统,在线广告,临床试验等。最近的工作表明,最佳强盗算法容易受到对抗性攻击,并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境,无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外,现有的方法都不能抵御攻击上下文。在这项工作中,我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作,而且可以在攻击上下文下工作。此外,它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证,并通过实验表明,我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai(印度理工学院孟买分校)
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性,这个问题就变得更加困难,因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下,并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策,实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Meta-Learning for Contextual Bandit Exploration
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
我们描述MELEE,一个元学习算法,学习一个良好的探索政策,在互动的上下文强盗设置。在这里,算法必须基于上下文采取行动,并且仅基于来自所采取的行动的奖励信号进行学习,从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡,它可以模拟上下文强盗设置。基于这些模拟,MELEE使用模仿学习策略来学习一个好的探索策略,然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集,在大多数情况下,它优于替代品,特别是当奖励的差异很大。最后,我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University(爱荷华州立大学)
针对共享低维线性表示的多个随机上下文线性赌博机任务,提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法,并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong(香港中文大学)
具有线性收益的上下文强盗,也称为线性强盗,为解决顺序决策的实际问题提供了一个强大的替代方案,例如,在线广告。在大数据时代,上下文数据通常倾向于高维,这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在,目前大多数的Bandit算法都面临两个挑战:一是时间复杂度高,二是高维数据的遗憾上界太大。为了有效地解决这两个问题,本文提出了一种基于随机投影的上下文Bandits算法(\texttt{CBRAP}),该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的,因为它使球员选择一个手臂在一个低维空间,并放宽了稀疏性假设的常数非零组件在以前的工作。此外,我们提供了一个线性的遗憾上界的算法,这是与减少的维数。
2019-03-20 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University(纽约大学);Microsoft Research(微软研究院);Inria(法国国家信息与自动化研究所)
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功,但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法,重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现,最近的方法(福斯特等人,2018)在不确定性下使用乐观主义总体效果最好。令人惊讶的是,第二个是一个简单的贪婪基线,它只通过上下文的多样性进行隐式探索,然后是在线封面的变体(Agarwal et al.,2014年),这往往是更保守的,但鲁棒的问题规格的设计。一路上,我们还评估了上下文强盗算法设计的各个组成部分,如损失估计。总体而言,这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University(北京大学);Haihua Institute for Frontier Information Technology(海华前沿信息技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究了局部差分私有(LDP)强盗学习。首先,我们提出了简单的黑盒约简框架,可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架,我们可以改进以前的最佳结果为私人强盗学习与一点反馈,如私人强盗凸优化,并获得第一个结果为强盗凸优化(BCO)与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比,以前专门设计的和相对较弱的差分私有(DP)上下文无关的强盗算法。进一步地,我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits,它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$,并被证明是近最优的。请注意,鉴于DP上下文线性强盗的现有$Ω(T)$下限(Shariff & Sheffe,2018),我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research(联发科研究院);Cornell University(康奈尔大学)
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比,我们考虑了一组通用的平滑激活函数。在这种更一般的设置下,(i)我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界,(ii)我们提出了一个算法,可证明次线性遗憾界,也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣,以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech(弗吉尼亚理工大学);University of Buffalo(布法罗大学)
针对制造业流式数据标注成本高的问题,提出基于上下文老虎机的集成主动学习方法,通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
上下文强盗是多臂强盗的一种形式,其中代理可以在每个时间步访问每个手臂的预测性辅助信息(称为上下文),并且已用于建模个性化新闻推荐,广告投放和其他应用。在这项工作中,我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样,目标是利用不同手臂的上下文相似性,以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪,建立相应的遗憾界,并解释这个界量化的优势,在存在高任务(手臂)相似性的学习。我们还描述了一个有效的计划,估计任务相似性的数据,并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research(摩根大通人工智能研究院)
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题,提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程,证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute(艾伦·图灵研究所)
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题,提出分层最近邻算法,可在计算遗憾项时保留任意上下文集,且兼具高计算效率。
2023-12-14 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology(加州理工学院);Purdue University(普渡大学)
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似(即,高斯分布),这对于一般协方差矩阵的高维应用中的采样是低效的。此外,高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法,即,Langevin Monte Carlo Thompson Sampling(LMC-TS),使用马尔可夫链蒙特卡罗(MCMC)方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高,因为它只需要执行嘈杂的梯度下降更新,而无需构建拉普拉斯近似的后验分布。我们证明,该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪,即,线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验,这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样,其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法,性能分析可在全上下文观测下使用。然而,很少有人知道的问题,上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪,并建立理论性能保证。从技术上讲,我们表明,所提出的政策尺度的遗憾与时间和武器的数量,线性的维度。此外,我们建立学习未知参数的速率,并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology(KTH皇家理工学院)
本文基于提升信息比框架分析 Thompson Sampling,将遗憾界从二值奖励推广至 sub-Gaussian 奖励,并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute(刘易斯-西格勒研究所);Princeton University(普林斯顿大学);Department of Computer Science(计算机科学系);Center for Statistics and Machine Learning(统计与机器学习中心)
我们解决的问题,后悔最小化的逻辑上下文土匪,其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下,以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程,我们提出了一个改进版本的汤普森采样,贝叶斯制定的上下文土匪接近最佳的性能。我们的方法,Polya-Gamma增强汤普森采样(PG-TS),实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间,并利用了高回报的武器,迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法,并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Semi-Parametric Contextual Bandits with Graph-Laplacian Regularization
Sookmyung Women’s University(淑明女子大学);UNIST(蔚山科学技术院);University of California Berkeley(加州大学伯克利分校);Seoul National University(首尔国立大学)
非平稳性在人类行为中无处不在,在上下文强盗中解决它具有挑战性。一些作品已经通过调查半参数上下文强盗来解决这个问题,并警告说忽略非平稳性可能会损害性能。另一种普遍的人类行为是社交互动,其以社交网络或图形结构的形式变得可用。因此,基于图的上下文强盗受到了广泛的关注。在本文中,我们提出了“SemiGraphTS”,一种新的上下文的基于图的半参数奖励模型的爱普生采样算法。我们的算法是第一个提出在这种情况下。我们推导出一个上界的累积遗憾,可以表示为一个因素的倍数取决于图的结构和顺序的半参数模型没有一个图。我们通过仿真和实际数据的例子来评估所提出的和现有的算法。
2022-05-17 cs.LG stat.ML
Robust Contextual Linear Bandits
Amazon(亚马逊)
模型误设定是统计方法和机器学习应用中的主要考虑因素。然而,它往往被忽视的上下文土匪。本文研究了一种常见形式的错误指定,一个组间异质性,是不捕获的上下文。为了解决这个问题,我们假设异质性是由于特定于手臂的随机变量,这是可以学习的。我们称这种设置为鲁棒上下文强盗。特定于手臂的变量解释了未知的手臂间异质性,我们将它们纳入平均奖励及其不确定性的鲁棒上下文估计。我们开发了两个有效的强盗算法为我们的设置:UCB算法称为RoLinUCB和后验采样算法称为RoLinTS。我们分析了这两种算法,并将它们的$n$ -轮贝叶斯遗憾约束.我们的实验表明,RoLinTS是统计上有效的经典方法时,错误是低,更强大的错误是高时,更显着的计算效率比其天真的实现。
2022-10-26 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
设计有效的通用上下文强盗算法,与大-甚至连续-动作空间将有助于应用到重要的场景,如信息检索,推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的,但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念,上下文土匪,占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法,自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾,例如,在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估,证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Vertical Federated Linear Contextual Bandits
Tencent AI Lab(腾讯人工智能实验室);HKUST(香港科技大学);Tencent(腾讯)
在本文中,我们研究了一个新的问题,建立上下文土匪在垂直联邦设置,即,上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此,我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制(O3M)加密本地上下文信息,同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法,LinUCB和LinTS,并实例化两个实际的协议,在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时,很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验,我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University(西北大学);University of Florida(佛罗里达大学);New York University(纽约大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
线性上下文强盗是一类重要的序贯决策问题,在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究,但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中,我们解决这个开放的问题,考虑线性上下文强盗(变化)无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.,[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne(数学与统计学学院墨尔本大学)
本文提出了一种基于经验似然的贝叶斯推断方法,用于在有限样本条件下对多个上下文老虎机策略进行联合分析,实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
Universal and data-adaptive algorithms for model selection in linear contextual bandits
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
背景强盗问题中的模型选择问题是关于固定模型类的后悔最小化问题的一个重要补充。我们考虑模型选择的最简单的非平凡的例子:区分一个简单的多臂强盗问题的线性上下文强盗问题。即使在这种情况下,当前最先进的方法以次优的方式进行探索,并且需要强的“特征多样性”条件。在本文中,我们介绍了新的算法,a)探索在数据自适应的方式,和b)提供模型选择保证的形式$\mathcal{O}(d^α T^{1- α})$没有任何功能多样性的条件,其中$d$表示的维度的线性模型和$T$表示轮的总数。第一个算法享有“两全其美”的属性,同时恢复两个先前的结果,在不同的分布假设下。第二种方法完全消除了分布假设,扩大了易于处理的模型选择范围。我们的方法扩展到嵌套的线性上下文土匪模型选择在一些额外的假设。
2022-06-30 cs.LG stat.ML
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化(ERM)的甲骨文每轮,其中d是行动的数量。该方法使用未标记的数据,使问题的计算简单。当ERM问题本身是计算困难的,我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后,我们证明了当全信息监督在线学习问题具有非平凡的后悔保证(和有效)时,上下文强盗问题的对抗版本是可学习的(和有效的)。
2016-02-06 cs.LG stat.ML
Conformal Off-Policy Prediction in Contextual Bandits
University of Oxford(牛津大学);Bytedance AI Lab(字节跳动人工智能实验室)
大多数情境强盗的非政策评估方法都集中在政策的预期结果上,这是通过最好的方法来估计的,最多只能提供渐近保证。然而,在许多应用中,期望可能不是性能的最佳度量,因为它没有捕获结果的可变性。此外,特别是在安全关键设置中,可能需要比渐近正确性更强的保证。为了解决这些局限性,我们考虑一种新的应用共形预测的上下文土匪。鉴于收集的数据下的行为政策,我们提出了\emph{conformal off-policy prediction}(COPP),它可以输出可靠的预测区间的结果下,一个新的目标政策。我们提供了理论上的有限样本保证,而不做任何额外的假设超出标准的上下文土匪设置,并实证证明了实用的COPP与现有的方法相比,对合成和真实世界的数据。
2022-10-26 cs.LG stat.ML
Optimal and Adaptive Off-policy Evaluation in Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们研究了在情境强盗模型下的非策略评估问题-利用一个目标策略收集的数据来估计另一个策略的价值。我们认为一般(不可知)设置没有访问一致的奖励模型,并建立一个最小最大下限的均方误差(MSE)。的界限是匹配常数的逆倾向评分(IPS)和双稳健(DR)估计。这突出了不可知背景设置的困难,与多武装匪徒和上下文匪徒相比,可以访问一致的奖励模型,其中IPS是次优的。然后,我们提出了一种新的估计器,它可以使用现有的奖励模型(不一定是一致的),以实现更好的偏差-方差权衡比IPS和DR。我们证明了其MSE的上限,并证明了它的好处,经验上的不同收集的数据集,往往优于以前的工作的数量级。
2017-11-11 cs.LG stat.ML
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research(微软研究院);University of Arizona(亚利桑那大学)
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界:一个竞争的平滑版本的政策类下没有连续性假设,而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为,并且在没有调优的情况下,对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数,建立一个价格的自适应性和推导出最佳的自适应算法,不需要额外的信息。
2020-06-20 cs.LG stat.ML
Delay-Adaptive Learning in Generalized Linear Contextual Bandits
Stanford University(斯坦福大学);University of Oxford(牛津大学);New York University(纽约大学)
在本文中,我们考虑在线学习在广义线性上下文土匪奖励不立即观察。相反,决策者只有在一些延迟之后才能获得奖励,这是未知的和随机的。我们研究了两个著名的算法适应这种延迟设置的性能:一个基于置信上限,和其他基于汤普森采样。我们描述了这两种算法应如何适应处理延迟的修改,并给出两种算法的遗憾表征。我们的研究结果有助于建立这两种算法可以是强大的延迟,从而帮助澄清和重申这两种算法,这是广泛部署在现代推荐引擎的经验成功的上下文土匪文学的广阔前景。
2020-03-11 cs.LG stat.ML
Exploration via Feature Perturbation in Contextual Bandits
Seoul National University(首尔国立大学)
提出特征扰动探索策略,通过向特征输入注入随机性实现上下文赌博机的有效探索,达到近乎最优遗憾界且计算高效,可扩展至神经网络模型。
2025-10-24 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院)
我们研究随机上下文强盗问题,其中奖励是从一个未知的函数与加性噪声。除了有界性之外,没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB,它利用深度神经网络的表示能力,并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限(UCB)。我们证明,在标准假设下,NeuralUCB实现$\tilde O(\sqrt{T})$遗憾,其中$T$是轮数。据我们所知,它是第一个基于神经网络的上下文强盗算法,具有接近最优的遗憾保证。我们还表明,该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Neural Contextual Bandits with Deep Representation and Shallow Exploration
University of California, Los Angeles(加州大学洛杉矶分校);DeepMind(深度思考(DeepMind));Adobe Research(Adobe研究院)
我们研究了一般类的上下文强盗,其中每个上下文动作对与原始特征向量相关联,但奖励生成函数是未知的。我们提出了一种新的学习算法,该算法使用深度ReLU神经网络的最后一个隐藏层(深度表示学习)来转换原始特征向量,并使用上置信界(UCB)方法来探索最后一个线性层(浅层探索)。我们证明了在标准假设下,我们提出的算法实现了$\tilde{O}(\sqrt{T})$有限时间后悔,其中$T$是学习时间范围。与现有的神经上下文强盗算法相比,我们的方法是计算效率更高,因为它只需要探索在深层神经网络的最后一层。
2020-12-03 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis(加州大学戴维斯分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了具有预算和时间约束的上下文强盗问题,时间和预算约束使得上下文之间的耦合性大大增加,从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力,我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的,我们开发了一个近似的预言,称为自适应线性规划(ALP),它实现了近最优,只需要预期的回报排序。有了这些非常理想的功能,然后我们结合ALP与置信上限(UCB)的方法在一般情况下,预期的回报是未知的{ \it先验}。我们表明,建议的UCB-ALP算法实现对数遗憾,除了某些边界的情况下。此外,我们设计的算法,并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知,这是第一个工作,表明如何实现对数遗憾的约束上下文土匪。此外,这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS;Tilburg University(蒂尔堡大学)
在过去的十年中,上下文强盗算法已经越来越受欢迎,因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时,到目前为止,令人惊讶的是,研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距,本文介绍了面向对象的R包“上下文”:一个用户友好的,并通过其面向对象的结构,易于扩展的框架,便于并行比较上下文和上下文无关的土匪政策,通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University(斯坦福大学)
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而,当奖励模型没有很好地指定,强盗算法可能会招致意想不到的遗憾,所以最近的工作集中在算法,是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法,通过恢复到一个很好的安全的政策时,有证据表明,误指定是造成遗憾的增加,以适应误指定错误。我们的算法只需要一个离线回归预言,以确保遗憾的保证,优雅地降低在平均误指定水平的措施。与先前的工作相比,我们获得了类似的遗憾保证,但我们不依赖于主算法,并且不需要更强大的预言机,如在线或约束回归预言机(例如,Foster等人(2020 a); Krishnamurthy等人(2020))。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
Sparse Nonparametric Contextual Bandits
Universitat Pompeu Fabra(庞培法布拉大学);Delft University of Technology(代尔夫特理工大学);Bocconi University(博科尼大学)
该研究探讨了非参数上下文老虎机中稀疏性对最小最大遗憾的影响,提出了一种新的减少方法并展示了Feel-Good Thompson采样算法的改进性能。
2026-01-15 cs.LG stat.ML
Latency-Aware Contextual Bandit: Application to Cryo-EM Data Collection
Life Sciences Institute(生命科学研究院);Department of Statistics(统计学系);Department of Biological Chemistry(生物化学系)
本文提出延迟感知上下文赌博机框架及COAF算法,平衡探索、利用与延迟,在冷冻电镜数据采集等场景中高效最大化累积奖励。
2025-10-09 cs.LG stat.ML
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的神经探索策略的上下文土匪,EE-Net,不同于标准的UCB为基础的和TS为基础的方法。背景多武装匪徒已经研究了几十年,有各种应用。为了解决强盗中的开发-探索权衡,有三种主要技术:ε贪婪,汤普森采样(TS)和上置信界(UCB)。在最近的文献中,线性上下文强盗采用岭回归估计奖励函数,并将其与TS或UCB策略相结合进行探索。然而,这一系列的工作明确地假设奖励是基于手臂向量的线性函数,这在现实世界的数据集中可能不是真的。为了克服这一挑战,人们提出了一系列神经强盗算法,其中使用神经网络来学习底层奖励函数,并采用TS或UCB进行探索。我们提出了一种新的基于神经元的探索策略“EE-Net”,而不是像以前的方法那样计算一个基于大偏差的统计边界进行探索。除了使用一个神经网络(Exploitation网络)来学习奖励函数外,EE-Net还使用另一个神经网络(Exploration网络)来自适应地学习与当前估计的探索奖励相比的潜在收益。然后,一个决策者被构造来组合来自开采和勘探网络的输出。我们证明了EE-Net可以实现$\mathcal{O}(\sqrt{T\log T})$遗憾,并表明EE-Net在现实世界的数据集上优于现有的线性和神经上下文强盗基线。
2022-05-12 cs.LG stat.ML
Rate-adaptive model selection over a collection of black-box contextual bandit algorithms
我们考虑在随机上下文强盗设置的模型选择任务。假设我们给出一个基本上下文强盗算法的集合。我们提供了一个主算法,它结合了它们,并实现了相同的性能,直到常数,作为最好的基础算法,如果它已经运行自己。我们的方法只需要每个算法满足一个高概率的遗憾界。我们的过程非常简单,基本上做了以下几点:对于一个精心选择的概率序列$(p_{t})_{t\geq 1}$,在每一轮$t$中,它要么随机选择跟随哪个候选人(概率为$p_{t}$),要么在每个候选人的相同内部样本大小下比较每个候选人的累积奖励,并选择赢得比较的那个(概率为$1-p_{t}$)。据我们所知,我们的建议是第一个速率自适应的一般黑盒上下文强盗算法的集合:它实现了相同的遗憾率作为最佳候选。我们证明了我们的方法与仿真研究的有效性。
2020-06-05 cs.LG stat.ML
Semiparametric Contextual Bandits
Microsoft Research NYC(微软研究院纽约);Microsoft Research New England(微软新英格兰研究院)
本文研究了半参数上下文强盗,线性随机强盗问题的推广,其中行动的奖励被建模为一个线性函数的已知动作功能混淆的非线性动作独立项。当线性函数是$d$维时,我们设计了新算法,使$\tilde{O}(d\sqrt{T})$对$T$轮感到遗憾,这与更简单的无混淆情况的最佳已知界限相匹配,并改进了Greenewald等人的最新结果。(2017)。通过实证评估,我们表明,我们的算法优于以前的方法时,有非线性混杂效应的奖励。从技术上讲,我们的算法使用了一个新的奖励估计的启发双重鲁棒的方法和我们的证明需要新的集中不等式的自归一化鞅。
2018-07-16 cs.LG stat.ML
Lessons from Contextual Bandit Learning in a Customer Support Bot
Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门);Microsoft Research(微软研究院);Microsoft(微软公司)
在这项工作中,我们描述了实际的经验教训,我们已经成功地使用上下文强盗(CB),以提高关键业务指标的微软虚拟代理客户支持。虽然我们目前的用例主要集中在单步的嵌入式学习(RL),并且主要集中在自然语言处理和信息检索领域,但我们相信我们的许多发现都是普遍适用的。通过本文,我们强调了RL从业者在类似类型的应用程序中可能遇到的某些问题,并为这些挑战提供了实用的解决方案。
2019-06-18 cs.LG stat.ML
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA(密歇根大学电气工程与计算机科学系);Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学航空航天工程系);Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学气候与空间工程系)
经典的多臂强盗(MAB)问题有两种变体,近年来受到机器学习研究者的广泛关注:情境强盗和简单后悔最小化。情境强盗是MAB的一个子类,在每个时间步,学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中,我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式,我们假设学习者经历了一个纯粹的探索阶段,在每一个动作后收到反馈,但没有遗憾,然后是一个纯粹的开发阶段,其中遗憾的是,但没有反馈。我们提出了上下文间隙算法,并建立了简单的遗憾,即性能保证,在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序,以自适应传感器选择星际航天器的磁场估计,并证明了相当大的改进算法,旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Fairness in Learning: Classic and Contextual Bandits
University of Pennsylvania(宾夕法尼亚大学)
介绍了多臂强盗问题中公平性的研究。我们的公平性定义可以解释为,在给定的申请者(比如大学入学申请或抵押贷款申请)中,尽管学习算法对真实收益存在不确定性,但绝不能让较差的申请者优先于较好的申请者。我们证明了两种类型的结果。首先,在经典随机土匪问题的重要特殊情况下(即,其中没有上下文),我们提供了一个可证明的公平算法的基础上“链式”的置信区间,并提供了一个累积的遗憾界与立方依赖的武器数量。我们进一步表明,任何公平的算法必须有这样的依赖。当与标准非公平算法(如UCB)的遗憾界限相结合时,这证明了公平和不公平学习之间的强分离,这扩展到一般的上下文情况。在一般的情况下,我们证明了公平性和KWIK(知道它所知道的)学习模型之间的紧密联系:一类函数的KWIK算法可以转化为可证明公平的上下文强盗算法,反之,任何公平的上下文强盗算法可以转化为KWIK学习算法。这种紧密的联系使我们能够为线性上下文强盗问题提供一个可证明的公平算法,该问题具有对维度的多项式依赖性,并显示(对于不同类别的函数)公平和非公平学习算法之间的最坏情况下的后悔指数差距
2016-11-07 cs.LG stat.ML
Contextual Bandit with Adaptive Feature Extraction
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑一个在线的决策设置被称为上下文强盗问题,并提出了一种方法,提高上下文强盗性能,使用自适应特征提取(表示学习)基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练(我们的方法可以利用它,但标准的上下文强盗不能利用它),然后在线选择和调整编码器。具体而言,给定输入样本(上下文),所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量,并基于上下文和反馈(奖励)更新强盗和编码函数。我们在各种数据集上的实验,以及在几种静态和非静态环境中的实验,表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
A Practical Method for Solving Contextual Bandit Problems Using Decision Trees
Columbia University(哥伦比亚大学);Moloco(Moloco公司);University of New Hampshire(新罕布什尔大学)
对于上下文多臂强盗问题,已经提出了许多具有强理论保证的有效算法。然而,在实践中应用这些算法可能很困难,因为它们需要领域专业知识来构建适当的功能并调整其参数。我们提出了一种新的方法,上下文强盗问题,是简单,实用,可以应用很少或没有领域的专业知识。我们的算法依赖于决策树模型的上下文奖励关系。决策树是非参数的、可解释的,并且在没有手工制作的特征的情况下工作得很好。为了指导探索-开发权衡,我们使用了一种自举方法,该方法将Thompson采样抽象为非贝叶斯设置。我们还讨论了几个计算算法,并证明了我们的方法在几个数据集上的性能。
2018-10-19 cs.LG stat.ML
Leveraging User-Triggered Supervision in Contextual Bandits
Google Research(谷歌研究院)
我们研究上下文强盗(CB)的问题,用户有时可以在给定的上下文中的最佳行动作出回应。例如,在文本预测或自动完成设置中出现这样的交互,其中简单地忽略差的建议,并且用户输入所需的文本。至关重要的是,这种额外的反馈仅在一部分上下文上由用户触发。我们开发了一个新的框架来利用这些信号,同时对它们的偏见性质保持稳健。我们还增加了标准的CB算法,以利用信号,并显示改进的遗憾保证所产生的算法在各种条件下的有益性和偏见固有的这种反馈。
2023-02-07 cs.LG stat.ML