Application of Multi-Armed Bandits to Model-assisted designs for Dose-Finding Clinical Trials
我们考虑将多臂强盗应用于剂量探索临床试验的模型辅助设计。多武装土匪是非常简单和强大的方法,以确定行动,以最大限度地提高奖励在有限的试验次数。在多武装匪徒中,我们首先考虑使用汤普森采样,该采样基于来自后验分布的随机样本来确定行动。在小样本量下,如剂量探索试验中,由于后验分布的尾部较重,随机样本的变异性太大,我们还考虑了正则化Thompson抽样和贪婪算法的应用。贪婪算法基于后验均值确定剂量。此外,我们还提出了一种方法来确定剂量的基础上的后验中位数。我们评估我们提出的设计的性能,通过模拟研究的六种情况。
2022-01-14 stat.ME
Diffusion Models Meet Contextual Bandits
Criteo AI Lab(Criteo人工智能实验室);CREST(CREST研究所);ENSAE(ENSAE学院);IP Paris(IP巴黎研究所)
针对上下文老虎机在线决策的效率难题,提出以预训练扩散模型为先验捕捉动作依赖、搭配高效后验近似算法的方案,经实验验证在多种场景下有效且通用。
2025-10-28 cs.AI cs.LG stat.ML
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出并研究机会主义的背景土匪-一个特殊的情况下,背景土匪的勘探成本在不同的环境条件下,如网络负载或回报变化的建议。当探索成本低时,拉次优手臂的实际遗憾也低(例如,尝试次优推荐)。因此,直观地说,勘探成本相对较低时,我们可以多勘探,勘探成本相对较高时,我们可以多开采。受这种直觉的启发,对于具有线性收益的机会主义上下文强盗,我们提出了一种自适应置信上限算法(AdaLinUCB)来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O((log T)^2),并且比传统的LinUCB算法具有更小的系数.此外,基于合成和真实世界的数据集,我们表明,AdaLinUCB显着优于其他上下文的强盗算法,在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校)
随机上下文强盗问题,它模拟探索和开发之间的权衡,有许多实际的应用,包括推荐系统,在线广告和临床试验。与许多其他机器学习算法一样,上下文强盗算法通常具有一个或多个超参数。作为一个例子,在大多数最优随机上下文强盗算法中,存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法,以执行良好。然而,在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的,因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题,我们首先提出了一个两层的强盗结构,用于自动调整探索参数,并进一步将其推广到辛迪加强盗框架,该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界,并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外,它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的,足以处理许多流行的上下文强盗算法,如LinUCB,LinTS,UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Contextual Bandits with Sparse Data in Web setting
Stockholms universitet(斯德哥尔摩大学)
本文是一个范围研究,以确定当前的方法用于处理稀疏数据与上下文土匪在Web设置。该领域是高度当前和最先进的方法被确定。对2017-2020年进行了调查,确定了19篇方法文章和2篇综述文章。五类方法进行了描述,很容易选择如何解决稀疏数据使用上下文强盗的方法可用于修改的具体设置的关注。此外,每种方法都有多种技术可供选择,用于未来的评估。还提到了每一条所涉及的问题领域。在Web设置中使用上下文强盗稀疏数据问题的整体更新的理解。所确定的方法是政策评估(离线和在线),混合方法,模型表示(集群和深层神经网络),降维和模拟。
2021-05-06 cs.AI cs.LG stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种归约框架,将随机上下文线性赌博机问题转化为线性赌博机问题求解,在上下文分布已知或未知时均能取得近最优遗憾界,并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley(加州大学伯克利分校)
我们考虑随机线性(多臂)上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法,同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权,而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤,对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Online learning with Corrupted context: Corrupted Contextual Bandits
IBM Research(IBM研究院)
我们考虑上下文强盗问题的一个新变体(即,具有决策者可用的边信息或上下文的多臂强盗),其中在每个决策处使用的上下文可能被破坏(“无用上下文”)。这个新的问题是由某些在线设置,包括临床试验和广告推荐应用程序的动机。为了解决腐败的上下文设置,我们建议结合标准的上下文强盗的方法与经典的多臂强盗机制。与标准的上下文Bandit方法不同,我们能够从所有迭代中学习,即使是那些有损坏的上下文,通过改进每个arm.Promising的期望值的计算在几个现实生活中的数据集上获得了经验结果。
2020-06-26 cs.LG stat.ML
Provably Optimal Algorithms for Generalized Linear Contextual Bandits
Microsoft Research(微软研究院);Yale University(耶鲁大学)
从新闻推荐到广告,再到网络搜索,上下文强盗被广泛应用于互联网服务中。广义线性模型(特别是逻辑回归)在许多奖励为二元的应用中表现出比线性模型更强的性能。然而,迄今为止,对语境强盗的理论分析大多是线性强盗。在这项工作中,我们提出了一个基于置信上限的算法广义线性上下文土匪,实现了$\tilde{O}(\sqrt{dT})$遗憾$T$轮$d$维特征向量。这个遗憾匹配极小极大下限,直到对数项,并通过$\sqrt{d}$因子改进了先前的最佳结果,假设臂数是固定的。在我们的分析中的一个关键组成部分是建立一个新的,尖锐的有限样本的广义线性模型的最大似然估计的置信区间,这可能是独立的利益。我们还分析了一个更简单的置信上限算法,这是在实践中有用的,并证明它有一定的情况下,最佳遗憾。
2017-06-18 cs.AI cs.LG stat.ML
Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis(加州大学戴维斯分校)
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统,了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中,我们提出了一类新的攻击:行动中毒攻击,对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案,对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法:LinUCB的建议的攻击策略的成本。我们表明,在白盒和黑盒设置,所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁,只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS;Tilburg University(蒂尔堡大学)
在过去的十年中,上下文强盗算法已经越来越受欢迎,因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时,到目前为止,令人惊讶的是,研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距,本文介绍了面向对象的R包“上下文”:一个用户友好的,并通过其面向对象的结构,易于扩展的框架,便于并行比较上下文和上下文无关的土匪政策,通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下,使用二进制分类算法,如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的,而另一些则依赖于其他形式的随机性,从而产生比以前的作品更具可扩展性的方法,并且能够与任何类型的分类算法一起工作。特别是,自适应贪心算法表现出了很大的潜力,在许多情况下,实现了更好的性能比置信上限和汤普森采样策略,代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Improving Offline Contextual Bandits with Distributional Robustness
Criteo AI Lab(科韬人工智能实验室)
本文扩展了分布式鲁棒优化(DRO)方法离线上下文土匪。具体来说,我们利用这个框架,介绍了一个凸的反事实风险最小化原则的重新制定。除了依赖于凸规划,我们的方法是兼容的随机最优化,因此可以很容易地适应大数据制度。我们的方法依赖于通过DRO框架的离线上下文土匪的渐近置信区间的建设。通过利用已知的稳健估计的渐近结果,我们还展示了如何自动校准这样的置信区间,这反过来又消除了超参数选择的负担,政策优化。我们提出了初步的实证结果支持我们的方法的有效性。
2020-11-13 cs.AI cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Strasbourg University(斯特拉斯堡大学);CNRS(法国国家科学研究中心)
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中,探索是由用户调整的参数。然而,我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数,以及所选动作的即时奖励。我们在这里提出了两个算法,使用一个强盗找到上下文强盗算法的最佳探索,我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);University of Southern California(南加州大学)
在统计学习中,模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Estimation Considerations in Contextual Bandits
Stanford University(斯坦福大学)
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感,特别是在存在丰富异质性或复杂结果模型的情况下,这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架,不会出现在多武装土匪,但在上下文土匪是至关重要的,在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪,整合平衡方法从因果推断文献中的估计,使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外,我们开发的上下文强盗更简单的分配政策,利用稀疏模型估计方法从计量经济学文献和经验表明,在早期阶段,他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology(麻省理工学院)
我们考虑在可实现性假设下的一般(随机)上下文强盗问题,即,作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法,实现了统计上最优的遗憾,只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$,则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化,解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是,离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong(香港中文大学);Chongqing University(重庆大学);Bytedance AI Lab(字节跳动人工智能实验室)
上下文强盗算法提供了原则性的在线学习解决方案,以平衡各种应用(如推荐系统)中的开发-探索权衡。然而,传统的上下文强盗算法的学习速度往往是缓慢的,由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题,因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度,我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈(例如,新闻推荐中的文章),而且还有来自用户的关于关键术语的偶尔的会话反馈。这里,关键词可以涉及分支的子集,例如,新闻推荐中的文章类别。然后,我们设计了会话UCB算法(ConUCB),以解决会话上下文强盗中的两个挑战:(1)选择哪些关键词进行会话,(2)如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界,这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI(亚马逊云科技人工智能部门)
我们证明了一个独立的实例(多)对数后悔随机上下文土匪线性回报。以前,在\cite{chu2011contextual},一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意(adversarily选择)的背景。在本文中,我们表明,随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits(\texttt{LR-SCB}),它利用随机上下文,并执行参数估计(在$\ell_2$范数)和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作,其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的(多)对数后悔源于两个关键事实:(a)应用范数自适应算法来利用参数估计和(b)分析移位线性上下文强盗算法,表明移位导致后悔增加。我们还通过实验证明,随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research(微软研究院);University of Maryland(马里兰大学);Yale University(耶鲁大学)
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲,我们的状态和证明无遗憾算法的学习,是强大的两个源之间的错位成本分布。从经验上讲,我们在大量的数据集上评估了其中的一些算法,表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Flexible and Efficient Contextual Bandits with Heterogeneous Treatment Effect Oracles
Stanford University(斯坦福大学)
上下文强盗算法通常估计奖励模型以通知决策。然而,真正的奖励可能包含与决策无关的独立于行动的冗余。我们发现,估计任何解释行动之间奖励差异的函数,即治疗效果,都是更有效的数据。出于这一观察,最近的工作基于甲骨文的土匪算法的基础上,我们提供了第一个减少上下文土匪通用异构治疗效果估计,我们设计了一个简单的和计算效率高的算法,基于此减少。我们的理论和实验结果表明,异质性的治疗效果估计在上下文土匪提供了实际的优势,奖励估计,包括更有效的模型估计和更大的灵活性,以模型误指定。
2023-02-24 cs.LG math.ST stat.ME
Deep Contextual Multi-armed Bandits
HubSpot, Inc.(HubSpot公司)
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模,这使得能够进行不确定性驱动的(原则性的)探索,或者通过使用ε贪婪探索策略进行非线性建模。在这里,我们提出了一个深度学习框架的上下文多武装匪徒,这是既非线性的,同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题,方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平,辍学率是学习的,而不是被认为是一个超参数。我们证明,我们的方法大大减少了两个任务(UCI蘑菇任务和赌场奇偶校验任务)相比,1)非上下文土匪,2)ε贪婪的深度上下文土匪,和3)固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine(加利福尼亚大学欧文分校);University of Miami(迈阿密大学)
针对华法林剂量个体差异大且错误剂量风险高的问题,利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估,构建个性化剂量策略,在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology(维也纳工业大学);Microsoft Research(微软研究院)
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法,解决平均性能与最坏情况行为之间的权衡问题,并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Multi-armed Bandit Models for the Optimal Design of Clinical Trials: Benefits and Challenges
多臂强盗问题(MABPs)是一种特殊类型的最优控制问题,非常适合在各种背景下的不确定性下建模资源分配。自从第一次出版的最佳解决方案的经典MABP的动态索引规则,强盗文学迅速多样化,并成为一个活跃的研究课题。在这些文献中,使用强盗模型来优化设计临床试验成为一个典型的激励应用,但很少有由此产生的理论被用于临床试验的实际设计和分析。为此,我们回顾了两个MABP决策理论的方法,在临床试验中的治疗的最佳分配:无限地平线贝叶斯伯努利MABP和有限地平线的变体。这些模型具有不同的理论属性,并导致在临床试验设计背景下单独的分配规则。我们评估他们的表现相比,其他分配规则,包括固定随机化。我们的研究结果表明,强盗的方法提供了显着的优势,在分配更多的患者更好的治疗,和严重的局限性,在其产生的统计功效。我们提出了一种新的基于Bandit的患者分配规则,克服了低功耗的问题,从而消除了在实践中使用的潜在障碍。
2015-07-29 stat.ME
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University(耶鲁大学);Northwestern University(西北大学)
我们研究离线上下文强盗问题,我们的目标是获得一个最佳的政策,使用观测数据。然而,这些数据通常包含两个缺陷:(i)未观察到一些混淆行为的变量,以及(ii)在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚,缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略,本文提出了一种新的策略学习算法CAP-Adjusted Pessimism(CAP)策略学习,该算法将奖励函数形成为积分方程组的解,建立置信度集,并由灰色系统采取悲观行动。温和的假设的数据,我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University(斯坦福大学)
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感,特别是在存在丰富异质性或复杂结果模型的情况下,这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪,整合平衡方法的因果推理文献中的估计,使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪,并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势,平衡的上下文强盗大量的监督学习数据集和合成的例子,模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University(纽约大学);University of Arizona(亚利桑那大学);Microsoft Research(微软研究院)
我们创建了一个计算上易于处理的算法,上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作,并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Neural Contextual Bandits without Regret
ETH Zurich(苏黎世联邦理工学院)
上下文强盗是一个丰富的模型,用于给定边信息的顺序决策,具有重要的应用,例如,在推荐系统中。我们提出了新的算法,利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题,同时考虑全连接和卷积网络。为此,我们首先分析NTK-UCB,核化的强盗优化算法采用神经正切核(NTK),并限制其遗憾的NTK最大信息增益$γ_T$,一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后,我们介绍了我们的神经网络为基础的算法NN-UCB,并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数,我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率,其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
Data Poisoning Attacks in Contextual Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Brain(谷歌大脑)
我们研究离线数据投毒攻击上下文土匪,一类强化学习的问题,在在线推荐和自适应医疗等重要应用。我们提供了一个基于凸优化的通用攻击框架,并表明通过稍微操纵数据中的奖励,攻击者可以迫使强盗算法为目标上下文向量拉一个目标手臂。目标手臂和目标上下文向量都由攻击者选择。也就是说,攻击者可以劫持上下文强盗的行为。我们还调查了这种攻击的可行性和副作用,并确定了未来的防御方向。仿真和真实数据实验验证了算法的有效性。
2018-08-24 cs.CR cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
随机线性上下文强盗算法在实际中有着重要的应用,如推荐系统,在线广告,临床试验等。最近的工作表明,最佳强盗算法容易受到对抗性攻击,并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境,无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外,现有的方法都不能抵御攻击上下文。在这项工作中,我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作,而且可以在攻击上下文下工作。此外,它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证,并通过实验表明,我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai(印度理工学院孟买分校)
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性,这个问题就变得更加困难,因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下,并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策,实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology(麻省理工学院)
上下文强盗的一个根本挑战是开发灵活的通用算法,其计算要求不低于经典的监督学习任务,如分类和回归。基于回归的算法已经显示出有希望的经验成功,但理论保证仍然难以捉摸,除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法,在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般,潜在的非参数函数类,并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比,我们的算法不需要超出可实现性的分布假设,并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Meta-Learning for Contextual Bandit Exploration
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
我们描述MELEE,一个元学习算法,学习一个良好的探索政策,在互动的上下文强盗设置。在这里,算法必须基于上下文采取行动,并且仅基于来自所采取的行动的奖励信号进行学习,从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡,它可以模拟上下文强盗设置。基于这些模拟,MELEE使用模仿学习策略来学习一个好的探索策略,然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集,在大多数情况下,它优于替代品,特别是当奖励的差异很大。最后,我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University(爱荷华州立大学)
针对共享低维线性表示的多个随机上下文线性赌博机任务,提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法,并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook(脸书)
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标(奖励)和一个约束的奖励相对于基线政策。然而,许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法,用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后,我们将我们的方法应用于现实世界的视频转码问题,并提供了一个实用的方法,导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong(香港中文大学)
具有线性收益的上下文强盗,也称为线性强盗,为解决顺序决策的实际问题提供了一个强大的替代方案,例如,在线广告。在大数据时代,上下文数据通常倾向于高维,这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在,目前大多数的Bandit算法都面临两个挑战:一是时间复杂度高,二是高维数据的遗憾上界太大。为了有效地解决这两个问题,本文提出了一种基于随机投影的上下文Bandits算法(\texttt{CBRAP}),该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的,因为它使球员选择一个手臂在一个低维空间,并放宽了稀疏性假设的常数非零组件在以前的工作。此外,我们提供了一个线性的遗憾上界的算法,这是与减少的维数。
2019-03-20 cs.LG stat.ML
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems(持久系统公司)
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题,通过利用在线(增量)学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节,传统的强化学习(RL)问题的扩展,并建立一个新的算法来解决这个问题,使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统,使用一个阵列的随机梯度下降(SGD)的学习者作出预测的基础上采取的行动奖励。然后,我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先,我们提供了一个简化的模拟数据集,显示随着时间的推移不同的用户偏好,以及如何使用静态和动态学习算法进行评估。作为本研究的一部分,该数据集有意模拟了有限数量的特征,可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器,并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来,我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似,该算法将奖励映射为上下文向量的函数,但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降(SGD)学习器阵列的强盗算法,每个手臂有单独的学习器。最后,我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集,并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
A Contextual Bandit Bake-off
New York University(纽约大学);Microsoft Research(微软研究院);Inria(法国国家信息与自动化研究所)
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功,但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法,重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现,最近的方法(福斯特等人,2018)在不确定性下使用乐观主义总体效果最好。令人惊讶的是,第二个是一个简单的贪婪基线,它只通过上下文的多样性进行隐式探索,然后是在线封面的变体(Agarwal et al.,2014年),这往往是更保守的,但鲁棒的问题规格的设计。一路上,我们还评估了上下文强盗算法设计的各个组成部分,如损失估计。总体而言,这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials
Spotify(声田);CNRS(法国国家科学研究中心);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);Sanofi R&D(赛诺菲研发中心)
我们研究了在早期临床试验中通过多臂强盗透镜寻找最佳剂量的问题。我们提倡使用汤普森抽样原则,这是一种灵活的算法,可以适应不同类型的单调性假设的毒性和有效性的剂量。对于最简单的版本的汤普森采样,基于一个均匀的先验分布为每个剂量,我们提供了有限的时间上限的次优剂量选择,这是前所未有的剂量发现算法的数量。通过一个大型的模拟研究,我们表明,汤普森采样的基础上更复杂的先验分布的变体优于国家的最先进的剂量识别算法在不同类型的剂量发现研究,发生在I期或I/II期试验。
2020-04-07 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University(北京大学);Haihua Institute for Frontier Information Technology(海华前沿信息技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究了局部差分私有(LDP)强盗学习。首先,我们提出了简单的黑盒约简框架,可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架,我们可以改进以前的最佳结果为私人强盗学习与一点反馈,如私人强盗凸优化,并获得第一个结果为强盗凸优化(BCO)与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比,以前专门设计的和相对较弱的差分私有(DP)上下文无关的强盗算法。进一步地,我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits,它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$,并被证明是近最优的。请注意,鉴于DP上下文线性强盗的现有$Ω(T)$下限(Shariff & Sheffe,2018),我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research(联发科研究院);Cornell University(康奈尔大学)
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比,我们考虑了一组通用的平滑激活函数。在这种更一般的设置下,(i)我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界,(ii)我们提出了一个算法,可证明次线性遗憾界,也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣,以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech(弗吉尼亚理工大学);University of Buffalo(布法罗大学)
针对制造业流式数据标注成本高的问题,提出基于上下文老虎机的集成主动学习方法,通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
上下文强盗是多臂强盗的一种形式,其中代理可以在每个时间步访问每个手臂的预测性辅助信息(称为上下文),并且已用于建模个性化新闻推荐,广告投放和其他应用。在这项工作中,我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样,目标是利用不同手臂的上下文相似性,以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪,建立相应的遗憾界,并解释这个界量化的优势,在存在高任务(手臂)相似性的学习。我们还描述了一个有效的计划,估计任务相似性的数据,并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
COBRA: Contextual Bandit Algorithm for Ensuring Truthful Strategic Agents
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工联合研究技术联盟);Faculty of ISEE, Kyushu University(九州大学信息科学系);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
针对多智能体上下文赌博机中智能体可能虚报信息的问题,提出算法COBRA,无需金钱激励即可抑制策略行为,具备激励兼容性与次线性遗憾保证。
2025-05-29 cs.AI cs.LG stat.ML
Partially Observable Contextual Bandits with Linear Payoffs
JPMorgan AI Research(摩根大通人工智能研究院)
针对金融等场景中上下文部分可观测、具相关性且收益线性的问题,提出整合系统辨识、滤波与经典老虎机算法的EMKF-Bandit流程,证明其次线性遗憾并通过模拟验证其优势与适用性。
2024-09-17 cs.LG stat.ML
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs(雅虎研究院)
上下文强盗算法已经成为流行的在线推荐系统,如Digg,雅虎!Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要,但由于其“部分标签”性质,非常具有挑战性。通常的做法是创建一个模拟器,它模拟当前问题的在线环境,然后在这个模拟器上运行一个算法。然而,创建模拟器本身往往是困难的,建模偏差通常是不可避免地引入。在本文中,我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同,我们的方法是完全数据驱动的,非常容易适应不同的应用。更重要的是,我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎!前页符合我们的理论结果。此外,我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明,我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute(艾伦·图灵研究所)
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题,提出分层最近邻算法,可在计算遗憾项时保留任意上下文集,且兼具高计算效率。
2023-12-14 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology(加州理工学院);Purdue University(普渡大学)
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似(即,高斯分布),这对于一般协方差矩阵的高维应用中的采样是低效的。此外,高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法,即,Langevin Monte Carlo Thompson Sampling(LMC-TS),使用马尔可夫链蒙特卡罗(MCMC)方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高,因为它只需要执行嘈杂的梯度下降更新,而无需构建拉普拉斯近似的后验分布。我们证明,该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪,即,线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验,这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota(明尼苏达大学)
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下,并使用适当的随机化来选择武器,所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样,其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法,性能分析可在全上下文观测下使用。然而,很少有人知道的问题,上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪,并建立理论性能保证。从技术上讲,我们表明,所提出的政策尺度的遗憾与时间和武器的数量,线性的维度。此外,我们建立学习未知参数的速率,并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology(KTH皇家理工学院)
本文基于提升信息比框架分析 Thompson Sampling,将遗憾界从二值奖励推广至 sub-Gaussian 奖励,并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Privacy-Preserving Multi-Party Contextual Bandits
Facebook AI Research(Facebook人工智能研究)
情境强盗是在线学习者,给定输入,选择一个手臂并获得该手臂的奖励。他们将奖励作为学习信号,旨在最大化输入的总奖励。上下文强盗通常用于解决推荐或排名问题。本文考虑了一种学习环境,在这种环境中,多方以私人的方式训练一个上下文强盗:各方的目标是最大化总回报,但不想与其他各方分享他们拥有的任何相关信息。具体而言,多方可以访问可能使学习者受益但不能与其他方共享的(不同)功能。其中一方拉动手臂,但其他方可能不知道哪个手臂被拉动。一方收到奖励,但其他方可能无法学习奖励值。本文开发了一个隐私保护的多方上下文的学习设置相结合的安全多方计算与差分私有机制的基础上ε贪婪的探索。
2020-02-13 cs.CR cs.LG stat.ML
Nonparametric Stochastic Contextual Bandits
Stanford University(斯坦福大学);Google(谷歌)
我们分析了$K$武装土匪的问题,每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$,其中$D$是上下文维度,为一个修改后的UCB算法,这是简单的实现($k$ NN-UCB)。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现,并提供了一个扩展到无限武装上下文土匪。最后,我们的实验表明,我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML