Vertical Federated Linear Contextual Bandits
Tencent AI Lab(腾讯人工智能实验室);HKUST(香港科技大学);Tencent(腾讯)
在本文中,我们研究了一个新的问题,建立上下文土匪在垂直联邦设置,即,上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此,我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制(O3M)加密本地上下文信息,同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法,LinUCB和LinTS,并实例化两个实际的协议,在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时,很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验,我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington(华盛顿大学)
在本文中,我们提出了一种新的实验设计为基础的算法,以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的,在许多情况下-我们的方法仔细计划采取哪些行动,通过平衡信息增益和奖励之间的权衡,克服乐观主义的失败。此外,我们利用经验过程的上确界理论的工具来获得后悔保证,该保证随行动集的高斯宽度而扩展,避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证,并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置,我们表明,我们的算法是计算效率高,只依赖于调用线性最大化预言。此外,我们表明,稍加修改,我们的算法可以用于纯探索,获得国家的最先进的纯探索保证在半强盗设置。最后,我们提供了,据我们所知,第一个例子,乐观失败的半土匪政权,并表明,在这种情况下,我们的算法成功。
2021-02-27 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
针对在线强化学习中探索与利用的平衡难题,提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案,可证明在随机多臂老虎机中达到近最优遗憾,并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research(谷歌研究院);DeepMind(深度思考);University of Alberta(阿尔伯塔大学);Facebook AI Research(脸书人工智能研究院)
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史,然后拉动具有其扰动历史中最高平均奖励的手臂。因此,我们称之为扰动历史探测(PHE)。伪奖励是精心设计的,以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点,表明随机伯努利奖励导致乐观。最后,我们实证评估PHE,并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits
Microsoft Research(微软研究院);Yahoo! Labs(雅虎实验室)
我们提出并证明了一个新的离线策略评估器的探索学习设置,这是优于以前的评估器的属性。特别是,它同时正确地结合了重要性加权,双稳健评估和非平稳政策评估方法的技术。此外,我们的方法允许通过仔细控制偏差方差权衡来生成更长的历史,并通过结合目标策略的随机性信息来进一步降低方差。综合和现实世界的探索学习问题的经验证据表明,新的评估成功地统一了以前的方法,并使用信息的数量级更有效。
2012-10-16 cs.LG stat.ML
Zero-Inflated Bandits
Amazon(亚马逊);University of California San Diego(加州大学圣迭戈分校)
针对稀疏奖励阻碍bandit学习效率的问题,提出零膨胀bandits,利用零膨胀分布建模奖励,并基于UCB和Thompson Sampling框架开发出具有优越实证性能的算法。
2025-01-31 cs.LG econ.EM stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta(阿尔伯塔大学)
我提出了第一个算法随机有限武装土匪,同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外,还具有简单、高效和经验上的优越性.该方法是基于UCB,但精心选择的置信参数,最佳平衡的风险,失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Designing an Interpretable Interface for Contextual Bandits
Metica(梅蒂卡)
针对上下文赌博机可解释性挑战,提出基于“价值增益”指标的新界面,通过定性用户研究验证其能有效赋能非专家管理复杂机器学习系统,并总结未来界面设计指导原则。
2024-09-23 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University(西北大学);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$,时间范围为$T$,并且每个时间段有$n \leq 2^{d/2}$候选动作时,我们(1)证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$,并且(2)引入可变置信度(VCL)SupLinUCB算法,其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析,我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素,揭示了一个遗憾的规模与经典的多臂土匪,其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧,和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法,通过延迟感知放大算法和分阶段学习策略,实现了次线性后悔保证,并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Pure Exploration in Kernel and Neural Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加州大学洛杉矶分校);University of Chicago(芝加哥大学)
我们研究纯粹的探索土匪,其中的特征表示的维度可以远远大于武器的数量。为了克服维数灾难,我们建议自适应地将每个手臂的特征表示嵌入到低维空间中,并仔细处理诱导的模型误指定。我们的方法在概念上是非常不同的,从现有的作品,只能处理低维线性土匪或被动处理模型的误指定。我们展示了我们的方法在两个以前研究不足的纯探索设置中的应用:(1)奖励函数属于可能无限维的再生核希尔伯特空间,(2)奖励函数是非线性的,可以用神经网络近似。我们的主要结果提供了样本的复杂性保证,只依赖于内核或神经表示的特征空间的有效尺寸。在合成数据集和真实数据集上进行的大量实验证明了我们方法的有效性。
2022-03-17 cs.LG stat.ML
Multi-armed Bandit Algorithm against Strategic Replication
LINE Plus Corporation(LINE Plus公司);Pohang University of Science and Technology(浦项科技大学)
我们考虑了一个多臂强盗问题,其中每个代理注册一组武器,当代理的武器被选中时,代理将获得奖励。代理可能会策略性地提交更多的复制武器,这可以通过滥用强盗算法的探索-利用平衡来带来更多的回报。我们的分析表明,一个标准的算法确实无法防止复制,并遭受线性遗憾的时间$T$。我们的目标是设计一个强盗算法,使复制的积极性降低,并实现了一个小的累积遗憾。我们设计了防复制的分层UCB(H-UCB),它在任意均衡下都具有$O(\ln T)$ -后悔.我们进一步提出了鲁棒层次UCB(RH-UCB),它具有一个次线性的遗憾,即使在一个现实的情况下与非理性的代理复制粗心。我们通过数值实验验证了我们的理论研究结果。
2021-10-23 cs.GT cs.LG stat.ML
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California(南加利福尼亚大学)
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计,我们的方法使用标准的无偏估计,并依赖于一个简单的增加学习率调度的时间表,连同帮助下,数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性,我们的方法享有几个优点。首先,获得的高概率后悔界限是数据依赖的,可能比最坏情况下的界限小得多,这解决了Neu(2015)提出的一个开放问题。其次,解决Bartlett et al.(2008)和Abernethy and Rakhlin(2009)的另一个开放问题,我们的方法导致了第一个通用且有效的算法,具有对抗性线性强盗的高概率后悔界,而以前的方法要么效率低下,要么只适用于特定的动作集。最后,我们的方法也可以应用于学习对抗马尔可夫决策过程,并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
在纯探索问题中,信息是按顺序收集的,以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究,但很少有作品致力于识别一个臂,即$\varepsilon$ -接近最佳的一个(而不是最好的一个)。在这个有多个正确答案的问题中,识别算法应该集中在这些答案中的一个候选者上,并验证它是正确的。我们表明,挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反,应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案,我们开发了一个简单的程序,以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后,我们提出了一个渐近最优算法,这种设置,这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
Metadata-based Multi-Task Bandits with Bayesian Hierarchical Models
North Carolina State University(北卡罗来纳州立大学)
如何有效地进行侦查是多兵种土匪的核心问题。在本文中,我们介绍了基于元数据的多任务强盗问题,其中代理需要解决大量相关的多臂强盗任务,并且可以利用一些特定于任务的特征(即,元数据)来跨任务共享知识。作为一个通用的框架,我们建议通过贝叶斯分层模型的镜头捕捉任务关系,汤普森采样算法的设计,有效地学习任务关系,共享信息,并尽量减少累积的遗憾。对高斯强盗和伯努利强盗的两个具体例子进行了仔细的分析。贝叶斯对高斯强盗的遗憾清楚地表明了与我们的算法共享信息的好处。所提出的方法是进一步支持广泛的实验。
2021-08-13 cs.AI cs.LG
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology(KTH皇家理工学院);University of California Berkeley(加州大学伯克利分校)
我们解决多武装土匪(MAB)的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子,最近提出了著名的汤普森采样(TS)启发式的约束扩展。然而,受限TS的有限时间分析是具有挑战性的;因此,在累积奖励损失上仅O(\sqrt{T})界限(即,遗憾的是)。在本文中,我们描述了LinConTS,一个基于TS的强盗算法,对每一轮获得奖励的概率进行线性约束。我们表明,对于LinConTS,遗憾以及累积约束违反的上限为O(\log T)的次优武器。我们开发了一种证明技术,依赖于仔细分析的对偶问题,并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验,我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限(UCB)方案.
2020-05-12 cs.LG stat.ML
Optimal Best-Arm Identification in Bandits with Access to Offline Data
Georgia Institute of Technology(佐治亚理工学院);TIFR Mumbai(塔塔基础研究所孟买分院);Google Research(谷歌研究院)
本文针对结合离线数据的随机K臂老虎机最佳臂识别问题,推导了1-δ置信度下策略的样本复杂度下界,提出了δ较小时匹配下界、单样本获取成本为Õ(K)的高效算法。
2023-06-15 cs.LG stat.ML
Parallel Contextual Bandits in Wireless Handover Optimization
Noah’s Ark Lab Paris(巴黎诺亚方舟实验室);Huawei Technologies Ltd(华为技术有限公司)
随着蜂窝网络变得越来越密集,无线基站参数的可扩展和动态调谐只能通过自动优化来实现。虽然上下文强盗框架出现作为这样一个任务的一个自然的候选人,其扩展到一个并行设置是不简单的:一个需要仔细适应现有的方法,充分利用这个问题的多代理结构。我们提出了两种方法:一种来自确定性的UCB类方法,另一种依赖于汤普森采样。由于其掠夺性,后者的直觉是更好地保持勘探开发平衡的土匪批。这一点在玩具实验中得到了验证,其中Thompson采样显示出对上下文变化的鲁棒性。最后,我们将这两种方法应用于一个真实的基站网络数据集,并证明汤普森采样优于手动调整和上下文UCB。
2019-01-21 cs.LG cs.NI stat.ML
Bandit Algorithms for Precision Medicine
University of Michigan(密歇根大学)
《牛津英语词典》将精准医疗定义为“旨在优化特定患者群体的效率或治疗益处的医疗护理,特别是通过使用遗传或分子分析。“这并不是一个全新的想法:古代的医生已经认识到,医疗需要考虑患者特征的个体差异。然而,现代精准医学运动是由一系列事件共同促成的:遗传学和药理学等领域的科学进步,移动设备和可穿戴传感器的技术进步,以及计算和数据科学的方法进步。本章介绍的是强盗算法:这是一个与精准医疗特别相关的数据科学领域。基于Bellman、Robbins、Lai等人的开创性工作,强盗算法已经在现代数据科学中占据了核心地位(Latterian and Szepesvari,2020)。Bandit算法可以用于任何需要做出治疗决策以优化某些健康结果的情况。由于精准医学专注于使用患者特征来指导治疗,因此上下文强盗算法特别有用,因为它们被设计为考虑这些信息。之前已经对Bandit算法在移动医疗和数字表型等精准医疗领域的作用进行了综述(Tewari和Murphy,2017; Rabbi等人,2019年)。自这些评论发表以来,强盗算法继续在移动健康中找到用途,并且在强盗算法的研究中出现了几个新的主题。本章是为统计学、机器学习和运筹学等领域的定量研究人员编写的,他们可能有兴趣了解更多关于移动医疗中使用的bandit算法的算法和数学细节。
2021-08-10 cs.LG stat.ML
Robust Best-arm Identification in Linear Bandits
University College London(伦敦大学学院);MediaTek Research(联发科技研究院)
该研究针对线性奖励下的鲁棒最优臂识别问题,提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法,经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Bandit problems with fidelity rewards
Pompeu Fabra University(庞培法布拉大学);ICREA(加泰罗尼亚高级研究学院);Barcelona Graduate School of Economics(巴塞罗那经济学研究生院);Imperial College London(伦敦帝国理工学院);Cisco Systems, Inc.(思科系统公司)
忠诚度强盗问题是$K$ -武装强盗问题的一个变体,其中每个手臂的奖励被忠诚度奖励所增加,该忠诚度奖励根据玩家过去对该手臂的“忠诚”程度为玩家提供额外的回报。我们提出了两个模型的保真度。在忠诚点模型中,额外奖励的数量取决于手臂先前被使用的次数。在订阅模型中,额外的奖励取决于手臂的当前连续抽奖次数。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最优的,因此在对抗性环境中后悔的概念需要仔细调整。我们引入了三种可能的概念,遗憾和调查,可以有界次线性。我们详细研究了增加、减少和优惠券(玩家在每次$m$玩一只手臂后获得额外奖励)忠诚奖励的特殊情况。对于不一定具有次线性后悔的模型,我们给出了最坏情况的下界。对于具有次线性后悔的模型,我们给出了算法并限制了其后悔。
2021-11-25 cs.LG stat.ML
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数,涵盖均值-方差、熵风险等,通过新型经验集中不等式推导数据依赖的次优界,无须强叠加假设,达到最小最大最优。
2026-05-15 cs.LG stat.ML
Bandits for Efficient Experimentation: Adapting to Control Group, Preferences, and Context Drifts
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL(里尔大学、法国国家科学研究中心、中央理工学院、UMR 9189 – CRIStAL)
针对用户偏好和上下文分布随时间漂移的线性上下文随机多臂赌博机问题,提出Dri-MED算法,通过异方差回归处理非平稳噪声,实现实例相关的遗憾界和约束违规界。
2026-06-08 cs.AI cs.LG stat.ML
Bandit Label Inference for Weakly Supervised Learning
University of California, Berkeley(加州大学伯克利分校)
在许多应用程序中,缺少以期望的粒度级别注释的数据是一个反复出现的问题。大量的努力已经投入到开发弱监督的方法,适合每一个人的设置,这往往是精心设计,以利用弱监督制度的特殊属性,现有数据的形式和手头的任务的先验知识。不幸的是,很难使这些方法适应新的任务和/或数据形式,这通常需要不同的弱监管制度或模型。我们提出了一个通用的方法,可以解决任何弱监督学习问题,无论弱监督制度或模型。所提出的方法把任何现成的强监督分类器到一个弱监督分类器,并允许用户指定任何任意的弱监督制度通过一个损失函数。我们将该方法应用于几个不同的弱监管制度,并证明竞争力的结果相比,专门为这些设置设计的方法。
2015-09-22 cs.LG stat.ML
Decentralized Multi-Agent Linear Bandits with Safety Constraints
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们研究分散的随机线性土匪,其中$N$代理网络合作有效地解决线性土匪优化问题的$d$维空间。对于这个问题,我们提出了DLUCB:一个完全分散的算法,最大限度地减少整个网络的累积遗憾。在算法的每一轮,每个代理选择它的行动后的置信上限(UCB)的策略和代理共享信息与他们的近邻通过一个精心设计的共识程序,重复循环。我们的分析调整了这些通信周期的持续时间,以确保接近最佳的遗憾性能$\mathcal{O}(d\log{NT}\sqrt{NT})$在每轮$\mathcal{O}(dN^2)$的通信速率。网络的结构通过一个小的附加项(称为延迟的遗憾)影响遗憾性能,该附加项取决于底层图的谱间隙。值得注意的是,我们的研究结果适用于任意网络拓扑结构,而不需要一个专门的代理作为服务器。考虑到高通信成本的情况下,我们提出了RC-DLUCB:一个修改的DLUCB与代理之间很少通信。新算法在所有$T$轮上权衡遗憾性能以显著降低$\mathcal{O}(d^3N^{2.5})$的总通信成本。最后,我们表明,我们的想法自然延伸到新兴的,虽然更具挑战性,设置安全的强盗。对于最近研究的具有未知线性安全约束的线性强盗问题,我们提出了第一个安全的分散算法。我们的研究有助于在安全关键的分布式系统,反复处理未知的随机环境中应用强盗技术。我们提出了各种网络拓扑结构的数值模拟,证实了我们的理论研究结果。
2020-12-01 cs.LG stat.ML
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Department of Statistics, University of Chicago(统计学系,芝加哥大学)
该研究针对批量约束下的非参数上下文老虎机问题,建立极小极大遗憾下界,提出动态划分协变量空间的批量学习算法,证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Towards Costless Model Selection in Contextual Bandits: A Bias-Variance Perspective
Stanford University(斯坦福大学)
本文从偏差-方差视角研究上下文赌博机中的无成本模型选择,提出基于新颖误设测试的算法,随数据增加适应不断演变的偏差-方差权衡,在短时间跨度下提供取决于更简单类别复杂度的改进后悔保证。
2023-10-23 cs.LG stat.ML
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University(康奈尔大学)
研究了一个非参数上下文强盗问题,其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的,这两个极端是以前孤立地研究的:不可微的土匪($β\leq1$),通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾,和参数响应土匪(满足$β=\infty$),由于无限的外推性,可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法,仔细调整到所有的平滑设置,我们证明它的遗憾是率最优的,通过建立匹配的上限和下限,恢复现有的结果在两个极端。从这个意义上说,我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间,专门使用全球或本地信息,揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Bandit Pareto Set Identification: the Fixed Budget Setting
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Inserm(法国国家健康与医学研究院)
针对多臂老虎机多目标纯探索中固定预算下的帕累托集识别问题,提出经验间隙消除算法族,证明其错误概率指数衰减且有信息论下界支撑,实证验证了算法性能优异。
2025-01-13 cs.LG stat.ML
Recurrent Neural-Linear Posterior Sampling for Nonstationary Contextual Bandits
IDSIA;USI(瑞士意大利语区大学);SUPSI(瑞士意大利语区应用艺术与科学大学);QMUL(伦敦玛丽女王大学);NNAISENSE;KAUST(阿卜杜拉国王科技大学)
针对非平稳上下文老虎机中手工历史上下文的缺陷,提出结合循环神经网络特征与线性后验采样的方法,实验表现更优且适用更广,并给出带测量误差的遗憾界。
2023-11-03 cs.LG stat.ML
A Practical Guide of Off-Policy Evaluation for Bandit Problems
CyberAgent Inc.(赛博特工公司);KTH(瑞典皇家理工学院)
政策外评估(OPE)是从通过不同政策获得的样本中估计目标政策的价值的问题。最近,应用OPE方法解决强盗问题引起了人们的关注。对于策略值的估计器的理论保证,OPE方法需要关于用于生成样本的目标策略和策略的各种条件。然而,现有的研究并没有仔细讨论的实际情况下,这些条件下,他们之间的差距仍然存在。本文旨在展示弥合这一差距的新成果。基于评价策略的属性,我们对OPE情况进行了分类。然后,在实际应用中,我们主要讨论了最佳策略的选择。对于这种情况,我们提出了一个元算法的基础上现有的OPE估计。我们研究所提出的概念,使用合成和开放的真实世界的数据集在实验中。
2020-10-23 cs.LG econ.EM stat.ML
Distributed Contextual Linear Bandits with Minimax Optimal Communication Cost
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌);DeepMind(深度思维)
我们研究了分布式上下文线性土匪随机上下文,其中$N$代理合作解决线性土匪优化问题与$d$维功能的过程中的$T$轮。对于这个问题,我们推导出有史以来第一个信息理论的下限$Ω(dN)$的通信成本的任何算法,最佳执行的遗憾最小化设置。然后,我们提出了一个分布式批量消除版本的LinUCB算法,DisBE-LUCB,其中代理之间通过一个中央服务器共享信息。我们证明了通信成本的DisBE-LUCB匹配我们的下限对数因子。特别地,对于具有已知上下文分布的场景,DisBE-LUCB的通信成本仅为$\tilde{\mathcal{O}}(dN)$,并且其遗憾为${\tilde{\mathcal{O}}}(\sqrt{dNT})$,这与用于$NT$轮的最优单代理算法所引起的数量级相同。我们还提供了类似的界限,实际设置的上下文分布只能估计。因此,我们所提出的算法是几乎极小极大最优的\emph{both regret and communication cost}。最后,我们提出了DecBE-LUCB,一个完全分散的版本的DisBE-LUCB,它的运作没有一个中央服务器,在那里代理共享信息与他们的\emph{immediate neighbors}通过一个精心设计的共识程序。
2022-12-08 cs.LG stat.ML
Federated Multi-armed Bandits with Personalization
University of Virginia(弗吉尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
提出了一种个性化联邦多臂强盗(PF-MAB)的一般框架,它是一种类似于监督学习中联邦学习(FL)框架的新的强盗范式,具有FL的个性化特征。在PF-MAB框架下,研究了一种灵活平衡泛化和个性化的混合强盗学习问题。给出了混合模型的下界分析。然后,我们提出了个性化的联邦置信上限(PF-UCB)算法,其中的探索长度是精心选择,以实现所需的平衡学习的局部模型和提供全局信息的混合学习目标。理论分析表明,PF-UCB算法实现了与个性化程度无关的$O(\log(T))$遗憾,并具有与下界相似的实例依赖性.实验结果验证了理论分析的正确性,并证明了算法的有效性。
2021-02-25 cs.IT cs.LG math.IT
Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound
Princeton University(普林斯顿大学)
当状态-动作空间较大时,强化学习(RL)中的探索会受到维数灾难的影响。一种常见的做法是使用给定的特性来参数化高维值和策略函数。然而,现有的方法要么没有理论保证,要么在规划范围$H$中遭受指数级的遗憾。在本文中,我们提出了一种在线RL算法,即MatrixRL,它利用线性强盗的思想来学习概率转移模型的低维表示,同时仔细平衡开发-探索权衡。我们证明了MatrixRL实现了遗憾界${O}\big(H^2d\log T\sqrt{T}\big)$,其中$d$是特征的数量。MatrixRL有一个等价的核化版本,它能够在不使用显式特征的情况下处理任意核希尔伯特空间。在这种情况下,内核化的MatrixRL满足遗憾界限${O}\big(H^2\widetilde{d}\log T\sqrt{T}\big)$,其中$\widetilde{d}$是内核空间的有效维度。据我们所知,对于使用特征或内核的RL,我们的结果是在时间$T$和维度$d$(或$\widetilde{d}$)以及规划范围$H$中的多项式上接近最优的第一遗憾界限。
2019-06-13 cs.LG stat.ML
Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);OpenAI;Google(谷歌);Google Research(谷歌研究院)
本文利用Catoni稳健估计量设计上下文赌博机算法,在重尾奖励下实现仅依赖方差、对奖励范围呈对数依赖的遗憾界,并证明其最优性。
2025-02-04 cs.LG stat.ML
High-Dimensional Sparse Linear Bandits
Deepmind;Princeton University(普林斯顿大学)
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度,地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索,然后提交算法表明,$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限,并提供了另一个例子,其中仔细平衡信息和遗憾之间的权衡是必要的。最后,我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
Jointly Efficient and Optimal Algorithms for Logistic Bandits
Criteo AI Lab(Criteo 人工智能实验室);University of Arizona(亚利桑那大学)
最近,由于其理论和实践相结合的相关性,物流强盗受到了仔细的审查。这项研究工作提供了统计上有效的算法,改善了以前的策略的遗憾指数大的因素。然而,这样的算法是惊人的昂贵,因为它们需要在每一轮$Ω(t)$操作。另一方面,另一条研究路线专注于计算效率(每轮$\mathcal{O}(1)$成本),但代价是放弃了上述指数级的改进。不幸的是,获得两个世界的最佳结果并不是将两种方法结合起来的问题。相反,我们为物流强盗引入了一个新的学习过程。它产生的信心集,足够的统计数据可以很容易地保持在线,而不牺牲统计的紧密性。结合有效的规划机制,我们设计了快速算法,其遗憾性能仍然符合Abeille等人的问题相关下限。据我们所知,这些是第一个同时享有统计和计算效率的Logistic Bandit算法。
2022-01-19 cs.LG
Statistically Efficient, Polynomial Time Algorithms for Combinatorial Semi Bandits
我们考虑组合半土匪超过一组武器${\cal X} \subset \{0,1\}^d$的奖励是不相关的项目。对于这个问题,算法ESCB产生最小的已知遗憾界$R(T) = {\cal O}\Big( {d (\ln m)^2 (\ln T) \over Δ_{\min} }\Big)$,但它的计算复杂度${\cal O}(|{\cal X}|)$,这通常是指数在$d$,不能用于大的维度。我们提出了第一个算法,这是计算和统计效率为这个问题的遗憾$R(T) = {\cal O} \Big({d (\ln m)^2 (\ln T)\over Δ_{\min} }\Big)$和计算复杂性${\cal O}(T {\bf poly}(d))$。我们的方法涉及精心设计的近似版本的ESCB具有相同的遗憾保证,表明这种近似算法可以在时间${\cal O}(T {\bf poly}(d))$通过反复最大化线性函数超过${\cal X}$的线性预算约束,并显示如何有效地解决这个最大化问题。
2021-01-13 cs.LG math.OC stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);CyberAgent
本文提出带宽和延迟反馈算法,解决了在线结构预测中反馈信息有限的问题,通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Multi-Statistic Approximate Bayesian Computation with Multi-Armed Bandits
Uppsala University(乌普萨拉大学);Department of Information Technology(信息技术系);Division of Scientific Computing(科学计算部);SE-751 05, Uppsala(乌普萨拉,SE-751 05);Sweden(瑞典)
近似贝叶斯计算是一种成熟和流行的无似然推理方法,在许多学科中都有应用。该方法的有效性主要取决于是否有性能良好的汇总统计量。摘要统计选择严重依赖于领域知识和精心设计的功能,并且可能是一个费力耗时的过程。由于该方法对数据维度敏感,因此选择汇总统计量的过程必须平衡包括信息统计量和特征向量维度的需求。本文提出了一个多臂强盗问题,从一个给定的候选汇总统计池动态选择一个合适的汇总统计量的问题。这允许近似贝叶斯计算拒绝抽样动态地集中于表现良好的汇总统计上的分布,而不是固定的统计集。所提出的方法是独特的,因为它不需要任何预处理,并可扩展到大量的候选统计。这使得能够有效地使用可能的时间序列汇总统计的大型库,而无需先前的特征工程。所提出的方法相比,国家的最先进的方法,使用一个具有挑战性的测试问题,从系统生物学文献的汇总统计量的选择。
2018-05-22 cs.LG stat.ML
Multi-Armed Bandits for Minesweeper: Profiting from Exploration-Exploitation Synergy
Federal Center for Technological Education Celso Suckow da Fonseca (CEFET-RJ)(塞尔索·苏科·达·丰塞卡联邦技术教育中心(里约热内卢联邦技术教育中心))
作为一个流行的电脑益智游戏,扫雷游戏需要人类玩家同时拥有运气和策略才能成功。更正式地分析这些方面,在我们的研究中,我们评估了一种基于强化学习的新方法的可行性,作为解决这个游戏所提出的问题的适当方法。为此,我们采用了多臂强盗算法,这些算法经过仔细调整,以便能够使用它们来定义自主计算玩家,目标是最好地利用一些游戏特性。经过实验评估,结果表明,这种方法确实是成功的,特别是在较小的游戏板,如标准的初学者水平。尽管如此,这项工作的主要贡献是从学习的角度对扫雷舰进行了详细的检查,这导致了各种原始的见解,并进行了彻底的讨论。
2021-06-17 cs.AI cs.LG stat.ML
Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure
IDSS, MIT(麻省理工学院信息与决策系统实验室);LIDS, MIT(麻省理工学院信息与决策系统实验室)
我们引入有效的算法,实现近最佳的遗憾的问题,随机在线最短路径路由端到端的反馈。该设定是组合随机土匪问题的一个自然应用,是线性随机土匪问题的一个特例。我们展示了如何由大规模行动集所带来的困难,可以克服的行动集的网络结构。我们的方法提出了一种新的连接之间的强盗学习和最短路径算法。我们的主要贡献是一个自适应探索算法,几乎最佳的实例依赖遗憾的任何有向无环网络。然后,我们修改它,使接近最佳的最坏情况下的遗憾是同时实现的。在精心设计的前两名比较(TTC)技术的驱动下,这些算法可以高效地实现。我们进一步进行了大量的数值实验表明,我们提出的算法不仅实现了优越的遗憾性能,但也大大减少了运行时间。
2018-12-19 cs.LG stat.ML
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们开发的线性强盗算法,自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中,我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾,而且还在损坏的环境中工作,额外的遗憾是损坏的量,而现有技术(Li et al.,2019)既没有实现实例最优性,也没有实现对腐败量的最优依赖性。此外,通过为该算法配备对抗组件和精心设计的测试,我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾,这是我们所知的第一个此类算法。最后,我们所有的保证都具有很高的概率,而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Multi-objective Bandits: Optimizing the Generalized Gini Index
Yahoo Research(雅虎研究院);Technion Institute of Technology(以色列理工学院)
我们研究了多臂强盗(MAB)的问题,代理收到一个矢量反馈,编码许多可能的竞争目标进行优化。代理的目标是找到一个政策,可以优化这些目标同时在一个公平的方式。这个多目标在线优化问题的形式化使用广义基尼指数(GGI)聚合函数。我们提出了一个在线梯度下降算法,利用GGI聚集函数的凸性,并控制探索在一个谨慎的方式实现一个无分布的遗憾$\tilde{\bigO} (T^{-1/2} )$具有高概率。我们测试我们的算法上的合成数据,以及在电池控制问题,其目标是权衡使用不同的电池,以平衡各自的退化率。
2017-06-15 cs.LG
DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret
Cornell University(康奈尔大学)
动态治疗方案(DTR)是个性化的、自适应的、多阶段的治疗计划,其使治疗决策适应于个体的初始特征以及每个后续阶段的中间结果和特征,其受先前阶段中的决策的影响。例如,糖尿病、癌症和抑郁症等慢性疾病的个性化一线和二线治疗,这些治疗适应于患者对一线治疗的反应、疾病进展和个体特征。虽然现有的文献主要集中在估计的最佳DTR从离线数据,如从顺序随机试验,我们研究的问题,开发的最佳DTR在一个在线的方式,其中与每个人的互动影响我们的累积奖励和我们的数据收集为未来的学习。我们称之为DTR强盗问题。我们提出了一种新的算法,通过仔细平衡探索和利用,保证实现率最优的遗憾时,过渡和奖励模型是线性的。我们证明了我们的算法和它的好处都在合成实验和案例研究中的适应性治疗抑郁症使用真实世界的数据。
2022-09-20 cs.LG math.OC stat.ML
Partition Tree Weighting for Non-Stationary Stochastic Bandits
Google DeepMind(谷歌DeepMind)
本文针对非平稳随机伯努利赌博机问题,将分区树加权通用源编码从被动预测推广至控制设置,提出一种高效且高性能的算法,解决了动作与观测交织数据流中的自我欺骗问题。
2025-02-26 cs.AI cs.LG
Efficient Resource Allocation with Fairness Constraints in Restless Multi-Armed Bandits
Singapore Management University(新加坡管理大学)
不安的多武装土匪(RMAB)是一个适当的模型,代表决策问题,在公共卫生干预措施(例如,结核病、孕产妇和儿童保健)、反偷猎规划、传感器监测、个性化建议等等。现有的研究在RMAB的机制和理论成果,以各种各样的设置,重点是最大限度地提高预期价值。在本文中,我们感兴趣的是确保RMAB决策也是公平的不同武器,同时最大限度地提高期望值。在公共卫生背景下,这将确保不同的人和/或社区在作出公共卫生干预决定时得到公平的代表。为了实现这一目标,我们正式定义的公平性约束在RMAB和规划和学习方法,以解决公平的方式解决RMAB。我们展示了公平的RMAB的关键理论属性和实验证明,我们提出的方法处理公平性约束,而不会牺牲显着的解决方案质量。
2022-07-27 cs.LG
Neural Bandits for Data Mining: Searching for Dangerous Polypharmacy
Université Laval(拉瓦尔大学);Centre d’excellence sur le vieillissement de Québec(魁北克老龄化卓越中心)
针对组合爆炸导致难以穷举搜索危险药物联用的问题,提出基于神经汤普森采样与差分进化的OptimNeuralTS策略,高效挖掘理赔数据并构建预测模型,在3万步内检测出72%的潜在不适当联用且平均精度达99%。
2023-04-05 cs.LG
Non-Stationary Contextual Bandit Learning via Neural Predictive Ensemble Sampling
Meta AI;Stanford University(斯坦福大学)
本文提出一种结合深度神经网络与持久价值优先探索机制的非平稳上下文老虎机算法,在真实推荐数据集上显著优于现有基线。
2023-10-14 cs.IR cs.LG
Stochastic Optimization with Bandit Sampling
EPFL(洛桑联邦理工学院)
许多随机优化算法通过从训练集中均匀随机地采样数据点来动态地估计成本函数的梯度。然而,估计器可能具有较大的方差,这无意中减慢了算法的收敛速度。减少这种差异的一种方法是从精心选择的非均匀分布中对数据点进行采样。在这项工作中,我们提出了一种新的非均匀采样方法,使用多臂强盗框架。理论上,我们表明,我们的算法渐近近似的最佳方差的一个因素内的3。经验上,我们表明,使用这种数据点选择技术的结果显着减少收敛时间和方差的几个随机优化算法,如SGD,SVRG和SAGA。这种采样数据点的方法是通用的,可以与任何使用无偏梯度估计的算法结合使用-我们希望它具有广泛的适用性,超出了本工作中探索的具体示例。
2017-08-09 cs.AI cs.LG math.OC
Optimal Algorithms for Latent Bandits with Cluster Structure
Google Research(谷歌研究院)
本文针对多用户潜在簇结构老虎机问题提出 LATTICE 算法,通过矩阵补全同时利用簇内臂信息并聚类用户,首次在簇数为常数级时实现极小极大最优遗憾,且计算高效。
2023-07-11 cs.LG stat.ML
NeuroSep-CP-LCB: A Deep Learning-based Contextual Multi-armed Bandit Algorithm with Uncertainty Quantification for Early Sepsis Prediction
针对重症监护中脓毒症早期预测的不确定性决策难题,提出融合神经网络、上下文多臂老虎机与共形预测的NeuroSep-CP-LCB算法,可实现个性化自适应决策并提供可靠预测置信边界。
2025-03-20 cs.LG
Impatient Bandits: Optimizing Recommendations for the Long-Term Without Delay
University of Manchester(曼彻斯特大学);Spotify(声田);Columbia University(哥伦比亚大学)
针对延迟奖励下的长期推荐优化问题,提出结合贝叶斯滤波器整合多阶段观测的预测模型与对应老虎机算法,在播客推荐任务中性能显著优于短期代理优化和等待完整奖励的方法。
2023-07-20 cs.LG stat.ML
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University(纽约州立大学宾汉姆顿分校)
多人多臂强盗是一个越来越相关的决策问题,认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上,即玩家对所有的手臂都有\textit{full access},并且当拉动同一只手臂时没有奖励,因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而,这些设置忽略了许多现实世界应用中的几个重要因素,其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}(即,手臂有时可能是"行走“的,并且玩家无法接近)。为此,本文提出了一个\textit{multi-player multi-armed walking bandits}模型,旨在解决上述建模问题。现在的目标是最大化的奖励,但是,玩家只能从本地子集拉手臂,只有收集一个完整的奖励,如果没有其他玩家拉相同的arm.We采用置信上限(UCB)来处理的探索开发权衡,并采用分布式优化技术,以妥善处理冲突。通过仔细整合这两种技术,我们提出了一个分散的算法与近最优保证的遗憾,并可以很容易地实现,以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA