Sequential Monte Carlo Bandits
BCAM - Basque Center for Applied Mathematics(巴斯克应用数学中心);IKERBASQUE, Basque Foundation for Science(巴斯克科学基金会);Columbia University(哥伦比亚大学)
本文提出用序贯蒙特卡洛方法估计贝叶斯多臂老虎机中的奖励充分统计量,从而支持非线性、上下文相关及时变非平稳场景,并在非线性非平稳实验中取得良好遗憾表现。
2024-04-04 cs.LG stat.CO stat.ML
Adapting Bandit Algorithms for Settings with Sequentially Available Arms
Politecnico di Milano(米兰理工大学)
虽然经典版本的多武装匪徒(MAB)框架已成功地应用于几个实际问题,在许多现实世界的应用中,可能的行动并没有同时呈现给学习者,如在互联网运动管理和环境监测设置。相反,在这样的应用程序中,一组选项在一段时间内顺序地呈现给学习者,并且这个过程在整个时间范围内重复。每次,学习者都会被问到是否选择建议的选项。我们将此场景定义为顺序拉/无拉强盗设置,我们提出了一个元算法,即顺序拉/无拉MAB(Seq),以适应任何经典的MAB政策,以更好地适应这种设置的遗憾最小化和最佳手臂识别问题。通过允许在一轮内选择多个手臂,所提出的元算法收集更多的信息,特别是在第一轮中,其特征在于手臂估计值的高度不确定性。与此同时,适应算法提供了与所采用的经典策略相同的理论保证。Seq元算法在广告和环境监测应用的合成和真实数据集上进行了广泛的测试,并与经典的MAB策略进行了比较,突出了其良好的经验表现。
2021-09-30 cs.LG
Non-Asymptotic Sequential Tests for Overlapping Hypotheses and application to near optimal arm identification in bandit models
本文研究了具有\emph{overlapping}假设的序贯检验问题。我们首先集中在一个简单的问题,评估如果平均$μ$的高斯分布是小于或大于一个固定的$ε>0$ ;如果$μ\in(-ε,ε)$,这两个答案都被认为是正确的。然后,我们考虑PAC-最好的手臂识别的强盗模型:给定$K$概率分布$\mathbb{R}$与手段$μ_1,\dots,μ_K$,我们得出的渐近复杂性识别,风险最多$δ$,指数$I\in\{1,\dots,K\}$,使$μ_I\geq \max_iμ_i -ε$。我们提供了一个并行的一般似然比测试,这也可以用于更一般的测试问题的误差的非渐近界。我们进一步提出了确定一个正确假设所需的观测数的下限。这些下限依赖于信息理论的参数,特别是在两个版本的测量引理的变化(高层次的形式,和低层次的形式),其相对优点进行了讨论。
2021-11-18 math.ST stat.TH
Sequential ranking under random semi-bandit feedback
在许多web应用中,推荐不是向用户建议的单个项目,而是在某些上下文中可以排名的可能感兴趣的内容的列表。组合强盗问题在过去的两年中得到了广泛的研究,并且有许多理论结果:后悔算法的下界或渐近最优算法。然而,由于可以考虑的各种情况,结果被设计为解决特定奖励结构(如级联模型)的问题。目前的工作重点是当用户被允许点击几个项目,同时从上到下扫描列表的排名项目的问题。
2016-05-26 cs.DS cs.LG
Semi-overlapping Multi-bandit Best Arm Identification for Sequential Support Network Learning
Department of Artificial Intelligence and Systems Engineering(人工智能与系统工程系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);E-Group ICT Software Zrt.(E-Group ICT软件公司)
本文提出半重叠多臂老虎机模型,用于高效学习支持网络,改进多老虎机最佳臂识别的误差界并提升性能保证。
2025-12-31 cs.AI cs.LG
Multi-Armed Bandits with Arriving Arms: Sequential Screening, Dynamic Regret, and Sublinear Guarantees
Qiuzhen College, Tsinghua University(清华大学求真学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学姚氏数学科学中心)
针对可用臂随时间扩展的随机多臂老虎机问题,提出基于消除的UCB-AA算法,通过初步筛选新臂并考虑到达信息差异和漂移基准,实现动态遗憾的次线性界。
2026-06-08 cs.LG math.ST stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题,传统的多臂土匪问题,其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上,其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序,如网络搜索排名和推荐系统,其中执行顺序更新可能是不可行的。在这项工作中,我们要求:$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$,这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔,其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后,在各种现实世界的数据集的计算实验中,我们观察到,我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法(使用$T$轮)。
2022-09-25 cs.LG stat.ML
On State Variables, Bandit Problems and POMDPs
Princeton University(普林斯顿大学)
状态变量很容易成为序列决策问题中最微妙的维度。在主动学习问题(“强盗问题”)的背景下尤其如此,在这种情况下,决策会影响我们观察和学习的内容。我们描述了我们的规范框架,模型{ \it任何}顺序决策问题,并提出我们的状态变量的定义,使我们能够声称:任何正确建模的顺序决策问题是马尔可夫。然后,我们提出了一个新的两个代理的角度来看,部分可观察马尔可夫决策问题(POMDPs),使我们能够然后声称:任何模型的一个真正的决策问题是(可能)非马尔可夫。我们使用观察和治疗人群中的流感的背景来说明这些观点,并提供在这种情况下的所有四类政策的例子。我们关闭的指示如何将这种思想扩展到多智能体问题。
2020-02-14 cs.AI cs.LG stat.ML
Mathematics of statistical sequential decision-making: concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
Université de Lille(里尔大学);Université de Technologies de Troyes(特鲁瓦技术大学);ENSAI Rennes(雷恩国立统计与信息分析学校);Inria Montpellier(法国国家信息与自动化研究所蒙彼利埃中心);CWI Amsterdam(荷兰国家数学与计算机科学研究中心);Université de Bordeaux(波尔多大学);Inria Lille(法国国家信息与自动化研究所里尔中心);CHU Lille(里尔大学附属医院);Centre de Recherche en Informatique, Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心)
本文研究术后随访序贯决策中的数学挑战,提出安全的集中性界、风险感知上下文老虎机框架及非参数Dirichlet采样算法,并开发了预测减重手术后长期体重轨迹的可解释机器学习模型。
2024-05-03 cs.LG math.ST stat.ML
Learning the distribution with largest mean: two bandit frameworks
CNRS(法国国家科学研究中心);Univ. Lille(里尔大学);Inria Lille Nord-Europe(法国国家信息与自动化研究所里尔北欧中心);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学)
在过去的几年里,多臂强盗模型在机器学习社区中越来越受欢迎,部分原因是包括在线内容优化在内的应用。本文回顾了两种不同的顺序学习任务,已被认为是在土匪文学,他们可以制定为(顺序)学习的分布具有最高的平均值之间的一组分布,学习过程中的一些限制。对于这两个(遗憾最小化和最好的手臂识别),我们目前最近,渐近最优算法。我们比较了每个算法的采样规则的行为以及与每个问题相关的复杂性。
2017-11-07 cs.LG math.ST stat.ML
Bayesian Design Principles for Frequentist Sequential Learning
Columbia University(哥伦比亚大学)
本文提出基于贝叶斯原理的通用理论,通过“算法信息比”优化频率派遗憾,实现无需先验且适用于对抗性设置的算法,并在多臂老虎机等场景中达到最佳全场景性能。
2024-02-09 cs.LG math.OC math.ST
Dynamic Learning of Sequential Choice Bandit Problem under Marketing Fatigue
University of California, Berkeley(加利福尼亚大学伯克利分校);IBM Research(IBM研究院)
出于对过度关注不必要的营销活动会导致客户不满的观察,我们考虑了一种设置,其中平台向其用户提供一系列消息,并且当用户由于营销疲劳而放弃平台时会受到惩罚。我们提出了一种新的顺序选择模型来捕获平台与用户之间发生的多种交互:在收到消息时,用户决定三个动作之一:接受消息,跳过并接收下一条消息,或者放弃平台。基于用户反馈,平台动态地学习用户的放弃分布和他们对消息的评价,以确定序列的长度和消息的顺序,同时最大化长度T的范围内的累积收益。我们把这个在线学习任务称为顺序选择强盗问题。对于离线组合优化问题,我们证明了一个有效的多项式时间算法存在。对于在线问题,我们提出了一个算法,平衡探索和开发,并描述其遗憾界。最后,我们演示了如何扩展模型与用户上下文,以纳入个性化。
2019-03-19 cs.LG stat.ML
Sequential Learning of the Pareto Front for Multi-objective Bandits
ENS Lyon(里昂高等师范学院);CWI(荷兰数学和计算机科学研究学会);Twente University(特文特大学)
研究多目标多臂老虎机中Pareto前沿的序贯学习问题,提出在风险δ较小时达到最优样本复杂度的高效算法,每轮运行时间为O(Kp^d)。
2025-01-29 cs.LG stat.ML
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California(南加州大学)
我们考虑的问题,通过自适应采样,$n$选项(武器)具有最大的平均值。我们的目标是确定一个规则,确定一个固定的最低置信度,使用尽可能少的观察,即最好的武器,这是一个固定的信心(FC)最好的武器识别(BAI)在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”(VT)的规则,采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置,并通过早期消除得到改善。我们的分析表明,这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”(PW)算法。数值结果表明,这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm
Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
我们研究了腐败的强盗问题,即一个随机的多臂强盗问题与$k$未知的奖励分布,这是重尾和腐败的历史独立的对手或自然。具体地说,通过玩手臂获得的奖励来自相应的概率为$1-\varepsilon \in (0.5,1]$的重尾奖励分布和概率为$\varepsilon \in [0,0.5)$的无界支持的任意腐败分布。首先,我们提供任何损坏的强盗算法的$\textit{a problem-dependent lower bound on the regret}$。下界表明,腐败的强盗问题是困难的,比经典的随机强盗问题与亚高斯或重尾奖励。接下来,我们提出了一种新型的UCB类型的腐败强盗算法,即HubUCB,它建立在Huber的估计器之上,用于鲁棒均值估计。利用Huber估计的一个新的集中不等式,我们证明了HubUCB达到了一个接近最优的后悔上界。由于计算Huber估计具有二次复杂性,我们进一步介绍了一个顺序版本的Huber估计,表现出线性复杂性。我们利用这个顺序估计设计SeqHubUCB,享受类似的遗憾保证,同时减少计算负担。最后,我们通过实验说明了HubUCB和SeqHubUCB在解决不同奖励分配和不同腐败程度的腐败土匪的效率。
2023-03-21 cs.LG math.ST stat.TH
Dynamic Learning with Frequent New Product Launches: A Sequential Multinomial Logit Bandit Problem
University of California, Berkeley(加州大学伯克利分校);IBM Research(IBM研究院)
受企业推出新产品以跟上顾客快速变化的品味这一现象的启发,我们考虑了一种新颖的在线学习设置,其中利润最大化的卖家需要通过提供推荐来了解顾客的偏好,该推荐可能包含现有产品和在销售期间推出的新产品。我们提出了一个序列多项logit(SMNL)模型来描述客户的行为时,产品推荐是在层次。对于已知客户偏好的离线版本,我们提出了一个多项式时间算法,并描述了最优分层产品推荐的性质。对于在线问题,我们提出了一种学习算法,并量化了它的遗憾界。此外,我们扩展了设置,以纳入一个约束,以确保每个新产品都学习到给定的精度。我们的研究结果表明,层次结构可以用来减轻与学习新产品相关的风险。
2019-04-29 cs.LG stat.ML
Asymptotic Theory and Sequential Testing for Adaptive Bandits
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
提出Urn Bandit过程,结合瓮概率模型与多臂老虎机,建立非独立同分布奖励序列下的联合泛函中心极限定理,实现序贯检验的渐近理论,在保持检验性能的同时提升奖励累积。
2026-05-30 stat.ME
Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University(哈佛大学)
我们解决的M-最好的手臂识别问题,在多武装匪徒。玩家只有有限的预算来探索K条手臂(M<K),一旦被拉动,每条手臂都会从一个固定的未知分布中(独立地)获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法,在轮中进行迭代停用武器。在每一轮,预算除以剩余手臂的非线性函数,并且手臂被相应地拉动。基于决策规则,可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征,并建立非线性预算分配证明是有用的不同的问题环境(描述的竞争武器的数量)。我们提供了全面的数值实验表明,我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Sequential Batch Learning in Finite-Action Linear Contextual Bandits
Center for Data Science, New York University(纽约大学数据科学中心);Susquehanna International Group(Susquehanna国际集团);IEDA, HKUST(香港科技大学工业工程及决策分析学系);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系);Stern School of Business, New York University(纽约大学斯特恩商学院)
该研究针对有限动作线性上下文博弈的序贯批次学习问题,在两种设置下建立遗憾界并提出匹配算法,揭示批次数量对在线性能的影响,为带批次约束的序贯决策提供近乎完整的刻画。
2026-08-18 cs.IT cs.LG math.IT
Bandit Sequential Posted Pricing via Half-Concavity
School of Computer Science, Georgia Tech(佐治亚理工学院计算机学院)
针对先验未知的序贯定价问题,论文提出老虎机学习算法,利用收入函数的半凹性获得正则与一般分布下关于T近优且紧的遗憾界。
2024-06-12 cs.DS cs.GT cs.LG
Finding the bandit in a graph: Sequential search-and-stop
INRIA Lille(里尔法国国家信息与自动化研究所);ENS Paris-Saclay(巴黎-萨克雷高等师范学院);Criteo Research(Criteo研究院)
我们考虑的问题,代理人要找到一个隐藏的对象,是随机位于一些顶点的有向无环图(DAG)根据一个固定的,但可能是未知的分布。智能体只能检查已经检查过内邻居的顶点。在本文中,我们解决了一个学习设置,我们允许代理停止之前发现的对象,并重新开始搜索同一问题的一个新的独立的实例。我们的目标是在给定时间预算的情况下最大化找到的隐藏对象的总数。因此,智能体可以跳过一个实例后,意识到它会花太多的时间在它身上。我们的贡献是搜索理论和多武装土匪。如果分布是已知的,我们提供了一个准最优和有效的平稳策略。如果分布是未知的,我们还展示了如何顺序地近似它,并在同一时间,采取接近最佳的行动,以收集尽可能多的隐藏对象。
2019-04-22 cs.LG math.OC stat.ML
Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits and RL
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Mila - Quebec AI Institute, University of Montreal(蒙特利尔大学Mila魁北克人工智能研究所)
人工行为代理通常基于其一致的行为和性能进行评估,以在环境中采取顺序行动,以最大化累积奖励的概念。然而,人类在现实生活中的决策通常涉及不同的策略和行为轨迹,导致相同的经验结果。受到广泛的神经和精神疾病的临床文献的启发,我们在这里提出了一个更通用和灵活的参数框架,涉及两个流奖励处理机制的顺序决策。我们证明了这个框架是灵活和统一的,足以将一个家庭的问题,跨越多武装土匪(MAB),上下文土匪(CB)和强化学习(RL),分解的顺序决策过程中的不同层次。受许多精神障碍的已知奖励处理异常的启发,我们的临床启发代理在具有特定奖励分布的模拟任务上表现出有趣的行为轨迹和可比的性能,真实世界的数据集捕获赌博任务中的人类决策,以及终身学习环境中不同奖励平稳性的PacMan游戏。
2021-12-27 cs.AI cs.LG q-bio.NC
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们认为最好的武器识别问题,在多武装土匪,纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂,每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架,其中的武器被解雇迭代,直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果,我们开发了一种算法,根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法,表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果,我们的实验表明,非线性算法优于国家的最先进的。我们最后研究的侧观察模型,拉一只手臂揭示了其相关的武器的奖励,我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Encrypted Linear Contextual Bandit
Meta AI;CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学院)
上下文强盗是一个通用的在线学习的顺序决策问题,已发现在广泛的领域,包括推荐系统,在线广告和临床试验的应用框架。强盗方法的一个关键方面是它们需要观察上下文--即,个人或群体层面的数据--以及奖励,以解决序列问题。工业应用中的大规模部署增加了对保护用户隐私的方法的兴趣。在本文中,我们介绍了一个基于同态加密{ \color{violet},它允许使用加密数据计算}的隐私保护的强盗框架。算法\textit{only}观察加密的信息(上下文和奖励),并没有能力解密it. Leaving同态加密的属性,我们表明,尽管设置的复杂性,它是可能的,以解决线性上下文的强盗加密数据与$\widetilde{O}(d\sqrt{T})$遗憾界在任何线性上下文的强盗问题,同时保持数据加密。
2022-03-23 cs.LG
Bandit Multi-linear DR-Submodular Maximization and Its Applications on Adversarial Submodular Bandits
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research(微软研究院);Fuzhou University(福州大学)
本文研究了单调多线性DR-次模函数的在线Bandit学习,提出算法$\mathtt{BanditMLSM}$,并首次为带划分拟阵约束的次模Bandit问题给出次线性regret算法,改进了相关问题的现有regret界。
2023-05-21 cs.AI cs.LG
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文针对指数族随机多臂老虎机的最优臂识别问题,提出基于似然比检验的SPRT算法,实现渐近最优样本复杂度与δ-PAC保证,并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Beyond Task Diversity: Provable Representation Transfer for Sequential Multi-Task Linear Bandits
University of Arizona(亚利桑那大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对无任务多样性假设的顺序多任务线性老虎机,提出高效低秩表示学习与迁移算法,在椭球动作集下取得优于基线的遗憾界,并经合成数据实验验证其有效性。
2025-01-23 cs.LG
ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization
Institute of Statistical Science, Academia Sinica(中央研究院统计科学研究所)
提出ALMAB-DC框架,结合高斯过程代理模型、多臂老虎机控制和异步分布式调度,解决昂贵黑箱优化问题,在多个基准上显著优于现有方法。
2026-06-03 cs.LG stat.CO stat.ME
Causal Bandit Over Unknown Graphs: Upper Confidence Bounds With Backdoor Adjustment
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究了在未知因果图下的因果投递问题,提出BA-UCB算法,通过结合观测和实验数据识别后门调整集,改进累积遗憾的上界并降低对干预臂数量的依赖。
2026-04-03 cs.LG stat.ME
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science(数学与计算机科学系);University of Southern Denmark(丹麦南方大学)
本文针对非平稳线性上下文多臂老虎机问题,提出加权序贯贝叶斯(WSB)推理框架,开发三种对应算法,其遗憾保证与WRLS基线相当,实证性能更优,还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
LinearAPT: An Adaptive Algorithm for the Fixed-Budget Thresholding Linear Bandit Problem
National Taiwan University(台湾大学)
针对随机多臂老虎机中的固定预算阈值线性老虎机问题,提出新型自适应算法LinearAPT,该算法有估计损失理论上界,在合成与真实数据集上表现鲁棒,兼具自适应性、简洁性与计算效率。
2024-03-10 cs.LG stat.ML
Parallelizing Contextual Bandits
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);Google Research(谷歌研究院)
不确定性下的标准决策方法侧重于对决策空间的顺序探索。然而,\textit{simultaneously}提出了一批决策,利用可用资源进行并行实验,有可能迅速加速探索。我们提出了一个家庭的(并行)上下文强盗算法适用于有界逃避维度的问题,其遗憾是几乎相同的完全顺序的同行-访问相同的总数量的Oracle查询-到一个较低的顺序“烧伤”术语。我们进一步表明,这些算法可以专门为类的线性奖励函数,我们介绍和分析了几个新的线性强盗算法,明确介绍了多样性到他们的行动选择。最后,我们还提出了这些并行算法在几个领域,包括材料发现和生物序列设计问题的实证评估,以证明实用的并行强盗在实际环境中。
2023-02-05 cs.LG q-bio.BM q-bio.QM
Probabilistic Sequential Shrinking: A Best Arm Identification Algorithm for Stochastic Bandits with Corruptions
National University of Singapore(新加坡国立大学);Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹与分析研究所)
我们考虑一个最佳臂识别(BAI)问题的随机土匪对抗腐败的固定预算设置的T步骤。我们设计了一种新的随机算法,概率顺序收缩($u$)(PSS($u$)),这是不可知的腐败量。当每步损坏量(CPS)低于阈值时,PSS($u$)将具有倾向于$1$的概率的最佳臂或项目标识为$T\rightarrow \infty$。否则,最优性差距的识别项目退化优雅的CPS。我们认为,这样的分歧是必要的。在PSS($u$)中,参数$u$用于在最优性间隙和成功概率之间进行平衡。注入的随机化被证明是必不可少的,以减轻腐败的影响。为了证明这一点,我们设计了两种适用于任何算法的攻击策略。我们将其中一个应用于PSS的确定性模拟($u$),Karnin等人(2013)称为连续减半(SH)。攻击策略导致SH的高失败概率,但PSS($u$)保持鲁棒性。在没有损坏的情况下,PSS($2$)的性能保证与SH的性能保证相匹配。我们表明,当CPS是足够大的,没有算法可以实现BAI概率趋于$1$作为$T\rightarrow \infty$。数值实验证实了我们的理论研究结果。
2021-06-18 cs.IT cs.LG math.IT
Batched Dueling Bandits
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
$K$ -武装决斗强盗问题,其中的反馈是在噪声成对比较的形式,已被广泛研究。以前的工作只集中在顺序设置的政策适应后,每次比较。然而,在诸如搜索排名和推荐系统的许多应用中,优选地在有限数量的并行批次中执行比较。研究了批量$K$ -武装决斗强盗问题在两种标准条件下的解:(i)Condorcet获胜者的存在性,(ii)强随机传递性和随机三角不等式.对于这两种设置,我们获得的算法与批次和遗憾的数量之间的平滑权衡。我们的遗憾边界匹配最知名的顺序遗憾边界(多对数因子),只使用对数数量的批次。我们用一个几乎匹配的下限来补充我们的遗憾分析。最后,我们还验证了我们的理论结果,通过实验的合成和真实数据。
2022-02-22 cs.LG stat.ML
Bandit Linear Optimization for Sequential Decision Making and Extensive-Form Games
Carnegie Mellon University(卡内基梅隆大学);Strategic Machine, Inc.(战略机器公司);Strategy Robot, Inc.(战略机器人公司);Optimized Markets, Inc.(优化市场公司)
树型序贯决策(TFSDM)扩展了经典的一次性决策模型之间的代理和一个潜在的敌对环境树型的相互作用。它捕获了每个玩家在扩展形式的游戏中面临的在线决策问题,以及马尔可夫决策过程和部分可观察的马尔可夫决策过程,其中代理人以观察到的历史为条件。在过去的十年中,已经有相当大的努力,设计在线优化方法TFSDM。几乎所有的工作都是在完全反馈的情况下进行的,在这种情况下,智能体可以访问反事实,也就是说,如果智能体在任何决策节点选择了不同的行动,将会发生什么。关于强盗设置,人们知之甚少,在强盗设置中,假设被颠倒了(没有反事实信息可用),尽管后一种设置在一次性决策中被很好地理解了近20年。在本文中,我们给出了第一个算法的土匪线性优化问题的TFSDM,提供(i)线性时间迭代(在决策树的大小)和(ii)$O(\sqrt{T})$累积遗憾的期望相比,任何固定的战略,在任何时候$T$。这是可能的新结果,我们得出,这可能有独立的用途,以及:1)几何的扩张熵正则化,2)自相关矩阵的自然抽样计划的序列形式的战略,3)建设的无偏估计的线性损失的序列形式的战略,和4)一个精细的后悔分析时,使用扩张熵正则化的镜像下降。
2021-03-08 cs.GT cs.LG
Understanding the stochastic dynamics of sequential decision-making processes: A path-integral analysis of multi-armed bandits
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Aston University(阿斯顿大学);The Education University of Hong Kong(香港教育大学)
该研究运用统计物理路径积分方法分析多臂赌博机模型的有限时间随机动力学,刻画了累积遗憾的多峰分布特征,解析结果与模拟一致,为序贯决策的探索-利用权衡研究提供了新视角。
2023-06-10 cond-mat.dis-nn cs.LG physics.soc-ph
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一个多臂强盗启发,池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪,我们利用的想法,如置信下限,自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法,它在每一轮中分配一个采样分布在池中,从这个分布中采样一个点,并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明,在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology(以色列理工学院)
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力,并将其与为线性上下文强盗设计的高效探索机制相结合,在最后一个隐藏层之上。由于表示在学习期间被优化,因此关于使用“旧”特征的探索的信息丢失。在这里,我们提出了第一个有限的记忆神经线性强盗,是弹性的这种现象,我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集,包括回归,分类和情感分析,并观察到我们的算法是弹性的灾难性遗忘,并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
Batched Neural Bandits
University of California, Los Angeles(加州大学洛杉矶分校);Yale University(耶鲁大学);Google Research NYC(谷歌研究院纽约分部)
在许多序贯决策问题中,个体被分成若干批,决策者只允许在批的末尾改变策略。这些批量问题有大量的应用,从临床试验到众包。受此启发,我们研究了一般报酬分布下的随机上下文强盗问题。我们提出了BatchNeuralUCB算法,该算法结合了神经网络与乐观,以解决探索-开发权衡,同时保持批次总数有限。我们研究了固定和自适应批量大小设置下的BatchNeuralUCB,并证明它实现了与完全顺序版本相同的遗憾,同时大大减少了策略更新的数量。我们通过模拟合成和真实世界的数据集来证实我们的理论结果。
2021-02-25 cs.LG stat.ML
High dimensional stochastic linear contextual bandit with missing covariates
University of Michigan(密歇根大学);Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近的作品在强盗问题采用套索收敛理论的顺序决策设置。即使在完全观测的背景下,也存在阻碍现有套索收敛理论应用的技术挑战:1)在条件次高斯噪声下证明限制特征值条件,以及2)解释背景变量与所选动作之间的依赖性。研究了随机线性bandit算法中协变量缺失对后悔的影响。我们的工作提供了一个高概率上限的遗憾所提出的算法在协变量采样概率方面,显示遗憾退化,由于错过了最多$ζ_{min}^2$,其中$ζ_{min}$是观察协变量的上下文向量的最小概率。我们说明了我们的算法的实际应用的试验设计收集基因表达数据的顺序选择类区分DNA探针。
2022-07-22 cs.LG stat.ML
Correlational Dueling Bandits with Application to Clinical Treatment in Large Decision Spaces
California Institute of Technology(加州理工学院)
我们考虑顺序决策的不确定性,其目标是优化一个大的决策空间,使用嘈杂的比较反馈。这个问题可以用公式表示为$K$ -武装决斗强盗问题,其中$K$是决策的总数。当$K$很大时,现有的决斗强盗算法在收敛到最优手臂之前会遭受巨大的累积遗憾。我们的问题是由一个临床决策过程中的大决策空间。我们提出了一个有效的算法CorrDuel优化探索/开发权衡在这个大的决策空间的临床治疗。更广泛地说,我们的方法可以应用于其他顺序决策问题与大型和结构化的决策空间。我们得出遗憾的界限,并在模拟实验中,以及对治疗性脊髓刺激的现场临床试验的性能进行评估。据我们所知,这标志着第一次将在线学习算法应用于脊髓损伤治疗。我们的实验结果表明,我们的方法的有效性和效率。
2017-07-08 cs.LG
Selective Reviews of Bandit Problems in AI via a Statistical View
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文从统计学视角综述 MAB、K 臂上下文 Bandit 与 SCAB 的模型假设、非渐近理论、频率派与贝叶斯算法、遗憾分析及函数数据分析联系,并指出进展与挑战。
2025-02-19 cs.AI cs.LG econ.EM
Thompson Sampling on Symmetric $α$-Stable Bandits
Massachusetts Institute of Technology(麻省理工学院)
汤普森采样提供了一种有效的技术,引入先验知识的多臂强盗问题,以及提供显着的经验性能。在本文中,我们重新审视汤普森抽样算法下的对称$α$稳定分布,这是一类重尾概率分布在金融和经济学中使用的奖励,在问题,如建模股票价格和人类行为。我们提出了一个有效的框架后验推理,这导致两个算法汤普森采样在这种情况下。我们证明了这两种算法的有限时间遗憾界,并通过一系列的实验证明了更强的性能汤普森采样在此设置。我们的研究结果,我们提供了一个对称的$α$ -稳定分布的顺序决策的博览会,并使顺序贝叶斯推理的应用程序从不同领域的金融和复杂的系统上操作的重尾功能。
2019-12-05 cs.LG stat.ML
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
An empirical evaluation of active inference in multi-armed bandits
Technische Universität Dresden(德累斯顿工业大学);Centre for Tactile Internet with Human-in-the-Loop (CeTI), Technische Universität Dresden(德累斯顿工业大学触觉互联网与人机闭环研究中心);Max Planck UCL Centre for Computational Psychiatry and Ageing Research, University College London(伦敦大学学院马克斯·普朗克计算精神病学与衰老研究中心);Secondmind;University College London(伦敦大学学院)
在不确定性条件下,顺序决策的一个关键特征是需要在利用(根据现有知识选择最佳行动)和探索(获得有关其他行动价值的信息)之间取得平衡。多臂强盗问题,一个经典的任务,捕捉这种权衡,作为一个车辆在机器学习开发强盗算法,被证明是有用的,在许多工业应用。主动推理框架是最近在神经科学中开发的一种用于理解人类和动物行为的顺序决策方法,其特点是其复杂的策略,用于解决探索-开发权衡。这使得主动推理成为已经建立的强盗算法的令人兴奋的替代方案。在这里,我们推导出一个有效的和可扩展的近似主动推理算法,并比较它的两个国家的最先进的强盗算法:贝叶斯置信上限和乐观的汤普森采样。这种比较是在两种类型的强盗问题:一个固定的和动态的切换强盗。我们的经验评估表明,主动推理算法不会产生有效的长期行为在固定土匪。然而,在更具有挑战性的切换强盗问题的主动推理性能大大优于两个国家的最先进的强盗算法。这些结果为理论和应用机器学习的进一步研究开辟了令人兴奋的场所,并为主动推理作为研究人类和动物行为的一般框架提供了额外的可信度。
2021-08-04 cs.LG
Multiple-Play Bandits in the Position-Based Model
Université Paris Sud(巴黎南大学);Université Paris Saclay(巴黎萨克雷大学);Télécom ParisTech(巴黎高等电信学院);CNRS(法国国家科学研究中心)
按顺序学习将物品放置在多位置显示器或列表中是一项可以投入多人游戏半强盗设置的任务。然而,在这种情况下,一个主要的问题是当系统不能决定是否用户的反馈,每个项目实际上是可利用的。事实上,许多内容可能已经被用户简单地忽略了。目前的工作提出了利用现有的信息显示位置偏置下所谓的基于位置的点击模型(PBM)。我们首先讨论了这个模型是如何不同的级联模型和它的变种认为在最近的几个作品多播放土匪。然后,我们提供了一个新的遗憾下限,这个模型以及计算效率高的算法,显示良好的经验和理论性能。
2016-06-08 cs.LG math.ST stat.TH
Ultra Fast Medoid Identification via Correlated Sequential Halving
Stanford University(斯坦福大学)
一组n个点的中心点是集合中最小化到其他点的距离之和的点。它可以通过计算所有点对之间的距离在O(n^2)时间内精确确定。以前的工作表明,可以显着减少的距离计算所需的自适应查询距离。所得到的随机算法是通过直接转换的计算问题,多臂强盗统计推断问题。在这项工作中,我们表明,我们可以更好地利用结构的基本计算问题,通过修改传统的强盗采样策略,并使用它与适当选择的多臂强盗算法。四到五个数量级的增益超过精确的计算获得的实际数据,在两个数量的距离计算所需的挂钟时间。理论结果得到量化的数据参数方面的收益。我们的代码可在https://github.com/TavorB/Correlated-Sequential-Halving上公开获取。
2019-11-04 cs.DS cs.IT cs.LG
Towards More Efficient, Robust, Instance-adaptive, and Generalizable Sequential Decision making
The Chinese University of Hong Kong(香港中文大学)
本研究面向不确定性下的数据驱动序列决策,针对模型误设、对抗扰动、实例依赖性能及新环境泛化等挑战,发展高效、鲁棒、实例自适应且可泛化的RL与多臂老虎机算法。
2026-10-01 cs.LG
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们认为最好的武器识别的问题,在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中,多个武器被顺序播放,直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈,因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪,结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构,明确依赖于手臂的平均回报,而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
MESHA: Mechanism-Enforced Sequential Halving for Strategic Linear Bandits
Data Science and Analytics Thrust, Hong Kong University of Science and Technology (Guangzhou)(数据科学与分析方向,香港科技大学(广州))
研究策略性线性博弈中最佳臂识别问题,提出MESHA算法,采用朴素均匀采样规则和逐轮严厉触发条件,证明其在固定预算内失败概率上界,指出基于\(G\)最优设计的算法在此环境会失败,实验表明MESHA优于基线。
2026-07-17 cs.LG
Max K-armed bandit: On the ExtremeHunter algorithm and beyond
LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学 巴黎高科电信学院 LTCI实验室);IMT, Université de Toulouse(图卢兹大学 数学与计算机科学研究所)
本文致力于研究最大K臂强盗问题,该问题包括顺序分配资源以检测极端值。我们的贡献是双重的。我们首先对Carpentier和Valko(2014)中的ExtremeHunter算法进行了显著的改进,然后提出了一种替代方法,表明极端强盗可以在一定程度上简化为经典版本的强盗问题。除了正式的分析,这两种方法进行了比较,通过数值实验。
2017-07-27 cs.LG stat.ML
Hierarchical Causal Bandit
Stanford University(斯坦福大学);National Chiao Tung University(国立交通大学)
因果强盗是一种新生的学习模型,其中智能体顺序地在变量的因果网络中进行实验,以识别奖励最大化干预。尽管该模型的广泛适用性,现有的分析结果在很大程度上限于一个并行的强盗版本,所有变量是相互独立的。在这项工作中,我们介绍了层次因果土匪模型作为一个可行的路径,了解一般的因果土匪与因变量。其核心思想是纳入一个上下文变量,捕捉所有变量之间的相互作用与直接影响。使用这个层次结构的框架,我们得到尖锐的见解,在因果土匪与依赖武器的算法设计,并获得几乎匹配的遗憾界的情况下,一个二进制的背景。
2021-03-07 cs.LG stat.ML
Maximin Action Identification: A New Bandit Framework for Games
我们研究了一个原始的纯探索问题的战略土匪模型的动机是蒙特卡洛树搜索。它包括确定游戏中的最佳行动,当玩家可以从顺序选择的行动对中随机抽取结果时。我们提出了两种策略的固定的信心设置:最大值LUCB,基于上下限的信心界限;和最大值赛车,它通过连续消除次优的行动。我们讨论了这两种方法的样本复杂性,并比较它们的性能经验。我们勾勒出一个下界分析,并可能连接到一个最佳的算法。
2016-02-15 cs.GT math.ST stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML