KLUCB Approach to Copeland Bandits
多臂强盗(MAB)问题是一个强化学习框架,在该框架中,智能体通过对每个动作的绝对反馈来选择适当的动作,以最大化其收益。决斗强盗问题是MAB问题的一种变体,其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中,它是不可能提供定量反馈的每个动作,但定性反馈的每个动作是首选的情况下,人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB,该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法,我们结合一对动作,并使用它作为一个动作。以前的UCB算法,如相对置信上限(RUCB)只能应用于孔多塞决斗土匪的情况下,而该算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样(DSPs)的情况下,科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Safe Exploration for Optimizing Contextual Bandits
University of Amsterdam(阿姆斯特丹大学)
上下文强盗问题自然适合于许多信息检索任务,例如学习排序、文本分类、推荐等。然而,用于上下文强盗问题的现有学习方法具有两个缺点之一:它们要么不探索所有可能的文档排序的空间(即,动作),并且因此可能错过最优排名,或者它们向用户呈现次优排名,并且因此可能损害用户体验。我们介绍了一种新的学习方法上下文强盗问题,安全探索算法(SEA),它克服了上述缺点。SEA首先使用基线(或生产)排名系统(即,策略),其不损害用户体验,因此执行起来是安全的,但是具有次优性能,因此需要改进。然后SEA使用反事实学习来学习基于基线策略的行为的新策略。SEA还使用高置信度的离策略评估来估计新学习的策略的性能。一旦新学习的策略的性能至少与基线策略的性能一样好,SEA就开始使用新策略执行新动作,允许它积极探索动作空间的有利区域。这样,SEA的性能永远不会比基线策略差,因此不会损害用户体验,同时仍然探索动作空间,因此能够找到最佳策略。我们使用文本分类和文档检索的实验通过比较SEA(和称为BSEA的无限变体)与上下文强盗问题的在线和离线学习方法来证实上述内容。
2020-02-02 cs.IR cs.LG
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback
Kara Technology - Dpt R&D(Kara Technology - 研发部);Groupe ESEO - ERIS(ESEO集团 - ERIS)
最近的多臂强盗(MAB)和组合多臂强盗(COM-MAB)的工作显示出良好的结果的全球准确性度量。在推荐系统的情况下,这可以通过个性化来实现。然而,对于组合在线学习方法,个性化意味着大量的用户反馈。当用户需要直接和频繁地征求时,这种反馈可能很难获得。对于正在进行业务数字化的许多活动领域来说,在线学习是不可避免的。因此,已经实现了允许隐式用户反馈检索的许多方法。然而,这种隐含的反馈可能会误导或低效的代理的学习。在这里,我们提出了一种新的方法,减少了显式反馈所需的组合多臂强盗(COM-MAB)算法的数量,同时提供了类似的水平的全局精度和学习效率的经典竞争方法。在本文中,我们提出了一种新的方法来考虑用户的反馈,并使用三种不同的策略进行评估。尽管有限数量的反馈返回的用户(低至20%的总数),我们的方法获得了类似的结果,那些国家的最先进的方法。
2020-09-16 cs.AI cs.LG stat.ML
A Relative Exponential Weighing Algorithm for Adversarial Utility-based Dueling Bandits
Orange-labs(Orange实验室)
我们研究的K-臂决斗土匪问题,这是一个经典的多臂土匪(MAB)的问题,其中学习者只收到有关选定的武器对的相对反馈的变化。我们提出了一个新的算法称为相对指数权重算法的探索和利用(REX 3)来处理这个问题的对抗性效用为基础的配方。该算法是指数权重探索和利用算法(EXP 3)的非平凡扩展。证明了该算法的有限时间期望后悔上界为O(sqrt(Kln(K)T))阶,一般下界为Ω(sqrt(KT))阶.最后,我们提供了实验结果,使用实际数据从信息检索应用。
2016-01-15 cs.LG
Stochastic Online Conformal Prediction with Semi-Bandit Feedback
Department of Computer and Information Science, University of Pennsylvania(宾夕法尼亚大学计算机与信息科学系)
针对仅当真实标签在预测集中才能观察到真实标签的半强盗反馈在线学习场景,提出一种新型保形预测算法,理论证明其具有次线性遗憾,并在多个任务上验证了优于基线的性能。
2025-05-27 cs.LG
BanditRank: Learning to Rank Using Contextual Bandits
Indian Institute of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校);Yahoo Japan Corporation(雅虎日本公司)
我们提出了一种可扩展的深度学习方法,该方法使用强化学习来训练神经网络,用于信息检索(IR)中的离线排名。我们称我们的方法为BanditRank,因为它将排名视为上下文强盗问题。在IR的学习排序领域,当前的深度学习模型是在与评估指标不同的目标函数上训练的。由于大多数评估指标是离散量,因此无法在没有近似的情况下直接使用梯度下降算法来利用它们。BanditRank通过使用梯度下降直接优化特定于任务的度量(例如平均精度(MAP))来弥补这一差距。具体地说,一个上下文的强盗的行动是排名输入文件的训练使用策略梯度算法直接最大化的奖励。奖励可以是单个度量,例如MAP,或几个度量的组合。排名的概念也是BanditRank中固有的,类似于当前的\textit{listwise}方法。为了评估BanditRank的有效性,我们对与三种不同任务相关的数据集进行了一系列实验,即,网络搜索、社区和事实问答。我们发现,当应用于问答数据集时,它比最先进的方法表现得更好。在网络搜索数据集上,我们发现BanditRank的表现优于四个强大的列表基线,包括LambdaMART,AdaRank,ListNet和Coordinate Ascent。
2019-10-23 cs.IR cs.LG
Explore First, Exploit Next: The True Shape of Regret in Bandit Problems
CNRS(法国国家科学研究中心);HEC Paris(巴黎高等商学院)
在多臂强盗问题的情况下,我们重新讨论了遗憾的下界。我们获得非渐近的,分布依赖的界限,并提供简单的证明,只基于著名的性质Kullback-Leibler分歧。这些界限特别表明,在初始阶段的遗憾几乎线性增长,而众所周知的对数增长的遗憾只在最后阶段。证明技术来的信息理论的论点使用的本质,他们被剥夺了所有不必要的复杂性。
2018-10-13 cs.LG math.ST stat.TH
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Davis(加州大学戴维斯分校)
本文研究了具有随机延迟反馈的偏置对决老虎机问题,提出了两种分别适用于已知延迟分布和仅知延迟期望的算法,并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Adaptive Crowdsourcing Algorithms for the Bandit Survey Problem
Microsoft Research Silicon Valley(微软硅谷研究院);Microsoft Corporation(微软公司)
最近,众包已经成为事实上的平台,用于分发和收集人类计算,用于广泛的任务和应用,例如信息检索,自然语言处理和机器学习。目前的众包平台在质量控制方面有一些局限性。确保高质量的大部分工作必须由实验者来完成,他必须管理达到良好结果所需的工人数量。我们提出了一个简单的模型,自适应质量控制在众包多项选择任务,我们称之为\emph{bandit survey problem}。这个模型与著名的多臂强盗问题有关,但在技术上有所不同。我们提出了几种算法,这个问题,并支持他们的分析和模拟。我们的方法是基于我们的经验进行相关性评估的大型商业搜索引擎。
2013-05-20 cs.LG
Regret Minimization in Stochastic Contextual Dueling Bandits
我们考虑的问题随机$K$武装决斗土匪的上下文设置,在每一轮的学习者提出了一个上下文集的$K$项目,每个由一个$d$维特征向量表示,和学习者的目标是确定最好的手臂的每个上下文集。然而,与经典的上下文强盗设置不同,我们的框架只允许学习者根据他们的(嘈杂的)pariwise偏好来接收项目反馈--著名的研究是决斗强盗,这在各种在线决策场景中具有实际意义,例如推荐系统、信息检索、比赛排名,在这些场景中,更容易得出项目的相对强度,而不是它们的绝对分数。然而,据我们所知,这项工作是第一次考虑的问题,后悔最小化的背景决斗土匪潜在的无限决策空间,并给出了可证明的最佳算法,以及匹配的下限分析。我们提出了两个算法的设置与各自的遗憾保证$\tilde O(d\sqrt{T})$和$\tilde O(\sqrt{dT \log K})$。随后,我们还表明,$Ω(\sqrt {dT})$实际上是这个问题的基本性能限制,这意味着我们的第二个算法的最优性。然而,我们的第一个算法的分析是相对简单的,它往往是优于前者的经验。最后,我们证实了所有的理论结果与适当的实验。
2021-05-09 cs.LG stat.ML
Phase Transitions in Bandits with Switching Constraints
Massachusetts Institute of Technology(麻省理工学院)
我们考虑经典的随机多臂强盗问题的约束条件,限制的总成本之间的切换动作不大于一个给定的切换预算。对于这个问题,我们证明了匹配的最佳上限和下限(即,minimax)遗憾,并提供有效的速率优化算法。令人惊讶的是,这个问题的最佳遗憾表现出非常规的增长率的时间范围和武器的数量。因此,我们发现了令人惊讶的“相变”,关于如何最佳后悔率的变化相对于切换预算:当臂的数量是固定的,有等长的阶段,在每个阶段内的最佳后悔率保持(几乎)相同,并表现出突变阶段之间;当臂的数目随着时间范围而增长时,这种突然的变化变得更加微妙并且可能消失,但是涉及某些新测量的相变的一般概念仍然存在。结果使我们能够充分表征的后悔率和所产生的切换成本之间的权衡随机多臂强盗问题,这一基本问题提供了新的见解。在一般的转换成本结构下,结果揭示了强盗问题和图遍历问题(如最短哈密尔顿路径问题)之间的有趣联系。
2021-03-18 cs.DS cs.LG math.OC
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA(密歇根大学电气工程与计算机科学系);Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学航空航天工程系);Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA(密歇根大学气候与空间工程系)
经典的多臂强盗(MAB)问题有两种变体,近年来受到机器学习研究者的广泛关注:情境强盗和简单后悔最小化。情境强盗是MAB的一个子类,在每个时间步,学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中,我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式,我们假设学习者经历了一个纯粹的探索阶段,在每一个动作后收到反馈,但没有遗憾,然后是一个纯粹的开发阶段,其中遗憾的是,但没有反馈。我们提出了上下文间隙算法,并建立了简单的遗憾,即性能保证,在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序,以自适应传感器选择星际航天器的磁场估计,并证明了相当大的改进算法,旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Linear Stochastic Bandits Under Safety Constraints
Bandit算法在安全关键系统中有各种应用,其中重要的是要尊重依赖于每一轮Bandit未知参数的系统约束。在本文中,我们制定了一个线性随机多臂土匪问题的安全约束,依赖于(线性)的一个未知参数向量。因此,学习者无法识别所有安全动作,并且必须保守地采取行动,以确保她的动作在所有回合中都满足安全约束(至少具有高概率)。对于这些土匪,我们提出了一个新的UCB为基础的算法称为安全LUCB,其中包括必要的修改,尊重安全约束。该算法有两个阶段。在纯探索阶段,学习者从一组有限的安全动作中随机选择她的动作,目标是学习整个未知安全集的良好近似。一旦实现了这个目标,算法就开始了一个安全的探索-利用阶段,在这个阶段,学习者逐渐扩大他们对安全行动集的估计,同时控制后悔的增长。我们提供了一个一般的遗憾边界的算法,以及一个问题相关的界限,连接到安全集内的最佳行动的位置。然后,我们提出了一个修改后的启发式,利用我们的问题相关的分析,以改善遗憾。
2019-08-16 cs.LG stat.ML
A Component-Based Survey of Interactions between Large Language Models and Multi-Armed Bandits
College of Information and Electrical Engineering, China Agricultural University, Beijing 100083, China(信息与电气工程学院,中国农业大学,北京);Key Laboratory of Agricultural Machinery Monitoring and Big Data Application, Ministry of Agriculture and Rural Affairs, Beijing 100083, China(农业机械监测与大数据应用重点实验室,农业农村部,北京)
本文调研了大型语言模型与多臂老虎机在组件层面的双向交互,分析了两者在解决对方挑战中的协同作用及未来研究方向。
2026-03-07 cs.CL cs.LG
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University(哥伦比亚大学)
本文研究了半参数带its中的固定置信度最佳臂识别,通过正交化回归方法,提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
When Can We Track Significant Preference Shifts in Dueling Bandits?
Columbia University(哥伦比亚大学)
研究存在分布转移的$K$臂决斗赌博机,刻画可实现$O(\sqrt{K\tilde{L}T})$动态遗憾的偏好分布类别边界。
2024-01-24 cs.LG stat.ML
On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials
Spotify(声田);CNRS(法国国家科学研究中心);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);Sanofi R&D(赛诺菲研发中心)
我们研究了在早期临床试验中通过多臂强盗透镜寻找最佳剂量的问题。我们提倡使用汤普森抽样原则,这是一种灵活的算法,可以适应不同类型的单调性假设的毒性和有效性的剂量。对于最简单的版本的汤普森采样,基于一个均匀的先验分布为每个剂量,我们提供了有限的时间上限的次优剂量选择,这是前所未有的剂量发现算法的数量。通过一个大型的模拟研究,我们表明,汤普森采样的基础上更复杂的先验分布的变体优于国家的最先进的剂量识别算法在不同类型的剂量发现研究,发生在I期或I/II期试验。
2020-04-07 cs.LG stat.ML
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore(新加坡国立大学)
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机,给出极小极大遗憾下界,并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Physics-Informed Parametric Bandits for Beam Alignment in mmWave Communications
本文提出两种物理信息老虎机算法,用于高效识别毫米波通信中的最优波束方向,通过利用信道的稀疏多径特性,在多种信道环境中表现出色。
2026-03-01 cs.LG
A Novel Confidence-Based Algorithm for Structured Bandits
Politecnico di Milano(米兰理工大学);Facebook AI Research(脸书人工智能研究院)
我们研究有限武器随机强盗,其中每个武器的奖励可能与其他武器的奖励相关。我们引入了一种新的分阶段算法,利用给定的结构建立真正的强盗问题的参数的置信集,并迅速丢弃所有次优武器。特别是,不像标准的强盗算法,没有结构,我们表明,次优的手臂被选中的次数实际上可能会减少由于通过拉动其他武器收集的信息。此外,我们表明,在某些结构中,我们的算法的任何时候扩展的遗憾是一致有界的时间。对于这些恒定的后悔结构,我们也得到了一个匹配的下限。最后,我们用数值方法证明了我们的方法比现有方法更好地利用了某些结构。
2020-05-23 cs.LG stat.ML
Near-Optimal Collaborative Learning in Bandits
Université Paris Cité(巴黎西岱大学);Inserm(法国国家健康与医学研究院);MediaTek Research(联发科研究院);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文介绍了一个一般的多智能体强盗模型,其中每个智能体都面对一个有限的手臂集合,并可以通过一个中央控制器与其他智能体通信,以便在纯探索或玩后悔最小化时识别其最优手臂。扭曲的是,每个智能体的最优手臂是具有最大期望混合奖励的手臂,其中,一个分支的混合奖励是该分支对所有代理的奖励的加权和。这使得代理之间的通信经常是必要的。这种通用设置允许恢复和扩展用于协作式强盗学习的几种最近的模型,包括最近提出的具有个性化的联邦学习(Shi等人,2021年)。在本文中,我们提供了新的下界的样本复杂性的纯探索和遗憾。然后,我们提出了一个接近最优的纯探索算法。该算法是基于两个新的成分相消:每个阶段内的数据依赖的采样方案,旨在匹配放松的下限。
2022-10-28 cs.LG stat.ML
Optimizing Ranking Systems Online as Bandits
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团);Microsoft(微软)
排序系统是现代检索和推荐系统的核心部分,其目标是根据用户上下文对候选项进行排序。在线优化排名系统意味着部署的系统可以服务于用户请求,例如,查询,并通过从用户交互中学习来优化排名策略,例如,次点击Bandit是一个通用的在线学习框架,可以用于我们的优化任务。然而,由于排名的独特性,在设计用于排名系统优化的强盗算法方面存在一些挑战。在这篇论文中,我们研究并提出了四个挑战的解决方案,在优化排名系统在线:有效性,安全性,非平稳性和多样化。首先,有效性与算法从交互中学习的速度有关。本文研究了有效的在线排名评估任务,提出了一种有效的在线排名评估算法。其次,部署的算法应该是安全的,这意味着算法只显示用户请求的合理内容。为了解决安全的在线学习排名问题,我们提出了BubbleRank算法。第三,当用户不断改变他们的偏好时,算法应该处理非平稳性。我们制定这个非平稳在线学习排名问题级联非平稳土匪,并提出CascadeDUCB和CascadeSWUCB算法来解决这个问题。最后,排行榜的内容应该是多样的。我们认为结果多样化的任务,并提出了CascadeHybird算法,同时考虑项目的相关性和结果多样化时,从用户交互学习。
2021-10-12 cs.IR cs.LG
Fixed-Budget Best-Arm Identification in Sparse Linear Bandits
CNRS at CREATE(法国国家科学研究中心驻CREATE);National University of Singapore(新加坡国立大学)
本文针对稀疏高维线性赌博机的固定预算最佳臂识别问题,提出两阶段算法 Lasso-OD,先利用阈值 Lasso 估计支持集,再在支持集上运行 OD-LinBAI,使错误概率指数仅依赖稀疏度 s 而非维度 d,并证明其几乎极小极大最优。
2023-11-01 cs.LG stat.ML
On the Benefits of Free Exploration for Regret Minimization in Multi-Armed Bandits
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Department of Mathematics, Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学数学系、电子与计算机工程系)
本文研究在初始自由探索阶段后最小化累积遗憾的多臂老虎机问题,提出一种两阶段算法UFE-KLUCB-H,并证明其相比无自由探索的策略能严格减少遗憾。
2026-05-25 cs.AI cs.IT cs.LG
Bandits in Prod: Hyperparameter Optimization at Inference Time
Tiime
该研究针对生产系统推理时超参数优化的问题,提出IMABO框架,结合IMOSS策略与三类神谕,在多类OHPO场景中实现了更低的累积遗憾。
2026-09-03 cs.AI cs.LG
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们探索了一个新的设置的多臂强盗(MAB)问题的灵感来自现实世界的应用程序,我们称之为“随机延迟复合匿名反馈(SDCAF)”的强盗。在SDCAF中,拉臂的奖励是随时间随机的,但在拉臂后的未来分散在固定数量的时间步长上,这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质,玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法,这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析,以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Pure Exploration in Infinitely-Armed Bandit Models with Fixed-Confidence
Northeastern University(东北大学);CNRS & CRIStAL, UMR 9189, Université de Lille(法国国家科学研究中心与里尔大学晶体实验室(UMR 9189));Inria Lille, SequeL team(法国国家信息与自动化研究所里尔分所序列团队)
我们认为,在固定的信心设置的无限武装土匪问题时,什么都不知道的手臂水库分布的近最佳手臂识别的问题。我们(1)引入了一个类似PAC的框架,在该框架内导出和投射结果;(2)导出了用于近最优手臂识别的样本复杂度下限;(3)提出了一种算法,该算法以高概率识别近最优手臂,并导出其样本复杂度的上限,该上限在我们的下限的对数因子内;和(4)讨论我们的log^2(1/delta)依赖性是否不可避免的“两阶段”(先选择手臂,然后确定最好的)算法在无限设置。这项工作允许应用强盗模型更广泛的一类问题,较少的假设举行。
2018-03-13 cs.LG stat.ML
Explicit Best Arm Identification in Linear Bandits Using No-Regret Learners
Indian Institute of Science(印度科学学院);Technion, Israel Institute of Technology(以色列理工学院)
研究了线性参数化多臂强盗的最佳臂识别问题。给定一组特征向量$\mathcal{X}\subset\mathbb{R}^d,$、置信参数$δ$和未知向量$θ^*,$,目标是识别$\arg\max_{x\in\mathcal{X}}x^Tθ^*$,概率至少为$1-δ,$,使用$x^Tθ^*.$形式的噪声测量。对于此固定置信度($δ$ -PAC)设置,我们提出了一种明确可实现且可证明的阶数最优样本复杂度算法来解决此问题。以前的方法依赖于访问极大极小优化预言机。该算法,我们称之为\textit{Phased Elimination Linear Exploration Game}(PELEG),保持一个高概率的信心椭圆包含$θ^*$在每一轮,并使用它来消除次优武器的阶段。PELEG实现了沿着最令人困惑的(即,接近,但不是最佳的)方向,通过解释问题作为两个玩家零和游戏,并使用低后悔学习器计算玩家的策略,在每一轮顺序收敛到它的鞍点。我们分析了PELEG的样本复杂性,并表明它匹配,为了,在线性强盗设置样本复杂性的实例相关的下界。我们还提供了数值计算结果,该算法符合其理论保证。
2020-06-13 cs.LG stat.ML
Efficient and Interpretable Bandit Algorithms
University of Wisconsin Madison(威斯康星大学麦迪逊分校);SC Johnson College of Business, Cornell University(康奈尔大学约翰逊管理学院);AWS AI Labs, Amazon(亚马逊AWS人工智能实验室)
针对机器学习可解释性需求,提出基于约束最优设计的赌博机算法CODE,通过在所有可行动作中探索以减少不确定性,实现高效且可解释,并在多臂和线性赌博机中达到近最优遗憾界。
2024-02-08 cs.LG
Inverse Contextual Bandits without Rewards: Learning from a Non-Stationary Learner via Suffix Imitation
Gaoling School of Artificial Intelligence, Renmin University of China(人工智能学院,中国人民大学)
通过后缀模仿学习非平稳学习者,无奖励观察者可实现与完全奖励感知学习者相当的收敛率。
2026-03-04 cs.LG stat.ML
(Private) Kernelized Bandits with Distributed Biased Feedback
Virginia Tech(弗吉尼亚理工大学);Wayne State University(韦恩州立大学)
在本文中,我们研究了具有分布偏置反馈的核化Bandits。这个问题是由几个现实世界的应用程序(如动态定价,蜂窝网络配置和政策制定),其中来自大量人口的用户贡献的奖励由中央实体选择的行动,但很难收集来自所有用户的反馈。相反,只有来自用户子集的有偏见的反馈(由于用户异质性)可能是可用的。除了这样的部分偏置反馈,我们还面临着两个实际的挑战,由于通信成本和计算复杂性。为了应对这些挑战,我们精心设计了一个新的\emph{distributed phase-then-batch-based elimination (\texttt{DPBE})}算法,该算法分阶段对用户进行采样以收集反馈,以减少偏差,并在每个阶段内使用\emph{maximum variance reduction}批量选择动作。通过适当地选择相位长度,批量大小,和用于消除次优行动的置信宽度,我们表明,\texttt{DPBE}实现了$\tilde{O}(T^{1-α/2}+\sqrt{γ_T T})$,其中$α\in (0,1)$是用户采样参数可以调整的次线性遗憾。此外,\texttt{DPBE}可以显着降低通信成本和计算复杂度的分布式内核化的强盗,相比一些变体的国家的最先进的算法(最初开发的标准内核化的强盗)。此外,通过将各种\emph{differential privacy}模型(包括中央,本地和洗牌模型),我们概括了…
2023-02-07 cs.LG cs.NA math.NA
Efficient Online Set-valued Classification with Bandit Feedback
Binghamton University(宾汉姆顿大学)
针对老虎机反馈下真实标签不可见、校准数据稀疏的问题,提出BCCP框架,以无偏估计和随机梯度下降实现在线集值分类,并提供类别特定覆盖率保证。
2024-05-07 cs.LG stat.ML
Linearly Parameterized Bandits
Cornell University(康奈尔大学);MIT(麻省理工学院)
我们考虑强盗问题,涉及一个大的(可能是无限的)收集的武器,其中每个手臂的预期回报是一个线性函数的$r$ -维随机向量$\mathbf{Z} \in \mathbb{R}^r$,其中$r \geq 2$。目标是最小化累积后悔和贝叶斯风险。当一组武器对应的单位球,我们证明了遗憾和贝叶斯风险是为了$Θ(r \sqrt{T})$,通过建立一个任意的政策的下限,并显示匹配的上限是通过一个政策,探索和开发阶段之间的交替。基于相位的政策也被证明是有效的,如果一组武器满足一个强凸性条件。对于一般的武器集的情况下,我们描述了一个接近最优的政策,其遗憾和贝叶斯风险承认的形式$O(r \sqrt{T} \log^{3/2} T)$的上界。
2010-02-24 cs.LG
Beyond $\log^2(T)$ Regret for Decentralized Bandits in Matching Markets
Google(谷歌);Facebook(脸书);Amazon(亚马逊)
我们在双边匹配市场中设计了分散式后悔最小化算法,其中单边强盗反馈显著改进了先前的工作(Liu et al. 2020 a,2020 b,Sankararaman et al. 2020)。首先,对于一般市场,对于任何$\varepsilon > 0$,我们设计了一种算法,该算法实现了对代理最优稳定匹配的$O(\log^{1+\varepsilon}(T))$遗憾,具有未知的时间范围$T$,改进了(Liu et al. 2020 b)中实现的$O(\log^{2}(T))$遗憾。其次,我们提供了最佳的$Θ(\log(T))$代理最佳遗憾的市场满足唯一性一致性-市场离开参与者不改变原来的稳定匹配。在此之前,当所有武器对代理人有相同的偏好时,$Θ(\log(T))$后悔在非常有限的串行独裁设置中是可以实现的(Sankararaman et al. 2020,Liu et al. 2020 b)。我们提出了一个基于阶段的算法,其中每个阶段,除了删除全球通信占主导地位的武器的代理本地删除武器,他们经常发生冲突。这种局部缺失在打破由跨臂代理的等级异质性引起的死锁方面是关键的。我们进一步证明了我们的算法优于现有的作品,通过模拟。
2021-03-12 cs.LG stat.ML
Partial Structure Discovery is Sufficient for No-regret Learning in Causal Bandits
Purdue University(普渡大学);School of Electrical Computer Engineering(电气与计算机工程学院)
针对因果图未知且含潜在混淆变量的因果老虎机问题,本文刻画了必要且充分的潜在混淆变量,提出两阶段算法,先学习祖先子图构建最优臂集,再用UCB算法,实现次线性遗憾。
2024-11-06 cs.LG stat.ML
When Are Linear Stochastic Bandits Attackable?
Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学)
我们研究了线性随机土匪的对抗攻击:通过操纵奖励,对手的目的是控制土匪算法的行为。也许令人惊讶的是,我们首先表明,一些攻击目标永远无法实现。这与上下文无关的随机强盗形成鲜明对比,本质上是由于线性随机强盗中武器之间的相关性。基于这一发现,本文研究了一个$k$武装的线性土匪环境的可攻击性。我们首先提供了一个完整的必要性和充分性的基础上的武器的上下文向量的几何特征的可攻击性。然后,我们提出了一个两阶段的攻击方法对LinUCB和鲁棒相位消除。该方法首先断言给定的环境是否可攻击;如果是,它会破坏奖励,迫使算法仅使用次线性成本线性拉动目标手臂。数值实验进一步验证了该攻击方法的有效性和成本效率。
2022-07-03 cs.CR cs.LG
The Symmetry between Arms and Knapsacks: A Primal-Dual Approach for Bandits with Knapsacks
Imperial College Business School(帝国理工学院商学院);Stanford University(斯坦福大学)
在本文中,我们研究了背包强盗(BwK)问题,并开发了一个基于原始对偶的算法,实现了问题依赖的对数遗憾界。BwK问题扩展了多臂强盗(MAB)问题,以模拟与玩每个手臂相关的资源消耗,现有的BwK文献主要集中在推导渐近最优无分布遗憾界。我们首先研究BwK问题的原始和对偶线性规划。从这个原始对偶的角度来看,我们发现武器和背包之间的对称性,然后提出了一个新的概念的次优措施的BwK问题。次优性度量突出了背包在确定算法遗憾中的重要作用,并启发了我们两阶段算法的设计。在第一阶段,该算法确定的最佳武器和绑定背包,并在第二阶段,它耗尽绑定背包通过播放最佳武器通过一个自适应过程。我们的遗憾上限涉及到建议的次优性措施,它有一个对数依赖的地平线长度$T$和多项式依赖$m$(武器的数量)和$d$(背包的数量)。据我们所知,这是解决一般BwK问题的第一个问题依赖的对数遗憾界。
2021-06-23 cs.DS cs.LG
A New Algorithm for Non-stationary Contextual Bandits: Efficient, Optimal, and Parameter-free
University of Southern California(南加州大学)
我们提出了第一个上下文强盗算法,是无参数,高效,最佳的动态遗憾。具体来说,我们的算法实现了动态遗憾$\mathcal{O}(\min\{\sqrt{ST}, Δ^{\frac{1}{3}}T^{\frac{2}{3}}\})$的上下文强盗问题与$T$轮,$S$开关和$Δ$总变化的数据分布。重要的是,我们的算法是自适应的,不需要提前知道$S$或$Δ$,并可以有效地实现假设访问一个ERM oracle。我们的结果严格地改进了(Luo et al.,2018),并大大推广和改进了(Auer等人,2018)的$\mathcal{O}(\sqrt{ST})$结果,该结果仅适用于没有上下文信息的双臂强盗问题。我们的算法的关键新颖性是引入重放阶段,在该阶段中,算法根据其先前的决定在一定的时间内采取行动,以检测非平稳性,同时保持探索和开发之间的良好平衡。
2019-06-18 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法,通过延迟感知放大算法和分阶段学习策略,实现了次线性后悔保证,并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例,并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法,有效地将这种离线信息在在线探索阶段,并获得他们的遗憾界限。特别是,我们开发的Meta算法,有效地对冲其他两种算法:一个使用历史观测和聚类,另一个只使用历史观测。当聚类质量好时,前者优于后者,反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验,验证了我们的理论见解,并证明Meta是一种强大的策略,可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Periodic Bootstrap Thompson Sampling For Periodically Non-Stationary Bandit Problems
针对周期性非平稳多臂老虎机问题,提出周期性自展汤普森采样(PBTS),通过同步信念重置、嵌入自展探索阶段克服传统TS缺陷。实验表明PBTS能显著降低累积遗憾,还阐述了其实际部署潜力与局限及未来研究方向。
2026-07-21 cs.LG
Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学耿丽学校);School of Artificial Intelligence and Data Science, University of International Business and Economics(国际商务经济大学人工智能与数据科学学院)
HyperBandit+通过整合时间感知超网络和LLM预热机制,提升流媒体推荐中对随时间变化用户偏好的适应能力。
2026-02-08 cs.LG
Self-Supervised Contextual Bandits in Computer Vision
Microsoft Ads(微软广告);Microsoft AI & Research(微软人工智能与研究院)
上下文强盗是机器学习从业者在从假设检验到产品推荐等不同领域面临的一个常见问题。已经有很多方法在利用丰富的数据表示的上下文强盗问题不同程度的成功。自监督学习是一种很有前途的方法,可以找到丰富的数据表示,而无需显式标签。在典型的自监督学习方案中,主要任务由问题目标定义(例如聚类、分类、嵌入生成等)。并且次要任务由自监督目标(例如,旋转预测、邻域中的单词、着色等)定义。在通常的自我监督中,我们从次要任务的训练数据中学习隐式标签。然而,在上下文强盗设置中,由于在学习的初始阶段缺乏数据,我们没有获得隐式标签的优势。我们提供了一种新的方法来解决这个问题,结合上下文的强盗目标与自我监督的目标。通过增强上下文强盗学习与自我监督,我们得到了更好的累积奖励。我们在八个流行的计算机视觉数据集上的结果显示,累积奖励有了很大的提高。我们提供的情况下,所提出的计划不执行最佳,并在这些情况下更好地学习提供替代方法。
2020-03-18 cs.CV cs.LG stat.ML
Double Explore-then-Commit: Asymptotic Optimality and Beyond
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了具有亚高斯报酬的多臂强盗问题。探索-然后-提交(ETC)策略,由探索阶段和开发阶段组成,是各种在线决策应用中最广泛使用的算法之一。然而,Garivier et al.(2016)已经表明,ETC在渐近意义上是次优的,因为地平线的增长,因此,比完全顺序策略,如上置信限(UCB)更差。在本文中,我们证明了ETC算法的一个变体实际上可以实现多臂强盗问题的渐近最优性的UCB型算法,并将其扩展到批量强盗设置。具体来说,我们提出了一个双重探索,然后提交(DETC)算法,有两个探索和开发阶段,并证明DETC达到渐近最优的遗憾界。据我们所知,DETC是第一个非完全顺序算法,达到这样的渐近最优。此外,我们将DETC扩展到批量强盗问题,其中(i)探索过程被分成少量批次,(ii)轮复杂性是核心利益。我们证明了一个批量版本的DETC可以达到渐近最优,只有一个常数轮复杂度。这是第一个批量强盗算法,可以同时获得最佳的渐近遗憾界和最佳轮复杂度。
2020-11-19 cs.LG stat.ML
Improved Algorithms for Nash Welfare in Linear Bandits
Indian Institute of Technology Kharagpur(印度理工学院克哈格普尔学院);Indian Institute of Technology Kanpur(印度理工学院坎普尔学院)
针对线性赌博机中纳什遗憾的次优性,提出新分析工具实现阶最优界,并引入p-均值遗憾统一框架,设计元算法FairLinBandit,在真实数据集上优于现有方法。
2026-06-23 cs.LG
Dominate or Delete: Decentralized Competing Bandits in Serial Dictatorship
AWS AI(亚马逊云科技人工智能部门);UC Berkeley(加州大学伯克利分校);Google(谷歌公司);UT Austin(德克萨斯大学奥斯汀分校);Facebook(脸书公司)
双边匹配市场中的在线学习,需求方代理不断竞争与供应方(手臂)匹配,在匹配平台(例如UpWork,TaskRabbit)上的部分信息下抽象复杂的交互。我们研究了分散的串行独裁设置,双边匹配市场的需求方代理商有未知的和异质的估值超过供应方(武器),而武器有已知的统一偏好的需求方(代理商)。我们设计了第一个分散的算法- UCB与分散的主导臂删除(UCB-D3),代理,不需要任何知识的奖励差距或时间范围。UCB-D3分阶段工作,在每个阶段中,代理删除\emph{dominated arms} -高级代理首选的武器,并根据UCB仅从非劣势武器进行游戏。在该阶段结束时,代理以分散的方式广播,通过{ \em纯开发}估计他们的首选武器。我们证明了这两个,一个新的遗憾下界的分散串行独裁模型,UCB-D3是顺序最优的。
2021-03-12 cs.DS cs.GT cs.LG
BelMan: Bayesian Bandits on the Belief--Reward Manifold
Chalmers University of Technology(查尔姆斯理工大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);Inria(法国国家信息与自动化研究所);National University of Singapore(新加坡国立大学)
我们提出了一个通用的,贝叶斯,信息几何方法的探索-开发权衡多臂强盗问题。我们的方法,贝尔曼,统一支持纯勘探,勘探开发,两阶段的土匪问题。强盗武器和他们的奖励分布的知识总结的信念和奖励的武器,\emph{pseudobelief-reward},在信念奖励流形的联合分布的重心。BelMan交替使用\emph{information projection}和\emph{reverse information projection},即,将伪信念-奖励投影到信念-奖励上以选择要玩的手臂,以及将所得的信念-奖励投影到伪信念-奖励上。它引入了一种通过\emph{focal distribution}注入剥削性偏见的机制,即,奖励分配逐渐集中在更高的奖励上。比较性能评估与国家的最先进的算法表明,贝尔曼不仅是有竞争力的,但也可以优于其他方法在特定的设置,例如,涉及许多武器和连续的奖励。
2019-06-22 cs.AI cs.LG stat.ML
Robustly Improving Bandit Algorithms with Confounded and Selection Biased Offline Data: A Causal Approach
University of Arkansas(阿肯色大学)
本文从因果视角处理赌博机中离线数据的复合偏差,将偏差分为混杂与选择偏差,提取含真实均值的鲁棒因果界,引导学习近优策略并降低渐近遗憾。
2023-12-20 cs.AI cs.LG stat.ML
Federated $\mathcal{X}$-armed Bandit with Flexible Personalisation
School of Mathematical Sciences(数学科学学院);Lancaster University(兰卡斯特大学)
针对高度异构环境下联邦学习的局部与全局目标优化难题,提出一种结合客户端偏好与全局知识的代理目标函数及阶段式消除算法,实现次线性遗憾与对数级通信开销,在多领域有应用潜力。
2024-09-11 cs.LG stat.ML
Faster Q-Learning Algorithms for Restless Bandits
IIIT Allahabad(阿拉哈巴德印度信息技术学院);IIT Madras(马德拉斯印度理工学院)
针对RMAB的Whittle指数学习,本文提出Q学习及其SQL、GSQL、PhaseQL变体并结合UCB探索,通过双时间尺度随机逼近和数值实验证明UCB加速收敛、PhaseQL收敛最优。
2024-09-06 cs.LG cs.SY eess.SY
Quantum contextual bandits and recommender systems for quantum data
Centre for Quantum Technologies, National University of Singapore, Singapore(量子技术中心,新加坡国立大学);Department of Electrical and Computer Engineering, Faculty of Engineering, National University of Singapore, Singapore(电气与计算机工程系,工程学院,新加坡国立大学)
本文利用线性上下文赌博机框架为量子数据构建推荐系统,提出低能量子态推荐问题,通过将动作视为模型相,实现在线量子相分类。
2023-01-31 cs.IR cs.LG quant-ph
Federated Online Clustering of Bandits
The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院)
上下文多臂强盗(MAB)是推荐系统中一个重要的序贯决策问题。一系列的作品,被称为土匪集群(CLUB),利用用户之间的协作效应,并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧,越来越多的人要求保持用户数据分散,并将强盗学习推到本地服务器端。然而,现有的CLUB算法是在集中式设置下设计的,其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗(FCUB)问题,其目的是最大限度地减少总遗憾,同时满足隐私和通信的考虑。针对这个问题,我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私,以前的差分隐私(DP)的定义是不是很合适,我们提出了一个新的DP的概念,作用于用户集群级别。我们提供了严格的证据表明,我们的算法同时实现(聚类)DP,次线性通信复杂性和次线性遗憾。最后,实验评估表明,我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Effective Dimension in Bandit Problems under Censorship
AWS AI Labs(AWS人工智能实验室);MIT(麻省理工学院)
本文研究了删失环境中的多臂和上下文强盗问题。我们的目标是估计的性能损失,由于审查的背景下,经典算法设计的无审查环境。我们的主要贡献包括引进了广泛的审查模型和他们的分析方面的有效层面的问题-一个自然的措施,其潜在的统计复杂性和主要驱动程序的遗憾约束。特别是,有效维度使我们能够保持原始问题的一阶结构,同时将其嵌入到更大的空间中,从而自然会产生类似于未经审查的设置的结果。我们的分析涉及到椭圆势不等式的连续推广,我们相信这是独立的利益。我们还发现了一个有趣的属性下审查的决策:一个短暂的阶段,在此期间,最初的错误指定的审查是自我纠正在一个额外的成本,其次是一个固定的阶段,反映了固有的放缓学习的有效尺寸。我们的研究结果对于序列决策模型的应用是有用的,其中收到的反馈取决于战略不确定性(例如,代理遵循推荐的意愿)和/或随机不确定性(例如,信息的丢失或延迟到达)。
2023-02-14 cs.LG stat.ML
Regression Oracles and Exploration Strategies for Short-Horizon Multi-Armed Bandits
Google(谷歌)
本文探讨了多臂强盗(MAB)战略在非常短的地平线的情况下,即,当强盗策略只允许与环境的非常少的交互时。在MAB文献中,这是一个未充分研究的环境,在游戏中有许多应用,例如玩家建模。具体而言,我们追求三种不同的理念。首先,我们探索了回归预言机的使用,它用线性回归模型取代了epsilon-greedy等策略中使用的简单平均值。其次,我们研究了不同的勘探模式,如强制勘探阶段。最后,我们介绍了一个新的变种的UCB 1策略称为UCBT,有有趣的属性,没有可调参数。我们目前的实验结果在一个域的动机exergames,其目标是最大限度地提高球员的日常步骤。我们的研究结果表明,结合ε贪婪或ε减少回归预言机优于所有其他测试策略在短期设置。
2021-02-10 cs.AI cs.LG stat.ML