Additive Causal Bandits with Unknown Graph
DeepMind(深度思维)
针对因果图未知的因果老虎机最优干预选择难题,提出加性假设下的动作消除算法,无需显式学习结果父节点即可找到最优干预,给出样本复杂度界并通过实验验证。
2023-06-13 cs.LG stat.ML
Budgeted Multi-Armed Bandits with Asymmetric Confidence Intervals
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对随机预算MAB中现有策略估计奖励-成本比不够准确的问题,提出采用非对称置信区间的$ω$-UCB采样策略,实现对数遗憾并在合成与真实场景中持续优于现有方法。
2023-08-15 cs.LG stat.ML
Compliance-Aware Bandits
Australian National University(澳大利亚国立大学);Victoria University Wellington(惠灵顿维多利亚大学)
受临床试验的启发,我们研究了可观察到的不依从性的土匪。在每一步,学习者选择一只手臂,之后,它不仅观察奖励,还观察发生的动作。我们表明,这种不遵守可以是有益的或有害的学习者一般。不幸的是,天真地将遵守信息纳入强盗算法失去了对次线性遗憾的保证。我们提出的混合算法,保持遗憾界的乘法因子,并可以将合规信息。基于国际斯托克试验真实数据的模拟显示了这些算法的实用潜力。
2016-02-09 cs.LG stat.ML
Hyper-parameter Tuning for the Contextual Bandit
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Strasbourg University(斯特拉斯堡大学);CNRS(法国国家科学研究中心)
我们在这里研究的问题学习的探索开发权衡的上下文强盗问题与线性奖励函数设置。在解决上下文强盗问题的传统算法中,探索是由用户调整的参数。然而,我们提出的算法学习基于观察到的上下文以在线方式选择正确的探索参数,以及所选动作的即时奖励。我们在这里提出了两个算法,使用一个强盗找到上下文强盗算法的最佳探索,我们希望这是迈向自动化的多臂强盗算法的第一步。
2020-05-04 cs.LG stat.ML
Nearly Minimax Optimal Submodular Maximization with Bandit Feedback
University of Washington(华盛顿大学)
该研究针对随机老虎机反馈下带基数约束的未知单调子模函数最大化问题,建立了首个极小极大遗憾下界及受限算法类的更强下界,并提出Sub-UCB算法,其遗憾上界在对数因子内匹配受限类的下界。
2024-12-12 cs.LG stat.ML
Optimal Best-arm Identification in Linear Bandits
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
研究了随机线性强盗中具有固定置信度的最佳臂辨识问题。其目标是确定具有给定确定性水平的最佳臂,同时最大限度地减少抽样预算。我们设计了一个简单的算法,其采样复杂度匹配已知的实例特定的下界,渐近几乎肯定和预期。该算法依赖于手臂采样规则,该规则跟踪手臂绘制的最佳比例,并且可以像我们希望的那样很少更新,而不会损害其理论保证。此外,与现有的最佳臂识别策略,我们的算法使用的停止规则,不依赖于武器的数量。实验结果表明,我们的算法显着优于现有的算法。本文进一步提供了一个最佳的武器识别问题的线性土匪连续的武器集的第一次分析。
2020-06-29 cs.LG stat.ML
Tight (Lower) Bounds for the Fixed Budget Best Arm Identification Bandit Problem
University of Potsdam(波茨坦大学)
本文研究了在$K$ -武装随机强盗环境下,具有\textit{fixed budget $T$}的\textit{best arm identification}问题,其中武器分布定义在$[0,1]$上.我们证明,任何强盗策略,至少有一个强盗问题的复杂性$H$,将错误识别的概率下界由$$\exp\Big(-\frac{T}{\log(K)H}\Big),$$,其中$H$是所有次优武器的平方差距的倒数的总和的最佳武器。我们的结果正式反驳的一般信念-来自结果在固定的置信度设置-必须存在一个算法,这个问题的错误概率是上界的$\exp(-T/H)$。这也证明了一些现有的策略的基础上逐次拒绝的武器是最佳的,因此,目前的差距上限和下限之间的固定预算的最佳武器识别问题。
2016-05-29 cs.LG stat.ML
Multi-Player Bandits: The Adversarial Case
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
我们考虑一个设置,多个玩家依次选择一组共同的行动(武器)。出于认知无线电网络的应用程序,我们假设玩家碰撞时会产生损失,玩家之间的通信是不可能的。现有的方法假设系统是静止的。然而,这一假设在实践中经常被违反,例如,由于信号强度波动。在这项工作中,我们设计了第一个多玩家强盗算法,该算法可证明在任意变化的环境中有效,其中武器的损失甚至可能由对手选择。这解决了Rosenski,Shamir和Szlak(2016)提出的一个开放问题。
2019-02-21 cs.LG stat.ML
Double Thompson Sampling for Dueling Bandits
University of California, Davis(加州大学戴维斯分校)
本文提出了一种求解决斗强盗问题的双汤普森采样(D-TS)算法。如其名称所示,D-TS根据汤普森采样选择第一和第二候选。具体而言,D-TS保持偏好矩阵的后验分布,并通过从后验分布中采样两次来选择用于比较的一对手臂。这个简单的算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为其特殊情况。对于一般的Copeland决斗土匪,我们证明了D-TS实现了$O(K^2 \log T)$遗憾。对于孔多塞决斗强盗,我们进一步简化了D-TS算法,并表明简化的D-TS算法实现了$O(K \log T + K^2 \log \log T)$遗憾。仿真结果表明,基于合成和真实世界的数据的D-TS算法的有效性。
2016-10-27 cs.LG stat.ML
Choosing Answers in $\varepsilon$-Best-Answer Identification for Linear Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
在纯探索问题中,信息是按顺序收集的,以回答随机环境中的问题。虽然线性强盗的最佳臂识别近年来已被广泛研究,但很少有作品致力于识别一个臂,即$\varepsilon$ -接近最佳的一个(而不是最好的一个)。在这个有多个正确答案的问题中,识别算法应该集中在这些答案中的一个候选者上,并验证它是正确的。我们表明,挑选最高的平均值的答案不允许算法达到渐近最优的预期样本复杂性。相反,应识别\textit{furthest answer}。利用这种洞察力仔细选择候选答案,我们开发了一个简单的程序,以适应最佳臂识别算法来解决$\varepsilon$ -最佳答案识别转导线性随机土匪。最后,我们提出了一个渐近最优算法,这种设置,这是实现竞争力的经验表现对现有的修改最佳臂识别算法。
2022-06-09 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay(印度理工学院孟买分校)
本文提出FCSR算法,用于在分组老虎机中实现固定预算约束下的最佳臂识别,通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文针对指数族随机多臂老虎机的最优臂识别问题,提出基于似然比检验的SPRT算法,实现渐近最优样本复杂度与δ-PAC保证,并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Rotting Bandits
The Technion(以色列理工学院)
多武装匪徒(MAB)框架强调了获取新知识(探索)和利用现有知识(利用)之间的紧张关系。在经典的MAB问题中,决策者必须在每个时间步选择一个手臂,并在此基础上获得奖励。决策者的目标是最大化她的累积期望回报的时间范围。MAB问题已经被广泛研究,特别是在假设武器的奖励分布随时间是平稳的或准平稳的情况下。我们考虑MAB框架的一个变体,我们称之为腐烂的强盗,其中每个手臂的预期奖励作为被拉动次数的函数衰减。我们受到许多现实世界场景的激励,例如在线广告,内容推荐,众包等。我们提出的算法,伴随着模拟,并推导出理论保证。
2017-11-02 cs.LG stat.ML
Quantile Multi-Armed Bandits: Optimal Best-Arm Identification and a Differentially Private Scheme
Yale University(耶鲁大学);Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));Bar-Ilan University(巴伊兰大学)
我们研究的最佳武器识别问题的多武装土匪随机,潜在的私人奖励,当目标是确定在一个固定的,规定的水平与最高分位数的手臂。首先,我们提出了一个(非私有)连续消除算法的严格最优最佳臂识别,我们证明了我们的算法是$δ$ -PAC,我们描述了它的样本复杂度。此外,我们提供了一个下限的预期数量的拉动,表明该算法基本上是最佳的对数因子。复杂性的上限和下限取决于一个特殊的定义相关的次优差距,特别是分位数土匪问题,我们表明,当差距接近零,最佳臂识别是不可能的。其次,出于应用程序的奖励是私人的,我们提供了一个差分私人连续消除算法的样本复杂度是有限的,即使是无限的支持大小的分布,我们的样本复杂度的特点。我们的算法不需要先验知识的次优差距或其他统计信息相关的土匪问题在手。
2022-12-04 cs.LG stat.ML
Best Arm Identification under Additive Transfer Bandits
Carnegie Mellon University(卡内基梅隆大学)
我们考虑一个变种的最佳武器识别(BAI)问题的多武装匪徒(MAB),其中有两套武器(源和目标),目标是确定最佳的目标手臂,而只拉源武器。在本文中,我们研究的设置时,尽管手段是未知的,有一个已知的源和目标MAB实例之间的加性关系。我们展示了我们的框架如何涵盖了一系列以前研究过的纯探索问题,并捕获了新的问题。我们提出并从理论上分析了LUCB风格的算法,以确定一个$ε$最佳的目标臂的概率很高。我们的理论分析强调了这个迁移学习问题的各个方面,这些问题在典型的BAI设置中不会出现,并且还将用于单域BAI的LUCB算法恢复为特殊情况。
2021-12-08 cs.LG stat.ML
A Further Efficient Algorithm with Best-of-Both-Worlds Guarantees for $m$-Set Semi-Bandit Problem
本文提出了一种更高效的算法,通过几何重采样在$m$-集合半对抗问题中实现最佳双世界保证的最优性,同时降低了计算复杂度。
2026-03-12 cs.LG stat.ML
Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences
Microsoft Research, NYC(微软研究院,纽约市);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔综合理工学院)
我们研究的问题$K$武装决斗土匪随机和对抗环境中,学习者的目标是通过相对偏好的决策点查询在网上顺序的方式来聚合信息。我们首先提出了一个新的减少从任何(一般)决斗土匪多武装土匪,尽管简单,它使我们能够改善许多现有的结果决斗土匪。特别是,\emph{we give the first best-of-both world result for the dueling bandits regret minimization problem} --一个统一的框架,保证同时对随机和对抗性偏好进行最佳执行。此外,我们的算法也是第一个实现最佳的$O(\sum_{i = 1}^K \frac{\log T}{Δ_i})$遗憾约束对康多塞冠军的基准,最佳规模的手臂大小$K$和实例特定的次优差距$\{Δ_i\}_{i = 1}^K$。这解决了长期存在的问题,设计一个实例间隙相关的顺序最优后悔算法决斗土匪(匹配下限小常数因子)。我们进一步证明了我们提出的算法的鲁棒性,通过证明其最佳后悔率下adversarially损坏的偏好-这优于现有的最先进的损坏决斗结果的大幅度。总之,我们相信我们的减少想法将在解决不同类别的决斗土匪设置中找到更广泛的范围,否则将与通常更复杂的解决方案和更差的保证的多武装土匪分开研究。我们提出的算法的有效性是经验证实对现有的决斗土匪的方法。
2022-02-14 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon(里昂高等师范学院)
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案(提供通过一个简化的分析无约束的情况下)。在此算法的基础上,我们提出了一个渐近最优的策略。此外,我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别(BAI)是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了,但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象,但到目前为止,这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题,本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Episodic Multi-armed Bandits
Bilkent University(比尔肯特大学);University of Oxford(牛津大学)
我们介绍了一类新的强化学习方法,称为{ \em情节多武装匪徒}(eMAB)。在eMAB中,学习者在{ \em片段}中进行,每个片段由若干{ \em步骤}组成,其中它选择动作并观察反馈信号。此外,在每一步中,它都可以执行一个特殊的操作,称为$stop$操作,用于结束当前事件。在采取$stop$动作之后,学习者收集终端奖励,并观察与情节的每个步骤相关联的成本和终端奖励。学习器的目标是最大化其累积增益(即,终端奖励减去成本),通过学习基于反馈选择最佳动作序列。首先,我们定义一个{ \em oracle}基准,它顺序地选择最大化预期即时收益的操作。然后,我们提出了我们的在线学习算法,命名为{ \em FeedBack Adaptive Learning}(FeedBAL),并证明了它的遗憾相对于基准是有界的高概率,并在期望中递增。后悔只与步骤数、动作数和状态数有多项式关系。eMAB可用于模拟涉及人类的应用程序,从个性化的医疗筛查到个性化的基于网络的教育,其中在每个事件中采取一系列行动,最佳行为需要根据反馈调整所选择的行动。
2018-03-11 cs.LG stat.ML
Lower Bounds for Multi-armed Bandit with Non-equivalent Multiple Plays
Yandex(扬德克斯)
我们研究了随机多臂强盗问题与非等价多个播放,在每一步,代理选择不仅是一组武器,但他们的顺序,这影响奖励分配。在几个问题的配方与不同的假设,我们提供了标准的渐近$O(\log{t})$,但新的系数,并提供最佳的算法,遗憾的下限,从而证明这些界限不能得到改善。
2015-07-17 cs.LG
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下,从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心(无限地平线)设置,其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染,每个手臂的平均值只能部分识别。本文提出了两种算法,一个基于间隙的算法和一个基于逐次消除,在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计,实现了最佳的误差保证的偏差的真实均值从估计渐近。此外,这些算法渐近达到最佳的样本复杂度。具体而言,对于基于间隙的算法,样本复杂度是渐近最优的常数因子,而对于连续消除的算法,它是最优的对数因子。最后,数值实验来说明与现有的基线相比,算法的增益。
2021-11-14 cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen(图宾根大学);Criteo AI Lab(Criteo人工智能实验室);CREST, ENSAE, IP Paris(CREST、ENSAE、IP巴黎);Google DeepMind(谷歌DeepMind)
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题,提出一种基于先验信息和环境结构的固定分配算法,并给出理论界,通过新证明方法获得更紧的界,实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题,提出首个快速遗憾率算法,通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
Stochastic Top-$K$ Subset Bandits with Linear Space and Non-Linear Feedback
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
许多现实世界的问题,如社会影响力最大化,面临着在给定时刻从$N$选项中选择最佳$K$的困境。该设置可以被建模为组合的强盗,其每次从$N$臂中选择$K$,目的是实现探测和利用之间的有效权衡。这是第一个工作的组合土匪收到的反馈可以是一个非线性函数的选择$K$武器。直接使用多臂Bandit需要在$N$ -choose- $K$选项中进行选择,使得状态空间变大。在本文中,我们提出了一种新的算法,这是计算效率和存储是线性的$N$。该算法是一种基于分治的策略,我们称之为CMAB-SM。此外,所提出的算法对于时间范围$T$实现了$\tilde O(K^{\frac{1}{2}}N^{\frac{1}{3}}T^{\frac{2}{3}})$的\textit{regret bound},其在所有参数$T$、$N$和$K$中是\textit{sub-linear}。当应用于社会影响力最大化问题时,该算法的性能优于UCB算法和一些更复杂的特定领域的方法。
2021-10-11 cs.AI cs.LG stat.ML
Quick Best Action Identification in Linear Bandit Problems
University of California, Davis(加州大学戴维斯分校)
本文研究了具有固定置信约束的随机线性Bandit系统中的最佳行动识别问题。在所考虑的最佳动作识别问题中,而不是最小化在现有的作品中所做的累积遗憾,学习者的目标是获得一个准确的估计的基础上,他的行动和奖励序列的基本参数。为了提高估计效率,学习者可以选择他的行动根据他的历史信息,因此整个过程中设计的顺序自适应的方式。我们首先表明,现有的算法设计,以尽量减少累计遗憾是不一致的估计,因此不是一个很好的政策,我们的问题。然后,我们描述了任何政策的估计误差的下限。我们进一步设计了一个简单的政策,并表明,所设计的政策的估计误差达到相同的缩放顺序推导出的下界。
2018-12-02 cs.LG stat.ML
Contextual Bandits with Random Projection
The Chinese University of Hong Kong(香港中文大学)
具有线性收益的上下文强盗,也称为线性强盗,为解决顺序决策的实际问题提供了一个强大的替代方案,例如,在线广告。在大数据时代,上下文数据通常倾向于高维,这导致传统的线性强盗大多是针对低维上下文数据的设置而设计的。由于维数灾难的存在,目前大多数的Bandit算法都面临两个挑战:一是时间复杂度高,二是高维数据的遗憾上界太大。为了有效地解决这两个问题,本文提出了一种基于随机投影的上下文Bandits算法(\texttt{CBRAP}),该算法在线性支付条件下特别适用于高维上下文数据。所提出的\texttt{CBRAP}算法是时间有效的和灵活的,因为它使球员选择一个手臂在一个低维空间,并放宽了稀疏性假设的常数非零组件在以前的工作。此外,我们提供了一个线性的遗憾上界的算法,这是与减少的维数。
2019-03-20 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗(MAB)问题是一个强化学习框架,在该框架中,智能体通过对每个动作的绝对反馈来选择适当的动作,以最大化其收益。决斗强盗问题是MAB问题的一种变体,其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中,它是不可能提供定量反馈的每个动作,但定性反馈的每个动作是首选的情况下,人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB,该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法,我们结合一对动作,并使用它作为一个动作。以前的UCB算法,如相对置信上限(RUCB)只能应用于孔多塞决斗土匪的情况下,而该算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样(DSPs)的情况下,科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题,其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂,于是接收所选组中的每个手臂的反馈。与现有的作品不同,我们研究这个问题在一个非随机设置与子集相关的反馈,即,所接收的半强盗反馈可以由不经意的对手产生,并且还可以取决于所选择的武器集合。此外,我们认为一个一般的反馈方案,包括数字为基础的,以及基于偏好的情况下,并介绍了一个健全的理论框架,保证合理的概念,最佳武器,学习者试图找到这种设置。我们提出了一个通用的算法,适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题,足够的和必要的预算的算法,以找到最好的手臂得到回答和补充,推导出下限的任何学习算法,这个问题的情况。
2022-10-14 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学);Courant Institute(柯朗研究所);Google Research(谷歌研究院)
我们研究的问题,畜栏随机强盗算法,即结合多个强盗算法设计的随机环境中,设计一个畜栏算法,以及最好的基础算法的目标。我们给出了两个一般的算法,这种设置,我们表现出有利的后悔保证的好处。我们发现,遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂,并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Best-of-three-worlds Analysis for Linear Bandits with Follow-the-regularized-leader Algorithm
Shanghai Jiao Tong University(上海交通大学)
针对线性老虎机在未知随机或对抗损失环境下的自适应问题,本文证明带负熵正则化器的 FTRL 可实现三优世界遗憾界,且设计比检测-切换方法更简单。
2023-07-18 cs.LG stat.ML
Practical Algorithms for Best-K Identification in Multi-Armed Bandits
Tsinghua University(清华大学)
在最佳- $K$识别问题(Best- $K$ -Arm)中,我们给出了报酬分布未知的$N$随机强盗臂.我们的目标是确定$K$武器与最大的手段与高置信度,通过自适应地从武器中抽取样本。这个问题是由各种实际应用的动机,并在过去的十年中引起了相当大的关注。在本文中,我们提出了新的实用算法的最佳- $K$ -手臂问题,它具有接近最佳的样本复杂性边界(匹配的下限对数因子),并优于最佳- $K$ -手臂问题(即使是$K=1$)在实践中的最先进的算法。
2017-05-19 cs.DS cs.LG stat.ML
Robust Best-arm Identification in Linear Bandits
University College London(伦敦大学学院);MediaTek Research(联发科技研究院)
该研究针对线性奖励下的鲁棒最优臂识别问题,提出依赖实例的下界及匹配该下界的静态与自适应老虎机算法,经合成实验和糖尿病胰岛素剂量推荐应用验证有效。
2023-11-08 cs.LG stat.ML
Multi-Player Bandits -- a Musical Chairs Approach
Weizmann Institute of Science(魏茨曼科学研究所)
我们考虑随机多臂强盗问题的一个变种,其中多个玩家同时从同一组武器中选择,并可能发生碰撞,没有奖励。这种设置的动机是认知无线电网络中出现的问题,特别是在现实的假设下,玩家之间的通信是有限的挑战。我们提供了一个通信免费的算法(音乐椅),达到不断遗憾的概率很高,以及一个子线性遗憾,通信免费的算法(动态音乐椅),更困难的设置玩家动态进入和离开整个游戏。此外,这两种算法都不需要事先知道玩家的数量。据我们所知,这些是第一个通信免费算法与这些类型的正式保证。我们还严格比较我们的算法与以前的作品,并补充我们的理论研究结果与实验。
2015-12-09 cs.LG stat.ML
A Blackbox Approach to Best of Both Worlds in Bandits and Beyond
Google Research(谷歌研究院)
近年来,在对抗性和随机性两种机制下都能获得接近最优后悔的在线学习两全其美算法受到了越来越多的关注。现有的技术通常需要仔细适应每一个新的问题设置,包括专门的潜力和仔细调整算法参数。然而,在线性强盗等领域,仍然不知道是否存在一种算法,可以同时获得$O(\log(T))$遗憾的随机制度和$\tilde{O}(\sqrt{T})$遗憾的对抗制度。在这项工作中,我们解决了这个问题积极,并提出了一个普遍的减少,从两全其美的一个广泛的家庭,遵循正规化的领导者(FTRL)和在线镜像下降(OMD)算法。我们展示了这种减少的能力,通过将现有的算法,只知道实现最坏情况下的保证到新的算法,最好的两个世界的保证,在上下文土匪,图土匪和表格马尔可夫决策过程。
2023-02-20 cs.AI cs.LG stat.ML
Nearly Optimal Best Arm Identification for Semiparametric Bandits
Columbia University(哥伦比亚大学)
本文研究了半参数带its中的固定置信度最佳臂识别,通过正交化回归方法,提出高效算法并证明了近最优样本复杂度。
2026-04-05 cs.LG stat.ME stat.ML
A Best-of-both-worlds Algorithm for Bandits with Delayed Feedback with Robustness to Excessive Delays
University of Copenhagen(哥本哈根大学);Google Research(谷歌研究院)
本文提出一种无需延迟先验知识的最优双世界算法,通过隐式探索、分布漂移控制和自适应跳过过度延迟观测,实现对任意延迟的鲁棒性,并揭示问题复杂性由缺失信息量而非延迟时间决定。
2024-05-27 cs.LG stat.ML
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University(得克萨斯农工大学);National Chiao Tung University(国立交通大学)
受自适应控制中的有偏最大似然估计方法的启发,我们提出了RBMLE --一种新的随机多臂强盗(SMAB)学习算法。对于广泛的SMAB,包括参数指数家庭以及非参数子高斯/指数家庭,我们表明,RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$,我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用,通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能,我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明,建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争,同时更计算效率和可扩展性相比,其中表现最好的。
2020-10-23 cs.LG stat.ML
Online Meta-Learning in Adversarial Multi-Armed Bandits
Technion - Israel Institute of Technology(以色列理工学院)
我们研究了对抗性多武装匪徒的元学习。我们认为在线内在线设置,其中一个球员(学习者)遇到一系列的多武装土匪插曲。玩家的表现是根据对手造成的损失,在每一集中对最好的手臂进行后悔。问题的难度取决于对手选择的每集最佳手臂的经验分布。我们提出了一个算法,可以利用这种经验分布的非均匀性,并获得问题相关的遗憾界。该解决方案包括单独播放每一集的内部学习器,以及在剧集之间更新内部算法的超参数的外部学习器。在最佳手臂分布远不均匀的情况下,它改进了可以通过在每个情节上单独执行的任何在线算法而无需元学习来实现的最佳界限。
2022-07-12 cs.LG stat.ML
Cascading Bandits: Learning to Rank in the Cascade Model
Adobe Research(Adobe研究院);University of Alberta(阿尔伯塔大学);Yahoo Labs(雅虎实验室);Technicolor Research(特艺集团研究院)
搜索引擎通常输出$K$网页的列表。用户检查这个列表,从第一个网页到最后一个,并选择第一个有吸引力的页面。这种用户行为模型被称为级联模型。在本文中,我们提出了级联土匪,级联模型的学习变体,其目标是确定$K$最有吸引力的项目。我们制定我们的问题作为一个随机组合部分监控问题。我们提出了两个算法来解决它,CascadeUCB 1和CascadeKL-UCB。我们还证明了这些算法的遗憾的间隙依赖的上界,并推导出一个下界的遗憾级联土匪。下限与CascadeKL-UCB的上限匹配,直到对数因子。我们在几个问题上用我们的算法进行实验。即使在我们的建模假设被违反的情况下,这些算法的表现也令人惊讶。
2015-05-18 cs.LG stat.ML
Competing Bandits: Learning under Competition
Microsoft Research(微软研究院);University of Pennsylvania(宾夕法尼亚大学);Tel Aviv University(特拉维夫大学)
大多数现代系统努力从与用户的交互中学习,许多系统参与探索:为了获取新信息而做出潜在的次优选择。我们开始研究探索和竞争之间的相互作用-这样的系统如何平衡学习的探索和用户的竞争。在这里,用户扮演着三个不同的角色:他们是产生收入的客户,他们是学习数据的来源,他们是在竞争系统中进行选择的自利代理人。在我们的模型中,我们考虑两个多臂强盗算法面临相同的强盗实例之间的竞争。用户一个接一个地到达,并在两种算法中进行选择,因此当且仅当选择了每种算法时,每种算法才能取得进展。我们问竞争是否以及在多大程度上激励采用更好的强盗算法。我们调查这个问题的几个模型的用户响应,因为我们不同的程度的合理性和竞争力的模型。我们的研究结果与经济学中一个被广泛研究的主题“竞争与创新”的关系密切相关。
2017-11-20 cs.GT cs.LG
On the Complexity of Best Arm Identification in Multi-Armed Bandit Models
CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎电信学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学)
随机多臂强盗模型是一个简单的抽象,已被证明在统计学和机器学习的许多不同背景下是有用的。而在遗憾最小化方面的可实现的限制是众所周知的,我们的目标是有助于更好地理解的性能方面,确定最好的武器。我们介绍了两个主要的框架,在文献中考虑的复杂性的一般概念:固定预算和固定的信心设置。在固定的信心设置,我们提供了第一个已知的分布依赖的下界的复杂性,涉及信息理论的数量,并举行时,m大于1的一般假设。在两个武装匪徒的特定情况下,我们得到了改进的下限在固定的信心和固定的预算设置,随着高斯和伯努利土匪模型的匹配算法。这些结果特别表明,固定预算设置的复杂性可能小于固定置信度设置的复杂性,这与测试完全指定的替代品时观察到的熟悉行为相矛盾。此外,我们还提供了改进的顺序停止规则,有保证的错误概率和更短的平均运行时间。的证明依赖于两个技术的结果,是独立的利益:一个偏差引理的自归一化和(引理19)和一个新的变化的测量不等式的强盗模型(引理1)。
2016-11-14 cs.LG stat.ML
On the Existence of a Complexity in Fixed Budget Bandit Identification
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189-CRIStAL(UMR 9189-里尔计算机、信号与自动控制实验室)
本文研究固定预算赌博机辨识中复杂度的存在性,证明若存在复杂度则由最优非自适应采样过程决定,并指出包括双臂伯努利最佳臂辨识在内的多个任务不存在此类复杂度。
2023-06-30 cs.LG stat.ML
Rate-adaptive model selection over a collection of black-box contextual bandit algorithms
我们考虑在随机上下文强盗设置的模型选择任务。假设我们给出一个基本上下文强盗算法的集合。我们提供了一个主算法,它结合了它们,并实现了相同的性能,直到常数,作为最好的基础算法,如果它已经运行自己。我们的方法只需要每个算法满足一个高概率的遗憾界。我们的过程非常简单,基本上做了以下几点:对于一个精心选择的概率序列$(p_{t})_{t\geq 1}$,在每一轮$t$中,它要么随机选择跟随哪个候选人(概率为$p_{t}$),要么在每个候选人的相同内部样本大小下比较每个候选人的累积奖励,并选择赢得比较的那个(概率为$1-p_{t}$)。据我们所知,我们的建议是第一个速率自适应的一般黑盒上下文强盗算法的集合:它实现了相同的遗憾率作为最佳候选。我们证明了我们的方法与仿真研究的有效性。
2020-06-05 cs.LG stat.ML
From Bandits to Experts: On the Value of Side-Observations
Technion(以色列理工学院);Microsoft Research New England(微软新英格兰研究院)
我们考虑一个对抗性的在线学习设置,决策者可以选择在游戏的每个阶段的行动。除了观察所选择的行为的回报之外,决策者还可以观察到如果他选择了其他一些行为,他会获得什么样的回报。观察结构被编码为图,其中如果采样i提供关于j的奖励的信息,则节点i被链接到节点j。该设置自然地在众所周知的“专家”设置(其中决策者可以查看所有奖励)和多臂强盗设置(其中决策者只能查看所选动作的奖励)之间插值。我们开发了实用的算法与可证明的遗憾的保证,这取决于非平凡的图论性质的信息反馈结构。我们还提供了部分匹配的下界。
2011-10-25 cs.LG stat.ML
Follow-the-Perturbed-Leader for Decoupled Bandits: Best-of-Both-Worlds and Practicality
Seoul National University, Seoul, Korea(首尔国立大学,韩国首尔);Korea Institute of Science and Technology, Seoul, Korea(韩国科学技术院,韩国首尔)
针对解耦多臂赌博机问题,提出一种高效的跟随扰动领导者策略,在随机环境下实现常数遗憾,在对抗环境下实现最优O(√KT)遗憾,且避免了凸优化和重采样过程,显著降低计算成本。
2026-05-28 cs.LG stat.ML
Best-Arm Identification in Correlated Multi-Armed Bandits
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们考虑的问题,最好的武器识别在多武装匪徒在固定的信心设置,其中的目标是确定,概率$1-δ$为一些$δ>0$,最高的平均奖励的手臂在最小可能的样本从一组武器$\mathcal{K}$。大多数现有的最佳手臂识别算法和分析的假设下,对应于不同的手臂的奖励是相互独立的。我们提出了一种新的相关的强盗框架,捕获领域知识的相关性武器之间的一个手臂的期望条件回报的上界的形式,从另一个手臂的奖励实现。我们提出的算法C-LUCB,它概括了LUCB算法利用这部分知识的相关性,大幅降低样本的复杂性最好的手臂识别。更有趣的是,我们表明,由C-LUCB获得的总样本的形式$\mathcal{O}\left(\sum_{k \in \mathcal{C}} \log\left(\frac{1}δ\right)\right)$,而不是典型的$\mathcal{O}\left(\sum_{k \in \mathcal{K}} \log\left(\frac{1}δ\right)\right)$样本中所需的独立奖励设置。改进是因为$\mathcal{O}(\log(1/δ))$项仅针对竞争组$\mathcal{C}$的集合求和,该集合是原始组$\mathcal{K}$的子集。集合$\mathcal{C}$的大小取决于问题设置,可以与$2$一样小,因此在相关强盗设置中使用C-LUCB可以导致显著的性能改进。我…
2021-09-10 cs.LG stat.ML
Correlated bandits or: How to minimize mean-squared error online
University of Maryland, College Park(马里兰大学帕克分校);LinkedIn Corp.(领英公司);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
虽然传统的多臂强盗问题的目标是找到具有最高平均值的臂,但在许多设置中,找到最好地捕获关于其他臂的信息的臂是令人感兴趣的。然而,这一目标需要了解潜在的相关结构,而不仅仅是武器的手段。用于工业监控和蜂窝网络监控的传感器放置是一些应用,其中底层相关结构起着重要作用。出于这样的应用程序,我们制定相关的强盗问题,其目标是找到最低的均方误差(MSE)估计的所有武器的武器。为此,我们首先推导出一个MSE估计,基于样本方差和协方差,并表明我们的估计指数集中在真正的MSE。在最佳臂识别框架下,我们提出了一种连续拒绝型算法,并提供了在识别最佳臂时错误概率的界。使用极小极大理论,我们还推导出相关强盗问题的基本性能限制。
2019-06-26 cs.LG stat.ML
Multi-Armed Bandits with Censored Consumption of Resources
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑经典多臂强盗问题的资源感知变体:在每一轮中,学习者选择一个手臂并确定资源限制。然后,只要消耗的资源(随机)量保持低于限制,它就会观察到相应的(随机)奖励。否则,观测被删失,即,没有获得任何奖励。对于这个问题的设置,我们引入了一个措施的遗憾,它结合了实际分配的资源,每个学习轮以及最优的可实现的奖励。因此,为了最小化遗憾,学习者需要设置资源限制并以这样的方式选择手臂,即在预定义的资源限制内实现高奖励的机会很高,而资源限制本身应保持尽可能低。我们提出了一个UCB启发的在线学习算法,我们从理论上分析了其遗憾上限。在模拟研究中,我们表明,我们的学习算法优于标准的多臂强盗算法的直接扩展。
2022-10-17 cs.LG stat.ML
PAC Identification of Many Good Arms in Stochastic Multi-Armed Bandits
Indian Institute of Technology Bombay(印度理工学院孟买分校)
研究了在$n$ -武装随机多臂强盗中从最佳$m$武装中识别任意$k$的问题.在PAC设置中,这个特定的问题概括了“最佳子集选择”和"从最佳m个臂中选择一个“的问题[arcsk 2017]。在众包和药物设计等应用中,确定单一的良好解决方案往往是不够的。此外,由于存在许多非常接近的解决方案,找到最佳子集可能很难。我们的概括识别出最好的$m$,其中$1 \leq k \leq m$,作为一个更有效的替代准确$k$武器。我们提出了一般$k$的最坏情况下的样本复杂度的下限,和一个完全顺序的PAC算法,\GLUCB,这是更简单的实例上的样本效率。此外,将我们的分析扩展到无限武装匪徒,我们提出了一种独立于$n$的PAC算法,该算法使用最多与下限相比的加性多对数样本数从最佳$ρ$部分的武器中识别出一个武器,从而改进了[arcsk 2017]和[Aziz+AKA:2018]。从最好的$ρ$分数识别$k > 1$不同的武器的问题并不总是定义良好的,对于这个问题的一个特殊的类,我们提出了下限和上限。最后,通过一个约化,我们建立了无限情况下的“one out of the best $ρ$”问题和有限情况下的“one out of the best $m$”问题的上界之间的关系。我们猜想,这是更有效地解决“小”有限的情况下,使用后者制定,而不是通过前者。
2019-01-24 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Efficient Best-of-Both-Worlds Algorithms for Contextual Combinatorial Semi-Bandits
本文提出首个兼顾对抗性和随机性场景的上下文组合半带隙算法,同时保证对抗环境下O(√T)和随机性环境下O(ln T)的 regrets,并通过改进的FTRL框架实现高效计算。
2026-03-26 cs.LG stat.ML
Towards Optimal and Efficient Best Arm Identification in Linear Bandits
Indian Institute of Science(印度科学学院);Israel Institute of Technology (Technion)(以色列理工学院(Technion))
在固定置信度下,给出了线性参数化强盗最佳手臂识别的一种新算法。该算法推广了Kalyanakrishnan等人(2012年)的著名LUCB算法,通过使用一个手臂最小化未知参数的统计置信集的几何重叠的适当概念,并且与几种方法相比,具有完全自适应性和计算效率。我们从理论上分析了两个和三个武器问题的算法的样本复杂性,在许多情况下显示出最优性。数值结果表明,与其他算法相比,我们比较有利的性能。
2019-11-07 cs.LG math.OC stat.ML
Preselection Bandits
Heinz Nixdorf Institute and Department of Computer Science, Paderborn University(帕德博恩大学海因茨·尼克斯多夫研究所与计算机科学系)
在本文中,我们介绍了预选强盗问题,其中学习者预选的一个子集的武器(选择的替代品)的用户,然后选择最终的手臂从这个子集。学习者不知道用户的偏好,但可以从观察到的选择中学习它们。在我们的具体设置中,我们允许这些选择是随机的,并通过Plackett-Luce模型对用户的行为进行建模。学习者的主要任务是预先选择子集,最终导致高度偏好的选择。为了使这一目标正式化,我们引入了一个合理的后悔概念,并推导出预期后悔的下限。此外,我们提出的算法,预期遗憾的上限匹配下限的时间范围的对数项。
2021-12-22 cs.LG stat.ML
Minimax Optimal Algorithms for Adversarial Bandit Problem with Multiple Plays
Bilkent University(比尔肯特大学);Massachusetts Institute of Technology(麻省理工学院)
研究了半强盗反馈下的多对策对抗强盗问题。我们引入了一个高效的算法,渐近实现最佳的开关$m$ -手臂策略的性能与最小最大最优遗憾界。为了构造我们的算法,我们引入了一个新的专家意见算法的多播放设置。通过使用我们的专家建议算法,我们还通过$O(\sqrt{m})$改进了多播放设置的最知名的高概率界。我们的结果是保证持有在一个单独的序列方式,因为我们没有统计假设的强盗臂增益。通过一组广泛的实验,涉及合成和真实的数据,我们证明了显着的性能增益所提出的算法相对于国家的最先进的算法。
2019-11-25 cs.LG stat.ML