arXiv 1202.22772012-02-17math.STmath.PRstat.TH

半有界支撑模型Bandit算法的瞬时遗憾界

Finite-time Regret Bound of a Bandit Algorithm for the Semi-bounded Support Model

Junya Honda, Akimichi Takemura

摘要：

本文考虑随机多臂强盗问题。最近提出了一种策略DMED，并证明了该策略可以使模型的每个报酬分布在一个已知的有界区间（例如[0，1]）内得到支持。然而，推导出的遗憾界描述的渐近形式和有限时间内的性能一直是未知的。我们检查这一政策，并得出一个有限的时间遗憾的限制，通过精炼大偏差概率到一个简单的有限形式。此外，这一观察表明，对下界的支持的假设是不必要的，可以用一个较弱的，矩母函数的存在取代。

英文摘要：

In this paper we consider stochastic multiarmed bandit problems. Recently a policy, DMED, is proposed and proved to achieve the asymptotic bound for the model that each reward distribution is supported in a known bounded interval, e.g. [0,1]. However, the derived regret bound is described in an asymptotic form and the performance in finite time has been unknown. We inspect this policy and derive a finite-time regret bound by refining large deviation probabilities to a simple finite form. Further, this observation reveals that the assumption on the lower-boundedness of the support is not essential and can be replaced with a weaker one, the existence of the moment generating function.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Narendra-Shapiro强盗算法的遗憾界

Regret bounds for Narendra-Shapiro bandit algorithms

Narendra-Shapiro（NS）算法是六十年代引入的带型算法（着眼于心理学或学习自动机中的应用），其收敛性在随机算法文献中得到了深入研究。在本文中，我们解决了以下问题：从\textit{regret}的角度来看，Narendra-Shapiro（NS）强盗算法的竞争力？在我们的主要结果中，我们表明，一些竞争的界限，可以得到这样的算法在其惩罚的版本（在\cite{Lamberton_Pages}介绍）。更准确地说，直到过度惩罚修改，与惩罚双臂强盗算法相关的伪遗憾$\bar{R}_n$一致地有界于$C \sqrt{n}$（其中$C$在本文中被明确表示）。\noindent我们还推广了现有的收敛性和收敛速度的结果，多臂的情况下的过度惩罚的强盗算法，包括收敛到不变测度的分段确定性马尔可夫过程（PSTH）经过适当的重整化。最后，在多臂情形下，给出了该系统的遍历性。

2016-01-16math.PRmath.STstat.ML

Bandit理论与压缩感知在高维随机线性Bandit中的结合

Bandit Theory meets Compressed Sensing for high dimensional Stochastic Linear Bandit

考虑了一个线性随机强盗问题，其中未知参数$θ$的维数$K$大于采样预算$n$ .在这种情况下，它通常是不可能的，因为通常的线性强盗算法在$O(K\sqrt{n})$中有一个遗憾的次线性遗憾界。在本文中，我们假设$θ$是$S-$稀疏的，即至多有$S-$非零分量，并且臂的空间是$||.||_2$范数的单位球。我们结合压缩感知和Bandit理论的思想，在$O(S\sqrt{n})$中推导出具有后悔界的算法。

2012-05-18math.STstat.TH

先探索，后开拓：土匪问题中后悔的真实形态

Explore First, Exploit Next: The True Shape of Regret in Bandit Problems

CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）

在多臂强盗问题的情况下，我们重新讨论了遗憾的下界。我们获得非渐近的，分布依赖的界限，并提供简单的证明，只基于著名的性质Kullback-Leibler分歧。这些界限特别表明，在初始阶段的遗憾几乎线性增长，而众所周知的对数增长的遗憾只在最后阶段。证明技术来的信息理论的论点使用的本质，他们被剥夺了所有不必要的复杂性。

2018-10-13cs.LGmath.STstat.TH

随机多臂土匪的有界后悔

Bounded regret in stochastic multi-armed bandits

Princeton University（普林斯顿大学）；Université Paris Diderot（巴黎狄德罗大学）

当已知最优臂的值$μ^{(\star)}$以及最小正间隙$Δ$的正下界时，研究了随机多臂强盗问题.我们提出了一个新的随机化策略，在这种情况下，达到遗憾{ \em一致有界的时间}。我们还证明了几个下界，特别是有界后悔是不可能的，如果一个人只知道$Δ$，和有界后悔$1/Δ$是不可能的，如果一个人只知道$μ^{(\star)}$

2013-02-12cs.LGmath.STstat.ML

平滑的情境强盗：连接参数和不可微后悔机制

Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes

Cornell University（康奈尔大学）

研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。

2020-09-11cs.AIcs.LGmath.OC

自然堕落的强盗：后悔下限与鲁棒乐观算法

Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm

Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）

我们研究了腐败的强盗问题，即一个随机的多臂强盗问题与$k$未知的奖励分布，这是重尾和腐败的历史独立的对手或自然。具体地说，通过玩手臂获得的奖励来自相应的概率为$1-\varepsilon \in (0.5,1]$的重尾奖励分布和概率为$\varepsilon \in [0,0.5)$的无界支持的任意腐败分布。首先，我们提供任何损坏的强盗算法的$\textit{a problem-dependent lower bound on the regret}$。下界表明，腐败的强盗问题是困难的，比经典的随机强盗问题与亚高斯或重尾奖励。接下来，我们提出了一种新型的UCB类型的腐败强盗算法，即HubUCB，它建立在Huber的估计器之上，用于鲁棒均值估计。利用Huber估计的一个新的集中不等式，我们证明了HubUCB达到了一个接近最优的后悔上界。由于计算Huber估计具有二次复杂性，我们进一步介绍了一个顺序版本的Huber估计，表现出线性复杂性。我们利用这个顺序估计设计SeqHubUCB，享受类似的遗憾保证，同时减少计算负担。最后，我们通过实验说明了HubUCB和SeqHubUCB在解决不同奖励分配和不同腐败程度的腐败土匪的效率。

2023-03-21cs.LGmath.STstat.TH

更多相关论文收起更多论文

多武装匪徒的跨期Gittins指数策略的后悔分析

Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits

University of Alberta（阿尔伯塔大学）

我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。

2016-05-27cs.LGmath.STstat.ML

非平稳在线非凸优化的多点Bandit算法

Multi-Point Bandit Algorithms for Nonstationary Online Nonconvex Optimization

University of California, Davis（加州大学戴维斯分校）；Princeton University（普林斯顿大学）

Bandit算法主要是在凸环境下分析的，其性能指标是基于函数值的固定后悔。在本文中，在线强化学习问题的动机，我们提出并分析了一般和结构化的非凸问题与非平稳（或动态）遗憾的性能指标，在随机和非随机设置的强盗算法。首先，对于一般的非凸函数，我们考虑非平稳版本的一阶和二阶固定的解决方案作为一个遗憾的措施，出于类似的性能措施离线非凸优化。在二阶固定解决方案的遗憾的情况下，我们提出并分析在线和土匪版本的立方正则化牛顿的方法。强盗版本是基于估计的海森矩阵的强盗设置，基于二阶高斯斯坦的身份。我们的非平稳遗憾界的二阶固定的解决方案有有趣的后果，避免鞍点的强盗设置。其次，对于弱拟凸函数和单调弱次模函数，我们考虑用函数值表示的非平稳后悔测度;这样的非凸函数的结构类使得人们可以考虑用函数值定义的后悔测度，类似于凸函数。对于这种情况下的功能值，和一阶固定的解决方案为基础的遗憾措施，我们提供遗憾的界限，在低维和高维的设置，在某些情况下。

2019-09-11cs.DScs.LGmath.OC

第一千一百一十章绝不后悔的强盗

No Regret Bound for Extreme Bandits

UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）

超参数优化的算法比比皆是，所有这些算法都在不同且通常无法验证的假设下工作得很好。出于顺序选择使用哪种算法的一般挑战，我们研究了更具体的任务，选择分布用于随机超参数优化。这项工作自然是在极端强盗设置中进行的，它处理从集合中顺序选择哪个分布进行采样，以最小化（最大化）单个最佳成本（奖励）。虽然在标准的强盗设置中的分布主要是由它们的平均值来表征的，但是当我们关心最小成本而不是平均成本时，就会出现许多微妙之处。例如，可能不存在像标准强盗设置中那样定义良好的“最佳”分布。最佳分配取决于已经获得的奖励和剩余的时间范围。而在标准的强盗设置，这是明智的比较政策与预言发挥最好的一只手臂，在极端的强盗设置，有多个明智的预言模型。我们在极端强盗情境中定义了一个合理的“极端后悔”概念，它与标准强盗情境中的后悔概念相似。然后，我们证明，没有政策可以渐近地实现没有极端的遗憾。

2016-04-11cs.LGmath.OCmath.ST

适应$K$中的射程-武装匪徒

Adaptation to the Range in $K$-Armed Bandits

我们考虑随机强盗问题的$K$武器，每个与有界分布支持范围$[m,M]$。我们不假设范围$[m,M]$是已知的，并表明学习这个范围是有代价的。事实上，一个新的权衡之间的分布依赖和分布自由的遗憾界限出现，这防止同时实现典型的$\ln T$和$\sqrt{T}$界限。例如，$\sqrt{T}$ }分布无关后悔界限仅在分布相关后悔界限至少为$\sqrt{T}$阶时才可实现。我们展示了一种策略，实现了新的权衡所表示的后悔率。

2022-06-15math.STstat.MLstat.TH

连续上下文赌博机的一个转换定理与极小极大最优性

A conversion theorem and minimax optimality for continuum contextual bandits

University of Oxford CMAP, Ecole Polytechnique, IP Paris（牛津大学计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CMAP, Ecole Polytechnique, IP Paris（计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CSML, Istituto Italiano di Tecnologia University College London（计算机科学与机器学习，意大利技术研究所，伦敦大学学院）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）

针对上下文连续赌博机，提出静态到上下文遗憾转换定理，并证明在多种设定下算法达到极小极大最优上下文遗憾率。

2025-10-27cs.LGmath.STstat.ML

多模态老虎机：遗憾下界与最优算法

Multimodal Bandits: Regret Lower Bounds and Optimal Algorithms

Division of Decision and Control Systems（决策与控制系统系）；KTH Royal Institute of Technology（皇家理工学院）；Laboratoire des signaux et systèmes（信号与系统实验室）；Université Paris-Saclay, CNRS, CentraleSupélec（巴黎萨克雷大学、国家科学研究中心、中央理工-巴黎高等理工学院）

针对期望奖励函数最多有m个模态的随机多臂老虎机问题，提出了首个可计算的Graves-Lai优化问题求解算法，从而实现了该问题的渐近最优算法。

2025-10-29cs.LGmath.STstat.ML

高维高斯多臂老虎机中的精确贝叶斯遗憾与渐近最优性

Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits

Abstract Math Institute（抽象数学研究所）

研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。

2026-09-25cs.LGmath.STstat.ML

稀疏线性带隙的信息定向采样

Information Directed Sampling for Sparse Linear Bandits

Deepmind（深度思维）；Purdue University（普渡大学）

随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型，并具有丰富的信息后悔结构。在这项工作中，我们探讨了使用信息导向抽样（IDS），自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界，几乎匹配现有的各种问题的情况下的下限，证明了自适应的IDS。为了有效地实现稀疏入侵检测系统，我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。

2021-05-29cs.LGmath.STstat.ML

如何与不固定的$\mathcal{X}$ -武装匪徒赌博，并且没有遗憾

How to gamble with non-stationary $\mathcal{X}$-armed bandits and have no regrets

WIAS Berlin（柏林魏尔斯特拉斯应用分析与随机学研究所）

在$\mathcal{X}$ -武装强盗问题中，代理顺序地与环境交互，环境基于代理提供的向量输入产生奖励。代理的目标是在一定数量的时间步长内最大化这些奖励的总和。这个问题及其变化一直是许多研究的主题，提出了次线性和有时最佳的策略。给定的文件介绍了一个新的变化的问题。我们考虑一个环境，它可以突然改变其行为未知的次数。为此，我们提出了一种新的策略，并证明它达到了次线性累积后悔。此外，在行动和相应的奖励之间的高度光滑的关系的情况下，该方法是接近最优的。理论分析结果得到了实验研究的支持。

2021-01-17cs.LGmath.STstat.ML