arXiv 2503.024282025-03-04cs.LGcs.DSstat.ML

单遍流式随机多臂老虎机的紧致间隙依赖内存-遗憾权衡

Tight Gap-Dependent Memory-Regret Trade-Off for Single-Pass Streaming Stochastic Multi-Armed Bandits

Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）

Zichun Ye, Chihao Zhang, Jiahao Zhao

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文研究了单遍流式随机多臂老虎机的间隙依赖遗憾最小化问题，提出了两种适用于不同内存大小范围的算法，并证明了匹配的下界，首次确立了该问题的紧致遗憾界限。

摘要：

我们研究了为单遍流式随机多臂老虎机（MAB）最小化间隙依赖遗憾的问题。在此问题中，$n$ 个臂存在于一个流中，且最多 $m<n$ 个臂及其统计数据可被存储在内存中。我们确立了关于所有相关参数的紧致非渐近遗憾界限，包括臂数 $n$、内存大小 $m$、轮数 $T$ 以及 $(Δ_i)_{i\in [n]}$，其中 $Δ_i$ 是最佳臂与第 $i$ 个臂之间的奖励均值间隙。玩家事先不知道这些间隙。具体而言，对于任意常数 $α\ge 1$，我们提出了两种算法：一种适用于 $m\ge \frac{2}{3}n$，遗憾至多为 $O_α\Big(\frac{(n-m)T^{\frac{1}{α+ 1}}}{n^{1 + {\frac{1}{α+ 1}}}}\displaystyle\sum_{i:Δ_i > 0}Δ_i^{1 - 2α}\Big)$；另一种适用于 $m<\frac{2}{3}n$，遗憾至多为 $O_α\Big(\frac{T^{\frac{1}{α+1}}}{m^{\frac{1}{α+1}}}\displaystyle\sum_{i:Δ_i > 0}Δ_i^{1 - 2α}\Big)$。我们还证明了两种情况的匹配下界，证明对于任意常数 $α\ge 1$ 和任意 $m\leq k < n$，存在一组困难实例，任何算法的遗憾为 $Ω_α\Big(\frac{(k-m+1) T^{\frac{1}{α+1}}}{k^{1 + \frac{1}{α+1}}} \sum_{i:Δ_i > 0}Δ_i^{1-2α}\Big)$。这是流式 MAB 的首个紧致间隙依赖遗憾界限。在我们工作之前，Agarwal, Khanna 和 Patil (COLT'22) 针对特例 $α=1$ 和 $m=O(1)$ 建立了 $O\Big(\sum_{i\colonΔ>0} \frac{\sqrt{T}\log T}{Δ_i}\Big)$ 的上界。相比之下，我们的结果提供了正确的遗憾阶数 $Θ\Big(\frac{1}{\sqrt{m}}\sum_{i\colonΔ>0}\frac{\sqrt{T}}{Δ_i}\Big)$。

英文摘要：

We study the problem of minimizing gap-dependent regret for single-pass streaming stochastic multi-armed bandits (MAB). In this problem, the $n$ arms are present in a stream, and at most $m<n$ arms and their statistics can be stored in the memory. We establish tight non-asymptotic regret bounds regarding all relevant parameters, including the number of arms $n$, the memory size $m$, the number of rounds $T$ and $(Δ_i)_{i\in [n]}$ where $Δ_i$ is the reward mean gap between the best arm and the $i$-th arm. These gaps are not known in advance by the player. Specifically, for any constant $α\ge 1$, we present two algorithms: one applicable for $m\ge \frac{2}{3}n$ with regret at most $O_α\Big(\frac{(n-m)T^{\frac{1}{α+ 1}}}{n^{1 + {\frac{1}{α+ 1}}}}\displaystyle\sum_{i:Δ_i > 0}Δ_i^{1 - 2α}\Big)$ and another applicable for $m<\frac{2}{3}n$ with regret at most $O_α\Big(\frac{T^{\frac{1}{α+1}}}{m^{\frac{1}{α+1}}}\displaystyle\sum_{i:Δ_i > 0}Δ_i^{1 - 2α}\Big)$. We also prove matching lower bounds for both cases by showing that for any constant $α\ge 1$ and any $m\leq k < n$, there exists a set of hard instances on which the regret of any algorithm is $Ω_α\Big(\frac{(k-m+1) T^{\frac{1}{α+1}}}{k^{1 + \frac{1}{α+1}}} \sum_{i:Δ_i > 0}Δ_i^{1-2α}\Big)$. This is the first tight gap-dependent regret bound for streaming MAB. Prior to our work, an $O\Big(\sum_{i\colonΔ>0} \frac{\sqrt{T}\log T}{Δ_i}\Big)$ upper bound for the special case of $α=1$ and $m=O(1)$ was established by Agarwal, Khanna and Patil (COLT'22). In contrast, our results provide the correct order of regret as $Θ\Big(\frac{1}{\sqrt{m}}\sum_{i\colonΔ>0}\frac{\sqrt{T}}{Δ_i}\Big)$.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文