Batched Dueling Bandits
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
$K$ -武装决斗强盗问题,其中的反馈是在噪声成对比较的形式,已被广泛研究。以前的工作只集中在顺序设置的政策适应后,每次比较。然而,在诸如搜索排名和推荐系统的许多应用中,优选地在有限数量的并行批次中执行比较。研究了批量$K$ -武装决斗强盗问题在两种标准条件下的解:(i)Condorcet获胜者的存在性,(ii)强随机传递性和随机三角不等式.对于这两种设置,我们获得的算法与批次和遗憾的数量之间的平滑权衡。我们的遗憾边界匹配最知名的顺序遗憾边界(多对数因子),只使用对数数量的批次。我们用一个几乎匹配的下限来补充我们的遗憾分析。最后,我们还验证了我们的理论结果,通过实验的合成和真实数据。
2022-02-22 cs.LG stat.ML
Batched Multi-armed Bandits Problem
Stanford University(斯坦福大学)
在本文中,我们研究了多臂强盗问题中的批量设置,其中所采用的政策必须分为少量的批次数据。虽然在\cite{perchet2016batched}中已经完全刻画了双臂随机强盗的极小极大后悔,但对于多臂情况,武器数量对后悔的影响仍然是开放的。此外,自适应地选择批量大小是否有助于减少遗憾的问题也仍然有待探讨。在本文中,我们提出了BaSE(批量连续消除)的政策,以实现率最优的遗憾(对数因子内)批量多武装土匪,匹配的下限,即使批量大小是以自适应的方式确定。
2019-10-26 cs.IT cs.LG math.IT
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题,提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性,实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
为小批量梯度下降确定适当的批量大小总是很耗时,因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降(RMGD)算法的基础上,多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数,以实现最佳性能。这种可能性鼓励探索不同的批量大小,然后再利用批量大小的成功历史。在每个时期,RMGD从其概率分布中采样批量大小,然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后,更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明,RMGD实现的性能优于最佳性能的单批大小。此外,很明显,它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是,RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
针对在线强化学习中探索与利用的平衡难题,提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案,可证明在随机多臂老虎机中达到近最优遗憾,并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究汤普森抽样算法的随机多武装土匪在批量设置,在其中,我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化(或批次)。我们提出了两个算法,并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面,并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits
University of Chicago(芝加哥大学);New York University(纽约大学)
我们研究了高维稀疏线性上下文强盗中的动态批量学习问题,其中决策者在给定的最大批量约束下,只能在每批结束时观察奖励,可以动态地决定下一批(在当前批次结束时)中包含多少个人,以及在每批中采用什么个性化的动作选择方案。这种批量约束在各种实际环境中普遍存在,包括营销中的个性化产品供应和临床试验中的药物治疗选择。我们通过一个遗憾的下限,并提供了一个匹配的上限(对数因子),从而规定了这个问题的最佳方案的基本学习限制。据我们所知,我们的工作提供了第一个理论上的理解动态批量学习高维稀疏线性上下文土匪。值得注意的是,即使是一个特殊的情况下,我们的结果-当没有批量约束-收益率,简单的探索免费算法使用LASSO估计已经达到了最小最大最佳遗憾界的标准在线学习在高维线性上下文土匪(对于无利润率的情况下),一个结果,似乎未知的新兴文献中的高维上下文土匪。
2022-07-16 cs.IT cs.LG math.IT
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Department of Statistics, University of Chicago(统计学系,芝加哥大学)
该研究针对批量约束下的非参数上下文老虎机问题,建立极小极大遗憾下界,提出动态划分协变量空间的批量学习算法,证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题,传统的多臂土匪问题,其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上,其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序,如网络搜索排名和推荐系统,其中执行顺序更新可能是不可行的。在这项工作中,我们要求:$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$,这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔,其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后,在各种现实世界的数据集的计算实验中,我们观察到,我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法(使用$T$轮)。
2022-09-25 cs.LG stat.ML
Best Arm Identification in Batched Multi-armed Bandit Problems
Shanghai University of Finance and Economics(上海财经大学);Columbia University(哥伦比亚大学)
针对批处理多臂老虎机的最优臂识别问题,提出通用线性规划框架及两阶段算法,兼具良好理论性质与数值性能。
2023-12-21 cs.LG stat.ME stat.ML
The Impact of Batch Learning in Stochastic Linear Bandits
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);Tilburg University(蒂尔堡大学);University of Jyväskylä(于韦斯屈莱大学)
本文研究批量学习在随机线性bandit中的影响,提供与策略无关的遗憾分析,证明批量学习对遗憾的影响为批量大小的乘法因子,并验证了有限臂与无限臂设置的理论一致性。
2022-09-01 cs.LG
Batched Stochastic Bandit for Nondegenerate Functions
本文针对非退化函数提出几何收窄(GN)算法,以 $\mathcal{O}(\log \log T)$ 个批次实现 $\widetilde{\mathcal{O}}(A_{+}^d \sqrt{T})$ 量级遗憾,并通过下界分析证明其在遗憾和通信轮数上均近最优。
2025-04-08 cs.LG stat.ML
Asymptotic Performance of Thompson Sampling in the Batched Multi-Armed Bandits
Stanford University(斯坦福大学)
我们研究的渐近性能的汤普森抽样算法在批量多臂土匪设置的时间范围$T$分为批次,代理是无法观察到她的行动,直到每一批结束的奖励。我们表明,在这个批量设置,汤普森采样达到相同的渐近性能的情况下,即时反馈后,每个动作,只要批量大小增加次指数。该结果意味着,即使汤普森采样在$ω(\log T)$批次中接收延迟反馈,它也可以保持其性能。我们进一步提出了一个自适应的并行处理方案,减少了$Θ(\log T)$的批次数量,同时保持相同的性能。虽然在最近的几项工作中已经考虑了批量多臂强盗设置,以前的结果依赖于批量设置的定制算法,优化了批量结构,并在实验开始时优先考虑探索,以消除次优行动。我们表明,汤普森采样,另一方面,是能够实现类似的渐近性能在批量设置没有任何修改。
2021-10-01 cs.LG
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc(Oath公司)
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者,用户参与和社会份额。在雅虎首页,标题测试是使用测试推出策略进行的:我们首先在定义的测试期内将相等比例的流量分配给每个标题变体,然后将所有未来流量转移到性能最好的变体。在本文中,我们介绍了一个多臂强盗(MAB)的方法与批量汤普森采样(bTS)动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明,bTS方法具有较好的鲁棒性,能够准确快速地收敛到最优标题,在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks
研究高维多臂上下文Bandit的批量反馈问题,提出一种可证明样本高效的算法,通过自适应批次分配方法,仅用$\mathcal{O}(\log T)$个批次即可达到与完全串行设置相当的遗憾界。
2023-11-24 cs.LG stat.ML
Memory--Batch Tradeoffs in Lipschitz Bandits
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文研究随机 Lipschitz 多臂老虎机中内存与批次的权衡,提出含新惩罚项的极小极大遗憾刻画,揭示状态宽度与更新深度不可互换,匹配策略可实现相关性能。
2026-09-29 cs.LG stat.ML
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University(清华大学)
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$,我们提供了一个算法并证明了其后悔保证,由于技术原因,随着时间范围$T$的增长,该保证具有两阶段表达式。我们还证明了一个下界定理,令人惊讶地显示了我们的两个阶段的遗憾上限(对数因子)的问题参数的\emph{full range}的最优性,因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明,$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束,我们的算法是简单,易于实际实现。此外,我们的算法实现了最佳遗憾的所有$T \geq d$,而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析,我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界,据我们所知,这是第一次在文献中,可能是独立的兴趣。
2022-10-15 cs.LG
Generalised correlated batched bandits via the ARC algorithm with application to dynamic pricing
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
渐近随机控制(ARC)算法提供了一个严格的近似的最优策略,为广泛的一类贝叶斯土匪,同时保持低的计算复杂性。特别是,ARC方法提供了接近最优的选择,即使当回报是相关的或超过回报的观察。该算法保证渐近优化预期的折扣收益,误差取决于初始的不确定性的强盗。在本文中,我们扩展了ARC框架,考虑一个批量强盗问题的观察到达一个广义线性模型。特别是,我们开发了一个大样本近似,允许相关的和一般分布的观察。我们将其应用到一个经典的动态定价问题的基础上的贝叶斯分层模型,并证明ARC算法优于其他方法。
2022-10-12 cs.CE cs.LG econ.GN
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology(以色列理工学院)
研究了报酬函数为非线性的组合多臂强盗(CMAB)问题。在此设置中,智能体在每轮中选择一批手臂,并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中,奖励函数是高度非线性的,现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散,因为大的梯度本身并不一定会导致大的后悔,而只是在奖励参数的不确定性很高的区域。为了克服这个问题,我们引入了一个新的平滑度标准,我们的术语\emph{Gini-weighted smoothness},考虑到非线性的奖励和浓度属性的武器。我们表明,在现有的算法中的批量大小的遗憾的线性依赖,可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时,平滑参数是批量大小无关的。例如,在概率最大覆盖(PMC)问题,有许多应用,包括影响力最大化,多样化的建议和更多,我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界,并表明我们的算法是紧的,在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Reconciling Risk Allocation and Prevalence Estimation in Public Health Using Batched Bandits
Stanford University(斯坦福大学)
在许多公共卫生环境中,在向已知的脆弱地区分配资源与了解这一问题的总体普遍性之间存在着明显的紧张关系。受我们帮助设计的一个挨家挨户的新冠病毒检测项目的启发,我们将多臂强盗策略和抽样理论的见解结合起来,演示如何在继续向风险地区分配资源的同时恢复准确的流行率估计。我们以传染病的爆发为例。公共卫生环境有几个特点,使其有别于典型的强盗环境,如分布偏移(真实的疾病流行率随时间而变化)和分批抽样(必须同时作出多项决定)。尽管如此,我们证明了几个强盗算法能够超越贪婪的资源分配策略,这往往比随机分配,因为他们没有注意到在新的领域爆发。
2021-10-25 cs.LG
Sequential Batch Learning in Finite-Action Linear Contextual Bandits
Center for Data Science, New York University(纽约大学数据科学中心);Susquehanna International Group(Susquehanna国际集团);IEDA, HKUST(香港科技大学工业工程及决策分析学系);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系);Stern School of Business, New York University(纽约大学斯特恩商学院)
该研究针对有限动作线性上下文博弈的序贯批次学习问题,在两种设置下建立遗憾界并提出匹配算法,揭示批次数量对在线性能的影响,为带批次约束的序贯决策提供近乎完整的刻画。
2026-08-18 cs.IT cs.LG math.IT
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University(凯斯西储大学)
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题,提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法,具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
ADAM Optimization with Adaptive Batch Selection
Seoul National University(首尔国立大学)
本文提出AdamCB,结合组合老虎机技术改进ADAM优化器,提升收敛速度和理论保证,实验证明其优于现有方法。
2025-12-07 cs.LG stat.ML
Batched Single-Index Global Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University(数学系、应用数学与统计学系,凯斯西储大学);Department of Statistics, Pennsylvania State University(统计系,宾夕法尼亚州立大学)
本文提出了一种新的半参数框架,用于带有协变量的批量老虎机问题,通过引入共享参数和单索引回归模型来捕捉臂奖励之间的关系,提出BIDS算法,在两种设置下推导了理论遗憾界,证明了在协变量维度为1时非参数批量老虎机的最优率。
2026-05-20 cs.LG math.ST stat.ME
Optimal Batched Linear Bandits
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Duke University(杜克大学)
本文提出 E$^4$ 算法,通过探索-估计-消除-利用框架解决分批线性赌博机问题,同时实现极小极大与渐近最优遗憾及最优批次复杂度,并在实验中一致优于基线算法。
2024-06-06 cs.LG math.ST stat.ML
Lipschitz Bandits with Batched Feedback
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);School of Data Science, Fudan University(复旦大学大数据学院)
本文提出BLiN算法解决批量反馈下的Lipschitz赌博机问题,仅用O(log log T)个批次即达到理论最优遗憾率。
2023-10-30 cs.LG
Batched Kernelized Bandits: Refinements and Extensions
National University of Singapore(新加坡国立大学)
本文研究了在批量噪声反馈下进行黑盒优化的问题,改进并扩展了基于核的老虎机的后悔界结果,提出了适应性批量策略,并在鲁棒设置中设计了鲁棒-BPE算法。
2026-03-13 cs.IT cs.LG math.IT
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago(芝加哥大学计算与应用数学委员会);Department of Statistics, University of Chicago(芝加哥大学统计学系)
针对边际参数未知的批量非参数上下文老虎机,提出遗憾膨胀准则刻画未知性代价,证明最优遗憾膨胀随时间范围多项式增长,开发RoBIN算法实现最优膨胀,并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对在线决策者行为演化历史带来的模仿学习挑战,提出逆批量上下文老虎机(IBCB)框架,将其转化为二次规划问题以高效估计奖励参数和策略,在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Linear Bandits with Limited Adaptivity and Learning Distributional Optimal Design
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
出于实际需要,如大规模的学习,我们研究的影响,适应性约束的线性上下文强盗,在线主动学习的中心问题。我们考虑两个流行的有限适应性模型在文献中:批量学习和罕见的政策开关。我们发现,当上下文向量是adversarially选择$d$维线性上下文强盗,学习者需要$O(d \log d \log T)$政策开关,以实现最小最优的遗憾,这是最佳的$\mathrm{poly}(\log d, \log \log T)$因素;随机上下文向量,即使在更严格的批量学习模型,只有$O(\log \log T)$批次需要实现最佳的遗憾。结合文献中已有的结果,我们的研究结果给出了线性语境强盗中适应性约束的完整描述。一路上,我们提出了分布最优设计,最优实验设计的自然延伸,并提供了一个统计和计算效率高的学习算法的问题,这可能是独立的利益。
2021-04-23 cs.DS cs.LG stat.ML
Batched Bandits with Crowd Externalities
Microsoft Research(微软研究院);Sorbonne Université(索邦大学);Orange Labs(法国电信实验室)
在批量多武装土匪(BMAB)中,不允许在每个时间步更新策略。通常,该设置断言允许的策略更新的最大数量,并且算法调度它们,以便最小化预期的遗憾。在本文中,我们描述了一种新的设置BMAB,具有以下扭曲:的政策更新的时间是不控制的BMAB算法,而是在每批接收的数据量,称为\textit{crowd},是受过去的选择武器。我们首先设计一个近似的最优策略的参数,我们证明有一个遗憾的$\mathcal{O}(\sqrt{\frac{\ln x}{x}}+ε)$,其中$x$是人群的大小和$ε$是参数误差的近似知识。接下来,我们实现了一个UCB启发的算法,保证额外的遗憾在$\mathcal{O}\left(\max(K\ln T,\sqrt{T\ln T})\right)$,其中$K$是武器的数量和$T$是地平线。
2021-09-29 cs.AI cs.LG
Double Explore-then-Commit: Asymptotic Optimality and Beyond
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了具有亚高斯报酬的多臂强盗问题。探索-然后-提交(ETC)策略,由探索阶段和开发阶段组成,是各种在线决策应用中最广泛使用的算法之一。然而,Garivier et al.(2016)已经表明,ETC在渐近意义上是次优的,因为地平线的增长,因此,比完全顺序策略,如上置信限(UCB)更差。在本文中,我们证明了ETC算法的一个变体实际上可以实现多臂强盗问题的渐近最优性的UCB型算法,并将其扩展到批量强盗设置。具体来说,我们提出了一个双重探索,然后提交(DETC)算法,有两个探索和开发阶段,并证明DETC达到渐近最优的遗憾界。据我们所知,DETC是第一个非完全顺序算法,达到这样的渐近最优。此外,我们将DETC扩展到批量强盗问题,其中(i)探索过程被分成少量批次,(ii)轮复杂性是核心利益。我们证明了一个批量版本的DETC可以达到渐近最优,只有一个常数轮复杂度。这是第一个批量强盗算法,可以同时获得最佳的渐近遗憾界和最佳轮复杂度。
2020-11-19 cs.LG stat.ML
Few Batches or Little Memory, But Not Both: Simultaneous Space and Adaptivity Constraints in Stochastic Bandits
School of Data Science, Fudan University(复旦大学大数据学院);Shanghai Innovation Institute(上海创新研究院)
研究随机老虎机在空间和适应性同时约束下的性能,证明在同时约束下,近最优 regret 需要 Ω(K/W) 批次,提出一个在任意内存预算下达到近最优 regret 的算法。
2026-03-30 cs.LG stat.ML
Continuum-armed Bandit Optimization with Batch Pairwise Comparison Oracles
Department of Information Systems and Intelligence Business, Xi’an Jiaotong University, Xi’an 710049, China(西安交通大学信息系统与智能商业系);Stern School of Business, New York University, New York, NY 10012, USA(纽约大学斯特恩商学院);Naveen Jindal School of Management, University of Texas at Dallas, Richardson, TX 75080, USA(德克萨斯大学达拉斯分校奈维恩·金达管理学院)
本文研究使用批量成对比较预言机的连续臂bandit优化问题,通过离散化与局部多项式逼近结合锦标赛逐步淘汰和批量LinUCB算法,解决了有偏估计与停止时间决策的挑战,并证明了其近最优遗憾界及在运营管理中的应用优势。
2025-05-28 cs.LG stat.ML
Batch Entanglement Detection in Parameterized Qubit States using Classical Bandit Algorithms
IIT Madras(印度马德拉斯理工学院);IBM Research India(IBM印度研究院)
本文提出一种基于经典多臂老虎机算法的批量纠缠检测方法,通过测量单参数纠缠见证者并设置阈值,实现对两量子比特状态集的纠缠识别,展示了其在量子信息处理中的应用。
2026-03-23 cs.AI cs.LG quant-ph
Adversarial Combinatorial Bandits with Switching Costs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
本文研究带切换代价的对抗性组合赌博机问题,在赌博机和半赌博机两种反馈下推导极小极大遗憾下界,并提出分批运行的 Batched-Exp2 和 Batched-BROAD 算法逼近下界。
2024-04-02 cs.LG stat.ML
Contextual Slate GLM Bandits with Limited Adaptivity
Microsoft Research India(微软研究院印度)
针对有限自适应性的上下文式板赌博机问题,提出两种算法B-SlateGLinCB和RS-SlateGLinCB,分别适用于批处理和少切换设置,在多样性假设下实现与非线性参数无关的遗憾界,并具有计算效率。
2026-08-04 cs.LG stat.ML
Practical and Optimal Algorithm for Linear Contextual Bandits with Rare Parameter Updates
Sanghoon Yu(苏杭oon Yu);Min-hwan Oh
针对参数更新次数受限的线性上下文赌博机问题,提出两种仅需O(log log T)次参数更新的算法,在静态调度下达到极小化最优遗憾,并显著降低计算复杂度。
2026-08-25 cs.LG stat.ML
Parallelizing Thompson Sampling
Yale University(耶鲁大学);Google Research(谷歌研究院)
我们如何利用在线决策问题的信息并行性,同时有效地平衡探索-开发权衡?本文介绍了一个批量Thompson抽样框架,用于两个典型的在线决策问题,即随机多臂强盗和线性上下文多臂强盗。在一个时间范围$T$,我们的\textit{batch}汤普森采样政策实现了相同的(渐近)遗憾界的一个完全连续的,而只进行$O(\log T)$批处理查询。为了实现这种指数下降,即,为了减少从$T$到$O(\log T)$的交互数量,我们的批处理策略动态地确定每个批处理的持续时间,以便平衡探索-利用权衡。我们还证明了实验,动态批分配显着优于自然基线,如静态批分配。
2021-06-02 cs.AI cs.LG math.OC
Off-Policy Evaluation and Learning from Logged Bandit Feedback: Error Reduction via Surrogate Policy
Indiana University Bloomington(印第安纳大学伯明顿分校);Northwestern University(西北大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当从一批记录的强盗反馈中学习时,要学习的策略和非策略训练数据之间的差异带来了统计和计算挑战。与经典的监督学习和在线学习设置不同,在批量上下文强盗学习中,人们只能访问来自历史策略所采取的动作的记录反馈的集合,并且期望学习在可能看不见的上下文中采取良好动作的策略。这种批量学习设置在在线和交互式系统中无处不在,例如广告平台和推荐系统。现有的方法基于逆倾向权重,如逆倾向评分(IPS)和策略优化指数模型(POEM),享受无偏性,但往往遭受大的均方误差。在这项工作中,我们介绍了一种新的方法,名为最大似然逆倾向评分(MLIPS)批量学习记录的强盗反馈。而不是使用给定的历史政策的建议,在逆倾向权重,我们估计一个最大似然代理政策的基础上记录的动作上下文对,然后使用这个代理政策的建议。我们证明了MLIPS是渐近无偏的,而且,有一个较小的非渐近均方误差比IPS。这种误差减少现象有些令人惊讶,因为估计的代理策略不如给定的历史策略准确。多标签分类问题和一个大规模的广告投放数据集的结果证明了MLIPS的经验有效性。此外,所提出的替代策略技术是对现有的错误减少技术的补充,并且当结合时,能够一致地提高几种广泛使用的方法的性能。
2018-08-01 cs.LG math.OC stat.ML
Regret Minimization in Heavy-Tailed Bandits
TIFR(塔塔基础研究所);CWI(荷兰国家数学与计算机科学研究中心)
在随机多臂强盗模型中,当臂分布为重尾分布时,我们重新研究了经典的后悔最小化问题。后悔最小化问题在有界支持报酬分布或属于单参数指数族的分布的简单设置中得到了很好的研究。我们的工作下,弱得多的假设下,阶$(1+ε)$的时刻是一致有界的一个已知的常数B,对于某些给定的$ε> 0$。我们提出了一个最佳的算法,完全匹配的下限在一阶项。我们也给出了一个有限的时间限制的遗憾。我们表明,我们的指数集中速度比众所周知的截断或修剪经验均值估计重尾分布的平均。计算我们的索引可能需要大量的计算。为了解决这个问题,我们开发了一个基于批量的算法,这是最佳的乘法常数取决于批量大小。因此,我们提供了一个控制的统计最优性和计算成本之间的权衡。
2021-02-07 cs.LG stat.ML
Batched Stochastic Linear Bandits with 1-Bit Communication Constraints
National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学)
研究在批量大小B和每批仅1比特反馈的通信约束下,随机线性赌博机的遗憾最小化问题,提出了两种基于G-最优设计和1比特均值估计的相位消除算法,实现了接近无约束线性赌博机的最优遗憾。
2026-05-29 cs.IT cs.LG math.IT
Reward Imputation with Sketching for Contextual Batched Bandits
Renmin University of China(中国人民大学);Tencent Inc.(腾讯公司)
针对上下文批量老虎机未执行动作奖励缺失导致信息利用不足的问题,提出基于随机sketching的奖励插补方法SPUIR,证明其具有次线性遗憾界,在多类数据集上表现优于现有最优基线。
2023-10-07 cs.AI cs.LG
Demystifying Design Choices of Reinforcement Fine-tuning: A Batched Contextual Bandit Learning Perspective
University of Science and Technology of China(中国科学技术大学);Daqing Oilfield Chongqing Company(重庆大庆油田公司);IFlyTek (China)(iFlytek(中国))
本文从批量上下文老虎机学习视角,探讨强化微调中设计选择的作用与关键性,通过实验揭示各因素对学习和泛化的影响。
2026-01-30 cs.AI cs.LG
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota(明尼苏达大学)
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略,并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中,探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下,人们可以选择使用在每个时间点更新的原始探索序列,或者仅在观察到新奖励时更新序列,从而导致两种竞争策略。在这项工作中,我们表明,虽然这两种策略可能会导致很强的一致性分配,后者的财产持有更广泛的情况。然而,对于有限样本的性能,我们说明了这两种策略都有自己的优点和缺点,这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
Breaking the $\log(1/Δ_2)$ Barrier: Better Batched Best Arm Identification with Adaptive Grids
National University of Singapore(新加坡国立大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
针对多臂老虎机批量最优臂识别问题,提出基于自适应网格的算法,通过新颖样本分配方案打破 $\log(1/Δ_2)$ 屏障,实现近优样本复杂度与实例敏感批量复杂度,并扩展至线性老虎机。
2025-01-29 cs.LG
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University(首尔国立大学)
本文提出了一种批量算法,通过限制匹配更新次数来减少计算开销,同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application(硬件/软件协同设计技术与应用的MoE工程研究中心);East China Normal University(东华大学)
本文提出了一种改进的随机老虎机框架BARBAT,通过消除K因子实现最优悔恨界,并扩展至多种设置,提升并行化能力与计算效率。
2026-01-02 cs.LG
Langevin Thompson Sampling with Logarithmic Communication: Bandits and Reinforcement Learning
Yale University(耶鲁大学);University of California, San Diego(加州大学圣地亚哥分校)
针对汤普森采样的分布假设限制及批量决策的通信成本问题,提出批量朗之万汤普森采样算法,在多臂老虎机和强化学习场景下实现对数级通信成本与最优阶遗憾保证。
2023-06-15 cs.AI cs.LG stat.ML
Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update
RIKEN AIP(日本理化学研究所高级研究所);National Key Laboratory for Novel Software Technology(国家新型软件技术实验室);School of Artificial Intelligence(人工智能学院);The University of Tokyo(东京大学)
针对广义线性老虎机计算与统计效率难以兼顾的问题,提出基于在线镜像下降估计器的单次更新算法,在常数时空复杂度下实现几乎最优的遗憾界。
2025-10-30 cs.LG stat.ML
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University(卡内基梅隆大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分部)
从先前的任务中学习,并将这些经验转移到提高未来的表现上,对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能,但大多数关于迁移的文献都集中在批量学习任务上。在本文中,我们研究的问题\textit{sequential transfer in online learning},特别是在多臂强盗框架,其目标是尽量减少累积遗憾的一系列任务,通过逐步转移知识,从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务,并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
Multi-Task Learning for Contextual Bandits
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
上下文强盗是多臂强盗的一种形式,其中代理可以在每个时间步访问每个手臂的预测性辅助信息(称为上下文),并且已用于建模个性化新闻推荐,广告投放和其他应用。在这项工作中,我们提出了一个多任务学习框架的上下文强盗问题。与批量设置中的多任务学习一样,目标是利用不同手臂的上下文相似性,以提高智能体从上下文预测奖励的能力。我们提出了一个基于置信上限的多任务学习算法的上下文土匪,建立相应的遗憾界,并解释这个界量化的优势,在存在高任务(手臂)相似性的学习。我们还描述了一个有效的计划,估计任务相似性的数据,并证明我们的算法的性能在几个数据集。
2017-05-24 cs.LG stat.ML
Metalearning Linear Bandits by Prior Update
Technion(以色列理工学院);University of Haifa(海法大学)
序贯决策的完全贝叶斯方法假设问题参数是从已知的先验知识中产生的。实际上,这类信息往往缺乏。这个问题在具有部分信息的设置中加剧,其中错误指定的先验可能导致较差的探索和性能。在这项工作中,我们证明,在随机线性土匪和高斯先验的背景下,只要先验足够接近真实的先验,所应用的算法的性能接近于使用真实先验的算法。此外,我们解决了通过元学习学习的任务,学习者更新她的估计之前在多个任务实例,以提高性能,在未来的任务。我们提供了一个算法和遗憾的界限,证明其有效性相比,一个算法,知道正确的先验,并支持我们的理论结果经验。我们的理论结果适用于广泛的一类算法,包括汤普森采样和信息定向采样。
2022-03-02 cs.AI cs.LG stat.ML
Achieving Limited Adaptivity for Multinomial Logistic Bandits
Microsoft Research India(微软印度研究院)
针对多项式逻辑斯谛老虎机,提出B-MNL-CB和RS-MNL两种算法,分别支持批处理和罕见切换模式,在有限策略更新下实现接近最优的遗憾,并优于每轮更新的基线。
2025-08-05 cs.LG stat.ML