Unimodal Mono-Partite Matching in a Bandit Setting
ENS Rennes（雷恩高等师范学校）；Univ Rennes（雷恩大学）；Ensai（国立统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST（经济与统计研究中心）
我们解决了一个新出现的问题，这是在加权图中找到最佳的单部匹配。在半强盗版本中，在每次迭代时对完全匹配进行采样，已经由\cite{ADMA}解决，创建了一个具有预期遗憾匹配$O(\frac{L\log(L)}Δ\log(T))$与$2L$玩家、$T$迭代和最小奖励间隙$Δ$的算法。我们分两步减少这个界限。首先，在\cite{GRAB}和\cite{UniRank}中，我们使用相应图上期望奖励的单峰属性来设计$O(L\frac{1}Δ\log(T))$中的后悔算法。其次，我们表明，通过移动的重点对主要问题“\emph{Is user $i$ better than user $j$?}”这一遗憾成为$O(L\fracΔ{\tildeΔ^2}\log(T))$，其中$\TildeΔ > Δ$来自一个更好的方式比较用户。最后通过实验验证了理论分析的正确性。
2022-08-02 cs.DS cs.LG
Forced-exploration free Strategies for Unimodal Bandits
Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；CRIStAL（里尔计算机科学、信号与自动化研究中心）
我们考虑一组高斯或伯努利分布指定的多臂强盗问题赋予单峰结构。虽然这个问题已经在文献中得到了解决（Combes和Proutiere，2014），但这种结构的最新算法似乎是一种强制探索机制。我们引入IMED-UB，这是第一个利用单峰结构的无强迫探索策略，通过适应Honda和Takemura（2015）引入的指数最小经验分歧（IMED）策略来实现这一设置。这种策略被证明是最佳的。然后，我们推导出KLUCB-UB，IMED-UB的KLUCB版本，这也被证明是最优的。由于我们的证明技术，我们进一步能够以统一的方式提供对这两种策略的简洁的有限时间分析。数值实验表明，IMED-UB和KLUCB-UB在实践中表现相似，优于最先进的算法。
2020-06-30 cs.IT cs.LG math.IT
UniRank: Unimodal Bandit Algorithm for Online Ranking
Louis Vuitton（路易威登）；IRISA（法国信息与随机系统研究所）；INRIA（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；Ensai（法国国立统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST（经济与统计研究中心）；Univ. Rennes 1（雷恩第一大学）；Institut Universitaire de France（法兰西大学研究院）
我们解决了一个新出现的问题，这是在加权图中找到最佳的单部匹配。半强盗版本，其中在每次迭代时采样完全匹配，已经由\cite{ADMA}解决，创建了一个具有预期遗憾匹配$O(\frac{L\log(L)}Δ\log(T))$与$2L$玩家、$T$迭代和最小奖励间隙$Δ$的算法。我们分两步减少这个界限。首先，在\cite{GRAB}和\cite{UniRank}中，我们使用相应图上期望奖励的单峰属性来设计$O(L\frac{1}Δ\log(T))$中的后悔算法。其次，我们表明，通过移动的重点对主要问题“\emph{Is user $i$ better than user $j$?}”这一遗憾成为$O(L\fracΔ{\tildeΔ^2}\log(T))$，其中$\TildeΔ > Δ$来自一个更好的方式比较用户。最后通过实验验证了理论分析的正确性。
2022-08-02 cs.DS cs.LG
Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
Bandit Algorithms for Tree Search
用于树搜索的基于Bandit的方法最近在应用于巨大的树时（例如在围棋游戏中）已经流行起来（Gelly等人，2006年）。UCT算法（Kocsis和Szepesvari，2006）是一种基于上置信界限（UCB）的树搜索方法（Auer等人，2002年），被认为是适应当地的有效平滑的树。然而，我们发现UCT在某些情况下过于“乐观”，导致遗憾O（exp（exp（D），其中D是树的深度。我们提出了替代的强盗算法树搜索。首先，使用置信度序列的UCT的修改，该置信度序列与水平深度呈指数级缩放被证明具有遗憾O（2^D \sqrt{n}），但不适应树中可能的平滑度。然后，我们分析了Flat-UCB执行的叶子，并提供了一个有限的遗憾界的概率很高。然后，我们引入了一个基于UCB的Bandit算法的光滑树，它考虑到实际的光滑度的奖励执行有效的“切割”的次优分支具有高的信心。最后，我们提出了一个增量树搜索版本，适用于当满树太大（可能是无限的），完全表示，并显示，具有很高的概率，基本上只有最佳分支是无限发展。我们说明了这些方法的Lipschitz函数的全局优化问题，噪声数据。
2007-03-13 cs.LG
UB3: Best Beam Identification in Millimeter Wave Systems via Pure Exploration Unimodal Bandits
IITB-Monash Research Academy（IITB-莫纳什研究院）；IIT Bombay（印度理工学院孟买分校）；Innopolis University（Innopolis 大学）
毫米波（mmWave）通信具有宽频谱，并且可以支持每秒千兆比特量级的数据速率，如5G系统中所设想的。然而，由于它们对衰减损耗的敏感性，它们不能用于长距离。为了使它们能够在5G网络中使用，它需要将传输能量聚焦在尖锐的笔形波束中。由于发射器和接收器波束对之间的任何未对准都可能显著降低数据速率，因此它们尽可能对准是很重要的。为了找到最佳的发送-接收波束对，最近的波束对准（BA）技术检查整个波束空间，这可能导致大量的BA延迟。最近的工作提出自适应地选择波束，使得在接收信号强度或吞吐量方面测量的累积回报最大化。在本文中，我们开发了一种算法，利用单峰结构的接收信号强度的波束，以确定最好的波束在有限的时间内使用纯勘探策略。在固定时隙中识别最佳波束的策略比连续执行探索和利用的累积奖励最大化策略更适合于无线网络协议设计。我们的算法被命名为最佳波束的单峰Bandit（UB 3），并在几轮中以高概率识别最佳波束。我们证明了概率中的误差指数不依赖于波束的数量，并通过建立单峰强盗的下界证明了这确实是这种情况。我们证明，UB 3优于国家的最先进的算法，通过广泛的模拟。此外，我们的算法实现简单，具有较低的计算复杂度。
2022-12-26 cs.AI cs.IT cs.LG
Fighting Bandits with a New Kind of Smoothness
University of Michigan（密歇根大学）
我们定义了一个新的家庭的算法的对抗性多臂土匪问题，并提供了一个简单的分析技术的基础上凸平滑。我们证明了两个主要结果。首先，我们通过\emph{Tsallis entropy}，其中包括EXP3作为一个特殊的情况下，正则化实现了$Θ(\sqrt{TN})$极大极小遗憾。其次，我们证明了一个广泛的一类扰动方法实现了近最优的遗憾低至$O(\sqrt{TN \log N})$，如果扰动分布有界的风险率。例如，Gumbel、Weibull、Frechet、Pareto和Gamma分布都满足这个关键属性。
2015-12-14 cs.GT cs.LG stat.ML
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）；University of Alberta（阿尔伯塔大学）；Simon Fraser University（西蒙菲莎大学）；Indian Institute of Science（印度科学学院）
该研究证明任意常数学习率下随机梯度老虎机算法几乎必然收敛到全局最优策略，突破标准假设限制，基于动作采样率等新发现扩展了对该方法在老虎机场景中行为的理解。
2025-02-11 cs.LG
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Smooth Bandit Optimization: Generalization to Hölder Space
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
我们考虑了一个光滑的奖励函数的强盗优化，目标是累积后悔最小化。本文研究了具有$0<α\leq 1$的$α$-Hölder连续（包括Lipschitz）函数的这一问题.我们的主要结果是在推广的奖励函数的霍尔德空间与指数$α>1$之间的差距Lipschitz土匪和无限可微的模型，如线性土匪。对于Hölder连续函数，基于离散化域的箱中的随机采样的方法足以作为最佳。相比之下，我们提出了一类两层的算法，部署错误指定的线性/多项式强盗算法在箱子。我们表明，该算法可以利用高阶光滑的功能，推导出一个遗憾的上限$\tilde{O}(T^\frac{d+α}{d+2α})$时，$α>1$，这符合现有的下限。我们还研究了适应未知函数光滑度的连续尺度的Hölder空间索引的$α$，与强盗模型选择方法与我们提出的两层算法。我们发现，它达到了遗憾率匹配现有的下限内的$α\leq 1$子集的适应。
2020-12-11 cs.LG stat.ML
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出组合多变量多臂老虎机框架CMAB-MT及乐观CUCB-MT算法，应用于情节强化学习等，建立CMAB与情节RL的首个联系，实现匹配或改进的遗憾界。
2025-04-22 cs.LG
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Infinite Action Contextual Bandits with Reusable Data Exhaust
University of Virginia（弗吉尼亚大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research NYC（微软研究院纽约分院）
针对无限动作上下文赌博机中平滑遗憾方法产生的数据废气缺乏良定义重要性权重、妨碍离线模型选择的问题，本文提出一种保持同等遗憾保证且权重良定义的在线算法，计算成本仅升至平滑度阶且仍与动作集无关。
2023-06-07 cs.LG
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon（里昂高等师范学院）
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案（提供通过一个简化的分析无约束的情况下）。在此算法的基础上，我们提出了一个渐近最优的策略。此外，我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别（BAI）是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了，但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象，但到目前为止，这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题，本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Multi-armed Bandit Requiring Monotone Arm Sequences
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
在许多在线学习或多臂强盗问题中，所采取的动作或拉动的手臂是有序的，并且要求随时间单调变化。例子包括动态定价，其中公司使用加价政策来取悦早期采用者并阻止战略等待，以及临床试验，其中剂量分配通常遵循剂量递增原则以防止剂量限制毒性。考虑了当要求臂序列单调时的连续臂强盗问题。我们证明了当未知目标函数是Lipschitz连续的时，后悔是$O(T)$。当目标函数为单峰或拟凹时，该算法的后悔率为$\tilde O(T^{3/4})$，也是最优的。这偏离了连续武装强盗文献中的最优速率$\tilde O(T^{2/3})$，并证明了单调性要求对学习效率的影响。
2021-10-06 cs.LG stat.ML
Continuum-Armed Bandits: A Function Space Perspective
Carnegie Mellon University（卡内基梅隆大学）
连续武装匪徒（又名，黑盒或$0^{th}$阶优化）涉及在给定在查询点处评估函数的oracle的情况下优化未知目标函数，其目标是使用尽可能少的查询点。在最好的研究情况下，目标函数被假定为Lipschitz连续和minimax率的简单和累积的遗憾是已知的，在无噪声和嘈杂的设置。本文研究了目标函数在更一般的光滑性条件即Besov光滑性条件下的连续武装土匪问题。在无噪声和有噪声的条件下，我们得到了简单的和累积的遗憾下的极大极小率。我们的结果表明，极小极大率在目标函数的Besov空间是相同的极小极大率在最小的Hölder空间的Besov空间嵌入的目标函数。
2021-03-21 cs.IT cs.LG math.IT
Physics-Informed Parametric Bandits for Beam Alignment in mmWave Communications
本文提出两种物理信息老虎机算法，用于高效识别毫米波通信中的最优波束方向，通过利用信道的稀疏多径特性，在多种信道环境中表现出色。
2026-03-01 cs.LG
Calibrated Fairness in Bandits
Harvard University（哈佛大学）；University of Lille（里尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的随机，\emph{multi-armed bandit}（MAB）的决策框架内的公平性。我们采用“以相似方式对待相似个体”的公平框架来适应这种设置。在这里，一个“个体”对应于一个臂，如果两个臂具有相似的质量分布，则它们是“相似的”。首先，我们采用{ \em平滑约束}，如果两个手臂具有相似的质量分布，则选择每个手臂的概率应该相似。此外，我们定义了{ \em公平遗憾}，它对应于算法未校准的程度，其中完美校准要求选择手臂的概率等于手臂具有最佳质量实现的概率。我们证明了在总变差距离下，Thompson抽样的变差满足光滑公平性，并给出了公平遗憾的$\tilde{O}((kT)^{2/3})$界。这是对先前工作的补充，该工作保护了平均更好的手臂免受不太有利的影响。我们还解释了如何将我们的算法扩展到决斗强盗设置。
2017-07-06 cs.LG
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon（亚马逊）；Columbia University（哥伦比亚大学）
针对多保真度树优化问题，提出CANOPY方法，通过在线学习分段平滑先验的有效区域，引导昂贵评估，在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
Unimodal Thompson Sampling for Graph-Structured Arms
Politecnico di Milano（米兰理工大学）
我们研究，据我们所知，第一个贝叶斯算法的单峰多臂强盗（MAB）问题的图结构。在这种设置中，每个臂对应于图的一个节点，并且每个边提供了两个节点之间在预期奖励方面的关系，该关系对于学习者来说是未知的。此外，对于图中的任何节点，都存在通向提供最大预期回报的唯一节点的路径，沿着该路径，预期回报单调增加。在此设置上的先前结果描述了频率主义MAB算法的行为。在本文中，我们设计了一个基于汤普森采样的算法，其渐近伪遗憾匹配的下限所考虑的设置。我们表明，-因为它发生在大量的情况下-贝叶斯MAB算法大大优于频率论的。特别是，我们提供了一个彻底的实验评估的性能，我们和国家的最先进的算法的图形的属性不同。
2016-11-22 cs.LG stat.ML
Bandit optimisation of functions in the Matérn kernel RKHS
University of Cambridge（剑桥大学）；Amazon（亚马逊）
考虑了在带噪声的Bandit反馈下，在域$[0,1]^d$上具有光滑参数$ν$的Matérn核的再生核Hilbert空间（RKHS）中函数的优化问题.我们的贡献，$π$ -UCB算法，是第一个实用的方法，保证次线性遗憾的所有$ν>1$和$d \geq 1$。经验验证表明，与其前身Improved GP-UCB相比，性能更好，计算可扩展性大幅提高。
2023-02-26 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Minimal Exploration in Structured Stochastic Bandits
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）
本文介绍并解决了一类广泛的随机强盗问题的功能映射的手臂相应的奖励表现出一些已知的结构特性。大多数现有的结构（例如线性、Lipschitz、单峰、组合、决斗等）都在我们的框架内。我们推导出这些问题的渐近实例特定的遗憾下界，并开发OSSB，一个算法的遗憾匹配这个基本限制。OSSB不是基于“面对不确定性的乐观主义”或Thompson抽样的经典原则，而是旨在匹配次优武器的最小探索率，其特征在于在遗憾下限的推导中。我们说明了OSSB的效率使用数值实验的情况下，线性强盗问题，并表明OSSB优于现有的算法，包括汤普森采样。
2017-11-01 cs.AI cs.LG math.OC
Online Stochastic Optimization under Correlated Bandit Feedback
Rehabilitation Institute of Chicago（芝加哥康复研究所）；Northwestern University（西北大学）；INRIA Nord Europe（法国国家信息与自动化研究所北欧分部）；Carnegie Mellon University（卡内基梅隆大学）
本文提出HCT算法，解决局部光滑函数的在线随机优化问题，处理相关奖励挑战，改进内存需求和光滑性假设，应用于强化学习策略搜索。
2014-05-19 cs.LG cs.SY eess.SY
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA；ENS Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法，它建立了一个级联的离散化树的基础上通用链，以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数，也大大扩展了UCB策略的应用范围。此外，通用的遗憾界，然后专门为高斯过程索引的无限维空间，以及高斯过程的二次形式。下界也证明了高斯过程的情况下，评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
Consequences of Kernel Regularity for Bandit Optimization
本文探讨了核正则性对老虎机优化的影响，通过分析不同核的谱性质，推导了显式的遗憾界，并提出了结合全局和局部方法的LP-GP-UCB算法。
2025-12-05 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Near-Optimal Regret in Adversarial Kernel Bandits
University of Washington（华盛顿大学）；National University of Singapore（新加坡国立大学）
针对对抗性核赌博问题，提出基于正则化重要性加权损失估计的指数权重算法，通过显式修正项消除偏差，实现与随机核赌博已知最优率匹配的遗憾界。
2026-05-26 cs.LG
Towards Principled, Practical Policy Gradient for Bandits and Tabular MDPs
Simon Fraser University（西蒙菲莎大学）；SIERRA Project Team (Inria)（SIERRA项目团队（法国国家信息与自动化研究所））
本文针对老虎机和表格型MDP中的softmax策略梯度方法，提出利用Armijo线搜索和指数递减步长设计无需未知问题相关量的实用算法，在保持理论收敛保证的同时实现有竞争力的性能。
2024-09-30 cs.LG
Polynomial Cost of Adaptation for X -Armed Bandits
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎南大学）
在随机连续武装匪徒的背景下，我们提出了一种算法，适应未知的光滑的目标函数。我们展示和计算的多项式成本的适应H{<$}lder正则性的遗憾最小化。为此，我们首先重新考虑了Locatelli和Carpentier [20]最近的下界，并定义和刻画了容许率函数。我们的新算法匹配任何这些最小速率函数。我们提供了一个有限时间的分析和彻底的讨论渐近最优性。
2019-12-09 cs.LG math.ST stat.ML
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Structure Adaptive Algorithms for Stochastic Bandits
INRIA - DIENS - PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了一类结构随机多臂强盗问题的报酬最大化问题，其中各臂的平均报酬满足一些给定的结构约束，例如线性、单峰、稀疏等。我们的目标是开发灵活的方法（因为它们很容易适应不同的结构），强大的（因为它们在经验上表现良好和/或可证明地匹配依赖于实例的下限）和高效的（因为每轮计算负担小）。我们开发的渐近最优算法，从依赖于实例的下限使用迭代鞍点求解器。我们的方法概括了最近的迭代方法，纯探索奖励最大化，其中一个主要的挑战来自估计的次优差距和他们的倒数。我们仍然设法实现上述所有迫切需要。值得注意的是，我们的技术避免了以前的工作所采用的成熟鞍点预言的计算成本，同时使有限时间的遗憾界限。我们的实验表明，我们的方法成功地利用了结构的假设，而它的遗憾是在最坏的香草UCB。
2020-07-02 cs.LG stat.ML
Bandits with Single-Peaked Preferences and Limited Resources
Technion—Israel Institute of Technology（技术ion—以色列理工学院）
本文提出了一种基于单峰偏好的高效算法，用于解决带有有限资源的在线老虎机问题，实现了O~(UKT^{2/3})的后悔界。
2026-02-10 cs.AI cs.LG
Combinatorial Logistic Bandits
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
论文提出组合逻辑赌博机框架 CLogB，并设计 CLogUCB 与方差自适应 VA-CLogUCB，在 TPM/TPVM 条件下显著改进遗憾界，实验验证其性能优势。
2025-05-14 cs.LG
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano（米兰理工大学）
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户，他们的喜好可以收集在整个播放列表的收听过程中的建议，我们研究了一种新的土匪设置，即多武装土匪与时间分区奖励（TP-MAB），其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知，这一设置迄今尚未被探索，它是延迟反馈强盗的自然延伸，在这种情况下，奖励可能会在拉动后的有限时间内扩大，而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题，即TP-UCB-FR和TP-UCB-EW，它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明，我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时，一个属性表征了广泛的奖励结构的实际利益，即阿尔法平滑，持有。我们还根据经验评估了他们在各种环境中的表现，包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
The Influence of Shape Constraints on the Thresholding Bandit Problem
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；Centre Inria Lille - Nord Europe（里尔-北欧欧洲INRIA中心）
研究了在几种形状约束下的随机持票Bandit问题。在（i）普通的、非结构化的TBP之上，我们考虑（ii）臂均值序列$(μ_k)_k$是单调递增的MTBP的情况，（iii）$(μ_k)_k$是单峰UTBP的情况，以及（iv）$(μ_k)_k$是凹CTBP的情况。在TBP问题中，目标是在顺序博弈结束时输出其均值高于给定阈值的武器集合。遗憾是错误分类的手臂和阈值之间的最高差距。在固定的预算设置中，我们提供了问题独立的极大极小利率的预期遗憾在所有设置，以及相关的算法。我们证明了遗憾的极小极大率是（i）TBP的$\sqrt{\log(K)K/T}$，（ii）MTBP的$\sqrt{\log(K)/T}$，（iii）UTBP的$\sqrt{K/T}$和（iv）CTBP的$\sqrt{\log\log K/T}$，其中$K$是武器数量，$T$是预算。这些比率表明，依赖于$K$的极大极小遗憾变化显着取决于形状约束。这突出了这样一个事实，即形状约束从根本上修改了TBP的性质。
2021-02-23 cs.LG stat.ML
Laplacian-regularized graph bandits: Algorithms and theoretical analysis
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们考虑一个随机线性多用户的强盗问题，用户之间的关系被捕获的底层图和用户的喜好表示为平滑的信号上的图。我们引入了一种新的强盗算法，通过随机游走图拉普拉斯算子，这导致了单用户累积遗憾缩放为$\tilde{\mathcal{O}}(Ψd \sqrt{T})$与时间范围$T$，特征维度$d$，和标量参数$Ψ\in (0,1)$，取决于图的连通性。这是对\algo{LinUCB} ~ \Ccite{li2010contextual}中的$\tilde{\mathcal{O}}(d \sqrt{T})$的改进，其中不考虑用户关系。在网络遗憾（$n$用户的累积遗憾之和）方面，所提出的算法导致缩放为$\tilde{\mathcal{O}}(Ψd\sqrt{nT})$，这是对最先进的算法\algo{Gob.Lin} \Ccite{cesa2013gang}中的$\tilde{\mathcal{O}}(nd\sqrt{T})$的显著改进。为了提高可扩展性，我们进一步提出了一个简化的算法，具有线性的计算复杂度相对于用户的数量，同时保持相同的遗憾。最后，我们提出了一个有限的时间分析所提出的算法，并证明其优势与国家的最先进的基于图的强盗算法的合成和真实世界的数据。
2020-02-10 cs.LG stat.ML
Combinatorial Bandits for Maximum Value Reward Function under Max Value-Index Feedback
London School of Economics（伦敦政治经济学院）；Microsoft Research Asia（微软亚洲研究院）
本文研究最大价值-索引反馈下的组合多臂赌博机问题，提出一种新算法，并证明其遗憾界与信息更丰富的半赌博机反馈下的已知界相当，实验验证了其有效性。
2023-05-25 cs.LG math.ST stat.TH
Transfer Learning for Contextual Multi-armed Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对协变量偏移下的非参数上下文多臂老虎机，本文提出达到极小极大遗憾的迁移学习算法，并给出可自适应未知平滑度的近最优数据驱动方法。
2024-01-25 cs.LG math.ST stat.ML
Variational Quantum Optimization with Continuous Bandits
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出利用连续老虎机方法改进变分量子优化，通过连续空间中的最佳臂识别问题，实现更高效的量子电路参数优化。
2025-12-17 cs.LG quant-ph
Dual-Mandate Patrols: Multi-Armed Bandits for Green Security
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
本文将绿色安全巡逻形式化为随机多臂老虎机问题，提出利用奖励函数平滑性和动作可分解性的LIZARD算法，在保证收敛率的同时优化短期性能，并在柬埔寨真实偷猎数据上取得提升。
2024-04-26 cs.LG stat.ML
Laplacian Kernelized Bandit
本文提出了一种基于拉普拉斯核化的多用户老虎机框架，通过统一的RKHS模型结合图平滑和个体粗糙度惩罚，设计了LK-GP-UCB和LK-GP-TS算法，在非线性场景中优于传统基线方法。
2026-01-01 cs.LG stat.ML
The Deceptive Bandit Problem: Exploratory Coupling and the Fragility of Multi-Agent Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
本文研究多智能体学习中探索的隐私脆弱性，证明欺骗者可通过耦合探索信息将学习动态导向欺骗性纳什均衡，并保持最优收敛速率。
2026-10-08 cs.LG cs.SY eess.SY
Batched Nonparametric Bandits via k-Nearest Neighbor UCB
Case Western Reserve University（凯斯西储大学）
针对在线反馈有限的批量非参数上下文老虎机序贯决策问题，提出结合自适应k近邻回归与UCB原理的BaNk-UCB算法，具备近最优后悔保证且实验表现优于分箱基线。
2025-08-01 cs.LG math.ST stat.ME
Contextual Combinatorial Bandits with Probabilistically Triggered Arms
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）
本文研究具有概率触发臂的上下文组合多臂老虎机问题，提出 C$^2$-UCB-T 和方差自适应算法 VAC$^2$-UCB，分别在不同平滑性条件下取得更优遗憾界，并通过实验验证了算法性能的提升。
2024-11-18 cs.AI cs.LG stat.ML
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对边际参数未知的批量非参数上下文老虎机，提出遗憾膨胀准则刻画未知性代价，证明最优遗憾膨胀随时间范围多项式增长，开发RoBIN算法实现最优膨胀，并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
Smoothed Online Learning is as Easy as Statistical Learning
MIT（麻省理工学院）
大部分现代学习理论都分为两种模式：经典的离线设置，数据独立到达，在线设置，数据以对抗方式到达。虽然前一种模型通常在计算和统计上都易于处理，但后者不需要分布假设。为了实现两全其美，以前的工作提出了平滑在线设置，其中每个样本都是从一个相反选择的分布中提取的，该分布是平滑的，即，它有一个有界密度相对于一个固定的支配措施。我们提供了严格的界限上的极小极大遗憾学习的非参数函数类，与近最佳的依赖于地平线和平滑参数。此外，我们提供了第一个甲骨文高效，无悔的算法在这种情况下。特别是，我们提出了一个预言高效的不当算法，其遗憾实现最佳依赖的地平线和一个适当的算法，只需要一个单一的预言调用每轮的遗憾具有最佳的地平线依赖的分类设置，一般是次线性的。这两种算法对对手的平滑参数的依赖性指数比极大极小率差。然后，我们证明了任何适当的学习算法，它匹配的甲骨文有效的上限到多项式因子的甲骨文复杂性的下限，从而证明了在平滑的在线学习的计算差距的存在。最后，我们将我们的研究结果的上下文强盗设置表明，如果一个函数类是可学习的经典设置，然后有一个预言机的高效，没有遗憾的算法上下文强盗的情况下，上下文顺利到达。
2022-05-31 cs.LG stat.ML
