Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
Information Capacity Regret Bounds for Bandits with Mediator Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
研究中介反馈bandit问题，引入策略集容量作为复杂度度量，采用EXP4算法在对抗和随机设定下给出新遗憾界，并证明匹配下界及全信息变体的遗憾界。
2024-02-15 cs.LG stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-11-10 cs.LG math.OC stat.ML
Fighting Bandits with a New Kind of Smoothness
University of Michigan（密歇根大学）
我们定义了一个新的家庭的算法的对抗性多臂土匪问题，并提供了一个简单的分析技术的基础上凸平滑。我们证明了两个主要结果。首先，我们通过\emph{Tsallis entropy}，其中包括EXP3作为一个特殊的情况下，正则化实现了$Θ(\sqrt{TN})$极大极小遗憾。其次，我们证明了一个广泛的一类扰动方法实现了近最优的遗憾低至$O(\sqrt{TN \log N})$，如果扰动分布有界的风险率。例如，Gumbel、Weibull、Frechet、Pareto和Gamma分布都满足这个关键属性。
2015-12-14 cs.GT cs.LG stat.ML
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本文研究组合半老虎机，通过提出TPVM条件及BCUCB-T和SESCB算法，将遗憾界中对批次大小$K$的依赖降至对数级或完全消除，显著改善了多种应用的遗憾界。
2024-11-18 cs.AI cs.LG stat.ML
Provably and Practically Efficient Neural Contextual Bandits
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
我们考虑神经上下文强盗问题。与主要关注ReLU神经网络的现有工作相比，我们考虑了一组通用的平滑激活函数。在这种更一般的设置下，（i）我们推导出一个过参数化的神经网络和其相应的神经切线核之间的差异的非渐近误差界，（ii）我们提出了一个算法，可证明次线性遗憾界，也是有效的有限制度的实证研究表明。非渐近误差界作为一种工具可能具有更广泛的兴趣，以建立神经上下文Bandits中激活函数的平滑度与内核Bandits中内核的平滑度之间的关系。
2022-05-31 cs.LG stat.ML
Regret Minimization with Performative Feedback
University of California, Berkeley（加州大学伯克利分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在执行性预测中，预测模型的部署会触发数据分布的转变。由于这些变化通常是事先未知的，学习者需要部署一个模型来获得关于它所诱导的分布的反馈。我们研究的问题，找到接近最优的模型下performativity，同时保持低遗憾。从表面上看，这个问题似乎相当于一个强盗问题。然而，它展示了一个从根本上更丰富的反馈结构，我们称之为表演反馈：在每次部署之后，学习者从移动的分布中接收样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一个算法，实现遗憾界缩放仅与复杂的分布偏移，而不是奖励函数。该算法仅依赖于位移的光滑性，而不假设凸性。此外，它的最终结果保证接近最优。关键的算法思想是仔细探索的分布偏移，通知一个新的建设的置信界限的风险未探索的模型。更广泛地说，我们的工作建立了一个概念性的方法，利用工具的土匪文学的目的，后悔最小化与表演反馈。
2022-07-18 cs.GT cs.LG stat.ML
Accelerated zero-order SGD under high-order smoothness and overparameterized regime
Lomonosov MSU（罗蒙诺索夫莫斯科大学）；ISP RAS（俄罗斯科学院信息问题研究所）；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University（因诺波利斯大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Skoltech（斯科尔科沃科学技术研究院）
本文提出一种适用于高阶光滑凸随机优化问题的加速零阶随机梯度下降算法，在过参数化情形下具有最优预言机复杂度，并给出两类噪声下的收敛保证及最大可容许噪声水平估计。
2024-11-21 cs.LG math.OC
Smoothness-Based Derandomization of PAC-Bayes Bounds
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Université Laval（拉瓦尔大学）
利用损失和预测器的光滑性，将Gibbs预测器去随机化为后验均值处的确定性预测器，通过Jensen间隙类的Rademacher复杂度控制泛化界，并导出涉及参数雅可比和海森矩阵的正则化器。
2026-06-29 cs.LG stat.ML
Unimodal Bandits without Smoothness
Supelec（高等电力学院）；KTH（瑞典皇家理工学院）
考虑具有连续手臂的随机强盗问题，其中期望报酬是手臂的连续单峰函数，对期望报酬函数的光滑性和结构没有进一步的假设.针对这些问题，我们提出了随机五分法（SP）算法，并给出了有限时间后悔和优化误差的上界。特别是，我们表明，对于任何预期的奖励功能$μ$的行为作为$μ(x)=μ(x^\star)-C|x-x^\star|^ξ$本地周围的最大化$x^\star$的一些$ξ, C>0$，SP算法是顺序最优的。即当时间范围$T$变大时，其遗憾和优化误差尺度分别为$O(\sqrt{T\log(T)})$和$O(\sqrt{\log(T)/T})$。这些缩放是在不了解$ξ$和$C$的情况下实现的。我们的算法是基于渐近最优序贯统计检验，用于连续修剪的间隔，包含最好的手臂具有高概率。据我们所知，SP算法构成了第一个顺序臂选择规则，该规则分别实现了遗憾和优化误差缩放为$O(\sqrt{T})$和$O(1/\sqrt{T})$，对于非平滑的预期奖励函数以及具有未知平滑度的平滑函数，最高可达对数因子。
2015-03-06 cs.LG
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们研究了在线随机线性优化的一个特殊的强盗设置，其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用，包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型，并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题，高的计算成本使其不切实际的现实世界的问题。为了解决这个问题，我们开发了一个有效的在线学习算法，利用特定的结构的观察模型。具体地说，我们采用在线牛顿步骤来估计未知参数，并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明，该算法达到了$O(d\sqrt{T})$的遗憾界，与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Tangential Randomization in Linear Bandits (TRAiL): Guaranteed Inference and Regret Bounds
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出线性赌博机算法 TRAiL，通过在动作集切平面上扰动实现强制探索，证明了其推断质量 Ω(√T) 增长和遗憾 O(√T log T) 上界，并建立了遗憾与推断质量之间的渐近权衡关系。
2024-11-19 cs.LG cs.SY eess.SY
Exploiting Structure of Uncertainty for Efficient Matroid Semi-Bandits
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind（深度思维）
我们提高了随机\emph{combinatorial semi-bandits}算法的效率。在大多数有趣的问题中，最先进的算法利用奖励的结构属性，例如\emph{independence}。然而，虽然是最佳的渐近遗憾，这些算法是低效的。在我们的论文中，我们首先减少他们的实现到一个特定的\emph{submodular maximization}。然后，在\emph{matroid}约束的情况下，我们设计了适应的近似例程，从而提供了第一个有效的算法，依赖于奖励结构，以提高遗憾界。特别是，我们提高了国家的最先进的有效的无间隙的遗憾约束的一个因素$\sqrt{m}/\log m$，其中$m$是最大的动作大小。最后，我们将展示我们的改进如何转化为更一般的\emph{budgeted combinatorial semi-bandits}。
2019-06-21 cs.LG stat.ML
Optimum-statistical Collaboration Towards General and Efficient Black-box Optimization
Purdue University（普渡大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出最优-统计协同框架，统一管理黑盒优化中优化误差与统计误差的交互，并据此设计方差自适应算法VHCT，在理论和实验上均取得优于已有方法的通用高效性能。
2023-05-31 cs.LG stat.ML
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Smooth Bandit Optimization: Generalization to Hölder Space
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
我们考虑了一个光滑的奖励函数的强盗优化，目标是累积后悔最小化。本文研究了具有$0<α\leq 1$的$α$-Hölder连续（包括Lipschitz）函数的这一问题.我们的主要结果是在推广的奖励函数的霍尔德空间与指数$α>1$之间的差距Lipschitz土匪和无限可微的模型，如线性土匪。对于Hölder连续函数，基于离散化域的箱中的随机采样的方法足以作为最佳。相比之下，我们提出了一类两层的算法，部署错误指定的线性/多项式强盗算法在箱子。我们表明，该算法可以利用高阶光滑的功能，推导出一个遗憾的上限$\tilde{O}(T^\frac{d+α}{d+2α})$时，$α>1$，这符合现有的下限。我们还研究了适应未知函数光滑度的连续尺度的Hölder空间索引的$α$，与强盗模型选择方法与我们提出的两层算法。我们发现，它达到了遗憾率匹配现有的下限内的$α\leq 1$子集的适应。
2020-12-11 cs.LG stat.ML
Exploiting Adjacent Similarity in Multi-Armed Bandit Tasks via Transfer of Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
针对相邻任务平均奖励差异有界的顺序多任务随机多臂老虎机问题，提出两种基于 UCB 的奖励样本迁移算法，并从理论和实验上证明其可降低跨任务总体遗憾。
2025-03-12 cs.LG stat.ML
Continuum-Armed Bandits: A Function Space Perspective
Carnegie Mellon University（卡内基梅隆大学）
连续武装匪徒（又名，黑盒或$0^{th}$阶优化）涉及在给定在查询点处评估函数的oracle的情况下优化未知目标函数，其目标是使用尽可能少的查询点。在最好的研究情况下，目标函数被假定为Lipschitz连续和minimax率的简单和累积的遗憾是已知的，在无噪声和嘈杂的设置。本文研究了目标函数在更一般的光滑性条件即Besov光滑性条件下的连续武装土匪问题。在无噪声和有噪声的条件下，我们得到了简单的和累积的遗憾下的极大极小率。我们的结果表明，极小极大率在目标函数的Besov空间是相同的极小极大率在最小的Hölder空间的Besov空间嵌入的目标函数。
2021-03-21 cs.IT cs.LG math.IT
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization
Duke University（杜克大学）
针对已知平均奖励随动作呈凹性的上下文赌博机问题，提出将凹性约束融入高斯过程后验的 UCB 算法，并给出遗憾界与抗凝血剂量优化实验验证。
2026-10-22 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Best Arm Identification in Spectral Bandits
École Normale Supérieur de Lyon（里昂高等师范学院）
研究了图光滑约束下的bandit模型中具有固定置信度的最佳臂辨识问题。我们提供并分析了一个有效的梯度上升算法来计算这个问题的样本复杂度作为一个非光滑的最大-最小问题的解决方案（提供通过一个简化的分析无约束的情况下）。在此算法的基础上，我们提出了一个渐近最优的策略。此外，我们通过数值实验说明了该策略的效率和光滑度约束对样本复杂度的影响。最佳手臂识别（BAI）是从参数调整到临床试验的许多应用中的一个重要挑战。现在在普通的强盗模型中已经很好地理解了，但是现实世界的问题通常涉及到需要更多模型的武器之间的依赖关系。假设手臂上有一个图形结构是一个优雅的实用方法来涵盖这一现象，但到目前为止，这只是为了最小化遗憾。解决BAI与图形约束涉及微妙的优化问题，本文提供了一个解决方案。
2020-05-20 cs.LG stat.ML
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Exploiting correlation and budget constraints in Bayesian multi-armed bandit optimization
Cambridge University（剑桥大学）；University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
我们解决的问题，找到一个非线性光滑函数的最大化，只能评估逐点，受限制的数量允许的功能评估。这个问题在多臂强盗文献中也被称为固定预算最佳臂识别。我们引入了贝叶斯方法，这个问题，并表明它的经验优于现有的频率论和其他贝叶斯优化方法。贝叶斯方法强调详细的建模，包括对武器之间的相互关系建模。因此，它可以很好地执行的情况下，手臂的数量远远大于允许的功能评估的数量，而频率论的对应物是不适用的。此功能使我们能够开发和部署实际应用程序，例如自动机器学习工具箱。本文提出了全面的比较所提出的方法，汤普森采样，经典的贝叶斯优化技术，最近的贝叶斯强盗的方法，和国家的最先进的最好的手臂识别方法。这是许多这些方法在文献中的第一次比较，使我们能够检查其不同功能的相对优点。
2013-11-11 cs.LG stat.ML
Bandit Algorithms for Tree Search
用于树搜索的基于Bandit的方法最近在应用于巨大的树时（例如在围棋游戏中）已经流行起来（Gelly等人，2006年）。UCT算法（Kocsis和Szepesvari，2006）是一种基于上置信界限（UCB）的树搜索方法（Auer等人，2002年），被认为是适应当地的有效平滑的树。然而，我们发现UCT在某些情况下过于“乐观”，导致遗憾O（exp（exp（D），其中D是树的深度。我们提出了替代的强盗算法树搜索。首先，使用置信度序列的UCT的修改，该置信度序列与水平深度呈指数级缩放被证明具有遗憾O（2^D \sqrt{n}），但不适应树中可能的平滑度。然后，我们分析了Flat-UCB执行的叶子，并提供了一个有限的遗憾界的概率很高。然后，我们引入了一个基于UCB的Bandit算法的光滑树，它考虑到实际的光滑度的奖励执行有效的“切割”的次优分支具有高的信心。最后，我们提出了一个增量树搜索版本，适用于当满树太大（可能是无限的），完全表示，并显示，具有很高的概率，基本上只有最佳分支是无限发展。我们说明了这些方法的Lipschitz函数的全局优化问题，噪声数据。
2007-03-13 cs.LG
A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization
Linköping University（林雪平大学）
本文提出一种带多外推动量的随机一阶方法，利用目标函数任意阶光滑性加速优化，在不假设均方光滑性条件下将样本复杂度改进至$\widetilde{\mathcal{O}}(ε^{-(3p+1)/p})$。
2025-04-08 cs.AI cs.LG math.OC
Exploiting Transitivity for Top-k Selection with Score-Based Dueling Bandits
University of Warwick（华威大学）
研究了具有分数信息的Dueling Bandit问题中的top-k子集选择问题。现实世界的成对排序问题往往表现出高度的传递性和先前的工作建议抽样方法，利用这种传递性，通过使用参数偏好模型，如布拉德利-特里-卢斯（BTL）和瑟斯顿模型。到目前为止，这项工作的重点是样本结果是赢/输二元反应的情况下。我们扩展到选择问题，抽样结果包含定量信息，提出了一个瑟斯顿风格的模型和适应成对最优计算预算分配子集选择（POCBAm）抽样方法，利用该模型进行有效的样本选择。我们对标准POCBAM和其他竞争算法的实证性能进行比较。
2020-12-31 cs.LG
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Bandit optimisation of functions in the Matérn kernel RKHS
University of Cambridge（剑桥大学）；Amazon（亚马逊）
考虑了在带噪声的Bandit反馈下，在域$[0,1]^d$上具有光滑参数$ν$的Matérn核的再生核Hilbert空间（RKHS）中函数的优化问题.我们的贡献，$π$ -UCB算法，是第一个实用的方法，保证次线性遗憾的所有$ν>1$和$d \geq 1$。经验验证表明，与其前身Improved GP-UCB相比，性能更好，计算可扩展性大幅提高。
2023-02-26 cs.LG stat.ML
Online Stochastic Optimization under Correlated Bandit Feedback
Rehabilitation Institute of Chicago（芝加哥康复研究所）；Northwestern University（西北大学）；INRIA Nord Europe（法国国家信息与自动化研究所北欧分部）；Carnegie Mellon University（卡内基梅隆大学）
本文提出HCT算法，解决局部光滑函数的在线随机优化问题，处理相关奖励挑战，改进内存需求和光滑性假设，应用于强化学习策略搜索。
2014-05-19 cs.LG cs.SY eess.SY
Parameter-Adaptive Dynamic Pricing
The Hong Kong University of Science and Technology（香港科技大学）
针对动态定价中现有方法依赖需求函数先验参数知识的问题，提出无需先验知识的Parameter-Adaptive Dynamic Pricing (PADP)算法，通过定义域分区与线性bandit结构有效管理regret，实验证明其在处理未知需求参数时优于现有方法。
2025-03-02 cs.LG
Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining
CMLA；ENS Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文研究了随机过程约束下的全局优化问题。我们引入了一个UCB算法，它建立了一个级联的离散化树的基础上通用链，以使他的可操作性在一个连续的域。该理论框架适用于弱概率光滑假设下的函数，也大大扩展了UCB策略的应用范围。此外，通用的遗憾界，然后专门为高斯过程索引的无限维空间，以及高斯过程的二次形式。下界也证明了高斯过程的情况下，评估所提出的算法的最优性。
2016-02-16 cs.LG stat.ML
Consequences of Kernel Regularity for Bandit Optimization
本文探讨了核正则性对老虎机优化的影响，通过分析不同核的谱性质，推导了显式的遗憾界，并提出了结合全局和局部方法的LP-GP-UCB算法。
2025-12-05 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Optimal Learning for Structured Bandits
本文针对结构化多臂老虎机问题提出DUSA算法，通过求解遗憾下界的对偶形式，首次在统一框架下以渐近最小遗憾处理线性、利普希茨、凸等多种结构信息。
2023-07-10 cs.LG math.OC stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Polynomial Cost of Adaptation for X -Armed Bandits
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎南大学）
在随机连续武装匪徒的背景下，我们提出了一种算法，适应未知的光滑的目标函数。我们展示和计算的多项式成本的适应H{<$}lder正则性的遗憾最小化。为此，我们首先重新考虑了Locatelli和Carpentier [20]最近的下界，并定义和刻画了容许率函数。我们的新算法匹配任何这些最小速率函数。我们提供了一个有限时间的分析和彻底的讨论渐近最优性。
2019-12-09 cs.LG math.ST stat.ML
Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach
Cognitive Systems Lab., School of Electrical and Computer Engineering, College of Engineering, University of Tehran（认知系统实验室，电气与计算机工程学院，工程学院，塔里班大学）
本文提出了一种基于自由能的社会老虎机学习算法，通过评估其他代理的专长水平来提升学习效果，同时在各种场景中保持对数遗憾。
2026-03-12 cs.AI cs.LG stat.ML
Federated X-Armed Bandit
Purdue University（普渡大学）
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE，利用分层划分与弱光滑性实现次线性遗憾，仅需对数通信，实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon（亚马逊）；Columbia University（哥伦比亚大学）
针对多保真度树优化问题，提出CANOPY方法，通过在线学习分段平滑先验的有效区域，引导昂贵评估，在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
CORe: Capitalizing On Rewards in Bandit Exploration
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
我们提出了一个强盗算法，纯粹通过随机化其过去的观察。特别是，充分的乐观的平均奖励估计是通过利用方差在过去观察到的奖励。我们将该算法命名为“奖励资本化”（CORe）。该算法具有通用性，可以很容易地应用于不同的强盗设置。CORe的主要好处是它的探索完全依赖于数据。它不依赖于任何外部噪声，无需参数调整即可适应不同的问题。我们推导了随机线性强盗中CORe的$n$ -回合遗憾的$\tilde O(d\sqrt{n\log K})$无间隙边界，其中$d$是特征数，$K$是臂数.对多个合成和真实世界问题的广泛实证评估证明了CORe的有效性。
2021-03-07 cs.LG stat.ML
Hawkes Process Multi-armed Bandits for Disaster Search and Rescue
Indiana University - Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
我们提出了一个新的框架整合霍克斯过程与多臂强盗算法来解决时空事件预测和检测问题时，数据可能是欠采样或空间偏差。特别是，我们引入了一个置信上限算法，利用贝叶斯空间霍克斯过程估计平衡利用地理区域的数据收集和探索地理区域的数据是未观察到之间的权衡。我们首先使用模拟数据验证我们的模型，然后使用2017年哈维飓风的服务数据调用将其应用于灾难搜索和救援问题。我们的模型在累积奖励和其他几个排名评估指标方面优于最先进的基线空间MAB算法。
2020-04-03 cs.LG stat.ML
Small steps no more: Global convergence of stochastic gradient bandits for arbitrary learning rates
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）；University of Alberta（阿尔伯塔大学）；Simon Fraser University（西蒙菲莎大学）；Indian Institute of Science（印度科学学院）
该研究证明任意常数学习率下随机梯度老虎机算法几乎必然收敛到全局最优策略，突破标准假设限制，基于动作采样率等新发现扩展了对该方法在老虎机场景中行为的理解。
2025-02-11 cs.LG
Laplacian-regularized graph bandits: Algorithms and theoretical analysis
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们考虑一个随机线性多用户的强盗问题，用户之间的关系被捕获的底层图和用户的喜好表示为平滑的信号上的图。我们引入了一种新的强盗算法，通过随机游走图拉普拉斯算子，这导致了单用户累积遗憾缩放为$\tilde{\mathcal{O}}(Ψd \sqrt{T})$与时间范围$T$，特征维度$d$，和标量参数$Ψ\in (0,1)$，取决于图的连通性。这是对\algo{LinUCB} ~ \Ccite{li2010contextual}中的$\tilde{\mathcal{O}}(d \sqrt{T})$的改进，其中不考虑用户关系。在网络遗憾（$n$用户的累积遗憾之和）方面，所提出的算法导致缩放为$\tilde{\mathcal{O}}(Ψd\sqrt{nT})$，这是对最先进的算法\algo{Gob.Lin} \Ccite{cesa2013gang}中的$\tilde{\mathcal{O}}(nd\sqrt{T})$的显著改进。为了提高可扩展性，我们进一步提出了一个简化的算法，具有线性的计算复杂度相对于用户的数量，同时保持相同的遗憾。最后，我们提出了一个有限的时间分析所提出的算法，并证明其优势与国家的最先进的基于图的强盗算法的合成和真实世界的数据。
2020-02-10 cs.LG stat.ML
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
Exploiting Correlation to Achieve Faster Learning Rates in Low-Rank Preference Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
我们介绍了\emph{Correlated Preference Bandits}问题与随机效用为基础的选择模型（RUM），其目标是确定最好的项目从一个给定的池$n$项目通过在线subsetwise偏好反馈。我们研究了具有简单相关结构的模型，例如低秩模型，是否可以导致更快的学习率。虽然我们表明，这个问题可能是不可能解决的一般“低排名”的选择模型，更快的学习率可以达到假设更多的结构化项目的相关性。特别是，我们介绍了一类新的\emph{Block-Rank}基于RUM模型，其中最好的项目是$(ε,δ)$ -PAC学习只有$O(r ε^{-2} \log(n/δ))$的样本。这改进了通常学习算法已知的$\tilde{O}(nε^{-2} \log(1/δ))$的标准样本复杂度界限，通常学习算法可能不利用项目相关性（$r \ll n$）。我们补充了上述样本的复杂性与匹配的下限（对数因子），证明我们的分析的紧密性。令人惊讶的是，我们还显示了一个下界的$Ω(nε^{-2}\log(1/δ))$时，学习者被迫发挥只是决斗，而不是更大的subsetwise查询。此外，我们将结果扩展到更一般的“\emph{noisy Block-Rank}”模型，这确保了我们的技术的鲁棒性。总的来说，我们的研究结果证明了优势，发挥subsetwise查询成对的偏好$(k=2)$，我们证明了后者未能利用相关性。
2022-02-23 cs.AI cs.LG
Bandits Under The Influence (Extended Version)
LRI CNRS Université Paris-Saclay（巴黎萨克雷大学国家科学研究中心计算机科学实验室）；Northeastern University（东北大学）
推荐系统应该适应用户的兴趣，因为后者的发展。用户兴趣演变的一个普遍原因是其社交圈的影响。一般来说，当兴趣未知时，探索推荐空间同时还利用观察到的偏好的在线算法是优选的。我们提出的在线推荐算法植根于线性多臂土匪文学。我们的强盗算法是专门为推荐场景定制的，在这些场景中，用户的兴趣会在社会影响下演变。特别是，我们表明，我们的适应经典的LinREL和汤普森采样算法保持相同的渐近遗憾界在非社会的情况下。我们使用合成和真实数据集验证我们的方法。
2020-09-21 cs.DB cs.LG stat.ML
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
Censored Semi-Bandits: A Framework for Resource Allocation with Censored Feedback
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）；LinkedIn India（领英印度）
在本文中，我们研究审查半土匪，一个新的变种的半土匪问题。假设学习器具有固定数量的资源，它在每个时间步分配给手臂。从手臂上观察到的损失是随机的，取决于分配给它的资源量。更具体地说，如果手臂的分配超过一个常数（但未知）阈值，则损失等于零。我们的目标是学习一个可行的分配，使预期损失最小化。该问题具有挑战性，因为每个臂的损失分布和阈值是未知的。我们研究这种新的设置，建立其“等价”多播放多武装土匪（MP-MAB）和组合半土匪。利用这些等价关系，我们得出最佳算法，我们的设置使用现有的算法MP-MABand组合半带。综合生成的数据上的实验验证所提出的算法的性能保证。
2019-10-31 cs.AI cs.LG stat.ML
Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例，并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法，有效地将这种离线信息在在线探索阶段，并获得他们的遗憾界限。特别是，我们开发的Meta算法，有效地对冲其他两种算法：一个使用历史观测和聚类，另一个只使用历史观测。当聚类质量好时，前者优于后者，反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验，验证了我们的理论见解，并证明Meta是一种强大的策略，可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Laplacian Kernelized Bandit
本文提出了一种基于拉普拉斯核化的多用户老虎机框架，通过统一的RKHS模型结合图平滑和个体粗糙度惩罚，设计了LK-GP-UCB和LK-GP-TS算法，在非线性场景中优于传统基线方法。
2026-01-01 cs.LG stat.ML
