Minimax Rate-Optimal Algorithms for High-Dimensional Stochastic Linear Bandits
针对高维稀疏随机线性赌博机，提出基于阈值化Lasso的三阶段臂选择算法，达到最小最大遗憾率，并给出匹配上下界。
2025-05-23 math.ST stat.ML stat.TH
Nearly Minimax Algorithms for Linear Bandits with Shared Representation
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
我们给出了新的算法，多任务和终身线性土匪共享表示。具体来说，我们考虑使用维度为$d$的$M$线性强盗任务的设置，每个任务用于$T$回合，并且这些$M$强盗任务共享公共的$k(\ll d)$维度线性表示。对于我们同时玩任务的多任务设置和我们顺序玩任务的终身设置，我们提出了实现$\widetilde{O}\left(d\sqrt{kMT} + kM\sqrt{T}\right)$遗憾界限的新算法，其与已知的极大极小遗憾下限匹配对数因子并缩小了现有结果中的差距[Yang et al.，2021年]。我们的主要技术包括一个更有效的估计低秩线性特征提取器和伴随的新的分析，这个估计。
2022-03-29 cs.LG stat.ML
Continuum-Armed Bandits: A Function Space Perspective
Carnegie Mellon University（卡内基梅隆大学）
连续武装匪徒（又名，黑盒或$0^{th}$阶优化）涉及在给定在查询点处评估函数的oracle的情况下优化未知目标函数，其目标是使用尽可能少的查询点。在最好的研究情况下，目标函数被假定为Lipschitz连续和minimax率的简单和累积的遗憾是已知的，在无噪声和嘈杂的设置。本文研究了目标函数在更一般的光滑性条件即Besov光滑性条件下的连续武装土匪问题。在无噪声和有噪声的条件下，我们得到了简单的和累积的遗憾下的极大极小率。我们的结果表明，极小极大率在目标函数的Besov空间是相同的极小极大率在最小的Hölder空间的Besov空间嵌入的目标函数。
2021-03-21 cs.IT cs.LG math.IT
Bandits with Multiple Optimal Arms: Minimax Regret and Non-Adaptivity
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究具有多个最优臂的多臂老虎机，提出了改进的极小极大遗憾界并匹配下界，表明对最优臂数量的近似了解对实现接近最优性能是必要的。
2026-10-02 cs.AI cs.LG math.ST
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
Minimax-optimal trust-aware multi-armed bandits
University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有多臂老虎机算法忽略人类信任因素导致性能下降的问题，本文提出两阶段信任感知流程，确立信任问题下的minimax遗憾值，证明其接近最优的统计保证，并通过仿真验证其优势。
2024-10-04 cs.LG math.ST stat.ME
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Minimax Regret for Bandit Convex Optimisation of Ridge Functions
我们分析了对抗性强盗凸优化，其中对手仅限于对凸$g_t : \mathbb R \to \mathbb R$和随时间齐次的未知$θ\in \mathbb R^d$使用形式为$f_t(x) = g_t(\langle x, θ\rangle)$的函数。我们提供了一个简短的信息理论证明，极小极大遗憾是最多$O(d \sqrt{n} \log(n \operatorname{diam}(\mathcal K)))$其中$n$是互动的数量，$d$的尺寸和$\operatorname{diam}(\mathcal K)$是直径的约束集。
2021-06-06 cs.LG math.OC
Towards minimax policies for online linear optimization with bandit feedback
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）；Microsoft Research New England（微软新英格兰研究院）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文研究了带反馈的在线线性优化问题。我们的贡献是双重的。首先，我们提供了一个算法（基于指数权重）的遗憾顺序$\sqrt{d n \log N}$为任何有限的行动集$N$行动，假设的瞬时损失是有界的1。这剃掉了一个无关的$\sqrt{d}$因素相比，以前的作品，并给出了一个遗憾界的顺序$d \sqrt{n \log n}$的任何紧凑的行动。在没有进一步假设的情况下，最后一个界限是极大极小最优的对数因子。有趣的是，我们的结果还表明，在$d$维的专家意见的强盗线性优化的极小极大遗憾是相同的基本$d$ -武装强盗专家意见。我们的第二个贡献是展示如何使用镜像下降算法，以获得计算效率高的策略，在具体的例子中的最小最大的最佳遗憾界。更确切地说，我们研究两个典型的行动集：超立方体和欧几里德球。在前一种情况下，我们获得了第一个计算效率高的算法与$d \sqrt{n}$遗憾，从而提高了一个因素$\sqrt{d \log n}$的最佳已知的结果的计算效率高的算法。在后一种情况下，我们的方法给出了第一个算法与$\sqrt{d n \log n}$遗憾，再次剃掉一个无关的$\sqrt{d}$相比，以前的作品。
2012-02-14 cs.LG stat.ML
Efficient Online-Bandit Strategies for Minimax Learning Problems
Technische Universität Berlin（柏林工业大学）
一些学习问题涉及解决最小-最大问题，例如，经验分布鲁棒学习或具有非标准聚集损失的学习。更具体地说，这些问题是凸线性问题，其中最小化是在模型参数$w\in\mathcal{W}$和最大化的经验分布$p\in\mathcal{K}$的训练集indexs. To设计有效的方法，$\mathcal{K}$是单纯形或它的一个子集，我们让一个在线学习算法对（组合）强盗算法。我们认为，这种方法的效率关键取决于结构的$\mathcal{K}$，并提出了两个属性的$\mathcal{K}$，便于设计高效的算法。我们专注于一个特定的家庭的集合$\mathcal{S}_{n,k}$涵盖各种学习应用程序，并提供高概率收敛保证的极大极小值。
2021-06-04 cs.LG math.OC stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech（康奈尔科技学院）
本文针对非参数多臂老虎机中的好臂识别问题，提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法，在错误概率约束下实现最小最大最优停止时间，并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Minimax Regret for Cascading Bandits
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
级联强盗是一个自然和流行的模型，框架的任务，学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况，我们证明了问题独立的匹配上界和下界（即，无间隙）遗憾，这两个严格改善最好的已知。一个关键的观察是，这个问题的困难实例是那些具有小平均奖励的实例，即，在实践中最相关的小点击率。基于此，以及小均值意味着Bernoullis的小方差的事实，我们的关键技术结果表明，方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法（最多对数项），而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准（非级联）bandit设置形成鲜明对比，其中方差感知算法仅改进常数。鉴于此，作为一个额外的贡献，我们提出了一个方差感知算法的结构化情况下的线性奖励，并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
MOTS: Minimax Optimal Thompson Sampling
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
汤普森抽样是许多在线决策问题中最广泛使用的算法之一，由于其实现简单和优于其他国家的最先进的方法的经验性能。尽管它的流行和经验的成功，它仍然是一个悬而未决的问题，汤普森采样是否可以匹配的极小极大下限$Ω(\sqrt{KT})$的$K$武装土匪问题，其中$T$是总的时间范围。在本文中，我们解决了这个长期开放的问题，提出了一个变种的汤普森采样称为MOTS，自适应剪辑的采样实例所选择的手臂在每个时间步。我们证明了这种简单的汤普森采样的变体实现了有限时间范围$T$的极小极大最优后悔界$O(\sqrt{KT})$，以及高斯奖励时的渐近最优后悔界$T$接近无穷大。据我们所知，MOTS是第一个汤普森采样类型的算法，实现了极大极小最优多臂强盗问题。
2020-10-01 cs.LG math.ST stat.ML
Instance-Wise Minimax-Optimal Algorithms for Logistic Bandits
Criteo AI Lab（Criteo人工智能实验室）；LTCI TélécomParis（法国电信高等学院LTCI实验室）
物流强盗最近吸引了大量的关注，通过提供一个整洁但具有挑战性的框架来理解参数化强盗中非线性的影响。Faury et al.（2020）表明，逻辑强盗的学习理论困难可以通过一个大的（有时是禁止的）问题依赖常数$κ$来体现，它表征了奖励的非线性程度。在本文中，我们介绍了一种新的算法，我们提供了一个完善的分析。这允许更好地表征非线性效应，并产生改进的问题相关保证。在大多数有利的情况下，这会导致遗憾的上限缩放为$\tilde{\mathcal{O}}(d\sqrt{T/κ})$，这大大改善了$\tilde{\mathcal{O}}(d\sqrt{T}+κ)$的最新保证。我们证明了这个速率是最小最大最优的推导出一个$Ω(d\sqrt{T/κ})$问题相关的下限。我们的分析确定了遗憾的两种机制（永久性和暂时性），最终重新调和了Faury et al.（2020）与Dong et al.（2019）的贝叶斯方法。与以前的工作相比，我们发现，在永久政权的非线性可以显着地减轻勘探开发权衡。虽然它也影响了过渡阶段的长度在一个问题依赖的方式，我们表明，这种影响是温和的，在最合理的配置。
2021-03-09 cs.LG stat.ML
Transfer Learning for Contextual Multi-armed Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对协变量偏移下的非参数上下文多臂老虎机，本文提出达到极小极大遗憾的迁移学习算法，并给出可自适应未知平滑度的近最优数据驱动方法。
2024-01-25 cs.LG math.ST stat.ML
Distributed Contextual Linear Bandits with Minimax Optimal Communication Cost
University of California, Los Angeles（加州大学洛杉矶分校）；Google（谷歌）；DeepMind（深度思维）
我们研究了分布式上下文线性土匪随机上下文，其中$N$代理合作解决线性土匪优化问题与$d$维功能的过程中的$T$轮。对于这个问题，我们推导出有史以来第一个信息理论的下限$Ω(dN)$的通信成本的任何算法，最佳执行的遗憾最小化设置。然后，我们提出了一个分布式批量消除版本的LinUCB算法，DisBE-LUCB，其中代理之间通过一个中央服务器共享信息。我们证明了通信成本的DisBE-LUCB匹配我们的下限对数因子。特别地，对于具有已知上下文分布的场景，DisBE-LUCB的通信成本仅为$\tilde{\mathcal{O}}(dN)$，并且其遗憾为${\tilde{\mathcal{O}}}(\sqrt{dNT})$，这与用于$NT$轮的最优单代理算法所引起的数量级相同。我们还提供了类似的界限，实际设置的上下文分布只能估计。因此，我们所提出的算法是几乎极小极大最优的\emph{both regret and communication cost}。最后，我们提出了DecBE-LUCB，一个完全分散的版本的DisBE-LUCB，它的运作没有一个中央服务器，在那里代理共享信息与他们的\emph{immediate neighbors}通过一个精心设计的共识程序。
2022-12-08 cs.LG stat.ML
Bandit Phase Retrieval
DeepMind（深度思维）
我们研究了一个强盗版本的相位检索，学习者选择行动$(A_t)_{t=1}^n$在$d$维单位球和预期的奖励是$\langle A_t, θ_\star\rangle^2$，其中$θ_\star \in \mathbb R^d$是一个未知的参数向量。我们证明了在这个问题中的极大极小累积后悔是$\smash{\tilde Θ(d \sqrt{n})}$，它提高了最好的已知的界限的一个因素$\smash{\sqrt{d}}$。我们还表明，极小极大简单的遗憾是$\smash{\tilde Θ(d / \sqrt{n})}$，这是唯一可实现的自适应算法。我们的分析表明，一个明显令人信服的启发式猜测下限可能是误导性的，信息导向抽样的信息比的统一界限是不够的最佳遗憾。
2021-06-04 cs.LG math.ST stat.ME
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California（南加州大学）；The Chinese University of Hong Kong（香港中文大学）
在这项工作中，我们开发的线性强盗算法，自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中，我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾，而且还在损坏的环境中工作，额外的遗憾是损坏的量，而现有技术（Li et al.，2019）既没有实现实例最优性，也没有实现对腐败量的最优依赖性。此外，通过为该算法配备对抗组件和精心设计的测试，我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾，这是我们所知的第一个此类算法。最后，我们所有的保证都具有很高的概率，而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Nearly Minimax Optimal Regret for Multinomial Logistic Bandit
Seoul National University（首尔国立大学）
本文针对上下文多项式逻辑斯谛老虎机问题，在均匀和非均匀奖励下分别证明了极小极大最优遗憾界，并提出常数时间算法OFU-MNL+实现匹配上界，首次达到该问题的最优性。
2025-10-16 cs.LG stat.ML
Linear bandits with polylogarithmic minimax regret
Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
本文针对线性随机赌博机提出一种基于加权最小二乘的算法，利用几何论证控制特征值关系，实现$\log^3(T)$的极小极大遗憾，显著优于平方根缩放。
2024-05-29 cs.AI cs.LG stat.ML
Minimax Optimal Fixed-Budget Best Arm Identification in Linear Bandits
Institute of Operations Research and Analytics（运筹学与分析研究院）；National University of Singapore（新加坡国立大学）
研究了固定预算下线性强盗的最佳臂识别问题。通过利用G-最优设计的性质，并将其纳入手臂分配规则，我们设计了一个无参数的算法，基于最优设计的线性最佳手臂识别（OD-LinBAI）。我们提供了一个理论分析的故障概率的OD-LinBAI。OD-LinBAI的性能仅取决于顶部$d$臂的间隙，而不是所有的最优性间隙，其中$d$是线性Bandit实例的有效维度。作为补充，我们给出了这个问题的极大极小下界。上界和下界表明，OD-LinBAI在指数中的常数乘法因子下是最小最大最优的，这是对现有方法的重大理论改进（例如，BayesGap，Peace，LinearExploration和GSE），并解决了在固定预算环境下学习最佳手臂的难度问题。最后，数值实验证明了相当大的经验改进现有的算法在各种真实和合成数据集。
2022-09-21 cs.IT cs.LG math.IT
On Slowly-varying Non-stationary Bandits
Indian Institute of Science（印度科学院）
我们考虑最小化的动态遗憾，在非平稳的土匪缓慢变化的财产。也就是说，我们假设手臂的回报是随机的，并且随着时间的推移是独立的，但是在任何两个连续的时间步长，任何手臂的期望回报之间的绝对差至多是漂移极限$δ> 0$。针对这一过去没有得到足够重视的情形，我们给出了一个新的算法，它将著名的逐次消去算法自然地推广到了非平稳的bandit情形。我们建立了第一个依赖于实例的后悔上界缓慢变化的非平稳土匪。分析反过来依赖于一个新的表征的实例作为一个可检测的差距，这取决于预期的手臂奖励差异。我们还提供了这个问题的第一个极大极小遗憾下界，使我们能够证明我们的算法本质上是极大极小最优的。此外，这个下限，我们得到的匹配，更一般的总变差预算土匪问题，建立似乎更容易前一个问题至少是困难的更一般的后一个问题在极大极小意义上。我们补充我们的理论结果与实验插图。
2021-10-25 cs.LG stat.ML
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）；University of California Berkeley（加州大学伯克利分校）
本文系统研究线性老虎机中的奖励腐败问题，统一分析强腐败与弱腐败并刻画极小极大遗憾差距，同时通过通用归约和专门算法解决间隙依赖误设问题，首次将结果推广到强化学习中的线性 MDP。
2024-10-17 cs.LG stat.ML
Multi-Armed Bernoulli Bandits via Minimax Single-Arm Stopping
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College Business School（帝国理工学院商学院）
本文提出基于单臂停止问题最小最大解的索引策略，用于有限时域伯努利多臂老虎机，实现分布无关的遗憾界，并在实验中优于基准策略。
2026-09-22 cs.LG math.OC stat.ML
Enjoying Non-linearity in Multinomial Logistic Bandits: A Minimax-Optimal Algorithm
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；SDA Bocconi School of Management（博科尼管理学院）
本文提出了一种在多项逻辑老虎机问题中利用非线性的最小最大最优算法，通过引入问题依赖的常数κ*，改进了遗憾界并证明了算法的最优性。
2026-02-24 cs.AI cs.LG math.ST
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Asymptotically Optimal Strategies For Combinatorial Semi-Bandits in Polynomial Time
我们考虑组合半土匪与不相关的高斯奖励。在这篇文章中，我们提出了第一种方法，据我们所知，它可以在多项式时间内计算许多感兴趣的组合结构的格雷夫斯-赖优化问题的解决方案。反过来，这立即产生了第一个已知的方法来实现渐进最优算法在多项式时间的组合半土匪。
2021-02-14 cs.LG stat.ML
Linear Bandits on Ellipsoids: Minimax Optimal Algorithms
Laboratoire des signaux et systèmes（信号与系统实验室）；Univ. Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）
针对动作集为椭球的线性赌博机，提出首个极小极大最优算法，通过估计参数范数并采用探索-提交策略，达到信息论下界，且计算高效，并具备局部渐近最优性。
2026-11-09 cs.LG stat.ML
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
在具有大超参数搜索空间的高级深度学习中，超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中，我们提出了一种有效的和强大的基于带宽的算法称为子采样（SS）的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力，并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化，提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点，并证明了BOSS在许多应用程序上的卓越性能，包括神经架构搜索（NAS），数据增强（DA），对象检测（OD）和强化学习（RL）。
2020-12-16 cs.LG math.ST stat.ML
A Tight Lower Bound for Non-stochastic Multi-armed Bandits with Expert Advice
Kent State University（凯特州立大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；The Hebrew University（希伯来大学）
本文通过证明与已有上界匹配的下界，确定了带有专家建议的非随机多臂老虎机问题的极小化极大最优期望遗憾为 $Θ(\sqrt{T K \log(N/K)})$。
2025-10-31 cs.LG stat.ML
Bandits with Switching Costs: T^{2/3} Regret
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）；Technion（以色列理工学院）
我们研究的对抗性多臂强盗问题的设置，玩家每次切换动作时都会产生单位成本。我们证明了玩家的$T$轮极大极小遗憾在这种设置是$\widetildeΘ(T^{2/3})$，从而关闭了一个根本的差距，我们的理解学习与强盗反馈。在相应的完全信息版本的问题中，极小极大后悔的增长速度要慢得多，为$Θ(\sqrt{T})$。这两个比率之间的差异提供了\emph{first}指示，即使用强盗反馈的学习可能比使用全信息反馈的学习要困难得多（以前的结果只显示了对动作数量的不同依赖，而不是对$T$的依赖）。除了描述具有切换成本的多臂强盗问题的固有困难之外，我们的结果还解决了在线学习中的其他几个开放问题。一个直接的含义是，学习与强盗反馈对有界记忆自适应对手有一个极小极大的遗憾$\widetildeΘ(T^{2/3})$。另一个含义是，在对抗性马尔可夫决策过程（MDP）中在线学习的极小极大遗憾是$\widetildeΘ(T^{2/3})$。我们所有结果的关键是一个新的多尺度随机游走，这是一个独立的利益，并可能证明在其他设置有用的随机建设。
2013-11-19 cs.LG math.PR
Asymptotically and Minimax Optimal Regret Bounds for Multi-Armed Bandits with Abstention
Institute of Operations Research and Analytics（运营研究与分析研究所）；National University of Singapore（新加坡国立大学）；Department of Electrical and Computer Engineering（电子与计算机工程系）；Department of Mathematics（数学系）
本文提出多臂老虎机问题的新扩展，引入弃权策略，探讨在该设定下计算高效且渐近最优的算法设计，通过理论分析和实验验证弃权选项的实用价值。
2026-03-22 cs.IT cs.LG math.IT
Optimal Batched Linear Bandits
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
本文提出 E$^4$ 算法，通过探索-估计-消除-利用框架解决分批线性赌博机问题，同时实现极小极大与渐近最优遗憾及最优批次复杂度，并在实验中一致优于基线算法。
2024-06-06 cs.LG math.ST stat.ML
Causal Bandits: The Pareto Optimal Frontier of Adaptivity, a Reduction to Linear Bandits, and Limitations around Unknown Marginals
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Ben-Gurion University（本-古里安大学）
本文研究多臂赌博机中因果结构的自适应问题，建立了自适应率的帕累托最优前沿，首次通过归约到线性赌博机获得实例相关界，并揭示了未知边际分布对改进极小极大率的根本限制。
2024-07-01 cs.LG stat.ML
Nonparametric Bandits with Single-Index Rewards: Optimality and Adaptivity
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种单指数带隙算法，通过非参数方法克服维度诅咒，实现最小最大最优后悔并自动适应未知光滑性。
2026-11-06 math.ST stat.TH
Bandit PCA with Minimax Optimal Regret
Georgia Tech（佐治亚理工学院）；UIC（伊利诺伊大学芝加哥分校）
研究强盗反馈版本的在线主成分分析，改进了遗憾值的上下界，弥合差距至\(r\sqrt{dT}\)。上界通过新算法实现，结合在线镜像下降与多尺度探索；下界通过构造自适应对手，将遗憾值下界估计转化为子空间估计问题，并讨论其与量子断层扫描联系。
2026-07-16 cs.LG stat.ML
Optimal and Practical Batched Linear Bandit Algorithm
snu（首尔国立大学）
针对分批线性赌博机问题，提出结合臂消除与正则化G-最优设计的BLAE算法，首次在大K和小K情形下均实现极小极大最优遗憾，且计算开销低、实证表现优异。
2025-08-11 cs.LG stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学应用统计中心）；Department of Statistics, University of Warwick（华威大学统计系）
针对敏感数据序贯决策中的隐私问题，本文提出统一置信界型估计器及跳跃启动方案，解决LDP下非参数化上下文MAB的极小化极大最优性，并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Attack-Resistant Uniform Fairness for Linear and Smooth Contextual Bandits
National University of Singapore（新加坡国立大学）
本文提出了一种对抗鲁棒的均匀公平性算法，以在保证公平性的同时实现线性和平滑奖励函数的最小最大最优后悔。
2026-09-22 cs.LG stat.ME stat.ML
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Asymptotically minimax empirical Bayes estimation of a sparse normal mean vector
针对高维稀疏正态均值向量向量的重要经典推断问题，提出了一种新的经验贝叶斯模型，该模型在较弱的条件下允许具有理想性质的后验分布.特别是，我们的经验贝叶斯后验分布集中在球上，以真实的均值向量为中心，平方半径与极小极大率成比例，其后验均值是渐近极小极大估计。我们还表明，渐近地，我们的经验贝叶斯后验的支持具有大致相同的有效尺寸作为真正的稀疏均值向量。从我们的经验贝叶斯后验模拟是直接的，我们的数值结果表明，我们的方法相比，其他具有类似的大样本特性的质量。
2014-03-03 math.ST stat.TH
Instance-Dependent Regret Analysis of Kernelized Bandits
Carnegie Mellon University（卡内基梅隆大学）；UCSD（加州大学圣地亚哥分校）
我们研究了核化的强盗问题，它涉及到设计一个自适应的策略来查询一个有噪声的零阶预言机，以有效地学习一个未知函数$f$的优化器，该函数的范数在与正定核$K$相关联的再生核Hilbert空间~（RKHS）中以$M<\infty$为界。以前的结果，工作在一个\emph{minimax framework}，特点的最坏情况下~（在所有的功能在问题类中）的遗憾限制可实现的\emph{any}算法，并已构造算法与匹配~（模多对数因子）最坏情况下的性能为\matern家庭的内核。这些结果有两个缺点。首先，极大极小下界没有给出关于在特定问题实例上常用算法所能达到的后悔极限的信息。其次，由于它们的最坏情况的性质，现有的上限分析无法适应更容易的问题实例中的功能类。我们的工作是采取措施解决这两个问题。首先，我们得到了函数类上归一化累积后悔一致为零的算法的\emph{instance-dependent}后悔下界。我们的结果，有效的所有实际相关的内核化土匪算法，如，GP-UCB，GP-TS和SupKernelUCB，确定了一个基本的复杂性措施与每个问题的实例。然后，我们解决第二个问题，提出了一个新的极大极小近似最优算法，也适应更容易的问题的情况。
2022-03-12 cs.LG stat.ML
Old Dog Learns New Tricks: Randomized UCB for Bandit Problems
Mila, Université de Montréal（Mila（蒙特利尔大学））；McGill University（麦吉尔大学）；Mila, Université Laval（Mila（拉瓦尔大学））；Google Research（谷歌研究院）
我们提出了$\tt RandUCB$，一个强盗策略，建立在理论推导的置信区间类似的置信上限（UCB）算法，但类似于汤普森采样（TS），它使用随机化权衡探索和剥削。在$K$-武装土匪设置，我们表明，有无穷多个变种的$\tt RandUCB$，所有这些实现最小最优$\widetilde{O}(\sqrt{K T})$遗憾后，$T$轮。此外，对于一个特定的多臂强盗设置，我们表明，UCB和TS可以恢复为特殊情况下的$\tt RandUCB$。对于结构化土匪，其中每个手臂与$d$维特征向量和奖励分布根据线性或广义线性模型，我们证明了$\tt RandUCB$实现了最小最优的$\widetilde{O}(d \sqrt{T})$遗憾，即使在无限多个武器的情况下。通过在多臂和结构化强盗设置的实验，我们证明了$\tt RandUCB$匹配或优于TS和其他随机探索策略。我们的理论和实证结果表明，$\tt RandUCB$实现了两全其美。
2020-03-23 cs.LG stat.ML
Practical and Optimal Algorithm for Linear Contextual Bandits with Rare Parameter Updates
Sanghoon Yu（苏杭oon Yu）；Min-hwan Oh
针对参数更新次数受限的线性上下文赌博机问题，提出两种仅需O(log log T)次参数更新的算法，在静态调度下达到极小化最优遗憾，并显著降低计算复杂度。
2026-08-25 cs.LG stat.ML
Testing the Feasibility of Linear Programs with Bandit Feedback
Boston University（波士顿大学）；University of Michigan（密歇根大学）；Indian Institute of Science（印度科学学院）
该研究首次针对线性老虎机场景下未知线性规划的可行性检验问题，基于低遗憾算法和非渐近重对数律构建新型检验方法，证明其可靠性并给出匹配度较高的上下界，填补了相关研究空白。
2024-06-21 cs.LG math.ST stat.ML
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中，我们扩展了著名的结果，从强盗理论，以发现最小最大贝叶斯政策，并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Adaptive Exploration in Linear Contextual Bandit
Princeton University（普林斯顿大学）；Deepmind；University of Alberta（阿尔伯塔大学）
上下文强盗作为一个基本模型，许多顺序决策任务。最流行的理论上合理的方法是基于乐观原则。虽然这些算法可以是实用的，但它们被认为是次优的渐近。另一方面，现有的渐近最优算法，这个问题不利用线性结构的最佳方式，并遭受低阶项，占主导地位的遗憾，在所有实际上有趣的制度。我们开始弥合差距，设计一个算法，是渐近最优的，并具有良好的有限时间的经验性能。与此同时，我们与最近的文献联系起来，探讨免探索方法何时有效。事实上，如果上下文的分布表现良好，那么我们的算法主要表现为greatly，并享受亚对数遗憾。此外，我们的方法是自适应的，在这个意义上说，它自动检测的好的情况下。数值结果表明，我们的方法相对于几个基线显着减少遗憾。
2020-03-15 cs.LG math.ST stat.ML
Local asymptotic minimax risk bounds in a locally asymptotically mixture of normal experiments under asymmetric loss
在非对称损失函数下，研究了局部渐近混合正态分布族的局部渐近Minimax风险界，得到了达到该界的最优估计的渐近分布.
2006-11-07 math.ST q-fin.RM stat.TH
The Influence of Shape Constraints on the Thresholding Bandit Problem
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；Centre Inria Lille - Nord Europe（里尔-北欧欧洲INRIA中心）
研究了在几种形状约束下的随机持票Bandit问题。在（i）普通的、非结构化的TBP之上，我们考虑（ii）臂均值序列$(μ_k)_k$是单调递增的MTBP的情况，（iii）$(μ_k)_k$是单峰UTBP的情况，以及（iv）$(μ_k)_k$是凹CTBP的情况。在TBP问题中，目标是在顺序博弈结束时输出其均值高于给定阈值的武器集合。遗憾是错误分类的手臂和阈值之间的最高差距。在固定的预算设置中，我们提供了问题独立的极大极小利率的预期遗憾在所有设置，以及相关的算法。我们证明了遗憾的极小极大率是（i）TBP的$\sqrt{\log(K)K/T}$，（ii）MTBP的$\sqrt{\log(K)/T}$，（iii）UTBP的$\sqrt{K/T}$和（iv）CTBP的$\sqrt{\log\log K/T}$，其中$K$是武器数量，$T$是预算。这些比率表明，依赖于$K$的极大极小遗憾变化显着取决于形状约束。这突出了这样一个事实，即形状约束从根本上修改了TBP的性质。
2021-02-23 cs.LG stat.ML
High-Dimensional Sparse Linear Bandits
Deepmind；Princeton University（普林斯顿大学）
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度，地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索，然后提交算法表明，$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限，并提供了另一个例子，其中仔细平衡信息和遗憾之间的权衡是必要的。最后，我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
Minimax Quantile Lower Bounds for Interactive Statistical Decision Making with Privacy
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对期望准则忽略罕见但严重后果的问题，提出δ-显式最小最大分位数理论，导出高概率交互式Fano和Le Cam方法，并应用于带隐私约束的高斯均值估计和K臂高斯老虎机，得到显式下界。
2026-06-23 cs.IT cs.LG math.IT
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
