Improved Optimistic Algorithms for Logistic Bandits
Criteo AI Lab（Criteo人工智能实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
近年来，广义线性强盗框架通过扩展众所周知的线性设置并允许对更丰富的奖励结构进行建模而引起了广泛关注。它特别涵盖了logistic模型，当奖励是二元时广泛使用。对于物流强盗，现有算法的频率论后悔保证是$\tilde{\mathcal{O}}(κ\sqrt{T})$，其中$κ$是问题相关常数。不幸的是，$κ$可以任意大，因为它随决策集的大小呈指数级扩展。这可能会导致后悔界限明显宽松，经验表现不佳。在这项工作中，我们研究的重点是禁止依赖$κ$介绍的逻辑强盗。我们提出了一个新的乐观算法的基础上更精细的检查奖励函数的非线性。我们发现，它享有一个$\tilde{\mathcal{O}}(\sqrt{T})$遗憾没有依赖于$κ$，但二阶项。我们的分析是基于一个新的尾部不等式的自归一化鞅，独立的利益。
2020-06-08 cs.LG stat.ML
On Kernelized Multi-armed Bandits
Indian Institute of Science（印度科学理工学院）
考虑具有连续臂的随机强盗问题，假设臂上的期望报酬函数是固定的但未知。本文提出了两种基于高斯过程的连续强盗优化算法--改进的GP-UCB算法（IGP-UCB）和GP-Thomson抽样算法（GP-TS），并给出了相应的后悔界。具体而言，当预期的奖励函数属于再生核希尔伯特空间（RKHS）时，边界保持不变，该再生核希尔伯特空间自然对应于算法用作输入的高斯过程核。在此基础上，我们得到了一个新的任意维数（可能是无穷维）的向量值鞅的自归一化浓度不等式。最后，实验评估和比较现有的算法在合成和现实世界的环境中进行，突出了所提出的策略在许多情况下的有利收益。
2017-05-17 cs.LG
A unified framework for bandit multiple testing
University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
在bandit多重假设检验中，每个分支对应于我们希望检验的不同的原假设，目标是设计自适应算法，正确识别大量感兴趣的分支（真发现），同时仅错误地识别少数不感兴趣的分支（假发现）。在非伪随机多重检验中的一个常见度量是错误发现率（FDR）。我们提出了一个统一的，模块化的框架，强盗FDR控制，强调解耦的探索和总结的证据。我们利用强大的鞅为基础的概念，“e-过程”，以确保FDR控制任意复合空值，勘探规则和停止时间在一般的问题设置。特别是，有效的FDR控制保持，即使臂的奖励分布可能是依赖的，多个臂可以同时查询，并且多个（合作或竞争）代理可以查询臂，也覆盖组合半强盗类型设置。先前的工作已经非常详细地考虑了每个手臂的奖励分布是独立的和亚高斯的设置，并且在每个步骤中查询单个手臂。我们的框架恢复匹配样本的复杂性保证在这种特殊情况下，并在实践中表现更好。对于其他设置，样本复杂性将取决于问题的更精细的细节（测试的复合空值，探索算法，数据依赖结构，停止规则），我们不探索这些;我们的贡献是表明FDR保证是干净的，完全不可知的这些细节。
2021-11-17 cs.LG stat.ME stat.ML
High Probability Bound for Cross-Learning Contextual Bandits with Unknown Context Distributions
School of Data Science Fudan University（复旦大学数据科学学院）
针对上下文分布未知的跨学习上下文赌博机问题，本文深入分析现有算法，利用时期间弱依赖结构并改进鞅不等式，证明其以高概率实现近乎最优遗憾。
2025-01-24 cs.LG
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题，提出首个快速遗憾率算法，通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
A martingale-transform goodness-of-fit test for the form of the conditional variance
在一般的非参数回归模型中，考虑了方差函数的特定参数形式的检验问题。最近Dette和Hetzler（2008）提出了一种基于伪残差的经验过程的检验统计量。该过程弱收敛到具有复杂协方差核的高斯过程，这取决于数据生成过程。在本文中，我们考虑这个过程的一个标准化版本，并提出了一个鞅变换，以获得相应的Kolmogorov-Smirnov和Cramér-von-Mises泛函的渐近分布自由的测试。通过模拟研究，所提出的测试的有限样本特性进行了研究。
2008-09-29 math.ST stat.TH
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University（北卡罗来纳州立大学）
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型，然后最大化长期奖励。了解所提出的模型是否合理，以及模型在渐近意义下的表现如何，是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理，证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时，我们提出了利用逆倾向得分加权的在线加权最小二乘估计，并建立了其渐近正态性。基于参数估计的性质，我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎！
2020-10-14 cs.LG stat.ML
Off-policy Confidence Sequences
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
我们开发的置信区间，保持一致，随着时间的推移，在上下文的强盗设置的政策评估。这些置信序列是基于最近的想法从鞅分析和非渐近，非参数，并在任意停止时间有效。我们提供了计算这些置信度序列的算法，在计算效率和统计效率之间取得了良好的平衡。我们经验证明了我们的方法在故障概率和宽度方面的紧密性，并将其应用于安全升级生产上下文强盗系统的“门控部署”问题。
2021-02-18 cs.LG math.ST stat.ML
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Google Deepmind（谷歌DeepMind）
本文提出基于鞅后验的预测优先神经网络算法，通过卡尔曼滤波式递推在线更新后验预测，实现快速贝叶斯序贯决策，在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
On the bias, risk and consistency of sample means in multi-armed bandits
Carnegie Mellon University（卡内基梅隆大学）
样本均值是统计学中研究最多的估计量之一，具有许多理想的性质，如无偏性和一致性。然而，当分析使用多臂强盗（MAB）实验收集的数据时，样本均值是有偏差的，并且关于其性质仍有许多有待理解。例如，它什么时候是一致的，它的偏差有多大，我们能限制它的均方误差吗？本文对MAB样本均值的偏倚、风险和一致性进行了全面、系统的处理。具体来说，我们确定了四个不同的来源选择偏差（采样，停止，选择和倒带），并分别和一起分析它们。我们进一步证明了一个新的概念\emph{effective sample size}可以用来限制风险的样本均值下适当的损失函数。我们提出了几个精心设计的例子，以提供我们研究的选择偏差的不同来源的直觉。我们的处理是非参数和算法不可知的，这意味着它不依赖于特定的算法或目标。简而言之，我们的证明结合了变分表示的信息理论的分歧与新的鞅浓度不等式。
2021-04-30 cs.LG math.ST stat.ML
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Sharp Characterization of Bias in Post-Bandit Inference
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；School of Management and Economics, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）经管学院）
该研究针对UCB1等稳定索引算法，推导后-bandit推理中样本均值偏差和Z统计量的精确表达式，揭示了有效探索率这一偏差起源，发现索引函数选择存在遗憾-偏差权衡，采用新颖经验流体近似开展分析。
2026-09-23 cs.LG math.PR stat.ML
Neural Logistic Bandits
Department of Industrial \& Systems Engineering, KAIST；Department of Mathematical Sciences \& Research Institute of Mathematics, Seoul National University；Interdisciplinary Program in Artificial Intelligence, Seoul National University
针对神经逻辑老虎机问题，利用一种新型的自归一化向量值鞅的Bernstein型不等式，提出两种算法NeuralLog-UCB-1和NeuralLog-UCB-2，分别实现与有效维度相关的遗憾上界，改进了现有结果。
2026-05-28 cs.LG stat.ML
Kernel Single-Index Bandits: Estimation, Inference, and Learning
Department of Mathematics, Applied Mathematics, and Statistics, Case Western Reserve University（数学、应用数学与统计学系，凯斯西储大学）；Department of Statistics, University of Florida（佛罗里达大学统计学系）；Department of Statistics, The Pennsylvania State University（宾夕法尼亚州立大学统计学系）
本文研究了具有有限动作的上下文老虎机，其中每个臂的奖励遵循单索引模型，提出了结合Stein估计和逆概率加权核岭回归的核化ε-贪婪算法，实现了灵活的半参数学习并保留了可解释性，同时建立了适应性采样的渐近正态性和方向函数中心极限定理，提供了有效的置信区间和有限时间遗憾保证。
2026-03-19 cs.LG math.ST stat.ML
Thompson Sampling in Partially Observable Contextual Bandits
University of Georgia（佐治亚大学）；Southern Methodist University（南卫理公会大学）
研究部分可观测上下文赌博机中的决策问题，提出Thompson Sampling策略平衡探索与利用，通过新鞅技巧和浓度不等式建立多对数regret界限，并验证其有效性。
2024-02-15 cs.LG stat.ML
Informational Confidence Bounds for Self-Normalized Averages and Applications
我们提出了自归一化平均值的偏差界和应用估计与一个随机数的意见。结果依赖于剥离参数的指数鞅技术，代表了一种替代方法的混合物。详细介绍了强盗问题和上下文树估计的激励示例。
2013-09-13 math.ST stat.TH
Prior-informed optimization of treatment recommendation via bandit algorithms trained on large language model-processed historical records
School of Industrial Engineering, College of Engineering, University of Tehran（工业工程学院，工程学院，德黑兰大学）
针对现有医疗忽略个体差异的问题，研究整合LLMs、CTGAN、T-learner与先验知情上下文老虎机构建系统，在III期结肠癌数据上KernelUCB表现优于参考方法，推进个体化医学发展。
2025-10-21 cs.AI cs.LG
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression
MIT（麻省理工学院）；University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）
研究自归一化martingale的统一后悔界，证明一维情况下可得O(log T)界，而高维情况下无法获得统一界，解决了一个开放性问题。
2026-05-02 cs.LG math.ST stat.ML
Anytime-valid off-policy inference for contextual bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
针对上下文赌博机的离策略评估推断问题，提出基于鞅技术的综合框架，放宽现有假设，支持实验进行中、策略变化、上下文漂移等场景，推导多类泛函的置信序列，实现任意时刻有效的非参数离策略推断。
2024-08-15 cs.LG math.ST stat.ME
A Framework for Fair Evaluation of Variance-Aware Bandit Algorithms
University of Mannheim School of Business Informatics and Mathematics（曼海姆大学商学院信息与数学学院）
针对MAB算法评估缺乏标准化的问题，提出基于Bandit Playground的可复现评估框架，系统比较八种经典与方差感知算法，揭示了方差感知方法在高不确定性环境下的优势条件。
2025-10-30 cs.AI cs.LG
Dynamic Trust Calibration Using Contextual Bandits
Thayer School of Engineering（泰勒工程学院）；Dartmouth College（达特茅斯学院）
针对人机信任校准缺乏客观标准的问题，提出基于Contextual Bandits的动态指标，在三个数据集上使奖励提升10%至38%。
2025-09-27 cs.AI cs.HC cs.LG
Simulation-Based Inference for Adaptive Experiments
Cornell Tech（康奈尔科技）；Netflix（网飞）；Cornell University（康奈尔大学）
本文针对多臂老虎机自适应实验的推断难题，提出一种基于“乐观模拟”的模拟推断方法，通过生成额外实验轨迹刻画非正态检验统计量分布，在保证渐近错误控制和一致性的同时，将置信区间宽度最多缩减50%。
2025-06-03 cs.LG stat.ME stat.ML
Contextual Bandits for Resource-Constrained Devices using Probabilistic Learning
Sapienza University of Rome（罗马大学）；Örebro University（奥雷布罗大学）；Örebro University Linköping University（奥雷布罗大学-林奈大学）；Örebro University Research Institutes of Sweden（瑞典奥雷布罗大学研究机构）
本文提出了一种低精度的概率HD-CB方法，通过概率更新规则替代确定性累积，减少更新成本并提升决策质量。
2026-05-13 cs.LG
Accurate Inference for Adaptive Linear Models
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
从自适应收集的数据计算的估计不像他们的非自适应兄弟。相反，收集策略的顺序依赖性可能导致严重的分布偏差，即使在无限数据限制下也会持续存在。我们开发了一个通用的方法-- $\mathbf{W}$ -去相关--用于将自适应线性回归估计的偏差转换为方差。该方法仅使用关于数据收集策略的粗粒度信息，并且不需要访问策略的倾向得分或精确知识。我们绑定有限样本的偏差和方差的$\mathbf{W}$估计和发展渐近正确的置信区间的基础上一个新的鞅中心极限定理。然后，我们证明了经验的好处，通用的$\mathbf{W}$ -去相关程序在两个不同的自适应数据设置：多臂强盗和自回归时间序列。
2020-01-02 cs.LG stat.ML
Optimistic Algorithms for Adaptive Estimation of the Average Treatment Effect
Carnegie Mellon University（卡内基梅隆大学）
本文针对平均处理效应自适应估计中有限样本下探索-利用权衡被忽视及估计量次优的问题，提出基于渐近最优AIPW估计量和多臂老虎机乐观原则的新型自适应采样算法，取得显著理论与实证收益。
2025-02-07 cs.LG stat.ME stat.ML
Tighter Confidence Bounds for Sequential Kernel Regression
Universitat Pompeu Fabra（庞培法布拉大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文利用鞅尾不等式为序列核回归提出更紧的置信界，通过锥规划对偶高效计算，应用于核老虎机问题可提升KernelUCB算法性能。
2024-11-11 cs.LG stat.ML
Exact Asymptotics for Linear Quadratic Adaptive Control
Department of Statistics, Harvard University（哈佛大学统计系）
强化学习的最新进展已经在一系列应用中取得了显着的性能，但其在高风险环境中的部署仍然非常罕见。一个原因是对强化算法的行为的理解有限，无论是在他们的遗憾和他们学习底层系统动力学的能力方面-现有的工作几乎完全集中在表征速率上，很少关注常数乘以这些速率，这在实践中可能是至关重要的。为了开始解决这一挑战，我们研究了可能是最简单的非强盗强化学习问题：线性二次自适应控制（LQAC）。通过仔细结合最近的有限样本性能界限的LQAC问题与一个特定的（最近）鞅中心极限定理，我们能够推导出渐进精确的表达式的遗憾，估计误差，和预测误差的速率最优逐步更新LQAC算法。在对稳定和不稳定系统的模拟中，我们发现我们的渐近理论也很好地描述了算法的有限样本行为。
2020-11-02 cs.LG cs.SY eess.SY
On the Prior Sensitivity of Thompson Sampling
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
随机强盗问题的Thompson抽样算法在经验上取得了成功，人们对它的理论性质有着浓厚的兴趣。该算法的一个重要优点是，它允许领域知识被方便地编码为先验分布，以更有效地平衡探索和利用。虽然人们普遍认为，当先验是好的（坏的）时，算法的遗憾是低的（高的），但对确切的依赖性知之甚少。在本文中，我们充分描述了算法的最坏情况下的后悔先验选择的依赖性，专注于一个特殊的，但有代表性的情况。这些结果也提供了洞察的算法的先验选择的一般敏感性。特别是，与$p$是真正的奖励生成模型的先验概率质量，我们证明$O(\sqrt{T/p})$和$O(\sqrt{(1-p)T})$遗憾的坏和好的先验情况下，分别上限，以及\emph{matching}下限。我们的证明依赖于发现的一个基本性质的汤普森采样和大量使用鞅理论，这两个出现在文学小说，尽我们所知。
2016-07-21 cs.AI cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）；Deepmind（深度思维）；University of Alberta（阿尔伯塔大学）
我们研究了具有线性函数近似的强化学习（RL），其中马尔可夫决策过程（MDP）的潜在转移概率核是线性混合模型（Jia et al.，2020; Ayoub等人，2020; Zhou等人，2020），并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式，我们提出了一个新的，计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现，$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾，其中$d$是特征映射的维度，$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置，这表明，$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外，我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣，并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾，其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人（2020）证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配，达到对数因子，表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…
2021-01-07 cs.LG math.OC stat.ML
Improved Regret Bounds of (Multinomial) Logistic Bandits via Regret-to-Confidence-Set Conversion
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；University of Arizona（亚利桑那大学）
针对逻辑回归老虎机中忽略参数范数依赖的问题，提出R2CS方法构造凸置信集，改进遗憾界对S的依赖，并扩展至多项逻辑回归，保持计算可行性。
2024-03-13 cs.LG stat.ML
Tangential Randomization in Linear Bandits (TRAiL): Guaranteed Inference and Regret Bounds
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出线性赌博机算法 TRAiL，通过在动作集切平面上扰动实现强制探索，证明了其推断质量 Ω(√T) 增长和遗憾 O(√T log T) 上界，并建立了遗憾与推断质量之间的渐近权衡关系。
2024-11-19 cs.LG cs.SY eess.SY
Further Optimal Regret Bounds for Thompson Sampling
Microsoft Research India（微软印度研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。在本文中，我们提供了一个新的遗憾分析汤普森采样，同时证明了最佳的问题依赖的界的$(1+ε)\sum_i \frac{\ln T}{Δ_i}+O(\frac{N}{ε^2})$和第一个接近最佳的问题无关的界的$O(\sqrt{NT\ln T})$对该算法的预期遗憾。我们的接近最优的问题独立的界限解决了一个COLT 2012年公开问题的Chapelle和李。Kaufmann等人最近首次证明了这个问题的最佳问题相关后悔界限[ALT 2012]。我们新颖的基于鞅的分析技术在概念上很简单，很容易扩展到Beta分布以外的分布，也可以扩展到更一般的背景强盗设置[Mandarpt，Agrawal和Goyal，2012]。
2012-09-15 cs.DS cs.LG stat.ML
