Strategies for Safe Multi-Armed Bandits with Logarithmic Regret and Risk
Boston University（波士顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们调查一个自然的，但令人惊讶的是未研究的方法，安全风险约束下的多臂强盗问题。每个手臂都与一个未知的安全风险和奖励的法律相关联，学习者的目标是最大化奖励，同时不玩不安全的手臂，这是由给定的平均风险阈值确定的。我们制定了一个伪遗憾的设置，强制执行这种安全约束，在每一轮的方式，轻轻地惩罚任何违规行为，无论收益的奖励，由于相同的。这对于临床试验等场景具有实际意义，在这些场景中，必须保持每一轮的安全性，而不是总体意义上的安全性。我们描述了双重乐观的策略，这种情况下，保持乐观的安全风险和回报指数。我们表明，模式的基础上，频率和贝叶斯指数满足严格的间隙依赖的对数遗憾的界限，并进一步这些发挥不安全的武器只有在数学上很多次。这种理论分析的补充，模拟研究表明所提出的模式的有效性，并探讨其使用是适当的域。
2022-04-01 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Rate-optimal Bayesian Simple Regret in Best Arm Identification
Stern School of Business, New York University（纽约大学斯特恩商学院）；AI Lab, CyberAgent, Inc.（CyberAgent公司人工智能实验室）；School of Electrical Engineering and Computer Science, KTH（瑞典皇家理工学院电气工程与计算机科学学院）；Columbia Business School, Columbia University（哥伦比亚大学哥伦比亚商学院）
本文研究多臂老虎机最优臂识别，在连续先验下刻画贝叶斯简单遗憾速率，提出简单算法使首项匹配下界至常数因子，并经仿真验证。
2023-07-26 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Logarithmic Regret for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
具有线性函数逼近的强化学习（RL）近年来受到越来越多的关注。然而，现有的工作集中在获得$\sqrt{T}$型后悔界限，其中$T$是与MDP的交互次数。在本文中，我们表明，对数遗憾是可达到的两个最近提出的线性MDP假设，存在一个积极的次优差距的最佳行动价值函数。更具体地说，在线性MDP假设下，（Jin et al. 2019），LSVI-UCB算法可以实现$\tilde{O}(d^{3}H^5/\text{gap}_{\text{min}}\cdot \log(T))$遗憾;在线性混合MDP假设下（Ayoub et al.2020），UCRL-VTR算法可以实现$\tilde{O}(d^{2}H^5/\text{gap}_{\text{min}}\cdot \log^3(T))$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$\text{gap}_{\text{min}}$是最小次优间隙，并且$\tilde O$隐藏除$\log(T)$之外的所有对数项。据我们所知，这些是RL与线性函数近似的第一对数遗憾界。我们还建立了两个线性MDP模型的间隙依赖下界。
2021-02-18 cs.LG math.OC stat.ML
Logarithmic regret bounds for continuous-time average-reward Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
本文研究连续时间平均奖励MDPs的强化学习，在转移概率和指数保持时间速率未知时，推导出对数级遗憾下界，并设计算法实现对数级有限时间遗憾上界。
2024-07-02 cs.LG math.OC stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Logarithmic Regret for Online KL-Regularized Reinforcement Learning
本文提出了一种基于乐观的KL正则化在线上下文老虎机算法，实现了对数遗憾界，并扩展到强化学习领域。
2026-03-10 cs.LG stat.ML
$Q$-learning with Logarithmic Regret
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）
本文提出了第一个非渐近的结果表明，无模型算法可以实现对数累积遗憾的情节表强化学习，如果存在严格的正的次优间隙的最佳$Q$ -功能。我们证明了[Jin et al. 2018]中研究的乐观$Q$学习具有${\mathcal{O}}\left(\frac{SA\cdot \mathrm{poly}\left(H\right)}{Δ_{\min}}\log\left(SAT\right)\right)$累积遗憾界，其中$S$是状态数，$A$是动作数，$H$是规划范围，$T$是总步骤数，$Δ_{\min}$是最小次优间隙。该界限与$S,A,T$的信息理论下限匹配，直到$\log\left(SA\right)$因子。我们进一步扩展我们的分析贴现设置，并获得类似的对数累积遗憾界。
2021-02-23 cs.LG math.OC stat.ML
On Regret Bounds of Thompson Sampling for Bayesian Optimization
Nagoya University（名古屋大学）；MI-6 Ltd.（MI-6公司）
本文针对高斯过程汤普森采样（GP-TS）方法，在目标函数为GP样本路径的假设下，推导了其遗憾下界、累积遗憾二阶矩上界、期望宽松遗憾上界以及改进的累积遗憾上界，填补了GP-TS在高概率遗憾界方面的空白。
2026-06-11 cs.LG stat.ML
Generalised Mixability, Constant Regret, and Bayesian Updating
The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Microsoft Research（微软研究院）
当通过使用Vovk的聚合算法在具有专家建议的预测游戏中可以实现恒定的后悔界限时，损失的可混合性是已知的。我们提供了一个新的解释，通过凸分析，突出了Kullback-Leibler分歧在其定义中的作用。这自然地推广到我们称之为$Φ$的混合性，其中Bregman分歧$D_Φ$取代KL分歧。我们证明，损失是$Φ$ -混合也享有恒定的遗憾界通过一个广义的聚合算法，是类似于镜像下降。
2014-03-10 cs.LG stat.ML
Improved Regret Bounds for Gaussian Process Upper Confidence Bound in Bayesian Optimization
LY Corporation（LY公司）
本文改进了高斯过程上置信界在贝叶斯优化中的 regrets 上限，通过分析 Matérn 核和平方指数核下的性能，填补了现有界限与 Scarlett (2018) 界限之间的空白。
2026-10-28 cs.LG stat.ML
The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches
Yale University（耶鲁大学）
在本文中，我们研究了无模型和基于模型的情景强化学习（RL）的后悔最小化问题。我们专注于学习一般功能类和一般模型类，我们得出的结果，这些类的逃避维度的规模。在现有的工作，主要是建立实例独立的遗憾保证机构，我们专注于实例依赖的设置和显示的遗憾尺度与地平线$T$，只要有一个最好的和第二个最好的行动之间的差距，在每个国家。此外，我们表明，这样的对数遗憾界是可实现的算法与$O(\log T)$切换成本（也称为自适应复杂性）。换句话说，这些算法在执行过程中很少切换策略。最后，我们补充我们的结果与下限表明，即使在表格设置，我们不能希望后悔保证低于$o(\log T)$。
2022-03-03 cs.LG
The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
Mila – Québec AI Institute, McGill University（米拉-魁北克人工智能研究所，麦吉尔大学）
针对倾斜采样问题，研究目标是从未知奖励函数诱导的吉布斯分布中采样，定义了采样遗憾并提出通用遗憾框架，开发了UCB和汤普森采样的采样模拟算法，得到对数级采样遗憾的结果，区分了软最优分布采样与硬最优识别的学习任务。
2026-10-16 cs.LG math.OC stat.ML
Logarithmic regret for episodic continuous-time linear-quadratic reinforcement learning over a finite-time horizon
EDF R&D（法国电力公司研发部）；FIME（FIME实验室）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间范围连续时间线性二次强化学习问题的情景设置，其中的状态和控制系数是未知的控制器。我们首先提出了一个最小二乘算法的基础上连续时间的观察和控制，并建立了一个对数遗憾界的顺序$O((\ln M)(\ln\ln M))$，与$M$是学习情节的数量。分析包括两个部分：扰动分析，利用相关的里卡蒂微分方程的规律性和鲁棒性;和参数估计误差，它依赖于连续时间最小二乘估计的次指数特性。我们进一步提出了一个实际可实现的最小二乘算法的基础上离散时间的观察和分段常数控制，实现了类似的对数遗憾与一个额外的长期明确取决于在算法中使用的时间步长。
2022-06-17 cs.LG math.OC stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI（亚马逊云科技人工智能部门）
我们证明了一个独立的实例（多）对数后悔随机上下文土匪线性回报。以前，在\cite{chu2011contextual}，一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意（adversarily选择）的背景。在本文中，我们表明，随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits（\texttt{LR-SCB}），它利用随机上下文，并执行参数估计（在$\ell_2$范数）和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作，其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的（多）对数后悔源于两个关键事实：（a）应用范数自适应算法来利用参数估计和（b）分析移位线性上下文强盗算法，表明移位导致后悔增加。我们还通过实验证明，随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
Optimal Regret Is Achievable with Bounded Approximate Inference Error: An Enhanced Bayesian Upper Confidence Bound Framework
Columbia University（哥伦比亚大学）；Adobe Inc.（Adobe公司）
针对近似推断下贝叶斯老虎机算法的理论空白，提出EBUCB框架，证明在两种α散度误差有界时实现最优遗憾O(log T)，并指出单一散度不足以保证亚线性遗憾。
2023-11-10 cs.LG stat.ML
Logarithmic Regret of Exploration in Average Reward Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
本文提出一种改进的规则替代Doubling Trick，使平均奖励马尔可夫决策过程中的探索遗憾降低至对数级别，提升算法性能。
2025-11-27 cs.LG stat.ML
Gap-Dependent Bounds for Two-Player Markov Games
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
Q学习作为强化学习领域最流行的方法之一，受到越来越多的关注。最近，有更多的理论工作的遗憾界的算法，属于Q-学习类在不同的设置。分析了2-玩家回合制随机马尔可夫博弈（2-TBSG）中Nash Q-学习算法的累积后悔问题，并给出了情景列表中第一个间隙依赖的对数上界.这个界限只在对数项上与理论下限相匹配。此外，我们将结论推广到无限时域的折扣博弈，并提出了一个类似的缺口依赖对数遗憾界。此外，在线性MDP假设下，我们得到了2-TBSG的另一个对数遗憾，在集中和独立的设置。
2021-07-01 cs.LG stat.ML
Risk and Regret of Hierarchical Bayesian Learners
MIT（麻省理工学院）
通常的统计实践表明，贝叶斯方法的全部功能在使用分层先验之前是无法实现的，因为这些先验允许更大的“鲁棒性”和“共享统计强度”的能力。“然而，这是一个持续的挑战，提供一个学习理论上健全的形式主义的概念，这些概念：提供有关何时以及如何最好地利用分层模型的实际指导;提供洞察什么是一个良好的分层先验;并且，当先验的形式已经选择，可以指导超参数设置的选择。我们提出了一套分析工具，用于理解在线和批处理学习设置中的分层先验。我们提供了遗憾的界限下的对数损失，这表明某些层次模型比较，在回顾中，最好的单一模型的模型类。我们还展示了如何转换贝叶斯日志损失的遗憾界到贝叶斯风险界的任何有界损失，结果可能是独立的利益。Student的$t$和分层高斯先验的风险和后悔界限允许我们形式化“鲁棒性”和“共享统计强度”的概念。“也研究了特征选择的先验。我们的研究结果表明，使用分层先验的学习理论的好处往往可以在实际问题上的成本很小。
2015-05-19 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester（曼彻斯特大学）
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态，而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了，如果学习率是很好的选择，那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
本文在高斯噪声的频率学派设定下建立了高斯过程预测误差的新逐点界，并据此证明了GP-UCB和GP-TS累积遗憾界具有改进的收敛速率，该误差界还可推广到一般贝叶斯优化算法的收敛分析。
2024-12-25 cs.LG stat.ML
Beyond Regrets: Geometric Metrics for Bayesian Optimization
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对现有贝叶斯优化性能度量忽略几何信息的问题，提出四个新的几何度量（精确率、召回率、平均度、平均距离）及其无参数形式，以更细致地评估算法。
2024-11-07 cs.LG stat.ML
Regret Analysis of Posterior Sampling-Based Expected Improvement for Bayesian Optimization
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；AIP（Advanced Institute for Particle Physics）；Nagoya Institute of Technology（名古屋工业大学）
本文研究贝叶斯优化中期望改进（EI）理论保证不足的问题，提出从后验样本路径最大值评估 EI 的随机化方法，并证明其在高斯过程假设下具有次线性贝叶斯累积遗憾界，实验验证了有效性。
2025-09-30 cs.LG stat.ML
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency
School of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；MediaTek Research, UK（联发科英国研究院）
该研究针对高斯过程贝叶斯优化问题，提出带定义域收缩的随机探索算法，证明其在有无噪声场景下均达阶最优后悔值，填补无噪声场景研究空白，且计算效率更优。
2024-02-02 cs.LG stat.ML
Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian Regret Bounds
Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）；Nagoya Institute of Technology（名古屋工业大学）
本文证明Thompson采样能达到更紧的贝叶斯累积遗憾界，并提出采集函数PIMS，其同样实现更紧遗憾界且无需手动调参，有效缓解了GP-UCB和TS的实际问题。
2024-06-04 cs.LG stat.ML
A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance
MediaTek Research（联发科研究）；Cornell University（康奈尔大学）
考虑再生核Hilbert空间中未知函数的序列优化问题。我们提出了一个基于高斯过程的算法，并建立其顺序最优的遗憾性能（到一个多对数因子）。这是第一个基于GP的算法，具有顺序最优后悔保证。该算法是植根于域收缩的方法，通过一系列的基于树的区域修剪和细化集中查询越来越小的高性能区域的功能域实现。通过对最优函数值的迭代估计来局部化和引导对高性能区域的搜索，以确保学习效率和计算效率。与目前流行的GP-UCB算法族相比，该算法的计算复杂度降低了$O(T^{2d-1})$（其中$T$是时域，$d$是函数域的维数）.
2021-10-29 cs.LG stat.ML
Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
Department of Engineering, Nagoya University（名古屋大学工学部）；RIKEN AIP（理化学研究所AIP）
提出随机克里金信徒法用于并行贝叶斯优化，结合KB启发式，具有低计算复杂度、易实现、通用性强和异步并行适用性，并给出贝叶斯期望遗憾界。
2026-06-25 cs.LG stat.ML
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia（应用人工智能研究所，德金大学，澳大利亚格里尔镇）
本文提出BOO算法，在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法，实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Constant or logarithmic regret in asynchronous multiplayer bandits
ENSAE（国立统计与经济管理学院）；Crest（经济与统计研究中心）；Criteo AI Labs（科韬人工智能实验室）；INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）
本文研究异步多人赌博机问题，提出集中式算法 Cautious Greedy，在最优策略覆盖所有臂时实现常数遗憾，否则为对数遗憾，并证明其在数据依赖项上最优，突破了此前 $O(T^{2/3})$ 的遗憾上界。
2023-05-31 cs.LG stat.ML
No-regret Algorithms for Multi-task Bayesian Optimization
Indian Institute of Science（印度科学理工学院）
我们考虑在非参数贝叶斯优化（BO）设置中未知向量值函数的多目标优化（MOO），目的是学习目标的Pareto前沿上的点。大多数现有的BO算法不建模的事实，即多个目标，或等价地，任务可以共享相似性，甚至少数缺乏严格的，有限时间的遗憾保证，明确捕获任务间的结构。在这项工作中，我们解决这个问题，通过建模任务间的依赖关系，使用多任务内核和开发两个新的BO算法的基础上随机标量化的目标。我们的算法采用向量值核回归作为垫脚石，属于置信上限类的算法。在光滑性假设下，未知的向量值函数是与多任务内核相关的再生内核希尔伯特空间的元素，我们推导出最坏情况下的遗憾界限，明确捕捉任务之间的相似性的算法。我们在合成和现实生活中的MOO问题上对我们的算法进行了数值基准测试，并展示了多任务内核学习所提供的优势。
2020-08-20 cs.LG stat.ML
Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent
本文首次给出有噪声高斯过程期望改进（GP-EI）在三种当前最优解选择下的累积遗憾上界，证明采用 BPMI 和 BSPMI 时对 SE 与 Matérn 核均无遗憾，并为实践者提供当前最优解选择的理论指导。
2025-08-21 cs.LG stat.ML
Logarithmic Neyman Regret for Adaptive Estimation of the Average Treatment Effect
Carnegie Mellon University（卡内基梅隆大学）
本文针对自适应估计平均处理效应问题提出 ClipSMT 算法，将 Neyman 遗憾对时间 T 的依赖从平方根级改进为对数级，并将对问题参数的指数依赖降为多项式依赖，仿真验证其显著优于现有方法。
2024-11-21 cs.LG stat.ML
Fast rates in Bayesian online learning with approximate posteriors
Inha University（仁荷大学）
该研究探讨贝叶斯在线学习中近似后验的快速速率，证明满足精度要求的近似后验方法可继承精确贝叶斯预测的快速遗憾界，并通过三个实例验证了相关方法的有效性。
2026-08-27 cs.LG stat.ML
Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对贝叶斯优化中长度尺度超参数未知且易误设的问题，提出长度尺度平衡（LB）方法，通过聚合多尺度代理模型平衡探索与利用，使遗憾界仅以对数因子偏离最优oracle，并在实验中优于A-GP-UCB等方法。
2024-11-22 cs.LG stat.ML
Generalised Entropy MDPs and Minimax Regret
Göteborgs Universitet（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
贝叶斯方法遇到了如何指定先验信念的问题。一个有趣的想法是考虑最坏情况的先验。这需要解决一个随机零和博弈。在本文中，我们扩展了著名的结果，从强盗理论，以发现最小最大贝叶斯政策，并讨论当他们是实用的。
2014-12-10 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
研究了一个分散协作的多智能体多臂强盗问题，其中$K$和$N$智能体通过网络连接.在我们的模型中，每个手臂的奖励分配对于所有代理都是相同的，并且奖励在代理和时间步长上独立绘制。在每一轮中，智能体选择一只手臂进行游戏，然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架，扩展单代理贝叶斯强盗算法的分散设置。具体来说，我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法，并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题，并建立了一个依赖于问题的累积后悔上界。我们发现，遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究，我们表明，我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议，并在时变网络，其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
First-Order Bayesian Regret Analysis of Thompson Sampling
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们解决在线组合优化时，玩家有一个事先超过对手的损失序列。在此框架下，Russo和Van Roy提出了基于信息比的Thompson抽样的信息论分析，得到了最坏情况下的最优后悔界。在本文中，我们介绍了三个新的想法，这条线的工作。首先，我们提出了一个新的量，规模-敏感信息比，它允许我们获得更精确的一阶后悔界限（即，形式为$\sqrt{L^*}$的界限，其中$L^*$是最佳组合动作的损失）。其次，我们取代熵的组合动作的坐标熵，这使我们能够获得第一个最佳的最坏情况下的汤普森采样的组合设置。最后，我们介绍了贝叶斯代理和频率置信区间之间的一种新的联系。结合这些想法，我们表明，经典的多臂强盗一阶遗憾界$\tilde{O}(\sqrt{d L^*})$仍然适用于更具有挑战性和更一般的半强盗的情况。后一结果改进了Lykouris、Sridharan和Tardos的现有技术结合$\tilde{O}(\sqrt{(d+m^3)L^*})$。此外，我们锐化这些结果与两个技术成分。第一个利用了最近的洞察力Zimmert和Latterfly取代香农熵更精细的潜在功能的分析。第二种是\emph{Thresholded} Thompson采样算法，它通过从不播放低概率动作来略微修改原始算法。当$L^*$几乎肯定是上界时，这种阈值处理会导致完全$T$独立的遗憾界，这对于普通的Thompson采样是不成立的。
2022-04-04 cs.LG stat.ML
Correlated Multiarmed Bandit Problem: Bayesian Algorithms and Regret Analysis
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
考虑了多臂相关强盗（MAB）问题，其中每只手臂的报酬由多元高斯随机变量建模，研究了贝叶斯先验假设对可信上限（UCL）算法性能的影响，并提出了一种新的相关UCL算法.我们严格的准确性，置信度和相关尺度的影响，在决策性能的算法上的先验。我们的研究结果表明，如何先验和相关性结构可以利用，以提高性能。
2015-07-07 cs.LG math.OC stat.ML
No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints
National University of Singapore（新加坡国立大学）
本文研究在单调性安全约束下顺序最大化未知函数的问题，提出基于高斯过程的算法，在安全函数仅对单变量单调的条件下实现了次线性累积遗憾，并能寻找每个输入对应的最优安全动作。
2024-06-05 cs.LG stat.ML
Stopping Bayesian Optimization with Probabilistic Regret Bounds
Morgan Stanley（摩根士丹利）
针对贝叶斯优化传统预算耗尽停止规则的问题，提出基于$(ε, δ)$概率准则的停止方法，证明其在高斯过程先验下满足条件，给出高效鲁棒的蒙特卡洛评估算法并通过实验验证优劣。
2024-12-10 cs.LG stat.ML
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Suboptimal Performance of the Bayes Optimal Algorithm in Frequentist Best Arm Identification
针对固定预算正态分布奖励最优臂识别问题，证明贝叶斯最优算法在特定参数下无法实现简单遗憾指数下降，打破两类方法渐近等价的认知，并提出期望Bellman改进概念为后续研究奠基。
2024-04-15 cs.LG math.PR stat.ML
Prior-free and prior-dependent regret bounds for Thompson Sampling
Princeton University（普林斯顿大学）
考虑报酬分布具有先验分布的随机多臂强盗问题。我们有兴趣研究先验自由和先验相关的后悔界限，非常类似于通常的非贝叶斯随机强盗的分布自由和分布相关界限。基于Audibert和Bubeck [2009]以及Russo和Roy [2013]的技术，我们首先证明了Thompson Sampling达到了一个最优的无先验界，即对于任何先验分布，其贝叶斯遗憾从上到下都由$14 \sqrt{n K}$限定。这个结果是不可改进的，因为存在先验分布，使得任何算法都具有由$\frac{1}{20} \sqrt{n K}$从下面限定的贝叶斯遗憾。我们还研究了Bubeck等人设置的先验情况。[2013]（其中最佳均值已知以及最小间隙的下限），并且我们表明，在这种情况下，Thompson Sampling的遗憾实际上随时间一致有界，从而表明Thompson Sampling可以极大地利用这些先验的良好特性。
2013-10-03 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University（哥伦比亚大学）；Morgan Stanley（摩根大通）
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响，证明LinTS和LinBUCB保持原始遗憾速率但常数增大，且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute（马克斯·普朗克研究所）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）；University of Leoben（莱奥本大学）
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理，使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具，以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法，应用PAC贝叶斯分析的情况下，有限的反馈。我们结合新的工具，以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密，但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围，并为强化学习和许多其他领域引入了一种新的分析工具，其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Constrained regret minimization for multi-criterion multi-armed bandits
Stanford University（斯坦福大学）；IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
考虑随机多臂强盗环境，研究了在给定时间范围内的约束后悔最小化问题。每个手臂都与一个未知的，可能是多维的分布相关联，手臂的优点是由几个可能相互冲突的属性决定的。其目的是优化一个“主”属性受用户提供的其他“次要”属性的约束。我们假设属性可以使用来自臂分布的样本来估计，并且估计量具有适当的集中性质。我们提出了一种称为Con-LCB的算法，它保证了对数遗憾，即，所有非最优臂的平均游戏次数在视界中至多是对数。该算法还输出布尔标志，该布尔标志以高概率正确地识别给定实例相对于约束是否可行/不可行。我们还表明，Con-LCB是最佳的一个普遍的常数，即，更复杂的算法不可能普遍地做得更好。最后，我们建立了一个基本的权衡后悔最小化和可行性识别。我们的框架发现自然的应用程序，例如，在金融投资组合优化，风险约束最大化的预期收益是有意义的。
2023-01-04 cs.LG stat.ML
Individual Regret in Cooperative Stochastic Multi-Armed Bandits
Blavatnik School of Computer Science and AI（巴尔-瓦特尼克计算机科学与人工智能学院）；Tel Aviv University（特拉维夫大学）；Google Research, Tel Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文首次提出在合作随机多臂老虎机中不依赖图直径的个体遗憾界，并分析了通信效率对遗憾的影响。
2026-02-03 cs.LG stat.ML
Asymptotic Performance of Time-Varying Bayesian Optimization
IC, EPFL（EPFL信息与通信学院）
针对时变贝叶斯优化经验成功缺乏理论解释的问题，本文给出累积遗憾的上界与算法无关下界，并推导无遗憾性质的充分条件，首次覆盖实践中主要平稳核函数类别。
2026-10-05 cs.LG stat.ML
