Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Policy Optimization Achieves Data-Dependent Regret Bounds in MDPs with Unknown Transitions
针对在线表格马尔可夫决策过程，提出基于乐观跟随正则化领导者的算法，通过设计乐观Q函数估计器和数据依赖转移奖励，在未知转移下实现一阶、二阶和路径长度遗憾界，并达到随机情形下的间隙相关polylog(T)遗憾。
2026-07-01 cs.LG stat.ML
Normal Bandits of Unknown Means and Variances: Asymptotic Optimality, Finite Horizon Regret Bounds, and a Solution to an Open Problem
Rutgers University（罗格斯大学）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）
考虑从由随机变量$X^i_k$、$ i = 1,\ldots , N,$和$k = 1, 2, \ldots$指定的有限数量的$N \geq 2$总体中顺序抽样的问题;其中$X^i_k$表示从总体$i$到其被抽样的$k^{th}$的结果。假设对于每个固定的$i$，$\{ X^i_k \}_{k \geq 1}$是i.i.d.正态随机变量，均值$μ_i$和方差$σ_i^2$未知。目的是制定政策$π$，用于决定在任何时候从哪个$N$人群中抽取样本形成$n=1,2,\ldots$，以便最大化$n$样本的预期结果总和，或者等效地最小化由于缺乏参数$μ_i$和$σ_i^2$的信息而导致的遗憾。在本文中，我们提出了一个简单的膨胀样本均值（ISM）指数政策，是渐近最优的意义下定理4如下。这解决了Burnetas和Katehakis（1996）的一个悬而未决的问题。此外，有限时域后悔界。
2015-06-03 cs.LG stat.ML
Ordinal Bayesian Optimisation
贝叶斯优化是一个强大的工具，以解决昂贵的黑箱问题，但失败时，对目标函数的静态假设是强烈违反，这是特别是病态或不连续的目标的情况。我们解决这个问题，提出了一个新的贝叶斯优化框架，只考虑变量的顺序，在输入和输出空间，以适应一个高斯过程的潜在空间。通过这样做，我们的方法对原始空间上的原始度量是不可知的。我们提出了两种算法，分别基于乐观策略和汤普森采样。对于乐观策略，我们证明了一个最优性能下的后悔措施的潜在空间。我们说明了我们的框架上的几个具有挑战性的玩具问题的能力。
2019-12-05 cs.LG math.OC stat.ML
Online Control of Unknown Time-Varying Dynamical Systems
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌AI普林斯顿）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
研究了非随机控制模型下动态未知的时变线性系统的在线控制问题。在一个高层次上，我们证明了这种设置是\emph{qualitatively harder}比未知的时不变或已知的时变动态，并补充我们的负面结果与算法的上界制度，次线性遗憾是可能的。更具体地说，我们研究遗憾的界限方面的常见类别的政策：干扰行动（SLS），干扰响应（尤拉），和线性反馈政策。虽然这三类基本上是等价的LTI系统，我们证明了这些等价性打破时变系统。我们证明了一个下界，没有算法可以获得次线性遗憾的前两个类，除非系统的变化性的一定措施也在地平线上的次线性尺度。此外，我们表明，离线规划的状态线性反馈政策是NP-困难的，这表明硬度的在线学习问题。在积极的一面，我们给出了一个有效的算法，达到一个次线性的遗憾界对类的扰动响应政策，上述系统的变异性条款。事实上，我们的算法享有次线性\emph{adaptive}遗憾界，这是一个严格强于标准遗憾的度量，更适合于时变系统。我们素描扩展干扰行动政策和部分观察，并提出了一个低效的算法对线性状态反馈政策的遗憾。
2022-02-16 cs.LG math.OC stat.ML
On Uninformative Optimal Policies in Adaptive LQR with Unknown B-Matrix
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文给出了自适应线性二次型调节器（LQR）的局部渐近极小极大遗憾下界。我们认为affiliate参数化的$B$ -矩阵和已知的$A$ -矩阵，并旨在了解当对数后悔是不可能的，即使在存在结构边信息。在定义了Fisher信息的奇异性条件下的无信息最优策略的内在概念之后，我们通过诉诸van Trees不等式（Bayesian Cramér-Rao）和二次型（Bellman误差）的遗憾表示来获得LQR的这种无信息实例的局部极小极大遗憾下界。结果表明，如果参数化导致一个无信息的最优策略，对数后悔是不可能的，在时间范围内的速率至少是平方根的顺序。我们明确地描述了一个无信息的最优策略的概念系统理论量的零空间和特定的实例参数化。
2021-04-30 cs.LG math.OC stat.ML
Dynamic Pricing with Finitely Many Unknown Valuations
Università degli Studi di Milano（米兰大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）
激励张贴价格拍卖的买家被分组在一个未知数量的潜在类型，其特征在于他们的私人价值的良好的销售，我们研究收入最大化的随机动态定价时，买家的私人价值的分布是支持在一个未知的点集[0，1]的未知基数$K$。该设置可以被视为随机$K$ -武装强盗问题的实例，其中还必须学习武装的位置（$K$未知赋值）。在分布自由的情况下，我们证明，我们的设置是一样硬$K$武装随机土匪：没有算法可以实现一个遗憾显着优于$\sqrt{KT}$，（其中T是时间范围），我们提出了一个有效的算法匹配这个下限对数因子。在分布依赖的情况下，我们表明，对于所有的$K>2$，我们的设置是严格的硬比$K$武装随机土匪证明，这是不可能的，以获得遗憾的界限，在时间或更慢的增长。另一方面，当一个下限$γ>0$上的最小下降的需求曲线是已知的，我们证明了一个上限的遗憾顺序$(1/Δ+(\log \log T)/γ^2)(K\log T)$。这是一个显着的改进，以前已知的不连续的需求曲线，在最好的顺序$(K^{12}/γ^8)\sqrt{T}$遗憾边界。当$K=2$在分布依赖的情况下，我们的设置的硬度降低到随机$2$武装土匪：我们证明了上界的顺序$(\log T)/Δ$（高达$\log\log$因素）的遗憾可以实现没有信息的需求曲线。最后，我们显示了一个$O(\sqrt{T})$上限的设置中，买家的决定是非随机的遗憾，和遗憾的测量相对于最好…
2019-03-05 cs.LG stat.ML
Branch & Learn with Post-hoc Correction for Predict+Optimize with Unknown Parameters in Constraints
The Chinese University of Hong Kong（香港中文大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
结合机器学习和约束优化，Predict + Optimize可处理包含求解时未知参数的优化问题。以前的作品只关注目标未知数的情况。最近提出了一个新的框架，以满足未知的约束，通过引入一个损失函数，所谓的事后后悔，考虑到纠正的成本不可满足的预测。由于事后后悔是不可微的，以前的工作只计算其近似。虽然事后后悔的概念是通用的，但其具体实现仅适用于包装和覆盖线性规划问题。在本文中，我们首先展示了如何计算事后后悔精确的任何优化问题可解的递归算法满足简单的条件。实验表明，与早期的近似方法相比，解决方案的质量有了很大的提高。此外，我们的实验表明，不同的组合的校正和惩罚函数中使用的事后后悔相同的基准的经验行为。研究结果为在不同的应用场景中定义适当的事后后悔提供了见解。
2023-03-12 cs.AI cs.LG math.OC
Optimistic Thompson Sampling for No-Regret Learning in Unknown Games
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对未知博弈中的多玩家决策问题，提出基于汤普森采样的算法，利用对手动作与奖励结构将实验预算降低十倍以上，并给出对数级遗憾界，同时提出先乐观后无悔框架并在交通路由与雷达感知中验证其有效性。
2024-02-25 cs.AI cs.GT cs.LG
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University（高等经济大学）
本研究提出一种基于Wasserstein距离的不确定性估计器，结合深度生成代理模型用于黑盒模拟器的无梯度优化，经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University（东北大学）
在线优化最近开辟了途径，研究最优控制的时变费用函数是事先未知的。受此启发，我们研究了动态未知的线性时不变（LTI）系统的分布式在线线性二次型调节器（LQR）问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本，可以逆向演化，并且每个代理只能部分地顺序观察。该网络的目标是共同（i）估计未知的动态和（ii）计算本地控制序列竞争的最佳集中式政策在事后，这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体，代理计算他们的系统估计在探索阶段。然后，每个代理应用分布式在线梯度下降的半定规划（SDP）的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$，这意味着随着时间的推移，所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney（悉尼大学）；NVIDIA（英伟达）
贝叶斯优化（BO）算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过获取函数和先验函数（如高斯过程）来估计查询点的效用。然而，最近，通过密度比估计（BORE）重新制定BO允许重新解释的采集功能作为一个概率的二元分类器，消除了需要一个明确的先验函数和增加可扩展性。在本文中，我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明，孔可以自然地扩展到一个批量优化设置，通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证，并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们设计和分析的经典汤普森采样（TS）过程中的贝叶斯优化（BO）的设置功能评估是昂贵的，但可以并行执行的变化。我们的理论分析表明，在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果：使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外，通过建模完成函数评估所需的时间，我们表明，在时间约束下，异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析，表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些，建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是一种用于优化$D$维函数的技术，该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功，但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中，我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力，包含更丰富的函数类。我们证明了，添加剂功能的遗憾只有线性依赖于$D$，即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处，在我们的框架。通过合成的例子，一个科学的模拟和人脸检测问题，我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
Logarithmic Regret for Nonlinear Control
University of Pennsylvania（宾夕法尼亚大学）
本文研究未知非线性动力系统的序贯控制学习，证明在最优策略具有持续激励性时可实现对数遗憾，并给出非持续激励情形下的平方根遗憾界，首次为非线性依赖未知参数的系统建立遗憾保证。
2025-04-11 cs.LG
Time-Varying Gaussian Process Bandits with Unknown Prior
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对时变贝叶斯优化中函数先验未知、现有平稳问题优化方案无法适用的问题，提出PE-GP-UCB算法，推导了遗憾界，实验证明其效果优于多种现有方法。
2025-02-22 cs.LG stat.ML
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法，例如贝叶斯优化，用于各种应用，包括超参数调整和实验设计。最近，\emph{multi-fidelity}方法已经获得了相当大的关注，因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。然而，在许多实际应用中，可能存在连续的近似谱。例如，当调整昂贵的神经网络时，可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里，近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中，我们开发了贝叶斯优化方法，BOCA，这种设置。我们验证了它的理论性质，并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems
University of Southern California（南加利福尼亚大学）；Preferred Networks America, Inc（美国优选网络公司）
后悔分析是多智能体强化学习（MARL）中的一个挑战，主要是由于环境的动态性和智能体间信息的分散性。我们试图在多智能体线性二次（LQ）动力系统的分散学习的背景下解决这一挑战。我们从一个简单的设置，包括两个代理和两个动态解耦的随机线性系统，每个系统由一个代理控制。系统通过二次成本函数耦合。当两个系统的动态是未知的，有没有代理之间的通信，我们证明了没有学习策略可以产生次线性$T$遗憾，其中$T$是时间范围。当只有一个系统的动态是未知的，有一个单向的通信从代理控制未知系统的其他代理，我们提出了一个MARL算法的基础上建设一个辅助单代理LQ问题。在建议的MARL算法的辅助单代理问题作为一个隐式的协调机制之间的两个学习代理。这允许代理在辅助单代理问题的遗憾的$O(\sqrt{T})$内实现遗憾。因此，使用现有的单智能体LQ遗憾的结果，我们的算法提供了一个$\tilde{O}(\sqrt{T})$遗憾界。(Here $\tilde{O}(\cdot)$隐藏常数和对数因子）。我们的数值实验表明，这个界限是匹配的实践。从两个代理的问题，我们将我们的结果扩展到多代理LQ系统与某些通信模式。
2020-01-27 cs.LG cs.MA math.OC
No-Regret Learning in Two-Echelon Supply Chain with Unknown Demand Distribution
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
针对需求分布未知的两级供应链模型，分别在集中式和分散式设定下基于Online Gradient Descent和Online Newton Step设计在线学习算法，实现了良好的后悔值保证与向最优库存决策的收敛，并验证了其经验有效性。
2023-10-20 cs.LG math.OC
High-probability zeroth-order online convex optimisation beyond Euclidean geometry
University of Oxford（牛津大学）；École Polytechnique, IP Paris（巴黎理工学院）
本文提出基于ℓ_ q-Lipschitz损失、ℓ_ p正则化FTRL和锥测度采样的随机两点有限差分梯度估计器，在高概率下统一控制在线凸优化的后悔界，揭示q>2时的固有间隙。
2026-05-08 cs.LG stat.ML
Oracle-Efficient Hybrid Online Learning with Unknown Distribution
Purdue University（普渡大学）
针对特征由未知独立同分布过程生成、标签对抗生成的混合在线学习问题，提出Oracle高效在线预测器，首次得到次线性遗憾界，验证了相关猜想并扩展到分布漂移及情境K臂老虎机场景。
2024-01-27 cs.LG stat.ML
No-regret Algorithms for Multi-task Bayesian Optimization
Indian Institute of Science（印度科学理工学院）
我们考虑在非参数贝叶斯优化（BO）设置中未知向量值函数的多目标优化（MOO），目的是学习目标的Pareto前沿上的点。大多数现有的BO算法不建模的事实，即多个目标，或等价地，任务可以共享相似性，甚至少数缺乏严格的，有限时间的遗憾保证，明确捕获任务间的结构。在这项工作中，我们解决这个问题，通过建模任务间的依赖关系，使用多任务内核和开发两个新的BO算法的基础上随机标量化的目标。我们的算法采用向量值核回归作为垫脚石，属于置信上限类的算法。在光滑性假设下，未知的向量值函数是与多任务内核相关的再生内核希尔伯特空间的元素，我们推导出最坏情况下的遗憾界限，明确捕捉任务之间的相似性的算法。我们在合成和现实生活中的MOO问题上对我们的算法进行了数值基准测试，并展示了多任务内核学习所提供的优势。
2020-08-20 cs.LG stat.ML
Assortment Optimization under Unknown MultiNomial Logit Choice Models
本文以电子商务为背景，研究了在线商品分类优化问题。卖家提供一个分类，即产品的子集，每个到达的客户，谁然后购买一个或没有产品从她提供的分类。客户的购买决策由基础的多项Logit（MNL）选择模型控制。卖方的目标是最大限度地提高总收入在一个有限的销售范围内，受资源约束和不确定性的MNL选择模型。我们首先提出了一个有效的在线政策，招致遗憾$\tilde{O}(T^{2/3})$，其中$T$是在销售范围内的客户数量。然后，我们提出了一个UCB政策，实现了遗憾$\tilde{O}(T^{1/2})$。两个后悔界限都是次线性的。
2017-04-01 cs.LG
Bayesian Optimization for Unknown Cost-Varying Variable Subsets with No-Regret Costs
FPT Software AI Center（FPT软件人工智能中心）；Hanoi University of Science and Technology（河内理工大学）
针对BOCVS问题在随机未知成本下的扩展，提出分探索与利用两阶段的新算法，在质量与成本遗憾上均达次线性速率，并在多基准测试中超越基线。
2024-12-20 cs.LG
Information Theoretic Regret Bounds for Online Nonlinear Control
University of Washington（华盛顿大学）；Microsoft Research NYC（微软研究院纽约）
本文研究了一个未知的非线性动态系统中的顺序控制问题，在这个系统中，我们将底层系统动态建模为一个已知的再生核希尔伯特空间中的未知函数。这个框架产生了一个一般的设置，允许离散和连续的控制输入，以及非光滑，不可微的动态。我们的主要结果，较低的置信度为基础的连续控制（$LC^3$）算法，享有一个接近最佳的$O(\sqrt{T})$遗憾的情节设置，其中$T$是情节的数量对最佳控制器的约束。该界与系统动力学的维数没有明确的依赖关系，系统动力学的维数可以是无穷大，而只取决于信息论的量。我们经验表明，它的应用程序的一些非线性控制任务，并证明了学习模型动态探索的好处。
2020-06-22 cs.LG cs.RO math.OC
A First-Order Learning Algorithm for Online Resource Allocation with Constant Regret
City University of Hong Kong（香港城市大学）；New York University（纽约大学）
针对有限时域在线资源分配问题，提出一种原始一阶学习策略，每周期仅做一次梯度上升更新，实现常数遗憾且无需线性规划求解和非退化假设。
2026-10-14 cs.LG
Ensemble Distributionally Robust Bayesian Optimisation with Continuous Context
Faculty of Computer Science HSE University（计算机科学学院 高等经济大学）
本文提出一种计算高效的新算法，用于处理分布不确定性下的零阶优化问题，理论分析显示其具有亚线性 regrets，且实验结果与理论保证一致。
2026-06-24 cs.AI cs.LG stat.ML
Improper Learning for Non-Stochastic Control
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿团队）
我们考虑控制一个可能未知的线性动力系统的对抗性扰动，对抗性选择凸损失函数，和部分观察状态，称为非随机控制的问题。我们介绍了一个控制器参数化的基础上去噪的意见，并证明，应用在线梯度下降，这个参数化产生一个新的控制器，达到次线性遗憾与一大类闭环政策。在完全对抗的设置，我们的控制器达到最佳遗憾界的$\sqrt{T}$ -当系统是已知的，并结合最小二乘估计的初始阶段，$T^{2/3}$当系统是未知的，都产生第一次线性遗憾的部分观察设置。我们的界限是第一个在非随机控制设置，竞争与\emph{all}稳定的线性动态控制器，而不仅仅是状态反馈。此外，在半对抗噪声包含随机和对抗成分的存在下，我们的控制器达到最佳遗憾界的$\mathrm{poly}(\log T)$当系统是已知的，和$\sqrt{T}$当未知的。据我们所知，这给出了在线线性二次高斯控制器的第一个端到端$\sqrt{T}$遗憾，并且适用于具有对抗性损失和半对抗性噪声的更一般的设置。
2020-06-24 cs.LG math.OC stat.ML
No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints
National University of Singapore（新加坡国立大学）
本文研究在单调性安全约束下顺序最大化未知函数的问题，提出基于高斯过程的算法，在安全函数仅对单变量单调的条件下实现了次线性累积遗憾，并能寻找每个输入对应的最优安全动作。
2024-06-05 cs.LG stat.ML
Information Design with Unknown Prior
本文研究接收者先验未知时的信息设计问题，提出通过重复互动从行动中学习先验的无悔算法，并在一般情形与二元行动情形分别得到 Θ(log T) 和 Θ(log log T) 的紧遗憾界。
2025-09-30 cs.DS cs.GT cs.LG
Online Convex Optimisation: The Optimal Switching Regret for all Segmentations Simultaneously
The Alan Turing Institute（阿兰·图灵研究所）；University College London（伦敦大学学院）
研究在线凸优化问题，提出一种高效算法，能够在所有可能的分割上同时实现渐近最优的切换后悔，并在动态后悔上获得适应比较序列变化率的新界限。
2025-03-05 cs.LG stat.ML
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind（深度思维）
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$，其中$d$是维数，$n$是交互数.这改进了Bubeck等人（2017）的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Adaptive Policy Learning Under Unknown Network Interference
Department of Statistical Science（统计科学系）；Duke University（杜克大学）
本文提出一种基于Gibbs采样的自适应策略学习算法，同时学习网络干扰结构并优化个体治疗分配，实现总奖励线性建模及因果分析。
2026-05-11 cs.LG stat.ML
Derivative-Free & Order-Robust Optimisation
Huawei R&D UK（华为英国研发中心）；Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在本文中，我们正式订单鲁棒优化的在线学习最小化简单的遗憾的一个例子，并提出Vroom，零阶优化算法能够实现消失的遗憾在非平稳环境中，同时恢复有利的利率随机奖励生成过程。我们的研究结果是第一个针对对抗场景中简单的后悔定义的，揭示了一个在以前的工作中很少考虑的挑战。
2019-10-22 cs.LG stat.ML
Regret Bounds for Robust Adaptive Control of the Linear Quadratic Regulator
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们考虑线性二次型调节器（LQR）的自适应控制，其中一个未知的线性系统被控制的二次成本。利用线性系统估计和鲁棒控制器综合方面的最新发展，我们提出了第一个可证明的多项式时间算法，该算法为该问题的次线性遗憾提供了高概率保证。我们进一步研究了遗憾最小化和参数估计之间的相互作用，通过证明任何算法使用的探索时间表的预期遗憾的下限。最后，我们进行了数值研究比较我们的鲁棒自适应算法的自适应LQR文献的其他方法，并证明了我们提出的方法的灵活性，将其扩展到一个需求预测问题的状态约束。
2018-05-23 cs.LG math.OC stat.ML
Multi-Robot Gaussian Process Estimation and Coverage: A Deterministic Sequencing Algorithm and Regret Analysis
Michigan State University（密歇根州立大学）
我们研究的问题，分布式多机器人覆盖在一个未知的，不均匀的感觉领域。作为一个实现的高斯过程和贝叶斯技术建模的感觉场，我们设计了一个政策，旨在平衡学习的感觉功能和覆盖的环境之间的权衡。我们提出了一种自适应覆盖算法，称为学习和覆盖的确定性排序（DSLC），它可以安排学习和覆盖时期，使其重点逐渐从探索转移到利用，同时永远不会完全停止学习。使用一种新的定义的覆盖遗憾的特点的整体覆盖性能的多机器人团队在一个时间范围$T$，我们分析DSLC提供一个上限预期的累积覆盖遗憾。最后，我们说明了该算法的经验性能，通过模拟的覆盖任务在一个未知的野火分布。
2021-06-01 cs.RO cs.SY eess.SY
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
我们提出了一种贝叶斯函数优化算法-也就是说，找到优化过程的函数-由实验者的信念和直觉指导，关于预期的特征（长度尺度，平滑度，周期性等）。最优解编码到高斯过程的协方差函数中。我们的算法生成一个序列的有限维随机子空间的功能空间由一组绘制从实验者的高斯过程。标准贝叶斯优化应用于每个子空间，并找到最佳解决方案用作下一个子空间的起点（原点）。利用有效维数的概念，我们分析了我们的算法的收敛性，并提供了一个遗憾界，表明我们的算法收敛于次线性时间提供了一个有限的有效维数存在。我们在模拟和真实世界的实验中测试了我们的算法，即盲函数匹配，寻找铝合金的最佳沉淀强化函数，以及深度网络的学习率调度优化。
2020-09-08 cs.LG stat.ML
U-Calibration: Forecasting for an Unknown Agent
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
针对未知效用智能体的预测评估问题，提出U-calibration指标及在线算法，证明其误差是所有智能体实现次线性遗憾的充要条件，且达到最优速率。
2023-06-30 cs.GT cs.LG
Multi-fidelity Gaussian Process Bandit Optimisation
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
在许多科学和工程应用中，我们的任务是最大化一个昂贵的评估黑盒功能$f$。此问题的传统设置仅假设此单个功能的可用性。然而，在许多情况下，可以获得对$f$的廉价近似。例如，机器人昂贵的真实世界行为可以通过廉价的计算机模拟来近似。我们可以使用这些近似，以消除低功能值区域便宜，并使用昂贵的评估$f$在一个小的，但有前途的区域，并迅速确定最佳。我们正式这个任务作为一个\emph{multi-fidelity}强盗问题，目标函数和它的近似采样从一个高斯过程。我们开发MF-GP-UCB，一种新的方法的基础上的置信上限技术。在我们的理论分析中，我们证明了它恰恰表现出上述行为，并实现更好的后悔比策略，忽略多保真度信息。经验上，MF-GP-UCB在几个合成和真实实验上优于这种朴素策略和其他多保真度方法。
2019-03-15 cs.AI cs.LG stat.ML
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Adaptive Risk Mitigation in Demand Learning
University of Michigan（密歇根大学）
本文提出自适应风险学习框架，通过动态调整模糊集来平衡需求学习中的风险与遗憾，实现高收入和低风险。
2025-12-15 cs.IR cs.LG
Regret Minimization for Piecewise Linear Rewards: Contracts, Auctions, and Beyond
Politecnico di Milano（米兰理工大学）
研究在相关模型参数未知且由概率分布确定时，如何优化未知随机分段线性奖励函数。提出通用在线学习框架，设计算法达\(\widetilde{O}(\sqrt{nT})\)遗憾值，解决了微观经济学习文献中的两个开放问题。
2026-07-21 cs.GT cs.LG
Statistical Learning with Sublinear Regret of Propagator Models
Imperial College London（帝国理工学院）
针对清算风险资产时未知传播子与临时冲击参数的学习问题，提出交替探索与利用的交易算法，实现高概率亚线性遗憾，并给出核估计与信号条件期望的收敛速度。
2025-01-22 cs.LG math.PR q-fin.TR
Optimistic Safety for Online Convex Optimization with Unknown Linear Constraints
University of California, Santa Barbara（加州大学圣芭芭拉分校）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
研究未知线性约束下的在线凸优化问题，提出OSOCO算法，实现$\tilde{O}(\sqrt{T})$遗憾且无约束违反，改进了静态约束下的已知最优遗憾，并通过数值实验验证了有效性。
2024-10-14 cs.LG math.OC
No-Regret Algorithms for Time-Varying Bayesian Optimization
Wayne State University（韦恩州立大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们考虑时变贝叶斯优化问题。假设每个时刻的未知函数都位于一个范数有界的再生核希尔伯特空间中。我们采用一般的变化预算模型来捕捉时变的环境，变化的特点是RKHS范数的变化。我们采用重新启动和滑动窗口机制，介绍了两个GP-UCB型算法：R-GP-UCB和SW-GP-UCB。我们得出的第一个（频率论）的动态遗憾保证这两种算法。我们的结果不仅恢复了以前使用线性核时线性强盗的结果，而且补充了以前在贝叶斯正则性假设下时变高斯过程强盗的遗憾分析，即，每个函数都是来自高斯过程的样本。
2021-04-30 cs.LG
Learning Decentralized Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Artificial Intelligence and Automation at the Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；College of Petroleum Engineering, Yangtze University（长江大学石油工程学院）；Elmore Family School of Electrical and Computer Engineering at Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文针对模型未知的分散式LQR问题，提出基于扰动-反馈表示和带记忆延迟反馈在线凸优化的自适应算法，在部分嵌套信息模式下实现$\sqrt{T}$遗憾界，并通过数值实验验证。
2024-07-04 cs.LG cs.SY eess.SY
Regret Analysis of Distributed Online Control for LTI Systems with Adversarial Disturbances
Northeastern University（东北大学）
本文针对对抗扰动下动力学已知/未知的LTI系统网络分布式在线控制问题，分别提出分布式扰动反馈控制器和分布式探索后执行方法，推导得到不同场景下的悔度上界。
2023-10-04 cs.LG cs.SY eess.SY
Model-free Online Learning for the Kalman Filter: Forgetting Factor and Logarithmic Regret
University of California San Diego（加州大学圣地亚哥分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对未知非爆发线性随机系统的在线预测，提出用指数遗忘平衡回归模型，以兼顾回归与正则化误差并降低累积误差，得到 O(log^3 N) 的更锐利对数遗憾界。
2025-05-13 cs.LG cs.SY eess.SP
Mean-Field Bayesian Optimisation
University College London（伦敦大学学院）；University of Oxford（牛津大学）；ETH Zurich（苏黎世联邦理工学院）
本文针对大量协作智能体的黑箱平均收益优化问题，提出平均场假设下的 MF-GP-UCB 算法，实现与智能体数量无关的遗憾界，并在多项真实任务中显著提升性能与可扩展性。
2025-02-17 cs.LG cs.MA
Data-Driven Adversarial Online Control for Unknown Linear Systems
Georgia Institute of Technology（佐治亚理工学院）
针对未知线性系统对抗式在线控制问题，提出基于行为系统理论和在线梯度下降的新型数据驱动算法，达到已知最优$\tilde{O}(T^{2/3})$悔界，并扩展至输出反馈场景。
2024-03-09 cs.LG cs.SY eess.SY
