发表机构
Université Paris-Saclay; CentraleSupélec; Laboratoire des Signaux et Systèmes; Laboratoire national de métrologie et d’essais (LNE)（巴黎-萨克雷大学; 中央高等电力学院; 信号与系统实验室; 国家计量与测试实验室（LNE））
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文研究固定先验期望改进（EI）在 Matérn 和平方指数核 RKHS 中的简单遗憾率，证明弱 EI 策略达到最优速率，且精确 EI 策略在相应函数类上具有极小极大最优性。
AI 中文摘要
我们研究了期望改进（EI）在最小化确定性函数 $f$ 中的应用，其中 $f$ 属于连续正半定核 $k$ 在非空紧集 $\mathcal X\subset\mathbb R^d$ 上的再生核希尔伯特空间（RKHS）$\mathcal H_k$。函数值被精确观测，EI 基于一个固定的零均值高斯过程模型计算，该模型的协方差为 $\sigma^2k$，其中 $\sigma>0$。弱 EI 策略查询一个其 EI 至少为其最大值固定正比例的点。我们引入了一个序贯分离半径的概念，将排序后的选定点创新范数与 Kolmogorov 宽度联系起来，借鉴了贪婪逼近的思想。来自散乱数据逼近的标准幂函数估计和有限预算遗憾论证得出了这些速率。在 $N$ 次初始后查询之后，对于光滑度 $\nu>0$ 的各向同性 Matérn 核，每个弱 EI 策略的简单遗憾为 $O(N^{-\nu/d})$；对于各向同性平方指数核，简单遗憾为 $O(\exp[-c_1\min\{N,N^{1/d}\log(eN)\}])$，其中 $c_1>0$。对于 $d=1$，精确 EI 的更强界 $O(\exp[-c_2N\log(eN)])$ 成立，其中 $c_2>0$。这些界在每个固定 RKHS 球上一致成立。如果 $\mathcal X$ 具有非空内部且 $B>0$，则对于 Matérn 核，精确 EI 策略在半径为 $B$ 的 RKHS 球上达到极小极大速率最优，即使在最终推荐不必是查询点的随机策略中也是如此。对于平方指数核，在最终推荐可以是 $\mathcal X$ 中任意点的确定性方法中，精确 EI 策略在指数中的常数意义上达到极小极大速率最优。
英文摘要
We study expected improvement (EI) for minimizing a deterministic function $f$ in the RKHS $\mathcal H_k$ of a continuous positive-semidefinite kernel $k$ on a nonempty compact set $\mathcal X\subset\mathbb R^d$. Function values are observed exactly, and EI is computed from a fixed zero-mean Gaussian-process model with covariance $σ^2k$, $σ>0$. A weak-EI policy queries a point whose EI is at least a fixed positive fraction of its maximum. We introduce a notion of sequential separation radius relating ranked selected-point innovation norms to Kolmogorov widths, drawing on greedy approximation. Standard power-function estimates from scattered-data approximation and a finite-budget regret argument yield the rates. After $N$ post-initial queries, every weak-EI policy has simple regret $O(N^{-ν/d})$ for isotropic Matérn kernels of smoothness $ν>0$ and $O(\exp[-c_1\min\{N,N^{1/d}\log(eN)\}])$ for the isotropic squared-exponential kernel, with $c_1>0$. For $d=1$, the sharper bound $O(\exp[-c_2N\log(eN)])$ holds for exact EI, with $c_2>0$. These bounds are uniform over each fixed RKHS ball. If $\mathcal X$ has nonempty interior and $B>0$, the exact EI policy is minimax-rate optimal over the RKHS ball of radius $B$ for Matérn kernels, even among randomized strategies whose final recommendation need not be a query point. For the squared-exponential kernel, it is minimax-rate optimal up to constants in the exponent among deterministic methods whose final recommendation may be any point of $\mathcal X$.
Comments43 pages. Minor corrections and clarifications
