Gaussian Processes (GPs) are a popular approach to predict the output of a parameterized experiment. They have many applications in the field of Computer Experiments, in particular to perform sensitivity analysis, adaptive design of experiments and global optimization. Nearly all of the applications of GPs require the inversion of a covariance matrix that, in practice, is often ill-conditioned. Regularization methodologies are then employed with consequences on the GPs that need to be better understood.The two principal methods to deal with ill-conditioned covariance matrices are i) pseudoinverse and ii) adding a positive constant to the diagonal (the so-called nugget regularization).The first part of this paper provides an algebraic comparison of PI and nugget regularizations. Redundant points, responsible for covariance matrix singularity, are defined. It is proven that pseudoinverse regularization, contrarily to nugget regularization, averages the output values and makes the variance zero at redundant points. However, pseudoinverse and nugget regularizations become equivalent as the nugget value vanishes. A measure for data-model discrepancy is proposed which serves for choosing a regularization technique.In the second part of the paper, a distribution-wise GP is introduced that interpolates Gaussian distributions instead of data points. Distribution-wise GP can be seen as an improved regularization method for GPs.
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of British Columbia（不列颠哥伦比亚大学）
尽管深度神经网络过度参数化，并且在没有显式正则化的情况下进行训练，但它的泛化能力很好。这个奇怪的现象激发了广泛的研究活动，以建立其统计原则：在什么条件下观察？这些如何依赖于数据和训练算法？什么时候正则化有利于泛化？虽然这些问题对于深度神经网络仍然是开放的，但最近的研究试图通过研究更简单的，通常是线性的模型来获得见解。我们的论文有助于这一不断增长的工作线，通过检查生成高斯混合模型下的二进制线性分类。最近的结果的启发梯度下降的隐式偏差，我们研究了最大利润SVM分类器（对应于逻辑损失）和最小范数插值分类器（对应于最小二乘损失）。首先，我们利用在[V. Muthukumar et al.，arXiv：2005.08054，（2020）]以将SVM解与最小范数内插解相关联。其次，我们推导出后者的分类误差的新的非渐近界。结合这两个，我们提出了新的充分条件的协方差谱和信号噪声比（SNR）下，插值估计实现渐近最优性能overparameterization增加。有趣的是，我们的结果扩展到一个噪声模型与恒定概率噪声翻转。与以前研究的判别数据模型相反，我们的研究结果强调了SNR的关键作用及其与数据协方差的相互作用。最后，通过结合分析参数和数值演示，我们确定的条件下，插值估计比相应的正则化估计表现更好。
Gaussian Mixture Model with unknown diagonal covariances via continuous sparse regularization
Centrale Lyon, CNRS UMR 5208, Institut Camille Jordan（里昂中央理工学院，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）；Institut Universitaire de France (IUF)（法兰西学院）；Univ. Claude Bernard, CNRS UMR 5208, Institut Camille Jordan（克洛德·贝尔纳大学，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
Horseshoe Regularization for Machine Learning in Complex and Deep Models
自从正则化的马蹄先验出现以来，全局-局部收缩方法已被证明是机器学习中贝叶斯方法发展的沃土，特别是对于高维回归和分类问题。它们在计算上取得了显著的成功，并得到了强有力的理论支持。大多数现有文献都集中在线性高斯情况下;参见Bhadra et al.（2019 b）进行系统调查。本文的目的是通过回顾与机器学习应用更相关的复杂模型中的方法和计算发展，证明马蹄正则化的有用性。具体来说，我们专注于非线性和非高斯模型中的马蹄正则化方法的挑战;多变量模型;和深度神经网络。我们还概述了最近的计算马蹄形收缩的复杂模型的发展，以及可用的软件实现列表，允许一个冒险超出舒适区的典型线性回归问题。
Relaxed Control with Entropy Regularization for Itô Stochastic Systems with Input Delay
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）；School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）
