Cauchy-Schwarz Regularized Autoencoder
Imperial College London(帝国理工学院);Facebook AI Applied Research(Facebook人工智能应用研究部);University College London(伦敦大学学院)
无监督学习最近的工作集中在潜在变量模型的有效推理和学习。通过最大化证据(边际似然)来训练这些模型通常是棘手的。因此,一个常见的近似是最大化证据下限(ELBO)。变分自编码器(VAE)是一类功能强大且广泛使用的生成模型,其针对大型数据集有效地优化ELBO。然而,VAE的默认高斯先验选择对其表示真实后验的能力施加了强约束,从而降低了整体性能。高斯混合模型(GMM)将是一个更丰富的先验,但不能有效地处理VAE框架内,因为GMM的Kullback-Leibler发散的棘手性。我们偏离了常见的VAE框架,有利于高斯混合先验的解析解。为了对GMM先验进行有效的推断,我们引入了一个新的基于Cauchy-Schwarz散度的约束目标,该目标可以解析地计算GMM。这个新的目标使我们能够将更丰富的,多模态的先验信息纳入自动编码框架。我们提供了一系列的数据集的实证研究,并表明我们的目标提高了变分自动编码模型的密度估计,无监督聚类,半监督学习,和人脸分析。
2021-02-12 cs.CV cs.LG
Certified Adversarial Robustness via Partition-based Randomized Smoothing
Sharif University of Technology(谢里夫理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出基于像素划分的随机平滑(PPRS)方法,通过改善加性高斯噪声下图像可见性来提升神经网络置信度,从而增大认证预测的鲁棒性半径,显著提升了模型的认证准确性和稳定性。
2024-09-20 cs.AI cs.LG
Certified Robustness from Approximate Gaussian Mixture Structures in Pretrained Latent Spaces
CS & MINDS Johns Hopkins University(计算机科学与MINDS约翰霍普金斯大学);CIS University of Pennsylvania(计算机与信息科学宾夕法尼亚大学);AMS & MINDS Johns Hopkins University(人工智能与机器学习系约翰霍普金斯大学);ESE, Radiology & IDEAS University of Pennsylvania(工程科学与放射学系及IDEAS宾夕法尼亚大学)
本文提出一个框架,利用预训练编码器将输入映射到近似高斯混合的潜在分布,通过理论分析证明鲁棒性退化有界,从而实现可认证鲁棒分类器,在CIFAR-10和ImageNet上达到最优或竞争性的认证准确率。
2026-05-25 cs.AI cs.LG
A General and Adaptive Robust Loss Function
Google Research(谷歌研究院)
我们给出了Cauchy/Lorentzian、Geman-McClure、Welsch/Leclerc、广义Charbonnier、Charbonnier/pseudo-Huber/L1-L2和L2损失函数的推广。通过引入鲁棒性作为连续参数,我们的损失函数允许围绕鲁棒损失最小化构建的算法被推广,这提高了基本视觉任务(如配准和聚类)的性能。将我们的损失解释为单变量密度的负对数,会产生一个一般概率分布,其中包括正态分布和柯西分布作为特殊情况。这种概率解释使得能够训练神经网络,其中损失的鲁棒性在训练期间自动自适应,这提高了基于学习的任务(例如生成图像合成和无监督单目深度估计)的性能,而不需要任何手动参数调整。
2019-04-04 cs.CV cs.LG stat.ML
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology(新泽西理工学院);Kent State University(肯特州立大学);University of Oregon(俄勒冈大学);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
在本文中,我们提出了一种新的异构高斯机制(HGM),以保持差分隐私在深度神经网络,具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从(0,1]放宽到(0,\infty),并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配,提供了一个独特的能力,以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性,我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后,提出了一个更严格的鲁棒性界。理论分析和全面的评估表明,我们的机制显着提高了不同的私人深度神经网络的鲁棒性,与基线方法相比,在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Diverse Gaussian Noise Consistency Regularization for Robustness and Uncertainty Calibration
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Boston University(波士顿大学)
本文提出多样化高斯噪声一致性正则化方法,通过局部损失景观分析推导理论界,在保持干净样本准确率的同时显著提升图像分类器对多种损坏的鲁棒性与不确定性校准性能。
2023-05-29 cs.AI cs.CV cs.LG
Improving Robustness Without Sacrificing Accuracy with Patch Gaussian Augmentation
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
在现实世界中部署机器学习系统既需要对干净数据的高准确性,也需要对自然发生的损坏具有鲁棒性。虽然架构的进步提高了准确性,但构建强大的模型仍然具有挑战性。先前的工作认为,鲁棒性和准确性之间存在固有的权衡,例如标准数据增强技术,如Cutout,它提高了干净的准确性,但没有鲁棒性,以及加性高斯噪声,它提高了鲁棒性,但损害了准确性。为了克服这种权衡,我们引入了补丁高斯,一个简单的增强方案,在输入图像中随机选择的补丁添加噪声。使用Patch Gaussian训练的模型在CIFAR-10和ImageNetCommon Corruptions基准测试中达到了最先进的水平,同时还提高了干净数据的准确性。我们发现,这种增强导致对高频噪声的敏感性降低(类似于高斯),同时保留利用图像中相关高频信息的能力(类似于Cutout)。最后,我们表明,补丁高斯可以与其他正则化方法和数据增强政策,如AutoAugment,并提高性能的COCO目标检测基准。
2019-06-06 cs.CV cs.LG stat.ML
Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications
Xi’an Jiaotong University(西安交通大学);Xi’an Technological University(西安工业大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);UiT - The Arctic University of Norway(挪威北极大学)
本文提出面向多个分布的广义柯西-施瓦茨散度(GCSD)及其核闭式估计器,并在深度聚类与多源域适应任务中验证其鲁棒性和有效性。
2024-06-06 cs.AI cs.LG
Robustness of classifiers to uniform $\ell\_p$ and Gaussian noise
Ecole Normale Supérieure de Lyon(里昂高等师范学院);UCLA Vision Lab(加州大学洛杉矶分校视觉实验室);DeepMind(深度思维)
我们研究了分类器对各种随机噪声模型的鲁棒性。特别是,我们认为均匀地从$\ell\_p$球$p \in [1, \infty]$和高斯噪声与任意协方差矩阵的噪声。我们的特点是这种鲁棒性随机噪声的分类器的决策边界的距离。该分析适用于线性分类器以及具有局部近似平坦的决策边界的分类器,这是最先进的深度神经网络所满足的条件。实验验证了预测的鲁棒性。
2018-02-22 cs.CV cs.LG stat.ML
Robustness Guarantees for Bayesian Inference with Gaussian Processes
University of Oxford(牛津大学);Microsoft Research Cambridge(微软剑桥研究院)
贝叶斯推理和高斯过程被广泛用于从机器人和控制到生物系统的应用中。这些应用中有许多是安全关键的,需要与学习模型相关的不确定性的表征及其预测的正式保证。在本文中,我们定义了一个鲁棒性措施贝叶斯推理对输入扰动,给出的概率,测试点和一个紧凑的集在输入空间包含测试点,学习模型的预测将保持$δ-$接近所有的点在集合中,对于$δ>0.$这样的措施可以用来提供正式的保证,没有对抗性的例子。通过采用高斯过程的理论,我们推导出严格的上界所产生的鲁棒性,利用Borell-TIS不等式,并提出算法计算。我们在两个例子上评估了我们的技术,一个GP回归问题和一个完全连接的深度神经网络,在那里我们依赖于对GP的弱收敛来研究MNIST数据集上的对抗性例子。
2018-10-24 cs.LG stat.ML
Adversarial Robustness Guarantees for Classification with Gaussian Processes
University of Oxford(牛津大学)
研究了高斯过程分类模型的对抗鲁棒性。给定包含测试点$x^*$和在数据集$\mathcal{D}$上训练的GPC的输入空间$T\subseteq \mathbb{R}^d$的紧凑子集,我们的目标是计算$T$中所有点上GPC的最小和最大分类概率。为了做到这一点,我们展示了如何在$T$中导出GPC输出的函数下限和上限,并在分支定界优化算法中实现这些。对于任何错误阈值$ε> 0$选择的先验,我们表明,我们的算法是保证达到值$ε$ -接近的实际值在1000多次迭代。我们应用我们的方法来研究GPC模型在2D合成数据集,SPAM数据集和MNIST数据集子集上的鲁棒性,提供不同GPC训练技术的比较,并展示我们的方法如何用于可解释性分析。我们的实证分析表明,GPC的鲁棒性增加更准确的后验估计。
2020-03-11 cs.LG stat.ML
Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua University(清华大学)
针对深度学习在非完美环境中的噪声鲁棒性问题,本文提出用alpha-stable噪声替代高斯噪声进行数据增强训练,实验证明该方法对脉冲噪声具有更强的鲁棒性。
2023-11-17 cs.LG eess.SP
Adversarial Robustness Guarantees for Gaussian Processes
University of Oxford(牛津大学)
高斯过程(GP)允许对模型不确定性进行原则性计算,使其对安全关键应用具有吸引力。这样的场景要求GP决策不仅准确,而且对扰动具有鲁棒性。在本文中,我们提出了一个框架来分析GP的对抗鲁棒性,定义为模型的决策有界扰动的不变性。给定输入空间$T\subseteq \mathbb{R}^d$的一个紧致子集,一个点$x^*$和一个GP,我们通过计算$T$中GP的预测范围的上下界来提供对抗鲁棒性的可证明保证。我们开发了一个分支定界方案,以完善的界限,并显示,对于任何$ε> 0$,我们的算法是保证收敛到值$ε$ -接近的实际值,在许多迭代。该算法可以随时处理回归和分类任务,并在实践中使用大多数内核的解析公式。我们评估我们的方法的合成和标准的基准数据集,包括SPAM,MNIST和FashionMNIST的集合。我们研究了近似推理技术对鲁棒性的影响,并演示了我们的方法如何用于可解释性。我们的实证结果表明,对抗的鲁棒性GP增加准确的后验估计。
2021-04-07 cs.LG stat.ML
Built-in Elastic Transformations for Improved Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学)
我们专注于在神经视觉分类器的卷积中建立鲁棒性,特别是针对弹性变形,遮挡和高斯噪声等自然扰动。现有的CNN在干净的图像上表现出出色的性能,但无法解决自然发生的扰动。在本文中,我们开始从弹性扰动,近似(局部)观察点的对象的变化。我们通过将滤波器参数化为固定弹性扰动基函数和可训练权重的组合来呈现弹性增强卷积(EAConv),以用于在CNN中集成看不见的视点。我们在CIFAR-10和STL-10数据集上表明,我们的方法对不可见的遮挡,缩放,旋转,图像切割和高斯扰动的一般鲁棒性得到了提高,同时在没有任何数据增强的情况下显着提高了对干净图像的性能。
2021-10-22 cs.AI cs.CV cs.LG
Bayesian Optimization of Robustness Measures under Input Uncertainty: A Randomized Gaussian Process Upper Confidence Bound Approach
Department of Computer Science, Nagoya Institute of Technology(计算机科学系,名古屋技术大学)
针对输入不确定性下鲁棒性度量优化中 GP-UCB 需手动设置较大参数 $β$ 的问题,提出从基于卡方分布采样 $β$ 的 RRGP-UCB,并证明其紧致期望遗憾界。
2025-07-23 cs.LG stat.ML
Measuring the robustness of Gaussian processes to kernel choice
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)用于做出医疗和科学决策,包括心脏护理和监测大气二氧化碳水平。值得注意的是,GP内核的选择通常有些随意。特别地,不可数的许多内核通常与定性先验知识(例如,函数平滑性或平稳性)。但在实践中,数据分析师会在少数方便的标准内核中进行选择(例如\平方指数)。在目前的工作中,我们问:将决定与GP不同的其他,定性可互换的内核?我们将展示如何通过解决有限维空间上的约束优化问题来回答这个问题。然后,我们可以使用标准优化器来识别GP做出的相关决策中的实质性变化。我们证明在合成和现实世界的例子中,与GP的决定可以表现出非鲁棒性内核的选择,即使以前的提请是定性互换给用户。
2022-03-12 cs.LG stat.CO stat.ML
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo(滑铁卢大学)
随机邻域嵌入(SNE)是一种基于概率的流形学习和降维方法。在SNE中,每个点都被认为是所有其他点的邻居,并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而,t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中,我们将解释SNE、对称SNE、t-SNE(或Cauchy-SNE)和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Robustness of classification ability of spiking neural networks
Dalian University of Technology(大连理工大学);Dalian Polytechnic University(大连工业大学)
众所周知,人工神经网络(ANN)的鲁棒性对于其广泛的应用是重要的。在本文中,我们专注于一个脉冲神经网络的分类能力的鲁棒性,它接收扰动输入。实际上,扰动可以是任意形式的。然而,高斯扰动和其他规则的很少被研究。对于分类问题,越接近所需点,输入空间中的扰动点就越多。此外,扰动可以是周期性的。基于这些事实,本文只考虑正弦和高斯扰动。使用SpikeProp算法,我们在经典XOR问题和其他三个基准数据集上进行了大量的实验。数值结果表明,当输入信号受到正弦和高斯扰动时,网络的分类能力没有显著降低。
2018-01-30 cs.LG stat.ML
Robustness bounds on the successful adversarial examples in probabilistic models: Implications from Gaussian processes
Institute of Information Security(信息安全研究所);NTT TechnoCross Corporation(NTT TechnoCross公司)
该研究针对机器学习中的对抗样本攻击问题,基于高斯过程分类推导了成功对抗样本概率的新上界,揭示其与扰动范数、核函数及训练集异标签最近样本对距离相关且与样本分布无关,并通过ImageNet实验验证了结论。
2025-03-19 cs.CR cs.LG stat.ML
Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
LY Corporation
本研究证明,大规模对抗预训练的线性Transformer可通过上下文学习将鲁棒性迁移至未见的高斯混合分类任务,渐近达到最优鲁棒贝叶斯误差,而标准训练模型无法实现。
2026-10-07 cs.CV cs.LG stat.ML
IGLU: The Integrated Gaussian Linear Unit Activation Function
Bowdoin College(布罗德学院)
提出IGLU激活函数,基于半正态混合分布推导出闭式表达,其门控为柯西CDF,通过单一锐度参数在恒等与ReLU行为间插值,重尾特性保证非零梯度,并给出仅含ReLU操作的有理近似,在视觉和语言任务上达到或超越ReLU/GELU性能。
2026-06-16 cs.CV cs.LG
Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy
随机平滑(RS)是一种有效的和可扩展的技术,用于构建神经网络分类器,可证明是强大的对抗性扰动。大多数RS工作集中在训练一个良好的基础模型,以提高平滑模型的认证鲁棒性。然而,现有的RS技术对每个数据点都是相同的,即,用于形成平滑模型的高斯噪声的方差是预设的,并且对于所有训练和测试数据都是通用的。这种预设的通用高斯噪声方差是次优的,因为不同的数据点具有不同的裕度,并且基础模型的局部属性在输入示例中有所不同。在本文中,我们研究了自定义处理示例的影响,并提出了实例随机平滑(Insta-RS)-一种多开始搜索算法,将自定义高斯方差分配给测试示例。我们还设计了Insta-RS训练-一种新的两阶段训练算法,自适应地调整和定制每个训练样本的噪声水平,用于训练基础模型,从而提高实例高斯平滑模型的认证鲁棒性。通过在CIFAR-10和ImageNet上进行的大量实验,我们表明,与现有的最先进的可证明鲁棒的分类器相比,我们的方法显着提高了平均认证半径(ACR)和干净数据的准确性。
2021-09-17 cs.LG
Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness
University of Maryland, College Park(马里兰大学帕克分校)
随机平滑,只使用一个简单的各向同性高斯分布,已被证明可以产生良好的鲁棒性保证对$\ell_2$ -范数有界的对手。在这项工作中,我们表明,扩展平滑技术来抵御其他攻击模型可能是具有挑战性的,特别是在高维制度。特别是对于大量的i.i.d.~光滑分布,我们证明了最大的$\ell_p$ -半径,可以证明减少为$O(1/d^{\frac{1}{2} - \frac{1}{p}})$与尺寸$d$为$p > 2$。值得注意的是,对于$p \geq 2$,这种对$d$的依赖性并不比$\ell_p$半径的依赖性好,后者可以使用各向同性高斯平滑进行验证,本质上是在鲁棒性半径上设置了匹配下限。当被限制为{ \it广义}高斯平滑时,这两个界限可以被示出为在渐近意义上在彼此的恒定因子内,从而建立高斯平滑提供最佳可能结果,直到恒定因子,当$p \geq 2$时。我们目前的实验结果CIFAR验证我们的理论。对于其他的平滑分布,如均匀分布内的$\ell_1$或$\ell_\infty$ -范数球,我们显示的形式$O(1 / d)$和$O(1 / d^{1 - \frac{1}{p}})$的上界分别,有一个更糟糕的依赖于$d$。
2020-08-14 cs.LG stat.ML
Towards Assessment of Randomized Smoothing Mechanisms for Certifying Adversarial Robustness
University of Toronto(多伦多大学);State University of New York at Buffalo(纽约州立大学布法罗分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
作为一种经过认证的防御技术,随机平滑由于其对大型数据集和神经网络的可扩展性而受到相当大的关注。然而,几个重要的问题仍然没有答案,如(i)高斯机制是否是一个适当的选择,用于证明$\ell_2$ -范数鲁棒性,以及(ii)是否有一个适当的随机化(平滑)机制,以证明$\ell_\infty$ -范数鲁棒性。为了阐明这些问题,我们认为,主要的困难是如何评估每个随机机制的适当性。在本文中,我们提出了一个通用的框架,连接现有的框架在\cite{lecuyer2018certified, li2019certified},评估随机机制。在我们的框架下,对于一个可以证明一定程度的鲁棒性的随机机制,我们定义其所需的加性噪声的大小作为评估其适当性的度量。我们还证明了这个度量的$\ell_2$规范和$\ell_\infty$规范的情况下,作为评估的标准的下限。基于我们的框架,我们通过比较这些机制所需的加性噪声的大小和下限(标准)来评估高斯和指数机制。我们首先得出结论,高斯机制确实是一个适当的选择,以证明$\ell_2$ -范数的鲁棒性。令人惊讶的是,我们表明,高斯机制也是一个适当的选择,用于证明$\ell_\infty$规范的鲁棒性,而不是指数机制。最后,我们将我们的框架推广到任何$p\geq2$的$\ell_p$ -范数。我们的理论研究结果通过CIFAR 10和ImageNet的评估得到了验证。
2020-06-07 cs.CR cs.LG stat.ML
Feature-Space Smoothing: Certified Robustness of Deep Representations
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(快速-丰富目标搜索实验室,电气电子工程学院,南洋理工大学,新加坡);Pengcheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国)
本文提出了一种特征空间平滑(FS)框架,通过在特征表示层面提供认证鲁棒性,以解决深度学习模型对恶意输入的脆弱性问题,核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界,并引入高斯平滑增强器(GSB)提升编码器的高斯鲁棒性得分,从而提升模型的鲁棒性并保持下游任务性能。
2026-10-26 cs.CV cs.LG
Consistency Regularization for Certified Robustness of Smoothed Classifiers
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
最近的随机平滑技术已经表明,最坏情况(对抗性)$\ell_2$鲁棒性可以通过“平滑”分类器而被转换为平均情况高斯鲁棒性,即,通过考虑高斯噪声上的平均预测。在这种范式中,人们应该重新思考对抗鲁棒性的概念,即分类器在噪声观测下的泛化能力。我们发现,平滑分类器的准确性和认证的鲁棒性之间的权衡,可以大大控制通过简单地正则化的预测一致性噪声。这种关系使我们能够设计一个鲁棒的训练目标,而无需近似不存在的平滑分类器,例如,通过软平滑。我们在各种深度神经网络架构和数据集下的实验表明,“认证”的$\ell_2$ -鲁棒性可以通过所提出的正则化得到显着提高,甚至可以实现更好或与最先进的方法相当的结果,并且训练成本和超参数显着减少。
2021-01-08 cs.LG stat.ML
Robust and Computation-Aware Gaussian Processes
ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
RCaGP通过结合鲁棒性和近似感知性,有效应对高斯过程在大规模数据和异常值下的计算与鲁棒性挑战。
2025-11-05 cs.LG stat.ML
Probabilistic Robust Linear Quadratic Regulators with Gaussian Processes
RWTH Aachen University(亚琛工业大学);Ingenieurgesellschaft Auto und Verkehr (IAV)(IAV汽车与交通工程公司);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
高斯过程(GP)等概率模型是从数据中学习未知动力系统的有力工具,用于随后的控制设计。虽然基于学习的控制有可能在要求苛刻的应用中产生卓越的性能,但对不确定性的鲁棒性仍然是一个重要的挑战。由于贝叶斯方法量化了学习结果的不确定性,因此将这些不确定性纳入鲁棒设计是很自然的。与大多数考虑最坏情况估计的最先进方法相比,我们利用学习方法在控制器合成中的后验分布。其结果是在性能和鲁棒性之间实现了更明智、更有效的权衡。我们提出了一种新的控制器合成线性化GP动态,产生鲁棒控制器的概率稳定裕度。该公式是基于最近提出的线性二次型控制综合算法,我们扩展了概率鲁棒性保证的形式的可信界系统的stability.Comparison现有的方法的基础上最坏情况下和确定性等价设计显示优越的性能和鲁棒性所提出的方法。
2022-09-21 cs.LG cs.SY eess.SY
Smoothed Functional Algorithms for Stochastic Optimization using q-Gaussian Distributions
Indian Institute of Science(印度科学学院)
光滑函数梯度估计方法在随机优化算法中是一种有效的方法,特别是在提高随机系统性能的情况下。然而,这些方法的性能取决于几个参数,如选择一个合适的平滑内核。在文献中已经研究了不同的核,其中包括高斯分布、柯西分布和均匀分布等。本文研究了一类新的基于q-高斯分布的核函数,这类核函数在过去十年中在统计物理学中得到了广泛的应用。虽然这一系列的分布的重要性是由于它的能力,推广高斯分布,我们观察到,这类包含几乎所有现有的平滑内核。这促使我们研究SF计划的梯度估计使用q-高斯分布。使用派生的梯度估计,我们提出了两个时标算法的随机目标函数的优化在约束设置与投影梯度搜索方法。我们证明了我们的算法收敛到一个相关联的常微分方程的驻点集。我们还证明了他们的性能数值模拟排队模型。
2014-07-03 cs.IT cs.LG math.IT
Uncertainty quantification using martingales for misspecified Gaussian processes
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
我们解决不确定性量化高斯过程(GP)下错误指定的先验知识,着眼于贝叶斯优化(BO)。GPS在BO中被广泛使用,因为它们很容易实现基于后验不确定性带的探索。然而,这种便利性是以健壮性为代价的:实践中遇到的典型函数不太可能来自数据科学家的先验知识,在这种情况下,不确定性估计可能会产生误导,由此产生的探索可能是次优的。我们提出了一个频率论的方法来GP/BO的不确定性量化。我们利用GP框架作为工作模型,但不假设先验的正确性。相反,我们构造一个置信序列(CS)的未知函数使用鞅技术。实现鲁棒性有必要的代价:如果先验是正确的,那么后验GP带比我们的CS窄。然而,当先验是错误的,我们的CS是统计上有效的,经验上优于标准的GP方法,在BO的覆盖范围和效用方面。此外,我们证明了权力的似然性提供了对模型误设的鲁棒性。
2021-03-02 cs.LG stat.ME stat.ML