Deep convolutional Gaussian processes
Aalto university(阿尔托大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT))
我们提出了深度卷积高斯过程,这是一种具有卷积结构的深度高斯过程架构。该模型是一个原则性的贝叶斯框架,用于检测图像分类的局部特征的分层组合。我们证明了极大地提高了图像分类性能相比,目前的高斯过程的MNIST和CIFAR-10数据集的方法。特别是,我们将CIFAR-10的准确性提高了10个百分点以上。
2018-10-06 cs.LG stat.ML
Learning Stochastic Differential Equations With Gaussian Processes Without Gradient Matching
Aalto University(阿尔托大学)
介绍了一种新的学习随机微分方程非参数漂移和扩散函数的范例。所提出的模型学习模拟路径分布,匹配具有非均匀时间增量和任意稀疏性的观测值,这与不优化模拟响应的梯度匹配相反。我们制定的灵敏度方程的学习和证明,我们的一般随机分布优化导致鲁棒性和有效的学习的可编程系统。
2018-07-31 cs.LG stat.ML
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces
Imperial College London(帝国理工学院)
使用高斯过程的贝叶斯学习提供了一个基础框架,用于以平衡已知与通过收集数据可以学习到的内容的方式做出决策。在这篇论文中,我们开发的技术,扩大高斯过程的适用性。这是通过两种方式完成的。首先,我们开发了高斯过程的路径条件技术,它允许一个表示后随机函数作为前随机函数加上一个相关的更新项。我们引入了一个广泛的有效的近似建立从这个角度来看,它可以被随机抽样一次提前,并在任意位置进行评估,没有任何后续的随机性。这一关键属性提高了效率,并使在决策设置中部署高斯过程模型变得更简单。其次,我们发展了一系列非欧空间上的高斯过程模型,包括黎曼流形和图。我们推导出黎曼流形和图上标量值高斯过程的协方差核的完全构造性表达式。基于这些思想,我们描述了一个形式主义定义向量值高斯过程的黎曼流形。引入的技术允许使用标准计算方法训练所有这些模型。总的来说,这些贡献使高斯过程更容易使用,并允许它们以有效和有原则的方式在更广泛的领域中使用。反过来,这使得有可能将高斯过程应用于新的决策设置。
2022-04-28 cs.LG stat.ML
Hyper-optimization with Gaussian Process and Differential Evolution Algorithm
Innovatrics s.r.o(Innovatrics 有限责任公司)
高计算能力需求的优化问题是一项具有挑战性的任务。这种优化的概率方法称为贝叶斯优化,通过求解数学上更简单的问题模型来降低性能要求。选定的方法,高斯过程,模型问题使用高斯函数的混合。本文介绍了从现有的科学图书馆高斯过程优化组件的具体修改。提出的修改提交给BlackBox 2020挑战,在那里它优于一些传统的优化库。
2021-01-26 cs.LG
Deep Gaussian Processes: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
高斯过程是贝叶斯学习中的主要方法之一。虽然这种方法已经成功地应用于许多问题,但它有一些基本的局限性。文献中的多种方法已经解决了这些局限性。然而,迄今为止还没有对这些专题进行全面调查。大多数现有的调查集中在高斯过程及其衍生物的一个特定的变种。这项调查详细介绍了使用高斯过程的核心动机,它们的数学公式,局限性以及多年来为解决上述局限性而蓬勃发展的研究主题。此外,一个特殊的研究领域是深度高斯过程(DGPs),它在过去十年中有了很大的改进。在他们的调查中概述了推进这一研究领域前沿的重要出版物。最后,对有待解决的问题和今后的研究方向进行了简要的讨论。
2021-06-21 cs.LG stat.ML
The Use of Gaussian Processes in System Identification
在机器学习中使用高斯过程来从观察到的数据中学习输入-输出映射。高斯过程回归基于对未知回归函数施加高斯过程先验,并根据观察数据对其进行统计调节。在系统识别中,高斯过程用于形成时间序列预测模型,例如非线性有限脉冲响应(NFIR)模型以及非线性自回归(NARX)模型。高斯过程状态空间模型(GPSS)可用于学习输入-输出数据的状态空间表示的动态和测量模型。时间和时空高斯过程可以直接用于在时域上对数据形成回归量。这篇文章的目的是简要概述了系统识别方法的主要方向,使用高斯过程。
2019-07-13 cs.LG cs.SY eess.SY
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此,高斯过程有两个明显的缺点:离群值是先验假设不太可能的,并且以观测数据为条件的后验方差仅取决于这些数据的位置,而不是相关的样本值。Student's-T过程是高斯过程的推广,建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点(核函数,解析更新规则),并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度,因此离群值更有可能,并且后验方差根据观察到的数据样本值的方差增加或减少。在这里,我们描述学生的T过程,并讨论其优势的背景下,航空航天优化。我们将展示如何使用核函数构建学生T过程,以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量,如预期的改善,并与高斯过程的相关计算的对比。最后,我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能,并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Constraining Gaussian Processes to Systems of Linear Ordinary Differential Equations
OWL University of Applied Sciences and Arts(OWL应用科学与艺术大学)
许多应用中的数据遵循常微分方程(ODE)系统。本文提出了一种新的算法和符号构造的协方差函数的高斯过程(GP)的实现严格遵循一个系统的线性齐次常系数常微分方程,我们称之为LODE-GP。将这种强归纳偏差引入GP中可以改进此类数据的建模。使用史密斯范式算法,一种符号技术,我们克服了两个当前的限制,在现有技术中:(1)需要某些唯一性条件的解决方案,通常假设在经典的ODE求解器和他们的概率对应,和(2)可控系统的限制,通常假设在协方差函数中编码微分方程。我们在一些实验中显示了LODE-GP的有效性,例如通过最大化可能性来学习物理上可解释的参数。
2022-08-26 cs.LG cs.SC stat.ML
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research(Facebook人工智能研究院)
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络,其先验对应于高斯过程。在这里,我们微扰扩展到有限宽度的神经网络,产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层,让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Differentially Private Regression and Classification with Sparse Gaussian Processes
University of Sheffield(谢菲尔德大学)
机器学习的一个持续挑战是提供对数据执行计算的方法,同时确保数据保持私有。在本文中,我们建立在可证明的隐私保证的差分隐私已结合高斯过程,通过以前出版的\emph{cloaking method}。在本文中,我们解决了这种方法的几个缺点,从低数据密度区域的预测问题开始。我们的实验与诱导点的使用,以提供一个稀疏的近似,并表明,这些可以提供强大的差分隐私在离群区域和更高的维度。然后,我们看看分类,并修改拉普拉斯近似方法,以提供不同的私人预测。然后,我们将其与稀疏近似相结合,并展示了在高维中进行分类的能力。最后,我们探讨了超参数选择的问题,并开发了一种方法,他们的私人选择。本文和相关的库提供了一个强大的工具包,结合差分隐私和GPS在一个实用的方式。
2019-09-19 cs.CR cs.LG stat.ML
Information fusion in multi-task Gaussian processes
Australian Centre for Field Robotics, The University of Sydney(悉尼大学澳大利亚现场机器人中心)
本文评估异构信息融合的背景下,地质资源建模使用多任务高斯过程。具体来说,它经验表明,跨异构信息源的信息集成导致所有被建模的量的优越估计,单独建模它们相比。多任务高斯过程提供了一种强大的方法,同时考虑这些量之间的相关性的同时建模的多个感兴趣的量。在大规模真实传感器数据上进行了实验。
2013-09-05 cs.AI cs.LG stat.ML
Graph Convolutional Gaussian Processes
Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题,其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入,同时保持可表达性,如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格,证明其通用性和有效性,相比现有的方法,尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法,结合神经网络和高斯过程。该方法可以估计输出的不确定性,并在训练数据存在的情况下灵活地调整目标函数,这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置,这是神经网络的一个优点。利用所提出的方法,神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程,稀疏高斯过程的随机变分推断推断,神经网络和内核的参数估计的随机梯度下降方法,同时。我们使用两个真实世界的时空数据集,实验表明,该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
Student-t Processes as Alternatives to Gaussian Processes
University of Cambridge(剑桥大学)
我们调查学生t过程作为替代的高斯过程作为一个非参数先验函数。通过在高斯过程模型的协方差核上先积分一个逆Wishart过程,得到了Student-t过程的边缘似然和预测分布的封闭形式表达式.我们发现令人惊讶的等效性不同层次的高斯过程模型导致学生t过程,并推导出一个新的采样方案的逆Wishart过程,这有助于阐明这些等效性。总体而言,我们表明,学生t过程可以保留高斯过程的吸引人的属性-非参数表示,分析的边缘和预测分布,并通过协方差内核容易模型选择-但具有增强的灵活性,预测协方差,不像高斯过程,明确地依赖于训练观测值。我们经验验证,学生t过程是特别有用的情况下,有变化的协方差结构,或在应用程序,如贝叶斯优化,准确的预测协方差是至关重要的良好的性能。这些优点与高斯过程相比没有额外的计算成本。
2014-02-19 cs.AI cs.LG stat.ME
Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
本文提出了一种通过随机微分方程实现完全贝叶斯微分高斯过程的方法,以提升模型的灵活性和适应性。
2025-12-15 cs.AI cs.LG
Kalman Filtering with Gaussian Processes Measurement Noise
机器人等应用中的真实测量噪声通常与时间相关,但我们通常假设i.i.d.高斯噪声滤波。我们提出了一般高斯过程作为相关测量噪声的非参数模型,它足够灵活,可以及时准确地反映相关性,但又足够简单,可以实现高效的计算。我们表明,该模型准确地反映了基于视觉的同时定位和映射(SLAM)产生的测量噪声,并认为它提供了一种灵活的手段建模测量噪声的各种传感器系统和感知算法。然后,我们扩展现有的结果与自回归过程的卡尔曼滤波更一般的高斯过程,并证明我们的方法的改进性能。
2019-09-23 cs.LG cs.RO cs.SY
Strong Approximation of Empirical Copula Processes by Gaussian Processes
我们提供了高斯过程对经验copula过程的强逼近。此外,我们建立了光滑经验copula过程的强逼近和一个重对数律。
2011-06-19 math.ST stat.TH
Explicit Estimation of Derivatives from Data and Differential Equations by Gaussian Process Regression
在这项工作中,我们采用的贝叶斯推断框架来解决的问题,估计的解决方案,特别是其衍生物,满足一个已知的微分方程,从给定的噪音和稀缺的观测的解决方案的数据。为了解决导数估计的准确性和鲁棒性的关键问题,我们使用高斯过程来联合建模的解决方案,导数和微分方程。将线性微分方程视为线性约束,提出了一种带约束的高斯过程回归方法(GPRC),以提高导数的预测精度。对于非线性微分方程,我们提出了一个Picard迭代近似的线性化周围的高斯过程只得到的数据,使我们的GPRC仍然可以迭代适用。此外,采用专家乘积法确保初始或边界条件被考虑,以进一步提高导数的预测精度。我们提出了几个数值结果来说明我们的新方法相比,标准的数据驱动的高斯过程回归的优势。
2020-10-08 stat.CO stat.OT
Non-parametric Estimation of Stochastic Differential Equations with Sparse Gaussian Processes
随机微分方程(Stochastic Differential Equations,SDEs)由于能够用物理上可解释的方程描述复杂的动力学过程,在时态数据分析中的应用越来越受到人们的关注。在本文中,我们介绍了一种非参数方法估计的漂移和扩散项的随机微分方程从密集观察离散时间序列。使用高斯过程作为先验允许直接在函数空间视图中工作,因此推理直接在该空间中发生。为了应对需要使用高斯过程的计算复杂性,提供了稀疏高斯过程近似。这种近似允许通过使用伪样本的一个小子集上的分布来有效地计算漂移和扩散项的预测。利用模拟数据和实际的经济和古气候数据对所提出的方法进行了验证。实际数据的应用表明,该方法能够捕捉复杂系统的行为。
2017-07-10 physics.data-an stat.ML
Differentially Private Bayesian Inference for Gaussian Copula Correlations
Washington University in Saint Louis(华盛顿大学圣路易斯分校);Duke University(杜克大学)
本文提出基于差分隐私的高斯Copula相关性贝叶斯推断方法,通过噪声添加和复合似然估计实现隐私保护下的相关性估计。
2026-07-28 stat.ME
Gaussian Processes: A Quick Introduction
高斯过程(Gaussian Processes,GP)本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
A Novel Exact Representation of Stationary Colored Gaussian Processes (Fractional Differential Approach)
本文提出了一种新的函数表示形式,称为广义泰勒形式,并将其应用于白噪声过程的滤波。证明了每一个高斯色噪声都可以表示为一组线性分数阶随机微分方程的输出,该方程的解是分数阶布朗运动的加权和。给出了加权系数的精确形式,并证明了加权系数与色噪声目标谱密度的分数阶矩有关。
2013-03-06 cond-mat.stat-mech math-ph math.MP
Parameter estimation for SDEs related to stationary Gaussian processes
本文研究一般平稳高斯场泛函的部分和的中心极限定理和非中心极限定理。我们应用所得结果研究了与平稳高斯过程有关的随机微分方程的漂移参数估计问题。
2015-01-20 math.PR math.ST stat.TH
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程(DL-GP)是一种分析(近似)产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域,包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换,并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后,我们总结了未来研究的方向。
2022-09-05 stat.AP
Short-range dependent processes subordinated to the Gaussian may not be strong mixing
有各种各样的弱依赖。例如,强混合。短程相关(SRD)也是弱相关的一种形式。它发生在从属于高斯过程的背景下。如果高斯过程是长程相关的,那么SRD过程是强混合的吗?我们表明,这是不一定的情况下。
2015-08-19 math.PR math.ST stat.TH
Piterbarg's max-discretisation theorem for stationary vector Gaussian processes observed on different grids
在本文中,我们推导出Piterbarg的最大离散定理,考虑两个不同的网格中心平稳向量高斯过程。到目前为止,在这个方向上的文献结果已经得出了联合分布的最大高斯过程在$[0,T]$和网格$ \mathfrak{R}(δ_1(T))=\{kδ_1(T): k=0,1,\cdots\}$。在本文中,我们扩展了最近的研究结果,考虑另外的\bE{maximum}在另一个网格$ \mathfrak{R}(δ_2(T))$。我们通过令$T\to \infty$得到了在不同网格选择下平稳高斯向量过程最大值的联合极限分布。
2014-10-07 math.PR math.ST stat.OT
Cox processes driven by transformed Gaussian processes on linear networks -- A review and new contributions
本文针对线性网络上点过程模型缺乏的问题,提出由变换高斯过程驱动的三类Cox过程模型,并首次给出参数族统计推断方法、模拟算法及度量选择的讨论。
2024-01-15 math.ST stat.TH
Gaussian Processes for HRF estimation for BOLD fMRI
我们提出了一种非参数联合估计方法的fMRI任务激活值和血流动力学反应函数(HRF)。HRF被建模为一个高斯过程,使连续评估抖动的范例,并提供在每个点的方差估计。
2017-08-31 stat.AP
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University(阿尔托大学)
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法,用于估计log-Gaussian伽马过程的后验分布,并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在,注意到关键属性,如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上,定义了高斯白噪声,并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间,其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间,我们讨论高斯过程是连续的,在这种设置的标准。最后,我们概述了一个框架,统计推断使用所提出的理论,重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项,并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
Remarks on multivariate Gaussian Process
高斯过程在现代统计学和概率论中占据主导地位,因为它们的重要性和大量强有力的结果。高斯过程的常见用途是与估计,检测和许多统计或机器学习模型相关的问题。随着高斯过程应用的快速发展,有必要巩固向量值随机过程,特别是多元高斯过程的基本理论,这是许多多个相关响应的应用问题的基本理论。本文在向量值函数空间上基于高斯测度给出了多元高斯过程的精确定义,并给出了其存在性证明。此外,还介绍了多元高斯过程的几个基本性质,如严格平稳性和独立性。我们进一步推导了多元布朗运动,包括作为多元高斯过程的一种特殊情况的伊藤引理,并简要介绍了多元高斯过程回归作为多输出预测问题的一种有用的统计学习方法。
2021-02-24 math.PR math.ST stat.TH
Tests of independence for pairs of paths of non-stationary Gaussian processes
Imperial College London(帝国理工学院);Rice University(莱斯大学)
本文为非平稳高斯过程(标准布朗运动与分数布朗运动)路径对的独立性检验提供了理论结果。
2025-10-27 math.PR math.ST stat.TH
Spatial risk measure for gaussian processes
在本文中,我们研究了一个空间风险度量对应于一个损害函数和一个区域,考虑到潜在的过程的空间依赖性的定量行为。在[Koch 2015]中,这种风险度量已经被引入并研究了一些最大稳定过程。本文考虑了各向同性高斯过程和超过阈值的超额损伤函数。我们进行了模拟研究和真实数据研究。
2016-12-30 math.PR math.ST stat.TH
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research(谷歌研究院)
采样高斯机制(SGM)--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样,其中一个单一的评价的隐私成本减少二次,而不是线性的,与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程,精确计算SGM的雷尼差分隐私,并证明了一个几乎紧(在一个小的常数因子)的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research(亚马逊研究院);Amazon Web Services(亚马逊云科技)
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中,我们重新审视高斯机制,并表明原来的分析有几个重要的局限性。我们的分析表明,原机制的方差公式是远离紧密的高隐私制度($\varepsilon \to 0$),它不能扩展到低隐私制度($\varepsilon \to \infty$)。我们通过开发一种最佳高斯机制来解决这些限制,该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上,自适应估计技术,利用扰动的分布是已知的。我们的实验表明,分析校准消除了至少三分之一的噪声方差相比,经典的高斯机制,去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
在本答辩中,我们的目标是解决两个广泛的问题,涵盖了讨论中提出的大多数意见。首先,我们讨论了我们工作的一些理论方面,并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看,我们接下来讨论f-差分隐私(f-DP)和高斯差分隐私(GDP)如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital(拉索恩大学医院);University of Helsinki(赫尔辛基大学)
本文通过匹配强对手成员推理攻击的最坏情况成功度,提供从纯-DP ε到GDP μ的原则性映射,并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University(波士顿大学);Google Research(谷歌研究院)
我们发现,高斯差分隐私,一个变种的差分隐私适合高斯噪声的分析,组成优雅,即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制(在敏感数据集上运行)及其隐私预算,也就是说,基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说,这给出了一个GDP滤波器,其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University(卡内基梅隆大学)
随着越来越多的敏感个人信息被聚集到数据存储库中,开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中,我们提出了一种算法,用于学习一个判别式训练的多类高斯分类器,满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology(麻省理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Boston University(波士顿大学)
本文通过Renyi差分隐私重新分析高斯草图机制,提出更紧的隐私界限,并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Differentially Private Algorithms for Learning Mixtures of Separated Gaussians
University of Waterloo(滑铁卢大学);Bar Ilan University(巴伊兰大学);Northeastern University(东北大学)
高斯混合模型的参数学习是一个基本的、广泛研究的问题,具有许多应用。在这项工作中,我们给出了新的算法学习的高维,良好分离,高斯混合模型的参数受到强约束的差分隐私。特别是,我们给出了一个不同的私人模拟Achlioptas和McSherry的算法。我们的算法有两个关键的性质没有达到以前的工作:(1)算法的样本复杂度匹配相应的非私有算法的低阶项在很宽的参数范围。(2)该算法不需要对混合组分的参数有强的先验界。
2019-10-15 cs.CR cs.DS cs.IT
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology(新泽西理工学院);Kent State University(肯特州立大学);University of Oregon(俄勒冈大学);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
在本文中,我们提出了一种新的异构高斯机制(HGM),以保持差分隐私在深度神经网络,具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从(0,1]放宽到(0,\infty),并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配,提供了一个独特的能力,以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性,我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后,提出了一个更严格的鲁棒性界。理论分析和全面的评估表明,我们的机制显着提高了不同的私人深度神经网络的鲁棒性,与基线方法相比,在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University(上海交通大学)
近年来,机器学习的广泛应用对大规模、高维数据产生了巨大的需求,而数据的隐私问题也引起了人们的严重关注。差分隐私(DP)机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件,提出了一种改进的矩阵高斯机制(IMGM)。IMGM只对噪声协方差矩阵的奇异值施加约束,这为设计留下了空间。在矩阵值DP的合法噪声分布中,我们发现最佳分布是i.i.d.。高斯噪声,并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外,在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
高斯机制是实现差分隐私的一种普遍采用的工具,大量的研究工作都致力于它的分析。我们认为,三个流行的解释GM,即$(\varepsilon, δ)$ -DP,f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$,我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性:查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系,$ψ$为从业者提供了一个强大的方法来解释,比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
Stochastic differential equations for limiting description of UCB rule for Gaussian multi-armed bandits
Yaroslav-the-Wise Novgorod State University(智者雅罗斯拉夫诺夫哥罗德国立大学)
本文针对高斯多臂老虎机UCB策略,用随机微分方程和常微分方程构建极限描述,并通过蒙特卡洛模拟验证,估计最小控制视界。
2023-05-11 cs.LG math.OC math.ST