Bézier Gaussian Processes for Tall and Wide Data
University of Oxford(牛津大学)
高斯过程的现代近似适用于“高数据”,其成本在观测数量上具有良好的扩展性,但在“宽数据”上表现不佳,在输入特征数量上扩展性较差。也就是说,随着输入特征数量的增长,良好的预测性能需要汇总变量的数量及其相关成本快速增长。我们引入了一个内核,它允许汇总变量的数量随着输入特征的数量呈指数增长,但只需要在观测和输入特征的数量上都具有线性成本。这种缩放是通过我们引入贝塞尔支撑来实现的,贝塞尔支撑允许近似推理,而无需计算矩阵逆或行列式。我们表明,我们的内核有密切的相似之处,一些最常用的内核在高斯过程回归,并实证证明内核的能力,以规模高大和广泛的数据集。
2022-10-13 cs.LG stat.ML
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University(莫斯科国立大学);Cornell University(康奈尔大学);National Research University Higher School of Economics(国立研究型高等经济大学);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
提出了一种高斯过程(GP)模型近似推理的方法(TT-GP)。我们建立在以前的可扩展GP研究,包括随机变分推理的基础上诱导输入,内核插值,和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数,这使我们能够训练GP与数十亿诱导输入,并实现国家的最先进的结果在几个基准。此外,我们的方法允许基于深度神经网络训练内核,而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入,GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练,通过GP边际似然最大化。我们在几个回归和分类基准数据集,包括MNIST,CIFAR-10,和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes
ONERA(法国国家航空航天研究中心);Université Paris Saclay(巴黎萨克雷大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Polytech’Lille(里尔综合理工学院)
多保真度方法将建立在稀缺但准确的数据集(高保真数据集)和大但近似的数据集(低保真度数据集)上的不同模型结合起来,以提高预测精度。高斯过程(GP)是一种流行的方法来展示这些不同的保真度水平之间的相关性。作为GP的功能组成的深度高斯过程(DGP)也已经使用多保真度深度高斯过程模型(MF-DGP)适应于多保真度。该模型增加了表达能力相比,全球定位系统,考虑贝叶斯框架内的非线性相关性之间的相关性。然而,这些多保真度方法仅考虑不同保真度模型的输入在相同定义域上定义的情况(例如,相同的变量,相同的维度)。然而,由于低保真模型的简化,与高保真模型相比,可以省略一些变量或者可以使用不同的参数化。在本文中,深度高斯过程的多保真度(MF-DGP)的情况下,其中不同的参数化是用于每个保真度的扩展。所提出的多保真度建模技术的性能进行评估分析测试用例和结构和空气动力学的真实物理问题。
2020-06-29 cs.LG stat.ML
Variable noise and dimensionality reduction for sparse Gaussian processes
稀疏伪输入高斯过程(SPGP)是一种新的逼近方法,用于在数据点数目N较大的情况下加速GP回归。该近似由M个“伪输入”的小集合的梯度优化控制,从而将复杂度从N^3降低到NM ^2。SPGP的一个局限性是,这种优化空间变得不切实际的高维数据集大。本文通过执行自动降维来解决这个限制。输入空间到低维空间的投影是以监督的方式学习的,与伪输入一起,伪输入现在存在于这个缩减的空间中。本文还研究了适合的SPGP建模数据与输入相关的噪声。对模型进行了进一步的扩展,使其在这方面更加强大-我们为每个伪输入学习一个不确定性参数。稀疏性、降维和依赖于输入的噪声的组合使得将GP应用于比以前实际的更大和更复杂的数据集成为可能。我们证明了这些方法在几个合成和现实世界的问题的好处。
2012-06-27 cs.LG stat.ML
Deep learning with differential Gaussian process flows
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们提出了一种新的差分流深度学习范式,它在标准分类或回归函数之前学习输入的随机微分方程变换。微分高斯过程的关键属性是通过无限深,但无穷小的微分场,将离散层概括为动力系统的输入弯曲。我们展示了超越深度高斯过程和神经网络性能的最新结果
2018-10-15 cs.LG stat.ML
Bayesian inference for high-dimensional nonstationary Gaussian processes
尽管非平稳空间建模和近似高斯过程(GP)方法的各种文献,有没有一般的方法进行充分的贝叶斯推断的中等大小的非平稳空间数据集在个人笔记本电脑。对于希望了解空间参考数据并进行后验推断和预测的统计学家和数据科学家来说,缺乏这种方法和相应的软件是一个重大限制。在本文中,我们开发的方法实现正式的贝叶斯推断的一般类的非平稳GP。我们的新方法使用预先存在的框架,以一种新的方式,适用于小到中等大小的数据集,通过现代GP似然近似表征非平稳性。后验采样采用灵活的MCMC方法,非平稳后验预测作为后处理步骤进行。我们在两个数据集上展示了我们的新方法,范围从几百到几千个位置,并将我们的方法与提供现成软件的相关统计方法进行比较。我们所有的方法都是在免费提供的BayesNSGP软件包中实现的。
2020-06-30 stat.CO stat.ME
Gaussian Process Models with Low-Rank Correlation Matrices for Both Continuous and Categorical Inputs
Dortmund University of Applied Sciences and Arts(多特蒙德应用科学与艺术大学)
我们介绍了一种方法,在混合连续和分类高斯过程模型中使用互相关矩阵的低秩近似。这种新方法-称为低秩相关(LRC)-提供了通过选择适当的近似秩来灵活调整参数数量的能力。此外,我们提出了一个系统的方法来定义测试功能,可用于评估的模型或优化方法,是关注连续和分类输入的准确性。我们比较LRC现有的方法建模的互相关矩阵。结果表明,新方法在互相关估计和响应面预测方面表现良好。因此,LRC是对现有方法的灵活和有用的补充,特别是对于增加类别输入的水平组合的数量。
2020-10-06 cs.LG stat.ME stat.ML
Gaussian Process for Noisy Inputs with Ordering Constraints
研究了输入输出均含噪声的高斯过程回归模型。两个噪声源的存在使得学习准确的预测模型的任务极具挑战性。然而,在某些情况下,附加的约束可能是可用的,其可以减少所得到的预测模型中的不确定性。特别是,我们考虑的情况下,单调有序的潜在输入,这发生在许多应用领域,处理时态数据。我们提出了一种新的推理和学习方法的基础上非参数高斯变分逼近学习的GP模型,同时考虑到新的约束。由此产生的策略允许人们获得输入和输出的后验估计,并提高预测性能。我们比较我们提出的模型,最先进的噪声输入高斯过程(NIGP)和其他竞争的方法合成和真实的海平面上升数据。实验结果表明,所提出的方法始终优于选定的方法,而在同一时间,减少学习和推理的计算成本。
2015-07-02 stat.ML
Deep Gaussian Processes with Decoupled Inducing Inputs
深度高斯过程(Deep Gaussian Processes,DGP)是高斯过程(Gaussian Processes,GP)的分层推广,已被证明可以有效地处理多监督回归任务。他们结合了良好校准的不确定性估计的全球定位系统的多层模型的巨大灵活性。在DGP中,给定输入,层的输出是由其均值和协方差参数化的高斯分布。这些层被实现为稀疏GP,其中使用一小组伪点来近似训练数据。在这项工作中,我们表明,DGP的计算成本可以降低,而不会损失性能,通过使用一个单独的,较小的一组伪点时,计算分层方差,而使用较大的一组伪点时,计算分层平均值。这使我们能够训练更大的模型,具有更低的成本和更好的预测性能。
2018-01-09 stat.ML
Neural Network Gaussian Process Considering Input Uncertainty for Composite Structures Assembly
Virginia Tech(弗吉尼亚理工学院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
发展基于机器学习的智能制造是复合材料结构装配过程的一个重要发展方向。为了提高装配过程的生产质量和效率,需要对复合材料结构的尺寸偏差和残余应力进行准确的预测分析。新型复合材料结构组装涉及两个挑战:(i)复合材料的高度非线性和各向异性特性;以及(ii)组装过程中不可避免的不确定性。针对这些问题,提出了一种考虑输入不确定性的复合材料结构装配神经网络高斯过程模型。我们的模型的深层架构使我们能够更好地近似复杂的过程,并且考虑输入不确定性使鲁棒建模能够完全结合过程不确定性。仿真和算例分析表明,当响应函数为非光滑非线性时,NNGPIU方法的性能优于其他基准方法。虽然我们使用复合材料结构装配作为一个例子,所提出的方法可以适用于其他工程系统的内在不确定性。
2020-11-21 cs.LG stat.AP stat.ML
PDE-constrained Gaussian process surrogate modeling with uncertain data locations
University of Twente(特文特大学);Lund University(隆德大学)
本文提出一种贝叶斯方法,将不确定输入数据的变异性集成到高斯过程回归中,通过贝叶斯推断估计输入后验分布并边缘化以改进函数和偏微分方程代理建模,数值实验表明其能显著降低预测不确定性。
2024-12-30 cs.CE cs.LG stat.ML
A Gaussian Process Regression Model for Distribution Inputs
Monge-Kantorovich距离,也称为瓦瑟斯坦距离,作为概率分布的强大差异度量,在统计学和机器学习中受到越来越多的关注。在本文中,我们专注于预测的高斯过程指标的概率分布。为此,我们提供了一个家庭的正定内核使用基于距离的运输。我们提供了一个概率的理解,这些内核和相应的随机过程的特征。我们证明了高斯过程的分布对应于这些内核索引可以有效地预测,高斯过程建模开辟了新的视角。
2018-01-29 math.PR stat.ML
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程(GP)不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题,但已知过度拟合。我们建议使用变分推断的稀疏谱近似,以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模,并将其视为随机变量。随机协方差函数有一个后验,其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质,比较它的替代,并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数,并避免过度拟合。
2015-03-20 stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Optimal Control of dams using P(M,Lambda,tau) policies when the input process is an inverse Gaussian process
本文考虑了当输入过程为逆高斯过程时,大坝的P(M,lambda,tau)维护策略,使用总的贴现和长期平均成本。
2012-09-04 math.PR stat.AP
Wasserstein-type Gaussian Process Regressions for Input Measurement Uncertainty
Lawrence Berkeley National Laboratory(伯克利国家实验室)
本文提出基于Wasserstein距离的高斯过程回归方法,通过将噪声输入表示为概率测度,解决输入测量误差导致的后验区间过窄和决策偏差问题。
2026-03-18 cs.LG stat.ME
Conditional simulation of extremal Gaussian processes
最近,极大无限可分过程的正则条件分布由\citet{Dombry2011}得到,虽然这些条件分布具有复杂的封闭形式,但\citet{Dombry2011b}给出了一个算法来得到Brown-Resnick过程的条件实现。在本文中,我们推导出正则条件分布的最大稳定过程引入的\citet{Schlather2002}和适应的框架\citet{Dombry2011b},以这个特定的过程。我们测试模拟数据的方法,并在瑞士极端温度的应用。结果表明,所提出的抽样方案提供了准确的条件模拟,可以处理实际规模的问题。
2012-08-27 math.ST stat.TH
A Bayesian Framework for Built-in Input Dimension Reduction for Gaussian Process Modeling
Division of Statistics and Data Science, Department of Mathematical Sciences, University of Cincinnati(统计与数据科学系,数学科学系,辛辛那提大学);Department of Mathematics, Purdue University(数学系,普渡大学)
针对高斯过程建模中高维输入难题,本文引入基于分层贝叶斯模型的框架,集成降维与建模推理,通过哈密顿蒙特卡洛实现后验推理,并结合深度高斯过程扩展框架,提升了预测性能与不确定性量化。
2026-07-23 cs.LG math.PR stat.AP
ANOVA decomposition of conditional Gaussian processes for sensitivity analysis with dependent inputs
复杂的计算机代码在科学中被广泛用于模拟物理系统。灵敏度分析旨在衡量输入数据对代码输出可变性的贡献。一个有效的工具来执行这样的分析是方差为基础的方法,最近已经在相关输入的框架内进行了研究。他们的问题之一是,他们需要大量的游程数的复杂模拟器。为了处理它,可以使用高斯过程回归模型来近似复杂代码。在这项工作中,我们建议将高斯过程分解为高维表示。这导致了一个基于方差的敏感性度量的定义,以及为非独立输入量身定制。我们给出了一种方法来估计这些指数,并量化其不确定性。最后,玩具功能和河流洪水模型的方法进行了说明。
2013-10-14 math.ST stat.TH
Gaussian Processes with Input Location Error and Applications to the Composite Parts Assembly Process
在本文中,我们研究了输入位置误差的高斯过程建模,其中输入被噪声破坏。在这里,最好的线性无偏预测器的两种情况下,根据是否有噪声的目标未观察到的位置。我们表明,均方预测误差收敛到一个非零常数,如果有噪声的目标未观察到的位置,并提供了一个上界的均方预测误差,如果没有噪声的目标未观察到的位置。我们研究了随机克里格法在具有输入位置误差的高斯过程预测中的应用,并表明当样本量较大时,随机克里格法是一个很好的近似。给出了几个数值例子来说明结果,并提出了一个案例研究的复合材料零件的装配。技术证明见附录。
2021-03-01 math.ST stat.TH
Functional-Input Gaussian Processes with Applications to Inverse Scattering Problems
基于高斯过程的代理建模在科学和工程中的复杂问题分析中受到越来越多的关注。尽管对GP模型进行了广泛的研究,但功能输入的发展很少。受逆散射问题的启发,在偏微分方程中涉及表示散射体的支撑和材料性质的函数输入,引入了一类新的用于GP的函数输入的核函数。基于所提出的GP模型,得到了均方预测误差的渐近收敛性质,并通过数值例子证明了有限样本性能。在逆散射的应用中,一个代理模型构造与功能的输入,这是至关重要的恢复的非均匀各向同性散射区域的感兴趣的反射率为一个给定的远场图案。
2023-01-03 stat.AP stat.ME
Local Gaussian process approximation for large computer experiments
我们提供了一种新的方法来近似仿真大型计算机实验。通过专注于明确的预期性能的预测方程,我们推导出一个家庭的本地顺序设计方案,动态定义的支持的高斯过程预测的基础上的本地子集的数据。我们进一步推导出表达式的快速顺序更新的所有需要的数量的本地设计迭代建立。然后,我们展示了如何独立的应用程序,我们的本地设计策略,在一个庞大的预测网格的元素,促进了平凡的并行实现。最终的结果是一个全局预测器,能够利用现代多核架构,同时允许非平稳建模功能作为奖励。我们展示了我们的方法上的两个例子,利用设计大小在数千,数万个数据点。比较的方法,companies支持的协方差。
2014-10-10 stat.CO stat.ME
Asymptotic analysis for covariance parameter estimation of Gaussian processes with functional inputs
该研究针对带函数输入的高斯过程协方差参数估计,证明极大似然估计的渐近相合性与正态性,并拓展至含输入近似误差的场景,通过解析与数值示例验证相关性质。
2024-05-15 math.ST stat.TH
Probabilistic Spatiotemporal Modeling of Day-Ahead Wind Power Generation with Input-Warped Gaussian Processes
University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon(亚马逊公司)
提出一种基于输入扭曲高斯过程的日前风电功率时空概率模型,通过可分离时空核和时空输入扭曲捕捉非平稳性,并在ERCOT数据集上验证了其有效性。
2024-09-10 cs.LG cs.SY eess.SY
Practical heteroskedastic Gaussian process modeling for large simulation experiments
我们提出了一个统一的观点,基于似然高斯过程回归的模拟实验表现出依赖于输入的噪声。复制在这种情况下起着重要的作用,然而,以前的方法利用复制要么忽略了来自这样的设计的计算节省,或有捷径完全基于可能性的推理,以保持易处理。从homoskedastic过程开始,我们展示了如何多个应用程序的一个著名的伍德伯里身份促进推断下的所有参数的可能性(没有近似),绕过典型的全数据大小的计算。然后,我们从机器学习中借用潜变量的思想来解决异方差问题,使其在相同的节俭推理框架内工作,从而同时利用设计的计算和统计效率。其结果是一个推理方案,可以被描述为单一的目标函数,完成封闭形式的衍生物,快速库为基础的优化。插图提供,包括现实世界的模拟实验,从制造和流行病的管理。
2017-11-13 stat.CO stat.ME
Automatic Dynamic Relevance Determination for Gaussian process regression with high-dimensional functional inputs
在具有函数输入的高斯过程回归的上下文中,通常将输入视为向量。随着功能点数量的增加,参数空间变得异常复杂,有效地成为高维问题中自动相关性确定的障碍。概括时变输入的框架,我们引入了非对称拉普拉斯函数权重(ALF):一个灵活的,参数化的功能,驱动器在索引空间的预测相关性。自动动态相关性确定(ADRD)是通过每个输入变量三个未知数来实现的,并在索引空间上强制平滑。此外,我们还讨论了一种筛选技术,以评估在完全缺乏先验和模型信息的情况下,ADRD是否与数据合理一致。这种工具可用于探索性分析和模型诊断。ADRD应用于遥感数据,并根据大气功能输入生成预测。进行完全贝叶斯估计以识别函数输入空间的相关区域。进行验证,以基准对传统的矢量输入模型规格。我们发现,ADRD优于模型的输入降维通过功能主成分分析。此外,在平均预测和不确定性方面,预测能力与高维模型相当,调整参数少10倍。在预测相关性配置文件上强制平滑,排除了与向量输入模型相关联的不稳定模式。
2022-08-31 stat.ME
Computer emulation with non-stationary Gaussian processes
高斯过程(GP)模型在计算机实验中被广泛用于模拟传播不确定性。GP仿真舒适地坐落在一个易于分析的贝叶斯框架内。除了传播输入变量的不确定性外,在多次实验运行中训练的GP仿真器还为未知输入值的响应面估计提供了误差条。这有助于选择未来的输入值,以便将响应曲面估计中的不确定性降至最低。然而,传统的GP仿真器使用固定的协方差函数,这表现不佳,并导致次优选择的未来输入点时,响应表面具有尖锐的局部特征,如跳跃不连续性或孤立的高峰。我们提出了一个易于实现的非平稳GP仿真器,基于两个固定的GP,一个嵌套到其他,并展示其优越的能力,在处理本地功能和选择未来的输入点从这些功能的边界。
2015-01-29 stat.ME
Variable-sized input, character-level recurrent neural networks in lead generation: predicting close rates from raw user inputs
预测铅关闭率是铅代行业中最有问题的任务之一.在大多数情况下,关于前景的唯一可用数据是用户在潜在客户表单上输入的自我报告信息以及通过社交媒体和搜索引擎使用公开可用的其他一些数据点。所有主要的市场利基为铅一代[1],如保险,健康&医疗和房地产,处理改变生活的决策,没有任何数量的数据将永远无法描述或预测。本文阐述了如何字符级,深度长短期记忆网络可以应用于原始用户输入,以帮助预测关闭率。然后,模型的输出被用作一个额外的、高度预测的功能,以显著提高潜在客户评分模型的性能。
2019-01-16 cs.CL cs.LG
Gaussian processes with multidimensional distribution inputs via optimal transport and Hilbertian embedding
在这项工作中,我们研究了多维分布索引的高斯过程。虽然直接构造径向正定核的基础上的瓦瑟斯坦距离已被证明是可能的,在一维的情况下,这样的建设不延伸以及多维的情况下,我们在这里说明。为了解决基于最优传输的多变量分布之间定义正定核的问题,我们转而呼吁依赖于参考分布的最优传输映射的希尔伯特空间嵌入,我们建议将其作为Wasserstein重心。我们依次刻画了Hilbert空间上的径向正定核,并证明了在无限维Hilbert空间中几乎所有协方差函数的参数族的协方差参数都是微遍历的.我们还调查了我们建议的正定核多维分布的统计特性,重点是一致性时,人口Wasserstein重心被替换为经验重心和额外的明确结果在特殊情况下的高斯分布。最后,我们研究了高斯过程方法的基础上,我们建议的正定核在多维分布输入的回归问题,模拟数据来自合成的例子和机械工程测试情况。
2019-04-11 stat.ME
Group kernels for Gaussian process metamodels with categorical inputs
高斯过程(GP)被广泛用作仿真耗时的计算机代码的元模型。我们专注于涉及分类输入的问题,具有潜在的大量L的水平(通常是几十个),划分在G << L组的各种大小。然后,可以通过块协方差阵T来定义简约的协方差函数或核,其中块对之间和块内的协方差恒定。我们研究这种矩阵的正定性,以鼓励他们的实际应用。等效于嵌套贝叶斯线性模型的分层组/水平结构提供了有效块矩阵T的参数化。然后,当放松块内的假设时,可以使用相同的模型,给出有效的协方差阵的灵活参数族,其中块对之间具有恒定的协方差。T的正定性等价于大小为G的较小矩阵的正定性,通过平均每个块获得。该模型被应用于核废料分析中的一个问题,其中的分类输入之一是原子序数,它有90多个级别。
2018-07-24 math.ST stat.ME stat.TH
HyperMM : Robust Multimodal Learning with Varying-sized Inputs
EURECOM(欧洲通信与计算机科学研究院);School of Biomedical Engineering & Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
提出HyperMM端到端框架,利用条件超网络和置换不变神经网络处理缺失模态的可变尺寸输入,无需预填补即可实现鲁棒的多模态学习,在病理诊断任务中表现出色。
2024-07-30 cs.LG
Taxi Demand-Supply Forecasting: Impact of Spatial Partitioning on the Performance of Neural Networks
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在本文中,我们探讨了选择一个合适的镶嵌策略的时空出租车需求-供应建模框架的意义。我们的研究比较了(i)可变大小的多边形为基础的Voronoi曲面细分,和(ii)固定大小的网格为基础的Geohash曲面细分,使用出租车的需求,供应的GPS数据的城市Bengelu,印度和美国纽约。长短期记忆(LSTM)网络用于建模并将来自空间邻居的信息合并到模型中。我们发现,基于从可变大小的多边形镶嵌中提取的输入特征的LSTM模型比基于固定大小的网格镶嵌的LSTM模型具有更好的性能。我们的研究强调了需要探索多种空间划分技术,以提高神经网络模型的预测性能。
2018-12-10 cs.LG stat.ML
Deep learning for Chemometric and non-translational data
Technical University of Denmark(丹麦技术大学)
我们提出了一种训练深度卷积神经网络的新方法,该方法通过权重共享从不同输入大小的多个数据集学习。这在化学计量学中是一个优势,其中单个测量代表精确的化学化合物,因此信号不能在不干扰其解释的情况下进行转换或调整大小。与迁移学习相比,我们的方法在中等规模和小型数据集一起训练时表现出更好的性能。虽然我们观察到与单独训练相比,当两个中等大小的数据集一起训练时,特别是通过减少方差,会有很小的改进。
2019-11-07 cs.LG stat.ML
Warped Input Gaussian Processes for Time Series Forecasting
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们引入了一个基于高斯过程的模型来处理非平稳性。通过对后续观测输入之间的距离的相对变化施加先验,非参数化地实现了翘曲。该模型允许使用通用梯度优化算法进行训练,并且在训练和预测时只产生很小的计算开销。该模型发现其应用在预测中的非平稳时间序列逐渐变化的波动性,存在的变化点,或其组合。我们评估模型的合成和真实世界的时间序列数据比较基线和已知的国家的最先进的方法,并表明该模型具有国家的最先进的预测性能,在较低的实现和计算成本。
2019-12-05 cs.LG stat.ML
Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs
Duke University(杜克大学)
基于随机梯度下降的算法通常用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机(RBM)是一种概率生成模型,可以堆叠以构建深度架构。对于具有Bernoulli输入的RBM,已经专门设计了诸如随机谱下降(SSD)的非欧几里德算法,以通过改进使用采样方法的梯度估计来加速收敛。然而,现有的算法和相应的理论依据依赖于假设,可能的配置的输入是有限的,像二进制变量。本文的目的是推广SSD的高斯RBM能够建模连续数据,而不管前面的假设。在非欧参数空间中,通过推导基于Schatten无穷范数的RBM的对数配分函数的上界,提出了梯度下降法.我们的经验表明,SSD的优势和改进随机梯度下降(SGD)。
2017-03-28 cs.LG stat.ML
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
Stability of Measure-to-Measure Transformers on Sub-Gaussian Data
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);Doshisha University(同志社大学);RIKEN AIP(理化学研究所人工智能研究中心)
本文从数学上研究变换器定义的测度到测度算子,证明其将亚高斯输入映射为亚高斯输出且关于1-Wasserstein距离Hölder连续,并给出误差传播估计、交叉注意力的正则性与样本复杂度分析及逼近保证,为亚高斯数据上的变换器奠定稳定性与有限样本理论基础。
2026-10-07 cs.LG stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions
Department of Physics, Korea Advanced Institute of Science and Technology(韩国科学技术院物理系);Center of Complex Systems, Korea Advanced Institute of Science and Technology(韩国科学技术院复杂系统中心)
本研究通过将输入建模为高斯混合分布,揭示了神经网络动力学在标准化后表现出高斯普遍性,从而增强了深度学习理论的理解。
2025-11-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Convergence Analysis of Two-Layer Neural Networks under Gaussian Input Masking
Computer Science Dept., Rice University(计算机科学系, Rice大学)
本研究分析了高斯输入掩码下两层神经网络的收敛性,通过NTK方法证明其线性收敛性,并解决了非线性激活中的随机性问题。
2026-02-19 cs.AI cs.DS cs.LG
Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input
Massachusetts Institute of Technology(麻省理工学院);Duke University(杜克大学)
本文针对标准高斯输入下的子空间稀疏多项式,分析两层神经网络 SGD 的平均场流,给出可学习性的必要条件并证明其近乎充分。
2025-01-09 cs.LG math.AP
Feature learning from non-Gaussian inputs: the case of Independent Component Analysis in high dimensions
International School of Advanced Studies (SISSA)(国际先进研究学院(SISSA))
本文以独立成分分析(ICA)为模型研究非高斯输入的特征学习机制,严格证明了FastICA算法的样本复杂度较差,而通过平滑损失处理的在线SGD能达到最优样本复杂度,并解释了ImageNet图像的强非高斯性如何弥补FastICA的不足。
2025-03-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Stochastic Behavior of the Nonnegative Least Mean Fourth Algorithm for Stationary Gaussian Inputs and Slow Learning
Soochow University(苏州大学);Northwestern Polytechnical University(西北工业大学);Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
本文研究了非负最小均方四次算法在平稳高斯输入和慢速学习下的随机行为,分析其性能并验证了理论结果。
2015-08-24 cs.LG cs.NA math.NA
Input-agnostic Certified Group Fairness via Gaussian Parameter Smoothing
Auburn University(奥本大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
直到最近,研究人员才试图提供具有可证明的组公平性保证的分类算法。这些算法中的大多数都受到训练和部署数据遵循相同分布的要求所引起的困扰。提出了一种与输入无关的认证组公平性算法FairSmooth,在保证预测精度的同时,提高了分类模型的公平性。提出了一种高斯参数平滑方法,将基分类器平滑化。一个最佳的个人平滑分类器学习每个组只有关于组的数据和一个整体的平滑分类器的所有组的所有个人的平滑的参数的平均值生成。利用非线性泛函分析理论,光滑分类器被重新表述为Nemytskii算子的输出函数。通过理论分析,证明了Nemytskii算子是光滑的,并诱导出一个Frechet可微光滑流形.我们从理论上证明了光滑流形具有一个全局Lipschitz常数,该常数与输入数据的域无关,从而导出了与输入无关的认证组公平性。
2022-06-22 cs.CY cs.LG
Causal Optimal Coupling for Gaussian Input-Output Distributional Data
University of Washington(华盛顿大学)
本文研究了在因果动力系统生成的分布数据中寻找最优耦合问题,通过Schrödinger Bridge方法结合Kullback-Leibler散度约束和因果约束,提出高斯边际下二次成本函数的可计算解法。
2026-04-01 cs.LG cs.SY eess.SY