Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore(新加坡国立大学);Harvard University(哈佛大学)
该研究提出带线性约束的半参数专家贝叶斯网络学习模型,结合高斯过程与差异化尺度马蹄先验引入少量非线性,可生成多样适配用户输入的图,在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Understanding Probabilistic Sparse Gaussian Process Approximations
良好的稀疏近似对于高斯过程中的实际推理是必不可少的,因为精确方法的计算成本对于大型数据集是过高的。完全独立训练条件(FITC)和变分自由能(VFE)近似是最近流行的两种方法。尽管表面上相似,但这些近似具有令人惊讶的不同理论性质,并且在实践中表现不同。本文通过分析和实例对这两种回归方法进行了深入的研究,并得出了指导实际应用的结论。
2017-05-30 stat.ML
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程(GP)不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题,但已知过度拟合。我们建议使用变分推断的稀疏谱近似,以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模,并将其视为随机变量。随机协方差函数有一个后验,其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质,比较它的替代,并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数,并避免过度拟合。
2015-03-20 stat.ML
Recursive Sparse Pseudo-input Gaussian Process SARSA
Stevens Institute of Technology(史蒂文斯理工学院)
时间差分学习的高斯过程(GP)方法类已经显示出数据高效的无模型强化学习的前景。在本文中,我们认为最近的变体GP-SARSA算法,称为稀疏伪输入高斯过程SARSA(SPGP-SARSA),并推导出其预测矩的递归公式。这个扩展提高了内存效率,因为以前的计算可以重用,而且有趣的是,它提供了一种在多个时间尺度上更新值估计的技术
2018-11-17 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Deep Recurrent Gaussian Process with Variational Sparse Spectrum Approximation
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这种系统进行建模,使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)和变分稀疏谱高斯过程(VSSGP)的基础上,提出了两种新的深度递归高斯过程(DRGP)模型。我们遵循现有DRGP基于特定稀疏Nyström近似给出的经常性结构。因此,我们还对输入空间进行变分积分,从而可以通过层传播不确定性。我们可以证明,对于所得到的下界,存在一个最优变分分布。训练是通过优化变分下界来实现的。采用分布式变分推断(DVI)可以降低计算复杂度。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。此外,我们的方法可以很容易地适用于无监督学习,例如潜变量模型及其深度版本。
2017-11-19 stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架,它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法,并给出了后验分布的理论推导。的推理框架进行了全面评估合成,真实的视频和脑电图(EEG)数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比,该方法的F测度提高了15%。此外,所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性,源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Learning non-Gaussian spatial distributions via Bayesian transport maps with parametric shrinkage
本文提出 ShrinkTM 方法,通过将贝叶斯传输映射分量向参数高斯族收缩并结合 Vecchia 近似,提升高维非高斯空间分布学习在少样本下的准确性与可扩展性。
2025-02-01 stat.AP stat.CO stat.ML
Sparse within Sparse Gaussian Processes using Neighbor Information
Eurecom(欧洲通信学院);National University of Singapore(新加坡国立大学)
基于诱导变量的高斯过程近似与变分推断技术相结合,使得最先进的稀疏方法能够通过基于小批量的学习来大规模地推断GP。在这项工作中,我们解决了稀疏GP的一个局限性,这是由于在处理大量的诱导变量而不对诱导输入施加特殊结构的挑战。特别是,我们引入了一种新的分层先验,它对诱导变量集施加稀疏性。我们对待我们的模型变分,我们的实验表明相当大的计算增益相比,标准的稀疏GP的诱导变量的稀疏性时,考虑到最近的诱导输入的随机小批量的数据实现。我们进行了广泛的实验验证,证明了我们的方法的有效性相比,国家的最先进的。我们的方法使使用稀疏GP使用大量的诱导点,而不会产生高昂的计算成本的可能性。
2021-07-20 cs.LG stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart(斯图加特大学);ETAS GmbH(ETAS有限公司)
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模,经常使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)及其改进模型变分稀疏谱高斯过程(VSSGP)的基础上,提出了几种新的深度递归高斯过程(DRGP)模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似,经常性的高斯过程(RGP)的基础上的经常性结构。类似于以前的工作,我们也变分集成的输入空间,因此可以通过高斯过程(GP)层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP,因为它的频谱性质允许变分积分在所有平稳的情况下。此外,我们结合(变分)稀疏谱((V)SS)近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。
2019-09-27 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
稀疏变分高斯过程(SVGP)方法是非共轭高斯过程推理的常见选择,因为它们的计算优势。在本文中,我们提高了他们的计算效率,通过使用一个双参数化,每个数据的例子被分配双参数,类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降,并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销,但速度更快,精度更高。
2022-01-19 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Semi-parametric estimation of the variogram of a Gaussian process with stationary increments
本文考虑光滑性已知的一维高斯过程的尺度参数的半参数估计。我们建议一个估计的基础上二次变化和矩法。我们提供了这个估计的均值和方差的渐近近似,连同渐近正态性的结果,为一大类高斯过程。我们允许一般的平均函数,并研究了各种变异序列的基础上的几个估计的聚合。在广泛的模拟研究中,我们表明,渐近结果准确地描绘了有限样本的情况下已经小到中等的样本量。我们还比较了各种变化的序列,并强调聚合过程的效率。
2020-01-20 math.ST stat.TH
Bayesian High-dimensional Semi-parametric Inference beyond sub-Gaussian Errors
在高维情形下,考虑了具有未知对称误差的稀疏线性回归模型。假设真实误差分布属于局部$β$ -Hölder类,尾部呈指数下降,不需要是亚高斯分布。我们得到的回归系数和误差密度的后验收敛速度,这是近最优的和自适应的未知稀疏水平。此外,我们推导了半参数Bernstein-von Mises(BvM)定理来描述回归系数的边缘后验的渐近形状。在真得分函数为亚高斯分布的假设下,得到了回归系数的强模型选择相合性,从而证明了频率论可信集的有效性.
2020-08-30 math.ST stat.TH
Uncertainty Quantification for Sparse Deep Learning
深度学习方法继续在理论和实践上对机器学习产生决定性的影响。统计理论的发展主要涉及恢复无限维对象(曲线或密度)时的近似性或估计率。尽管有一系列令人印象深刻的理论结果,但文献在很大程度上对深度学习的不确定性量化保持沉默。本文采取了一个步骤,在这个重要的方向,采取贝叶斯的观点。我们研究了非参数回归中稀疏深度ReLU架构的后验分布的某些方面的高斯近似性。从贝叶斯非参数的工具的基础上,我们提供了半参数伯恩斯坦-冯米塞斯定理的线性和二次泛函,保证隐含的贝叶斯可信区域有有效的频率覆盖。我们的研究结果为使用ReLU激活函数的(贝叶斯)深度学习提供了新的理论依据,突出了它们的推理潜力。
2020-07-12 math.ST stat.ML stat.TH
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化(BO)循环的关键组成部分,然而,我们发现,现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解,我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法,只寻求减少目标函数的全局不确定性,我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说,我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力,因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Sparse Gaussian Processes with Spherical Harmonic Features Revisited
Microsoft Research(微软研究院)
我们重新审视了具有球谐特征的高斯过程模型,并研究了相关的RKHS,其特征结构和深层模型之间的联系。在此基础上,我们引入了一类新的内核,对应于连续深度的深度模型。在我们的公式中,深度可以通过优化证据下限来估计为核超参数。此外,我们引入稀疏的特征基变分学习的球谐相位。这使得能够缩放到比以前更大的输入尺寸,同时还允许学习高频变化。我们在机器学习基准数据集上验证了我们的方法。
2023-03-28 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT(麻省理工学院)
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布,给定相应的数据集。任意分布的条件独立结构可以表示为无向图(或马尔可夫随机场),但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布,从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的,因为它可以加速推理,改进采样方法,并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接,确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Online Anomaly Detection with Sparse Gaussian Processes
East China Normal University(华东师范大学)
时间序列数据的在线异常检测是机器学习中一个重要而又具有挑战性的课题。高斯过程(GP)是一种强大而灵活的时间序列数据建模模型。然而,GP的高时间复杂度限制了其在在线异常检测中的应用。概念漂移通常发生在时间序列数据中,由于内部或外部的变化,数据的特征和异常行为的含义会随着时间的推移而发生变化。在线异常检测方法应具有适应概念漂移的能力。基于上述事实,本文提出了带Q函数的稀疏高斯过程方法(SGP-Q)。SGP-Q采用稀疏高斯过程(SGPs),其时间复杂度低于GP,从而显着加快在线异常检测。通过适当地使用Q函数,SGP-Q能很好地适应概念漂移。此外,SGP-Q通过训练数据更新策略,充分利用了训练数据中少量的异常数据,使得稀疏高斯过程回归模型的精度更高,异常检测效果更好。我们在各种人工和真实世界的数据集上评估SGP-Q。实验结果验证了SGP-Q的有效性。
2019-05-14 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University(哥伦比亚大学)
对于深度离散潜变量模型,已经提出了几种近似推理方法。然而,非参数的方法,以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下,深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外,为了学习尺度不变的离散特征,我们提出了局部数据缩放变量。最后,为了鼓励我们表示的稀疏性,我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法,并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Semi-parametric $γ$-ray modeling with Gaussian processes and variational inference
错误地模拟银河系起源的不确定的弥散辐射会严重影响天体物理学伽马射线数据的表征,特别是在银河系内部,这种辐射可以占到在~GeV能量下观察到的光子计数的80%以上。我们介绍了一类新的方法,使用高斯过程和变分推理建立灵活的背景和信号模型的伽马射线分析的目标,使一个更强大的解释的伽马射线天空的组成,特别是专注于表征潜在的信号暗物质在银河系中心的费米望远镜的数据。
2020-10-20 astro-ph.CO astro-ph.HE astro-ph.IM
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Sparse Algorithms for Markovian Gaussian Processes
Aalto University(阿尔托大学);The Alan Turing Institute(艾伦·图灵研究所)
扩展到非常大的数据集的近似贝叶斯推断方法对于利用真实世界时间序列的概率模型至关重要。稀疏马尔可夫高斯过程将诱导变量的使用与高效的卡尔曼滤波器递归相结合,从而产生其计算和存储器要求在诱导点的数量上线性缩放的算法,同时还实现并行参数更新和随机优化。在这种模式下,我们得出一个一般的基于站点的方法来近似推理,从而我们近似的非高斯似然与当地高斯条款,称为网站。我们的方法结果在一套新的稀疏扩展算法从机器学习和信号处理文献,包括变分推断,期望传播,和经典的非线性卡尔曼平滑。派生的方法是适合于大型时间序列,我们也证明了它们的适用性时空数据,该模型在时间和空间有单独的诱导点。
2021-06-09 cs.LG stat.ML
Similarity measure for sparse time course data based on Gaussian processes
Imperial College London(帝国理工学院)
我们提出了一个稀疏采样的时间过程数据的相似性度量的高斯过程(GP)的对数似然比的形式。所提出的GP相似性类似于贝叶斯因子,并且提供对稀疏时间序列中的噪声的增强的鲁棒性,诸如在各种生物设置中发现的那些,例如,基因转录组学我们表明,GP措施是等效的欧氏距离时,在GP的噪声方差是可以忽略不计的信号的噪声方差。我们的数值模拟实验的合成和真实的数据表明,改进的性能GP相似性结合使用时,两个基于距离的聚类方法。
2021-02-24 cs.IR cs.LG stat.ML
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Sparse Gaussian Process Variational Autoencoders
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
在现代科学和工程中,大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型(GP-DGMs),其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似,这对于GP的计算效率是必不可少的,它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器(SGP-VAE)的发展,其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点,SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理,而无需额外的训练。SGP-VAE在各种实验中进行了评估,其中它优于替代方法,包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场(GMRF)的推理和模拟方法在约束数量很大时计算量很大。在某些情况下,例如对于固有GMRF,它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战,在常见的情况下稀疏的约束,其中一个有大量的约束,每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间,我们表明,该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合,我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
EigenGP: Sparse Gaussian process models with data-dependent eigenfunctions
Purdue University(普渡大学)
高斯过程(GP)提供函数的非参数表示。然而,传统的GP推理存在计算量大,设计非平稳GP先验知识困难等问题。在本文中,我们提出了一个稀疏高斯过程模型,本征GP,基于Karhunen-Loeve(KL)展开的GP先验。我们使用Nystrom近似获得数据相关的特征函数,并选择这些特征函数的证据最大化。这种选择减少了我们模型中本征函数的数量,并提供了一个非平稳的协方差函数。为了处理非线性似然,我们开发了一种有效的期望传播(EP)推理算法,并将其与期望最大化相结合用于特征函数的选择。因为高斯核的特征函数与样本的聚类相关联-包括标记的和未标记的-选择相关的特征函数使EigenGP能够进行半监督学习。我们的实验结果表明,改进的预测性能的EigenGP替代国家的最先进的稀疏GP和半监督学习方法的回归,分类和半监督分类。
2013-03-13 cs.LG stat.CO stat.ML
Posterior Consistency for a Non-parametric Survival Model under a Gaussian Process Prior
在本文中,我们证明了几乎必然的一致性生存分析模型,它把一个高斯过程,映射到单位区间,作为所谓的风险函数的先验。我们假设我们的数据由属于$\mathbb{R}^{+}$的生存寿命$T$和$[0,1]^d$的协变量给出,其中$d$是任意维。我们定义了一个适当的度量生存功能,并证明后验一致性与此度量。我们的证明是基于Schwartz(1965)定理的一个推广,该定理给出了在非独立同分布随机变量的情形下几乎必然相合的一般条件。由于我们的数据的性质,高斯过程的$\mathbb{R}^+$上的几个结果被证明,这可能是独立的利益。
2016-11-07 math.ST stat.TH
Robust non-parametric mortality and fertility modelling and forecasting: Gaussian process regression approaches
School of Mathematics and Actuarial Science, University of Leicester(莱斯特大学数学与精算学院)
本文提出一种基于高斯过程回归的非参数方法,利用自然三次样条均值函数和谱混合协方差函数对年龄别死亡率和生育率进行建模与预测,在多个发达国家数据上相比主流方法显著提升了短期、中期和长期预测的精确性与稳健性。
2021-02-18 cs.LG stat.AP stat.ME
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
On Parametric Misspecified Bayesian Cramér-Rao bound: An application to linear Gaussian systems
下界是预测估计器在特定统计模型下可以实现的性能的重要工具。贝叶斯界就是这样一种界,它不仅利用了观测统计量,而且包含了先验模型信息。然而,在现实中,真正的模型产生的数据是未知的或简化时,推导估计,这激励工程模型失配的情况下推导估计范围。本文提供了一个推导模型误指定下的贝叶斯Cramér-Rao界,定义了一些重要的概念,如伪真参数,在以前的作品中没有明确确定。一般的结果是特殊的线性和高斯问题,其中封闭形式是可用的,结果被用来验证结果。
2023-03-01 eess.SP math.ST stat.TH
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Homotopy Parametric Simplex Method for Sparse Learning
Princeton University(普林斯顿大学);Tencent AI Lab(腾讯人工智能实验室);Northwestern University(西北大学);Georgia Tech(佐治亚理工学院)
高维稀疏学习给大规模数据分析带来了巨大的计算挑战。在本文中,我们感兴趣的稀疏学习方法制定为线性规划参数化的{ \em正则化因子},并解决他们的参数单纯形法(PSM)。我们的参数单纯形方法提供了显着的优势比其他竞争的方法:(1)PSM自然地获得完整的解决方案路径的所有值的正则化参数;(2)PSM提供了一个高精度的双证书停止标准;(3)PSM通过很少的迭代产生稀疏的解决方案,解决方案的稀疏性显着降低每次迭代的计算成本。特别是,我们证明了PSM优于各种稀疏学习方法,包括稀疏线性回归的Dantzig选择器,稀疏鲁棒线性回归的LAD-Lasso,稀疏精度矩阵估计的CLIME,稀疏差分网络估计和稀疏线性规划判别(LPD)分析。然后,我们提供了充分的条件下,PSM总是输出稀疏的解决方案,使其计算性能可以显着提高。通过数值实验验证了PSM方法的优越性。
2017-11-27 cs.LG math.OC stat.ML
Sparse Linear Isotonic Models
在机器学习和数据挖掘中,线性模型已被广泛用于将响应建模为预测因子的参数线性函数。为了放松参数线性模型所做的严格假设,加性模型将响应视为对预测变量应用的未知变换的总和;特别是,加性保序模型(AIM)假设未知变换是单调的。在本文中,我们引入稀疏线性保序模型(SLIMs)的高维问题的混合思想的参数稀疏线性模型和AIM,享有一些吸引人的优势。在高维情形下,提出了一种两步算法来估计稀疏参数和单调函数。在温和的统计假设下,我们证明了该算法可以准确地估计参数。有前途的初步实验,以支持理论结果。
2017-10-16 stat.ML
Non-parametric Sparse Additive Auto-regressive Network Models
考虑多变量时间序列$(X_t)_{t=0}^{T}$,其中$X_t \in \mathbb{R}^d$可以表示针对大脑中的多个神经元的尖峰训练响应、跨多个区域的犯罪事件数据以及许多其他数据。与这些时间序列模型相关的一个重要挑战是估计$d$变量之间的影响网络,特别是当变量$d$的数量很大时,这意味着我们处于高维环境中。先前的工作主要集中在参数向量自回归模型。然而,参数方法在实践中有一定的限制。在本文中,我们使用非参数稀疏加性模型(SpAM)框架来解决这一挑战。结合使用的$β$和$ϕ$混合性质的马尔可夫链和经验过程技术再生核希尔伯特空间(RKHS),我们提供的稀疏$s$,对数的维度$\log d$,时间点的数量$T$,和光滑的RKHS的均方误差的上界。在许多情况下,我们的速率急剧上升到对数因子。我们还提供了数值实验,支持我们的理论结果,并显示使用我们的非参数垃圾邮件管理框架的芝加哥犯罪数据集的潜在优势。
2018-01-24 math.ST stat.ML stat.TH
Nonlinear Level Set Learning for Function Approximation on Sparse Data with Applications to Parametric Differential Equations
Florida State University(佛罗里达州立大学);University of South Carolina(南卡罗来纳大学)
提出了一种基于“非线性水平集学习”(NLL)方法的降维方法,用于稀疏采样函数的逐点预测。该算法利用隐函数定理提供的几何信息,以较小的精度损失有效地将输入维数降低到理论下限,提供了一个一维的函数表示,可用于回归和敏感性分析。实验和应用比较,这种修改后的NLL与原来的NLL和主动子空间(AS)的方法。同时容纳稀疏的输入数据,所提出的算法被证明是训练迅速,并提供了一个更准确和翔实的减少比AS或原始NLL的两个示例功能与高维域,以及两个状态依赖量取决于参数微分方程的解决方案。
2021-08-07 cs.LG cs.NA math.NA
Deep-learning of Parametric Partial Differential Equations from Sparse and Noisy Data
Peking University(北京大学);Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室)
数据驱动方法在从时空数据发现偏微分方程方面取得了很大进展。然而,仍有一些挑战有待解决,包括稀疏噪声数据,不完整的候选库,空间或时间变化的系数。在这项工作中,一个新的框架,它结合了神经网络,遗传算法和自适应方法,提出了同时解决所有这些挑战。该框架利用训练好的神经网络计算导数,生成大量的元数据,解决了数据稀疏、噪声大的问题。其次,利用遗传算法在候选库不完整的情况下,发现偏微分方程的形式和相应的系数。最后,一个两步的自适应方法被引入到发现参数偏微分方程的空间或时间变化的系数。在该方法中,首先发现参数偏微分方程的结构,然后确定变系数的一般形式。所提出的算法进行了测试上的Burgers方程,对流扩散方程,波动方程,KdV方程。实验结果表明,该方法对稀疏和噪声数据具有较好的鲁棒性,并且能够在候选库不完整的情况下发现参数偏微分方程。
2020-05-16 cs.AI cs.LG cs.NE
From Adaptive Kernel Density Estimation to Sparse Mixture Models
Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学(VUB));imec(比利时微电子研究中心);Xi’an Jiaotong University(西安交通大学)
我们介绍了一个气球估计在广义期望最大化方法估计的所有参数的高斯混合模型给定一个数据样本的混合成分。这种正则化策略没有明确限制模型大小,而是产生低复杂度的稀疏模型,其中有效混合成分的数量随着平滑概率参数$\mathbf{P>0}$的增加而减少。这种半参数方法从非参数自适应核密度估计(KDE)过渡到参数普通最小二乘,当$\mathbf{P=1}$。实验表明,更简单的稀疏混合模型保留了自适应KDE解决方案中存在的细节水平。
2018-12-11 cs.LG stat.ML
Fast Multi-Class Probabilistic Classifier by Sparse Non-parametric Density Estimation
Institute of Statistical Science, Academia Sinica(中央研究院统计科学研究所)
在许多应用场景中,模型解释是必不可少的,建立一个易于模型解释的分类模型可以为进一步的研究和改进提供有用的信息。在现代数据分析中,经常会遇到一组冗长的变量,特别是当数据以某些自动方式收集时。这类数据集可能没有收集特定的分析目标,并且通常包含冗余特征,这些特征对当前感兴趣的分析任务没有贡献。变量选择是提高模型解释能力的一种常用方法,在一些参数分类模型中得到广泛应用。在基于密度估计的非参数分类模型中,特别是在多类分类的情况下,缺乏对变量选择的研究。在这项研究中,我们研究了多类分类问题,使用稀疏非参数密度估计的思想,并提出了一种方法来确定每个类的高影响变量。我们提出了所提出的方法的渐近性质和计算过程以及一些建议的样本量。我们还重新发布了使用合成数据集和一些真实数据集的数值结果。
2019-01-04 cs.LG stat.ML
MCMC for Variationally Sparse Gaussian Processes
高斯过程(GP)模型构成概率机器学习的核心部分。GP模型的研究主要集中在三个方面:数据量大时如何有效计算;似然函数非高斯时如何近似后验;如何估计协方差函数参数后验。本文同时解决这些问题,使用变分近似的后稀疏的功能,但其他自由形式的支持。其结果是一个混合蒙特卡洛采样方案,允许同时对函数值和协方差参数进行非高斯近似,并基于诱导点稀疏GP进行有效计算。本文中重复每个实验的代码将很快提供。
2015-06-12 stat.ML
Debiased distributed learning for sparse partial linear models in high dimensions
尽管近年来针对纯线性模型和完全非参数模型提出了各种分布式机器学习方案,但对于具有多层次结构(如稀疏性、线性和非线性)的半参数模型的分布式优化研究较少。为了解决这些问题,本文提出了一种新的通信效率的分布式学习算法的部分稀疏线性模型的特征数量不断增加。该方法基于处理大数据的经典分而治之策略,每个子样本上定义的每个子方法由双正则化最小二乘方法的去偏估计组成。利用所提出的方法,我们从理论上证明了我们的全局参数估计可以达到最优的参数率在我们的半参数模型给出了一个适当的分区的总数据。特别地,数据划分的选择依赖于非参数分量的潜在光滑性,但它是自适应的稀疏性参数。即使在非分布情形下,我们也给出了高维部分线性模型中参数误差最优估计的一个新的易读的证明。最后,几个模拟实验进行了实施,以表明我们的去偏置技术的分布式设置下的经验性能。
2019-11-03 stat.ML
Quasi-parametric rates for Sparse Multivariate Functional Principal Components Analysis
本文给出了多元随机过程第一主成分估计的非渐近结果。我们首先定义多元情形下的协方差函数和协方差算子。然后我们定义一个投影算子。该运算符可以被视为在功能数据分析上下文中从原始数据的重建步骤。接下来,我们表明,本征元素可以表示为一个优化问题的解决方案,我们介绍了LASSO变量的优化问题和相关的插件估计。最后,我们评估估计的准确性。我们建立了一个极小极大下界的均方重构误差的特征元素,这证明了该程序有一个最佳的方差在极小极大意义下。
2022-12-19 math.ST stat.ME stat.ML
Generalized Sparse Precision Matrix Selection for Fitting Multivariate Gaussian Random Fields to Large Data Sets
我们提出了一种基于稀疏精度矩阵选择(SPS)算法估计多变量二阶平稳高斯随机场(GRF)模型的新方法,该算法由Davanloo等人(2015)提出,用于估计标量GRF模型。建立估计的响应间协方差阵和基础空间相关函数的估计参数的理论收敛速率。使用模拟和真实数据集的数值测试验证了我们的理论研究结果。数据分割用于处理大型数据集。
2017-07-06 stat.ML
Sparse Gaussian ICA
Massachusetts Institute of Technology(麻省理工学院)
独立成分分析(ICA)是现代数据分析的基石。其目标是从样本X=AS中恢复具有独立分量的潜在随机向量S,其中A是未知的混合矩阵。重要的是,所有现有的ICA方法都依赖于并强烈利用S不是高斯的假设,否则A将无法识别。在本文中,我们表明,实际上可以处理高斯分量的情况下,通过施加结构上的矩阵A。具体地说,我们假设A是稀疏的和通用的意义上说,它是从一个稀疏的伯努利-高斯系综。在此条件下,我们给出了一个有效的算法,即使当S有多个高斯分量时,只要输入X的协方差阵,也可以恢复A的列。
2018-04-03 cs.LG stat.ML
Variational Gaussian Approximation in Replica Analysis of Parametric Models
Institute for Physics of Intelligence, The University of Tokyo(东京大学智能物理研究所);RIKEN center for AIP(理化学研究所人工智能研究中心)
针对数据生成分布未知或难处理的参数模型分析场景,本文提出副本系统的变分高斯近似方法,可自适应确定试探哈密顿量参数,能连接统计学习理论结论,还可在真实数据集上推导线性回归学习曲线。
2025-10-06 cond-mat.dis-nn math.ST stat.ML
Sparse Non Gaussian Component Analysis by Semidefinite Programming
稀疏非高斯分量分析(SNGCA)是一种基于估计低维非高斯数据分量从高维数据中提取线性结构的无监督方法。在本文中,我们讨论了一种新的方法来直接估计投影的目标空间的半定规划的基础上,提高了方法的灵敏度,各种各样的偏离正常。我们还讨论了程序,允许恢复的结构时,其有效尺寸是未知的。
2012-01-13 math.OC math.ST stat.CO
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在稀疏信号表示中,字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号,额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中,我们提出了一个参数字典学习算法设计数据适应,结构化的字典,稀疏表示图形信号。特别是,我们将图形信号建模为重叠的局部模式的组合。我们施加的约束,每个字典是一个串联的subdictionaries,每个subdictionary是一个多项式的图形拉普拉斯矩阵,表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明,该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比,具有很强的竞争力,并且往往优于后者.然而,与非结构化字典相比,通过所提出的算法学习的字典具有局部原子的特征,并且可以在信号处理任务(例如压缩、去噪和分类)中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Minimax Theory for High-dimensional Gaussian Mixtures with Sparse Mean Separation
Carnegie-Mellon University(卡内基梅隆大学)
虽然有几篇论文研究了学习高斯混合的计算和统计有效方法,但其统计性能的精确极小极大边界以及高维设置中的基本限制还没有得到很好的理解。在本文中,我们提供了精确的信息理论界的聚类精度和样本的复杂性学习的混合物的两个各向同性高斯在高维下小的平均分离。如果存在确定平均分离的相关维度的稀疏子集,则样本复杂度仅取决于相关维度的数量和平均分离,并且可以通过简单的计算高效的过程来实现。我们的研究结果提供了最近的方法,结合特征选择和聚类的理论基础的第一步。
2013-06-09 cs.LG math.ST stat.ML