Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Deep Structured Mixtures of Gaussian Processes
TU Graz（格拉茨工业大学）；OFAI（奥地利人工智能研究所）；TU Eindhoven（埃因霍温理工大学）；University of Cambridge（剑桥大学）
高斯过程（GP）是一种功能强大的非参数贝叶斯回归模型，允许精确的后验推理，但具有较高的计算和内存成本。为了提高GP的可扩展性，经常采用近似后验推理，其中一类突出的近似技术是基于本地GP专家的。然而，到目前为止提出的本地专家技术要么没有很好的原则，有限的近似保证，或导致棘手的模型。在本文中，我们引入了GP专家的深度结构化混合物，这是一种随机过程模型，i）允许精确的后验推理，ii）具有吸引人的计算和内存成本，iii）当用作GP近似时，捕获预测不确定性始终优于以前的基于专家的近似。在各种实验中，我们表明，深度结构的混合物具有较低的近似误差，并且通常具有竞争力或优于先前的工作。
2020-04-26 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
稀疏变分近似允许在高斯过程（GP）模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中，这些GP是后验耦合的。对于许多应用，例如回归，其中预测精度是感兴趣的量，这种耦合并不重要。然而，如果人们对后验不确定性感兴趣，它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时，均值场方法提供了快速准确的后验均值，而结构化后验均值导致推理算法的计算复杂度更高。在这里，我们扩展了以前的稀疏GP近似，并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Learning of Tree-Structured Gaussian Graphical Models on Distributed Data under Communication Constraints
Sharif University of Technology（谢里夫理工大学）
在本文中，学习树结构的高斯图形模型从分布式数据。在我们的模型中，样本存储在一组分布式机器中，其中每台机器只能访问一个子集的功能。然后，中央机器负责基于从其他节点接收的消息来学习结构。我们提出了一套有效的沟通策略，理论上证明，传达足够的信息，可靠的学习的结构。特别是，我们的分析表明，即使每台机器只发送其本地数据样本的标志到中心节点，树结构仍然可以恢复高精度。我们在合成和真实世界数据集上的模拟结果表明，我们的策略在推断底层结构方面达到了预期的准确性，同时在通信上花费了少量预算。
2018-09-21 cs.LG stat.ML
Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited
Australian National University（澳大利亚国立大学）；Google DeepMind（谷歌DeepMind）
本文提出块对角缩放矩阵改进稀疏变分高斯过程，并将结构化近似后验引入 Power-EP 框架，在保持计算成本的同时提升回归性能，为实践者提供灵活替代方案。
2025-07-03 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Robust estimation of tree structured Gaussian Graphical Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合考虑高斯随机变量，其条件独立结构由图模型指定。如果我们观察变量的实现，我们可以计算协方差阵，众所周知，逆协方差阵的支持对应于图形模型的边缘。相反，假设我们只有噪声观测。如果每个节点上的噪声是独立的，我们可以计算协方差阵和一个未知对角线的和。这个和的逆（一般来说）是稠密的。我们要问：原来的独立结构还能恢复吗？我们解决这个问题的树结构的图形模型。我们证明了这个问题是不可识别的，但这种不可识别性仅限于一类候选树。我们进一步提出了额外的限制下，这个问题是可以识别的。最后，我们提供了一个O（n^3）算法来找到这个等价类的树。
2019-01-25 cs.LG stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Scalable Gaussian Processes with Grid-Structured Eigenfunctions (GP-GRIEF)
University of Toronto（多伦多大学）
我们引入了一个核近似策略，使计算的高斯过程对数边际似然和所有超参数导数在$\mathcal{O}(p)$时间。我们的GRIEF内核由$p$本征函数发现使用Nystrom近似从密集的笛卡尔积网格的诱导点。通过利用Kronecker和Khatri-Rao张量积的代数性质，训练过程的计算复杂度实际上可以与诱导点的数量无关。这允许我们使用任意多个诱导点来实现全局精确的核近似，即使在高维问题中也是如此。快速似然评估使得能够在大规模数据集上进行I型或II型贝叶斯推断。我们在现实世界的问题上对我们的算法进行基准测试，训练点和$10^{33}$诱导点多达200万个。
2018-08-01 cs.LG stat.ML
Gray-box inference for structured Gaussian process models
针对具有高斯过程（GP）先验和线性链似然的贝叶斯结构预测问题，提出了一种自动变分推理方法。我们的方法不需要知道结构化似然模型的细节，并且可以扩展到大量的观测。此外，我们表明，所需的预期似然项及其梯度的变分目标（ELBO）可以有效地估计使用期望非常低维高斯分布。ELBO的优化是完全并行的序列，并服从随机最优化，我们使用控制变量技术和最先进的增量优化，使我们的框架在实践中有用。一组自然语言处理任务的结果表明，我们的方法可以一样好（有时更好）硬编码的方法，包括SVM-struct和CRF，并克服了以前的推理算法基于采样的可扩展性限制。总的来说，这是为贝叶斯结构化预测开发自动推理方法的基本步骤。
2016-09-14 stat.ML
Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了一个变分贝叶斯神经网络的参数是通过随机矩阵的概率分布。具体来说，我们采用了一个矩阵变量高斯\cite{gupta1999matrix}参数后验分布，其中我们明确建模的协方差之间的输入和输出的每一层的尺寸。此外，近似的协方差阵，我们可以实现一个更有效的方式来表示这些相关性，也比完全分解的参数后验更便宜。我们进一步表明，与“本地reprarametrization技巧”\cite{kingma2015variational}在这个后验分布，我们到达一个高斯过程\cite{rasmussen2006gaussian}解释的隐藏单位在每一层，我们，同样与\cite{gal2015dropout}，提供与深高斯过程的连接。我们继续利用这种二元性，并将“伪数据”\cite{snelson2005sparse}纳入我们的模型，这反过来又允许更有效的采样，同时保持原始模型的属性。通过大量的实验验证了该方法的有效性。
2016-06-23 cs.LG stat.ML
Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties
Bosch Center for Artificial Intelligence（博世人工智能中心）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
深度高斯过程通过级联多个高斯过程来学习监督学习的概率数据表示。虽然这个模型家族承诺灵活的预测分布，精确的推断是不容易处理的。近似推理技术权衡了与后验分布非常相似的能力与收敛速度和计算效率。我们提出了一个新的高斯变分家庭，允许保留潜在的过程之间的协方差，同时实现快速收敛边缘化的所有全球潜在变量。在证明了如何对一般协方差进行边缘化之后，我们将它们限制在我们根据经验发现最重要的那些，以便也实现计算效率。我们提供了一个有效的实现我们的新方法，并将其应用到几个基准数据集。它产生了出色的结果，并在准确性和校准的不确定性估计之间取得了比其最先进的替代品更好的平衡。
2020-10-22 cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Blitzkriging: Kronecker-structured Stochastic Gaussian Processes
我们提出了Blitzkriging，一种新的方法来快速推断高斯过程，适用于回归，优化和分类。非常大的数据集上的高斯过程的最先进的（随机）推理在“诱导输入”的数量上按立方缩放，引入变量以分解模型。Blitzkriging与数据共享最先进的缩放，但将诱导点数量的缩放减少到近似线性。此外，与其他方法相比，Blitzkriging：不强制数据符合任何特定的结构（包括网格状）;减少对诱导点位置的易出错优化的依赖;并且能够从数据中学习丰富的（协方差）结构。我们展示了我们的方法在回归，时间序列预测和信号插值实验中对真实数据的好处。
2015-10-31 stat.ML
Structured Variational Inference in Unstable Gaussian Process State Space Models
ETH Zurich（苏黎世联邦理工学院）
提出了一种新的变分推理算法，用于高斯过程状态空间模型（GPSSMs）的学习。我们的算法可以学习不稳定和部分可观测的系统，以前的算法失败。我们的主要算法贡献是一个新的近似后验，可以有效地计算使用一个单一的向前和向后通过沿训练轨迹。前向-后向传递的灵感来自线性动态系统的卡尔曼平滑，但推广到GPSSM。我们的第二个贡献是修改的条件步骤，有效地降低了卡尔曼增益。这种修改对于在没有测量值的情况下获得良好的测试性能至关重要。最后，我们的实验表明，我们的学习算法表现良好，在稳定和不稳定的真实系统的隐藏状态。
2020-06-10 cs.LG cs.SY eess.SY
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Scaling Multidimensional Inference for Structured Gaussian Processes
精确高斯过程（GP）回归对于数据大小N具有O（N^3）的运行时间，使得它对于大N是难以处理的。许多改进GP尺度的算法都是用低秩矩阵来逼近协方差。其他工作已经利用了特定协方差函数中固有的结构，包括具有隐含马尔可夫结构的GP和等间隔输入（两者都使O（N）运行时间）。然而，这些GP的进步还没有扩展到多维输入设置，尽管多维应用程序的优势。本文介绍和测试新的结构化GP多维输入的扩展。我们提出了新的方法添加剂GP，经典的回拟合方法和贝叶斯框架之间的一种新的连接。为了实现最佳的精度和复杂性的权衡，我们扩展了这个模型的投影寻踪回归的一个新的变种。我们的主要结果--投影寻踪高斯过程回归--在保持高精度的同时显示了数量级的加速。自然的第二步和第三步包括非高斯观测和高维等间距网格方法。我们引入新的技术来解决这两个必要的方向。我们在几个数据集上彻底说明了这三个进步的力量，以更低的成本实现了与幼稚全GP接近的性能。
2012-09-21 stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology（代尔夫特理工大学）
本文提出将带导数的结构化核插值（D-SKI）引入标量势磁场模型，以线性复杂度实现大规模室内磁场地图的高效构建，在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC（拉德堡德大学医学中心）；Donders Institute（唐德斯研究所）；University of Oxford（牛津大学）；King’s College London（伦敦国王学院）
大多数大脑疾病在其基础生物学方面是非常异质的，开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用（f）MRI数据的脑功能的规范模型，然后使用这些来映射临床人群中个体之间的变化（例如，经由异常检测）。为了充分捕捉个体差异，对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而，这对于神经成像数据来说是非常具有挑战性的，因为多个轴之间的高维和高度结构化的相关模式。在这里，我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程，并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上，我们证明了我们的计算负担得起的方法大大提高了检测灵敏度，超过了一个质量单变量规范模型和一个分类器，与我们的方法不同，它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Learning Structured Gaussians to Approximate Deep Ensembles
University of Sussex（萨塞克斯大学）；Niantic（Niantic公司）；University of Bath（巴斯大学）
本文提出了使用稀疏结构的多元高斯提供一个封闭形式的近似用于密集图像预测任务的概率集成模型的输出。这是通过预测分布的均值和协方差的卷积神经网络实现的，其中逆协方差由稀疏结构的Cholesky矩阵参数化。与蒸馏方法类似，我们的单个网络经过训练，以最大化来自预训练概率模型的样本的概率，在这项工作中，我们使用固定的网络集合。一旦经过训练，我们的紧凑表示可以用于从近似输出分布中有效地绘制空间相关样本。重要的是，这种方法在正式的分布中明确地捕捉到预测中的不确定性和结构化相关性，而不是仅仅通过抽样来隐含地捕捉。这允许模型的直接内省，使学习的结构可视化。此外，这种配方提供了两个进一步的好处：估计的样本概率，并在测试时引入任意的空间条件。我们证明了我们的单目深度估计的方法的优点，并表明，我们的方法的优点是获得可比的定量性能。
2022-03-29 cs.CV eess.IV stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Hierarchical Gaussian Processes for Survey Weighting: Local Equivalent Weights in Structured Populations
Columbia University（哥伦比亚大学）
本研究提出基于分层高斯过程（HGP）回归的调查加权框架，构造结构化总体的局部等价权重，模拟及实际应用显示其在非参数结构下预测误差更低，拓展了调查加权的非参数建模方法。
2026-10-22 stat.ME stat.ML
Posterior Variance Analysis of Gaussian Processes with Application to Average Learning Curves
Technical University of Munich（慕尼黑工业大学）
高斯过程的后验方差是学习误差的一个有价值的度量，它在安全强化学习和控制设计等各种应用中得到了利用。然而，缺乏对后验方差的适当分析，该分析捕获了有限和无限数量的训练数据的行为。本文推导了一种新的后验方差函数的界，它只需要局部信息，因为它只依赖于在所考虑的测试点附近的训练样本的数量。此外，我们证明了充分条件，确保后验方差收敛到零。最后，我们证明了我们的平均学习界的扩展优于现有的方法。
2019-06-04 cs.LG stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
A Statistical Machine Learning Approach to Yield Curve Forecasting
收益率曲线预测是金融学中的一个重要问题。在这项工作中，我们探讨了使用高斯过程结合动态建模策略，很像卡尔曼滤波器，建模的收益率曲线。高斯过程已经成功地应用于各种应用中的函数数据建模。使用高斯过程对收益率曲线进行建模。当算法接收收益率曲线数据时，更新高斯过程模型的超参数。收益率曲线数据通常以时间序列的形式提供，频率为一天。我们比较现有的方法来预测收益率曲线与所提出的方法。研究结果表明，多元时间序列方法在预测收益率曲线的短期结构区域时表现良好，而高斯过程在预测收益率曲线的中长期结构区域时表现良好。收益率曲线长期结构区域的准确性具有重要的实际意义。与其他竞争方法相比，高斯过程框架直接产生不确定性和概率估计。分析师经常对这些信息感兴趣。在这项研究中，所提出的方法已被应用到收益率曲线预测，但它可以被应用到建模高频时间序列数据或数据流在其他领域。
2017-03-04 stat.ML
Contrastive Structured Anomaly Detection for Gaussian Graphical Models
高斯图模型（GGM）是分析复杂系统中变量之间的条件依赖关系的概率工具。因此，在GGM的结构演化中找到变点对于检测由GGM建模的底层系统中的异常是至关重要的。为了检测GGM中的结构异常，我们考虑估计相应的高斯分布的精度矩阵的变化的问题。我们采取两步的方法来解决这个问题：-（i）估计一个背景精度矩阵使用系统的观察，从过去没有任何异常，以及（ii）估计一个前景精度矩阵使用滑动时间窗口异常监测期间。我们的主要贡献是在估计的前景精度使用一种新的对比逆协方差估计过程。为了准确地只学习GGM的结构变化，我们最大化惩罚的对数似然，其中惩罚是被估计的前景精度和已经学习的背景精度之间的差异的$l_1$范数。我们修改了交替方向乘子法（ADMM）稀疏逆协方差估计算法进行对比估计的前景精度矩阵。我们的模拟GGM数据的结果表明，显着改善的精度和召回检测GGM的结构变化，相比非对比滑动窗口基线。
2016-05-02 stat.ML
Machine learning for multiple yield curve markets: fast calibration in the Gaussian affine framework
校准是一项极具挑战性的任务，特别是在多个收益率曲线市场中。本文是首次尝试研究机器学习技术在这方面应用的机会和挑战。我们采用高斯过程回归，一种与扩展卡尔曼滤波有许多相似之处的机器学习方法-一种已多次应用于利率市场和期限结构模型的技术。在Vasicek框架中，我们发现单曲线市场的结果非常好，而多曲线市场面临许多挑战。高斯过程回归是用Adam优化器和非线性共轭梯度法实现的，其中后者表现最好。我们还指出了未来的研究。
2020-04-17 math.PR q-fin.MF q-fin.PR
Replica theory for learning curves for Gaussian processes on random graphs
统计物理学方法可以用于从潜在的噪声数据中学习推理方法的性能，如通过定义为平均误差与训练示例数量的学习曲线所量化的。我们分析了一个具有挑战性的问题，在该地区的非参数推断，有效地无限数量的参数必须学习，特别是高斯过程回归。当输入是一个随机图上的顶点和输出噪声函数值，我们表明，副本技术可以用来获得准确的性能预测的限制大图。高斯过程先验的协方差由随机游动核定义，该核是连续空间上平方指数核的离散模拟。传统上，这个内核只在全局上进行归一化，因此先验方差在顶点之间可能不同;作为一个更有原则的替代方案，我们考虑局部归一化，其中先验方差是均匀的。
2012-11-06 cond-mat.dis-nn cond-mat.stat-mech stat.ML
Whitened Score Diffusion: A Structured Prior for Imaging Inverse Problems
针对传统分数扩散模型处理各向异性高斯扩散时需协方差求逆的问题，提出白化分数扩散模型，规避求逆实现稳定训练，在多成像任务上性能优于传统扩散先验，代码已开源。
2025-11-15 eess.IV eess.SP stat.AP
Rolled Gaussian process models for curves on manifolds
School of Mathematical Sciences, University of Nottingham, UK（诺丁汉大学数学科学学院）；Computer Science Department, Nottingham Trent University, UK（诺丁汉特伦特大学计算机科学系）；School of Mathematics, Statistics and Actuarial Science, University of Kent, UK（肯特大学数学、统计与精算科学学院）
本文提出了一种基于卷曲操作的高斯过程模型，用于在流形上生成和推断曲线数据，并在不同流形上进行了应用验证。
2026-02-16 math.ST stat.ME stat.ML
Structured Sparse Modelling with Hierarchical GP
本文提出了一种新的具有时空结构的稀疏线性回归贝叶斯模型。它结合了结构假设的基础上，一个分层的高斯过程之前的尖峰和板系数。我们设计了一个基于期望传播的推理算法，并在真实数据上对模型进行了评估。
2017-04-27 stat.ML
Corrupted Sensing: Novel Guarantees for Separating Structured Signals
我们研究的问题，损坏的感知，压缩感知的推广，其中一个目的是恢复一个信号从收集损坏或不可靠的测量。虽然在面对任意损坏时不能恢复任意信号，但是当信号和损坏都被适当地结构化时，易于处理的恢复是可能的。我们量化的信号恢复和两个几何措施的结构，高斯复杂性的切线锥和高斯距离的次微分之间的关系。我们采取凸规划的方法来解开信号和腐败，分析惩罚方案，权衡信号和腐败的复杂性，和约束方案，约束信号或腐败的复杂性时，先验信息是可用的。在每种情况下，我们提供的条件，从结构化腐败和稳定的信号恢复结构化腐败与非结构化噪声。我们的模拟表明，我们的理论恢复界限和在实践中观察到的尖锐的相变之间的密切协议。此外，我们提供了新的可解释的高斯复杂性的稀疏向量，块稀疏向量，低秩矩阵，这导致更清晰的保证恢复时，结合我们的结果和文献中的。
2014-02-04 cs.IT math.IT math.OC
