High-Dimensional Gaussian Process Regression with Soft Kernel Interpolation
Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学部，加州理工学院）；Department of Computer Science, San Francisco State University（计算机科学部，旧金山州立大学）；Base26, CA, USA
提出 SoftKI 方法，结合 SKI 与变分诱导点方法，通过 softmax 插值实现高维数据集上的可扩展高斯过程回归，在适中维度下表现具竞争力。
2025-09-16 cs.LG stat.ML
A scalable end-to-end Gaussian process adapter for irregularly sampled time series classification
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个一般的框架，稀疏和不规则采样的时间序列的分类。这样的时间序列的属性可能导致基本时间过程的值的实质性不确定性，同时使得数据难以使用假定固定维度特征空间的标准分类方法来处理。为了解决这些挑战，我们提出了一个不确定性感知的分类框架，基于一个特殊的计算层，我们称为高斯过程适配器，可以连接不规则采样的时间序列数据的任何黑盒分类器使用梯度下降学习。我们展示了如何结合结构化内核插值框架和Lanczos近似方法来扩大所需的计算量，以及如何使用反向传播来区别性地训练高斯过程适配器与一些端到端的分类器。
2016-10-28 cs.LG stat.ML
Scalable Partial Explainability in Neural Networks via Flexible Activation Functions
Cranfield University（克兰菲尔德大学）；University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
在黑盒深度学习算法中实现透明度仍然是一个公开的挑战。深度神经网络（NN）给出的高维特征和决策需要新的算法和方法来揭示其机制。当前最先进的NN解释方法（例如，显着性图，DeepLIFT，LIME等）更多地关注NN输出和输入之间的直接关系，而不是NN结构和操作本身。在当前的深度NN操作中，具有固定激活函数的神经元所扮演的确切角色存在不确定性。在本文中，我们实现了部分可解释的学习模型，通过象征性地解释激活函数（AF）的作用下的可扩展的拓扑结构。这是通过将AF建模为自适应高斯过程（GP）来进行的，该过程基于Kolmogorov-Arnold叠加定理（KST），位于一个新的可扩展NN拓扑结构内。在这种可扩展的NN架构中，AF是由控制点之间的GP插值生成的，因此可以在反向传播过程中通过梯度下降进行调谐。控制点充当AF的局部和全局可调节性的核心使能器，其中GP插值约束内在自相关以避免过拟合。我们发现，在线性KST拓扑缩放下，NN的表达能力和解释复杂性之间存在权衡。为了证明这一点，我们进行了一个案例研究的二元分类数据集的钞票认证。通过定量和定性地研究输入和输出之间的映射关系，我们的可解释模型可以提供对每个一维属性的解释。这些早期的结果表明，我们的模型有潜力作为深度神经网络的最终解释层。
2020-06-10 cs.AI cs.LG stat.ML
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University（莫斯科国立大学）；Cornell University（康奈尔大学）；National Research University Higher School of Economics（国立研究型高等经济大学）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
提出了一种高斯过程（GP）模型近似推理的方法（TT-GP）。我们建立在以前的可扩展GP研究，包括随机变分推理的基础上诱导输入，内核插值，和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数，这使我们能够训练GP与数十亿诱导输入，并实现国家的最先进的结果在几个基准。此外，我们的方法允许基于深度神经网络训练内核，而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入，GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练，通过GP边际似然最大化。我们在几个回归和分类基准数据集，包括MNIST，CIFAR-10，和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck（吕贝克大学医用电工研究所）
高斯过程（GPs）的应用，以大数据集是有限的，由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性，其中之一是利用内核矩阵中的结构。然而，以前的方法，不能很容易地处理非平稳过程。本文提出了一个有效的GP框架，扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程，这是常用的分离问题的背景下，例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵，允许有效的推理。核学习是通过优化边际似然来完成的，边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
School of Mechanical Engineering（机械工程学院）；Purdue University（普渡大学）；RTX Technology Research Center（RTX技术研究中心）
本文提出DKL-KAN，用Kolmogorov-Arnold网络替代MLP构建可扩展深度核，并在高斯过程框架下优化核参数，在少样本数据上优于DKL-MLP，而DKL-MLP在大规模数据上更具可扩展性和预测精度。
2024-07-30 cs.LG stat.ML
Amortized Bayesian Local Interpolation NetworK: Fast covariance parameter estimation for Gaussian Processes
North Carolina State University（北卡罗来纳州立大学）；University of Arkansas（阿肯色大学）；Amazon Research（亚马逊研究院）
本文提出A-BLINK网络，利用两个预训练深度神经网络快速估计高斯过程协方差参数，绕过矩阵求逆，在频率派和贝叶斯设置中大幅提升计算效率，并在模拟和真实温度数据上验证了低误差优势。
2024-11-10 cs.LG stat.ME stat.ML
Conjugate Nearest Neighbor Gaussian Process Models for Efficient Statistical Interpolation of Large Spatial Data
空间统计学的一个关键挑战是对大量空间参考数据集的分析。这样的分析通常从高斯过程规范出发，该规范可以产生丰富和鲁棒的推断，但是涉及缺乏计算上可利用的结构的密集的协方差阵。拟合这种模型所需的矩阵计算涉及空间位置数量的立方阶的浮点运算和二阶的动态存储器存储。空间统计学的最新发展提供了各种大规模可扩展的方法。特别是贝叶斯推断和层次模型，由于其在适应空间过程方面的丰富性和灵活性而受到欢迎。我们目前的贡献是提供计算效率高的精确算法的空间插值的海量数据集使用可扩展的空间过程。我们将低秩高斯过程与有效的稀疏近似相结合。根据[1]的最近工作，我们使用高斯预测过程（GPP）和残差过程作为稀疏诱导最近邻高斯过程（NNGP）来建模低秩过程。这里的一个关键贡献是使用精确共轭贝叶斯建模来实现这些模型，以避免昂贵的迭代算法。通过仿真研究，我们评估所提出的方法的性能和我们的模型的鲁棒性，特别是对于长期预测。我们实现我们的方法，遥感光探测和测距（LiDAR）的数据收集在美国林务局塔纳纳库存单位（TIU）在阿拉斯加内陆的偏远地区。
2019-07-23 stat.AP stat.CO stat.ME
Faster Kernel Interpolation for Gaussian Processes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
将高斯过程（GP）回归扩展到大规模数据集的一个关键挑战是精确推理需要使用密集的n x n核矩阵进行计算，其中n是数据点的数量。重要的工作集中在近似的内核矩阵通过插值使用一个较小的一组m诱导点。结构化核插值（SKI）是最具可扩展性的方法之一：通过将诱导点放置在密集网格上并使用结构化矩阵代数，SKI实现了O（n + mlog m）的近似推理每次迭代时间。这种n的线性缩放使得能够对非常大的数据集进行推断;然而，成本是每次迭代，这对于非常大的n仍然是一个限制。我们表明，SKI每次迭代时间可以减少到O（m log m）后，一个单一的O（n）时间预计算步骤，通过重新定义SKI解决一个自然的贝叶斯线性回归问题与一组固定的m紧凑的基函数。对于固定网格，每次迭代的复杂性与数据集大小n无关，我们的方法可以扩展到真正的海量数据集。我们在实践中证明了在广泛的m和n范围内的加速比，并将该方法应用于具有超过1亿个点的三维天气雷达数据集上的GP推断。
2021-08-13 cs.AI cs.LG
VoxMorph: Scalable Zero-shot Voice Identity Morphing via Disentangled Embeddings
University of North Texas, Denton, Texas, USA（德克萨斯大学）
VoxMorph通过解耦嵌入实现零样本语音身份变形，提升音频质量并降低可懂性错误，显著提高语音变形攻击成功率。
2026-01-27 cs.CR cs.LG cs.SD
Deep Kernel Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
我们引入了可扩展的深度内核，它将深度学习架构的结构特性与内核方法的非参数灵活性相结合。具体来说，我们转换的输入的光谱混合基内核与一个深的架构，使用本地内核插值，诱导点，和结构利用（克罗内克和Toeplitz）代数的可扩展的内核表示。这些封闭形式的内核可以作为标准内核的直接替代品，在表达能力和可伸缩性方面都有好处。我们通过高斯过程的边缘似然性共同学习这些内核的属性。$n$训练点的推理和学习成本为$O(n)$，每个测试点的预测成本为$O(1)$。在大量不同的应用程序集合中，包括具有200万个示例的数据集，我们通过灵活的内核学习模型和独立的深度架构，展示了可扩展高斯过程的性能改进。
2015-11-06 cs.AI cs.LG stat.ME
Spatialize v1.0: A Python/C++ Library for Ensemble Spatial Interpolation
论文提出开源 Python/C++ 库 Spatialize，通过融合基础插值、Kriging、随机建模与集成学习实现稳健可扩展的集合空间插值和不确定性量化。
2025-07-28 stat.ME
Neural Fields for Fast and Scalable Interpolation of Geophysical Ocean Variables
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Institut Pierre Simon Laplace（皮埃尔·西蒙·拉普拉斯研究所）；IRD（法国发展研究院）；Sorbonne Université（索邦大学）；IMT Atlantique（大西洋国立高等工业技术学院）
最优插值（OI）是一种广泛使用的，高度可信的插值和重建地球科学问题的算法。随着越来越多的卫星任务的涌入，我们可以获得越来越多的观测结果，在预测和再分析等应用中利用这些观测结果变得越来越重要。随着可用数据量的增加，可扩展性仍然是标准OI的一个问题，它阻止了许多从业者有效地利用这些大量数据来学习模型超参数。在这项工作中，我们利用神经领域（NerFs）的最新进展作为替代OI框架，我们展示了它们如何可以很容易地应用到标准的重建问题，在物理海洋学。我们说明了相关的NerFs的间隙填充稀疏测量海面高度（SSH）通过卫星测高术，并演示了如何NerFs的可扩展性与可比的结果，标准OI。我们发现，NerFs是一套实用的方法，可以很容易地应用到地球科学插值问题，我们预计在未来更广泛的采用。
2022-11-18 cs.AI cs.LG physics.ao-ph
Beyond Unimodal Bases: Pullback Geometry for Multimodal Data
University of Cambridge（剑桥大学）；University of California（加利福尼亚大学）
本文提出一种基于高斯混合潜分布的拉回几何，用于多模态数据，通过责任加权期望精度定义度量，在归一化流中自适应学习分量，实验证明能减少传输变形并提高插值真实性。
2026-10-02 cs.LG
STAR-VAE: A Scalable Latent-Variable Transformer for Controllable Molecular Generation
IBM Research（IBM研究院）
提出STAR-VAE框架，基于Transformer编码器-解码器与SELFIES表示，利用潜变量实现属性引导的可控分子生成，并通过LoRA高效微调，在多个基准上表现优异。
2026-09-23 cs.AI cs.LG q-bio.BM
Scaled Vecchia approximation for fast computer-model emulation
许多科学现象都是使用计算机实验来研究的，这些实验由计算机模型的多次运行组成，同时改变输入设置。高斯过程（GP）是计算机实验分析的流行工具，可以在输入设置之间进行插值，但对于大型数据集，直接GP推理在计算上是不可行的。我们适应和扩展了强大的一类GP方法从空间统计学，使大型计算机实验的可扩展性分析和仿真。具体来说，我们在变换的输入空间中应用Vecchia的有序条件近似，每个输入根据它与计算机模型响应的关系有多强进行缩放。通过使用Fisher评分估计GP协方差函数中的参数，从数据中学习缩放。我们的方法具有高度可扩展性，能够在模型运行次数接近线性的时间内进行估计、联合预测和模拟。在几个数值例子中，我们的方法大大优于现有的方法。
2021-07-20 stat.CO stat.ME stat.ML
GPatt: Fast Multidimensional Pattern Extrapolation with Gaussian Processes
U. Cambridge（剑桥大学）；WUSTL（圣路易斯华盛顿大学）；Columbia U.（哥伦比亚大学）
高斯过程通常用于小数据集的平滑和插值。我们介绍了一个新的贝叶斯非参数框架- GPatt -使自动模式外推与高斯过程的大型多维数据集。GPatt统一并扩展了高度表达的内核和快速精确推理技术。没有人为干预-没有手工制作的内核功能，也没有复杂的初始化程序-我们表明，GPatt可以解决大规模的模式外推，修复和内核发现问题，包括383400训练点的问题。我们发现，GPatt显着优于流行的替代可扩展的高斯过程方法的速度和准确性。此外，我们发现这些方法之间的深刻差异，这表明表达内核，非参数表示和精确推理是有用的建模大规模多维模式。
2013-12-31 cs.AI cs.LG stat.ME
$π$VAE: a stochastic process prior for Bayesian deep learning with MCMC
Imperial College London（帝国理工学院）；University of Copenhagen（哥本哈根大学）；University of Oxford（牛津大学）
随机过程提供了一种数学上优雅的方法来模拟复杂的数据。从理论上讲，它们提供了函数类的灵活先验，可以编码各种有趣的假设。然而，在实践中，通过优化或边缘化进行有效推理是困难的，大数据和高维输入空间进一步加剧了这个问题。我们提出了一种新的变分自编码器（VAE）称为先验编码变分自编码器（$π$ VAE）。该$π$ VAE是可交换的和Kolmogorov相容的，因此是一个连续的随机过程。我们使用$π$ VAE来学习函数类的低维嵌入。我们表明，我们的框架可以准确地学习表达函数类，如高斯过程，但也可以学习函数的属性，以实现统计推断（如对数高斯过程的积分）。对于常见的任务，如空间插值，$π$ VAE在精度和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了低维独立分布的潜在空间表示学习提供了一个优雅的和可扩展的手段进行贝叶斯推理的概率程序设计语言，如斯坦的随机过程。
2022-09-13 cs.LG stat.ML
The Nearest-Neighbor Derivative Process: Modeling Spatial Rates of Change in Massive Datasets
针对传统可扩展高斯过程无法直接推断空间导数、插件估计器推断效果差的问题，提出NNDP框架在单个可扩展GP中同步建模空间过程与导数，将复杂度降至O(n)，经理论与实验验证有效，适配大规模数据集。
2025-09-02 math.ST stat.ME stat.TH
Scalable Gaussian Process for Learning Non-Ergodic Ground Motion Model from Physics-Based Simulations with Application to Power Infrastructure Assessment
California Institute of Technology（加州理工学院）；State University of New York at Buffalo（纽约州立大学布法罗分校）
提出一种可扩展的高斯过程回归模型，利用稀疏Cholesky求逆、并行计算、GPU加速和随机梯度下降等方法，从大规模物理模拟数据中学习非遍历性地面运动效应，并在洛杉矶地区验证了其在插值和预测中的准确性，应用于电力网络评估。
2026-05-22 physics.geo-ph stat.AP
A Scalable Bayesian Spatiotemporal Model for Water Level Predictions using a Nearest Neighbor Gaussian Process Approach
针对大规模水文数据预测挑战，提出贝叶斯时空最近邻高斯过程模型，通过稀疏精度矩阵实现可扩展性，在爱尔兰301个站点90天水位数据上优于对比方法。
2026-06-23 stat.AP
Algorithms and Scientific Software for Quasi-Monte Carlo, Fast Gaussian Process Regression, and Scientific Machine Learning
Illinois Institute of Technology（伊利诺伊理工学院）
本论文提出三种高效算法与软件：QMC用于高维积分，GP用于高维插值与不确定性量化，sciML用于PDEs建模，涵盖误差估计、多任务学习和多级方法等创新技术。
2025-11-26 cs.LG math.PR stat.ML
Toward Efficient Kernel-Based Solvers for Nonlinear PDEs
University of Utah（犹他大学）；California Institute of Technology（加州理工学院）
本文提出一种去除微分算子的核学习框架，通过标准核插值求导并结合网格配点与乘积核的 Kronecker 结构，避免构造完整 Gram 矩阵，从而高效求解非线性 PDE，并给出收敛性证明与数值验证。
2025-06-05 cs.LG
