Deep Random Splines for Point Process Intensity Estimation of Neural Population Data
Columbia University（哥伦比亚大学）
高斯过程是随机函数上的主要分布类型，但它们存在众所周知的问题，包括难以缩放和相对于某些形状约束（例如非负性）的可扩展性。在这里，我们提出了深度随机样条，这是一种灵活的随机函数，通过深度神经网络转换高斯噪声获得，其输出是样条的参数。与高斯过程不同，深度随机样条允许我们容易地执行形状约束，同时继承深度生成模型的丰富性和易处理性。我们还提出了一个点过程数据的观测模型，该模型使用深度随机样条来模拟每个点过程的强度函数，并将其应用于神经种群数据，以获得尖峰活动的低维表示。推理是通过一个变分自动编码器，使用一种新的经常性的编码器架构，可以处理多个点的过程作为输入。我们使用一个新收集的数据集，其中灵长类动物完成踩踏任务，并观察到更好的降维与我们的模型比竞争的替代品。
2019-12-29 cs.AI cs.LG stat.ML
Why not a thin plate spline for spatial models? A comparative study using Bayesian inference
本研究提出用薄板样条低秩近似替代高斯随机场作为贝叶斯空间模型中的空间随机效应，通过截断谱分解降低计算复杂度，并利用Stan进行推断，模拟和实际应用表明其在保证参数恢复和预测性能的同时，具有更快的收敛速度和更好的计算效率。
2024-04-19 stat.CO stat.ME
Regularised B-splines projected Gaussian Process priors to estimate time-trends of age-specific COVID-19 deaths related to vaccine roll-out
COVID-19疫情已在美国造成严重的公共卫生后果。在这项研究中，我们使用分层贝叶斯模型来估计美国特定年龄段的COVID-19可归因死亡人数。该模型是由一种新的非参数空间方法，一个低秩高斯过程（GP）投影正则化B样条指定。我们表明，这种投影定义了一个新的GP具有吸引力的光滑性和计算效率的属性，推导出它的核函数，并讨论了由投影GP引起的惩罚项。仿真分析和基准测试结果表明，空间的方法比标准的B-样条和贝叶斯P-样条和等效以及作为一个标准的GP，相当低的运行时间。我们开发的B样条预测GP先验可能是贝叶斯正则化先验的一个有吸引力的补充。我们将该模型应用于美国疾病控制中心报告的每周年龄分层的COVID-19归因死亡，这些死亡受到审查和报告偏倚的影响。使用B样条预测GP，我们可以按1岁年龄段估计美国各地COVID-19相关死亡的纵向趋势。这些估计有助于计算特定年龄的死亡率，描述美国各地特定年龄死亡的变化，以及拟合流行病模型。在这里，我们将该模型与特定年龄的疫苗接种率结合起来，以表明18-64岁的年轻人的疫苗接种率较低与COVID-19死亡人数的显著增加有关，特别是在佛罗里达州和德克萨斯州。这些结果强调了所有年龄段的医学上有能力的个人接种COVID-19疫苗以限制致命结果的至关重要性。
2021-12-06 stat.AP
Emulation of multivariate simulators using thin-plate splines with application to atmospheric dispersion
通常需要建立复杂计算机模拟器的统计仿真器，以便执行否则在计算上不可行的分析。我们提出的方法来模拟多变量输出的计算机模拟器考虑到输出结构的响应。这种方法的实用性证明了将其应用到化学和生物危害预测模型。预测意外或蓄意的化学或生物释放所造成的危险区域对于民事和军事规划以及应急反应都是必不可少的。从这样的释放所产生的危险区域是高度结构化的空间，因此，我们建议使用薄板样条来捕获的空间结构和适合的高斯过程仿真器的系数所得到的基函数。我们比较和对比四种不同的技术来模拟多变量输出：降维使用（i）一个完全贝叶斯方法与主成分的基础上，（ii）一个完全贝叶斯方法与薄板样条的基础上，假设基础系数是独立的，和（iii）一个“插件”贝叶斯方法与薄板样条的基础和一个可分离的协方差结构;以及（iv）使用张量积（可分离）高斯过程的函数数据建模方法。我们开发的两个薄板样条仿真器的方法，并证明这些仿真器显着优于主成分仿真器。此外，可分离的薄板样条仿真器，它占基础系数之间的依赖性，提供了实质上更现实的量化的不确定性，也是计算上更容易处理，允许快速仿真。对于高分辨率的输出数据，它还提供了大量的预测和计算的优势，比张量积高斯过程仿真器。
2016-10-26 stat.ME
On the Maximum Entropy Property of the First-Order Stable Spline Kernel and its Implications
University of Liège（列日大学）；University of Cambridge（剑桥大学）
最近提出了一种新的系统辨识的非参数方法，其中冲激响应被看作是一个零均值高斯过程的实现，其协方差，即所谓的稳定样条核，保证了冲激响应几乎必然是稳定的。稳定样条核的最大熵性质已在文献中指出。在本文中，我们提供了一个独立的证明，依赖于矩阵论扩展问题的图形模型文献，并导致一个封闭的形式表达的逆的一阶稳定样条核，以及一个新的因式分解的形式$UWU^\top$与$U$上三角和$W$对角线。有趣的是，所有的一阶稳定样条核共享相同的因子$U$和$W$承认一个封闭的形式表示的内核超参数，使因式分解计算成本低廉。稳定样条核的最大似然特性也突出显示。这些结果可用于提高稳定性和减少与稳定样条估计的计算相关的计算复杂性。
2014-09-21 cs.LG math.ST stat.ML
Contributed Discussion to Bayesian Solution Uncertainty Quantification for Differential Equations
我们首先介绍了讨论中的文件的主要思想，我们给出了一个简短的描述所提出的方法。接下来，我们讨论了一种基于B样条展开的替代方法，最后我们对该方法的收敛速度做了一些评论。
2016-11-17 math.ST stat.TH
Joint models as latent Gaussian models - not reinventing the wheel
近年来，随着向各个方向的扩展，联合模型受到越来越多的关注;其中包括许多风险函数、不同的关联结构、线性和非线性纵向轨迹。其中许多导致了新的R包和联合模型的新公式。然而，具有线性双变量高斯关联结构的联合模型仍然是潜在高斯模型（LGM），因此可以使用大多数现有的LGM包来实现。在本文中，我们将表明，这些联合模型可以实现从一个LGM的观点使用R-INLA包。作为一个特殊的例子，我们将集中在一个非线性的纵向轨迹的联合模型，最近开发的部分线性联合模型。而不是通常的样条方法，我们认为使用贝叶斯平滑样条框架的关节模型，是稳定的结的选择，因此不那么麻烦的从业者。
2019-01-27 stat.ME
Efficient Modeling of Quasi-Periodic Data with Seasonal Gaussian Process
本文引入季节性高斯过程（sGP）对准周期数据进行基于模型的推断，利用状态空间表示实现等间距数据的高效拟合，并针对不规则间距大型数据集开发基于季节性B样条的连续有限维近似，证明了其收敛性且通过真实数据验证了实用性。
2023-05-17 stat.ME
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法，通过将潜空间二分以分别处理潜变量和未惩罚参数，结合非高斯不对称近似与Laplace近似，在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型（GAM）是一种成熟的统计工具，用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中，P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间，通过考虑一个确定性的基于网格的策略或马尔可夫链采样器，根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量，这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算，即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验，建议的方法具有良好的统计特性。通过不同的模拟场景，拉普拉斯P样条模型的性能得到证实，并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Bayesian Quantile Regression Using Random B-spline Series Prior
本文考虑实变量同时分位数回归的贝叶斯方法。通过单调变换，我们可以使响应变量和预测变量都在单位区间内取值。分位数函数的一种表示是由两个不依赖于预测变量的单调递增函数$ξ_1$和$ξ_2$的凸组合给出的。在贝叶斯方法中，通过将先验分布置于$ξ_1$和$ξ_2$上，将先验置于分位数函数上。通过系数在单位区间内递增的样条基展开，得到曲线$ξ_1$和$ξ_2$的单调性约束.我们把一个狄利克雷先验分布的系数向量的间距。基于样条函数的有限随机序列服从形状约束。我们比较了我们的方法与贝叶斯方法使用高斯过程通过广泛的模拟研究和其他一些贝叶斯方法在文献中提出的。给出了一个应用于大西洋地区飓风活动资料的例子.我们还将我们的方法应用于美国1985- 2010年期间的区域人口数据。
2016-09-09 stat.ME
Calibration of Computational Models with Categorical Parameters and Correlated Outputs via Bayesian Smoothing Spline ANOVA
在没有数据的地区，使用复杂的计算机模型来预测结果已经变得司空见惯。通常，这些模型需要使用一些实验数据进行校准和验证，这些数据通常由多个相关结果组成。此外，一些模型参数在本质上可以是分类的，诸如指向系统的一些物理特性的替代模型（或子模型）的指针变量。在这里，我们提出了一个通用的方法，在这种情况下，一个模拟器的计算要求很高的模型和一个差异项从模型到现实的贝叶斯平滑样条（BSS）方差分析框架内表示校准。与传统的高斯过程相比，BSS-ANOVA框架具有几个优点，包括易于处理分类输入和相关输出，以及提高计算效率。最后，这个框架，然后应用到激励其设计的问题;一个鼓泡流化床，它被用作吸收器中的CO2捕获系统的计算流体动力学模型的校准。
2014-06-17 stat.ME
Gaussian Processes for Surrogate Modeling of Discharged Fuel Nuclide Compositions
一些应用，如核取证，核燃料循环模拟和灵敏度分析需要的方法来快速计算乏燃料核素成分的各种辐照历史。传统上，这已经通过使用诸如三次样条的拟合在已经从核反应堆模拟针对输入参数的网格预先计算的单组横截面之间进行内插来完成。我们建议使用高斯过程（GP）来创建替代模型，它不仅提供核素组成，而且还提供其预测不确定性的梯度和估计。前者适用于诸如正优化和逆优化问题的应用，后者适用于不确定性量化应用。为了这个目的，我们比较基于GP的代理模型的性能与基于三次样条的插值器的基础上无限格模拟的CANDU 6核反应堆使用SERPENT 2代码，考虑燃耗和温度作为输入参数。此外，我们比较了各种网格采样方案的性能准随机采样的基础上的Sobol序列。我们发现，基于GP的模型在预测乏燃料成分方面比基于三次样条的模型表现得更好，尽管需要更长的计算时间。此外，我们表明，预测的核素不确定性是相当准确的。虽然在研究的二维情况下，网格和准随机抽样提供了类似的结果，准随机抽样将是一个更有效的策略，在高维的情况下。
2021-03-15 physics.comp-ph physics.data-an stat.CO
Model-based Smoothing with Integrated Wiener Processes and Overlapping Splines
在许多涉及未知光滑函数的推断的应用中，其导数的推断通常与函数本身的推断一样重要。为了对函数及其导数进行联合推断，考虑了一类称为$p^{\text{th}}$阶积分维纳过程（IWP）的高斯过程.存在用于构造IWP的有限元（FEM）近似的方法，但是仅关注阶$p = 2$情况，其不允许对导数进行适当的推断，并且其计算可行性依赖于对FEM本身的附加近似。在这篇文章中，我们提出了一种替代的有限元逼近，称为重叠样条（O样条），直接通过选择测试函数来追求计算的可行性，并反映了IWP的构造，因为O样条是这些相同测试函数的多次积分的结果。O-样条近似适用于任何阶数$p \in \mathbb{Z}^+$，计算效率高，并为直到阶数$p-1$的所有导数提供一致的推断。理论和经验表明，通过模拟，O-样条近似收敛到真正的IWP作为节点的数量增加。我们进一步提供了一个统一的和可解释的方式来定义先验的平滑参数的基础上的概念的预测标准差（PSD），这是不变的顺序$p$和放置的结。最后，我们通过模拟研究及分析COVID死亡率展示O样条近似的实际应用，其中对函数及其衍生物进行推断，后者对大流行的过程具有重要的解释。
2023-02-04 stat.ME
Posterior Contraction of Lévy Adaptive B-spline Regression in Besov Spaces
Department of Statistics, Seoul National University（首尔国立大学统计系）；Department of Statistics, Sookmyung Women’s University（淑明女子大学统计系）
本文研究了Lévy自适应B样条回归模型在Besov空间中的后验收缩性质，证明了该模型在非参数回归框架中能够以接近最优的速率收敛到真实函数，同时自动适应未知的光滑度。
2026-05-19 cs.LG stat.ML
Splines 'n Lines: Rest-frame galaxy spectral energy distributions via Bayesian functional data analysis
本文提出Splines 'n Lines分层贝叶斯模型，将星系SED表示为B样条连续谱与谱线特征的随机叠加，并在SDSS DR17的678,239条星系SED上验证了其去噪、插值、外推及缺失谱线预测能力。
2023-10-30 astro-ph.IM stat.AP
Actually Sparse Variational Gaussian Processes
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
本文提出基于紧支撑B样条基函数的域间变分高斯过程，利用稀疏线性代数大幅降低计算与内存开销，从而能够高效建模需要数万个诱导变量的快速变化空间现象。
2023-04-11 cs.LG stat.ML
Linear-cost Polyharmonic Spline Interpolation of Arbitrary Degree
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；New York University（纽约大学）
该研究结合FMM与Vecchia近似提出线性成本多谐波样条插值方法，实现百万级点的快速高精度薄板样条插值，并提供二维奇数阶PHS插值的高性能软件库。
2026-08-13 cs.NA math.NA stat.CO
Correlated functional models with derivative information for modeling MFS data on rock art paintings
微褪色光谱法（Microfading Spectrometry，MFS）是一种用于评估文化遗产对象的光敏感性颜色（光谱）变化的方法。表面上的每个测量点都会产生一个随机观测的时间序列，表示颜色随时间的褪色。预计颜色退化作为时间的函数是非减少的，并且最终稳定。这些性质可以用函数的导数来表示。在这项工作中，我们提出了基于空间相关样条的时变函数及其衍生物，用于建模和预测在岩画表面收集的MFS数据。样条模型之间的相关性建模使用跨时间序列的样条系数的高斯过程先验。在高斯过程中的多元协方差函数允许使用三色图像颜色变量与空间位置作为输入来评估时间序列之间的相关性，并且证明了色度变量对于预测新的颜色衰落时间序列是有用的。此外，对模型的导数及其符号进行建模在预测性能和特定于应用的可解释性方面都是有益的。
2019-10-28 stat.AP
Local Asymptotics of P-Spline Smoothing
本文讨论了具有任意B样条次数和任意阶差罚的一般罚样条估计的渐近性质。该估计器是近似的线性微分方程的解决方案，适当的边界条件。结果表明，在一定意义下，惩罚光顺近似对应于核方法光顺。利用微分方程的格林函数，得到了内点和边界点的等价核。进一步证明了估计量在内点处的渐近正态性。结果表明，收敛速度是独立的样条的次数，和节点的数量不影响渐近分布，只要它趋于无穷快。
2009-12-09 math.ST stat.TH
Nonlinear Approximation Using Gaussian Kernels
众所周知，非线性逼近比线性方案具有优势，因为它提供了与线性方案相当的逼近速率，但是提供了更大类的逼近。这是为样条逼近和小波逼近建立的，最近由DeVore和Ron为齐次径向基函数（表面样条）逼近建立的。然而，没有这样的结果是已知的高斯函数，在机器学习和几个工程问题的首选内核。本文介绍并分析了一种使用具有不同张力参数的高斯函数平移的逼近函数的新算法。它的核心是采用DeVore和Ron的非线性逼近策略，但它选择核的方法并不简单。困难的关键在于需要根据被逼近对象的局部信息在空间上改变高斯函数中的张力参数：具有变化张力的高斯近似方案的误差分析大体上是逼近器的一个难以捉摸的目标。我们表明，我们的算法是适当的最佳意义上，它提供了类似于其他建立的非线性方法，如样条和小波逼近的近似率。正如预期和期望的那样，近似率可以根据需要而高，并且基本上仅由近似被积的平滑度饱和。
2010-02-03 math.CA math.ST stat.TH
Generating Sparse Stochastic Processes Using Matched Splines
我们提供了一个算法来生成稀疏随机过程的轨迹，这些随机过程是由Lévy白噪声驱动的线性常微分方程的解。最近的一篇论文证明了这些过程是广义复合Poisson过程律的极限。基于这个结果，我们推导出一个离网算法，产生任意接近的目标过程的近似。我们的方法依赖于广义复合泊松过程的B样条表示。我们用数字说明了我们的方法的有效性。
2020-08-07 math.ST stat.TH
Smoothing under diffeomorphic constraints with homeomorphic splines
在本文中，我们介绍了一类新的基于一般的样条平滑技术和使用的一些工具，最近开发的背景下，图像扭曲计算光滑的光滑。这种纯样条被定义为由适当的时间相关的向量场控制的常微分方程的解。该解具有闭合形式的表达式，可以使用经典的无约束样条平滑技术来计算。这种方法不需要在不等式约束下使用二次或线性规划，因此具有低的计算成本。在一个一维的设置，将同构约束是等价的，以强加单调性。因此，作为一个例子，它表明，这样的单调样条可以用来单调任何无约束估计的回归函数，这种单调平滑继承的收敛性能的无约束估计。通过数值实验说明了它的有限样本性能，并与另一种单调估计进行了比较。我们还提供了一个二维的应用程序上的地标和图像匹配的同构计算。
2009-12-07 math.ST stat.TH
