Bayesian isotonic logistic regression via constrained splines: an application to estimating the serve advantage in professional tennis
在职业网球比赛中，发球方往往具有先发优势。事实上，大多数分数都是由发球者赢得的，这使得发球成为这项运动中最重要的元素之一。在本文中，我们专注于发球优势的作用，赢得一个点作为一个函数的集会长度。本文提出了一个关于发球得分概率的贝叶斯保序逻辑斯谛回归模型。特别是，我们通过B样条基函数的线性组合来分解获胜概率的logit，并具有运动员特定的基函数系数。此外，我们通过对样条系数施加约束，确保发球优势随拉力赛长度而减小。我们还考虑了每个球员的反弹能力，并研究了不同类型的法院可能会影响球员的反弹能力。我们将我们的方法应用于大满贯单打比赛数据集。
2019-08-29 stat.AP stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型（GAM）是一种成熟的统计工具，用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中，P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间，通过考虑一个确定性的基于网格的策略或马尔可夫链采样器，根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量，这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算，即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验，建议的方法具有良好的统计特性。通过不同的模拟场景，拉普拉斯P样条模型的性能得到证实，并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Locally Adaptive Nonparametric Binary Regression
本文提出了一种非参数局部自适应贝叶斯估计器来估计二元回归。通过将二元回归建模为概率单位回归的混合物来获得灵活性，其中每个概率单位回归的参数具有薄板样条，其具有自己的平滑参数，并且混合物权重取决于协变量。估计相比，一个单一的样条估计和最近提出的局部自适应估计。通过将其应用到模拟和真实的例子说明了该方法。
2007-09-21 stat.ME
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法，这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此，模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外，高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量，这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性，并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
Matrix-free Penalized Spline Smoothing with Multiple Covariates
本文研究了惩罚样条的高维光顺方法及其数值计算。如果在三个或更多协变量上进行平滑，则经典张量积样条基在其维度上爆炸，从而使估计达到其数值极限。Siebenborn和Wagner（2019）最近的一种方法通过提出无矩阵计算来规避存储成本高的实现，该方法允许平滑多个协变量。我们在这里扩展他们的方法，通过链接惩罚平滑和贝叶斯公式作为混合模型，它提供了一个矩阵的平滑参数的计算，以避免使用高计算交叉验证。此外，我们将展示如何将这些想法扩展到广义回归模型。扩展的方法适用于遥感卫星数据与空间平滑相结合。
2021-01-15 stat.CO stat.ME
Posterior Contraction of Lévy Adaptive B-spline Regression in Besov Spaces
Department of Statistics, Seoul National University（首尔国立大学统计系）；Department of Statistics, Sookmyung Women’s University（淑明女子大学统计系）
本文研究了Lévy自适应B样条回归模型在Besov空间中的后验收缩性质，证明了该模型在非参数回归框架中能够以接近最优的速率收敛到真实函数，同时自动适应未知的光滑度。
2026-05-19 cs.LG stat.ML
Efficient Bayesian Multivariate Surface Regression
在统计文献中，选择加性样条模型中固定节点位置的方法已经相当成熟。虽然这些方法中的大多数原则上可直接扩展到非加性表面模型，但由于维数灾难，特别是当存在多个协变量时，它们在该设置中不太可能成功。我们提出了一个多元高斯响应的回归模型，它结合了添加剂样条和交互式样条，以及一个高效的MCMC算法，共同更新所有的结的位置。我们使用收缩先验来避免过拟合，对于模型的添加剂和表面部分使用不同的估计收缩因子，并且对于不同的响应变量使用不同的收缩参数。这使得模型能够以一种简约的方式适应数据不同部分的不同程度的非线性。模拟数据和应用程序，以坚定的杠杆数据表明，该方法是计算效率高，并允许自由估计结的位置可以提供一个显着的改善样本外的预测性能。
2012-10-04 stat.AP stat.CO stat.ME
Estimating the timing of stillbirths in countries worldwide using a Bayesian hierarchical penalized splines regression model
减少死产的全球负担对于改善儿童和孕产妇健康至关重要。人们感兴趣的是了解死产的时间模式-即死产是发生在产时还是产前-因为产时发生的死产在很大程度上是可以预防的。然而，世界各地关于死产时间的数据存在很大差异，低收入和中等收入国家通常很少有可靠的观察结果。在本文中，我们开发了一个贝叶斯惩罚样条回归框架，估计死产的比例是在世界各地的所有国家分娩。该模型考虑了与新生儿死亡率的已知关系，汇集了地理区域的信息，根据数据属性合并了不同的错误，并允许数据驱动的时间趋势。建议采用加权程序，以处理不具代表性的国家以下各级数据。结果表明，分娩期比例总体上随着时间的推移而下降，但在一些地区，特别是撒哈拉以南非洲，进展较慢。
2022-12-12 stat.AP
Bayesian nonparametric spectral density estimation using B-spline priors
本文提出了一种新的贝叶斯非参数方法来估计平稳时间序列的谱密度。基于混合B样条分布的非参数先验可以被看作是Petrone（1999 a，b）和Choudhuri等人（2004）的Bernstein多项式先验的推广。Whittle的似然近似用于获得伪后验分布。该方法允许数据驱动的混合物组分的数量和结的位置的选择。后验样本使用Metropolis-within-Gibbs马尔可夫链蒙特卡罗算法获得，并且使用并行回火改进混合。我们进行了模拟研究，证明了复杂的谱密度，B样条先验提供了更准确的蒙特卡罗估计的$L_1$ -错误和均匀覆盖概率比伯恩斯坦多项式先验。我们将该算法应用于年平均太阳黑子数据来估计太阳活动周期。最后，我们展示了该算法估计具有尖锐特征的谱密度的能力，使用来自LIGO第六次科学运行的真实引力波探测器数据，以匹配高级LIGO目标灵敏度。
2018-02-27 stat.CO
Spline approximations to conditional Archimedean copula
我们提出了一个灵活的Copula模型来描述（条件可交换）随机变量的依赖结构中的协变量的变化。出发点是一个样条逼近阿基米德copula的生成元。通过对$x$的样条系数进行灵活回归，对协变量$x$的相关性结构的变化进行建模。通过仿真研究了参考生成元样条估计的性能和性质以及这些条件模型逼近条件Copula函数的能力。使用贝叶斯参数进行推断，使用重要性抽样或自适应MCMC算法探索后验分布。用两个例子说明了建模策略。
2013-11-15 stat.ME
A Min.Max Algorithm for Spline Based Modeling of Violent Crime Rates in USA
本文通过基于三次样条的方法对美国1960 - 2014年的暴力犯罪率进行建模。提出了一种新的三次样条回归节点检测和估计的min/max算法。我们采用最小二乘估计找到潜在的回归系数的基础上的三次样条模型和节点选择的最小/最大算法。然后，我们利用最佳子集回归方法，以帮助在模型选择中，我们找到贝叶斯信息准则的最小值。最后，我们报告了$R_{adj}^{2}$作为我们所选模型的整体拟合优度的度量。在50个州和华盛顿特区中，我们发现51例中有42例的$R_{adj}^{2}$值大于$90\%$。我们还提出了一个整体模型，为美国作为一个整体。我们的方法可以作为未来几年暴力犯罪率的统一模型。
2018-04-18 stat.AP
Global Estimation of Neonatal Mortality using a Bayesian Hierarchical Splines Regression Model
近年来，监测儿童死亡率的重点主要是评估五岁以下儿童死亡率的变化。然而，随着五岁以下幼儿死亡率的下降，新生儿死亡率（第一个月内）的比例趋于上升，因此，除了五岁以下幼儿死亡率之外，还需要加强监测这一指标的努力。贝叶斯样条回归模型估计新生儿死亡率（NMR）的所有国家。在该模型中，对死亡率和五岁以下儿童死亡率之间的关系进行了评估，并用于提供估计数，而样条回归模型则用于掌握具体国家的趋势。因此，由此产生的死亡率估计数纳入了总体儿童死亡率的趋势，同时也捕捉了数据驱动的趋势。该模型使用联合国儿童死亡率估算机构间小组的数据库，对195个国家进行了拟合，产生了从1990年到2015年的估计数，如果有数据的话，估计数可以更早。结果表明，在全球一级，五岁以下幼儿死亡率超过每1 000名活产死亡34人，五岁以下幼儿死亡率每增加1%，五岁以下幼儿死亡率与五岁以下幼儿死亡率的比率就会下降0.6%。在五岁以下幼儿死亡率为每1 000名活产死亡34人以下的情况下，五岁以下幼儿的新生儿死亡率保持在54%左右，但是，五岁以下幼儿死亡率与死亡率之间的关系因国家而异。联合国儿童死亡率估算机构间小组现已采用这一模式。
2016-12-12 stat.AP
Bayesian semi-parametric forecasting of ultrafine particle number concentration with penalised splines and autoregressive errors
观测的时间序列数据往往表现出周期性的时间趋势和自相关性，也可能依赖于协变量。因此，需要能够捕获这些趋势并同时对任何剩余自相关进行建模的灵活回归模型。对残差中的自相关进行建模，比假设独立性更能得到更真实的预测。在本文中，我们提出了一种方法，结合样条半参数回归建模的自回归误差的建模。该方法被应用到一个模拟的数据集，以显示其有效性和超细颗粒数浓度在芬兰赫尔辛基，以显示其在现实世界中的问题。
2012-09-25 physics.ao-ph physics.data-an stat.AP
Bayesian Nonparametric Instrumental Variable Regression Approach to Quantile Inference
本研究扩展了贝叶斯非参数工具变量回归模型，以确定协变量对响应变量条件分位数的结构效应。误差分布是使用二元正态分布的Dirichlet混合物非参数建模的。均值函数包括以加法方式使用样条函数表示的协变量的平滑效应。第二阶段误差的条件方差也使用样条函数建模，使得它随协变量平滑地变化。因此，所提出的模型允许相当大的灵活性，在形状的分位数函数，同时校正的内消效应。该模型的后验推理是基于马尔可夫链蒙特卡罗方法，不需要大都会黑斯廷斯更新。使用模拟和真实的数据在日本的死亡率在两次世界大战期间的方法进行了演示。
2016-08-29 stat.ME
Bayesian Local Extrema Splines
考虑闭集X上的形状约束非参数回归问题。\in R;其中，它是合理的，假设该函数有不超过H的局部极值内部X：以下贝叶斯方法，我们开发了一个非参数先验的一种新的类的局部极值样条。这种方法被证明是一致的建模时，任何连续可微的功能考虑的类内的功能，并用于开发的曲线的形状上的假设检验的方法。采样算法的开发，该方法被应用于模拟研究和数据的例子中的曲线的形状是感兴趣的。
2016-04-04 stat.ME
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型，利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性，并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
Modelling and computation using NCoRM mixtures for density regression
归一化复合随机测度是相关分布的灵活非参数先验。本文考虑利用归一化复合随机测度混合模型建立一般的非参数回归模型。后验推断是使用一种新的伪边缘Metropolis-Hastings采样归一化复合随机测度混合模型。该算法利用一种新的一般方法来无偏估计拉普拉斯泛函的复合随机措施（其中包括完全随机措施作为一种特殊情况）。密度回归问题的方法进行了说明。
2017-08-31 stat.AP stat.CO stat.ME
Adaptive empirical Bayesian smoothing splines
在本文中，我们开发和研究自适应经验贝叶斯光滑样条。这些都是平滑样条函数，平滑参数和惩罚顺序都是通过经验贝叶斯方法从模型的边际似然确定的。选择的阶数和平滑参数用于构造具有良好频率覆盖的底层回归函数的自适应可信集。我们使用这些可信的集合作为代理，以显示自适应经验贝叶斯平滑样条相比，频率平滑样条的优越性能。
2015-11-17 math.ST stat.TH
Adaptive Bayesian Multivariate Spline Knot Inference with Prior Specifications on Model Complexity
针对多元样条回归中节点推断的难题，提出考虑模型空间复杂度的全贝叶斯新方法，采用可逆跳转MCMC采样，在节点推断、流形去噪及含跳跃间断点的函数拟合中表现优异。
2024-05-22 stat.ME stat.ML
V-Splines and Bayes Estimate
光滑样条可以被认为是高斯过程回归在一定限度内的后验均值。通过构造一个具有适当内积的再生核希尔伯特空间，导出了惩罚项为固定常数而非函数时V样条的贝叶斯形式.扩展到通常的广义交叉验证公式是用来找到最佳的V样条参数。
2018-07-24 math.ST stat.TH
Liu-type Shrinkage Estimators for Mixture of Poisson Regressions with Experts: A Heart Disease Study
针对带有专家的泊松回归混合模型在多重共线性下设计矩阵病态的问题，提出Ridge和Liu型收缩方法，在保持分类性能的同时提供更可靠的系数估计，并应用于心脏病研究。
2023-09-11 stat.CO stat.ME stat.ML
Bayesian spectral density estimation using P-splines with quantile-based knot placement
本文提出了一种贝叶斯方法来估计一个平稳的时间序列的谱密度，使用一个基于P-样条分布的混合先验。我们的建议是由Edwards等人（2019）的B样条Dirichlet过程先验与Whittle似然相结合，旨在降低其后验计算的高计算复杂性。B样条Dirichlet过程先验优于Choudhuri等人（2004）的Bernstein-Dirichlet过程先验的优势在于，由于B样条具有可变数量和节点位置的灵活性，它能够估计具有尖峰和突变的谱密度。这里，我们建议使用Eilers和Marx（1996）的P样条，它将B样条基与基系数的离散惩罚相结合。除了等距节点，提出了一种新的策略，更方便的节点的位置，利用周期图提供的信息的频谱功率分布的陡峭度。我们在模拟研究和两个真实的案例研究中证明，这种方法保留了B样条的灵活性，由于新的数据驱动的节点分配方案，实现了类似的能力，准确地估计峰值，但显着降低了计算成本。
2021-01-22 stat.ME
Spline-Based Bayesian Emulators for Large Scale Spatial Inverse Problems
贝叶斯方法的非线性反问题被认为是未知量（输入）是一个随机空间场。正演模型是复杂的和非线性的，因此计算昂贵。一个基于仿真器的方法，贝叶斯多元自适应回归样条（BMARS）被用来模拟的功能，将输入映射到输出。离散余弦变换（DCT）用于输入空间场的降维。后验抽样采用跨维马尔可夫链蒙特卡罗（MCMC）方法。通过分析油气藏表征的模拟和真实数据，给出了数值结果。
2021-05-08 stat.AP stat.CO
Repulsive g-Priors for Regression Mixtures
本文提出了一种用于回归混合的排斥性g先验，通过在马氏度量下强制分离组件，提高模型的简洁性和预测性能。
2025-12-18 stat.ME
A k-Inflated Negative Binomial Mixture Regression Model: Application to Rate--Making Systems
本文介绍了一种k-膨胀负二项混合分布/回归模型，作为零膨胀泊松分布/回归模型的更灵活的替代。采用期望最大化算法估计模型参数。然后，将该模型与帕累托混合模型相结合，设计了一个最优费率制定系统。也就是说，本文采用了伊朗第三方保险数据集报告的索赔数量/规模。然后，它采用k-膨胀负二项混合分布/回归模型以及其他成熟的计数模型以及帕累托混合模型来模拟伊朗第三方保险数据集中报告的索赔频率/严重程度。这样的数值说明表明：（{ \bf 1}）在费率制定系统下，k-膨胀负二项混合模型为投保人提供了更公平的费率/纯保费;以及（{ \bf 2}）在投保人的过去经验中报告的索赔数量均匀分布的情况下（例如$k_1=1$和$k_2=1$而不是$k_1=0$和$k_2=2$）。k-膨胀负二项混合模型下的费率/纯保费更有吸引力且更容易接受。
2017-01-19 stat.ME
Scalable Bayesian Network Structure Learning with Splines
University of Waterloo（滑铁卢大学）
贝叶斯网络（BN）的图结构可以使用众所周知的评分和搜索方法从数据中学习。以前的工作已经表明，将条件概率分布（CPD）的结构化表示纳入评分和搜索方法可以提高学习图的准确性。在本文中，我们提出了一种新的方法，能够学习BN的图形，同时建模变量之间的线性和非线性局部概率关系。我们实现这一目标的组合特征选择，以减少局部关系的搜索空间和扩展的得分和搜索方法，将建模的CPD变量作为多元自适应回归样条（MARS）。MARS是表示为分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上表明，我们提出的方法可以提高学习图的准确性，同时扩展到具有大量变量的实例。
2022-06-20 cs.AI cs.LG stat.ML
Structured Mixture of Continuation-ratio Logits Models for Ordinal Regression
提出一种基于延续比率Logit混合的非参数贝叶斯序数回归方法，利用Pólya-Gamma数据增广实现高效后验模拟，避免了协变量效应的线性假设。
2024-03-22 stat.ME
PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes
PReMiuM是最近开发的R包贝叶斯聚类使用Dirichlet过程混合模型。该模型是回归模型的替代模型，通过聚类成员关系将响应向量与协变量数据非参数化地联系起来。该软件包支持Bernoulli、Binomial、Poisson、Normal和分类响应，以及Normal和离散协变量。此外，可以对响应进行预测，并处理协变量的缺失值。几个采样器和标签切换移动与诊断工具一起实施，以评估收敛。还提供了一些用于输出后处理的R函数。除了拟合混合物之外，还可能需要确定哪些协变量主动驱动混合物成分。这在包中作为变量选择实现。
2014-04-25 stat.CO
Ordinal Probit Functional Outcome Regression with Application to Computer-Use Behavior in Rhesus Monkeys
针对序数函数型结局探索有限的问题，提出OPFOR模型，利用多种基函数进行拟合，并在模拟和恒河猴计算机使用行为应用中表现出优于传统模型的性能，提供更细致的信息。
2021-03-18 stat.ME
Bayesian Non-parametric Quantile Process Regression and Estimation of Marginal Quantile Effects
多个条件分位数的灵活估计在许多应用中是令人感兴趣的，例如研究妊娠相关因素对低出生体重和高出生体重的影响。我们提出了一个贝叶斯非参数方法，同时估计非交叉，非线性分位数曲线。我们扩展了响应的条件分布函数在I-样条基函数的协变量依赖系数建模使用神经网络。通过利用样条函数和神经网络的逼近能力，我们的模型可以逼近任何连续的分位数函数。与现有的模型相比，我们的模型估计所有的分位数，而不是一个有限的子集，规模以及高维，估计的不确定性。虽然该模型是任意灵活的，可解释的边际分位数效应估计使用累积局部效应图和变量的重要性措施。仿真研究表明，当数据稀疏时，我们的模型可以更好地恢复响应分布的分位数，并对出生体重数据进行了分析。
2021-08-29 stat.ME
Nonconcave Penalized Spline
回归样条是非参数回归中的一种有用工具。然而，找到最佳的节点位置是一个已知的困难的问题。在本文中，我们介绍了非凹惩罚回归样条。该方法不仅能产生具有最佳收敛速度的光滑样条，而且能同时自适应地选择最优节点。它对原始节点的数量不敏感。仿真结果表明，该方法具有较好的性能。研究了非凹回归样条函数中光滑参数即惩罚参数的选取问题。
2012-09-10 stat.CO stat.ME
Neural Mixture Distributional Regression
LMU Munich（慕尼黑大学）
我们提出了神经混合分布回归（NMDR），一个整体框架来估计由灵活的添加剂预测定义的复杂的有限混合分布回归。我们的框架能够在高维环境中处理大量潜在不同分布的混合物，允许高效和可扩展的优化，并可应用于将结构化回归模型与深度神经网络相结合的最新概念。虽然许多现有的混合模型方法解决了优化这些模型的挑战，并在特定的模型假设下提供了收敛结果，但我们的方法是无约束的，而是利用了深度学习中成熟的优化器。通过大量的数值实验和高维深度学习应用程序，我们提供的证据表明，所提出的方法是有竞争力的现有方法，并在更复杂的情况下工作得很好。
2020-10-14 cs.LG stat.CO stat.ML
Nonparametric Bayesian testing for monotonicity
本文从非参数贝叶斯的角度研究了函数单调性的检验问题。构造了两个新的检验族。第一个使用约束平滑样条，连同一个层次的随机过程之前，明确控制的先验概率的单调性。第二个使用回归样条，连同两个建议的先验的回归系数。有限样本性能的测试，通过模拟，以改善现有的频率论和贝叶斯方法。本文还研究了高斯模型中比较单调与非单调回归函数的贝叶斯因子的渐近性质。我们的结果显着扩展了目前可用的，主要集中在确定参数线性模型的尺寸。
2014-06-01 math.ST stat.ME stat.TH
Hierarchical Spline-Based Bayesian Beta-Binomial Regression for Estimating Time-Varying Risk in Power Outages
Oak Ridge National Laboratory（橡树岭国家实验室）
该研究提出分层样条贝塔-二项回归模型，结合B样条与贝塔-二项似然，经PyMC的NUTS采样器推断，可估计停电时变风险，其AUC后验均值能提供校准不确定性，为公用事业及应急规划人员提供工具。
2026-08-14 stat.AP
Posterior Concentration Rates for Bayesian Penalized Splines
尽管贝叶斯惩罚样条函数在实际中得到了广泛的应用，但其渐近性质至今尚未得到研究。我们关闭这个差距，并研究后验浓度率贝叶斯惩罚样条在高斯非参数回归模型。该方法的一个关键特征是平滑方差的超先验，这允许在实践中进行自适应平滑，但由于它破坏了共轭性并排除了后验矩的解析表达式，因此使理论分析变得相当复杂。为了得到我们的理论结果，我们依赖于几个新的概念，包括一个仔细定义的适当版本的部分不适当的惩罚样条之前，以及一个创新的样条估计，项目的意见到第一个Demmler-Reinsch基础的基础函数。我们的研究结果表明，后验浓度在接近最优的速度，可以实现如果超先验的平滑方差之间的过度平滑和欠平滑，这可以满足例如由威布尔超先验形状参数1/2之间的平衡。我们补充我们的理论结果与实证证据表明在实践中的超先验的适应性。
2022-03-23 math.ST stat.ME stat.TH
Spline Quantile Regression
IBM T. J. Watson Research Center（IBM T.J. 沃森研究中心）
本文提出样条分位数回归方法，通过联合估计分位数回归系数作为平滑样条，提升估计性能。
2025-04-08 stat.CO stat.ME
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France（法兰西大学研究院）
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型，以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化（EM）算法，最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明，所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
Supremum Norm Posterior Contraction and Credible Sets for Nonparametric Multivariate Regression
在误差方差未知的非参数多元回归中，研究了估计回归函数f及其混合偏导数的贝叶斯方法的渐近性质.我们使用一个随机系列的张量积的B-样条与正规基系数作为先验的f，和误差方差估计使用经验贝叶斯方法或被赋予一个合适的先验的分层贝叶斯方法。我们建立了f及其混合偏导数的点态、L2和上确界范数后验压缩率，并证明了它们与极大极小压缩率相一致。我们的结果甚至覆盖了各向异性的情况，其中真正的回归函数在不同方向上可能具有不同的光滑度。利用收敛界，我们证明了f及其混合偏导数的点态、L2和上确界范数可信集具有最优的频率覆盖。同时，在B样条的张量积方面也得到了一些新的结果。
2015-09-24 math.ST stat.TH
Polynomial spline regression: Theory and Application
为了处理预测变量和响应之间的非线性关系，我们可以使用变换使数据看起来是线性的或近似线性的。然而，在实践中，转换方法可能是无效的，并且使用可以自动处理非线性行为的灵活回归技术可能更有效。一种这样的方法是多项式样条（PS）回归。由于可能的样条回归模型的数量很多，因此需要有效的策略来选择最佳模型。本文从理论和实践两个方面研究了不同的样条回归模型（基于截断幂的多项式样条、B样条和P样条）。由于样条回归理论丰富，本文着重介绍了基本概念。特别是，我们专注于使用交叉验证（CV）而不是解释的预测，因为多项式样条解释起来很有挑战性。我们比较了不同的PS模型的基础上，一个真实的数据集，并得出结论，P-样条模型是最好的。
2022-12-30 stat.ME
Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归（也称为混合回归）模型的一致相合性，其中允许回归函数是非参数的，并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计，同时突出了几个痛点，在扩展现有的逐点一致性结果，以统一的结果。由此产生的分析结果是不平凡的，并在此过程中开发了一些新的技术工具。在混合回归的情况下，我们证明了$L^1$收敛的回归函数，同时允许组件回归函数相交任意经常，这提出了额外的技术挑战。我们还考虑一般（即非卷积）非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University（斯坦福大学）
判别潜变量模型通常使用EM或基于梯度的优化来学习，这会受到局部最优的影响。在本文中，我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归，一个简单的例子，一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量，可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度，并提供了一个实证评估，说明其相对于局部优化（EM）的优势。
2013-06-17 cs.LG stat.ML
Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子，适应的平滑程度的真实功能，通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用，并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限（即，渐近正态性）。所提出的方法与数值例子说明，并显示优越的性能相比，本地多项式回归，DiceKriging，和强大的高斯随机过程的计算效率，精度和不确定性量化。
2018-09-13 math.ST stat.TH
Transformers can optimally learn regression mixture models
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究证明Transformer能学习回归混合模型的最优预测器，通过构造生成过程并实验验证其低误差、样本高效及鲁棒性，且理论上证明最优过程可由Transformer实现。
2023-11-14 cs.LG stat.ML
Empirical likelihood inference for partial functional linear regression models based on B spline
本文将经验似然方法应用于基于B样条的部分泛函线性回归模型中回归参数的推断。我们证明了回归参数的经验对数似然比收敛于独立χ 2分布的加权和的规律，并运行模拟来评估我们的方法的有限样本性能。
2017-10-31 stat.ME
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Model selection criteria for regression models with splines and the automatic localization of knots
在本文中，我们提出了一个模型选择方法来拟合回归模型，使用样条与一个可变数目的节点。我们引入了一个惩罚准则来估计锚定样条基的节点的数量和位置。该方法在模拟数据上进行了评估，并应用于COVID-19每日报告的病例进行短期预测。
2021-07-26 stat.ME
Spline Quantile Regression with Cubic and Linear Smoothing Splines
IBM T. J. Watson Research Center（IBM 沃森研究中心）
本文提出了一种基于样条的分位数回归方法，通过引入三次和线性平滑样条，改进了回归系数的平滑估计，展示了其在实际数据中的应用价值。
2026-03-23 stat.ME
Adaptive Smoothing Spline Estimator for the Function-on-Function Linear Regression Model
针对函数对函数线性回归模型，提出带双空间自适应惩罚项的AdaSS估计量及配套进化调参算法，模拟和真实数据实验显示其估计与预测精度多优于现有方法。
2020-11-24 stat.CO stat.ME
Bayesian mixtures of spatial spline regressions
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
这项工作涉及的框架，基于模型的空间功能数据的数据是表面的聚类。本文首先介绍了一种用于空间函数数据建模的混合效应贝叶斯空间样条回归模型（BSSR）。BSSR模型基于空间回归的Nodal基函数，通过固定效应部分适应数据的常见平均行为，并通过随机效应部分适应个体间的变异性。然后，为了对来自异质群体的空间功能数据群体进行建模，我们将BSSR模型集成到一个混合框架中。由此产生的模型是一个贝叶斯混合空间样条回归与混合效应（BMSSR）用于密度估计和基于模型的表面聚类。该模型，通过其贝叶斯公式，允许整合可能的先验知识的数据结构，并构成一个很好的替代最近的混合空间样条回归模型估计在极大似然框架通过期望最大化（EM）算法。贝叶斯模型的推断是通过马尔可夫链蒙特卡罗（MCMC）抽样进行的。我们推导出两个Gibbs采样器来推断BSSR和BMSSR模型，并将其应用于模拟表面和一个实际的问题，手写数字识别使用MNIST数据集。所获得的结果突出了潜在的好处，提出的贝叶斯方法建模表面可能分散在特别是在集群。
2015-08-04 cs.LG stat.CO stat.ME
Lévy Adaptive B-spline Regression via Overcomplete Systems
变光滑度函数的估计是非参数函数估计中的一个难题。本文提出了LABS（Lévy Adaptive B-样条回归）模型，它是LARK模型的一个推广，用于具有不同光滑度的函数的估计. LABS模型是以B样条基为生成核的LARK模型。B样条基由分段k次多项式和k-1阶连续导数组成，可以系统地表示具有不同光滑度的函数。通过改变B样条基的阶数，LABS可以系统地适应函数的光滑性，即，仿真研究和实际数据实例的结果表明，该模型不仅能捕捉到函数的光滑区域，而且能捕捉到函数的跳跃和尖峰。所提出的模型也具有最好的性能，在几乎所有的例子。最后，我们给出了基于B样条基阶数的LABS模型的均值函数属于某个Besov空间的理论结果，以及该模型的先验在Besov空间上具有完全支持的理论结果.
2021-01-30 stat.ME
Inference for penalized spline regression: Improving confidence intervals by reducing the penalty
惩罚样条回归是一种常用的散点图平滑方法，但如何构造惩罚样条拟合的置信区间一直存在争议。由于惩罚，拟合的平滑曲线是目标函数的有偏估计。许多方法，包括贝叶斯区间和简单移位偏差减少，已被提出来提升置信区间的覆盖率，但这些方法通常不能充分改善预测值的情况下，函数是急剧弯曲。在本文中，我们开发了一种新的方法来提高置信区间，使用更小的平滑强度比样条拟合。通过仔细选择平滑强度的减少量，置信区间实现了几乎标称的覆盖范围，而不会过宽或波动。通过仿真实验研究了该方法的覆盖性能，并与Hodges（2013）和Kuusela和Panaretos（2015）提出的偏差校正技术进行了比较。
2017-06-02 stat.ME
Smooth Reduced Rank Regression with P-splines
Leiden University（莱顿大学）
研究多变量回归问题，核心方法是用B样条基展开降秩回归并惩罚系数以获光滑拟合，贡献为开发算法、讨论调参、开发可视化工具并分析数据集。
2026-07-07 stat.ME
One-step smoothing splines instrumental regression
本文提出一种一步平滑样条工具回归估计量，仅依赖单一正则化参数，推导其在内生变量支撑集上的一致收敛速度，并支持单调性约束与部分线性模型，模拟和Engel曲线应用验证了其优势。
2024-12-09 econ.EM stat.ME
P-splines with an l1 penalty for repeated measures
P-样条是惩罚B-样条，其中系数的有限阶差通常用$\ell_2$范数惩罚。P样条可用于半参数回归，并可包括随机效应以解释受试者内变异性。除了$\ell_2$罚分之外，$\ell_1$型罚分还用于非参数和半参数回归以实现更大的灵活性，例如局部自适应回归样条、$\ell_1$趋势滤波和融合套索加性模型。然而，在P-样条函数中使用$\ell_1$罚函数的关注较少，特别是用于估计条件均值。在本文中，我们证明了潜在的好处，使用$\ell_1$惩罚P-样条曲线，重点是拟合非光滑函数。我们提出了一个估计程序，使用交替方向的方法的乘数和交叉验证，并提供自由度和近似置信带的基础上的脊近似的$\ell_1$惩罚适合。我们还展示了潜在的用途，通过模拟和应用程序的皮肤电活动数据收集的压力研究的一部分。
2018-07-22 stat.ME
