Additive isotone regression
本文讨论非参数加性同素回归模型的加性分量的最优估计。它示出，渐近到一阶，每个添加剂成分可以估计，以及它可以通过最小二乘估计，如果其他组件是已知的。用于计算估计量的算法使用后拟合。算法的收敛性。有限样本性质也通过模拟实验进行了比较。
2007-09-06 math.ST stat.TH
Sparse additive regression on a regular lattice
我们考虑稀疏加性回归模型中的估计，设计点在正则格上。我们建立了Sobolev类上的Minimax收敛速度，并提出了一个基于Fourier的速率最优估计器，该估计器自适应于响应函数的未知稀疏性和光滑性。该估计是贝叶斯形式主义内得出的，但可以自然地被视为惩罚的最大似然估计的复杂性惩罚的非零单变量的响应的添加剂组件的数量和非零系数的数量，他们的傅里叶展开。我们比较它与现有的几个同行，并进行了简短的模拟研究，以证明其性能。
2014-04-01 math.ST stat.TH
Functional additive regression
我们提出了一种新的方法，称为功能添加剂回归，或FAR，有效地执行高维功能回归。FAR在两个关键方面扩展了通常的线性回归模型，包括功能预测因子$X(t)$和标量响应$Y$。首先，FAR使用惩罚最小二乘优化方法来有效地处理涉及大量函数预测变量的高维问题。第二，FAR超出了标准的线性回归设置，以适应一般的非线性加性模型。我们证明，FAR可以实现广泛的罚函数使用一个高效的坐标下降算法。理论结果的发展提供了动力的FAR优化准则。最后，我们通过模拟和两个真实的数据集，FAR可以显着优于竞争的方法。
2015-10-14 math.ST stat.TH
Uniform limit laws of the logarithm for estimators of the additive regression function in the presence of right censored data
最近的研究表明，在右删失情形下，通过将边际积分方法与多元回归函数的初始核型逆删失概率加权估计\citeDebbarhViallon耦合，可以得到加性回归函数的非参数估计3。本文给出了这类估计的强一致相合的精确速度。我们的统一限制法律，特别是导致建设的渐近同步100%的置信带的真正回归函数。
2008-06-26 math.ST stat.TH
Additive regression with general imperfect variables
本文研究了一类可加模型，其中响应变量为Hilbert空间值，预测变量为多元欧氏，且两者都可能是不完全观测的。考虑希尔伯特空间值的响应允许覆盖欧几里得，成分，功能和密度值变量。通过处理不完美的响应，我们可以覆盖函数变量的值在一个黎曼流形和情况下，只有一个随机样本从一个密度值的响应是可用的。这种处理也可以应用于半参数回归。处理不完美的预测，使我们能够涵盖各种主成分和奇异成分得分从希尔伯特空间值变量。对于含有这类变量的可加模型的估计，我们使用光滑后拟合方法。我们提供完整的非渐近和渐近性质的回归估计，并通过几个模拟研究和实际数据的应用，目前其广泛的应用。
2022-12-12 math.ST stat.TH
Optimal Prediction for Additive Function-on-Function Regression
与经典统计学一样，函数回归模型在函数数据分析中是非常宝贵的。虽然现在有广泛的工具与伴随的理论可用于线性模型，但关于函数数据的非线性模型仍有大量的工作要做。在这项工作中，我们考虑加性函数对函数回归模型，一种类型的非线性模型，使用的功能输出和功能协变量之间的加性关系。我们提出了一种估计方法，再生核希尔伯特空间，并建立我们的估计的预测误差方面的最佳收敛速度。我们还讨论了这种复杂模型所带来的计算挑战，为我们的估计开发了一个代表定理，以及一个更实用和计算效率更高的近似。还提供了2008年金融危机前后的累积日内收益的模拟和应用。
2018-06-22 math.ST stat.TH
Additive Regression Model for Continuous Time Processes
在连续时间过程的可加回归模型的背景下，建立了可加回归的最优一致收敛性和最优渐近二次误差。为了建立我们的估计，我们使用边际积分方法。
2007-06-08 math.PR math.ST stat.AP
Estimation in nonparametric regression model with additive and multiplicative noise via Laguerre series
研究了加性和乘性噪声下的非参数回归估计，构造了基于Laguerre级数的自适应阈值估计。当未知函数属于Laguerre-索伯列夫空间时，该方法具有渐近近最优的收敛速度.我们考虑两种噪声结构下的问题：（1）{ i.i.d.}高斯误差和（2）长记忆高斯误差。在{ i.i.d.}的情况下，我们的收敛速度是类似的文献中发现的。在长记忆情况下，只有当任一噪声源的长记忆足够强时，收敛速度才取决于长记忆参数，否则，收敛速度与{ i.i.d.}噪声
2020-12-22 math.ST stat.TH
Asymptotics for penalized additive B-spline regression
本文研究了二元可加模型中惩罚样条估计的渐近性。本文的重点是通过回拟算法获得的惩罚样条估计量。证明了算法的收敛性和解的唯一性。利用边际一元模型中惩罚样条估计的渐近结果，得到了惩罚样条估计的渐近偏差和方差。给出了估计量的渐近正态性，并由此得到了估计量的近似置信区间。一些数值实验证实了理论结果。
2011-04-27 math.ST stat.TH
Sparse Additive Gaussian Process Regression
在本文中，我们介绍了一种新的模型高斯过程（GP）回归在完全贝叶斯设置。出于稀疏化，本地化和贝叶斯添加剂建模的想法，我们的模型是建立在一个递归分区（RP）计划。在每个RP分区内，拟合稀疏GP（SGP）回归模型。然后，贝叶斯加法框架将多层分区的SGPs结合起来，通过有效的计算捕获全局趋势和局部细化。该模型解决了拟合全高斯过程回归模型的效率问题以及与单个SGP相关的预测性能问题。我们的方法减轻了伪输入选择的问题，并避免了在现有方法中需要复杂的块间相关性。关键的权衡变成在许多更简单的局部模型组件或更少的复杂全局模型组件之间进行选择，实践者可以合理地调整。实现是通过一个Metropolis-Hasting马尔可夫链蒙特卡洛算法与贝叶斯回拟合。我们将我们的模型与模拟和真实数据集上的流行替代方案进行比较，发现性能具有竞争力，而完全贝叶斯过程可以量化模型的不确定性。
2020-09-03 math.ST stat.TH
Uniform Bahadur Representation for Local Polynomial Estimates of M-Regression and Its Application to The Additive Model
本文利用局部多项式拟合估计强混合平稳过程$\{(Y_{i},\underline{X}_{i})\}$的非参数M-回归函数.我们建立了回归函数及其导数估计量的Bahadur表示的强一致相合率。这些结果是基本的统计推断和应用程序，涉及插入到其他功能的估计，需要一些控制高阶项。我们将我们的结果应用到可加M-回归模型的估计。
2007-11-29 math.ST stat.ME stat.TH
Penalized Estimation in Additive Regression with High-Dimensional Data
加法回归通过将响应信号建模为复杂性相对较低的协变量的函数之和，提供了线性回归的扩展。研究了高维非参数可加回归中的惩罚估计，其中用泛函半范数来诱导分量函数的光滑性，用经验$L_2$范数来诱导稀疏性.函数半范数可以是Sobolev或有界变分类型，并且允许在各个分量函数之间不同。我们建立了新的预言不等式的预测性能，这样的方法在三个简单的技术条件：一个亚高斯条件的噪声，一个兼容性条件的设计和考虑中的功能类，和一个熵条件的功能类。对于随机设计，样本相容性条件可以在一个附加条件下用其总体版本代替，以确保经验范数的适当收敛。在齐次设置的复杂性的组件功能是相同的顺序，我们的研究结果提供了一个频谱的显式收敛速度，从所谓的慢速率，而不需要的兼容性条件下的硬稀疏或一定的$L_q$稀疏允许许多小组件在真正的回归函数的快速。这些结果显着拓宽和锐化现有的文献。
2017-04-24 math.ST stat.TH
Some Uniform Limit Results in Additive Regression Model
在可加回归模型估计的背景下，建立了一些一致的极限结果。我们的研究结果允许给这些组件的渐近100%置信带。这些结果是在独立同分布随机向量的框架下，当使用边际积分估计方法。
2007-06-08 math.PR math.ST stat.AP
Variable selection in high-dimensional additive models based on norms of projections
研究了高维稀疏可加模型中的变量选择问题。我们专注于的情况下，组件属于非参数类的功能。所提出的方法是出于几何考虑，在希尔伯特空间，并包括比较规范的数据到各种添加剂子空间的投影。在最小的几何假设下，我们证明了浓度不等式，导致新的条件下，一致的变量选择是可能的。作为一个应用，我们建立了条件下，一个单一的组件可以估计的收敛速率对应的情况下，其中其他组件是已知的。
2015-02-01 math.ST stat.TH
Estimation and Model Identification of Locally Stationary Varying-Coefficient Additive Models
具有局部平稳协变量的非参数回归模型近年来受到越来越多的关注。可加性回归模型是解决因协变量维数过大而导致的“维数灾难”的一种有效方法。然而，在局部平稳背景下，为了捕捉回归函数的动态性质，我们采用了一个灵活的变系数可加模型，其中回归函数具有$α_{0}\left(u\right)+\sum_{k=1}^{p}α_{k}\left(u\right)β_{k}\left(x_{k}\right).$的形式。对于这个模型，我们提出了一个三步样条估计方法，每个单变量非参数函数，并显示其一致性和$L_{2}$收敛速率。进一步，基于三步估计，我们提出了一个两步罚函数方法来识别变系数可加模型中的纯可加项和变系数项。正如预期的那样，我们证明了所提出的识别过程是一致的，和惩罚估计达到相同的$L_{2}$收敛速率的多项式样条估计。仿真研究表明，所提出的三步样条估计方法和两阶段模型选择过程的有限样本性能。
2016-12-01 math.ST stat.TH
Copula based generalized additive models with non-random sample selection
非随机样本选择在许多实证研究中是常见的，并且当感兴趣的输出变量仅可用于数据的受限非随机子样本时出现。我们引入了广义加性模型的一个扩展，它通过使用选择方程来考虑非随机样本选择。所提出的方法允许不同的分布的结果变量，各种依赖结构之间的（结果和选择）方程，通过使用copulae，和非参数效应的反应。参数估计是在惩罚似然和联立方程框架内进行的。我们建立了所提出的惩罚样条估计的渐近理论，这扩展了广义可加模型中惩罚样条的最新理论结果，例如Kauermann et al.（2009）和Yoshida & Naito（2014）。通过仿真研究证明了该方法的经验有效性。
2015-08-17 math.ST stat.TH
Sparse Additive Models
我们提出了一类新的方法，高维非参数回归和分类称为稀疏加性模型（SpAM）。我们的方法结合了稀疏线性建模和添加剂非参数回归的想法。我们推导出一个算法，用于拟合的模型是实用和有效的，即使当协变量的数量大于样本量。SpAM与Lin and Zhang（2006）的COSSO模型密切相关，但它同时兼顾了平滑和稀疏性，允许使用任意非参数平滑器。分析了SpAM的理论特性。我们还研究了一个贪婪的估计，这是一个非参数版本的前向逐步回归。实验结果表明，SpAM可以有效地拟合稀疏的高维数据的非参数模型。
2008-04-09 math.ST stat.TH
Bandwidth selection for smooth backfitting in additive models
由Mammen，Linton和Nielsen介绍的平滑后拟合[Ann. Statistist。27（1999）1443-1490]是拟合加法回归模型的有前景的技术，并且已知其实现了Oracle效率界限。在本文中，我们提出并讨论了三个全自动的带宽选择方法，在加性模型的光滑回拟合。第一种是基于高阶随机展开的惩罚最小二乘方法的光滑回拟合估计的残差平方和。另外两个是插件式带宽选择器，它依赖于平均平方误差的近似值，其效用仅限于局部线性拟合。给出了这些带宽选择方法的大样本性质。通过仿真实验比较了它们的有限样本性质。
2005-07-21 math.ST stat.TH
Backfitting and smooth backfitting for additive quantile models
本文研究了可加分位数模型的普通后拟合和光滑后拟合方法。我们证明了这些后拟合分位数估计渐近等价于一个特殊设计的可加均值回归模型中的可加分量的相应后拟合估计。这意味着后拟合分位数估计量的理论性质与后拟合均值回归估计量的理论性质没有什么不同。我们还评估了两个后拟合分位数估计的有限样本性质。
2013-01-31 math.ST stat.TH
Adaptive variable selection in nonparametric sparse additive models
我们考虑的问题，恢复一个未知的多元信号$f$中观察到的$d$维高斯白噪声模型的强度$\varepsilon$。我们假设$f$属于一类光滑函数${\cal F}^d\subset L_2([0,1]^d)$，并且具有由参数$s$确定的可加稀疏结构，参数$s$是对$f$有贡献的非零单变量分量的数量。我们感兴趣的情况下，当$d=d_\varepsilon \to \infty$作为$\varepsilon \to 0$和参数$s$保持“小”相对于$d$。有了这些假设，恢复问题就变成了确定哪些稀疏加性分量是非零的问题。试图重建的$f$的大多数非零组件，但不是所有的，我们在高维回归几乎全变量选择的问题。对于两种不同的选择${\cal F}^d$，我们建立的条件下，几乎完全的变量选择是可能的，并提供了一个程序，使几乎完全的变量选择。该程序在选择$f$的大多数非零分量方面做得最好（在渐近极大极小意义上）。此外，它是自适应的参数$s$。
2015-08-26 math.ST stat.TH
Model selection in logistic regression
本文研究了逻辑斯谛回归中的模型选择问题。将Birgé和Massart（2001）提出的模型选择原则推广到逻辑斯谛回归模型。这种选择是通过使用惩罚最大似然标准来完成的。在这种情况下，我们提出了一个完全数据驱动的标准的基础上的斜率几何学。我们证明了非渐近预言不等式的选择估计。通过仿真研究说明了理论结果。
2015-08-30 math.ST stat.TH
Nonparametric estimation in a regression model with additive and multiplicative noise
本文考虑了一般非参数回归模型中未知函数的估计问题，在此背景下提出了两种新的小波估计.我们证明了它们在Besov空间上的平均积分平方误差下具有快速的收敛速度。所得到的速率具有建立在模型弱条件下的特殊性。一个数值研究的背景下可比随机前沿估计（与不同的边界不一定是一个生产函数）支持的理论。
2020-06-20 econ.EM math.ST stat.ME
Nonparametric regression penalizing deviations from additivity
由于维数灾难，多维非参数回归模型中的估计通常是不可行的。因此，引入了额外的限制，并且添加剂模型占据了突出的位置。强加的限制可能导致严重的偏见。在这里，提出了一种新的估计，它允许惩罚的非加性部分的回归函数。这提供了完整和添加剂模型之间的平滑选择。作为副产品，这种惩罚导致稀疏区域的正则化。如果加性模型不成立，则与完整模型相比，小的惩罚引入了额外的偏差，由于使用较小的带宽，该偏差被减小的偏差补偿。对于增加的惩罚，该估计器收敛到Mammen，Linton和Nielsen [Ann. Statist. 27（1999）1443-1490]。估计器的结构进行了研究，并提供了两个算法。提出了调谐参数选择的建议，并研究了各自的性质。最后，有限样本评估进行模拟和臭氧数据。
2005-07-21 math.ST stat.TH
Generalized Bayesian Additive Regression Trees: Theory and Software
University of South Carolina（南卡罗来纳大学）
本文提出广义贝叶斯树框架，适用于指数族响应变量的非线性回归，理论证明其后验收敛性，并提供Python/R软件实现多种分布模型。
2026-03-23 math.ST stat.ML stat.TH
Estimation and variable selection for generalized additive partial linear models
研究了广义可加部分线性模型，提出了利用多项式样条光滑估计非参数函数，并推导了线性参数的拟似然估计.我们建立了参数分量估计的渐近正态性。该过程避免了求解大型系统的方程，在基于核的程序，从而导致在计算简单性的增益。我们进一步开发了一类变量选择程序的线性参数，采用非凹惩罚拟似然，这是一个渐近预言性质。蒙特卡罗模拟和实证的例子进行说明。
2011-12-12 math.ST stat.TH
Consistent covariate selection and post model selection inference in semiparametric regression
本文给出了一类半参数回归模型Y_i=β^{ \prime } \underbarX_i +f（T_i）+W_i，i=1，.，n.参数和非参数分量的估计，同时通过这个程序。估计是基于有限维模型的集合，使用惩罚最小二乘标准进行选择。我们表明，通过定制的惩罚项开发的非参数回归半参数模型，我们可以一致地估计的线性部分的非零系数的子集。此外，线性分量的所选估计量是渐近正态的。
2004-06-23 math.ST stat.TH
Variable selection in nonparametric additive models
考虑一个条件均值函数的非参数可加模型，其中变量和可加成分的数目可能大于样本量，但非零可加成分的数目相对于样本量是“小”的.统计问题是确定哪些可加性分量是非零的。加性分量近似截断级数展开与B样条基地。在这种近似下，分量选择的问题就变成了选择展开式中的系数组的问题。我们应用自适应组Lasso来选择非零分量，使用组Lasso来获得初始估计并降低问题的维数。我们给出的条件下，组Lasso选择一个模型，其组件的数量是可比的基础模型，和自适应组Lasso选择正确的非零组件的概率接近一个作为样本量的增加，并达到最佳的收敛速率。Monte Carlo实验结果表明，自适应组Lasso过程适用于中等规模的样本。最后通过一个算例说明了该方法的应用。
2010-10-20 math.ST stat.TH
Variable Selection for Additive Global Fréchet Regression
针对一般度量空间响应的Fréchet回归问题，提出基于RKHS的加性回归模型，通过平方距离转换和Elastic Net及SCAD惩罚实现变量选择，具备强预言机性质，为非欧几里得数据分析提供了理论基础。
2025-09-17 math.ST stat.ME stat.TH
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
Estimation and inference for high-dimensional nonparametric additive instrumental-variables regression
工具变量的方法提供了一个基本的和实用的工具，因果推断在许多实证研究中，治疗和结果之间的不可测量的混杂存在。现代数据，如来自这些研究的遗传基因组学数据，往往是高维的。高维线性工具变量回归由于其简单性而在文献中被考虑，尽管可能存在真正的非线性关系。我们提出了一个更多的数据驱动的方法，通过考虑非参数加性模型之间的工具和治疗，同时保持一个线性模型之间的治疗和结果，使其中的系数可以直接承担因果关系的解释。我们提供了一个两阶段的框架下，这个更一般的设置估计和推理。首先采用组套索正则化从高维加性模型中选择最佳工具，然后对加性模型的拟合值回归结果变量，以识别和估计重要的处理效应。我们提供了所提出的估计的估计误差的非渐近分析。进一步采用去偏过程来产生有效的推断。大量的数值实验表明，我们的方法可以媲美或优于现有的方法在文献中。最后，我们分析了小鼠肥胖数据，并讨论了我们的方法的新发现。
2022-10-27 math.ST stat.ME stat.TH
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University（延世大学）
RoBART通过为每棵树分配旋转，使BART能高效逼近轴不对齐的边界，并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Robust Semiparametric Inference for Bayesian Additive Regression Trees
University of Bonn（波恩大学）；Chinese University of Hong Kong（香港中文大学）；University of Osaka（大阪大学）
针对随机缺失数据的半参数推断问题，该研究结合BART与贝叶斯自助法提出RoBART方法，建立相关定理并验证其在有限样本下的稳健性能，可用于不确定性量化。
2026-09-22 econ.EM math.ST stat.ME
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归，提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法，在次Weibull噪声下建立误差界，并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Online Quantile Regression for Nonparametric Additive Models
Department of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学系）
本文提出了一种投影函数梯度下降算法（P-FGD）用于在线设置下的非参数加性分位数回归模型训练，通过扩展函数随机梯度下降框架到pinball损失，实现了更高效的计算复杂度和预测能力，证明了其在minimax最优一致性率上的优越性。
2026-04-10 cs.LG math.ST stat.ML
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
