Additive inverse regression models with convolution-type operators
在最近的一篇论文中，Birke和Bissantz（2008）考虑了具有卷积型算子的逆回归模型中的非参数估计问题。对于多变量预测，非参数方法受到维数灾难的影响，我们考虑逆回归模型与附加的定性假设的可加性。在这些模型中，几个加性估计进行了研究。特别是，我们调查的随机设计假设下，适用于观察时，网格上不可用的估计。最后，我们通过模拟研究，比较了这种估计与边际积分和非可加估计。它表明，新的方法产生了实质性的改善，目前可用的程序。
2013-03-18 math.ST stat.TH
Sparse additive regression on a regular lattice
我们考虑稀疏加性回归模型中的估计，设计点在正则格上。我们建立了Sobolev类上的Minimax收敛速度，并提出了一个基于Fourier的速率最优估计器，该估计器自适应于响应函数的未知稀疏性和光滑性。该估计是贝叶斯形式主义内得出的，但可以自然地被视为惩罚的最大似然估计的复杂性惩罚的非零单变量的响应的添加剂组件的数量和非零系数的数量，他们的傅里叶展开。我们比较它与现有的几个同行，并进行了简短的模拟研究，以证明其性能。
2014-04-01 math.ST stat.TH
Functional additive regression
我们提出了一种新的方法，称为功能添加剂回归，或FAR，有效地执行高维功能回归。FAR在两个关键方面扩展了通常的线性回归模型，包括功能预测因子$X(t)$和标量响应$Y$。首先，FAR使用惩罚最小二乘优化方法来有效地处理涉及大量函数预测变量的高维问题。第二，FAR超出了标准的线性回归设置，以适应一般的非线性加性模型。我们证明，FAR可以实现广泛的罚函数使用一个高效的坐标下降算法。理论结果的发展提供了动力的FAR优化准则。最后，我们通过模拟和两个真实的数据集，FAR可以显着优于竞争的方法。
2015-10-14 math.ST stat.TH
Uniform limit laws of the logarithm for estimators of the additive regression function in the presence of right censored data
最近的研究表明，在右删失情形下，通过将边际积分方法与多元回归函数的初始核型逆删失概率加权估计\citeDebbarhViallon耦合，可以得到加性回归函数的非参数估计3。本文给出了这类估计的强一致相合的精确速度。我们的统一限制法律，特别是导致建设的渐近同步100%的置信带的真正回归函数。
2008-06-26 math.ST stat.TH
Additive regression with general imperfect variables
本文研究了一类可加模型，其中响应变量为Hilbert空间值，预测变量为多元欧氏，且两者都可能是不完全观测的。考虑希尔伯特空间值的响应允许覆盖欧几里得，成分，功能和密度值变量。通过处理不完美的响应，我们可以覆盖函数变量的值在一个黎曼流形和情况下，只有一个随机样本从一个密度值的响应是可用的。这种处理也可以应用于半参数回归。处理不完美的预测，使我们能够涵盖各种主成分和奇异成分得分从希尔伯特空间值变量。对于含有这类变量的可加模型的估计，我们使用光滑后拟合方法。我们提供完整的非渐近和渐近性质的回归估计，并通过几个模拟研究和实际数据的应用，目前其广泛的应用。
2022-12-12 math.ST stat.TH
Optimal Prediction for Additive Function-on-Function Regression
与经典统计学一样，函数回归模型在函数数据分析中是非常宝贵的。虽然现在有广泛的工具与伴随的理论可用于线性模型，但关于函数数据的非线性模型仍有大量的工作要做。在这项工作中，我们考虑加性函数对函数回归模型，一种类型的非线性模型，使用的功能输出和功能协变量之间的加性关系。我们提出了一种估计方法，再生核希尔伯特空间，并建立我们的估计的预测误差方面的最佳收敛速度。我们还讨论了这种复杂模型所带来的计算挑战，为我们的估计开发了一个代表定理，以及一个更实用和计算效率更高的近似。还提供了2008年金融危机前后的累积日内收益的模拟和应用。
2018-06-22 math.ST stat.TH
Estimation in nonparametric regression model with additive and multiplicative noise via Laguerre series
研究了加性和乘性噪声下的非参数回归估计，构造了基于Laguerre级数的自适应阈值估计。当未知函数属于Laguerre-索伯列夫空间时，该方法具有渐近近最优的收敛速度.我们考虑两种噪声结构下的问题：（1）{ i.i.d.}高斯误差和（2）长记忆高斯误差。在{ i.i.d.}的情况下，我们的收敛速度是类似的文献中发现的。在长记忆情况下，只有当任一噪声源的长记忆足够强时，收敛速度才取决于长记忆参数，否则，收敛速度与{ i.i.d.}噪声
2020-12-22 math.ST stat.TH
Asymptotics for penalized additive B-spline regression
本文研究了二元可加模型中惩罚样条估计的渐近性。本文的重点是通过回拟算法获得的惩罚样条估计量。证明了算法的收敛性和解的唯一性。利用边际一元模型中惩罚样条估计的渐近结果，得到了惩罚样条估计的渐近偏差和方差。给出了估计量的渐近正态性，并由此得到了估计量的近似置信区间。一些数值实验证实了理论结果。
2011-04-27 math.ST stat.TH
Sparse Additive Gaussian Process Regression
在本文中，我们介绍了一种新的模型高斯过程（GP）回归在完全贝叶斯设置。出于稀疏化，本地化和贝叶斯添加剂建模的想法，我们的模型是建立在一个递归分区（RP）计划。在每个RP分区内，拟合稀疏GP（SGP）回归模型。然后，贝叶斯加法框架将多层分区的SGPs结合起来，通过有效的计算捕获全局趋势和局部细化。该模型解决了拟合全高斯过程回归模型的效率问题以及与单个SGP相关的预测性能问题。我们的方法减轻了伪输入选择的问题，并避免了在现有方法中需要复杂的块间相关性。关键的权衡变成在许多更简单的局部模型组件或更少的复杂全局模型组件之间进行选择，实践者可以合理地调整。实现是通过一个Metropolis-Hasting马尔可夫链蒙特卡洛算法与贝叶斯回拟合。我们将我们的模型与模拟和真实数据集上的流行替代方案进行比较，发现性能具有竞争力，而完全贝叶斯过程可以量化模型的不确定性。
2020-09-03 math.ST stat.TH
Penalized Estimation in Additive Regression with High-Dimensional Data
加法回归通过将响应信号建模为复杂性相对较低的协变量的函数之和，提供了线性回归的扩展。研究了高维非参数可加回归中的惩罚估计，其中用泛函半范数来诱导分量函数的光滑性，用经验$L_2$范数来诱导稀疏性.函数半范数可以是Sobolev或有界变分类型，并且允许在各个分量函数之间不同。我们建立了新的预言不等式的预测性能，这样的方法在三个简单的技术条件：一个亚高斯条件的噪声，一个兼容性条件的设计和考虑中的功能类，和一个熵条件的功能类。对于随机设计，样本相容性条件可以在一个附加条件下用其总体版本代替，以确保经验范数的适当收敛。在齐次设置的复杂性的组件功能是相同的顺序，我们的研究结果提供了一个频谱的显式收敛速度，从所谓的慢速率，而不需要的兼容性条件下的硬稀疏或一定的$L_q$稀疏允许许多小组件在真正的回归函数的快速。这些结果显着拓宽和锐化现有的文献。
2017-04-24 math.ST stat.TH
Additive Regression Model for Continuous Time Processes
在连续时间过程的可加回归模型的背景下，建立了可加回归的最优一致收敛性和最优渐近二次误差。为了建立我们的估计，我们使用边际积分方法。
2007-06-08 math.PR math.ST stat.AP
Uniform Bahadur Representation for Local Polynomial Estimates of M-Regression and Its Application to The Additive Model
本文利用局部多项式拟合估计强混合平稳过程$\{(Y_{i},\underline{X}_{i})\}$的非参数M-回归函数.我们建立了回归函数及其导数估计量的Bahadur表示的强一致相合率。这些结果是基本的统计推断和应用程序，涉及插入到其他功能的估计，需要一些控制高阶项。我们将我们的结果应用到可加M-回归模型的估计。
2007-11-29 math.ST stat.ME stat.TH
Estimation and Model Identification of Locally Stationary Varying-Coefficient Additive Models
具有局部平稳协变量的非参数回归模型近年来受到越来越多的关注。可加性回归模型是解决因协变量维数过大而导致的“维数灾难”的一种有效方法。然而，在局部平稳背景下，为了捕捉回归函数的动态性质，我们采用了一个灵活的变系数可加模型，其中回归函数具有$α_{0}\left(u\right)+\sum_{k=1}^{p}α_{k}\left(u\right)β_{k}\left(x_{k}\right).$的形式。对于这个模型，我们提出了一个三步样条估计方法，每个单变量非参数函数，并显示其一致性和$L_{2}$收敛速率。进一步，基于三步估计，我们提出了一个两步罚函数方法来识别变系数可加模型中的纯可加项和变系数项。正如预期的那样，我们证明了所提出的识别过程是一致的，和惩罚估计达到相同的$L_{2}$收敛速率的多项式样条估计。仿真研究表明，所提出的三步样条估计方法和两阶段模型选择过程的有限样本性能。
2016-12-01 math.ST stat.TH
Sparse Additive Models
我们提出了一类新的方法，高维非参数回归和分类称为稀疏加性模型（SpAM）。我们的方法结合了稀疏线性建模和添加剂非参数回归的想法。我们推导出一个算法，用于拟合的模型是实用和有效的，即使当协变量的数量大于样本量。SpAM与Lin and Zhang（2006）的COSSO模型密切相关，但它同时兼顾了平滑和稀疏性，允许使用任意非参数平滑器。分析了SpAM的理论特性。我们还研究了一个贪婪的估计，这是一个非参数版本的前向逐步回归。实验结果表明，SpAM可以有效地拟合稀疏的高维数据的非参数模型。
2008-04-09 math.ST stat.TH
Some Uniform Limit Results in Additive Regression Model
在可加回归模型估计的背景下，建立了一些一致的极限结果。我们的研究结果允许给这些组件的渐近100%置信带。这些结果是在独立同分布随机向量的框架下，当使用边际积分估计方法。
2007-06-08 math.PR math.ST stat.AP
Backfitting and smooth backfitting for additive quantile models
本文研究了可加分位数模型的普通后拟合和光滑后拟合方法。我们证明了这些后拟合分位数估计渐近等价于一个特殊设计的可加均值回归模型中的可加分量的相应后拟合估计。这意味着后拟合分位数估计量的理论性质与后拟合均值回归估计量的理论性质没有什么不同。我们还评估了两个后拟合分位数估计的有限样本性质。
2013-01-31 math.ST stat.TH
Nonparametric regression penalizing deviations from additivity
由于维数灾难，多维非参数回归模型中的估计通常是不可行的。因此，引入了额外的限制，并且添加剂模型占据了突出的位置。强加的限制可能导致严重的偏见。在这里，提出了一种新的估计，它允许惩罚的非加性部分的回归函数。这提供了完整和添加剂模型之间的平滑选择。作为副产品，这种惩罚导致稀疏区域的正则化。如果加性模型不成立，则与完整模型相比，小的惩罚引入了额外的偏差，由于使用较小的带宽，该偏差被减小的偏差补偿。对于增加的惩罚，该估计器收敛到Mammen，Linton和Nielsen [Ann. Statist. 27（1999）1443-1490]。估计器的结构进行了研究，并提供了两个算法。提出了调谐参数选择的建议，并研究了各自的性质。最后，有限样本评估进行模拟和臭氧数据。
2005-07-21 math.ST stat.TH
Model selection and estimation of a component in additive regression
令$Y\in\R^n$是具有均值$s$和协方差矩阵$σ^2P_n\tra{P_n}$的随机向量，其中$P_n$是某个已知的$n\times n$ -矩阵。我们构造了一个统计过程来估计$s$以及在$Y$或高斯假设的矩条件下。这两种病例均为已知或未知$σ^2$。我们的方法是免费的$s$的任何先验假设，是基于非渐近模型选择方法。给定线性空间集合$\{S_m,\ m\in\M\}$，对任意的$m\in\M$，考虑$s$在$S_m$中的最小二乘估计量$\hat{s}_m$.考虑罚函数在$S_m$的维数上不是线性的，我们选择一些$\hat{m}\in\M$，以得到二次风险尽可能接近$\hat{s}_m$的风险中最小风险的估计量$\hat{s}_{\hat{m}}$.证明了$\hat{s}_{\hat{m}}$的非渐近预言型不等式和极大极小收敛速度。一个特别注意的是在加性模型中的非参数分量的估计。最后，我们进行了模拟研究，以说明我们的估计在实践中的表现。
2012-09-28 math.ST stat.TH
The additive model with different smoothness for the components
我们考虑一个由两个分量$f^0$和$g^0$组成的加性回归模型，其中第一个分量$f^0$在某种意义上比第二个分量$g^0$“更平滑”。光滑度在这里描述的半范数类的回归函数。我们使用一个惩罚最小二乘估计$(\hat f, \hat g)$的$(f^0, g^0)$，并表明，收敛速率为$\hat f $比收敛速率为$\hat g$。事实上，这两个速率通常与两个分量中的一个已知的情况一样快。通过仿真研究说明了该理论。我们的证明依赖于最近的结果从经验过程理论。
2014-05-26 math.ST stat.TH
Generalized Bayesian Additive Regression Trees: Theory and Software
University of South Carolina（南卡罗来纳大学）
本文提出广义贝叶斯树框架，适用于指数族响应变量的非线性回归，理论证明其后验收敛性，并提供Python/R软件实现多种分布模型。
2026-03-23 math.ST stat.ML stat.TH
Nonparametric estimation in a regression model with additive and multiplicative noise
本文考虑了一般非参数回归模型中未知函数的估计问题，在此背景下提出了两种新的小波估计.我们证明了它们在Besov空间上的平均积分平方误差下具有快速的收敛速度。所得到的速率具有建立在模型弱条件下的特殊性。一个数值研究的背景下可比随机前沿估计（与不同的边界不一定是一个生产函数）支持的理论。
2020-06-20 econ.EM math.ST stat.ME
Partially linear additive quantile regression in ultra-high dimension
本文考虑了一个分析高维异质数据的灵活半参数分位数回归模型。该模型具有以下特点：（1）通过考虑不同的条件分位数，可以得到一个更完整的响应变量的条件分布的图片给定高维协变量。(2)在不同的分位数级别上，允许稀疏性级别不同。(3)部分线性加性结构适应非线性并避免维数灾难。(4)它对重尾分布自然具有鲁棒性。本文采用B样条基函数逼近非线性分量。我们首先研究了当非零分量事先已知且线性部分的协变量个数发散时该模型下的估计。然后，我们研究了同时变量选择和估计的非凸惩罚估计。在松弛条件下，我们得到了一类具有超高维协变量的非凸罚函数的预言性质。为了解决非光滑损失函数、非凸罚函数和非线性成分的存在等问题，我们将最近发展起来的凸差分方法与现代经验过程技术相结合.蒙特卡罗模拟和应用程序的微阵列研究表明，所提出的方法的有效性。我们还讨论了如何为一个单一的分位数的方法可以扩展到同时变量选择和估计在多个分位数。
2016-01-22 math.ST stat.TH
Variable Selection for Additive Global Fréchet Regression
针对一般度量空间响应的Fréchet回归问题，提出基于RKHS的加性回归模型，通过平方距离转换和Elastic Net及SCAD惩罚实现变量选择，具备强预言机性质，为非欧几里得数据分析提供了理论基础。
2025-09-17 math.ST stat.ME stat.TH
Testing additivity in nonparametric regression under random censorship
本文研究了右删失数据下多元回归函数的非参数估计。更确切地说，我们提出了一个统计量，被证明是渐近正态分布下的添加剂的假设，并可以用来测试在删失回归设置的可加性。
2008-02-07 math.ST stat.TH
Estimation and inference for high-dimensional nonparametric additive instrumental-variables regression
工具变量的方法提供了一个基本的和实用的工具，因果推断在许多实证研究中，治疗和结果之间的不可测量的混杂存在。现代数据，如来自这些研究的遗传基因组学数据，往往是高维的。高维线性工具变量回归由于其简单性而在文献中被考虑，尽管可能存在真正的非线性关系。我们提出了一个更多的数据驱动的方法，通过考虑非参数加性模型之间的工具和治疗，同时保持一个线性模型之间的治疗和结果，使其中的系数可以直接承担因果关系的解释。我们提供了一个两阶段的框架下，这个更一般的设置估计和推理。首先采用组套索正则化从高维加性模型中选择最佳工具，然后对加性模型的拟合值回归结果变量，以识别和估计重要的处理效应。我们提供了所提出的估计的估计误差的非渐近分析。进一步采用去偏过程来产生有效的推断。大量的数值实验表明，我们的方法可以媲美或优于现有的方法在文献中。最后，我们分析了小鼠肥胖数据，并讨论了我们的方法的新发现。
2022-10-27 math.ST stat.ME stat.TH
Sharded Bayesian Additive Regression Trees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Ohio State University（俄亥俄州立大学）
本文提出随机化分片贝叶斯加性回归树（SBT），通过随机化辅助变量、分片树和交集树结构统一刻画数据划分与BART子模型，并给出最优权重与最坏情况复杂度分析。
2023-06-01 cs.LG math.ST stat.ME
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University（延世大学）
RoBART通过为每棵树分配旋转，使BART能高效逼近轴不对齐的边界，并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
Robust Semiparametric Inference for Bayesian Additive Regression Trees
University of Bonn（波恩大学）；Chinese University of Hong Kong（香港中文大学）；University of Osaka（大阪大学）
针对随机缺失数据的半参数推断问题，该研究结合BART与贝叶斯自助法提出RoBART方法，建立相关定理并验证其在有限样本下的稳健性能，可用于不确定性量化。
2026-09-22 econ.EM math.ST stat.ME
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归，提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法，在次Weibull噪声下建立误差界，并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
Totally Concave Regression
本文提出基于总凹性的多变量形状约束回归方法，以解决高维数据中的过拟合问题，同时保留协变量交互作用并提高收敛效率。
2025-11-28 math.ST stat.ME stat.TH
Robust variable selection for partially linear additive models
针对部分线性可加模型线性分量的稀疏变量选择及异常值干扰问题，提出结合可加分量稳健初估、MM-回归与SCAD惩罚的方法，证明其一致性与收敛速度，实验验证其优于经典方法。
2024-01-31 math.ST stat.ME stat.TH
High-Dimensional Sparse Additive Hazards Regression
删失生存数据的高维稀疏建模具有重要的实际意义，例如在高通量基因组数据分析和信用风险分析中的现代应用。本文结合非凹惩罚似然方法和伪得分方法，提出了一类可加风险模型中同时变量选择和估计的正则化方法.在一个高维的设置中，维度可以快速增长，多项式或非多项式，与样本量，我们建立了弱预言性质和预言性质下温和的，可解释的条件，从而提供了强有力的性能保证所提出的方法。此外，我们表明，$L_1$方法所需的正则条件大大放宽了一定的一类稀疏诱导凹处罚。因此，凹惩罚，如平滑剪切绝对偏差（SCAD），最小最大凹惩罚（MCP），和计数和绝对偏差的平滑积分（SICA）可以显着改善的$L_1$方法，并产生更稀疏的模型具有更好的预测性能。我们提出了一个坐标下降算法的有效实施，并严格调查其收敛性。仿真研究和实际数据的例子证明了所提出的方法的实用性和有效性。
2012-12-26 math.ST stat.ME stat.TH
Online Quantile Regression for Nonparametric Additive Models
Department of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学系）
本文提出了一种投影函数梯度下降算法（P-FGD）用于在线设置下的非参数加性分位数回归模型训练，通过扩展函数随机梯度下降框架到pinball损失，实现了更高效的计算复杂度和预测能力，证明了其在minimax最优一致性率上的优越性。
2026-04-10 cs.LG math.ST stat.ML
Optimal Prediction in an Additive Functional Model
The functional generalized additive model (FGAM) provides a more flexible nonlinear functional regression model than the well-studied functional linear regression model. This paper restricts attention to the FGAM with identity link and additive errors, which we will call the additive functional model, a generalization of the functional linear model . This paper studies the minimax rate of convergence of predictions from the additive functional model in the framework of reproducing kernel Hilbert space . It is shown that the optimal rate is determined by the decay rate of the eigenvalues of a s…
2013-01-21 math.ST stat.ME stat.TH
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM（概率与统计建模实验室）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；LMO（奥赛数学实验室）
针对核方法立方复杂度难以处理大规模数据的问题，提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架，在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
