Generalized Sparse Additive Model with Unknown Link Function
School of Electronic Information；Communications Huazhong University of Science；College of Informatics Huazhong Agricultural University Wuhan, China
针对现有广义加性模型无法同时估计链接函数、组件函数和变量交互的问题，提出GSAMUL模型，利用B样条基和MLP网络分别估计组件函数与未知链接函数，并结合$L_{2,1}$范数正则化项实现变量选择与隐藏交互，理论保证了近似过程的收敛性，实验验证了其有效性。
2024-10-11 cs.LG stat.ML
Group selection and shrinkage: Structured sparsity for semiparametric additive models
针对统计与机器学习中的组结构稀疏问题，提出结合组子集选择与收缩、支持组任意重叠的结构化稀疏估计器，构建优化框架并给出误差界，在半参数可加建模等任务中表现更优，且提供grpsel开源实现。
2024-03-08 stat.ME stat.ML
Spike-and-Slab Group Lassos for Grouped Regression and Sparse Generalized Additive Models
本文介绍了分组变量线性回归中贝叶斯估计和变量选择的钉板组套索算法。我们进一步将SSGL扩展到稀疏广义可加模型（GAM），从而引入了钉板套索方法的第一个非参数变体。我们的模型同时进行组选择和估计，而我们的混合比例的完全贝叶斯处理允许模型复杂性控制和自动自适应不同水平的稀疏性。我们开发的理论，唯一地描述了全球后验模式下的SSGL，并介绍了一个高效的块坐标上升算法的最大后验概率（MAP）估计。我们进一步采用去偏置方法来提供我们估计的不确定性量化。因此，我们的模型的实施避免了计算密集的马尔可夫链蒙特卡罗（MCMC）在高维。当协变量的数量随着样本量以接近指数的速度增长时，我们推导出分组线性回归和稀疏GAM的后验集中率。最后，我们通过大量的模拟和数据分析来说明我们的方法。
2020-03-03 stat.ME
Meta Additive Model: Interpretable Sparse Learning With Auto Weighting
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）
本文提出元加法模型（MAM），通过双层优化框架实现数据驱动的个体损失加权，提升在高维数据中的稀疏学习性能，理论和实验均证明其在鲁棒回归和不平衡分类中的优越性。
2026-04-22 cs.AI cs.LG stat.ML
Estimation and Uniform Inference in Sparse High-Dimensional Additive Models
本文提出一种结合 sieve estimation 与高维 Z-estimation 框架的新方法，用于在高维稀疏可加模型中构建非参数分量的一致有效置信带，并采用 multiplier bootstrap 验证了其在小样本下的可靠性。
2024-04-23 econ.EM stat.ME stat.ML
Estimation and variable selection for generalized additive partial linear models
研究了广义可加部分线性模型，提出了利用多项式样条光滑估计非参数函数，并推导了线性参数的拟似然估计.我们建立了参数分量估计的渐近正态性。该过程避免了求解大型系统的方程，在基于核的程序，从而导致在计算简单性的增益。我们进一步开发了一类变量选择程序的线性参数，采用非凹惩罚拟似然，这是一个渐近预言性质。蒙特卡罗模拟和实证的例子进行说明。
2011-12-12 math.ST stat.TH
Ultra high dimensional generalized additive model: Unified Theory and Methods
广义可加模型是一种功能强大的统计学习和预测建模工具，已得到广泛的应用。在处理高吞吐量数据（如遗传数据分析）的背景下，对高维加法建模的需求是突出的。本文研究了超高维广义可加模型的两步选择和估计方法。第一步在函数的扩展基础上应用group lasso。这很有可能选择所有非零函数，而不会有太多的过度选择。第二步使用自适应组套索与任何初始估计，包括组套索估计，满足一些常规条件。自适应组套索估计被证明是选择一致的改进的收敛速度。本文还讨论了调整参数的选择，并证明了在GIC过程中，调整参数的选择是一致的。理论性质得到了广泛的数值研究的支持。
2020-08-15 stat.ME
spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R
R软件包spikeSlabGAM在高斯、二项式和泊松响应的（geo-）加性混合模型中实现贝叶斯变量选择、模型选择和正则化估计。其目的是（1）选择潜在协变量及其相互作用的适当子集，（2）确定是否需要线性或更灵活的函数形式来建模各个协变量的影响，以及（3）估计它们的形状。模型项的选择和正则化是基于与参数和半参数效应相关的系数组上的新的尖峰和板型先验。
2011-05-26 stat.ME
Sparse Deep Additive Model with Interactions: Enhancing Interpretability and Predictability
Department of Mathematics and Statistics（数学与统计学系）；Georgia State University（佐治亚州立大学）；Tri-institutional Center for Translational Research in Neuroimaging and Data Science（神经影像与数据科学转化研究三机构中心）
本文提出了一种结合稀疏特征选择与深度子网络的稀疏深度加法模型与交互（SDAMI），通过三阶段策略实现高维回归中的可解释性和预测性提升。
2026-05-18 cs.LG stat.ML
A robust estimation and variable selection approach for sparse partially linear additive models
针对部分线性可加模型中变量选择与离群值影响问题，提出一类稳健估计器，通过目标函数正则化部分的自适应一般惩罚过程，同时实现线性与可加部分的变量估计选择，模拟及真实数据验证其优于最小二乘方法。
2025-02-18 stat.ME
Genomic Prediction of Quantitative Traits using Sparse and Locally Epistatic Models
在植物和动物育种研究中，个体的遗传价值（加性+上位性遗传效应）和育种价值（加性遗传效应）之间存在区别，因为预计某些上位性遗传效应会因重组而丢失。在本文中，我们认为，育种者可以利用一些上位标记的影响，在低重组的地区。本文介绍的模型旨在利用遗传图谱信息估计局部上位性品系遗传力，并结合局部加性和上位性效应。为此，我们使用了具有多个局部基因组关系矩阵的半参数混合模型，并采用分层设计和套索后处理来实现最终模型的稀疏性。我们的模型产生良好的预测性能以及良好的解释性信息。
2014-02-10 stat.AP stat.ML
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Sparse Additive Models
我们提出了一类新的方法，高维非参数回归和分类称为稀疏加性模型（SpAM）。我们的方法结合了稀疏线性建模和添加剂非参数回归的想法。我们推导出一个算法，用于拟合的模型是实用和有效的，即使当协变量的数量大于样本量。SpAM与Lin and Zhang（2006）的COSSO模型密切相关，但它同时兼顾了平滑和稀疏性，允许使用任意非参数平滑器。分析了SpAM的理论特性。我们还研究了一个贪婪的估计，这是一个非参数版本的前向逐步回归。实验结果表明，SpAM可以有效地拟合稀疏的高维数据的非参数模型。
2008-04-09 math.ST stat.TH
Sparse additive regression on a regular lattice
我们考虑稀疏加性回归模型中的估计，设计点在正则格上。我们建立了Sobolev类上的Minimax收敛速度，并提出了一个基于Fourier的速率最优估计器，该估计器自适应于响应函数的未知稀疏性和光滑性。该估计是贝叶斯形式主义内得出的，但可以自然地被视为惩罚的最大似然估计的复杂性惩罚的非零单变量的响应的添加剂组件的数量和非零系数的数量，他们的傅里叶展开。我们比较它与现有的几个同行，并进行了简短的模拟研究，以证明其性能。
2014-04-01 math.ST stat.TH
Detection of sparse additive functions
研究了高斯白噪声模型中高维信号函数的检测问题。以及平滑的信号函数的假设，我们假设一个附加的稀疏条件，后者。检测问题表示为一个非参数假设检验问题，并根据渐近极小极大方法解决。对于高稀疏性的情况，极大极小检验程序在稀疏性参数中是自适应的。我们扩展到功能的情况下，已知的结果在检测稀疏的高维向量。特别是，我们的渐近检测边界来自相同的渐近关系，在向量的情况下。
2012-07-20 math.ST stat.TH
Minimax Signal Detection in Sparse Additive Models
本文研究稀疏可加模型中的信号检测问题，建立一般再生核希尔伯特空间下的极小极大分离速率与自适应检验速率，揭示稀疏性与函数空间选择的交互作用，并纠正索博列夫空间情形下的已有结论。
2024-10-02 math.ST stat.ME stat.ML
Kernel Meets Sieve: Post-Regularization Confidence Bands for Sparse Additive Model
我们开发了一种新的程序，用于构建稀疏添加剂模型的组件的置信带。我们的程序是基于一个新的核-筛混合估计，结合了两个最流行的非参数估计方法在文献中，核回归和样条方法，是在自己的权利感兴趣。现有的稀疏可加模型拟合方法主要基于筛法估计，而非参数模型置信带的研究主要基于核估计或局部多项式估计。我们的核-筛混合估计结合了两个世界中最好的，使我们能够提供一个简单的过程，在高维稀疏加性模型中构建置信带。通过研究高斯过程的逼近，证明了置信带是渐近诚实的。在合成数据和真实世界的神经科学数据上提供了彻底的数值结果来证明该理论的有效性。
2018-02-12 math.ST stat.ML stat.TH
Generalized Sparse Additive Models
我们提出了一个统一的框架来估计和分析高维广义可加模型。该框架定义了一大类惩罚回归估计，包括许多现有的方法。这一类的一个有效的计算算法，很容易扩展到数千个观察和功能。在弱相容条件下证明了这类问题的极大极小最优收敛界。此外，我们的收敛速度时，这种兼容性条件不满足的特点。最后，我们还表明，在我们的框架中，结构和稀疏性惩罚的最佳惩罚参数是相互关联的，允许交叉验证仅在单个调整参数上进行。我们补充我们的理论结果与实证研究比较，在这个框架内的一些现有的方法。
2019-03-11 math.ST stat.ME stat.ML
Nonparametric Independence Screening in Sparse Ultra-High Dimensional Additive Models
Fan和Lv（2008）提出了一种通过相关学习进行变量筛选的方法来降低稀疏超高维模型的维数。即使真实模型是线性的，边际回归也可能是高度非线性的。为了解决这个问题，我们进一步将相关学习扩展到边缘非参数学习。我们的非参数独立性筛选被称为NIS，是确定独立性筛选的一个特定成员。提出了几个密切相关的变量筛选程序。在非参数可加模型下，证明了在一些温和的技术条件下，所提出的独立筛选方法具有一定的筛选性质。在何种程度上可以减少独立筛选的维度也明确量化。作为一种方法的扩展，迭代非参数独立筛选（INIS）也被提出来提高有限样本拟合稀疏可加模型的性能。仿真结果和实际数据分析表明，该方法适用于中等样本量和大维数的情况，性能优于竞争方法。
2011-01-18 math.ST stat.CO stat.ME
DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse Additive Models with Feature Division and Decorrelation
The Chinese University of Hong Kong（香港中文大学）；New York University（纽约大学）；East China Normal University（华东师范大学）
本文提出分布式算法DDAC-SpAM，通过特征划分、去相关和合并三步在高维稀疏可加模型中实现稀疏模式恢复与统计推断，兼顾理论与实证效果。
2023-07-08 cs.LG math.ST stat.AP
Asymptotics for penalized splines in generalized additive models
本文讨论了广义可加模型中惩罚样条估计的渐近理论。本文研究了Marx和Eilers（1998）提出的惩罚样条估计的渐近偏差、方差和渐近正态性。此外，还讨论了混合模型中惩罚拟似然拟合的渐近性。
2012-08-20 math.ST stat.TH
Sparse Additive Gaussian Process Regression
在本文中，我们介绍了一种新的模型高斯过程（GP）回归在完全贝叶斯设置。出于稀疏化，本地化和贝叶斯添加剂建模的想法，我们的模型是建立在一个递归分区（RP）计划。在每个RP分区内，拟合稀疏GP（SGP）回归模型。然后，贝叶斯加法框架将多层分区的SGPs结合起来，通过有效的计算捕获全局趋势和局部细化。该模型解决了拟合全高斯过程回归模型的效率问题以及与单个SGP相关的预测性能问题。我们的方法减轻了伪输入选择的问题，并避免了在现有方法中需要复杂的块间相关性。关键的权衡变成在许多更简单的局部模型组件或更少的复杂全局模型组件之间进行选择，实践者可以合理地调整。实现是通过一个Metropolis-Hasting马尔可夫链蒙特卡洛算法与贝叶斯回拟合。我们将我们的模型与模拟和真实数据集上的流行替代方案进行比较，发现性能具有竞争力，而完全贝叶斯过程可以量化模型的不确定性。
2020-09-03 math.ST stat.TH
Sparse Additive Off-Policy Evaluation for Reinforcement Learning with Potentially Limited Number of Trajectories
Yale University（耶鲁大学）；London School of Economics and Political Science（伦敦政治经济学院）；George Washington University（乔治华盛顿大学）；University of Miami（迈阿密大学）
该研究提出了稀疏加性离线策略评估框架，用稀疏加性结构的非线性函数建模Q函数，推导了与环境维度对数相关的误差界，还提出组稀疏性特征筛选方法，可在轨迹有限时实现准确的值函数估计。
2026-08-25 cs.LG math.ST stat.ML
Online Generalized Additive Model
加性模型和广义加性模型是处理多维数据的有效半参数工具。本文提出了一种带有局部多项式平滑器的广义可加模型的在线平滑后拟合方法。其主要思想是利用二阶展开式逼近非线性积分方程，使局部拟似然最大化，并将系数存储为充分统计量，该统计量可通过动态候选带宽方法在线更新。更新过程仅取决于存储的充分统计量和当前数据块。我们推导了在线估计的渐近正态性和相对效率下界，从而深入了解了估计精度和由候选带宽序列长度驱动的计算成本之间的关系。仿真和真实数据的例子来验证我们的研究结果。
2021-12-17 math.ST stat.TH
Minimax-optimal rates for sparse additive models over kernel classes via convex programming
稀疏加性模型是具有加性分解$f^* = \sum_{j \in S} f^*_j$的$d$ -变量函数族，其中$S$是基数$s \ll d$的未知子集。考虑了一元分量函数$f^*_j$位于再生核Hilbert空间（RKHS）中的情形，分析了一种基于核与$\ell_1$型凸正则化相结合的未知函数$f^*$的估计方法.工作在一个高维的框架内，允许两个维度$d$和稀疏$s$与$n$增加，我们得到收敛速度（上界）在$L^2(\mathbb{P})$和$L^2(\mathbb{P}_n)$规范类$\MyBigClass$的稀疏加性模型与每个单变量函数$f^*_j$在单位球的单变量RKHS有界核函数。我们补充我们的上限推导极小极大下限的$L^2(\mathbb{P})$错误，从而显示我们的方法的最优性。因此，我们获得了许多有趣的类的稀疏加性模型，包括多项式，样条，和Sobolev类的最优极大极小率。我们还表明，如果，在我们的单变量条件下，多变量函数类被假定为全局有界的，那么更快的估计速度是可能的任何稀疏$s = Ω(\sqrt{n})$，显示全局有界性是一个显着的限制，在高维设置。
2011-12-18 cs.IT math.IT math.ST
Estimating Generalized Additive Conditional Quantiles for Absolutely Regular Processes
针对严格平稳绝对正则过程，提出带未知链接函数的广义加性条件分位数非参数估计方法，并证明各估计量的相合速率、二阶渐近展开与逐点渐近正态性。
2023-06-06 math.ST stat.TH
Minimax Optimal Estimation in Partially Linear Additive Models under High Dimension
在高维稀疏向量和光滑函数分量的部分线性可加模型中，我们得到了参数和非参数分量的极大极小估计率。欧氏分量的极小极大下界是典型的稀疏估计率，它与非参数平滑指标无关。然而，极小极大下界为每个组件功能表现出的维数和稀疏性的参数组件和相关的非参数组件的平滑度之间的相互作用。事实上，当非参数分量的平滑度或参数分量的维数足够大时，平滑非参数估计的极大极小风险可以减慢到稀疏估计率。在上面的设置中，我们证明了惩罚最小二乘估计几乎可以达到极大极小下界。
2018-01-14 math.ST stat.TH
Asymptotic theory for extreme value generalized additive models
本文研究了极值广义加性模型与广义极值分布结合的渐近理论，探讨了形状和尺度函数估计量的收敛速度及其局部渐近正态性。
2025-11-20 math.ST stat.TH
Copula based generalized additive models with non-random sample selection
非随机样本选择在许多实证研究中是常见的，并且当感兴趣的输出变量仅可用于数据的受限非随机子样本时出现。我们引入了广义加性模型的一个扩展，它通过使用选择方程来考虑非随机样本选择。所提出的方法允许不同的分布的结果变量，各种依赖结构之间的（结果和选择）方程，通过使用copulae，和非参数效应的反应。参数估计是在惩罚似然和联立方程框架内进行的。我们建立了所提出的惩罚样条估计的渐近理论，这扩展了广义可加模型中惩罚样条的最新理论结果，例如Kauermann et al.（2009）和Yoshida & Naito（2014）。通过仿真研究证明了该方法的经验有效性。
2015-08-17 math.ST stat.TH
Smooth backfitting in generalized additive models
广义加性模型在具有非高斯响应（包括二进制和计数数据）的多元非参数回归中受到统计学家和数据分析师的欢迎。本文提出了一种新的广义可加模型的似然拟合方法。它旨在最大化平滑的可能性。通过求解一组非线性积分方程来估计可加函数。本文从牛顿-康托洛维奇定理出发，提出了一种基于光滑反拟合的迭代算法。讨论了估计量的渐近性质和算法的收敛性。结果表明，我们的建议基于局部线性拟合实现了相同的偏差和方差的Oracle估计，使用其他组件的知识。数值比较与最近提出的两阶段估计[安。32（2004）2412--2443]中所述。
2008-03-13 math.ST stat.TH
Non-parametric Sparse Additive Auto-regressive Network Models
考虑多变量时间序列$(X_t)_{t=0}^{T}$，其中$X_t \in \mathbb{R}^d$可以表示针对大脑中的多个神经元的尖峰训练响应、跨多个区域的犯罪事件数据以及许多其他数据。与这些时间序列模型相关的一个重要挑战是估计$d$变量之间的影响网络，特别是当变量$d$的数量很大时，这意味着我们处于高维环境中。先前的工作主要集中在参数向量自回归模型。然而，参数方法在实践中有一定的限制。在本文中，我们使用非参数稀疏加性模型（SpAM）框架来解决这一挑战。结合使用的$β$和$ϕ$混合性质的马尔可夫链和经验过程技术再生核希尔伯特空间（RKHS），我们提供的稀疏$s$，对数的维度$\log d$，时间点的数量$T$，和光滑的RKHS的均方误差的上界。在许多情况下，我们的速率急剧上升到对数因子。我们还提供了数值实验，支持我们的理论结果，并显示使用我们的非参数垃圾邮件管理框架的芝加哥犯罪数据集的潜在优势。
2018-01-24 math.ST stat.ML stat.TH
Statistical inference in sparse high-dimensional additive models
本文讨论了非参数可加模型$Y=f_1(X_1) + ...+ f_q(X_q) + ε$的非参数分量$f_1$的估计。我们允许添加剂成分的数量$q$增长到无穷大，我们对非零添加剂成分的数量进行稀疏性假设。我们比较了这个估计问题的估计$f_1$在Oracle模型$Z= f_1(X_1) + ε$，其中添加剂成分$f_2,\dots,f_q$是已知的。我们构造了$f_1$的两步预光滑和再光滑估计，并给出了我们的估计与Oracle模型中的一些光滑估计$\hat f_1^{\text{(oracle)}}$之间的差异的有限样本界。在渐近设置这些界限可以用来显示渐近等价的估计和Oracle估计，从而表明，渐近，在足够强的稀疏性条件下，知识$f_2,\dots,f_q$估计精度没有影响。我们的第一步是估计$f_1$与欠平滑估计的基础上，近正交投影组拉索偏差校正。然后，我们构建伪响应$\hat Y$通过评估我们的欠平滑估计$f_1$在设计点的去偏修改。在第二步中，将Oracle估计量$\hat f_1^{\text{(oracle)}}$的平滑方法应用于具有响应$\hat Y$和协变量$X_1$的非参数回归问题。我们的数学阐述主要集中在建立premoothing估计的属性。我们目前的模拟结果表明，我们的估计在实际应用中接近预言机的性能。
2019-10-18 math.ST stat.TH
Focused information criterion and model averaging for generalized additive partial linear models
研究了广义可加部分线性模型（GAPLM）中的模型选择和模型平均问题.多项式样条用于逼近非参数函数。线性参数的相应估计是渐近正态的。然后，我们开发了一个集中的信息准则（FIC）和频率模型平均（FMA）估计的准似然原理的基础上，并检查FIC和FMA的理论性质。所提出的程序比现有的主要优点是其计算方便和理论的可靠性。仿真实验提供了证据的优越性所提出的程序。该方法被进一步应用到一个真实世界的数据的例子。
2011-03-08 math.ST stat.TH
Two-step spline estimating equations for generalized additive partially linear models with large cluster sizes
本文利用估计方程，提出了一种两步估计方法，用于估计具有聚类数据的广义可加部分线性模型。我们所提出的方法适用于每个集群的观测数允许增加的情况下，独立的主题。我们建立了每个函数分量的两步估计的Oracle属性，使得它通过假设参数向量和所有其他函数分量是已知的来执行以及单变量函数估计。得到了估计量的渐近分布和相合性。模拟连续和二进制响应变量的随机样本实验证实了渐近结果。我们举例说明的方法与美国失业数据集的应用程序。
2013-02-19 math.ST stat.TH
Minimax Optimal Rates of Estimation in High Dimensional Additive Models: Universal Phase Transition
在高维可加模型近似稀疏的条件下，建立了估计的极小极大最优收敛速度。我们的结果揭示了一个有趣的相变行为普遍这类高维问题。在{ \it稀疏区域}中，当分量足够平滑或维数足够大时，最佳速率与高维线性回归的速率相同，因此不存在接受非参数模型的额外成本。否则，在所谓的{ \it平滑区域}中，速率与用于估计单变量函数的最优速率一致，因此它们不受“维数灾难”的影响。
2015-03-10 cs.IT math.IT math.ST
Minimax optimal estimators for general additive functional estimation
在本文中，我们观察到一个稀疏的均值向量通过高斯噪声，我们的目的是估计一些加法函数的平均值在极小极大意义下。更确切地说，我们推广了（Collier et al.，2017年，2019年）到一个非常大的类泛函。最佳极小极大率取决于边缘功能的多项式逼近率，并建立实现这一速度的最佳估计。
2019-08-29 math.ST stat.TH
Efficient semiparametric estimation in generalized partially linear additive models for longitudinal/clustered data
考虑了当多个协变量需要非参数建模时，纵向/聚类数据广义部分线性可加模型中欧氏参数的有效估计，并提出了一种基于模型非参数部分的样条逼近和广义估计方程（GEE）的估计方法.虽然考虑的模型是自然的，在许多实际应用中是有用的，这个模型的文献是非常有限的，因为在处理非参数加性模型的相关数据的挑战。我们证明了，即使协方差结构是错误的，所提出的估计是一致的和渐近正态的。还提供了渐近方差的显式相合估计。在一般矩条件下，我们还得到了半参数有效值和信息界。通过证明我们的估计达到了半参数信息界，我们有效地建立了他们的效率在更强的意义上比通常认为的GEE。我们的渐近结果的推导在很大程度上依赖于我们开发的纵向/聚类数据的经验过程工具。数值结果被用来说明所提出的估计的有限样本性能。
2014-02-04 math.ST stat.TH
