Uncertainty Quantification for High Dimensional Sparse Nonparametric Additive Models
在高维环境中的统计推断最近在文献中引起了极大的关注。然而，大多数已发表的工作集中在参数线性回归问题。本文考虑了这一问题的一个重要扩展：高维稀疏非参数可加模型的统计推断。为了更准确地说，本文开发了一种方法来构建一个概率密度函数的所有候选模型的集合。该方法还可以应用于构造各种感兴趣的量（例如噪声方差）的置信区间和加性函数的置信带。这种方法是使用一个广义的信念推断框架。结果表明，所提出的方法产生的结果享有正确的渐近频率论性质。从数值实验中得到的经验结果验证了这一理论主张。最后，该方法被应用到一个基因表达数据集，并发现了新的发现，大多数现有的方法的基础上参数线性模型未能观察到。
2019-11-13 stat.ME
Bayesian Effect Selection for Additive Quantile Regression with an Analysis to Air Pollution Thresholds
空气污染建模中使用的统计技术通常无法了解哪些预测因子以何种函数形式影响空气污染;并且无法回归当局直接规定的某些阈值。后者自然地诱导条件分位数并反映特定事件的严重性。在本文中，我们专注于这一重要方面，进一步发展分位数回归模型。我们提出了一个通用的贝叶斯效应选择方法添加分位数回归在一个高度可解释的框架。我们把单独的正常β素数尖峰和板条先验的标量重要性参数的影响部分，并实现了一个快速的吉布斯抽样计划。具体而言，它能够研究特定分位数的协变量效应，允许这些协变量具有使用加性预测因子的一般函数形式，并便于分析人员决定是否应将效应线性、非线性或根本不包括在感兴趣的分位数中。在对马德里（西班牙）空气污染数据的详细分析中，我们发现了模拟极端二氧化氮（NO2）浓度的附加值，以及阈值如何由几个气候变量和交通作为空间代理不同地驱动。我们的研究结果支持需要增强的统计模型，以支持短期决策，使地方当局能够减轻甚至防止NO2浓度限值的偏差。
2021-05-23 stat.AP stat.CO stat.ME
Maximum likelihood estimation in the additive hazards model
加性风险模型以加性方式指定协变量对风险的影响，与流行的Cox模型相反，它是乘法的。作为非参数模型，它提供了一种非常灵活的建模时变协变量效应的方法。它通常由普通最小二乘估计。本文考虑协变量有界的情形，在协变量定义域中所有协变量值的风险均为非负的约束下，导出了极大似然估计。我们描述了一个有效的算法来找到极大似然估计。该方法与普通的最小二乘法在模拟研究中进行了对比，并在一个现实的数据集上说明了该方法。
2022-01-20 stat.ME
Nonparametric Regression with Adaptive Truncation via a Convex Hierarchical Penalty
我们考虑的问题，非参数回归的潜在大量的协变量。我们提出了一个凸的，惩罚的估计框架，特别适合于高维稀疏加性模型。该方法结合了有限基表示和非参数估计的平滑惩罚的吸引人的功能。特别地，在加性模型的情况下，有限基表示为拟合函数提供了一种简约的表示，但当分量函数具有不同的复杂性水平时，有限基表示是不适应的。另一方面，对分量函数的平滑样条类型惩罚是自适应的，但不提供估计函数的简约表示。该方法同时实现了简约性和自适应性在一个计算效率高的框架。我们通过对真实和模拟数据集的实证研究证明了这些属性。我们表明，我们的估计收敛在一个层次类内的函数的极大极小率。我们进一步建立了一个大类的稀疏加性模型的极大极小率。所提出的方法是使用一个有效的算法，规模类似于套索的协变量和样本大小的数量来实现。
2019-06-18 math.ST stat.ME stat.ML
An unbiased minimum variance non-parametric analytic and likelihood estimator for discrete and continuous score spaces
这份手稿开发了一个通用的内积规范的肯德尔\(τ\)和斯皮尔曼的\(ρ\)，它作为一个公正的MLE，即使在关系的存在。我们推导并证明了严格的亚高斯的Kemeny范数空间，从而反驳结论\textcite{kendall1948}和\textcite{diaconis1977}开发的适当的，有限的样本，概率分布和检验统计量的性质。所有双变量对的非参数MLE框架的开发，从而解决了\textcite{olkin1994}的假设有关的指数多元分布的顺序统计量，通过显示，对于有限的样本，分布是非指数的。非参数线性估计也构造了多元相关性和扩展，线性可分解的非参数多维线性方程组的非参数因子分析。
2022-08-02 stat.ME
Parametric estimation for a signal-plus-noise model from discrete time observations
本文讨论了在不一定等距的确定性离散时刻观测到的加性高斯噪声中的积分信号的参数推断问题。未知参数是多维的，并且是感兴趣的信号参数和噪声的方差参数的复合。当观测时间趋于$\infty$且两个连续观测之间的延迟趋于0或仅有界时，我们证明了极大似然估计和贝叶斯估计的一致性和极小极大效率.所考虑的信号类别包括几乎周期信号以及非连续周期信号。然而，这里不考虑频率估计的问题。
2019-03-15 math.ST stat.TH
A Generalized Additive Partial-Mastery Cognitive Diagnosis Model
Department of Statistics, LSE（伦敦政治经济学院统计学系）
本文提出广义加性部分掌握认知诊断模型，通过非参数单调函数混合来放松传统模型的参数假设，提升模型适应性和解释性。
2026-04-15 stat.CO stat.ME
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
School of Mathematical Sciences, Lancaster University, United Kingdom.；Hamilton Institute, Maynooth University, Co. Kildare, Ireland.；Department of Mathematics \& Statistics, Maynooth University, Co. Kildare, Ireland.；Insight Centre for Data Analytics, Maynooth University, Co. Kildare, Ireland.；Department of Mathematics \& Statistics, Lancaster University, United Kingdom.
本文提出了一种改进的半参数化贝叶斯加法回归树方法，通过处理共享协变量的偏差和非识别问题，以更准确地建模复杂交互作用。
2024-07-30 cs.LG stat.ML
Two-step spline estimating equations for generalized additive partially linear models with large cluster sizes
本文利用估计方程，提出了一种两步估计方法，用于估计具有聚类数据的广义可加部分线性模型。我们所提出的方法适用于每个集群的观测数允许增加的情况下，独立的主题。我们建立了每个函数分量的两步估计的Oracle属性，使得它通过假设参数向量和所有其他函数分量是已知的来执行以及单变量函数估计。得到了估计量的渐近分布和相合性。模拟连续和二进制响应变量的随机样本实验证实了渐近结果。我们举例说明的方法与美国失业数据集的应用程序。
2013-02-19 math.ST stat.TH
Inference for Additive Models in the Presence of Possibly Infinite Dimensional Nuisance Parameters
提出了一个针对一般方案的函数约束估计和假设检验的框架。参数空间是再生核希尔伯特空间（RKHS）。原假设不一定定义参数模型。该测试允许我们处理无穷维讨厌的参数。该方法是基于一个时刻方程类似的精神，在半参数统计的有效得分的建设。这种力矩方程的可行版本需要一致地估计RKHS空间中的投影，并且表明使用所提出的方法是可能的。这使我们能够通过快速模拟得到一些易于处理的渐近理论和临界值。仿真结果表明，有限样本检验的性能与渐近性一致，忽略干扰参数的影响会严重扭曲检验的规模。
2018-08-20 stat.ME
Group Sparse Additive Models
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
我们考虑非参数加性模型中稀疏变量的选择问题，利用协变量之间结构的先验知识来鼓励一组变量中的那些变量被联合选择。以前的工作要么研究参数设置中的组稀疏性（例如，GroupLasso），或者在不利用结构信息的情况下解决非参数设置中的问题（例如，稀疏加性模型）。在本文中，我们提出了一种新的方法，称为组稀疏加性模型（GroupSpAM），它可以处理组稀疏加性模型。我们将l1/l2范数推广到Hilbert空间作为GroupSpAM中的稀疏诱导惩罚。此外，我们推导出一个新的阈值条件，以确定在组水平的功能稀疏，并提出了一个有效的块坐标下降算法来构建的估计。我们通过模拟证明，GroupSpAM在支持恢复和预测准确性方面大大优于竞争方法，并在真实的乳腺癌数据集上进行了比较实验。
2012-06-18 cs.LG stat.ML
Efficient First-Order Methods for Estimating Generalized Additive Index Models
针对广义可加指标模型（GAIM）的序贯估计计算效率低的问题，提出基于基展开的梯度下降和变分不等式算法，实现同时估计，并证明收敛到稳定点，数值实验显示优于经典方法。
2026-05-27 stat.ME
Robust Scale Estimation in Additive Noise via Weighted Order Statistics
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）；Centro de Investigación en Matemáticas, A.C.（墨西哥数学研究中心）
该研究提出一种基于加权顺序统计量的非参数鲁棒框架，用于估计弱稀疏系统中加性噪声的尺度，将其应用于连续时间随机过程高频观测，成功获取分数布朗运动和稳定莱维噪声的尺度估计器。
2026-08-25 math.PR math.ST stat.TH
Additive Gaussian Processes Revisited
Amazon（亚马逊）
高斯过程（GP）模型是一类灵活的非参数模型，具有丰富的代表性。通过使用具有加性结构的高斯过程，可以对复杂响应进行建模，同时保持可解释性。以往的工作表明，加性高斯过程模型需要高维相互作用项。我们提出了正交加性核（OAK），它对加性函数施加了正交约束，使一个可识别的，低维的函数关系表示。我们将OAK内核连接到功能ANOVA分解，并显示稀疏计算方法的改进收敛速度。只有少量的添加剂低维条款，我们证明了OAK模型实现了类似或更好的预测性能相比，黑盒模型，同时保留可解释性。
2022-06-20 cs.LG stat.ML
Flexible, Non-parametric Modeling Using Regularized Neural Networks
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
非参数的加法模型能够以灵活但可解释的方式捕获复杂的数据依赖关系。然而，选择加法组件的格式通常需要非平凡的数据探索。在这里，作为一种替代方案，我们提出了PrAda-net，一个隐藏层神经网络，使用近端梯度下降和自适应套索进行训练。PrAda-net自动调整神经网络的大小和架构，以反映数据的复杂性和结构。由PrAda-net获得的紧凑网络可以转换为添加剂模型组件，使其适用于具有自动模型选择的非参数统计建模。我们在模拟数据上演示了PrAda-net，将PrAda-net的测试误差性能、变量重要性和变量子集识别特性与其他基于拉索的神经网络正则化方法进行了比较。我们还将PrAda-net应用于英国大规模的黑烟数据集，演示如何使用PrAda-net对具有空间和时间组件的复杂和异构数据进行建模。与经典的统计非参数方法相比，PrAda-net不需要初步建模来选择添加剂组分的函数形式，但仍然可以得到可解释的模型表示。
2022-01-12 cs.LG stat.CO stat.ME
A Linearly Constrained Nonparametric Framework for Imitation Learning
Istituto Italiano di Tecnologia（意大利理工学院）
近年来，在模仿学习领域，从参数到非参数、从概率到非概率、从贝叶斯到频率论等方法，都有大量的先进成果被报道。同时，大量的应用程序（例如，抓取任务和人机协作）进一步显示了模仿学习在广泛领域中的适用性。虽然大量的文献致力于人类技能的学习在无约束的环境中，学习受限的运动技能的问题，然而，还没有得到同等的关注。事实上，受限技能广泛存在于机器人系统中。例如，当机器人被要求在板上写字时，其末端执行器轨迹必须符合板的平面约束。在本文中，我们的目标是解决问题的模仿学习与线性约束。具体来说，我们建议利用多个演示的概率特性，并随后将它们纳入一个线性约束的优化问题，最终导致非参数的解决方案。此外，我们的框架和经典的模型预测控制之间的连接。几个例子，包括模拟写作和运动任务，以显示我们的框架的有效性。
2019-09-15 cs.LG cs.RO stat.ML
Material-agnostic temperature field prediction for metal additive manufacturing via a parametric PINN framework
Texas A&M University（德克萨斯A&M大学）
本文提出一种参数PINN框架，实现无标注数据下的跨材料零样本热推断，通过解耦参数编码和时空坐标，提升物理一致性与训练效率，实验显示在多种金属合金中均表现优异。
2026-07-23 cs.LG physics.app-ph physics.comp-ph
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania（宾夕法尼亚大学）
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是，神经可加模型（NAM）为黑盒深度学习提供了可解释性，并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力，我们提出了稀疏神经添加模型（SNAM），该模型采用组稀疏正则化（例如Group LASSO），其中每个特征由子网络学习，该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性，采用新的技术来处理非参数真理，从而扩展了经典的稀疏线性模型，如LASSO，它只适用于参数真理。具体来说，我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$，和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM，类似于LASSO，可以有精确的支持恢复，即完美的特征选择，适当的正则化。此外，我们表明，SNAM可以很好地推广，并保持“可识别性”，恢复每个功能的效果。通过大量的实验验证了我们的理论，并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Neural Networks for Tamed Milstein Approximation of SDEs with Additive Symmetric Jump Noise Driven by a Poisson Random Measure
King Abdullah University of Science and Technology（卡布斯科学与技术大学）
本文提出将Tamed-Milstein格式与神经网络结合，用于估计由带有限跳强度的Lévy过程驱动的随机微分方程中的漂移和扩散函数，实现对复杂非线性动态的非参数推断。
2025-07-09 cs.LG stat.ML
Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames
Centre de Mathématiques Appliquées（应用数学中心）；École Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；The Chinese University of Hong Kong（香港中文大学）；ESSEC Business School（埃塞克高等商学院）；CREST（法国经济统计与计量研究中心）；ENSAE（法国国立统计与经济管理学院）
机器学习的许多应用都涉及大型数据框架的分析-收集异构测量（二进制，数值，计数等）的矩阵。跨样本-具有缺失值。低秩模型，如Udell等人所研究的。[30]，在这个框架中很受欢迎，用于可视化，聚类和缺失值填补等任务。然而，具有统计保证和有效优化的可用方法不允许对主要加性效应（如行和列）或协变量效应进行显式建模。在本文中，我们介绍了一个低秩交互作用和稀疏加性效应（LORIS）模型，它结合了字典上的矩阵回归和低秩设计，同时估计主效应和交互作用。我们提供统计保证的形式上界的两个组件的估计误差。然后，我们介绍了一种混合坐标梯度下降（MCGD）方法，可证明次线性收敛到最优解，是计算效率高的大规模数据集。我们的模拟和调查数据表明，该方法具有明显的优势，比目前的做法，其中包括在预处理步骤中分别处理添加剂的影响。
2018-12-20 cs.LG stat.ML
Boost-R: Gradient Boosted Trees for Recurrence Data
University of Arkansas（阿肯色大学）；Arizona State University（亚利桑那州立大学）
复发数据来自跨可靠性，网络安全，医疗保健，在线零售等多学科领域。本文研究了一种基于加法树的方法，称为Boost-R（复发数据的提升），用于具有静态和动态特征的复发事件数据。Boost-R构建梯度提升的加性树的集合来估计复发事件过程的累积强度函数，其中通过最小化观测和预测累积强度之间的正则化L2距离来将新树添加到集合。与传统的回归树不同，Boost-R在每个树叶上构造了一个时间依赖函数。来自多个树的这些函数的和产生累积强度的集合估计。基于树的方法的分而治之的性质是有吸引力的，当隐藏的子群体存在于一个异质的人口。回归树的非参数性质有助于避免对事件过程和特征之间的复杂交互进行参数假设。Boost-R的关键见解和优势进行了研究，通过全面的数值例子。Boost-R的数据集和计算机代码可在GitHub上获得。据我们所知，Boost-R是第一个基于梯度提升加法树的方法，用于建模具有静态和动态特征信息的大规模复发事件数据。
2021-07-03 cs.LG stat.ML
Curve Your Enthusiasm: Concurvity Regularization in Differentiable Generalized Additive Models
University of Freiburg（弗赖堡大学）；Scenarium AI；Merantix Momentum；nyonic
本文针对广义加性模型中因特征间共曲性损害可解释性的问题，提出一种惩罚非线性变换后特征成对相关性的正则化方法，并在合成与真实数据上验证其可在不明显降低预测质量的同时提升可解释性。
2023-11-25 cs.LG stat.ML
Online Coresets for Clustering with Bregman Divergences
IIT Gandhinagar（印度理工学院甘地讷格尔分校）；University of Warwick（华威大学）
我们提出的算法，创建coresets在一个在线设置聚类问题，根据广泛的Bregman分歧的子集。值得注意的是，我们的coresets有一个小的附加误差，类似的轻量级coresets巴赫姆等。al. 2018，并为每个输入点获取更新时间$O(d)$，其中$d$是该点的维度。我们的第一个算法给出了在线coresets的大小$\tilde{O}(\mbox{poly}(k,d,ε,μ))$的$k$ -聚类根据任何$μ$ -类似Bregman分歧。我们进一步扩展该算法，以显示存在的非参数coreset，其中coreset的大小是独立的$k$，集群的数量，为同一子类的Bregman分歧。我们的非参数核心集大了$O(\log n)$（$n$是点数）的一个因子，并且具有类似的（小的）附加保证。同时，我们的核心集也可以作为轻量级核心集用于非参数版本的Bregman聚类，如DP-Means。虽然这些coresets提供附加的误差保证，他们也显着较小（缩放与$O(\log n)$，而不是$O(d^d)$的点在$R^d$）比（相对误差）coresets在Bachem等。等人，2015年DP均值。虽然我们的非参数coresets是存在的，我们在一定的假设下给出了一个算法版本。
2020-12-11 cs.DS cs.LG
Non-Parametric Rehearsal Learning via Conditional Mean Embeddings
National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）
本文提出一种非参数化重现学习方法，通过条件均值嵌入处理动作诱导的分布变化，解决避免不良未来问题，无需假设数据生成过程的具体形式。
2026-05-09 cs.LG
Gaussian Process Neural Additive Models
Columbia University（哥伦比亚大学）；Capital One（第一资本金融公司）
本文提出高斯过程神经加法模型（GP-NAM），利用随机傅里叶特征实现单层高斯过程，在保持可解释性的同时，以更少参数在表格数据分类与回归任务中达到相当或更优性能。
2024-03-19 cs.AI cs.LG
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
