Asymptotic oracle properties of SCAD-penalized least squares estimators
研究了稀疏、高维、线性回归模型中协变量个数随样本量增加时SCAD惩罚最小二乘估计的渐近性质。我们特别感兴趣的是使用这个估计同时变量的选择和估计。我们表明,在适当的条件下,SCAD惩罚的最小二乘估计是一致的变量选择和非零系数的估计有相同的渐近分布,如果零系数是已知的。仿真研究表明,该估计器在变量选择和估计方面表现良好。
2007-09-06 math.ST stat.TH
Inference with penalized likelihood
本文在半参数框架下研究了最大惩罚似然方法的统计特性。我们回顾了惩罚似然估计函数的方法,并回顾了一些渐近结果。研究了极大惩罚似然估计方差的两种估计:三明治估计和贝叶斯估计的性质。通过生存数据的模拟研究,研究了基于这些估计量的置信区间的覆盖率。在第一次模拟中,对生存函数和风险函数的覆盖率进行评估。在第二个模拟中,从具有协变量的比例风险模型生成数据。研究了回归系数的方差估计。对于生存和风险函数,三明治估计和贝叶斯估计都表现出相对较好的性质,但贝叶斯估计似乎更准确。至于回归系数,我们集中在贝叶斯估计,并发现它产生了良好的覆盖率。
2014-01-30 math.ST stat.TH
Asymptotic distribution and sparsistency for l1-penalized parametric M-estimators with applications to linear SVM and logistic regression
由于其早期使用的最小二乘回归问题,变量选择的l1-惩罚框架已与广泛的损失函数,包括回归,分类和生存分析。虽然一个发达的理论存在的l1-惩罚最小二乘估计,很少有结果关注的一般损失函数的l1-惩罚估计的行为。在本文中,我们得到了两个结果,惩罚估计的惩罚和损失函数的广泛阵列。我们的第一个结果刻画了经典情形(固定p大n)下惩罚参数M-估计在损失和罚函数的较弱条件下的渐近分布.我们的第二个结果explanarized必要和充分的广义不可表示性(GI)条件l1-惩罚参数M-估计一致地选择一个模型的组件(稀疏性)以及他们的符号(符号一致性)。一般而言,GI条件取决于风险函数在未知参数的真实值处的Hessian。在高斯预测下,我们得到了一组条件,在这些条件下,GI条件可以仅仅用预测的二阶矩来重新表示。我们应用我们的理论来对比l1-惩罚SVM和逻辑斯谛回归分类器,并找到条件下,他们有相同的行为,在他们的模型选择的一致性(稀疏性和符号的一致性)。最后,我们提供了仿真证据的理论基础上,这些分类的例子。
2009-08-13 math.ST stat.TH
Local Asymptotics of P-splines
本文研究了具有$p$次B样条和$m$次差分罚函数的P样条的局部渐近性。早期的工作与$p$和$m$限制扩展到一般情况下。渐近地,惩罚样条是核估计,其等价核取决于$m$,但不取决于$p$。中心极限定理提供了渐近均值和方差的简单表达式。只要它足够快,节点数的发散率不会影响渐近分布。给出了罚参数的最优收敛速度。
2012-06-10 math.ST stat.TH
Semi-Penalized Inference with Direct False Discovery Rate Control in High-Dimensions
提出了一种新的高维线性回归变量选择和置信区间构造方法--直接错误发现率控制的半惩罚推理(SPIDR). SPIDR首先使用半惩罚方法来构造回归系数的估计量。我们证明了SPIDR估计是理想的,在这个意义上说,它等于一个理想的最小二乘估计具有高概率的稀疏性和其他适当的条件下。因此,SPIDR估计量是渐近正态的。SPIDR在此基础上,通过直接控制错误发现率来确定选择规则。这提供了对选择错误的明确评估。这也自然地导致具有适当置信声明的所选系数的置信区间。我们进行模拟研究,以评估其有限样本的性能,并证明其在乳腺癌基因表达数据集上的应用。我们的模拟研究和数据实例表明,SPIDR是一个有用的方法,在实践中的高维统计推断。
2013-11-29 math.ST stat.ME stat.TH
Asymptotic normality of robust $M$-estimators with convex penalty
本文在高维情形下得到了具有凸罚的稳健M-估计的个体坐标的渐近正态性结果,其中维数$p$至多与样本容量$n$的阶数相同,即对于某一固定常数$γ>0$,为$p/n\leγ$.渐近正态性需要一个偏差校正,并保持了一个大类的损失函数,包括Huber损失和它的平滑版本正则化的强凸惩罚的M-估计的大多数坐标。渐近方差的特点,得到的置信区间的宽度估计与数据驱动的数量。这种方差估计自动适应于低($p/n\to0)$)或高($p/n \le γ$)维,并且不涉及在以前的M估计量的渐近正态性中看到的邻近算子。对于Huber损失,估计的方差具有涉及有效自由度以及有效样本大小的简单表达式。详细研究了弹性网络惩罚的Huber损失情况,并通过仿真研究证实了理论研究结果。本文给出的球面上高维随机向量的Stein公式的渐近正态性结果是独立的。
2021-07-08 math.ST stat.ML stat.TH
Nonconcave penalized likelihood with a diverging number of parameters
Fan和Li提出了一类基于非凹惩罚似然的参数模型的变量选择方法,可同时估计参数和选择重要变量.他们证明了当参数的数量是有限的时,这类过程具有预言属性。然而,在大多数模型选择问题中,参数的数量应该很大,并且随着样本量的增加而增加。本文在参数个数随样本量增加而趋于\infty的情形下,建立了非凹惩罚似然的一些渐近性质。在正则性条件下,我们建立了惩罚似然估计的预言性质和渐近正态性。进一步证明了协方差阵夹心公式的一致性。讨论了非凹罚似然比统计量,通过对罚函数施加一些较弱的条件,得到了它们在原假设下的渐近分布.
2004-06-23 math.ST stat.TH
Semiparametric Penalized Spline Regression
本文利用参数方法和非参数惩罚样条方法的混合技巧,提出了一种新的半参数回归估计。真实回归函数的整体形状由参数部分捕获,而其残差由非参数部分一致地估计。建立了半参数估计的渐近理论,证明了半参数估计的渐近性依赖于非参数惩罚样条估计的渐近性以及真实回归函数与参数部分之间的差异.作为渐近性的自然关联应用,讨论了参数模型选择的一些准则。数值实验表明,所提出的估计比现有的基于核的半参数估计和完全非参数估计性能更好,所提出的准则对于选择合理的参数模型也是有效的.
2012-02-16 math.ST stat.TH
Asymptotic Results for Penalized Quasi-Likelihood Estimation in Generalized Linear Mixed Models
本文在聚类数量和规模均趋于无穷的条件下,建立了广义线性混合模型中惩罚拟似然估计的渐近理论,揭示了条件与无条件两种机制下固定效应和随机效应估计量的不同渐近分布性质。
2024-05-02 math.ST stat.TH
Local Asymptotics of P-Spline Smoothing
本文讨论了具有任意B样条次数和任意阶差罚的一般罚样条估计的渐近性质。该估计器是近似的线性微分方程的解决方案,适当的边界条件。结果表明,在一定意义下,惩罚光顺近似对应于核方法光顺。利用微分方程的格林函数,得到了内点和边界点的等价核。进一步证明了估计量在内点处的渐近正态性。结果表明,收敛速度是独立的样条的次数,和节点的数量不影响渐近分布,只要它趋于无穷快。
2009-12-09 math.ST stat.TH
Asymptotic theory and first-order bias of the Wallace--Freeman estimator
Monash University(莫纳什大学)
本文研究Wallace-Freeman估计量的渐近性质,将其作为加权M估计量进行分析,推导其一致性、渐近线性及正态性,并提出基于惩罚项梯度的偏差校正方法,扩展了Cox-Snell公式至该估计量。
2026-07-07 math.ST stat.ME stat.TH
Weak signal identification and inference in penalized likelihood models for categorical responses
惩罚似然模型被广泛用于同时选择变量和估计模型参数。然而,弱信号的存在会导致不准确的变量选择、有偏的参数估计和无效的推断。因此,在惩罚似然模型中,准确识别弱信号并进行有效的推断是至关重要的。我们开发了一种统一的方法来识别弱信号,并在惩罚似然模型中进行推断,包括响应是分类的特殊情况。为了识别弱信号,我们使用每个协变量的估计选择概率作为信号强度的度量,并制定了信号识别标准。为了构造置信区间,我们提出了一个两步推理过程。广泛的仿真研究表明,所提出的程序优于现有的几种方法。我们通过将其应用于实践融合糖尿病数据集来说明所提出的方法。
2022-12-12 stat.ME
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1(lasso)惩罚似然模型(包括广义回归模型)的后选择推断方法。我们的方法概括了Lee et al(2014)提出的选择后框架。该方法提供了渐进有效的p值和置信区间,条件是套索完成的固有选择。我们目前的应用这项工作(正规化)逻辑斯谛回归,Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Diaconis-Ylvisaker prior penalized likelihood for $p/n \to κ\in (0,1)$ logistic regression
London School of Economics(伦敦政治经济学院);University of Warwick(华威大学)
本文研究了在高维逻辑回归中,当协变量数量与观测数量比例为κ∈(0,1)时,Diaconis-Ylvisaker先验惩罚似然估计器的渐近性质,并提出了改进的推断方法。
2026-01-06 math.ST stat.TH
Asymptotics for estimating a diverging number of parameters -- with and without sparsity
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文针对维度随样本量发散的估计方程,建立含非惩罚与稀疏惩罚问题的通用渐近理论,涵盖多种数据与惩罚类型,给出应用实例。
2026-08-07 math.ST stat.ME stat.TH
Proportional-limit asymptotics for Diaconis-Ylvisaker-penalised logistic regression with fitted intercept
本文为带拟合截距的Diaconis-Ylvisaker惩罚逻辑回归建立比例极限下的估计量渐近理论,给出斜率极限律、检验统计量分布及可行推断方法。
2026-09-10 math.ST stat.ME stat.TH
Weak Signal Identification and Inference in Penalized Model Selection
弱信号的识别和推断在惩罚模型选择领域中具有重要意义,但这方面的研究还很薄弱。现有的惩罚估计的推理程序主要集中在强信号。在本文中,我们提出了一个识别过程中的弱信号在有限样本,并提供了一个过渡阶段之间的噪声和强信号强度。我们还介绍了一种新的两步推理方法来构造更好的置信区间的识别弱信号。我们的理论发展假设变量是正交设计的。理论和数值研究表明,与渐近推断方法相比,该方法对弱信号具有更好的置信覆盖。此外,该方法优于扰动和自举响应方法。我们说明了我们的方法,艾滋病毒抗逆转录病毒药物敏感性数据,以确定与艾滋病毒耐药性相关的基因突变。
2016-11-14 stat.ME
Wild Residual Bootstrap Inference for Penalized Quantile Regression with Heteroscedastic Errors
本文考虑一类异方差回归模型,其中某些回归系数为零,但不知道哪些为零。惩罚分位数回归是分析这类数据的一种有效方法。通过允许不同的协变量与不同分位数水平的条件分位数函数建模相关,它提供了比均值回归更完整的响应变量条件分布的图像。现有的惩罚分位数回归的工作主要集中在点估计。虽然Bootstrap方法最近被证明是有效的惩罚平均回归的推断,他们不直接适用于惩罚分位数回归与异方差误差。我们证明了未惩罚分位数回归的一个野生残差自举过程对于逼近具有自适应$L_1$惩罚的分位数回归估计的分布是渐近有效的,并且一个修改的版本可以用来逼近$L_1$惩罚的分位数回归估计的分布.新方法不需要估计未知的误差密度函数。我们建立一致性,证明有限样本的性能,并说明了一个真实的数据例子的应用程序。
2018-07-20 stat.ME
Inference for penalized spline regression: Improving confidence intervals by reducing the penalty
惩罚样条回归是一种常用的散点图平滑方法,但如何构造惩罚样条拟合的置信区间一直存在争议。由于惩罚,拟合的平滑曲线是目标函数的有偏估计。许多方法,包括贝叶斯区间和简单移位偏差减少,已被提出来提升置信区间的覆盖率,但这些方法通常不能充分改善预测值的情况下,函数是急剧弯曲。在本文中,我们开发了一种新的方法来提高置信区间,使用更小的平滑强度比样条拟合。通过仔细选择平滑强度的减少量,置信区间实现了几乎标称的覆盖范围,而不会过宽或波动。通过仿真实验研究了该方法的覆盖性能,并与Hodges(2013)和Kuusela和Panaretos(2015)提出的偏差校正技术进行了比较。
2017-06-02 stat.ME
Likelihood Adaptively Modified Penalties
针对一般回归模型中的模型选择问题,提出了一种新的惩罚函数族。它是通过假设回归参数的某些类型的先验分布而自然产生的。为了研究惩罚极大似然估计的稳定性,定义了两类渐近稳定性。在适当的正则条件下,建立了参数估计的一致性、模型选择的一致性和渐近稳定性等理论性质。提出了一种有效的坐标下降算法。仿真结果和实际数据分析表明,该方法具有竞争力的性能相比,现有的。
2013-08-23 math.ST stat.ME stat.ML
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计(ROSE)框架扩展至非凸惩罚M估计,用于稳健高维线性回归的估计与推断,并证明估计量的一致性与渐近正态性,模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Inference for Multivariate Normal Mixtures
多元正态混合模型为高维数据提供了一个灵活的模型。它们广泛应用于统计遗传学、统计金融学等学科。由于似然函数的无界性,经典的基于似然函数的方法虽然具有很好的实用性,但并不一致。本文提出了一种估计混合分布的惩罚似然方法。我们证明了最大惩罚似然估计是强相合的,当组件的数量有一个已知的上界。我们还探讨了一个方便的EM算法计算的最大惩罚似然估计。大量的模拟进行了探索的有效性和实际限制的新方法和批准的最大似然估计。根据仿真结果给出了指导原则。
2008-05-26 math.ST stat.ME stat.TH
Penalized log-likelihood estimation for partly linear transformation models with current status data
我们考虑部分线性变换模型应用于当前状态数据。未知量是转换函数、线性回归参数和非参数回归效应。结果表明,惩罚的最大似然估计的回归参数是渐近正态和有效的,并收敛于参数率,虽然惩罚的最大似然估计的转换功能和非参数回归效应是只有$n^{1/3}$一致。研究了基于块刀切法的回归参数推断问题。我们还研究了计算问题,并通过模拟研究证明了所提出的方法。转换模型和部分线性回归条款,加上新的估计和推理技术,提供了灵活的替代Cox模型的现状数据分析。
2006-02-11 math.ST stat.TH
Statistical inference for function-on-function linear regression
函数对函数线性回归对于理解响应和预测变量(均为函数)之间的关系非常重要。在这篇文章中,我们提出了一个再生核希尔伯特空间的方法来函数的函数线性回归通过惩罚最小二乘,正则化的薄板样条光滑惩罚。研究了系数函数估计的极小极大最优收敛速度。我们推导出Bahadur表示,这使我们能够提出统计推断的方法,使用自举和收敛的Banach值随机变量的超规范。我们说明我们的方法,并验证我们的理论结果,通过模拟数据实验和真实数据的例子。
2021-09-28 math.ST stat.TH
$\ell_1$-penalized Multinomial Regression: Estimation, inference, and prediction, with an application to risk factor identification for different dementia subtypes
针对高维多项逻辑回归模型统计推断研究不足的问题,本研究扩展去偏方法至该模型,提供有效置信区间与$p$值,验证模型误设等场景下的稳健性,模拟及痴呆亚型应用显示其优于其他推断方法。
2024-08-26 stat.AP stat.ME
On non-asymptotic bounds for estimation in generalized linear models with highly correlated design
研究了高维广义线性模型和带$\ell_1$惩罚的经验风险最小化问题。我们的目的是提供一个非平凡的说明,非渐近界的估计可以得到不依赖于链接技术和/或剥离设备。
2007-09-06 math.ST stat.TH
Penalized estimation for non-identifiable models
对于可辨识性可能破坏且参数真值位于参数空间边界上的奇异模型,我们得到了惩罚估计的渐近性质。估计量的选择一致性也得到了验证。真值落在边界上的问题,除了惩罚估计和非遍历统计量外,我们以前的结果也适用于奇异模型。为了克服不可识别性,我们考虑了一个合适的惩罚,如非凸桥和自适应Lasso,稳定估计的渐近行为和收缩非活动参数。然后,估计器收敛到所有真值中最简约的值之一。特别地,即使奇异模型的参数结构如此复杂,使得用于模型选择的似然比检验执行起来是劳动密集型的,也可以获得预言性质。在许多潜在的应用中,本文中处理的例子是:(i)参数比例风险模型的叠加和(ii)具有多共线性协变量的强度的计数过程。
2023-01-22 math.ST stat.TH
Post-selection inference for penalized M-estimators via score thinning
University of Washington(华盛顿大学);University of Michigan(密歇根大学)
本文提出通过分数薄化方法,在噪声数据下进行惩罚M估计量的后选择推断,无需专门方法即可实现有效推断。
2026-07-28 stat.ME
A penalized algorithm for event-specific rate models for recurrent events
在两个半参数模型中引入了协变量特定的全变差罚函数。这两个模型是在Prentice等人(1981)中引入的分层Cox模型和分层Aalen的加法模型。我们证明了惩罚估计的相合性和渐近正态性。我们证明,通过模拟研究,我们的估计优于传统的估计小到中等的样本量。最后,应用到膀胱肿瘤的数据Byar(1980)。
2013-04-10 math.ST stat.TH
Asymptotic Distribution of Constrained Nearly-Isotonic Graph Fused Lasso
Department of Statistics and Operations Research, University of Vienna(维也纳大学统计与运筹学系)
本文研究图上信号去噪约束拉索估计器的渐近分布,证明在合适惩罚参数下,约束估计器与无约束估计器具有相同收敛速度。
2026-04-23 math.ST stat.TH
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);La Trobe University(乐卓博大学);University of Queensland(昆士兰大学)
专家混合(MoE)是一类流行的统计和机器学习模型,多年来由于其灵活性和效率而受到关注。在这项工作中,我们考虑高斯门控本地化MoE(GLoME)和块对角协方差本地化MoE(BLoME)回归模型,以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题,无论是从计算和理论的角度。在惩罚极大似然估计的框架下,研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是,我们建立了非渐近的风险界,采取的形式弱预言不等式,提供的下界的处罚举行。我们的模型的良好的经验行为,然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
De-biasing convex regularized estimators and interval estimation in linear models
对于形式为$ξ=bz^\top f(z) - \text{div} f(z)$的随机变量,给出了$ξ/\text{Var}[ξ]^{1/2}$与$z\sim N(0,I_n)$的线性和二次函数之间的$L_2$距离的新上界.当$f(z)$的范数平方在期望上优于$\nabla f(z)$的Frobenius范数平方时,线性逼近得到一个中心极限定理.在$p/n \le γ$系统中,对于常数$γ\in(0,{\infty})$,给出了这种正态逼近在相关设计和凸罚下线性回归去偏估计的渐近正态性.对于未知系数向量$β$的线性函数$\langle a_0,β\rangle$的估计,该分析导致对于大多数归一化方向$a_0$的去偏估计的渐近正态性,其中“大多数”在精确意义上被量化。这个渐近正态性对于任何凸罚如果$γ<1$和任何强凸罚如果$γ\ge 1$成立。特别地,惩罚不需要是可分离的或置换不变的。通过允许任意正则化,结果大大拓宽了去偏方法的适用范围,以获得高维度的置信区间。在$p>n$不存在强凸性的情况下,在附加条件下,得到了Lasso和Lasso群的去偏估计的渐近正态性。对于一般的凸处罚,我们的分析还提供了独立的利益预测和估计误差界。
2021-09-28 math.ST stat.TH
Proximal Estimation and Inference
Erasmus School of Economics, Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹经济学院);Tinbergen Institute(丁伯根研究所);Geneva Finance Research Institute, University of Geneva(日内瓦大学日内瓦金融研究院);Swiss Finance Institute(瑞士金融研究院);Collegio Carlo Alberto, University of Turin(都灵大学卡洛阿尔贝托学院)
本文构建了一个统一的凸分析框架,用于描述大规模惩罚估计器的统计特性,提出了惩罚估计器作为近似估计器的定义,并推导了其渐近分布的闭式公式,同时提出了具有Oracle性质的新Ridgeless型估计器。
2026-08-05 math.ST stat.ME stat.TH
Inference for high-dimensional exchangeable arrays
我们认为,推理高维单独和联合可交换阵列的尺寸可能远远大于样本大小。对于这两个可交换的阵列,我们首先推导出高维中心极限定理的矩形,随后开发新的乘法器自举与理论保证。这些理论结果依赖于新的技术工具,如Hoeffding型分解和最大不等式的退化分量的Hoeffding型分解的可交换阵列。我们展示了我们的方法的应用程序,以统一的置信带的密度估计下联合交换和惩罚的选择$\ell_1$惩罚回归下单独的交换。广泛的模拟表明精确的均匀覆盖率。我们通过构建国际贸易网络密度的统一置信带来说明。
2021-07-09 econ.EM math.ST stat.TH
Penalized likelihood inference for beta-binomial meta-analysis of proportions of rare events
The Graduate Institute for Advanced Studies, The Graduate University for Advanced Studies(高级研究研究生院,高级研究院);Department of Interdisciplinary Statistical Mathematics, The Institute of Statistical Mathematics(统计数学系,统计数学研究所)
针对罕见事件比例元分析中常用最大似然估计器存在有限样本偏差的问题,提出最大惩罚似然估计器,通过最大化Jeffreys先验惩罚增强的对数似然得到,模拟显示其在多方面优于普通MLE,还引入新置信区间,为相关元分析提供有用替代方法。
2026-07-30 stat.ME
Inference in a bimodal Birnbaum-Saunders model
我们解决的问题进行推断的参数,指数双峰扩展的Birnbaum-Saunders分布(BS)。我们表明,极大似然点估计可能是有问题的,因为标准的非线性优化算法可能无法收敛。为了解决这个问题,我们惩罚对数似然函数。我们提出的数值证据表明,极大似然估计的基础上,这样的惩罚函数是相当可靠的。我们还考虑了基于惩罚对数似然函数的假设检验推理。特别地,我们考虑了似然比,签署似然比,得分和Wald测试。基于Bootstrap的测试推理也被认为是。我们使用非嵌套假设检验来区分两个双峰BS法。我们推导出一些测试的分析修正。蒙特卡罗模拟的结果和经验的应用进行了介绍和讨论。
2017-11-23 stat.CO
Asymptotic errors for convex penalized linear regression beyond Gaussian matrices
我们考虑的问题,学习系数向量$x_{0}$在$R^{N}$从噪声线性观测$y=Fx_{0}+w$在$R^{M}$在高维极限$M,N$无穷大与$α=M/N$固定。我们提供了一个严格的推导过程中的一个明确的公式-第一次使用启发式方法从统计物理学-的渐近均方误差获得惩罚凸回归估计,如LASSO或弹性网,为一类非常通用的随机矩阵对应的旋转不变的数据矩阵与任意频谱。证明是基于向量近似消息传递(oracle-VAMP)的Oracle版本的收敛性分析及其状态演化方程的性质。我们的方法利用并突出了向量近似消息传递,道格拉斯-Rachford分裂和近端下降算法之间的联系,扩展了以前的结果与i.i.d.。矩阵的一大类问题。我们说明我们的结果在一些具体的例子,并表明,即使他们是渐近的,我们的预测同意非常好的数值,即使是非常温和的大小。
2020-02-11 cond-mat.dis-nn cond-mat.stat-mech stat.ML
Valid post-selection inference for penalized G-estimation
McGill University(麦吉尔大学);University of Pennsylvania(宾夕法尼亚大学);Centre Hospital of University of Montreal(蒙特利尔大学医院中心);University of Montreal(蒙特利尔大学)
本文提出两种方法用于惩罚G估计的稳健后选择推断,探讨近端治疗效应的调节作用,通过模拟研究评估其有限样本性能。
2026-04-14 stat.ME
Structured Estimation in Nonparameteric Cox Model
为了更好地理解删失和稀疏性的相互作用,我们发展了非参数Cox比例风险模型的有限样本性质。由于测序数据的高度影响,携带每个个体的遗传信息,我们工作与过参数化问题,并提出了适用于稀疏结构变量选择和估计的一般类的组惩罚。新的非渐近三明治边界的部分似然开发。我们建立了它们如何推广Le Cam的局部渐近正态性(LAN)的概念。这种非渐近LAN原则进一步扩展到高维空间,其中$p \gg n$。在适当的截尾条件下,非参数Cox比例风险模型中惩罚估计的有限样本预测性质与线性模型中惩罚估计的有限样本预测性质一致.
2014-09-19 math.ST stat.ME stat.ML
Using a Penalized Likelihood to Detect Mortality Deceleration
本文提出一种基于惩罚似然的死亡率减速检测方法,替代传统似然推断,避免p值与假设检验,在模拟和真实数据上更准确且参数估计更可靠。
2023-03-28 stat.AP stat.ME
Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning
University of Houston(休斯顿大学);Texas Tech University(德克萨斯理工大学)
本文提出非参数方差惩罚演员-评论家框架,用自举和随机缩放的在线估计器替代第二评论家,实现风险敏感强化学习的统计推断,并在HTS制造案例中显著降低变异性。
2026-09-15 cs.LG stat.ML
Statistical Inference for Ordinal Predictors in Generalized Linear and Additive Models with Application to Bronchopulmonary Dysplasia
离散但有序的协变量在应用统计学中非常常见,并且已经提出了一些正则化拟合程序来正确处理统计建模中的有序预测变量。在这项研究中,我们将展示如何二次处罚相邻的哑系数的有序预测在文献中提出的广义可加模型的框架中,使统计推断工具,以及有序预测。出于新生儿医学的应用程序,我们讨论是否得到的结果时,构建置信区间和检验显着性的光滑项在广义可加模型是有用的有序预测/处罚。
2021-08-24 stat.AP stat.ME
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计,如LASSO,自适应LASSO,和硬阈值的置信区间进行了分析。在已知方差的情况下,有限样本覆盖性质,这样的间隔被确定,它表明,对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度,其大于基于LASSO的最短间隔的长度,其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下,基于这些估计量的区间比标准区间大数量级。此外,一个简单的渐近置信区间的建设在“稀疏”的情况下,也适用于平滑剪切绝对偏差估计,进行了讨论。已知方差的情况下的结果进行到未知方差的情况下,在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
Penalized Maximum Likelihood Inference of Core-Periphery Networks
Università di Pisa(比萨大学);Università di Siena(锡耶纳大学)
提出PLSD方法,通过惩罚似然修正核心-边缘网络推断,兼顾高阶结构,并在模拟与真实网络数据中验证其有效性。
2026-09-15 cond-mat.stat-mech econ.EM physics.soc-ph
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下,利用经验过程的集中不等式,首次证明了两个偏回归系数的Lasso估计的预言不等式。此外,由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后,仿真和实际数据分析表明,新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Nonconvex Penalized LAD Estimation in Partial Linear Models with DNNs: Asymptotic Analysis and Proximal Algorithms
Department of Applied Mathematics, The Hong Kong Polytechnic University(应用数学系,香港理工大学);College of Computing, Data Science, and Society, University of California, Berkeley(计算、数据科学与社会学院,加州大学伯克利分校)
本文提出利用深度神经网络参数化非参数项,研究部分线性模型中非凸惩罚LAD估计的渐近性质与近端算法。
2025-11-26 cs.LG stat.ML
Penalized regression with multiple loss functions and selection by vote
本文考虑高维数据场景中的线性模型。我们提出了一个过程,使用多个损失函数来选择相关的预测和参数估计,并研究其渐近性质。变量选择是通过一个名为“投票”的过程进行的,该过程汇总了惩罚损失函数的结果。使用多个目标函数分别简化算法,并允许并行计算,这是方便和快速的。作为一个特殊的例子,我们考虑一个分位数回归模型,它最佳地结合了多个分位数水平。我们证明了所得到的参数向量的估计是渐近有效的。仿真和数据应用证实了我们的方法的三个主要优点:(a)降低变量选择的错误发现率;(b)提高参数估计的质量;(c)提高计算效率。
2020-06-29 stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University(西蒙菲莎大学)
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题,提出log-F惩罚条件逻辑回归方法,其在模拟中表现出与Firth方法相当的置信区间覆盖率,且均方误差更低。
2026-08-03 stat.ME
Global Inference for High Dimensional Quantile Regression with Heterogeneity
Oregon State University(俄勒冈州立大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);The University of Kansas(堪萨斯大学)
针对高维分位数回归现有推断方法的局限,提出全局自适应LLA算法等方法,实现异方差模型下多量分位点线性假设的统一检验,扩展了部分惩罚推断的校准范围。
2026-10-14 stat.ME
Penalized spatial function-on-function regression
Marmara University(马尔马拉大学);Macquarie University(麦考瑞大学)
本文提出了一种带有惩罚的空间函数-函数回归模型,通过引入B-样条张量积的粗糙度惩罚,提高空间依赖数据的估计精度和预测性能。
2025-11-28 stat.ME
Empirical Likelihood Inference over Decentralized Networks
本文针对去中心化网络中的分布式经验似然推断,提出基于惩罚融合 Lagrange 乘子的统计量及两种 ADMM 算法,并证明其渐近卡方性与收敛性。
2024-01-23 stat.CO stat.ME
Data Mining for Longitudinal Data under Multicollinearity and Time Dependence using Penalized Generalized Estimating Equations
针对存在多重共线性的纵向高斯数据,提出了基于弹性网或L2-光滑剪切绝对偏差惩罚的惩罚广义估计方程,以同时选择最重要的变量并估计其影响.即使存在强相关性,该方法也能够一致地选择和估计主效应。此外,澄清了时间依赖性协变量的潜在陷阱。渐近理论和仿真结果都表明了惩罚作为纵向数据的数据挖掘工具的有效性,特别是当存在大量变量时。该方法说明了在欧洲的预期寿命的主要决定因素挖掘。
2012-11-22 stat.ME
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断,建立惩罚估计误差界与去偏估计的 Bahadur 表示,并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME