Modified Cross-Validation for Penalized High-Dimensional Linear Regression Models
本文针对高维环境下Lasso惩罚线性回归模型,提出了一种改进的交叉验证法来选择惩罚参数。该方法被扩展到其他惩罚,如弹性网。我们进行了广泛的模拟研究和实际数据分析,比较性能的修改后的交叉验证方法与其他方法。结果表明,流行的$K$折叠交叉验证方法包括许多噪声变量在选定的模型,而修改后的交叉验证工作在很宽的范围内的系数和相关设置。包含计算机代码的补充材料可在网上获得。
2013-09-09 stat.ME
Penalized regression with multiple loss functions and selection by vote
本文考虑高维数据场景中的线性模型。我们提出了一个过程,使用多个损失函数来选择相关的预测和参数估计,并研究其渐近性质。变量选择是通过一个名为“投票”的过程进行的,该过程汇总了惩罚损失函数的结果。使用多个目标函数分别简化算法,并允许并行计算,这是方便和快速的。作为一个特殊的例子,我们考虑一个分位数回归模型,它最佳地结合了多个分位数水平。我们证明了所得到的参数向量的估计是渐近有效的。仿真和数据应用证实了我们的方法的三个主要优点:(a)降低变量选择的错误发现率;(b)提高参数估计的质量;(c)提高计算效率。
2020-06-29 stat.ME
Inference for penalized spline regression: Improving confidence intervals by reducing the penalty
惩罚样条回归是一种常用的散点图平滑方法,但如何构造惩罚样条拟合的置信区间一直存在争议。由于惩罚,拟合的平滑曲线是目标函数的有偏估计。许多方法,包括贝叶斯区间和简单移位偏差减少,已被提出来提升置信区间的覆盖率,但这些方法通常不能充分改善预测值的情况下,函数是急剧弯曲。在本文中,我们开发了一种新的方法来提高置信区间,使用更小的平滑强度比样条拟合。通过仔细选择平滑强度的减少量,置信区间实现了几乎标称的覆盖范围,而不会过宽或波动。通过仿真实验研究了该方法的覆盖性能,并与Hodges(2013)和Kuusela和Panaretos(2015)提出的偏差校正技术进行了比较。
2017-06-02 stat.ME
Penalized spatial function-on-function regression
Marmara University(马尔马拉大学);Macquarie University(麦考瑞大学)
本文提出了一种带有惩罚的空间函数-函数回归模型,通过引入B-样条张量积的粗糙度惩罚,提高空间依赖数据的估计精度和预测性能。
2025-11-28 stat.ME
Linear Shrinkage Convexification of Penalized Linear Regression With Missing Data
针对含缺失数据的惩罚线性回归中协方差矩阵非正定、损失函数非凸的问题,提出线性收缩正定(LPD)修正方法,通过修改协方差矩阵实现凸化,理论证明其收敛性并在GDSC数据集验证了有效性。
2025-04-18 stat.ME
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1(lasso)惩罚似然模型(包括广义回归模型)的后选择推断方法。我们的方法概括了Lee et al(2014)提出的选择后框架。该方法提供了渐进有效的p值和置信区间,条件是套索完成的固有选择。我们目前的应用这项工作(正规化)逻辑斯谛回归,Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Robust penalized estimators for functional linear regression
函数数据分析是统计学中一个快速发展的分支。流行的函数线性模型的估计过程要么缺乏鲁棒性,要么计算负担沉重。为了解决这些缺点,一个灵活的家庭惩罚低秩估计的基础上提出了一个有界损失函数。在弱正则条件下,证明了所提出的估计类是相容的,并且在预测误差方面具有很高的收敛速度。这些结果可以推广到更高的维度下类似的假设。有限样本性能的估计量的建议家庭的Monte Carlo研究表明,这些估计达到高效率,同时提供保护,防止离群值。所提出的估计相比,有利的现有方法的强大以及非强大的替代品。在一个复杂的真实数据集上的实验结果也表明了该方法的良好性能。
2021-08-26 stat.ME
Maximum softly-penalized likelihood for mixed effects logistic regression
已知在具有混合效应的逻辑斯谛回归中的极大似然估计经常导致在参数空间的边界上的估计。此类估计值包括固定效应的无限值和奇异或无限方差分量,可能会对数值估计过程和推断造成严重破坏。我们在对数似然函数或其近似值中引入了适当缩放的加性惩罚,该函数通过不含随机效应的模型的Jeffreys不变先验惩罚固定效应,并通过负Huber损失函数的组合惩罚方差分量。由此产生的最大惩罚似然估计位于内部的参数空间。适当的惩罚尺度保证惩罚足够软,以保持极大似然估计所期望的最佳渐近性质,即一致性,渐近正态性和Cramér-Rao效率。我们选择的惩罚和比例因子在模型参数(如对比度)的线性变换下保持了固定效应估计值的等方差。最大软惩罚似然竞争的方法相比,两个真实数据的例子,并通过全面的模拟研究,说明其优越的有限样本性能。
2023-02-02 stat.ME
A Unified Algorithm for Penalized Convolution Smoothed Quantile Regression
惩罚分位数回归(QR)被广泛用于研究高维数据异质性下响应变量与预测变量之间的关系。与惩罚最小二乘法相比,由于惩罚QR的不可微分段线性损失函数,缺乏可扩展的拟合算法。为了克服平滑性的不足,最近提出的卷积型平滑方法带来了一个有趣的权衡统计精度和计算效率的标准和惩罚分位数回归。在本文中,我们提出了一个统一的算法来拟合惩罚卷积平滑分位数回归与各种常用的凸惩罚,伴随着R语言包征服可从综合R档案网络。我们进行了广泛的数值研究,以证明所提出的算法在统计和计算方面优于现有的方法的性能。我们通过在世界幸福数据上拟合融合的套索加性QR模型来进一步验证所提出的算法。
2022-05-05 stat.CO stat.ME
Penalized function-on-function linear quantile regression
本文提出一种函数型线性分位数回归模型,利用张量三次B样条和二次惩罚估计参数函数,通过BIC网格搜索选择平滑参数,在蒙特卡洛实验和玛丽河数据中优于现有方法。
2025-03-30 stat.ME
A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression
本文提出大规模多元线性回归的自适应收缩先验经验贝叶斯方法,利用变分推断实现与 Lasso 相当的速度和竞争力精度,并揭示其后验均值对应数据驱动的惩罚回归。
2024-06-12 stat.ME stat.ML
Penalized linear regression with high-dimensional pairwise screening
在变量选择中,现有的筛选方法大多注重边际效应,忽略了协变量之间的相关性。为了提高选择的性能,我们在协变量中加入成对效应进行筛选和惩罚。我们通过研究独立协变量之间的最大绝对成对样本相关性的渐近分布来实现这一点。该理论的新颖之处在于收敛是相对于维数$p$而言的,并且相对于样本量$n$而言是均匀的。此外,我们得到了一个上限的最大成对R平方时,回归到两个不同的协变量的响应。基于这些极端值的结果,我们提出了一个筛选程序,以检测协变量对潜在的相关性和相关的响应。我们进一步结合成对筛选和确定独立筛选,并开发了一个新的正则化变量选择过程。数值研究表明,我们的方法是非常有竞争力的预测精度和变量选择精度。
2019-02-08 stat.ME
Sparse Quantile Regression
我们考虑$\ell _{0}$ -惩罚和$\ell _{0}$ -约束的分位数回归估计.对于$\ell _{0}$ -惩罚估计,我们导出了超额分位数预测风险尾概率的指数不等式,并应用它得到了均方参数和回归函数估计误差的非渐近上界.我们还推导出类似的结果为$\ell _{0}$约束估计。由此产生的收敛速度几乎是最小最大最优的和相同的$\ell _{1}$ -惩罚和非凸惩罚估计。此外,我们表征预期的汉明损失的$\ell _{0}$惩罚估计。我们通过混合整数线性规划和一个更具可扩展性的一阶近似算法来实现所提出的过程。我们说明了我们的方法在蒙特卡罗实验中的有限样本性能和它的实用性,在一个真正的数据应用有关的婴儿出生体重的共形预测(与$n\approx 10^{3}$和$p>10^{3}$)。总之,我们的$\ell _{0}$为基础的方法产生一个更稀疏的估计比$\ell _{1}$惩罚和非凸惩罚的方法,而不影响精度。
2023-03-29 econ.EM stat.ME
Asymptotics for penalized spline estimators in quantile regression
分位数回归预测$τ$ -给定$τ\in(0,1)$解释变量的响应变量条件分布的分位数。本文的目的是建立罚样条方法所得到的分位数估计量的渐近分布。模拟和实际数据的探索进行验证我们的结果。
2012-09-06 math.ST stat.TH
$\ell_1$-penalized Multinomial Regression: Estimation, inference, and prediction, with an application to risk factor identification for different dementia subtypes
针对高维多项逻辑回归模型统计推断研究不足的问题,本研究扩展去偏方法至该模型,提供有效置信区间与$p$值,验证模型误设等场景下的稳健性,模拟及痴呆亚型应用显示其优于其他推断方法。
2024-08-26 stat.AP stat.ME
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下,利用经验过程的集中不等式,首次证明了两个偏回归系数的Lasso估计的预言不等式。此外,由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后,仿真和实际数据分析表明,新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Asymptotics for penalized additive B-spline regression
本文研究了二元可加模型中惩罚样条估计的渐近性。本文的重点是通过回拟算法获得的惩罚样条估计量。证明了算法的收敛性和解的唯一性。利用边际一元模型中惩罚样条估计的渐近结果,得到了惩罚样条估计的渐近偏差和方差。给出了估计量的渐近正态性,并由此得到了估计量的近似置信区间。一些数值实验证实了理论结果。
2011-04-27 math.ST stat.TH
Simple one-pass algorithm for penalized linear regression with cross-validation on MapReduce
在本文中,我们提出了一个一遍MapReduce算法的惩罚线性回归\[f_λ(α, β) = \|Y - α\mathbf{1} - Xβ\|_2^2 + p_λ(β)\]其中$α$是截距,可以根据应用省略; $β$是系数和$p_λ$是惩罚函数与惩罚参数$λ$。$f_λ(α, β)$包括有趣的类,如Lasso,岭回归和弹性网络。与最新的需要多个MapReduce作业的迭代分布式算法相比,我们的算法实现了巨大的性能提升;此外,我们的算法与并行随机梯度下降等近似算法相比是精确的。此外,我们的算法区别于其他人的是,它训练模型的交叉验证选择最佳的$λ$,而不是用户指定的。关键词:惩罚线性回归,lasso,弹性网络,岭,MapReduce
2016-04-14 cs.DC cs.LG stat.ML
A Unified Model for Differential Expression Analysis of RNA-seq Data via L1-Penalized Linear Regression
RNA测序(RNA-seq)在定量基因表达水平方面越来越受欢迎。由于RNA-seq测量本质上是相对的,因此计数的样本间标准化是差异表达(DE)分析中的重要步骤。现有DE检测算法的标准化是特别的,并且在DE检测之前执行一次,这可能是次优的,因为理想的标准化应该仅基于非DE基因,因此与DE检测相结合。我们提出了一个统一的统计模型联合归一化和DE检测的对数转换RNA-seq数据。样本特异性归一化因子在基因线性模型中建模为未知参数,并与回归系数联合估计。通过施加稀疏诱导L1惩罚(或多种处理条件下的混合L1/L2范数)对回归系数的影响,仿真结果表明,所提出的模型和算法在检测能力和误检率方面均优于现有的方法,并且在检测性能和误检率方面均优于现有的方法。当超过一半的基因差异表达和/或当DE基因中上调和下调基因的数量不平衡时,阳性率。
2016-10-11 q-bio.GN stat.ME
Semismooth Newton Coordinate Descent Algorithm for Elastic-Net Penalized Huber Loss Regression and Quantile Regression
本文提出了一种半光滑牛顿坐标下降算法(SNCD),用于高维环境下的弹性网惩罚Huber损失回归和分位数回归。与现有的坐标下降型算法不同,SNCD在每次迭代中同时更新每个回归系数及其相应的次梯度。它结合了坐标下降和半光滑牛顿算法的优点,有效地解决了维数和非光滑性带来的计算挑战。我们建立了算法的收敛性。此外,我们提出了一个自适应版本的“强规则”筛选预测,以获得额外的效率。通过数值实验,我们证明了该算法是非常有效的,可扩展到超高的维度。我们通过一个真实的数据示例来说明该应用程序。
2016-05-20 stat.CO stat.ML
Semiparametric Penalized Spline Regression
本文利用参数方法和非参数惩罚样条方法的混合技巧,提出了一种新的半参数回归估计。真实回归函数的整体形状由参数部分捕获,而其残差由非参数部分一致地估计。建立了半参数估计的渐近理论,证明了半参数估计的渐近性依赖于非参数惩罚样条估计的渐近性以及真实回归函数与参数部分之间的差异.作为渐近性的自然关联应用,讨论了参数模型选择的一些准则。数值实验表明,所提出的估计比现有的基于核的半参数估计和完全非参数估计性能更好,所提出的准则对于选择合理的参数模型也是有效的.
2012-02-16 math.ST stat.TH
Asymptotic behaviour of penalized robust estimators in logistic regression when dimension increases
本文研究了维数随样本量趋向无穷大时逻辑回归中带惩罚 $M-$估计量的渐近行为,证明了其相合性、收敛速度、变量选择相合性及渐近分布。
2023-08-04 math.ST stat.TH
Asymptotic Properties of Penalized Spline Estimators in Concave Extended Linear Models: Rates of Convergence
本文给出了当似然泛函在候选函数中为凹函数时函数估计的惩罚样条估计的收敛速度的一般理论,其中似然是广义的,包括条件似然、拟似然和伪似然.该理论允许未知函数的样条次数、罚阶和光滑性的所有可行组合。根据这一理论,惩罚样条估计量的渐近性态依赖于样条节点数和罚参数之间的相互作用。一般的理论被应用于获得各种情况下的结果,包括回归,广义回归,如逻辑斯谛回归和泊松回归,密度估计,条件风险函数估计删失数据,分位数回归,扩散型过程的扩散函数估计,和估计的谱密度函数的平稳时间序列。对于多维函数估计,该理论(在补充材料中提出)涵盖了三角剖分上的惩罚张量积样条和惩罚二元样条。
2021-05-13 math.ST stat.TH
Non-crossing convex quantile regression
Aalto University School of Business(阿尔托大学商学院);Department of Environment and Geography, University of York(约克大学环境与地理系)
针对凸分位数回归中的分位数交叉问题,本文提出惩罚凸分位数回归方法,在避免交叉的同时保持分位数性质,蒙特卡洛实验验证其优越性。
2022-04-04 stat.AP stat.ME
Asymptotic distribution and sparsistency for l1-penalized parametric M-estimators with applications to linear SVM and logistic regression
由于其早期使用的最小二乘回归问题,变量选择的l1-惩罚框架已与广泛的损失函数,包括回归,分类和生存分析。虽然一个发达的理论存在的l1-惩罚最小二乘估计,很少有结果关注的一般损失函数的l1-惩罚估计的行为。在本文中,我们得到了两个结果,惩罚估计的惩罚和损失函数的广泛阵列。我们的第一个结果刻画了经典情形(固定p大n)下惩罚参数M-估计在损失和罚函数的较弱条件下的渐近分布.我们的第二个结果explanarized必要和充分的广义不可表示性(GI)条件l1-惩罚参数M-估计一致地选择一个模型的组件(稀疏性)以及他们的符号(符号一致性)。一般而言,GI条件取决于风险函数在未知参数的真实值处的Hessian。在高斯预测下,我们得到了一组条件,在这些条件下,GI条件可以仅仅用预测的二阶矩来重新表示。我们应用我们的理论来对比l1-惩罚SVM和逻辑斯谛回归分类器,并找到条件下,他们有相同的行为,在他们的模型选择的一致性(稀疏性和符号的一致性)。最后,我们提供了仿真证据的理论基础上,这些分类的例子。
2009-08-13 math.ST stat.TH
Quantile Predictions for Equity Premium using Penalized Quantile Regression with Consistent Variable Selection across Multiple Quantiles
本文提出一种跨分位数一致变量选择的惩罚分位数回归方法,用于股票溢价预测,解决均值回归在异方差和重尾下的问题,并通过模拟和实证验证其优于基准方法,且发现预测变量关系随分位数反转。
2025-05-21 q-fin.ST stat.AP stat.ME
Adaptive Ridge-Penalized Functional Local Linear Regression
本文介绍了一种新颖的泛函局部线性回归多维岭惩罚方法。函数数据的非参数回归是从其多元对应物扩展而来的,并且已知对$J$的选择敏感,其中$J$是数据的投影子空间的维数。在多变量设置下,粗糙度惩罚有助于减少方差。然而,在有限的作品涵盖粗糙度惩罚下的功能设置,大多数只使用一个单一的标量调整。我们的新方法提出了一类数据自适应的岭惩罚,这意味着模型会根据数据集自动调整惩罚的结构。该结构具有$J$自由参数,并且使得能够进行二次规划搜索以获得最优调谐参数,所述最优调谐参数使预测的估计均方误差(MSE)最小化,并且能够将不同的粗糙度惩罚水平应用于每个$J$基础。通过多个模拟场景和两个真实数据的例子证明了该方法在预测精度和减少有限数据方差方面的优势。证明了它的渐近性能,并与无惩罚的泛函局部线性回归进行了比较。
2021-09-17 stat.AP stat.CO stat.ME
Penalized log-likelihood estimation for partly linear transformation models with current status data
我们考虑部分线性变换模型应用于当前状态数据。未知量是转换函数、线性回归参数和非参数回归效应。结果表明,惩罚的最大似然估计的回归参数是渐近正态和有效的,并收敛于参数率,虽然惩罚的最大似然估计的转换功能和非参数回归效应是只有$n^{1/3}$一致。研究了基于块刀切法的回归参数推断问题。我们还研究了计算问题,并通过模拟研究证明了所提出的方法。转换模型和部分线性回归条款,加上新的估计和推理技术,提供了灵活的替代Cox模型的现状数据分析。
2006-02-11 math.ST stat.TH
Retire: Robust Expectile Regression in High Dimensions
由于异方差或协变量效应的不齐性,高维数据通常会显示异质性。惩罚分位数和期望回归方法为高维数据的异方差检测提供了有用的工具。前者由于校验丢失的非平滑性质而在计算上具有挑战性,而后者对重尾误差分布敏感。在本文中,我们提出和研究(惩罚)鲁棒期望回归(退休),重点是迭代加权$\ell_1$ -惩罚,减少估计偏差从$\ell_1$ -惩罚,并导致预言的性质。在理论上,我们建立了退休估计在两种状态下的统计性质:(i)低维状态,其中$d \ll n$ ;(ii)高维状态,其中$s\ll n\ll d$和$s$表示显著预测变量的数量。在高维环境中,我们仔细地描述了迭代重加权$\ell_1$ -惩罚退休估计的解路径,该估计来自折叠凹正则化的局部线性近似算法。在一个温和的最小信号强度的条件下,我们表明,经过尽可能多的$\log(\log d)$迭代的最后的迭代享有预言收敛速度。在每一步迭代中,加权$\ell_1$ -惩罚凸规划可以用半光滑牛顿坐标下降算法有效地求解。数值研究表明,所提出的程序相比,无论是非鲁棒或分位数回归为基础的替代品的竞争力表现。
2023-03-22 stat.ME stat.ML
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计,如LASSO,自适应LASSO,和硬阈值的置信区间进行了分析。在已知方差的情况下,有限样本覆盖性质,这样的间隔被确定,它表明,对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度,其大于基于LASSO的最短间隔的长度,其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下,基于这些估计量的区间比标准区间大数量级。此外,一个简单的渐近置信区间的建设在“稀疏”的情况下,也适用于平滑剪切绝对偏差估计,进行了讨论。已知方差的情况下的结果进行到未知方差的情况下,在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
CAM: Causal additive models, high-dimensional order search and penalized regression
ETH Zürich(苏黎世联邦理工学院)
我们开发潜在的高维加性结构方程模型的估计。我们的方法的一个关键组成部分是解耦顺序搜索的变量之间的特征或边缘选择的有向无环图编码的因果结构。我们表明,前者可以做非正则化(限制)极大似然估计,而后者可以有效地解决使用稀疏回归技术。因此,我们大大简化了一类重要的因果模型的结构搜索和估计问题。我们建立一致性的(限制)极大似然估计低,高维的情况下,我们也允许误指定的误差分布。此外,我们开发了一个有效的计算算法,可以处理许多变量,新方法的精度和性能的仿真和真实数据。
2014-12-01 cs.LG stat.ME stat.ML
Extended ADMM for general penalized quantile regression with linear constraints in big data
本文提出基于多块ADMM的扩展算法,用于高效求解大数据中带线性约束的一般惩罚分位数回归,并开发了并行版本,通过显式参数更新避免嵌套循环,实验证明其计算效率显著提升。
2023-05-12 stat.CO
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计(ROSE)框架扩展至非凸惩罚M估计,用于稳健高维线性回归的估计与推断,并证明估计量的一致性与渐近正态性,模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Comparing two samples by penalized logistic regression
提出并研究了基于惩罚密度比模型的推理方法。所考虑的模型是通过假设两个未知密度的对数似然函数具有某种参数形式来指定的。该模型已被扩展到涵盖多个样本的问题,而其理论性质已使用大样本理论进行了研究。密度比模型的一个主要应用是检验两个或多个分布是否相等。我们扩展了这些结果,认为惩罚最大经验似然估计量的均方误差比普通最大似然估计量的均方误差要小,特别是对于小样本。事实上,惩罚方法解决了估计量的存在性问题,并且可以使用一个修正的Wald型检验统计量来检验两个分布的相等性。有限的模拟研究进一步支持了这一理论。
2008-07-16 math.ST stat.TH
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归,更一般地说,在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中,回归量$p$的总数非常大,可能大于样本量$n$,但这些回归量中只有$s$对响应变量的条件分位数具有非零影响,其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数($\ell_1$ -QR)。首先,我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率,因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立,要求$s/n$以超对数速度收敛到零,并且正则化参数满足某些理论约束。其次,我们提出了一个关键的,数据驱动的正则化参数的选择,并表明它满足这些理论约束。第三,我们表明,$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型,当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四,我们分析了两步估计的收敛速率,该估计将普通分位数回归应用于所选模型。第五,我们评估的性能$\ell_1$ -QR在蒙特卡洛实验,并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Efficiency for Regularization Parameter Selection in Penalized Likelihood Estimation of Misspecified Models
在总体方差已知或有相合估计量的假设下,证明了AIC型准则是非凹惩罚回归方法中调整参数的渐近有效选择器.我们放松这个假设,证明AIC本身是渐近有效的,我们研究其性能在有限样本。在经典回归中,当最大候选模型的维数相对于样本量较大时,AIC倾向于选择过于复杂的模型。模拟研究表明,AIC遭受同样的缺点时,用于惩罚回归。因此,我们建议使用经典的校正AIC(AICc)作为替代,并证明它保持所需的渐近性质。为了扩展我们的结果,我们进一步证明了AIC的惩罚似然方法的广义线性模型的上下文中没有分散参数的有效性。类似的结果存在于文献中,但仅限于一组有限的候选模型。通过采用经典文献中关于错误指定模型中的极大似然估计的结果,我们能够为一组一般候选模型建立此结果。我们使用模拟来评估AIC和AICc的性能,以及其他选择器,在有限样本的SCAD惩罚和Lasso回归和一个真实的数据的例子被认为是。
2013-02-08 stat.ML
Asymptotic errors for convex penalized linear regression beyond Gaussian matrices
我们考虑的问题,学习系数向量$x_{0}$在$R^{N}$从噪声线性观测$y=Fx_{0}+w$在$R^{M}$在高维极限$M,N$无穷大与$α=M/N$固定。我们提供了一个严格的推导过程中的一个明确的公式-第一次使用启发式方法从统计物理学-的渐近均方误差获得惩罚凸回归估计,如LASSO或弹性网,为一类非常通用的随机矩阵对应的旋转不变的数据矩阵与任意频谱。证明是基于向量近似消息传递(oracle-VAMP)的Oracle版本的收敛性分析及其状态演化方程的性质。我们的方法利用并突出了向量近似消息传递,道格拉斯-Rachford分裂和近端下降算法之间的联系,扩展了以前的结果与i.i.d.。矩阵的一大类问题。我们说明我们的结果在一些具体的例子,并表明,即使他们是渐近的,我们的预测同意非常好的数值,即使是非常温和的大小。
2020-02-11 cond-mat.dis-nn cond-mat.stat-mech stat.ML
Advanced Algorithms for Penalized Quantile and Composite Quantile Regression
在本文中,我们讨论了一个家庭的强大的,高维回归模型的分位数和复合分位数回归,有和没有自适应套索惩罚变量选择。我们重新制定这些分位数回归的问题,并通过应用交替方向的乘数法(ADMM),优化最小化(MM),和坐标下降(CD)算法获得估计。我们的新方法解决了(复合)分位数回归缺乏公开可用的方法,特别是对于高维数据,有和没有正则化。通过模拟研究,我们证明了需要不同的算法适用于各种数据设置,我们在R的cqrReg包中实现。为了比较,我们还介绍了广泛使用的内点(IP)制定和测试我们的方法对IP算法在现有的quantreg包。我们的模拟研究表明,我们的每一种方法,特别是MM和CD,在不同的设置,如大型或高维数据集,分别优于目前在quantreg中实现的方法。ADMM方法在其并行化和可扩展性方面为未来的发展提供了具体的承诺。
2020-06-26 stat.CO
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Linköping University(林雪平大学);University of Southern Denmark(南丹麦大学)
本文研究了非凸非光滑稀疏惩罚下的分位数回归问题,提出了一种名为SIAD的单循环平滑ADMM算法,通过递增惩罚参数加速收敛,理论上确认了子梯度界收敛率为o(k^{-1/4}),数值实验证明其优于现有方法。
2023-09-04 cs.AI cs.LG stat.ML
Calibrated Forecasts of Quasi-Periodic Climate Processes with Deep Echo State Networks and Penalized Quantile Regression
本文提出用深度回声状态网络与惩罚分位数回归预测海洋驱动的准周期气候事件,并通过快速集合方法校准预测不确定性,从而提升物理模型难以刻画过程的预测能力。
2023-08-08 physics.ao-ph stat.AP
Asgl: A Python Package for Penalized Linear and Quantile Regression
University of Columbia(哥伦比亚大学);uc3m-Santander Big Data Institute(uc3m-桑坦德大数据研究所);Universitat Politècnica de València(瓦伦西亚理工大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
Asgl是用于惩罚线性和分位数回归的Python包,实现多种惩罚技术,支持自适应惩罚,提供惩罚分位数回归功能,通过主要类Regressor与scikit-learn集成,在变量选择和预测任务中实用,是现代统计建模的综合工具。
2026-07-14 stat.CO
Information Theory of Penalized Likelihoods and its Statistical Implications
我们扩展了数据压缩中的两阶段编码程序和统计估计中的惩罚似然程序之间的对应关系。传统上,这需要限制到可数参数空间。我们展示了如何扩展这种对应的不可数参数的情况下。利用惩罚似然程序的描述长度的解释,我们设计了新的技术,以获得自适应的风险界限,这样的程序。我们证明了参数空间的某些可数覆盖的存在性意味着自适应风险界,因此我们的理论是相当一般的。我们应用我们的技术来说明风险界$\ell_1$型惩罚程序在典型的高维统计问题,如线性回归和高斯图形模型。在线性回归问题中,我们还演示了如何传统的$l_0$惩罚时间$\frac{\log(n)}{2}$加上低阶项有两个阶段的描述长度的解释和目前的风险界限,这个惩罚似然程序。
2015-05-07 math.ST stat.TH
Unbalanced Optimal Transport through Non-negative Penalized Linear Regression
IRISA, Université Bretagne-Sud(南布列塔尼大学IRISA研究所);CMAP, Ecole Polytechnique(巴黎综合理工学院应用数学中心);LITIS(鲁昂信息处理与系统实验室);IRIT, Université de Toulouse, CNRS(图卢兹大学、法国国家科学研究中心图卢兹信息学研究所);INSA Rouen Normandie(诺曼底鲁昂国立应用科学学院)
本文讨论了不平衡最优输运(UOT)的问题,其中的边际条件放宽(使用加权惩罚代替平等),没有额外的正则化强制执行的OT计划。在这种情况下,我们表明,相应的最优化问题可以重新制定为一个非负的惩罚线性回归问题。这种重新使我们能够提出新的算法的启发,从反问题和非负矩阵分解。特别是,我们考虑优化最小化,这导致在我们的设置有效的乘法更新各种处罚。在此基础上,我们首次推导出了一个计算UOT正则化路径的有效算法。该算法提供了一个连续的分段线性OT计划收敛到平衡OT的解决方案(对应于无限的惩罚权重)。我们对模拟和真实数据进行了几次数值实验,说明了新算法,并详细讨论了更复杂的优化工具,这些工具可以进一步用于解决OT问题,这要归功于我们的重新表述。
2021-06-08 cs.LG math.OC stat.ML
Penalized estimation of GEV parameters for extreme quantile regression
Université Le Havre Normandie, Normandie Univ.(勒阿弗尔诺曼底大学)
本文提出基于GEV分布和广义随机森林的惩罚似然方法,解决高概率分位数回归中的尾部外推难题和高维预测变量复杂结构问题。
2026-03-25 math.PR math.ST stat.TH
Diaconis-Ylvisaker prior penalized likelihood for $p/n \to κ\in (0,1)$ logistic regression
London School of Economics(伦敦政治经济学院);University of Warwick(华威大学)
本文研究了在高维逻辑回归中,当协变量数量与观测数量比例为κ∈(0,1)时,Diaconis-Ylvisaker先验惩罚似然估计器的渐近性质,并提出了改进的推断方法。
2026-01-06 math.ST stat.TH
Prediction Error Bounds for Linear Regression With the TREX
TREX是最近引入的稀疏线性回归方法。与大多数众所周知的惩罚回归方法相比,TREX可以在不使用调优参数的情况下进行公式化。在本文中,我们建立了第一个已知的预测误差界的TREX。此外,我们引入扩展的TREX更一般的一类处罚,我们提供了一个约束的预测误差在这个广义的设置。这些结果从理论角度加深了对TREX的理解,并为惩罚回归提供了新的见解。
2018-01-04 math.ST stat.TH
Inference with penalized likelihood
本文在半参数框架下研究了最大惩罚似然方法的统计特性。我们回顾了惩罚似然估计函数的方法,并回顾了一些渐近结果。研究了极大惩罚似然估计方差的两种估计:三明治估计和贝叶斯估计的性质。通过生存数据的模拟研究,研究了基于这些估计量的置信区间的覆盖率。在第一次模拟中,对生存函数和风险函数的覆盖率进行评估。在第二个模拟中,从具有协变量的比例风险模型生成数据。研究了回归系数的方差估计。对于生存和风险函数,三明治估计和贝叶斯估计都表现出相对较好的性质,但贝叶斯估计似乎更准确。至于回归系数,我们集中在贝叶斯估计,并发现它产生了良好的覆盖率。
2014-01-30 math.ST stat.TH
Estimator of Prediction Error Based on Approximate Message Passing for Penalized Linear Regression
The Graduate University for Advanced Science (SOKENDAI)(综合研究大学院大学(SOKENDAI))
我们提出了一个估计的预测误差,使用近似消息传递(AMP)算法,可以应用到广泛的稀疏处罚。根据Stein引理,在AMP固定点处计算广义自由度的估计,这是预测误差估计的构造的关键量。基于AMP的估计器的结果形式不依赖于惩罚函数,并且其值可以通过考虑预测器之间的相关性来进一步改进。当预测变量和响应变量的分量独立地按照高斯分布生成时,所提出的估计量是渐近无偏的。我们研究的行为下的非凸稀疏处罚,赤池的信息准则不对应于预测误差的无偏估计量的真实数据的估计。所提出的估计器所选择的模型是接近的,这使得最小化的真实预测误差。
2018-05-08 cs.LG stat.ML
A Global Two-stage Algorithm for Non-convex Penalized High-dimensional Linear Regression Problems
利用渐近预言性质,极大极小凹罚(MCP)和光滑截尾绝对偏差(SCAD)等非凸罚函数在高维数据分析中引起了广泛关注,并在信号处理、图像恢复、矩阵估计等领域得到了广泛应用。几乎所有现有的算法都是局部收敛的,并且初始值的适当选择是至关重要的。因此,在实际操作中,它们往往结合一种温启动技术,以满足初值必须足够接近相应问题的最优解的刚性要求。基于MCP和SCAD罚函数的DC(Difference of Convex Function)性质,设计了一种求解高维最小二乘线性回归问题的全局两阶段算法.一个关键的想法,使所提出的算法是有效的是使用原始对偶活动集连续(PDASC)方法,这是等价的半光滑牛顿(SSN)方法,以解决相应的子问题。理论上,我们不仅证明了算法的全局收敛性,而且证明了生成的迭代序列收敛到d-平稳点。在计算性能方面,仿真和实际数据的大量研究表明,本文算法在求解非凸惩罚高维线性回归问题时优于最新的SSN方法和经典的坐标下降(CD)算法.
2021-11-23 stat.CO
Robust and sparse estimators for linear regression models
惩罚回归估计是分析稀疏和高维数据集的常用工具。然而,使用无界损失函数定义的惩罚回归估计量可能对离群观测值的存在非常敏感,特别是高杠杆离群值。此外,在高维数据集中检测离群值可能特别具有挑战性。因此,稀疏和高维线性回归模型的鲁棒估计是必要的。在本文中,我们研究了MM桥和自适应MM桥估计:$\ell_q$ -惩罚的MM-估计的回归和MM-估计与自适应$\ell_t$惩罚的鲁棒性和渐近性质。对于协变量个数固定的情况,我们得到了所有$q>0$的MM-Bridge估计量的渐近分布。证明了对于$q<1$,MM-Bridge估计量具有Fan和Li(2001)中定义的预言性质.我们证明了对于所有的$t\leq 1$自适应MM-Bridge估计器都可以具有预言性质。我们提出的估计的优点是通过广泛的模拟研究和一个真正的高维数据集的分析证明。
2015-10-16 math.ST stat.TH
A sufficient condition for penalized polynomial regression to be invariant to translations of the predictor variables
虽然转换预测变量的编码不会改变多项式最小二乘回归的拟合,但惩罚的多项式回归可能会受到影响。结果上的条款可以被惩罚,以保持不变性的翻译的编码已较早公布。在这个简短的说明中,提出了一个相应命题的推广,这需要一个更精确的数学框架。
2020-02-11 stat.ME
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归(MPR)建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反(例如,位置参数)。惩罚变量选择近年来受到了极大的关注:最小绝对收缩和选择算子(LASSO),平滑剪切绝对偏差(SCAD)和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此,在本文中,我们开发了惩罚多参数回归方法,并通过模拟研究和实际数据研究其相关性能;作为一个例子,我们考虑Weibull MPR模型。
2019-07-02 stat.ME
High-dimensional Censored Regression via the Penalized Tobit Likelihood
高维回归和具有左删失响应的回归都是研究得很好的主题。尽管如此,很少有方法已经提出了同时处理这两个并发症。Tobit模型--长期以来经济学中用于删失回归的标准方法--根本不适用于高维回归。为了填补这一空白,并把最新的技术从高维统计到高维左删失回归领域,我们提出了几个惩罚Tobit模型。提出了一种结合二次极小化和坐标下降的快速算法来计算惩罚Tobit解路径,理论上分析了Tobit lasso和带折叠凹惩罚的Tobit,给出了前者的$\ell_2$估计损失的界,证明了后者的局部线性逼近估计具有强预言性质.通过大量的模拟研究,我们发现我们的惩罚Tobit模型提供了更准确的预测和参数估计比其他方法。我们使用惩罚Tobit模型分析来自AIDS临床试验组的高维左删失HIV病毒载量数据,并识别HIV基因组中潜在的耐药突变。附录包含中间理论结果和技术证明。
2023-03-17 stat.ME
Cross validation approaches for penalized Cox regression
University of Iowa(爱荷华大学)
本文提出两种新的Cox回归交叉验证方法,通过模拟数据和肺癌生存研究数据验证其在性能和数值稳定性上的优势。
2019-05-24 stat.ME