Estimating the timing of stillbirths in countries worldwide using a Bayesian hierarchical penalized splines regression model
减少死产的全球负担对于改善儿童和孕产妇健康至关重要。人们感兴趣的是了解死产的时间模式-即死产是发生在产时还是产前-因为产时发生的死产在很大程度上是可以预防的。然而，世界各地关于死产时间的数据存在很大差异，低收入和中等收入国家通常很少有可靠的观察结果。在本文中，我们开发了一个贝叶斯惩罚样条回归框架，估计死产的比例是在世界各地的所有国家分娩。该模型考虑了与新生儿死亡率的已知关系，汇集了地理区域的信息，根据数据属性合并了不同的错误，并允许数据驱动的时间趋势。建议采用加权程序，以处理不具代表性的国家以下各级数据。结果表明，分娩期比例总体上随着时间的推移而下降，但在一些地区，特别是撒哈拉以南非洲，进展较慢。
2022-12-12 stat.AP
Least angle and $\ell_1$ penalized regression: A review
最小角度回归是变量选择应用程序中一种很有前途的技术，为逐步回归提供了一种很好的替代方法。它解释了LASSO（$\ell_1$ -惩罚回归）和前向逐步回归的类似行为，并提供了两者的快速实现。这个想法迅速流行起来，并引发了大量的研究兴趣。本文综述了最小角度回归方法及其研究现状。
2008-05-21 stat.ME stat.ML
A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression
本文提出大规模多元线性回归的自适应收缩先验经验贝叶斯方法，利用变分推断实现与 Lasso 相当的速度和竞争力精度，并揭示其后验均值对应数据驱动的惩罚回归。
2024-06-12 stat.ME stat.ML
Wild Residual Bootstrap Inference for Penalized Quantile Regression with Heteroscedastic Errors
本文考虑一类异方差回归模型，其中某些回归系数为零，但不知道哪些为零。惩罚分位数回归是分析这类数据的一种有效方法。通过允许不同的协变量与不同分位数水平的条件分位数函数建模相关，它提供了比均值回归更完整的响应变量条件分布的图像。现有的惩罚分位数回归的工作主要集中在点估计。虽然Bootstrap方法最近被证明是有效的惩罚平均回归的推断，他们不直接适用于惩罚分位数回归与异方差误差。我们证明了未惩罚分位数回归的一个野生残差自举过程对于逼近具有自适应$L_1$惩罚的分位数回归估计的分布是渐近有效的，并且一个修改的版本可以用来逼近$L_1$惩罚的分位数回归估计的分布.新方法不需要估计未知的误差密度函数。我们建立一致性，证明有限样本的性能，并说明了一个真实的数据例子的应用程序。
2018-07-20 stat.ME
A sufficient condition for penalized polynomial regression to be invariant to translations of the predictor variables
虽然转换预测变量的编码不会改变多项式最小二乘回归的拟合，但惩罚的多项式回归可能会受到影响。结果上的条款可以被惩罚，以保持不变性的翻译的编码已较早公布。在这个简短的说明中，提出了一个相应命题的推广，这需要一个更精确的数学框架。
2020-02-11 stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Inference in High Dimensions with the Penalized Score Test
近年来，关于惩罚回归技术（如套索）的变量选择一致性的理论有了相当大的发展。然而，在量化这些选择程序中的不确定性方面的工作相对较少。在本文中，我们提出了一种新的方法，在高维推理使用的分数测试的基础上惩罚回归。在这个测试中，我们对除了单个特征之外的所有特征执行结果的惩罚回归，并测试残差与保留特征的相关性。此过程依次应用于每个特征。有趣的是，当使用$\ell_1$惩罚时，套索的稀疏模式正好对应于基于所提出的测试的决策。此外，当使用$\ell_2$罚分时，该测试精确地对应于混合效应模型中的得分测试，其中除了一个特征之外的所有特征的效应都被假设为随机的。我们制定的假设被测试的每个功能，在简单的线性回归和多个线性回归的所有功能的零假设之间的妥协，并制定一些著名的处罚参考分布。我们还研究了真实和模拟数据的测试行为。
2014-05-19 stat.ME stat.ML
Modeling High-Dimensional Data with Unknown Cut Points: A Fusion Penalized Logistic Threshold Regression
在传统的逻辑斯谛回归模型中，通常假设预测变量的连接函数是线性的和连续的。在这里，我们考虑一个阈值模型，所有连续的功能被离散到有序的水平，进一步确定的二进制响应。阈值点和回归系数都是未知的，有待估计。对于高维数据，我们提出了一种融合惩罚逻辑阈值回归（FILTER）模型，其中融合套索惩罚用于控制总变异并将系数收缩为零作为变量选择的方法。在对未知阈值点估计的较弱条件下，建立了系数估计的非渐近误差界和模型选择的相合性。仔细表征的错误传播，我们还表明，基于树的方法，如CART，满足阈值估计条件。我们发现FILTER模型非常适合于使用体检数据对糖尿病等慢性疾病进行早期检测和预测的问题。我们所提出的方法的有限样本行为进行了探讨，并与广泛的蒙特卡罗研究，这支持我们的理论发现进行了比较。
2022-02-17 stat.ME stat.ML
A penalized logistic generalized regression estimator
Reed College（里德学院）；Bucknell University（巴克内尔大学）；Genospace
本文在模型辅助框架下提出一种惩罚逻辑广义回归估计量，结合Lasso或Ridge惩罚控制辅助变量影响，经模拟和实例验证可提高稀疏模型下估计效率，适用于含多辅助变量的复杂调查数据场景。
2026-09-01 stat.ME
PLUTO: Penalized Unbiased Logistic Regression Trees
我们提出了一个新的算法称为PLUTO建立逻辑斯谛回归树的二进制响应数据。PLUTO通过对样本空间的递归划分，可以捕捉到杂乱数据中的非线性和交互模式。它在每个分区中拟合简单或多重线性逻辑斯谛回归模型。PLUTO采用循环坐标下降法估计多个线性逻辑斯谛回归模型，并加入弹性网惩罚，这使得它能够有效地处理高维数据。树结构包括数据的图形描述。与逻辑斯谛回归模型一起，它提供了一个准确的分类器以及“成功”概率的分段平滑估计。PLUTO通过以下方式控制选择偏差：（1）将分离变量选择与分离点选择分开;（2）应用调整后的卡方检验来找到分离变量，而不是穷举搜索。采用自举校准技术来进一步校正选择偏差。在真实数据集上的比较表明，平均而言，多线性PLUTO模型比其他算法预测更准确。
2014-11-25 stat.ME stat.ML
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归（MPR）建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反（例如，位置参数）。惩罚变量选择近年来受到了极大的关注：最小绝对收缩和选择算子（LASSO），平滑剪切绝对偏差（SCAD）和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此，在本文中，我们开发了惩罚多参数回归方法，并通过模拟研究和实际数据研究其相关性能;作为一个例子，我们考虑Weibull MPR模型。
2019-07-02 stat.ME
Marginal false discovery rate control for likelihood-based penalized regression models
惩罚回归在高维数据分析中的流行导致了对这些模型的新推理工具的需求。错误发现率控制被广泛应用于高维假设检验，但最近才被认为是在惩罚回归的背景下。然而，几乎所有这些工作都集中在lasso惩罚的线性回归上。在本文中，我们得到了一个通用的方法来控制边际错误发现率，可以应用于任何惩罚似然模型，如逻辑斯谛回归和Cox回归。我们的方法是快速的，灵活的，可以使用各种惩罚函数，包括套索，弹性网，MCP和MNet。我们得出的理论结果，所提出的方法是有效的，并使用模拟研究表明，该方法是合理的鲁棒性，虽然略有保守，当这些假设被违反。尽管是保守的，我们表明，我们的方法往往提供更多的权力，选择因果关系的重要功能比现有的方法。最后，该方法的实际效用证明了基因表达数据集与二进制和时间到事件的结果。
2019-01-22 stat.ME
Mesh-Based Solutions for Nonparametric Penalized Regression
非参数估计回归函数常常是人们感兴趣的。惩罚回归（PR）是解决这个问题的一个非常有效的，经过充分研究的解决方案。不幸的是，在许多情况下，找到PR问题的精确解决方案在计算上是困难的。在这篇手稿中，我们提出了一个基于网格的近似解（MBS）的情况下。MBS将NPR的复杂函数最小化转换为有限参数的离散凸最小化，并允许我们利用现代凸优化的工具。我们展示了MBS在一些明确的例子（包括单变量和多变量回归）中的应用，并探讨了参数的数量必须如何随着样本大小的增加而增加，以便MBS保持NPR的速率最优性。我们还给出了一个有效的算法，以尽量减少MBS的目标，同时有效地利用在MBS固有的稀疏性。
2021-12-07 stat.CO stat.ME stat.ML
Robust penalized least squares of depth trimmed residuals regression for high-dimensional data
Michigan State University（密歇根州立大学）
针对高维数据中异常值易使惩罚回归崩溃的问题，提出基于深度截断残差最小平方和的稳健惩罚回归方法，实验证明其在估计和预测精度上优于现有方法。
2023-09-04 cs.LG stat.ME stat.ML
High-dimensional Censored Regression via the Penalized Tobit Likelihood
高维回归和具有左删失响应的回归都是研究得很好的主题。尽管如此，很少有方法已经提出了同时处理这两个并发症。Tobit模型--长期以来经济学中用于删失回归的标准方法--根本不适用于高维回归。为了填补这一空白，并把最新的技术从高维统计到高维左删失回归领域，我们提出了几个惩罚Tobit模型。提出了一种结合二次极小化和坐标下降的快速算法来计算惩罚Tobit解路径，理论上分析了Tobit lasso和带折叠凹惩罚的Tobit，给出了前者的$\ell_2$估计损失的界，证明了后者的局部线性逼近估计具有强预言性质.通过大量的模拟研究，我们发现我们的惩罚Tobit模型提供了更准确的预测和参数估计比其他方法。我们使用惩罚Tobit模型分析来自AIDS临床试验组的高维左删失HIV病毒载量数据，并识别HIV基因组中潜在的耐药突变。附录包含中间理论结果和技术证明。
2023-03-17 stat.ME
Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题（GEP）特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中，包括主成分分析（PCA）、多类线性判别分析（LDA）、典型相关分析（CCA）、充分降降维（SDR）和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标，我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法，称为惩罚正交迭代，提供了准确的估计的真实特征空间，当它是稀疏的。还提出了一种计算效率更高的替代方案，它适用于PCA和LDA问题。数值研究表明，所提出的算法是有竞争力的，我们的调整过程工作良好。我们展示了该算法的应用，以获得稀疏估计PCA，多类LDA，CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
Cross validation approaches for penalized Cox regression
University of Iowa（爱荷华大学）
本文提出两种新的Cox回归交叉验证方法，通过模拟数据和肺癌生存研究数据验证其在性能和数值稳定性上的优势。
2019-05-24 stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下，判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析（QDA）用于二元分类的变量选择。在相关变量的稀疏性假设下，我们进行了惩罚线性回归，通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数（CAP）将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应，并进行分类。与现有的QDA变量选择方法相比，大量的仿真研究和两个实际数据分析表明，本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
A Pathwise Coordinate Descent Algorithm for LASSO Penalized Quantile Regression
针对高维 LASSO 惩罚分位数回归，本文提出快速逐路径坐标下降算法，给出非光滑损失的精确逐坐标解并用随机扰动避免路径停滞，实验显示其速度显著提升且精度不变。
2025-02-17 stat.CO stat.ME stat.ML
Penalized angular regression for personalized predictions
个性化正在成为许多预测应用程序中的重要功能。我们引入了一种惩罚回归方法，在惩罚中固有地实现个性化。个性化角度（PAN）回归构造特定于产生预测的协变量向量的回归系数，从而个性化回归模型本身。这是通过在回归系数的超球面参数化中惩罚角度来实现的。对于一个正交设计矩阵，它表明，PAN估计是一个低维特征向量方程的解决方案。使用参数引导过程来选择调整参数，模拟表明PAN回归可以在预测误差方面优于普通最小二乘和岭回归。我们进一步证明，通过将PAN惩罚与$L_{2}$惩罚相结合，所得到的方法将具有比岭回归均匀更小的均方预测误差，渐近。最后，我们在一个医疗应用程序中演示了该方法。
2020-01-29 stat.ME
Penalized robust estimators in logistic regression with applications to sparse models
稀疏协变量在分类和回归问题中很常见，在这些情况下，变量选择的任务通常是令人感兴趣的。众所周知，稀疏统计模型对应于只有少量非零参数的情况，因此，它们比密集模型更容易解释。本文主要研究了逻辑斯谛回归模型，目的是研究回归参数的稳健惩罚估计。我们介绍了一个家庭的惩罚加权$M-$型估计的逻辑斯谛回归参数，对非典型数据是稳定的。我们探索了不同的惩罚函数，我们介绍了所谓的符号惩罚。这种新的惩罚的优点是，它只依赖于一个惩罚参数，避免任意的调谐常数。我们讨论的变量选择能力的建议，以及他们的渐近行为。通过数值研究，我们比较了有限样本性能的建议对应于不同的惩罚估计无论是鲁棒的或经典的，在不同的情况下。一个强大的交叉验证准则。两个真实数据集的分析，使调查的稳定性的惩罚估计的存在离群值。
2020-02-12 stat.ME
A Unified Algorithm for Penalized Convolution Smoothed Quantile Regression
惩罚分位数回归（QR）被广泛用于研究高维数据异质性下响应变量与预测变量之间的关系。与惩罚最小二乘法相比，由于惩罚QR的不可微分段线性损失函数，缺乏可扩展的拟合算法。为了克服平滑性的不足，最近提出的卷积型平滑方法带来了一个有趣的权衡统计精度和计算效率的标准和惩罚分位数回归。在本文中，我们提出了一个统一的算法来拟合惩罚卷积平滑分位数回归与各种常用的凸惩罚，伴随着R语言包征服可从综合R档案网络。我们进行了广泛的数值研究，以证明所提出的算法在统计和计算方面优于现有的方法的性能。我们通过在世界幸福数据上拟合融合的套索加性QR模型来进一步验证所提出的算法。
2022-05-05 stat.CO stat.ME
Macroeconomic Forecasting and Variable Selection with a Very Large Number of Predictors: A Penalized Regression Approach
本文研究了具有大量预测变量的折迭凹惩罚回归模型的宏观经济预测和变量选择问题。惩罚回归方法导致回归系数的稀疏估计，并且即使模型的维数远大于样本量也是适用的。本文的前半部分讨论了当模型表现出时间序列依赖性时，折叠凹惩罚回归的理论问题。特别地，我们证明了超高维时间依赖回归的预言不等式和预言性质。论文的后半部分使用两个激励实证应用程序显示了惩罚回归的有效性。第一个模型使用MIDAS回归框架，使用FRED-MD数据预测美国GDP，其中有1000多个协变量，而样本量最多为200。第二个研究如何以及惩罚回归筛选隐藏的投资组合，约40只股票从1800多个潜在的股票使用纽约证券交易所的股票价格数据。这两个应用程序表明，惩罚回归提供了显着的结果，在预测性能和变量选择。
2017-03-05 math.ST stat.AP stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University（西蒙菲莎大学）
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题，提出log-F惩罚条件逻辑回归方法，其在模拟中表现出与Firth方法相当的置信区间覆盖率，且均方误差更低。
2026-08-03 stat.ME
Penalized Weighted Least Squares for Outlier Detection and Robust Regression
为了对含有异常值的数据进行回归分析，已经提出了许多同时进行异常值检测和稳健回归的方法，本文提出的方法也是如此。这种新方法被称为“惩罚加权最小二乘”（PWLS）。通过为每个观察分配单独的权重并在权重向量的对数变换上引入套索类型的惩罚，PWLS能够同时执行离群值检测和鲁棒回归。一个贝叶斯的PWLS的观点，它表明，PWLS可以被看作是一个例子的M-估计。提出了两种选择PWLS调谐参数的方法。PWLS的性能通过仿真和实际应用证明。
2016-03-24 stat.ME
Penalized Interaction Estimation for Ultrahigh Dimensional Quadratic Regression
二次回归超越了线性模型，同时包含主效应和协变量之间的相互作用。高维二次回归中的交互作用估计问题在过去的十年中受到了广泛的关注。在这篇文章中，我们介绍了一种新的方法，使我们能够估计的主要影响和相互作用分开。与现有的二维二次回归方法不同，我们的建议不需要广泛使用的遗传假设。此外，我们提出的估计有明确的公式，并遵守在总体水平上的不变性原则。在惩罚凸损失函数下，我们估计了矩阵形式的相互作用。即使协变量维数是样本量的指数级，所得估计值也是一致的。我们开发了一个有效的ADMM算法来实现惩罚估计。这种ADMM算法充分利用了矩阵乘法的廉价计算成本，比现有的惩罚方法，如所有对LASSO更有效。我们证明了我们的建议，通过广泛的数值研究有前途的性能。
2019-01-22 stat.ME
Nonconvex penalized multitask regression using data depth-based penalties
我们提出了一类新的非凸罚函数，基于数据深度函数，多任务稀疏惩罚回归。这些罚分量化了系数矩阵的行相对于以原点为中心的固定分布的相对位置。利用罚函数的局部线性逼近，推导了系数矩阵的近似一步稀疏估计的理论性质，并给出了计算算法。对于正交设计和独立响应，所得到的阈值规则具有接近极小极大的最优风险性能，类似于自适应套索（Zou，2006）。仿真研究和实际数据分析表明，该方法的有效性相比，目前的一些方法，提供稀疏的解决方案，多元回归。
2017-06-23 stat.ME
Modified Cross-Validation for Penalized High-Dimensional Linear Regression Models
本文针对高维环境下Lasso惩罚线性回归模型，提出了一种改进的交叉验证法来选择惩罚参数。该方法被扩展到其他惩罚，如弹性网。我们进行了广泛的模拟研究和实际数据分析，比较性能的修改后的交叉验证方法与其他方法。结果表明，流行的$K$折叠交叉验证方法包括许多噪声变量在选定的模型，而修改后的交叉验证工作在很宽的范围内的系数和相关设置。包含计算机代码的补充材料可在网上获得。
2013-09-09 stat.ME
Penalized Likelihood Regression in Reproducing Kernel Hilbert Spaces with Randomized Covariate Data
经典的惩罚似然回归问题处理的情况下，独立的变量数据是确切已知的。然而，在实践中，观察具有不完整协变量信息的数据是常见的。我们关注的是一个非常重要的情况，其中一些观测值并不代表确切的协变量信息，而只是一个概率分布。在这种情况下，最大惩罚似然法仍然可以用来估计回归函数。我们首先证明了极大惩罚似然估计在一个温和的条件下存在。在计算中，我们提出了一个降维技术，以尽量减少惩罚的可能性，并推导出一个广义近似交叉验证（GACV）选择平滑参数。我们的方法被扩展到处理更复杂的不完全数据问题，如协变量测量误差和部分缺失的协变量。
2010-08-02 stat.AP stat.ME
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下，利用经验过程的集中不等式，首次证明了两个偏回归系数的Lasso估计的预言不等式。此外，由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后，仿真和实际数据分析表明，新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge
本文提出了一种新的可扩展稀疏Cox回归工具，用于稀疏高维海量样本量（sHDMSS）生存数据。该方法是通过重复执行重新加权的$L_2$-惩罚Cox回归的局部$L_0$-惩罚Cox回归。我们发现，由此产生的估计享有最好的$L_0$ -和$L_2$ -惩罚Cox回归，同时克服其局限性。具体而言，估计量是选择一致的，参数估计的预言，并具有高度相关的协变量的分组属性。仿真结果表明，当样本量较大时，所提出的方法与预先指定的调整参数具有可比或更好的性能比一些流行的惩罚回归方法。更重要的是，因为该方法自然地使得能够适应用于大规模$L_2$惩罚优化的有效算法，并且不需要昂贵的数据驱动的调谐参数选择，所以它对于sHDMSS数据具有显著的计算优势，在经验研究中提供了超过其最接近的竞争对手的平均5倍加速。
2018-07-25 stat.ME
Optimal Estimation of Brownian Penalized Regression Coefficients
本文介绍了一种确定惩罚函数回归最优系数的新方法。我们假设因变量、自变量和回归系数都是时间的函数，误差动力学遵循随机微分方程。首先，我们构造我们的目标函数作为一个时间相关的残差平方和，然后最小化它相对于回归系数受到不同的误差动态，如LASSO，组LASSO，融合LASSO和三次平滑样条。然后利用Feynman型路径积分方法确定了一个包含系统全部信息的薛定谔型方程。使用关于这些系数的一阶条件，我们可以得到它们的封闭形式解。
2021-07-05 math.OC stat.ME
Retire: Robust Expectile Regression in High Dimensions
由于异方差或协变量效应的不齐性，高维数据通常会显示异质性。惩罚分位数和期望回归方法为高维数据的异方差检测提供了有用的工具。前者由于校验丢失的非平滑性质而在计算上具有挑战性，而后者对重尾误差分布敏感。在本文中，我们提出和研究（惩罚）鲁棒期望回归（退休），重点是迭代加权$\ell_1$ -惩罚，减少估计偏差从$\ell_1$ -惩罚，并导致预言的性质。在理论上，我们建立了退休估计在两种状态下的统计性质：（i）低维状态，其中$d \ll n$ ;（ii）高维状态，其中$s\ll n\ll d$和$s$表示显著预测变量的数量。在高维环境中，我们仔细地描述了迭代重加权$\ell_1$ -惩罚退休估计的解路径，该估计来自折叠凹正则化的局部线性近似算法。在一个温和的最小信号强度的条件下，我们表明，经过尽可能多的$\log(\log d)$迭代的最后的迭代享有预言收敛速度。在每一步迭代中，加权$\ell_1$ -惩罚凸规划可以用半光滑牛顿坐标下降算法有效地求解。数值研究表明，所提出的程序相比，无论是非鲁棒或分位数回归为基础的替代品的竞争力表现。
2023-03-22 stat.ME stat.ML
Penalized MM Regression Estimation with $L_{γ}$ Penalty: A Robust Version of Bridge Regression
桥式回归估计推广了岭回归和LASSO估计。由于它以$L_{γ}$惩罚最小化残差平方和，因此该估计量通常对数据中的离群值不稳健。已经有人尝试定义桥回归方法的鲁棒版本，但是虽然这些方法产生对离群值和重尾误差鲁棒的桥回归估计，但是它们对杠杆点不鲁棒。我们提出了一个强大的桥梁回归估计方法结合MM和桥梁回归估计方法。从所提出的方法得到的MM桥回归估计是强大的离群值和杠杆点。此外，通过适当选择惩罚函数，该方法能够同时进行变量选择和参数估计。实现了MM桥式回归估计的一致性、渐近正态性和稀疏性。我们提出了一个算法来计算MM桥回归估计。仿真研究和实际数据的例子来证明有限样本情况下的MM桥回归估计的性能。
2015-11-25 stat.ME
Penalized regression with multiple loss functions and selection by vote
本文考虑高维数据场景中的线性模型。我们提出了一个过程，使用多个损失函数来选择相关的预测和参数估计，并研究其渐近性质。变量选择是通过一个名为“投票”的过程进行的，该过程汇总了惩罚损失函数的结果。使用多个目标函数分别简化算法，并允许并行计算，这是方便和快速的。作为一个特殊的例子，我们考虑一个分位数回归模型，它最佳地结合了多个分位数水平。我们证明了所得到的参数向量的估计是渐近有效的。仿真和数据应用证实了我们的方法的三个主要优点：（a）降低变量选择的错误发现率;（b）提高参数估计的质量;（c）提高计算效率。
2020-06-29 stat.ME
Inference for penalized spline regression: Improving confidence intervals by reducing the penalty
惩罚样条回归是一种常用的散点图平滑方法，但如何构造惩罚样条拟合的置信区间一直存在争议。由于惩罚，拟合的平滑曲线是目标函数的有偏估计。许多方法，包括贝叶斯区间和简单移位偏差减少，已被提出来提升置信区间的覆盖率，但这些方法通常不能充分改善预测值的情况下，函数是急剧弯曲。在本文中，我们开发了一种新的方法来提高置信区间，使用更小的平滑强度比样条拟合。通过仔细选择平滑强度的减少量，置信区间实现了几乎标称的覆盖范围，而不会过宽或波动。通过仿真实验研究了该方法的覆盖性能，并与Hodges（2013）和Kuusela和Panaretos（2015）提出的偏差校正技术进行了比较。
2017-06-02 stat.ME
Penalized spatial function-on-function regression
Marmara University（马尔马拉大学）；Macquarie University（麦考瑞大学）
本文提出了一种带有惩罚的空间函数-函数回归模型，通过引入B-样条张量积的粗糙度惩罚，提高空间依赖数据的估计精度和预测性能。
2025-11-28 stat.ME
Nonconcave Penalized Spline
回归样条是非参数回归中的一种有用工具。然而，找到最佳的节点位置是一个已知的困难的问题。在本文中，我们介绍了非凹惩罚回归样条。该方法不仅能产生具有最佳收敛速度的光滑样条，而且能同时自适应地选择最优节点。它对原始节点的数量不敏感。仿真结果表明，该方法具有较好的性能。研究了非凹回归样条函数中光滑参数即惩罚参数的选取问题。
2012-09-10 stat.CO stat.ME
Ultrahigh-dimensional Robust and Efficient Sparse Regression using Non-Concave Penalized Density Power Divergence
我们提出了一种基于非凹惩罚密度功率发散损失函数的稀疏回归方法，该方法在非常高维的情况下对无穷小污染具有鲁棒性。现有的稀疏鲁棒回归方法都是基于$\ell_1$ -惩罚的，其理论性质还没有得到很好的研究。相比之下，我们使用一个通用类的折叠凹罚，确保稀疏恢复和一致的估计回归系数。我们提出了一个交替算法的凹凸过程的基础上获得我们的估计，并证明其鲁棒性使用影响函数分析。在一定的固定设计矩阵和罚函数条件下，证明了该估计在超高维情形下具有大样本预言性质。通过仿真研究证明了我们所提出的参数估计和预测方法的性能和有效性。
2020-07-28 stat.ME
An Investigation of Methods for Handling Missing Data with Penalized Regression
我们研究的方法，惩罚回归存在缺失的意见。本文介绍了一种补偿观测值缺失的参数估计方法。我们首先推导出目标函数关于缺失数据的无偏估计量，然后修改准则以确保凸性。最后，我们将我们的方法扩展到一个包含均值插补方法的模型家族。这些方法进行了比较，平均插补方法，最简单的方法之一，用于处理缺失观测问题，通过模拟。我们还研究了当测试集中有缺失值时进行预测的问题。
2013-10-08 stat.AP stat.ME
penalizedclr: an R package for penalized conditional logistic regression for integration of multiple omics layers
本研究推出R包penalizedclr，实现支持分块惩罚、L1/L2惩罚及稳定性选择的带惩罚条件逻辑回归，适配多源组学匹配病例对照研究，填补相关高维分析软件空白。
2024-02-02 stat.CO stat.ME
Simultaneously detecting spatiotemporal changes with penalized Poisson regression models
本研究提出基于Poisson回归模型的双重融合惩罚方法，通过迭代收缩阈值算法同时检测时空计数数据的变点与空间聚类，并验证了其统计一致性与优越性能。
2025-05-01 stat.ME
Sparse Quantile Regression
我们考虑$\ell _{0}$ -惩罚和$\ell _{0}$ -约束的分位数回归估计.对于$\ell _{0}$ -惩罚估计，我们导出了超额分位数预测风险尾概率的指数不等式，并应用它得到了均方参数和回归函数估计误差的非渐近上界.我们还推导出类似的结果为$\ell _{0}$约束估计。由此产生的收敛速度几乎是最小最大最优的和相同的$\ell _{1}$ -惩罚和非凸惩罚估计。此外，我们表征预期的汉明损失的$\ell _{0}$惩罚估计。我们通过混合整数线性规划和一个更具可扩展性的一阶近似算法来实现所提出的过程。我们说明了我们的方法在蒙特卡罗实验中的有限样本性能和它的实用性，在一个真正的数据应用有关的婴儿出生体重的共形预测（与$n\approx 10^{3}$和$p>10^{3}$）。总之，我们的$\ell _{0}$为基础的方法产生一个更稀疏的估计比$\ell _{1}$惩罚和非凸惩罚的方法，而不影响精度。
2023-03-29 econ.EM stat.ME
Linear Shrinkage Convexification of Penalized Linear Regression With Missing Data
针对含缺失数据的惩罚线性回归中协方差矩阵非正定、损失函数非凸的问题，提出线性收缩正定（LPD）修正方法，通过修改协方差矩阵实现凸化，理论证明其收敛性并在GDSC数据集验证了有效性。
2025-04-18 stat.ME
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1（lasso）惩罚似然模型（包括广义回归模型）的后选择推断方法。我们的方法概括了Lee et al（2014）提出的选择后框架。该方法提供了渐进有效的p值和置信区间，条件是套索完成的固有选择。我们目前的应用这项工作（正规化）逻辑斯谛回归，Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Penalized Fair Regression for Multiple Groups in Chronic Kidney Disease
Department of Health Policy, Stanford University（健康政策系，斯坦福大学）；Stanford University（斯坦福大学）；Department of Epidemiology and Population Health, Stanford University（流行病学与人口健康系，斯坦福大学）
本文提出了一种针对多重群体慢性肾病的惩罚公平回归方法，通过优化公平性与准确性，提升了不同种族和民族群体在医疗决策中的公平性。
2026-10-23 cs.CY cs.LG stat.AP
Identifiability in penalized function-on-function regression models
具有函数响应和协变量的回归模型构成了一个功能强大且日益重要的模型类。然而，回归功能数据提出了众所周知的和具有挑战性的问题的不可识别性。这种不可识别性可以表现在任意大的误差系数表面估计，尽管准确的预测的响应，从而无效的拟合模型的实质性解释。我们提供了一个可访问的改写这些可识别性问题的惩罚线性函数函数回归的实际应用，并划定了一组情况下，他们可能会发生在实践中。具体而言，如果函数协变量的经验协方差具有与样条估计器的粗糙度惩罚重叠的核，则在系数表面上的平滑假设下持续存在的不可识别性可能发生。广泛的模拟研究验证了理论见解，探索问题的程度，并允许我们在不同的假设下评估其实际后果的数据生成过程。最后通过一个案例说明了该问题的现实意义。基于理论考虑和我们的经验评估，我们提供了立即适用的诊断缺乏可识别性，并给出建议，以避免在实践中的估计工件。
2016-02-19 stat.ME
On resampling methods for model assessment in penalized and unpenalized logistic regression
惩罚逻辑斯谛回归方法经常被用来研究二元结果和一组解释变量之间的关系。模型性能可以通过一致性统计量（c-统计量）、区分斜率和Brier评分等指标进行评估。通常，数据重新分配技术，例如交叉验证，用于纠正这些模型性能标准中的乐观情绪。特别是对于小样本或罕见的二元结果变量，留一交叉验证是一种流行的选择。通过模拟和一个实际数据的例子，比较了不同的恢复技术对逻辑斯谛回归模型的三种估计，包括极大似然估计和两种最大惩罚似然估计的c-统计量、判别斜率和Brier分数的估计的影响.我们的模拟研究证实了早期的研究报告，留一交叉验证的c-统计量可以强烈偏向于零。此外，我们的研究表明，这种偏差是更明显的估计收缩预测概率对观察到的事件发生率，如岭回归。留一交叉验证也提供了悲观估计的歧视斜率，但几乎无偏估计的Brier评分。我们建议使用留对交叉验证、重复的五重交叉验证、增强或.632+自助法来估计c统计量，并使用留对或五重交叉验证来估计辨别斜率。
2021-01-19 stat.ME
A provable two-stage algorithm for penalized hazards regression
从优化器的角度来看，实现一般非凸问题的全局最优值通常是NP-难的，使用经典的最坏情况分析。在Cox比例风险模型的情况下，考虑到其统计模型的结构，我们确定了局部强凸附近的全局最优值，我们提出了使用两个凸计划来优化折叠凹惩罚Cox比例风险回归。在理论上，我们调查的统计和计算的权衡所提出的算法，并建立强预言性质的估计。数值研究和实际数据分析进一步支持了我们的算法和理论。
2021-07-06 math.ST stat.ME stat.TH
Robust penalized estimators for functional linear regression
函数数据分析是统计学中一个快速发展的分支。流行的函数线性模型的估计过程要么缺乏鲁棒性，要么计算负担沉重。为了解决这些缺点，一个灵活的家庭惩罚低秩估计的基础上提出了一个有界损失函数。在弱正则条件下，证明了所提出的估计类是相容的，并且在预测误差方面具有很高的收敛速度。这些结果可以推广到更高的维度下类似的假设。有限样本性能的估计量的建议家庭的Monte Carlo研究表明，这些估计达到高效率，同时提供保护，防止离群值。所提出的估计相比，有利的现有方法的强大以及非强大的替代品。在一个复杂的真实数据集上的实验结果也表明了该方法的良好性能。
2021-08-26 stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程，使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计，同时选择重要的解释变量。基于估计方程的二次近似，构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则（AIC）的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的，我们引入了强大的版本，这些信息标准的基础上，我们提出的方法。仿真研究表明，鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析，验证了该方法的有效性.
2019-12-29 stat.ME
Maximum softly-penalized likelihood for mixed effects logistic regression
已知在具有混合效应的逻辑斯谛回归中的极大似然估计经常导致在参数空间的边界上的估计。此类估计值包括固定效应的无限值和奇异或无限方差分量，可能会对数值估计过程和推断造成严重破坏。我们在对数似然函数或其近似值中引入了适当缩放的加性惩罚，该函数通过不含随机效应的模型的Jeffreys不变先验惩罚固定效应，并通过负Huber损失函数的组合惩罚方差分量。由此产生的最大惩罚似然估计位于内部的参数空间。适当的惩罚尺度保证惩罚足够软，以保持极大似然估计所期望的最佳渐近性质，即一致性，渐近正态性和Cramér-Rao效率。我们选择的惩罚和比例因子在模型参数（如对比度）的线性变换下保持了固定效应估计值的等方差。最大软惩罚似然竞争的方法相比，两个真实数据的例子，并通过全面的模拟研究，说明其优越的有限样本性能。
2023-02-02 stat.ME
Optimal Penalized Function-on-Function Regression under a Reproducing Kernel Hilbert Space Framework
许多科学研究收集的数据中，响应变量和预测变量都是时间、位置或其他协变量的函数。了解这些函数变量之间的关系是这些研究的共同目标。从两个实际例子出发，本文提出了一个函数对函数回归模型，可以用来分析这类函数数据。我们的2D系数函数的估计是一种惩罚最小二乘形式的优化器，其中惩罚对估计器施加一定程度的平滑性。我们的第一个结果是表示定理，该定理指出，精确的优化的惩罚最小二乘实际上驻留在一个数据自适应有限维子空间，虽然优化问题是定义在一个函数空间的无限维。这个定理，然后允许我们很容易地将高斯积分到优化的惩罚最小二乘，这可以通过标准的数值程序进行。我们还表明，我们的估计实现了极小极大收敛速度的均值预测的框架下的功能回归。广泛的模拟研究表明，我们的方法比现有的，其中还引入了稀疏的功能数据扩展的数值优势。所提出的方法，然后应用到我们的激励的基准加拿大天气数据和组蛋白调节研究的例子。
2019-02-10 stat.ME
Penalized Euclidean Distance Regression
针对预测变量数远大于观测值数的线性回归问题，提出了一种新的变量筛选、选择和预测方法。该方法涉及最小化惩罚的欧几里德距离，其中惩罚是回归系数的$\ell_1$和$\ell_2$范数的几何平均值。这种特殊的配方表现出分组效应，这是有用的筛选出预测在更高或超高维的问题。此外，一个重要的结果是信号恢复定理，它不需要估计的噪声标准差。通过模拟研究和分析黑色素瘤患者的质谱扫描数据集，获得了良好的预测性能的变量选择和预测的实际性能进行评估。
2017-09-12 math.ST stat.ME stat.TH
