A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression
本文提出大规模多元线性回归的自适应收缩先验经验贝叶斯方法，利用变分推断实现与 Lasso 相当的速度和竞争力精度，并揭示其后验均值对应数据驱动的惩罚回归。
2024-06-12 stat.ME stat.ML
Simple one-pass algorithm for penalized linear regression with cross-validation on MapReduce
在本文中，我们提出了一个一遍MapReduce算法的惩罚线性回归\[f_λ(α, β) = \|Y - α\mathbf{1} - Xβ\|_2^2 + p_λ(β)\]其中$α$是截距，可以根据应用省略; $β$是系数和$p_λ$是惩罚函数与惩罚参数$λ$。$f_λ(α, β)$包括有趣的类，如Lasso，岭回归和弹性网络。与最新的需要多个MapReduce作业的迭代分布式算法相比，我们的算法实现了巨大的性能提升;此外，我们的算法与并行随机梯度下降等近似算法相比是精确的。此外，我们的算法区别于其他人的是，它训练模型的交叉验证选择最佳的$λ$，而不是用户指定的。关键词：惩罚线性回归，lasso，弹性网络，岭，MapReduce
2016-04-14 cs.DC cs.LG stat.ML
Penalized Q-Learning for Dynamic Treatment Regimes
动态治疗方案有效地结合了专门设计的临床试验的累积信息和长期治疗效果。随着这些与来自临床研究的纵向数据结合变得越来越流行，最佳动态治疗方案的统计推断的发展是高度优先的。由于处理效应参数中的非线性引起的困难，这是非常具有挑战性的。在本文中，我们提出了一个新的强化学习框架称为惩罚Q学习（PQ学习），在此框架下，可以解决非线性和有效的统计推断建立。我们还提出了一个新的统计过程-个人选择-和相应的方法，将个人选择PQ学习。广泛的数值研究，提出了与现有的方法相比，在各种非常规的情况下，所提出的方法是inconvenient和计算上的优势。所提出的方法证明了抑郁症的临床试验研究的数据。
2011-08-26 stat.ME
Dealing with separation problem in hidden Markov models with covariates based on a penalized maximum likelihood approach
本文提出惩罚最大似然方法解决带协变量隐马尔可夫模型中的潜在状态分离问题，并通过交叉验证联合选择隐藏状态数与惩罚强度，在模拟和脊髓麻醉低血压纵向数据中验证了其估计精度与模型潜力。
2025-07-03 stat.ME
Revisiting Penalized Likelihood Estimation for Deterministic Computer Experiments
NC State University（北卡罗来纳州立大学）；Virginia Tech（弗吉尼亚理工大学）
研究高斯过程中惩罚似然估计问题，引入基于马氏距离的“去相关预测误差”交叉验证度量，该度量在无需惩罚时与标准 MLE 相当，正则化有益时优于传统度量，能更可靠地选择调优参数。
2026-07-21 stat.ME
Cross Validation for Penalized Quantile Regression with a Case-Weight Adjusted Solution Path
针对惩罚分位数回归交叉验证计算量大、近似方案在极端分位数效果差的问题，提出基于案例权重调整解路径的精确留一交叉验证算法，借助同伦技术高效计算，还能考察案例影响，在实际应用中验证了实用性。
2024-11-27 stat.CO stat.ME
Interval Estimation of Coefficients in Penalized Regression Models of Insurance Data
本文针对保险数据中零膨胀半连续损失建模，研究了广义线性模型在特征选择后系数的区间估计方法，通过纠正 lasso 估计偏差来克服传统推断过于乐观的问题，从而获得有效的置信区间。
2025-07-15 stat.ME stat.ML
Asymptotics for penalized spline estimators in quantile regression
分位数回归预测$τ$ -给定$τ\in(0,1)$解释变量的响应变量条件分布的分位数。本文的目的是建立罚样条方法所得到的分位数估计量的渐近分布。模拟和实际数据的探索进行验证我们的结果。
2012-09-06 math.ST stat.TH
$\ell_1$-penalized Multinomial Regression: Estimation, inference, and prediction, with an application to risk factor identification for different dementia subtypes
针对高维多项逻辑回归模型统计推断研究不足的问题，本研究扩展去偏方法至该模型，提供有效置信区间与$p$值，验证模型误设等场景下的稳健性，模拟及痴呆亚型应用显示其优于其他推断方法。
2024-08-26 stat.AP stat.ME
Numerical performance of Penalized Comparison to Overfitting for multivariate kernel density estimation
核密度估计是涉及需要由用户调谐的平滑参数（带宽）的公知方法。虽然这种方法已被广泛使用的带宽选择仍然是一个具有挑战性的问题，在平衡算法性能和统计相关性。本文的目的是比较最近开发的核密度估计的带宽选择方法，目前常用的（至少是那些在R-包中实现）。这种新方法被称为惩罚性过拟合比较（PCO）。它已经提出了一些作者的本文在以前的工作，致力于其统计相关性从纯理论的角度来看。它是比较其他常用的带宽选择方法的单变量和多变量核密度估计的基础上，密集的模拟研究。特别是，交叉验证和插件的标准进行了数值研究，并比较PCO。结果表明，PCO可以在不增加算法成本的情况下优于经典方法。
2019-02-04 math.ST stat.ME stat.TH
On Neighbourhood Cross Validation
University of Edinburgh（爱丁堡大学）
本文提出高效计算和优化二次惩罚损失模型交叉验证准则的方法，使超参数估计成本降至单次模型拟合量级，首次让留出邻域交叉验证可用于处理未建模短程自相关并量化不确定性。
2025-11-05 stat.CO stat.ME
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断，建立惩罚估计误差界与去偏估计的 Bahadur 表示，并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME
Cross-Validation in Penalized Linear Mixed Models: Addressing Common Implementation Pitfalls
针对惩罚线性混合模型处理相关高维数据时直接沿用独立数据调参方法的问题，本文提出正确的交叉验证实现以规避常见陷阱，并以证明、模拟和真实数据验证其有效性。
2025-03-18 stat.ME
Penalized estimation for non-identifiable models
对于可辨识性可能破坏且参数真值位于参数空间边界上的奇异模型，我们得到了惩罚估计的渐近性质。估计量的选择一致性也得到了验证。真值落在边界上的问题，除了惩罚估计和非遍历统计量外，我们以前的结果也适用于奇异模型。为了克服不可识别性，我们考虑了一个合适的惩罚，如非凸桥和自适应Lasso，稳定估计的渐近行为和收缩非活动参数。然后，估计器收敛到所有真值中最简约的值之一。特别地，即使奇异模型的参数结构如此复杂，使得用于模型选择的似然比检验执行起来是劳动密集型的，也可以获得预言性质。在许多潜在的应用中，本文中处理的例子是：（i）参数比例风险模型的叠加和（ii）具有多共线性协变量的强度的计数过程。
2023-01-22 math.ST stat.TH
Cross validation approaches for penalized Cox regression
University of Iowa（爱荷华大学）
本文提出两种新的Cox回归交叉验证方法，通过模拟数据和肺癌生存研究数据验证其在性能和数值稳定性上的优势。
2019-05-24 stat.ME
Valid post-correction inference for censored regression problems
在科学和工程的许多领域，经常需要两步估计来拟合截尾回归模型。由于删失会在朴素最小二乘拟合中产生偏倚，因此两步估计器首先估计偏倚，然后拟合校正的线性模型。我们开发了一个框架，用于执行有效的/校正后的推断/两步估计。利用最近的结果后选择推理，我们得到有效的置信区间和显着性检验的拟合系数。
2014-03-13 stat.ME
A penalized empirical likelihood method in high dimensions
本文提出了一种惩罚经验似然（PEL）方法，用于当观测数据维数的增长速度可能快于样本量时对总体均值的推断。在观测值的不同分量依赖结构下，即（i）非遍历，（ii）长程依赖和（iii）短程依赖，导出了PEL比统计量的渐近分布.由此可见，建议的PEL比统计量的极限分布可以根据相关结构而变化很大，并且它通常不同于固定和有限维情况下经验似然比统计量的通常卡方极限。提出了一种统一的基于子采样的校准，并在所有三种情况下建立了其有效性，（i）-（iii）。有限样本的性质的方法进行了研究，通过模拟研究。
2013-02-27 math.ST stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
A penalized online sequential test of heterogeneous treatment effects for generalized linear models
提出惩罚在线序贯检验（POST）方法，在广义线性模型中同时识别异质性处理效应并选择协变量，实现高检测功效与错误率控制。
2024-09-24 stat.ME
A penalized exponential risk bound in parametric estimation
本文提出了一种新的统一方法来研究拟似然法参数估计的精度。该方法的重要特征是：（1）基础模型{不假设是参数的}。(2)不需要参数可识别性的条件。参数集可以是无界的。(3)模型假设是相当一般的，没有具体的结构性假设，如独立或弱依赖的观察。对模型施加的条件非常温和，在特定应用中可以很容易地检查。(4)所建立的风险界是{非渐近}的，并适用于大，中，小样本。(5)主要结果是准极大似然估计的浓度属性，给出了所考虑的估计偏离“真”点的小邻域的概率的非渐近指数界。在轻度正则性条件下的标准情况下，通常的一致性和速率结果可以很容易地从已建立的风险界得到推论。以广义线性模型和单指标模型为例说明了方法和结果。
2009-03-10 math.ST stat.TH
Penalized estimation of GEV parameters for extreme quantile regression
Université Le Havre Normandie, Normandie Univ.（勒阿弗尔诺曼底大学）
本文提出基于GEV分布和广义随机森林的惩罚似然方法，解决高概率分位数回归中的尾部外推难题和高维预测变量复杂结构问题。
2026-03-25 math.PR math.ST stat.TH
Shrinkage invalidates the Hosmer-Lemeshow test: goodness of fit for penalized logistic regression, with an application to glaucoma diagnosis
Alexandria University（亚历山大大学）
惩罚逻辑回归下Hosmer-Lemeshow检验因收缩失效，提出收缩校正版本，并在青光眼诊断中显示模型需重新校准而非重建。
2026-09-09 stat.AP stat.CO stat.ME
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型（GAM）是一种成熟的统计工具，用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中，P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间，通过考虑一个确定性的基于网格的策略或马尔可夫链采样器，根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量，这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算，即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验，建议的方法具有良好的统计特性。通过不同的模拟场景，拉普拉斯P样条模型的性能得到证实，并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
L1-Penalized Quantile Regression in High-Dimensional Sparse Models
我们考虑中位数回归，更一般地说，在高维稀疏模型的分位数回归的可能无限的集合。在这些模型中，回归量$p$的总数非常大，可能大于样本量$n$，但这些回归量中只有$s$对响应变量的条件分位数具有非零影响，其中$s$的增长速度慢于$n$。我们考虑分位数回归惩罚的$\ell_1$ -范数的系数（$\ell_1$ -QR）。首先，我们证明了$\ell_1$ -QR在速率$\sqrt{s/n} \sqrt{\log p}$上是一致的。回归变量$p$的总数仅通过$\log p$因子影响速率，因此零影响回归变量的数量几乎呈指数增长性增长。速率结果在相对弱的条件下成立，要求$s/n$以超对数速度收敛到零，并且正则化参数满足某些理论约束。其次，我们提出了一个关键的，数据驱动的正则化参数的选择，并表明它满足这些理论约束。第三，我们表明，$\ell_1$ -QR正确地选择真正的最小模型作为一个有效的子模型，当非零系数的真实模型是从零分离。我们还证明了$\ell_1$ -QR中非零系数的个数与$s$具有相同的随机序.第四，我们分析了两步估计的收敛速率，该估计将普通分位数回归应用于所选模型。第五，我们评估的性能$\ell_1$ -QR在蒙特卡洛实验，并说明其使用的国际经济增长的应用。
2019-09-26 econ.EM math.PR math.ST
Bayesian power spectral density estimation for LISA noise based on penalized splines with a parametric boost
The University of Auckland（奥克兰大学）；Auckland University of Technology（奥克兰理工大学）；Université Côte d’Azur, Observatoire de la Côte d’Azur, Artemis, CNRS（蔚蓝海岸大学，蔚蓝海岸天文台，Artemis，法国国家科学研究中心）
本文提出一种贝叶斯方法，利用惩罚样条和参数模型结合，准确估计长时序噪声功率谱密度，适用于LISA数据分析，减少误差并提高精度。
2026-03-25 astro-ph.IM gr-qc physics.comp-ph
Penalized Network Cross-Validation for Nested Models by Edge-Sampling
Yau Mathematical Sciences Center, Tsinghua University（丘成桐数学科学中心）；Tsinghua University（清华大学）；Qiuzhen College（求真学院）
针对嵌套网络模型选择中跨类别比较的理论不足问题，提出惩罚边采样交叉验证框架，为SBMs、DCBMs等模型选择提供一致性保证，实证显示其性能稳定准确。
2026-08-11 stat.ME
Tuning Parameter Selection for Penalized Estimation via $R^2$
惩罚估计的调整参数选择策略对于识别既可解释又可预测的模型至关重要。然而，流行的策略（例如，通过交叉验证使平均平方预测误差最小化）倾向于选择具有比所需更多的预测因子的模型。本文提出了一种简单而强大的交叉验证策略，基于最大化观测值和预测值之间的平方相关性，而不是最小化平方误差损失的目的，支持恢复。该策略可以适用于所有惩罚最小二乘估计，我们表明，在一定条件下，度量隐含地执行偏差调整。特别注意的是拉索估计，我们的策略是密切相关的放松拉索估计。我们展示了我们的方法上的功能变量选择问题，以确定最佳位置的表面肌电传感器控制机器人手假肢。
2022-11-09 stat.ME
Reduced Rank Vector Generalized Linear Models for Feature Extraction
监督线性特征提取可以通过拟合降秩多变量模型来实现。本文研究了秩惩罚和秩约束向量广义线性模型。从阈值规则的角度，我们建立了奇异值惩罚模型的拟合框架，并将其用于特征提取。通过解决问题的秩约束形式，我们提出了渐进的特征空间约简，以实现高维度的快速计算，同时性能损失很小。提出了一种新的投影交叉验证的参数调整在这样的非凸设置。实际数据的应用表明，该方法在监督降维和特征提取的权力。
2012-05-09 stat.ML
Variable selection via penalized credible regions with Dirichlet-Laplace global-local shrinkage priors
基于惩罚可信域的贝叶斯变量选择方法将模型拟合和变量选择分离。其思想是在联合后验可信区域内搜索稀疏解。虽然这种方法是成功的，但它依赖于共轭正态先验的使用。最近，在使用全局-局部收缩先验的改进已被用于高维贝叶斯变量选择。在本文中，我们将全球本地先验的可信区域选择框架。Dirichlet-Laplace（DL）先验适用于线性回归。正常和DL先验的后验一致性，以及变量选择的一致性。我们进一步介绍了一种新的方法来调整超参数的先验分布的线性回归。我们建议选择超参数，以尽量减少R方上的诱导分布和预先指定的目标分布之间的差异。R平方上的先验启发更自然，特别是当存在大量预测变量时，该尺度上的启发是不可行的。对于正态先验，这些超参数以封闭形式提供，以最小化分布之间的库尔贝克-莱布勒散度。
2016-08-31 stat.ME
Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning
University of Houston（休斯顿大学）；Texas Tech University（德克萨斯理工大学）
本文提出非参数方差惩罚演员-评论家框架，用自举和随机缩放的在线估计器替代第二评论家，实现风险敏感强化学习的统计推断，并在HTS制造案例中显著降低变异性。
2026-09-15 cs.LG stat.ML
Variational approximate penalized credible regions for Bayesian grouped regression
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
本文提出一种基于变分近似和惩罚可信区域的贝叶斯分组回归方法，通过高效计算实现高维变量选择与预测。
2026-07-27 stat.CO stat.ME
Comparison of Bayesian Nonparametric Density Estimation Methods
在本文中，我们提出了一个非参数贝叶斯方法的Lindsey和惩罚高斯混合方法。我们比较这些方法与Dirichlet过程混合模型。我们的方法是一个贝叶斯非参数方法，而不仅仅是基于一个参数家庭的概率分布。因此，拟合的模型对模型误指定更稳健。此外，与贝叶斯方法，我们有我们感兴趣的参数的整个后验分布，它可以概括为通过可信区间，平均值，中位数，标准差，分位数等林赛，惩罚高斯混合物，和狄利克雷过程混合物的方法进行审查。通过马尔可夫链蒙特卡罗（MCMC）方法进行估计。惩罚高斯混合方法通过哈密顿蒙特卡罗（HMC）实现。我们表明，在一定的正则条件下，随着n的增加，后验分布的权重收敛到一个正态分布。仿真结果和数据分析报告。
2020-11-27 stat.ME
The Penalized Inverse Probability Measure for Conformal Classification
IMS, CNRS, University of Bordeaux（波尔多大学、法国国家科学研究中心、IMS研究所）；EXXACT Robotics（EXXACT机器人公司）；Bordeaux Sciences Agro（波尔多农业科学学院）
本文提出 PIP 非一致性评分及其正则化版本 RePIP，用于联合优化保形分类的集合效率与单元素预测信息量，并在作物和杂草图像分类中验证其优势。
2024-06-13 cs.CV cs.LG stat.ML
Bayesian Model Selection for Change Point Detection and Clustering
KTH Royal Institute of Technology（KTH皇家理工学院）
我们解决的新问题，估计一个分段常数信号的目的是检测其变化点和集群的水平。我们的方法是将其建模为一个非参数惩罚最小二乘模型选择的一个家庭的模型索引的分区的设计点的集合，并提出了一个计算效率高的算法来近似解决it.Statistically，最小化这样的惩罚标准产生的最大后验概率（MAP）估计的近似。然后分析了该准则，并利用高斯集中不等式导出了一个预言不等式。的预言不等式是用来获得一方面的一致性条件，另一方面的自适应上界的估计，这在统计上激励我们的近似的期望平方风险。最后，我们将我们的算法应用于模拟数据，以实验验证统计保证并说明其行为。
2019-12-03 cs.LG math.ST stat.ML
Feature-specific inference for penalized regression using local false discovery rates
Grinnell College（格林内尔学院）；University of Iowa（爱荷华大学）
本文提出一种基于局部虚无发现率的惩罚回归特征特异性推断方法，用于评估变量选择的可靠性，适用于多种惩罚似然模型和正则化方法。
2019-09-19 stat.ME
Simultaneously detecting spatiotemporal changes with penalized Poisson regression models
本研究提出基于Poisson回归模型的双重融合惩罚方法，通过迭代收缩阈值算法同时检测时空计数数据的变点与空间聚类，并验证了其统计一致性与优越性能。
2025-05-01 stat.ME
Generalized information criterion for model selection in penalized graphical models
基于Kulback-Leibler散度，在Konishi和Kitagawa提出的广义信息准则的基础上，给出了一个估计模型与真实模型之间相对有向距离的估计.该估计可用于惩罚高斯copula图模型的模型选择。使用这种估计是不可行的高维情况下。然而，我们得到了一个有效的方法来计算这个估计是可行的后一类问题。此外，该估计器通常适用于几种惩罚，如套索，自适应套索和平滑剪切绝对偏差惩罚。仿真结果表明，该方法执行类似的KL oracle估计，它也提高了BIC性能方面的支持恢复的图。具体来说，我们比较我们的方法与赤池信息准则，贝叶斯信息准则和交叉验证带，稀疏和密集的网络结构。
2014-03-05 stat.ME
AIC for Non-concave Penalized Likelihood Method
非凹惩罚极大似然方法，如Bridge、SCAD和MCP，由于它们不仅可以同时进行参数估计和变量选择，而且与Lasso相比具有更高的效率，因此得到了广泛的应用。它们包括一个控制惩罚水平的调整参数，和一些信息准则已被开发用于选择它，虽然这些标准保证模型选择的一致性，因此有很高的价值，这是一个严重的问题，有没有适当的规则，从一类信息准则，满足这样一个优选的渐近性质选择。在本文中，我们推导出一个信息准则的基础上的原始定义的AIC考虑的预测误差最小化，而不是模型选择的一致性。具体地说，我们得到了一个与非凹惩罚极大似然估计渐近等价的score统计量函数，并基于该函数给出了真实分布与估计分布之间的库尔贝克-莱布勒散度的渐近无偏估计量.此外，通过模拟研究，我们检查所提出的信息标准的性能几乎相同或优于交叉验证。
2015-12-29 stat.ME
Penalized regression with negative-unlabeled data: An approach to developing a long COVID research index
针对长新冠（PASC）缺乏统一定义的问题，研究提出基于Lasso惩罚逻辑回归的PASC研究指数构建方法，经理论推导、模拟及RECOVER成人队列数据验证，该方法可有效筛选相关症状且检测区分度高。
2024-10-09 stat.ME
Asymptotically Efficient Data-adaptive Penalized Shrinkage Estimation with Application to Causal Inference
本文提出一种数据自适应 L1/L2 惩罚收缩后处理方法，在保持非参数估计量渐近效率的同时降低有限样本 MSE，并通过模拟和透析提供者质量因果估计验证。
2025-05-12 stat.ME
Shrinkage Tuning Parameter Selection in Precision Matrices Estimation
最近的文献提供了许多计算和建模方法的协方差阵估计的惩罚高斯图模型，但相对较少的研究已经进行了调整参数的选择。本文试图通过关注使用惩罚似然方法估计稀疏精度矩阵时的收缩参数选择问题来填补这一空白。在这方面，以前的方法通常使用K折交叉验证。在本文中，我们首先推导出的广义近似交叉验证调整参数的选择，这不仅是一个更有效的计算替代，但也实现了更小的误差率模型拟合相比，留一交叉验证。为了在精度矩阵中选择非零项的一致性，我们采用了贝叶斯信息准则，该准则可证明地可以识别高斯模型中的非零条件相关性。我们的模拟表明，这两个建议的选择器相比，留一交叉验证，十倍交叉验证和赤池信息准则的一般优越性。
2009-09-07 stat.ME
Penalized Likelihood Regression in Reproducing Kernel Hilbert Spaces with Randomized Covariate Data
经典的惩罚似然回归问题处理的情况下，独立的变量数据是确切已知的。然而，在实践中，观察具有不完整协变量信息的数据是常见的。我们关注的是一个非常重要的情况，其中一些观测值并不代表确切的协变量信息，而只是一个概率分布。在这种情况下，最大惩罚似然法仍然可以用来估计回归函数。我们首先证明了极大惩罚似然估计在一个温和的条件下存在。在计算中，我们提出了一个降维技术，以尽量减少惩罚的可能性，并推导出一个广义近似交叉验证（GACV）选择平滑参数。我们的方法被扩展到处理更复杂的不完全数据问题，如协变量测量误差和部分缺失的协变量。
2010-08-02 stat.AP stat.ME
Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix
在高斯图模型中，两个变量之间的条件独立性由逆协方差阵中相应的零元素来表征。文献中已经提出了使用平滑剪切绝对偏差（SCAD）惩罚（Fan和Li，2001）和自适应LASSO惩罚（Zou，2006）的极大似然方法。在这篇文章中，我们建立的结果，使用贝叶斯信息准则（BIC）选择调整参数的惩罚似然估计与两种类型的惩罚可以导致一致的图形模型选择。我们比较了BIC与交叉验证方法的经验性能，并通过仿真研究证明了BIC准则在调整参数选择方面的优越性能。
2009-09-04 stat.ME stat.ML
Transfer learning of regression models from a sequence of datasets by penalized estimation
迁移学习是指基于其他数据的预训练来初始化模型拟合的有前途的想法。我们特别考虑回归建模设置，其中来自先前数据的参数估计值可以用作锚点，但可能不适用于所有参数，因此协方差信息不能重复使用。提出了一种通过有针对性的惩罚估计进行更新的方法，该方法将估计量缩小到非零值。当从新数据中寻求更新时，来自先前数据的参数估计用作该非零值。这自然扩展到具有相同响应的数据集序列，但可能只是协变量的部分重叠。迭代更新的回归参数估计被证明是渐近无偏和一致的。通过约束交叉验证的对数似然优化来选择惩罚参数。该约束限制了更新后的估计量从下方向当前估计量的收缩量。界限的目的是保持（更新）估计的拟合优度的所有，但新的数据。所提出的方法相比，其他回归建模程序。最后，它说明了流行病学研究中的数据到达批次与不同的协变量的可用性和模型重新拟合与一个新的批次的可用性。
2020-07-04 stat.ME
Doubly robust causal inference through penalized bias-reduced estimation: combining non-probability samples with designed surveys
针对非概率样本因果推断中的选择偏差与高维协变量挑战，提出一步插入式双重稳健估计量，通过最小化平方渐近偏差构建惩罚估计方程，实现高维环境下的有效推断并验证了双重稳健性。
2024-03-26 stat.ME
penalizedclr: an R package for penalized conditional logistic regression for integration of multiple omics layers
本研究推出R包penalizedclr，实现支持分块惩罚、L1/L2惩罚及稳定性选择的带惩罚条件逻辑回归，适配多源组学匹配病例对照研究，填补相关高维分析软件空白。
2024-02-02 stat.CO stat.ME
Macroeconomic Forecasting and Variable Selection with a Very Large Number of Predictors: A Penalized Regression Approach
本文研究了具有大量预测变量的折迭凹惩罚回归模型的宏观经济预测和变量选择问题。惩罚回归方法导致回归系数的稀疏估计，并且即使模型的维数远大于样本量也是适用的。本文的前半部分讨论了当模型表现出时间序列依赖性时，折叠凹惩罚回归的理论问题。特别地，我们证明了超高维时间依赖回归的预言不等式和预言性质。论文的后半部分使用两个激励实证应用程序显示了惩罚回归的有效性。第一个模型使用MIDAS回归框架，使用FRED-MD数据预测美国GDP，其中有1000多个协变量，而样本量最多为200。第二个研究如何以及惩罚回归筛选隐藏的投资组合，约40只股票从1800多个潜在的股票使用纽约证券交易所的股票价格数据。这两个应用程序表明，惩罚回归提供了显着的结果，在预测性能和变量选择。
2017-03-05 math.ST stat.AP stat.ME
Penalized Clustering of Large Scale Functional Data with Multiple Covariates
在这篇文章中，我们提出了一个惩罚聚类方法的大规模数据与多协变量通过功能数据的方法。在所提出的方法中，响应和协变量通过非参数多元函数（固定效应）连接在一起，这在建模各种函数特征（如跳跃点、分支和周期性）方面具有很大的灵活性。函数方差分析被用来进一步分解多变量函数在一个再生核希尔伯特空间，并提供相关的主效应和相互作用的概念。使用简约的随机效应来捕获各种相关性结构。混合效应模型被嵌套在一个一般的混合模型下，其中函数数据的异质性的特点。我们提出了一个惩罚亨德森的似然方法的模型拟合和设计拒绝控制的期望最大化算法的估计。我们的方法通过广义交叉验证来选择平滑参数。此外，贝叶斯置信区间被用来衡量聚类的不确定性。仿真研究和实际数据的例子，调查所提出的方法的经验性能。开源代码在R包MFDA中提供。
2008-01-16 stat.CO stat.ME
Penalized KLIC Model Selection for the Generalized Method of Moments in Longitudinal Data with Time-Dependent Covariates
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of South Alabama（阿拉巴马大学）；Quinnipiac University（昆尼皮亚克大学）
本文提出两种惩罚KLIC方法，用于解决广义矩估计法中时间依赖协变量导致的过参数化问题，通过模拟研究和实际数据验证其在纵向数据分析中的有效性。
2026-05-07 stat.AP stat.CO stat.ME
Synthetic control method with convex hull restrictions: A Bayesian maximum a posteriori approach
综合控制方法在具有观测数据的因果研究中越来越受欢迎，特别是在估计对少数大型单位实施的干预措施的影响时。实现合成控制方法面临两个主要挑战：a）估计每个控制单元的权重以创建合成控制，以及b）提供统计推断。为了克服这些挑战，我们提出了一个贝叶斯框架，实现了合成控制方法与可移动的凸包，并提供了一个有用的贝叶斯推断，这是从惩罚最小二乘法和贝叶斯最大后验概率（MAP）方法之间的对偶。仿真结果表明，该方法导致较小的偏差相比，替代品。我们将贝叶斯方法应用于Abadie和Gardeazabal（2003）的真实数据示例，发现在治疗后阶段的子集中，处理效应具有统计学显著性。
2020-05-28 stat.ME
Group-wise shrinkage estimation in penalized model-based clustering
有限高斯混合模型提供了一个强大的和广泛使用的概率方法聚类多元连续数据。然而，这些模型的实际用途是危害在高维空间，在那里他们往往是过度参数化。因此，已经提出了不同的解决方案，通常依赖于矩阵分解或变量选择策略。最近，高斯图形模型和有限混合物之间的方法联系已经建立，铺平了道路，惩罚基于模型的聚类在大精度矩阵的存在。尽管如此，目前的方法隐含地假设类之间的稀疏性水平相似，不考虑各组变量之间的关联程度不同。我们克服了这一限制，推导出组明智的惩罚因子，自动执行下或过连接的估计图。该方法完全是数据驱动的，不需要额外的超参数规范。对合成数据和实际数据的分析表明了我们建议的有效性。
2022-05-12 stat.CO stat.ME
Post Selection Shrinkage Estimation for High Dimensional Data Analysis
在高维数据环境中，$p\gg n$，许多惩罚正则化方法进行了研究，同时变量的选择和估计。然而，由于弱效应协变量的存在，许多现有的变量选择方法，包括Lasso及其衍生方法，无法区分弱贡献和无贡献的协变量。因此，仅基于选定协变量的子集模型的预测可能是低效的。在本文中，我们提出了一个后选择收缩估计策略，以提高选择子集模型的预测性能。这种后选择收缩估计器（PSE）是数据自适应的，并且通过在所选择的候选子集的方向上收缩后选择加权脊估计器来构造。在渐近分布二次风险准则下，分析了其预测性能。我们表明，建议后选择PSE表现优于后选择加权岭估计。更重要的是，它显著提高了从大多数现有的Lasso型变量选择方法中选择的任何候选子集模型的预测性能。通过仿真研究和实际数据分析，证明了后选择PSE的相对性能。
2016-03-23 stat.ME
Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach
University of Washington（华盛顿大学）
提出一种基于近似惩罚泊松似然的半参数回归方法，高效估计双随机空间点过程中的协变量效应，并证明在模型误设下估计的一致性和渐近正态性。
2026-06-06 stat.CO stat.ME stat.ML
Maximum a Posteriori Estimation of Dynamic Factor Models with Incomplete Data
本文给出了不完全数据动态因子模型参数的极大后验估计方法。我们通过以明尼苏达先验风格应用参数收缩，将Baiderbura & Modugno（2014）的极大似然期望最大化迭代扩展到惩罚对应方，同时考虑动态加载到变量上的因素。一个启发式的和自适应的收缩计划被认为是。该算法适用于任何任意模式的缺失数据，包括不同的出版日期，样本长度和频率。该方法在蒙特卡罗研究中进行了评估，一般表现良好，至少是极大似然。
2022-10-13 stat.CO stat.ME
