Penalized maximum likelihood estimation and effective dimension
本文将\emph{Fisher Theorem and Wilks phenomenon}等著名的统计结果推广到二次惩罚的惩罚极大似然估计。惩罚极大似然估计\(\tilde{\thetav}_{G} \)和惩罚极大似然估计的精确展开式不涉及任何渐近参数，其结果仅依赖于所考虑的对数似然函数的光滑性和正则性.估计误差由参数集的有效维数\(p_G \)来表示，有效维数可以远小于真实参数维数，甚至允许函数参数为无穷维。在i.i.d.在这种情况下，惩罚MLE的Fisher展开可以在约束“\(p_G^{2}/n\)是小的”下建立，而Wilks结果中的余数是\(p_G^{3}/n \)阶的。
2015-08-10 stat.ME
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1（lasso）惩罚似然模型（包括广义回归模型）的后选择推断方法。我们的方法概括了Lee et al（2014）提出的选择后框架。该方法提供了渐进有效的p值和置信区间，条件是套索完成的固有选择。我们目前的应用这项工作（正规化）逻辑斯谛回归，Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Inference for generalized additive mixed models via penalized marginal likelihood
针对广义加性混合模型中拉普拉斯近似在平滑参数估计上精度不足的问题，提出一种基于惩罚边际似然的新估计策略，以获得具有正确统计性质的估计。
2025-04-14 stat.ME
Penalized Maximum Tangent Likelihood Estimation and Robust Variable Selection
本文介绍了一类新的均值回归估计--惩罚最大正切似然估计--用于高维回归估计和变量选择。我们首先解释的关键成分，最大正切似然估计（MTE）的动机，并建立其渐近性质。我们进一步提出了一个惩罚的MTE变量选择，并证明了它是$\sqrt{n}$ -一致的，享有的oracle属性。所提出的估计类包括惩罚$\ell_2$距离、惩罚指数平方损失、惩罚最小二乘和惩罚最小二乘作为特例，可以看作是最小Kullback-Leibler距离估计和最小$\ell_2$距离估计的混合.此外，我们认为提出的估计类下的高维设置时，变量的数量$d$可以指数增长的样本量$n$，并表明，整个类的估计（包括上述特殊情况）可以达到最佳的收敛速度的顺序为$\sqrt{\ln(d)/n}$。最后，仿真研究和实际数据分析证明了惩罚MTE的优点。
2017-08-21 stat.ME
A penalized simulated maximum likelihood approach in parameter estimation for stochastic differential equations
考虑离散时间观测值为完全观测值或部分观测值的随机微分方程参数估计问题。两个观测值之间的跃迁密度通常是未知的。在转移密度未知的情况下，提出了一种带辅助参数的重要性抽样方法。我们将辅助重要性采样器嵌入到惩罚极大似然框架中，从而产生更准确和计算效率更高的参数估计。在三个不同的模型中的仿真研究表明，新的惩罚模拟极大似然方法有希望的改进。新的程序是专为具有挑战性的情况下，当一些状态变量是不可观测的，而且，观察到的状态是稀疏的，随着时间的推移，这通常会出现在生态研究。我们将这种新的方法应用于两种流行病的慢性消耗性疾病的骡鹿。
2015-09-08 stat.AP stat.CO stat.ME
Weak signal identification and inference in penalized likelihood models for categorical responses
惩罚似然模型被广泛用于同时选择变量和估计模型参数。然而，弱信号的存在会导致不准确的变量选择、有偏的参数估计和无效的推断。因此，在惩罚似然模型中，准确识别弱信号并进行有效的推断是至关重要的。我们开发了一种统一的方法来识别弱信号，并在惩罚似然模型中进行推断，包括响应是分类的特殊情况。为了识别弱信号，我们使用每个协变量的估计选择概率作为信号强度的度量，并制定了信号识别标准。为了构造置信区间，我们提出了一个两步推理过程。广泛的仿真研究表明，所提出的程序优于现有的几种方法。我们通过将其应用于实践融合糖尿病数据集来说明所提出的方法。
2022-12-12 stat.ME
Network meta-analysis of rare events using penalized likelihood regression
罕见事件的网络荟萃分析（NMA）在文献中很少受到关注。直到最近，网络的干预与罕见的事件进行了分析，使用逆方差NMA方法。然而，当事件罕见时，该模型的正态近似值可能很差，并且效应估计值可能有偏差。其他方法的合成，这样的数据是最近扩展的Mantel-Haenszel方法NMA或使用非中心的超几何分布。在这篇文章中，我们提出了一种新的共同效应NMA方法，该方法甚至可以应用于事件数量极低甚至为零的干预网络，而无需排除研究或任意插补。我们的方法是基于实施的罚似然函数Firth提出的偏差减少的最大似然估计的逻辑表达的NMA模型。我们的方法的一个局限性是，异质性不能考虑作为一个附加参数，在大多数荟萃分析模型。然而，我们通过使用两阶段方法纳入乘法过度分散项来解释异质性。我们通过模拟表明，我们的方法在所有测试场景中表现一致，并且通常比其他可用方法产生更小的偏差。我们还通过两个临床实例说明了我们的方法的使用。我们的结论是，我们的“惩罚似然NMA”的方法是有希望的分析的二元结果与罕见的事件，特别是对于网络很少的研究，每次比较和非常低的控制组风险。
2021-09-21 stat.AP stat.ME
A Short Note of Comparison between Convex and Non-convex Penalized Likelihood
本文比较了高维统计中凸与非凸惩罚似然方法，凸惩罚高效但引入偏差，非凸惩罚减少偏差但优化难，选择取决于问题背景。
2025-02-24 stat.ME
Penalized Likelihood and Bayesian Function Selection in Regression Models
各个领域的研究推动了高维预测变量回归模型变量选择方法的广泛进步。相比之下，选择非线性函数的模型与添加剂预测最近才被认为是。几个相互竞争的建议几乎是同时提出的，而且往往互不相关。本文提供了一个国家的最先进的审查功能选择，侧重于惩罚似然和贝叶斯的概念，在一个统一的框架中相互关联的各种方法。在实证比较中，也包括提升，我们通过应用程序来评估几种方法，模拟和真实数据，从而提供一些指导，在实践中的性能。
2013-03-04 stat.ME
Maximum softly-penalized likelihood for mixed effects logistic regression
已知在具有混合效应的逻辑斯谛回归中的极大似然估计经常导致在参数空间的边界上的估计。此类估计值包括固定效应的无限值和奇异或无限方差分量，可能会对数值估计过程和推断造成严重破坏。我们在对数似然函数或其近似值中引入了适当缩放的加性惩罚，该函数通过不含随机效应的模型的Jeffreys不变先验惩罚固定效应，并通过负Huber损失函数的组合惩罚方差分量。由此产生的最大惩罚似然估计位于内部的参数空间。适当的惩罚尺度保证惩罚足够软，以保持极大似然估计所期望的最佳渐近性质，即一致性，渐近正态性和Cramér-Rao效率。我们选择的惩罚和比例因子在模型参数（如对比度）的线性变换下保持了固定效应估计值的等方差。最大软惩罚似然竞争的方法相比，两个真实数据的例子，并通过全面的模拟研究，说明其优越的有限样本性能。
2023-02-02 stat.ME
Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models
通过分析多层图形模型，可以在调整和量化其他层节点的影响后，深入了解层内节点之间的条件关系。我们得到惩罚的极大似然估计高斯多层图形模型，基于一种计算方法，涉及筛选的变量，迭代估计层之间的有向边缘和层内的无向边缘和最后的改装和稳定性选择步骤，提供了改进的性能在有限的样本设置。我们建立的估计在高维设置的一致性。为了获得这一结果，我们开发了一种策略，利用双凸的似然函数，以确保收敛的迭代算法的一个固定点，以及仔细的均匀误差控制的估计迭代。的性能的极大似然估计的合成数据说明。
2016-01-05 stat.ME
Penalized likelihood inference for beta-binomial meta-analysis of proportions of rare events
The Graduate Institute for Advanced Studies, The Graduate University for Advanced Studies（高级研究研究生院，高级研究院）；Department of Interdisciplinary Statistical Mathematics, The Institute of Statistical Mathematics（统计数学系，统计数学研究所）
针对罕见事件比例元分析中常用最大似然估计器存在有限样本偏差的问题，提出最大惩罚似然估计器，通过最大化Jeffreys先验惩罚增强的对数似然得到，模拟显示其在多方面优于普通MLE，还引入新置信区间，为相关元分析提供有用替代方法。
2026-07-30 stat.ME
Marginal false discovery rate control for likelihood-based penalized regression models
惩罚回归在高维数据分析中的流行导致了对这些模型的新推理工具的需求。错误发现率控制被广泛应用于高维假设检验，但最近才被认为是在惩罚回归的背景下。然而，几乎所有这些工作都集中在lasso惩罚的线性回归上。在本文中，我们得到了一个通用的方法来控制边际错误发现率，可以应用于任何惩罚似然模型，如逻辑斯谛回归和Cox回归。我们的方法是快速的，灵活的，可以使用各种惩罚函数，包括套索，弹性网，MCP和MNet。我们得出的理论结果，所提出的方法是有效的，并使用模拟研究表明，该方法是合理的鲁棒性，虽然略有保守，当这些假设被违反。尽管是保守的，我们表明，我们的方法往往提供更多的权力，选择因果关系的重要功能比现有的方法。最后，该方法的实际效用证明了基因表达数据集与二进制和时间到事件的结果。
2019-01-22 stat.ME
On the Consistency of the Bias Correction Term of the AIC for the Non-Concave Penalized Likelihood Method
具有$\ell_γ$型惩罚的惩罚似然方法，如Bridge、SCAD和MCP，允许我们估计参数并同时进行变量选择，如果$γ\in (0,1]$。在这种方法中，重要的是选择控制惩罚水平的调整参数，因为当我们任意选择模型时，我们可以选择我们想要的模型。现在，已经开发了几种信息准则来选择调谐参数，而没有这样的任意性。然而，这类信息准则的偏差校正项一般依赖于参数的真实值，因此我们通常插入它的一个相合估计量来计算信息准则。本文给出了非凹惩罚似然方法的AIC偏差校正项的相合估计量，并提出了一个简单的AIC型信息准则.
2016-03-25 stat.ME
Space Alternating Penalized Kullback Proximal Point Algorithms for Maximizing Likelihood with Nondifferentiable Penalty
期望最大化算法是一种广泛使用的惩罚似然估计方法。可证明的单调性和收敛性是期望最大化算法的标志，并且这些性质对于光滑似然函数和光滑罚函数是很好地建立的。然而，许多变量选择惩罚的宽松版本并不平滑。本文的目的是引入一类新的空间交替惩罚Kullback邻近扩展的非光滑似然推理的期望最大化算法。我们表明，新方法的聚类点是固定的点，即使在边界上的参数集。特别注意的是，该方法的组件式版本的建设，以方便复杂的模型的实施。文中给出了有限混合回归和稀疏图像重建的模型选择问题的实例。
2011-06-01 stat.CO stat.ME
Penalized composite likelihood for colored graphical Gaussian models
本文提出了一种用于有色图高斯模型中模型选择的惩罚复合似然方法。该方法提供了精度矩阵的稀疏和稀疏约束估计，从而同时进行模型选择和精度矩阵估计。特别地，该方法使用惩罚项来约束精度矩阵的元素，这使得我们能够将模型选择问题转化为约束优化问题。此外，计算机实验进行说明所提出的新方法的性能。结果表明，该方法在选择精度矩阵中的非零元素和识别图形模型中的对称结构方面都有很好的效果。该方法的可行性和潜在的临床应用上的微阵列基因表达数据集证明。
2020-04-03 stat.ME
Proportional hazards model with partly interval censoring and its penalized likelihood estimation
研究了生存时间为区间左、右截尾的半参数比例风险模型的拟合问题。我们采用了一种更通用的惩罚似然方法来同时估计基线风险和回归系数，其中引入惩罚以正则化基线风险估计。我们目前的渐近性质，我们的估计，允许的可能性，它可能位于参数空间的边界上。我们还提供了一个计算方法的基础上的边际似然，这使得正则化参数自动确定。仿真结果表明，该方法具有良好的性能。一个真正的数据应用程序涉及黑色素瘤复发的模型和R包实现的方法。
2019-04-15 stat.ME
Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix
在高斯图模型中，两个变量之间的条件独立性由逆协方差阵中相应的零元素来表征。文献中已经提出了使用平滑剪切绝对偏差（SCAD）惩罚（Fan和Li，2001）和自适应LASSO惩罚（Zou，2006）的极大似然方法。在这篇文章中，我们建立的结果，使用贝叶斯信息准则（BIC）选择调整参数的惩罚似然估计与两种类型的惩罚可以导致一致的图形模型选择。我们比较了BIC与交叉验证方法的经验性能，并通过仿真研究证明了BIC准则在调整参数选择方面的优越性能。
2009-09-04 stat.ME stat.ML
Doubly Robust Estimation of Continuous Outcomes under Multiple Treatment Levels via GPS, CBPS, and Penalized Empirical Likelihood
本文提出将GPS、CBPS与结果回归纳入惩罚经验似然框架，实现多处理水平下连续结果的双重稳健估计与变量选择，并通过模拟和与元学习器比较验证其有效性。
2025-09-19 stat.ME
Revisiting Penalized Likelihood Estimation for Deterministic Computer Experiments
NC State University（北卡罗来纳州立大学）；Virginia Tech（弗吉尼亚理工大学）
研究高斯过程中惩罚似然估计问题，引入基于马氏距离的“去相关预测误差”交叉验证度量，该度量在无需惩罚时与标准 MLE 相当，正则化有益时优于传统度量，能更可靠地选择调优参数。
2026-07-21 stat.ME
Maximum penalized likelihood estimation in semiparametric capture-recapture models
我们讨论了标记-再捕获-恢复数据的半参数建模，其中模型参数的时间和/或个体变化通过协变量来解释。通常，在此类分析中，为模型参数和协变量之间的关系指定固定（或混合）效应参数模型。在本文中，我们讨论了通过使用惩罚样条的关系建模，允许相当灵活的功能形式。相应的模型可以通过数值最大惩罚似然估计来拟合，采用交叉验证以数据驱动的方式选择平滑参数。我们的贡献建立在现有文献的基础上，并扩展了现有文献，为开放人群的半参数标记-再捕获-恢复模型提供了一个统一的推理框架，其中的兴趣通常在于生存概率的估计。该方法被应用到两个真实的数据集，对应于苍鹭（Ardea Cinerea），在那里我们模型的生存概率作为环境条件的函数（随时间变化的全局协变量），和Soay羊（Ovis白羊座），在那里我们模型的生存概率作为个体重量的函数（随时间变化的个体特定的协变量）。建议的半参数方法相比，一个标准的参数（逻辑）回归和新的有趣的基本动态观察在这两种情况下。
2015-05-20 q-bio.QM stat.AP stat.ME
Dealing with separation problem in hidden Markov models with covariates based on a penalized maximum likelihood approach
本文提出惩罚最大似然方法解决带协变量隐马尔可夫模型中的潜在状态分离问题，并通过交叉验证联合选择隐藏状态数与惩罚强度，在模拟和脊髓麻醉低血压纵向数据中验证了其估计精度与模型潜力。
2025-07-03 stat.ME
Penalized Quasi-likelihood for High-dimensional Longitudinal Data via Within-cluster Resampling
本文针对纵向数据中信息性簇大小导致GEE估计有偏的问题，提出结合簇内重抽样与惩罚拟似然的方法，并通过惩罚均值回归聚合估计量，在模拟和酵母基因表达数据中验证了其提升真阳性率并降低假阳性的效果。
2025-01-02 stat.CO stat.ME
Maximum penalized likelihood estimation for skew-normal and skew-$t$ distributions
偏态正态分布和偏态$t$分布是目前正在深入研究的参数族，因为与经典正态分布和$t$分布相比，它们通过引入调节其偏度的参数提供了更灵活的公式。虽然这些家庭享有有吸引力的正式属性从概率的角度来看，一个实际的问题，他们在应用程序中的用法是可能的，调节偏度发散的参数的最大似然估计。这种情况在增加样本量时概率为零，但在有限样本情况下概率不可忽略，且对推理过程有不利影响。克服这个问题的方法已经提出了在经典和贝叶斯公式，但其适用性仅限于简单的情况。我们制定了一个建议的基础上的想法惩罚的可能性，这与一些现有的方法，但它适用于更普遍的，包括在多变量的情况下。
2012-03-11 stat.ME
Mixture cure semiparametric additive hazard models under partly interval censoring -- a penalized likelihood approach
本文提出一种基于原对偶内点法的惩罚似然方法，用于估计部分区间删失下考虑治愈比例的半参数可加风险模型，以避免忽视治愈组带来的偏差并准确衡量风险差。
2024-01-02 stat.ME
A penalized likelihood approach for robust estimation of isoform expression
超高通量转录组测序（RNA-Seq）使得能够在个体亚型水平上准确估计基因表达。然而，在测序和作图过程中引入的系统性偏差以及转录本注释数据库的不完整性可能导致异构体丰度的估计不可靠，并且在某些情况下高度不准确。本文介绍了一种惩罚似然方法来检测和纠正这种偏见，在一个强大的方式。我们的模型扩展了以前提出的通过引入偏差参数读取。一个L1惩罚用于选择非零偏置参数。我们介绍了一个有效的算法模型拟合和分析所提出的模型的统计特性。我们在模拟和真实数据集上的实验研究表明，该模型有潜力提高异构体特异性基因表达估计和识别不完全注释的基因模型。
2013-10-01 stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University（西蒙菲莎大学）
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题，提出log-F惩罚条件逻辑回归方法，其在模拟中表现出与Firth方法相当的置信区间覆盖率，且均方误差更低。
2026-08-03 stat.ME
Nonparametric Density Estimation for Data Scattered on Irregular Spatial Domains: A Likelihood-Based Approach Using Bivariate Penalized Spline Smoothing
针对不规则空间域数据，本文提出基于三角剖分二元惩罚样条平滑的似然非参数密度估计方法，证明其渐近收敛速率，并通过模拟和波特兰盗车数据验证其优势。
2024-10-27 stat.ME
AIC for Non-concave Penalized Likelihood Method
非凹惩罚极大似然方法，如Bridge、SCAD和MCP，由于它们不仅可以同时进行参数估计和变量选择，而且与Lasso相比具有更高的效率，因此得到了广泛的应用。它们包括一个控制惩罚水平的调整参数，和一些信息准则已被开发用于选择它，虽然这些标准保证模型选择的一致性，因此有很高的价值，这是一个严重的问题，有没有适当的规则，从一类信息准则，满足这样一个优选的渐近性质选择。在本文中，我们推导出一个信息准则的基础上的原始定义的AIC考虑的预测误差最小化，而不是模型选择的一致性。具体地说，我们得到了一个与非凹惩罚极大似然估计渐近等价的score统计量函数，并基于该函数给出了真实分布与估计分布之间的库尔贝克-莱布勒散度的渐近无偏估计量.此外，通过模拟研究，我们检查所提出的信息标准的性能几乎相同或优于交叉验证。
2015-12-29 stat.ME
High-dimensional Censored Regression via the Penalized Tobit Likelihood
高维回归和具有左删失响应的回归都是研究得很好的主题。尽管如此，很少有方法已经提出了同时处理这两个并发症。Tobit模型--长期以来经济学中用于删失回归的标准方法--根本不适用于高维回归。为了填补这一空白，并把最新的技术从高维统计到高维左删失回归领域，我们提出了几个惩罚Tobit模型。提出了一种结合二次极小化和坐标下降的快速算法来计算惩罚Tobit解路径，理论上分析了Tobit lasso和带折叠凹惩罚的Tobit，给出了前者的$\ell_2$估计损失的界，证明了后者的局部线性逼近估计具有强预言性质.通过大量的模拟研究，我们发现我们的惩罚Tobit模型提供了更准确的预测和参数估计比其他方法。我们使用惩罚Tobit模型分析来自AIDS临床试验组的高维左删失HIV病毒载量数据，并识别HIV基因组中潜在的耐药突变。附录包含中间理论结果和技术证明。
2023-03-17 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中，对于完全观测的数据集，变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下，这种方法需要针对不同的缺失数据机制进行调整。在本文中，我们专注于一个灵活的和普遍适用的缺失数据机制，其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析，低维和高维设置。
2017-07-28 stat.ME
Penalized maximum likelihood estimation and variable selection in geostatistics
考虑了具有高斯过程误差的空间线性模型中协变量的选择问题。惩罚极大似然估计（PMLE），使同时变量选择和参数估计的开发，为了便于计算，PMLE近似的一步稀疏估计（OSE）。为了进一步提高计算效率，特别是在大样本量下，我们提出了惩罚最大协方差锥形似然估计（PMLE $_{\mathrm{T}}$）及其一步稀疏估计（OSE $_{\mathrm{T}}$）。一般形式的惩罚函数，强调平滑剪切绝对偏差用于惩罚极大似然。导出了PMLE和OSE的理论性质，以及它们的协方差锥化近似PMLE $_{\mathrm{T}}$和OSE $_{\mathrm{T}}$，包括相容性、稀疏性、渐近正态性和预言性质.对于协方差渐缩，我们的理论结果的一个副产品是最大协方差渐缩似然估计的一致性和渐近正态性。在模拟研究中证明了所提出的方法的样本性质，为了说明，该方法被应用于分析两个真实的数据集。
2012-02-23 math.ST stat.ME stat.TH
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法：模型估计的极大似然方法，然后旋转技术是用来找到稀疏因子加载。然而，当变量的数目远大于观测的数目时，不能获得最大似然估计。此外，即使最大似然估计是可用的，旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题，本文介绍了一种惩罚似然过程，对因子载荷施加非凸惩罚。我们发现，惩罚似然过程可以被视为传统的两步方法的推广，所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法，通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径，它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
Penalized maximum likelihood estimation for generalized linear point processes
广义线性点过程根据强度来指定，该强度通过固定的非线性函数依赖于线性预测器过程。我们提出了一个框架，其中的线性预测参数化的巴拿赫空间，并给出结果的Gateaux微分的对数似然。特别感兴趣的是，当强度被表示为由索伯列夫空间参数化的线性滤波。利用索伯列夫空间是再生核希尔伯特空间，我们得到了惩罚极大似然估计在特殊情况下的表示和一般情况下的负对数似然梯度的结果.后者被用来开发一个下降算法在索伯列夫空间。我们的结论是本文的多元和添加剂模型规格的扩展。这些方法在R-package ppstat中实现。
2013-04-02 math.PR math.ST stat.ME
Differentially Private Model Selection with Penalized and Constrained Likelihood
在统计披露控制中，数据分析的目标是双重的：发布的信息必须提供有关相关人群的准确和有用的统计数据，同时最大限度地减少个人记录被识别的可能性。近年来，差分隐私的概念在理论计算机科学、机器学习和统计学中受到了广泛的关注。它为保护个人敏感信息提供了严格和有力的概念。一个基本的问题是如何将差异隐私纳入传统的统计推断程序。本文研究了差分隐私约束下多元线性回归的模型选择问题。我们表明，模型选择程序的基础上惩罚最小二乘或似然差分私有的正则化和随机化的组合，并提出了两种算法来做到这一点。我们表明，我们的私人程序是一致的，基本上相同的条件下，相应的非私人程序。我们还发现，在差分隐私下，该过程变得更加敏感的调谐参数。我们说明和评估我们的方法，使用模拟研究和两个真实数据的例子。
2016-07-14 stat.ME
Tuning parameter selection in high dimensional penalized likelihood
在高维数据分析的惩罚似然方法中，确定如何适当地选择调整参数是必不可少的。我们在广义线性模型的惩罚似然方法中研究了这个问题，其中协变量p的维数允许随样本量n呈指数增长。我们建议通过优化广义信息准则（GIC）与适当的模型复杂性惩罚来选择调谐参数。为了确保我们一致地识别真正的模型，在GIC中确定了模型复杂性惩罚的范围。我们发现，这个模型的复杂性惩罚应该发散的速度$\log p$的一些权力依赖于响应变量的尾部概率行为。这表明，使用AIC或BIC来选择调整参数可能不足以一致地识别真实模型。基于我们的理论研究，我们提出了一个统一的选择模型的复杂性惩罚，并表明，所提出的方法一致地确定候选模型的渐近概率为1的真实模型。我们证明所提出的方法的性能通过数值模拟和基因表达数据分析。
2016-05-11 stat.ME stat.ML
Fast selection of nonlinear mixed effect models using penalized likelihood
非线性混合效应模型是一种隐变量模型，在药物计量学等领域有着广泛的应用。在这样的模型中，隐变量的分布特征可以通过包括几个参数来指定，例如必须选择的协变量或相关性。药物基因组学的最新发展带来了平均/高维问题的非线性混合效应建模领域的标准协变量选择技术，如逐步方法是不太适合。提出了使用惩罚似然法选择协变量和相关参数的方法。惩罚似然问题的解决使用随机邻近梯度算法，以避免内外迭代。使用分量自适应梯度步长提高了邻近梯度算法的收敛速度。使用模拟的实际实施和调整的近端梯度算法进行了探讨。正则化参数的校准是通过使用粒子群优化（零阶优化过程）最小化贝叶斯信息准则来执行的。热重启和并行化的使用使得计算时间显著减少。与传统的网格搜索策略相比，所提出的方法的性能进行了探索，使用模拟数据。最后，提供了两个药代动力学研究的实际数据的应用程序，一个研究抗纤维蛋白溶解和其他研究抗生素。
2021-10-17 stat.CO stat.ME
On the penalized maximum likelihood estimation of high-dimensional approximate factor model
本文主要研究高维近似因子模型的惩罚极大似然估计。针对目前估计方法不能保证误差协方差阵的正定性的问题，通过对误差协方差阵的估计进行重新表述，并基于拉格朗日对偶性，提出了一种加速邻近梯度（APG）算法，给出了误差协方差阵的正定性估计.将APG算法与EM方法相结合，提出了一种新的估计方法来估计高维近似因子模型。新方法不仅给出了误差协方差阵的正定估计，而且提高了高维近似因子模型的估计效率。虽然该算法不能保证全局唯一解，但它具有理想的非增性。通过仿真和实际数据分析，研究了新算法的估计和预测效率。
2019-01-17 stat.CO stat.ME
EM Estimation of the B-Spline Copula with Penalized Pseudo-Likelihood Functions
本研究针对B样条copula函数，提出带SCAD惩罚的改进EM算法以最大化惩罚伪似然，模拟验证了稀疏场景下估计的均方误差更小，还通过237国出生率死亡率数据完成了模型参数估计。
2024-12-14 stat.CO stat.ME
Estimation of oblique structure via penalized likelihood factor analysis
我们考虑了因子分析模型中的稀疏估计问题，通过拉索型惩罚似然过程。通常，模型估计是在公共因子正交（不相关）的假设下进行的。然而，基于正交模型的拉索型惩罚方法往往可以估计一个完全不同的模型与真实的因素结构时，共同的因素是相关的。为了克服这个问题，我们建议将一个因素的相关性的模型，并估计因素的相关性以及参数包括在正交模型的最大惩罚似然过程。一个完整的解决方案的路径计算的期望最大化算法与坐标下降，它允许应用到各种各样的凸和非凸的处罚。该方法可以提供足够稀疏的解，并适用于变量数大于观测数的数据。蒙特卡罗模拟进行调查我们的建模策略的有效性。结果表明，基于正交模型的套索型惩罚往往不能近似真实的因素结构，而我们的方法在各种情况下表现良好。通过对实际数据的分析，也说明了所提出的程序的实用性。
2013-02-22 stat.CO stat.ME
Robust penalized empirical likelihood in high dimensional longitudinal data analysis
经验似然法作为一种有效的非参数方法，具有灵活、自适应地组合估计方程以融合数据信息的优点。为了选择稀疏高维模型中的重要变量和估计方程，我们考虑了一种基于稳健估计函数的惩罚EL方法，该方法通过同时应用两个惩罚函数来正则化回归参数和相关的Lagrange乘子，使得回归参数和估计方程的维数都随着样本量呈指数增长.本文从理论和直观的仿真结果两个方面对估计方程的稳健性进行了初步的检验，并对估计方程的选取和变量的选取进行了讨论。该方法可以提高数据的鲁棒性和有效性时，潜在的离群值或重尾的响应变量和/或协变量。通过有界影响函数度量了估计量的稳健性，并在一定的正则条件下证明了估计量的预言性质。广泛的模拟研究和酵母细胞数据被用来评估所提出的方法的性能。数值结果表明，稀疏估计方程选择的鲁棒性从根本上提高了变量选择的准确性时，数据有沉重的尾巴和/或包括潜在的离群值。
2021-07-01 stat.ME
Improved Non-parametric Penalized Maximum Likelihood Estimation for Arbitrarily Censored Survival Data
非参数极大似然估计是一组经典的估计方法，用于估计截尾数据中的分布相关函数，在生存分析中有着广泛的应用。这些方法，包括卡普兰-迈耶估计量和Turnbull方法，经常导致过拟合，特别是当样本量很小时。我们提出了一种改进这些方法，通过应用核平滑的原始估计，基于BIC型损失函数，平衡优化模型拟合和控制模型复杂性之间的权衡。在纵向研究的背景下，重复观察，我们详细介绍了我们提出的平滑过程和优化算法。通过对多个现实场景的广泛模拟研究，我们证明了我们基于平滑的程序通过减少过拟合在生存函数估计和个体水平的事件发生时间预测方面提供了更好的整体准确性。与原始未平滑估计值相比，我们的平滑过程使用区间删失数据将估计值与真实模拟生存函数之间的差异降低了49%，样本内和样本外预测分别提高了41%和23%。最后，我们将我们的方法应用于审查乳腺癌诊断的真实数据，与未审查数据的经验生存估计相比，这同样显示出改善。我们提供了一个R包，SISE，用于实现我们的惩罚似然方法。
2021-08-04 stat.ME
Penalized empirical likelihood estimation and EM algorithms for closed-population capture-recapture models
本文将经验似然方法扩展至考虑行为效应的捕获-重捕获模型，提出惩罚经验似然估计以解决低捕获概率下的不稳定性，并开发EM算法提升实用性，实验证明其优于现有方法。
2022-08-11 stat.ME
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计，如LASSO，自适应LASSO，和硬阈值的置信区间进行了分析。在已知方差的情况下，有限样本覆盖性质，这样的间隔被确定，它表明，对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度，其大于基于LASSO的最短间隔的长度，其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下，基于这些估计量的区间比标准区间大数量级。此外，一个简单的渐近置信区间的建设在“稀疏”的情况下，也适用于平滑剪切绝对偏差估计，进行了讨论。已知方差的情况下的结果进行到未知方差的情况下，在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
Penalized Composite Quasi-Likelihood for Ultrahigh-Dimensional Variable Selection
在高维模型选择问题中，惩罚简单最小二乘方法得到了广泛的应用。针对惩罚模型选择方法的鲁棒性和效率问题，提出了一种数据驱动的凸损失函数加权线性组合和加权$L_1$ -惩罚模型.它是完全数据自适应的，不需要误差分布的先验知识。加权的$L_1$ -罚函数用于保证罚函数项的凸性和改善由$L_1$ -罚函数引起的偏差。在维数远大于样本量的情况下，我们建立了该方法的一个强预言性质，该性质同时具有模型选择一致性和对真实非零系数的估计效率.作为具体的例子，我们介绍了一个强大的复合L1-L2的方法，和最佳复合分位数方法，并评估其性能在模拟和真实数据的例子。
2010-06-30 math.ST stat.ME stat.TH
A unified approach to penalized likelihood estimation of covariance matrices in high dimensions
本文提出一种统一框架，将稀疏模式最大似然、l_1惩罚对数似然和岭正则化三种协方差矩阵估计方法结合，通过双惩罚项约束优化实现高效稳定的高维稀疏估计，并提供R包gicf。
2024-10-03 stat.ME
Flexible Bayesian Modeling of Counts: Constructing Penalized Complexity Priors
许多数据，特别是在医学和疾病绘图方面的数据都是有价值的。事实上，在计数数据的过度或过度分散的问题不信任的经典泊松模型的性能。针对这一问题，本文提出了一种新的贝叶斯结构可加回归模型，称为gamma计数，在离散建模方面具有足够的灵活性。在模型参数上设置方便的先验分布是贝叶斯统计中的一个重要问题，它表征了我们的不确定性参数的性质。依赖于最近提出的一类惩罚复杂性先验，从一组一般的建设原则的动机，我们推导出先验结构。该模型可以表示为一个隐高斯模型，因此，我们可以使用集成嵌套拉普拉斯近似方法进行快速计算。我们调查所提出的方法模拟研究。对不同的征用先验分布进行了检验，以提供合理的敏感性分析。为了解释所提出的模型的适用性，我们分析了两个真实世界的数据集相关的喉癌死亡率在德国和手球冠军联赛。
2021-05-18 stat.AP stat.ME
Penalized likelihood estimation of probability density functions using compositional splines
Palacký University Olomouc（帕尔卡茨大学）
该研究针对概率密度函数两阶段估计的偏差问题，提出了基于贝叶斯希尔伯特空间、中心对数比变换和ZB样条的惩罚最大似然框架，经模拟和地球化学数据验证了其有效性。
2026-08-25 stat.ME
Bayesian dimensionality reduction with PCA using penalized semi-integrated likelihood
本文讨论了主成分分析中主成分个数的估计问题。尽管在文献中提出的问题和众多的解决方案的重要性，它来作为一个惊喜，不存在一个连贯的渐近框架，这将证明不同的方法取决于数据集的实际大小。在本文中，我们解决这个问题，提出了一个近似的贝叶斯方法的基础上拉普拉斯近似，并介绍了一种通用的方法，用于建立模型选择标准，称为PEnalized SEMI集成的Likewise（PESEL）。我们的一般框架包括各种现有的方法的基础上的概率模型，例如贝叶斯信息准则的概率PCA（PPCA），并允许建设新的标准，这取决于手头的数据集的大小。具体来说，我们定义PESEL时，变量的数量大大超过观察的数量。我们还报告了广泛的模拟研究和实际数据分析的结果，这说明了我们提出的标准相比，国家的最先进的方法和最近的建议，良好的性能。具体而言，这些模拟表明，PESEL为基础的标准可以是相当强大的概率模型假设的偏差。用于估计主成分数量的选定的基于PESEL的标准在R包varnish中实现，该包可在github（https：//github.com/psobczyk/varnish）上获得。
2016-07-05 stat.ME
Inference for Multivariate Normal Mixtures
多元正态混合模型为高维数据提供了一个灵活的模型。它们广泛应用于统计遗传学、统计金融学等学科。由于似然函数的无界性，经典的基于似然函数的方法虽然具有很好的实用性，但并不一致。本文提出了一种估计混合分布的惩罚似然方法。我们证明了最大惩罚似然估计是强相合的，当组件的数量有一个已知的上界。我们还探讨了一个方便的EM算法计算的最大惩罚似然估计。大量的模拟进行了探索的有效性和实际限制的新方法和批准的最大似然估计。根据仿真结果给出了指导原则。
2008-05-26 math.ST stat.ME stat.TH
Bayesian penalized empirical likelihood and Markov Chain Monte Carlo sampling
本文提出 Bayesian Penalized Empirical Likelihood (BPEL) 框架，通过正则化 Lagrange multipliers 降低维度并引入 MCMC 抽样替代复杂优化，有效解决了经验似然的计算挑战，提升了灵活性与推断效率。
2025-03-02 econ.EM stat.ME stat.ML
Variable selection in frailty mixture cure models via penalized likelihood estimation
Monash University（蒙纳士大学）；Griffith University（格里菲斯大学）；University of Queensland（昆士兰大学）
本文提出了一种基于惩罚似然估计的变量选择方法，用于 frailty 混合治愈模型，通过调整受试者内相关性和治愈率，提高模型的可解释性。
2025-12-23 stat.ME
A new scope of penalized empirical likelihood with high-dimensional estimating equations
统计方法与经验似然（EL）是有吸引力的和有效的，特别是与估计方程，通过它可以自适应地和灵活地纳入有用的数据信息。它也是已知的，在文献中，EL方法遇到困难时，处理具有高维模型参数和估计方程的问题。为了克服这些挑战，我们从一个新的角度对高维EL进行了深入的研究，目标是估计高维稀疏模型的参数。我们表明，新的范围提供了一个机会，放宽严格的要求的模型参数的维数。在此基础上，我们提出了一种新的惩罚EL，即在EL的优化过程中，通过引入两个罚函数分别正则化模型参数和相应的Lagrange乘子.通过惩罚拉格朗日乘子，以鼓励其稀疏性，我们表明，大幅减少维数的估计方程的数量可以有效地实现，而不会损害所得到的估计的有效性和一致性。最吸引人的是，这种估计方程的降维实际上相当于在这些高维估计方程中进行选择，从而导致用于高维稀疏模型参数的高度简约和有效的装置。在模型参数和估计方程的维数都随样本量呈指数增长的情况下，我们的理论证明了新惩罚EL的估计量是稀疏的，并且与渐近正态分布的非零分量一致.数值模拟和实际数据分析表明，所提出的惩罚EL的工作前景。
2017-05-28 math.ST stat.ME stat.TH
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
