Maximum softly-penalized likelihood for mixed effects logistic regression
已知在具有混合效应的逻辑斯谛回归中的极大似然估计经常导致在参数空间的边界上的估计。此类估计值包括固定效应的无限值和奇异或无限方差分量，可能会对数值估计过程和推断造成严重破坏。我们在对数似然函数或其近似值中引入了适当缩放的加性惩罚，该函数通过不含随机效应的模型的Jeffreys不变先验惩罚固定效应，并通过负Huber损失函数的组合惩罚方差分量。由此产生的最大惩罚似然估计位于内部的参数空间。适当的惩罚尺度保证惩罚足够软，以保持极大似然估计所期望的最佳渐近性质，即一致性，渐近正态性和Cramér-Rao效率。我们选择的惩罚和比例因子在模型参数（如对比度）的线性变换下保持了固定效应估计值的等方差。最大软惩罚似然竞争的方法相比，两个真实数据的例子，并通过全面的模拟研究，说明其优越的有限样本性能。
2023-02-02 stat.ME
Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models
通过分析多层图形模型，可以在调整和量化其他层节点的影响后，深入了解层内节点之间的条件关系。我们得到惩罚的极大似然估计高斯多层图形模型，基于一种计算方法，涉及筛选的变量，迭代估计层之间的有向边缘和层内的无向边缘和最后的改装和稳定性选择步骤，提供了改进的性能在有限的样本设置。我们建立的估计在高维设置的一致性。为了获得这一结果，我们开发了一种策略，利用双凸的似然函数，以确保收敛的迭代算法的一个固定点，以及仔细的均匀误差控制的估计迭代。的性能的极大似然估计的合成数据说明。
2016-01-05 stat.ME
Penalized likelihood inference for beta-binomial meta-analysis of proportions of rare events
The Graduate Institute for Advanced Studies, The Graduate University for Advanced Studies（高级研究研究生院，高级研究院）；Department of Interdisciplinary Statistical Mathematics, The Institute of Statistical Mathematics（统计数学系，统计数学研究所）
针对罕见事件比例元分析中常用最大似然估计器存在有限样本偏差的问题，提出最大惩罚似然估计器，通过最大化Jeffreys先验惩罚增强的对数似然得到，模拟显示其在多方面优于普通MLE，还引入新置信区间，为相关元分析提供有用替代方法。
2026-07-30 stat.ME
Marginal false discovery rate control for likelihood-based penalized regression models
惩罚回归在高维数据分析中的流行导致了对这些模型的新推理工具的需求。错误发现率控制被广泛应用于高维假设检验，但最近才被认为是在惩罚回归的背景下。然而，几乎所有这些工作都集中在lasso惩罚的线性回归上。在本文中，我们得到了一个通用的方法来控制边际错误发现率，可以应用于任何惩罚似然模型，如逻辑斯谛回归和Cox回归。我们的方法是快速的，灵活的，可以使用各种惩罚函数，包括套索，弹性网，MCP和MNet。我们得出的理论结果，所提出的方法是有效的，并使用模拟研究表明，该方法是合理的鲁棒性，虽然略有保守，当这些假设被违反。尽管是保守的，我们表明，我们的方法往往提供更多的权力，选择因果关系的重要功能比现有的方法。最后，该方法的实际效用证明了基因表达数据集与二进制和时间到事件的结果。
2019-01-22 stat.ME
Revisiting Penalized Likelihood Estimation for Deterministic Computer Experiments
NC State University（北卡罗来纳州立大学）；Virginia Tech（弗吉尼亚理工大学）
研究高斯过程中惩罚似然估计问题，引入基于马氏距离的“去相关预测误差”交叉验证度量，该度量在无需惩罚时与标准 MLE 相当，正则化有益时优于传统度量，能更可靠地选择调优参数。
2026-07-21 stat.ME
Dealing with separation problem in hidden Markov models with covariates based on a penalized maximum likelihood approach
本文提出惩罚最大似然方法解决带协变量隐马尔可夫模型中的潜在状态分离问题，并通过交叉验证联合选择隐藏状态数与惩罚强度，在模拟和脊髓麻醉低血压纵向数据中验证了其估计精度与模型潜力。
2025-07-03 stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University（西蒙菲莎大学）
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题，提出log-F惩罚条件逻辑回归方法，其在模拟中表现出与Firth方法相当的置信区间覆盖率，且均方误差更低。
2026-08-03 stat.ME
Nonparametric Density Estimation for Data Scattered on Irregular Spatial Domains: A Likelihood-Based Approach Using Bivariate Penalized Spline Smoothing
针对不规则空间域数据，本文提出基于三角剖分二元惩罚样条平滑的似然非参数密度估计方法，证明其渐近收敛速率，并通过模拟和波特兰盗车数据验证其优势。
2024-10-27 stat.ME
Hypothesis Testing for Penalized Estimating Equations with Cross-Fitted Covariance Calibration
Department of Mathematics, University of Manchester（曼彻斯特大学数学系）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
本文研究了在多元响应边际分布难以指定的情形下，惩罚估计量的假设检验方法，通过交叉拟合校准协方差函数以提高推断鲁棒性。
2026-04-06 math.ST stat.ME stat.TH
Improved Non-parametric Penalized Maximum Likelihood Estimation for Arbitrarily Censored Survival Data
非参数极大似然估计是一组经典的估计方法，用于估计截尾数据中的分布相关函数，在生存分析中有着广泛的应用。这些方法，包括卡普兰-迈耶估计量和Turnbull方法，经常导致过拟合，特别是当样本量很小时。我们提出了一种改进这些方法，通过应用核平滑的原始估计，基于BIC型损失函数，平衡优化模型拟合和控制模型复杂性之间的权衡。在纵向研究的背景下，重复观察，我们详细介绍了我们提出的平滑过程和优化算法。通过对多个现实场景的广泛模拟研究，我们证明了我们基于平滑的程序通过减少过拟合在生存函数估计和个体水平的事件发生时间预测方面提供了更好的整体准确性。与原始未平滑估计值相比，我们的平滑过程使用区间删失数据将估计值与真实模拟生存函数之间的差异降低了49%，样本内和样本外预测分别提高了41%和23%。最后，我们将我们的方法应用于审查乳腺癌诊断的真实数据，与未审查数据的经验生存估计相比，这同样显示出改善。我们提供了一个R包，SISE，用于实现我们的惩罚似然方法。
2021-08-04 stat.ME
Linear Shrinkage Convexification of Penalized Linear Regression With Missing Data
针对含缺失数据的惩罚线性回归中协方差矩阵非正定、损失函数非凸的问题，提出线性收缩正定（LPD）修正方法，通过修改协方差矩阵实现凸化，理论证明其收敛性并在GDSC数据集验证了有效性。
2025-04-18 stat.ME
Penalized likelihood estimation of probability density functions using compositional splines
Palacký University Olomouc（帕尔卡茨大学）
该研究针对概率密度函数两阶段估计的偏差问题，提出了基于贝叶斯希尔伯特空间、中心对数比变换和ZB样条的惩罚最大似然框架，经模拟和地球化学数据验证了其有效性。
2026-08-25 stat.ME
On the penalized maximum likelihood estimation of high-dimensional approximate factor model
本文主要研究高维近似因子模型的惩罚极大似然估计。针对目前估计方法不能保证误差协方差阵的正定性的问题，通过对误差协方差阵的估计进行重新表述，并基于拉格朗日对偶性，提出了一种加速邻近梯度（APG）算法，给出了误差协方差阵的正定性估计.将APG算法与EM方法相结合，提出了一种新的估计方法来估计高维近似因子模型。新方法不仅给出了误差协方差阵的正定估计，而且提高了高维近似因子模型的估计效率。虽然该算法不能保证全局唯一解，但它具有理想的非增性。通过仿真和实际数据分析，研究了新算法的估计和预测效率。
2019-01-17 stat.CO stat.ME
Adaptive Penalized Likelihood method for Markov Chains
针对马尔可夫链转移概率矩阵估计不准及高维LRT效率低的问题，研究将自适应Lasso扩展至马尔可夫链，提出基于惩罚极大似然估计的新模型，具有神谕性质且在模拟与实际数据中表现优异。
2024-06-01 stat.AP stat.ME
Using a Penalized Likelihood to Detect Mortality Deceleration
本文提出一种基于惩罚似然的死亡率减速检测方法，替代传统似然推断，避免p值与假设检验，在模拟和真实数据上更准确且参数估计更可靠。
2023-03-28 stat.AP stat.ME
Penalized maximum likelihood estimation and variable selection in geostatistics
考虑了具有高斯过程误差的空间线性模型中协变量的选择问题。惩罚极大似然估计（PMLE），使同时变量选择和参数估计的开发，为了便于计算，PMLE近似的一步稀疏估计（OSE）。为了进一步提高计算效率，特别是在大样本量下，我们提出了惩罚最大协方差锥形似然估计（PMLE $_{\mathrm{T}}$）及其一步稀疏估计（OSE $_{\mathrm{T}}$）。一般形式的惩罚函数，强调平滑剪切绝对偏差用于惩罚极大似然。导出了PMLE和OSE的理论性质，以及它们的协方差锥化近似PMLE $_{\mathrm{T}}$和OSE $_{\mathrm{T}}$，包括相容性、稀疏性、渐近正态性和预言性质.对于协方差渐缩，我们的理论结果的一个副产品是最大协方差渐缩似然估计的一致性和渐近正态性。在模拟研究中证明了所提出的方法的样本性质，为了说明，该方法被应用于分析两个真实的数据集。
2012-02-23 math.ST stat.ME stat.TH
Penalized maximum likelihood estimation for generalized linear point processes
广义线性点过程根据强度来指定，该强度通过固定的非线性函数依赖于线性预测器过程。我们提出了一个框架，其中的线性预测参数化的巴拿赫空间，并给出结果的Gateaux微分的对数似然。特别感兴趣的是，当强度被表示为由索伯列夫空间参数化的线性滤波。利用索伯列夫空间是再生核希尔伯特空间，我们得到了惩罚极大似然估计在特殊情况下的表示和一般情况下的负对数似然梯度的结果.后者被用来开发一个下降算法在索伯列夫空间。我们的结论是本文的多元和添加剂模型规格的扩展。这些方法在R-package ppstat中实现。
2013-04-02 math.PR math.ST stat.ME
Nonconcave penalized likelihood with a diverging number of parameters
Fan和Li提出了一类基于非凹惩罚似然的参数模型的变量选择方法，可同时估计参数和选择重要变量.他们证明了当参数的数量是有限的时，这类过程具有预言属性。然而，在大多数模型选择问题中，参数的数量应该很大，并且随着样本量的增加而增加。本文在参数个数随样本量增加而趋于\infty的情形下，建立了非凹惩罚似然的一些渐近性质。在正则性条件下，我们建立了惩罚似然估计的预言性质和渐近正态性。进一步证明了协方差阵夹心公式的一致性。讨论了非凹罚似然比统计量，通过对罚函数施加一些较弱的条件，得到了它们在原假设下的渐近分布.
2004-06-23 math.ST stat.TH
Information Theory of Penalized Likelihoods and its Statistical Implications
我们扩展了数据压缩中的两阶段编码程序和统计估计中的惩罚似然程序之间的对应关系。传统上，这需要限制到可数参数空间。我们展示了如何扩展这种对应的不可数参数的情况下。利用惩罚似然程序的描述长度的解释，我们设计了新的技术，以获得自适应的风险界限，这样的程序。我们证明了参数空间的某些可数覆盖的存在性意味着自适应风险界，因此我们的理论是相当一般的。我们应用我们的技术来说明风险界$\ell_1$型惩罚程序在典型的高维统计问题，如线性回归和高斯图形模型。在线性回归问题中，我们还演示了如何传统的$l_0$惩罚时间$\frac{\log(n)}{2}$加上低阶项有两个阶段的描述长度的解释和目前的风险界限，这个惩罚似然程序。
2015-05-07 math.ST stat.TH
Inference with penalized likelihood
本文在半参数框架下研究了最大惩罚似然方法的统计特性。我们回顾了惩罚似然估计函数的方法，并回顾了一些渐近结果。研究了极大惩罚似然估计方差的两种估计：三明治估计和贝叶斯估计的性质。通过生存数据的模拟研究，研究了基于这些估计量的置信区间的覆盖率。在第一次模拟中，对生存函数和风险函数的覆盖率进行评估。在第二个模拟中，从具有协变量的比例风险模型生成数据。研究了回归系数的方差估计。对于生存和风险函数，三明治估计和贝叶斯估计都表现出相对较好的性质，但贝叶斯估计似乎更准确。至于回归系数，我们集中在贝叶斯估计，并发现它产生了良好的覆盖率。
2014-01-30 math.ST stat.TH
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计，如LASSO，自适应LASSO，和硬阈值的置信区间进行了分析。在已知方差的情况下，有限样本覆盖性质，这样的间隔被确定，它表明，对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度，其大于基于LASSO的最短间隔的长度，其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下，基于这些估计量的区间比标准区间大数量级。此外，一个简单的渐近置信区间的建设在“稀疏”的情况下，也适用于平滑剪切绝对偏差估计，进行了讨论。已知方差的情况下的结果进行到未知方差的情况下，在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
Variable-width confidence intervals in Gaussian regression and penalized maximum likelihood estimators
硬阈值、LASSO、自适应LASSO和SCAD点估计器已经被建议用于当回归参数向量的大多数分量被认为是零（稀疏型假设）时的线性回归上下文中。Potscher和Schneider，2010年，Electronic Journal of Statistics，考虑了固定宽度置信区间的属性，其中包括这些点估计量之一（对于所有可能的数据值）。他们认为一个正常的线性回归模型与正交回归，并表明，这些置信区间是长于标准置信区间（基于极大似然估计）时，这些点估计的调整参数选择，导致保守或一致的模型选择。我们将这种分析扩展到可变宽度置信区间的情况，其中包括这些点估计（对于所有可能的数据值）。与Potscher和Schneider的这些发现一致，我们发现这些置信区间与标准置信区间相比表现不佳，当选择这些点估计的调谐参数以导致一致的模型选择时。然而，当这些点估计的调整参数被选择，导致保守的模型选择，我们的结论不同于Potscher和Schneider。我们考虑Farchione和Kabaila，2008，Statistics & Probability Letters中的可变宽度置信区间，在稀疏性假设中存在信念的情况下，它比标准置信区间具有优势。这些可变宽度的置信区间，包括硬阈值，LASSO，自适应LASSO和SCAD估计（所有可能的数据值），这些估计的调谐参数被选择属于一个适当的区间。
2010-08-25 stat.ME
Inference for Multivariate Normal Mixtures
多元正态混合模型为高维数据提供了一个灵活的模型。它们广泛应用于统计遗传学、统计金融学等学科。由于似然函数的无界性，经典的基于似然函数的方法虽然具有很好的实用性，但并不一致。本文提出了一种估计混合分布的惩罚似然方法。我们证明了最大惩罚似然估计是强相合的，当组件的数量有一个已知的上界。我们还探讨了一个方便的EM算法计算的最大惩罚似然估计。大量的模拟进行了探索的有效性和实际限制的新方法和批准的最大似然估计。根据仿真结果给出了指导原则。
2008-05-26 math.ST stat.ME stat.TH
Asymptotic Properties of Penalized Spline Estimators in Concave Extended Linear Models: Rates of Convergence
本文给出了当似然泛函在候选函数中为凹函数时函数估计的惩罚样条估计的收敛速度的一般理论，其中似然是广义的，包括条件似然、拟似然和伪似然.该理论允许未知函数的样条次数、罚阶和光滑性的所有可行组合。根据这一理论，惩罚样条估计量的渐近性态依赖于样条节点数和罚参数之间的相互作用。一般的理论被应用于获得各种情况下的结果，包括回归，广义回归，如逻辑斯谛回归和泊松回归，密度估计，条件风险函数估计删失数据，分位数回归，扩散型过程的扩散函数估计，和估计的谱密度函数的平稳时间序列。对于多维函数估计，该理论（在补充材料中提出）涵盖了三角剖分上的惩罚张量积样条和惩罚二元样条。
2021-05-13 math.ST stat.TH
On parameter identification in stochastic differential equations by penalized maximum likelihood
Institut für Numerische und Angewandte Mathematik, Georg-August Universität Göttingen（哥廷根大学应用数学与数值计算研究所）
本文提出非参数估计器用于估计随机微分方程的系数，通过Fokker-Planck方程描述确定性前向算子，推导惩罚最大似然估计器的风险收敛速率，并通过蒙特卡洛模拟展示对数似然相较于二次数据保真项的优势。
2014-04-02 cs.NA math.NA q-fin.ST
General oracle inequalities for a penalized log-likelihood criterion based on non-stationary data
本研究基于鞅方法推导了适用于非独立非平稳数据的惩罚对数似然准则Oracle不等式，在多类场景验证后发现其在强依赖数据场景下的结果与现有研究相当或更具通用性。
2024-05-17 math.ST stat.TH
Penalized Likelihood Approach for the Four-parameter Kappa Distribution
针对四参数Kappa分布极大似然估计小样本性能差的问题，提出结合18种形状参数惩罚组合的极大惩罚似然估计，经模拟和泰国气温数据验证，该方法兼顾建模灵活性、大样本最优性与小样本性能。
2024-08-19 stat.CO stat.ME
Conditional Density Estimation by Penalized Likelihood Model Selection and Applications
在本技术报告中，我们考虑使用最大似然方法的条件密度估计。在较弱的假设下，得到了单模型Kullback-Leibler型损失的最大似然估计的理论界.我们使用惩罚模型选择技术来选择集合中的最佳模型。我们给出了罚函数选择的一般条件，并证明了罚函数选择的结果是oracle型不等式。这种构造被应用到基于分区的条件密度模型的两个例子中，在这些模型中，条件密度仅以分段方式依赖于协变量。第一个例子依赖于经典的分段多项式密度，而第二个使用高斯混合物与不同的混合比例，但相同的混合成分。我们展示了这最后一种情况是如何与无监督分割应用程序，一直是我们的动机，这项研究的来源。
2012-07-09 math.ST stat.TH
Efficiency for Regularization Parameter Selection in Penalized Likelihood Estimation of Misspecified Models
在总体方差已知或有相合估计量的假设下，证明了AIC型准则是非凹惩罚回归方法中调整参数的渐近有效选择器.我们放松这个假设，证明AIC本身是渐近有效的，我们研究其性能在有限样本。在经典回归中，当最大候选模型的维数相对于样本量较大时，AIC倾向于选择过于复杂的模型。模拟研究表明，AIC遭受同样的缺点时，用于惩罚回归。因此，我们建议使用经典的校正AIC（AICc）作为替代，并证明它保持所需的渐近性质。为了扩展我们的结果，我们进一步证明了AIC的惩罚似然方法的广义线性模型的上下文中没有分散参数的有效性。类似的结果存在于文献中，但仅限于一组有限的候选模型。通过采用经典文献中关于错误指定模型中的极大似然估计的结果，我们能够为一组一般候选模型建立此结果。我们使用模拟来评估AIC和AICc的性能，以及其他选择器，在有限样本的SCAD惩罚和Lasso回归和一个真实的数据的例子被认为是。
2013-02-08 stat.ML
Diaconis-Ylvisaker prior penalized likelihood for $p/n \to κ\in (0,1)$ logistic regression
本文研究了在高维逻辑回归中，当协变量数量与观测数量比例为κ∈(0,1)时，Diaconis-Ylvisaker先验惩罚似然估计器的渐近性质，并提出了改进的推断方法。
2026-01-06 math.ST stat.TH
On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding
我们研究的分布的LASSO，SCAD和阈值估计，在有限样本和大样本限制。渐近分布的情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。我们的研究结果补充了Knight和Fu（2000）以及Fan和Li（2001）的研究结果。我们发现，无论估计量如何调整，分布通常都是高度非正态的，并且这种特性在大样本中仍然存在。这些估计量的一致收敛性也得到了，并显示出慢于1/根（n）的情况下，估计量进行调整，以执行一致的模型选择。给出了估计量的分布函数估计的不可能性结果。
2009-04-17 math.ST stat.ME stat.ML
Strong consistency of the maximum likelihood estimator for finite mixtures of location-scale distributions when penalty is imposed on the ratios of the scale parameters
在位置-尺度分布的有限混合分布中，如果参数没有约束或惩罚，则极大似然估计不存在，因为似然是无界的。为了避免这个问题，我们考虑一个惩罚的可能性，其中的惩罚是一个函数的比例的最小值的尺度参数和样本量。证明了惩罚极大似然估计是强相合的。我们还分析了惩罚的最大似然估计的一致性，惩罚施加在尺度参数本身。
2008-02-08 math.PR math.ST stat.TH
A penalized empirical likelihood method in high dimensions
本文提出了一种惩罚经验似然（PEL）方法，用于当观测数据维数的增长速度可能快于样本量时对总体均值的推断。在观测值的不同分量依赖结构下，即（i）非遍历，（ii）长程依赖和（iii）短程依赖，导出了PEL比统计量的渐近分布.由此可见，建议的PEL比统计量的极限分布可以根据相关结构而变化很大，并且它通常不同于固定和有限维情况下经验似然比统计量的通常卡方极限。提出了一种统一的基于子采样的校准，并在所有三种情况下建立了其有效性，（i）-（iii）。有限样本的性质的方法进行了研究，通过模拟研究。
2013-02-27 math.ST stat.TH
Jeffreys-prior penalty, finiteness and shrinkage in binomial-response generalized linear models
惩罚的可能性杰弗里斯不变的前，或由一个积极的权力，产生有限值的最大惩罚似然估计在广泛的一类二项式广义线性模型。这类模型包括逻辑斯谛回归，其中Jeffreys先验惩罚是已知的，以减少最大似然估计的渐近偏差;以及其他常用的链接函数，如概率单位和对数对数的模型。收缩等概率跨观察，相对于最大似然估计，理论上建立，并通过说明性的例子进行了研究。有限性和收缩推理的一些影响进行了讨论，特别是当推理是基于Wald型程序。一个广泛适用的程序开发的最大惩罚似然估计的计算，通过使用重复的最大似然拟合迭代调整二项式响应和总数。这些理论结果和方法支持了减少偏差和类似惩罚的二项回归模型在许多应用领域中的日益广泛的使用。
2020-03-23 math.ST stat.ME stat.TH
Penalized log-likelihood estimation for partly linear transformation models with current status data
我们考虑部分线性变换模型应用于当前状态数据。未知量是转换函数、线性回归参数和非参数回归效应。结果表明，惩罚的最大似然估计的回归参数是渐近正态和有效的，并收敛于参数率，虽然惩罚的最大似然估计的转换功能和非参数回归效应是只有$n^{1/3}$一致。研究了基于块刀切法的回归参数推断问题。我们还研究了计算问题，并通过模拟研究证明了所提出的方法。转换模型和部分线性回归条款，加上新的估计和推理技术，提供了灵活的替代Cox模型的现状数据分析。
2006-02-11 math.ST stat.TH
$\ell_0$-penalized maximum likelihood for sparse directed acyclic graphs
考虑了高维稀疏有向无环图模型（或等价的高斯结构方程模型）的结构和参数的正则化极大似然估计问题.我们发现，$\ell_0$惩罚的最大似然估计的DAG具有约相同数量的边缘的最小边缘I-MAP（DAG与最小数量的边缘代表的分布），它收敛于Frobenius范数。我们允许节点数p远大于样本量n，但假设稀疏条件，并且真实DAG的任何表示至少具有高于噪声水平的非零边缘权重的固定比例。我们的研究结果不依赖于忠实性假设，也不依赖于限制性强忠实性条件，这是基于条件独立性测试的方法，如PC算法所需的。
2013-05-09 math.ST stat.TH
Quasi-maximum likelihood estimation and penalized estimation under non-standard conditions
本文的目的是开发一个通用的参数估计理论，允许非正规模型中的估计量的极限分布的推导，其中真实的参数值可能位于参数空间的边界上，甚至无法识别。为此，我们提出了一个更一般的局部近似的参数空间（在真值）比以前的研究。这种估计理论是全面的，因为它可以处理惩罚估计以及准极大似然估计在这样的非正则模型。此外，我们的结果也适用于Fisher信息在极限上随机的非遍历统计量，包括局部渐近混合正态的正则实验。在惩罚估计中，根据边界约束，即使是具有$q<1$的Bridge估计也不一定给出选择一致性。因此，一些充分条件的选择一致性的描述，精确地评估边界约束和惩罚的形式之间的平衡。本文中处理的例子是：（i）广义逆高斯分布的ML估计，（ii）拟ML估计的非遍历Itô过程的参数空间由半正定对称矩阵，而漂移参数被视为滋扰和（iii）惩罚ML估计的随机效应的方差分量的线性混合模型。
2022-11-25 math.ST stat.TH
Penalized Likelihood for Dyadic Network Formation Models with Degree Heterogeneity
Jinan University（暨南大学）；South China Agricultural University（华南农业大学）
本文提出一种惩罚似然方法解决网络形成模型中度异质性导致的估计问题，通过引入惩罚项保证有限样本存在并修正偏差，适用于大规模网络数据。
2026-05-01 econ.EM math.ST stat.TH
Penalized Maximum Likelihood Inference of Core-Periphery Networks
Università di Pisa（比萨大学）；Università di Siena（锡耶纳大学）
提出PLSD方法，通过惩罚似然修正核心-边缘网络推断，兼顾高阶结构，并在模拟与真实网络数据中验证其有效性。
2026-09-15 cond-mat.stat-mech econ.EM physics.soc-ph
Asymptotic Results for Penalized Quasi-Likelihood Estimation in Generalized Linear Mixed Models
本文在聚类数量和规模均趋于无穷的条件下，建立了广义线性混合模型中惩罚拟似然估计的渐近理论，揭示了条件与无条件两种机制下固定效应和随机效应估计量的不同渐近分布性质。
2024-05-02 math.ST stat.TH
Comparing two samples by penalized logistic regression
提出并研究了基于惩罚密度比模型的推理方法。所考虑的模型是通过假设两个未知密度的对数似然函数具有某种参数形式来指定的。该模型已被扩展到涵盖多个样本的问题，而其理论性质已使用大样本理论进行了研究。密度比模型的一个主要应用是检验两个或多个分布是否相等。我们扩展了这些结果，认为惩罚最大经验似然估计量的均方误差比普通最大似然估计量的均方误差要小，特别是对于小样本。事实上，惩罚方法解决了估计量的存在性问题，并且可以使用一个修正的Wald型检验统计量来检验两个分布的相等性。有限的模拟研究进一步支持了这一理论。
2008-07-16 math.ST stat.TH
Asymptotics for penalized splines in generalized additive models
本文讨论了广义可加模型中惩罚样条估计的渐近理论。本文研究了Marx和Eilers（1998）提出的惩罚样条估计的渐近偏差、方差和渐近正态性。此外，还讨论了混合模型中惩罚拟似然拟合的渐近性。
2012-08-20 math.ST stat.TH
Consistency of penalized maximum likelihood estimation for multidimensional change-in-velocity detection
Duke University School of Medicine（杜克大学医学院）；University of Chicago（芝加哥大学）；Tulane University（杜兰大学）
本文证明了CPLASS方法中惩罚最大似然估计量在高频数据下对分段线性轨迹变点检测的一致性，给出了变点位置误差的收敛速率。
2026-10-06 math.ST stat.TH
Common TF-IDF variants arise as key components in the test statistic of a penalized likelihood-ratio test for word burstiness
School of Mathematical and Computational Sciences, University of Prince Edward Island（爱德华王子岛大学数学与计算科学学院）；Canadian Centre for Climate Change and Adaptation, University of Prince Edward Island（爱德华王子岛大学加拿大气候变化与适应中心）；Faculty of Sustainable Design Engineering, University of Prince Edward Island（爱德华王子岛大学可持续设计工程学院）
本文展示TF-IDF-like评分自然出现在捕捉词爆发性的惩罚似然比检验测试统计量中，并发现该统计量的词权方案在文档分类任务中表现与TF-IDF相当。
2026-04-05 cs.CL cs.IR math.ST
Breakdown points of penalized and hybrid M-estimators of covariance
我们引入了一类多元散布的混合M-估计量，类似于流行的空间符号协方差阵（SSCM），具有高崩溃点。我们还表明，SSCM可以被看作是这个类的一个极端的成员。与SSCM不同，但与散点的常规M-估计量一样，这类新的估计量考虑了数据云的轮廓形状，以降低观测值的权重。
2020-02-28 stat.ME
Existence and uniqueness of the maximum likelihood estimator for models with a Kronecker product covariance structure
本文讨论了多元高斯模型，其中协方差阵是两个矩阵的Kronecker积。我们考虑模型参数的极大似然估计，特别是协方差阵。Kronecker乘积协方差阵的极大似然估计量没有明确的表达式。本文的主要问题是协方差阵的极大似然估计是否存在以及它是否唯一。对于我们考虑的不同模型，答案是不同的。
2014-10-08 math.ST stat.TH
CAM: Causal additive models, high-dimensional order search and penalized regression
ETH Zürich（苏黎世联邦理工学院）
我们开发潜在的高维加性结构方程模型的估计。我们的方法的一个关键组成部分是解耦顺序搜索的变量之间的特征或边缘选择的有向无环图编码的因果结构。我们表明，前者可以做非正则化（限制）极大似然估计，而后者可以有效地解决使用稀疏回归技术。因此，我们大大简化了一类重要的因果模型的结构搜索和估计问题。我们建立一致性的（限制）极大似然估计低，高维的情况下，我们也允许误指定的误差分布。此外，我们开发了一个有效的计算算法，可以处理许多变量，新方法的精度和性能的仿真和真实数据。
2014-12-01 cs.LG stat.ME stat.ML
Multilevel maximum likelihood estimation with application to covariance matrices
证明了当最大化被限制在包含真参数值的子空间时，最大似然估计的渐近方差减小。极大似然估计允许协方差模型与样本的系统拟合，这在数据同化中是重要的。分层最大似然方法被应用到谱对角协方差模型与不同的参数化的特征值衰减，和稀疏逆协方差模型与指定的参数值上的不同的非零条目。计算表明，使用较小的参数集可以大大降低高维采样噪声。
2018-01-12 math.ST stat.TH
Inference in a bimodal Birnbaum-Saunders model
我们解决的问题进行推断的参数，指数双峰扩展的Birnbaum-Saunders分布（BS）。我们表明，极大似然点估计可能是有问题的，因为标准的非线性优化算法可能无法收敛。为了解决这个问题，我们惩罚对数似然函数。我们提出的数值证据表明，极大似然估计的基础上，这样的惩罚函数是相当可靠的。我们还考虑了基于惩罚对数似然函数的假设检验推理。特别地，我们考虑了似然比，签署似然比，得分和Wald测试。基于Bootstrap的测试推理也被认为是。我们使用非嵌套假设检验来区分两个双峰BS法。我们推导出一些测试的分析修正。蒙特卡罗模拟的结果和经验的应用进行了介绍和讨论。
2017-11-23 stat.CO
Inference for generalized additive mixed models via penalized marginal likelihood
针对广义加性混合模型中拉普拉斯近似在平滑参数估计上精度不足的问题，提出一种基于惩罚边际似然的新估计策略，以获得具有正确统计性质的估计。
2025-04-14 stat.ME
Penalized Maximum Tangent Likelihood Estimation and Robust Variable Selection
本文介绍了一类新的均值回归估计--惩罚最大正切似然估计--用于高维回归估计和变量选择。我们首先解释的关键成分，最大正切似然估计（MTE）的动机，并建立其渐近性质。我们进一步提出了一个惩罚的MTE变量选择，并证明了它是$\sqrt{n}$ -一致的，享有的oracle属性。所提出的估计类包括惩罚$\ell_2$距离、惩罚指数平方损失、惩罚最小二乘和惩罚最小二乘作为特例，可以看作是最小Kullback-Leibler距离估计和最小$\ell_2$距离估计的混合.此外，我们认为提出的估计类下的高维设置时，变量的数量$d$可以指数增长的样本量$n$，并表明，整个类的估计（包括上述特殊情况）可以达到最佳的收敛速度的顺序为$\sqrt{\ln(d)/n}$。最后，仿真研究和实际数据分析证明了惩罚MTE的优点。
2017-08-21 stat.ME
Asymptotic analysis of ML-covariance parameter estimators based on covariance approximations
针对高斯随机场的协方差参数估计，提出截断似然函数近似方法，证明在紧支撑情形下估计量的一致性和渐近正态性，并推广至锥化情形，实现渐近最小化KL散度。
2023-11-15 math.ST stat.TH
Asymptotic analysis of maximum likelihood estimation of covariance parameters for Gaussian processes: an introduction with proofs
本文介绍了高斯过程协方差参数估计的渐近分析。考虑了极大似然估计。这一介绍的目的是要获得广大观众，并提出一些现有的结果和证明技术的文献。增加域和固定域的渐近设置。在增域渐近性下，证明了协方差参数的所有分量一般都能一致地用极大似然估计，且渐近正态性成立。相比之下，在固定域渐近下，只有构成微遍历参数的协方差参数的某些分量可以一致地估计。在固定域渐近下，考虑了各向同性Matérn协方差函数族的特殊情况.结果表明，只有方差和空间尺度参数的组合是微遍历的。给出了极大似然估计的相合性和渐近正态性证明。
2020-09-15 math.ST stat.TH
On minimax density estimation via measure transport
我们研究的收敛性，在海林格和相关的距离，非参数密度估计的基础上测量运输。这些估计量将感兴趣的度量表示为运输图下所选参考分布的前推，其中该图是通过最大似然目标（等效地，最小化经验Kullback-Leibler损失）或其惩罚版本来选择的。通过将M-估计与基于运输的密度表示的分析性质相结合，建立了一类惩罚测度运输估计的浓度不等式.然后，我们证明了我们的理论的影响的情况下，三角形Knothe-Rosenblatt（KR）运输的$d$维单位立方体，并表明，惩罚和未惩罚的版本，这样的估计实现极小极大最优的收敛速度的Hölder类的密度。具体来说，我们建立了最优率的无惩罚的非参数极大似然估计有界Hölder型球，然后为某些Sobolev惩罚估计和筛选小波估计。
2022-09-19 math.PR math.ST stat.ML
