Nonconcave penalized likelihood with a diverging number of parameters
Fan和Li提出了一类基于非凹惩罚似然的参数模型的变量选择方法，可同时估计参数和选择重要变量.他们证明了当参数的数量是有限的时，这类过程具有预言属性。然而，在大多数模型选择问题中，参数的数量应该很大，并且随着样本量的增加而增加。本文在参数个数随样本量增加而趋于\infty的情形下，建立了非凹惩罚似然的一些渐近性质。在正则性条件下，我们建立了惩罚似然估计的预言性质和渐近正态性。进一步证明了协方差阵夹心公式的一致性。讨论了非凹罚似然比统计量，通过对罚函数施加一些较弱的条件，得到了它们在原假设下的渐近分布.
2004-06-23 math.ST stat.TH
Information Theory of Penalized Likelihoods and its Statistical Implications
我们扩展了数据压缩中的两阶段编码程序和统计估计中的惩罚似然程序之间的对应关系。传统上，这需要限制到可数参数空间。我们展示了如何扩展这种对应的不可数参数的情况下。利用惩罚似然程序的描述长度的解释，我们设计了新的技术，以获得自适应的风险界限，这样的程序。我们证明了参数空间的某些可数覆盖的存在性意味着自适应风险界，因此我们的理论是相当一般的。我们应用我们的技术来说明风险界$\ell_1$型惩罚程序在典型的高维统计问题，如线性回归和高斯图形模型。在线性回归问题中，我们还演示了如何传统的$l_0$惩罚时间$\frac{\log(n)}{2}$加上低阶项有两个阶段的描述长度的解释和目前的风险界限，这个惩罚似然程序。
2015-05-07 math.ST stat.TH
Non-Concave Penalized Likelihood with NP-Dimensionality
惩罚似然方法是超高维变量选择的基础。这些方法可以处理多高的维度仍然是未知的。在广义线性模型的背景下，对于一类使用折叠凹罚函数的惩罚似然方法，我们证明了这种方法即使对于样本量的非多项式（NP）阶维数，也具有模型选择与预言性质的一致性，该方法被引入来改善凸罚函数的偏差问题.这填补了文献中的一个长期空白，其中允许维度随样本量缓慢增长。我们的结果也适用于惩罚似然与$L_1$ -罚款，这是一个凸函数的边界上的一类折叠凹罚函数正在考虑。通过几个仿真算例和实际数据分析，对坐标优化算法的性能进行了评价。
2009-10-06 math.ST stat.TH
Gaussian Mixture Regression model with logistic weights, a penalized maximum likelihood approach
我们希望使用高斯混合回归模型估计条件密度，其中logistic权重和均值取决于协变量。我们的目标是选择这个模型的组件的数量以及其他参数的惩罚最大似然法。我们提供了一个下界的惩罚，成比例的对数项的每个模型的尺寸，确保我们的估计的预言不等式。我们的理论分析得到了一些数值实验的支持。
2013-04-09 math.ST stat.TH
Inference with penalized likelihood
本文在半参数框架下研究了最大惩罚似然方法的统计特性。我们回顾了惩罚似然估计函数的方法，并回顾了一些渐近结果。研究了极大惩罚似然估计方差的两种估计：三明治估计和贝叶斯估计的性质。通过生存数据的模拟研究，研究了基于这些估计量的置信区间的覆盖率。在第一次模拟中，对生存函数和风险函数的覆盖率进行评估。在第二个模拟中，从具有协变量的比例风险模型生成数据。研究了回归系数的方差估计。对于生存和风险函数，三明治估计和贝叶斯估计都表现出相对较好的性质，但贝叶斯估计似乎更准确。至于回归系数，我们集中在贝叶斯估计，并发现它产生了良好的覆盖率。
2014-01-30 math.ST stat.TH
One-step sparse estimates in nonconcave penalized likelihood models
Fan和Li利用凹罚函数通过惩罚似然提出了一类变量选择方法。非凹惩罚似然估计具有预言性质，但由于目标函数不可微且非凹，因此极大化罚似然函数在计算上具有挑战性.在这篇文章中，我们提出了一个新的统一算法的基础上的局部线性逼近（LLA）最大化的惩罚似然凹罚函数的广泛的一类。收敛性和其他理论性质的LLA算法的建立。LLA算法的一个显著特征是，在每个LLA步骤中，LLA估计器可以自然地采用稀疏表示。因此，我们建议使用来自LLA算法的一步LLA估计器作为最终估计。在统计上，我们证明了如果正则化参数选择适当，一步LLA估计具有良好的初始估计的预言性质。在计算上，一步LLA估计方法大大减少了最大化非凹惩罚似然的计算成本。我们进行了一些Monte Carlo模拟来评估一步稀疏估计方法的有限样本性能。结果非常令人鼓舞。
2008-08-07 math.ST stat.TH
Asymptotic Properties of Penalized Spline Estimators in Concave Extended Linear Models: Rates of Convergence
本文给出了当似然泛函在候选函数中为凹函数时函数估计的惩罚样条估计的收敛速度的一般理论，其中似然是广义的，包括条件似然、拟似然和伪似然.该理论允许未知函数的样条次数、罚阶和光滑性的所有可行组合。根据这一理论，惩罚样条估计量的渐近性态依赖于样条节点数和罚参数之间的相互作用。一般的理论被应用于获得各种情况下的结果，包括回归，广义回归，如逻辑斯谛回归和泊松回归，密度估计，条件风险函数估计删失数据，分位数回归，扩散型过程的扩散函数估计，和估计的谱密度函数的平稳时间序列。对于多维函数估计，该理论（在补充材料中提出）涵盖了三角剖分上的惩罚张量积样条和惩罚二元样条。
2021-05-13 math.ST stat.TH
Nonconcave penalized composite conditional likelihood estimation of sparse Ising models
伊辛模型是研究系统内复杂相互作用的有用工具。然而，这种模型的估计是相当具有挑战性的，特别是在高维参数的存在下。在这项工作中，我们提出了有效的程序学习稀疏伊辛模型的基础上惩罚复合条件似然与非凹处罚。非凹惩罚似然估计近年来受到了广泛的关注。然而，这种方法在高维伊辛模型下是计算上禁止的。为了克服这些困难，我们将非凹惩罚似然估计的方法和理论推广到惩罚复合条件似然估计。所提出的方法可以有效地实现利用坐标上升和最小化-最大化原则。在NP维的条件下，证明了该方法的渐近预言性质。最优性的计算局部解决方案进行了讨论。我们通过模拟研究证明了其有限样本性能，并通过研究基于斯坦福大学HIV耐药性数据库的人类免疫缺陷病毒1型蛋白酶结构进一步说明了我们的建议。我们的统计学习结果与已知的生物学发现非常匹配，尽管在数据分析过程中没有使用先前的生物学信息。
2012-08-17 math.ST stat.TH
General oracle inequalities for a penalized log-likelihood criterion based on non-stationary data
本研究基于鞅方法推导了适用于非独立非平稳数据的惩罚对数似然准则Oracle不等式，在多类场景验证后发现其在强依赖数据场景下的结果与现有研究相当或更具通用性。
2024-05-17 math.ST stat.TH
Conditional Density Estimation by Penalized Likelihood Model Selection and Applications
在本技术报告中，我们考虑使用最大似然方法的条件密度估计。在较弱的假设下，得到了单模型Kullback-Leibler型损失的最大似然估计的理论界.我们使用惩罚模型选择技术来选择集合中的最佳模型。我们给出了罚函数选择的一般条件，并证明了罚函数选择的结果是oracle型不等式。这种构造被应用到基于分区的条件密度模型的两个例子中，在这些模型中，条件密度仅以分段方式依赖于协变量。第一个例子依赖于经典的分段多项式密度，而第二个使用高斯混合物与不同的混合比例，但相同的混合成分。我们展示了这最后一种情况是如何与无监督分割应用程序，一直是我们的动机，这项研究的来源。
2012-07-09 math.ST stat.TH
Rejoinder: One-step sparse estimates in nonconcave penalized likelihood models
我们谨借此机会感谢讨论者对我们工作的周到评论和赞扬[arXiv：0808.1012]。讨论者从理论和计算的角度提出了一些问题。我们的答辩将试图对这些问题提出一些见解，并回答讨论者提出的具体问题。
2008-08-07 math.ST stat.TH
Detecting multiple change-points in general causal time series using penalized quasi-likelihood
本文研究了半参数框架下的离线多变点检测问题。假设时间序列属于一大类模型，包括AR（$\infty$）、AR（$\infty$）、TAR（$\infty$）、.模型中的系数在每一个瞬间的休息改变。不同的未知参数（数量的变化，变化日期和参数的连续模型）估计使用的惩罚对比建立在条件准似然。在Lipshitzian条件下，证明了当过程的矩阶$r$满足$r\geq 2$时估计的相合性.如果是$r\geq 4$，则估计量的收敛速度与独立随机变量的情况相同。对AR（$\infty$）、AR（$\infty$）和AR（$\infty$）的特殊情况的分析表明，本文的方法明显改进了已有的结果.
2010-07-31 math.ST stat.TH
Penalized maximum likelihood and semiparametric second-order efficiency
考虑高斯白噪声中未知对称函数的位移参数的估计问题。我们引入了半参数二阶效率的概念，并提出了半参数有效和二阶有效的估计在我们的模型。这些估计量是一个惩罚的最大似然类型与适当选择的惩罚。我们认为，二阶效率是至关重要的半参数问题，因为只有二阶项的风险的渐近展开帐户的行为的“非参数组件”的半参数程序，他们并不显着小于的一阶项。
2006-05-16 math.ST stat.TH
Diaconis-Ylvisaker prior penalized likelihood for $p/n \to κ\in (0,1)$ logistic regression
本文研究了在高维逻辑回归中，当协变量数量与观测数量比例为κ∈(0,1)时，Diaconis-Ylvisaker先验惩罚似然估计器的渐近性质，并提出了改进的推断方法。
2026-01-06 math.ST stat.TH
Multiscale likelihood analysis and complexity penalized estimation
我们在这里描述了一个框架的某一类多尺度似然因子分解，其中，类似于一个L^2函数的小波分解，一个给定的似然函数有一个替代的表示为一个产品的条件密度反映信息的数据和参数向量的位置和规模本地化。该框架是作为一组充分条件的存在，这样的分解，制定类似于那些潜在的一个标准的小波多分辨率分析，因此可以被看作是一个多分辨率分析的可能性。然后，我们考虑使用这些因子分解的非参数，复杂性惩罚似然估计的任务。我们研究的风险性质的某些阈值和分区估计，并证明其自适应性和近最优性，在极大极小意义上的广泛的函数空间的基础上，平方Hellinger距离作为一个损失函数。特别是，我们的研究结果提供了一个例子，说明如何在一个单一的，统一的框架，包括模型的连续，计数和分类数据类型的经典基于小波的估计属性。
2004-06-22 math.ST stat.TH
A penalized empirical likelihood method in high dimensions
本文提出了一种惩罚经验似然（PEL）方法，用于当观测数据维数的增长速度可能快于样本量时对总体均值的推断。在观测值的不同分量依赖结构下，即（i）非遍历，（ii）长程依赖和（iii）短程依赖，导出了PEL比统计量的渐近分布.由此可见，建议的PEL比统计量的极限分布可以根据相关结构而变化很大，并且它通常不同于固定和有限维情况下经验似然比统计量的通常卡方极限。提出了一种统一的基于子采样的校准，并在所有三种情况下建立了其有效性，（i）-（iii）。有限样本的性质的方法进行了研究，通过模拟研究。
2013-02-27 math.ST stat.TH
Some upper bounds for the rate of convergence of penalized likelihood context tree estimators
我们发现的上界的概率低估和高估错误的惩罚似然上下文树估计。边界是明确的，并适用于不一定是有限内存的进程。我们允许一般的惩罚条款，我们给条件的最大深度的估计树，以得到强相合估计。这推广了以前的结果的情况下，估计的顺序的马尔可夫链。
2009-03-11 math.PR math.ST stat.TH
Penalized log-likelihood estimation for partly linear transformation models with current status data
我们考虑部分线性变换模型应用于当前状态数据。未知量是转换函数、线性回归参数和非参数回归效应。结果表明，惩罚的最大似然估计的回归参数是渐近正态和有效的，并收敛于参数率，虽然惩罚的最大似然估计的转换功能和非参数回归效应是只有$n^{1/3}$一致。研究了基于块刀切法的回归参数推断问题。我们还研究了计算问题，并通过模拟研究证明了所提出的方法。转换模型和部分线性回归条款，加上新的估计和推理技术，提供了灵活的替代Cox模型的现状数据分析。
2006-02-11 math.ST stat.TH
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Wavelet penalized likelihood estimation in generalized functional models
本文研究广义函数回归。目的是估计协变量对观测值的影响，从指数分布中得出。所考虑的链接有一个半参数表达式：如果我们感兴趣的一些协变量的功能影响，我们授权其他线性建模。因此，我们考虑了一个广义部分线性回归模型与未知的回归系数和一个未知的非参数函数。我们提出了一个最大惩罚似然估计过程中引入惩罚小波估计模型的组件。在文献中通常条件下，给出了模型参数和非参数部分估计的渐近速度，并得到了拟Minimax最优性。我们建立特别是LASSO罚款导致自适应估计的规律性估计函数。提出了一种基于后拟合和Fisher评分的算法。模拟用于说明有限样本行为，包括与基于核和样条的方法的比较。
2013-09-19 math.ST stat.TH
$\ell_0$-penalized maximum likelihood for sparse directed acyclic graphs
考虑了高维稀疏有向无环图模型（或等价的高斯结构方程模型）的结构和参数的正则化极大似然估计问题.我们发现，$\ell_0$惩罚的最大似然估计的DAG具有约相同数量的边缘的最小边缘I-MAP（DAG与最小数量的边缘代表的分布），它收敛于Frobenius范数。我们允许节点数p远大于样本量n，但假设稀疏条件，并且真实DAG的任何表示至少具有高于噪声水平的非零边缘权重的固定比例。我们的研究结果不依赖于忠实性假设，也不依赖于限制性强忠实性条件，这是基于条件独立性测试的方法，如PC算法所需的。
2013-05-09 math.ST stat.TH
Quasi-maximum likelihood estimation and penalized estimation under non-standard conditions
本文的目的是开发一个通用的参数估计理论，允许非正规模型中的估计量的极限分布的推导，其中真实的参数值可能位于参数空间的边界上，甚至无法识别。为此，我们提出了一个更一般的局部近似的参数空间（在真值）比以前的研究。这种估计理论是全面的，因为它可以处理惩罚估计以及准极大似然估计在这样的非正则模型。此外，我们的结果也适用于Fisher信息在极限上随机的非遍历统计量，包括局部渐近混合正态的正则实验。在惩罚估计中，根据边界约束，即使是具有$q<1$的Bridge估计也不一定给出选择一致性。因此，一些充分条件的选择一致性的描述，精确地评估边界约束和惩罚的形式之间的平衡。本文中处理的例子是：（i）广义逆高斯分布的ML估计，（ii）拟ML估计的非遍历Itô过程的参数空间由半正定对称矩阵，而漂移参数被视为滋扰和（iii）惩罚ML估计的随机效应的方差分量的线性混合模型。
2022-11-25 math.ST stat.TH
Penalized Likelihood Estimation in High-Dimensional Time Series Models and its Application
提出了平稳多时间序列模型中参数个数可能发散时惩罚拟极大似然（PQML）估计的一般理论框架。我们展示了高层次下的预言属性的PQML估计，但易于处理的假设，包括论文的前半部分。利用这些结果，我们在文章的后半部分提出了一种高维向量自回归（VAR）模型的稀疏估计方法。最后，通过仿真研究和收益率曲线预测的实证分析，验证了稀疏高维VAR模型的可用性。
2017-04-26 math.ST stat.AP stat.TH
The penalized profile sampler
用于半参数推断的惩罚轮廓采样器是轮廓采样器方法（Lee，Kosorok和Fine，2005）的扩展，其通过描绘惩罚对数似然来获得。这个想法是基于后验分布的推断，后验分布是通过将配置的惩罚对数似然乘以参数分量的先验而获得的，其中配置和惩罚被应用于滋扰参数。由于先验不适用于全似然，因此该方法不是严格的贝叶斯方法。这种近似贝叶斯方法的一个好处是，它避免了对模型的可能无限维的滋扰分量进行先验的需要。我们调查的第一和第二阶频率的惩罚剖面采样器的性能，并表明，该程序的准确性可以通过指定的平滑参数的大小进行调整。该方法的理论有效性通过两个实例进行了说明：一个是当前状态数据的部分线性正态误差模型，另一个是半参数Logistic回归模型。据我们所知，在这种情况下，没有其他方法的推理已知有二阶频率有效性。
2007-01-19 math.ST stat.TH
Penalized maximum likelihood estimation and variable selection in geostatistics
考虑了具有高斯过程误差的空间线性模型中协变量的选择问题。惩罚极大似然估计（PMLE），使同时变量选择和参数估计的开发，为了便于计算，PMLE近似的一步稀疏估计（OSE）。为了进一步提高计算效率，特别是在大样本量下，我们提出了惩罚最大协方差锥形似然估计（PMLE $_{\mathrm{T}}$）及其一步稀疏估计（OSE $_{\mathrm{T}}$）。一般形式的惩罚函数，强调平滑剪切绝对偏差用于惩罚极大似然。导出了PMLE和OSE的理论性质，以及它们的协方差锥化近似PMLE $_{\mathrm{T}}$和OSE $_{\mathrm{T}}$，包括相容性、稀疏性、渐近正态性和预言性质.对于协方差渐缩，我们的理论结果的一个副产品是最大协方差渐缩似然估计的一致性和渐近正态性。在模拟研究中证明了所提出的方法的样本性质，为了说明，该方法被应用于分析两个真实的数据集。
2012-02-23 math.ST stat.ME stat.TH
Asymptotic Results for Penalized Quasi-Likelihood Estimation in Generalized Linear Mixed Models
本文在聚类数量和规模均趋于无穷的条件下，建立了广义线性混合模型中惩罚拟似然估计的渐近理论，揭示了条件与无条件两种机制下固定效应和随机效应估计量的不同渐近分布性质。
2024-05-02 math.ST stat.TH
Comparing two samples by penalized logistic regression
提出并研究了基于惩罚密度比模型的推理方法。所考虑的模型是通过假设两个未知密度的对数似然函数具有某种参数形式来指定的。该模型已被扩展到涵盖多个样本的问题，而其理论性质已使用大样本理论进行了研究。密度比模型的一个主要应用是检验两个或多个分布是否相等。我们扩展了这些结果，认为惩罚最大经验似然估计量的均方误差比普通最大似然估计量的均方误差要小，特别是对于小样本。事实上，惩罚方法解决了估计量的存在性问题，并且可以使用一个修正的Wald型检验统计量来检验两个分布的相等性。有限的模拟研究进一步支持了这一理论。
2008-07-16 math.ST stat.TH
Culling the herd of moments with penalized empirical likelihood
针对高维矩条件模型，提出惩罚经验似然估计，能一致识别无效矩，具有预言性质，并通过投影修正偏差，提升有限样本推断精度。
2022-05-13 econ.EM math.ST stat.TH
Sparse Poisson Regression with Penalized Weighted Score Function
本文提出了一种新的惩罚方法来求解稀疏Poisson回归问题。与$\ell_1$惩罚对数似然估计不同，我们的新方法可以看作是惩罚加权评分函数方法。我们证明了在较弱的条件下，我们的估计量是$\ell_1$相容的，并且调节参数可以预先指定，这与平方根Lasso具有相同的良好性质.
2017-03-11 math.ST stat.TH
Penalized maximum likelihood estimation for generalized linear point processes
广义线性点过程根据强度来指定，该强度通过固定的非线性函数依赖于线性预测器过程。我们提出了一个框架，其中的线性预测参数化的巴拿赫空间，并给出结果的Gateaux微分的对数似然。特别感兴趣的是，当强度被表示为由索伯列夫空间参数化的线性滤波。利用索伯列夫空间是再生核希尔伯特空间，我们得到了惩罚极大似然估计在特殊情况下的表示和一般情况下的负对数似然梯度的结果.后者被用来开发一个下降算法在索伯列夫空间。我们的结论是本文的多元和添加剂模型规格的扩展。这些方法在R-package ppstat中实现。
2013-04-02 math.PR math.ST stat.ME
Strong consistency of the maximum likelihood estimator for finite mixtures of location-scale distributions when penalty is imposed on the ratios of the scale parameters
在位置-尺度分布的有限混合分布中，如果参数没有约束或惩罚，则极大似然估计不存在，因为似然是无界的。为了避免这个问题，我们考虑一个惩罚的可能性，其中的惩罚是一个函数的比例的最小值的尺度参数和样本量。证明了惩罚极大似然估计是强相合的。我们还分析了惩罚的最大似然估计的一致性，惩罚施加在尺度参数本身。
2008-02-08 math.PR math.ST stat.TH
Consistency of penalized maximum likelihood estimation for multidimensional change-in-velocity detection
Duke University School of Medicine（杜克大学医学院）；University of Chicago（芝加哥大学）；Tulane University（杜兰大学）
本文证明了CPLASS方法中惩罚最大似然估计量在高频数据下对分段线性轨迹变点检测的一致性，给出了变点位置误差的收敛速率。
2026-10-06 math.ST stat.TH
Penalized Composite Quasi-Likelihood for Ultrahigh-Dimensional Variable Selection
在高维模型选择问题中，惩罚简单最小二乘方法得到了广泛的应用。针对惩罚模型选择方法的鲁棒性和效率问题，提出了一种数据驱动的凸损失函数加权线性组合和加权$L_1$ -惩罚模型.它是完全数据自适应的，不需要误差分布的先验知识。加权的$L_1$ -罚函数用于保证罚函数项的凸性和改善由$L_1$ -罚函数引起的偏差。在维数远大于样本量的情况下，我们建立了该方法的一个强预言性质，该性质同时具有模型选择一致性和对真实非零系数的估计效率.作为具体的例子，我们介绍了一个强大的复合L1-L2的方法，和最佳复合分位数方法，并评估其性能在模拟和真实数据的例子。
2010-06-30 math.ST stat.ME stat.TH
Penalized Likelihood Inference with Survey Data
本文将三种Lasso推断方法扩展到调查数据环境，建立了带调查权重和异方差性的广义线性模型中的渐近有效性，并推广至非线性参数函数推断，通过模拟和加拿大互联网使用调查数据验证了方法的有效性。
2023-04-16 econ.EM math.ST stat.ML
Penalized Likelihood for Dyadic Network Formation Models with Degree Heterogeneity
Jinan University（暨南大学）；South China Agricultural University（华南农业大学）
本文提出一种惩罚似然方法解决网络形成模型中度异质性导致的估计问题，通过引入惩罚项保证有限样本存在并修正偏差，适用于大规模网络数据。
2026-05-01 econ.EM math.ST stat.TH
Inference for Multivariate Normal Mixtures
多元正态混合模型为高维数据提供了一个灵活的模型。它们广泛应用于统计遗传学、统计金融学等学科。由于似然函数的无界性，经典的基于似然函数的方法虽然具有很好的实用性，但并不一致。本文提出了一种估计混合分布的惩罚似然方法。我们证明了最大惩罚似然估计是强相合的，当组件的数量有一个已知的上界。我们还探讨了一个方便的EM算法计算的最大惩罚似然估计。大量的模拟进行了探索的有效性和实际限制的新方法和批准的最大似然估计。根据仿真结果给出了指导原则。
2008-05-26 math.ST stat.ME stat.TH
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计，如LASSO，自适应LASSO，和硬阈值的置信区间进行了分析。在已知方差的情况下，有限样本覆盖性质，这样的间隔被确定，它表明，对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度，其大于基于LASSO的最短间隔的长度，其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下，基于这些估计量的区间比标准区间大数量级。此外，一个简单的渐近置信区间的建设在“稀疏”的情况下，也适用于平滑剪切绝对偏差估计，进行了讨论。已知方差的情况下的结果进行到未知方差的情况下，在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
A new scope of penalized empirical likelihood with high-dimensional estimating equations
统计方法与经验似然（EL）是有吸引力的和有效的，特别是与估计方程，通过它可以自适应地和灵活地纳入有用的数据信息。它也是已知的，在文献中，EL方法遇到困难时，处理具有高维模型参数和估计方程的问题。为了克服这些挑战，我们从一个新的角度对高维EL进行了深入的研究，目标是估计高维稀疏模型的参数。我们表明，新的范围提供了一个机会，放宽严格的要求的模型参数的维数。在此基础上，我们提出了一种新的惩罚EL，即在EL的优化过程中，通过引入两个罚函数分别正则化模型参数和相应的Lagrange乘子.通过惩罚拉格朗日乘子，以鼓励其稀疏性，我们表明，大幅减少维数的估计方程的数量可以有效地实现，而不会损害所得到的估计的有效性和一致性。最吸引人的是，这种估计方程的降维实际上相当于在这些高维估计方程中进行选择，从而导致用于高维稀疏模型参数的高度简约和有效的装置。在模型参数和估计方程的维数都随样本量呈指数增长的情况下，我们的理论证明了新惩罚EL的估计量是稀疏的，并且与渐近正态分布的非零分量一致.数值模拟和实际数据分析表明，所提出的惩罚EL的工作前景。
2017-05-28 math.ST stat.ME stat.TH
Normalized Likelihood Criteria for Model Selection in the Stochastic Block Model
Departament of Statistics, Federal University of São Carlos（圣卡洛斯联邦大学统计系）
本文研究了基于标准化似然准则的惩罚估计器，提出DNML方法在稀疏网络中具有强一致性，且在不平衡网络中表现优异。
2026-04-11 math.ST stat.TH
Jeffreys-prior penalty, finiteness and shrinkage in binomial-response generalized linear models
惩罚的可能性杰弗里斯不变的前，或由一个积极的权力，产生有限值的最大惩罚似然估计在广泛的一类二项式广义线性模型。这类模型包括逻辑斯谛回归，其中Jeffreys先验惩罚是已知的，以减少最大似然估计的渐近偏差;以及其他常用的链接函数，如概率单位和对数对数的模型。收缩等概率跨观察，相对于最大似然估计，理论上建立，并通过说明性的例子进行了研究。有限性和收缩推理的一些影响进行了讨论，特别是当推理是基于Wald型程序。一个广泛适用的程序开发的最大惩罚似然估计的计算，通过使用重复的最大似然拟合迭代调整二项式响应和总数。这些理论结果和方法支持了减少偏差和类似惩罚的二项回归模型在许多应用领域中的日益广泛的使用。
2020-03-23 math.ST stat.ME stat.TH
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding
我们研究的分布的LASSO，SCAD和阈值估计，在有限样本和大样本限制。渐近分布的情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。我们的研究结果补充了Knight和Fu（2000）以及Fan和Li（2001）的研究结果。我们发现，无论估计量如何调整，分布通常都是高度非正态的，并且这种特性在大样本中仍然存在。这些估计量的一致收敛性也得到了，并显示出慢于1/根（n）的情况下，估计量进行调整，以执行一致的模型选择。给出了估计量的分布函数估计的不可能性结果。
2009-04-17 math.ST stat.ME stat.ML
Dimension reduction and variable selection in case control studies via regularized likelihood optimization
降维和变量选择在病例对照研究中是常规进行的，但是关于所得估计的理论方面的文献很少。我们带来了我们的贡献，这方面的文献，通过L1惩罚似然优化研究获得的估计。我们发现，L1惩罚的回顾似然的优化与L1惩罚的前瞻似然的优化相吻合。这扩展了Prentice和Pyke（1979）的结果，该结果是针对非正则化的似然性获得的。在模型选择后，我们建立了优势比的超范数相合性和估计量子集选择的相合性。我们的理论结果的新颖之处在于这些属性的病例对照抽样方案下的研究。我们的结果举行的选择进行了大量的候选变量，基数允许依赖，并大于样本量。我们补充我们的理论结果与一种新的方法来确定数据驱动的调谐参数，基于二分法。由此产生的程序提供了显着的计算节省相比，基于网格搜索的方法。所有的数值实验都有力地支持了我们的理论发现。
2009-11-20 math.ST stat.ML stat.TH
Common TF-IDF variants arise as key components in the test statistic of a penalized likelihood-ratio test for word burstiness
School of Mathematical and Computational Sciences, University of Prince Edward Island（爱德华王子岛大学数学与计算科学学院）；Canadian Centre for Climate Change and Adaptation, University of Prince Edward Island（爱德华王子岛大学加拿大气候变化与适应中心）；Faculty of Sustainable Design Engineering, University of Prince Edward Island（爱德华王子岛大学可持续设计工程学院）
本文展示TF-IDF-like评分自然出现在捕捉词爆发性的惩罚似然比检验测试统计量中，并发现该统计量的词权方案在文档分类任务中表现与TF-IDF相当。
2026-04-05 cs.CL cs.IR math.ST
A Selective Overview of Variable Selection in High Dimensional Feature Space (Invited Review Article)
高维统计问题产生于科学研究和技术发展的各个领域。变量选择在当代统计学习和科学发现中起着关键作用。传统的最佳子集选择方法可以被看作是惩罚似然的一种特殊形式，对于许多现代统计应用来说，它在计算上过于昂贵。其他形式的惩罚似然方法已经成功地开发了在过去的十年中，以应付高维。在高维统计推断中，它们被广泛应用于同时选择重要变量和估计其效应。在这篇文章中，我们提出了一个简短的帐户的理论，方法和实施高维变量选择的最新发展。这些方法可以处理的维数限制，罚函数的作用是什么，以及统计特性是什么，这些都迅速推动了该领域的发展。重点讨论了非凹惩罚似然的性质及其在高维统计建模中的作用。我们还回顾了超高维变量选择的一些最新进展，重点是独立筛选和双尺度方法。
2009-10-06 math.ST stat.TH
Segmentation of the Poisson and negative binomial rate models: a penalized estimator
我们考虑泊松和负二项（即过度分散泊松）率分布的分割问题。在分段中，一个重要的问题仍然是分段数量的选择。为此，我们提出了一个惩罚对数似然估计，其中的罚函数是在非渐近的情况下，以下的工作L。Birgé和P. Massart。证明了所得估计量满足一个预言不等式。在RNA-seq数据分析背景下，使用模拟和真实数据集评估我们标准的性能。
2013-03-17 math.ST stat.ME stat.TH
Variable selection using MM algorithms
变量选择是高维统计建模的基础。许多变量选择技术可以通过使用各种罚函数的最大惩罚似然来实现。优化罚似然函数通常具有挑战性，因为它可能是不可微的和/或非凹的。本文提出了一类新的算法，寻找一个最大化的惩罚似然的一个广泛的类罚函数。这些算法通过稍微扰动罚函数来使其可微，然后使用最小化-最大化（MM）算法来优化该可微函数。MM算法是有用的扩展，著名的EM算法类，一个事实，使我们能够分析的本地和整体收敛的算法使用的一些技术采用EM算法。特别是，我们证明，当我们的MM算法收敛，他们必须收敛到一个理想的点，我们还讨论了条件下，这种收敛可能得到保证。我们利用这些算法的牛顿-拉夫逊方面，提出了一个三明治估计的标准误差的估计。我们的方法在数值试验中表现良好。
2005-08-16 math.ST stat.TH
Estimating the Number of Components in a Mixture of Multilayer Perceptrons
BIC准则被神经网络社区广泛用于模型选择任务，尽管其收敛性质并不总是在理论上成立。在本文中，我们将集中在多层感知器的混合估计的组件的数量，并证明在此框架下的BIC准则的收敛性。分别由Keribin（2000）和Gassiat（2002）引入的混合模型和隐马尔可夫模型的惩罚边缘似然被扩展到多层感知器的混合，并提出了惩罚似然准则。我们证明了它的收敛性的一些假设，其中涉及到广义得分函数类的括号熵，并说明了它的一些数值例子。
2008-04-04 math.ST stat.TH
Statistical analysis for a penalized EM algorithm in high-dimensional mixture linear regression model
针对高维混合线性回归中标准EM算法不可行的问题，提出无需样本拆分的带group lasso惩罚的EM算法，分析其统计性质并可扩展至多响应场景，数值实验表现良好。
2023-07-21 math.ST stat.TH
Penalized estimation of GEV parameters for extreme quantile regression
Université Le Havre Normandie, Normandie Univ.（勒阿弗尔诺曼底大学）
本文提出基于GEV分布和广义随机森林的惩罚似然方法，解决高概率分位数回归中的尾部外推难题和高维预测变量复杂结构问题。
2026-03-25 math.PR math.ST stat.TH
Model selection and minimax estimation in generalized linear models
我们认为，在广义线性模型（GLM）的高维数据的模型选择，并提出了一个广泛的一类模型选择标准的基础上惩罚的最大似然模型大小的复杂性惩罚。我们推导出一个一般的非渐近上界的预期Kullback-Leibler分歧之间的真实分布的数据和所产生的选定的模型，并建立相应的极小极大下界稀疏GLM。对于适当选择的（非线性）罚款，由此产生的惩罚极大似然估计是渐近极小极大和自适应未知的稀疏性。我们还讨论了可能的扩展所提出的方法，在GLM模型选择下，额外的结构约束和聚合。
2016-03-30 math.ST stat.ME stat.TH
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了一族正则化的基于分数的估计器，用于学习多维正态分布的有向无环图（DAG）的结构，并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化，而无需假设先验知识的变量排序。这些结果适用于各种实际情况，允许任意的非退化协方差结构以及许多流行的正则化，包括MCP，SCAD，$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型，这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题，建立统一的控制超指数家庭的邻里与高斯分布。然后，我们应用这些结果来研究基于分数的DAG估计的统计特性，学习因果DAG，并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
