Efficiency for Regularization Parameter Selection in Penalized Likelihood Estimation of Misspecified Models
在总体方差已知或有相合估计量的假设下，证明了AIC型准则是非凹惩罚回归方法中调整参数的渐近有效选择器.我们放松这个假设，证明AIC本身是渐近有效的，我们研究其性能在有限样本。在经典回归中，当最大候选模型的维数相对于样本量较大时，AIC倾向于选择过于复杂的模型。模拟研究表明，AIC遭受同样的缺点时，用于惩罚回归。因此，我们建议使用经典的校正AIC（AICc）作为替代，并证明它保持所需的渐近性质。为了扩展我们的结果，我们进一步证明了AIC的惩罚似然方法的广义线性模型的上下文中没有分散参数的有效性。类似的结果存在于文献中，但仅限于一组有限的候选模型。通过采用经典文献中关于错误指定模型中的极大似然估计的结果，我们能够为一组一般候选模型建立此结果。我们使用模拟来评估AIC和AICc的性能，以及其他选择器，在有限样本的SCAD惩罚和Lasso回归和一个真实的数据的例子被认为是。
2013-02-08 stat.ML
A penalized likelihood method for classification with matrix-valued predictors
当预测变量为矩阵值时，我们提出了一种惩罚似然方法来拟合线性判别分析模型。我们同时估计的手段和精度矩阵，我们假设有一个克罗内克积分解。我们的惩罚鼓励响应类别均值矩阵对具有相等的条目，并且还鼓励精度矩阵中的零。为了计算我们的估计量，我们使用分块坐标下降算法。为了更新响应类别均值矩阵对应的优化变量，我们使用交替最小化算法，该算法利用精度矩阵的克罗内克结构。我们表明，我们的方法可以在分类方面优于相关竞争对手，即使我们的建模假设被违反。我们分析了EEG数据集，以证明我们的方法的可解释性和分类精度。
2016-10-28 stat.CO stat.ML
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法：模型估计的极大似然方法，然后旋转技术是用来找到稀疏因子加载。然而，当变量的数目远大于观测的数目时，不能获得最大似然估计。此外，即使最大似然估计是可用的，旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题，本文介绍了一种惩罚似然过程，对因子载荷施加非凸惩罚。我们发现，惩罚似然过程可以被视为传统的两步方法的推广，所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法，通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径，它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
Mean Reverting Portfolios via Penalized OU-Likelihood Estimation
我们研究了一种基于优化的方法来构造一个均值回复的资产组合。我们有三个目标：（1）设计一个由Ornstein-Uhlenbeck过程很好地表示的投资组合，该过程的参数由最大似然估计，（2）选择具有高均值回归和低方差的理想特征的投资组合，以及（3）选择一个简约的投资组合，即找到一个更大范围的资产中的一个小子集，可以用于多头和空头头寸。我们提出了完整的问题制定，一个专门的算法，利用部分最小化，并使用模拟和经验价格数据的数值例子。
2018-03-17 math.OC q-fin.PM stat.ML
Tuning parameter selection in high dimensional penalized likelihood
在高维数据分析的惩罚似然方法中，确定如何适当地选择调整参数是必不可少的。我们在广义线性模型的惩罚似然方法中研究了这个问题，其中协变量p的维数允许随样本量n呈指数增长。我们建议通过优化广义信息准则（GIC）与适当的模型复杂性惩罚来选择调谐参数。为了确保我们一致地识别真正的模型，在GIC中确定了模型复杂性惩罚的范围。我们发现，这个模型的复杂性惩罚应该发散的速度$\log p$的一些权力依赖于响应变量的尾部概率行为。这表明，使用AIC或BIC来选择调整参数可能不足以一致地识别真实模型。基于我们的理论研究，我们提出了一个统一的选择模型的复杂性惩罚，并表明，所提出的方法一致地确定候选模型的渐近概率为1的真实模型。我们证明所提出的方法的性能通过数值模拟和基因表达数据分析。
2016-05-11 stat.ME stat.ML
Predictive Causal Inference via Spatio-Temporal Modeling and Penalized Empirical Likelihood
本研究提出结合HMM与MTGCN的预测因果推断集成框架，非对称处理时空信息以拓展双稳健估计，经临床场景模拟验证，可适配生物医学数据时空复杂性、提升偏差校正与预测精度。
2025-10-30 cs.LG stat.ME stat.ML
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计，如LASSO，自适应LASSO，和硬阈值的置信区间进行了分析。在已知方差的情况下，有限样本覆盖性质，这样的间隔被确定，它表明，对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度，其大于基于LASSO的最短间隔的长度，其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下，基于这些估计量的区间比标准区间大数量级。此外，一个简单的渐近置信区间的建设在“稀疏”的情况下，也适用于平滑剪切绝对偏差估计，进行了讨论。已知方差的情况下的结果进行到未知方差的情况下，在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Bayesian penalized empirical likelihood and Markov Chain Monte Carlo sampling
本文提出 Bayesian Penalized Empirical Likelihood (BPEL) 框架，通过正则化 Lagrange multipliers 降低维度并引入 MCMC 抽样替代复杂优化，有效解决了经验似然的计算挑战，提升了灵活性与推断效率。
2025-03-02 econ.EM stat.ME stat.ML
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding
我们研究的分布的LASSO，SCAD和阈值估计，在有限样本和大样本限制。渐近分布的情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。我们的研究结果补充了Knight和Fu（2000）以及Fan和Li（2001）的研究结果。我们发现，无论估计量如何调整，分布通常都是高度非正态的，并且这种特性在大样本中仍然存在。这些估计量的一致收敛性也得到了，并显示出慢于1/根（n）的情况下，估计量进行调整，以执行一致的模型选择。给出了估计量的分布函数估计的不可能性结果。
2009-04-17 math.ST stat.ME stat.ML
CAM: Causal additive models, high-dimensional order search and penalized regression
ETH Zürich（苏黎世联邦理工学院）
我们开发潜在的高维加性结构方程模型的估计。我们的方法的一个关键组成部分是解耦顺序搜索的变量之间的特征或边缘选择的有向无环图编码的因果结构。我们表明，前者可以做非正则化（限制）极大似然估计，而后者可以有效地解决使用稀疏回归技术。因此，我们大大简化了一类重要的因果模型的结构搜索和估计问题。我们建立一致性的（限制）极大似然估计低，高维的情况下，我们也允许误指定的误差分布。此外，我们开发了一个有效的计算算法，可以处理许多变量，新方法的精度和性能的仿真和真实数据。
2014-12-01 cs.LG stat.ME stat.ML
Semi-Parametric Inference for Doubly Stochastic Spatial Point Processes: An Approximate Penalized Poisson Likelihood Approach
University of Washington（华盛顿大学）
提出一种基于近似惩罚泊松似然的半参数回归方法，高效估计双随机空间点过程中的协变量效应，并证明在模型误设下估计的一致性和渐近正态性。
2026-06-06 stat.CO stat.ME stat.ML
Dimension reduction and variable selection in case control studies via regularized likelihood optimization
降维和变量选择在病例对照研究中是常规进行的，但是关于所得估计的理论方面的文献很少。我们带来了我们的贡献，这方面的文献，通过L1惩罚似然优化研究获得的估计。我们发现，L1惩罚的回顾似然的优化与L1惩罚的前瞻似然的优化相吻合。这扩展了Prentice和Pyke（1979）的结果，该结果是针对非正则化的似然性获得的。在模型选择后，我们建立了优势比的超范数相合性和估计量子集选择的相合性。我们的理论结果的新颖之处在于这些属性的病例对照抽样方案下的研究。我们的结果举行的选择进行了大量的候选变量，基数允许依赖，并大于样本量。我们补充我们的理论结果与一种新的方法来确定数据驱动的调谐参数，基于二分法。由此产生的程序提供了显着的计算节省相比，基于网格搜索的方法。所有的数值实验都有力地支持了我们的理论发现。
2009-11-20 math.ST stat.ML stat.TH
Particle swarm optimization with Applications to Maximum Likelihood Estimation and Penalized Negative Binomial Regression
University of California, Los Angeles（加州大学洛杉矶分校）；United States Naval Academy（美国海军学院）
针对现有统计优化程序在非标准分布参数估计中存在收敛难、功能受限等问题，本文提出将粒子群优化（PSO）作为替代方法，通过四个实例验证其在参数识别、对数二项回归、带惩罚的灵活连接函数回归及EE-IW分布MLE估计上的优势。
2024-05-20 cs.LG stat.AP stat.CO
Penalized Estimation of Directed Acyclic Graphs From Discrete Data
贝叶斯网络是一类流行的图形模型，其结构由有向无环图（DAG）给出。然而，从离散或分类数据中学习贝叶斯网络特别具有挑战性，因为参数空间很大，并且难以搜索稀疏结构。在这篇文章中，我们开发了一个最大惩罚似然方法来解决这个问题。而不是常用的多项分布，我们模型的条件分布的一个节点给定其父母的多logit回归，其中一个边缘参数化的一组系数向量与虚拟变量编码的节点的水平。为了得到一个稀疏的DAG，采用了一个群范数惩罚，并开发了一个分块坐标下降算法，以最大限度地提高受惩罚的似然无环约束的DAG。当介入数据可用时，我们的方法构造一个因果网络，其中有向边表示因果关系。我们将我们的方法应用到各种模拟和真实的数据集。结果表明，我们的方法是非常有竞争力的，与许多现有的方法相比，在DAG估计从干预和高维观测数据。
2018-02-02 stat.ME stat.ML
Generalized Additive Model Selection
介绍了一种惩罚似然方法--广义可加模型选择（GAM SEL），用于拟合高维稀疏广义可加模型.我们的方法通过允许每个变量的影响被估计为零，线性或低复杂性曲线，根据数据确定，在零，线性和加性模型之间进行插值。我们提出了一个分块坐标下降过程，有效地优化了调整参数的密集网格上的惩罚似然目标，产生正则化路径的添加剂模型。我们证明了我们的方法的性能，真实和模拟数据的例子，并将其与现有的技术添加剂模型选择。
2015-06-17 stat.ML
Penalized estimation in large-scale generalized linear array models
大规模广义线性阵列模型（GLAM）可能具有挑战性。由于时间和存储器的限制，计算和存储其张量积设计矩阵是不可能的，并且先前考虑的无设计矩阵算法不能很好地随参数向量的维度扩展。本文提出了一种新的无设计矩阵算法来计算GLAM的惩罚最大似然估计，特别是处理不可微的惩罚函数。该算法通过R软件包\verb +glamlasso+实现。它结合了几个想法-以前单独考虑-获得稀疏估计，同时有效地利用GLAM结构。在本文中，该算法的收敛性和其实现的性能进行了研究和比较，\verb +glmnet+的模拟以及真实的数据。计算结果表明，
2016-09-02 stat.CO stat.ML
L0 Sparse Inverse Covariance Estimation
针对稀疏逆协方差估计，本文研究非凸 $l_0$ 惩罚的对数似然优化，提出循环下降算法并证明其收敛到局部极小值，仿真显示其偏差低于 $l_1$ 方法且估计质量更优。
2015-03-19 stat.ML
Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models
本文重新讨论了有限混合模型中最大似然估计的经典收敛速度问题。Wasserstein距离已成为一个标准的损失函数，用于分析这些模型中的参数估计，部分原因是它能够规避标签切换，并准确地表征拟合的混合物成分与消失的权重的行为。然而，Wasserstein距离仅能够捕获剩余拟合混合分量中的最差情况的收敛速度。我们证明，当对数-似然函数被惩罚，以阻止消失的混合权重，更强的损失函数可以推导出解决这个缺点的Wasserstein距离。这些新的损失函数准确地捕获的异质性拟合混合成分的收敛速度，我们用它们来锐化现有的逐点和一致收敛性速度在各类混合模型。特别是，这些结果意味着，惩罚MLE的组件的子集通常收敛速度显着比可以从过去的工作预期。我们进一步表明，这些结论中的一些扩展到传统的极大似然估计。我们的理论研究结果支持的模拟研究，以说明这些改进的收敛速度。
2022-06-20 math.ST stat.ML stat.TH
Finite-sample risk bounds for maximum likelihood estimation with arbitrary penalties
MDL两部分编码$ \textit{index of resolvability} $提供了可数模型上惩罚似然估计的统计风险的有限样本上界。然而，界不适用于unpenalized极大似然估计或程序与极小的罚款。在本文中，我们指出了一个更一般的不等式，适用于任意处罚。此外，这种方法使得它有可能获得的顺序$1/n$的iid参数模型，这改善了顺序$(\log n)/n$可分解的界限的风险界限。最后，我们讨论自适应估计的影响。
2017-12-29 math.ST stat.ML stat.TH
