Sparse composite likelihood selection
在参数$p$的数量很大的情况下，复合似然法显示出了希望，因为它能够将复杂的模型分解为更简单的组件，从而即使在完全似然法不容易处理的情况下也能够进行推断。虽然有许多方法来制定一个有效的复合似然在有限的$p$设置，似乎并没有存在关于如何构建复合似然，计算效率和统计上的声音时，允许$p$发散的协议。本文介绍了一种方法来选择稀疏的复合似然最小化的标准，代表隐含估计的统计效率加上$L_1$ -惩罚，不鼓励包括太多的子似然条款。一致的模型选择发生的条件进行了研究。举例说明的程序进行了详细分析，并应用于实际数据。
2021-07-20 stat.ME
Partial Penalized Likelihood Ratio Test under Sparse Case
这项工作是关注测试的低维参数的兴趣与发散的维数据和变量选择的稀疏情况下，其余的。利用部分惩罚似然方法，得到了部分惩罚似然比检验统计量的一致性检验，并在一定的正则条件下，得到了它在原假设和局部选择为$n^{-1/2}$的条件下的渐近分布.同时，部分惩罚似然估计的预言性质也成立。提出的部分惩罚似然比检验统计量在规模和功效方面优于完全惩罚似然比检验统计量，并且表现得与经典的似然比检验统计量一样好。此外，该方法得到的变量选择结果以及检验的p值。数值模拟和前列腺癌数据的分析证实了我们的理论研究结果，并证明了有前途的性能，提出的部分惩罚似然假设检验和变量选择。
2014-11-19 stat.ME
sparseDFM: An R Package to Estimate Dynamic Factor Models with Sparse Loadings
sparseDFM是一个R软件包，用于实现动态因子模型（DFM）的流行估计方法，包括Mosley等人（2023）的新型稀疏DFM方法。稀疏DFM通过约束加载矩阵具有很少的非零条目（即稀疏）来改善经典DFM中因子结构的可解释性问题。Mosley等人（2023）构建了一种有效的期望最大化（EM）算法，以使用正则化准极大似然估计模型参数。我们在本文中提供了详细的估计策略，并展示了我们如何实现这一计算效率的方式。然后，我们提供了两个真实数据的案例研究，作为如何使用sparseDFM包的教程。第一个案例研究的重点是总结一个小的季度CPI（消费者价格通胀）指数数据的结构，为英国，而第二个应用程序包到一个大规模的一套月度时间序列的目的，nowcasting九个主要的贸易商品，英国出口到世界各地。
2023-03-23 econ.EM stat.CO stat.ME
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法：模型估计的极大似然方法，然后旋转技术是用来找到稀疏因子加载。然而，当变量的数目远大于观测的数目时，不能获得最大似然估计。此外，即使最大似然估计是可用的，旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题，本文介绍了一种惩罚似然过程，对因子载荷施加非凸惩罚。我们发现，惩罚似然过程可以被视为传统的两步方法的推广，所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法，通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径，它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
The Average Likelihood Ratio for Large-scale Multiple Testing and Detecting Sparse Mixtures
大规模的多重检验问题需要同时评估多个p值。本文比较了几种方法来评估多个二项计数的p值的证据：最大的二项计数后，标准化（“高批评批判性”），最大的二项计数后，对数似然比转换（“伯克-琼斯批判性”），和一个新引入的平均值后，二项计数的似然比转换。仿真结果表明，在稀疏度很高的情况下（稀疏系数$β\gtrapprox 0.75$），高批评度统计量的性能优于Berk-Jones统计量，而对于$β\lessapprox 0.75$，情况正好相反.平均似然比被认为是结合了良好的性能，更高的批评，在非常稀疏的情况下，在不太稀疏的情况下，伯克-琼斯统计，因此似乎占主导地位的统计。一些渐近最优性理论被认为是，但发现设置太慢，以照亮上述研究结果，至少样本量高达一百万。相比之下，Wellner和Koltchinskii（2003）以及Jager和Wellner（2007）提出的Berk-Jones统计量临界值的渐近近似，即使对于非常小的样本量，也能给出令人惊讶的精确近似。
2011-11-01 stat.ME
Sensitivity analysis for publication bias in meta-analysis of sparse data based on exact likelihood
本文针对稀疏数据荟萃分析中的发表偏倚问题，将基于Copas t统计量选择函数的似然敏感性分析扩展到广义线性混合效应模型，并通过真实数据和模拟研究证明其优于传统正态-正态模型方法。
2024-06-07 stat.ME
A Proximal Distance Algorithm for Likelihood-Based Sparse Covariance Estimation
本文讨论的任务，估计协方差阵下的无模式稀疏性假设。与现有的基于阈值或收缩惩罚的方法相比，我们提出了一种基于似然的方法，该方法将协方差估计到对称稀疏集的距离正则化。该公式避免了由更常见的范数惩罚引起的不必要的收缩，并通过求解一系列光滑，无约束的子问题来优化所得到的非凸目标。这些子问题的产生和解决，通过最近距离版本的优化最小化原则。由此产生的算法执行迅速，优雅地处理设置的参数的数量超过的情况下，产生一个正定的解决方案，并享有理想的收敛性能。从经验上讲，我们证明了我们的方法优于竞争方法的几个指标在一套模拟实验。它的优点说明了一个国际移民数据集和一个经典的案例研究流式细胞术。我们的研究结果表明，细胞信号数据的边缘和条件依赖网络比以前得出的结论更相似。
2021-09-09 stat.ME
A path following algorithm for Sparse Pseudo-Likelihood Inverse Covariance Estimation (SPLICE)
给定p维随机向量的n个观测值，在许多应用中需要得到协方差阵及其逆矩阵（精度矩阵）。当p与样本量n相当时，样本协方差（例如，其特征结构）可能会表现不佳。正则化经常被用来缓解这个问题。本文提出了逆协方差阵的l1-模惩罚伪似然估计。由于l1-范数惩罚，这种估计是稀疏的，我们称这种方法为SPLICE。它的正则化路径可以通过基于同伦/LARS-Lasso算法的算法来计算。对p=15和n=20，1000的各种逆协方差结构进行了模拟研究。我们比较SPLICE与l1-范数惩罚似然估计和l1-范数惩罚Cholesky分解为基础的方法。SPLICE在精确度矩阵和ROC曲线的三个指标方面为模型选择提供了最佳的整体性能。此外，我们的模拟结果表明，SPLICE估计是正定的正则化路径的大部分，即使没有强制执行的限制。
2008-07-23 stat.CO stat.ME
Missing values: sparse inverse covariance estimation and an extension to sparse regression
提出了一种估计高维多元正态模型中存在缺失数据的逆协方差阵的l1正则化似然方法。我们的方法是基于假设的数据是随机缺失（MAR），这也需要完全随机缺失的情况下。该方法的实现是非平凡的，因为观察到的负对数似然一般是一个复杂的非凸函数。我们提出了一个有效的期望最大化算法的优化与可证明的数值收敛性能。此外，我们扩展的方法来处理稀疏回归上下文中的缺失值。我们证明了这两种方法的模拟和真实数据。
2012-02-27 stat.ME
Log-F-penalized Conditional Logistic Regression for Sparse Data
Simon Fraser University（西蒙菲莎大学）
针对稀疏匹配病例对照研究中条件逻辑回归估计量偏差与收缩控制不足问题，提出log-F惩罚条件逻辑回归方法，其在模拟中表现出与Firth方法相当的置信区间覆盖率，且均方误差更低。
2026-08-03 stat.ME
A geometric approach to maximum likelihood estimation of the functional principal components from sparse longitudinal data
在本文中，我们考虑协方差核的特征值和特征函数的估计问题（即，函数主成分）从稀疏和不规则观测的纵向数据。我们通过假设协方差核是光滑的和有限维的极大似然方法来处理这个问题。我们利用本征函数的光滑性，通过将它们限制在光滑函数的低维空间来降低维数。该估计方案是基于牛顿-拉夫逊程序，使用的事实，即基础系数代表的本征函数位于Stiefel流形上。我们还解决了选择正确数量的基函数，以及协方差核的维度的二阶近似的留一曲线交叉验证得分，这是计算上非常有效的。我们的程序的有效性证明了模拟研究和应用程序的CD 4计数数据集。在仿真研究中，我们的方法在估计和模型选择方面都有很好的表现。它也优于现有的两种方法：一种是基于经验协方差的局部多项式平滑，另一种是使用期望最大化算法。
2007-10-29 stat.CO stat.ME
Sparse logistic functional principal component analysis for binary data
函数型二进制数据集在实际应用中经常出现，而数据的离散特性会给模型估计带来挑战。本文提出了一种稀疏逻辑函数主成分分析（SLFPCA）方法来处理函数型二值数据。SLFPCA寻找局部稀疏的本征函数，以获得方便的解释。我们制定的问题，通过惩罚的伯努利似然粗糙惩罚和稀疏惩罚条款。利用优化最小化（MM）算法，提出了一种有效的惩罚似然优化算法。理论结果表明，该方法的一致性和稀疏性。我们进行了彻底的数值实验，以证明SLFPCA方法的优点。我们的方法被进一步应用到身体活动数据集。
2021-09-16 stat.ME
Sparse inference of the human hematopoietic system from heterogeneous and partially observed genomic data
造血是血细胞形成的过程，通过该过程，祖细胞干细胞分化成成熟形式，如白细胞和红细胞或成熟血小板。虽然成熟形式的前体共享许多涉及共同细胞核因子的调控途径，但特定的调控网络将其命运塑造为一个谱系或另一个谱系。在这项研究中，我们的目的是分析复杂的调控网络，驱动成熟的红细胞和血小板从他们的共同前体的形成。为此，我们开发了一个专用的图形模型，我们从最新的RT-qPCR基因组数据推断。该模型还考虑了外部基因组数据的影响。计算高效的期望最大化算法允许从高维且通常仅部分观察到的RT-qPCR数据进行正则化网络推断。交替方向乘法算法的仔细组合允许实现个体谱系网络中的稀疏性和这些网络之间的高共享，以及检测膜结合受体与核因子之间的关联。该方法将在R软件包cglasso中实现，并可用于从高维，异构和部分观测数据进行网络推理的类似应用。
2022-06-20 stat.ME
Sparse Latent Class Analysis For Dichotomous Responses: Post-Estimation Refinement via Item-level Pseudo-Likelihood
London School of Economics and Political Science（伦敦政治经济学院）；RWTH Aachen University（亚琛工业大学）
本文提出一种计算高效的后估计细化方法，通过稀疏模型估计提升模型可解释性，通过项目特定响应概率的模型选择进一步减少冗余层次，从而获得更易于解释的稀疏矩阵。
2026-09-11 stat.ME
Two new algorithms for maximum likelihood estimation of sparse covariance matrices with applications to graphical modeling
本文提出两种基于协方差图的两阶段稀疏协方差矩阵最大似然估计算法，分别采用块坐标下降与近端距离法，在样本数低于维度时仍有效，且估计精度优于两种现有方法。
2023-05-11 eess.SP stat.ME
L-2 Regularized maximum likelihood for $β$-model in large and sparse networks
针对大型稀疏网络中 $β$-model 估计无法扩展且理论受限的问题，提出 $\ell_2$ 惩罚 MLE 算法，可处理数百万节点并建立首个最优误差界与高维渐近正态性，应用于 COVID-19 数据集有效。
2025-06-26 cs.SI math.ST stat.ME
Detection and inference of changes in high-dimensional linear regression with non-sparse structures
University of Bristol（布里斯托大学）；University of Göttingen（哥廷根大学）
本文提出了一种无需回归参数或其差分参数稀疏性的方法，通过局部协方差大差异扫描来检测多个变化点，理论和数值实验验证了其有效性。
2025-07-16 math.ST stat.ME stat.TH
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；UMR CNRS LMNO（法国国家科学研究中心LMNO联合研究单位）
混合专家模型（Mixture of Experts，MoE）是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合，因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题，并提出了一个正则化的极大似然估计的方法，鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE，所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法：期望-优化-最大化（EM/MM）算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案，而无需阈值，并避免矩阵求逆，允许单变量参数更新。实验研究表明，该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Robust sparse Gaussian graphical modeling
高斯图形建模已被广泛用于探索各种网络结构，如基因调控网络和社交网络。我们经常使用带有$L_1$惩罚的惩罚极大似然方法来学习高维图形模型。然而，惩罚的极大似然过程对离群值敏感。为了克服这个问题，我们引入了一个稳健估计过程的基础上的$γ$发散。所提出的方法具有降阶性质，这是已知的鲁棒统计中的一个理想的属性。参数估计过程使用最优最小化算法构造，该算法保证目标函数在每次迭代时单调减小。广泛的模拟研究表明，我们的程序比现有的方法，特别是，当污染率很大。两个真实的数据进行了分析，以说明我们提出的程序的实用性。
2017-06-12 stat.ME
Efficient Estimation of Approximate Factor Models via Regularized Maximum Likelihood
研究了同时存在横截面依赖和异方差的高维近似因子模型的估计问题。经典的主成分分析方法（PCA）不能有效地估计因子载荷或公共因子，因为它本质上将特质误差视为同向同性和横截面不相关的。为了有效地估计，必须估计大误差协方差阵。我们假设该模型是有条件的稀疏，并提出了两种方法来估计共同的因素和因素负荷，这两种方法都是基于最大化高斯准似然，并涉及正则化一个大的协方差稀疏矩阵。在第一种方法中，因子载荷和误差协方差是分别估计的，而在第二种方法中，它们是联合估计的。已进行了广泛的渐近分析。特别是，我们开发的两步估计的推理理论。由于所提出的方法考虑到大误差协方差阵，他们产生更有效的估计比经典的PCA方法或基于严格的因子模型的方法。
2012-09-28 stat.ME
Likelihood estimation of sparse topic distributions in topic models and its applications to Wasserstein document distance calculations
本文研究了主题模型中高维、离散、可能稀疏的混合模型的估计问题。数据由观察到的跨$n$独立文档的$p$单词的多项式计数组成。在主题模型中，假设$p\times n$期望词频矩阵被分解为$p\times K$词主题矩阵$A$和$K\times n$主题文档矩阵$T$。由于两个矩阵的列表示属于概率单形的条件概率，因此$A$的列被视为所有文档共有的$p$维混合分量，而$T$的列被视为文档特定的并且允许稀疏的$K$维混合权重。主要的兴趣是提供尖锐的，有限样本，$\ell_1$ -范数收敛速度的估计的混合权重$T$时，$A$是已知的或未知的。对于已知的$A$，我们建议对$T$进行MLE估计。我们对极大似然估计的非标准分析不仅建立了它的$\ell_1$收敛速度，而且揭示了一个显著的性质：没有额外正则化的极大似然估计可以是完全稀疏的，并且包含$T$的真零模式。我们进一步证明了极大似然估计在一大类稀疏主题分布中既是极大极小最优的，又能适应未知的稀疏性。当$A$未知时，我们通过优化与$A$的插入式通用估计器$\hat{A}$对应的似然函数来估计$T$。对于任何估计量$\hat{A}$，满足仔细详细的条件接近$A$，得到的估计量$T$保持建立的MLE的属性。允许环境尺寸$K$和$p$随样本量增长。我们的应用程序是估计1-Wasserstein文件生成分布之间的距离。我们提出，估计和分析新的1-Wasse…
2022-06-27 math.ST stat.ME stat.ML
Sparse Gaussian Process Hyperparameters: Optimize or Integrate?
University of Cambridge（剑桥大学）；Microsoft Research AI4Science（微软研究院AI4Science）；Massachusetts Institute of Technology（麻省理工学院）
核函数及其超参数是高斯过程中的核心模型选择（Rasmussen and Williams，2006）。通常，核的超参数是通过最大化边际似然来选择的，这种方法被称为类型II极大似然（ML-II）。然而，ML-II不考虑超参数不确定性，众所周知，这可能导致严重偏倚的估计和低估预测的不确定性。虽然有几个作品采用了完全贝叶斯表征的GP，相对较少的稀疏GP范例提出这样的方法。在这项工作中，我们提出了一种稀疏高斯过程回归的算法，该算法利用MCMC从Titsias（2009）的变分诱导点框架内的超参数后验进行采样。这项工作与Hensman等人（2015 b）密切相关，但不需要对诱导点进行采样，从而显着提高了高斯似然情况下的抽样效率。我们比较这个计划与自然基线的文献，随着随机变分GPS（SVGPs），随着广泛的计算分析。
2022-11-04 cs.LG stat.ME stat.ML
Fast construction of optimal composite likelihoods
复合似然是在数据具有复杂结构的应用中有用的低维似然对象的组合。虽然复合似然构造是影响所得估计量的计算和统计特性的关键方面，但目前似乎不存在将低维似然对象组合在一起的通用规则，该规则在统计上是合理的并且在执行中是快速的。本文提出了一种方法来选择和组合的最翔实的低维似然从一个大的候选人，同时进行参数估计。新的程序最大限度地减少复合似然和全似然分数之间的距离受到一个约束，代表了所提供的计算成本。所选择的复合似然是稀疏的，在这个意义上，它包含相对少量的信息子似然，而噪声项被丢弃。由此产生的估计被发现有渐近方差接近的最小方差估计使用所有的低维似然构造。
2022-04-25 stat.ME
A sequential reduction method for inference in generalized linear mixed models
广义线性混合模型参数的似然性涉及一个可能具有很高维数的积分。由于这种棘手性，已经提出了许多近似的可能性，但当模型稀疏时，所有这些都可能失败，因为每个随机效应只有少量的信息可用。本文所述的序贯约简方法利用了随机效应的后验分布的相关性结构，从而大大降低了在具有稀疏结构的模型中找到精确近似似然的成本。
2014-08-29 stat.CO stat.ME stat.ML
Parsimonious and Efficient Likelihood Composition by Gibbs Sampling
由于似然函数的复杂性，传统的极大似然估计（MLE）在复杂高维数据中的应用受到限制。最大复合似然估计（Maximum Composite Likelihood Estimation，McLE）通过组合依赖于小数据子集的多个部分似然对象来避免完全似然规范，从而能够对复杂数据进行推断。一个基本的困难，使McLE方法可行的是从众多的候选似然对象构建的复合似然函数的选择。在本文中，我们提出了一个灵活的吉布斯抽样计划的最佳选择的子似然分量。采样复合似然函数收敛到一个最大的信息在平衡的未知参数，因为子似然对象的选择概率取决于相应的McLE的方差。当数据复杂度很高时，我们的方法的惩罚版本生成具有相对较少数量的组件的稀疏似然。我们的算法通过模拟数据以及真实基因型SNP数据的病例对照研究的数值例子来说明。
2015-02-17 stat.ME
Robust Sparse Bayesian Infinite Factor Models
以往的贝叶斯因子模型的研究和应用大多假设正态似然，而忽略了其有效性。为了获得更好的协方差估计，提出了一种基于多元Student- $t$似然的高维重尾数据贝叶斯因子模型.我们使用Bhattacharya和Dunson [Biometrika（2011）291-306]中提出的乘法伽马过程收缩先验和因子数自适应方案。由于该模型的朴素Gibbs采样器混合速度慢，我们提出了一种马尔可夫链蒙特卡罗算法，其中哈密顿蒙特卡罗的快速混合被利用的一些参数，在所提出的模型。仿真结果表明，在重尾高维数据的协方差估计的性能增益。我们还提供了一个理论结果，该模型的后验是弱相容的合理条件下。最后，我们总结了本文提出的因子模型在乳腺癌转移预测中的应用，给出了癌细胞的DNA特征数据。
2020-12-09 stat.ME
Robust penalized empirical likelihood in high dimensional longitudinal data analysis
经验似然法作为一种有效的非参数方法，具有灵活、自适应地组合估计方程以融合数据信息的优点。为了选择稀疏高维模型中的重要变量和估计方程，我们考虑了一种基于稳健估计函数的惩罚EL方法，该方法通过同时应用两个惩罚函数来正则化回归参数和相关的Lagrange乘子，使得回归参数和估计方程的维数都随着样本量呈指数增长.本文从理论和直观的仿真结果两个方面对估计方程的稳健性进行了初步的检验，并对估计方程的选取和变量的选取进行了讨论。该方法可以提高数据的鲁棒性和有效性时，潜在的离群值或重尾的响应变量和/或协变量。通过有界影响函数度量了估计量的稳健性，并在一定的正则条件下证明了估计量的预言性质。广泛的模拟研究和酵母细胞数据被用来评估所提出的方法的性能。数值结果表明，稀疏估计方程选择的鲁棒性从根本上提高了变量选择的准确性时，数据有沉重的尾巴和/或包括潜在的离群值。
2021-07-01 stat.ME
Sparse tensor product approximation for a class of generalized method of moments estimators
广义矩量法（GMM）估计量的各种形式，包括流行的极大似然（ML）估计量，经常被应用于复杂的计量经济模型的评估，不能解析计算的矩或似然函数。由于GMM-和ML-估计量本身的目标函数构成了一个积分的近似，更确切地说，在现实世界的数据空间的期望值，出现的问题是否可以结合的矩函数的近似和模拟的整个目标函数。受流行的Probit和Mixed Logit模型的启发，我们考虑了具有链接函数的二重积分，该链接函数源于所考虑的估计量，例如极大似然的对数，并应用稀疏张量积求积来减少组合积分近似的计算量。由于连接函数的Hölder连续性，我们证明了这种方法可以提高经典GMM-和ML-估计的收敛速度的阶数，即使是低正则性或高维的被积。混合Logit和多项式Probit积分的ML和GMM估计，分别估计的数值模拟说明了这一结果。
2021-09-24 cs.NA math.NA stat.ME
A Joint Estimation Approach to Sparse Additive Ordinary Differential Equations
在实际应用中，常微分方程被广泛用于描述复杂系统的动力学行为。在这篇文章中，我们提出了一种新的联合估计方法的广义稀疏加性常微分方程的观察是允许的非高斯。新方法通过同时考虑似然性、常微分方程保真度和稀疏正则化，与已有的配点方法统一起来。我们设计了一个块坐标下降算法来优化非凸和不可微的目标函数。证明了算法的全局收敛性。仿真研究和两个应用表明，该方法在估计和识别稀疏结构的性能改善的优越性能。
2022-08-18 stat.ME
Penalized maximum likelihood estimation and variable selection in geostatistics
考虑了具有高斯过程误差的空间线性模型中协变量的选择问题。惩罚极大似然估计（PMLE），使同时变量选择和参数估计的开发，为了便于计算，PMLE近似的一步稀疏估计（OSE）。为了进一步提高计算效率，特别是在大样本量下，我们提出了惩罚最大协方差锥形似然估计（PMLE $_{\mathrm{T}}$）及其一步稀疏估计（OSE $_{\mathrm{T}}$）。一般形式的惩罚函数，强调平滑剪切绝对偏差用于惩罚极大似然。导出了PMLE和OSE的理论性质，以及它们的协方差锥化近似PMLE $_{\mathrm{T}}$和OSE $_{\mathrm{T}}$，包括相容性、稀疏性、渐近正态性和预言性质.对于协方差渐缩，我们的理论结果的一个副产品是最大协方差渐缩似然估计的一致性和渐近正态性。在模拟研究中证明了所提出的方法的样本性质，为了说明，该方法被应用于分析两个真实的数据集。
2012-02-23 math.ST stat.ME stat.TH
Kernel meets sieve: transformed hazards models with sparse longitudinal covariates
针对时变协变量仅被间歇观测的变换风险模型，本文提出结合核加权对数似然与筛最大似然的估计方法，建立其渐近理论，并通过数值模拟和武汉新冠数据验证了方法的优越性与实用性。
2023-09-18 math.ST stat.ME stat.TH
Explainability as statistical inference
Technical University of Denmark（丹麦技术大学）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文提出将可解释性建模为统计推断问题，通过通用深度概率模型产生可解释预测，并证明多种现有方法为其特例，实验表明多重插补可提升解释质量。
2023-12-29 cs.AI cs.LG stat.ME
Multiclass classification by sparse multinomial logistic regression
Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
在本文中，我们考虑高维多类分类稀疏多项式逻辑斯谛回归。我们首先提出了一个特征选择过程的基础上惩罚的最大似然模型的大小上的复杂性罚款，并推导出非渐近界的误分类过度风险的分类。我们还建立了相应的极小极大下界推导出他们的紧密性。特别是，我们表明，存在两个政权对应的小和大量的类。在附加的低噪声条件下，可以减小边界。然而，要找到具有复杂性惩罚的惩罚最大似然解，需要在所有可能的模型上进行组合搜索。为了设计一个计算上可行的高维数据的特征选择程序，我们提出了多项式逻辑组Lasso和斜率分类器，并表明它们也实现了极大极小化顺序。
2020-11-19 cs.LG math.ST stat.ME
Estimation of oblique structure via penalized likelihood factor analysis
我们考虑了因子分析模型中的稀疏估计问题，通过拉索型惩罚似然过程。通常，模型估计是在公共因子正交（不相关）的假设下进行的。然而，基于正交模型的拉索型惩罚方法往往可以估计一个完全不同的模型与真实的因素结构时，共同的因素是相关的。为了克服这个问题，我们建议将一个因素的相关性的模型，并估计因素的相关性以及参数包括在正交模型的最大惩罚似然过程。一个完整的解决方案的路径计算的期望最大化算法与坐标下降，它允许应用到各种各样的凸和非凸的处罚。该方法可以提供足够稀疏的解，并适用于变量数大于观测数的数据。蒙特卡罗模拟进行调查我们的建模策略的有效性。结果表明，基于正交模型的套索型惩罚往往不能近似真实的因素结构，而我们的方法在各种情况下表现良好。通过对实际数据的分析，也说明了所提出的程序的实用性。
2013-02-22 stat.CO stat.ME
Simultaneous sparse model selection and coefficient estimation for heavy-tailed autoregressive processes
提出了一种基于惩罚条件极大似然的重尾新息自回归过程的稀疏系数估计和自动模型选择方法.在新息过程的弱矩条件下，惩罚条件极大似然估计（PCMLE）满足强相合性、$O_P(N^{-1/2})$相合性和oracle性质，其中N是样本量.根据罚函数的弱条件，我们可以自由选择罚函数。比较了最小绝对收缩选择算子（LASSO）和平滑裁剪平均偏差（SCAD）两种罚函数。所提出的方法提供了一个基于分布的惩罚推理AR模型，这是特别有用的，当其他估计方法失败或执行厚尾新息的AR过程（见\cite{Resnick}）。仿真研究证实了我们的理论结果。最后，我们将我们的方法应用于美国消费品工业生产指数的历史价格数据，并获得了非常有前途的结果。
2013-09-21 math.ST stat.ME stat.TH
On estimation of the diagonal elements of a sparse precision matrix
本文给出了iid随机向量样本的协方差阵的逆阵（称为精度阵）的对角元素的几种估计。重点是具有稀疏精度矩阵的高维向量。现在很好地理解，当基础分布是高斯分布时，可以通过在稀疏约束下求解线性回归问题来彼此独立地估计精度矩阵的列。这种方法导致了一个计算效率高的策略，估计精度矩阵，开始通过估计回归向量，然后估计的精度矩阵的对角条目，并在最后一步，结合这些估计得到的非对角条目的估计。虽然在过去的十年中，估计回归向量的步骤已经被深入研究，但导出对角项的统计准确估计量的问题却很少受到关注。本文的目标是填补这一空白，提出四个估计-似乎是最自然的-的精度矩阵的对角线条目，然后进行全面的经验评估，这些估计。所考虑的估计是剩余方差，放松的最大似然，强制的最大似然和惩罚的最大似然。我们表明，理论和经验，当上述回归向量估计没有错误，强制最大似然估计具有最小的估计误差。然而，在一个更现实的设置时，回归向量估计的稀疏有利于计算效率的方法，估计的质量变得相对可比的残差方差估计略有优势。
2016-05-25 math.ST stat.CO stat.ME
A new scope of penalized empirical likelihood with high-dimensional estimating equations
统计方法与经验似然（EL）是有吸引力的和有效的，特别是与估计方程，通过它可以自适应地和灵活地纳入有用的数据信息。它也是已知的，在文献中，EL方法遇到困难时，处理具有高维模型参数和估计方程的问题。为了克服这些挑战，我们从一个新的角度对高维EL进行了深入的研究，目标是估计高维稀疏模型的参数。我们表明，新的范围提供了一个机会，放宽严格的要求的模型参数的维数。在此基础上，我们提出了一种新的惩罚EL，即在EL的优化过程中，通过引入两个罚函数分别正则化模型参数和相应的Lagrange乘子.通过惩罚拉格朗日乘子，以鼓励其稀疏性，我们表明，大幅减少维数的估计方程的数量可以有效地实现，而不会损害所得到的估计的有效性和一致性。最吸引人的是，这种估计方程的降维实际上相当于在这些高维估计方程中进行选择，从而导致用于高维稀疏模型参数的高度简约和有效的装置。在模型参数和估计方程的维数都随样本量呈指数增长的情况下，我们的理论证明了新惩罚EL的估计量是稀疏的，并且与渐近正态分布的非零分量一致.数值模拟和实际数据分析表明，所提出的惩罚EL的工作前景。
2017-05-28 math.ST stat.ME stat.TH
A Flexible Empirical Bayes Approach to Generalized Linear Models, with Applications to Sparse Logistic Regression
Department of Statistics The University of Chicago（统计学系芝加哥大学）；Department of Statistics University of California, Irvine（统计学系加州大学伊文斯顿分校）；Department of Statistics and Department of Human Genetics The University of Chicago（统计学系和人类遗传学系芝加哥大学）
本文提出了一种灵活的经验贝叶斯方法，用于广义线性模型，适用于稀疏逻辑回归，通过优化后验均值和先验参数提升预测性能。
2026-08-28 cs.LG stat.CO stat.ME
Analysis of Networks via the Sparse $β$-Model
网络形式的数据在各个领域越来越多，但统计模型允许稀疏网络的参数估计与理想的统计特性仍然稀缺。为了解决这个问题，我们提出了稀疏$β$模型（S $β$ M），一个新的网络模型，插值著名的Erdens-Rényi模型和$β$模型，分配一个不同的参数给每个节点。通过一种新的重新参数化的$β$ -模型，以区分全球和本地参数，我们的S $β$ M可以大大降低维数的$β$ -模型，要求一些局部参数为零。当参数向量的支持向量已知时，我们得到了S $β$ M的极大似然估计的渐近分布。当支持是未知的，我们制定了一个惩罚似然方法与$\ell_0$处罚。值得注意的是，我们表明，通过单调性引理，看似组合的计算问题，由于$\ell_0$ -罚款可以克服分配非零参数，这些节点的最大程度。我们进一步表明，一个$β$ -min条件保证我们的方法，以确定真正的模型，并提供超额风险界的估计参数。仿真结果表明，该方法具有良好的有限样本性质。S $β$ M的有用性进一步说明通过小额信贷的例子分析。
2020-12-17 econ.EM math.ST stat.ME
