Inference with penalized likelihood
本文在半参数框架下研究了最大惩罚似然方法的统计特性。我们回顾了惩罚似然估计函数的方法,并回顾了一些渐近结果。研究了极大惩罚似然估计方差的两种估计:三明治估计和贝叶斯估计的性质。通过生存数据的模拟研究,研究了基于这些估计量的置信区间的覆盖率。在第一次模拟中,对生存函数和风险函数的覆盖率进行评估。在第二个模拟中,从具有协变量的比例风险模型生成数据。研究了回归系数的方差估计。对于生存和风险函数,三明治估计和贝叶斯估计都表现出相对较好的性质,但贝叶斯估计似乎更准确。至于回归系数,我们集中在贝叶斯估计,并发现它产生了良好的覆盖率。
2014-01-30 math.ST stat.TH
Inference for Multivariate Normal Mixtures
多元正态混合模型为高维数据提供了一个灵活的模型。它们广泛应用于统计遗传学、统计金融学等学科。由于似然函数的无界性,经典的基于似然函数的方法虽然具有很好的实用性,但并不一致。本文提出了一种估计混合分布的惩罚似然方法。我们证明了最大惩罚似然估计是强相合的,当组件的数量有一个已知的上界。我们还探讨了一个方便的EM算法计算的最大惩罚似然估计。大量的模拟进行了探索的有效性和实际限制的新方法和批准的最大似然估计。根据仿真结果给出了指导原则。
2008-05-26 math.ST stat.ME stat.TH
Empirical bias-reducing adjustments to estimating functions
本文提出一种通用的缩减偏差M估计框架,通过经验近似偏差并利用自动微分简化实现,在保持渐近分布不变的同时显著降低估计偏差,且比既有方法更易实现、适用范围更广。
2023-08-10 math.ST stat.ME stat.TH
Robust Penalized Estimators for High--Dimensional Generalized Linear Models
本文针对高维广义线性模型提出一种惩罚变换M估计量,证明其一致性与渐近正态性,并设计迭代重加权最小二乘算法及确定性初始化程序,通过模拟和真实数据验证了方法的稳健性。
2025-07-07 math.ST stat.ME stat.TH
Corrected generalized cross-validation for finite ensembles of penalized estimators
本文针对有限集成的惩罚最小二乘估计器,证明广义交叉验证(GCV)不一致,并提出修正的CGCV方法,通过加法标量修正实现无模型一致风险估计,无需样本分割或重拟合。
2024-04-21 math.ST stat.ME stat.ML
Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator
ENSAE Paristech-CREST(巴黎高等经济与统计学院-经济与统计研究中心)
研究了在加性噪声和高斯设计的线性模型中估计$p$维$s$ -稀疏向量的问题.在标签被污染的情况下,在最$o$对抗离群值,我们证明了$\ell_1$ -惩罚胡贝尔的$M$ -估计的基础上$n$样本达到最佳的收敛速度$(s/n)^{1/2} + (o/n)$,对数因子。对于更一般的设计矩阵,我们的结果突出了两个属性的重要性:传输原理和不相干属性。这些属性与适当的常数,以产生最佳的利率,对数因子,强大的估计与对抗性污染。
2019-11-19 cs.LG math.ST stat.TH
Extending the scope of empirical likelihood
本文从三个方面扩展了经验似然方法的范围:允许在估计方程中插入冗余参数的估计,比$\sqrt{n}$收敛速度慢,以及与样本量相比有相对大量估计方程的设置。校准经验似然置信区域与插件有时是棘手的,由于渐近的复杂性,所以我们引入了一个自举近似,可以在这种情况下使用。我们从生存分析和非参数统计提供了一系列的例子来说明主要的结果。
2009-04-20 math.ST stat.TH
Penalized Likelihood for Dyadic Network Formation Models with Degree Heterogeneity
Jinan University(暨南大学);South China Agricultural University(华南农业大学)
本文提出一种惩罚似然方法解决网络形成模型中度异质性导致的估计问题,通过引入惩罚项保证有限样本存在并修正偏差,适用于大规模网络数据。
2026-05-01 econ.EM math.ST stat.TH
Nodewise Loreg: Nodewise $L_0$-penalized Regression for High-dimensional Sparse Precision Matrix Estimation
本文提出逐节点$L_0$惩罚回归方法Nodewise Loreg,用于高维稀疏精度矩阵估计,证明其渐近无偏正态性且无需去偏,并在模拟和基因表达数据上优于多种$L_1$类方法。
2024-06-10 math.ST stat.TH
Estimating the Number of Components in Finite Mixture Models via the Group-Sort-Fuse Procedure
有限混合模型的分量数(或阶数)的估计是统计学中一个长期存在且具有挑战性的问题。本文提出了一种新的惩罚似然估计方法--分组排序似然法(GSF),用于同时估计多维有限混合模型的序和混合测度。与使用模型复杂性标准拟合和比较具有不同阶数的混合物的方法不同,我们的方法直接惩罚模型参数的连续函数。更具体地说,给定一个保守的上界的顺序,GSF组和排序的混合成分参数,融合那些是多余的。对于范围广泛的有限混合模型,我们证明了GSF是一致的,在估计真正的混合顺序,并实现了$n^{-1/2}$收敛速度的参数估计多对数的因素。GSF是在R包GroupSort中为几个单变量和多变量混合模型实现的。它的有限样本的性能是支持一个彻底的模拟研究,并说明其应用程序的两个真实数据的例子。
2021-08-04 math.ST stat.ME stat.ML
A Selective Overview of Variable Selection in High Dimensional Feature Space (Invited Review Article)
高维统计问题产生于科学研究和技术发展的各个领域。变量选择在当代统计学习和科学发现中起着关键作用。传统的最佳子集选择方法可以被看作是惩罚似然的一种特殊形式,对于许多现代统计应用来说,它在计算上过于昂贵。其他形式的惩罚似然方法已经成功地开发了在过去的十年中,以应付高维。在高维统计推断中,它们被广泛应用于同时选择重要变量和估计其效应。在这篇文章中,我们提出了一个简短的帐户的理论,方法和实施高维变量选择的最新发展。这些方法可以处理的维数限制,罚函数的作用是什么,以及统计特性是什么,这些都迅速推动了该领域的发展。重点讨论了非凹惩罚似然的性质及其在高维统计建模中的作用。我们还回顾了超高维变量选择的一些最新进展,重点是独立筛选和双尺度方法。
2009-10-06 math.ST stat.TH
High-dimensional covariance estimation by minimizing $\ell_1$-penalized log-determinant divergence
注射了。研究了随机向量$X \in \mathbb{R}^p$的协方差矩阵$Σ^*$及其逆协方差或浓度矩阵{ $Θ^* = (Σ^*)^{-1}$}的估计问题。我们估计$Θ^*$通过最小化$\ell_1$惩罚对数行列式Bregman发散;在多元高斯的情况下,这种方法对应于$\ell_1$惩罚最大似然,$Θ^*$的结构由相关的高斯马尔可夫随机场的图指定。我们分析了高维尺度下,在图$p$,边缘$s$和最大节点度$d$的节点数,允许增长作为样本大小$n$的函数,该估计的性能。除了参数$(p,s,d)$之外,我们的分析还识别了其他关键量协方差矩阵$Σ^*$ ;以及(b)子矩阵$Γ^*_{S S}$的$\ell_\infty$算子范数,其中$S$索引图边,以及$Γ^* = (Θ^*)^{-1} \otimes (Θ^*)^{-1}$ ;以及(c)矩阵$Γ^*$上的相互不相干性或不可表示性度量,以及(d)概率$ \{|\hatΣ^n_{ij}- Σ^*_{ij}| > δ\}$上的衰减速率$1/f(n,δ)$,其中$\hatΣ^n$是基于$n$样本的样本协方差。我们的第一个结果建立了我们的估计$\hatΘ$在元素最大范数的一致性。这反过来又使我们能够得到收敛速度Frobenius和谱范数,与现有的结果改进图的最大节点度$d = o(\sqrt{s})$。在我们的第二个结果中,我们表明,概率收敛…
2008-11-21 math.ST stat.ML stat.TH
Normalized Likelihood Criteria for Model Selection in the Stochastic Block Model
Departament of Statistics, Federal University of São Carlos(圣卡洛斯联邦大学统计系)
本文研究了基于标准化似然准则的惩罚估计器,提出DNML方法在稀疏网络中具有强一致性,且在不平衡网络中表现优异。
2026-04-11 math.ST stat.TH
Semiparametric model averaging for high dimensional conditional quantile prediction
在这篇文章中,我们提出了一个惩罚的高维半参数模型平均分位数预测方法,是强大的预测响应的条件分位数。我们考虑一个两步估计过程。在第一步中,我们使用局部线性回归方法来估计个体的边缘分位数函数,并通过一维边缘分位数回归函数的仿射组合来近似响应的条件分位数。第二步,基于边缘分位数回归函数的非参数核估计,我们利用惩罚方法来估计近似所涉及的合适的模型权向量。第二步的目标是选择重要的变量,其边际分位数函数对估计联合多元条件分位数函数有重要贡献。在较弱的条件下,我们建立了稳健估计的渐近性质。最后,仿真和实际数据分析已被用来说明所提出的方法。
2018-09-05 math.ST stat.TH
Iterative Alpha Expansion for estimating gradient-sparse signals from linear measurements
Yale University(耶鲁大学)
我们考虑估计一个分段恒定的图像,或一个梯度稀疏信号的一般图,从嘈杂的线性测量。我们提出并研究了一种迭代算法,以最小化惩罚最小二乘目标,与“l_0范数”的信号的离散图梯度的罚款。该方法通过近似下降,应用α-扩展过程以最小化每次迭代中的近似梯度,并在迭代中使用惩罚参数的几何衰减来进行。根据削减限制等距测量设计的属性,我们证明了全球恢复保证估计信号。对于标准高斯设计,所需的测量次数与图形结构无关,并且分别通过多项式和对数因子改善了1-D和2-D格形图上的全变差(TV)压缩感知的最坏情况保证。经验的方法产生较低的均方恢复误差相比,电视正则化制度的中度欠采样和中度到高的信号噪声,几个例子的变点信号和梯度稀疏幻影图像。
2019-05-15 cs.LG math.ST stat.CO
High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models
我们考虑的问题,联合估计多个相关的有向无圈图(DAG)模型的基础上,从每个图的高维数据。这个问题的动机是基于来自不同组织、发育阶段或疾病状态的基因表达数据来学习基因调控网络的任务。我们证明了在一定的正则性条件下,所提出的$\ell_0$ -惩罚极大似然估计在Frobenius范数下收敛于与数据生成分布一致的邻接矩阵,并且具有正确的稀疏性.特别是,我们表明,这种联合估计过程导致更快的收敛速度比估计每个DAG模型分别。作为一个推论,我们还获得了高维一致性的结果,从混合的观察和干预数据的因果推断。出于实用的目的,我们提出了\emph{jointGES}组成的贪婪等价搜索(GES),以估计所有DAG模型的联合,然后使用套索变量选择,以获得不同的DAG,我们分析了它的一致性保证。所提出的方法是通过模拟数据以及上皮性卵巢癌基因表达数据的分析。
2020-06-27 math.ST stat.ME stat.TH
Stein Shrinkage and Second-Order Efficiency for semiparametric estimation of the shift
考虑了在高斯白噪声中观测到的未知对称周期函数$f$的位移估计问题。利用分块Stein方法,引入了数据驱动惩罚的惩罚轮廓似然,使得对称对称中心的估计量被定义为惩罚轮廓似然的最大化者.该估计具有的优点是独立的功能类的信号$f$ SI假设属于,此外,被证明是半参数自适应和有效的。此外,所提出的估计的风险扩展的二阶项被证明至少表现以及使用单调平滑滤波器的最佳可能的估计的风险的二阶项。在温和的假设下,该估计被证明是二阶minimax尖锐自适应在整个规模的Sobolev球光滑$β>1$。因此,这些结果扩展了那些\cite{DGT},其中二阶渐近极小极大性证明的估计依赖于功能类包含$f$和$β\geq 2$是必需的。
2007-02-26 math.ST stat.TH
High-dimensional Gaussian model selection on a Gaussian design
我们考虑估计一个真正的高斯变量$\nolinebreak Y=\sum_{i=1}^p\nolinebreakθ_iX_i+\nolinebreak ε$的协变量$(X_i)_{1\leq i\leq p}$的向量遵循联合高斯分布的条件均值的问题。这个问题经常发生在一个旨在估计的图形或高斯图形模型的分布。我们介绍了一个一般的模型选择过程,这是基于惩罚最小二乘型标准的最小化。它处理各种各样的问题,如有序和完整的变量选择,允许将一些先验知识的模型和应用时,协变量的数量$p$是大于观察数$n$。此外,它被证明是独立的协变量的相关结构实现非渐近预言不等式。我们还表现出各种极小极大率的估计所考虑的框架,因此,我们的程序的自适应特性。
2009-04-28 math.ST stat.TH
Variable selection in measurement error models
测量误差数据或变量误差数据已在许多研究中收集。由于缺乏不可观测协变量的分布信息,一般功能测量误差模型通常无法使用自然准则函数。通常,参数估计是通过求解估计方程。此外,这种估计方程的构造通常需要求解积分方程,因此与普通回归模型相比,计算量往往要大得多。由于这些困难,传统的最佳子集变量选择程序是不适用的,在测量误差模型的背景下,变量选择仍然是一个未解决的问题。在本文中,我们开发了一个框架,通过惩罚估计方程的测量误差模型中的变量选择。本文首先提出了一般参数测量误差模型和一般半参数测量误差模型的一类选择过程,并研究了所提出的过程的渐近性质。然后,在一定的正则性条件下,并与适当选择的正则化参数,我们证明了所提出的程序执行以及一个预言的过程。我们通过蒙特卡罗模拟研究评估有限样本性能,并通过一个熟悉的数据集的实证分析说明所提出的方法。
2010-02-23 math.ST stat.TH
On the behavior of Bayesian credible intervals for some restricted parameter space problems
为了估计正态均值,Zhang和Woodroofe(2003)以及Roe和Woodroofe(2000)研究了100个与先验相关的HPD可信集,这些先验是将无信息先验截断到受限参数空间上获得的。也就是说,他们建立了有吸引力的下界$\frac{1-α}{1+α}$的频率覆盖概率的这些程序。在这项工作中,我们建立了$\frac{1-α}{1+α}$的下界是适用于一个基本上更一般的设置与潜在的分布对称性,并获得各种其他性质。推导是统一的,并通过选择一个正确的Haar不变先验驱动。对非对称模型进行了研究,得到了类似的结果。也就是说,(i)我们证明了下界$\frac{1-α}{1+α}$仍然适用于某些类型的不对称性(或偏度),(ii)我们扩展了Zhang和Woodroofe(2002)估计Fisher分布尺度参数的结果;这在估计单向平衡随机效应ANOVA中的方差分量比时出现。最后,各种例子说明了广泛的应用范围进行了扩展。示例包括估计位置模型和位置-尺度模型中的参数、估计尺度模型中的尺度参数、估计诸如差的位置参数的线性组合、估计尺度参数的比率以及具有非独立观测的问题。
2006-11-22 math.ST stat.TH
Minimax Optimal Estimation in Partially Linear Additive Models under High Dimension
在高维稀疏向量和光滑函数分量的部分线性可加模型中,我们得到了参数和非参数分量的极大极小估计率。欧氏分量的极小极大下界是典型的稀疏估计率,它与非参数平滑指标无关。然而,极小极大下界为每个组件功能表现出的维数和稀疏性的参数组件和相关的非参数组件的平滑度之间的相互作用。事实上,当非参数分量的平滑度或参数分量的维数足够大时,平滑非参数估计的极大极小风险可以减慢到稀疏估计率。在上面的设置中,我们证明了惩罚最小二乘估计几乎可以达到极大极小下界。
2018-01-14 math.ST stat.TH
Optimal Estimating Equations for Compact-Memory Hawkes Processes
Stanford University(斯坦福大学);University of Otago(奥塔哥大学)
本文提出一类基于补偿器的估计方程,统一了最小二乘、Takács-Fiksel和矩估计,并证明了似然得分的效率基准性,给出了有限库估计量的收敛率和渐近正态性。
2026-06-23 math.ST stat.TH
Risk upper bounds for RKHS ridge group sparse estimator in the regression model with non-Gaussian and non-bounded error
考虑了具有非高斯和无界误差的未知回归模型的元模型估计问题。元模型属于再生核希尔伯特空间,其被构造为希尔伯特空间的直和,导致包括变量和它们之间的相互作用的加性分解。该元模型的估计量通过最小化经验最小二乘准则来计算,该准则由Hilbert范数和经验$L^2$范数之和惩罚。在这种情况下,建立经验$L^2$风险和估计量的$L^2$风险的上界。
2020-09-22 math.ST stat.OT stat.TH