Estimation of High-Dimensional Graphical Models Using Regularized Score Matching
图形模型被广泛用于对大量变量之间的随机相关性进行建模。我们介绍了一种新的方法,估计无向条件独立图的基础上得分匹配损失,介绍了Hyvarinen(2005),并随后在Hyvarinen(2007)扩展。我们提出的正则化分数匹配方法适用于连续观测的设置,并允许计算效率可能非高斯指数族模型的治疗。在充分探索的高斯设置中,正则化分数匹配避免了应用邻域选择技术时出现的不对称问题,并且与直接产生对称估计的现有方法相比,分数匹配方法具有所考虑的损失是二次的并且在$\ell_1$正则化下给出分段线性解路径的优点。在适当的不可表示性条件下,我们表明,$\ell_1$正则化得分匹配是一致的稀疏高维设置的图估计。通过数值实验和RNAseq数据的应用,我们证实正则化分数匹配在高斯情况下达到了最先进的性能,并为非高斯图形模型中的计算效率估计提供了一个有价值的工具。
2016-03-23 stat.ME
Ridge Regularized Estimation of VAR Models for Inference
本文研究VAR模型估计推断中的岭回归方法,分析各向异性惩罚影响、渐近分布与交叉验证性质,通过蒙特卡洛模拟评估脉冲响应估计并对比多种方法。
2023-07-06 stat.ME
Regularized Estimation in High-Dimensional Vector Auto-Regressive Models using Spatio-Temporal Information
向量自回归(VAR)模型是多变量时间序列建模的常用模型,对于高维数据有许多惩罚方法。然而,就时空数据而言,大多数方法没有考虑数据的时空结构,这可能导致不可靠的网络检测和不准确的预测。提出了一种数据驱动的时空VAR模型加权l1正则化方法。通过大量的仿真实验,将该方法与现有的4种高维VAR模型方法进行了比较,证明了该方法在参数估计、网络检测和样本外预测等方面的改进。我们还将我们的方法应用于交通数据集上,以评估其在实际应用中的性能。此外,我们还研究了弱稀疏情形下VAR模型的l1正则化估计的理论性质,其中精确稀疏可视为一种特殊情况。据我们所知,这个方向还没有被认为是在文学。对于一般的平稳VAR过程,在弱稀疏情形下,得到了l1正则化估计误差的非渐近上界,给出了估计一致性条件,并对一种特殊的VAR(1)情形作了进一步的简化.
2020-12-18 stat.ME
Regularized estimation for highly multivariate log Gaussian Cox processes
由于具有大量参数的复杂模型,高度多变量点模式数据的统计推断具有挑战性。本文对一类多元对数高斯Cox过程提出了数值稳定和有效的参数估计和模型选择算法。该方法适用于一个高度多元的点模式数据集,从热带雨林生态。
2019-05-04 stat.CO stat.ME
Proximal MCMC for Bayesian Inference of Constrained and Regularized Estimation
UCLA(加州大学洛杉矶分校);Rice University(莱斯大学)
本研究扩展了最初用于贝叶斯成像的ProxMCMC框架,实现全参数数据自适应的完全贝叶斯推断,并引入哈密顿蒙特卡洛算法适配高维场景,为约束与正则化问题提供通用模块化推断方案,在多类传统难处理的统计与机器学习任务中验证了有效性。
2023-11-24 stat.ME
Bayesian Estimation and Regularization Techniques in Categorical Data Analysis
本文研究分类数据分析中的贝叶斯估计与正则化技术,重访二项分布贝叶斯估计量性质,提出基于正则化似然的分类数据假设检验,构建列联表关联度量及互信息的正则化版本以处理零计数问题,为高级方法的实际应用奠基。
2025-09-02 stat.ME
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Robust regularized covariance matrix estimation: well-posedness and convergent algorithm
School of Statistics, Beijing Normal University(北京师范大学统计学院);Department of Statistics, Rutgers University(罗格斯大学统计系)
本文研究了基于几何凸但非光滑惩罚函数的正则化和结构M估计的性质,提出新的加权算法以保证收敛性。
2026-03-29 stat.CO stat.ME
Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
我们分析了最近提出的正则化估计算法称为双增广拉格朗日(DAL)的收敛行为。我们的分析是基于一个新的解释DAL作为一个近端最小化算法。在一定条件下,我们证明了DAL在非渐近和全局意义下超线性收敛。由于在机器学习的背景下稀疏估计问题的特殊建模,我们所做的假设比传统的增广拉格朗日算法分析中所做的假设更温和,更自然。此外,新的解释使我们能够推广DAL各种稀疏估计问题。我们实验证实我们的分析在一个大规模的$\ell_1$正则化逻辑斯谛回归问题,并广泛比较DAL算法的效率,以前提出的算法在合成和基准数据集。
2011-01-02 cs.LG stat.ME stat.ML
Regularized Estimation of High-Dimensional Matrix-Variate Autoregressive Models
本文针对高维矩阵变量时间序列,提出了带状和LASSO稀疏两种正则化估计方法以降低双线性自回归模型的参数维度,推导了渐近性质,并通过模拟与真实数据验证了其优越的预测性能。
2024-10-15 stat.ME
Tuning Parameter Selection in Regularized Estimations of Large Covariance Matrices
最近提出了许多大协方差阵的正则化估计,这些估计中的调整参数通常通过交叉验证来选择。然而,没有关于进行交叉验证的折叠次数的指导方针,也没有交叉验证与基于自助法的方法之间的比较。通过大量的模拟,我们建议10倍交叉验证(十分之九用于训练,十分之一用于验证)是合适的,当估计精度在Frobenius范数中测量时,而2倍交叉验证(一半用于训练,一半用于验证)或反向3倍交叉验证(三分之一用于训练,三分之二用于验证)在算子范数中是合适的。我们还建议“最优”交叉验证比基于自举的方法更适合这两种类型的范数。
2013-08-15 stat.CO stat.ME
Regularized estimation in sparse high-dimensional time series models
许多科学和经济问题涉及到高维时间序列数据集的分析。然而,迄今为止,高维统计的理论研究主要依赖于独立同分布(i.i.d.)样品在这项工作中,我们专注于稳定的高斯过程和研究的$\ell _1$ -正则化估计的理论性质在两个重要的统计问题的背景下,高维时间序列:(a)随机回归序列相关误差和(b)转移阵估计向量自回归(VAR)模型。我们推导出正则化估计的估计误差的非渐近上界,并建立了高维尺度下的一致估计是可能的,通过$\ell_1$ -正则化的一大类稳定的过程稀疏约束下。一个关键的技术贡献的工作是引进一种措施的稳定性平稳过程使用其频谱特性,提供了深入了解的影响依赖于正则化估计的准确性。利用这个稳定性测度,我们为相依数据建立了一些有用的偏差界,这些偏差界可以用来研究时间序列中几个重要的正则化估计。
2015-07-30 math.ST stat.ME stat.TH
Asymptotic Theory for Regularized Estimation in Functional Time Series Models
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);Department of Financial and Actuarial Mathematics, Xi’an Jiaotong-Liverpool University(西交利物浦大学金融精算数学系);School of Data Science, Fudan University(复旦大学数据科学学院);Business Division, New York University Shanghai(纽约大学上海分校商学院)
针对函数自回归(FAR)模型因希尔伯特空间无限维导致的不适定性,本文提出正则化估计理论框架,引入Tikhonov正则化推导Yule-Walker型估计量,证明其一致性与渐近正态性,通过模拟和可穿戴设备数据验证有效性。
2025-11-14 stat.ME
Efficient Estimation of Approximate Factor Models via Regularized Maximum Likelihood
研究了同时存在横截面依赖和异方差的高维近似因子模型的估计问题。经典的主成分分析方法(PCA)不能有效地估计因子载荷或公共因子,因为它本质上将特质误差视为同向同性和横截面不相关的。为了有效地估计,必须估计大误差协方差阵。我们假设该模型是有条件的稀疏,并提出了两种方法来估计共同的因素和因素负荷,这两种方法都是基于最大化高斯准似然,并涉及正则化一个大的协方差稀疏矩阵。在第一种方法中,因子载荷和误差协方差是分别估计的,而在第二种方法中,它们是联合估计的。已进行了广泛的渐近分析。特别是,我们开发的两步估计的推理理论。由于所提出的方法考虑到大误差协方差阵,他们产生更有效的估计比经典的PCA方法或基于严格的因子模型的方法。
2012-09-28 stat.ME
Regularized Block Toeplitz Covariance Matrix Estimation via Kronecker Product Expansions
在这项工作中,我们考虑在低样本非高斯制度的时空协方差阵的估计。我们以Kronecker乘积分解(Tsiligkarnut et al. 2013,Greenewald et al. 2013)和对角校正(Greenewald et al.)的形式施加协方差结构,在多帧协方差阵的估计中,我们将其称为DC-KronPCA。本文扩展了(Tsiligkarnut等人)的方法。两个方向。首先,我们修改对角校正的方法(Greenewald等人)。以包括施加时间平稳性结构的块Toeplitz约束。第二,我们通过使用类似于(Chen,Hero et al. 2010)的Ledoit-Wolf型收缩正则化来改进非常低样本区域中估计的条件。为了提高对重尾分布的鲁棒性,我们修改了KronPCA,以纳入鲁棒收缩估计(Chen,Hero等人,2011)。数值模拟的结果建立在估计MSE方面的好处相比,以前的方法。最后,我们将我们的方法应用于现实世界的网络时空异常检测问题,并取得了优异的成绩。
2014-05-13 stat.ME
Principal Component Analysis When n < p: Challenges and Solutions
针对n<p高维场景下标准主成分分析因传统协方差估计不准表现不佳的问题,本研究提出四种正则化成对差分协方差估计方法,实证显示其在协方差与主成分估计上优于现有方法,还给出了真实数据应用。
2025-03-21 stat.ME stat.ML
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Regularized estimation of large-scale gene association networks using graphical Gaussian models
图形高斯模型是从微阵列数据估计(无向)基因关联网络的流行工具。当变量的数目大大超过样本的数目时,一个关键问题是偏相关矩阵的估计。由于样本协方差阵的(Moore-Penrose)逆矩阵在这种情况下会导致较差的估计,因此标准方法是不合适的,需要适当的正则化技术。在这篇文章中,我们研究了一个通用的框架,结合正则化回归方法与图形高斯模型的估计。该框架包括各种现有的方法,以及两个新的方法的基础上岭回归和自适应套索,分别。这些方法进行了广泛的比较,定性和定量的模拟研究,并通过应用到六个不同的真实数据集。此外,所有提出的算法都在R软件包“parcor”中实现,可从R存储库CRAN获得。
2009-08-30 stat.AP stat.CO stat.ME
Regularized calibrated estimation of propensity scores with model misspecification and high-dimensional data
倾向得分法广泛用于估计观察性研究的处理效应。一种流行的方法是基于逻辑斯谛回归通过极大似然然估计倾向得分,然后应用逆概率加权估计或扩展来估计处理效应。然而,一个具有挑战性的问题是,这种包括双重鲁棒方法的逆概率加权方法即使在逻辑模型如通过常规技术检查的那样看起来足够时也可能表现不佳。此外,在处理大量协变量时,适当估计倾向得分的难度越来越大。为了解决这些问题,我们研究校准估计作为替代极大似然估计拟合逻辑倾向得分模型。我们发现,与可能的模型误设定,最大限度地减少校准估计的预期校准损失涉及减少预期的似然损失和相对误差的测量,控制逆概率加权估计的均方误差。此外,我们提出了一个正则化的校准估计最小化的校准损失与Lasso惩罚。我们开发了一种新的Fisher评分下降算法计算建议的估计,并提供了一个高维分析所产生的逆概率加权估计的人口手段,利用控制校准估计的相对误差。我们提出了一个模拟研究和实证应用,以证明所提出的方法相比,极大似然和正则化的优势。
2017-10-23 stat.ME
Regularized Estimation of the Loading Matrix in Factor Models for High-Dimensional Time Series
San Diego State University(圣地亚哥州立大学)
本文提出结合稀疏因子结构和正则化技术,改进高维时间序列因子模型参数估计,提升因子可解释性,并通过仿真实验验证方法有效性。
2026-03-24 stat.ME
A Generic Path Algorithm for Regularized Statistical Estimation
正则化被广泛应用于统计学和机器学习中,以防止过拟合和对先验信息的齿轮求解。一般来说,正则化估计问题最小化损失函数和惩罚项之和。惩罚项通常由调整参数加权,并鼓励对要估计的参数进行某些约束。约束的特定选择导致流行的lasso、fused-lasso和其他广义$l_1$惩罚回归方法。虽然在这方面已经有了很多研究,但为许多不可分离的惩罚开发有效的优化方法仍然是一个挑战。在这篇文章中,我们提出了一个精确的路径求解器的基础上常微分方程(EPSODE),适用于任何凸损失函数,可以处理广义$l_1$处罚以及更复杂的正则化,如不等式约束中遇到的形状限制回归和非参数密度估计。在路径跟踪过程中,解决方案路径会遇到、退出并沿着各种约束滑动,生动地说明了拟合优度和模型简约性之间的权衡。在实践中,EPSODE可以与AIC、BIC、$C_p$或交叉验证耦合以选择最佳调谐参数。我们的应用广义$l_1$正则化广义线性模型,形状限制回归,高斯图形模型,和非参数密度估计展示了EPSODE算法的潜力。
2012-01-17 stat.CO stat.ME
Regularized Parameter Estimation in Mixed Model Trace Regression
提出混合模型迹回归MMTR,结合lasso、低秩Kronecker协方差结构与group lasso秩选择,并通过稳定EM算法估计参数,在模拟和图像数据上表现优异。
2025-03-18 stat.CO stat.ME
Model-assisted sensitivity analysis for treatment effects under unmeasured confounding via regularized calibrated estimation
考虑使用敏感性分析估计未测量混杂情况下的平均处理效应,假设满足边际敏感性模型。在人口水平上,我们提供了新的表示尖锐的人口界和双重强大的估计功能,最近来自多恩,郭和Kallus。我们还根据加权线性结果分位数回归推导出新的、宽松的种群界限。在样本水平上,我们开发了新的方法和理论,不仅获得双重稳健的点估计的放松人口界相对于误指定的倾向得分模型或结果均值回归模型,但也模型辅助的置信区间是有效的,如果正确指定的倾向得分模型,但结果分位数和均值回归模型可能被误指定。如果正确指定了结果分位数回归,则放松的总体边界减少到锐边界。对于线性结果均值回归模型,置信区间也具有双重稳健性。我们的方法涉及正则化校准估计,Lasso惩罚,但精心选择的损失函数,拟合倾向得分和结果的平均值和分位数回归模型。我们提出了一个模拟研究和实证应用的观察性研究的影响,右心导管插入术。
2022-09-23 stat.ME
Principal manifold estimation via model complexity selection
我们提出了一个框架的主要流形建模高维数据。该框架基于Sobolev空间,旨在对任何内在维度的数据进行建模。它包括主成分分析和主曲线算法作为特殊情况。我们提出了一种新的方法来选择模型的复杂性,以避免过拟合,消除离群值的影响,并提高计算速度。此外,我们提出了一种方法,用于识别内部的圆形曲线和圆柱/球形曲面。所提出的方法相比,现有的方法通过模拟和应用于估计肿瘤表面和内部的肺癌研究。
2021-03-28 stat.ME
Bayes Regularized Graphical Model Estimation in High Dimensions
在过去的十年中,贝叶斯图模型估计方法得到了很大的发展-然而,大多数现有的方法仅限于中等尺寸。我们提出了一种新的方法,适用于高维设置,通过解耦模型拟合和协方差选择。首先,基于完全图的完整模型在精度矩阵元素上的新型连续收缩先验下拟合,这在与基于Cholesky的正则化等价的情况下引起收缩,同时实现整个精度矩阵的共轭更新。随后,我们提出了一个后拟合的图形模型估计步骤,该步骤使用惩罚联合可信区域进行邻域选择顺序为每个节点。后验计算使用直接的完全吉布斯抽样进行,并且该方法可扩展到高维。所提出的方法被证明是渐近一致的估计固定$p$的图形结构时,真相是一个高斯图形模型。仿真结果表明,我们的方法相比,无论是在图形模型估计和计算效率方面的贝叶斯竞争对手。我们将我们的方法应用于癌症基因组学中的高维基因表达和microRNA数据集。
2013-08-19 stat.ME
Regularized estimation of Monge-Kantorovich quantiles for spherical data
Université de Bordeaux(波尔多大学);Institut de Mathématiques de Bordeaux et CNRS (UMR 5251)(波尔多数学研究所与法国国家科学研究中心)
本文提出了一种基于熵最优传输的正则化方法,用于球面数据的Monge-Kantorovich量估计,并引入了方向Monge-Kantorovich深度以提升方向数据的统计分析能力。
2026-02-05 stat.CO stat.ME
A Functional SVD Framework for Regularized Multivariate Functional PCA with Dual Penalization
University of Minnesota(明尼苏达大学);Persian Gulf University(波斯湾大学);Marquette University(马凯特大学)
本文提出基于函数奇异值分解的正则化多元函数主成分分析框架,通过双惩罚同时正则化主成分及得分,增强可解释性,并借助幂算法与交叉验证提升提取效果。
2026-09-15 cs.LG stat.ME stat.ML
Identification and estimation of causal effects in the presence of confounded principal strata
主要分层已成为一个流行的工具,以解决广泛的一类因果推断问题,特别是在处理不遵守和截断的死亡问题。在这些研究中,由中间变量的联合潜在值确定的主要层内的因果效应,也称为主要因果效应,通常是感兴趣的。文献中观察数据的主要因果效应分析主要依赖于治疗分配的可重复性,这要求从业者准确测量尽可能多的协变量,以便捕获所有可能的混杂来源。然而,在观察性研究中收集所有潜在的混杂因素通常是困难和昂贵的,因此可验证性假设可能是值得怀疑的。在本文中,通过利用已越来越多地用于处理不受控制的混杂的可用阴性对照,我们考虑识别和估计的因果关系时,治疗和主要分层被混淆的未观察到的变量。具体来说,我们表明,主要的因果效应可以通过调用一对负控制,都需要不直接影响结果的非参数化识别。然后,我们放松这一假设,并建立各种半参数或参数模型下的主要因果效应的识别。我们还提出了一个估计方法的主要因果效应。广泛的模拟研究表明,所提出的方法和一个真正的数据应用程序从全国青年男子纵向调查的良好性能。
2022-06-17 stat.ME
Estimation of heterogeneous principal effects under principal ignorability
School of Statistics, University of Minnesota(明尼苏达大学统计学院);Division of Biostatistics and Health Data Science, School of Public Health, University of Minnesota(明尼苏达大学公共卫生学院生物统计与健康数据科学系)
本文提出在主忽略性假设下估计异质主因果效应的方法框架,开发了多种稳健性不同的估计量,并通过实验证明其在高维情况下的性能。
2026-03-09 stat.ME stat.ML
Regularized Estimation of Piecewise Constant Gaussian Graphical Models: The Group-Fused Graphical Lasso
分段常数高斯图模型的时间演化精度矩阵编码了多变量时间序列的动态条件依赖结构。传统上,图形模型是在假设数据是从生成分布中相同提取的情况下估计的。引入稀疏性和稀疏差分诱导先验,我们放松这些假设,并提出了一种新的正则化M-估计,共同估计的图形和变点结构。由此产生的估计拥有的能力,因此有利于稀疏依赖结构和/或平滑地演变的图形结构,根据需要。此外,我们的方法扩展了目前的方法,允许估计的变化点,在系统中的多个依赖关系分组。提出了一种有效的结构估计算法。我们研究的经验恢复性能在一个合成的设置。分组变点估计的定性效果,然后证明通过应用该方法在两个现实世界的数据集。
2017-10-31 stat.CO stat.ME stat.ML
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说,我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补,但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下,我们首先建立了核岭回归插补估计的根$n$相合性,并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Data Harmonization Via Regularized Nonparametric Mixing Distribution Estimation
数据协调是在衡量共同特征的两个变量之间建立等价关系的过程。我们的问题是由痴呆症研究的动机,其中多个测试在实践中被用来测量相同的潜在认知能力,如语言或记忆。我们把这个统计问题与混合分布估计联系起来。我们介绍和研究了一个非参数的潜在特质模型,开发了一种方法,强制执行的正则化极大似然估计的唯一性,显示如何非参数的期望最大化算法将弱收敛到其最大化,并提出了一个更快的算法学习的离散近似的潜在分布。此外,我们开发的方法来评估适合的混合可能性,这是一个领域被忽视的混合分布估计问题。我们将我们的方法应用于国家阿尔茨海默氏症协调中心统一数据集,并表明我们可以使用我们的方法来转换评分测量和占测量误差。我们表明,这种方法优于痴呆症研究中常用的标准技术。完整代码可在https://github.com/SteveJWR/Data-Harmonization-Nonparametric上获得。
2021-10-12 stat.AP stat.ME
Estimation of High Dimensional Bounded Discrete Graphical Models via Regularized Generalized Score Matching
Department of Biostatistics, University of Michigan(密歇根大学生物统计系);Goizueta Business School, Emory University(埃默里大学戈伊泽塔商学院)
针对有限支撑多元离散响应,提出有界离散图模型,通过正则化广义得分匹配(BRIDGE)实现无归一化估计,结合ℓ1惩罚联合正则化,理论证明非渐近误差界与精确支撑恢复。
2026-06-26 stat.ME
Regularized Targeted Maximum Likelihood Estimation in Highly Adaptive Lasso Implied Working Models
针对HAL拟合后TMLE计算不稳定及EIC求解困难的问题,提出两种在HAL隐含工作模型内的新HAL-TMLE方法,并通过广泛模拟验证其性能。
2025-06-20 stat.ME
Nonparametric Operator-Regularized Covariance Function Estimation for Functional Data
在函数型数据分析中,协方差函数不仅是理解函数型数据基本特征的关键量,而且是许多先进的函数型数据分析方法中不可缺少的组成部分。本文利用再生核Hilbert空间中算子的谱正则化方法,构造了一类新的非参数协方差函数估计.尽管它们具有非参数性质,但协方差估计量是自动半正定的,无需任何额外的修改步骤。建立了一个非传统的表示定理,为这类协方差估计量提供了一个有限维表示,从而得到了相应的$L^2$特征分解的封闭形式表达式。迹范数正则化是特别研究,以进一步实现低秩表示,另一个理想的属性,导致降维,往往需要在先进的FDA方法。在加速邻近梯度法的基础上提出了一种有效的算法。结果表明,在固定设计和随机设计下,该估计量都具有很好的收敛速度。通过仿真研究和对交通数据集的分析,证明了迹范数正则化协方差估计器的出色的实际性能。
2017-01-23 stat.ME
Estimation of Multivariate Functional Principal Components from Sparse Functional Data
University College Dublin(都柏林大学学院)
本文提出通过最大似然估计结合改进的Gram-Schmidt正交化方法,改进传统方法以估计多元函数主成分,并通过阿尔茨海默病研究和爱尔兰奶牛数据验证其有效性。
2026-03-20 stat.CO stat.ME
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China(中国科学技术大学)
本文研究了中等维度下岭正则化稳健线性回归的迁移学习,提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正,证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
On the estimation of the number of components in multivariate functional principal component analysis
本文通过模拟研究探讨多元函数主成分分析中主成分个数的选择,发现传统方差解释阈值方法不可靠,建议谨慎使用。
2025-01-26 stat.ME stat.ML
Bayesian estimation of covariate assisted principal regression for brain functional connectivity
本文提出CAP回归的贝叶斯重新表述,通过将协方差矩阵映射至切空间利用欧几里得几何进行后验推断,在统一框架内实现参数联合估计与不确定性量化,并应用于脑功能连接性分析。
2024-08-29 stat.ME
Iterated Extended Kalman Smoother-based Variable Splitting for $L_1$-Regularized State Estimation
在本文中,我们提出了一个新的框架解决状态估计问题的额外的稀疏促进$L_1$ -正则项。我们首先制定这样的问题,线性或非线性二次误差项和一个额外的正则化,然后提出新的算法,解决线性和非线性的情况下的总和最小化。该方法是基于迭代扩展卡尔曼平滑和变量分裂技术,如交替方向乘法器(ADMM)的组合。我们提出了一个通用的算法框架变量分裂方法,其中涉及最小化的非线性二次项的迭代步骤可以有效地计算迭代平滑。由于使用了状态估计算法,该框架具有较低的迭代时间复杂度,适合于求解大规模或高维的状态估计问题。我们还提供了所提出的算法的收敛结果。实验结果表明,该方法具有良好的性能和加速性能。
2019-08-02 cs.IT math.IT stat.ME
Selecting the number of principal components: estimation of the true rank of a noisy matrix
主成分分析(PCA)是多元统计学中的一种众所周知的工具。使用PCA的一个重大挑战是组件数量的选择。为了解决这一问题,我们提出了一个基于精确分布的方法,用于假设检验和噪声矩阵中信号的置信区间的构建。假设高斯噪声,我们使用的条件分布的奇异值的Wishart矩阵和推导出精确的假设检验和置信区间的真实信号。本文基于Taylor,Loftus和Tibshirani(2013)用于测试全局null的方法:我们将其推广到测试任何数量的主成分,并导出具有更大功率的集成版本。在模拟研究中,我们发现,我们提出的方法比较以及现有的方法。
2015-05-31 stat.ME
Multiply robust estimation of causal effects under principal ignorability
因果推断不仅涉及治疗对结局的平均影响,还涉及通过感兴趣的中间变量的潜在机制。主要分层通过针对主要层内的亚组因果效应来表征这种机制,主要层由中间变量的联合潜在值定义。由于因果推断的基本问题,主要阶层本质上是潜在的,这使得识别和估计其中的亚组效应具有挑战性。一系列的研究利用了主要的可解释性假设,即潜在的主要层是平均独立的潜在结果条件下观察到的协变量。根据主要的可验证性,我们推导出各种非参数识别公式的因果关系的影响,在观察性研究中,激励估计依赖于正确的规格的不同部分的数据分布。适当地结合这些估计产生三重稳健估计的因果关系的影响,在主要阶层。这些三重稳健估计是一致的,如果两个治疗,中间变量和结果模型被正确指定,而且,他们是局部有效的,如果所有三个模型都被正确指定。我们表明,这些估计自然产生的有效的影响函数的半参数理论或模型辅助估计的调查抽样理论。我们评估不同的估计基于其有限样本的性能,通过模拟和应用它们的两个观察性研究。
2022-03-28 stat.ME
Distance Shrinkage and Euclidean Embedding via Regularized Kernel Estimation
虽然从噪声观测中恢复欧几里得距离矩阵是实践中的常见问题,但这在多大程度上可以做到这一点仍然是未知的。为了填补这一空白,我们研究了一个简单的距离矩阵估计的基础上,所谓的正则化核估计。我们表明,这样的估计可以简单地应用一个常数量的收缩所有观察到的成对距离的特点。这一事实使我们能够建立估计的风险界限,这意味着随着对象数量的增加,真实距离可以在平均意义上一致地估计。此外,这样的特征表明,一个有效的算法来计算距离矩阵估计,作为一种替代通常的二阶锥规划已知的规模以及大型问题。数值实验和可视化的Vpu蛋白质序列的多样性,从最近的HIV-1研究的应用程序进一步证明了所提出的方法的实用价值。
2014-09-17 math.ST stat.ME stat.ML
Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models
University of Notre Dame(圣母大学)
提出了一种自适应噪声增强(PANDA)方法来正则化广义线性模型(GLM)的估计和推断。PANDA迭代优化目标函数,给出噪声增强数据,直到收敛,以获得正则化模型估计。增强噪声被设计成实现各种正则化效果,包括$l_0$、桥(包括套索和脊)、弹性网、自适应套索和SCAD,以及组套索和融合脊。我们研究了噪声增强损失函数的尾界,并建立了噪声增强损失函数及其极小值分别几乎必然收敛于期望惩罚损失函数及其极小值。我们推导出正则化参数的渐近分布,在此基础上,推论可以得到与变量选择同时进行。PANDA具有集成学习行为,有助于进一步降低泛化误差。在计算上,PANDA很容易编码,利用现有的软件来实现GLM,而无需采用复杂的优化技术。我们证明了优越或类似的性能PANDA对现有的方法相同类型的正则化在模拟和真实数据。我们表明,通过PANDA的推理实现名义或接近名义的覆盖率,是更有效的流行现有的后选择程序相比。
2022-04-18 cs.LG stat.ME stat.ML
Gaussian Graphical Model Estimation with False Discovery Rate Control
研究了高维高斯图模型的估计问题。通常,现有的方法依赖于正则化技术。因此,有必要选择正则化参数。然而,在GGM估计中正则化参数和伪边缘数目之间的精确关系并不清楚。因此,不可能严格地评价它们的业绩。在本文中,我们提出了一种替代方法的多重检验程序。基于我们新的条件相关检验统计量,我们提出了GGM中条件相关的一种同时检验方法。我们的方法可以控制错误发现率(FDR)渐近。所提出的方法的数值性能表明,我们的方法工作得很好。
2013-06-05 stat.ME
Minimax estimation of Functional Principal Components from noisy discretized functional data
本文针对带噪离散化功能数据,提出双渐近框架,证明基于直方图投影的功能主成分估计达到极小极大最优收敛速率,并在模拟与基因组数据上验证。
2025-04-25 stat.ME
Regularized Bidimensional Estimation of the Hazard Rate
针对流行病学研究中个体队列与时期异质性下的风险率估计问题,提出带惩罚项的二维正则化估计方法,可实现平滑或简约化表示,经模拟验证并应用于SEER乳腺癌数据。
2020-06-12 math.ST stat.AP stat.ME
Regularized Maximum Likelihood Estimation for the Random Coefficients Model
随机系数模型$Y_i={β_0}_i+{β_1}_i {X_1}_i+{β_2}_i {X_2}_i+\ldots+{β_d}_i {X_d}_i$(其中$\mathbf{X}_i$、$Y_i$、$\mathbfβ_i$ i.i.d和$\mathbfβ_i$独立于$X_i$)通常用于捕获群体中未观察到的异质性。提出了一种估计随机系数模型联合密度分布的拟极大似然方法。该方法隐含地涉及Radon变换的反演,以重建联合分布,因此是一个逆问题。基于核方法或傅立叶逆的$\mathbfβ_i=({β_0}_i,\ldots, {β_d}_i)$联合密度的非参数估计是近年来提出的。这些方法中的大多数假定重尾设计密度$f_\mathbf{X}$。为了增加解的稳定性,我们应用正则化方法。我们分析了该方法的收敛性,而不假设重尾$f_\mathbf{X}$和说明性能的模拟和真实数据上应用该方法。为了增加稳定性的解决方案,我们应用Tikhonov型正则化方法。
2021-08-15 stat.AP stat.ME
Principal Stratification with Continuous Post-Treatment Variables: Nonparametric Identification and Semiparametric Estimation
本文针对连续治疗后变量的主分层问题,提出非参数识别与半参数估计理论,利用工作模型近似因果效应曲面并构造双重稳健估计量,填补了现有方法主要限于二值治疗后变量的空白。
2024-04-03 math.ST stat.ME stat.TH
Low-rank matrix estimation via nonconvex spectral regularized methods in errors-in-variables matrix regression
针对协变量含噪或缺失的变量含误差矩阵回归,提出基于非凸谱正则化的低秩估计统一框架,给出平稳点恢复界与多项式时间收敛保证,并通过矩阵压缩感知推论和数值实验验证性能。
2024-03-05 math.ST stat.ME stat.TH
Regularized covariance estimation from partially observed interferometric data
Politecnico di Milano(米兰理工大学);Istituto per il Rilevamento Elettromagnetico dell’Ambiente, National Research Council(环境电磁探测研究所,国家研究委员会)
针对部分观测干涉数据中系统缺失的问题,提出一种基于拉普拉斯正则化的矩阵补全方法进行非参数协方差估计,无需平稳性或各向同性假设,在模拟和实地数据中均表现优异。
2026-06-18 stat.AP stat.ME
Regularized estimation for highly multivariate spatial Gaussian random fields
Universidad Técnica Federico Santa María(费德里科Santa María技术大学);Technische Universität Berlin(柏林工业大学);Universidad de Chile(智利大学)
本文提出一种LASSO正则化框架,通过在Cholesky因子中引入稀疏性,自动识别无关变量对,减少估计误差。通过Geo化学数据集验证方法的有效性,使传统方法无法处理的空间预测成为可能。
2026-04-08 stat.CO stat.ME
Spline Estimation of Functional Principal Components via Manifold Conjugate Gradient Algorithm
函数型主成分分析已成为函数型数据分析中最重要的降维技术。基于B样条逼近,在主成分分数和观测误差均为高斯分布的强假设下,利用期望最大化(EM)和几何约束极大似然(REML)算法可以有效地估计函数主成分。当计算解时,期望最大化算法不利用底层几何流形结构,而已知REML的性能是不稳定的。在这篇文章中,我们提出了一个共轭梯度算法估计的乘积流形上的有限体积分数。该算法充分利用了整个参数空间的流形几何结构,从而提高了搜索效率和估计精度。此外,从矩阵Bregman发散的角度提供了损失函数的分布自由解释,这解释了为什么所提出的方法在一般分布设置下工作得很好。我们还表明,粗糙度惩罚可以很容易地纳入我们的算法与潜在的更好的配合。通过对一个Ia型超新星光变曲线数据集的模拟研究和分析,证明了该方法的数值性能。
2022-11-09 stat.CO stat.ME
Regularized Small Area Estimation with Graph Laplacian Benchmarking priors
University of California, Davis(加州大学戴维斯分校);George Mason University(乔治梅森大学)
该研究提出带图拉普拉斯基准先验的贝叶斯框架,用于小区域估计,通过定制MCMC算法实现后验计算,经模拟和哥伦比亚市级平均家庭规模估计验证,多视图模型表现更优。
2026-10-09 stat.CO stat.ME stat.ML