Differential Equations for Gaussian Statistical Models with Rational Maximum Likelihood Estimator
该研究建立了具有有理MLE的多元高斯统计模型与一阶非线性PDE解的一一对应,重新解读已知模型并发现新模型,还关联双有理几何的homaloidal多项式,为该类模型分类提供新思路。
2025-09-02 math.AG math.ST stat.TH
Nonparametric Score Estimators
Tsinghua University(清华大学)
估计分数,即,来自由未知分布生成的一组样本的对数密度函数的梯度是涉及灵活但棘手的密度的概率模型的推断和学习中的基本任务。基于Stein方法或分数匹配的核估计已经显示出希望,但是它们的理论性质和关系尚未完全理解。我们提供了一个统一的看法,这些估计的框架下,正规化非参数回归。它允许我们分析现有的估计和构造新的期望的性质,通过选择不同的假设空间和正则化。一个统一的收敛性分析提供了这样的估计。最后,我们提出了基于迭代正则化的分数估计,享受计算的好处,从卷曲的内核和快速收敛。
2020-06-30 cs.LG stat.ML
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明,Lasso估计,或l1-惩罚最小二乘估计,享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果,然后将这种情况扩展到一般的范数为基础的罚款,满足弱分解条件。
2012-12-10 math.ST stat.TH
Unveiling low-dimensional patterns induced by convex non-differentiable regularizers
本文研究凸不可微正则化器在线性回归中诱导的低维模式的渐近收敛性,利用Hausdorff距离证明模式收敛并给出模型模式恢复的精确极限概率,提出两步程序实现渐近恢复,并揭示Fused Lasso的聚类模式恢复缺陷及其凹化修正方法。
2025-01-02 math.ST stat.TH
Density Deconvolution with Small Berkson Errors
本文研究了小Berkson误差下的密度反褶积问题,特别是当误差方差随样本量的增大而趋于零时。已知当存在Berkson误差时,在某些情况下,可以通过简单的平均而不使用核来获得未知密度估计。然而,当Berkson误差渐近小时,情况可能并非如此。通过将前一种情况视为零带宽的核估计,我们得到了带宽的最优表达式。我们发现,密度的Berkson错误作为一个正则化,因此,核估计是不必要的,当方差的Berkson错误高于一定的阈值,这取决于在模型中的密度的形状和观察的数量。
2018-10-16 math.ST stat.TH
Observable adjustments in single-index models for regularized M-estimators
Rutgers University(罗格斯大学)
本文提出了一种基于单指数模型的正则化M-估计量的可观察调整方法,通过数据驱动的方式估计索引相关性并生成置信区间,无需解决固定点方程。
2026-02-12 math.ST stat.ML stat.TH
High-Dimensional Linear Regression via Implicit Regularization
高维线性回归的许多统计估计是M-估计,通过最小化数据依赖的平方损失函数和正则化函数形成。本文考虑了一类新的估计量,它是通过一个过参数化的离散梯度动态系统隐式定义的。我们表明,在适当的限制等距条件下,overparameterization导致隐式正则化:如果我们直接应用梯度下降的残差平方和与足够小的初始值,然后在一些适当的早期停止规则,迭代收敛到一个近稀疏率最优解,提高了显式正则化的方法。特别地,所得到的估计器不遭受由于显式惩罚而导致的额外偏差,并且当信噪比足够高时可以实现参数根n速率。我们还进行了模拟,比较我们的方法与高维线性回归显式正则化。我们的研究结果说明了在稀疏向量估计中使用隐式正则化后通过梯度下降的优势。
2022-02-12 math.ST stat.CO stat.ML
Convex Regularization for High-Dimensional Multi-Response Tensor Regression
在本文中,我们提出了一个通用的凸优化方法来解决高维多响应张量回归问题的低维结构假设。我们考虑使用凸的和弱可分解的正则化假设的基础张量位于一个未知的低维子空间。在我们的框架内,我们得到了一般的风险界的估计相当一般的协变量之间的依赖结构。我们的框架导致两个非常简单的量,张量空间中的凸集的\emph{Gaussian width}和低维张量子空间的\emph{intrinsic dimension}的上界。据我们所知,这是第一个适用于多重响应问题的通用框架。这些一般界限提供了有用的上界收敛速度的基本统计模型的利益,包括多响应回归,向量自回归模型,低秩张量模型和成对相互作用模型。此外,在许多这些设置中,我们证明了由此产生的估计是最小最大最优的。我们还提供了一个数值研究,既验证了我们的理论保证,并证明了我们的框架的广度。
2017-04-13 math.ST stat.TH
Covariance estimation in decomposable Gaussian graphical models
图模型是一种使用图表示和利用分布中先验条件独立结构的框架。在高斯情况下,这些模型与逆协方差(浓度)矩阵的稀疏性直接相关,并且允许以较低的计算复杂性改进协方差估计。我们认为浓度估计的均方误差(MSE)为目标,在一个特殊类型的模型称为分解。这种模式包括,例如,众所周知的带状结构和其他情况下遇到的实践。我们的第一个贡献是推导和分析的最小方差无偏估计(MVUE)在可分解的图形模型。我们提供了一个简单的封闭形式的MVUE的解决方案,并比较它与经典的最大似然估计(MLE)的性能和复杂性。接下来,我们将著名的Stein无偏风险估计(SURE)扩展到图形模型。使用SURE,我们证明了MVUE的MSE总是小于或等于偏置MLE的MSE,并且MVUE本身由其他方法主导。此外,我们建议使用的SURE作为一个建设性的机制,获得新的协方差估计。类似于经典的极大似然估计,我们提出的所有估计都有简单的封闭形式的解决方案,但在MSE显着减少的结果。
2009-03-06 math.ST stat.TH
A Central Limit Theorem for Regularized M-Estimators
该研究在比例维 regime 下,针对满足特定条件的正则化M估计量,证明了其线性泛函的定量中心极限定理,确定了波动尺度并给出了收敛速率。
2026-08-18 math.PR math.ST stat.TH
The cost-free nature of optimally tuning Tikhonov regularizers and other ordered smoothers
我们考虑的问题中选择最好的估计家庭的Tikhonov正则估计,或者,选择一个线性组合,这些正则化是最好的正则化家庭。我们的理论表明,如果Tikhonov正则化共享相同的惩罚矩阵不同的调整参数,基于$Q$ -聚合的凸过程实现最佳估计的均方误差,直到一个不大于$Cσ^2$的小误差项,其中$σ^2$是噪声水平和$C>0$是一个绝对常数。值得注意的是,误差项不依赖于惩罚矩阵或估计量的数量,只要它们共享相同的惩罚矩阵,即,它适用于任何调整参数的网格,而不管网格的基数有多大。这揭示了令人惊讶的“无成本”的性质,最佳调整Tikhonov正则化,在显着的对比与现有的文献聚合的估计,其中一个通常必须支付的成本$σ^2\log(M)$,其中$M$是家庭中的估计的数量。更一般地说,这个结果适用于任何有序线性平滑器族。这包括岭回归和主成分回归。结果被推广到调整Tikhonov正则化与不同的惩罚矩阵的问题。
2019-05-29 math.ST stat.ML stat.TH
The Impact of Regularization on High-dimensional Logistic Regression
California Institute of Technology(加州理工学院)
逻辑斯谛回归通常用于对二分结果进行建模。在经典的设置,其中的观察数是远远大于参数的数量,在逻辑斯谛回归的极大似然估计的性质是很好地理解。最近,苏尔和坎迪斯研究了逻辑斯谛回归在高维制度,其中的观察和参数的数量是可比的,并显示,除其他事项外,极大似然估计是有偏的。在高维区域中,底层参数向量通常是结构化的(稀疏、块稀疏、有限字母表等)。因此,本文研究正则化逻辑斯谛回归(RLR),其中将鼓励所需结构的凸正则化因子添加到对数似然函数的负值。RLR的一个优点是,它允许参数恢复,即使在(无约束)最大似然估计不存在的情况下。我们通过求解一个由六个非线性方程组成的系统,对RLR的性能进行了精确的分析,通过这个系统,任何感兴趣的性能指标(平均值、均方误差、支持恢复概率等)都可以被计算出来。可以显式计算。我们的结果概括了苏尔和坎迪斯,我们提供了一个详细的研究的情况下,$\ell_2^2$ -RLR和稀疏($\ell_1$ -正则化)逻辑斯谛回归。在这两种情况下,我们获得了各种性能指标的显式表达式,并可以找到优化所需性能的正则化参数的值。通过大量的数值模拟,在一系列的参数值和问题的情况下,该理论进行了验证。
2019-11-13 cs.IT cs.LG math.IT
Tractable Evaluation of Stein's Unbiased Risk Estimate with Convex Regularizers
针对带凸正则项的估计器中Stein无偏风险估计现有通用方法无法适配大规模问题的局限,提出可处理宽类估计器且适用于大规模问题的SURE评估方法。
2023-10-05 math.OC math.ST stat.CO
De-biasing convex regularized estimators and interval estimation in linear models
对于形式为$ξ=bz^\top f(z) - \text{div} f(z)$的随机变量,给出了$ξ/\text{Var}[ξ]^{1/2}$与$z\sim N(0,I_n)$的线性和二次函数之间的$L_2$距离的新上界.当$f(z)$的范数平方在期望上优于$\nabla f(z)$的Frobenius范数平方时,线性逼近得到一个中心极限定理.在$p/n \le γ$系统中,对于常数$γ\in(0,{\infty})$,给出了这种正态逼近在相关设计和凸罚下线性回归去偏估计的渐近正态性.对于未知系数向量$β$的线性函数$\langle a_0,β\rangle$的估计,该分析导致对于大多数归一化方向$a_0$的去偏估计的渐近正态性,其中“大多数”在精确意义上被量化。这个渐近正态性对于任何凸罚如果$γ<1$和任何强凸罚如果$γ\ge 1$成立。特别地,惩罚不需要是可分离的或置换不变的。通过允许任意正则化,结果大大拓宽了去偏方法的适用范围,以获得高维度的置信区间。在$p>n$不存在强凸性的情况下,在附加条件下,得到了Lasso和Lasso群的去偏估计的渐近正态性。对于一般的凸处罚,我们的分析还提供了独立的利益预测和估计误差界。
2021-09-28 math.ST stat.TH
Precise Error Analysis of Regularized M-estimators in High-dimensions
用于从有噪声的线性测量估计未知信号的流行方法是通过求解所谓的\emph{regularized M-estimator},其最小化凸损失函数和凸(典型地,非平滑)正则化器的加权组合。我们准确地预测在高维比例制度,这样的估计的平方误差性能。假设随机测量矩阵具有Iid高斯项,仅对损失函数、正则化器以及噪声和信号分布施加最小且相当温和的正则性条件。我们发现,误差收敛概率的非平凡的限制,这是一个极大极小凸凹优化问题的解决方案,四个标量优化变量。我们确定了一个新的汇总参数,称为预期莫罗包络发挥核心作用的错误表征。结果的\emph{precise}性质允许在正则化M估计器的不同实例之间进行准确的性能比较,并允许最佳地调整所涉及的参数(例如正则化器参数、测量次数)。我们证明的关键成分是\emph{Convex Gaussian Min-max Theorem}(CGMT),这是一个严格的和加强版本的经典高斯比较不等式,证明了戈登在1988年。
2016-01-23 cs.IT math.IT math.ST
Weak pattern convergence for SLOPE and its robust versions
本文为SLOPE在最小二乘、Huber和Quantile损失下推导渐近分布,借助Hausdorff距离建立聚类模式的弱收敛理论,并控制渐近正交设计下的错误发现率,同时将框架推广到更广泛的正则化器。
2023-04-14 math.ST stat.TH
Optimal prediction for sparse linear models? Lower bounds for coordinate-separable M-estimators
对于高维稀疏线性回归问题,已知基于$\ell_0$的估计器可以在没有设计矩阵上的任何条件的情况下实现预测误差的$1/n$“快”速率,而在没有设计矩阵上的限制性条件的情况下,流行的多项式时间方法仅保证$1/\sqrt{n}$“慢”速率。在本文中,我们证明了慢速率是一个广泛的M-估计类的内在。特别地,对于基于最小化最小二乘费用函数以及(可能非凸的)坐标方向可分离正则化器的估计器,总是存在“坏的”局部最优值,使得相关联的预测误差由$1/\sqrt{n}$的恒定倍数下界。对于凸正则化子,这个下界适用于所有全局最优解。该理论适用于许多流行的估计,包括凸$\ell_1$为基础的方法,以及M-估计的基础上非凸正则化,包括SCAD惩罚或MCP正则化。此外,对于广泛的一类非凸正则化,我们表明,坏的局部最优解是非常常见的,在广泛的一类随机初始化的局部最小化算法通常会收敛到一个坏的解决方案。
2015-11-30 math.ST stat.ML stat.TH
Sparse recovery via nonconvex regularized $M$-estimators over $\ell_q$-balls
本文在真参数为软稀疏的假设下,分析了非凸正则化$M$ -估计的恢复性质。在统计方面,我们分别在损失函数和正则化子的强凸性和正则性条件下,建立了正则化$M$ -估计的恢复界.在算法方面,我们将目标函数进行了轻微的分解,然后利用近似梯度法求解非凸最优化问题,并证明了该方法具有线性收敛速率。特别是,我们注意到,对于常用的正则化器,如SCAD和MCP,由于我们对正则化器的假设,可以使用更简单的分解,这有助于构建具有更好恢复性能的估计器。最后,我们证明了我们的理论结果和假设的优势,通过几个数值实验上损坏的变量误差线性回归模型。在高维尺度下,模拟结果与我们的理论有很好的一致性。
2019-11-19 math.ST stat.ME stat.TH
High-Dimensional Model Averaging via Cross-Validation
本文提出交叉验证驱动的高维模型平均方法,结合一般损失与正则化,证明错误设定下的最优性、正确模型下的近 oracle 速率,并给出去偏推断与 FGMA 快速算法。
2025-06-10 math.ST stat.TH
Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination
Department of Computer Science and Engineering(计算机科学与工程系)
本文针对 lasso 和 group lasso 等稀疏正则化线性回归模型,推导了经验贝叶斯估计量,证明估计量在特定条件下发散从而触发自动相关性确定(ARD)机制,并系统阐明了 ridge、lasso 和 group lasso 产生 ARD 的条件。
2025-07-02 cs.IT cs.LG math.IT
Regularization and Selection in A Directed Network Model with Nodal Homophily and Nodal Effects
本文提出一种包含节点同质性与节点效应的有向随机网络模型,并设计了基于自适应 LASSO 的正则化最大似然估计量与网络贝叶斯信息准则,实现了大规模网络下具备 oracle 性质的一致特征选择。
2025-04-06 stat.ME
A Donsker Theorem for Lévy Measures
给定Lévy过程$(L_t,\,t\ge 0)$的$n$等距实现,构造了Lévy测度的分布函数$N$的自然估计量$\hat N_n$.在特征函数$ϕ$的多项式衰减约束下,证明了过程$\sqrt n (\hat N_n -N)$在远离零的有界函数空间中的一个Donsker型定理,即泛函中心极限定理.极限分布是一个广义布朗桥过程与有界和连续的样本路径,其协方差结构取决于傅里叶积分算子${\cal F}^{-1}[1/ϕ(-\cdot)]$。所涵盖的Lévy过程类包括几个相关的例子,如复合泊松,伽玛和自分解过程。证明的主要思想包括建立傅里叶积分算子的伪局部性和最近的平滑经验过程技术。
2012-08-14 math.FA math.PR math.ST
Sharp Oracle Inequalities for Square Root Regularization
研究了高维线性回归模型的一组正则化方法。这些惩罚估计以残差平方和的平方根作为损失函数,以任何弱可分解范数作为罚函数。选择该拟合度量是因为其估计量不依赖于噪声的未知标准差的特性。另一方面,广义弱可分解范数罚函数在处理不同的稀疏结构时非常有用。我们可以根据我们想要如何解释未知参数向量$β$来选择不同的稀疏性诱导范数。Micchelli等人[18]中定义的结构稀疏范数是弱可分解范数的特殊情况,因此我们还包括平方根LASSO(Belloni等人[3]),群平方根LASSO(Bunea等人[10])和一种称为平方根SLOPE的新方法(与Bogdan等人[6]的SLOPE类似)。对于这个集合的估计,我们的结果提供了尖锐的甲骨文不等式与Karush-Kuhn-Tucker条件。我们讨论一些估计的例子。基于仿真,我们说明了平方根斜率的一些优点。
2016-06-27 math.ST stat.TH
Change Point Detection in Precision Matrices with D-trace Loss
The University of Hong Kong(香港大学);Keio University(庆应义塾大学);RIKEN(理化学研究所);OIST (MLDS unit)(冲绳科学技术大学院大学(机器学习与数据科学单元));The Hong Kong Polytechnic University(香港理工大学);The University of Tokyo(东京大学);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
针对分段常数稀疏精度矩阵的变点检测问题,提出基于D-trace损失和组融合LASSO惩罚的估计方法,给出变点一致性和稀疏估计条件,并引入修正正则化器保证解的存在性,用ADMM算法求解。
2026-06-23 math.ST stat.TH
Error Bounds for Statistical Estimators in BTL Model with Parametric Multivariate Utility Functions
The Chinese University of Hong Kong(香港中文大学)
本文研究BTL模型下偏好诱导中未知参数向量的估计,推导了无约束MLE的有限样本误差界,揭示了Fisher信息几何决定估计难度,并给出达到极小极大速率的充分条件,为参数化效用诱导提供统一非渐近理论。
2026-09-23 cs.LG stat.ML
Calibration of self-decomposable Lévy models
研究了具有无穷跳活动的指数Lévy模型的非参数校正问题。特别是我们的分析适用于自分解的过程,其跳跃密度的特点是由$k$ -功能,这是典型的非光滑在零。一方面估计漂移的活动措施$α:=k(0+)+k(0-)$和类似的参数的衍生物的$k$ -函数被认为是另一方面,我们估计非参数的$k$ -函数。最小最大收敛速度。由于利率依赖于$α$,我们构造估计适应这个未知的参数。我们的估计方法是基于观察到的期权价格的谱表示和通过切断高频的正则化。最后,该程序被应用到模拟和实际数据。
2014-02-04 math.ST stat.TH
Precise Asymptotics of Bagging Regularized M-estimators
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Department of Statistics and Data Science, University of Texas, Austin(德克萨斯大学奥斯汀分校统计与数据科学系);Institute of Data Science, University of Hong Kong(香港大学数据科学研究所);Department of Statistics, Stanford University(斯坦福大学统计学系);Department of Statistics, Rutgers University(罗格斯大学统计学系)
本文研究subagging正则化M估计量的平方预测风险,在比例渐近下给出精确刻画与一致风险估计,并揭示子样本、集成规模及正则化联合优化的收益。
2025-09-27 math.ST stat.ML stat.TH
TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
Penn State Univ.(宾夕法尼亚州立大学);Xiamen Univ.(厦门大学)
本文提出TransFusion方法,通过新颖的融合正则化器在高维回归中实现协变量偏移鲁棒的迁移学习,并给出非渐近误差界、极小极大最优条件及分布式扩展,仅需一轮通信即可保持集中式估计速率。
2024-04-01 cs.DC cs.LG math.ST
Perspective Maximum Likelihood-Type Estimation via Proximal Decomposition
我们介绍了一个最优化模型的最大似然型估计(M-估计),推广了一大类现有的统计模型,包括Huber的伴随M-估计,欧文的Huber/Berhu伴随估计,缩放套索,支持向量机回归,和惩罚估计结构稀疏。该模型被称为透视M-估计,利用观察到的凸M-估计伴随规模以及各种正则化的透视功能的实例。这样的功能是服从邻近分析,这导致原则和可证明收敛的优化算法通过邻近分裂。使用基于对偶的几何方法,我们得到新的邻近算子的几个感兴趣的透视函数。合成和真实世界的数据的数值实验说明了所提出的框架的广泛适用性。
2018-10-05 math.ST stat.TH
Flexible covariance estimation in graphical Gaussian models
本文提出了图高斯模型Markov关于可分解图$G$的协方差阵的一类Bayes估计。使用Letac和Massam定义的$W_{P_G}$系列[Ann. Statist. 35(2007)1278--1323]我们推导出熵和平方误差损失下贝叶斯估计的封闭形式表达式。$W_{P_G}$族包括超逆Wishart的经典逆,但具有更多的形状参数,从而允许在差分收缩协方差阵的各个部分方面的灵活性。此外,使用这个家庭避免求助于MCMC,往往是不可行的高维问题。我们通过一系列数值例子来说明我们的估计器的性能,在这些例子中,我们探索了频率论风险属性和高维协方差结构估计中图形的功效。
2009-01-21 math.ST stat.TH
The Conjugate Domain Dichotomy: Exact Risk of M-Estimators under Infinite-Variance Noise in High Dimensions
University of Piraeus(比雷埃夫斯大学)
本文研究了在比例渐近 regime 下,噪声具有无限方差时高维 M 估计的性质。通过分析损失函数的共轭域有界性,揭示了估计器的风险行为,区分了 Huber、绝对值和分位数损失等有界共轭域情况与平方损失无界共轭域情况下的不同表现。
2026-03-30 math.ST stat.ME stat.ML
Statistical Guarantees for Regularized Neural Networks
Ruhr-University Bochum(波鸿鲁尔大学)
神经网络已经成为数据分析的标准工具,但它们缺乏全面的数学理论。例如,从数据中学习神经网络的统计保证非常少,特别是对于在实践中使用或至少类似于此类的估计器的类别。在本文中,我们开发了一个一般的统计保证估计,包括一个最小二乘项和正则化。然后,我们用$\ell_1$ -正则化来证明这一保证,表明相应的预测误差在层的数量上最多以次线性方式增加,在参数的总数上最多以几何方式增加。我们的研究结果为神经网络的正则化估计建立了数学基础,它们加深了我们对神经网络和深度学习的数学理解。
2020-11-11 cs.LG cs.NE math.ST
First order expansion of convex regularized estimators
考虑随机设计下高维回归问题中凸惩罚估计的一阶展开。我们的设置包括线性回归和逻辑斯谛回归作为特殊情况。对于给定的罚函数$h$和相应的惩罚估计量$\hatβ$,我们构造一个量$η$,$\hatβ$的一阶展开,使得$\hatβ$和$η$之间的距离比估计误差$\|\hatβ - β^*\|$小一个数量级。在这个意义上,一阶展开$η$可以被认为是从数理统计文献到高维正则化估计的影响函数的推广。这种一阶展开意味着$\hatβ$的风险与$η$的风险渐近相同,这导致$\hatβ$的MSE的精确表征;该表征对于各向同性设计采用特别简单的形式。这种一阶展开也导致基于$\hatβ$的推断结果。我们提供了充分条件存在这样的一阶展开的三个正则化:在其约束形式的套索,套索在其惩罚形式,和组套索。这些结果在一定条件下适用于一般的损失函数,并且这些条件对于线性回归中的平方损失和Logistic模型中的Logistic损失都是满足的。
2020-03-08 math.ST stat.ML stat.TH
Hierarchical Bayesian Inverse Problems: A High-Dimensional Statistics Viewpoint
本文从高维统计视角分析分层贝叶斯逆问题,利用正则化器的近似可分性获得最大后验估计重建误差的非渐近界,并解释了利用稀疏性的模型在高维环境下的准确重建机制。
2024-01-05 cs.NA math.NA math.ST
Graph-Guided Banding of the Covariance Matrix
正则化已成为一个主要的工具,发展可靠的估计的协方差阵在高维设置。为了抑制维数灾难,许多方法假设总体协方差(或逆协方差)矩阵是稀疏的,而对所需的稀疏模式没有特别的结构假设。一个高度相关的,但互补的,文献研究的具体设置中,测量的变量有一个已知的顺序,在这种情况下,带状人口矩阵往往是假设。虽然带状方法在概念上和计算上比要求“无模式稀疏性”更容易,但它只适用于非常特定的情况(例如当数据随时间或一维空间测量时)。这项工作提出了一个概括的带状的概念,大大扩大了带状估计适用的问题的范围。我们开发凸正则化占据广泛的中间地带之间的前一种方法的“无模式稀疏性”和后者依赖于有一个已知的顺序。我们的框架定义带状相对于一个已知的图形上的测量变量。这样的图是在不同的情况下,我们提供了一个理论,计算和应用治疗两个新的估计。一个名为ggb的R包实现了这些新方法。
2018-02-15 math.ST stat.CO stat.ME
Finite sample rates of convergence for the Bigraphical and Tensor graphical Lasso estimators
University of California, Riverside(加州大学河滨分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文改进了Bigraphical和TeraLasso估计量的收敛速率,解决了两种方式模型中有限样本误差的理论保证问题。
2025-12-20 math.ST stat.TH
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了一族正则化的基于分数的估计器,用于学习多维正态分布的有向无环图(DAG)的结构,并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化,而无需假设先验知识的变量排序。这些结果适用于各种实际情况,允许任意的非退化协方差结构以及许多流行的正则化,包括MCP,SCAD,$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型,这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题,建立统一的控制超指数家庭的邻里与高斯分布。然后,我们应用这些结果来研究基于分数的DAG估计的统计特性,学习因果DAG,并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
Existence of solutions to the nonlinear equations characterizing the precise error of M-estimators
本文利用无限维Hilbert空间中的凸优化方法,证明了高维线性回归中正则化M-估计器误差刻画方程组解的存在性与唯一性,且条件达到最优相变界。
2024-10-13 math.ST stat.TH
An equivalence between high dimensional Bayes optimal inference and M-estimation
当从噪声测量中恢复未知信号时,执行最优贝叶斯MMSE(最小均方误差)推断的计算困难通常需要使用最大后验(MAP)推断(正则化M估计的特殊情况)作为替代。然而,MAP是次优的高维,当未知信号分量的数量是类似的测量的数量。在这项工作中,我们证明,当信号分布和与噪声相关的似然函数都是对数凹的,最佳MMSE性能是渐近实现通过另一个M-估计过程。这个过程涉及最小化凸损失和正则化函数,这些函数是广泛应用的MAP优化问题的非线性平滑版本。我们的研究结果提供了一个新的启发式推导和解释最近发现的最佳M-估计在设置的线性测量和加性噪声,并进一步扩展这些结果的非线性测量与非加性噪声。我们在数值上证明了我们的最佳M-估计相对于MAP的优越性能。总体而言,在我们的工作的核心是一个显着的等价性之间的启示两个看似非常不同的计算问题:即高维贝叶斯集成的MMSE推理,和高维凸优化的M-估计。在本质上,我们表明,前困难的积分可以通过解决后者,更简单的优化问题计算。
2016-09-22 cond-mat.dis-nn math.ST q-bio.NC
Observable asymptotics of regularized Cox regression models with standard Gaussian designs: a statistical mechanics approach
本文针对标准高斯设计下的正则化Cox回归模型,提出COX-AMP算法,并利用副本方法推导RS方程,实现仅从数据估计序参量、信号噪声及泛化误差,无需已知数据生成过程。
2025-02-06 cond-mat.dis-nn math.ST stat.TH
Reviving pseudo-inverses: Asymptotic properties of large dimensional Moore-Penrose and Ridge-type inverses with applications
Delft University of Technology(代尔夫特理工大学)
本文研究了大规模维度下Moore-Penrose和岭型逆的渐近性质,提出了一种通用方法用于构建改进的收缩估计器,适用于精度矩阵和投资组合权重等应用。
2025-11-24 math.PR math.ST stat.ME
Exponential Series Approaches for Nonparametric Graphical Models
本文研究高维连续值两两马尔可夫随机场。我们特别感兴趣的是近似成对密度的对数属于一个索伯列夫空间。对于这个问题,我们提出了指数级数的方法[Crain,1974; Barron and Sheu,1991],它用一个有限维指数族来近似对数密度,其充分统计量的数目随着样本量的增加而增加。我们考虑两种方法来估计这些模型。第一种是正则化最大似然法。这涉及优化数据的对数似然和稀疏诱导正则化器的总和。我们为这种方法提供了一致性和边缘选择保证。然后,我们提出了一个变分近似的可能性的基础上树重新加权,非参数消息传递。然后,我们考虑使用正则化分数匹配的估计。该方法使用对数似然的替代评分规则,这避免了计算分布的归一化常数的需要。对于一般的连续值指数族,我们提供参数和边缘的一致性结果。然后,我们描述的非参数成对模型中使用指数序列的模型选择的结果。正则化得分匹配问题被证明是凸规划;我们提供了基于乘法器的共识交替方向法(ADMM,[Boyd等人,[2011]和坐标下降。我们比较我们的方法在文献中的其他人,以及上述TRW估计使用模拟数据。
2015-06-11 math.ST stat.TH