Adaptive Estimation and Statistical Inference for High-Dimensional Graph-Based Linear Models
我们考虑了高维图基线性模型的自适应估计和统计推断。在我们的模型中,回归系数的坐标对应于底层的无向图。此外,给定的图控制回归向量的分段多项式结构。在自适应估计部分,我们应用基于图的正则化技术,并提出了一个家庭的局部自适应估计称为Graph-Piecewise-Polynomial-Lasso。我们进一步研究了图分段多项式套索的一步更新问题的统计推断。我们发展了相应的理论,包括固定设计和亚高斯随机设计。最后,我们通过大量的模拟研究说明了我们的方法的优越性能,并以拟南芥微阵列数据集的应用作为结论。
2020-01-29 math.ST stat.ME stat.TH
High dimensional statistical inference: theoretical development to data analytics
这篇文章将出现在阿姆斯特丹Elsevier/North-Holland编辑的《统计手册》第43卷中。R. Srinivasa Rao和C. R.娆在现代分析中,越来越需要开发统计模型来研究高维数据。在降维方法、渐近驱动方法和基于随机投影的方法之间,目前已经发展了几种方法。对于高维参数模型,均值和协方差阵的估计和假设检验已得到广泛的研究。然而,这些方法的实际实施是相当有限的,主要限于参与高维推理的研究人员。随着基因组学,宏基因组学和社交网络等多个应用领域的发展,高维推理是大数据分析的关键组成部分。在本章中,提供了高维推理及其在数据分析中的应用的全面概述。介绍了关键的理论发展和计算工具,让读者深入了解大数据分析中的挑战。
2019-08-19 math.ST stat.ME stat.TH
High Dimensional Statistical Inference and Random Matrices
多变量统计分析涉及对几个变量的观察,这些变量被认为具有某种程度的相互依赖性。在遗传学和社会科学问题的推动下,它在上个世纪上半叶首次开花。随后,随机矩阵理论(RMT)发展起来,最初在物理学中,最近在数学中广泛应用。虽然RMT的一些中心研究对象与多元统计学的研究对象相同,但统计理论在利用这种联系方面进展缓慢。然而,随着大量数据的收集越来越普遍,数据集现在通常具有与观察到的个体数量一样多或更多的变量。在这种情况下,RMT的技术和结果有很多提供多元统计。本文回顾了迄今为止取得的一些进展。
2006-11-19 math.PR math.ST stat.TH
Statistical Inference for Ultrahigh Dimensional Location Parameter Based on Spatial Median
受机器学习中广泛使用的几何中位均值估计的启发,研究了一般多元模型下基于样本空间中位数的多维位置参数的统计推断,包括同时置信区间构造、全局检验和带错误发现率控制的多重检验.为了实现这些目标,我们推导出一种新的Bahadur表示的样本空间中位数的最大范数约束的剩余项,并建立高斯近似的样本空间中位数类的超矩形。此外,提出了一种乘子自举算法来近似样本空间中值的分布。当维数以样本量的指数速率发散时,近似是有效的,这便于在三维区域中应用空间中值。所提出的方法进一步说明了从微阵列研究的基因组数据集的模拟和分析。
2023-01-09 math.ST stat.ME stat.TH
Projection based dimensionality reduction for measure valued evolution equations in statistical manifolds
本文提出了一种对无限维测度值发展方程(如Fokker-Planck偏微分方程或Kushner-Stratonovich方程)进行降维的方法. Duncan-Mortensen-Zakai非线性滤波的随机偏微分方程,在信号处理、定量金融、热流和量子理论等许多领域具有潜在的应用。我们的方法是基于投影来自一个对偶参数建立在指数统计流形结构G。Pistone和其他作者。选择的有限维流形上的一个应该项目的无限维方程是至关重要的,我们提出了有限维指数和混合家庭。D. Brigo和合著者,但$L^2$结构的空间上的平方根的密度或密度本身被使用,没有采取无限维流形环境空间的方程被投影。在这里,我们重新审视这样的作品从指数统计流形的角度来看,这使得更深层次的几何理解的流形结构在发挥作用。我们还表明,在指数流形结构的投影是一致的Fisher Rao度量,在有限维指数家庭的情况下,与假设的密度近似。进一步,我们证明了如果有限维指数族的充分统计量是在后向扩散算子的本征函数中选取的,那么投影流形或Fisher-Rao投影提供了Fokker-Planck方程解的极大似然估计.最后,我们试图澄清如何有限维和无限维术语指数和混合空间。
2016-10-26 math.PR math.ST stat.TH
Statistical Inference in High-dimensional Poisson Regression with Applications to Mediation Analysis
本文研究高维稀疏 Poisson 回归的统计推断,提出回归向量线性与二次变换的偏差校正估计量、置信区间和检验方法,并用于计数结果的高维中介分析。
2024-10-28 math.ST stat.ME stat.TH
On Statistical Inference for High-Dimensional Binary Time Series
University of California San Diego(加利福尼亚大学圣地亚哥分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出了一种用于高维二元时间序列的后选择估计器及二阶野 Bootstrap 算法,以实现对系数矩阵的统计推断,并验证了其良好的有限样本性能。
2025-12-02 math.ST stat.AP stat.ME
Large Dimensional Independent Component Analysis: Statistical Optimality and Computational Tractability
本文研究了独立成分分析(ICA)的统计最优性与计算约束,证明了基于样本峰度的方法为次优,并开发了同时达到最优样本复杂度与极小化极大最优收敛速度的计算可处理估计量。
2023-03-31 math.ST stat.ME stat.ML
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言,在高维逻辑斯谛回归模型下,我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法,并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度,并在较弱的条件下证明了它们的渐近正态性。此外,我们构造了这些参数的置信区间和统计检验,并提供了理论依据的方法,包括覆盖概率和预期长度的置信区间,以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究,以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集,我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
Statistical inference for Levy-driven graph supOU processes: From short- to long-memory in high-dimensional time series
Imperial College London(帝国理工学院)
本文提出了一种图驱动的 supOU 过程模型,用于高维时间序列中短程与长程依赖性的统一建模,并通过模拟和实证研究验证了其估计方法的有效性。
2026-03-04 math.ST stat.AP stat.ME
High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality
我们提供了一个一般理论的期望最大化(EM)算法推断高维潜变量模型。特别是,我们做了两个贡献:(i)对于参数估计,我们提出了一种新的高维期望最大化算法,自然地将稀疏结构的参数估计。通过适当的初始化,该算法以几何速度收敛,并获得具有(近)最优统计收敛速度的估计器。(ii)基于所得到的估计量,我们提出了新的推断过程,用于检验假设和构造高维参数的低维分量的置信区间。对于一个广泛的家庭的统计模型,我们的框架建立了第一个计算上可行的方法,在高维的最佳估计和渐近推断。我们的理论得到了全面的数值结果的支持。
2015-01-27 stat.ML
SIHR: Statistical Inference in High-Dimensional Linear and Logistic Regression Models
本研究推出用于高维广义线性模型统计推断的R包SIHR,支持单/两样本场景下低维目标的置信区间构建与假设检验,通过数值示例和真实数据应用验证了其性能与实用性。
2023-05-02 stat.CO stat.ME stat.OT
Statistical inference for high dimensional regression via Constrained Lasso
在本文中,我们提出了一种新的方法来估计和构造置信区间的低维组件在一个高维模型。建议的估计,约束拉索(CLasso)估计,是通过同时求解两个估计方程-一个施加零偏约束的低维参数和其他形成一个$\ell_1$惩罚过程的高维滋扰参数。通过仔细选择零偏约束,得到的估计的低维参数,承认一个渐近正常的限制,达到Cramér-Rao下界在半参数意义下。我们提出了一个无调谐的迭代算法实现的CLasso。我们证明,当该算法在Lasso估计器处初始化时,van de Geer等人提出的去稀疏估计器[ \emph{Ann. Statist.} { \bf 42}(2014)1166--1202]渐进等效于该算法的第一次迭代。我们分析了CLasso估计的渐近性质,并证明了算法的全局线性收敛性。我们还通过数值研究证明了令人鼓舞的经验表现的CLAasso。
2017-04-17 math.ST stat.CO stat.ME
Valid and Exact Statistical Inference for Multi-dimensional Multiple Change-Points by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(日本理化学研究所)
本文研究了多维序列中变点的统计推断。在从多维序列的CP检测中,通常期望不仅检测位置,而且识别其中发生变化的分量的子集。已经提出了几种算法,这样的问题,但没有有效的精确推理方法已被建立,以评估检测到的位置和组件的统计可靠性。在这项研究中,我们提出了一种方法,可以保证检测到的变化的位置和组件的统计可靠性。我们证明了所提出的方法的有效性,将其应用到基因组异常识别和人类行为分析的问题。
2021-10-18 cs.LG stat.ML
Statistical divergences in high-dimensional hypothesis testing and a modern technique for estimating them
本文提出利用统计散度量化高维数据总体分布与竞争模型的差异,并借助现代函数优化技术仅凭双分布样本估计散度,从而构建无需似然函数的双样本假设检验方法。
2024-08-01 hep-ex hep-ph math.ST
Constrained High Dimensional Statistical Inference
在典型的高维统计推断问题中,假设感兴趣的参数是无约束的,对模型参数的低维子集进行置信区间和假设检验。然而,在许多问题中,模型参数存在自然约束,人们感兴趣的是参数是否在约束的边界上。例如网络扩散中传输速率的非负约束。在本文中,我们提供的算法来解决这个问题的假设检验在高维统计模型在约束参数空间。我们表明,按照我们的测试程序,我们能够得到渐近设计的第一类错误下的零。数值实验表明,我们的算法有更大的权力比标准算法的约束条件被忽略。我们证明了我们的算法的有效性,在两个真实的数据集,我们有{ \emph{intrinsic} }约束的参数。
2019-11-17 stat.ME
BOLT-SSI: A Statistical Approach to Screening Interaction Effects for Ultra-High Dimensional Data
在各种应用中,检测预测因子对响应变量的交互作用是至关重要的一步。在本文中,我们首先提出了一个简单的方法,确保筛选相互作用(SSI)。尽管其计算复杂度为$O(p^2n)$,但SSI对于中等维度的问题(例如,$p=10^3\sim10^4$),没有遗传假设。到超高维问题(例如,$p = 10^6$)的基础上,基于离散化相关的布尔表示和运算以及离散变量列联表,提出了一种快速算法BOLT-SSI。建立了SSI和BOLT-SSI的统计理论,保证了其可靠的筛选性能。SSI和BOLT-SSI的性能进行了全面的模拟和真实的案例研究。数值结果表明,SSI和BOLT-SSI往往可以优于他们的竞争对手在计算效率和统计精度。所提出的方法可以应用于完全检测与超过30万个预测因子的相互作用。基于这项研究,我们认为有必要重新思考统计准确性和计算效率之间的关系。我们已经表明,统计方法的计算性能往往可以大大提高,通过探索计算架构的优势与可容忍的统计精度损失。
2020-12-15 stat.ME
Statistical Inference for Linear Mediation Models with High-dimensional Mediators and Application to Studying Stock Reaction to COVID-19 Pandemic
中介分析在基因组学、流行病学和金融等许多科学领域引起越来越多的关注。在本文中,我们提出了新的统计推断程序的高维中介模型,其中的结果模型和中介模型是线性的高维中介。由于中介子的高维性,传统的中介分析程序无法对高维线性中介模型进行统计推断。我们提出了一个估计程序的间接影响的模型,通过部分惩罚最小二乘法,并进一步建立其理论性质。我们进一步发展了间接效应的部分惩罚Wald检验,并证明了所提出的检验具有$χ^2$极限零分布。我们还提出了一个$F$型测试的直接影响,并表明,该测试渐近遵循$χ^2$分布下的原假设和非中心$χ^2$分布下的本地替代品。蒙特卡罗模拟进行检查有限样本性能的建议的测试,并比较其性能与现有的。我们进一步应用新提出的统计推断程序,通过实证分析研究连接公司部门和股票回报的财务指标的中介作用,研究股票对COVID-19大流行的反应。
2021-08-27 stat.ME
Statistical Inference for High-Dimensional Vector Autoregression with Measurement Error
具有测量误差的高维向量自回归在各种科学和商业应用中经常遇到。本文研究了该模型下转移矩阵的统计推断。虽然已经有大量的文献研究稀疏估计的转移矩阵,有一个推理解决方案,特别是在高维的情况下,缺乏。我们开发的推理程序的过渡矩阵的全球和同时测试。我们首先提出了一种新的稀疏期望最大化算法来估计模型参数,并详细地描述了它们的估计精度。然后,我们构造一个高斯矩阵,经过适当的偏差和方差校正,从中我们得到的检验统计量。最后,我们开发的测试程序,并建立其渐近保证。我们通过密集的模拟来研究我们的测试的有限样本性能,并以大脑连接分析为例进行说明。
2020-09-17 stat.AP stat.CO stat.ME
Statistical Inference for Networks of High-Dimensional Point Processes
在神经科学的最新应用的推动下,多变量霍克斯过程已经成为一种流行的工具,用于建模高维点过程数据之间的相互作用网络。虽然评估网络估计的不确定性在科学应用中至关重要,但现有的方法和理论工作主要是解决估计问题。为了弥补这一差距,本文提出了一种新的统计推断程序的高维Hawkes过程。这个推理过程的关键成分是一个新的集中不等式的第一和第二顺序统计量的综合随机过程,总结了整个历史的过程。结合鞅中心极限理论的最新结果和新的集中不等式,我们刻画了检验统计量的收敛速度。我们说明有限样本的有效性,我们的推理工具,通过广泛的模拟和证明他们的效用,将其应用到神经元尖峰训练数据集。
2020-07-15 cs.LG stat.ML
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学);RIKEN AIP(日本理化学研究所AIP)
针对高维回归迁移学习中缺乏统计显著性量化方法的问题,本文提出了PTL-SI框架,通过提供有效p值严格控制假阳性率,并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks
Georgia Tech(佐治亚理工学院)
生成对抗网络(GANs)在无监督学习中取得了巨大的成功。尽管其显著的经验性能,有有限的理论研究的统计特性的GANs。本文提供了GANs的近似和统计保证,用于估计在Hölder空间中具有密度的数据分布。我们的主要结果表明,如果正确选择生成器和神经网络架构,GANs是强差异度量(如Wasserstein-1距离)下数据分布的一致估计器。此外,当数据分布呈现低维结构时,我们表明GANs能够捕获数据中未知的低维结构,并具有快速的统计收敛性,这是免费的环境维数灾难。我们对低维数据的分析建立在具有Lipschitz连续性保证的神经网络的通用近似理论之上,这可能是独立的兴趣。
2022-07-21 cs.LG stat.ML
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive(CSL)框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代,可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计,CSL可证明地改进了朴素平均方案,并有利于置信区间的构建。对于高维正则化估计,CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断,CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率,即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法,高维高斯copula回归,实现相同的性能,而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计,提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究,所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现,并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
An Information Geometric Framework for Dimensionality Reduction
本文研究统计流形上的信息几何降维问题。虽然最近已经有相当多的工作提出了关于降维的学习任务,如分类,聚类和可视化的目的,这些方法主要集中在黎曼流形在欧几里得空间。虽然对于许多应用来说已经足够了,但有许多高维信号没有直接和有意义的欧几里得表示。在这些情况下,信号可以更适当地表示为位于统计流形或概率密度函数(PDF)流形上的某种分布的实现。我们提出了一个降维框架,使用信息几何的统计流形重建以及在数据域中的降维。
2008-09-29 stat.ME stat.ML
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断,建立惩罚估计误差界与去偏估计的 Bahadur 表示,并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME
Statistical Inference for High Dimensional Panel Functional Time Series
在本文中,我们开发了高维函数时间序列的统计推断工具。我们在平方可积函数空间中引入了物理相关过程的新概念,该概念采用了平方可积函数空间中函数数据基分解的思想,并推导出了高维函数时间序列和的高斯和乘子自助逼近。这些结果有许多重要的统计后果。例如,我们认为联合同时置信带的均值函数和建设的假设,即在空间维度上的均值函数是平行的测试的发展。通过一个小的模拟研究和加拿大的温度数据分析的结果说明。
2020-03-12 math.ST stat.TH
A Selective Overview of Variable Selection in High Dimensional Feature Space (Invited Review Article)
高维统计问题产生于科学研究和技术发展的各个领域。变量选择在当代统计学习和科学发现中起着关键作用。传统的最佳子集选择方法可以被看作是惩罚似然的一种特殊形式,对于许多现代统计应用来说,它在计算上过于昂贵。其他形式的惩罚似然方法已经成功地开发了在过去的十年中,以应付高维。在高维统计推断中,它们被广泛应用于同时选择重要变量和估计其效应。在这篇文章中,我们提出了一个简短的帐户的理论,方法和实施高维变量选择的最新发展。这些方法可以处理的维数限制,罚函数的作用是什么,以及统计特性是什么,这些都迅速推动了该领域的发展。重点讨论了非凹惩罚似然的性质及其在高维统计建模中的作用。我们还回顾了超高维变量选择的一些最新进展,重点是独立筛选和双尺度方法。
2009-10-06 math.ST stat.TH
Statistical Challenges with High Dimensionality: Feature Selection in Knowledge Discovery
技术创新彻底改变了科学研究和知识发现的过程。海量数据的可用性和来自研究和开发前沿的挑战重塑了统计思维、数据分析和理论研究。从计算生物学和健康研究到金融工程和风险管理,高维性的挑战出现在科学和人文的各个领域。在所有这些领域中,变量选择和特征提取是知识发现的关键。首先,我们对这些不同学科中的高维统计挑战进行了全面的概述。然后,我们使用一个统一的框架:惩罚似然方法的变量选择和特征提取的问题。讨论了与罚函数的选择有关的问题。我们证明,对于一系列的统计问题,只要维数不是过大,我们可以估计模型参数,以及如果最好的模型是已知的。在风险最小化的持久性属性也解决了。这种理论和方法的适用性,以不同的统计问题的证明。同时也讨论了其他与高维相关的问题。
2006-02-07 math.OC math.ST stat.TH
Statistical analysis for a penalized EM algorithm in high-dimensional mixture linear regression model
针对高维混合线性回归中标准EM算法不可行的问题,提出无需样本拆分的带group lasso惩罚的EM算法,分析其统计性质并可扩展至多响应场景,数值实验表现良好。
2023-07-21 math.ST stat.TH
Dimensional Analysis in Statistical Modelling
在统计科学的最新工作的基础上,本文提出了一种自然现象建模理论,该理论基于模型必须是无量纲的基本原则,将物理和统计范式统一起来。毕竟,这些现象不能取决于实验者选择如何评估它们。然而,模型本身必须由理论上或经验上可以确定的数量组成。因此,基本原则要求,无论选择什么尺度和测量单位,模型都要正确地表示这些自然过程。这一目标是实现物理建模通过著名的理论白金汉和布里奇曼和统计建模通过不变原理的亨特和斯坦。基于统计科学的最新研究,本文展示了后者如何拥抱和扩展前者。的不变原理扩展到包括贝叶斯范式,从而使模型的不确定性的评估。本文涵盖了统计科学中通常看不到的关于统计建模中的维度,尺度和数量单位的主题。它显示了特殊的困难,可以出现时,模型涉及超越函数,如对数使用,例如在似然分析,是一个奇异的家庭的Box-Cox家庭的转变。此外,它还表明了衡量尺度的重要性,特别是建模者必须以不同的方式处理比率尺度和间隔尺度
2021-09-05 math.ST stat.TH
Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems
在贝叶斯框架下,研究了在有噪声的间接观测下,估计无穷维未知量的概率分布的统计逆问题。在实践中,人们通常只考虑有限维的未知数,并在数值上研究它们的概率。由于许多未知数是函数值的,所以当对未知数的有限维近似进行细化时,了解估计的概率是否收敛是有意义的。在这项工作中,广义贝叶斯公式是一个强有力的工具,在收敛性的研究。借助于广义贝叶斯公式,将后验分布的收敛问题归结为未知量的有限维(或任何其他)近似的收敛问题。该方法允许多种先验分布,而限制主要针对噪声模型和直接理论。讨论了后验分布的三种收敛模式:弱收敛、集态收敛和变分收敛。研究了条件均值估计的收敛性。提供了几个适用的无限维非高斯噪声模型的例子,包括某些非高斯措施的Cameron-Martin公式的推广。研究了贝叶斯统计反问题的适定性。
2011-12-05 math.ST stat.TH
On infinite-dimensional hierarchical probability models in statistical inverse problems
本文研究了用贝叶斯方法求解一个统计反问题$M = AU+\mathcal{E}$,其中$U$是单位圆$\mathbb{T}$上的函数,即,周期性信号。映射$A$是平滑线性算子,而$\mathcal{E}$是高斯噪声。连接到有限维计算模型$M_{kn} = A_k U_n + \mathcal{E}_k$的解决方案进行了讨论。此外,一个新的分层先验模型,以获得边缘保持条件均值估计。研究了该方法在精细离散下的收敛性,证明了后验分布弱收敛。最后,通过数值例子与模拟数据的理论研究结果进行了说明。
2009-07-31 math.FA math.ST stat.TH
Approximating high-dimensional infinite-order $U$-statistics: statistical and computational guarantees
研究了高维非退化$U$ -统计量的分布逼近问题。无限阶$U$统计量(IOUS)是一个有用的工具,用于构建同时预测区间,量化集成方法,如subbagging和随机森林的不确定性。使用IOUS的一个主要障碍是当样本量和/或阶数很大时,它们的计算困难。在这篇文章中,我们推导出非渐近高斯近似误差界的不完整版本的IOUS与随机内核。我们还研究了数据驱动的推理方法不完整的IOUS通过引导程序,并开发其统计和计算保证。
2019-11-15 math.ST stat.ME stat.TH
Robust high dimensional factor models with applications to statistical machine learning
因子模型是一类功能强大的统计模型,已被广泛用于处理从基因组学和神经科学到经济学和金融学的各种应用中经常出现的相关测量。随着数据收集规模的不断扩大,统计机器学习面临着一些新的挑战:高维性、观测变量间的强相关性、重尾变量和异质性。高维稳健因子分析是克服这些挑战的有力工具。本文重点综述了高维因子模型及其在统计学中的应用,包括因子调整稳健模型选择(FarmSelect)和因子调整稳健多重检验(FarmTest)。我们表明,经典的方法,特别是主成分分析(PCA),可以定制许多新的问题,并提供了强大的工具,统计估计和推断。我们强调PCA及其与矩阵扰动理论、鲁棒统计、随机投影、错误发现率等的联系,并通过几个应用说明如何从这些领域的见解产生解决方案,以现代的挑战。我们还提出了因素模型和流行的统计学习问题之间的深远联系,包括网络分析和低秩矩阵恢复。
2018-08-12 math.ST stat.ME stat.ML
High-Dimensional Differentially-Private EM Algorithm: Methods and Near-Optimal Statistical Guarantees
Rutgers University(罗格斯大学)
在本文中,我们开发了一个通用的框架来设计差分私人期望最大化(EM)算法在高维潜变量模型,基于噪声迭代硬阈值。我们推导出所提出的框架的统计保证,并将其应用到三个特定的模型:高斯混合,混合回归,回归与缺失协变量。在每个模型中,我们建立了接近最优的收敛速度与差分隐私约束,并表明该算法是最小最大率最优的对数因子。开发的技术工具的高维设置,然后扩展到经典的低维潜变量模型,我们提出了一个近速率最优的期望最大化算法在这种设置与差分隐私保证。仿真研究和实际数据分析进行支持我们的结果。
2021-09-09 cs.CR cs.LG math.ST
One-dimensional quantile-stratified sampling and its application in statistical simulations
ACIL Allen(ACIL艾伦)
本文研究一维分位数分层抽样的性质,将其与标准IID抽样对比,探究其在含重要性抽样的统计模拟中的应用,通过模拟分析对比标准重要性抽样与分位数分层重要性抽样的性能。
2026-08-18 math.ST stat.CO stat.ME
Polynomial time guarantees for sampling based posterior inference in high-dimensional generalised linear models
本文针对高维非对数凹似然模型的后验推断问题,基于局部似然条件为梯度MCMC算法建立了多项式时间的非渐近统计与计算保证,并应用于密度估计、非参数回归及PDE反问题。
2025-07-23 cs.NA math.AP math.NA
A statistical framework for GWAS of high dimensional phenotypes using summary statistics, with application to metabolite GWAS
最近爆炸的遗传和高维生物库和“组学”数据提供了研究人员有机会调查数百至数千个相关表型的共享遗传起源(多效性)。然而,现有的方法多表型全基因组关联研究(GWAS)不模型多效性,仅适用于少数表型,或提供没有办法进行推理。为了增加进一步的复杂性,原始遗传和表型数据很少被观察到,这意味着必须对GWAS汇总统计进行分析,其高维统计特性知之甚少。因此,我们开发了一种新的模型,理论框架,和一套方法来执行贝叶斯推断在GWAS的高维表型使用概括统计,明确模型多效性,产生快速计算,并促进使用生物信息先验。我们通过将其应用于代谢物GWAS来证明我们的程序的实用性,在那里我们开发了新的非参数先验,用于对代谢物水平的遗传影响,该代谢物水平使用已知的代谢途径信息并在途径水平上促进可解释的推断。
2023-03-17 math.ST q-bio.QM stat.ME