Signed variable optimal kernel for non-parametric density estimation
我们导出了经典统计密度估计的最优符号变量核，它是著名的Epanechnikov核的一些推广。
2021-02-15 math.ST stat.TH
Federated PCA and Estimation for Spiked Covariance Matrices: Optimal Rates and Efficient Algorithm
本文研究差分隐私约束下尖峰协方差矩阵的联邦PCA与估计，证明中心服务器最优速率为各客户端极小极大速率的调和平均，并推导矩阵版van Trees不等式作为下界工具，提出达到近最优速率的高效隐私保护算法。
2024-11-23 cs.IT math.IT math.ST
An Optimal Statistical and Computational Framework for Generalized Tensor Estimation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）
本文介绍了一个灵活的框架，广义低秩张量估计问题，其中包括许多重要的情况下，在计算成像，基因组学和网络分析中的应用。建议的估计包括找到一个低秩张量适合广义参数模型下的数据。为了克服这些问题的非凸性的困难，我们引入了一个统一的方法，投影梯度下降，适应底层的低秩结构。在对损失函数的适当条件下，通过一般的确定性分析，我们建立了统计误差的上界和计算收敛的线性速度。然后，我们进一步考虑了一套广义张量估计问题，包括次高斯张量PCA，张量回归，泊松和二项式张量PCA。我们证明了所提出的算法达到了极小极大最优收敛速率的估计误差。最后，我们证明了所提出的框架的优越性，通过广泛的实验模拟和真实数据。
2021-02-04 cs.LG math.ST stat.ME
Kernel PCA with the Nyström method
University College London（伦敦大学学院）
Nyström方法是提高核方法可伸缩性的最流行的技术之一。然而，它还没有得到核PCA与经典PCA。在本文中，我们推导出内核PCA与Nyström方法，从而提供了为数不多的可用选项之一，使内核PCA可扩展。我们进一步研究其统计精度，通过有限样本的置信区间的经验重建误差相比，完整的方法。通过在多个真实世界数据集上的计算机实验，说明了该方法和界限的行为。作为该方法的应用，我们提出了核主成分回归与Nyström方法，作为替代Nyström核岭回归的有效的正则化回归与内核。
2022-08-18 cs.LG math.ST stat.ML
Upper and Lower Bounds on the Performance of Kernel PCA
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
主成分分析（PCA）是一种流行的降维方法，几十年来一直受到人们的关注。最近，核PCA（KPCA）已经出现作为PCA的扩展，但尽管它在实践中的使用，一个健全的理论理解KPCA是缺失的。我们贡献了几个下界和上界的KPCA的效率，涉及的经验特征值的内核革兰氏矩阵和新的数量涉及的方差的概念。这些界限显示了KPCA平均捕获了多少信息，并有助于更好地从理论上理解其效率。我们证明了快速收敛速度是可实现的一类广泛使用的内核，我们强调了一些理想的属性的数据集，以确保KPCA的效率的重要性。
2023-01-23 cs.LG math.ST stat.ML
Gain with no Pain: Efficient Kernel-PCA by Nyström Sampling
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Universita’ degli Studi di Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；École-Normale Supérieure, PSL Research University（巴黎文理研究大学巴黎高等师范学院）
本文提出并研究了一种基于Nyström的大规模核主成分分析（PCA）方法。后者是基于考虑非线性特征映射或相应核的经典PCA的自然非线性扩展。与其他核方法一样，核PCA具有良好的数学和统计特性，但在数值上，它与样本量的比例关系很差。我们的分析表明，Nyström采样大大提高了计算效率，而不会导致任何统计精度的损失。虽然在监督学习中观察到了类似的效果，但这是PCA的第一个这样的结果。我们的理论研究结果，这也说明了数值结果，是基于分析和浓度相结合的测量技术。我们的研究是更广泛的动机，了解统计和计算的学习要求之间的相互作用的问题。
2019-07-11 cs.LG math.ST stat.ML
Sparse PCA: Phase Transitions in the Critical Regime
Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Department of Mathematics, Texas A&M University（德克萨斯农工大学数学系）
本研究针对高维稀疏主成分估计问题，推广基于核PCA的估计器，在临界稀疏区域下证实了类似BBP的检测相变，明确了稀疏性的关键作用并确定了近最优的软阈值核函数。
2026-08-20 math.ST stat.TH
Debiasing Sample Loadings and Scores in Exponential Family PCA for Sparse Count Data
针对稀疏计数数据指数族PCA中得分估计的极端偏差问题，本文识别载荷估计误差与MLE偏差两大来源，提出迭代自助法与测量误差模型结合的去偏方法，并经模拟与真实数据验证其有效性。
2023-12-20 stat.AP stat.ME
Selecting the number of principal components: estimation of the true rank of a noisy matrix
主成分分析（PCA）是多元统计学中的一种众所周知的工具。使用PCA的一个重大挑战是组件数量的选择。为了解决这一问题，我们提出了一个基于精确分布的方法，用于假设检验和噪声矩阵中信号的置信区间的构建。假设高斯噪声，我们使用的条件分布的奇异值的Wishart矩阵和推导出精确的假设检验和置信区间的真实信号。本文基于Taylor，Loftus和Tibshirani（2013）用于测试全局null的方法：我们将其推广到测试任何数量的主成分，并导出具有更大功率的集成版本。在模拟研究中，我们发现，我们提出的方法比较以及现有的方法。
2015-05-31 stat.ME
Learning with a linear loss function. Excess risk and estimation bounds for ERM, minmax MOM and their regularized versions. Applications to robustness in sparse PCA
本文针对线性损失学习框架，为 ERM、minmax MOM 及其正则化版本建立了超额风险与估计界，并将其应用于稀疏 PCA 鲁棒性，改进了现有最优结果。
2023-10-26 math.ST stat.TH
Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off
核方法是允许执行非线性数据分析的强大学习方法。尽管它们很受欢迎，但它们在大数据场景中的可扩展性很差。已经提出了各种近似方法，包括随机特征近似，以缓解该问题。然而，除了核岭回归之外，大多数这些近似核方法的统计一致性还没有得到很好的理解，其中已经表明随机特征近似不仅在计算上有效，而且在统计上与最小最大最优收敛速率一致。在本文中，我们调查的核主成分分析（KPCA）的上下文中的随机特征近似的有效性，通过研究近似KPCA的计算和统计行为之间的权衡。我们表明，与KPCA相比，近似KPCA在计算和统计上都是有效的，因为根据核函数到相应特征空间的投影来重建核函数会产生误差。分析的关键在于自伴Hilbert-Schmidt算子值U-统计量的算子和Hilbert-Schmidt范数的Bernstein型不等式，它们是独立的。
2022-06-11 math.ST stat.ML stat.TH
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University（宾夕法尼亚州立大学）
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能，但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案，以减轻这些计算问题，近似核机器被证明保留的经验性能。然而，这些近似核机器的理论性质还不太清楚。在这项工作中，我们从理论上研究了Nyström近似核主成分分析（KPCA）的计算复杂性和统计精度之间的权衡，其中我们表明，Nyström近似KPCA匹配（非近似）KPCA的统计性能，同时保持计算上的优势。此外，我们表明，Nyström近似KPCA优于另一种流行的近似方案，随机特征近似，当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
Discussion contribution "Functional models for time-varying random objects'' by Dubey and Müller (to appear in JRSS-B)
在一篇鼓舞人心的论文中，Dubey和Müller（DM）将PCA扩展到观测值是度量值函数的情况。作为替代方案，我们开发了一个内核PCA的方法，我们表明是密切相关的DM方法。虽然内核主成分（kPC）的定义很简单，但DM需要以“对象FPC”和“Fréchet分数”的形式增加复杂性。
2019-11-19 math.ST stat.TH
Sampled forms of functional PCA in reproducing kernel Hilbert spaces
我们考虑函数PCA（fPCA）的采样问题，其中最简单的例子是对底层函数组件进行时间采样的情况。更一般地，我们将采样操作建模为从$\mathcal{H}$到$\mathbb{R}^m$的连续线性映射，其中函数分量位于$L^2$的某个希尔伯特子空间$\mathcal{H}$中，例如光滑函数的再生核希尔伯特空间。该模型包括作为特殊情况的时间和频率采样。与fPCA中假设访问整个函数的经典方法相反，具有有限数量m的函数样本限制了统计过程的性能。我们研究了这些影响，通过分析的收敛速率的M-估计的子空间的领先的组成部分，在多尖峰协方差模型。估计器采用正则化PCA的形式，因此在计算上是有吸引力的。我们在一个非渐近框架内分析了该估计量的行为，并提供了作为统计样本数n和函数样本数m的函数的高概率的界。我们还推导出下界，表明所获得的速率是最小最大最优的。
2013-02-13 math.ST stat.ML stat.TH
Sparse PCA: Optimal rates and adaptive estimation
主成分分析（PCA）是一种应用广泛的最常用的统计方法。本文考虑了高维情形下主子空间的极大极小估计和自适应估计。在适当的技术条件下，我们首先建立了估计主子空间的最优收敛速度，它对所有参数都是尖锐的，从而从收敛速度的角度完整地刻画了估计问题的困难性.通过计算局部度量熵和应用Fano引理得到了该下界。速率最优估计器使用聚合构造，然而，这在计算上可能是不可行的。然后，我们介绍了一个自适应的过程，估计主子空间，这是完全数据驱动，可以有效地计算。它表明，估计达到最佳的收敛速度，同时在一个大的集合的参数空间。在我们的建设中的一个关键思想是减少计划，减少稀疏PCA问题的高维多元回归问题。这种方法也可能适用于其他相关问题。
2014-01-07 math.ST stat.TH
Spectrum Estimation: A Unified Framework for Covariance Matrix Estimation and PCA in Large Dimensions
协方差阵估计和主成分分析（PCA）是多元分析的两大基石。当数据的维数与样本量相似或更大时，经典的教科书解决方案的性能很差。在这种情况下，有一个共同的补救措施，这两个统计问题：非线性收缩的特征值的样本协方差阵。最佳非线性收缩公式取决于未知的人口数量，因此不可用。然而，有可能一致地估计一个甲骨文的非线性收缩，这是出于渐近的理由。为此，一个关键的工具是一致的估计的一组特征值的人口协方差阵（也称为频谱），一个有趣的和具有挑战性的问题本身。大量的Monte Carlo模拟表明，我们的方法具有理想的有限样本特性，优于以前的建议。
2014-06-23 math.ST stat.OT stat.TH
Dimension estimation in PCA model using high-dimensional data augmentation
本文提出一种基于高维数据增强的改进PCA维度估计方法，通过渐近分析证明其在高维场景下的一致性，并解释原始方法失效原因，仿真验证其优越性。
2025-02-06 math.ST stat.ME stat.TH
Limit results for distributed estimation of invariant subspaces in multiple networks inference and PCA
Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出了一种分布式估计方法，用于多个网络推断和PCA中的不变子空间估计，并推导了其极限结果，包括误差展开和渐近正态近似。
2026-08-27 math.ST stat.TH
Distributed Estimation of Principal Eigenspaces
主成分分析（PCA）是统计机器学习的基础。它提取潜在的主要因素，有助于数据的最大变化。然而，当数据存储在多台机器上时，通信成本可能会阻止PCA在中央位置的计算，因此需要PCA的分布式算法。本文提出并研究了一种分布式PCA算法：每个节点机计算前$K$特征向量并将其发送到中心服务器，中心服务器将来自所有节点机的信息进行聚合，并基于聚合信息进行PCA。我们调查的偏差和方差的顶部$K$特征向量的分布估计。特别是，我们表明，对称创新的分布，经验顶部特征空间是无偏的，因此分布PCA是“无偏的”。我们推导出分布式PCA估计的收敛速度，它明确地依赖于协方差的有效秩，特征间隙和机器的数量。我们表明，当机器的数量不是不合理的大，分布式PCA执行以及整个样本PCA，即使没有完全访问整个数据。通过大量的仿真研究验证了理论结果。我们还将我们的分析扩展到异质的情况下，人口的协方差阵是不同的本地机器，但共享类似的顶部特征结构。
2018-01-10 math.ST stat.CO stat.TH
Rate-optimal posterior contraction for sparse PCA
主成分分析（PCA）可能是用于恢复数据的低秩结构的最广泛使用的统计工具之一。在高维情况下，样本协方差的前导特征向量可以近似正交于真实特征向量。然后，稀疏结构通常与低秩结构一起被假设。最近，在各种有趣的设置下，稀疏PCA的极大极小估计率被建立。另一方面，贝叶斯方法在高维估计中变得越来越流行，但很少有工作将频率论属性和贝叶斯方法联系起来进行高维数据分析。在本文中，我们提出了一个先验的稀疏PCA问题，并分析其理论性质。先验适应稀疏性和秩。证明了后验分布在最优极大极小化率下与真实值接近。此外，一个计算效率的策略，秩一的情况下进行了讨论。
2015-04-03 math.ST stat.TH
Robust estimation of principal components from depth-based multivariate rank covariance matrix
从多变量数据的空间符号协方差阵（SCM）分析主成分已被提出作为计算简单和鲁棒的替代正常PCA，但它具有较差的效率属性，并且实际上对于最大似然估计是不可接受的。在这里，我们使用基于数据深度的空间秩代替空间符号来获得正交等变深度协方差阵（DCM），并将其特征向量估计用于PCA。我们导出了样本DCM的渐近性质及其特征向量的影响函数。这些影响函数的形状表明估计的主成分的鲁棒性，以及与SCM相比的良好的效率特性。有限样本仿真研究表明，样本DCM的主成分是强大的偏离正态分布，以及更有效的SCM和仿射等变版本，泰勒的形状矩阵。通过两个实际数据的例子，我们还展示了基于DCM的PCA在分析高维数据和异常检测方面的有效性，并与其他方法进行了比较。
2016-03-09 math.ST stat.TH
Kernel Mean Estimation via Spectral Filtering
估计再生核希尔伯特空间（RKHS）中的核均值的问题是核方法的核心，因为它被经典方法（例如，当将核PCA矩阵居中时），并且它还形成现代核方法的核心推理步骤（例如，基于核的非参数检验），其依赖于在RKHS中嵌入概率分布。Muandet等人（2014）已经表明，收缩可以帮助构建比经验估计量“更好”的核均值估计量。本文研究了Muandet et al.（2014）中估计量的相容性和可容许性，并提出了一类更广泛的收缩估计量，通过考虑适当的基函数来改进经验估计量。使用核PCA的基础上，我们表明，这些估计可以使用频谱滤波算法，这是一致的，在一些技术假设。我们的理论分析还揭示了与基于内核的监督学习框架的基本联系。建议的估计是简单的实现和执行良好的实践。
2014-11-04 math.ST stat.ML stat.TH
Structure-preserving non-linear PCA for matrices
提出MNPCA，一种保结构的非线性矩阵降维方法，通过分别优化左右奇异空间的非线性映射实现解耦，并在再生核希尔伯特空间中建立理论框架，实验证明其性能优于现有方法。
2023-10-10 math.ST stat.TH
On the Curse of Dimensionality in Private Sparse Covariance Estimation and PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究差分隐私下稀疏协方差矩阵估计和PCA的样本复杂度，发现当特征向量稀疏时，poly(k, log d)样本足够，否则需poly(d)样本，揭示了私有与非私有版本间的指数差距。
2026-06-23 cs.CR cs.DS cs.LG
Empirical Bayes PCA in high dimensions
当数据的维数与数据样本的数量相当或大于数据样本的数量时，主成分分析（PCA）可能会表现出有问题的高维噪声。在这项工作中，我们提出了一个经验贝叶斯PCA方法，通过估计联合先验分布的主成分，以减少这种噪声。EB-PCA是基于经典的Kiefer-Wolfowitz非参数MLE的经验贝叶斯估计，来自随机矩阵理论的样本PC的分布结果，并使用近似消息传递（AMP）算法的迭代细化。在理论上的“尖峰”模型中，EB-PCA在与知道真实先验的Oracle Bayes AMP过程相同的设置中实现Bayes最优估计精度。经验上，EB-PCA显着改善PCA时，有很强的先验结构，无论是在模拟和定量基准构建的1000个基因组计划和国际HapMap项目。提供了用于分析通过单细胞RNA-seq获得的基因表达数据的说明。
2021-09-05 math.ST stat.ME stat.ML
Estimation of Algebraic Sets: Extending PCA Beyond Linearity
本文针对含噪观测下未知代数集的恢复问题，提出基于矩矩阵构建、去偏与特征分解的三步估计方法，结合三种重建策略，证明其相合性与渐近误差界，拓展了PCA的适用范围。
2025-08-04 math.ST stat.TH
Low-degree estimation thresholds in planted hypergraphs and tensor PCA
Division of Applied Mathematics, Brown University（布朗大学应用数学系）
本文通过低度框架研究植入稠密子超图、稀疏张量PCA和一般先验张量PCA中的统计-计算差距，确定了低度估计的尖锐阈值，并给出了多项式时间算法。
2026-05-28 cs.CC cs.DS math.PR
A note on boundary kernels for distribution function estimation
二阶边界核在分布函数估计中的应用最近在文献（C. Tenreiro，2013，Boundary kernels for分布函数估计，REVSTAT-Statistical Journal，11，169-190）。在本说明中，我们回到这个问题，考虑扩大类的边界内核，表明它本身是特别执行时，经典的核广义函数函数估计遭受严重的边界问题。
2015-02-04 math.ST stat.TH
Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices
本文研究了尖峰协方差模型下的最优差分隐私主成分分析和协方差估计，刻画了特征量敏感度并建立了极小极大收敛速度，提出了计算高效且在对数因子范围内最优的差分隐私估计器，适用于发散秩、更广信号强度及小样本高维场景。
2024-09-27 cs.IT math.IT math.ST
A Fast Iterative Robust Principal Component Analysis Method
提出快速迭代鲁棒PCA方法，通过增量PCA迭代估计内点位置和协方差，减轻离群值影响，在模拟和真实数据上验证了竞争性精度与更强鲁棒性。
2025-06-19 cs.CE math.ST stat.TH
Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Unité de Mathématiques Pures et Appliquées (UMPA), ENS Lyon（里昂高等师范学院纯数学与应用数学研究所）
该研究针对多尖点张量PCA问题，利用朗之万动力学分析高维非凸优化，确定了精确恢复尖点所需的样本数量与SNR分离条件，揭示了恢复最大SNR尖点与所有尖点的样本复杂度阈值差异。
2026-08-14 cs.LG math.PR math.ST
Statistical-Computational Trade-offs in Tensor PCA and Related Problems via Communication Complexity
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文利用通信复杂度为内存受限算法建立 Tensor PCA 及相关估计问题的计算下界，揭示数据遍历遍数、样本量与内存之间的权衡。
2024-01-20 cs.IT cs.LG math.IT
DP-PCA: Statistically Optimal and Differentially Private PCA
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
我们研究了从$n$ i.i.d.~计算主成分的规范统计任务。数据在$(\varepsilon,δ)$ -差分隐私下的$d$维度中。（$i$）即使对于高斯数据，现有的私有算法也需要样本数量$n$与$d$超线性地缩放，即，$n=Ω(d^{3/2})$，以获得非平凡的结果，而非私有PCA仅需要$n=O(d)$，并且（$ii$）现有技术即使在每个数据点中的随机性任意小时也遭受非零误差。我们提出DP-PCA，这是一个单通算法，克服了这两个限制。它是基于一个私人的小批量梯度上升方法，依赖于{ \em私人均值估计}，它增加了最小的噪音，以确保通过适应一个给定的小批量梯度的方差隐私。对于亚高斯数据，我们甚至为$n=\tilde O(d)$提供了接近最优的统计错误率。此外，我们提供了一个下界，表明亚高斯风格的假设是必要的，在获得最佳的错误率。
2022-05-27 cs.CR cs.IT cs.LG
