Uncertainty-Aware PCA for Arbitrarily Distributed Data Modeled by Gaussian Mixture Models
University of Stuttgart（斯图加特大学）；University of Siegen（锡根大学）
本文提出了一种基于高斯混合模型的不确定性感知主成分分析方法，用于更准确地表示任意分布数据。
2026-01-14 cs.GR cs.LG stat.ML
Sparse Generalized Principal Component Analysis for Large-scale Applications beyond Gaussianity
主成分分析（PCA）是一种降维技术。当维数从中等到高时，它会产生不一致的估计值，这通常是现代大规模应用中的问题，在这些应用中，算法的可扩展性和模型的可解释性难以实现，更不用说缺失值的普遍存在了。虽然现有的稀疏PCA方法缓解了不一致性，但它们受限于经典PCA的高斯假设，并且无法解决算法可扩展性问题。我们将稀疏PCA推广到高维设置下的宽指数族分布，并内置了缺失值的处理。同时，我们提出了一个家庭的迭代稀疏广义PCA（SG-PCA）算法，尽管非凸性和非光滑的优化任务，损失函数减少在每次迭代。在易用性和直观的参数调整方面，我们的稀疏诱导正则化远远优于流行的Lasso。此外，为了提高整体的可扩展性，加速梯度被集成以实现快速收敛，而渐进筛选技术逐渐挤出大规模问题的讨厌尺寸以实现可行的优化。高维仿真和真实数据实验证明了SG-PCA的高效性和有效性。
2016-01-28 stat.CO stat.ML
PCA Reduced Gaussian Mixture Models with Applications in Superresolution
TU Berlin（柏林工业大学）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）
尽管计算硬件发展迅速，但大规模高维数据集的处理仍然是一个具有挑战性的问题。本文件对这一专题作出了双重贡献。首先，我们提出了一个高斯混合模型结合的数据在模型的每个组成部分的降维的主成分分析，称为PCA-GMM。为了学习混合模型的（低维）参数，我们提出了一种期望最大化算法，其M步需要求解约束优化问题。幸运的是，这些约束问题不依赖于通常大量的样本，可以有效地解决了（惯性）近端交替线性化最小化算法。其次，我们应用我们的PCA-GMM的超分辨率的2D和3D材料图像的基础上的Sandeep和Jacob的方法。数值结果证实了降维对整体超分辨结果的适度影响。
2021-05-06 cs.LG eess.IV math.ST
Fourier PCA and Robust Tensor Decomposition
Microsoft Research India（微软研究院印度）；Georgia Tech（佐治亚理工学院）；CMU（卡内基梅隆大学）
傅立叶主成分分析是一个矩阵的主成分分析，该矩阵是从分布的傅立叶变换的对数的高阶导数获得的。我们通过对在秩- $1$分解中共享相同向量的一对张量开发一种张量分解方法，使这种方法算法化。我们的主要应用是欠定ICA的第一个可证明多项式时间算法，即，从观测值$y=Ax$学习$n \times m$矩阵$A$，其中$x$从具有任意非高斯分量的未知乘积分布中得出。分量分布的数目$m$可以任意大于维数$n$，并且$A$的列只需要满足自然且有效可验证的非简并性条件。作为第二个应用程序，我们给出了一个替代算法学习混合球高斯线性独立的手段。这些结果也适用于高斯噪声的存在。
2014-06-27 cs.DS cs.LG stat.ML
Cauchy Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）
主成分分析在机器学习、文本挖掘和计算机视觉等领域有着广泛的应用。基于高斯噪声模型的经典PCA对大幅度的噪声是脆弱的。基于拉普拉斯噪声假设的PCA方法不能有效地处理密集噪声。在本文中，我们提出了柯西主成分分析（柯西PCA），一个非常简单而有效的PCA方法，是强大的各种类型的噪声。我们利用柯西分布模型噪声和推导柯西主成分分析下的最大似然估计（MLE）框架下的低秩约束。无论噪声大小、密集或稀疏，我们的方法都能鲁棒地估计低秩矩阵。从稳健统计的角度分析了Cauchy PCA的稳健性，并提出了一种有效的奇异值投影优化方法。仿真数据和实际应用的实验结果表明，柯西PCA的各种噪声模式的鲁棒性。
2014-12-19 cs.LG stat.ML
Suppressing Background Radiation Using Poisson Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
基于伽马射线光谱法的核威胁探测系统的性能通常强烈依赖于识别可归因于背景辐射的测量信号部分的能力。我们已经成功地应用了一种基于主成分分析（PCA）的方法，以获得一个紧凑的零空间模型的背景光谱使用PCA投影残差，以获得源检测得分。我们已经展示了该方法在城市场景中使用移动光谱仪的威胁检测系统中的实用性（Tandon等人，2012）。虽然通常假设测量的光子计数遵循泊松过程，但标准PCA对数据分布进行高斯假设，这在光子计数较低时可能是较差的近似。本文研究了基于泊松损失函数的主成分分析（Poisson PCA）是否以及在什么条件下可以在建模背景辐射时优于标准高斯PCA，从而实现更灵敏、更具体的核威胁检测。
2016-05-26 cs.LG physics.data-an stat.ML
Sparse PCA: Algorithms, Adversarial Perturbations and Certificates
ETH Zürich（苏黎世联邦理工学院）；Carnegie-Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
我们研究了标准统计模型（Wishart形式的尖峰协方差）中稀疏PCA的有效算法。我们的目标是实现最佳的恢复保证，同时对小扰动具有弹性。尽管之前的工作有很长的历史，包括对扰动弹性的明确研究，但稀疏PCA最著名的算法保证是脆弱的，并且在小的对抗性扰动下会崩溃。我们观察到扰动弹性和\emph{certifying algorithms}，是基于证书的随机矩阵的稀疏特征值的上界之间的基本连接。与其他技术相比，这种认证算法，包括蛮力最大似然估计，自动鲁棒性小对抗扰动。我们使用这种连接，以获得第一多项式时间算法，这个问题是有弹性的添加剂对抗性扰动，通过获得新的有效证书的随机矩阵的稀疏特征值的上界。我们的算法是基于基本的半定规划或其低程度的平方和加强取决于参数制度。它们的保证匹配或接近\emph{fragile}算法在未知向量的稀疏性、样本数和环境维度方面的最佳已知保证。为了补充我们的算法结果，我们证明了严格的下限匹配脆弱和强大的多项式时间算法之间的差距在一个自然的计算模型的基础上低次多项式（密切相关的伪校准技术的平方和下限），已知捕捉相关的统计估计问题的最佳已知的保证。这些结果的结合提供了正式的证据，证明了为实现稳健性而付出的固有代价。
2020-11-12 cs.DS cs.LG
PCA Initialization for Approximate Message Passing in Rotationally Invariant Models
University of Cambridge（剑桥大学）
我们研究的问题，估计秩$1$信号中存在的旋转不变的噪声，一类扰动比高斯噪声更一般。主成分分析（PCA）提供了一个自然的估计，其性能的尖锐的结果已经在高维制度。最近，一个近似消息传递（AMP）算法已被提出作为一种替代估计与潜在的PCA的精度提高。然而，现有的AMP分析需要与信号相关且与噪声无关的初始化，这在实践中通常是不现实的。在这项工作中，我们结合了这两种方法，并提出了初始化AMP与PCA。我们的主要结果是一个严格的渐近特性，这个估计的性能。AMP算法及其分析都不同于以前在高斯设置中导出的那些：在每次迭代中，我们的AMP算法需要一个特定的项来解释PCA初始化，而在高斯情况下，PCA初始化只影响AMP的第一次迭代。证明是基于一个两阶段的人工AMP，首先近似的PCA估计，然后模仿真正的AMP。我们的数值模拟显示AMP的结果和理论预测之间有很好的一致性，并提出了一个有趣的开放方向实现贝叶斯最优性能。
2021-10-14 cs.IT cs.LG math.IT
Mean-Shift PCA by Knockoff Mean
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Data Science, Southern University of Science（数据科学，南方科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（数据科学学院，香港中文大学（深圳））
提出一种通过故意引入knockoff均值扰动来消除PCA中均值偏移噪声的方法，利用随机矩阵理论证明均值偏移尖峰与原始协方差特征值谱可分离，并设计了两阶段PCA算法。
2026-05-25 cs.LG stat.ML
Simulating Gaussian vectors via randomized dimension reduction and PCA
本文针对高维高斯向量期望估计问题，提出一种结合随机降维与主成分分析的无偏估计方法，并证明其效率比标准蒙特卡洛方法提升约 d 倍。
2023-04-14 math.ST q-fin.CP stat.CO
A Simple and Fast Algorithm for L1-norm Kernel PCA
Northwestern University（西北大学）
本文提出了一种L1范数核PCA算法，并给出了算法的收敛性分析，L2范数核PCA的最优解可以通过矩阵分解得到，而L1范数核PCA的最优解由于其非凸性和非光滑性而不易得到。我们提供了一个新的重新制定，通过它得到一个等价的，几何可解释的问题。基于重新表述的问题的几何解释，我们提出了一个不动点类型的算法，迭代计算每个观察的二进制权重。由于该算法只需要数据向量的内积，因此计算效率高，核技巧也适用。在收敛性分析中，我们证明了算法在有限步内收敛到局部最优解。此外，我们提供了一个收敛速度分析，这是从来没有做过的任何L1范数PCA算法，证明目标值的序列以线性速度收敛。在数值实验中，我们表明，该算法是强大的，在存在的条目方面的扰动和计算可扩展性，特别是在一个大规模的设置。最后，我们介绍了一个应用程序的离群点检测模型的基础上提出的算法优于基准算法。
2020-06-11 cs.LG stat.ML
Heavy-Tailed Principal Component Analysis
本文提出基于对数损失的厚尾主成分分析方法，通过超统计模型处理高维厚尾数据，证明其主成分与高斯生成器协方差矩阵一致，实验显示其在厚尾噪声下优于传统PCA。
2026-07-27 cs.LG
A Sparse PCA Approach to Clustering
讨论了一种基于稀疏主成分分析（SPCA）的高斯混合模型聚类方法，并与IF-PCA方法进行了比较。我们还讨论了相关的情况下，协方差阵$Σ$不一定是对角线。
2016-02-16 stat.ME stat.ML
Linear Non-Gaussian Component Analysis via Maximum Likelihood
独立成分分析（ICA）在认知神经科学和信号处理等领域有着广泛的应用。由于计算量的限制，主成分分析被用于降维之前，ICA（PCA+ICA），它可以删除重要的信息。问题在于，感兴趣的独立分量（IC）可能混合在被丢弃的几个主分量中，然后这些IC不能被恢复。我们制定了一个线性非高斯成分模型与高斯噪声成分。为了估计该模型，我们提出了似然分量分析（LCA），其中降维和潜变量估计同时实现。我们的方法通过其边际似然来排序组件，而不是像PCA那样通过方差来排序组件。我们提出了一个参数LCA使用的逻辑密度和半参数LCA使用倾斜高斯与三次B样条。我们的算法可扩展到应用程序中常见的数据集（例如，在具有几十个潜在成分的数百个变量上的数十万个观测）。在模拟中，潜在的成分被PCA+ICA方法丢弃的恢复。我们将我们的方法应用于多变量数据，并证明LCA是一个有用的数据可视化和降维工具，揭示了PCA或PCA+ICA不明显的功能。我们还将我们的方法应用于人类连接组项目的fMRI实验，并识别PCA+ICA遗漏的伪影。我们提出的线性非高斯分量模型的可识别性和LCA的一致性的理论结果。
2017-10-02 stat.CO stat.ME
An $\ell_p$ theory of PCA and spectral clustering
EPFL（洛桑联邦理工学院）；Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
主成分分析（Principal Component Analysis，PCA）是统计学和机器学习领域的一个重要工具。虽然现有的PCA研究主要集中在主成分及其相关的特征值的恢复，有几个精确的表征个别主成分得分，产生低维嵌入的样本。这阻碍了各种光谱方法的分析。在本文中，我们首先发展了一个$\ell_p$扰动理论的中空版本的主成分分析在Hilbert空间中，证明了改进的香草主成分分析在异方差噪声的存在。通过一种新的$\ell_p$分析的特征向量，我们调查的主成分得分向量的入口行为，并表明他们可以近似的Gram矩阵在$\ell_p$范数的线性泛函，其中包括$\ell_2$和$\ell_\infty$作为特殊的例子。对于亚高斯混合模型，给出最优边界的$p$的选择取决于信噪比，这进一步产生谱聚类的最优性保证。对于上下文社区检测，$\ell_p$理论导致一个简单的频谱算法，达到准确恢复的信息阈值。作为特殊情况，这些还为高斯混合模型和随机块模型提供了最佳恢复结果。
2022-04-10 cs.LG math.PR math.ST
Adversarially Robust Low Dimensional Representations
Google Research（谷歌研究院）；Rutgers University（罗格斯大学）；Northwestern University（西北大学）；George Mason University（乔治梅森大学）
许多机器学习系统容易受到在测试时间或训练时间对输入进行的小扰动的影响。由于可靠性和安全性至关重要的应用程序，这已经收到了最近的兴趣在实证方面。然而，对对抗性扰动鲁棒的算法的理论理解是有限的。在这项工作中，我们专注于主成分分析（PCA），在机器学习中无处不在的算法原语。我们制定了一个自然的强大的PCA的变体，其目标是找到一个低维子空间来表示给定的数据与最小的投影误差，这是另外强大的$\ell_q$规范（说$q=\infty$）测量的小扰动。与在多项式时间内可解的PCA不同，我们的公式在计算上难以优化，因为它捕获了作为特殊情况的经过充分研究的稀疏PCA目标的变体。我们展示了以下结果：- 多项式时间算法，在投影误差和鲁棒性标准方面，该算法在最坏情况下相对于最佳子空间具有恒定因子竞争力。- 我们表明，我们的算法技术也可以对对抗性训练时间扰动具有鲁棒性，此外还可以在测试时产生对对抗性扰动具有鲁棒性的表示。具体来说，我们设计了一个强概念的训练时间扰动算法，其中每个点都被反向扰动到一个指定的量。- 我们说明了我们的算法技术在解决对抗性扰动的鲁棒性方面的广泛适用性，无论是在训练时还是在测试时。特别是，我们的adversarially强大的PCA原语导致计算效率和强大的算法，无监督和监督学习的问题，如聚类和学习adversarially强大的分类器。
2021-08-13 cs.DS cs.LG math.ST
Improved Analysis of the Accelerated Noisy Power Method with Applications to Decentralized PCA
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文改进了加速噪声幂方法的分析，在更宽松的扰动条件下保持加速收敛速率，并首次提出具有可证明加速收敛的分布式PCA算法。
2026-06-08 cs.DC cs.LG cs.NA
Consistent Estimation for PCA and Sparse Regression with Oblivious Outliers
ETH Zürich（苏黎世联邦理工学院）
我们开发的机械设计有效的可计算和一致的估计，实现估计误差接近零的观测数量的增长，当面对一个不经意的对手，可能会腐败的响应，但$α$部分的样本。作为具体的例子，我们研究两个问题：稀疏回归和主成分分析（PCA）。对于稀疏回归，我们实现了最佳样本量$n\gtrsim (k\log d)/α^2$和最佳错误率$O(\sqrt{(k\log d)/(n\cdot α^2)})$的一致性，其中$n$是观测值的数量，$d$是维度的数量，$k$是参数向量的稀疏性，允许内点的分数在样本数量中是逆多项式。在此之前的工作，没有估计是一致的内点$α$的分数是$o(1/\log \log n)$，即使是（非球形）高斯设计矩阵。在弱设计假设和存在这种一般噪声的情况下，结果仅在密集设置中显示（即，一般线性回归）最近由d'Orsi等人[dNS 21]。在PCA的上下文中，我们在参数矩阵（通常用于矩阵完成）的广泛尖峰假设下获得最佳误差保证。先前的工作仅在假设对应于内点的测量噪声在$n$中多项式地小（例如，具有方差的高斯$1/n^2$）。为了设计我们的估计，我们配备了Huber损失与非光滑正则化，如$\ell_1$规范或核规范，并扩展d'Orsi等人。的方法[dNS21]以一种新的方式来分析损失函数。我们的机器似乎很容易适用于广泛的估计问题。
2021-11-04 cs.LG stat.ML
Probabilistic Auto-Associative Models and Semi-Linear PCA
自关联模型涵盖了数据分析中使用的一大类方法。在本文中，我们描述了这些模型的一般属性时，投影分量是线性的，我们提出并测试了一个易于实现的概率半线性自关联模型在高斯设置。我们表明，它是一个推广的PCA模型的半线性情况。模拟数据集上的数值实验和一个实际的天文应用突出了这种方法的兴趣
2012-09-20 stat.AP stat.ML
Finite sample approximation results for principal component analysis: a matrix perturbation approach
主成分分析（PCA）是一种标准工具，用于对一组$n$观测值（样本）进行降维，每个观测值具有$p$变量。本文利用矩阵摄动方法，研究了有限样本$n$上的主成分分析的特征值和特征向量与有限样本$n\to\infty$上的主成分分析的特征值和特征向量之间的非渐近关系.在机器学习中，我们提出了一个有限样本定理，在尖峰协方差模型下，样本PCA和总体PCA的前导特征值和特征向量之间的接近性具有很高的概率。此外，我们还考虑了有限样本PCA与联合极限$p,n\to\infty$中的渐近结果之间的关系，其中有$p/n=c$ .我们提出了一个矩阵扰动的“相变现象”，和一个简单的线性代数为基础的推导的本征值和本征向量重叠在这个渐近极限。此外，我们的分析也适用于有限的$p,n$，我们表明，虽然没有尖锐的相变，在无限的情况下，无论是作为一个函数的噪声水平或作为一个函数的样本量$n$，样本PCA的特征向量可能会表现出尖锐的“失去跟踪”，突然失去其关系的（真正的）特征向量的人口PCA矩阵。这是由于信号的特征值和噪声的最大特征值之间的交叉而发生的，噪声的特征向量指向随机方向。
2009-01-21 math.ST stat.TH
Robust Streaming PCA
Columbia University（哥伦比亚大学）；KAIST（韩国科学技术院）
针对随机数据生成模型受扰动的流式主成分分析问题，提出协方差属于时间不确定性集合的鲁棒视角，论证噪声幂法速率最优，经合成与真实数据集实验验证分析有效性。
2026-09-03 cs.LG stat.ML
Inferring relevant features: from QFT to PCA
Hanyang University (ERICA)（汉阳大学（ERICA校区））；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
在多体物理学中，重整化技术被用来提取在大尺度下相关的统计或量子态的方面，或用于低能实验。最近的工作提出，这些功能可以正式确定为那些扰动的状态，其可扩展性最抵制粗粒度。在这里，我们研究是否可以使用相同的策略来识别未标记数据集的重要特征。这种方法确实导致了一种非常类似于核PCA（主成分分析）的技术，但具有自动适应数据或“学习”的核函数。我们测试这种方法的手写数字，并发现，最相关的功能是显着更好的分类比从一个简单的高斯内核。
2018-02-16 cs.LG quant-ph stat.ML
Learning Gaussian Graphical Models with Latent Confounders
针对潜在混杂因子干扰高斯图模型结构推断的问题，本文探究了LVGGM与PCA+GGM两种推断策略的关联，提出融合二者优势的新方法，证明了PCA类方法的一致性与收敛速率，给出方法选用指导，并通过模拟和真实应用验证了有效性。
2023-07-24 stat.ME stat.ML
Nonconvex Statistical Optimization: Minimax-Optimal Sparse PCA in Polynomial Time
Princeton University（普林斯顿大学）
稀疏主成分分析（PCA）涉及非凸优化问题，难以获得全局解。为了解决这个问题，一种流行的方法是凸松弛。然而，这种方法可能会产生次优估计，由于松弛效应。为了最优估计稀疏主子空间，我们提出了一个两阶段的计算框架，称为“收紧后放松”：在“放松”阶段，我们近似求解稀疏PCA的凸松弛，并提前停止，以获得所需的初始估计;对于“收紧”阶段，我们提出了一种新的算法称为稀疏正交迭代追踪（SOAP），其通过直接求解潜在的非凸问题来迭代地细化初始估计器。这个两阶段框架的一个关键概念是吸引力盆地。它代表一个局部区域，在该区域内，“收紧”阶段具有所需的计算和统计保证。我们证明，从“放松”阶段获得的初始估计落入这样的区域，因此SOAP几何收敛到一个主子空间估计，这是在一定的模型类的最小最优。与大多数现有的稀疏PCA估计器不同，我们的方法适用于非尖峰协方差模型，并适应非高斯性以及相关数据设置。此外，通过分析这两个阶段的计算复杂度，我们说明了一个有趣的现象，即较大的样本量可以降低总的迭代复杂度。我们的框架激发了解决许多复杂的统计问题，其中涉及非凸优化与可证明的保证一般范式。
2014-08-22 cs.LG stat.ML
coVariance Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）
图神经网络（GNN）是一种有效的框架，利用图结构数据中的相互关系进行学习。主成分分析（PCA）涉及数据在协方差矩阵的特征空间上的投影，并与GNN中的图形卷积滤波器相似。受此观察的启发，我们研究了一种GNN架构，称为协方差神经网络（VNN），它对样本协方差矩阵进行操作。我们从理论上建立了稳定的VNN的扰动的协方差矩阵，因此，这意味着一个优势，超过标准的PCA为基础的数据分析方法，容易不稳定，由于主成分与密切的特征值。我们在真实数据集上的实验验证了我们的理论结果，并表明VNN的性能确实比基于PCA的统计方法更稳定。此外，我们在多分辨率数据集上的实验还表明，VNN可以在不同维度的协方差矩阵上传输性能;这一特性对于基于PCA的方法是不可行的。
2023-01-15 cs.LG stat.ML
Matrix Normal PCA for Interpretable Dimension Reduction and Graphical Noise Modeling
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
主成分分析（PCA）是最广泛使用的降维和多元统计技术之一。从概率的角度来看，PCA寻求在存在独立相同高斯噪声的情况下的数据的低维表示。概率PCA（PPCA）及其变体已经被广泛研究了几十年。他们中的大多数假设潜在的噪声遵循一定的独立的同分布。然而，现实世界中的噪声通常是复杂和结构化的。为了解决这一挑战，已经提出了用于具有非IID噪声的数据的PCA的一些变体。然而，大多数现有的方法只假设噪声在特征空间中是相关的，而可能存在双向结构噪声。为此，我们提出了一个强大的和直观的PCA方法（MN-PCA）通过建模的图形噪声的矩阵正态分布，这使我们能够探索噪声的结构在特征空间和样本空间。MN-PCA同时获得数据的低秩表示和噪声的结构。它可以被解释为在广义马氏距离上的近似数据。我们开发了两种算法来解决这个模型：一个最大化正则化的可能性，另一个利用Wasserstein距离，这是更强大的。在各种数据上的大量实验证明了它们的有效性。
2021-01-05 cs.CV cs.LG stat.ML
Learning RUMs: Reducing Mixture to Single Component via PCA
我们考虑学习随机效用模型（RUM）的混合物的问题。尽管RUM在各个领域取得了成功，并且混合RUM具有捕获偏好异质性的多功能性，但从部分数据（如成对比较）中学习RUM混合物的进展有限。相比之下，在使用成对比较来学习单分量RUM方面已经有了显著的进步。在本文中，我们的目标是弥合这一差距的混合物学习和单一成分的学习RUM通过开发一个“减少”的过程。我们建议利用基于PCA的谱聚类，同时“去噪”成对比较数据。我们证明了我们的算法能够正确地聚类部分数据（即，来自相同RUM成分的比较被分组在相同簇中），即使当数据是从良好分离的{ \em通用} RUM的可能的{ \em异构}混合物生成时。时间和样本的复杂性都与模型参数（包括项目数）成多项式关系。分析中的两个关键特征是建立（1）嵌入成对边缘向量空间的RUM分量的亚高斯范数的有意义的上限，以及（2）在$L_{2, \infty}$意义上具有缺失值的PCA的鲁棒性，这可能是他们自己感兴趣的。
2020-03-31 cs.LG stat.ML
Optimality and Sub-optimality of PCA I: Spiked Random Matrix Models
随机矩阵理论的一个中心问题是理解由Johnstone引入的尖峰随机矩阵模型的特征值，其中一个突出的特征向量（或“尖峰”）被植入随机矩阵。这些分布形成自然的统计模型，用于整个科学领域的主成分分析（PCA）问题。Baik，Ben Arous和Peche表明，尖峰Wishart系综渐近地表现出尖锐的相变：当尖峰强度高于临界阈值时，可以根据顶部特征值检测到尖峰的存在，并且低于阈值，顶部特征值不提供任何信息。这样的结果形成了我们的理解的基础上，当PCA可以检测到一个低秩信号中存在的噪声。然而，在对尖峰的结构假设下，并非所有信息都必然包含在频谱中。我们研究了统计极限的测试存在的尖峰，包括非光谱测试。我们的研究结果利用Le Cam的邻近性概念，包括：i）对于高斯维格纳系综，我们表明PCA实现了尖峰的某些自然先验的最佳检测阈值。ii）对于任何非高斯维格纳系综，PCA对于检测是次优的。然而，PCA的有效变体通过预变换矩阵条目来实现最佳阈值（对于自然先验）。iii）对于高斯Wishart系综，PCA阈值对于正尖峰（对于自然先验）是最佳的，但对于负尖峰并不总是如此。
2018-07-13 cs.DS cs.IT math.IT
Higher degree sum-of-squares relaxations robust against oblivious outliers
ETH Zürich（苏黎世联邦理工学院）；Google Zürich（谷歌苏黎世）
我们考虑估计模型的形式$Y=X^*+N$，其中$X^*$是一些$m$维信号，我们希望恢复，和$N$是对称分布的噪声，可能是无界的，但在所有的小$α$分数的条目。我们介绍了一个家庭的算法，在温和的假设下恢复信号$X^*$在所有的估计问题，存在一个平方和算法，成功地恢复信号$X^*$时，噪声$N$是高斯的。这基本上表明，为了得到适用于对称噪声模型的算法，设计用于高斯噪声估计问题的平方和算法是足够的。我们的框架远远超出了以前的结果对称噪声模型，甚至是强大的对抗扰动。作为具体的例子，我们研究了两个问题，没有有效的算法已知的工作重尾噪声：张量PCA和稀疏PCA。对于前者，我们的算法恢复的主成分在多项式时间的信噪比至少为$\tilde{O}(n^{p/4}/α)$，匹配（对数因子）目前最知名的算法保证高斯噪声时。对于后者，我们的算法运行在准多项式时间，并匹配的准多项式时间算法的高斯噪声的情况下，最先进的保证。使用减少种植集团的问题，我们提供的证据表明，准多项式时间可能是必要的稀疏PCA与对称噪声。在我们的证明中，我们使用的覆盖数的伪期望，我们通过证明在平方和上界的高斯复杂性的解决方案集的范围。这种方法用于界定伪期望集合的覆盖数，其本身可能是有趣的，并且可能在未来的工作中找到其他应用。
2022-11-14 cs.LG stat.ML
Optimality and Sub-optimality of PCA for Spiked Random Matrices and Synchronization
随机矩阵理论的一个中心问题是理解尖峰随机矩阵模型的特征值，其中一个显着的特征向量被植入到随机矩阵中。这些分布形成自然的统计模型，用于整个科学领域的主成分分析（PCA）问题。Baik，Ben Arous和Péché表明，尖峰Wishart系综渐近地表现出尖锐的相变：当信号强度高于临界阈值时，可以根据顶部特征值检测到尖峰的存在，并且低于阈值，顶部特征值不提供任何信息。这样的结果形成了我们的理解的基础上，当PCA可以检测到一个低秩信号中存在的噪声。然而，并非所有关于尖峰的信息都必须包含在频谱中。我们研究的统计方法，包括非光谱的基本限制。我们的成果包括：I）对于高斯维格纳系综，我们表明PCA实现了各种良性先验的尖峰的最佳检测阈值。我们扩展了以前的工作，球对称和i.i.d. Rademacher先验通过一个基本的，统一的分析。II）对于任何非高斯Wigner系综，我们证明了PCA总是次优检测。然而，PCA的一个变体通过根据精心设计的函数预变换矩阵项来实现最佳阈值（对于良性先验）。这种方法之前已经陈述过，我们给出了严格和一般的分析。III）对于高斯Wishart系综和各种组上的同步问题，我们表明，效率低下的程序可以在PCA成功的阈值以下工作，而没有已知的有效算法实现这一点。在统计上可能做到的和可以有效做到的之间的这种技术差距仍然存在。
2016-12-23 cs.DS cs.IT math.IT
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Wasserstein GAN Can Perform PCA
Korea Advanced Institute of Science and Technology（韩国科学技术院）
生成对抗网络（GANs）已经成为一个强大的框架，可以学习各种领域中出现的生成模型。虽然最近有许多具有不同优化指标的GAN架构的开发激增，但我们仍然缺乏对这种GANs离最优性有多远的理解。在本文中，我们在简单的线性生成器高斯数据设置下对GANs的理论理解方面取得了进展，其中已知最佳最大似然生成器可以执行主成分分析（PCA）。我们发现，原来的GAN由Goodfellow et.无法恢复最佳PCA解决方案。另一方面，我们表明，Wasserstein GAN可以在样本大小的限制下接近PCA的解决方案，因此它可以作为一个最佳的GAN架构，产生最佳的发电机的基础，为广泛的数据设置。
2019-08-12 cs.IT cs.LG math.IT
High Dimensional Semiparametric Scale-Invariant Principal Component Analysis
本文提出了一种新的高维半参数主成分分析（PCA）方法-Copula成分分析（COCA）。半参数模型假设在未指定的边缘单调变换后，分布为多元高斯分布。COCA在三个方面改进了PCA和稀疏PCA：（i）它对建模假设具有鲁棒性;（ii）它对离群值和数据污染具有鲁棒性;（iii）它是尺度不变的，并且产生更多可解释的结果。我们证明了COCA估计获得快速的估计率和特征选择一致的维数是近指数大相对于样本量。仔细的实验证实，COCA优于稀疏PCA在合成和真实世界的数据集。
2014-02-18 stat.ML
Heteroskedastic PCA: Algorithm, Optimality, and Applications
提出了一种在异方差噪声背景下的主成分分析（PCA）方法。我们提出了一种算法称为HeteroPCA，它涉及迭代插补的样本协方差阵的对角元素，以消除估计偏差，由于异方差。该方法在广义协方差模型下计算效率高，且可证明是最优的。一个关键的技术步骤是奇异子空间上的确定性鲁棒扰动分析，这可以是独立的利益。该算法的有效性被证明在一系列的问题，在高维统计，包括奇异值分解（SVD）下异方差噪声，泊松PCA和奇异值分解异方差和不完全数据。
2021-04-01 math.ST stat.CO stat.ME
Power Iteration for Tensor PCA
在本文中，我们研究了尖峰张量模型的幂迭代算法，如[44]中所介绍的。给出了幂迭代算法收敛的充要条件。当幂迭代算法收敛时，对于秩为1的尖峰张量模型，我们证明了信号的尖峰强度和线性泛函的估计是渐近高斯的;对于多秩尖峰张量模型，我们证明了估计是渐近高斯混合的.这一新现象与基质模型不同。使用这些渐近结果，我们的估计，我们构建有效和高效的置信区间的尖峰强度和线性泛函的信号。
2020-12-26 math.PR math.ST stat.TH
Online Principal Component Analysis in High Dimension: Which Algorithm to Choose?
Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Université de Bourgogne Franche Comté（勃艮第-弗朗什孔泰大学）；DePaul University（德保罗大学）
在当前数据爆炸的背景下，不需要将所有数据存储在内存中的在线技术对于常规执行主成分分析（PCA）等任务是必不可少的。用每个新的观察更新PCA的递归算法已经在各个研究领域中被研究，并且在工业监测、计算机视觉、天文学和潜在语义索引等方面得到了广泛的应用。这一工作为实际中在线PCA算法的选择提供了指导。我们提出了在线PCA的主要方法，即扰动技术，增量方法和随机最优化，并比较它们的统计精度，计算时间和内存需求，使用人工和真实数据。扩展到缺失数据和功能数据进行了讨论。所有研究的算法都可以在CRAN上的R包onlinePCA中找到。
2015-11-11 cs.LG stat.ME stat.ML
Principal Component Analysis: A Generalized Gini Approach
提出了一种基于广义基尼相关指数的主成分分析方法（Gini PCA）。Gini PCA是基于方差的标准PCA的推广。它示出，在高斯的情况下，标准的PCA是等效的基尼PCA。它还证明了基于广义基尼相关矩阵的降维，依赖于城市街区的距离，是强大的离群值。蒙特卡罗模拟和应用程序的汽车数据（离群值）显示了基尼PCA的鲁棒性，并提供不同的解释相比，方差PCA的结果。
2019-10-22 econ.EM stat.CO stat.ME
Kernel PCA for multivariate extremes
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）；National University of Singapore（新加坡国立大学）
我们提出核主成分分析作为一种方法，用于分析多变量极值的依赖结构，并证明它可以是一个强大的工具，聚类和降维。我们的工作提供了一些理论上的洞察核PCA获得的原像，证明在一定条件下，他们可以有效地识别数据中的聚类。我们建立在这些新的见解，以严格表征基于极值样本的核PCA的性能，即，半径超过大阈值的随机向量的角部分。更具体地说，我们专注于在极值理论的角度或频谱措施，其特征在于多变量极端的渐近依赖性，并提供了一个仔细的分析的情况下，极端的线性因子模型产生。我们的核PCA原像的性能，这样的极端利用他们的渐近分布与戴维斯-卡汉扰动界的理论保证。我们的理论研究结果补充说明我们的方法的有限样本性能的数值实验。
2022-11-24 cs.LG math.ST stat.ME
On the Optimality of the Oja's Algorithm for Online PCA
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文证明Oja算法在任意次高斯分布下可以高概率实现无谱隙的全局在线主子空间逼近，并首次说明其误差上界与经典离线PCA下界在常数因子内最优匹配。
2022-01-18 cs.LG math.OC
Bayesian Variable Selection for Globally Sparse Probabilistic PCA
稀疏版本的主成分分析（PCA）强加自己作为简单，但强大的方式选择相关功能的高维数据在一个无监督的方式。然而，当计算几个稀疏的主成分时，所选变量的解释是困难的，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程称为全局稀疏概率PCA（GSPPCA），允许获得几个稀疏的组件具有相同的稀疏模式。这允许从业者识别与描述数据相关的原始变量。为此，使用Roweis的概率解释的PCA和高斯先验的负载矩阵，我们提供了第一个精确的计算贝叶斯PCA模型的边际似然。为了避免离散模型选择的缺点，这个框架的一个简单的放松。它允许使用变分期望最大化算法找到模型的路径。精确的边际似然，然后在此路径上最大化。这种方法是真实的和合成的数据集上说明。特别是，使用未标记的微阵列数据，GSPPCA推断更多的相关基因子集比传统的稀疏PCA算法。
2016-09-20 stat.ML
Tracy-Widom, Gaussian, and Bootstrap: Approximations for Leading Eigenvalues in High-Dimensional PCA
Aarhus University（奥胡斯大学）；University of California, Davis（加州大学戴维斯分校）
针对高维PCA中主特征值相变区域判定问题，提出新检验框架，并设计首个有理论保证的Bootstrap方法近似亚临界区域特征值泛函分布。
2026-10-05 math.ST stat.TH
Sequential Logistic Principal Component Analysis (SLPCA): Dimensional Reduction in Streaming Multivariate Binary-State System
UC Berkeley（加州大学伯克利分校）
由于基于流数据的应用的爆炸和自适应统计建模的需求，在许多新兴领域，例如能源最终使用剖面的建模中，顺序或在线降维引起了人们的兴趣。主成分分析（PCA）是降维的经典方法。然而，传统的基于奇异值分解（SVD）的主成分分析无法对偏离高斯分布的数据进行建模。Bregman Divergence最近被引入以实现广义PCA框架。如果降维后的随机变量服从伯努利分布，这种分布在许多新兴领域都存在，则广义PCA被称为Logistic PCA（LPCA）。在本文中，我们扩展批LPCA的顺序版本（即SLPCA），顺序凸优化理论的基础上。该算法的收敛性进行了讨论相比，批版本的LPCA（即BLPCA），以及其性能降低多变量二进制状态系统的维数。研究了该方法在建筑能耗终端剖面建模中的应用。
2014-07-16 cs.LG stat.AP stat.ML
Thresholding based Efficient Outlier Robust PCA
Microsoft Research India（微软研究院印度分院）
我们考虑离群鲁棒PCA（OR-PCA）的问题，其目标是恢复主方向，尽管存在离群数据点。也就是说，给定数据矩阵$M^*$，其中$(1-α)$分数的点是来自低维子空间的噪声样本，而$α$分数的点可以是任意离群值，目标是准确地恢复子空间。现有的结果\OR -PCA有严重的缺点：虽然有些结果是相当弱的噪声存在下，其他结果有运行时的二次尺寸，使他们不切实际的大规模应用。在这项工作中，我们提供了一种新的阈值为基础的迭代算法，每次迭代的复杂性在最线性的数据大小。此外，我们的方法可以处理的离群值的分数$α$接近常数，同时为一般噪声设置提供几乎最佳的计算复杂性。对于特殊的情况下，内点是从一个低维的子空间与加性高斯噪声，我们表明，我们的阈值为基础的方法的修改导致显着改善恢复误差（的子空间），即使在存在一个大部分的离群值。
2017-02-18 cs.LG
$e$PCA: High Dimensional Exponential Family PCA
许多应用，如光子限制成像和基因组学，涉及大型数据集的指数族分布的噪声条目。估计无噪声分布的协方差结构和主成分是一个有趣的问题。主成分分析（PCA）是用于此设置的标准方法，当噪声为非高斯时，该方法可能效率低下。提出了一种新的指数族分布主成分分析方法$e$ PCA（exponential family PCA）。$e$ PCA可用于大数据矩阵的降维和去噪。$e$ PCA涉及新的协方差阵估计量的特征分解，该估计量使用矩计算、收缩和随机矩阵理论以简单且确定性的方式构造。我们提供了一些理论上的理由，我们的估计，包括有限样本收敛速度，和高维度的Marchenko-Pastur定律。在模拟以及XFEL和SNP数据分析中，$e$ PCA优于PCA和指数族的各种PCA替代方案。一个开放源码的实现是可用的。
2017-03-06 stat.ME
Exact Low Tubal Rank Tensor Recovery from Gaussian Measurements
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；AI Institute（360人工智能研究院）
最近提出的张量核范数（TNN）[Lu et al.，2016; 2018 a]是由张量SVD引起的一个有趣的凸惩罚[Kilmer和Martin，2011]。它起着类似于矩阵核范数的作用，是矩阵秩的凸代理。考虑到基于TNN的张量鲁棒PCA [Lu等人，2018 a]是Robust PCA的一个优雅扩展，具有类似的紧恢复界，很自然地解决了从矩阵情况扩展的其他低秩张量恢复问题。然而，扩展和证明通常是繁琐的。一般原子范数提供了低复杂度结构诱导范数的统一视图，例如，$\ell_1$ -范数和核范数。精确恢复的基础上原子规范的通用测量所需的数量的尖锐估计是已知的文献。在本文中，通过对原子集的仔细选择，我们证明了TNN是一个特殊的原子范数。然后，通过计算高斯宽度的某些锥，这是必要的尖锐估计，我们得到了一个简单的界保证低管秩张量恢复高斯测量。具体来说，我们表明，通过解决TNN最小化问题，潜在的张量的大小$n_1\times n_2\times n_3$与管秩$r$可以完全恢复时，给定的高斯测量数是$O(r(n_1+n_2-r)n_3)$。与自由度$r(n_1+n_2-r)n_3$相比，它是阶次最优的.在高斯映射的基础上，通过TNN极小化给出了基于均匀随机映射的张量完备化的恢复保证。数值实验验证了我们的理论结果。
2018-06-07 cs.LG stat.ML
Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering
GIPSA-lab（格勒诺布尔阿尔卑斯大学物理与信息科学研究所）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）；University Grenoble-Alps（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）
本文介绍了一种降低谱聚类和主成分分析的基本代价和存储量的方法。该方法包括通过伯努利掩码随机地“穿孔”数据矩阵$X\in\mathbb{C}^{p\times n}$（或$\mathbb{R}^{p\times n}$）及其对应的核（Gram）矩阵$K$：用于$X$的$S\in\{0,1\}^{p\times n}$和用于$K$的$B\in\{0,1\}^{n\times n}$。因此，所得到的“双向穿孔”内核由$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$给出。我们证明，$X$组成的独立列从高斯混合模型，$n,p\to\infty$与$p/n\to c_0\in(0,\infty)$，$K$的频谱行为-其限制本征值分布，以及其孤立的本征值和本征向量-是完全易于处理的，并表现出一系列的反直观的现象。我们特别证明，并在GAN生成的图像数据库上经验性地证实，有可能大幅刺穿数据，从而提供可能巨大的计算和存储增益，以实现几乎恒定的（PCA聚类）性能。这项初步研究从大维度的角度重新思考了基本机器学习模型的计算和存储成本。
2021-05-17 cs.LG stat.ML
Maximally Correlated Principal Component Analysis
Stanford University（斯坦福大学）
在大数据时代，减少数据维度在许多科学领域都至关重要。广泛使用的主成分分析（PCA）通过计算最大程度地解释数据方差的低维数据嵌入来解决这个问题。然而，PCA有两个主要缺点。首先，它只考虑变量（特征）之间的线性相关性，其次它不适合分类数据。我们提出了最大相关主成分分析（MCPCA）来解决这些问题。MCPCA计算其协方差阵具有最大Ky Fan范数的变量的变换。变量变换是未知的，可以是非线性的，并且在优化中计算。MCPCA也可以被看作是最大相关的多变量扩展。对于联合高斯变量，我们表明，对应的身份（或负的身份）变换的协方差矩阵majorizes非单位函数的协方差阵。利用这一结果，我们的特点全球MCPCA优化联合高斯变量的非线性函数的每个秩约束。对于分类变量，我们的特点是全球MCPCA优化的秩一约束的基础上使用成对联合分布计算的矩阵的领导特征向量。对于一般的秩约束，我们提出了一个块坐标下降算法，并证明了其收敛到稳定点的MCPCA优化。我们比较了MCPCA与PCA和其他最先进的降维方法，包括Isomap，LLE，多层自编码器（神经网络），核PCA，概率PCA和扩散映射在几个合成和真实的数据集。我们表明，MCPCA始终提供了改进的性能相比，其他方法。
2017-02-21 cs.IT cs.LG math.IT
Sparse NonGaussian Component Analysis
非高斯成分分析（NGCA）是近年来提出的一种用于高维数据分析的方法，它能够以迭代和结构自适应的方式识别整个分布中的低维非高斯成分。NGCA过程的一个重要步骤是使用主成分分析（PCA）方法识别非高斯子空间。本文提出了一种新的方法NGCA称为稀疏NGCA取代PCA为基础的过程与一个新的算法，我们称之为凸投影。
2009-04-24 math.ST stat.TH
Multi-resolution Super Learner for Voxel-wise Classification of Prostate Cancer Using Multi-parametric MRI
Johns Hopkins University（约翰斯·霍普金斯大学）
虽然目前的研究已经表明多参数MRI（mpMRI）在诊断前列腺癌（PCa）中的重要性，但需要进一步研究如何结合mpMRI数据的特定结构，例如受试者体内的区域异质性和体素间相关性。本文提出了一种基于机器学习的方法，通过考虑数据的独特结构来改进逐体素PCa分类。我们提出了一种多分辨率建模方法来考虑区域异质性，其中在多个分辨率下本地训练的基础学习者使用超级学习者进行组合，并通过有效的空间高斯核平滑来考虑体素之间的相关性。该方法是灵活的，因为超级学习者框架允许实现任何分类器作为基础学习者，并且可以容易地扩展到将癌症分类为更多的子类别。我们描述了详细的分类算法的二进制PCa的状态，以及顺序的PCa的临床意义的加权似然方法，以提高检测不太普遍的癌症类别。我们说明了所提出的方法优于传统的建模和机器学习方法，通过模拟和应用程序在体内的数据。
2021-11-03 cs.LG stat.ML
Edgeworth correction for the largest eigenvalue in a spiked PCA model
研究了$n$零均值高斯观测值样本协方差矩阵最大特征值$\hat{\ell}$在$p+1$维上的分布的改进逼近.我们假设一个总体主成分具有方差$\ell > 1$，其余的“噪声”成分具有共同方差$1$。在高维极限$p/n \to γ> 0$中，我们开始研究超临界情形下对$\hat{\ell}$的极限高斯分布的Edgeworth修正$\ell > 1 + \sqrt γ$。偏度校正涉及与经典设置中一样的二次多项式，但是系数反映了高维结构。该方法涉及Edgeworth展开的样本噪声特征值的条件下获得的独立的非同分布的变量的总和，并限制批量属性\textit{and}波动这些噪声特征值。
2017-10-18 math.ST stat.TH
On the Estimation Performance of Generalized Power Method for Heteroscedastic Probabilistic PCA
针对异方差概率PCA的非凸最大似然问题，提出广义幂法GPM并证明其几何收敛的估计性能保证，实验验证其在高斯与次高斯噪声下的优越性。
2023-12-06 eess.SP math.OC stat.ML
Transportation-Based Functional ANOVA and PCA for Covariance Operators
我们考虑的问题比较几个样本的随机过程相对于他们的二阶结构，并描述在这个二阶结构的变化的主要模式，如果存在。这些任务可分别被视为协方差运算符的方差分析（ANOVA）和主成分分析（PCA）。它们在函数数据分析中自然出现，在函数数据分析中，几个总体相对于其平均值的分散性质进行对比，而不是相对于其平均值本身。我们贡献了一种新的方法的基础上最佳（多）运输，每个协方差可以确定一个中心的高斯过程相应的协方差。通过构建这些高斯过程的最佳同时耦合，我们对比（线性）映射，实现它的身份相对于一个范数诱导的距离。由此产生的检验统计量，校准排列，被认为是明显优于国家的最先进的，并提供相当大的权力，即使在当地的替代品。这种效应被认为是真正的功能性的，并且与无限维中完美辨别的潜力有关。在拒绝的原假设规定平等的情况下，几何解释的运输地图允许我们构建一个（切空间）PCA揭示的主要模式的变化。作为一个必要的步骤，发展我们的方法，我们证明结果的存在性和有界性的最佳multitransport映射。这些都是独立的利益在理论的运输高斯过程。运输方差分析和主成分分析说明了各种模拟和真实的例子。
2022-12-09 stat.ME
Isotropic PCA and Affine-Invariant Clustering
Georgia Tech（佐治亚理工学院）
提出了一种新的聚类算法。该算法的关键属性是它是仿射不变的，即，它为输入的任何仿射变换产生相同的划分。当输入来自混合模型时，它具有很强的保证。对于两个任意高斯的混合，该算法正确地分类样本，仅假设两个分量可由超平面分离，即，存在一个半空间，其中包含一个高斯的大部分，而几乎没有其他的概率质量。这几乎是最好的可能，大大改善了已知的结果。对于k > 2的分量，该算法只要求存在一个k-1维的子空间，在这个子空间中，每个方向上的重叠都很小。在这里，我们将重叠定义为以下两个量的比值：1）点与其分量均值之间的平均平方距离，以及2）点与混合均值之间的平均平方距离。主要结果也可以用线性判别分析的语言来表述：如果标准Fisher判别式足够小，则不需要标签来估计用于投影的最佳子空间。我们的主要工具是各向同性变换，光谱投影和一个简单的重新加权技术。我们称这种组合为各向同性PCA。
2008-08-04 cs.CG cs.LG
Attention-based PCA
Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation（索邦大学）；Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d’Orsay（巴黎萨克雷大学）
本文研究了注意力机制在无监督问题PCA中的表现，证明在高斯数据上训练时，softmax和线性注意力层学习的参数与协方差矩阵的主特征向量对齐，建立了与PCA的直接联系，并扩展到上下文设置中。
2026-06-19 math.OC stat.ML
