Detecting spatial patterns with the cumulant function. Part I: The theory
在气候研究中，检测在很大程度上偏离样本均值的空间模式仍然是一个统计挑战。虽然主成分分析（PCA）或等效的经验正交函数（ERF）分解经常应用于此目的，但它只能在基础多元分布为高斯分布时提供有意义的结果。实际上，PCA是基于优化二阶矩量，并且协方差阵只能捕获多变量高斯向量的完整依赖结构。每当手头的应用程序不能满足这一正态性假设（如降水数据），替代品和/或改进主成分分析必须开发和研究。为了超越限制PCA适用性的二阶顺序统计量约束，我们利用可以产生高阶矩信息的累积量函数。这个累积量函数，众所周知的统计文献，使我们能够提出一个新的，简单而快速的程序来识别非高斯数据的空间模式。我们的算法包括最大化的累积量函数。为了说明我们的方法，它的实现，得到明确的计算进行了三个家庭的多元随机向量。此外，我们表明，我们的算法对应于选择的方向沿投影数据显示最大的边缘概率密度分布的尾巴。
2007-07-04 math.ST stat.TH
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Center for Applied Scientific Computing（应用科学计算中心）
自动编码器是一个人工神经网络模型，它学习未标记数据的隐藏表示。对于线性传递函数，它类似于主成分分析（PCA）。虽然这两种方法都使用权重向量进行线性变换，但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性（SNS）的方法，排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差（NED）来衡量直方图的“兴趣度”，并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集，我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
MML Probabilistic Principal Component Analysis
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
本文提出基于贝叶斯最小信息量方法的自动主成分选择算法，并改进了残差方差估计方法，扩展至有限混合模型。
2026-02-09 stat.ME
Online Principal Component Analysis in High Dimension: Which Algorithm to Choose?
Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Université de Bourgogne Franche Comté（勃艮第-弗朗什孔泰大学）；DePaul University（德保罗大学）
在当前数据爆炸的背景下，不需要将所有数据存储在内存中的在线技术对于常规执行主成分分析（PCA）等任务是必不可少的。用每个新的观察更新PCA的递归算法已经在各个研究领域中被研究，并且在工业监测、计算机视觉、天文学和潜在语义索引等方面得到了广泛的应用。这一工作为实际中在线PCA算法的选择提供了指导。我们提出了在线PCA的主要方法，即扰动技术，增量方法和随机最优化，并比较它们的统计精度，计算时间和内存需求，使用人工和真实数据。扩展到缺失数据和功能数据进行了讨论。所有研究的算法都可以在CRAN上的R包onlinePCA中找到。
2015-11-11 cs.LG stat.ME stat.ML
Iteratively Reweighted Least Squares Algorithms for L1-Norm Principal Component Analysis
Northwestern University（西北大学）
主成分分析（PCA）通常用于通过选择少数能解释数据的大部分方差结构的正交向量来降低数据的维数。L1 PCA使用L1范数来度量误差，而传统PCA使用L2范数。对于L1 PCA问题，最小化重建数据的拟合误差，我们提出了一个精确的加权和近似算法的基础上迭代加权最小二乘。我们提供收敛性分析，并比较其性能对基准算法在文献中。计算实验表明，所提出的算法一致执行最好的。
2016-09-19 cs.LG stat.ML
Bayesian Variable Selection for Globally Sparse Probabilistic PCA
稀疏版本的主成分分析（PCA）强加自己作为简单，但强大的方式选择相关功能的高维数据在一个无监督的方式。然而，当计算几个稀疏的主成分时，所选变量的解释是困难的，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程称为全局稀疏概率PCA（GSPPCA），允许获得几个稀疏的组件具有相同的稀疏模式。这允许从业者识别与描述数据相关的原始变量。为此，使用Roweis的概率解释的PCA和高斯先验的负载矩阵，我们提供了第一个精确的计算贝叶斯PCA模型的边际似然。为了避免离散模型选择的缺点，这个框架的一个简单的放松。它允许使用变分期望最大化算法找到模型的路径。精确的边际似然，然后在此路径上最大化。这种方法是真实的和合成的数据集上说明。特别是，使用未标记的微阵列数据，GSPPCA推断更多的相关基因子集比传统的稀疏PCA算法。
2016-09-20 stat.ML
Deterministic parallel analysis: An improved method for selecting factors and principal components
因子分析和主成分分析（PCA）在许多应用领域都有应用。第一步，选择组件的数量，仍然是一个严峻的挑战。我们的工作为这个重要问题提出了改进的方法。最流行的最先进的方法之一是并行分析（PA），它将观察到的因子强度与仅噪声模型下的模拟因子强度进行比较。本文提出了改进PA。我们首先将其去随机化，提出确定性并行分析（DPA），它比PA更快，更可重复。PA和DPA都容易出现遮蔽现象，其中强因子使得难以检测较小但更有趣的因子。我们建议用通货紧缩来抵消阴影效应。我们还提出了提高决策阈值，以提高估计精度。我们证明了我们的方法的几个一致性结果，并在模拟测试。我们还说明了我们的方法从人类基因组多样性项目，在那里他们显着提高准确性的数据。
2019-09-16 stat.ME
Shape Operator PCA: Curvature-Aware Projections for Geometric Machine Learning
Federal University of São Carlos（圣卡洛斯联邦大学）
本文提出SHOPCA，一种融入微分几何信息的无监督降维方法，通过混合系数α正则化协方差矩阵，基于谱特征间隙无监督选α，在50余个数据集上较PCA提升聚类质量，小样本场景优于UMAP。
2026-08-18 cs.AI cs.CV cs.LG
A Survey: Potential Dimensionality Reduction Methods
该综述系统比较PCA、KPCA、Sparse KPCA、t-SNE和UMAP五种降维方法，从数学原理、复杂度及优缺点出发，为不同应用场景的方法选择提供指导。
2025-02-18 stat.OT
Logistic principal component analysis via non-convex singular value thresholding
在当前的生物学研究中，多元二进制数据变得越来越丰富。逻辑主成分分析（PCA）是通过利用底层低秩结构来探索多元二进制数据集内部关系的常用工具之一。基于二值数据的广义线性模型的潜变量解释，我们重新表达了逻辑主成分分析模型。多元二进制数据集被假定为未观测的定量数据集的符号观测，其上假定存在低秩结构。然而，标准的逻辑主成分分析模型（使用精确的低秩约束）容易过拟合，这可能导致一些估计的参数朝着无穷大发散。我们建议通过非凸奇异值阈值来拟合Logistic PCA模型，以减轻过拟合问题。采用一种高效的优化-最小化算法对模型进行拟合，并引入一种基于缺失值的交叉验证（CV）过程进行模型选择。对不平衡二进制数据和低信噪比的真实模拟实验表明，基于CV误差的模型选择过程在选择所提出的模型方面是成功的。此外，所选择的模型表现出优越的性能，在恢复底层的低秩结构相比，模型与凸核范数惩罚和精确的低秩约束。一个二进制拷贝数畸变数据集被用来说明所提出的方法在实践中。
2019-02-25 stat.ME stat.ML
Selective Multiple Power Iteration: from Tensor PCA to gradient-based exploration of landscapes
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS/IN2P3（法国国家科学研究中心/国家核物理与粒子物理研究所）；IJCLab（伊尔-约里奥-居里实验室）；CEA（法国原子能和替代能源委员会）；List（系统与技术集成实验室）
我们提出了选择性多功率迭代（SMPI），一种新的算法，以解决重要的张量PCA问题，包括在恢复由高斯噪声张量$\bf{Z} \in (\mathbb{R}^n)^{\otimes k}$损坏的尖峰$\bf{v_0}^{\otimes k}$，使$\bf{T}=\sqrt{n} β\bf{v_0}^{\otimes k} + \bf{Z}$，其中$β$是信噪比（SNR）。SMPI包括生成多项式数量的随机初始化，对每个初始化执行多项式数量的对称张量幂迭代，然后选择最大化$\langle \bf{T}, \bf{v}^{\otimes k} \rangle$的那个。各种数值模拟$k=3$在常规考虑的范围$n \leq 1000$表明，SMPI的实验性能大大提高现有的算法，并成为理论上的最佳恢复。我们表明，这些意想不到的性能是由于一个强大的机制，其中噪声起着关键作用的信号恢复，并发生在低$β$。此外，这种机制的结果从SMPI的五个基本特征，区别于以前的算法的基础上功率迭代。这些显著的结果可能对张量PCA的实际和理论应用产生强烈的影响。(i)我们提供了该算法的一个变体来处理低秩CP张量分解。这些算法甚至在实际数据上也优于现有的方法，这对实际应用产生了巨大的潜在影响。(ii)我们提出了新的理论见解的行为SMPI和梯度下降方法的优化高维非凸景观，存在于各种机器学习问题。(iii)我们希望这些结果可…
2021-12-23 cs.LG stat.ML
Non-Asymptotic Analysis of Tangent Space Perturbation
Department of Applied Mathematics, University of Colorado, Boulder（科罗拉多大学博尔德分校应用数学系）
利用非渐近随机矩阵理论研究局部主成分分析估计切空间的稳定性，并给出可实际应用的扰动界限。
2013-12-06 cs.NA math.NA physics.data-an
A Unified Framework for Probabilistic Component Analysis
University of Twente（特文特大学）；Imperial College London（帝国理工学院）
我们提出了一个统一的框架，减少了概率成分分析技术的建设，仅仅是选择的潜在的邻居，从而提供了一个优雅的和原则性的框架，创造新的成分分析模型，以及构建概率等价的确定性成分分析方法。在我们的框架下，我们统一了许多非常流行和研究的成分分析算法，如主成分分析（PCA），线性判别分析（LDA），局部保持投影（LPP）和慢特征分析（SFA），其中一些在文献中没有概率等价物。我们首先定义的马尔可夫随机场（MRF）封装的潜在连接的上述组件分析技术，随后，我们表明，所有PCA，LDA，LPP和SFA产生的投影方向也产生了一个单一的联合概率密度函数的最大似然（ML）的解决方案，通过选择一个定义的MRF先验，同时利用一个简单的观察模型。此外，我们提出了新的期望最大化（EM）算法，利用拟议的联合PDF，而我们提出的方法，通过参数化MRF产品推广到任意连接。模拟和真实世界的数据的理论分析和实验表明，所提出的框架的有用性，通过导出的方法，以及优于国家的最先进的等价物。
2014-11-14 cs.CV cs.LG stat.ML
Tandem clustering with invariant coordinate selection
针对PCA在串联聚类中仅关注惯性的局限，提出基于不变坐标选择（ICS）的新方法，通过联合对角化散布矩阵实现降维，实验证明其聚类效果显著优于PCA。
2024-03-22 stat.ME
TransPCA for Large-dimensional Factor Analysis with Weak Factors: Power Enhancement via Knowledge Transfer
本文提出TransPCA方法，通过从大量信息性面板数据集中迁移知识来提升弱因子模型下主成分估计的收敛速率，并给出数据集选择准则以避免负迁移。
2025-03-11 math.ST stat.TH
Self-Expressive Decompositions for Matrix Approximation and Clustering
Northwestern University（西北大学）；Rice University（莱斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
数据感知的降维和矩阵分解方法旨在发现数据集合中的低维结构。经典方法通过学习可以有效表达集合的基础来发现这种结构。最近，“自我表达”，即使用数据向量的一个小子集来表示完整集合的想法，已经被开发为学习的替代方案。在这里，我们介绍了一种可扩展的方法来计算稀疏的SElf-Expressive分解（SEED）。SEED是一种贪婪方法，它通过从数据集中顺序选择不相干向量来构建基。在从数据集中的向量子集形成基之后，SEED然后计算关于该基的数据集的稀疏表示。我们开发的充分条件下，种子准确地表示低秩矩阵和向量采样的工会独立子空间。我们展示了SEED如何用于从矩阵近似和去噪到聚类的应用，并将其应用于众多现实世界的数据集。我们的研究结果表明，种子是一个有吸引力的低复杂度的替代其他稀疏矩阵分解方法，如稀疏PCA和自表达的聚类方法。
2015-05-04 cs.CV cs.IT cs.LG
Battery Lifetime Prediction using Data-driven Modeling Approaches
North Carolina State University（北卡罗来纳州立大学）
本研究利用数据驱动建模方法，通过特征工程和神经网络模型预测锂离子电池寿命，证明了神经网络在处理高维数据方面的有效性。
2026-03-01 cs.CE cs.SY eess.SY
