Searching for the core variables in principal components analysis
在这篇文章中，我们介绍了主成分分析中选择变量的过程。该程序的开发，以确定一个小的原始变量的子集，最好地解释通过非参数关系的主成分。数据集中通常有一些噪声无信息的变量，以及一些变量由于它们的普遍相互依赖而彼此密切相关。该程序的目的是使用后，令人满意的初步使用的主成分分析与所有变量，其目的是帮助解释潜在的结构。我们分析了该方法的渐近行为，并给出了一些例子。
2017-01-30 math.ST stat.TH
Adjusting systematic bias in high dimensional principal component scores
主成分分析一直是高维数据降维的有力工具。我们假设一个方差发散模型，并使用高维，低样本量的渐近性，即使主成分方向是不一致的，样本和预测的主成分得分可以在揭示人口结构是有用的。我们进一步表明，这些分数是有偏见的，和偏见是渐近分解成旋转和缩放部分。我们提出的方法，偏差调整，被证明是一致的，并在高维的情况下，小样本量。在分类设置中证明了偏差调整的潜在优势。
2020-09-25 math.ST stat.TH
Principal Component Analysis for Functional Data on Riemannian Manifolds and Spheres
Functional data analysis on nonlinear manifolds has drawn recent interest. Sphere-valued functional data, which are encountered for example as movement trajectories on the surface of the earth, are an important special case. We consider an intrinsic principal component analysis for smooth Riemannian manifold -valued functional data and study its asymptotic properties. Riemannian functional principal component analysis (RFPCA) is carried out by first mapping the manifold-valued data through Riemannian logarithm maps to tangent spaces around the time-varying Fréchet mean function, and then perfo…
2017-10-24 math.ST stat.TH
Assessing extrema of empirical principal component functions
估计和表示函数数据的分布的困难意味着主成分方法在函数数据分析中比在更传统的有限维设置中发挥更大的作用。主成分函数中的局部极大值和极小值具有直接的重要性;它们表示在随机函数的域中对函数值的影响相对较强但符号相反的地方。我们探讨了经验主成分函数的极值之间的关系的统计特性，和他们的对应物的真正的主成分函数。它表明，经验主成分函数有相对较小的麻烦捕捉传统的极值，但可以遇到困难区分一个“肩膀”的曲线从一个小颠簸。例如，当真实主成分函数具有肩部时，经验主成分函数具有凸起的概率近似等于1/2。我们建议和描述的自助方法评估极值的强度的性能。结果表明，在这方面，子样本自举比标准自举更有效。提出了一种“自举似然法”来度量极值强度。探索性的数值方法的建议。
2006-08-01 math.ST stat.TH
Consistency of Generalized Dynamic Principal Components in Dynamic Factor Models
我们研究了Peña和Yohai（2016）中引入的广义动态主成分的理论性质。特别是，我们证明了，当数据遵循动态因子模型，重建提供的程序收敛于均方模型的共同部分的系列和期间的数量发散到无穷大。模拟研究的结果支持我们的研究结果。
2017-10-31 math.ST stat.TH
Principal components analysis of regularly varying functions
本文研究了函数型数据主成分分析的渐近性质。现有的结果假设存在四阶矩。我们开发类似的结果在一个设置，不需要这个假设。相反，我们假设所观察到的函数是规则变化的。我们得到了样本协方差算子和样本函数主成分的渐近分布。我们得到了矩收敛和几乎必然收敛的一些结果。我们应用新的理论建立了一个泛函线性模型中回归算子的相合性。
2018-12-07 math.ST stat.TH
A note on the prediction error of principal component regression in high dimensions
本文分析了高维主成分回归（PCR）的预测误差，证明了给定设计下平方风险的高概率界，揭示了有效秩条件对PCR与预言方法表现对比的影响及违反时的自诱导正则化现象。
2024-01-02 math.ST stat.TH
Approximating the Span of Principal Components via Iterative Least-Squares
在上个世纪的过程中，主成分分析（PCA）已经成为现代科学方法的支柱之一。虽然PCA通常被视为一种统计工具，旨在寻找方差最大化的正交方向，但Pearson在1901年首次引入PCA是通过定义一个非线性最小二乘最小化问题来完成的，该问题将平面拟合到分散的数据点。因此，PCA和线性最小二乘回归在某种程度上是相关的，因为它们都旨在将平面拟合到数据点。在本文中，我们提出了两种方法之间的连接。具体来说，我们提出了一种迭代线性最小二乘方法，产生一系列子空间，它收敛到由领先的主成分（即，主空间）。
2019-07-28 math.ST stat.TH
Principal component analysis based clustering for high-dimension, low-sample-size data
在本文中，我们考虑基于主成分分析（PCA）的高维，低样本量（HDLSS）数据的聚类。我们给出了理论上的原因，为什么PCA是有效的聚类HDLSS数据。首先，我们推导出从两类混合模型的HDLSS数据的几何表示。借助几何表示，我们给出了HDLSS背景下样本主成分得分的几何一致性性质。我们发展了多类混合模型的几何表示和几何一致性性质的思想。我们表明，PCA可以分类HDLSS数据在一定条件下，在一个令人惊讶的明确的方式。最后，我们通过使用微阵列数据集展示了聚类的性能。
2015-03-16 math.ST stat.TH
Asymptotics for Model Selection in Probabilistic Principal Component Analysis
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Alberta（阿尔伯塔大学）；KU Leuven（荷语鲁汶大学）
本研究利用奇异学习理论工具，推导了概率主成分分析（PPCA）的边缘似然渐近性质，提出结合奇异贝叶斯信息准则（sBIC）的有效模型选择方法，可选择主成分数量，还可在PPCA与因子分析间选择，经模拟和真实数据验证有效。
2026-08-25 math.ST stat.TH
Quantifying the Estimation Error of Principal Components
主成分分析是一种重要的模式识别和降维工具。主成分被计算为最大似然协方差$\widehatΣ$的特征向量，该最大似然协方差近似于总体协方差$Σ$，并且这些特征向量通常用于提取关于所研究的总体的变量（或属性）的结构信息。由于PCA基于代理协方差$\widehatΣ$的特征分解，而不是地面实况$Σ$，因此理解每个个体特征向量中的近似误差作为可用样本数量的函数是很重要的。Kolchinskii和Lounici最近的结果给出了这样的界限。在本文中，我们锐化这些界限，并表明，特征向量往往可以重建到所需的精度从一个样本的严格较小的大小顺序。
2017-10-27 math.ST stat.TH
Derivative Principal Component Analysis for Representing the Time Dynamics of Longitudinal and Functional Data
我们提出了一个非参数的方法来明确地建模和表示的衍生物的光滑的基本轨迹的纵向数据。这种表示是基于一个直接的Karhunen-Loève扩展的未观察到的衍生物，并导致衍生主成分分析的概念，补充功能主成分分析，最流行的工具之一的功能数据分析。建议的衍生主成分得分可以获得不规则间隔和稀疏观察的纵向数据，通常遇到的生物医学研究，以及密集测量的功能数据。新的一致性结果和渐近收敛速度的衍生主成分分数和模型的其他组件的建议估计的稀疏或密集的观测和温和的条件下，一个统一的计划。我们比较所提出的表示衍生工具与替代方法在模拟设置，也在一个小袋鼠生长曲线的应用。它出现的表示使用所提出的衍生主成分分析恢复底层衍生物更准确地相比，主成分分析为基础的方法，特别是在设置中的功能数据表示只有非常少量的组件或密集采样。在第二个小麦光谱分类的例子中，衍生主成分分数被发现是更好的预测小麦的蛋白质含量比传统的功能主成分分数。
2017-07-14 math.ST stat.ME stat.TH
A note on the variance in principal component regression
本文指出主成分回归在遗漏重要维度时不仅会导致无法由特征值评估的拟合不足，还证明其估计量相比普通最小二乘法方差可能增加。
2023-06-29 math.ST stat.ME stat.TH
On Principal Components Regression, Random Projections, and Column Subsampling
主成分回归（PCR）是传统的线性回归降维方法，一直受到批评和辩护。关于PCR的一个问题是，对于大型数据集，获得领先的主成分往往需要计算。虽然随机投影不具备领先主子空间的最优性，但它们在计算上很吸引人，因此近年来越来越受欢迎。在本文中，我们提出了一个分析表明，随机投影满足Johnson-Lindenstrauss嵌入属性，在随后的回归的预测误差接近PCR，在需要比主成分随机投影的数量稍大的代价。列子采样构成了Johnson-Lindenstrauss变换类之外的一种更便宜的随机降维方法。我们提供基于合成和真实数据的数值结果以及基本理论，揭示统计性能方面的差异和共性。
2017-10-08 math.ST stat.ML stat.TH
Principal components in linear mixed models with general bulk
本文研究多元混合效应线性模型协方差估计的主成分。我们表明，在高维，主特征值和特征向量可能会表现出偏见和混叠的影响，不存在于低维设置。我们推导出一阶限制的主要特征值的位置和特征向量投影在一个高维渐近框架，允许一般人口谱分布的随机效应和扩展以前的结果从一个更严格的尖峰模型。我们的分析使用免费的概率技术，我们开发了两个一般的工具，独立的利益-强渐近自由的GOE和确定性矩阵和自由的确定性等价近似的双线性型的预解式。
2020-08-04 math.PR math.ST stat.TH
Sparse principal component analysis and iterative thresholding
主成分分析（PCA）是一种经典的降维方法，它将数据投影到由协方差阵的前导特征向量所构成的主子空间上。然而，当特征数量p与样本量n相当或甚至比其大得多时，其表现较差。在本文中，我们提出了一个新的迭代阈值方法估计主子空间的设置中的领导特征向量稀疏。在尖峰协方差模型下，我们发现新方法在一系列高维稀疏设置中一致地恢复了主子空间和前导特征向量，甚至是最优的。仿真算例也证明了该算法的优越性。
2013-05-24 math.ST stat.ME stat.TH
On the Correlation between Random Variables and their Principal Components
Warsaw School of Computer Science（华沙计算机科学学院）
本文推导出随机变量与其主成分间相关系数的代数公式，该公式与因子载荷公式一致，可用于优化主成分及因子数量。
2023-10-09 cs.LG math.ST stat.TH
An Infinitesimal Probabilistic Model for Principal Component Analysis of Manifold Valued Data
University of Copenhagen（哥本哈根大学）
我们提供了一个概率和无穷小的观点如何主成分分析程序（PCA）可以推广到非线性流形值数据的分析。从概率PCA的解释欧几里德PCA过程，我们展示了如何PCA可以推广到流形的内在方式，不诉诸线性化的数据空间。基本的概率模型是通过利用欧氏半鞅的随机发展将欧氏随机过程映射到流形上来构造的。该结构使用连接和束的共变张量，以允许全球运输的主要特征向量，该模型是一个例子，如何主纤维丛可以用来处理缺乏全球坐标系和方向的特点，多方面的价值统计。我们展示了如何曲率意味着非积分的等价的欧几里得主子空间，以及如何随机流提供了一种替代明确建设这样的子空间。我们描述的参数推断和预测的主成分估计程序，我们给嵌入式表面上的模型的属性的例子。
2018-06-24 cs.CV math.ST stat.TH
Principal components of spiked covariance matrices in the supercritical regime
本文研究了超临界条件下尖峰协方差阵的极值特征值和特征向量的渐近性态。具体地说，我们推导出在这个政权的极端特征值和广义分量的特征向量的联合分布。
2020-08-28 math.PR math.ST stat.TH
On the explanatory power of principal components
我们证明，如果我们有一个正交基，（$u_1,\ldots,u_p$），并且选择$p+1$向量$v_1,\ldots, v_p$和$w$，使得向量遍历原点，则$w$更接近基中的所有向量而不是更接近$v_1,\ldots, v_p$的概率至少为1/2，并且随着$p$增加到无穷大而收敛到区间[-1，1]上的正态分布;也就是说，$Φ(1)-Φ(-1)\approx0.6826$。如果我们把正交基作为主成分的方向，这个结果对回归和其他学习设置中的主成分分析有相关的影响。
2014-04-19 math.PR math.ST stat.TH
Spiked covariances and principal components analysis in high-dimensional random effects models
我们研究了多变量随机和混合效应线性模型中的主成分分析，假设每个随机效应的协方差阵具有球形加尖峰结构。我们刻画了高维渐近条件下MANOVA方差分量估计的离群样本特征值和特征向量的行为。我们的研究结果表明，混叠现象可能会发生在高维，其中一个方差分量的MANOVA估计的特征值和特征向量可能会受到其他组件。我们提出了一种替代的方法来估计真正的主特征值和特征向量，渐近纠正这个混叠问题。
2018-06-25 math.PR math.ST stat.ME
Testing Goodness-of-Fit for Conditional Distributions: A New Perspective based on Principal Component Analysis
本文针对参数条件分布拟合优度检验问题，基于残差标记经验过程提出条件主成分分析方法，构建多种检验形式并设计分量选择策略，经蒙特卡洛实验验证了有限样本性能。
2025-06-17 econ.EM math.ST stat.TH
On the Multiway Principal Component Analysis
多路数据变得越来越普遍。虽然有许多方法可以将主成分分析（PCA）从通常的数据矩阵扩展到多路阵列，但它们与通常的PCA的概念差异以及这种差异的方法学含义仍然在很大程度上未知。这项工作旨在具体解决这些问题。特别是，我们澄清PCA和奇异值分解（SVD）的多路数据之间的细微差别，并表明，多路主成分（PC）可以可靠地估计在没有通常的PCA所需的特征间隙，并在一般情况下更有效地比通常的PC。此外，样本多路PC是渐近独立的，因此允许对总体PC进行单独和更准确的推断。通过数值模拟和实际数据的例子，多路PCA的实际优点进一步证明。
2023-02-14 math.ST stat.ME stat.TH
Sparse principal component analysis via axis-aligned random projections
我们介绍了一种新的方法，稀疏主成分分析的基础上聚集的特征向量信息从精心选择的轴对齐的随机投影的样本协方差阵。与大多数替代方法不同，我们的算法是非迭代的，所以不容易受到初始化选择不好的影响。我们提供了理论保证下，我们的主子空间估计可以达到最小最大的最优收敛速度在多项式时间。此外，我们的理论提供了一个更精细的理解稀疏主成分估计的问题中的统计和计算的权衡，揭示了一个微妙的相互作用之间的有效样本量和随机投影的数量，需要达到最小最大的最优速率。数值研究提供了进一步的洞察过程，并确认其极具竞争力的有限样本性能。
2019-05-06 math.ST stat.ME stat.ML
Functional Principal Component Analysis for Cointegrated Functional Time Series
本文研究如何将函数主成分分析（FPCA）用于协整函数时间序列，提出一种改进的FPCA方法，既能更有效地估计协整向量，又能构建检验协整函数时间序列基本性质的新检验。
2023-04-17 econ.EM math.ST stat.ME
When are the most informative components for inference also the principal components?
University of Michigan（密歇根大学）
信号加噪声数据矩阵的奇异值分解的哪些分量对于检测或估计嵌入式低秩信号矩阵的推理任务来说信息量最大？主成分分析将更大的重要性归于捕获最大变化的成分，即，与最大奇异值相关联的奇异向量。这种选择通常通过调用Eckart-Young定理来证明，即使该工作解决了如何使用低秩近似最好地表示信号加噪声矩阵的问题，而不是如何最好地推断潜在的低秩信号分量。在这里，我们采取的第一原理的方法，我们开始与信号加噪声的数据矩阵，并显示如何频谱的噪声只占主导地位的奇异值分解的数据矩阵的主要或中间组件将是信息组件的推断。简单地说，如果噪声谱支持在一个连接的区间上，在某种意义上，我们使精确，那么使用主成分是合理的。当噪声频谱在多个间隔上得到支持时，中间分量可能比主分量提供更多信息。最终结果是在噪声矩阵为i.i.d.的设置中使用主成分的适当理由。高斯和场景的识别，一般涉及异质噪声模型，例如高斯混合，其中中间分量可能比主分量信息更多，因此可以利用它们来提取额外的处理增益。我们的研究结果表明，如何盲目使用主成分可能会导致次优甚至错误的推理，因为相变，分离的制度，其中的主成分是信息的制度，他们是无信息的。
2013-02-05 cs.DS cs.IT cs.LG
Inference for Model Misspecification in Interest Rate Term Structure using Functional Principal Component Analysis
水平、斜率和曲率是利率期限结构的三个常用的主成分，因此在建模中得到了广泛的应用。本文的特点是异质性如何错误指定这些模型是通过时间。将Nelson-Siegel模型中的标准正交基解释为三个因子，设计了两个非参数检验，分别考虑特征函数的排序和不考虑特征函数的排序，检验标准正交基是否等价于数据驱动的函数主成分基。最终，我们发现两个基地之间的高离散度时，罕见的事件发生，这表明偶尔的错误，即使该模型是整体表达。
2022-12-21 econ.EM math.FA math.ST
