Non-Sparse PCA in High Dimensions via Cone Projected Power Iteration
本文提出了一种锥投影幂迭代算法，用于从有噪的正半定矩阵中恢复第一主特征向量。当真主特征向量属于一个凸锥时，该算法速度快，误差小。具体地说，该方法实现了多项式时间复杂度的某些凸锥配备快速投影，如单调锥。当噪声矩阵具有小的锥限制算子范数时，该方法具有较小的误差。我们补充了上述结果的最小最大下界的误差下的加标协方差模型。对模拟数据和实际数据的数值实验表明，当主特征向量为凸锥时，与普通幂迭代和一些稀疏主成分分析算法相比，该方法具有更短的运行时间和更小的误差。
2021-02-28 math.ST stat.CO stat.ME
Theoretical Guarantees for Sparse Principal Component Analysis based on the Elastic Net
本文研究 Zou、Hastie 与 Tibshirani（2006）SPCA 算法及其高效变体，证明二者的驻点收敛性、稀疏尖峰协方差模型下的主子空间一致恢复及近极小极大误差界，并用数值实验验证其性能。
2023-04-27 math.ST stat.CO stat.ME
Quasi-parametric rates for Sparse Multivariate Functional Principal Components Analysis
本文给出了多元随机过程第一主成分估计的非渐近结果。我们首先定义多元情形下的协方差函数和协方差算子。然后我们定义一个投影算子。该运算符可以被视为在功能数据分析上下文中从原始数据的重建步骤。接下来，我们表明，本征元素可以表示为一个优化问题的解决方案，我们介绍了LASSO变量的优化问题和相关的插件估计。最后，我们评估估计的准确性。我们建立了一个极小极大下界的均方重构误差的特征元素，这证明了该程序有一个最佳的方差在极小极大意义下。
2022-12-19 math.ST stat.ME stat.ML
On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis
我们研究的问题，近似一个积极的，半定矩阵$Σ$的二元$xx^T$，与惩罚的基数向量$x$。这个问题出现在稀疏主成分分析中，其中寻求涉及稀疏因子的$Σ$的分解。我们表达这个困难的组合问题作为一个最大本征值问题，在其中，我们寻求最大化，在一个盒子，一个对称矩阵，是线性的变量的最大本征值。这种表示允许使用鲁棒优化技术，基于半定规划导出一个界。使用Nemirovski和Ben-Tal（2002）启发的技术研究了边界的质量。
2006-02-03 math.OC math.ST stat.TH
A New Basis for Sparse Principal Component Analysis
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出一种基于正交旋转的稀疏PCA新基方法，避免了缩减和多个调优参数，在相同稀疏度下更稳定且解释更多方差，并成功应用于图像编码、转录组分析和社交网络聚类。
2023-08-04 cs.CV cs.LG stat.CO
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
Localized Sparse Principal Component Analysis of Multivariate Time Series in Frequency Domain
Department of Biostatistics & Bioinformatics, Emory University（埃默里大学生物统计与生物信息学系）；University of Pittsburgh（匹兹堡大学）
本文提出一种在频域中对高维时间序列进行可解释主成分分析的方法，通过开发高效的频域序列算法，实现稀疏局部化的主成分估计，用于理解精神分裂症患者的神经机制。
2026-03-18 stat.ME stat.ML
Sparse Principal Components Analysis
主成分分析（PCA）是一种经典的降维方法，用于对具有p个变量的向量的n个观测（或情况）的数据进行降维。对于因子分析型的简单模型，证明了普通PCA能产生主因子的相合估计当且仅当p（n）的阶渐近小于n.可能有一个基础，其中典型的信号具有稀疏表示：大多数坐标具有小的信号能量。如果使用这样的基（例如小波）来表示信号，则许多坐标中的变化可能很小。因此，我们研究了一个简单的“稀疏PCA”算法：选择一个子集的最大方差的坐标，估计特征向量从PCA上选择的子集，阈值和重新表示在原来的基础上。我们举例说明了一些运动心电数据的算法，并证明了在一个单因素模型，在适当的稀疏性假设下，它会产生相合估计的主要因素。
2009-01-28 math.ST stat.TH
Augmented sparse principal component analysis for high dimensional data
研究了基于独立高斯观测的高维总体协方差阵的首特征向量的估计问题。我们建立了$l^2$损失函数时，$l^q$稀疏约束下的领先特征向量的估计的收敛速度的下界。我们还提出了一个估计的领导特征向量的基础上结合PCA的坐标选择方案，并表明，所提出的估计达到最佳的收敛速率下的稀疏制度。此外，我们建立了在某些情况下，通常的PCA实现极小极大收敛速度。
2012-02-06 math.ST stat.ME stat.TH
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
Eigenvectors from Eigenvalues Sparse Principal Component Analysis (EESPCA)
我们提出了一种新的稀疏主成分分析技术。这种方法称为特征向量稀疏主成分分析（EESPCA），它是基于由全矩阵和相关子矩阵的特征值计算Hermitian矩阵的平方特征向量载荷的公式。我们探索两个版本的EESPCA方法：一个版本，使用一个固定的阈值诱导稀疏性和一个版本，通过交叉验证选择阈值。相对于Witten等人的最新稀疏PCA方法，Yuan & Zhang和Tan等人，固定阈值EESPCA技术在计算速度上提供了数量级的改进，不需要通过交叉验证来估计调谐参数，并且可以更准确地识别跨数据矩阵大小和协方差结构的范围的真零主分量负载。重要的是，EESPCA方法实现了这些优点，同时保持样本外重构误差和PC估计误差接近所有评估方法产生的最低误差。EESPCA是一种实用有效的稀疏PCA技术，特别适用于计算要求高的统计问题，例如高维数据集的分析或涉及稀疏PC重复计算的统计技术（如RESPONSE）的应用。
2021-09-23 q-bio.QM stat.ME
Sparse logistic functional principal component analysis for binary data
函数型二进制数据集在实际应用中经常出现，而数据的离散特性会给模型估计带来挑战。本文提出了一种稀疏逻辑函数主成分分析（SLFPCA）方法来处理函数型二值数据。SLFPCA寻找局部稀疏的本征函数，以获得方便的解释。我们制定的问题，通过惩罚的伯努利似然粗糙惩罚和稀疏惩罚条款。利用优化最小化（MM）算法，提出了一种有效的惩罚似然优化算法。理论结果表明，该方法的一致性和稀疏性。我们进行了彻底的数值实验，以证明SLFPCA方法的优点。我们的方法被进一步应用到身体活动数据集。
2021-09-16 stat.ME
Principal component-guided sparse regression
我们提出了一种新的监督学习方法，特别适合于特征数量远远大于观测数量的宽数据。该方法结合了套索（$\ell_1$）稀疏惩罚与二次惩罚，缩小系数向量的特征矩阵的领先的主成分。我们称所提出的方法为“主成分套索”（“pcLasso”）。如果特征被预先分配到组（例如细胞通路、测定或蛋白质相互作用网络），则该方法可以特别强大。在这种情况下，pcLasso会将解的每个分组分量缩小到该组的领先主分量。在此过程中，还进行了特征组的选择。我们提供了一些理论，这种方法，并说明它的一些模拟和真实数据的例子。
2018-10-24 stat.ME stat.ML
Structured Sparse Principal Component Analysis
我们提出了一个扩展的稀疏PCA，或稀疏字典学习，其中所有字典元素的稀疏模式的结构和约束属于一个预先指定的形状集。该\emph{structured sparse PCA}基于最近由[1]引入的结构化正则化。虽然经典的稀疏先验只处理\textit{cardinality}，但我们使用的正则化对数据的高阶信息进行编码。我们提出了一个有效和简单的优化过程来解决这个问题。两个实际的任务，人脸识别和蛋白质复合物的动力学研究的实验，证明了所提出的结构化方法的好处，非结构化的方法。
2009-09-08 stat.ML
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Feature Grouping and Sparse Principal Component Analysis with Truncated Regularization
在本文中，我们考虑了一个新的变种的主成分分析（PCA），旨在捕捉分组和/或稀疏结构的因素负荷的同时。为了实现这些目标，我们采用了自然可调稀疏性和分组效果的非凸截断正则化，并提出了特征抽取和稀疏主成分分析（FGSPCA）。FGSPCA方法鼓励具有相似值的因子载荷折叠成不相交的同质组用于特征分组或折叠成特殊的零值组用于特征选择，这反过来又有助于降低模型复杂度和增加模型解释。通常，现有的结构化PCA方法需要先验知识来构造正则化项。然而，建议的FGSPCA可以同时捕获的分组和/或稀疏结构的因素负载没有任何先验信息。为了解决由此产生的非凸优化问题，我们提出了一个交替算法，结合凸规划的差异，增广拉格朗日方法和坐标下降法。实验结果表明，有前途的性能和效率的新方法在合成和真实世界的数据集。FGSPCA的R实现可以在github {https：//github.com/higeeks/FGSPCA}上找到。
2022-09-13 stat.ME stat.ML
Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices
本文研究了高维稀疏加样协方差阵模型，研究了协方差阵和主子空间的Minimax估计以及Minimax秩检测。建立了在谱范数下估计尖峰协方差矩阵的最优收敛速率，这需要与估计其他结构化协方差阵（如可带或稀疏协方差阵）的技术显著不同的技术。我们还建立了谱范数下的极小极大率，用于估计主成分分析中的主要感兴趣对象主子空间。此外，最佳速率的秩检测边界得到。这一结果也解决了Berthet和Rigollet [1]最近的一篇论文中的空白，其中考虑了秩1的特殊情况。
2016-03-25 math.ST stat.TH
Beyond Regularization: Inherently Sparse Principal Component Analysis
针对正则化稀疏 PCA 偏离总体结构且奇异向量不正交的问题，本文利用协方差矩阵的稀疏块对角结构，提出构造固有稀疏且正交奇异向量的方法，并通过模拟与真实数据验证其有效性。
2025-10-04 stat.ME
Sparse group principal component analysis via double thresholding with application to multi-cellular programs
Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
本文提出稀疏组主成分分析（SGPCA）方法，通过双阈值算法高效估计多细胞程序，提升大规模基因组分析的统计效力和计算效率。
2026-02-04 stat.AP stat.CO stat.ME
Sparse logistic principal components analysis for binary data
提出了一种新的二值数据主成分分析（PCA）型降维方法。与基于观测数据定义的标准主成分分析不同，本文提出的主成分分析是基于二元观测值的成功概率的logit变换定义的。将稀疏性引入主成分（PC）加载向量，以增强可解释性和更稳定地提取主成分。我们的稀疏PCA制定为解决一个优化问题，从惩罚伯努利似然激励的标准函数。提出了一种优化-极小化算法，有效地解决了优化问题。应用于单核苷酸多态性数据集和模拟研究表明，所提出的稀疏逻辑主成分分析方法的有效性。
2010-11-16 stat.AP
Cellwise robust and sparse principal component analysis
本文提出首个稀疏且单元稳健的PCA方法SCRAMBLE，通过稳健损失函数与稀疏惩罚项结合，并利用Riemannian随机梯度下降算法实现高维数据扩展，在模拟和摩擦学应用中均展现优越性。
2024-08-28 stat.AP stat.CO stat.ME
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University（烟台大学数学与信息科学学院）；Department of Mathematics, Shandong Normal University（山东师范大学数学学院）
在高维数据集上实现传统的稀疏主成分分析（SPCA）已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影，提出了一种快速收缩的SPCA方法，称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Sparse Principal Component Analysis via Variable Projection
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
稀疏主成分分析（Sparse Principal Component Analysis，SPCA）是现代数据分析中的一种强有力的技术，它通过识别数据中的局部空间结构和消除不同时间尺度之间的歧义来改善对低秩结构的解释。我们证明了一个强大的和可扩展的SPCA算法，制定它作为一个值函数优化问题。这种观点导致一个灵活的和计算效率的算法。此外，我们可以利用线性代数的随机方法将该方法扩展到大规模（大数据）设置。我们提出的创新还允许一个强大的SPCA制定，获得有意义的稀疏主成分，尽管严重损坏的输入数据。所提出的算法证明使用合成和真实世界的数据，并显示出卓越的计算效率和诊断性能。
2020-12-28 cs.LG stat.ML
Sparse Generalized Principal Component Analysis for Large-scale Applications beyond Gaussianity
主成分分析（PCA）是一种降维技术。当维数从中等到高时，它会产生不一致的估计值，这通常是现代大规模应用中的问题，在这些应用中，算法的可扩展性和模型的可解释性难以实现，更不用说缺失值的普遍存在了。虽然现有的稀疏PCA方法缓解了不一致性，但它们受限于经典PCA的高斯假设，并且无法解决算法可扩展性问题。我们将稀疏PCA推广到高维设置下的宽指数族分布，并内置了缺失值的处理。同时，我们提出了一个家庭的迭代稀疏广义PCA（SG-PCA）算法，尽管非凸性和非光滑的优化任务，损失函数减少在每次迭代。在易用性和直观的参数调整方面，我们的稀疏诱导正则化远远优于流行的Lasso。此外，为了提高整体的可扩展性，加速梯度被集成以实现快速收敛，而渐进筛选技术逐渐挤出大规模问题的讨厌尺寸以实现可行的优化。高维仿真和真实数据实验证明了SG-PCA的高效性和有效性。
2016-01-28 stat.CO stat.ML
Statistical and computational trade-offs in estimation of sparse principal components
近年来，稀疏主成分分析已成为一种非常流行的高维数据降维技术。在最简单的情况下，理论上的挑战是在假设总体协方差阵的首特征向量是稀疏的情况下估计该特征向量。已经提出了一系列令人印象深刻的估计，其中一些是快速计算，而另一些是已知的，以实现最小最大的最佳速率在某些高斯或亚高斯类。在本文中，我们表明，在一个广泛相信的假设下，从计算复杂性理论，在这个问题中的统计和计算性能之间有一个根本的权衡。更确切地说，工作与新的，更大的类满足有限的协方差浓度条件，我们表明，有一个有效的样本量制度中，没有随机多项式时间算法可以实现最小最大的最优速率。我们还研究了著名的半定松弛估计的（多项式时间）变量的理论性能，揭示了统计和计算效率之间微妙的相互作用。
2016-09-28 math.ST stat.ML stat.TH
Rank-Based Sparse Regression in Principal Components Space under Measurement Error
Nankai University（南开大学）；Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
本文研究了在预测变量存在加性测量误差且响应误差可能重尾的情况下，主成分空间中的高维回归问题，提出基于Wilcoxon型排名损失的稀疏回归方法，结合一阶自适应加权方案，提升鲁棒性和稳定性。
2026-04-06 stat.ME
An Interpretable and Stable Framework for Sparse Principal Component Analysis
本文提出SP-SPCA方法，通过引入均衡参数灵活控制稀疏性和解释方差，提升高维数据建模的稳定性与可解释性。
2026-03-14 cs.LG stat.ML
Sparse Functional Principal Component Analysis in High Dimensions
功能主成分分析（FPCA）是一种基本的分析工具，近几十年来受到了越来越多的关注，而现有的方法仅限于具有单个或有限个随机函数的数据（远小于样本量$n$）。在这项工作中，我们专注于高维的功能过程中的随机函数$p$的数量相当，甚至比$n$大得多。这样的数据在诸如神经成像分析的各种领域中是普遍存在的，并且不能通过现有方法适当地建模。我们提出了一种新的算法，称为稀疏FPCA，这是能够有效地在合理的稀疏制度下建模的主要特征函数。虽然稀疏性假设是标准的多元统计，他们还没有被调查的复杂背景下，不仅是$p$大，而且每个变量本身是一个内在的无限维的过程。稀疏结构激发了一个阈值规则，该规则很容易计算，而无需非参数平滑，通过利用单变量正交基展开和多变量Kahunen-Loève（K-L）表示之间的关系。我们调查的估计的理论性质，并说明与模拟和真实数据的例子的性能。
2021-01-21 stat.ME
Principal component analysis and sparse polynomial chaos expansions for global sensitivity analysis and model calibration: application to urban drainage simulation
本文提出了一种有效的替代建模策略，用于水文模型的不确定性量化和贝叶斯校准。特别是，被认为是一个基于过程的动态城市排水模拟器，预测从集水区在降水事件的排放。案例研究的目的是进行全局敏感性分析，并识别未知的模型参数以及测量和预测误差。这些目标只能通过降低计算成本来实现，也就是说，减少必要的模型运行次数。考虑到这一点，提出了一种利用规则的元建模技术，使快速的不确定性量化。利用主成分分析对输出进行降维，并利用稀疏多项式混沌展开对降维后的输出进行仿真。Sobol灵敏度指数直接由展开系数通过简单的后处理获得。通过马尔可夫链蒙特卡罗后验抽样的贝叶斯推断大大加快。
2019-11-13 stat.CO
Sparse and Functional Principal Components Analysis
主成分分析的正则化变体，特别是稀疏PCA和函数PCA，是分析复杂高维数据最有用的工具之一。大规模数据的许多示例具有稀疏和功能（平滑）方面，并且可以从可以捕获两种形式的结构的正则化方案中受益。例如，在神经成像数据中，大脑对刺激的响应可能被限制在离散的激活区域（空间稀疏），同时在该区域内表现出平滑的响应。我们提出了一个统一的方法来正则PCA，可以同时诱导稀疏性和光滑性的行和列的主成分。我们的框架概括了许多以前的文献，稀疏，功能，双向稀疏，双向功能PCA都是我们的方法的特殊情况。我们的方法允许灵活的稀疏性和平滑度的组合，从而改善特征选择和信号恢复，以及更可解释的PCA因素。我们证明了我们的方法对模拟数据和EEG数据的神经成像例子的有效性。
2019-08-19 stat.ML
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
High Dimensional Process Monitoring Using Robust Sparse Probabilistic Principal Component Analysis
高维数据引入了挑战，难以解决时，试图实现经典的统计过程控制的方法。这使得它成为近年来研究的一个热门话题。然而，在许多情况下，数据集具有底层结构，例如在先进的制造系统中。如果提取正确，可以开发有效的过程控制方法。针对上述问题，提出了一种适用于相关高维过程监控的鲁棒稀疏降维方法。所开发的监测技术使用强大的稀疏概率PCA，以减少数据流的维数，同时保持可解释性。所提出的方法利用贝叶斯变分推断，以获得PCA的概率表示的估计。仿真研究进行了验证所提出的方法的有效性。此外，我们进行了在线拉曼光谱变化检测的案例研究，以验证我们提出的方法在实际情况下的效率。
2019-04-20 stat.AP stat.ME
Identifying Important Pairwise Logratios in Compositional Data with Sparse Principal Component Analysis
针对成分数据中成对对数比率数量庞大阻碍多变量分析可解释性的问题，提出基于构建所有可能成对对数比率并采用稀疏主成分分析识别重要比率的程序，并通过模拟与真实数据验证及提供三种可视化工具辅助模型解释。
2023-11-23 stat.AP stat.ME
Sparse Longitudinal Functional Principal Component Analysis for Episodic Ambulatory Behavioral Assessments
University of Minnesota（明尼苏达大学）；University of Michigan（密歇根大学）
提出稀疏纵向函数主成分分析方法，通过结构化惩罚样条回归估计协方差，分解间歇性观测的键入速度轨迹变异性，揭示个体和日间模式，用于定制行为干预。
2026-06-06 stat.AP stat.ME
Robust functional principal components for sparse longitudinal data
在本文中，我们回顾了现有的方法，强大的功能主成分分析（FPCA），并提出了一种新的方法FPCA，可应用于纵向数据，只有少数观察每个轨迹。该方法对非典型观测的存在是鲁棒的，并且也可以用于导出一种新的稀疏观测函数数据的非鲁棒FPCA方法。我们使用本地回归估计的值的协方差函数，利用的事实，即椭圆分布的随机向量的条件位置参数的一些组件给定的其他是一个线性函数的条件集。这一观察使我们能够通过使用鲁棒局部回归方法来获得鲁棒FPCA估计。我们的建议的有限样本性能进行了探讨，通过模拟研究表明，正如预期的那样，强大的方法优于现有的替代品时，数据被污染。此外，我们还看到，对于不包含离群值的样本，我们的建议的非鲁棒变体与文献中现有的替代方案相比是有利的。最后给出了一个实际数据的例子。
2020-12-02 stat.ME
Derivative Principal Component Analysis for Representing the Time Dynamics of Longitudinal and Functional Data
我们提出了一个非参数的方法来明确地建模和表示的衍生物的光滑的基本轨迹的纵向数据。这种表示是基于一个直接的Karhunen-Loève扩展的未观察到的衍生物，并导致衍生主成分分析的概念，补充功能主成分分析，最流行的工具之一的功能数据分析。建议的衍生主成分得分可以获得不规则间隔和稀疏观察的纵向数据，通常遇到的生物医学研究，以及密集测量的功能数据。新的一致性结果和渐近收敛速度的衍生主成分分数和模型的其他组件的建议估计的稀疏或密集的观测和温和的条件下，一个统一的计划。我们比较所提出的表示衍生工具与替代方法在模拟设置，也在一个小袋鼠生长曲线的应用。它出现的表示使用所提出的衍生主成分分析恢复底层衍生物更准确地相比，主成分分析为基础的方法，特别是在设置中的功能数据表示只有非常少量的组件或密集采样。在第二个小麦光谱分类的例子中，衍生主成分分数被发现是更好的预测小麦的蛋白质含量比传统的功能主成分分数。
2017-07-14 math.ST stat.ME stat.TH
Consistency of Sparse PCA in High Dimension, Low Sample Size Contexts
稀疏主成分分析（PCA）方法是对复杂数据进行降维（或变量数目）的有效工具。稀疏主成分（PC）比传统的PC更容易解释，因为大多数载荷为零。我们研究了这些稀疏PC方向的渐近性质的情况下，固定样本量和增加的维度（即高维，低样本量（HDLSS））。在先前研究的尖峰协方差假设下，我们表明稀疏PCA在先前为传统PCA建立的相同大尖峰条件下保持一致。在广泛的小尖峰条件下，我们发现了一个大的稀疏性假设，稀疏PCA是一致的，但PCA是强烈不一致的。一致性区域的边界使用一个oracle结果来澄清。
2011-04-21 math.ST stat.TH
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
Large-Scale Paralleled Sparse Principal Component Analysis
China University of Petroleum（中国石油大学）
本文提出基于GPU的高效并行稀疏主成分分析方法，通过并行实现通用幂方法的四种优化形式，显著提升计算效率，实验证明其在实际数据集中的实用性。
2013-12-21 cs.LG cs.MS cs.NA
Sparse and Integrative Principal Component Analysis for Multiview Data
本文针对多视图数据降维问题，提出一种基于Fantope准则和ADMM算法的稀疏综合主成分分析方法，同时实现逐元素与逐块稀疏性，并给出收敛性与支持恢复理论保证。
2024-06-15 stat.ME
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Large Covariance Estimation by Thresholding Principal Orthogonal Complements
本文讨论了具有条件稀疏结构和特征值快速发散的高维协方差的估计问题。通过假设近似因子模型中的稀疏误差协方差阵，即使在去除常见但不可观测的因子之后，我们也允许存在一些横截面相关性。我们引入了主正交补保持（POET）方法来探索这样一个近似的稀疏因子结构。POET估计器包括作为具体示例的样本协方差阵、基于因子的协方差阵（Fan、Fan和Lv，2008）、阈值估计器（Bickel和Levina，2008）和自适应阈值估计器（Cai和Liu，2011）。当因子分析与高维数据的主成分分析大致相同时，我们提供了数学见解。研究了稀疏残差协方差阵和条件稀疏协方差阵在不同范数下的收敛速度。结果表明，估计的未知因素的影响消失的维数增加。导出了不可观测因子及其因子载荷的一致收敛速度。渐近结果也验证了广泛的模拟研究。最后，给出了一个投资组合配置的实际数据应用。
2013-01-14 math.ST stat.TH
Spike and slab Bayesian sparse principal component analysis
本文提出参数扩展坐标上升变分推断算法PX-CAVI，结合尖峰与厚板先验解决贝叶斯稀疏主成分分析中的正交性约束问题，并通过数值模拟和肺癌基因表达数据验证其优于现有SPCA方法。
2023-08-06 stat.ME stat.ML
Learning Feature Sparse Principal Components
Northwestern Polytechnical University（西北工业大学）
本文提出了一种新的算法来解决特征稀疏约束PCA问题（FSPCA），它同时执行特征选择和PCA。现有的FSPCA优化方法需要对数据分布进行假设，缺乏全局收敛性保证。虽然一般的FSPCA问题是NP难的，我们表明，对于低秩协方差，FSPCA可以全局求解（算法1）。然后，我们提出了另一种策略（算法2），通过迭代构建精心设计的代理来求解FSPCA的一般协方差。我们证明了新算法的近似性和收敛性的理论保证。实验结果表明，新的算法相比，国家的最先进的合成和真实世界的数据集上有前途的性能。
2019-05-26 cs.LG stat.ML
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology（代尔夫特理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）；Umea University（于默奥大学）
我们提出了一种新的近似层次基数约束，凸二次规划，利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征，其目标函数可以在二进制变量上解析地优化，同时保持连续变量的凸性。利用这一属性，我们提出了两个可扩展的优化算法，被称为“最佳响应”和“双程序”，可以有效地筛选潜在的索引的非零元素的原始程序。我们表明，所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中，它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Sparse PCA: Optimal rates and adaptive estimation
主成分分析（PCA）是一种应用广泛的最常用的统计方法。本文考虑了高维情形下主子空间的极大极小估计和自适应估计。在适当的技术条件下，我们首先建立了估计主子空间的最优收敛速度，它对所有参数都是尖锐的，从而从收敛速度的角度完整地刻画了估计问题的困难性.通过计算局部度量熵和应用Fano引理得到了该下界。速率最优估计器使用聚合构造，然而，这在计算上可能是不可行的。然后，我们介绍了一个自适应的过程，估计主子空间，这是完全数据驱动，可以有效地计算。它表明，估计达到最佳的收敛速度，同时在一个大的集合的参数空间。在我们的建设中的一个关键思想是减少计划，减少稀疏PCA问题的高维多元回归问题。这种方法也可能适用于其他相关问题。
2014-01-07 math.ST stat.TH
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
High-dimensional analysis of semidefinite relaxations for sparse principal components
主成分分析（PCA）是一种基于提取样本协方差阵主特征向量的经典降维方法。然而，众所周知，PCA在"大$p$，小$n$"设置中表现不佳，其中问题维度$p$与样本量$n$相当或更大。本文研究PCA在这个高维制度，但在额外的假设下，最大特征向量是稀疏的，说，最多$k$非零组件。本文考虑了一个尖峰协方差模型，其中一个基矩阵通过增加一个$k$ -稀疏最大特征向量而被扰动，并且我们分析了两种计算上易于处理的方法来恢复这个最大特征向量的支撑集，如下：（a）一个简单的对角阈值方法，它作为重新标度的样本量$θ_{\mathrm{dia}}(n,p,k)=n/[k^2\log(p-k)]$的函数从成功过渡到失败;以及（b）更复杂的半定编程（SDP）松弛，一旦重新缩放的样本量$θ_{\mathrm{sdp}}(n,p,k)=n/[k\log(p-k)]$大于临界阈值，则其成功。此外，我们证明了没有方法，包括最好的方法，具有指数时间复杂度，可以成功地恢复支持，如果顺序参数$θ_{\mathrm{sdp}}(n,p,k)$是低于一个阈值。因此，我们的研究结果突出了一个有趣的权衡计算和统计效率在高维推理。
2009-08-26 cs.IT math.IT math.ST
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
Sparse PCA: a Geometric Approach
我们考虑的问题，最大化的方差解释从一个数据矩阵使用正交稀疏主成分，有一个固定的基数支持。虽然大多数现有的方法都集中在建立主成分（PC）通过通货紧缩迭代，我们提出GeoSPCA，一种新的算法来建立所有的PC在一次，同时满足正交约束，这带来了实质性的好处通货紧缩。这种新的方法是基于左特征值的协方差阵，这有助于规避非凸性的问题，通过近似的最佳解决方案，使用一个二元线性最优化问题，可以找到最优解。所得到的近似可以用于解决稀疏PCA问题的不同版本，包括主成分共享相同支持或具有不相交支持的情况以及结构化稀疏PCA问题。我们还提出了最优界，并说明了GeoSPCA在选定的现实世界中的问题，无论是在解释方差，稀疏性和易处理性方面的好处。相对于通常与最先进技术相当的贪婪算法的改进，在解决具有10，000个变量的现实世界问题时，方差高达24%，并在几分钟内支持100个基数。我们还将GeoSPCA应用于人脸识别问题，与其他基于PCA的技术（如结构化稀疏PCA）相比，性能提高了10%以上。
2022-10-12 math.OC math.ST stat.TH
Meta Sparse Principal Component Analysis
Purdue University（普渡大学）
本文研究了高维主成分分析中支持度（非零项集）恢复的元学习方法。我们减少了足够的样本复杂性，在一个新的任务的信息，是从辅助任务。我们假设每个任务是一个不同的随机主成分（PC）矩阵，可能有不同的支持和支持联盟的PC矩阵是小的。然后，我们汇集来自所有任务的数据，通过最大化$l_1$ -正则化预测协方差来执行单个PC矩阵的不正确估计，以建立对于$p$维向量，如果有足够数量的任务$m$和足够数量的每个任务的样本$ O\left(\frac{\log(p)}{m}\right)$，则可以以高概率恢复真正的支持联合。然后，对于一个新的任务，我们证明了最大化的$l_1$正则化预测协方差与额外的约束，即支持是一个子集的估计支持联盟可以减少足够的样本复杂性，成功的支持恢复到$O(\log |J|)$，其中$J$是支持联盟恢复的辅助任务。通常，对于稀疏矩阵，$|J|$将远小于$p$。最后，我们通过数值模拟证明了我们的实验的有效性。
2022-08-19 cs.LG stat.ML
Functional principal component analysis as an alternative to mixed-effect models for describing sparse repeated measures in presence of missing data
本研究提出用非参数的函数主成分分析（FPCA）替代混合效应模型处理稀疏重复测量纵向数据，验证其在不同缺失机制下的稳健性，并应用于痴呆前认知轨迹分析，揭示了确诊前认知下降的加速特征。
2024-07-10 stat.ME
