Information-theoretically Optimal Sparse PCA
稀疏主成分分析（PCA）是一种降维技术，其中人们寻求数据矩阵的低秩表示，并对所获得的表示进行额外的稀疏约束。我们考虑稀疏PCA的两个概率公式：尖峰Wigner和尖峰Wishart（或尖峰协方差）模型。我们分析了一个近似消息传递（AMP）算法来估计潜在的信号，并显示，在高维的限制，AMP的估计是信息理论上最优的。作为一个直接的推论，我们的研究结果表明，后验期望的基础信号，这往往是难以计算的，可以得到使用多项式时间计划。我们的研究结果还有效地提供了一个单一的字母特征的稀疏PCA问题。
2014-05-03 cs.IT math.IT math.ST
PCA consistency in high dimension, low sample size context
主成分分析（PCA）是降维的重要工具，特别是当维数（或变量数）很高时。渐进研究，其中样本量固定，并且维度增长[即，高维度、低样本量（HDLSS）]变得越来越重要。我们研究了主成分（PC）方向的渐近行为。HDLSS渐近性被用来研究一致性、强不一致性和子空间一致性。我们证明了，如果人口协方差阵的前几个特征值是足够大的相比，其他的，那么相应的估计PC方向是一致的或收敛到适当的子空间（子空间一致性）和大多数其他PC方向是强烈不一致的。广泛的充分条件为这些情况下的每一个指定的主要定理给出了一个目录的可能的组合。在准备这些结果，我们表明，HDLSS数据的几何表示在一般条件下，其中包括一个$ρ$混合条件和广泛的球形措施的协方差阵。
2009-11-19 math.ST stat.TH
Sparse PCA: a Geometric Approach
我们考虑的问题，最大化的方差解释从一个数据矩阵使用正交稀疏主成分，有一个固定的基数支持。虽然大多数现有的方法都集中在建立主成分（PC）通过通货紧缩迭代，我们提出GeoSPCA，一种新的算法来建立所有的PC在一次，同时满足正交约束，这带来了实质性的好处通货紧缩。这种新的方法是基于左特征值的协方差阵，这有助于规避非凸性的问题，通过近似的最佳解决方案，使用一个二元线性最优化问题，可以找到最优解。所得到的近似可以用于解决稀疏PCA问题的不同版本，包括主成分共享相同支持或具有不相交支持的情况以及结构化稀疏PCA问题。我们还提出了最优界，并说明了GeoSPCA在选定的现实世界中的问题，无论是在解释方差，稀疏性和易处理性方面的好处。相对于通常与最先进技术相当的贪婪算法的改进，在解决具有10，000个变量的现实世界问题时，方差高达24%，并在几分钟内支持100个基数。我们还将GeoSPCA应用于人脸识别问题，与其他基于PCA的技术（如结构化稀疏PCA）相比，性能提高了10%以上。
2022-10-12 math.OC math.ST stat.TH
Sparse PCA: Optimal rates and adaptive estimation
主成分分析（PCA）是一种应用广泛的最常用的统计方法。本文考虑了高维情形下主子空间的极大极小估计和自适应估计。在适当的技术条件下，我们首先建立了估计主子空间的最优收敛速度，它对所有参数都是尖锐的，从而从收敛速度的角度完整地刻画了估计问题的困难性.通过计算局部度量熵和应用Fano引理得到了该下界。速率最优估计器使用聚合构造，然而，这在计算上可能是不可行的。然后，我们介绍了一个自适应的过程，估计主子空间，这是完全数据驱动，可以有效地计算。它表明，估计达到最佳的收敛速度，同时在一个大的集合的参数空间。在我们的建设中的一个关键思想是减少计划，减少稀疏PCA问题的高维多元回归问题。这种方法也可能适用于其他相关问题。
2014-01-07 math.ST stat.TH
Sparse PCA: Phase Transitions in the Critical Regime
Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Department of Mathematics, Texas A&M University（德克萨斯农工大学数学系）
本研究针对高维稀疏主成分估计问题，推广基于核PCA的估计器，在临界稀疏区域下证实了类似BBP的检测相变，明确了稀疏性的关键作用并确定了近最优的软阈值核函数。
2026-08-20 math.ST stat.TH
Sparse NonGaussian Component Analysis
非高斯成分分析（NGCA）是近年来提出的一种用于高维数据分析的方法，它能够以迭代和结构自适应的方式识别整个分布中的低维非高斯成分。NGCA过程的一个重要步骤是使用主成分分析（PCA）方法识别非高斯子空间。本文提出了一种新的方法NGCA称为稀疏NGCA取代PCA为基础的过程与一个新的算法，我们称之为凸投影。
2009-04-24 math.ST stat.TH
NP-Hardness and Inapproximability of Sparse PCA
RPI（伦斯勒理工学院）
我们从{ \sc clique}给出了一个约简，证明了稀疏PCA是NP难的。减少有一个差距，我们用来排除稀疏PCA的FPTAS（除非P=NP）。在较弱的复杂性假设下，我们也排除了多项式常数因子近似算法。
2015-02-20 cs.CC cs.DS cs.LG
Sparse Principal Components Analysis
主成分分析（PCA）是一种经典的降维方法，用于对具有p个变量的向量的n个观测（或情况）的数据进行降维。对于因子分析型的简单模型，证明了普通PCA能产生主因子的相合估计当且仅当p（n）的阶渐近小于n.可能有一个基础，其中典型的信号具有稀疏表示：大多数坐标具有小的信号能量。如果使用这样的基（例如小波）来表示信号，则许多坐标中的变化可能很小。因此，我们研究了一个简单的“稀疏PCA”算法：选择一个子集的最大方差的坐标，估计特征向量从PCA上选择的子集，阈值和重新表示在原来的基础上。我们举例说明了一些运动心电数据的算法，并证明了在一个单因素模型，在适当的稀疏性假设下，它会产生相合估计的主要因素。
2009-01-28 math.ST stat.TH
The All-or-Nothing Phenomenon in Sparse Tensor PCA
我们研究了估计一个被加性高斯噪声破坏的秩为1的稀疏张量的统计问题，该模型也被称为稀疏张量PCA。我们发现，伯努利和伯努利-Rademacher分布的信号和\emph{for all}稀疏水平是次线性的信号的维度，稀疏张量PCA模型表现出相变称为\emph{all-or-nothing phenomenon}。这是这样的性质，即对于某个信噪比（SNR）$\mathrm{SNR_c}$和任何固定的$ε>0$，如果模型的SNR低于$\left(1-ε\right)\mathrm{SNR_c}$，则不可能实现与隐藏信号的任何任意小的恒定相关，而如果SNR高于$\left(1+ε\right)\mathrm{SNR_c}$，则可以实现与隐藏信号的几乎完美的相关。全有或全无现象最初是在稀疏线性回归的背景下建立的，在过去的一年中，稀疏2张量（矩阵）PCA，伯努利组测试和广义线性模型也是如此。我们的结果遵循一个更一般的结果表明，对于任何高斯加性模型与离散均匀先验，全有或全无的现象如下的先验分布的支持的一个适当定义的“近正交”属性的直接结果。
2020-09-05 cs.IT math.IT math.ST
The Complexity of Sparse Tensor PCA
National University of Singapore（新加坡国立大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了稀疏张量主成分分析问题：给定一个张量$\pmb Y = \pmb W + λx^{\otimes p}$，其中$\pmb W \in \otimes^p\mathbb{R}^n$的i.i.d.高斯条目，目标是恢复$k$ -稀疏单位向量$x \in \mathbb{R}^n$。该模型捕获稀疏PCA（Wigner形式）和张量PCA。对于高度稀疏的制度$k \leq \sqrt{n}$，我们提出了一个家庭的算法，平滑插值之间的一个简单的多项式时间算法和指数时间穷举搜索算法。对于任何$1 \leq t \leq k$，我们的算法恢复的稀疏向量的信噪比$λ\geq \tilde{\mathcal{O}} (\sqrt{t} \cdot (k/t)^{p/2})$在时间$\tilde{\mathcal{O}}(n^{p+t})$，捕捉最先进的保证矩阵设置（在多项式时间和次指数时间制度）。我们的研究结果自然扩展到$r$不同的$k$ -稀疏信号的情况下，不相交的支持，保证是独立的尖峰的数量。即使在稀疏PCA的受限情况下，已知算法也仅恢复$λ\geq \tilde{\mathcal{O}}(k \cdot r)$的稀疏向量，而我们的算法需要$λ\geq \tilde{\mathcal{O}}(k)$。最后，通过分析低程度的似然比，我们补充这些算法的结果与严格的证据说明信噪比和运行时间之间的…
2021-11-02 cs.CC cs.DS cs.LG
Computational Lower Bounds for Sparse PCA
在稀疏主成分检测的背景下，我们带来的证据对存在的统计代价支付计算效率。我们衡量的最小信号强度，它可以检测到的测试的性能，我们提出了一个计算效率高的方法的基础上半定规划。我们还证明，这个测试的统计性能不能严格提高任何计算效率的方法。我们的结果可以被视为复杂性理论的下界条件的假设，种植集团问题的某些情况下，不能在随机多项式时间内解决。
2013-04-26 cs.CC math.ST stat.ML
Do semidefinite relaxations solve sparse PCA up to the information limit?
估计数据的主要主成分，假设它们是稀疏的，是现代高维统计的中心任务。针对这种稀疏PCA问题开发了许多算法，从简单的对角阈值到复杂的半定规划（SDP）方法。一个关键的理论问题是，在什么条件下，这样的算法可以恢复稀疏的主成分？我们研究了具有$\ell_0$ -稀疏特征向量的单脉冲模型的这个问题，在维数$p$和样本量$n$都趋于无穷大的渐近状态下.阿米尼和温赖特[安。37（2009）2877-2921]证明了对于稀疏水平$k\geqΩ(n/\log p)$，没有算法（有效与否）可以可靠地恢复稀疏特征向量。相比之下，对于$k\leq O(\sqrt{n/\log p})$，对角阈值处理是一致的。有人进一步指出，SDP方法可以缩小计算和信息限制之间的差距。我们证明，当$k\geqΩ(\sqrt{n})$，所提出的SDP方法，至少在其标准使用，不能恢复稀疏尖峰。事实上，我们推测，在单尖峰模型中，没有计算效率高的算法可以恢复$\ell_0$ -稀疏性$k\geqΩ(\sqrt{n})$的尖峰。最后，我们提出的经验结果表明，稀疏水平$k=O(\sqrt{n})$，恢复是可能的，通过一个简单的协方差阈值算法。
2015-06-03 math.ST stat.ML stat.TH
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
On the Low-Temperature MCMC threshold: the cases of sparse tensor PCA, sparse regression, and a geometric rule
本研究提出一个易检验的条件，证明低温Metropolis链可在多项式时间内高概率最大化后验，并据此确定稀疏张量PCA和稀疏回归的低温局部MCMC阈值，证明其紧性且性能低于低次多项式方法。
2025-07-08 cs.DS math.PR math.ST
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Optimal Average-Case Reductions to Sparse PCA: From Weak Assumptions to Strong Hardness
Massachusetts Institute of Technology（麻省理工学院）
在过去的十年中，稀疏主成分分析已经成为一个典型的问题，说明计算的权衡。这一趋势在很大程度上是由一系列研究驱动的，这些研究旨在通过从种植集团（PC）猜想的减少来表征稀疏PCA的平均情况复杂度-这表明没有多项式时间算法来检测$\mathcal{G}(N, \frac{1}{2})$中$K = o(N^{1/2})$大小的种植集团。所有以前的减少稀疏PCA要么没有显示出紧密的计算下限匹配现有的算法或显示出较低的界限，制定稀疏PCA以外的规范生成模型，尖峰协方差模型。而且，这些下界都随着PC猜想中的指数而迅速退化。具体地说，当仅给定PC猜想直到$K = o(N^α)$，其中$α< 1/2$时，不存在这些下界保持紧密的稀疏水平$k$。如果$α\le 1/3$，这些减少甚至不能显示在任何稀疏度$k$的计算-计算折衷的存在。我们从PC产生的第一个完整的表征的计算障碍的尖峰协方差模型，在所有的稀疏$k$提供严格的下限减少。我们还显示了令人惊讶的结果，较弱形式的PC猜想集团大小$K = o(N^α)$为任何给定的$α\in (0, 1/2]$意味着紧密的计算下界稀疏PCA稀疏$k = o(n^{α/3})$。这表明，即使是最知名的多项式时间稀疏PCA算法所需的信号强度的轻微改善也意味着PC的硬度阈值是次多项式。这是第一个次优硬度假设的例子，暗示了无监督学习中另一个问题的最优下限。
2019-02-20 cs.CC cs.LG math.PR
Supervised Discriminative Sparse PCA for Com-Characteristic Gene Selection and Tumor Classification on Multiview Biological Data
Harbin Institute of Technology（哈尔滨工业大学）；Qufu Normal University（曲阜师范大学）；Anhui University（安徽大学）
主成分分析（PCA）已被用于研究疾病的发病机制。为了提高经典PCA的可解释性，迄今为止已经提出了各种改进的PCA方法。其中，一个典型的方法是所谓的稀疏PCA，其重点是寻求稀疏负载。然而，这些方法的性能仍然是远远不能令人满意的，由于其使用无监督学习方法的限制，而且，在样本内的类歧义是高的。为了克服这个问题，本研究开发了一种新的PCA方法，这是被命名为监督判别稀疏PCA（SDSPCA）。该方法的主要创新点是将判别信息和稀疏性引入到PCA模型中。具体而言，与传统的稀疏PCA相比，它对负载施加稀疏性，在这里，稀疏分量被获得以表示数据。此外，通过线性变换，稀疏分量近似给定的标签信息。一方面，稀疏分量提高了传统PCA的可解释性，而另一方面，它们具有适用于分类目的的区分能力。提出了一种简单的算法，并给出了收敛性证明。SDSPCA已被应用于多视角生物数据的共同特征基因（com-characteristic gene）选择和肿瘤分类。通过大量、合理、有效的实验，验证了SDSPCA的稀疏性和分类性能，实验结果表明SDSPCA优于其他现有方法。
2019-05-28 cs.LG stat.ML
A Sparse PCA Approach to Clustering
讨论了一种基于稀疏主成分分析（SPCA）的高斯混合模型聚类方法，并与IF-PCA方法进行了比较。我们还讨论了相关的情况下，协方差阵$Σ$不一定是对角线。
2016-02-16 stat.ME stat.ML
Sparse PCA from Sparse Linear Regression
MIT（麻省理工学院）；Two Sigma（双西格玛公司）
稀疏主成分分析（Sparse Principal Component Analysis，SPCA）和稀疏线性回归（Sparse Linear Regression，SLR）作为高维统计问题的典型代表，在过去的二十年里得到了广泛的应用和关注。各种各样的算法已经提出了SPCA和SLR，但两者之间没有明确的联系。我们展示了如何有效地将SLR的黑箱求解器转换为SPCA算法：假设SLR求解器满足现有有效算法（如基于Lasso的算法）所实现的预测误差保证，则SPCA算法可以实现最先进的保证，用于测试和支持恢复单个尖峰协方差模型，如通过当前最好的polynomialtime算法获得的。我们的减少不仅突出了这两个问题之间的内在相似性，而且，从实用的角度来看，允许一个收集的算法SPCA直接从已知的算法SLR。我们提供的模拟数据比较我们提出的框架，其他算法的SPCA的实验结果。
2018-11-25 cs.LG math.ST stat.ML
On the Curse of Dimensionality in Private Sparse Covariance Estimation and PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究差分隐私下稀疏协方差矩阵估计和PCA的样本复杂度，发现当特征向量稀疏时，poly(k, log d)样本足够，否则需poly(d)样本，揭示了私有与非私有版本间的指数差距。
2026-06-23 cs.CR cs.DS cs.LG
Tensor Sparse PCA and Face Recognition: A Novel Approach
EPHE-PSL University（巴黎高等实践研究大学-巴黎文理研究大学）；Ho Chi Minh University of Technology（胡志明市技术大学）
人脸识别是机器学习和模式识别研究领域中的一个重要领域。它在军事、金融、公共安全等方面有很多应用。在本文中，张量稀疏PCA与最近邻方法（以及核岭回归方法）的组合将被提出并应用于人脸数据集。实验结果表明，张量稀疏PCA与任何分类系统的组合并不总是达到最佳的精度性能指标。然而，稀疏PCA方法和一个特定分类系统的组合的精度总是好于PCA方法和一个特定分类系统的组合的精度，并且总是好于分类系统本身的精度。
2020-08-11 cs.CV cs.LG stat.ML
A greedy anytime algorithm for sparse PCA
在解决一些高维统计问题，特别是涉及非凸优化的问题时，计算工作量很大，这使得高效运行（多项式时间）但不能保证统计一致性的算法的开发和分析得到了普及。鉴于不断增加的计算能力和不断降低的成本，算法的一个更有用的特征是它们能够利用手头输入的各种特性和可用的计算资源来校准所投入的计算工作。例如，设计一种算法，当SNR变弱时，通过增加运行时间来始终保证其输出的统计一致性。我们提出了一个新的贪婪算法的$\ell_0$稀疏PCA问题，支持校准原则。我们提供了一个严格的分析，我们的算法在尖峰协方差模型，以及模拟结果和与其他现有方法的比较。我们的研究结果表明，我们的算法恢复尖峰SNR制度，所有多项式时间算法失败，同时在一个合理的并行时间上运行的集群。
2020-02-12 cs.CC cs.LG math.ST
Automatic sparse PCA for high-dimensional data
本文针对高维数据中阈值稀疏主成分分析对阈值敏感的问题，提出一种基于定制降噪的自动阈值估计方法，以更低计算成本获得一致且准确的主成分方向，并验证其在聚类和实际数据分析中的有效性。
2023-05-26 math.ST stat.ME stat.TH
On the Worst-Case Approximability of Sparse PCA
Chinese University of Hong Kong（香港中文大学）；Microsoft Research New England（微软新英格兰研究院）；UC Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
众所周知，稀疏主成分分析（稀疏主成分分析）是NP-难的，在最坏情况下精确求解。求解稀疏PCA的复杂度大约是多少？我们的贡献包括：1）实现$n^{-1/3}$ -近似的简单而有效的算法; 2）对于某个小常数$\varepsilon > 0$，在$(1-\varepsilon)$内近似的NP-困难性; 3）在任何常数因子内近似的SSE-困难性;以及4）标准半定程序的$\exp\exp\left(Ω\left(\sqrt{\log \log n}\right)\right)$（“拟拟多项式”）间隙。
2015-07-21 cs.CC cs.DS cs.LG
Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA
本文提出基于极小化-最大化方法的迭代算法解决公平PCA问题，并扩展至公平鲁棒PCA和公平稀疏PCA，算法高效且无需超参数，实验验证优于现有方法。
2023-05-10 eess.SP stat.ML
Empirical Bayes Covariance Decomposition, and a Solution to the Multiple Tuning Problem in Sparse PCA
University of Chicago（芝加哥大学）
本文提出利用经验贝叶斯方法解决稀疏PCA中的多重调优问题，通过协方差分解提升模型性能。
2026-02-22 stat.ME stat.ML
Principal component analysis based clustering for high-dimension, low-sample-size data
在本文中，我们考虑基于主成分分析（PCA）的高维，低样本量（HDLSS）数据的聚类。我们给出了理论上的原因，为什么PCA是有效的聚类HDLSS数据。首先，我们推导出从两类混合模型的HDLSS数据的几何表示。借助几何表示，我们给出了HDLSS背景下样本主成分得分的几何一致性性质。我们发展了多类混合模型的几何表示和几何一致性性质的思想。我们表明，PCA可以分类HDLSS数据在一定条件下，在一个令人惊讶的明确的方式。最后，我们通过使用微阵列数据集展示了聚类的性能。
2015-03-16 math.ST stat.TH
Free Energy Wells and Overlap Gap Property in Sparse PCA
NYU（纽约大学）
我们研究了稀疏PCA（主成分分析）问题的“硬”政权，推理任务是可能的，但没有多项式时间算法已知存在的一个变种。先前的工作，基于低程度的似然比，已经证明了一个精确的表达式，在整个硬政权的最佳可能（次指数）的运行时间。相反，下面的统计物理学启发的观点，我们显示的各种吉布斯措施自然相关的问题的自由能井的深度上的界限。这些自由能井意味着首中时下界，证实了低度猜想：我们表明，一类自然MCMC（马尔可夫链蒙特卡罗）方法（最坏情况下的初始化）不能解决稀疏PCA与小于的约束运行时间。这些下界适用于两个调谐参数的宽值域的值：温度和稀疏误参数化。最后，我们证明了重叠间隙属性（OGP），一种结构属性，意味着某些局部搜索算法的失败，持有的一个重要组成部分的硬政权。
2020-06-18 cs.DS cs.LG math.OC
Sparse Phase Retrieval via Sparse PCA Despite Model Misspecification: A Simplified and Extended Analysis
University of Michigan（密歇根大学）
我们考虑高维误指定相位恢复的问题。这是我们在$\mathbb{R}^n$中具有$s$ -稀疏信号矢量$\mathbf{x}_*$的地方，我们希望使用采样矢量$\textbf{a}_1,\ldots,\textbf{a}_m$和测量$y_1,\ldots,y_m$来恢复$\mathbf{x}_*$，测量$y_1,\ldots,y_m$通过等式$f(\left<\textbf{a}_i,\textbf{x}_*\right>) = y_i$相关。这里，$f$是满足与二次函数的正相关的未知链接函数。Neykov，Wang和Liu在最近的一篇论文中分析了这个问题，他们为样本复杂度为$m = O(s^2\log n)$的两阶段算法提供了恢复保证。在本文中，我们表明，他们的算法的第一阶段足以与相同的样本复杂度的信号恢复，并扩展到非高斯测量的分析。此外，我们展示了该算法可以推广到恢复信号矢量$\textbf{x}_*$有效地给出几何先验信息，而不是稀疏性。
2017-12-13 cs.IT cs.LG math.IT
A Randomized Rounding Algorithm for Sparse PCA
International Computer Science Institute（国际计算机科学研究所）；University of California Berkeley（加州大学伯克利分校）；Xerox Research Centre India（施乐印度研究中心）；Purdue University（普渡大学）
我们提出并分析了一个简单的，两步算法来近似稀疏PCA问题的最优解。我们的方法首先解决了L1惩罚版本的NP-难稀疏PCA优化问题，然后使用随机舍入策略来稀疏化所得到的密集解决方案。我们的主要理论结果保证了加性误差近似，并提供了稀疏性和准确性之间的权衡。我们的实验评估表明，我们的方法在实践中是有竞争力的，即使是与最先进的工具箱，如痉挛。
2016-11-22 cs.DS cs.LG stat.ML
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong（香港中文大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Minnesota（明尼苏达大学）
稀疏主成分分析（PCA）和稀疏典型相关分析（CCA）是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难，大多数算法在文献中提出的解决一些松弛或启发式，缺乏收敛保证。在本文中，我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题，并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
Bayesian Variable Selection for Globally Sparse Probabilistic PCA
稀疏版本的主成分分析（PCA）强加自己作为简单，但强大的方式选择相关功能的高维数据在一个无监督的方式。然而，当计算几个稀疏的主成分时，所选变量的解释是困难的，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程称为全局稀疏概率PCA（GSPPCA），允许获得几个稀疏的组件具有相同的稀疏模式。这允许从业者识别与描述数据相关的原始变量。为此，使用Roweis的概率解释的PCA和高斯先验的负载矩阵，我们提供了第一个精确的计算贝叶斯PCA模型的边际似然。为了避免离散模型选择的缺点，这个框架的一个简单的放松。它允许使用变分期望最大化算法找到模型的路径。精确的边际似然，然后在此路径上最大化。这种方法是真实的和合成的数据集上说明。特别是，使用未标记的微阵列数据，GSPPCA推断更多的相关基因子集比传统的稀疏PCA算法。
2016-09-20 stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
Non-Sparse PCA in High Dimensions via Cone Projected Power Iteration
本文提出了一种锥投影幂迭代算法，用于从有噪的正半定矩阵中恢复第一主特征向量。当真主特征向量属于一个凸锥时，该算法速度快，误差小。具体地说，该方法实现了多项式时间复杂度的某些凸锥配备快速投影，如单调锥。当噪声矩阵具有小的锥限制算子范数时，该方法具有较小的误差。我们补充了上述结果的最小最大下界的误差下的加标协方差模型。对模拟数据和实际数据的数值实验表明，当主特征向量为凸锥时，与普通幂迭代和一些稀疏主成分分析算法相比，该方法具有更短的运行时间和更小的误差。
2021-02-28 math.ST stat.CO stat.ME
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Support Recovery in Sparse PCA with Incomplete Data
Purdue University（普渡大学）
本文研究了一种适用于不完全数据和噪声数据的稀疏主成分分析（PCA）算法。我们的算法是基于半定规划（SDP）松弛的非凸$l_1$正则PCA问题。我们提供了理论和实验证据，SDP使我们能够准确地恢复未知真实矩阵的稀疏前导特征向量的真实支持，尽管只观察到不完整的（随机均匀丢失）和噪声版本。我们推导出精确恢复的充分条件，其中涉及矩阵不相干，最大和第二大特征值之间的谱间隙，观测概率和噪声方差。我们用不完整的合成数据验证了我们的理论结果，并在基因表达数据集上显示了令人鼓舞和有意义的结果。
2022-05-30 cs.LG stat.ML
De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices
稀疏主成分分析（sparse principal component analysis，sPCA）已成为高维数据降维中应用最广泛的技术之一。sPCA的主要挑战是估计总体协方差矩阵的第一个负载向量，前提是只有一定数量的负载是非零的。在本文中，我们提出了置信区间的个人负荷和人口的协方差矩阵的最大特征值。给定一个独立的样本$X^i \in\mathbb R^p, i = 1,...,n,$从一个未知的分布与一个未知的协方差矩阵$Σ_0$，我们的目的是估计的第一个向量的负载和最大的特征值的$Σ_0$在设置$p\gg n$。除了高维性之外，另一个挑战在于问题固有的非凸性。我们基于我们的方法上的拉索惩罚M-估计，尽管非凸性，可以解决一个多项式时间的算法，如坐标或梯度下降。我们证明了我们的估计量在$\ell_1$和$\ell_2$ -范数下达到了极大极小最优速率。我们确定在拉索为基础的估计偏差，并提出了一个去偏稀疏PCA估计的负载向量和协方差矩阵$Σ_0$的最大特征值。我们的主要结果为去偏估计量的渐近正态性提供了理论保证。我们施加的主要条件是稀疏的第一个特征向量的小阶$\sqrt{n}/\log p$和稀疏的同阶的逆Hessian矩阵的列的人口风险。
2018-01-31 math.ST stat.ME stat.TH
Sum-of-Squares Lower Bounds for Sparse PCA
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
本文建立了一个统计与计算的权衡解决一个基本的高维机器学习问题，通过一个基本的凸松弛方法。具体来说，我们考虑{ \em稀疏主成分分析}（稀疏PCA）的问题，和家庭的{ \em平方和}（SoS，又名Lasserre/Parillo）凸松弛。众所周知，在大维度$p$中，可以仅使用$n \approx k\log p$（高斯或伯努利）样本来{ \em原则上}检测种植的$k$ -稀疏单位向量，但是已知的所有{ \em有效}（多项式时间）算法需要$n \approx k^2$样本。还已知的是，该二次间隙不能通过最基本的{ \em半定}（SDP，aka谱）松弛来改进，其等效于2度SoS算法。在这里，我们证明，度-4 SoS算法也不能改善这种二次差距。这个平均情况下的下限增加了这个强大的凸松弛算法家族的机器学习中的小的困难结果集合。此外，我们的设计的时刻（或“伪期望”），这个下限是相当不同的，比以前的下限。建立更高程度的SoS算法的下界仍然是一个具有挑战性的问题。
2015-10-18 cs.CC cs.LG math.ST
Support Recovery in Sparse PCA with Non-Random Missing Data
Purdue University（普渡大学）
我们分析了一个实用的算法稀疏PCA不完整和噪声数据下的一般非随机抽样计划。该算法是基于半定松弛的$\ell_1$正则PCA问题。我们提供了理论证明，在一定的条件下，我们可以恢复稀疏领先的特征向量的支持，以高概率获得一个独特的解决方案。这些条件包括真实数据矩阵的最大和第二大特征值之间的谱间隙、噪声的大小以及观测条目的结构特性。代数连通性和不规则性的概念被用来描述所观察到的条目的结构特性。我们经验证明我们的理论与合成和真实的数据分析。我们还表明，我们的算法优于其他几个稀疏PCA方法，特别是当观察到的条目具有良好的结构属性。作为我们分析的副产品，我们提供了两个定理来处理确定性采样方案，这可以应用于其他矩阵相关的问题。
2023-02-03 cs.LG stat.ML
Sparse Equisigned PCA: Algorithms and Performance Bounds in the Noisy Rank-1 Setting
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）
基于奇异值分解（SVD）的主成分分析（PCA）在高维和有限的样本量范围内失效，低于取决于系统的维数和样本的样本个数的某个临界特征SNR。低于这个临界特征SNR，SVD返回的估计值与潜在主成分渐近不相关。我们考虑一种设置，其中底层秩一信号矩阵的左奇异向量被假设为稀疏的，并且右奇异向量被假设为等符号的，即，具有仅非负或仅非正的条目。我们考虑六种不同的算法，估计稀疏的主成分基于不同的统计标准，并证明，通过利用稀疏性，我们恢复相合估计在低特征信噪比制度的SVD失败。我们的分析揭示了条件下，一个基于\textit{sum-type decision statistic}的坐标选择方案优于计划，利用$\ell_1$和$\ell_2$规范为基础的统计。我们推导出主左奇异向量的可检测坐标的大小的下界，并利用这些下界推导出最坏情况下的风险的下界。最后，我们用数值模拟验证了我们的发现，并用视频数据示例说明了性能，其中兴趣在于识别对象。
2019-12-16 cs.LG eess.SP math.ST
Sparse outlier-robust PCA for multi-source data
本文提出一种稀疏鲁棒PCA方法，用于多源数据联合分析，同时选择重要特征、检测稀疏模式并鲁棒于异常值。
2024-07-23 stat.ME stat.ML
Information-theoretic bounds and phase transitions in clustering, sparse PCA, and submatrix localization
我们研究的问题，检测结构化的，低秩的信号矩阵损坏加性高斯噪声。这包括高斯混合模型中的聚类、稀疏PCA和子矩阵定位。这些问题中的每一个都被证明表现出一个尖锐的信息理论阈值，低于该阈值的信号太弱，任何算法都无法检测到。我们推导出这些阈值的上限和下界，通过应用第一和第二矩方法的似然比之间的“种植模型”和空模型的信号矩阵为零。当秩很大（在聚类和子矩阵定位问题中，当聚类或块的数量很大时）或信号矩阵非常稀疏时，我们的边界最多相差根2的因子。此外，我们的上界表明，对于这些问题中的每一个，存在一个重要的制度，其中可靠的检测是信息-理论上是可能的，但已知的算法，如PCA完全失败，因为所观察到的矩阵的频谱是没有信息的。这种机制类似于稀疏图中社区检测的“硬但可检测”机制。
2017-01-23 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Sparse Generalized Principal Component Analysis for Large-scale Applications beyond Gaussianity
主成分分析（PCA）是一种降维技术。当维数从中等到高时，它会产生不一致的估计值，这通常是现代大规模应用中的问题，在这些应用中，算法的可扩展性和模型的可解释性难以实现，更不用说缺失值的普遍存在了。虽然现有的稀疏PCA方法缓解了不一致性，但它们受限于经典PCA的高斯假设，并且无法解决算法可扩展性问题。我们将稀疏PCA推广到高维设置下的宽指数族分布，并内置了缺失值的处理。同时，我们提出了一个家庭的迭代稀疏广义PCA（SG-PCA）算法，尽管非凸性和非光滑的优化任务，损失函数减少在每次迭代。在易用性和直观的参数调整方面，我们的稀疏诱导正则化远远优于流行的Lasso。此外，为了提高整体的可扩展性，加速梯度被集成以实现快速收敛，而渐进筛选技术逐渐挤出大规模问题的讨厌尺寸以实现可行的优化。高维仿真和真实数据实验证明了SG-PCA的高效性和有效性。
2016-01-28 stat.CO stat.ML
Sparse PCA with False Discovery Rate Controlled Variable Selection
Technische Universität Darmstadt（达姆施塔特工业大学）；Conservatoire National des Arts et Métiers（法国国立工艺学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出T-Rex PCA，利用错误发现率控制和终止随机实验选择器自动确定稀疏载荷向量支持集，无需调整稀疏性参数，在数值实验和股票市场数据中显著提升了变量选择性能。
2024-01-16 cs.LG stat.ML
CUR from a Sparse Optimization Viewpoint
CUR分解提供了矩阵$X$的近似，该矩阵具有低重建误差，并且在所得近似仅位于$X$的几列的范围内的意义上是稀疏的。在这方面，它似乎类似于许多稀疏PCA方法。然而，CUR采用随机算法方法，而大多数稀疏PCA方法都是凸优化问题。在本文中，我们试图从稀疏优化的观点来理解CUR。我们表明，CUR是隐式优化稀疏回归目标，而且，不能直接铸造作为一个稀疏PCA方法。我们还观察到，稀疏性达到CUR拥有一个有趣的结构，这使我们制定一个稀疏PCA方法，实现了CUR-like稀疏。
2010-11-01 cs.DS stat.AP stat.ML
Combinatorial Sparse PCA Beyond the Spiked Identity Model
UT Austin（德克萨斯大学奥斯汀分校）；UW Madison（威斯康星大学麦迪逊分校）
针对稀疏PCA问题，提出首个在一般协方差矩阵下可证明成功的组合方法，基于截断幂方法的变体，使用s^2·polylog(d)样本和d^2·poly(s,log(d))时间，并推广到稀疏主导特征空间恢复。
2026-06-23 cs.DS cs.LG math.OC
Optimal Projected Variance Group-Sparse Block PCA
我们解决的问题，定义一组稀疏配方的主成分分析（PCA）-或其等价的配方低秩近似或字典学习问题-这实现了最大化的方差解释的组件和促进稀疏的负载之间的妥协。因此，我们首先提出了一个新的定义的方差解释的非必要的正交成分，这是最佳的，在某些方面和兼容的主成分的情况。然后，我们使用一个特定的正则化，这个方差的组$\ell_{1}$规范，以定义一个组稀疏最大方差（GSMV）制定的PCA。GSMV公式通过构造实现了我们的目标，并且具有内部非光滑优化问题可以解析求解的良好性质，从而将GSMV简化为在单位范数和正交约束下的光滑凸函数的最大化，这将Rollennee等人（2010）推广到组稀疏性。数值比较与通货紧缩的合成数据表明，GSMV产生稳定的略好，更强大的结果检索隐藏的稀疏结构，并在这些例子中的速度约为三倍。实际数据的应用表明，在混合数据（分类/数值）的PCA变量选择组稀疏的利益。
2021-01-14 stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分，证明草图接近原矩阵时可获得近优解，提出稀疏PCA算法并展示其在多领域数据上的有效性，提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
Efficient Sparse PCA via Block-Diagonalization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
提出一种通过块对角化近似协方差矩阵来高效求解Sparse PCA的框架，可集成任意现有算法，在保证极小误差的前提下实现显著甚至指数级加速。
2025-03-05 cs.LG math.OC stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
Sparse Principal Component Analysis with missing observations
本文研究了高维情形下的稀疏主成分分析问题。我们的目标是当我们只能获得部分观测值时估计第一主成分。现有的估计技术通常来自充分观察的数据集，并需要先验知识的稀疏性的第一主成分，以实现良好的统计保证。我们的贡献是三方面的。首先，我们建立了具有缺失观测的稀疏PCA问题的第一信息论下界。其次，我们提出了一个简单的程序，不需要任何先验知识的稀疏性未知的第一个主成分或任何填补的缺失的意见，适应未知的稀疏性的第一个主成分，并达到最佳估计率的对数因子。第三，如果感兴趣的协方差阵允许稀疏的第一主成分并且另外近似低秩，则我们可以导出在高维中计算上易于处理的完全数据驱动的过程，适应于第一主成分的未知稀疏性并且是统计上最优的（直到对数因子）。
2012-06-01 math.ST stat.TH
Fast Randomized PCA for Sparse Data
Tsinghua University（清华大学）
主成分分析（PCA）在社会网络分析、信息检索、自然语言处理等领域被广泛应用于真实数据的降维和嵌入。该算法具有与基本随机SVD（rPCA）算法（Halko等人，2011），但在很大程度上针对稀疏数据进行了优化。它还具有很好的灵活性，可以在实际使用中权衡运行时间和准确性。对实际数据的实验表明，该算法在不损失精度的情况下，比基本的rPCA算法快9.1倍，比Matlab中的svds算法快20倍，且误差很小.该算法在24核机器上计算了包含12，869，521人和323，899个关键词的大型信息检索数据的前100个主成分，而所有传统方法都因内存不足而失败。
2018-10-16 cs.LG stat.ML
