Consistency of Sparse PCA in High Dimension, Low Sample Size Contexts
稀疏主成分分析（PCA）方法是对复杂数据进行降维（或变量数目）的有效工具。稀疏主成分（PC）比传统的PC更容易解释，因为大多数载荷为零。我们研究了这些稀疏PC方向的渐近性质的情况下，固定样本量和增加的维度（即高维，低样本量（HDLSS））。在先前研究的尖峰协方差假设下，我们表明稀疏PCA在先前为传统PCA建立的相同大尖峰条件下保持一致。在广泛的小尖峰条件下，我们发现了一个大的稀疏性假设，稀疏PCA是一致的，但PCA是强烈不一致的。一致性区域的边界使用一个oracle结果来澄清。
2011-04-21 math.ST stat.TH
Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA
本文提出基于极小化-最大化方法的迭代算法解决公平PCA问题，并扩展至公平鲁棒PCA和公平稀疏PCA，算法高效且无需超参数，实验验证优于现有方法。
2023-05-10 eess.SP stat.ML
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分，证明草图接近原矩阵时可获得近优解，提出稀疏PCA算法并展示其在多领域数据上的有效性，提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
Bayesian Variable Selection for Globally Sparse Probabilistic PCA
稀疏版本的主成分分析（PCA）强加自己作为简单，但强大的方式选择相关功能的高维数据在一个无监督的方式。然而，当计算几个稀疏的主成分时，所选变量的解释是困难的，因为每个轴都有自己的稀疏模式，必须单独解释。为了克服这个缺点，我们提出了一个贝叶斯过程称为全局稀疏概率PCA（GSPPCA），允许获得几个稀疏的组件具有相同的稀疏模式。这允许从业者识别与描述数据相关的原始变量。为此，使用Roweis的概率解释的PCA和高斯先验的负载矩阵，我们提供了第一个精确的计算贝叶斯PCA模型的边际似然。为了避免离散模型选择的缺点，这个框架的一个简单的放松。它允许使用变分期望最大化算法找到模型的路径。精确的边际似然，然后在此路径上最大化。这种方法是真实的和合成的数据集上说明。特别是，使用未标记的微阵列数据，GSPPCA推断更多的相关基因子集比传统的稀疏PCA算法。
2016-09-20 stat.ML
Empirical Bayes Covariance Decomposition, and a Solution to the Multiple Tuning Problem in Sparse PCA
University of Chicago（芝加哥大学）
本文提出利用经验贝叶斯方法解决稀疏PCA中的多重调优问题，通过协方差分解提升模型性能。
2026-02-22 stat.ME stat.ML
Tensor Sparse PCA and Face Recognition: A Novel Approach
EPHE-PSL University（巴黎高等实践研究大学-巴黎文理研究大学）；Ho Chi Minh University of Technology（胡志明市技术大学）
人脸识别是机器学习和模式识别研究领域中的一个重要领域。它在军事、金融、公共安全等方面有很多应用。在本文中，张量稀疏PCA与最近邻方法（以及核岭回归方法）的组合将被提出并应用于人脸数据集。实验结果表明，张量稀疏PCA与任何分类系统的组合并不总是达到最佳的精度性能指标。然而，稀疏PCA方法和一个特定分类系统的组合的精度总是好于PCA方法和一个特定分类系统的组合的精度，并且总是好于分类系统本身的精度。
2020-08-11 cs.CV cs.LG stat.ML
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
A Randomized Rounding Algorithm for Sparse PCA
International Computer Science Institute（国际计算机科学研究所）；University of California Berkeley（加州大学伯克利分校）；Xerox Research Centre India（施乐印度研究中心）；Purdue University（普渡大学）
我们提出并分析了一个简单的，两步算法来近似稀疏PCA问题的最优解。我们的方法首先解决了L1惩罚版本的NP-难稀疏PCA优化问题，然后使用随机舍入策略来稀疏化所得到的密集解决方案。我们的主要理论结果保证了加性误差近似，并提供了稀疏性和准确性之间的权衡。我们的实验评估表明，我们的方法在实践中是有竞争力的，即使是与最先进的工具箱，如痉挛。
2016-11-22 cs.DS cs.LG stat.ML
On the Worst-Case Approximability of Sparse PCA
Chinese University of Hong Kong（香港中文大学）；Microsoft Research New England（微软新英格兰研究院）；UC Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
众所周知，稀疏主成分分析（稀疏主成分分析）是NP-难的，在最坏情况下精确求解。求解稀疏PCA的复杂度大约是多少？我们的贡献包括：1）实现$n^{-1/3}$ -近似的简单而有效的算法; 2）对于某个小常数$\varepsilon > 0$，在$(1-\varepsilon)$内近似的NP-困难性; 3）在任何常数因子内近似的SSE-困难性;以及4）标准半定程序的$\exp\exp\left(Ω\left(\sqrt{\log \log n}\right)\right)$（“拟拟多项式”）间隙。
2015-07-21 cs.CC cs.DS cs.LG
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文讨论了如何以及我们可以恢复一个数据矩阵时，只有几个元素。我们提出了一个随机算法，元素明智的稀疏的数据，只保留了几个元素。我们的新算法使用依赖于条目的平方（$\ell_2$采样）和绝对值（$\ell_1$采样）的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小：混合-（$\ell_1,\ell_2$）继承了$\ell_2$的能力，以采样的重要元素，以及$\ell_1$采样的正则化属性，并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法，并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
The All-or-Nothing Phenomenon in Sparse Tensor PCA
我们研究了估计一个被加性高斯噪声破坏的秩为1的稀疏张量的统计问题，该模型也被称为稀疏张量PCA。我们发现，伯努利和伯努利-Rademacher分布的信号和\emph{for all}稀疏水平是次线性的信号的维度，稀疏张量PCA模型表现出相变称为\emph{all-or-nothing phenomenon}。这是这样的性质，即对于某个信噪比（SNR）$\mathrm{SNR_c}$和任何固定的$ε>0$，如果模型的SNR低于$\left(1-ε\right)\mathrm{SNR_c}$，则不可能实现与隐藏信号的任何任意小的恒定相关，而如果SNR高于$\left(1+ε\right)\mathrm{SNR_c}$，则可以实现与隐藏信号的几乎完美的相关。全有或全无现象最初是在稀疏线性回归的背景下建立的，在过去的一年中，稀疏2张量（矩阵）PCA，伯努利组测试和广义线性模型也是如此。我们的结果遵循一个更一般的结果表明，对于任何高斯加性模型与离散均匀先验，全有或全无的现象如下的先验分布的支持的一个适当定义的“近正交”属性的直接结果。
2020-09-05 cs.IT math.IT math.ST
Support Recovery in Sparse PCA with Incomplete Data
Purdue University（普渡大学）
本文研究了一种适用于不完全数据和噪声数据的稀疏主成分分析（PCA）算法。我们的算法是基于半定规划（SDP）松弛的非凸$l_1$正则PCA问题。我们提供了理论和实验证据，SDP使我们能够准确地恢复未知真实矩阵的稀疏前导特征向量的真实支持，尽管只观察到不完整的（随机均匀丢失）和噪声版本。我们推导出精确恢复的充分条件，其中涉及矩阵不相干，最大和第二大特征值之间的谱间隙，观测概率和噪声方差。我们用不完整的合成数据验证了我们的理论结果，并在基因表达数据集上显示了令人鼓舞和有意义的结果。
2022-05-30 cs.LG stat.ML
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong（香港中文大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Minnesota（明尼苏达大学）
稀疏主成分分析（PCA）和稀疏典型相关分析（CCA）是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难，大多数算法在文献中提出的解决一些松弛或启发式，缺乏收敛保证。在本文中，我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题，并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
Sparsistency and agnostic inference in sparse PCA
稀疏的“真理”的存在一直是稀疏PCA的理论分析中的一个恒定假设，并且通常隐含在其方法的发展中。这自然会引起关于稀疏PCA方法的属性以及它们如何依赖于稀疏性假设的问题。如果真值被假设为稀疏的，那么在什么条件下相关变量的选择是一致的？在不假设稀疏和唯一真理的情况下，关于稀疏PCA的结果可以说些什么？我们回答这些问题，通过调查最近提出的Fantope投影和选择（FPS）方法在高维设置的属性。我们的结果为FPS估计的稀疏性提供了一般的充分条件。这些条件是弱的，并且可以在已知其他估计失败的情况下保持。另一方面，在不假设稀疏性或可识别性的情况下，我们表明FPS提供了一个稀疏的线性降维变换，在最大化预测协方差方面接近最佳可能。
2015-03-05 math.ST stat.ML stat.TH
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Sparse PCA through Low-rank Approximations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stochastic Technologies（Stochastic Technologies（随机科技公司））
我们介绍了一种新的算法，计算$k$ -稀疏的半正定矩阵$A$的主成分。我们的算法是组合的，并通过检查一组离散的特殊向量躺在一个低维的特征子空间的$A$。我们得到可证明的近似保证，依赖于矩阵的谱衰减曲线：特征值衰减越快，我们的近似质量越好。例如，如果$A$的本征值遵循幂律衰减，则我们可以获得任何所需精度的多项式时间近似算法。我们的计划的一个关键算法组件是一个组合特征消除步骤，可证明是安全的，并在实践中显着降低了我们的算法的运行复杂性。我们实现了我们的算法，并在多个人工和真实数据集上进行了测试。由于特征消除步骤，可以在几分钟内对由数百万个条目组成的数据集执行稀疏PCA。我们的实验评估表明，我们的计划是接近最佳的，而找到非常稀疏的向量。我们比较现有技术的状态，并表明我们的计划匹配或优于以前的算法在所有测试数据集。
2014-05-08 cs.IT cs.LG math.IT
Support Recovery in Sparse PCA with Non-Random Missing Data
Purdue University（普渡大学）
我们分析了一个实用的算法稀疏PCA不完整和噪声数据下的一般非随机抽样计划。该算法是基于半定松弛的$\ell_1$正则PCA问题。我们提供了理论证明，在一定的条件下，我们可以恢复稀疏领先的特征向量的支持，以高概率获得一个独特的解决方案。这些条件包括真实数据矩阵的最大和第二大特征值之间的谱间隙、噪声的大小以及观测条目的结构特性。代数连通性和不规则性的概念被用来描述所观察到的条目的结构特性。我们经验证明我们的理论与合成和真实的数据分析。我们还表明，我们的算法优于其他几个稀疏PCA方法，特别是当观察到的条目具有良好的结构属性。作为我们分析的副产品，我们提供了两个定理来处理确定性采样方案，这可以应用于其他矩阵相关的问题。
2023-02-03 cs.LG stat.ML
Optimal Projected Variance Group-Sparse Block PCA
我们解决的问题，定义一组稀疏配方的主成分分析（PCA）-或其等价的配方低秩近似或字典学习问题-这实现了最大化的方差解释的组件和促进稀疏的负载之间的妥协。因此，我们首先提出了一个新的定义的方差解释的非必要的正交成分，这是最佳的，在某些方面和兼容的主成分的情况。然后，我们使用一个特定的正则化，这个方差的组$\ell_{1}$规范，以定义一个组稀疏最大方差（GSMV）制定的PCA。GSMV公式通过构造实现了我们的目标，并且具有内部非光滑优化问题可以解析求解的良好性质，从而将GSMV简化为在单位范数和正交约束下的光滑凸函数的最大化，这将Rollennee等人（2010）推广到组稀疏性。数值比较与通货紧缩的合成数据表明，GSMV产生稳定的略好，更强大的结果检索隐藏的稀疏结构，并在这些例子中的速度约为三倍。实际数据的应用表明，在混合数据（分类/数值）的PCA变量选择组稀疏的利益。
2021-01-14 stat.ML
Sparse outlier-robust PCA for multi-source data
本文提出一种稀疏鲁棒PCA方法，用于多源数据联合分析，同时选择重要特征、检测稀疏模式并鲁棒于异常值。
2024-07-23 stat.ME stat.ML
Sparse Generalized Principal Component Analysis for Large-scale Applications beyond Gaussianity
主成分分析（PCA）是一种降维技术。当维数从中等到高时，它会产生不一致的估计值，这通常是现代大规模应用中的问题，在这些应用中，算法的可扩展性和模型的可解释性难以实现，更不用说缺失值的普遍存在了。虽然现有的稀疏PCA方法缓解了不一致性，但它们受限于经典PCA的高斯假设，并且无法解决算法可扩展性问题。我们将稀疏PCA推广到高维设置下的宽指数族分布，并内置了缺失值的处理。同时，我们提出了一个家庭的迭代稀疏广义PCA（SG-PCA）算法，尽管非凸性和非光滑的优化任务，损失函数减少在每次迭代。在易用性和直观的参数调整方面，我们的稀疏诱导正则化远远优于流行的Lasso。此外，为了提高整体的可扩展性，加速梯度被集成以实现快速收敛，而渐进筛选技术逐渐挤出大规模问题的讨厌尺寸以实现可行的优化。高维仿真和真实数据实验证明了SG-PCA的高效性和有效性。
2016-01-28 stat.CO stat.ML
Sparse PCA with False Discovery Rate Controlled Variable Selection
Technische Universität Darmstadt（达姆施塔特工业大学）；Conservatoire National des Arts et Métiers（法国国立工艺学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出T-Rex PCA，利用错误发现率控制和终止随机实验选择器自动确定稀疏载荷向量支持集，无需调整稀疏性参数，在数值实验和股票市场数据中显著提升了变量选择性能。
2024-01-16 cs.LG stat.ML
The Complexity of Sparse Tensor PCA
National University of Singapore（新加坡国立大学）；ETH Zürich（苏黎世联邦理工学院）
本文研究了稀疏张量主成分分析问题：给定一个张量$\pmb Y = \pmb W + λx^{\otimes p}$，其中$\pmb W \in \otimes^p\mathbb{R}^n$的i.i.d.高斯条目，目标是恢复$k$ -稀疏单位向量$x \in \mathbb{R}^n$。该模型捕获稀疏PCA（Wigner形式）和张量PCA。对于高度稀疏的制度$k \leq \sqrt{n}$，我们提出了一个家庭的算法，平滑插值之间的一个简单的多项式时间算法和指数时间穷举搜索算法。对于任何$1 \leq t \leq k$，我们的算法恢复的稀疏向量的信噪比$λ\geq \tilde{\mathcal{O}} (\sqrt{t} \cdot (k/t)^{p/2})$在时间$\tilde{\mathcal{O}}(n^{p+t})$，捕捉最先进的保证矩阵设置（在多项式时间和次指数时间制度）。我们的研究结果自然扩展到$r$不同的$k$ -稀疏信号的情况下，不相交的支持，保证是独立的尖峰的数量。即使在稀疏PCA的受限情况下，已知算法也仅恢复$λ\geq \tilde{\mathcal{O}}(k \cdot r)$的稀疏向量，而我们的算法需要$λ\geq \tilde{\mathcal{O}}(k)$。最后，通过分析低程度的似然比，我们补充这些算法的结果与严格的证据说明信噪比和运行时间之间的…
2021-11-02 cs.CC cs.DS cs.LG
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
CUR from a Sparse Optimization Viewpoint
CUR分解提供了矩阵$X$的近似，该矩阵具有低重建误差，并且在所得近似仅位于$X$的几列的范围内的意义上是稀疏的。在这方面，它似乎类似于许多稀疏PCA方法。然而，CUR采用随机算法方法，而大多数稀疏PCA方法都是凸优化问题。在本文中，我们试图从稀疏优化的观点来理解CUR。我们表明，CUR是隐式优化稀疏回归目标，而且，不能直接铸造作为一个稀疏PCA方法。我们还观察到，稀疏性达到CUR拥有一个有趣的结构，这使我们制定一个稀疏PCA方法，实现了CUR-like稀疏。
2010-11-01 cs.DS stat.AP stat.ML
Fast Randomized PCA for Sparse Data
Tsinghua University（清华大学）
主成分分析（PCA）在社会网络分析、信息检索、自然语言处理等领域被广泛应用于真实数据的降维和嵌入。该算法具有与基本随机SVD（rPCA）算法（Halko等人，2011），但在很大程度上针对稀疏数据进行了优化。它还具有很好的灵活性，可以在实际使用中权衡运行时间和准确性。对实际数据的实验表明，该算法在不损失精度的情况下，比基本的rPCA算法快9.1倍，比Matlab中的svds算法快20倍，且误差很小.该算法在24核机器上计算了包含12，869，521人和323，899个关键词的大型信息检索数据的前100个主成分，而所有传统方法都因内存不足而失败。
2018-10-16 cs.LG stat.ML
Optimal convex lifted sparse phase retrieval and PCA with an atomic matrix norm regularizer
本文提出一种新的混合原子矩阵范数正则化凸规划，用于稀疏相位恢复和稀疏PCA，证明其具有接近最优的样本复杂度和误差率保证，并推导出实用的启发式算法，实验表明其性能与现有最先进算法相当。
2022-09-26 math.ST stat.TH
Efficient Sparse PCA via Block-Diagonalization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
提出一种通过块对角化近似协方差矩阵来高效求解Sparse PCA的框架，可集成任意现有算法，在保证极小误差的前提下实现显著甚至指数级加速。
2025-03-05 cs.LG math.OC stat.ML
Combinatorial Sparse PCA Beyond the Spiked Identity Model
UT Austin（德克萨斯大学奥斯汀分校）；UW Madison（威斯康星大学麦迪逊分校）
针对稀疏PCA问题，提出首个在一般协方差矩阵下可证明成功的组合方法，基于截断幂方法的变体，使用s^2·polylog(d)样本和d^2·poly(s,log(d))时间，并推广到稀疏主导特征空间恢复。
2026-06-23 cs.DS cs.LG math.OC
All Sparse PCA Models Are Wrong, But Some Are Useful. Part I: Computation of Scores, Residuals and Explained Variance
University of Granada（格拉纳达大学）；University of Amsterdam（阿姆斯特丹大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
稀疏主成分分析（sPCA）是一种基于主成分分析（PCA）的流行矩阵因子分解方法，它将方差最大化和稀疏性与改善数据解释的最终目标相结合。当从PCA转移到sPCA时，从业者需要意识到一些影响。一个相关的问题是sPCA中的得分和负载可能不是正交的。由于这个原因，在经典PCA中使用的计算分数、残差和方差的传统方法不能直接应用于sPCA模型。这也会影响sPCA组件的可视化方式。在本文中，我们说明了这个问题的理论和数值模拟几个国家的最先进的sPCA算法，并提供适当的计算提到的不同元素。我们表明，sPCA方法在建模无噪声，稀疏数据时表现出不同的和有限的性能。在后续的论文中，我们讨论了导致这个问题的理论性质。
2019-07-09 cs.LG stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
Sparse PCA with Oracle Property
Princeton University（普林斯顿大学）
本文提出基于半定松弛的稀疏PCA估计量族，在弱假设下实现支持恢复与Oracle性质，并给出更优收敛速率，通过实验验证。
2023-12-28 cs.LG stat.ML
Information-theoretic bounds and phase transitions in clustering, sparse PCA, and submatrix localization
我们研究的问题，检测结构化的，低秩的信号矩阵损坏加性高斯噪声。这包括高斯混合模型中的聚类、稀疏PCA和子矩阵定位。这些问题中的每一个都被证明表现出一个尖锐的信息理论阈值，低于该阈值的信号太弱，任何算法都无法检测到。我们推导出这些阈值的上限和下界，通过应用第一和第二矩方法的似然比之间的“种植模型”和空模型的信号矩阵为零。当秩很大（在聚类和子矩阵定位问题中，当聚类或块的数量很大时）或信号矩阵非常稀疏时，我们的边界最多相差根2的因子。此外，我们的上界表明，对于这些问题中的每一个，存在一个重要的制度，其中可靠的检测是信息-理论上是可能的，但已知的算法，如PCA完全失败，因为所观察到的矩阵的频谱是没有信息的。这种机制类似于稀疏图中社区检测的“硬但可检测”机制。
2017-01-23 cond-mat.dis-nn cond-mat.stat-mech cs.IT
PCA of probability measures: Sparse and Dense sampling regimes
研究在双渐近情形下对多个概率测度进行主成分分析，通过\(m\)个样本观察\(n\)个概率测度，推导经验协方差算子和主成分分析超额风险的收敛率\(n^{-1/2} + m^{-\alpha}\)，证明密集情形下速率是极小极大最优的。
2026-07-07 cs.LG stat.ML
Sparse Phase Retrieval via Sparse PCA Despite Model Misspecification: A Simplified and Extended Analysis
University of Michigan（密歇根大学）
我们考虑高维误指定相位恢复的问题。这是我们在$\mathbb{R}^n$中具有$s$ -稀疏信号矢量$\mathbf{x}_*$的地方，我们希望使用采样矢量$\textbf{a}_1,\ldots,\textbf{a}_m$和测量$y_1,\ldots,y_m$来恢复$\mathbf{x}_*$，测量$y_1,\ldots,y_m$通过等式$f(\left<\textbf{a}_i,\textbf{x}_*\right>) = y_i$相关。这里，$f$是满足与二次函数的正相关的未知链接函数。Neykov，Wang和Liu在最近的一篇论文中分析了这个问题，他们为样本复杂度为$m = O(s^2\log n)$的两阶段算法提供了恢复保证。在本文中，我们表明，他们的算法的第一阶段足以与相同的样本复杂度的信号恢复，并扩展到非高斯测量的分析。此外，我们展示了该算法可以推广到恢复信号矢量$\textbf{x}_*$有效地给出几何先验信息，而不是稀疏性。
2017-12-13 cs.IT cs.LG math.IT
Sparse PCA via Bipartite Matchings
UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）
我们考虑以下多分量稀疏PCA问题：给定一组数据点，我们寻求提取少量具有不相交支持的稀疏分量，这些稀疏分量共同捕获最大可能方差。这些分量可以一个接一个地计算，反复解决单分量问题并缩小输入数据矩阵，但正如我们所展示的，这种贪婪的过程是次优的。我们提出了一种新的算法稀疏PCA，联合优化多个不相交的组件。所提取的特征捕获方差，该方差位于从最优值任意接近1的乘法因子内。我们的算法是组合和计算所需的组件，通过解决多个实例的二分最大权重匹配问题。它的复杂性在输入数据矩阵的环境维度中以低阶多项式的形式增长，但在其秩中呈指数增长。然而，它可以有效地应用于数据的低维草图;这使我们能够通过谱边界获得多项式时间近似保证。我们评估我们的算法在真实的数据集和经验证明，在许多情况下，它优于现有的，基于通货紧缩的方法。
2015-08-04 cs.DS cs.LG math.OC
Computational Lower Bounds for Sparse PCA
在稀疏主成分检测的背景下，我们带来的证据对存在的统计代价支付计算效率。我们衡量的最小信号强度，它可以检测到的测试的性能，我们提出了一个计算效率高的方法的基础上半定规划。我们还证明，这个测试的统计性能不能严格提高任何计算效率的方法。我们的结果可以被视为复杂性理论的下界条件的假设，种植集团问题的某些情况下，不能在随机多项式时间内解决。
2013-04-26 cs.CC math.ST stat.ML
Optimal Average-Case Reductions to Sparse PCA: From Weak Assumptions to Strong Hardness
Massachusetts Institute of Technology（麻省理工学院）
在过去的十年中，稀疏主成分分析已经成为一个典型的问题，说明计算的权衡。这一趋势在很大程度上是由一系列研究驱动的，这些研究旨在通过从种植集团（PC）猜想的减少来表征稀疏PCA的平均情况复杂度-这表明没有多项式时间算法来检测$\mathcal{G}(N, \frac{1}{2})$中$K = o(N^{1/2})$大小的种植集团。所有以前的减少稀疏PCA要么没有显示出紧密的计算下限匹配现有的算法或显示出较低的界限，制定稀疏PCA以外的规范生成模型，尖峰协方差模型。而且，这些下界都随着PC猜想中的指数而迅速退化。具体地说，当仅给定PC猜想直到$K = o(N^α)$，其中$α< 1/2$时，不存在这些下界保持紧密的稀疏水平$k$。如果$α\le 1/3$，这些减少甚至不能显示在任何稀疏度$k$的计算-计算折衷的存在。我们从PC产生的第一个完整的表征的计算障碍的尖峰协方差模型，在所有的稀疏$k$提供严格的下限减少。我们还显示了令人惊讶的结果，较弱形式的PC猜想集团大小$K = o(N^α)$为任何给定的$α\in (0, 1/2]$意味着紧密的计算下界稀疏PCA稀疏$k = o(n^{α/3})$。这表明，即使是最知名的多项式时间稀疏PCA算法所需的信号强度的轻微改善也意味着PC的硬度阈值是次多项式。这是第一个次优硬度假设的例子，暗示了无监督学习中另一个问题的最优下限。
2019-02-20 cs.CC cs.LG math.PR
Sparse and Functional Principal Components Analysis
主成分分析的正则化变体，特别是稀疏PCA和函数PCA，是分析复杂高维数据最有用的工具之一。大规模数据的许多示例具有稀疏和功能（平滑）方面，并且可以从可以捕获两种形式的结构的正则化方案中受益。例如，在神经成像数据中，大脑对刺激的响应可能被限制在离散的激活区域（空间稀疏），同时在该区域内表现出平滑的响应。我们提出了一个统一的方法来正则PCA，可以同时诱导稀疏性和光滑性的行和列的主成分。我们的框架概括了许多以前的文献，稀疏，功能，双向稀疏，双向功能PCA都是我们的方法的特殊情况。我们的方法允许灵活的稀疏性和平滑度的组合，从而改善特征选择和信号恢复，以及更可解释的PCA因素。我们证明了我们的方法对模拟数据和EEG数据的神经成像例子的有效性。
2019-08-19 stat.ML
Sparse PCA: a Geometric Approach
我们考虑的问题，最大化的方差解释从一个数据矩阵使用正交稀疏主成分，有一个固定的基数支持。虽然大多数现有的方法都集中在建立主成分（PC）通过通货紧缩迭代，我们提出GeoSPCA，一种新的算法来建立所有的PC在一次，同时满足正交约束，这带来了实质性的好处通货紧缩。这种新的方法是基于左特征值的协方差阵，这有助于规避非凸性的问题，通过近似的最佳解决方案，使用一个二元线性最优化问题，可以找到最优解。所得到的近似可以用于解决稀疏PCA问题的不同版本，包括主成分共享相同支持或具有不相交支持的情况以及结构化稀疏PCA问题。我们还提出了最优界，并说明了GeoSPCA在选定的现实世界中的问题，无论是在解释方差，稀疏性和易处理性方面的好处。相对于通常与最先进技术相当的贪婪算法的改进，在解决具有10，000个变量的现实世界问题时，方差高达24%，并在几分钟内支持100个基数。我们还将GeoSPCA应用于人脸识别问题，与其他基于PCA的技术（如结构化稀疏PCA）相比，性能提高了10%以上。
2022-10-12 math.OC math.ST stat.TH
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA
Saarland University（萨尔兰大学）
机器学习和统计学中的许多问题可以用公式表示为（广义）特征问题。就相关的优化问题而言，计算线性特征向量相当于找到受二次约束的二次函数的临界点。本文证明了一类具有非二次目标和约束的约束优化问题可以理解为非线性特征值问题。我们得到了一个推广的逆幂方法，保证收敛到一个非线性特征向量。我们将逆幂方法应用于1-谱聚类和稀疏PCA，它们可以自然地被表述为非线性特征值问题。在这两个应用程序中，我们在解决方案质量和运行时间方面都取得了最先进的成果。超越标准的特征值问题应该是有用的，也在许多其他应用中，我们的逆功率方法可以很容易地适应新的问题。
2010-12-03 cs.LG math.OC stat.ML
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
Learning with a linear loss function. Excess risk and estimation bounds for ERM, minmax MOM and their regularized versions. Applications to robustness in sparse PCA
本文针对线性损失学习框架，为 ERM、minmax MOM 及其正则化版本建立了超额风险与估计界，并将其应用于稀疏 PCA 鲁棒性，改进了现有最优结果。
2023-10-26 math.ST stat.TH
Model-based sparse mixed-type PCA
University of Turku（图尔库大学）
针对混合类型数据，提出一种基于矩估计的潜在协方差矩阵估计方法，实现稀疏主成分分析，并通过模拟和实际数据验证性能。
2026-06-11 stat.ME
Finite Sample Guarantees for PCA in Non-Isotropic and Data-Dependent Noise
这项工作获得了新的有限样本保证主成分分析（PCA）。即使破坏性噪声是非各向同性的，并且部分（或全部）是数据相关的，这些也是成立的。由于后者，一般来说，噪声和真实数据是相关的。在这项工作中的结果是一个显着的改善，在我们以前的工作中，这个“相关PCA”的问题是第一次研究。事实上，在某些制度，我们的研究结果意味着，实现子空间恢复误差，这是一个恒定的分数的噪声水平所需的样本复杂性是接近最佳的。有用的推论，我们的结果包括保证PCA稀疏数据相关的噪声和PCA与缺失数据。前者的一个重要应用是证明一种流行的动态鲁棒PCA在线算法的子空间更新步骤的正确性。
2017-09-19 cs.IT math.IT stat.ML
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Sparse PCA Beyond Covariance Thresholding
ETH Zürich（苏黎世联邦理工学院）
本研究针对稀疏主成分分析问题，提出一种超越协方差阈值化的多项式时间算法，在多类模型与噪声场景下提升了性能保证，且适用于稀疏植入向量等相关问题。
2023-11-08 cs.LG stat.ML
Sparse PCA from Sparse Linear Regression
MIT（麻省理工学院）；Two Sigma（双西格玛公司）
稀疏主成分分析（Sparse Principal Component Analysis，SPCA）和稀疏线性回归（Sparse Linear Regression，SLR）作为高维统计问题的典型代表，在过去的二十年里得到了广泛的应用和关注。各种各样的算法已经提出了SPCA和SLR，但两者之间没有明确的联系。我们展示了如何有效地将SLR的黑箱求解器转换为SPCA算法：假设SLR求解器满足现有有效算法（如基于Lasso的算法）所实现的预测误差保证，则SPCA算法可以实现最先进的保证，用于测试和支持恢复单个尖峰协方差模型，如通过当前最好的polynomialtime算法获得的。我们的减少不仅突出了这两个问题之间的内在相似性，而且，从实用的角度来看，允许一个收集的算法SPCA直接从已知的算法SLR。我们提供的模拟数据比较我们提出的框架，其他算法的SPCA的实验结果。
2018-11-25 cs.LG math.ST stat.ML
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
Exact and Approximation Algorithms for Sparse PCA
Virginia Tech（弗吉尼亚理工大学）
稀疏主成分分析（Sparse PCA，SPCA）是机器学习和数据分析的基础模型，在金融、制造、生物、医疗等领域有着广泛的应用。为了从一个协方差阵中选择一个预先设定大小的主子矩阵，使其最大特征值最大化，从而获得更好的可解释性，SPCA改进了传统的PCA，将特征选择和降维结合起来。本文利用协方差阵的谱分解和最大特征值的性质，提出了两种精确的混合整数SDP（MISDP）。然后，我们分析了它们的连续松弛值的理论最优性差距，并证明它们比最先进的最优性差距强。我们进一步表明，连续松弛的两个MISDP可以重铸鞍点问题，而不涉及半定锥，因此可以有效地解决一阶方法，如次梯度法。由于现成的求解器，在一般情况下，难以解决MISDP，我们近似SPCA任意精度的混合整数线性规划（MILP）的类似大小的MISDP。为了更具有可扩展性，我们还分析了贪婪和局部搜索算法，证明了它们的第一已知近似比，并表明近似比是紧的。我们的数值研究表明，所提出的MISDP的连续松弛值是非常接近最优性，所提出的MILP模型可以解决中小型的最优性的情况下，和近似算法的工作非常好的所有实例。最后，我们扩展分析秩一稀疏SVD（R1-SSVD）与非对称矩阵和稀疏公平PCA（SFPCA）时，有多个协方差阵，每个对应于一个保护组。
2020-08-28 cs.LG math.OC stat.ML
Minimax bounds for sparse PCA with noisy high-dimensional data
研究了基于独立高斯观测的高维总体协方差阵的首特征向量的估计问题。我们建立了一个下界估计的极小极大风险下的$l_2$损失，在联合限制的维数和样本量增加到无穷大，在各种模型的稀疏人口特征向量。风险的下界表明存在不同的特征向量稀疏性状态。我们还提出了一种新的方法估计的特征向量的两阶段坐标选择计划。
2012-03-05 math.ST stat.TH
Free Energy Wells and Overlap Gap Property in Sparse PCA
NYU（纽约大学）
我们研究了稀疏PCA（主成分分析）问题的“硬”政权，推理任务是可能的，但没有多项式时间算法已知存在的一个变种。先前的工作，基于低程度的似然比，已经证明了一个精确的表达式，在整个硬政权的最佳可能（次指数）的运行时间。相反，下面的统计物理学启发的观点，我们显示的各种吉布斯措施自然相关的问题的自由能井的深度上的界限。这些自由能井意味着首中时下界，证实了低度猜想：我们表明，一类自然MCMC（马尔可夫链蒙特卡罗）方法（最坏情况下的初始化）不能解决稀疏PCA与小于的约束运行时间。这些下界适用于两个调谐参数的宽值域的值：温度和稀疏误参数化。最后，我们证明了重叠间隙属性（OGP），一种结构属性，意味着某些局部搜索算法的失败，持有的一个重要组成部分的硬政权。
2020-06-18 cs.DS cs.LG math.OC
Sparse logistic principal components analysis for binary data
提出了一种新的二值数据主成分分析（PCA）型降维方法。与基于观测数据定义的标准主成分分析不同，本文提出的主成分分析是基于二元观测值的成功概率的logit变换定义的。将稀疏性引入主成分（PC）加载向量，以增强可解释性和更稳定地提取主成分。我们的稀疏PCA制定为解决一个优化问题，从惩罚伯努利似然激励的标准函数。提出了一种优化-极小化算法，有效地解决了优化问题。应用于单核苷酸多态性数据集和模拟研究表明，所提出的稀疏逻辑主成分分析方法的有效性。
2010-11-16 stat.AP
