Solving sparse principal component analysis with global support
具有全局支持的稀疏主成分分析（SPCAgs）是找到顶部$r$领先主成分的问题，使得所有这些主成分是至多$k$变量的公共子集的线性组合。SPCAgs是统计学中流行的降维工具，与常规的主成分分析（PCA）相比，它增强了可解释性。文献中求解SPCAg的方法要么是在限制性统计模型下保证的贪婪算法（在$r = 1$的特殊情况下），要么是对SPCAg的某些正则化重构具有稳定点收敛的算法。关键是，没有一个现有的计算方法可以有效地保证质量的解决方案，通过比较他们对对偶界限。在这项工作中，我们首先提出了一个凸松弛算子范数的基础上，可证明近似的可行区域的SPCAgs在一个$c_1 + c_2 \sqrt{\log r} = O(\sqrt{\log r})$因素的一些常数$c_1, c_2$。为了证明这一结果，我们使用了一种新的随机稀疏化过程，该过程使用Pietsch-Grothendieck分解定理，并且可能是独立的。我们还提出了一个更简单的放松，是二阶锥表示，并给出了一个$(2\sqrt{r})$ -近似的可行区域。使用这些松弛，然后，我们提出了一个凸整数规划，提供了一个双重的最佳值SPCAgs的界限。此外，它还具有最坏情况保证：它在原始最优值的乘法/加法因子内，并且乘法因子是$O(\log r)$或$O(r)$，这取决于所使用的松弛。最后，我们进行计算实验表明，我们的凸整数规划提供，在合理的时间…
2022-05-09 math.OC
Manifold Quadratic Penalty Alternating Minimization for Sparse Principal Component Analysis
本文提出流形二次罚交替最小化（MQPAM）算法，用于稀疏主成分分析，结合黎曼梯度下降与闭式近端算子，实验显示其在稀疏性和CPU时间上优于或持平现有方法。
2024-11-11 math.OC
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida（佛罗里达大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了非凸集上的凹最小化问题，提出并分析了梯度投影算法和近似牛顿算法，展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis
我们研究的问题，近似一个积极的，半定矩阵$Σ$的二元$xx^T$，与惩罚的基数向量$x$。这个问题出现在稀疏主成分分析中，其中寻求涉及稀疏因子的$Σ$的分解。我们表达这个困难的组合问题作为一个最大本征值问题，在其中，我们寻求最大化，在一个盒子，一个对称矩阵，是线性的变量的最大本征值。这种表示允许使用鲁棒优化技术，基于半定规划导出一个界。使用Nemirovski和Ben-Tal（2002）启发的技术研究了边界的质量。
2006-02-03 math.OC math.ST stat.TH
Sparse Principal Component of a Rank-deficient Matrix
Department of Electronic and Computer Engineering（电子与计算机工程系）；Technical University of Crete（塞萨洛尼基技术大学）；Chania, 73100, Greece（希腊夏尼亚）
针对秩亏矩阵的稀疏主成分识别问题，通过引入辅助球面变量并证明存在多项式大小的候选指标集，提出了一种多项式时间算法来计算任意稀疏度下的最优稀疏主成分。
2011-06-08 cs.IT cs.LG cs.SY
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology（代尔夫特理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）；Umea University（于默奥大学）
我们提出了一种新的近似层次基数约束，凸二次规划，利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征，其目标函数可以在二进制变量上解析地优化，同时保持连续变量的凸性。利用这一属性，我们提出了两个可扩展的优化算法，被称为“最佳响应”和“双程序”，可以有效地筛选潜在的索引的非零元素的原始程序。我们表明，所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中，它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
A Robust Optimization Approach to Sparse Principal Component Analysis
Uppsala University, Sweden（乌普萨拉大学，瑞典）；PSL Research University / INRIA, France（巴黎社会科学大学 / INRIA，法国）；Science for Life Laboratory, Sweden（生命科学实验室，瑞典）
提出AdvPCA方法，通过鲁棒优化在重建目标中引入最坏情况潜在空间扰动实现稀疏性，并给出闭式解和迭代算法。
2026-06-02 cs.LG math.OC stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
Sparse PCA on fixed-rank matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
稀疏PCA是通过在主成分上添加稀疏约束从PCA获得的优化问题。稀疏PCA是NP难的，即使在单分量的情况下也很难近似。在本文中，我们解决了稀疏PCA的计算复杂性的协方差矩阵的秩。我们表明，如果协方差矩阵的秩是一个固定的值，那么有一个算法，解决稀疏PCA的全局最优，其运行时间是多项式的功能的数量。我们还证明了一个类似的结果，稀疏PCA的版本，需要主成分有不相交的支持。
2022-01-07 cs.DM cs.LG math.OC
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Sparse PCA: a Geometric Approach
我们考虑的问题，最大化的方差解释从一个数据矩阵使用正交稀疏主成分，有一个固定的基数支持。虽然大多数现有的方法都集中在建立主成分（PC）通过通货紧缩迭代，我们提出GeoSPCA，一种新的算法来建立所有的PC在一次，同时满足正交约束，这带来了实质性的好处通货紧缩。这种新的方法是基于左特征值的协方差阵，这有助于规避非凸性的问题，通过近似的最佳解决方案，使用一个二元线性最优化问题，可以找到最优解。所得到的近似可以用于解决稀疏PCA问题的不同版本，包括主成分共享相同支持或具有不相交支持的情况以及结构化稀疏PCA问题。我们还提出了最优界，并说明了GeoSPCA在选定的现实世界中的问题，无论是在解释方差，稀疏性和易处理性方面的好处。相对于通常与最先进技术相当的贪婪算法的改进，在解决具有10，000个变量的现实世界问题时，方差高达24%，并在几分钟内支持100个基数。我们还将GeoSPCA应用于人脸识别问题，与其他基于PCA的技术（如结构化稀疏PCA）相比，性能提高了10%以上。
2022-10-12 math.OC math.ST stat.TH
