Sparse principal component analysis and its $l_1$-relaxation
主成分分析（PCA）是科学数据分析中应用最广泛的降维方法之一。在许多应用中，为了增加可解释性，希望因子加载是稀疏的，也就是说，我们用额外的基数（l0）约束来求解PCA。由此产生的最优化问题被称为稀疏主成分分析（SPCA）。实现稀疏性的一种流行方法是用l1约束代替l0约束。在本文中，我们证明了，独立的数据，最优目标函数值的问题与l0约束是一个常数因子的最优目标函数值的问题与l1约束。据我们所知，这是第一个正式的关系之间建立的l0和l1约束版本的问题。
2017-12-03 math.OC
Generalized power method for sparse principal component analysis
在本文中，我们开发了一种新的方法，稀疏主成分分析（稀疏PCA）。我们提出了两个单一的单位和两个块的稀疏PCA问题的优化配方，旨在提取一个单一的稀疏占主导地位的主成分的数据矩阵，或一次多个组件，分别。虽然最初的配方涉及非凸函数，因此计算上是棘手的，我们将它们改写成一个优化程序的形式，涉及最大化的一个凸函数的紧凑设置。如果数据矩阵的列（变量）比行多得多，则搜索空间的维数会大大减少。然后，我们提出并分析了一个简单的梯度法适合的任务。看来，我们的算法具有最佳的收敛性能的情况下，无论是目标函数或可行集是强凸的，这是我们的单单位配方的情况下，可以强制执行块的情况下。最后，我们证明了一组随机和基因表达测试问题，我们的方法优于现有的算法，无论是在获得的解决方案的质量和计算速度。
2008-11-28 math.OC
Alternating Direction Method of Multipliers for Sparse Principal Component Analysis
我们考虑由d 'Aspremont等人在（d' Aspremont等人SIAM Rev 49：434-448，2007）中提出的稀疏主成分分析的凸松弛。这种凸松弛是一个非光滑半定规划问题，其中所需矩阵的$\ell_1$范数被施加在目标函数或约束中，以提高所得矩阵的稀疏性。稀疏主成分是通过对得到的稀疏矩阵进行秩一分解而得到的。我们提出了一个基于变量分裂技术和增广拉格朗日框架的交替方向法来求解这个非光滑半定规划问题。与（d 'Aspremont et al. SIAM Rev 49：434-448，2007）中提出的近似求解原始半定规划问题的对偶问题的一阶方法相比，我们的方法直接处理原始问题并精确求解，这保证了所得矩阵是稀疏矩阵。证明了该方法的整体收敛结果。数值结果的合成问题和实际应用中的分类文本数据和参议院投票数据的报告，以证明我们的方法的有效性。
2011-11-29 math.OC
Optimality conditions and Lipschitz stability for non-smooth semilinear elliptic optimal control problems with sparse controls
本文针对含控制$L^1$范数的非光滑半线性椭圆最优控制问题，推导一阶与二阶最优性条件，并证明局部解关于稀疏性参数的Lipschitz稳定性。
2023-10-17 math.OC
An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis
稀疏主成分分析（PCA）是PCA的一个重要变体，它试图在进行降维时找到稀疏的负载向量。本文考虑了与ScoTLASS模型相关的非光滑黎曼最优化问题，该模型可以同时施加正交性和稀疏性。Chen等人的工作中提出了一种黎曼近似方法，用于有效地解决这个最优化问题。本文介绍了两种加速方案。首先，我们将FISTA方法从欧几里得空间推广到黎曼流形上求解稀疏PCA，得到了加速的黎曼邻近梯度法。由于稀疏PCA的黎曼最优化问题本质上是非凸的，采用重新启动技术来稳定加速方法，而不牺牲快速收敛。其次，对黎曼近似子问题提出了一个对角预条件子，进一步加快了黎曼近似方法的收敛速度。数值计算结果表明，所提出的方法比现有的流形上的近端梯度法具有计算优势。此外，还建立了一个关于序列的黎曼次梯度收敛性的简短结果，该结果与Chen等人的结果一起，可以证明黎曼逼近方法的稳定点收敛性。
2021-09-02 math.OC
Sparse Principal Component Analysis with Non-Oblivious Adversarial Perturbations
本文提出非 oblivious 对抗扰动下的稀疏 PCA 公式，通过混合整数规划重构提供最坏情况保证，并在尖峰 Wishart 模型下实现更广参数区域的向量恢复。
2024-11-08 math.OC
Robust Sparse Phase Retrieval: Statistical Guarantee, Optimality Theory and Convergent Algorithm
针对噪声和离群值破坏测量值导致相位恢复性能下降的问题，提出利用 Huber 函数和 $\ell_{1/2}$-范数正则化的鲁棒稀疏 PR 方法，建立了统计保证与最优性理论，并开发了具有线性收敛速率的 MM 框架优化算法。
2025-05-29 math.OC
Nullspace Property for Optimality of Minimum Frame Angle Under Invertible Linear Operators
正交匹配寻踪和基寻踪是稀疏信号重建的常用算法。这两种方法的精确恢复特性与底层冗余字典（即框架）的一致性有关。具有低相干性的帧为精确恢复提供了更好的保证。通过与非奇异矩阵的预乘，得到了相应的线性系的等价形式。考虑到保证稀疏恢复的边界，以预处理帧与原始帧相比具有低相干性的方式生成预处理器是非常有用的。在本文中，我们讨论了预处理稀疏恢复的影响。此外，我们制定了一个凸优化问题的设计预条件，产生一个框架，提高了一致性。除了减少相干性，我们专注于设计良态框架和数值研究之间的关系的预条件子的条件数和新的框架的相干性。除了理论上的理由，我们通过仿真证明了预条件在减少相干性以及恢复稀疏信号的功效。
2021-06-09 math.OC
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
No-gap second-order optimality conditions for optimal control of a non-smooth quasilinear elliptic equation
本文讨论了一类拟线性椭圆型控制问题的二阶最优性条件，该问题的主部非线性系数为可数$PC^2$（连续且除可数点外为$C^2$）.我们证明了即使非线性系数是非光滑的，控制到状态算子也是连续可微的。这使我们能够建立“无间隙”的二阶最优性充分必要条件最优性条件的抽象曲率泛函，即。例如，其充分条件与必要条件的区别仅在于不等式是严格的。等价于二阶充分最优性条件的一个条件，可用于误差估计，例如，还提供了有限元离散。
2020-09-09 math.OC
Solving sparse principal component analysis with global support
具有全局支持的稀疏主成分分析（SPCAgs）是找到顶部$r$领先主成分的问题，使得所有这些主成分是至多$k$变量的公共子集的线性组合。SPCAgs是统计学中流行的降维工具，与常规的主成分分析（PCA）相比，它增强了可解释性。文献中求解SPCAg的方法要么是在限制性统计模型下保证的贪婪算法（在$r = 1$的特殊情况下），要么是对SPCAg的某些正则化重构具有稳定点收敛的算法。关键是，没有一个现有的计算方法可以有效地保证质量的解决方案，通过比较他们对对偶界限。在这项工作中，我们首先提出了一个凸松弛算子范数的基础上，可证明近似的可行区域的SPCAgs在一个$c_1 + c_2 \sqrt{\log r} = O(\sqrt{\log r})$因素的一些常数$c_1, c_2$。为了证明这一结果，我们使用了一种新的随机稀疏化过程，该过程使用Pietsch-Grothendieck分解定理，并且可能是独立的。我们还提出了一个更简单的放松，是二阶锥表示，并给出了一个$(2\sqrt{r})$ -近似的可行区域。使用这些松弛，然后，我们提出了一个凸整数规划，提供了一个双重的最佳值SPCAgs的界限。此外，它还具有最坏情况保证：它在原始最优值的乘法/加法因子内，并且乘法因子是$O(\log r)$或$O(r)$，这取决于所使用的松弛。最后，我们进行计算实验表明，我们的凸整数规划提供，在合理的时间…
2022-05-09 math.OC
On the Optimality of the Oja's Algorithm for Online PCA
Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文证明Oja算法在任意次高斯分布下可以高概率实现无谱隙的全局在线主子空间逼近，并首次说明其误差上界与经典离线PCA下界在常数因子内最优匹配。
2022-01-18 cs.LG math.OC
Effect of Objective Function on Data-Driven Greedy Sparse Sensor Optimization
考虑了估计高维数据快照的最优传感器集合的选择问题。基于各种优化设计准则的目标函数分别采用贪心法：D-最优、A-最优和E-最优，分别最大化Fisher信息矩阵的行列式、最小化逆矩阵的迹和最大化Fisher信息矩阵的最小特征值。首先，根据隐状态变量和传感器的数量推导出Fisher信息矩阵。然后，基于A-最优性的目标函数的统一形式被引入，并证明是次模的，这提供了贪婪方法的性能的下界。接下来，基于D-，A-和E-最优性的贪婪方法被应用到随机生成的系统和一个实际的全球气候数据集。由D-最优目标函数选择的传感器在行列式、逆的迹和重构误差方面优于A-和E-最优目标函数选择的传感器，而A-最优目标函数选择的传感器在最小特征值方面效果最好。另一方面，由E-最优目标函数选择的传感器的性能较差的所有指标和重建误差。这可能是因为缺乏子模块性的文件中证明。结果表明，基于D-最优性的贪婪算法是最适合高精度重建的算法。
2021-04-08 eess.SP math.OC
Manifold Quadratic Penalty Alternating Minimization for Sparse Principal Component Analysis
本文提出流形二次罚交替最小化（MQPAM）算法，用于稀疏主成分分析，结合黎曼梯度下降与闭式近端算子，实验显示其在稀疏性和CPU时间上优于或持平现有方法。
2024-11-11 math.OC
Optimization of the Principal Eigenvalue for Elliptic Operators
研究了具有Dirichlet边值条件的散度型二阶椭圆算子主特征值的极大化和极小化问题。引入了这类椭圆算子的主本征映射，并建立了该映射的一些基本性质，包括连续性、可微性和关于扩散矩阵中参数的可微性.对于最大化问题，对容许控制集进行了凸化，得到了最优凸化松弛解的存在性。而对于极小化问题，在某些特殊情况下，引入了问题在$H$ -收敛下的松弛，得到了最优的$H$ -松弛解.对这两个问题都给出了一些必要的最优性条件，并给出了一些说明性的例子。
2019-08-27 math.OC
Optimality Analysis and Block Sparse Algorithm for Complex Compressed Sensing
近年来，压缩感知（CS）中出现了许多新的挑战，如块稀疏性。本文提出了一种求解复杂域上具有块稀疏约束的CS问题的新算法。首先，基于块稀疏特性，我们提出了一个新的模型来处理CS与BSC，并分析了该模型中涉及的函数的性质。然后，我们提出了一个新的$τ$ -稳定点，并分析了相应的一阶充要条件。这确保了我们进一步开发块牛顿硬阈值追踪（BNHTP）算法，以有效地解决CS与BSC。最后，初步的数值实验表明，BNHTP算法具有优越的性能，在恢复精度和计算时间相比，经典的AMP算法。
2022-09-18 cs.IT math.IT math.OC
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida（佛罗里达大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了非凸集上的凹最小化问题，提出并分析了梯度投影算法和近似牛顿算法，展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis
我们研究的问题，近似一个积极的，半定矩阵$Σ$的二元$xx^T$，与惩罚的基数向量$x$。这个问题出现在稀疏主成分分析中，其中寻求涉及稀疏因子的$Σ$的分解。我们表达这个困难的组合问题作为一个最大本征值问题，在其中，我们寻求最大化，在一个盒子，一个对称矩阵，是线性的变量的最大本征值。这种表示允许使用鲁棒优化技术，基于半定规划导出一个界。使用Nemirovski和Ben-Tal（2002）启发的技术研究了边界的质量。
2006-02-03 math.OC math.ST stat.TH
Sparse Principal Component of a Rank-deficient Matrix
Department of Electronic and Computer Engineering（电子与计算机工程系）；Technical University of Crete（塞萨洛尼基技术大学）；Chania, 73100, Greece（希腊夏尼亚）
针对秩亏矩阵的稀疏主成分识别问题，通过引入辅助球面变量并证明存在多项式大小的候选指标集，提出了一种多项式时间算法来计算任意稀疏度下的最优稀疏主成分。
2011-06-08 cs.IT cs.LG cs.SY
On the Optimality of Backward Regression: Sparse Recovery and Subset Selection
稀疏恢复和子集选择是信号处理、统计学和机器学习等领域的基本问题。在这里，我们专注于这些问题的一个重要的贪婪算法：向后逐步回归。我们提出了新的保证算法，提出了一个有效的，数值稳定的实现，并提出了逐步回归与替换（SRR），一个新的家庭的两阶段算法，采用前向和后向步骤的压缩感知问题。以前的工作向后算法已经证明了其最优的子集选择问题，提供与最优解是足够小的残差。然而，现有的剩余幅度的界限是NP-难计算。与此相反，我们的主要理论结果包括一个界，可以在多项式时间内计算，主要取决于最小的奇异值的矩阵，也扩展到幅度修剪的方法。此外，我们报告的数值实验突出了前向和后向贪婪算法之间的关键差异，并比较SRR对流行的两阶段算法的压缩感知。值得注意的是，SRR算法通常保持良好的稀疏恢复性能的相干字典。此外，特定的SRR算法具有优于子空间追踪的优势。
2021-06-06 cs.IT cs.NA math.IT
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology（代尔夫特理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）；Umea University（于默奥大学）
我们提出了一种新的近似层次基数约束，凸二次规划，利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征，其目标函数可以在二进制变量上解析地优化，同时保持连续变量的凸性。利用这一属性，我们提出了两个可扩展的优化算法，被称为“最佳响应”和“双程序”，可以有效地筛选潜在的索引的非零元素的原始程序。我们表明，所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中，它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
Optimization over Sparse Support-Preserving Sets: Two-Step Projection with Global Optimality Guarantees
School of Intelligence Science and Technology, Nanjing University, Suzhou, China（智能科学与技术学院，南京大学，苏州，中国）；School of Artificial Intelligence, Jilin University, China（人工智能学院，吉林大学，中国）
针对带额外支撑保持约束的稀疏优化问题，提出带定制两步连续投影算子的迭代硬阈值新算法，通过扩展三点引理在多场景下给出目标值全局保证，还改进了零阶场景的现有结果。
2025-06-11 cs.LG math.OC
A Robust Optimization Approach to Sparse Principal Component Analysis
Uppsala University, Sweden（乌普萨拉大学，瑞典）；PSL Research University / INRIA, France（巴黎社会科学大学 / INRIA，法国）；Science for Life Laboratory, Sweden（生命科学实验室，瑞典）
提出AdvPCA方法，通过鲁棒优化在重建目标中引入最坏情况潜在空间扰动实现稀疏性，并给出闭式解和迭代算法。
2026-06-02 cs.LG math.OC stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
Sparse PCA on fixed-rank matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
稀疏PCA是通过在主成分上添加稀疏约束从PCA获得的优化问题。稀疏PCA是NP难的，即使在单分量的情况下也很难近似。在本文中，我们解决了稀疏PCA的计算复杂性的协方差矩阵的秩。我们表明，如果协方差矩阵的秩是一个固定的值，那么有一个算法，解决稀疏PCA的全局最优，其运行时间是多项式的功能的数量。我们还证明了一个类似的结果，稀疏PCA的版本，需要主成分有不相交的支持。
2022-01-07 cs.DM cs.LG math.OC
Optimization over Sparse Symmetric Sets via a Nonmonotone Projected Gradient Method
Simon Fraser University（西蒙弗雷泽大学）
本文提出非单调投影梯度法用于优化稀疏对称集，引入更强的最优条件并证明其全局或局部最优性。
2015-11-29 cs.LG cs.NA math.NA
Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms
本文讨论了稀疏约束下一般连续可微函数的极小化问题。我们提出并分析了几种不同的最优性标准，这些标准是基于平稳性和坐标最优性的概念。这些条件，然后使用得到三个数值算法，旨在寻找点满足最优性标准：迭代硬阈值法和贪婪和部分稀疏单纯形方法。第一个算法本质上是一个梯度投影方法，而其余两个算法是坐标下降型。研究了这些方法的理论收敛性及其与最优性条件的关系。数值算例说明了算法和结果。
2012-03-20 cs.IT math.IT math.OC
Global Optimality Guarantees for Nonconvex Unsupervised Video Segmentation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，我们考虑的问题，无监督的视频对象分割通过背景减法。具体来说，我们提出的非语义提取视频的移动对象作为一个非凸优化问题，通过稀疏和低秩矩阵的总和。由此产生的配方，一个非负的变种，强大的主成分分析，是更易于计算的比其常用的凸松弛，虽然一般不能解决全局最优。尽管有这种限制，我们得到直观和可解释的条件下，保证使用局部搜索方法的对象分割的唯一性和全局最优的视频数据。我们通过使用真实视频数据的示例分割来说明这些新的最优性标准。
2020-02-22 cs.CV cs.LG math.OC
