Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
Exact Recovery of Tensor Robust Principal Component Analysis under Linear Transforms
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
本文研究了张量鲁棒主成分分析（TRPCA）问题，其目的是从它们的和中准确地恢复低秩和稀疏分量。我们的模型的动机是最近提出的基于张量-张量积和张量SVD的线性变换。我们定义了一个新的依赖于张量秩的变换和相应的张量核范数。然后，我们解决了TRPCA问题的凸优化，其目标是一个新的张量核范数和$\ell_1$ -范数的加权组合。在理论上，我们证明了在一定的不相干条件下，凸规划精确地恢复了底层的低秩和稀疏分量。我们的新TRPCA模型推广了现有的工作，这是非常有趣的。特别是，如果研究的张量减少到一个矩阵，我们的TRPCA模型减少到已知的矩阵RPCA。我们的新TRPCA可以使用一般的线性变换，可以被视为我们以前的TRPCA工作，使用离散傅立叶变换的扩展。但他们的追偿担保证明是不同的。数值实验验证了我们的结果，图像恢复的应用表明了我们的方法的优越性。
2019-07-16 cs.CV cs.LG stat.ML
A Generalization of Principal Component Analysis
传统的主成分分析（PCA）找到一个主向量，最大化主成分的二次幂和。我们考虑一个广义PCA，其目的是最大化的主成分的任意凸函数的总和。我们提出了一个梯度上升算法来解决这个问题。对于广义PCA的核版本，我们证明了解决方案可以作为一个简单的单层递归神经网络的不动点。我们还在不同的数据集上评估了我们的算法。
2019-11-15 cs.LG eess.SP stat.ML
Convex Formulation for Kernel PCA and its Use in Semi-Supervised Learning
KU Leuven（鲁汶大学）
在本文中，核PCA被重新解释为凸优化问题的解决方案。实际上，每个主成分都有一个约束凸问题，因此约束保证主成分确实是一个解，而不仅仅是一个鞍点。虽然这些见解并不意味着任何算法的改进，但它们可以用于进一步理解该方法，制定可能的扩展并正确解决它们。作为一个例子，提出了一个新的半监督分类的凸优化问题，这似乎特别适合当已知标签的数量很小。我们的公式类似于最小二乘SVM问题，正则化参数乘以负号，结合核PCA的变分原理。我们的半监督学习的原始优化原则解决的拉格朗日乘子。在几个分类任务的数值实验说明了所提出的模型的性能问题，只有少数标记的数据。
2016-10-21 cs.LG stat.ML
Logistic principal component analysis via non-convex singular value thresholding
在当前的生物学研究中，多元二进制数据变得越来越丰富。逻辑主成分分析（PCA）是通过利用底层低秩结构来探索多元二进制数据集内部关系的常用工具之一。基于二值数据的广义线性模型的潜变量解释，我们重新表达了逻辑主成分分析模型。多元二进制数据集被假定为未观测的定量数据集的符号观测，其上假定存在低秩结构。然而，标准的逻辑主成分分析模型（使用精确的低秩约束）容易过拟合，这可能导致一些估计的参数朝着无穷大发散。我们建议通过非凸奇异值阈值来拟合Logistic PCA模型，以减轻过拟合问题。采用一种高效的优化-最小化算法对模型进行拟合，并引入一种基于缺失值的交叉验证（CV）过程进行模型选择。对不平衡二进制数据和低信噪比的真实模拟实验表明，基于CV误差的模型选择过程在选择所提出的模型方面是成功的。此外，所选择的模型表现出优越的性能，在恢复底层的低秩结构相比，模型与凸核范数惩罚和精确的低秩约束。一个二进制拷贝数畸变数据集被用来说明所提出的方法在实践中。
2019-02-25 stat.ME stat.ML
Dual Principal Component Pursuit: Probability Analysis and Efficient Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；ShanghaiTech University（上海科技大学）
最近的方法学习线性子空间的数据损坏的离群值是基于凸$\ell_1$和核范数优化，并要求子空间的维数和离群值的数量要足够小。与此形成鲜明对比的是，最近提出的双主成分追踪（DPCP）方法可以证明通过解决球面上的非凸$\ell_1$优化问题来处理高维子空间。然而，它的几何分析是基于难以解释的数量，不适合统计分析。在本文中，我们提供了一个精细的几何分析和一个新的统计分析表明，DPCP可以容忍尽可能多的离群值的数量的平方内，从而提高了其他可证明正确的强大的PCA方法。我们还提出了一个可扩展的投影次梯度方法（DPCP-PSGM）解决DPCP问题，并表明它承认线性收敛，即使潜在的优化问题是非凸和非光滑的。基于三维点云数据的道路平面检测实验表明，DPCP-PSGM算法比传统的RANSAC算法具有更高的检测效率，是计算机视觉应用中最常用的方法之一。
2018-12-24 cs.CV cs.LG math.OC
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology（代尔夫特理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）；Umea University（于默奥大学）
我们提出了一种新的近似层次基数约束，凸二次规划，利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征，其目标函数可以在二进制变量上解析地优化，同时保持连续变量的凸性。利用这一属性，我们提出了两个可扩展的优化算法，被称为“最佳响应”和“双程序”，可以有效地筛选潜在的索引的非零元素的原始程序。我们表明，所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中，它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
Feature Grouping and Sparse Principal Component Analysis with Truncated Regularization
在本文中，我们考虑了一个新的变种的主成分分析（PCA），旨在捕捉分组和/或稀疏结构的因素负荷的同时。为了实现这些目标，我们采用了自然可调稀疏性和分组效果的非凸截断正则化，并提出了特征抽取和稀疏主成分分析（FGSPCA）。FGSPCA方法鼓励具有相似值的因子载荷折叠成不相交的同质组用于特征分组或折叠成特殊的零值组用于特征选择，这反过来又有助于降低模型复杂度和增加模型解释。通常，现有的结构化PCA方法需要先验知识来构造正则化项。然而，建议的FGSPCA可以同时捕获的分组和/或稀疏结构的因素负载没有任何先验信息。为了解决由此产生的非凸优化问题，我们提出了一个交替算法，结合凸规划的差异，增广拉格朗日方法和坐标下降法。实验结果表明，有前途的性能和效率的新方法在合成和真实世界的数据集。FGSPCA的R实现可以在github {https：//github.com/higeeks/FGSPCA}上找到。
2022-09-13 stat.ME stat.ML
Tensor Robust Principal Component Analysis with A New Tensor Nuclear Norm
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
在本文中，我们考虑张量鲁棒主成分分析（TRPCA）问题，其目的是从它们的和中准确地恢复低秩和稀疏的成分。我们的模型是基于最近提出的张量积（或t-产品）。由t-积导出了张量谱范数、张量核范数和张量平均秩，证明了张量核范数是张量平均秩在张量谱范数单位球内的凸包络.这些定义、它们之间的关系和性质与矩阵情况是一致的。在此基础上，通过求解一个凸规划来求解TRPCA问题，为精确恢复提供了理论保证。我们的TRPCA模型和恢复保证包括矩阵RPCA作为特例。数值实验验证了我们的结果，并应用于图像恢复和背景建模问题证明了我们的方法的有效性。
2019-03-07 cs.LG stat.ML
Non-Sparse PCA in High Dimensions via Cone Projected Power Iteration
本文提出了一种锥投影幂迭代算法，用于从有噪的正半定矩阵中恢复第一主特征向量。当真主特征向量属于一个凸锥时，该算法速度快，误差小。具体地说，该方法实现了多项式时间复杂度的某些凸锥配备快速投影，如单调锥。当噪声矩阵具有小的锥限制算子范数时，该方法具有较小的误差。我们补充了上述结果的最小最大下界的误差下的加标协方差模型。对模拟数据和实际数据的数值实验表明，当主特征向量为凸锥时，与普通幂迭代和一些稀疏主成分分析算法相比，该方法具有更短的运行时间和更小的误差。
2021-02-28 math.ST stat.CO stat.ME
Exact Guarantees on the Absence of Spurious Local Minima for Non-negative Rank-1 Robust Principal Component Analysis
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
这项工作是关于非负秩-1鲁棒主成分分析（RPCA），其目标是恢复占主导地位的非负主成分的数据矩阵精确，其中一些测量可能严重损坏稀疏和任意大的噪声。大多数已知的求解RPCA的技术都依赖于凸松弛方法，将问题提升到更高的维度，从而显着增加了变量的数量。作为替代方案，可以使用众所周知的Burer-Monteiro方法将RPCA转换为具有显著更少数量的变量的非凸和非光滑的$\ell_1$优化问题。在这项工作中，我们证明了基于Burer-Monteiro方法的对称和非对称正秩1 RPCA的低维公式具有良好的景观，即，1)它不具有任何伪局部解，2）具有唯一的全局解，以及3）其唯一的全局解与真实分量一致。这个结果的一个含义是，简单的局部搜索算法保证实现零全局最优性差距时，直接应用到低维配方。此外，我们提供了强有力的确定性和概率保证真正的主成分的精确恢复。特别是，它表明，一个恒定的分数的测量可能会严重损坏，但他们不会创建任何虚假的本地解决方案。
2019-09-03 cs.LG stat.ML
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Integrated Principal Components Analysis
数据集成，或同时对多个数据源进行战略分析，通常会导致可能隐藏在单个数据源的个性化分析中的发现。我们开发了一种新的无监督数据集成方法集成主成分分析（iPCA），这是一个基于模型的推广PCA，并作为一个实用的工具，发现和可视化发生在多个数据集的共同模式。驱动iPCA的关键思想是矩阵变量正态模型，其Kronecker乘积协方差结构捕获每个数据集内的单个模式和多个数据集共享的联合模式。在此模型的基础上，我们开发了几个惩罚（稀疏和非稀疏）的协方差估计iPCA，并使用测地凸性，我们证明了我们的非稀疏iPCA估计收敛到非凸问题的全局解。我们还通过广泛的模拟和案例研究应用到阿尔茨海默病的综合基因组学中，展示了iPCA的实际优势。特别是，我们表明，通过iPCA提取的联合模式是高度预测患者的认知和阿尔茨海默氏症的诊断。
2021-04-03 stat.ME
Fast Robust Tensor Principal Component Analysis via Fiber CUR Decomposition
University of California, Los Angeles（加州大学洛杉矶分校）
研究了张量鲁棒主成分分析（TRPCA）问题，该方法的目的是从低多线性秩张量和稀疏离群张量的和中分离出一个潜在的低多线性秩张量。在这项工作中，我们提出了一个快速的非凸算法，创造鲁棒张量CUR（RTCUR），大规模的TRPCA问题。RTCUR考虑了交替投影的框架，并利用最近开发的张量Fiber CUR分解来显著降低计算复杂性。RTCUR的性能优势在合成数据集上得到了经验验证，并在彩色视频背景减除等实际应用中得到了进一步证明。
2021-08-23 cs.CV cs.LG eess.IV
A Convex Sparse PCA for Feature Analysis
The University of Queensland（昆士兰大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）已被广泛应用于工程、生物和社会科学等不同领域的数据降维和数据预处理。经典PCA及其变体寻求原始变量的线性投影，以获得具有最大方差的低维特征表示。一个局限性是很难解释PCA的结果。此外，经典的PCA是脆弱的某些噪声数据。本文提出了一种凸稀疏主成分分析算法，并将其应用于特征分析。首先，我们表明，PCA可以制定为一个低秩回归优化问题。在此基础上，将l2，1 -范数最小化引入目标函数，使回归系数稀疏，从而对异常值具有鲁棒性。此外，基于CSPCA中使用的稀疏模型，为每个原始特征分配最佳权重，从而为输出提供了良好的可解释性。通过CSPCA的输出，我们可以有效地分析PCA标准下每个特征的重要性。该算法的目标函数是凸的，我们提出了一种迭代算法来优化它，并将CSPCA算法应用于特征选择中，在六个不同的基准数据集上进行了大量的实验。实验结果表明，该算法优于最先进的无监督特征选择算法。
2014-11-23 cs.LG
Convex relaxation for the generalized maximum-entropy sampling problem
University of Michigan（密歇根大学）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出了一种基于凸优化的松弛方法，用于解决广义最大熵采样问题，并展示了其在主成分分析中的应用。
2026-02-03 math.OC math.ST stat.TH
Wave Physics-informed Matrix Factorizations
本文提出一种波动物理信息矩阵分解方法，将信号分解为满足波动方程约束的分量，虽非凸但可全局最优求解，并建立了与滤波理论的理论联系，应用于结构模态分析。
2023-12-31 cs.LG
Scalable physics-informed deep generative model for solving forward and inverse stochastic differential equations
Institute of Interdisciplinary Research for Mathematics and Applied Science, School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院交叉学科数学与应用科学研究所）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）
本文提出了一种可扩展的物理信息深度生成模型，用于高效求解高维随机和空间中的正向和逆向随机微分方程问题。
2026-03-04 physics.comp-ph stat.ML
Rapid Robust Principal Component Analysis: CUR Accelerated Inexact Low Rank Estimation
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Sun Yat-sen University（中山大学）
鲁棒主成分分析（RPCA）是一种广泛应用的降维工具。在这项工作中，我们提出了一种新的非凸算法，创造迭代鲁棒CUR（IRCUR），解决RPCA问题，这大大提高了计算效率相比，现有的算法。IRCUR通过在更新低秩分量时采用CUR分解来实现这种加速，这使得我们可以仅通过三个小的子矩阵来获得准确的低秩近似。因此，IRCUR是能够处理只有小的子矩阵，并避免昂贵的计算上的整个算法的全矩阵。数值实验建立了IRCUR的计算优势，在合成和真实世界的数据集上的最先进的算法。
2021-02-07 cs.AI cs.IT cs.LG
Factor-Driven Network Informed Restricted Vector Autoregression
Imperial College London（伦敦帝国学院）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Oxford（牛津大学）；University of Bologna（博洛尼亚大学）
本文提出因子驱动的网络感知受限向量自回归模型，用于高维时间序列的共同与异质成分建模，通过静态因子模型和网络VAR结合，提升金融预测性能。
2025-11-10 stat.ME
A variational approach to stable principal component pursuit
我们引入了一个新的稳定的主成分追踪（SPCP）的凸公式分解成低秩和稀疏表示的噪声信号。对于我们的SPCP公式的数值解，我们首先开发了一个凸变分框架，然后用拟牛顿法加速它。我们表明，通过合成和真实的数据实验，我们的方法提供了优势，在可扩展性和实用的参数选择的经典SPCP配方。
2014-06-04 math.OC stat.ML
Hyperplane Clustering Via Dual Principal Component Pursuit
Center for Imaging Science（成像科学中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们最近提出的单子空间学习算法，称为双主成分追踪（DPCP）的理论分析，从一个联盟的超平面的数据绘制的情况下。为了深入了解与DPCP相关的$\ell_1$非凸问题的性质，我们对一个密切相关的连续优化问题进行了几何分析。然后将这一分析转移到离散问题，我们的结果表明，只要超平面是充分分离的，优势超平面是充分占主导地位的，并在相关的超平面内的点均匀分布，那么非凸DPCP问题有一个唯一的整体解决方案，等于法向量的优势超平面。这表明了基于DPCP的序贯超平面学习算法的正确性。一个彻底的实验评估表明，超平面学习计划的基础上DPCP显着提高了国家的最先进的方法的情况下，合成数据，而竞争力的国家的最先进的情况下，三维平面聚类的Kinect数据。
2017-06-19 cs.CV cs.LG stat.ML
Sparse principal component regression with adaptive loading
主成分回归（PCR）是一个两阶段的过程，选择一些主成分，然后将它们作为新的解释变量构建回归模型。请注意，主成分仅从解释变量获得，而不考虑响应变量。为了解决这个问题，我们提出了稀疏主成分回归（SPCR），这是一个阶段的PCR过程。SPCR使我们能够自适应地获得与响应变量相关的稀疏主成分载荷，并同时选择主成分的数量。SPCR可以通过坐标下降算法对每个参数进行凸优化问题来获得。通过蒙特卡罗模拟和实际数据分析，验证了SPCR的有效性.
2014-11-01 stat.ME stat.ML
Best Principal Submatrix Selection for the Maximum Entropy Sampling Problem: Scalable Algorithms and Performance Guarantees
Georgia Institute of Technology（佐治亚理工学院）
本文针对最大熵采样问题，提出新型凸整数规划，推导改进的采样算法近似界，给出确定性实现与局部搜索算法的首个近似界及高效实现，实验验证算法可高效求解中大规模实例，还拓展至A-最优MESP并开源算法。
2023-05-01 cs.LG math.OC stat.ML
Statistical Limits of Convex Relaxations
许多高维稀疏学习问题都是非凸优化问题。一个流行的方法来解决这些非凸优化问题是通过凸松弛，如线性和半定规划。本文研究了凸松弛的统计极限。特别地，我们考虑了两个问题：稀疏主子阵的均值估计和随机块模型的边概率估计。我们利用平方和松弛层次来尖锐地表征广泛一类凸松弛的极限。我们的结果表明，统计最优性需要妥协，以实现计算的易处理性使用凸松弛。与现有的统计问题，考虑一般多项式时间算法的计算下限的结果，并依赖于计算硬度假设的问题，如种植集团检测相比，我们的理论侧重于广泛的一类凸松弛，并不依赖于未经证实的假设。
2015-03-14 stat.ML
Optimal detection of sparse principal components in high dimension
我们执行一个有限样本分析的检测水平稀疏的主成分的高维协方差阵。我们的最小最大最优检验是基于稀疏特征值统计。唉，计算这个测试是已知的NP-完全的一般情况下，我们描述了一个计算效率高的替代测试使用凸松弛。我们的松弛也被证明可以在接近最佳的检测水平上检测稀疏主成分，并且在模拟数据集上表现良好。此外，使用多项式时间减少理论计算机科学，我们带来了重要的证据，我们的结果不能得到改善，从而揭示了统计和计算性能之间的内在权衡。
2013-09-19 math.ST stat.ML stat.TH
Monotone Curve Estimation via Convex Duality
该研究基于最优传输理论提出带理论保证的单调主曲线框架，采用早停策略结合神经网络实现，模拟与真实数据实验验证其在单调结构数据上的准确性与鲁棒性，为相关应用提供新方法。
2025-01-14 math.PR math.ST stat.ME
