An Interpretable and Stable Framework for Sparse Principal Component Analysis
本文提出SP-SPCA方法，通过引入均衡参数灵活控制稀疏性和解释方差，提升高维数据建模的稳定性与可解释性。
2026-03-14 cs.LG stat.ML
A New Basis for Sparse Principal Component Analysis
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出一种基于正交旋转的稀疏PCA新基方法，避免了缩减和多个调优参数，在相同稀疏度下更稳定且解释更多方差，并成功应用于图像编码、转录组分析和社交网络聚类。
2023-08-04 cs.CV cs.LG stat.CO
Gradient-based Sparse Principal Component Analysis with Extensions to Online Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏主成分分析（PCA）是一种重要的高维数据降维技术。然而，大多数现有的稀疏PCA算法是基于非凸优化，这提供了很大的保证的全局收敛性。稀疏PCA算法的基础上的凸公式，例如Fantope投影和选择（FPS），克服了这个困难，但计算昂贵。在这项工作中，我们研究稀疏PCA的基础上凸FPS制定，并提出了一种新的算法，计算效率高，适用于大型和高维数据集。非渐近和显式界的优化误差和统计精度，可用于测试和推理问题。我们还将我们的算法扩展到在线学习问题，其中数据以流方式获得。该算法被应用到高维基因表达数据的功能基因组检测。
2019-11-19 cs.LG stat.CO stat.ME
TOP-SPIN: TOPic discovery via Sparse Principal component INterference
Singapore University of Technology and Design（新加坡科技设计大学）；University of Edinburgh（爱丁堡大学）
提出了一种基于词袋框架的无标签图像主题发现算法。我们首先提取一个字典的视觉单词，随后为每个图像计算一个视觉单词出现直方图。我们将这些直方图视为一个大矩阵的行，从中提取稀疏主成分（PC）。每台PC识别一个稀疏的视觉词的组合，这些词在某些图像中频繁出现，但在其他图像中很少出现。每个稀疏PC对应于一个主题，并且与PC干扰高的图像属于该主题，从而揭示图像所具有的共同部分。我们建议使用交替最大化（AM）的方法，我们修改的目的，有效地提取多个PC在紧缩方案来解决相关的稀疏PCA问题。我们的方法直接攻击稀疏PCA中的最大化问题，并且可扩展到高维数据。自动主题发现和类别预测的实验表明，令人鼓舞的性能，我们的方法。
2013-11-04 cs.CV cs.IR cs.LG
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
A recursive divide-and-conquer approach for sparse principal component analysis
Xi'an Jiaotong University（西安交通大学）
本文提出了一种基于递归分治法的稀疏主成分分析新方法。其主要思想是将原始稀疏PCA问题分离成一系列更简单的子问题，每个子问题都有一个封闭形式的解决方案。通过递归求解这些子问题的解析方法，构造了求解稀疏PCA问题的有效算法。该算法只涉及简单的计算，因此易于实现。所提出的方法也可以很容易地扩展到其他稀疏PCA的问题，如非负稀疏PCA的问题有一定的约束。此外，我们已经表明，该算法收敛到问题的一个稳定点，其计算复杂性是近似线性的数据大小和维数。通过对一系列合成数据和真实数据的大量实验，从重建误差最小化和数据方差最大化的角度验证了该方法的有效性。
2012-11-30 cs.CV cs.LG stat.ML
A Decomposition Framework for Certifiably Optimal Orthogonal Sparse PCA
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Aerospace Information Technology University（航空航天信息技术大学）；Academy of Mathematics and Systems Science（数学与系统科学学院）；Chinese Academy of Sciences（中国科学院）
本文提出GS-SPCA算法和分解框架，解决稀疏PCA中稀疏性、正交性和最优性的平衡问题，通过分支定界和分解方法提升计算效率。
2026-03-01 cs.LG
Functional Principal Component Analysis and Randomized Sparse Clustering Algorithm for Medical Image Analysis
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；Fudan University（复旦大学）
由于传感器的进步，越来越多的大型和复杂的医学图像数据具有可视化细胞甚至分子水平的病理变化或组织和器官的解剖变化的能力。因此，医学图像有可能提高疾病的诊断，临床结果的预测，疾病进展的表征，医疗保健的管理和治疗的发展，但也提出了很大的方法和计算的挑战表示和选择的图像聚类分析中的功能。为了解决这些问题，我们首先扩展一维功能主成分分析的二维功能主成分分析（2DFPCA），以充分捕捉图像信号的空间变化。图像信号中含有大量的冗余和不相关的特征，这些特征不能为聚类分析提供额外的或有用的信息。广泛使用的方法，以消除冗余和不相关的功能是稀疏聚类算法使用套索类型的惩罚来选择的功能。然而，使用套索型惩罚的聚类的准确性取决于如何选择惩罚参数和用于选择特征的阈值。在实践中，它们很难确定。最近，随机算法在大数据分析中受到了极大的关注。本文提出了一种随机化的图像聚类分析特征选择算法。该方法适用于卵巢癌和肾癌的组织学图像数据从TCGA数据库。实验结果表明，随机特征选择方法与函数主成分分析相结合，在图像聚类分析中的性能明显优于现有的稀疏聚类算法。
2014-08-01 cs.AI cs.CV cs.LG
Large-Scale Paralleled Sparse Principal Component Analysis
China University of Petroleum（中国石油大学）
本文提出基于GPU的高效并行稀疏主成分分析方法，通过并行实现通用幂方法的四种优化形式，显著提升计算效率，实验证明其在实际数据集中的实用性。
2013-12-21 cs.LG cs.MS cs.NA
Meta Sparse Principal Component Analysis
Purdue University（普渡大学）
本文研究了高维主成分分析中支持度（非零项集）恢复的元学习方法。我们减少了足够的样本复杂性，在一个新的任务的信息，是从辅助任务。我们假设每个任务是一个不同的随机主成分（PC）矩阵，可能有不同的支持和支持联盟的PC矩阵是小的。然后，我们汇集来自所有任务的数据，通过最大化$l_1$ -正则化预测协方差来执行单个PC矩阵的不正确估计，以建立对于$p$维向量，如果有足够数量的任务$m$和足够数量的每个任务的样本$ O\left(\frac{\log(p)}{m}\right)$，则可以以高概率恢复真正的支持联合。然后，对于一个新的任务，我们证明了最大化的$l_1$正则化预测协方差与额外的约束，即支持是一个子集的估计支持联盟可以减少足够的样本复杂性，成功的支持恢复到$O(\log |J|)$，其中$J$是支持联盟恢复的辅助任务。通常，对于稀疏矩阵，$|J|$将远小于$p$。最后，我们通过数值模拟证明了我们的实验的有效性。
2022-08-19 cs.LG stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
Do algorithms and barriers for sparse principal component analysis extend to other structured settings?
National University of Singapore（新加坡国立大学）；Georgia Institute of Technology（佐治亚理工学院）
在 spiked Wishart 模型下研究 union-of-subspace 结构的主成分分析，建立依赖几何特性的基本极限，证明 projected power method 的局部收敛性，并通过对 path 和 tree sparsity 的分析展示计算难度证据。
2023-12-31 cs.LG stat.ML
An Augmented Lagrangian Approach for Sparse Principal Component Analysis
Simon Fraser University（西蒙弗雷泽大学）
主成分分析（PCA）是一种广泛应用的数据分析和降维技术，在科学和工程中有着广泛的应用。然而，标准主成分分析的缺点是主成分通常是所有原始变量的线性组合，因此通常难以解释主成分。为了减轻这个缺点，在文献[15，6，17，28，8，25，18，7，16]中提出了各种稀疏PCA方法。尽管成功地实现了稀疏性，但在这些方法中丢失了标准PCA所享有的一些重要特性，例如PC的不相关性和加载向量的正交性。此外，他们试图最大化的总解释方差可能过于乐观。在本文中，我们提出了一个新的制定稀疏PCA，旨在找到稀疏和几乎不相关的PC与正交加载向量，同时解释尽可能多的总方差。我们还开发了一种新的增广拉格朗日方法来解决一类非光滑约束最优化问题，这是非常适合我们制定的稀疏PCA。我们证明了它收敛到一个可行点，而且在一定的正则性假设下，它收敛到一个稳定点。此外，我们还提出了两种求解增广拉格朗日子问题的非单调梯度法，并证明了它们的全局收敛性和局部收敛性。最后，我们比较我们的稀疏PCA方法与现有的几种方法合成，随机和真实的数据，分别。计算结果表明，我们的方法产生的稀疏PC大大优于其他方法的总解释方差，PC的相关性，和正交性的加载向量。
2009-07-13 cs.LG math.OC math.ST
A Robust Optimization Approach to Sparse Principal Component Analysis
Uppsala University, Sweden（乌普萨拉大学，瑞典）；PSL Research University / INRIA, France（巴黎社会科学大学 / INRIA，法国）；Science for Life Laboratory, Sweden（生命科学实验室，瑞典）
提出AdvPCA方法，通过鲁棒优化在重建目标中引入最坏情况潜在空间扰动实现稀疏性，并给出闭式解和迭代算法。
2026-06-02 cs.LG math.OC stat.ML
Exactly Robust Kernel Principal Component Analysis
City University of Hong Kong（香港城市大学）
鲁棒主元分析（RPCA）可以在低秩矩阵被稀疏噪声污染时恢复低秩矩阵。然而，在实践中，许多矩阵是高秩的，因此不能通过RPCA恢复。我们提出了一种新的方法称为鲁棒核主成分分析（RKPCA）分解部分损坏的矩阵作为稀疏矩阵加上高或满秩矩阵具有低潜在维度。RKPCA可以应用于噪声去除和子空间聚类等许多问题，并且仍然是唯一对稀疏噪声具有鲁棒性的无监督非线性方法。理论分析表明，RKPCA具有较高的恢复精度。RKPCA的优化涉及非凸和不可微问题。我们提出了两个非凸优化算法的RKPCA。这两种方法分别是带回溯线搜索的交替方向乘子法和自适应步长的近似线性化极小化法。在噪声去除和鲁棒子空间聚类方面的比较研究证实了RKPCA的有效性和优越性。
2019-04-17 cs.LG stat.ML
Sparse PCA on fixed-rank matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
稀疏PCA是通过在主成分上添加稀疏约束从PCA获得的优化问题。稀疏PCA是NP难的，即使在单分量的情况下也很难近似。在本文中，我们解决了稀疏PCA的计算复杂性的协方差矩阵的秩。我们表明，如果协方差矩阵的秩是一个固定的值，那么有一个算法，解决稀疏PCA的全局最优，其运行时间是多项式的功能的数量。我们还证明了一个类似的结果，稀疏PCA的版本，需要主成分有不相交的支持。
2022-01-07 cs.DM cs.LG math.OC
Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality
Massachusetts Institute of Technology（麻省理工学院）；London Business School（伦敦商学院）
稀疏主成分分析（PCA）是一种流行的降维技术，用于获得作为原始特征的小子集的线性组合的主成分。现有的方法不能提供可证明的最优主成分超过$p=100s$的变量。通过将稀疏PCA转化为一个凸混合整数半定最优化问题，设计了一种割平面法，该方法在p=300个变量中选取k=5个协变量的规模下，解决了稀疏PCA的可证最优性问题，并在更大的规模下提供了小的界隙。我们还提出了一个凸松弛和贪婪的舍入方案，提供了在实践中的$1-2\%$的约束间隙在几分钟内为$p=100$的或小时为$p=1,000$的，因此是一个可行的替代精确的方法在规模。使用现实世界的金融和医疗数据集，我们说明了我们的方法的能力，以获得可解释的主成分可追溯的规模。
2021-08-25 cs.LG math.OC math.ST
Random Matrix Theory-guided sparse PCA for single-cell RNA-seq data
本文提出基于随机矩阵理论的稀疏PCA方法，用于改进单细胞RNA测序数据的降维与细胞类型分类。
2026-02-26 cs.LG physics.bio-ph q-bio.QM
Robust Principal Component Completion
School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学）；National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing（空间智能信息处理国家重点实验室）；Department of Electrical and Computer Engineering, Mississippi State University（电气与计算机工程系，密苏里州立大学）；National Research Council, Institute of Methodologies for Environmental Analysis (CNR-IMAA)（国家研究理事会，环境分析方法研究所（CNR-IMAA））
本文提出鲁棒主成分补全方法，通过间接确定稀疏成分的支持集来解决稀疏前景遮挡低秩背景的问题，采用变分贝叶斯推断实现全概率贝叶斯稀疏张量分解，实验显示其在合成数据和真实数据中表现优异。
2026-04-22 cs.CV cs.LG
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
msPCA: An R Package for Sparse PCA with Multiple Components
Imperial Business School（帝国理工商业学校）；London Business School（伦敦商学院）
本文开源R包msPCA采用交替最大化算法，生成非冗余稀疏载荷向量，支持两类非冗余定义，可处理数千特征的稀疏PCA问题，运行高效且方差解释率高。
2026-07-07 cs.LG stat.ME stat.ML
Low-Rank Principal Eigenmatrix Analysis
The University of California, Davis（加州大学戴维斯分校）；Google AI（谷歌人工智能）；Princeton University（普林斯顿大学）
稀疏PCA是一种广泛应用于高维数据分析的技术。在本文中，我们提出了一种新的方法称为低秩主特征矩阵分析。与稀疏PCA不同的是，主特征向量被允许是密集的，但被假设为具有低秩结构时，适当的矩阵化。这种结构在几种实际情况下自然出现：实际上，循环矩阵的顶部特征向量，当适当地矩阵化时，是秩1矩阵。我们提出了一个矩阵化的秩截断功率方法，可以有效地实现，并建立其计算和统计特性。在几个合成数据集上的大量实验证明了我们的方法具有竞争力的经验性能。
2019-04-28 cs.LG stat.ME stat.ML
Sparse PCA with Oracle Property
Princeton University（普林斯顿大学）
本文提出基于半定松弛的稀疏PCA估计量族，在弱假设下实现支持恢复与Oracle性质，并给出更优收敛速率，通过实验验证。
2023-12-28 cs.LG stat.ML
Nonconvex Statistical Optimization: Minimax-Optimal Sparse PCA in Polynomial Time
Princeton University（普林斯顿大学）
稀疏主成分分析（PCA）涉及非凸优化问题，难以获得全局解。为了解决这个问题，一种流行的方法是凸松弛。然而，这种方法可能会产生次优估计，由于松弛效应。为了最优估计稀疏主子空间，我们提出了一个两阶段的计算框架，称为“收紧后放松”：在“放松”阶段，我们近似求解稀疏PCA的凸松弛，并提前停止，以获得所需的初始估计;对于“收紧”阶段，我们提出了一种新的算法称为稀疏正交迭代追踪（SOAP），其通过直接求解潜在的非凸问题来迭代地细化初始估计器。这个两阶段框架的一个关键概念是吸引力盆地。它代表一个局部区域，在该区域内，“收紧”阶段具有所需的计算和统计保证。我们证明，从“放松”阶段获得的初始估计落入这样的区域，因此SOAP几何收敛到一个主子空间估计，这是在一定的模型类的最小最优。与大多数现有的稀疏PCA估计器不同，我们的方法适用于非尖峰协方差模型，并适应非高斯性以及相关数据设置。此外，通过分析这两个阶段的计算复杂度，我们说明了一个有趣的现象，即较大的样本量可以降低总的迭代复杂度。我们的框架激发了解决许多复杂的统计问题，其中涉及非凸优化与可证明的保证一般范式。
2014-08-22 cs.LG stat.ML
Federated Learning for Sparse Principal Component Analysis
National Tsing Hua University（国立清华大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
针对传统SPCA在联邦学习中的挑战，提出结合平滑函数与最小二乘近似的联邦SPCA方法，通过ADMM求解共识优化问题，在IID和非IID数据上验证了其有效性。
2023-11-15 cs.DC cs.IT cs.LG
Sparse Equisigned PCA: Algorithms and Performance Bounds in the Noisy Rank-1 Setting
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）
基于奇异值分解（SVD）的主成分分析（PCA）在高维和有限的样本量范围内失效，低于取决于系统的维数和样本的样本个数的某个临界特征SNR。低于这个临界特征SNR，SVD返回的估计值与潜在主成分渐近不相关。我们考虑一种设置，其中底层秩一信号矩阵的左奇异向量被假设为稀疏的，并且右奇异向量被假设为等符号的，即，具有仅非负或仅非正的条目。我们考虑六种不同的算法，估计稀疏的主成分基于不同的统计标准，并证明，通过利用稀疏性，我们恢复相合估计在低特征信噪比制度的SVD失败。我们的分析揭示了条件下，一个基于\textit{sum-type decision statistic}的坐标选择方案优于计划，利用$\ell_1$和$\ell_2$规范为基础的统计。我们推导出主左奇异向量的可检测坐标的大小的下界，并利用这些下界推导出最坏情况下的风险的下界。最后，我们用数值模拟验证了我们的发现，并用视频数据示例说明了性能，其中兴趣在于识别对象。
2019-12-16 cs.LG eess.SP math.ST
Manifold Denoising by Nonlinear Robust Principal Component Analysis
Michigan State University（密歇根州立大学）
本文将鲁棒主元分析（RPCA）推广到非线性流形。假设观测数据矩阵是一个稀疏分量和一个从某个低维流形中提取的分量之和。有没有可能通过使用与RPCA类似的想法将它们分开？与单独处理每个局部区域相比，将流形作为一个整体来处理有什么好处吗？我们肯定地回答这两个问题，提出并分析了一个优化框架，分离的稀疏成分下的噪声数据的流形。当流形的切空间满足一定的非相干条件时，给出了理论误差界。我们还提供了一个接近最优的选择的调整参数建议的优化配方的帮助下，一个新的曲率估计方法。我们的方法的有效性在合成和真实数据集上都得到了证明。
2019-11-10 cs.LG stat.ML
Variational Bayesian Inference for Tensor Robust Principal Component Analysis
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Lingnan University（岭南大学）；Key Laboratory of Computing and Stochastic Mathematics (LCSM), School of Mathematics and Statistics, Hunan Normal University（计算与随机数学重点实验室（LCSM），数学与统计学学院，湖南师范大学）
本文提出基于贝叶斯框架的TRPCA方法，通过整合低秩核范数和稀疏诱导先验，自动优化张量核范数并提升在混合噪声下的性能。
2026-01-14 cs.LG cs.NA math.NA
Fast Randomized PCA for Sparse Data
Tsinghua University（清华大学）
主成分分析（PCA）在社会网络分析、信息检索、自然语言处理等领域被广泛应用于真实数据的降维和嵌入。该算法具有与基本随机SVD（rPCA）算法（Halko等人，2011），但在很大程度上针对稀疏数据进行了优化。它还具有很好的灵活性，可以在实际使用中权衡运行时间和准确性。对实际数据的实验表明，该算法在不损失精度的情况下，比基本的rPCA算法快9.1倍，比Matlab中的svds算法快20倍，且误差很小.该算法在24核机器上计算了包含12，869，521人和323，899个关键词的大型信息检索数据的前100个主成分，而所有传统方法都因内存不足而失败。
2018-10-16 cs.LG stat.ML
A Framework for Private Matrix Analysis
Johns Hopkins University（约翰霍普金斯大学）；Fujitsu Laboratories of America（富士通美国研究院）
我们研究了滑动窗口模型中的私有矩阵分析，其中只有最后的$W$更新矩阵被认为是有用的分析。我们给第一个有效的$o(W)$空间差分私有算法的频谱近似，主成分分析，线性回归。我们还启动和显示有效的差异私有算法的两个重要的主成分分析：稀疏主成分分析和非负主成分分析。在我们的工作之前，即使在静态数据设置中，稀疏和非负差分私有主成分分析也没有这样的结果。这些算法是通过确定由流矩阵构成半正定矩阵的充分条件而得到的。我们还显示了计算低秩近似所需的空间上的下界，即使该算法给出了乘法近似，并引起附加误差。这通过减少到某个通信复杂性问题而实现。
2020-09-06 cs.CR cs.DS cs.LG
Robust Tensor Principal Component Analysis: Exact Recovery via Deterministic Model
本文提出了一种基于张量-张量积和t-SVD的鲁棒张量主成分分析方法，通过确定性模型实现张量低秩和稀疏成分的精确恢复。
2025-12-17 cs.LG math.ST stat.ML
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分，证明草图接近原矩阵时可获得近优解，提出稀疏PCA算法并展示其在多领域数据上的有效性，提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
Training-Free Hashing-Based Attention via Binary Principal Components
针对长上下文LLMs自注意力的解码效率瓶颈，提出无训练的BinaryPC方法，通过数据二元主成分构建哈希码，在保持精度的同时将解码吞吐量提升3.56倍。
2026-08-06 cs.AI cs.CL cs.LG
Servant of Many Masters: Shifting priorities in Pareto-optimal sequential decision-making
University of California, Berkeley（加州大学伯克利分校）
通常认为，代理人代表具有不同效用函数的两个或多个委托人做出决策应该采用{ \em帕累托最优}策略，即，一项政策，如果不为另一个代理人做出牺牲，就不可能为一个代理人改进。海萨尼的一个著名定理表明，当委托人对所有策略的结果分布有一个共同的先验时，代理人的帕累托最优策略是最大化委托人效用的固定加权线性组合的策略。在本文中，我们表明，海萨尼的定理不成立的校长与不同的先验，并得出一个更精确的推广，这并举行，这构成了我们的主要结果。在这种更一般的情况下，赋予每个委托人效用的相对权重应该随着时间的推移而变化，这取决于代理人的观察结果与委托人的先验知识的一致程度。这一结果对合同、条约、合资企业和机器人的设计都有影响。
2017-10-31 cs.AI
