Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery
Iowa State University（爱荷华州立大学）；Université de La Rochelle（拉罗谢尔大学）；University of Warwick（华威大学）
PCA是最广泛使用的降维技术之一。一个相关的更简单的问题是“子空间学习”或“子空间估计”。给定相对干净的数据，两者都可以通过奇异值分解（SVD）轻松求解。存在离群值的子空间学习或PCA问题称为鲁棒子空间学习或鲁棒PCA（RPCA）。对于长数据序列，如果试图使用单个低维子空间来表示数据，则所需的子空间维度可能会非常大。对于这样的数据，一个更好的模型是假设它位于一个低维子空间，可以随着时间的推移而变化，尽管是逐渐变化的。跟踪这样的数据（和子空间），同时对离群值具有鲁棒性的问题被称为鲁棒子空间跟踪（Robust Subspace Tracking，简称SVM）。这篇文章提供了一个杂志式的概述整个领域的鲁棒子空间学习和跟踪。特别是三个问题的解决方案进行了详细讨论：通过稀疏+低秩矩阵分解（S+LR）的RPCA，通过S+LR，和“鲁棒子空间恢复（RSR）”的恢复。RSR假设整个数据向量要么是离群值，要么是内点。相反，S+LR公式假设离群值仅出现在少数数据向量索引上，因此被很好地建模为稀疏损坏。
2018-07-05 cs.CV cs.IT math.IT
Fast Robust Subspace Tracking via PCA in Sparse Data-Dependent Noise
Iowa State University（爱荷华州立大学）
本文研究了鲁棒子空间跟踪问题。鲁棒ST可以简单地理解为鲁棒PCA的（慢）时变子空间扩展。它假设真实数据位于一个低维子空间中，该子空间要么是固定的，要么随时间缓慢变化。我们的目标是在存在可加稀疏离群值的情况下跟踪随时间变化的子空间，并快速完成（具有短延迟）。我们引入了一个“快速”的小批量强大的ST解决方案，是可证明正确的温和的假设下。这里“快速”意味着两件事：（i）可以检测到子空间变化，并且可以以接近最优的延迟跟踪子空间，以及（ii）这样做的时间复杂度与简单（非鲁棒）PCA的时间复杂度相同。我们的主要结果假设分段常数子空间（需要可识别性），但我们也提供了一个推论的情况下，每次有一点变化。第二个贡献是一个新的非渐近保证PCA在线性数据相关的噪声。这是有用的一个重要设置是用于线性数据相关噪声，该噪声是稀疏的，支持随时间变化足够。我们提出的鲁棒ST解决方案的子空间更新步骤的分析使用这个结果。
2020-12-04 cs.IT cs.LG math.IT
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations
The University of Electro-Communications（电气通信大学）
本文提出基于CP分解的OLSTEC算法，用于在线跟踪动态变化的低维子空间，通过递归最小二乘法提升收敛速度。
2017-09-29 cs.NA math.NA stat.ML
Federated Over-Air Subspace Tracking from Incomplete and Corrupted Data
Iowa State University（爱荷华州立大学）
在这项工作中，我们研究的问题，子空间跟踪缺失数据（ST-错过）和离群值（鲁棒ST-错过）。我们提出了一个新的算法，并提供了这两个问题的保证。与以往的工作不同，目前的工作并没有强加分段常数子空间变化的假设。此外，该算法比我们以前的工作简单得多（使用更少的参数）。其次，我们扩展我们的方法和它的分析，以证明解决这些问题时，数据是联邦和空中数据通信模式用于$K$对等节点和中心之间的信息交换。我们验证了我们的理论主张与广泛的数值实验。
2022-06-29 cs.IT cs.LG cs.NA
Streaming PCA and Subspace Tracking: The Missing Data Case
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
对于科学和工程中的许多现代应用，数据是以流式方式收集的，携带时变信息，从业者需要及时地用有限的内存和计算资源来处理它们，以便做出决策。这通常与缺失数据问题相结合，使得仅观察到一小部分数据属性。这些复杂性对流式主成分分析（PCA）和子空间跟踪的问题施加了显著且非常规的约束，这是信号处理和机器学习中的许多推理任务的基本构建块。这篇综述文章回顾了各种经典和最新的算法，用于解决这个问题，具有较低的计算和内存复杂性，特别是那些适用于大数据制度与缺失数据。我们说明，流PCA和子空间跟踪算法可以通过代数和几何的角度来理解，他们需要仔细调整，以处理缺失数据。渐近和非渐近收敛保证进行审查。最后，我们基准的性能存在缺失数据的良好条件和病态系统的几个竞争力的算法。
2018-06-12 cs.IT cs.LG math.IT
Nearly Optimal Robust Subspace Tracking
Iowa State University（爱荷华州立大学）
在这项工作中，我们研究了鲁棒子空间跟踪问题，并获得了它的前两个可证明的保证之一。鲁棒子空间跟踪的目标是跟踪顺序到达的数据向量，位于一个缓慢变化的低维子空间，同时是由添加剂稀疏离群值的腐败鲁棒。它也可以被解释为鲁棒PCA（RPCA）的动态（时变）扩展，具有较小的差异，即RPCA也需要较短的跟踪延迟。我们开发了一种递归投影压缩感知算法，我们称之为近乎最优的基于ReProCS的压缩感知算法（ReProCS-NORST），因为它的跟踪延迟接近最优。我们证明，NORST解决了两个问题的非线性和动态RPCA下削弱标准RPCA的假设，两个简单的额外的假设（慢子空间变化和最离群值幅度下界），和一些小的假设。我们的保证表明，NORST享有接近最佳的跟踪延迟$O(r \log n \log(1/ε))$。其在子空间改变时间之间所需的延迟是相同的，并且其存储器复杂度是该值的$n$倍。因此，这两个也是接近最佳的。这里，$n$是环境空间维度，$r$是子空间的维度，并且$ε$是跟踪精度。NORST还具有最好的离群值容忍度与所有以前的RPCA或RPCA方法相比，无论是理论上还是经验上（包括真实视频），都不需要任何关于如何生成离群值支持的模型。这是可能的，因为它使用了额外的假设。
2018-07-06 cs.CV cs.IT math.IT
Online Robust Subspace Tracking from Partial Information
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Chinese University of Hong Kong（香港中文大学）
提出GRASTA算法，利用鲁棒l1范数从高度不完整数据中在线跟踪子空间，应用于鲁棒矩阵补全和视频背景-前景实时分离，在基准视频上达到57帧/秒。
2011-09-20 cs.CV cs.IT cs.SY
Object Tracking via Non-Euclidean Geometry: A Grassmann Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
鲁棒的视觉跟踪系统需要能够处理视频流中的遮挡、姿态和照明变化的对象外观模型。这在仅使用单个图像训练模型时可能难以实现。在本文中，我们首先提出了一种跟踪方法的基础上仿射子空间（从几个图像构造），能够适应上述变化。我们不仅使用仿射子空间来表示对象，而且还使用仿射子空间来表示对象可能占据的候选区域。此外，我们提出了一种新的方法来测量仿射子空间到子空间的距离，通过使用非欧几何的格拉斯曼流形。跟踪问题，然后被认为是一个推理任务中的马尔可夫链蒙特卡罗框架通过粒子滤波。对具有挑战性的视频序列的定量评估表明，该方法获得了相当好的性能比最近的几个国家的最先进的方法，如跟踪学习检测和MILtrack。
2014-03-03 cs.CV math.MG stat.ML
Provable Dynamic Robust PCA or Robust Subspace Tracking
动态鲁棒PCA是指鲁棒PCA的动态（时变）扩展（RPCA）。它假设真实的（未损坏的）数据位于低维子空间中，该子空间可以随时间变化，尽管变化很慢。我们的目标是在稀疏离群值存在的情况下跟踪随时间变化的子空间。我们开发和研究一种新的算法，我们称之为简单的ReProCS，基于最近推出的递归投影压缩感知（ReProCS）框架。我们的工作提供了第一个保证，动态RPCA的标准RPCA假设，慢子空间变化和最离群值幅度的下限假设下，削弱版本。我们的结果是重要的，因为（i）它消除了之前两个基于ReProCS的算法的完全保证所需的强假设;（ii）它表明，与所有现有的RPCA或动态RPCA解决方案相比，通过利用上述两个简单的额外假设，可以实现显着改善的离群值容限;以及（iii）证明了simple-ReProCS是在线的（在初始化之后）、快速的，并且具有接近最优的存储器复杂度。
2018-09-19 cs.IT math.IT stat.ML
Online Structural Change-point Detection of High-dimensional Streaming Data via Dynamic Sparse Subspace Learning
Peking University（北京大学）；Virginia Tech（弗吉尼亚理工大学）；Shanghai Jiao Tong University（上海交通大学）
高维流数据在许多领域变得越来越普遍。它们通常位于多个低维子空间中，并且由于模式转移或异常的发生，流形结构可能在时间尺度上突然改变。然而，以实时方式检测结构变化的问题还没有得到很好的研究。为了填补这一空白，我们提出了一种动态稀疏子空间学习方法在线检测高维流数据的结构变化点。提出了一种新的多结构变点模型，并研究了估计量的渐近性质。提出了一种基于贝叶斯信息准则和变点检测精度的惩罚系数整定方法。提出了一种有效的基于剪枝精确线性时间的在线优化和变点检测算法。通过几个仿真研究和一个真实的案例研究手势数据的运动跟踪所提出的方法的有效性证明。
2022-04-12 cs.LG stat.ML
Network Volume Anomaly Detection and Identification in Large-scale Networks based on Online Time-structured Traffic Tensor Tracking
本文讨论了网络异常，即从间接链路测量推断网络级异常的问题。这个问题被转换为一个低秩子空间跟踪问题的正常流量下的不完全观测，和异常流量的离群点检测问题。由于交通数据是大规模的时间结构数据，伴随着噪声和部分观测下的离群值，一个有效的建模方法是必不可少的。为此，本文提出了一种在线子空间跟踪的Hankelized的时间结构的流量张量的正常流量的Candecomp/PARAFAC分解的基础上，利用递归最小二乘（RLS）算法。我们估计异常流作为离群稀疏流通过稀疏最大化的基本约束下的线性逆问题。一个主要的优点是，我们的算法估计正常流量的低维矩阵的时间方向的功能，以及多个链接的空间相关性，而不使用过去观察到的测量和过去的模型参数。大量的数值计算结果表明，该算法实现了更快的收敛，每次迭代的模型近似，和更好的体积异常检测性能相比，国家的最先进的算法。
2016-08-19 cs.NI stat.ML
Accelerating Permutation Testing in Voxel-wise Analysis through Subspace Tracking: A new plugin for SnPM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The University of Warwick（华威大学）
排列检验是一种非参数方法，用于获得最大零分布，用于计算校正后的$p$值，可提供对假阳性的强有力控制。然而，在神经成像中，运行这样的算法的计算负担可能是显著的。我们发现，通过查看一个非常大的置换测试矩阵，$T$的建设的置换测试过程中，可以利用来自数据和检验统计量的结构属性，以减少在某些条件下的运行时间。特别地，我们看到$T$是低秩加上低方差残差。这使得$T$成为低秩矩阵补全的良好候选，其中仅必须计算非常少量的$T$的条目（在我们的实验中的所有条目中的$\sim0.35\%$）以获得良好的估计。基于这一观察，我们提出了RapidPT，一种算法，有效地恢复最大空分布通常通过定期排列测试在体素分析。我们对一个合成数据集和四个不同大小的数据集进行了广泛的验证，这四个数据集针对两个基线：统计非参数映射（SnPM 13）和标准排列测试实现（称为NaivePT）。我们发现RapidPT在中等规模的数据集（$50 \leq n \leq 200$）上实现了最佳的运行时性能，加速比为1.5 - 38倍（与SnPM 13相比）和20 - 1000倍（与NaivePT相比）。对于更大的数据集（$n \geq 200$），RapidPT在所有数据集上的性能都优于NaivePT（6倍-200倍），并且在需要超过10000个排列（2倍-15倍）时，RapidPT提供了比SnPM 13更大的加速。该实现是一个独立…
2017-07-24 cs.CV stat.AP stat.ML
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Similarity Function Tracking using Pairwise Comparisons
University of Michigan（密歇根大学）
最近在距离度量学习方面的工作集中在学习数据的变换，这些变换最好与指定的成对相似性和相异性约束（通常由人类观察者提供）保持一致。由于更好地适应距离或相似性度量，学习的转换导致改进的检索、分类和聚类算法。在这里，我们解决的问题，学习这些转换时，底层的约束生成过程是非平稳的。这种非平稳性可能是由于用于生成约束的地面实况聚类的变化或类结构明显的特征子空间的变化。我们提出了在线凸包络强自适应动态学习（OCELAD），一个通用的自适应，在线学习和跟踪最佳指标的方法，因为它们随着时间的推移而变化，是非常强大的各种非平稳行为的变化度量。我们将OCELAD框架应用于在线学习者的集合。具体来说，我们创建了一个由一组具有不同学习率的并行COMID学习器组成的逆向初始化复合目标镜像下降（COMID）集成（RICE），并在合成数据和高度非平稳的Twitter数据集上展示了无参数RICE-OCELAD度量学习。我们表现出显着的性能改进和增加的鲁棒性，相对于以前提出的批处理和在线距离度量学习算法的非平稳效应。
2017-01-07 cs.LG stat.ML
Subspace Learning and Imputation for Streaming Big Data Matrices and Tensors
University of Minnesota（明尼苏达大学）
从高维数据中提取潜在的低维结构在“大数据”分析遇到的及时推理任务中至关重要。然而，越来越多的噪声、异构和不完整的数据集以及对流数据的{ \em实时}处理的需求为此提出了主要挑战。在这种情况下，本文件渗透的好处，从秩最小化可扩展填补缺失数据，通过跟踪低维子空间和解开潜在的（可能是多路）结构从\emph{incomplete streaming}数据。对于低秩矩阵数据，提出了一种基于核范数正则化的指数加权最小二乘准则的子空间估计器。在将不可分离的核范数转换成适合在线优化的形式后，开发了具有互补优势的实时算法，并在简化的技术假设下建立了它们的收敛性。在一个固定的设置，得到的渐近估计提供了有据可查的性能保证的{ \em批}核范数正则化估计。在相同的统一框架下，开发了一种新的在线（自适应）算法，以获得多路分解的\emph{low-rank tensors}与丢失的条目，并执行插补作为副产品。模拟测试与合成以及真实的互联网和心脏磁共振成像（MRI）数据证实了所提出的算法的有效性，其优越的性能相对于国家的最先进的替代品。
2014-04-17 cs.IT cs.LG math.IT
LASER: Low-Rank Activation SVD for Efficient Recursion
Harvard University（哈佛大学）
本文研究了递归架构中激活流形的几何结构，提出LASER框架通过动态压缩实现激活记忆节省，同时保持模型精度。
2026-04-19 cs.LG stat.ML
Hybrid Linear Modeling via Local Best-fit Flats
我们提出了一个简单而快速的几何方法建模数据的仿射子空间的联盟。该方法通过形成局部最佳拟合仿射子空间的集合开始，即，近似局部邻域中的数据的子空间。局部邻域的正确大小由Jones的$β_2$数自动确定（我们证明在某些几何条件下，我们的方法找到了最佳的局部邻域）。通过贪婪选择过程或谱方法进一步处理子空间的集合以生成最终模型。我们讨论了基于跟踪的运动分割和聚类的人脸在不同光照条件下的应用。我们给出了大量的实验证据，证明了这些问题的最先进的准确性和速度的建议算法，也对合成混合线性数据以及MNIST手写数字数据，我们演示了如何使用我们的算法快速确定仿射子空间的数量。
2012-05-01 cs.CV stat.ML
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University（斯坦福大学）
低秩分解上的随机梯度下降（SGD）通常用于加速矩阵问题，包括矩阵完成，子空间跟踪和SDP松弛。在本文中，我们展示了一个步长计划SGD的低秩最小二乘问题，我们证明了，在广泛的采样条件下，我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Iterative Grassmannian Optimization for Robust Image Alignment
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Michigan（密歇根大学）
稳健的高维数据处理近年来取得了令人兴奋的发展，因为理论结果表明，可以使用凸规划来优化低秩分量加上稀疏离群分量的数据拟合。这个问题也被称为鲁棒PCA，它已经在计算机视觉的许多领域中得到应用。在图像和视频处理以及人脸识别方面，随着人们以前所未有的数量在线上传照片和视频数据，处理海量图像数据库的机会正在出现。然而，数据的质量和一致性没有以任何方式控制，数据的重复性构成了严重的计算挑战。在本文中，我们提出了t-GRASTA，或“变换GRASTA（格拉斯曼鲁棒自适应子空间跟踪算法）”。t-GRASTA迭代地执行约束到子空间的格拉斯曼流形的增量梯度下降，以便同时估计图像集合到低秩子空间、遮挡和前景对象的稀疏部分的分解，以及诸如图像的旋转或平移的变换。我们表明，t-GRASTA是4 $\times$比国家的最先进的算法快，有一半的内存需求，并可以实现人脸图像以及抖动的摄像机监控图像对齐。
2013-06-20 cs.CV math.OC stat.ML
Sequential Low-Rank Change Detection
Georgia Institute of Technology（佐治亚理工学院）；Air Force Research Lab（空军研究实验室）
从高维数据中检测低秩信号的出现是许多应用中出现的重要问题，例如使用传感器的摄像机监视和群体监视。我们考虑一个基于滑动窗口上的样本协方差阵的最大特征值来检测变化的过程。为了实现降维，我们提出了一种基于草图的方法，使用原始高维观测的低维线性草图进行秩变化检测。其前提是当草图矩阵为随机高斯矩阵，且草图向量维数足够大时，这些草图的样本协方差阵的秩以高概率等于原始样本协方差阵的秩。因此，我们可以使用草图的样本协方差阵来检测低秩变化，而不必恢复原始的协方差阵。我们的字符的最大特征值统计的虚警率和预期的检测延迟的性能，并提出了一个有效的在线实现通过子空间跟踪。
2016-10-07 cs.LG math.ST stat.ML
