Online Identification and Tracking of Subspaces from Highly Incomplete Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出GROUSE算法，利用Grassmann流形上的增量梯度下降，从高度不完整观测中在线跟踪子空间，并可用于低秩矩阵补全。
2011-07-12 cs.IT cs.SY eess.SY
Learning Nonlinear Factor Models with Unknown Monotone Links from Incomplete and Noisy Data
School of Computation, Information and Technology, Technical University of Munich, Germany（计算、信息与技术学院，慕尼黑技术大学，德国）；Department of Economics, Virginia Tech, USA（经济系，弗吉尼亚理工学院，美国）；Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与人工智能研究所）
研究从含噪和不完整数据中联合恢复低秩因子、载荷和未知单调链接函数的问题，提出投影块坐标下降算法并建立收敛保证。
2026-05-25 cs.LG econ.EM stat.ML
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
Federated Over-Air Subspace Tracking from Incomplete and Corrupted Data
Iowa State University（爱荷华州立大学）
在这项工作中，我们研究的问题，子空间跟踪缺失数据（ST-错过）和离群值（鲁棒ST-错过）。我们提出了一个新的算法，并提供了这两个问题的保证。与以往的工作不同，目前的工作并没有强加分段常数子空间变化的假设。此外，该算法比我们以前的工作简单得多（使用更少的参数）。其次，我们扩展我们的方法和它的分析，以证明解决这些问题时，数据是联邦和空中数据通信模式用于$K$对等节点和中心之间的信息交换。我们验证了我们的理论主张与广泛的数值实验。
2022-06-29 cs.IT cs.LG cs.NA
Subspace Estimation from Incomplete Observations: A High-Dimensional Analysis
Harvard University（哈佛大学）；Technion, Israel Institute of Technology（以色列理工学院）
我们提出了一个高维分析的三个流行的算法，即Oja的方法，GROUSE和PETRELS，从流和高度不完整的观测子空间估计。我们表明，适当的时间尺度，时变的主角之间的真实子空间和它的估计算法弱收敛到确定性的过程时，周围的维数$n$趋于无穷大。此外，极限过程可以精确地表征为某些常微分方程（ODE）的唯一解。一个有限的样本界也给出了，表明对这样的限制的收敛速度是$\mathcal{O}(1/\sqrt{n})$。除了提供算法动态性能的渐近精确预测外，我们的高维分析还产生了一些见解，包括Oja方法和GROUSE之间的渐近等价性，以及将缺失数据量与信噪比联系起来的精确比例关系。通过分析极限常微分方程的解，我们还建立了与这些技术的稳态性能相关联的相变现象。
2018-10-18 cond-mat.dis-nn cs.IT cs.LG
Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations
The University of Electro-Communications（电气通信大学）
本文提出基于CP分解的OLSTEC算法，用于在线跟踪动态变化的低维子空间，通过递归最小二乘法提升收敛速度。
2017-09-29 cs.NA math.NA stat.ML
Fast greedy algorithm for subspace clustering from corrupted and incomplete data
University of Georgia（佐治亚大学）；Algosoft-Tech USA（美国Algosoft-Tech公司）
本文提出一种高效的子空间聚类算法FGSSC，能够处理高擦除率噪声数据，其聚类能力优于现有方法，计算成本略高但效率高。
2013-06-07 cs.DS cs.LG cs.NA
To lie or not to lie in a subspace
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
给出了确定性的充分必要条件，以保证如果一个子空间适合于某个子空间的并集中的某些部分观测数据，则是因为这些数据确实存在于一个子空间中。进一步给出了确定性的充要条件，以保证如果一个子空间适合某些部分观测数据，则该子空间是唯一的。要做到这一点，可以通过表征何时且仅当一组不完整向量表现为单个但完整的向量时。
2014-08-27 cs.LG stat.ML
Robust Subspace Clustering via Thresholding
ETH Zurich（苏黎世联邦理工学院）
考虑了将噪声和不完全观测的高维数据点聚类到低维子空间和一组离群点的联合中的问题。假设子空间的数量、维度和方向是未知的。我们提出了一个简单的低复杂度的子空间聚类算法，该算法将谱聚类应用于通过对数据点之间的相关性进行阈值化而获得的邻接矩阵。换句话说，邻接矩阵是从每个数据点在球面距离上的最近邻居构造的。统计性能分析表明，该算法具有鲁棒性加性噪声，即使在子空间相交。具体来说，我们的研究结果揭示了一个明确的折衷之间的亲和力的子空间和可容忍的噪声水平。我们还证明了该算法的成功，即使当数据点不完全观察到的缺失条目的数量允许是（最多一个对数因子）在环境维度的线性。我们还提出了一个简单的方案，可证明检测离群值，我们提出了真实和合成数据的数值结果。
2015-08-21 cs.IT cs.LG math.IT
Subspace Estimation from Unbalanced and Incomplete Data Matrices: $\ell_{2,\infty}$ Statistical Guarantees
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了未知低秩矩阵$\boldsymbol{A}^{\star}\in\mathbb{R}^{d_{1}\times d_{2}}$的列空间的估计问题，给出了其元素的噪声和部分观测值。在很多情况下，观测值（虽然噪声太大，无法支持整个矩阵的忠实恢复）仍然传达了足够的信息，以实现对感兴趣的列空间的可靠估计。这对于列维度$d_{2}$远远超过行维度$d_{1}$的高度不平衡的情况是特别明显和关键的，这是当前论文的焦点。本文研究了一种有效的谱方法，它对样本Gram矩阵进行对角删除。虽然这种算法的想法已经研究过了，我们建立了新的统计保证，这种方法的$\ell_{2}$和$\ell_{2,\infty}$估计精度，提高以前的结果，如果$d_{2}$是大大大于$d_{1}$。为了说明我们的研究结果的有效性，我们得到匹配的最小最大下界相对于噪声水平，并发展我们的一般理论的后果，为三个应用的实际重要性：（1）张量完成从噪声数据，（2）协方差估计/主成分分析与缺失数据，（3）社区恢复二部图。我们的理论导致所有三种情况下的性能保证的改善。
2020-11-15 cs.IT cs.LG math.IT
Subspace Learning and Imputation for Streaming Big Data Matrices and Tensors
University of Minnesota（明尼苏达大学）
从高维数据中提取潜在的低维结构在“大数据”分析遇到的及时推理任务中至关重要。然而，越来越多的噪声、异构和不完整的数据集以及对流数据的{ \em实时}处理的需求为此提出了主要挑战。在这种情况下，本文件渗透的好处，从秩最小化可扩展填补缺失数据，通过跟踪低维子空间和解开潜在的（可能是多路）结构从\emph{incomplete streaming}数据。对于低秩矩阵数据，提出了一种基于核范数正则化的指数加权最小二乘准则的子空间估计器。在将不可分离的核范数转换成适合在线优化的形式后，开发了具有互补优势的实时算法，并在简化的技术假设下建立了它们的收敛性。在一个固定的设置，得到的渐近估计提供了有据可查的性能保证的{ \em批}核范数正则化估计。在相同的统一框架下，开发了一种新的在线（自适应）算法，以获得多路分解的\emph{low-rank tensors}与丢失的条目，并执行插补作为副产品。模拟测试与合成以及真实的互联网和心脏磁共振成像（MRI）数据证实了所提出的算法的有效性，其优越的性能相对于国家的最先进的替代品。
2014-04-17 cs.IT cs.LG math.IT
Incomplete Pivoted QR-based Dimensionality Reduction
Tel Aviv University（特拉维夫大学）
高维大数据出现在图像识别、生物学、协同过滤等多个研究领域。通常，由于“维数灾难”现象，经典算法对此类数据的探索遇到困难。因此，降维方法在其分析之前应用于数据。这些方法中的许多基于统计驱动的主成分分析，即它们将数据映射到低维子空间中，该低维子空间保留了高维数据的重要统计特性。因此，这样的方法不直接解决由多维数据点之间的相互距离反映的数据的几何形状。因此，诸如分类、异常检测或其他机器学习任务之类的操作可能受到影响。这项工作提供了一个基于字典的框架，几何驱动的数据分析，包括降维，样本外扩展和异常检测。它将高维数据嵌入低维子空间。这种嵌入保留了数据的原始高维几何形状，直到用户定义的失真率。此外，它还识别了构成所分析数据集的字典的地标数据点的子集。字典使得能够具有低维嵌入到样本外数据点的自然扩展，这产生了用于异常检测的基于失真的标准。该方法在合成数据集和真实数据集上进行了验证，并在分类、异常检测和样本外任务方面取得了良好的效果。
2016-07-12 cs.LG stat.ML
Supervised Learning for Multi-Block Incomplete Data
INRIA BSO（法国国家信息与自动化研究所波尔多西南分部）；Inserm-U1219 BPH（法国国家健康与医学研究院U1219波尔多人口健康研究所）；INRIA Bordeaux Sud-Ouest-France（法国国家信息与自动化研究所波尔多西南分部）；CNRS (UMR5251)（法国国家科学研究中心（UMR5251））；Vaccine Research Institute（疫苗研究所）
在具有大量变量和少量个体的有监督高维设置中，一个目标是选择相关变量，从而降低维度。子空间选择通常使用监督工具进行管理。然而，一些数据可能丢失，从而损害子空间选择的有效性。我们提出了一种基于偏最小二乘（PLS）的方法，称为多块数据驱动的稀疏PLS mdd-sPLS，允许联合变量选择和子空间估计，同时通过一种新的算法称为Koh-Lanta训练和测试缺失数据填补。通过模拟对现有方法（如平均值插补、nipals、softImpute和imputeMFA）的挑战，对该方法进行了挑战。在高维数据的监督分析的背景下，所提出的方法显示了最低的预测误差的响应变量。到目前为止，这是唯一一种将数据填补和响应变量预测相结合的方法。监督多块mdd-sPLS方法的优越性随着块内和块间相关性的增加而增加。应用于来自rVSV-ZEBOV埃博拉疫苗试验的真实数据集显示了有趣的生物学相关结果。该方法在CRAN上可用的R包和pypi上可用的Python包中实现。
2019-01-14 cs.LG stat.AP stat.ML
Online Categorical Subspace Learning for Sketching Big Data with Misses
随着数据规模的日益增长，降低维度（也称为草图绘制）已经成为最重要的任务。在这方面要解决的相关问题包括可能由分类样本组成的数据量、典型的采集流格式以及可能缺失的条目。为了应对这些挑战，本文开发了一种新的分类子空间学习方法来解开三个突出的分类（双线性）模型，即Probit，Tobit和Logit的潜在结构。确定性Probit和Tobit模型将数据视为位于低维子空间中的模拟值过程的量化值，而概率Logit模型依赖于数据log-似然比的低维性。利用所寻求的模型的低内在维数，秩正则化最大似然估计的设计，然后通过交替优化最小化递归求解草图高维分类数据的飞行。由此产生的过程在绘制新的不完整数据和细化潜在子空间之间交替，导致每次迭代具有高度并行化任务的轻量级一阶算法。作为额外的自由度，量化阈值也与子空间一起学习，以增强所寻找模型的预测能力。子空间迭代的性能进行了分析，为无限和有限的数据流，其中前者渐近收敛到平稳点集的批估计建立，而后者的次线性遗憾界的经验成本。模拟测试与合成和真实世界的数据集证实了新的实时电影推荐和国际象棋比赛分类计划的优点。
2016-09-27 stat.ML
