Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面，最近，在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据，以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能，加上一个简单的插值策略，首先与随机丢失的条目，然后与丢失的样本约束有一个特定的结构（随机丢失的通道），这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后，我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明，对于随机缺失的条目，所有张量完成算法可以恢复丢失的样本，增加分类性能相比，一个简单的插值方法。对于随机丢失通道的情况下，我们表明，张量补全算法有助于重建丢失的通道，显着提高运动想象分类的准确性，但是，不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统，即使当EEG数据受到丢失通道和/或样本的高度影响时，避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Causal Inference with Corrupted Data: Measurement Error, Missing Values, Discretization, and Differential Privacy
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
针对2020年美国人口普查数据损坏导致的隐私与分析精度权衡问题，提出一种高维损坏数据下的因果推断半参数模型，通过数据清洗调整的置信区间和有限样本论证，在保证隐私的同时实现了有效推断。
2024-02-12 cs.LG econ.EM math.ST
Tensor Matched Kronecker-Structured Subspace Detection for Missing Information
我们考虑的问题，检测是否张量信号有许多缺失的实体位于一个给定的低维Kronecker结构（KS）子空间。这是一个匹配子空间检测问题。张量匹配子空间检测问题是更具有挑战性的，因为交织的信号维度。我们通过将信号投影到Kronecker结构子空间上来解决这个问题，Kronecker结构子空间是对应于每个信号维度的不同子空间的Kronecker乘积。在这个框架下，我们定义了KS子空间和信号到KS子空间的正交投影。我们证明了可靠的检测是可能的，只要丢失的信号的基数是大于KS子空间的维度，通过绑定的采样信号的剩余能量与高概率。
2018-10-25 cs.IT eess.SP math.IT
Completing Low-Rank Matrices with Corrupted Samples from Few Coefficients in General Basis
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
从损坏和丢失的数据中恢复子空间对于信号处理和信息论中的各种应用是至关重要的。为了完成缺失值和检测列损坏，现有的鲁棒矩阵完成（MC）方法大多集中于从少量损坏系数w.r.t.标准基础，但不适用于更一般的基础，例如，傅立叶基本文证明了秩为$r$的$m\times n$矩阵的值域空间可以由较少的系数w. r. t精确地恢复。一般的基础上，虽然$r$和损坏的样本的数量都高达$O(\min\{m,n\}/\log^3 (m+n))$。我们的模型涵盖了以前的特殊情况下，和强大的MC可以恢复具有更高的秩的内在矩阵。此外，我们建议一个通用的正则化参数，这是$λ=1/\sqrt{\log n}$的选择。通过我们的$\ell_{2,1}$滤波算法，这是有理论保证的，我们可以进一步减少我们的模型的计算成本。作为应用，我们还发现扩展的鲁棒低秩表示和扩展的鲁棒MC的解是相互可表达的，因此在一定条件下，我们的理论和算法都可以应用于具有缺失值的子空间聚类问题.实验验证了我们的理论。
2016-05-23 cs.IT cs.LG cs.NA
Theoretical Analysis of Sparse Subspace Clustering with Missing Entries
ShanghaiTech University（上海科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏子空间聚类（SSC）是一种流行的无监督机器学习方法，用于聚类靠近低维线性子空间的未知并集的数据;在模式识别和计算机视觉中有许多应用的问题。尽管SSC对于完整数据的行为现在已经很好地理解了，但是当应用于具有缺失条目的数据时，对其理论性质知之甚少。在本文中，我们给出了理论上的保证SSC与不完整的数据，并分析建立，投影的零填充的数据到被表示的点的观察模式导致性能的大幅改善。从我们的分析中得出的主要观点是，即使投影会导致额外的缺失条目，但这被以下事实所抵消，即投影和零填充数据实际上是与相应投影子空间的并集相关联的不完整点，相对于投影子空间，被表达的点是完整的。这一现象的重要性可能延伸到整个自我表达方法的类别。
2018-02-09 cs.LG stat.ML
On Deterministic Conditions for Subspace Clustering under Missing Data
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
在本文中，我们提出了确定性条件下的稀疏子空间聚类（SSC）的成功缺失的数据，当数据被假定为来自一个联盟的子空间（UoS）模型。我们考虑两种算法，这是SSC的变体与条目式零填充，不同的优化问题，用于找到亲和矩阵谱聚类。对于这两种算法，我们提供了确定性的条件，任何模式的缺失数据，这样可以实现完美的聚类。我们提供了大量的模拟结果，聚类以及在缺失条目的数据完成，根据UoS模型。我们的实验结果表明，在对比完整的数据情况下，准确的聚类并不意味着准确的子空间识别和完成，表明这些问题的相对硬度的自然顺序。
2016-07-11 cs.IT cs.LG math.IT
On deterministic conditions for subspace clustering under missing data
在本文中，我们提出了确定性分析的充分条件稀疏子空间聚类缺失的数据，当数据被假定为来自一个联盟的子空间（UoS）模型。在这种情况下，我们考虑两种情况，即情况I时，所有的点都在相同的坐标采样，和情况II时，点在不同的位置采样。我们表明，情况I的结果直接遵循文献中的几个现有的结果，而情况II的结果并不简单，我们提供了一组对偶条件下，完美的聚类成立。我们提供了大量的模拟结果，聚类以及缺失条目下的数据完成，UoS模型。我们的实验结果表明，在对比完整的数据情况下，准确的聚类并不意味着准确的子空间识别和完成，表明这些问题的相对硬度的自然顺序。
2016-04-15 cs.IT math.IT stat.ML
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文在矩阵列属于多个低秩子空间并的假设下，研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集，因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵，其（完全）列位于至多k个子空间的并集中，每个子空间的秩<= r < n，并假设N >> kn。本文的主要结果表明，在温和的假设下，只要X的至少CrNlog^2（n）个元素是随机一致观测的，且C>1是一个常数，取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布，那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明，并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Robust PCA and subspace tracking from incomplete observations using L0-surrogates
数据分析中的许多应用依赖于将数据矩阵分解为低秩和稀疏分量。现有的方法，解决这个任务使用核范数和L1成本函数作为凸松弛的秩约束和稀疏性措施，分别，或采用阈值技术。我们提出了一种方法，允许重建和跟踪一个子空间的上限尺寸不完整和损坏的意见。它不需要有关离群值数量的任何先验信息。我们的算法的核心是一个内在的共轭梯度法的正交投影矩阵，所谓的格拉斯曼。非凸稀疏性措施被用于离群检测，这导致在鲁棒恢复和跟踪低秩矩阵方面的性能提高。特别是，我们的方法可以应付更多的离群值和更高的排名比其他国家的最先进的方法的基础矩阵。
2013-01-17 stat.ML
Recoverability of Joint Distribution from Missing Data
Iowa State University（爱荷华州立大学）
如果数据不是随机缺失（MAR），则概率查询可能无法从被缺失值破坏的观察数据中估计。因此，当数据不是MAR时，原则上确定概率查询是否可从缺失数据估计具有理论意义和实际重要性。我们提出了一种算法，该算法系统地确定联合概率是否可从具有缺失值的观测数据估计，假设数据-生成模型被表示为包含未观察到的潜在变量的贝叶斯网络，该贝叶斯网络不仅编码变量之间的依赖关系，明确描绘了负责失踪过程的机制。这一结果大大推进了现有的工作。
2016-11-15 cs.AI stat.ML
Provable Subspace Tracking from Missing Data and Matrix Completion
Iowa State University（爱荷华州立大学）
我们研究了存在缺失数据（ST-缺失）的子空间跟踪问题。在最近的工作中，我们研究了一个相关的问题，称为强大的ST。在这项工作中，我们表明，一个简单的修改我们的强大的ST解决方案也可证明解决ST未命中和强大的ST未命中。据我们所知，我们的结果是ST未命中的第一个“完全”保证。这意味着我们可以证明，在仅对算法输入的假设下，输出子空间估计始终接近真实的数据子空间。我们的保证在温和且易于解释的假设下成立，并允许底层子空间以分段恒定的方式随时间变化。与此相反，所有现有的保证ST是部分的结果，并假设一个固定的未知子空间。大量的数值实验证明了我们的理论主张。最后，我们的解决方案可以被解释为一个可证明正确的小批量和内存有效的解决方案，低秩矩阵完成（MC）。
2019-05-30 cs.CV cs.LG stat.ML
Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data
University of Glasgow（格拉斯哥大学）；Amazon Research（亚马逊研究院）
我们提出了一种新的概率方法，用于无监督恢复损坏的数据。给定大量退化样本，我们的方法可以恢复干净值的精确后验，从而可以探索可能的重建数据的流形，从而表征潜在的不确定性。在这种情况下，直接应用经典的变分方法往往会产生塌陷的密度，没有充分探索的解决方案空间。相反，我们得到我们的新的减少熵条件近似推理方法，结果在丰富的后验。我们在缺失值和噪声的常见设置下的数据恢复任务中测试了我们的模型，证明了与现有的变分方法相比，不同真实数据集的插补和去噪性能更优越。我们进一步显示了更高的分类准确率，证明了我们的模型将不确定性传播到下游任务的优势。
2020-06-30 cs.LG stat.ML
Streaming PCA and Subspace Tracking: The Missing Data Case
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
对于科学和工程中的许多现代应用，数据是以流式方式收集的，携带时变信息，从业者需要及时地用有限的内存和计算资源来处理它们，以便做出决策。这通常与缺失数据问题相结合，使得仅观察到一小部分数据属性。这些复杂性对流式主成分分析（PCA）和子空间跟踪的问题施加了显著且非常规的约束，这是信号处理和机器学习中的许多推理任务的基本构建块。这篇综述文章回顾了各种经典和最新的算法，用于解决这个问题，具有较低的计算和内存复杂性，特别是那些适用于大数据制度与缺失数据。我们说明，流PCA和子空间跟踪算法可以通过代数和几何的角度来理解，他们需要仔细调整，以处理缺失数据。渐近和非渐近收敛保证进行审查。最后，我们基准的性能存在缺失数据的良好条件和病态系统的几个竞争力的算法。
2018-06-12 cs.IT cs.LG math.IT
Fusion Subspace Clustering: Full and Incomplete Data
Georgia State University（佐治亚州立大学）
现代推理和学习通常取决于识别近似大规模数据的低维结构。子空间聚类通过线性子空间的联合来实现这一点。然而，在当代应用程序中，数据越来越经常是不完整的，使标准（全数据）方法不适用。另一方面，现有的不完全数据方法存在主要缺点，例如提升已经高维的问题，或者需要超多项式数量的样本。基于此，我们引入了一种新的子空间聚类算法的启发融合处罚。其主要思想是将每个数据永久地分配给它自己的子空间，并最小化所有数据的子空间之间的距离，以便将同一簇的子空间融合在一起。我们的方法是全新的，完整和缺失的数据，与其他方法不同，它直接允许噪声，它不需要提升，它允许低，高，甚至满秩数据，它接近最佳（信息理论）采样率，它不依赖于其他方法，如低秩矩阵完成处理缺失的数据。此外，我们在真实数据和合成数据上的大量实验表明，我们的方法在完整数据的情况下可以达到最先进的水平，并且在数据缺失的情况下效果更好。
2018-08-02 cs.LG stat.ML
Robust learning from corrupted EEG with dynamic spatial filtering
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；InteraXon Inc.（InteraXon公司）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
使用在实验室环境之外记录的EEG构建机器学习模型需要对噪声数据和随机丢失通道具有鲁棒性的方法。当使用稀疏EEG导联（1-6个通道）时，这种需求特别大，通常在消费级或移动EEG设备中遇到。无论是经典的机器学习模型，还是在EEG上进行端到端训练的深度神经网络，通常都没有针对损坏的鲁棒性进行设计或测试，特别是针对随机丢失的通道。虽然一些研究已经提出了使用具有丢失通道的数据的策略，但是当使用稀疏导联并且计算能力有限时，这些方法是不实用的（例如，可穿戴设备、手机）。为了解决这个问题，我们提出了动态空间滤波（DSF），这是一个多头注意力模块，可以插入到神经网络的第一层之前，通过学习关注好的通道并忽略坏的通道来处理丢失的EEG通道。我们在公共EEG数据上测试了DSF，这些数据包含约4，000个具有模拟通道损坏的记录，并且在私人数据集上测试了约100个具有自然损坏的移动EEG的家庭记录。我们提出的方法实现了相同的性能基线模型时，没有噪声，但优于基线高达29.4%的准确性时，存在显着的信道腐败。此外，DSF输出是可解释的，从而可以实时监控通道重要性。这种方法有可能使EEG的分析在具有挑战性的设置中，通道腐败阻碍了大脑信号的读取。
2021-05-27 cs.LG eess.SP q-bio.NC
Principal Component Analysis with Contaminated Data: The High Dimensional Case
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technion（以色列理工学院）
我们认为降维问题（找到一个子空间近似的观测数据）污染的数据在高维制度，其中的观测数量是相同的数量级的变量的每个观察，和数据集包含一些（任意）损坏的意见。我们提出了一种高维鲁棒主成分分析（HR-PCA）算法，该算法易于处理，对污染点具有鲁棒性，并且易于核化。所得到的子空间有一个有界的偏离所需的，实现最大的鲁棒性-一个故障点的50%，而所有现有的算法有一个故障点为零，不像普通的PCA算法，达到最优的极限情况下，损坏点的比例为零。
2010-05-13 cs.LG stat.ME stat.ML
Multi-Subspace Matrix Recovery from Permuted Data
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
针对列受置换破坏的多子空间矩阵恢复问题，提出四阶段算法流程，含理论保证，在多个基准上优于现有方法。
2024-12-17 cs.LG stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University（复旦大学）；Texas A&M University（德州农工大学）；Peking University（北京大学）
矩阵完备化是一个现代的缺失数据问题，其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分，现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中，我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵，并进一步通过逆概率加权来完成目标矩阵。由于高维和极端（即，非常小）的真实概率矩阵的性质，需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University（约翰斯·霍普金斯大学）
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而，正则化子的选择可以极大地影响理论和实践。例如，保证$\ell_1$正则化给出子空间保持亲和性（即，在来自不同子空间的点之间没有连接）在广泛的条件下（例如，任意子空间和损坏的数据）。然而，它需要解决一个大规模的凸优化问题。另一方面，$\ell_2$和核范数正则化提供了有效的封闭形式解，但是需要非常强的假设来保证子空间保持亲和性，例如，独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明，该方法是计算效率和保证在广泛的条件下，给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性，并在手写数字和人脸聚类中的应用表明，该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
Establishing strong imputation performance of a denoising autoencoder in a wide range of missing data problems
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
在数据分析中处理缺失数据是不可避免的。虽然存在解决这个问题的强大的插补方法，但仍有很大的改进空间。在这项研究中，我们研究了基于深度自动编码器的单次插补，其动机是深度学习在有效提取有用的数据集特征方面取得了明显的成功。我们已经为训练和估算开发了一个一致的框架。此外，我们根据不同数据大小和特征的最新插补方法对结果进行了基准测试。这项工作不仅限于一种类型的变量数据集;我们还用多种类型的变量估算了缺失数据，例如，二进制、分类和连续属性的组合。为了评估插补方法，我们随机破坏了完整的数据，不同程度的腐败，然后比较插补值和原始值。在所有的实验中，所开发的自动编码器获得了最小的误差为所有范围的初始数据损坏。
2020-04-06 cs.LG stat.ML
Robust conditional GANs under missing or uncertain labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington, Seattle（西雅图华盛顿大学）；Amazon（亚马逊）
在几乎没有监督的情况下匹配条件生成对抗网络的性能是一项重要的任务，特别是在冒险进入新领域时。我们设计了一种新的训练算法，该算法对丢失或模糊标签具有鲁棒性。其主要思想是故意破坏生成的示例的标签，以匹配真实数据的统计数据，并使用已损坏的标签处理真实和生成的示例。我们展示了这种方法的鲁棒性在理论上和经验。我们表明，最大限度地减少拟议的损失相当于最大限度地减少真实和生成的数据之间的真实分歧的乘法因子，并将此乘法因子的特征作为不确定标签的统计量的函数。在MNIST数据集上的实验表明，即使每个类只有几个示例，所提出的体系结构也能够在生成忠实于类的示例方面实现高准确度。
2019-06-09 cs.LG stat.ML
Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations
The University of Electro-Communications（电气通信大学）
本文提出基于CP分解的OLSTEC算法，用于在线跟踪动态变化的低维子空间，通过递归最小二乘法提升收敛速度。
2017-09-29 cs.NA math.NA stat.ML
State estimations and noise identifications with intermittent corrupted observations via Bayesian variational inference
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；Key Laboratory of Mathematics, Informatics and Behavioral Semantics (LMIB), Beihang University（北京航空航天大学数学、信息与行为语义重点实验室（LMIB））
本文提出了一种基于贝叶斯变分推断的变分贝叶斯自适应卡尔曼滤波方法，用于解决分布式传感器网络中间歇性数据丢失、观测损坏和未知噪声协方差的问题，通过双掩码生成模型提升状态估计和参数识别的准确性。
2026-04-03 cs.LG math.OC stat.CO
Learning Transformations for Clustering and Classification
Duke University（杜克大学）
提出了一种用于子空间聚类和分类的低秩变换学习框架。许多高维数据，如人脸图像和运动序列，近似地位于低维子空间的并集中。相应的子空间聚类问题已经在文献中得到了广泛的研究，以将这些高维数据划分为与其底层低维子空间相对应的聚类。然而，低维的内在结构经常被现实世界的观测所破坏，因为它们可能被错误破坏或偏离理想模型。我们建议通过学习子空间上的线性变换，使用矩阵秩，通过其凸代理核范数，作为优化标准来解决这个问题。学习的线性变换恢复来自相同子空间的数据的低秩结构，并且同时强制来自不同子空间的数据的最大分离结构。通过这种方式，我们减少了子空间内的变化，并增加了子空间之间的分离，以实现更鲁棒的子空间聚类。该学习鲁棒子空间聚类框架显著提高了现有子空间聚类方法的性能。这里提出的基本理论结果有助于进一步支持基本框架。为了利用变换后的子空间的低秩结构，我们进一步引入了一种快速子空间聚类技术，该技术有效地结合了鲁棒PCA和稀疏建模。当类标签出现在训练阶段时，我们发现这种低秩变换框架也显著提高了分类性能。使用公共数据集进行的大量实验表明，该方法显着优于最先进的子空间聚类和分类方法。
2014-03-09 cs.CV cs.LG stat.ML
Fusion Subspace Clustering for Incomplete Data
Georgia State University（佐治亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文介绍了{ \em融合子空间聚类}，一种新的方法来学习低维结构，近似大规模但高度不完整的数据。其主要思想是将每个数据分配给自己的子空间，并最小化所有数据的子空间之间的距离，以便同一簇的子空间{ \em fused}在一起。我们的方法允许低，高，甚至满秩的数据，它直接占噪声，其样本复杂性接近信息理论的限制。此外，我们的方法提供了一个自然的模型选择{ \em clusterpath}，和一个直接完成的方法。我们给出了收敛保证，分析了计算复杂性，并通过对真实数据和合成数据的大量实验表明，我们的方法在完整数据的情况下可以达到最先进的水平，并且在数据丢失的情况下效果更好。
2022-05-22 cs.LG stat.ML
Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns
Tongji University（同济大学）
传感器、无线通信、云计算和数据科学的快速发展带来了前所未有的数据量，帮助交通工程师和研究人员做出更好的决策。然而，由于检测器和通信故障，现实中的交通数据往往具有损坏或不完整的值。因此，需要进行数据估算，以确保下游数据驱动应用程序的有效性。为此，许多基于张量的方法处理的插补问题的低秩张量完成（LRTC）已尝试在以前的作品。为了解决秩最小化，这是在LRTC的核心，大多数上述方法利用张量核范数（NN）作为凸代理的最小化。然而，神经网络的过度松弛问题抑制了它在实践中的理想性能。在本文中，我们定义了一个创新的非凸截断Schatten p-范数张量（TSPN）近似张量秩和LRTC框架下的缺失时空交通数据。我们将交通数据建模为三阶张量结构（时间间隔，位置（传感器），天），并根据张量模式n纤维引入四种复杂的缺失模式，包括随机缺失和三种纤维状缺失情况。尽管在我们的模型中的目标函数的非凸性，我们得到的全局最优解，通过集成交替方向的乘法器（ADMM）与广义软阈值（GST）。此外，我们设计了一个截断率衰减策略来处理不同的缺失率的情况下。实验结果表明，LRTC-TSpN方法在各种缺失情况下均表现良好，同时在几乎所有场景下均优于其他SOTA基于张量的插补模型.
2022-05-19 cs.LG stat.ML
Robust High Dimensional Expectation Maximization Algorithm via Trimmed Hard Thresholding
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文研究了高维空间（{ \em，}）中任意污染样本潜变量模型的估计问题$d\gg n$），其中假设基础参数是稀疏的。具体而言，我们提出了一种称为修剪（梯度）期望最大化的方法，该方法分别在期望步骤（E-步骤）和最大化步骤（M-步骤）中添加修剪梯度步骤和硬阈值步骤。我们表明，在一些温和的假设和适当的初始化，该算法是腐败的证明和收敛到（近）最佳统计率几何时，损坏的样本$ε$的分数是有界的$ \tilde{O}(\frac{1}{\sqrt{n}})$。此外，我们将我们的一般框架应用于三个典型模型：混合高斯模型，混合回归模型和缺失协变量的线性回归模型。我们的理论得到了全面的数值结果的支持。
2020-10-19 cs.LG stat.ML
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
A geometric analysis of subspace clustering with outliers
Stanford University（斯坦福大学）
本文考虑了一组未标记的数据点的聚类问题，假设这些数据点位于低维平面的联合附近。正如计算机视觉或无监督学习应用中常见的那样，我们事先不知道有多少个子空间，也不知道它们的维数。我们开发了一种新的几何分析的算法命名为稀疏子空间聚类（SSC）[在IEEE会议计算机视觉和模式识别，2009年。CVPR 2009（2009）2790-2797。IEEE]，这大大拓宽了它被证明有效的问题的范围。例如，我们表明，SSC可以恢复多个子空间，每一个维度可比的环境尺寸。我们还证明了SSC可以正确聚类数据点，即使当感兴趣的子空间相交。此外，我们开发了一个扩展的SSC，成功的数据集被破坏时，可能压倒性的许多离群值。我们的分析是明确的几何见解，这可能会影响其他稀疏恢复问题。数值研究补充了我们的理论分析，并证明了这些方法的有效性。
2013-01-30 cs.IT cs.LG math.IT
Medical data wrangling with sequential variational autoencoders
UC3M（卡洛斯三世大学）
医学数据集通常被噪声和缺失数据破坏。这些丢失的模式通常被认为是完全随机的，但在医疗场景中，实际情况是，由于传感器关闭一段时间或以不均匀的方式收集数据等原因，这些模式以突发方式发生。本文提出了使用顺序变分自编码器（VAE）对具有异构数据类型和突发缺失数据的医疗数据记录进行建模。特别是，我们提出了一种新的方法，Shi-VAE，它扩展了VAE的功能，连续流的数据与丢失的意见。我们将我们的模型与重症监护室数据库（ICU）中最先进的解决方案和被动人体监测数据集进行比较。此外，我们发现，标准误差度量，如RMSE是不够的结论性评估时间模型，并包括在我们的分析之间的互相关地面真理和估算的信号。我们表明，Shi-VAE实现了最好的性能，在使用这两个指标，具有较低的计算复杂性比GP-VAE模型，这是国家的最先进的方法的医疗记录。
2021-11-08 cs.LG stat.ML
Subspace Learning and Imputation for Streaming Big Data Matrices and Tensors
University of Minnesota（明尼苏达大学）
从高维数据中提取潜在的低维结构在“大数据”分析遇到的及时推理任务中至关重要。然而，越来越多的噪声、异构和不完整的数据集以及对流数据的{ \em实时}处理的需求为此提出了主要挑战。在这种情况下，本文件渗透的好处，从秩最小化可扩展填补缺失数据，通过跟踪低维子空间和解开潜在的（可能是多路）结构从\emph{incomplete streaming}数据。对于低秩矩阵数据，提出了一种基于核范数正则化的指数加权最小二乘准则的子空间估计器。在将不可分离的核范数转换成适合在线优化的形式后，开发了具有互补优势的实时算法，并在简化的技术假设下建立了它们的收敛性。在一个固定的设置，得到的渐近估计提供了有据可查的性能保证的{ \em批}核范数正则化估计。在相同的统一框架下，开发了一种新的在线（自适应）算法，以获得多路分解的\emph{low-rank tensors}与丢失的条目，并执行插补作为副产品。模拟测试与合成以及真实的互联网和心脏磁共振成像（MRI）数据证实了所提出的算法的有效性，其优越的性能相对于国家的最先进的替代品。
2014-04-17 cs.IT cs.LG math.IT
Inference for Heteroskedastic PCA with Missing Data
Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
针对高维 PCA 中缺失数据与异方差噪声导致的不确定性量化难题，论文基于 HeteroPCA 建立非渐近分布保证，提出数据驱动的主子空间置信区域和尖峰协方差矩阵逐元素置信区间方法。
2024-02-28 cs.IT cs.LG math.IT
Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
本文在存在（1）随机噪声、（2）稀疏粗离群值和（3）缺失数据的情况下，为低秩矩阵估计的凸规划方法提供了改进的理论保证。这个问题，通常被称为鲁棒主成分分析（鲁棒PCA），发现在各个领域的应用。尽管凸松弛的广泛适用性，可用的统计支持（特别是相对于随机噪声的稳定性分析）仍然是高度次优的，我们在本文中加强。当未知矩阵是良好的条件下，不连贯的，和恒定的秩，我们证明了一个原则性的凸计划达到接近最佳的统计精度，在欧几里得损失和$\ell_{\infty}$损失。所有这一切都发生在几乎恒定比例的观测值被任意大小的离群值破坏的情况下。其关键的分析思想在于将所使用的凸规划与一个辅助的非凸优化算法连接起来，这也是本文的题目。
2021-02-28 cs.IT cs.LG eess.SP
High-dimensional logistic regression with missing data: Imputation, regularization, and universality
University of Cambridge（剑桥大学）；Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文研究含缺失或噪声协变量的高维ridge逻辑回归，精确刻画预测与估计误差并证明普适性，比较多种插补策略与Bayes最优性能。
2024-10-01 cs.LG math.ST stat.ML
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University（康奈尔大学）
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时，数据的内在维数是低的环境维。具体来说，我们假设矩阵的列是由作用于低维内在变量的多项式生成的，并希望在此假设下恢复丢失的条目。证明了在高维特征空间中，通过最小化矩阵的秩，可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题，使用核技巧与一个新的放松的秩目标，并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究，验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
Online Data Thinning via Multi-Subspace Tracking
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在一个无处不在的大规模流数据时代，数据的可用性远远超过了专家人类分析师的能力。在许多情况下，这些数据要么被丢弃，要么未经处理地存储在数据中心。本文提出了一种在线数据细化的方法，在该方法中，大规模的流数据集被筛选，以保留独特的，异常的，或显着的元素，以便及时的专家分析。该方法的核心是基于动态低秩高斯混合模型的在线异常检测方法。具体地，与高斯分量相关联的高维协方差矩阵与低秩模型相关联。根据这个模型，大多数观测位于子空间的并集附近。低秩建模减轻了与高维数据的异常检测相关的维数灾难，子空间聚类和子空间跟踪的最新进展允许所提出的方法适应动态环境。此外，该方法允许二次采样，对缺失数据具有鲁棒性，并使用小批量在线优化方法。由此产生的算法是可扩展的，高效的，并且能够实时操作。广域运动图像和电子邮件数据库上的实验说明了所提出的方法的有效性。
2016-09-12 cs.LG stat.ML
Changepoint detection for high-dimensional time series with missing data
Duke University（杜克大学）
本文提出了一种新的方法来检测变点时，观察高维数据可能有丢失的元素。经典的变点检测方法的性能通常与数据的维数成比例，因此在真正的变点之后收集大量的观测值，然后才能可靠地检测到。此外，观察到的数据中缺少的成分阻碍了传统的方法。所提出的方法通过将数据的动态分布建模为接近嵌入在环境观测空间内的时变低维子流形来解决这些挑战。具体而言，流数据用于跟踪子流形近似，测量与该近似的偏差，并计算偏差的一系列统计数据，以检测底层流形何时以急剧或意外的方式改变。本文所述的方法利用了高维数据分析领域的几个最新成果，包括缺失数据的子空间跟踪、点云的多尺度分析技术、在线优化和变点检测性能分析。仿真和实验突出了所提出的方法在检测突变，否则缓慢变化的低维流形的鲁棒性和有效性。
2012-12-07 cs.LG stat.ML
Robust Subspace Clustering via Thresholding
ETH Zurich（苏黎世联邦理工学院）
考虑了将噪声和不完全观测的高维数据点聚类到低维子空间和一组离群点的联合中的问题。假设子空间的数量、维度和方向是未知的。我们提出了一个简单的低复杂度的子空间聚类算法，该算法将谱聚类应用于通过对数据点之间的相关性进行阈值化而获得的邻接矩阵。换句话说，邻接矩阵是从每个数据点在球面距离上的最近邻居构造的。统计性能分析表明，该算法具有鲁棒性加性噪声，即使在子空间相交。具体来说，我们的研究结果揭示了一个明确的折衷之间的亲和力的子空间和可容忍的噪声水平。我们还证明了该算法的成功，即使当数据点不完全观察到的缺失条目的数量允许是（最多一个对数因子）在环境维度的线性。我们还提出了一个简单的方案，可证明检测离群值，我们提出了真实和合成数据的数值结果。
2015-08-21 cs.IT cs.LG math.IT
Online Supervised Subspace Tracking
Georgia Institute of Technology（佐治亚理工学院）
当存在两个时间序列$x_t$和$y_t$，一个是高维预测变量，另一个是响应变量，子空间跟踪需要同时考虑这两个序列时，我们提出了一个监督子空间跟踪的框架.它扩展了经典的在线子空间跟踪工作，可以看作是跟踪的$x_t$。我们的在线充分降维（OSDR）是一个元算法，可以应用于各种情况下，包括线性回归，逻辑回归，多元线性回归，多项逻辑回归，支持向量机，随机点积模型和多尺度union-of-subspace模型。OSDR以较低的计算复杂性实时地降低数据维数，并能处理丢失数据和动态数据。OSDR使用交替最小化方案，并通过格拉斯曼流形上的梯度下降更新子空间。可以利用在许多设置中相对于子空间的格拉斯曼梯度是秩一（或在某些情况下是低秩）的事实来有效地执行子空间更新。OSDR的优化问题是非凸的，一般难以分析，我们提供了一个简单的线性回归设置的OSDR的收敛性分析。通过仿真和实际数据的数值例子，OSDR的良好性能相比，传统的无监督子空间跟踪。
2015-09-01 cs.LG math.ST stat.ML
Truncated Cauchy Non-negative Matrix Factorization
National University of Defense Technology（国防科技大学）；University of Sydney（悉尼大学）；Google（谷歌）
非负矩阵分解（NMF）最小化数据矩阵与其低秩近似之间的欧氏距离，并且当应用于损坏的数据时失败，因为损失函数对离群值敏感。在本文中，我们提出了一种截断CauchyNMF损失，通过截断大误差来处理离群值，并开发了一种截断CauchyNMF来鲁棒地学习被离群值污染的噪声数据集上的子空间。我们从理论上分析了截断CauchyNMF与竞争模型的鲁棒性，并证明了截断CauchyNMF具有以$O(\sqrt{{\ln n}/{n}})$阶速度收敛的推广界，其中$n$是样本量.我们通过模拟和真实数据集上的图像聚类来评估截断CauchyNMF。在含有严重损坏数据集上的实验结果验证了截断CauchyNMF学习鲁棒子空间的有效性和鲁棒性。
2019-06-02 cs.CV cs.LG stat.ML
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解（Nonnegative Matrix Factorization，NMF）是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积，将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中，数据经常被大的加性噪声部分破坏。当噪声的位置已知时，可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而，在许多现实世界的应用中，这些位置通常是未知的，这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解（RobustNMF）算法，该算法将部分腐败明确地建模为大的加性噪声，而不需要噪声的位置信息。在实践中，可以使用大的加性噪声来对离群值进行建模。特别是，所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
