Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Nearly-Linear Time and Streaming Algorithms for Outlier-Robust PCA
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
针对标准PCA易受离群点干扰、现有鲁棒PCA算法存在时间复杂度高或误差保证次优的问题，提出兼具近最优误差保证的近线性时间鲁棒PCA算法，以及内存与维度近线性相关的单遍流算法。
2023-05-04 cs.DS cs.LG math.ST
Streaming Probabilistic Deep Tensor Factorization
University of Utah（犹他大学）；Kwai Inc.（快手）
尽管现有的张量因式分解方法取得了成功，但它们中的大多数进行多线性分解，很少利用强大的建模框架，如深度神经网络，来捕获数据中的各种复杂交互。更重要的是，对于高表达性的深度因子分解，我们缺乏有效的方法来处理流数据，这在现实世界的应用中无处不在。为了解决这些问题，我们提出了SPIDER，流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络（NN）构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验，以鼓励稀疏性并防止过拟合。然后，我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据，在此基础上，我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新，同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
Live Multi-Streaming and Donation Recommendations via Coupled Donation-Response Tensor Factorization
National Chiao Tung Univ.（国立交通大学）；Inst. of Information Science, Academia Sinica, Taiwan（中央研究院资讯科学研究所）；The Pennsylvania State Univ.（宾夕法尼亚州立大学）
与传统的在线视频相比，直播多流媒体支持多个主播和观众之间的实时社交互动，例如捐赠。然而，捐赠和多流媒体频道推荐是具有挑战性的，由于复杂的流媒体和观众的关系，不对称的通信，以及个人兴趣和群体互动之间的权衡。在本文中，我们引入多流党（MSP），并制定了一个新的多流推荐问题，称为捐赠和MSP推荐（DAMRec）。我们提出了多流党推荐系统（MARS）通过社会时间耦合捐赠-响应张量因子分解捐赠和MSP建议提取潜在的功能。在Twitch和斗鱼上的实验结果表明，MARS在命中率和平均精度方面明显优于现有的搜索引擎至少38.8%。
2021-10-05 cs.IR cs.LG
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Cornell University（康奈尔大学）
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术，通过观察足够大的特征空间中的矩阵图像是低秩的，来学习这些非线性结构，用于去噪、分类、字典学习和缺失数据填补。然而，这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中，我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解（RNLMF）。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性，并可扩展到具有数千行和列的矩阵。根据经验，RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Bayesian Robust Tensor Factorization for Incomplete Multiway Data
RIKEN Brain Science Institute（理化学研究所脑科学研究所）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一个生成模型的鲁棒张量分解的缺失数据和离群值的存在。目标是明确地推断捕获全局信息的底层低CP秩张量和捕获局部信息的稀疏张量（也被认为是离群值），从而提供对缺失条目的鲁棒预测分布。低CP秩张量由多个潜在因子之间的多线性相互作用建模，其中列稀疏性由分层先验强制执行，而稀疏张量由Student- $t$分布的分层视图建模，该分层视图独立地将单个超参数与每个元素相关联。对于模型学习，我们在完全贝叶斯处理下开发了一种有效的封闭形式变分推理，它可以有效地防止过拟合问题，并随数据大小线性扩展。与现有的相关工作相比，我们的方法可以自动和隐式地进行模型选择，而不需要调整参数。更具体地说，它可以发现CP秩的基础真值，并自动适应各种类型的离群值的稀疏性诱导先验。此外，低秩近似和稀疏表示之间的折衷可以在最大模型证据的意义上进行优化。在合成数据集和真实数据集上与许多最先进的算法进行了广泛的实验和比较，从多个角度证明了我们的方法的优越性。
2015-04-16 cs.CV cs.LG
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解（Nonnegative Matrix Factorization，NMF）是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积，将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中，数据经常被大的加性噪声部分破坏。当噪声的位置已知时，可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而，在许多现实世界的应用中，这些位置通常是未知的，这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解（RobustNMF）算法，该算法将部分腐败明确地建模为大的加性噪声，而不需要噪声的位置信息。在实践中，可以使用大的加性噪声来对离群值进行建模。特别是，所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Biclustering and Boolean Matrix Factorization in Data Streams
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Vienna（维也纳大学）；Brown University（布朗大学）；University of Eastern Finland（东芬兰大学）
我们研究了数据流中二部图的聚类和布尔矩阵分解。我们考虑一个流设置，其中从图的左侧的顶点到达一个接一个连同其所有的入射边。我们提供了一个算法，经过一次流后，使用次线性空间恢复图右侧的聚类集;据我们所知，这是第一个具有此属性的算法。我们还表明，经过第二次通过流，左集群的二分图可以恢复，我们展示了如何扩展我们的算法来解决布尔矩阵分解问题（通过利用布尔矩阵和二分图的对应关系）。我们评估的算法在合成数据和现实世界的数据的实现。在真实世界的数据集上，该算法比静态基线算法快几个数量级，同时提供基线算法的2倍内的质量结果。我们的算法在图中的边的数量线性缩放。最后，我们从理论上分析了该算法，并提供了充分条件下，该算法恢复一组种植集群在一个标准的随机图模型。
2020-12-05 cs.AI cs.DS cs.LG
Improved Accuracy for Private Continual Cardinality Estimation in Fully Dynamic Streams via Matrix Factorization
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Department of Computer Science, Boston University（波士顿大学计算机科学系）
本文通过矩阵分解改进了全动态流中私有连续基数估计的精度，提升了计数不同元素、度直方图和三角计数的误差界。
2026-01-05 cs.CR cs.DS cs.LG
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS（图卢兹大学 IRIT 研究所、法国国家科学研究中心）
我们介绍负二项矩阵分解（NBMF），矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解（PF）扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度，使NBMF对离群值更加鲁棒。我们表明，NBMF允许跳过传统的预处理阶段，如二值化，这会导致信息丢失。两种估计方法：最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型，并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Streaming Coresets for Symmetric Tensor Factorization
IIT Gandhinagar（印度理工学院甘地纳格尔分校）
分解张量最近已经成为许多机器学习管道中的重要优化模块，特别是在潜变量模型中。我们展示了如何在流媒体设置中有效地做到这一点。给定一组$n$向量，每个在$\mathbb{R}^d$，我们提出的算法来选择一个次线性数量的这些向量作为coreset，同时保证CP分解的$p$矩张量的coreset近似相应的分解的$p$矩张量计算的完整的数据。我们介绍了两种新的算法技术：在线过滤和核化。使用这两个，我们提出了六个算法，实现不同的权衡coreset大小，更新时间和工作空间，击败或匹配各种最先进的算法。在矩阵（$2$有序张量）的情况下，我们的在线行采样算法保证了$(1 \pm ε)$相对误差谱近似。我们展示了我们的算法在学习单主题建模中的应用。
2020-07-13 cs.DS cs.LG stat.ML
SSMF: Shifting Seasonal Matrix Factorization
SANKEN Osaka University（大阪大学）；National University of Singapore（新加坡国立大学）
既然出发地和目的地之间的出租车数量信息，我们如何预测他们未来的需求？一般来说，给定一个具有季节性模式的事件数据流，随着时间的推移，我们如何有效地预测未来的事件？在本文中，我们提出了移位季节矩阵分解方法，即SSMF，可以自适应地学习多个季节模式（称为政权），以及它们之间的切换。我们提出的方法具有以下特性：（a）随着数据流的演变，它通过检测季节模式中的状态变化来准确地预测未来事件;（b）它在在线设置中工作，即，在恒定的时间和存储器中处理每个观察结果;（c）通过使用无损数据压缩方案，它有效地实现了状态转换而无需人为干预。我们证明，我们的算法优于国家的最先进的基线方法，准确地预测即将发生的事件在三个现实世界的数据流。
2021-10-25 cs.AI cs.LG
Adaptive Weighted Nonnegative Matrix Factorization for Robust Feature Representation
Northeastern University（东北大学）；Stevens Institute of Technology（史蒂文斯理工学院）
非负矩阵分解（NMF）在机器学习中被广泛应用于降维。然而，传统的NMF没有正确处理离群值，因此它对噪声很敏感。为了提高NMF算法的鲁棒性，提出了一种自适应加权NMF算法，通过引入权值来强调每个数据点的不同重要性，从而降低了算法对噪声数据的敏感性。它与现有的使用缓慢增长相似性度量的稳健NMF非常不同。具体地说，提出了两种策略：模糊加权技术和熵加权正则化技术，这两种技术都导致一个简单的形式的迭代解。实验结果表明，新方法在多个含有噪声的真实数据集上具有更好的鲁棒性。
2022-06-07 cs.LG
A Unified Matrix Factorization Framework for Classical and Robust Clustering
IIIT Delhi（德里因陀罗信息技术学院）
本文提出统一矩阵分解框架，将硬k均值和模糊c均值聚类统一表述，并用l1,2范数替代Frobenius范数构建鲁棒变体，开发交替最小化和IRLS算法，证明收敛到局部最小值。
2025-10-24 cs.LG
Outlier Detection for Text Data : An Extended Version
Oak Ridge National Laboratory（橡树岭国家实验室）；Korea University of Technology and Education（韩国技术教育大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Georgia Institute of Technology（佐治亚理工学院）
离群点检测问题在文本等许多领域都是极具挑战性的，其中属性值通常为非负，并且大多数值为零。在这种情况下，通常很难将异常值与基础数据中模式的自然变化分开。本文提出了一种矩阵分解方法，它利用底层数据的低秩近似，自然地能够区分异常。我们的迭代算法TONMF是基于块坐标下降（BCD）框架。我们在术语文档矩阵上定义块，使得函数变得可解。给定其他矩阵块的最新更新值，我们总是一次更新一个块到其最优值。与传统的文本离群点检测方法相比，我们的方法具有显着的优势。最后，我们提出的实验结果说明我们的方法的有效性竞争的方法。
2017-01-05 cs.IR cs.LG stat.ML
Sequential Randomized Matrix Factorization for Gaussian Processes: Efficient Predictions and Hyper-parameter Optimization
United Technologies Research Center（联合技术研究中心）
本文提出了一种序列随机低秩矩阵分解方法，使用高斯过程框架增量预测未知函数在测试点处的值。众所周知，在高斯过程框架中，计算瓶颈是（正则化）核矩阵的求逆和定义核的超参数的计算。本文的主要贡献是双重的。首先，我们形式化了一种在流媒体场景中使用随机矩阵分解算法计算核矩阵逆的方法，即，数据是随着时间递增地生成的。所提出的方法的准确性和计算效率的指标进行比较，对一个批处理方法的基础上使用的随机矩阵分解和现有的流方法的基础上近似高斯过程的一组有限的基向量。其次，我们扩展的顺序因式分解方法的一类核函数的超参数可以有效地优化。所有结果都在两个公开的数据集上得到了证明。
2017-11-19 cs.LG stat.ML
Successive Projection Algorithm Robust to Outliers
逐次投影算法是一种快速的可分非负矩阵分解算法。给定非负数据矩阵$X$，SPA标识索引集$\mathcal{K}$，使得存在具有$X \approx X(:,\mathcal{K})H$的非负矩阵$H$。SPA已被成功地用作纯像素搜索算法在高光谱解混和锚词选择在文档分类。此外，SPA在低噪声环境中具有可证明的鲁棒性。集对分析的主要缺点是对异常值不具有鲁棒性，在$\mathcal{K}$中选择指标时没有考虑数据拟合项。在本文中，我们提出了一个新的SPA的变种，被称为强大的SPA（RSPA），这是强大的离群值，同时仍然是可证明的强大的低噪声设置，并考虑到重建误差选择的指数在$\mathcal{K}$。我们说明了合成数据集和高光谱图像上的RSPA的有效性。
2019-08-12 cs.LG cs.NA eess.IV
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles（加州大学洛杉矶分校）
在线非负矩阵分解（ONMF）是一种在线环境中的矩阵分解技术，其中数据以流式方式获取，并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中，我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
Online Forecasting Matrix Factorization
本文研究了高维时间序列的预测问题。这样的时间序列可以被建模为矩阵，其中每列表示测量。此外，当存在缺失值时，低秩矩阵分解方法适用于预测未来值。本文正式定义并分析了在线环境中的预测问题，即数据作为流到达并且只允许单次通过。我们提出并分析了新的矩阵分解技术，可以有效地学习低维嵌入在线的方式。基于这些嵌入的递归最小均方误差估计器，它学习的自回归模型，他们。两个真实数据集的实验与数千万的测量显示所提出的方法的好处。
2017-12-23 cs.LG
GAMMA_FLOW: Guided Analysis of Multi-label spectra by MAtrix Factorization for Lightweight Operational Workflows
Application Lab for AI and Big Data（人工智能与大数据应用实验室）
该研究提出开源Python包GAMMA_FLOW，通过监督式非负矩阵分解（NMF）实现光谱数据实时分析，分类准确率超90%，适用于多种一维光谱，为科研和工业提供轻量高效的替代方案。
2025-11-12 cs.LG physics.data-an
Online matrix factorization for Markovian data and applications to Network Dictionary Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在线矩阵分解（OMF）是字典学习问题的基本工具，它通过减少提取特征的数量来近似表示复杂数据集。在文献中，大多数OMF算法的收敛保证假设数据矩阵之间的独立性，并且依赖数据流的情况在很大程度上仍未被探索。在本文中，我们证明了一个非凸推广的著名的OMF算法的i.i.d. \citep{mairal2010online}中的数据流几乎必然收敛到期望损失函数的临界点集，即使数据矩阵是满足温和混合条件的某个底层马尔可夫链的函数。这使得人们可以更有效地从相关数据流中提取特征，因为不需要对数据序列进行二次采样来近似满足独立性假设。作为主要的应用，通过结合在线非负矩阵分解和最近的MCMC算法从网络中采样图案，我们提出了一种新的网络字典学习框架，它以在线方式从给定的网络中提取“网络字典补丁”，对网络的主要特征进行编码。我们展示了这种技术及其在真实网络数据上的网络去噪问题中的应用。
2020-11-07 cs.DS cs.LG math.OC
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University（哈佛大学）；George Washington University（乔治华盛顿大学）
本文提出基于旋转的更新机制，在再生核希尔伯特空间中向新样本旋转子空间估计，结合鲁棒影响函数抑制异常值，实现流式数据上核PCA的动态跟踪，实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Robust CUR Decomposition: Theory and Imaging Applications
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文考虑使用鲁棒PCA的CUR分解框架及其应用。我们的主要算法产生一个强大的版本的列-行分解矩阵$\mathbf{D}=\mathbf{L}+\mathbf{S}$，其中$\mathbf{L}$是低秩和$\mathbf{S}$包含稀疏离群值。这些方法以低计算成本产生可解释的因子分解，并提供新的CUR分解，与以前的方法相比，对稀疏离群值具有鲁棒性。我们考虑鲁棒PCA的两个关键成像应用：视频前景-背景分离和人脸建模。本文研究了我们的鲁棒CUR分解在基准视频和人脸数据集上的定性行为，发现我们的方法与标准的鲁棒PCA一样有效，同时速度明显更快。此外，我们考虑混合随机和确定性采样方法，产生一个紧凑的CUR分解一个给定的矩阵，并将其应用到视频序列，以产生规范的帧。
2021-08-05 cs.CV cs.LG eess.IV
Robust Matrix Factorization with Grouping Effect
Baidu Research, Baidu Inc.（百度公司百度研究院）；Columbia University（哥伦比亚大学）
虽然许多技术已被应用于矩阵分解（MF），他们可能没有充分利用的特征结构。在本文中，我们将分组效应纳入MF，提出了一种新的方法，称为鲁棒矩阵分解与分组效应（GRMF）。分组效应是稀疏效应的推广，它通过围绕多个中心而不是仅围绕0聚类相似值来进行去噪。与现有算法相比，该算法无需先验知识，通过引入一种自然可调的非凸正则化，实现稀疏性和分组性的同时学习，从而自动学习MF中的分组结构和稀疏性。具体来说，GRMF使用一个高效的交替最小化框架来执行MF，其中原始的非凸问题首先通过凸差分（DC）规划转换为凸问题，然后通过交替方向乘法（ADMM）求解。此外，GRMF可以很容易地扩展到非负矩阵分解（NMF）设置。大量的实验已经进行了使用真实世界的数据集与离群值和污染的噪声，实验结果表明，GRMF提高了性能和鲁棒性相比，五个基准算法。
2021-07-08 cs.LG stat.ME stat.ML
Large-Scale Subspace Clustering via k-Factorization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
子空间聚类（SC）的目标是对低维子空间的并集中的数据进行聚类。通常，SC学习亲和矩阵，然后执行谱聚类。这两个步骤都具有很高的时间和空间复杂度，这导致难以对大型数据集进行聚类。本文提出了一种大规模子空间聚类的方法，称为k-因子子空间聚类（k-FSC）。K-FSC通过在矩阵分解模型中追求结构稀疏性，直接将数据分解为k组。因此，k-FSC避免了学习亲和矩阵和执行特征值分解，并且在大数据集上具有低（线性）时间和空间复杂度。本文从理论上证明了k-FSC模型的有效性。提出了一种保证收敛性的k-FSC优化算法。此外，k-FSC能够处理稀疏噪声、离群值和缺失数据，这些在实际应用中普遍存在。本文还为k-FSC提供了在线扩展和样本外扩展，以处理流数据和聚类任意大的数据集。在大规模真实数据集上的大量实验表明，k-FSC及其扩展优于最先进的子空间聚类方法。
2021-05-30 cs.AI cs.LG
Simplex-Structured Matrix Factorization: Sparsity-based Identifiability and Provably Correct Algorithms
Department of Mathematics and Operational Research（数学与运筹学系）；Faculté Polytechnique, Université de Mons（蒙斯大学理工学院）
在本文中，我们提供了新的算法与可识别性保证单纯形结构矩阵分解（SSMF），推广的非负矩阵分解。为SSMF提供可识别性结果的当前最先进的算法依赖于充分分散条件（SSC），其要求数据点在基向量的凸包内良好地分散。在大多数情况下，我们提出的算法恢复唯一分解的条件比SSC弱得多。我们只需要在维数为$d-1$的基向量的凸包的每个面上具有$d$点。关键思想是基于提取包含最大数量的点的小平面。我们说明了我们的方法对合成数据集和高光谱图像的有效性，表明它优于最先进的SSMF算法，因为它能够处理更高的噪声水平，秩亏矩阵，离群值和输入数据，高度违反SSC。
2020-07-22 cs.LG eess.IV eess.SP
Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering
Qingdao University（青岛大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
本文提出了一种新的二维数据的半非负矩阵分解方法TS-NMF。它克服了现有方法在预处理步骤中通过将二维数据转换为矢量来严重破坏数据的空间信息的缺点。特别地，在构建新的数据表示的指导下寻求投影矩阵，使得空间信息被保留并且投影通过聚类的目标被增强，这有助于构造最优投影方向。此外，为了利用数据的非线性结构，在投影子空间中构造流形，该流形根据投影自适应地更新，并且较少受数据的噪声和异常值的影响，因此在投影空间中更具代表性。因此，寻求投影，构建新的数据表示和学习流形无缝集成在一个模型中，相互增强，并导致强大的数据表示。综合的实验结果验证了TS-NMF的有效性与几个国家的最先进的算法相比，这表明所提出的方法在现实世界中的应用潜力很大。
2020-05-19 cs.LG stat.ML
Supervised Quantile Normalization for Low-rank Matrix Approximation
Google Research, Brain Team（谷歌研究院脑团队）；New York University（纽约大学）
低秩矩阵分解是机器学习中的基本构建块，例如用于总结基因表达谱数据或单词文档计数。为了对离群值和特征之间的尺度差异具有鲁棒性，矩阵因子分解步骤通常在ad-hoc特征归一化步骤之前，例如\texttt{tf-idf}缩放或数据白化。我们建议在这项工作中学习这些归一化运算符与因子分解本身。更确切地说，给定$n$个体上测量的$d$特征的$d\times n$矩阵$X$，我们建议学习分位数归一化算子的参数，该分位数归一化算子可以对$X$和/或其因子分解$UV$的值进行逐行操作，以提高$X$本身的低秩表示的质量。通过引入使用最优传输构建的新的可微分位数归一化算子来促进这种优化，从而在现有工作的基础上提供新的结果（Cuturi et al. 2019）。我们证明了这些技术在合成和基因组学数据集上的适用性。
2020-07-03 cs.LG stat.ML
Subsampled online matrix factorization with convergence guarantees
Inria（法国国家信息与自动化研究所）
我们提出了一种矩阵分解算法，该算法可以扩展到两个维度都很大的输入矩阵（即，包含超过1TB的数据）。该算法在对矩阵列进行二次采样的同时对矩阵列进行流处理，从而降低了每次迭代的复杂度，并节省了合理的内存。与以前的在线矩阵分解方法相比，我们的方法依赖于过去迭代的低维统计数据来控制由子采样引入的额外方差。我们提出了一个收敛性分析，保证我们达到一个固定点的问题。与以前的在线算法相比，可以获得大的速度提升，这要归功于高维设置中经常存在的特征冗余。
2016-11-30 cs.LG math.OC stat.ML
Time-Series Analysis via Low-Rank Matrix Factorization Applied to Infant-Sleep Data
Technische Universität Berlin（柏林工业大学）
基于低秩矩阵分解，提出了一种非参数缺失数据时间序列模型。该模型将一组时间序列中的每个实例表示为少量共享基函数的线性组合。约束的功能和相应的系数是非负的产生一个可解释的低维表示的数据。时间平滑正则化项确保模型捕捉数据中有意义的趋势，而不是过度拟合短期波动。低维表示使得可以根据模型提取的可解释特征检测离群值并对时间序列进行聚类，并且还可以通过核回归进行预测。我们将我们的方法应用于看护者通过手机应用程序收集的婴儿睡眠数据的大型真实数据集。我们的分析自动提取与现有文献一致的日常睡眠模式。这使我们能够计算队列的睡眠发展趋势，其特征是昼夜睡眠和不同午睡习惯的出现。我们应用我们的方法来检测异常个体，将队列聚类为具有不同睡眠倾向的组，并获得对未来睡眠行为的更好预测。
2019-11-06 cs.LG stat.ML
Stochastic Subsampling for Factorizing Huge Matrices
我们提出了一个矩阵分解算法，缩放到输入矩阵的行数和列数都很大。学习的因素可能是稀疏或密集和/或非负的，这使得我们的算法适合字典学习，稀疏分量分析和非负矩阵分解。我们的算法流矩阵列，同时对它们进行二次采样，以迭代地学习矩阵因子。在每次迭代中，通过二次采样减少新样本的行维度，从而与简单的流式算法相比具有更低的时间复杂度。我们的方法具有收敛保证，以达到矩阵分解问题的稳定点。我们证明了它的效率，大量的功能磁共振成像数据（2 TB），并从高光谱图像（103 GB）提取的补丁。对于这两个问题，其中涉及不同的处罚行和列，我们获得显着的速度相比，国家的最先进的算法。
2017-10-30 cs.LG math.OC q-bio.NC
TensorAnalyzer: Identification of Urban Patterns in Big Cities using Non-Negative Tensor Factorization
ICMC-USP（圣保罗大学数学与计算机科学研究所）；NEV-USP（圣保罗大学暴力研究中心）
使用经典的聚类算法从多个数据源中提取相关的城市模式可能很困难，因为我们必须对算法的超参数进行适当的设置并处理离群值。为了帮助城市规划者在决策过程中更好地进行决策，大城市的进一步发展必须正确对待这一问题。例如，专家们对犯罪学的主要兴趣是理解犯罪与特定地理参照地点的社会经济特征之间的关系。此外，经典的聚类算法很少注意到地理参考数据源中复杂的空间相关性。本文提出了一种新的方法来检测最相关的城市模式，从多个数据源的基础上张量分解。通过与经典方法的比较，验证了所提出方法的性能，从而验证了所识别模式的质量。结果表明，该方法可以有效地识别功能模式，以表征数据集的进一步分析，在实现良好的聚类质量。此外，我们开发了一个通用的框架，名为TensorAnalyzer，其中所提出的方法的有效性和实用性进行了测试，通过一组实验和现实世界的案例研究，显示周围的学校和学生的表现和其他变量的分析中涉及的犯罪事件之间的关系。
2022-10-06 cs.AI cs.LG
Gaussian Compression Stream: Principle and Preliminary Results
Univ. Littoral Côte d’Opale（滨海奥帕尔海岸大学）
随机预测成为处理大数据的流行工具。特别是，当应用于非负矩阵分解（NMF）时，结构化随机投影比基于高斯压缩的经典策略更有效。然而，它们仍然昂贵，并且可能无法从最近的快速随机投影技术中完全受益。因此，在本文中，我们研究了一种替代结构化的ran-om投影命名为高斯压缩流，它（i）是基于高斯压缩，（ii）可以受益于上述快速技术，（iii）被证明是非常适合NMF。
2020-11-12 cs.IT cs.LG eess.SP
Robust Manifold Nonnegative Tucker Factorization for Tensor Data Representation
Northwestern Polytechnical University（西北工业大学）
非负Tucker因子分解（NTF）最小化原始数据与其低秩近似之间的欧氏距离或Kullback-Leibler散度，而这种低秩近似经常遭受严重的破坏或离群值，并且忽略了数据的流形结构。特别是，NTF遭受旋转模糊性，其解决方案与旋转变换和不旋转变换是同样的意义上产生的最大似然。在本文中，我们提出了三个鲁棒流形NTF算法处理离群值，结合结构知识的离群值。他们首先应用半二次优化算法将问题转化为一般的加权NTF，其中权重受离群值的影响。然后，我们引入了相关熵诱导度量，Huber函数和Cauchy函数的权重，分别处理野值。最后，我们引入了流形正则化来克服NTF的旋转模糊性。我们已经比较了所提出的方法与一些代表性的参考文献，涵盖了各种现实世界的图像数据库上的NTF的主要分支。实验结果表明，该方法的有效性下的两个评价指标（准确性和nmi）。
2022-11-08 cs.AI cs.LG
Factorbird - a Parameter Server Approach to Distributed Matrix Factorization
Technische Universität Berlin（柏林工业大学）；Twitter（推特）；Stanford University（斯坦福大学）
我们提出Factorbird，一个原型的参数服务器的方法因式分解大矩阵与随机梯度下降为基础的算法。我们设计Factorbird以满足以下需求：（a）可扩展到具有数十亿个非零值的高宽矩阵，（b）可扩展到不同类型的模型和损失函数，只要它们可以使用随机梯度下降（SGD）进行优化，以及（c）适应批量和流式场景。Factorbird使用参数服务器，以便扩展到超过单个机器内存的模型，并采用无锁Hogwild！使用特殊的分区方案进行风格学习，以大幅减少冲突更新。我们还讨论了我们的系统设计的其他方面，如如何有效地网格搜索超参数的规模。我们目前的实验Factorbird从Twitter的交互图的子集，由超过38亿非零和约2亿行和列，这是我们所知的最大的矩阵上的因式分解结果已在文献中报道的矩阵。
2014-11-03 cs.LG
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Scalable methods for nonnegative matrix factorizations of near-separable tall-and-skinny matrices
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Purdue University Institute for Computational and Bindley Biosciences Center（普渡大学计算与Bindley生物科学中心）；Computer Science Mathematical Engineering（计算机科学数学工程）
本文提出高效算法处理高瘦矩阵的非负矩阵分解，通过正交变换保持分离性，适用于流式数据和分布式计算环境。
2014-02-27 cs.DC cs.LG cs.NA
Constrained non-negative matrix factorization enabling real-time insights of $\textit{in situ}$ and high-throughput experiments
National Synchrotron Light Source II, Brookhaven National Laboratory（布鲁克海文国家实验室国家同步辐射光源II）；Center for Computational Biology, Flatiron Institute（弗拉蒂隆研究所计算生物学中心）
提出基于PyTorch的约束NMF方法，通过专家动态加入分量、权重及混合函数先验，实现原位与高通量光谱实验的实时物理解释。
2021-04-02 cond-mat.mtrl-sci cs.LG physics.app-ph
Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization
Yunnan University of Finance and Economics（云南财经大学）；Hunan Normal University（湖南师范大学）；Guangxi Normal University（广西师范大学）
针对传统RPCA方法易引入偏差且非凸正则化方法优化复杂、对初始条件敏感的问题，提出一种结合自适应加权最小二乘和低秩矩阵分解的新模型，通过自注意力机制动态更新权重，有效降低偏差并提高计算效率，数值实验证明其具有更优的性能与鲁棒性。
2024-12-19 cs.CV cs.LG
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences（数学科学学院）；School of Future Science and Engineering（未来科学与工程学院）
本文提出了一种双通道架构，用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应，通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Leveraging the Christoffel Function for Outlier Detection in Data Streams
LAAS-CNRS（CNRS-拉夫桑塔研究所）；ANITI（ANITI研究所）；University of Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；INSA（法国工业科学与技术学院）；Toulouse, France（法国图卢兹）
本文提出DyCF和DyCG两种基于Christoffel函数的数据流异常检测方法，分别利用该函数的逼近性质和增长性质，在无需或极少调参的情况下实现高效检测，并在合成与真实工业数据流上验证了其性能优势。
2025-08-13 cs.LG
Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning
Google Research（谷歌研究院）
本研究提出适用于多轮遍历数据集的梯度式机器学习的新型差分隐私矩阵分解机制，设计了高效傅里叶变换机制降低计算成本，在图像分类和语言建模任务上均优于现有DP-SGD等方法，且可推广至任意线性查询场景。
2023-06-08 cs.CR cs.DS cs.LG
Online Energy Price Matrix Factorization for Power Grid Topology Tracking
University of Minnesota（明尼苏达大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
电网安全和开放市场是智能电网的两大目标。市场数据的透明度有助于创造一个有竞争力和高效的能源环境，但它也可能揭示关键的物理系统信息。恢复网格拓扑结构的基础上，完全公开的市场数据在这里探讨。实时能源价格计算为网络约束经济调度的拉格朗日乘数;也就是说，通过线性规划（LP）通常每5分钟求解一次。假设网格拉普拉斯算子是这个LP的一个参数，人们可以通过观察连续的LP对偶结果来推断这样一个拓扑揭示矩阵。时空价格的矩阵首先被示出为作为逆拉普拉斯乘稀疏矩阵的乘积的因子。利用稀疏矩阵分解的结果，拓扑恢复计划与互补的优势，随后制定。设计了可扩展到高维和流式市场数据的求解器。使用IEEE 30节点电网上的实际负载数据进行的数值验证为当前和未来的市场设计提供了有用的输入。
2014-10-22 cs.LG math.OC stat.AP
Incremental Outlier Detection Modelling Using Streaming Analytics in Finance & Health Care
National Institute of Technology Warangal（瓦朗加尔国家理工学院）；Jawaharlal Nehru Technological University – Gurajada Vizianagaram (JNTU-GV)（贾瓦哈拉尔·尼赫鲁技术大学古拉贾达维齐亚纳格拉姆分校）
本文提出一个结合传统与增量学习的混合异常检测框架，采用8种模型在7个金融和医疗任务上评估，发现增量学习显著提升不平衡数据集性能，且IForest ASD模型表现最佳。
2025-04-04 cs.LG
An ADMM-Incorporated Latent Factorization of Tensors Method for QoS Prediction
Dongguan University of Technology（东莞理工学院）
随着互联网的迅速发展，从广泛的候选者中选择合适的网络服务非常重要。服务质量（QoS）描述了Web服务相对于服务使用者所请求的服务的动态性能。此外，潜在的因式分解的tenors（LFT）是非常有效的发现时间模式的高维稀疏（HiDS）张量。然而，目前的LFT模型收敛速度慢，很少考虑离群值的影响。针对上述问题，本文提出了一种基于交替方向乘子法（ADMM）的离群弹性非负潜伏因子分解张量模型。我们通过构造一个增广的拉格朗日函数与ADMM优化框架保持模型的非负性。此外，采用柯西函数作为度量函数，以减少对模型训练的影响。在两个动态QoS数据集上的实验表明，该方法具有更快的收敛速度和更好的预测精度。
2022-12-03 cs.LG
Learning under Commission and Omission Event Outliers
Fudan University（复旦大学）
本文提出一种基于时间点过程的权重函数方法，动态调整事件重要性，同时处理误报和漏报异常值，在分类任务中验证了有效性与统计优势。
2025-01-23 cs.LG stat.ML
An Efficient Outlier Detection Algorithm for Data Streaming
California State University, San Bernardino（加州州立大学圣贝纳迪诺分校）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；University of California, Riverside（加州大学河滨分校）
本文提出高效增量局部异常因子（EILOF）算法，仅计算新点的 LOF 分数而不更新现有点，在降低流式异常检测计算成本的同时，随数据量增加系统性地提升检测精度并优于 ILOF。
2025-01-02 cs.LG stat.AP stat.CO
A Gaussian Process-based Streaming Algorithm for Prediction of Time Series With Regimes and Outliers
Stony Brook University（石溪大学）
针对体制切换和异常值时间序列在线预测，提出基于高斯过程的LINTEL流式算法，利用精确滤波分布实现常数时间更新，显著降低时间复杂度，比INTEL快五倍以上且预测质量更好。
2024-06-01 cs.LG eess.SP stat.ML
Streaming algorithms for robust max-min diversification
University of Padova（帕多瓦大学）
针对鲁棒最大最小多样化问题，提出一种确定性基于核心集的流式算法，在内部点-离群点分离假设下返回恰好 $k$ 个内部点，达到 $(2+\varepsilon)$ 近似，内存和更新代价与 $n$ 无关。
2026-10-02 cs.LG
F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Barracuda Networks（梭子鱼网络公司）
边缘流通常用于捕获动态网络中的交互，例如电子邮件、社交或计算机网络。边缘流中异常或罕见事件的检测问题有着广泛的应用。然而，由于缺乏标签，交互的高度动态性以及网络中时间和结构变化的纠缠，它带来了许多挑战。目前的方法在解决上述挑战和有效处理大量相互作用的能力方面是有限的。在这里，我们提出了F-FADE，边缘流中的异常检测的一种新方法，它使用了一种新的频率因子分解技术，有效地模拟节点对之间的相互作用的频率的时间演化分布。然后，基于观察到的每个传入交互的频率的可能性来确定异常。F-FADE能够在在线流媒体设置中处理具有时间和结构变化的各种异常，同时仅需要恒定的内存。我们在一个合成网络和六个真实动态网络上的实验表明，F-FADE实现了最先进的性能，并且可以检测到以前的方法无法发现的异常。
2021-02-05 cs.LG cs.SI
Latent Factorization of Tensors with Threshold Distance Weighted Loss for Traffic Data Estimation
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对传统张量潜在分解模型对异常值敏感的问题，提出结合阈值距离加权损失的TDWLFT模型，通过为样本分配差异化权重降低异常值影响，在多个交通速度数据集上实现了准确性与计算效率的双重提升。
2025-06-11 cs.AI cs.LG
Approximate Rank-Detecting Factorization of Low-Rank Tensors
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；FU Berlin（柏林自由大学）；Mathematisches Forschungsinstitut Oberwolfach（奥伯沃尔法赫数学研究所）
提出AROFAC2算法，通过检测三阶张量的CP秩并分解为秩一分量，具有内在检测真实秩、避免虚假分量、对异常值和非高斯噪声鲁棒的优势。
2012-11-30 cs.LG cs.NA math.NA
