Biclustering Readings and Manuscripts via Non-negative Matrix Factorization, with Application to the Text of Jude
将证人分组为家庭或文本类型的文本批评实践通常面临两个障碍：手稿传统的污染，以及识别特征阅读和手稿的相互依赖。我们引入非负矩阵分解（NMF）作为一种简单，无监督，有效的方法来同时聚类大量的手稿和读数，同时使用易于解释的混合模型总结污染。我们应用这种方法来广泛的整理新约书信的裘德，并表明，由此产生的集群对应于人类识别的文本家庭从现有的研究。
2016-02-03 cs.LG
Identifying Population Movements with Non-Negative Matrix Factorization from Wi-Fi User Counts in Smart and Connected Cities
University of Colorado at Boulder（科罗拉多大学博尔德分校）
非负矩阵分解（NMF）是一种有价值的矩阵分解技术，它产生一个“基于部分”的数据集分解。Wi-Fi用户数量是智能互联城市环境中人口流动的隐私保护指标。在本文中，我们将具有新型矩阵嵌入的NMF应用于科罗拉多大学博尔德校区的Wi-Fi用户计数数据，以自动识别智能互联基础设施环境中的人类运动模式。
2021-11-19 cs.LG eess.SP
Adaptive Weighted Multiview Kernel Matrix Factorization with its application in Alzheimer's Disease Analysis -- A clustering Perspective
Clemson University（克莱姆森大学）
最近的技术和设备进步为我们提供了更好地分析阿尔茨海默病（AD）的机会，我们可以收集和利用来自不同图像和遗传模式的数据，这些数据可能会提高预测性能。为了在AD分析中进行更好的聚类，本文提出了一种新的模型来利用来自所有不同模态/视图的数据，该模型可以自适应地学习每个视图的权重。与传统的非负矩阵分解假设数据是线性可分的不同，本文提出了一种简单有效的基于核矩阵分解的方法，该方法不仅能够处理非线性数据结构，而且能够获得更好的预测精度。在ADNI数据集上的实验结果表明了该方法的有效性，表明了核函数在AD分析中的应用前景。
2023-03-07 cs.AI cs.LG
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System（天普大学卫生系统福克斯·蔡斯癌症中心）
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架，该框架包含了指数模型族的成员.使用这个框架开发了一系列算法，并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法，不同的噪声结构和对比，最近提出的准似然方法，从而提供了一个有用的替代非负矩阵分解。一个措施，以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚，内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development（爱普生研发中心）
提出一种加性非负矩阵分解方法，通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性，并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University（哥伦比亚大学）；Colorado State University（科罗拉多州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
我们验证使用矩阵分解的原子对分布函数（PDF）数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施，用于分析PDF数据流的方式到达。然后，我们应用两个矩阵分解技术，主成分分析（PCA）和非负矩阵分解（NMF），在原位实验的背景下，研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Privacy-preserving Non-negative Matrix Factorization with Outliers
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
针对非负数据处理中的用户隐私保护需求，提出一种含异常值场景下的隐私保护非负矩阵分解算法，可按需调节隐私保障程度，在六个真实数据集上验证了其在严格隐私保护下接近非隐私算法的性能。
2022-12-09 cs.LG
Non-Negative Matrix Factorization with Scale Data Structure Preservation
Sultan Qaboos University（苏丹卡布斯大学）；École de technologie supérieure（高等技术学院）
本文所描述的模型属于非负矩阵分解方法的家庭设计的数据表示和降维。除了保持数据的正性属性外，它还旨在保持矩阵分解过程中的数据结构。其思想是向NMF成本函数添加惩罚项，以在原始数据点和变换后的数据点的成对相似性矩阵之间施加尺度关系。新模型的解决方案涉及到推导一个新的参数化更新方案的系数矩阵，这使得它有可能提高质量的减少数据时，用于聚类和分类。提出的聚类算法相比，一些现有的NMF为基础的算法和一些流形学习为基础的算法时，应用到一些现实生活中的数据集。实验结果表明了该算法的有效性。
2022-09-22 cs.LG
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS（图卢兹大学 IRIT 研究所、法国国家科学研究中心）
我们介绍负二项矩阵分解（NBMF），矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解（PF）扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度，使NBMF对离群值更加鲁棒。我们表明，NBMF允许跳过传统的预处理阶段，如二值化，这会导致信息丢失。两种估计方法：最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型，并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；MINES-ParisTech（巴黎高科矿业学院）
在本文中，我们提出了我们的工作，在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化，而是关注整个网络的空间拥堵配置。在我们的工作中，我们的目标是描述这种网络级的交通状态的典型的时间动态模式，并实现长期预测的大规模的交通动态，在一个统一的数据挖掘框架。为此，我们使用非负张量分解（NTF）来制定这个联合任务，NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果，长期预测的交通演变。
2012-12-18 cs.LG
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法，支持加权范数与岭、Lasso正则化，将乘法更新重构为无零值卡滞的加法更新，还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
Learning Hidden Markov Models using Non-Negative Matrix Factorization
Dartmouth College（达特茅斯学院）；California State University at Los Angeles（加州州立大学洛杉矶分校）
Baum-Welsh算法及其衍生物和变体一直是从观测数据中学习隐马尔可夫模型（HMM）的主要技术。我们提出了一种基于高阶马尔可夫统计的非负矩阵分解（NMF）的HMM学习算法，该算法在结构上不同于Baum-Welsh及其相关方法。所描述的算法支持估计HMM的递归状态的数量，并迭代非负矩阵分解（NMF）算法以改进学习的HMM参数。数值例子也提供。
2011-01-08 cs.AI cs.IT cs.LG
Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Adobe Research（奥多比研究院）；Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
我们研究了高维数据聚类问题，提出了一种新的和无监督的表示学习模型称为鲁棒灵活的自动加权局部坐标概念分解（RFA-LCF）。RFA-LCF将鲁棒的灵活CF、鲁棒的稀疏局部坐标编码和自适应重构加权学习集成到一个统一的模型中。自适应加权是通过在恢复的干净数据、基础概念和新表示上包括联合流形保持约束来驱动的。具体而言，我们的RFA-LCF使用基于L2，1-范数的灵活残差来编码干净数据及其重建之间的失配，并且还应用鲁棒的自适应稀疏局部坐标编码来使用几个附近的基概念来表示数据，这可以使因子分解更准确和对噪声更鲁棒。在恢复的干净数据空间中进行鲁棒灵活因子分解，以增强表示。RFA-LCF还考虑了以自适应的方式联合保持干净数据空间、基概念空间和新坐标空间的局部流形结构。广泛的比较表明，RFA-LCF可以提供增强的聚类结果。
2019-05-25 cs.CV cs.LG
Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network
College of Computer and Information Science（计算机与信息科学学院）
针对大规模动态加权有向网络，提出基于差分进化的张量潜在因子模型超参数自动优化框架，自动学习正则化参数，提升预测精度并减少人工调参。
2026-06-03 cs.LG
Non-Negative Matrix Factorization for Event Data
Ghent University（根特大学）
提出EventNMF，一种直接对事件时间进行建模的连续时间非负矩阵分解方法，通过B样条基函数分解强度函数，避免分箱预处理的信息损失，并证明标准分箱方法是其特例。
2026-06-04 cs.LG
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa（比萨大学）
本文讨论了一种池机制，以诱导图结构数据的二次采样，并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解（NMF）上，所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图，其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明，这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization
University of Maryland（马里兰大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
可分性假设（Donoho & Stodden，2003; Arora et al.，2012）将非负矩阵分解（NMF）变成了一个易于处理的问题。最近，一类新的可证明正确的NMF算法出现在这个假设下。本文将可分NMF问题转化为求有限向量集锥壳的极值射线问题。从这个几何的角度来看，我们得到新的可分离的NMF算法，是高度可扩展的和经验噪声鲁棒性，并有其他几个有利的属性，在现有的方法。我们的算法的并行实现展示了高的可扩展性共享和分布式内存机器。
2012-10-03 cs.LG stat.ML
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息，如标签或重要特征，已经开发出方法来执行分类和主题建模任务;然而，大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中，我们提出了一种方法，即引导半监督非负矩阵分解（GSSNMF），进行分类和主题建模，将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能，该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明，我们提出的方法提高了分类精度和主题一致性相比，过去的方法，如半监督非负矩阵分解（SSNMF）和引导非负矩阵分解（引导NMF）。
2022-01-31 cs.IR cs.LG stat.ML
Primal-Dual Algorithms for Non-negative Matrix Factorization with the Kullback-Leibler Divergence
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
非负矩阵分解（NMF）将给定矩阵近似为两个非负矩阵的乘积。乘法算法提供可靠的结果，但它们对高维数据显示出缓慢的收敛性，并且可能远离局部极小值。梯度下降方法具有更好的性能，但仅适用于平滑损失，如最小二乘损失。在这篇文章中，我们提出了一个一阶原始-对偶算法的非负分解问题（其中一个因子是固定的）与KL散度，基于Chambolle-Pock算法。所有需要的计算可以得到封闭的形式，我们提供了一个有效的启发式的方法来选择步长。通过使用交替优化，我们的算法很容易扩展到NMF，在合成的例子，人脸识别或音乐声源分离数据集，它要么比现有的算法更快，或导致改进的局部最优，或两者兼而有之。
2014-12-04 cs.LG math.OC
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University（多伦多都会大学）；University of Toronto（多伦多大学）
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中，秩显示QR（RRQR）因子分解，这是计算上比奇异值分解（SVD）便宜，利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择，这是该因子分解方法的独特性质。此外，QR分解嵌入到非负矩阵分解（NMF）的目标函数作为一种新的无监督特征选择方法。最后，提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中，使用RRQR分解去除冗余特征，并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的，当与最先进的特征选择算法在监督，无监督和半监督设置。所有的方法进行了测试，7个可用的微阵列数据集，使用KNN，SVM和C4.5分类。实验结果表明，该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Ordinal Non-negative Matrix Factorization for Recommendation
IRIT, Université de Toulouse, CNRS（图卢兹大学 IRIT 研究所、法国国家科学研究中心）；ISAE-SUPAERO, Université de Toulouse（图卢兹大学 ISAE-SUPAERO 高等航空与航天学院）
本文提出了一种新的非负矩阵分解方法，称为OrdNMF。有序数据是类别数据，它们在类别之间表现出自然的顺序。特别是，它们可以在推荐系统中找到，无论是显式数据（如评级）还是隐式数据（如量化播放计数）。OrdNMF是一种概率潜在因子模型，它将Bernoulli-Poisson因子分解（BePoF）和Poisson因子分解（PF）推广到二进制数据。与这些方法相反，OrdNMF避免了二值化，并且可以利用数据的更多信息表示。我们设计了一个有效的变分算法的基础上，一个合适的模型增强和相关的变分PF。特别是，我们的算法保留了PF的可扩展性，并可以应用于巨大的稀疏数据集。我们报告了显式和隐式数据集上的推荐实验，并表明OrdNMF优于应用于二进制数据的BePoF和PF。
2020-09-02 cs.LG stat.ML
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute（鲁杰尔·博什科维奇研究所）；ETH Zürich, Swiss Federal Institute of Technology（苏黎世联邦理工学院）
最近的理论分析表明，非负矩阵分解（NMF）和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的，我们引入了一个非线性NMF显式正交性，并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下，提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut，并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架，并引入了一个图正则化，以获得一个因子分解，尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质，以及其固有的局部几何形状，这大大提高了聚类性能相比，最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解（NMF）是一种新的知识发现方法，用于文本挖掘，信号处理，生物信息学和消费者分析。然而，由于它不是一个规则的统计模型，其作为学习机的基本性质还不清楚，导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值，并给出了贝叶斯学习中推广误差的一个上界。结果表明，如果应用贝叶斯学习，可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Identifiable Phenotyping using Constrained Non-Negative Matrix Factorization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）
这项工作提出了一种新的算法，用于使用电子健康记录（EHR）的临床记录自动和同时对多种共同发生的医疗状况（也称为合并症）进行表型分析。一个基本的潜在因素估计技术的非负矩阵分解（NMF）增强域特定的约束，以获得稀疏的潜在因素，锚定到一组固定的慢性疾病。所提出的锚定机制确保潜在因素和目标合并症之间的一对一可识别和可解释的映射。临床专家对经验结果的定性评估表明，所提出的模型在预测30天死亡率的同时学习了临床可解释的表型。所提出的方法可以很容易地适用于各种医疗机构的任何非负EHR数据。
2016-09-20 cs.LG stat.ML
Lee and Seung (2000)'s Algorithms for Non-negative Matrix Factorization: A Supplementary Proof Guide
Université de Montréal（蒙特利尔大学）；CHU Sainte-Justine（圣贾斯汀大学医疗中心）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
本文为 Lee 和 Seung (2000) 的非负矩阵分解迭代乘法更新算法提供补充证明指南，详细解释其公式化与推导过程，填补现有文献中缺乏详细推导的空白。
2025-01-22 cs.LG cs.NA math.NA
Barzilai and Borwein conjugate gradient method equipped with a non-monotone line search technique and its application on non-negative matrix factorization
University of Lethbridge（莱斯布里奇大学）
本文提出了一种新的求解无约束非线性最优化问题的非单调共轭梯度法。我们首先通过引入一个新的三角函数来计算非单调参数，从而改进了非单调线搜索法，这对算法的效率起着至关重要的作用。然后，我们应用一个凸组合的Barzilai-Borwein方法的计算值的步长在每次迭代。在适当的假设下，证明了新算法具有整体收敛性质。通过将该算法应用于标准测试问题和非负矩阵分解问题，验证了该算法的有效性和效率。
2021-09-13 cs.LG math.OC
Topic Analysis of Superconductivity Literature by Semantic Non-negative Matrix Factorization
University of Maryland（马里兰大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们利用最近开发的主题建模方法SeNMFk，扩展标准的非负矩阵分解（NMF）方法，将文本的语义结构，并添加一个强大的系统来确定主题的数量。使用SeNMFk，我们能够提取由人类专家验证的连贯主题。在这些主题中，有一些是相对一般的，涵盖广泛的概念，而大多数可以精确地映射到具体的科学效果或测量技术。这些主题的普遍性也有所不同，只有三个主题在近40%的摘要中普遍存在，而每个特定的主题往往在摘要的一小部分中占主导地位。这些结果表明，SeNMFk能够对大型科学语料库进行分层和细致入微的分析。
2021-12-01 cs.DL cs.LG
The Target Polish: A New Approach to Outlier-Resistant Non-Negative Matrix Factorization
本文提出目标抛光框架，通过加权中值变换自适应抛光数据，使Fast-HALS算法在保持高效加性更新的同时具备抗离群点能力，实验表明其精度匹敌或超越现有鲁棒NMF方法，计算时间降低一个数量级。
2025-08-22 cs.LG
Multi-View Non-negative Matrix Factorization Discriminant Learning via Cross Entropy Loss
China University of Petroleum（中国石油大学）
多视图学习通过描述同一对象不同视图之间的关系来实现分类任务目标。大多数现有的方法通常侧重于多个视图之间的一致性和互补性。但并非所有这些信息都对分类任务有用。相反，起重要作用的是特定的区分信息。Zhong Zhang等通过联合非负矩阵分解，研究了不同视图间公共部分和视图特定部分中存在的区分性和非区分性信息。本文在此基础上对该算法进行了改进，引入交叉熵损失函数，更好地约束目标函数。最后，在相同的数据集上实现了比原算法更好的分类效果，并显示了其优于许多现有算法的优越性。
2022-01-08 cs.LG eess.SP
Detecting multi-timescale consumption patterns from receipt data: A non-negative tensor factorization approach
University of Southern California（南加州大学）；Kobe University（神户大学）；CyberAgent, Inc.（CyberAgent 公司）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
了解消费者行为是一项重要的任务，不仅对制定营销战略，而且对经济政策的管理。然而，检测消费模式，是一个高维的问题，其中各种因素会影响消费者的行为需要考虑，如消费者的人口统计，昼夜节律，季节周期等，在这里，我们开发了一种方法来提取多时间尺度的消费者的支出模式从一个大的数据集扫描收据。我们使用非负张量因子分解（NTF）来同时检测周内和周间的消费模式。所提出的方法使我们能够根据不同时间尺度上相关的消费模式来表征消费者。
2020-08-02 cs.LG stat.ML
Two to Five Truths in Non-Negative Matrix Factorization
Institute for Defense Analyses（美国国防分析研究所）；United States Department of Defense（美国国防部）
本文提出一种基于归一化拉普拉斯的矩阵缩放方法，用于改进非负矩阵分解主题模型，在多个数据集上显著提升聚类质量。
2023-09-05 cs.LG
Stratified Non-Negative Tensor Factorization
University of California, Los Angeles（加州大学洛杉矶分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对分层NMF处理多模态数据时需展平张量导致几何结构丢失的问题，提出分层非负张量分解方法，开发乘法更新规则并引入正则化版本，实验表明其内存需求更低且能识别可解释主题。
2024-11-27 cs.LG cs.NA math.NA
A Block Coordinate Descent-based Projected Gradient Algorithm for Orthogonal Non-negative Matrix Factorization
University of Applied Sciences and Arts, Northwestern Switzerland（瑞士西北应用科学与艺术大学）；University of Ljubljana（卢布尔雅那大学）
本文利用投影梯度法（PG）求解非负矩阵分解问题（NMF），其中一个或两个矩阵因子必须具有正交的列或行。我们惩罚正交约束，并通过块坐标下降法应用PG方法。这意味着在某个时间，一个矩阵因子是固定的，而另一个矩阵因子通过沿着从惩罚的目标函数计算出的最速下降方向移动并投影到非负矩阵空间上来更新。我们的方法进行了测试的两组合成数据的各种值的罚参数。性能与Ding（2006）的著名乘法更新（MU）方法进行了比较，并与Mirzal（2014）最近提出的MU算法的修改后的全局收敛变体进行了比较。我们提供了大量的数值结果，加上适当的可视化，这表明我们的方法是非常有竞争力的，通常优于其他两种方法。
2020-03-23 cs.LG math.OC
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees
Microsoft Research New England（新英格兰微软研究院）
非负矩阵分解（NMF）是一种自然的混合模型，在科学和工程中有着广泛的应用。已经开发了大量的算法来解决NMF，但由于问题的非凸性质，几乎不能保证这些方法的工作效果。最近的研究热潮集中在一类非常有限的NMF，称为可分离NMF，其中已开发出可证明正确的算法。在本文中，我们提出了子集可分NMF的概念，它实质上推广了可分性的性质。我们表明，子集可分性是一个自然的必要条件，分解是唯一的或有最小的体积。我们提出了面交算法，该算法在自然条件下可有效地解决子集可分NMF问题，并证明了该算法对小噪声具有鲁棒性。我们探讨了模拟的面相交的性能，并讨论了它在经验上优于最先进方法的设置。我们的工作是一个步骤，找到可证明正确的算法，解决大类NMF问题。
2015-07-08 cs.LG stat.ML
Algorithms for Non-Negative Matrix Factorization on Noisy Data With Negative Values
University of California Irvine（加州大学欧文分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出Shift-NMF和Nearly-NMF两种算法，在不裁剪负值的情况下处理含噪声且出现负值的数据，并证明其更新规则单调递减。
2024-10-02 astro-ph.IM cs.LG eess.SP
Song Recommendation with Non-Negative Matrix Factorization and Graph Total Variation
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑联邦理工学院））
这项工作制定了一个新的歌曲推荐系统作为一个矩阵完成的问题，受益于协同过滤通过非负矩阵分解（NMF）和基于内容的过滤通过全变差（TV）的图形。这些图表使用音频、元数据和社交功能的丰富组合对播放列表接近度信息和歌曲相似度进行编码。正如我们所展示的，我们的混合推荐系统是非常通用的，并结合了几个著名的方法，同时优于他们。特别是，我们在现实世界的数据表明，我们的模型克服了w.r.t.两个评估度量：仅基于低秩信息、基于图的信息或两者的组合的模型的推荐。
2016-01-13 cs.IR cs.LG physics.data-an
Disentangling Shared and Target-Enriched Topics via Background-Contrastive Non-negative Matrix Factorization
本文提出背景对比非负矩阵分解方法，通过联合分解目标数据和背景数据，有效分离高维数据中的目标增强主题，提升生物信号解析能力。
2026-02-25 cs.LG
Structured Sparse Non-negative Matrix Factorization with L20-Norm for scRNA-seq Data Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；Warshel Institute for Computational Biology, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）瓦谢尔计算生物研究院）
非负矩阵分解（NMF）是降维和聚类的有力工具。然而，NMF聚类结果的解释是困难的，特别是对于没有有效的特征选择的高维生物数据。在本文中，我们首先介绍了一个行稀疏NMF与$\ell_{2,0}$ -范数约束（NMF_ $\ell_{20}$），其中基矩阵$W$是由$\ell_{2,0}$ -范数约束，使$W$具有行稀疏模式与特征选择。由于$\ell_{2,0}$ -范数是非凸的、非光滑的，求解该模型是一个挑战。幸运的是，我们证明了$\ell_{2,0}$ -范数满足Kurdyka-范数{ojasiewicz}性质.在此基础上，提出了求解NMF_ $\ell_{20}$模型的近似交替线性化极小化算法及其单调加速算法.此外，我们还提出了一个正交NMF $\ell_{2,0}$ -范数约束（ONMF_ $\ell_{20}$），以提高聚类性能，通过使用一个非负的正交约束。通过将ONMF_ $\ell_{20}$转化为一系列约束和惩罚矩阵分解问题，提出了一种求解ONMF_ $\ell_{20}$的有效算法.数值和scRNA-seq数据集上的结果证明了我们的方法与现有方法相比的效率。
2021-04-27 cs.LG
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics（穆尔加大学科学学院统计学系）；University of Crete（克里特大学）；University of Piraeus（比雷埃克斯大学）
该研究引入新的用于非负矩阵分解的R包，与两个广泛使用的R包进行系统性能比较，通过使用真实数据和一致实验框架，重点评估计算效率等多方面性能，为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University（俄亥俄州立大学）
非负矩阵分解（NMF）是无监督降维的核心，在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质，过去已经开发了几种并行实现。然而，现有的并行NMF算法没有解决数据局部性优化，这对于高性能是关键的，因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中，我们设计了一个并行NMF算法的基础上的HALS（分层交替最小二乘）计划，采用算法变换，以提高数据的局部性。该算法在多核CPU和GPU上的有效实现，表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；LANL（洛斯阿拉莫斯国家实验室）
非负矩阵分解（NMF）与缺失值完成是一个著名的有效的协同过滤（CF）方法，用于提供个性化的用户推荐。然而，传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈，以建立一个中央推荐模型。单次联邦学习最近出现了一种方法，以减轻隐私问题，同时解决传统的联邦学习的通信瓶颈。在本文中，我们提出了第一个无监督的一次性联邦CF实现，名为FedSPLIT，基于NMF联合因式分解。在我们的解决方案中，客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后，从每个客户端的隐私保护的本地项目模式和偏见与处理器共享，以执行联合因子分解，以提取全局项目模式。然后，将提取的模式聚合到每个客户端，以通过知识蒸馏构建本地模型。在我们的实验中，我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果（在某些情况下甚至优于现有技术），但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University（普林斯顿大学）
非负矩阵分解是一种流行的工具，用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功，但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法，并表明假设数据的生成模型，它可以在相当温和的条件下证明恢复地面真实。特别是，它对特征的唯一基本要求是线性独立性。此外，该算法使用ReLU来利用非负性来解码权重，因此可以容忍可能与信号一样大的对抗性噪声，并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能，我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）；Zhejiang University-LianlianPay Joint Research Center（浙江大学-连连支付联合研究中心）
由于缺乏可靠的观察到的负面数据，隐式反馈的推荐是一项极具挑战性的任务。一种流行而有效的隐式推荐方法是将未观察到的数据视为负面，但降低其置信度。当然，如何分配置信度权重和如何处理大量的未观测数据是隐式推荐模型的两个关键问题。然而，现有的方法要么追求快速学习，通过手动分配简单的信心权重，这缺乏灵活性，并可能会产生经验偏见，在评估用户的偏好;或自适应推断个性化的信心权重，但效率低下。为了实现自适应权重分配和有效的模型学习，我们提出了一种快速自适应加权矩阵分解（FAWMF）的变分自动编码器的基础上。个性化数据的置信度权重自适应分配与参数化神经网络（功能）和网络可以推断出的数据。此外，为了支持FAWMF的快速和稳定的学习，已经开发了一种新的特定的基于批处理的学习算法fBGD，其在所有反馈数据上进行训练，但其复杂度与观测数据的数量成线性关系。在真实数据集上的大量实验证明了所提出的FAWMF及其学习算法fBGD的优越性。
2020-03-04 cs.IR cs.LG stat.ML
A Comparative Study of Gamma Markov Chains for Temporal Non-Negative Matrix Factorization
Aalto University（阿尔托大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；IRIT；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；DI ENS（巴黎高等师范学院信息学系）；INRIA（法国国家信息与自动化研究所）；Université PSL（巴黎文理研究大学）
非负矩阵分解（NMF）已成为一类行之有效的方法，用于分析非负数据。特别是，人们在概率NMF方面投入了大量精力，即描述数据的概率模型中的估计或推理任务，例如基于泊松或指数似然。当处理时间序列数据时，一些工作已经提出将激活系数的演变建模为非负马尔可夫链，大多数时间与Γ分布相关，从而产生所谓的时间NMF模型。在本文中，我们回顾了四个伽玛马尔可夫链的NMF文献，并表明他们都有一个共同的缺点：缺乏一个良好定义的平稳分布。然后，我们介绍了第五个过程，一个被忽视的模型的时间序列文献命名为BGAR（1），它克服了这一限制。这些时间NMF模型，然后比较在MAP框架上的预测任务，在泊松似然的上下文中。
2021-02-25 cs.LG stat.ML
Applying non-negative matrix factorization with covariates to label matrix for classification
提出 NMF-LAB 方法，将分类重新定义为非负矩阵三因子分解的逆问题，通过直接分解标签矩阵并引入协变量，无需外部分类器即可获得类成员概率，支持半监督学习，在多个数据集上展现出高精度、鲁棒性和可扩展性。
2025-10-12 cs.LG stat.ME
Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；City University of Hong Kong（香港城市大学）
急诊室拥挤是影响医院管理效率和病人护理质量的世界性问题。这种情况发生时，要求入院病房床位接收病人的请求被推迟，直到医生作出入院决定。为了减少ED的过度拥挤和等待时间，我们建立了一个分类器来预测病人的处置，使用手动输入的护士在分诊过程中收集的笔记，从而使医院工作人员提前开始必要的准备。然而，这些分类笔记涉及高维，噪声，也稀疏的文本数据，这使得模型拟合和解释困难。为了解决这个问题，我们提出了半正交非负矩阵分解（SONMF）的连续和二进制设计矩阵的第一个双集群的患者和单词到一个减少的主题数量。然后，主题可以被解释为正交基主题向量的非减法线性组合。这些生成的主题向量为医院提供了对入院原因的直接理解。我们表明，通过使用变换的基础上，分类精度可以进一步提高相比，传统的词袋模型和替代矩阵分解方法。通过模拟数据实验，我们还表明，所提出的方法优于其他非负矩阵分解（NMF）的分解精度，收敛速度和正交度的方法。
2019-07-04 cs.LG stat.ME stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton（南安普顿大学）
非负矩阵分解（NMF）是一种降维技术，它倾向于产生数据的稀疏表示。通常，实际矩阵和重建矩阵之间的误差被用作目标函数，但这种方法可能不会产生我们想要的表示类型，因为它允许模型的复杂性增长，仅受子空间大小和非负性要求的约束。如果施加额外的约束，如稀疏性，参数选择的问题变得至关重要。而不是增加稀疏性约束，在特设的方式，我们提出了一种新的目标函数，通过使用最小描述长度（MDL）的原则。我们的公式，MDL-NMF，自动权衡模型的复杂性和准确性之间的原则性的方法，几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD（新加坡科技设计大学(SUTD)（注：SUTD是Singapore University of Technology and Design的缩写，常见中文名新加坡科技设计大学））
非负矩阵分解（NMF）是一个基本的非凸优化问题，在机器学习（音乐分析，文档聚类，语音-声源分离等）中有许多应用。尽管已经得到了广泛的研究，但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的，它的梯度不是Lipschitz。在本文中，我们定义了一个乘法的权重更新型动力学（修改的种子李Seung算法），同时运行，并可证明避免鞍点（一阶不二阶固定点）。我们的技术结合了动力系统的工具，如稳定性，并利用几何的NMF目标，通过减少标准的NMF制定的非负正交到一个新的制定（缩放）单纯形。我们的方法的一个重要优点是使用并发更新，它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
Temporal Wasserstein non-negative matrix factorization for non-rigid motion segmentation and spatiotemporal deconvolution
Columbia University（哥伦比亚大学）
自然图像的运动分割通常依赖于密集的光流来产生点轨迹，这些点轨迹可以通过包括谱聚类或最小成本多割的各种手段被分组为簇。然而，在生物成像场景中，例如荧光显微镜或钙成像，其中信噪比受到损害并且发生强度波动，光流可能难以近似。为此，我们提出了一种替代的模式，运动分割的基础上，最佳运输模型的视频帧随时间变化的质量表示为直方图。因此，我们铸造运动分割作为一个时间非线性矩阵分解问题与Wasserstein度量损失。该因子分解的字典元素将运动分割成相干对象，而加载系数允许捕获运动对象的时变强度信号。我们在模拟的多电极漂移场景中演示了所提出的范例的使用，以及秀丽隐杆线虫（C. elegans）。后一种应用具有在自由进行的行为中提取动物的神经活动的附加效用。
2019-12-07 cs.CV cs.LG eess.IV
Rethinking Non-Negative Matrix Factorization with Implicit Neural Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Apple（苹果公司）
本文提出将非负矩阵分解重新表述为可学习函数，使其能够处理不规则采样的时频表示，从而扩展NMF到更广泛的信号类别。
2025-07-09 cs.LG cs.SD eess.AS
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University（杜克大学）
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据，并开发可扩展的推理算法（批量和在线）处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外，利用将泊松分布重新参数化为多项式有助于模型中的共轭性，并实现简单有效的吉布斯抽样和变分贝叶斯（VB）推断更新，其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素，在我们的模型中，每个因素对应于一个“主题”。我们开发了一套在线推理算法，允许进一步扩展到大规模的张量模型，批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序，如科学出版物数据库上的\emph{multiway}主题建模，分析政治学数据集，并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Multi-Label Network Classification via Weighted Personalized Factorizations
University of Hildesheim（希尔德斯海姆大学）
多标签网络分类是一个众所周知的任务，被用于各种各样的基于Web和非基于Web的域。它可以被形式化为一个多关系学习任务，用于根据网络中的关系预测节点标签。在稀疏网络中，当只有隐式反馈信息可用时，例如在预测社交网络中的用户兴趣时，该预测任务可能非常具有挑战性。目前的方法依赖于通过利用网络结构来学习每个节点的潜在表示，然而，隐式反馈关系是自然稀疏的，并且仅包含正的观察到的反馈，这意味着这些方法将把所有观察到的关系视为同等重要。这在现实世界的场景中不一定是这种情况，因为隐式关系可能具有反映这些关系的强度的语义权重。如果这些权重可以近似，则可以训练模型以区分强关系和弱关系。提出了一种基于贝叶斯个性化排序损失的加权个性化两阶段多关系矩阵分解网络分类模型，该模型利用基本传递节点相似度函数对隐式反馈关系进行加权.实验表明，该模型显着优于国家的最先进的模型在三个不同的现实世界的基于Web的数据集和基于生物学的数据集。
2019-02-25 cs.IR cs.LG cs.SI
