Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering
Guangdong University of Technology（广东工业大学）
非负矩阵分解（NMF）是一种广泛使用的数据表示技术。受深度学习的表达能力的启发，已经提出了几种配备有深度架构的NMF变体。然而，这些方法大多使用唯一的非负性，而忽略了任务特定的数据特征。在本文中，我们提出了一种新的深度近似正交非负矩阵分解方法，同时施加非负性和正交性，目的是通过使用不同层次的抽象数据进行层次聚类。在两个人脸图像数据集上的实验表明，该方法比其他深度矩阵分解方法和最先进的单层NMF变体具有更好的聚类性能。
2017-11-20 cs.LG
A Unified Matrix Factorization Framework for Classical and Robust Clustering
IIIT Delhi（德里因陀罗信息技术学院）
本文提出统一矩阵分解框架，将硬k均值和模糊c均值聚类统一表述，并用l1,2范数替代Frobenius范数构建鲁棒变体，开发交替最小化和IRLS算法，证明收敛到局部最小值。
2025-10-24 cs.LG
Multiple kernel concept factorization algorithm based on global fusion
Shanxi University（山西大学）
针对无监督场景下概念分解的核函数选择难题，提出GMKCF算法，通过全局线性融合同时学习多个候选核，并经交替迭代求解，在多个真实数据库上取得优于KKM、SC等方法的稳定聚类性能。
2024-10-27 cs.AI cs.LG
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA（阿尔泰卡公司）；Sorbonne Paris Nord University（巴黎北索邦大学）；CY Cergy Paris University（塞尔吉-蓬图瓦兹大学）
针对多视图聚类中特征选择不足和超参数依赖经验的问题，提出DMFAW，利用控制理论机制动态调节特征权重并融合局部划分，实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Multi-view Clustering via Unified Multi-kernel Learning and Matrix Factorization
School of Mathematics, Hunan University（湖南大学数学学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；Malaysia-Japan International Institute of Technology (MJIIT), Universiti Teknologi, Malaysia（马来西亚理工大学马来西亚-日本国际理工学院）；College of Science, Princess Nourah bint Abdulrahman University (PNU)（公主诺拉·宾特·阿卜杜勒拉赫曼大学理学院）；Regional Research Center, Iwate Prefectural University（岩手县立大学区域研究中心）
针对现有多核聚类计算复杂度高、基于矩阵分解的多视图聚类单视图约束限制学习的问题，提出融合多核学习与矩阵分解的多视图聚类方法，通过对共识矩阵施加正交约束、避免最优核学习降低复杂度，搭配三步优化算法，经真实数据集验证有效。
2024-12-12 cs.LG
Interpretable Multi-View Clustering Based on Anchor Graph Tensor Factorization
Xidian University（西安电子科技大学）；State Key Laboratory of Integrated Services Networks（综合业务网国家重点实验室）
针对现有基于锚图分解的多视图聚类方法可解释性不足、忽略视图间信息的问题，提出利用非负张量分解融合多视图锚图的方法，提升了聚类可解释性，经实验验证了有效性。
2024-10-30 cs.LG
Clustering and Latent Semantic Indexing Aspects of the Nonnegative Matrix Factorization
Faculty of Computer Science and Information Systems, University of Technology Malaysia（马来西亚理工大学计算机科学与信息系统学院）
本文为非负矩阵分解（NMF）的聚类方面提供了理论支持。通过利用Karush-Kuhn-Tucker最优性条件，我们证明了NMF目标等价于图聚类目标，因此NMF的聚类方面具有坚实的理由。不同于以往的方法，通常放弃非负约束，我们的方法保证用于推导等价的驻点位于非负正交的可行域。此外，由于矩阵分解技术的聚类能力有时可能意味着其潜在的语义索引（LSI）方面，我们也将评估LSI方面的NMF显示其在解决合成数据集的同义词和多义词问题的能力。并通过使用一些标准数据集比较NMF和标准LSI方法奇异值分解（SVD）的LSI性能，进行更广泛的评估。
2011-12-17 cs.LG
A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute（鲁杰尔·博什科维奇研究所）；ETH Zürich, Swiss Federal Institute of Technology（苏黎世联邦理工学院）
最近的理论分析表明，非负矩阵分解（NMF）和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的，我们引入了一个非线性NMF显式正交性，并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下，提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut，并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架，并引入了一个图正则化，以获得一个因子分解，尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质，以及其固有的局部几何形状，这大大提高了聚类性能相比，最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
Revisiting Dynamic Graph Clustering via Matrix Factorization
The University of Tokyo（东京大学）；Institute of Science Tokyo（东京科学大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；RMIT University（皇家墨尔本理工大学）
针对基于矩阵分解的动态图聚类方法存在的可扩展性差、鲁棒性不足等问题，提出时间分离矩阵分解、双聚类正则化和选择性嵌入更新三项改进，实验验证其在大规模动态图上的有效性、效率与鲁棒性。
2025-02-10 cs.AI cs.LG stat.ML
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University（西南大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
多视图聚类的目的是整合来自多个异构视图的互补信息，以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性，多视图数据可以从不同的角度进行合理和有趣的不同分组。然而，如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中，我们引入了一个基于深度矩阵分解的解决方案（DMClusts）来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间，并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性，它最小化了一个新的冗余量化项，该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程，同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实，DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University（博阿齐奇大学）
本文综述了非负矩阵因子化方法在聚类中的应用，探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Multi-view Clustering with Deep Matrix Factorization and Global Graph Refinement
多视图聚类是机器学习和数据采掘领域的一个重要而又具有挑战性的课题。矩阵分解是多视图聚类的一种流行策略，它可以在低维空间中探索有用的特征表示，从而减轻维数灾难。但现有工作存在两大缺陷：i）大多数矩阵分解方法仅限于阴影深度，导致无法充分发现原始数据丰富的隐藏信息。很少有深度矩阵分解方法为不同层的新表示的维度的选择提供基础。ii）现有的方法大多只关注视图共享信息，而忽略了不同视图中的特定局部特征。为了解决上述问题，本文提出了一种新的基于深度半NMF和全局图细化的多视图聚类方法（MVC-DMF-GGR）。首先，我们通过层次分解为每个视图捕获新的表示矩阵，然后通过近似从这些新表示重构的图的组合来学习公共图，以改进新的表示。一个交替的算法，证明收敛性，然后开发来解决优化问题，并在六个多视图基准测试的结果证明了我们所提出的算法的有效性和优越性。
2021-05-01 cs.LG
Learning Inter- and Intra-manifolds for Matrix Factorization-based Multi-Aspect Data Clustering
Queensland University of Technology（昆士兰科技大学）
对多视图、多类型关系数据等多方面的数据进行聚类，由于其广泛的适用性，近年来已成为一个热门的研究方向。该方法使用流形学习与非负矩阵分解（NMF）框架，学习多维数据的准确低秩表示，已显示出有效性。我们建议在NMF框架中包括内部流形，利用不同数据类型（或视图）的数据点的距离信息来学习数据聚类的多样性流形。实证分析表明，该方法可以找到各种相关类型的部分表示，并在聚类过程中选择有用的功能。在多个数据集上的实验结果表明，该方法在精度和效率上都优于现有的多方面数据聚类方法。
2020-09-07 cs.LG stat.ML
Multi-way Clustering and Discordance Analysis through Deep Collective Matrix Tri-Factorization
National University of Singapore（新加坡国立大学）
异构、多类型、多模态的关系数据在许多领域中越来越多，它们的探索性分析带来了一些挑战。我们推进了神经无监督学习的最新技术来分析这些数据。我们设计了第一种神经方法，用于对任意矩阵集合进行集体矩阵三因子分解，以对所有组成实体进行谱聚类并学习聚类关联。在基准数据集上的实验证明了它比以前的非神经方法的有效性。利用来自多路聚类和集体矩阵完成的信号，我们设计了一种独特的技术，称为不一致性分析，以揭示关于两个实体的集合中矩阵子集之间的信息差异。我们说明了它的效用，在质量评估的知识库和改进表示学习。
2021-09-27 cs.LG stat.ML
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology（国防科技大学）
出于估计邻近聚类的需要，从有利位置或地标远程网络系统的部分距离测量，我们表明，邻近聚类问题可以有效地制定为Nyström近似问题，解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解（NMF）的过程。评估结果表明，该方法发现几乎最佳的聚类质量的合成和真实世界的数据集，因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来，多视图聚类（MVC）被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而，现有的方法可以进一步改进以下考虑：i）当前的单层矩阵分解框架不能充分利用有用的数据表示。ii）大多数算法只关注共享信息，而忽略了视图特定的结构，导致次优解。iii）在现有工作中尚未利用分区级别信息。针对上述问题，提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说，通过深度矩阵分解得到每个视图的分区表示，然后与最优分区表示联合用于融合多视图信息。最后，一个交替优化算法被开发来解决优化问题，证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
Spatially Coherent Clustering Based on Orthogonal Nonnegative Matrix Factorization
Center for Industrial Mathematics（工业数学中心）；University of Bremen（不来梅大学）
聚类分析中的经典方法通常基于特征空间分析。然而，许多应用程序会导致数据集具有额外的空间信息和具有空间相干类的地面实况，这些数据集不一定能通过标准聚类方法很好地重建。出于在高光谱成像中的应用，我们在这项工作中引入基于正交非负矩阵分解的聚类模型，其中包括一个额外的全变差（TV）正则化程序的集群成员矩阵，以执行集群中所需的空间相干性。我们提出了几种不同的优化技术的方法，其中TV正则化要么作为后续的后处理步骤执行，要么包含在聚类算法中。最后，我们提供了一个数值评估所有提出的方法从矩阵辅助激光解吸/电离成像测量，这导致显着更好的聚类结果相比，经典的聚类模型获得的高光谱数据集。
2021-04-25 cs.LG cs.NA math.NA
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Cornell University（康奈尔大学）
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术，通过观察足够大的特征空间中的矩阵图像是低秩的，来学习这些非线性结构，用于去噪、分类、字典学习和缺失数据填补。然而，这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中，我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解（RNLMF）。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性，并可扩展到具有数千行和列的矩阵。根据经验，RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Beyond Missing Rates: Rethinking Incomplete Multi-View Clustering with Protocol Divergence
National University of Singapore（新加坡国立大学）
针对标准IMVC评估范式忽视缺失率不足以刻画数据不完备性的问题，提出协议发散形式化度量，并设计CRAFT架构通过样本独立性和掩码感知融合实现单次训练泛化到多种缺失模式。
2026-10-01 cs.CV cs.LG cs.NE
Clustering-Based Matrix Factorization
推荐系统是一种新兴的技术，现在可以在许多应用程序中找到，如亚马逊，Netflix等。这些系统帮助用户找到相关信息，推荐和他们喜欢的项目。这些分类器的准确性的稍微提高可以高度影响推荐的质量。矩阵分解是推荐系统中的一种流行方法，在准确性和复杂性方面都有很好的效果。在本文中，我们提出了一个扩展的矩阵分解，增加了一般的邻域信息的推荐模型。用户和项目被聚集到不同的类别中，以查看这些类别如何共享首选项。然后，我们使用这些类别的共同利益的融合偏置矩阵分解，以实现更准确的建议。这是对当前邻域感知矩阵分解模型的补充，该模型依赖于使用用户和项目的直接邻域信息。该模型在两个著名的推荐系统数据集上进行了测试：Movielens100k和Netflix。我们的实验表明，将类别的一般潜在特征应用到因子化推荐模型中可以提高推荐的准确性。目前的邻域感知模型需要大量的邻域才能达到良好的精度。据我们所知，所提出的模型是更好的或与当前的邻居感知模型相比，当他们考虑较少的邻居。
2013-08-01 cs.LG
Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Adobe Research（奥多比研究院）；Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
我们研究了高维数据聚类问题，提出了一种新的和无监督的表示学习模型称为鲁棒灵活的自动加权局部坐标概念分解（RFA-LCF）。RFA-LCF将鲁棒的灵活CF、鲁棒的稀疏局部坐标编码和自适应重构加权学习集成到一个统一的模型中。自适应加权是通过在恢复的干净数据、基础概念和新表示上包括联合流形保持约束来驱动的。具体而言，我们的RFA-LCF使用基于L2，1-范数的灵活残差来编码干净数据及其重建之间的失配，并且还应用鲁棒的自适应稀疏局部坐标编码来使用几个附近的基概念来表示数据，这可以使因子分解更准确和对噪声更鲁棒。在恢复的干净数据空间中进行鲁棒灵活因子分解，以增强表示。RFA-LCF还考虑了以自适应的方式联合保持干净数据空间、基概念空间和新坐标空间的局部流形结构。广泛的比较表明，RFA-LCF可以提供增强的聚类结果。
2019-05-25 cs.CV cs.LG
Anchor-free Clustering based on Anchor Graph Factorization
针对传统基于锚点的聚类方法存在阶段划分、锚点初始化影响性能的问题，提出基于锚图分解的无锚点聚类方法，改进FKM并结合NMF直接得到聚类标签，经多数据集验证性能优于传统方法。
2024-10-30 cs.LG
Hybrid Clustering based on Content and Connection Structure using Joint Nonnegative Matrix Factorization
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究所）
提出了一种基于约束低秩近似的混合方法，用于同时包含文本内容和连接结构的数据集上的潜在信息发现。新方法联合优化了文本聚类的非负矩阵分解（NMF）目标函数和图聚类的对称NMF（SymNMF）目标函数。我们提出了一个有效的算法的联合NMF目标函数，基于块坐标下降（BCD）框架。所提出的混合方法通过使用SymNMF发现的潜在连接来发现内容关联。当使用超图公式或内容与超图边缘相关联时，该方法也可以应用于问题的自然转换。实验结果表明，通过同时利用内容和连接结构，我们的混合方法产生更高质量的聚类结果相比，其他NMF聚类方法，单独使用内容（标准NMF）或连接结构（SymNMF）。我们还提出了一些有趣的应用程序，以几种类型的现实世界的数据，如论文的引用建议。本文提出的混合方法也适用于一般的数据表示的特征空间向量和两两相似性，并可以扩展到多个特征空间或多个相似性措施的情况。
2017-03-28 cs.LG stat.ML
TensorAnalyzer: Identification of Urban Patterns in Big Cities using Non-Negative Tensor Factorization
ICMC-USP（圣保罗大学数学与计算机科学研究所）；NEV-USP（圣保罗大学暴力研究中心）
使用经典的聚类算法从多个数据源中提取相关的城市模式可能很困难，因为我们必须对算法的超参数进行适当的设置并处理离群值。为了帮助城市规划者在决策过程中更好地进行决策，大城市的进一步发展必须正确对待这一问题。例如，专家们对犯罪学的主要兴趣是理解犯罪与特定地理参照地点的社会经济特征之间的关系。此外，经典的聚类算法很少注意到地理参考数据源中复杂的空间相关性。本文提出了一种新的方法来检测最相关的城市模式，从多个数据源的基础上张量分解。通过与经典方法的比较，验证了所提出方法的性能，从而验证了所识别模式的质量。结果表明，该方法可以有效地识别功能模式，以表征数据集的进一步分析，在实现良好的聚类质量。此外，我们开发了一个通用的框架，名为TensorAnalyzer，其中所提出的方法的有效性和实用性进行了测试，通过一组实验和现实世界的案例研究，显示周围的学校和学生的表现和其他变量的分析中涉及的犯罪事件之间的关系。
2022-10-06 cs.AI cs.LG
Archetypal Analysis++: Rethinking the Initialization Strategy
Uppsala University（乌普萨拉大学）
本文提出AA++概率初始化策略，借鉴k-means++思想按目标函数影响顺序采样点，并通过蒙特卡洛近似提升效率，在15个真实数据集上几乎总是优于现有基线。
2024-05-13 cs.LG
Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The University of Queensland（昆士兰大学）
不完整视图的聚类是多视图聚类中的一个挑战。在本文中，我们提供了一种新颖而简单的方法来解决这个问题。具体地说，该方法同时利用每个视图的局部信息和视图间的互补信息来学习所有样本的共同潜在表示，从而大大提高了所获得的表示的紧凑性和可区分性。与传统的图嵌入方法相比，该方法不需要引入额外的正则化项和相应的惩罚参数来保持数据的局部结构，因此不会增加额外参数选择的负担.通过对每个视图的基矩阵施加正交约束，该方法能够处理样本外。此外，所提出的方法可以被看作是一个统一的框架，多视图学习，因为它可以处理不完整和完整的多视图聚类和分类任务。在多个多视图数据集上进行的大量实验证明，该方法可以显着提高聚类性能。
2018-09-17 cs.CV cs.LG
Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法，利用秩2非负矩阵分解实现高效层次聚类和主题建模，实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering
Qingdao University（青岛大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
本文提出了一种新的二维数据的半非负矩阵分解方法TS-NMF。它克服了现有方法在预处理步骤中通过将二维数据转换为矢量来严重破坏数据的空间信息的缺点。特别地，在构建新的数据表示的指导下寻求投影矩阵，使得空间信息被保留并且投影通过聚类的目标被增强，这有助于构造最优投影方向。此外，为了利用数据的非线性结构，在投影子空间中构造流形，该流形根据投影自适应地更新，并且较少受数据的噪声和异常值的影响，因此在投影空间中更具代表性。因此，寻求投影，构建新的数据表示和学习流形无缝集成在一个模型中，相互增强，并导致强大的数据表示。综合的实验结果验证了TS-NMF的有效性与几个国家的最先进的算法相比，这表明所提出的方法在现实世界中的应用潜力很大。
2020-05-19 cs.LG stat.ML
Self-supervised Symmetric Nonnegative Matrix Factorization
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
对称非负矩阵分解（SNMF）已被证明是一个强大的数据聚类方法。然而，SNMF在数学上被表述为非凸优化问题，使得它对变量的初始化敏感。受集成聚类从一组聚类结果中寻求更好聚类结果的启发，本文提出了自监督SNMF（S $^3$ NMF）算法，该算法利用SNMF对初始化的敏感性，在不依赖任何附加信息的情况下，能够逐步提高聚类性能.具体来说，我们首先执行SNMF重复与一个随机的非负矩阵初始化每次，导致多个分解矩阵。然后，我们排名的质量与自适应学习的权重，从一个新的相似性矩阵，预计将更具歧视性的SNMF重建的结果矩阵。迭代这两个步骤，直到达到停止标准/最大迭代次数。我们在数学上将S $^3$ NMF表示为一个约束优化问题，并提供了一种替代的优化算法来解决它，保证了理论收敛性。在$10$常用基准数据集上的大量实验结果表明，我们的S $^3$ NMF在$5$定量指标方面优于$12$最先进的方法。源代码可在www.example.com上公开获得。
2021-03-02 cs.LG
A deep matrix factorization method for learning attribute representations
Imperial College London（帝国理工学院）；Google Robotics（谷歌机器人部门）
半非负矩阵分解（Semi-Non-Negative Matrix Factorization）是一种学习数据集的低维表示的技术，它有助于聚类解释。这是可能的，这种新的表示和我们的原始数据矩阵之间的映射包含相当复杂的层次信息与隐含的较低级别的隐藏属性，经典的一级聚类方法不能解释。在这项工作中，我们提出了一种新的模型，深度半NMF，它能够学习这种隐藏的表示，允许自己根据给定数据集的不同，未知的属性来解释聚类。我们还提出了一个半监督版本的算法，名为深度WSF，它允许使用（部分）先验信息的数据集的每个已知属性，这使得该模型可以用于混合属性知识的数据集。最后，我们证明了我们的模型能够学习更适合聚类和分类的低维表示，优于半非负矩阵分解，也优于其他最先进的方法变体。
2015-09-10 cs.CV cs.LG stat.ML
A Nonmonotone Gradient-Based Algorithm for Symmetric Nonnegative Matrix Factorization and Graph Clustering
Arizona State University（亚利桑那州立大学）
提出SNMPBB算法，首次将非单调投影Barzilai-Borwein方法应用于对称非负矩阵分解，并扩展至图聚类和大规模问题，证明全局收敛性，实验显示显著加速和精度提升。
2026-06-01 cs.LG cs.NA math.NA
ACCAMS: Additive Co-Clustering to Approximate Matrices Succinctly
Google（谷歌）
矩阵完成和近似是流行的工具，以捕捉用户的偏好推荐和近似缺失的数据。而不是使用低秩因子分解，我们采取了一个截然不同的方法，基于简单的见解，一个加性模型的共同聚类允许一个近似矩阵有效。这使我们能够构建一个简洁的模型，每学习一点模型，都大大击败了矩阵近似的所有因子分解方法。更令人惊讶的是，我们发现，在小的联合聚类求和是更有效的建模矩阵比经典的联合聚类，它只使用一个大的矩阵分区。遵循奥卡姆剃刀原理表明，我们的模型所诱导的简单结构比经典的共聚类或矩阵分解更好地捕捉了现实世界中存在的潜在偏好和决策过程。我们提供了一个迭代的最小化算法，一个崩溃的吉布斯采样器，理论保证矩阵近似，和优秀的经验证据，我们的方法的有效性。我们在Netflix问题上实现了最先进的结果，模型复杂性只有一小部分。
2014-12-31 cs.LG stat.ML
Non-Negative Matrix Factorization with Scale Data Structure Preservation
Sultan Qaboos University（苏丹卡布斯大学）；École de technologie supérieure（高等技术学院）
本文所描述的模型属于非负矩阵分解方法的家庭设计的数据表示和降维。除了保持数据的正性属性外，它还旨在保持矩阵分解过程中的数据结构。其思想是向NMF成本函数添加惩罚项，以在原始数据点和变换后的数据点的成对相似性矩阵之间施加尺度关系。新模型的解决方案涉及到推导一个新的参数化更新方案的系数矩阵，这使得它有可能提高质量的减少数据时，用于聚类和分类。提出的聚类算法相比，一些现有的NMF为基础的算法和一些流形学习为基础的算法时，应用到一些现实生活中的数据集。实验结果表明了该算法的有效性。
2022-09-22 cs.LG
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；MINES-ParisTech（巴黎高科矿业学院）
在本文中，我们提出了我们的工作，在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化，而是关注整个网络的空间拥堵配置。在我们的工作中，我们的目标是描述这种网络级的交通状态的典型的时间动态模式，并实现长期预测的大规模的交通动态，在一个统一的数据挖掘框架。为此，我们使用非负张量分解（NTF）来制定这个联合任务，NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果，长期预测的交通演变。
2012-12-18 cs.LG
Station-to-User Transfer Learning: Towards Explainable User Clustering Through Latent Trip Signatures Using Tidal-Regularized Non-Negative Matrix Factorization
George Mason University（乔治梅森大学）
城市地区为我们提供了一个可用数据的宝库，几乎涵盖了人口生活的各个方面。这项工作的重点是流动性数据，以及它将如何帮助我们提高对城市流动模式的理解。现成的、规模可观的票价卡数据可以捕捉公共交通网络中的行程。然而，这样的数据通常缺乏时间模态，因此推断行程语义、车站功能和用户简档的任务是相当具有挑战性的。由于现有的方法要么集中在车站级或用户级的信号，他们很容易过拟合，并产生不太可信和有见地的结果。为了正确地从行程数据中学习这些特征，我们提出了一个通过潜在表示的集体学习框架，该框架通过从站级信号中学习到的集体模式来增强用户级学习。该框架使用了一种新的，所谓的潮汐正则化非负矩阵分解方法，它采用了领域知识的形式，在通用的非负矩阵分解的时间客流模式。为了评估我们的模型的性能，用户稳定性测试的基础上，经典的兰德指数引入作为基准不同的无监督学习模型的度量。我们提供了一个定性分析的车站功能和用户简档的华盛顿特区地铁，并显示我们的方法如何支持时空城市内的流动性探索。
2020-04-27 cs.LG cs.SI
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解（SNMF）模型作为许多标准聚类算法（包括流行的谱聚类方法）的简单重构而自然出现。最近的工作表明，SNMF的一个基本实例提供了优越的聚类质量相比，许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中，我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上，并产生两个快速有效的算法，其优化使用i）可证明收敛的加速邻近梯度（APG）的过程和ii）的启发式版本的交替方向乘法（ADMM）框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡：虽然前者的方法是可证明收敛的，它是相当慢，比后者的方法，我们也提供了显着的，但不太严格的数学证明其收敛性。通过大量的实验，我们不仅表明，这些方法的功效是等于最先进的SNMF算法的状态，而且，后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法，甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
Federated Matrix Factorization: Algorithm Design and Application to Data Clustering
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
近年来，人们对数据隐私的要求使得联邦学习（FL）成为大规模异构网络中一种新的分布式学习范式。尽管已经提出了许多FL算法，但是很少有人考虑矩阵分解（MF）模型，该模型已知具有大量的信号处理和机器学习应用。与现有的FL算法是针对单一变量块的光滑问题而设计的不同，联邦MF（FedMF）算法需要处理两个变量块的非凸和非光滑问题（由于约束或正则化）。在本文中，我们提出了两个新的FedMF算法，即FedMAvg和FedMGS，模型平均和梯度共享原则的基础上，分别解决这一挑战。FedMAvg和FedMGS都采用每轮通信多步本地更新的方式来加快收敛速度，并只允许随机抽样的客户端子集与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析，描述了数据分布、局部更新次数和部分客户端通信对算法性能的影响。通过集中在一个数据聚类任务，广泛的实验结果，以检查这两种算法的实际性能，以及证明他们的有效性，现有的分布式聚类算法。
2020-10-30 cs.DC cs.LG math.OC
SCPP: A Unified Python Library for Soft Clustering
介绍用于软聚类的开源Python框架SCPP，它建立规范接口统一多种软聚类方法，集成40种算法及综合基准测试，提供文档、示例等，实现可重复实验与新算法扩展。
2026-08-18 cs.AI cs.LG
Chem-NMF: Multi-layer $α$-divergence Non-Negative Matrix Factorization for Cardiorespiratory Disease Clustering, with Improved Convergence Inspired by Chemical Catalysts and Rigorous Asymptotic Analysis
Electrical and Computer Engineering Department, McMaster University（麦斯特大学电气与计算机工程系）；L.R. Wilson/Bell Canada Chair in Data Communications（数据通信LR. Wilson/Bell Canada chair）
提出Chem-NMF，一种受化学催化剂启发的多层α-散度非负矩阵分解方法，通过界定因子和渐近分析确保收敛，在生物医学信号和人脸图像上分别提升聚类准确率5.6%和11.1%。
2025-10-08 cs.LG eess.SP
Structured Sparse Non-negative Matrix Factorization with L20-Norm for scRNA-seq Data Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；Warshel Institute for Computational Biology, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）瓦谢尔计算生物研究院）
非负矩阵分解（NMF）是降维和聚类的有力工具。然而，NMF聚类结果的解释是困难的，特别是对于没有有效的特征选择的高维生物数据。在本文中，我们首先介绍了一个行稀疏NMF与$\ell_{2,0}$ -范数约束（NMF_ $\ell_{20}$），其中基矩阵$W$是由$\ell_{2,0}$ -范数约束，使$W$具有行稀疏模式与特征选择。由于$\ell_{2,0}$ -范数是非凸的、非光滑的，求解该模型是一个挑战。幸运的是，我们证明了$\ell_{2,0}$ -范数满足Kurdyka-范数{ojasiewicz}性质.在此基础上，提出了求解NMF_ $\ell_{20}$模型的近似交替线性化极小化算法及其单调加速算法.此外，我们还提出了一个正交NMF $\ell_{2,0}$ -范数约束（ONMF_ $\ell_{20}$），以提高聚类性能，通过使用一个非负的正交约束。通过将ONMF_ $\ell_{20}$转化为一系列约束和惩罚矩阵分解问题，提出了一种求解ONMF_ $\ell_{20}$的有效算法.数值和scRNA-seq数据集上的结果证明了我们的方法与现有方法相比的效率。
2021-04-27 cs.LG
Binary Orthogonal Non-negative Matrix Factorization
University of Lethbridge（莱斯布里奇大学）
我们提出了一种计算二进制正交非负矩阵分解（BONMF）的聚类和分类的方法。该方法在几个有代表性的现实世界的数据集上进行了测试。数值结果表明，该方法与相关技术相比，具有更高的精度。该方法具有训练和分类速度快、空间利用率高等优点。
2022-10-19 cs.LG math.OC
CoxNTF: A New Approach for Joint Clustering and Prediction in Survival Analysis
针对现有方法未整合生存信息的问题，提出CoxNTF方法，通过非负张量分解结合Coxnet生存概率构建加权协变量张量，在保持与Coxnet相当预测性能的同时提供结构化聚类框架并处理特征冗余。
2025-08-24 cs.LG
Unsupervised Selective Manifold Regularized Matrix Factorization
George Mason University（乔治梅森大学）
用于矩阵分解的流形正则化方法依赖于聚类假设，由此在分解空间中保留输入空间中数据的邻域结构。我们认为，使用所有数据点的k邻域作为正则化约束可能会对因子分解的质量产生负面影响，并提出了一种无监督的选择性正则矩阵因子分解算法来解决这个问题。我们的方法联合学习稀疏的代表集及其邻居的亲和力，以及数据分解。我们进一步提出了一个快速近似我们的方法，放松对数据的选择性约束。我们提出的算法是有竞争力的基线和国家的最先进的流形正则化和聚类算法。
2020-10-20 cs.LG
Text Mining using Nonnegative Matrix Factorization and Latent Semantic Analysis
Shahid Bahonar University of Kerman（沙希德巴霍纳尔克尔曼大学）
文本聚类可以说是现代数据采掘中最重要的课题之一。然而，文本数据需要标记化，这通常会产生非常大且高度稀疏的术语-文档矩阵，这通常难以使用传统的机器学习算法进行处理。潜在语义分析等方法有助于缓解这个问题，但在实践中并不完全稳定。因此，我们提出了一种新的基于非负矩阵分解的特征聚集方法，该方法将术语分组，然后将每组的术语向量聚集成一个新的特征向量。这些特征向量一起创建了一个更适合聚类的新特征空间。此外，我们提出了一个新的确定性初始化球形K均值，这证明是非常有用的这种特定类型的数据。为了评估所提出的方法，我们将其与该领域的一些最新研究以及一些最实用的方法进行比较。在我们的实验中，我们得出结论，该方法要么显着提高聚类性能，或保持其他方法的性能，同时提高结果的稳定性。
2020-02-24 cs.LG stat.ML
A Convergent Algorithm for Bi-orthogonal Nonnegative Matrix Tri-Factorization
本文提出了一种具有正交约束的非负矩阵分解的收敛算法。这个分解的概念最早是由Ding等人提出的，目的是进一步提高NMF的聚类能力。然而，由于原始算法是基于乘法更新规则开发的，因此无法保证算法的收敛性。在本文中，我们利用我们以前的工作中提出的技术来开发的算法，并证明它收敛到解空间内的一个稳定点。
2018-11-15 cs.LG
Is Simple Better? Revisiting Non-linear Matrix Factorization for Learning Incomplete Ratings
ETH Zurich（苏黎世联邦理工学院）
矩阵分解技术已被广泛用作推荐系统的协同过滤方法。最近，在这种情况下，已经探索了深度学习算法的不同变体，以改进使用用户-项目交互数据进行个性化推荐的任务。潜在用户或项目因素与原始特征之间的映射是高度非线性的，这一想法表明经典的矩阵分解技术不再足够。在本文中，我们提出了一种多层非线性半非负矩阵分解方法，其动机是用户-项目交互可以更准确地使用非线性项目特征的线性组合来建模。首先，我们从设计的多层非线性Semi-NMF方法中学习用户和项目表示的潜在因素。其次，将构建的架构与深度学习算法（如受限玻尔兹曼机和最先进的深度矩阵分解技术）进行比较。通过在潜在项空间中使用监督率预测任务和无监督聚类，我们证明了我们提出的方法在预测中具有更好的泛化能力，并且在聚类任务中具有与深度矩阵分解相当的表示能力。
2018-09-21 cs.LG stat.ML
Coupled Compound Poisson Factorization
Princeton University（普林斯顿大学）
我们提出了一个通用的框架，耦合复合泊松因子分解（CCPF），捕捉丢失的数据机制，在非常稀疏的数据集耦合分层泊松因子分解与任意的数据生成模型。我们推导出一个随机变分推理算法的结果模型，并作为我们的框架的例子，实现三种不同的数据生成模型-混合模型，线性回归和因子分析-鲁棒模型的非随机缺失数据的聚类，预测和矩阵分解的背景下。在所有这三种情况下，我们测试我们的框架对模型，忽略了大规模研究中的缺失数据机制与非随机缺失数据，我们表明，明确建模的缺失数据机制大大提高了结果的质量，使用数据日志的可能性进行测量的测试集。
2017-01-09 cs.AI cs.LG stat.ML
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对弱监督信息能否直接用于对比学习的问题，本文建立统一理论框架，通过谱聚类相似度图与误差界分析，揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
Multi-layer matrix factorization for cancer subtyping using full and partial multi-omics dataset
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Xi’an Polytechnic University（西安工程大学）；University of Toronto（多伦多大学）
针对当前癌症亚型分类依赖完整多组学数据、忽略组学多层隐式关系的问题，提出多层矩阵分解（MLMF）方法，通过多组学特征矩阵的多层分解与融合及类别指示矩阵处理缺失数据，在10个数据集上性能优于或媲美现有方法。
2024-11-18 cs.AI cs.LG q-bio.QM
EquiNMF: Graph Regularized Multiview Nonnegative Matrix Factorization
SickKids Research Institute（SickKids研究所）；University of Toronto（多伦多大学）
本文提出EquiNMF方法，通过图正则化多视图非负矩阵分解实现数据整合，自动设置参数以提升聚类效果，实验显示其优于其他单视图和多视图方法。
2014-09-14 cs.LG cs.NA math.NA
Learnable Similarity and Dissimilarity Guided Symmetric Non-Negative Matrix Factorization
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对SymNMF中k-NN构建相似性矩阵存在的误导问题，提出带可学习权重的加权k-NN图构建方法，引入对偶差异性矩阵与新正交正则化，设计交替优化算法并理论证明收敛性，在8个数据集上优于9种先进方法。
2024-12-05 cs.LG
One-Pass Incomplete Multi-view Clustering
College of Computer Science & Technology, Nanjing University of Aeronautics & Astronautics（南京航空航天大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）
真实数据往往具有多模态或来自多个异构源，形成所谓的多视图数据，这在机器学习中受到越来越多的关注。多视图聚类（MVC）成为其重要的范式。在实际应用中，一些视图经常会丢失实例。在这样的多视图数据集上进行聚类被称为不完全多视图聚类（IMC），并且具有相当大的挑战性。到目前为止，虽然已经开发了许多方法，但大多数方法都是离线的，并且具有很高的计算和存储成本，特别是对于大规模数据集。为了解决这个问题，在本文中，我们提出了一个一遍不完全多视图聚类框架（OPIMC）。OPIMC借助正则化矩阵分解和加权矩阵分解，可以相对容易地处理这类问题。与现有的唯一在线内模控制方法不同，OPIMC通过引入两个全局统计量，可以直接得到聚类结果，并有效地确定迭代过程的终止。最后，在四个真实数据集上进行了大量的实验，证明了所提出的OPIMC方法的效率和有效性。
2019-03-02 cs.LG stat.ML
Multiple Independent Subspace Clusterings
Southwest University（西南大学）；George Mason University（乔治梅森大学）；China University of Geosciences（中国地质大学）；Beijing University Of Civil Engineering and Architecture（北京建筑大学）
多重聚类旨在发现将数据组织成聚类的各种方法。尽管取得了进展，但对于用户来说，分析和理解每个输出聚类的独特结构仍然是一个挑战。为了简化这个过程，我们考虑不同的聚类嵌入在不同的子空间，并分析嵌入子空间，以揭示每个聚类的结构。为此，我们提供了一个两阶段的方法，称为MISC（多个独立子空间插值）。在第一阶段，MISC使用独立子空间分析来寻找多个统计独立（即非冗余）的子空间，并通过最小描述长度原则来确定子空间的数量。在第二阶段，为了解释嵌入每个子空间中的样本的内在几何结构，MISC执行图正则化半非负矩阵分解来探索聚类。它还将内核技巧集成到矩阵分解中，以处理非线性可分离的聚类。在人工数据集上的实验结果表明，MISC算法可以从所寻找的独立子空间中发现不同的有趣聚类，并且在真实数据集上的性能优于其他相关和竞争性方法。
2019-05-10 cs.LG stat.ML
