Nonnegative Matrix Factorization and I-Divergence Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们将该算法解释为csiszár-Tusnády的交替最小化过程，并研究其一些稳定性性质。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。
2005-07-13 math.OC math.PR
Descent methods for Nonnegative Matrix Factorization
本文提出多种下降方法用于非负矩阵分解，并分析了一种新的快速块坐标方法——秩一残差迭代（RRI），证明其收敛性并扩展到非负张量分解，同时引入稀疏性、离散性和平滑性等可控约束。
2009-08-24 cs.IR cs.NA math.NA
Masked Symmetric Nonnegative Matrix Factorization for Community Detection in Incomplete Networks
Nankai University（南开大学）
针对不完整邻接矩阵，提出掩码对称非负矩阵分解框架，直接分解部分观测网络，通过非对称松弛和交替非负最小二乘算法实现，理论证明精确罚性质，实验优于基线方法。
2026-06-11 math.OC
Robust Collaborative Nonnegative Matrix Factorization For Hyperspectral Unmixing (R-CoNMF)
最近推出的协作非负矩阵分解（CoNMF）算法的设想，同时估计的端元的数量，混合矩阵，和分数丰度从高光谱线性混合物。本文介绍了R-CoNMF，它是CoNMF的一个健壮版本。通过a）包括体积正则化器，其惩罚到由纯像素算法推断的混合矩阵的距离;以及通过b）引入新的邻近交替优化（PAO）算法，其保证收敛到临界点，增加了鲁棒性。我们的实验结果表明，R-CoNMF提供了有效的估计时，端元的数量是未知的，当他们是已知的。
2015-06-16 math.OC
Approximate Nonnegative Matrix Factorization via Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们解释的算法作为一个交替的最小化过程La Csiszár-Tusnády和调查它的一些稳定性。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。NMF的一个有趣的系统理论应用是隐马尔可夫模型的近似实现问题。
2004-02-13 math.OC math.PR
Strong NP-Hardness of Rank-2 Nonnegative Matrix Factorization
University of Mons（蒙斯大学）
该研究证明Frobenius范数下最优秩-2非负矩阵分解（NMF）的计算是强NP难的，通过从\textsc{Clique}问题的多项式时间归约完成证明，同时也确立了秩-2对称NMF的强NP难性。
2026-10-16 cs.CC math.OC
Computing approximate PSD factorizations
给出了一个计算非负矩阵PSD近似分解的算法。该算法的运行时间与输入矩阵的维数成多项式关系，与PSD秩和逼近误差成指数关系。当因子的行和列被限制在一般多面体中时，主要成分是精确因子分解算法。这严格地推广了非负矩阵分解，可以通过让这个多面体是非负正交来捕获。
2016-02-23 cs.DS math.OC
Learning nonnegative matrix factorizations from compressed data
本文提出了一种从压缩数据中学习非负矩阵分解的框架，通过随机化抽样方法实现低秩非负分解，并验证了其在实际应用中的有效性。
2026-02-15 cs.LG cs.NA math.NA
Boolean Matrix Factorization via Nonnegative Auxiliary Optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出了一种新的布尔矩阵分解方法。该方法不是直接求解BMF问题，而是求解一个非负优化问题，该问题的约束条件是一个辅助矩阵，其布尔结构与初始布尔数据相同。然后对非负辅助优化问题的解进行阈值化，为BMF问题提供一个解。在存在精确解的条件下，证明了两个解空间的等价性。此外，还证明了算法的非增性。在模拟数据集和真实数据集上的实验结果表明，该算法与现有的其他方法相比，具有更好的有效性和复杂性。
2021-06-08 cs.DS cs.LG math.OC
Hierarchical Clustering of Hyperspectral Images using Rank-Two Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；Georgia Institute of Technology（佐治亚理工学院）
本文设计了一种高分辨率高光谱图像的层次聚类算法。在算法的核心，一个新的秩2非负矩阵分解（NMF）算法被用来分裂的集群，这是由凸几何概念的动机。该方法从包含所有像素的单个聚类开始，并且在每个步骤中，（i）以使得下一步骤中的误差最小化的方式选择聚类，以及（ii）以使得聚类很好地平衡和稳定的方式使用秩二NMF将所选择的聚类分成两个不相交的聚类。所提出的方法也可以作为一个端元提取算法中存在的纯像素。这种方法的有效性说明了几个合成和现实世界的高光谱图像，并表现出优于标准的聚类技术，如k-均值，球形k-均值和标准NMF。
2014-08-19 cs.CV cs.IR math.OC
Fixed Point Algorithm for Solving Nonmonotone Variational Inequalities in Nonnegative Matrix Factorization
非负矩阵分解（NMF）是将数据矩阵近似为两个非负矩阵的乘积，是机器学习和数据分析中的一个关键问题。NMF的一种方法是将问题表示为最小化数据矩阵与具有非负性约束的两个非负矩阵的乘积之间的距离的非凸最优化问题，然后使用迭代算法来求解该问题。常用的算法是乘性更新算法和交替最小二乘算法。虽然这两种算法收敛很快，但它们可能不会收敛到问题的稳定点，该问题等于距离函数梯度的非单调变分不等式的解。本文在Krasnosel'\u不动点算法的基础上提出了一种求解该问题的迭代算法。收敛性分析表明，在一定的假设条件下，该算法生成的序列的任一聚点都属于该变分不等式的解集.将MATLAB中的{ \tt 'mult'}和{ \tt 'als'}算法以及所提算法应用于各种NMF问题，结果表明所提算法收敛速度快，是有效的。
2016-11-01 math.OC
A Multilevel Approach For Nonnegative Matrix Factorization
非负矩阵分解（NMF）是用两个低秩非负矩阵的乘积近似非负矩阵的问题，并且已经被证明在许多应用中特别有用，例如，在本文中，我们解释了如何NMF算法可以嵌入到多层方法的框架，以加速其收敛。这种技术可以应用于数据在低维空间中通过保持非负性的线性变换得到良好近似表示的情况。一个简单的多层次的策略进行了描述，并通过实验证明，加快显着三个流行的NMF算法（交替非负最小二乘，乘法更新和层次交替最小二乘）在几个标准的图像数据集。
2011-10-04 cs.NA math.NA math.OC
Alternating proximal gradient method for nonnegative matrix factorization
非负矩阵分解在人脸识别、文本挖掘、谱分析等领域有着广泛的应用。本文提出了一种求解该问题的交替逼近梯度法。通过对迭代序列的一致正下界假设，可以证明任意极限点都满足一阶最优性条件。然后应用Nesterov型外推技术来加速算法。虽然这种技术最初用于凸规划，但它对非凸非负矩阵分解问题非常有效。大量的数值实验说明了交替邻近梯度法和加速技术的有效性。特别是对于真实数据的测试，加速方法显示出很高的优越性，以国家的最先进的算法在速度与可比的解决方案的质量。
2013-02-11 cs.IT math.IT math.OC
Heuristics for Exact Nonnegative Matrix Factorization
本文提出两种启发式方法用于精确非负矩阵分解，通过模拟退火和贪心随机自适应搜索启发式方法，展示了其在多种非负矩阵类别的应用优势，并探讨了非负秩的行为特性。
2014-11-26 cs.LG cs.NA math.NA
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University（乌普萨拉大学）；Research Institutes of Sweden (RISE)（瑞典研究机构（RISE））
我们描述了一种用于非负矩阵分解的基于图的神经加速技术，该技术建立在矩阵和二部图之间的联系之上，该联系在某些领域是众所周知的，例如，稀疏线性代数，但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛，并提出了一个适合于图神经网络的问题的图形表示。然后，我们专注于非负矩阵分解的任务，并提出了一个图神经网络，交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明，即使我们只在较小的合成实例上以无监督的方式进行训练，我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
Introduction to Nonnegative Matrix Factorization
本文介绍非负矩阵因子分解的应用、解的几何性质与唯一性、复杂度及算法，并探讨其与多面体扩展形式的联系。
2017-03-02 cs.CV cs.LG cs.NA
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解（SymNMF）在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中，我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker（KKT）点集.此外，它实现了一个全球次线性收敛速度。我们还表明，该算法可以有效地实现并行。此外，充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明，该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
A Provably Correct and Robust Algorithm for Convolutive Nonnegative Matrix Factorization
Stanford University（斯坦福大学）；Université de Mons（蒙斯大学）
在本文中，我们提出了一个可证明正确的算法卷积非负矩阵分解（CNMF）的分离性假设。CNMF是非负矩阵分解（NMF）的卷积变体，其作为具有附加序列结构的NMF起作用。该模型在许多应用中是有用的，例如音频声源分离和神经序列识别。虽然已经提出了一些启发式算法来解决CNMF，但据我们所知，还没有开发出可证明正确的算法。我们提出了一种算法，利用CNMF的NMF模型的基础上，利用现有的算法可分离NMF证明找到一个解决方案在一定条件下。我们的方法保证在低噪声设置的解决方案，并运行在多项式时间。我们说明了它的有效性合成数据集，并在唱歌的鸟的音频序列。
2019-11-13 cs.LG math.OC stat.ML
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons（蒙斯大学）；Université de Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新，称为启发式外推与重启（HER）。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF，特别是具有挑战性的计算场景，同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Robust Near-Separable Nonnegative Matrix Factorization Using Linear Optimization
非负矩阵分解（NMF）在可分离性假设下是一种易于处理的方法，即输入数据矩阵的所有列都属于由其中少数列生成的凸锥。Bittorf、Recht、Ré和Tropp（“使用线性程序分解非负矩阵”，NIPS 2012）提出了一种线性规划（LP）模型，称为Hottopixx，该模型在输入矩阵的任何小扰动下都具有鲁棒性。然而，Hottopixx有两个重要的缺点：（i）输入矩阵必须被归一化，以及（ii）因子分解秩必须事先已知。为了解决这两个问题，本文对Hottopixx进行了推广，提出了一种新的LP模型，该模型不需要归一化，并且可以自动检测分解秩。此外，新的LP模型更灵活，对噪声的容忍度更高，并且可以很容易地适应于处理离群值和其他噪声模型。最后，我们在几个合成数据集上显示，它的性能优于Hottopixx，同时与两种最先进的方法竞争。
2013-10-21 math.OC stat.ML
Coordinate projected gradient descent minimization and its application to orthogonal nonnegative matrix factorization
针对大规模复合非凸优化问题，提出一种带自适应步长的循环坐标下降法，证明了其下降性质与最坏复杂度，并成功应用于正交非负矩阵分解。
2025-04-01 math.OC
Nonnegative Factorization and The Maximum Edge Biclique Problem
Université catholique de Louvain（天主教鲁汶大学）
本文研究非负因子分解（NF）的NP难性，通过归约到最大边双团问题证明其对于任意固定秩是NP难的，并分析了乘法更新与分层交替最小二乘算法的差异，提出了一种基于乘法更新的双团查找算法。
2008-10-23 cs.NA math.NA math.OC
A block inertial Bregman proximal algorithm for nonsmooth nonconvex problems with application to symmetric nonnegative matrix tri-factorization
我们提出了BIBPA，一个块惯性Bregman邻近算法，用于最小化块相对光滑函数（即，相对光滑的每个块）和块可分的非光滑非凸函数的总和。我们证明了在标准假设下，BIBPA生成的序列依序收敛到目标的临界点，并且当目标函数满足Kurdyka-Kazojasiewicz（Kazojasiewicz）性质时，序列全局收敛.当目标函数满足Kjojasiewicz不等式时，给出了算法的收敛速度.我们应用BIBPA对称非负矩阵三因子分解（SymTriNMF）问题，我们提出了核函数的SymTriNMF和BIBPA的子问题提供封闭形式的解决方案。
2020-05-08 cs.NA math.NA math.OC
Fast and Robust Recursive Algorithms for Separable Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；University of Waterloo（滑铁卢大学）
本文研究了在可分离性假设下的非负矩阵分解问题（即存在由包含所有列的输入非负数据矩阵的列的一个小子集所张成的锥），它等价于线性混合模型和纯像元假设下的高光谱解混问题.我们提出了一族快速递归算法，并证明了它们在输入数据矩阵的任何小扰动下都是鲁棒的。这个家庭概括了现有的几个高光谱解混算法，因此第一次提供了一个理论上的理由，他们更好的实际性能。
2013-10-07 cs.LG math.OC stat.ML
Sparse and Unique Nonnegative Matrix Factorization Through Data Preprocessing
University of Waterloo（滑铁卢大学）
本文提出一种基于数据预处理的非负矩阵分解方法，利用M-矩阵理论和几何解释，在可分离性假设下得到稀疏且唯一的最优解。
2012-04-11 cs.NA math.NA math.OC
Initialization for Nonnegative Matrix Factorization: a Comprehensive Review
Shiraz University of Technology（设拉子理工大学）
非负矩阵分解（NMF）已经成为一种流行的方法，用于表示有意义的数据，通过从观察到的非负数据矩阵中提取非负基特征。这种方法在识别隐藏数据方面的一些独特功能使这种方法成为机器学习领域的强大方法之一。NMF是一个已知的非凸优化问题，初始点对寻找有效的局部解有重要影响。在本文中，我们研究了迄今为止最流行的NMF初始化程序。我们描述了每种方法，并提出了一些他们的优点和缺点。最后，给出了一些数值结果来说明每个算法的性能。
2021-09-08 cs.LG math.OC
An exact penalty approach for optimization with nonnegative orthogonality constraints
非负正交约束优化在机器学习和数据科学中有着广泛的应用。它是NP难的，由于一些组合性质的约束。首先，我们提出了一个等效的优化配方与非负和多个球形约束和一个额外的单一非线性约束。各种约束规格，一阶和二阶最优性条件的等价制定进行了讨论。通过建立可行集的局部误差界，在保持非负约束和多重球面约束的条件下，设计了一类（光滑）精确罚函数模型。如果罚参数足够大而不是趋于无穷大，则罚模型是精确的。一个实用的惩罚算法与后处理，然后开发。它使用二阶方法近似求解一系列具有非负和多个球面约束的子问题。研究了罚算法的渐近收敛性，证明了任意极限点都是原问题的弱不动点，并在适当的条件下成为不动点.在投影问题、正交非负矩阵分解问题和K-指标模型上的大量数值结果表明了该方法的有效性。
2020-12-31 math.OC
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University（爱荷华州立大学）
非负矩阵分解（NMF）作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长，自然地，样本被收集并分布存储在本地计算节点中。因此，越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法，称为\textit{distributed incremental block coordinate descent}（DID），来解决这个问题。通过调整块坐标下降框架，获得封闭形式的更新规则在DID。此外，DID基于最近更新的残差矩阵递增地执行更新。因此，每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
Accelerated Multiplicative Updates and Hierarchical ALS Algorithms for Nonnegative Matrix Factorization
非负矩阵分解（NMF）是一种数据分析技术，广泛应用于文本挖掘、图像处理、高光谱数据分析、计算生物学和聚类等领域。在本文中，我们考虑了两种旨在解决NMF问题的著名算法，即Lee和Seung的乘法更新以及Cichocki等人的分层交替最小二乘。我们提出了一种简单的方法来显着加速这些方案，基于仔细分析每次迭代所需的计算成本，同时保持其收敛性。这种加速技术也可以应用于其他算法，我们举例说明的投影梯度法林。经验证明，图像和文本数据集上的加速算法的效率，并与最先进的交替非负最小二乘算法相媲美。
2011-10-06 cs.NA math.NA math.OC
Coordinate Descent Methods for Symmetric Nonnegative Matrix Factorization
University of Mons（蒙斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文提出高效的坐标下降方法用于对称非负矩阵分解，适用于大规模稀疏矩阵，通过实验证明其在合成和实际数据集上的有效性。
2016-05-31 cs.CV cs.LG cs.NA
Off-diagonal Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解（symNMF）是非负矩阵分解（NMF）的一个变体，允许处理对称输入矩阵，并且已经被证明特别适合于聚类任务。在本文中，我们提出了一个新的模型，称为非对角symNMF（ODsymNMF），不考虑对角条目的输入矩阵中的目标函数。与symNMF相比，ODsymNMF有三个关键优势。首先，ODsymNMF在理论上更合理，因为总是存在大小的精确因式分解，最多$\nicefrac{n(n-1)}{2}$，其中$n$是输入矩阵的维数。其次，它在实践中更有意义，因为输入矩阵的对角项通常对应于项目与其本身之间的相似性，不会带来太多信息。第三，它使最优化问题更容易解决。特别是，它将允许我们设计一种基于坐标下降的算法，该算法最小化输入矩阵及其近似值之间的分量$\ell_1$范数。我们证明，这个规范是更好地适合于二进制输入矩阵在实践中经常遇到的。我们还推导出一个坐标下降法的组件明智的$\ell_2$规范，并比较这两种方法与symNMF合成和文档数据集。
2020-03-10 cs.NA math.NA math.OC
A Unified Convergence Analysis of the Multiplicative Update Algorithm for Regularized Nonnegative Matrix Factorization
乘性更新（MU）算法已被广泛地用于估计各种发散和正则化下的非负矩阵分解（NMF）问题中的基矩阵和系数矩阵。然而，理论上的收敛性保证只得到了一些特殊的分歧，没有正规化。在这项工作中，我们提供了一个概念上简单的，自包含的，和统一的证明适用于NMF的MU算法的收敛性与广泛的分歧和正则化。我们的主要结果显示了迭代序列（即，由MU算法产生的基和系数矩阵对）收敛到非凸NMF最优化问题的稳定点集合。我们的证明策略有可能为分析机器学习和信号处理中的类似问题开辟新的途径。
2017-06-07 cs.IT math.IT math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Sparse Separable Nonnegative Matrix Factorization
University of Mons（蒙斯大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）
我们提出了一个新的非负矩阵分解（NMF）的变种，结合分离性和稀疏性的假设。可分离性要求第一NMF因子的列等于输入矩阵的列，而稀疏性要求第二NMF因子的列是稀疏的。我们称这种变体稀疏可分NMF（SSNMF），我们证明是NP-完全的，而不是可分NMF，可以解决多项式时间。考虑这种新模型的主要动机是处理欠定盲声源分离问题，如多光谱图像解混。我们介绍了一种算法来解决SSNMF，基于连续非负投影算法（SNPA，一种有效的算法可分离NMF），和一个精确的稀疏非负最小二乘求解器。我们证明，在无噪声设置和温和的假设下，我们的算法恢复真正的潜在来源。这说明了合成数据集和多光谱图像的解混实验。
2020-06-13 cs.CV cs.LG eess.SP
Semidefinite Programming Based Preconditioning for More Robust Near-Separable Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；University of Waterloo（滑铁卢大学）
非负矩阵分解（NMF）在可分离性假设下可以有效地求解，即使在存在噪声的情况下也是有效的，并已被证明是文档分类和高光谱解混的一种强大技术。这个问题被称为近可分NMF，并要求存在一个锥，该锥由输入非负矩阵的列的一个小子集构成，近似包含所有列。本文提出了一种基于半定规划的预处理方法，使输入矩阵满足条件。这反过来又可以显着提高近可分离NMF算法的性能，这是在流行的连续投影算法（SPA）上说明的。新的预处理的SPA被证明是更强大的噪声，并优于SPA的几个合成数据集。我们还展示了如何有效集的方法，使我们能够应用大规模的现实世界的高光谱图像的预处理。
2014-09-16 cs.LG math.OC stat.ML
Spatially Coherent Clustering Based on Orthogonal Nonnegative Matrix Factorization
Center for Industrial Mathematics（工业数学中心）；University of Bremen（不来梅大学）
聚类分析中的经典方法通常基于特征空间分析。然而，许多应用程序会导致数据集具有额外的空间信息和具有空间相干类的地面实况，这些数据集不一定能通过标准聚类方法很好地重建。出于在高光谱成像中的应用，我们在这项工作中引入基于正交非负矩阵分解的聚类模型，其中包括一个额外的全变差（TV）正则化程序的集群成员矩阵，以执行集群中所需的空间相干性。我们提出了几种不同的优化技术的方法，其中TV正则化要么作为后续的后处理步骤执行，要么包含在聚类算法中。最后，我们提供了一个数值评估所有提出的方法从矩阵辅助激光解吸/电离成像测量，这导致显着更好的聚类结果相比，经典的聚类模型获得的高光谱数据集。
2021-04-25 cs.LG cs.NA math.NA
Algorithms for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence
Université de Mons（蒙斯大学）
非负矩阵分解（NMF）是一种标准的非负数据线性降维技术。Kullback-Leibler（KL）散度是NMF中最常用的目标函数之一，它用于度量输入数据与低秩近似之间的差异。它对应于最大似然估计，当观察到的数据样本的基本统计量遵循泊松分布，KL NMF是特别有意义的计数数据集，如文档或图像。在本文中，我们首先收集的KL目标函数的重要性质是必不可少的研究KL NMF算法的收敛性。其次，在回顾现有求解KL NMF的算法的基础上，提出了三种保证目标函数非增性的新算法。我们还提供了一个整体收敛保证我们提出的算法之一。最后，我们进行了广泛的数值实验，提供了一个全面的图片的KL NMF算法的性能。
2021-04-17 cs.LG eess.SP math.OC
Accelerating Nonnegative Matrix Factorization Algorithms using Extrapolation
Faculté Polytechnique, Université de Mons（蒙斯大学理工学院）；Department of Mathematics and Operational Research（数学与运筹学系）
本文提出了一种通用框架，用于显著加速非负矩阵因子分解（NMF）算法。该框架灵感来源于用于加速凸优化中梯度方法的外推方案以及平行切线法。然而，在处理非凸NMF问题的双块精确坐标下降算法中使用外推是新颖的。我们通过合成、图像和文档数据集，展示了该方法在两个最先进的NMF算法（加速层次交替最小二乘法（A-HALS）和交替非负最小二乘法（ANLS））上的性能。
2018-07-12 cs.NA math.NA math.OC
Bi-Objective Nonnegative Matrix Factorization: Linear Versus Kernel-Based Models
Institut Charles Delaunay (CNRS)（夏尔·德拉吕研究所（CNRS））；Université de Technologie de Troyes（特鲁瓦技术大学）
非负矩阵分解（NMF）是一类功能强大的特征提取技术，已成功地应用于许多领域，即在信号和图像处理。当前的NMF技术在其基于线性或非线性核的公式中仅限于单目标问题。在本文中，我们建议重新审视NMF作为一个多目标问题，特别是一个双目标的，在输入和特征空间中定义的目标函数考虑。通过利用多目标优化文献中的加权求和方法，提出的双目标NMF确定了一组非支配的Pareto最优解，而不是一个单一的最优分解。此外，相应的帕累托前沿的研究和近似。对真实高光谱图像进行解混的实验结果表明，与现有方法相比，该方法具有较好的解混效果。
2015-01-22 cs.CV cs.LG math.OC
Online Nonnegative Matrix Factorization with Outliers
National University of Singapore（新加坡国立大学）
我们提出了一个统一的和系统的框架进行在线非负矩阵分解在离群值的存在。我们的框架特别适合大规模数据。我们提出了两个求解器的基础上投影梯度下降和交替方向的乘法器。利用拟鞅收敛定理证明了目标值序列几乎必然收敛。我们还证明了学习字典的序列几乎肯定收敛到期望损失函数的稳定点集。此外，我们扩展我们的基本问题制定不同的约束和正则化的各种设置。我们还根据每个设置调整求解器和分析。我们在合成和真实数据集上进行了大量的实验。这些实验证明了我们的算法的计算效率和有效性的任务，如（部分为基础的）基础学习，图像去噪，阴影去除和前景-背景分离。
2016-10-15 cs.IT cs.LG math.IT
Generalized Separable Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）
非负矩阵分解（NMF）是一种用于非负数据的线性维数技术，其应用包括图像分析，文本挖掘，音频源分离和高光谱解混。给定数据矩阵$M$和因子分解秩$r$，NMF查找具有$r$列的非负矩阵$W$和具有$r$行的非负矩阵$H$，使得$M \approx WH$。NMF一般是NP难的。然而，它可以有效地计算下的可分性假设，要求的基础向量出现的数据点，即，存在一个索引集$\mathcal{K}$，使$W = M(:,\mathcal{K})$。在本文中，我们推广了可分性假设：我们只需要对每个秩一因子$W(:,k)H(k,:)$为$k=1,2,\dots,r$，或者$W(:,k) = M(:,j)$为一些$j$或$H(k,:) = M(i,:)$为一些$i$。我们把相应的问题称为广义可分NMF（GS-NMF）。我们讨论了GS-NMF的一些性质，并提出了一个凸优化模型，我们使用快速梯度法求解。我们还提出了启发式算法的启发式连续投影算法。为了验证我们的方法的有效性，我们将它们与几种最先进的可分离NMF算法在合成，文档和图像数据集上进行比较。
2019-10-15 cs.CV cs.LG math.OC
Exact and Heuristic Algorithms for Semi-Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
给定矩阵$M$（不一定是非负的）和分解秩$r$，半非负矩阵分解（semi-NMF）寻找具有$r$列的矩阵$U$和具有$r$行的非负矩阵$V$，使得$UV$是根据某个度量的$M$的最佳可能近似。在本文中，我们研究的性质，我们开发的精确和启发式算法的半NMF。我们的贡献是三方面的。首先，我们证明了秩为$r$的半NMF的误差必须小于秩为$r-1$的最佳无约束逼近。这导致我们一个新的初始化过程的基础上的奇异值分解（SVD）的质量保证的近似。其次，我们提出了一个精确的算法（即，一个算法，找到一个最优解），也是基于SVD，为某一类矩阵（包括非负不可约矩阵），我们从中获得一个初始化不属于该类矩阵。数值实验表明，这第二种方法表现非常好，并允许我们在许多情况下计算最佳的半NMF分解。最后，我们分析了半NMF证明其NP-硬度的计算复杂性，已经在秩1的情况下（即，对于$r = 1$），我们表明，半NMF有时不适定（即，最优解不存在）。
2015-05-08 cs.LG cs.NA math.NA
Online Nonnegative Matrix Factorization with General Divergences
National University of Singapore（新加坡国立大学）
本文提出了一种统一的在线非负矩阵分解框架，适用于多种重要分歧度，证明了学习字典序列几乎必然收敛到期望损失函数的临界点，并在合成和真实数据集上验证了算法的计算效率和字典质量。
2016-08-02 cs.IT cs.NA math.IT
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky（肯塔基大学）
该研究提出基于幂次范数比正则化的SNMF模型，结合DCA与ADMM算法求解，在锚点识别和分类任务上性能优于或媲美现有方法，计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
