Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates
Stanford University(斯坦福大学)
识别高维时间序列数据中的重复模式是许多科学领域中的重要问题。一个流行的模型来实现这一点是卷积非负矩阵分解(CNMF),它扩展了经典的非负矩阵分解(NMF)从长时间序列中提取短暂的时间模体。以前的工作通常通过乘法参数更新来拟合这个模型-这种方法被广泛认为是NMF的次优方法,特别是在大规模数据应用中。在这里,我们描述了如何扩展两个流行的和计算可扩展的NMF算法-层次交替最小二乘法(HALS)和交替非负最小二乘法(ANLS)-为CNMF模型。这两种方法都证明了在大规模合成和真实世界数据上的乘法更新的性能优势。
2019-06-29 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
A Characterization of the Non-Uniqueness of Nonnegative Matrix Factorizations
Harvard University(哈佛大学)
非负矩阵分解(NMF)是一种流行的降维技术,它将数据分解为可解释的部分。然而,这种分解通常是不可识别的(即使是置换和缩放)。虽然其他研究提供的标准下,NMF是可识别的,我们提出了第一个(据我们所知)表征的NMF的不可识别性。我们准确地描述了何时以及如何发生非唯一性,这对算法有效地发现替代解决方案(如果存在的话)具有重要意义。
2016-04-03 cs.LG stat.ML
Nonnegative Matrix Factorization with Toeplitz Penalty
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
非负矩阵分解(NMF)是一种无监督学习算法,可生成数据矩阵的线性、基于部分的近似。NMF构造一个非负低秩基矩阵和一个非负低秩权重矩阵,当它们相乘在一起时,使用一些成本函数近似感兴趣的数据矩阵。NMF算法可以被修改为包括辅助约束,该辅助约束对矩阵分解的成本函数施加特定于任务的惩罚或限制。在本文中,我们提出了一种新的NMF算法,利用非数据依赖的辅助约束,将Toeplitz矩阵的基础和权重矩阵的乘法更新。我们比较我们的新Toeplitz非负矩阵分解(TNMF)算法的面部识别性能的Zellner非负矩阵分解(ZNMF)算法,它利用数据相关的辅助约束的性能。我们还比较了面部识别性能的两个上述算法的性能与几个预先存在的约束NMF算法,具有非数据依赖的处罚。使用剑桥ORL人脸数据库和耶鲁人脸数据库评估人脸识别性能。
2020-12-07 cs.LG stat.ML
Nonnegative Matrix Factorization with Zellner Penalty
School of Mathematical Sciences, Rochester Institute of Technology(罗切斯特理工学院数学科学学院)
非负矩阵分解(Nonnegative matrix factorization,NMF)是一种相对较新的无监督学习算法,它将非负数据矩阵分解为基于部分的、低维的线性数据表示。NMF在图像处理、文本挖掘、推荐系统和各种其他领域都有应用。自诞生以来,NMF算法已经被许多作者修改和探索。一个这样的修改涉及添加辅助约束的目标函数的因式分解。这些辅助约束的目的是对目标函数施加特定于任务的惩罚或限制。虽然已经研究了许多辅助约束,但没有一个利用数据相关的惩罚。在本文中,我们提出了Zellner非负矩阵分解(ZNMF),它使用数据依赖的辅助约束。我们使用Cambridge ORL数据库评估ZNMF算法和其他几种著名的约束NMF算法的面部识别性能。
2020-12-07 cs.LG stat.ML
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Bayesian Group Nonnegative Matrix Factorization for EEG Analysis
Korea Advanced Institute of Technology(韩国高等科学技术院)
我们提出了一个生成模型的一组EEG分析,基于适当的内核假设的EEG数据。我们推导出变分推理更新规则使用各种近似技术。所提出的模型优于当前国家的最先进的算法在共同的模式提取。该模型的有效性进行了测试的BCI竞争数据集。
2012-12-18 cs.LG stat.ML
NIMFA: A Python Library for Nonnegative Matrix Factorization
NIMFA是一个开源Python库,为非负矩阵分解算法提供了统一的接口。它包括最先进的因子分解方法,初始化方法和质量评分的实现。它支持密集和稀疏矩阵表示。NIMFA的基于组件的实现和分层设计应该帮助用户采用已经实现的技术或设计和编码矩阵分解任务的新策略。
2018-08-06 cs.AI cs.LG q-bio.QM
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
耦合矩阵张量分解(CMTF)有助于集成和分析多个数据源,并有助于发现有意义的信息。非负CMTF(N-CMTF)已在许多应用中用于识别潜在模式、预测和推荐。然而,由于张量和矩阵数据之间的耦合增加的复杂性,现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法,避免了频繁的梯度更新。理论和实证分析表明,与现有的因子分解算法相比,本文提出的N-CMTF因子分解算法不仅精度更高,而且计算效率更高.
2020-03-07 cs.LG stat.ML
Stochastic variance reduced multiplicative update for nonnegative matrix factorization
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生院,东京电波通信大学)
本文提出一种随机方差缩减乘法更新算法,改进非负矩阵分解的收敛速度,通过数值实验验证其在不同数据集上的优越性。
2018-04-03 cs.CV cs.LG cs.NA
Introduction to Nonnegative Matrix Factorization
本文介绍非负矩阵因子分解的应用、解的几何性质与唯一性、复杂度及算法,并探讨其与多面体扩展形式的联系。
2017-03-02 cs.CV cs.LG cs.NA
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF,用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF,以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案,使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明,神经NMF优于其他层次NMF方法对这些数据集,并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Regularized L21-Based Semi-NonNegative Matrix Factorization
Portland State University(波特兰州立大学)
提出了一种通用的数据压缩算法--正则化L21半非负矩阵分解(L21 SNF)。L21 SNF提供了强大的,基于部分的压缩适用于混合符号数据,高保真,个别数据点重建是至关重要的。我们给出了算法收敛性的严格证明。通过实验,我们展示了L21 SNF的用例优势,包括在许多一般机器学习过程中广泛遇到的高度超定系统的压缩应用。
2020-05-10 cs.LG cs.NA math.NA
Co-Separable Nonnegative Matrix Factorization
The University of Hong Kong(香港大学)
非负矩阵分解(NMF)是模式识别领域中的一个流行模型。它的目的是通过两个非负矩阵W和H的乘积找到非负数据M的一个低秩近似。一般来说,NMF是NP-难求解的,但在可分性假设下,它可以有效地求解,这要求因子矩阵的列等于输入矩阵的列。本文推广了基于3-因子NMF M=P_1SP_2的可分性假设,并要求S是输入矩阵的子矩阵。我们将该NMF称为可共分NMF(CoS-NMF)。讨论了CoS-NMF的一些数学性质,并给出了它与CUR分解、广义可分NMF(GS-NMF)、双正交三因子分解(BiOR-NM 3F)等相关矩阵分解的关系。提出了一种CoS-NMF优化模型,并采用交替快速梯度法进行求解。在合成数据集、文档数据集和人脸数据集上进行了数值实验,验证了CoS NMF模型的有效性.与现有方法相比,CoS-NMF模型在协同聚类方面表现良好,并且保持了对输入数据矩阵的良好逼近。
2021-09-02 cs.LG stat.ML
Continuous Semi-Supervised Nonnegative Matrix Factorization
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校);University of California Los Angeles(加州大学洛杉矶分校)
非负矩阵分解可以用于以无监督的方式自动检测语料库中的主题。该技术相当于一个近似的非负矩阵的产品的两个非负矩阵的低秩。在本文中,我们证明了这种分解可以与连续响应变量的回归相结合。在实践中,该方法比在识别主题并重新训练可解释性之后进行的回归更好。
2022-12-19 cs.CL cs.LG
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University(博阿齐奇大学)
本文综述了非负矩阵因子化方法在聚类中的应用,探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering
Guangdong University of Technology(广东工业大学)
非负矩阵分解(NMF)是一种广泛使用的数据表示技术。受深度学习的表达能力的启发,已经提出了几种配备有深度架构的NMF变体。然而,这些方法大多使用唯一的非负性,而忽略了任务特定的数据特征。在本文中,我们提出了一种新的深度近似正交非负矩阵分解方法,同时施加非负性和正交性,目的是通过使用不同层次的抽象数据进行层次聚类。在两个人脸图像数据集上的实验表明,该方法比其他深度矩阵分解方法和最先进的单层NMF变体具有更好的聚类性能。
2017-11-20 cs.LG
Bi-Objective Nonnegative Matrix Factorization: Linear Versus Kernel-Based Models
Institut Charles Delaunay (CNRS)(夏尔·德拉吕研究所(CNRS));Université de Technologie de Troyes(特鲁瓦技术大学)
非负矩阵分解(NMF)是一类功能强大的特征提取技术,已成功地应用于许多领域,即在信号和图像处理。当前的NMF技术在其基于线性或非线性核的公式中仅限于单目标问题。在本文中,我们建议重新审视NMF作为一个多目标问题,特别是一个双目标的,在输入和特征空间中定义的目标函数考虑。通过利用多目标优化文献中的加权求和方法,提出的双目标NMF确定了一组非支配的Pareto最优解,而不是一个单一的最优分解。此外,相应的帕累托前沿的研究和近似。对真实高光谱图像进行解混的实验结果表明,与现有方法相比,该方法具有较好的解混效果。
2015-01-22 cs.CV cs.LG math.OC
A Provably Correct and Robust Algorithm for Convolutive Nonnegative Matrix Factorization
Stanford University(斯坦福大学);Université de Mons(蒙斯大学)
在本文中,我们提出了一个可证明正确的算法卷积非负矩阵分解(CNMF)的分离性假设。CNMF是非负矩阵分解(NMF)的卷积变体,其作为具有附加序列结构的NMF起作用。该模型在许多应用中是有用的,例如音频声源分离和神经序列识别。虽然已经提出了一些启发式算法来解决CNMF,但据我们所知,还没有开发出可证明正确的算法。我们提出了一种算法,利用CNMF的NMF模型的基础上,利用现有的算法可分离NMF证明找到一个解决方案在一定条件下。我们的方法保证在低噪声设置的解决方案,并运行在多项式时间。我们说明了它的有效性合成数据集,并在唱歌的鸟的音频序列。
2019-11-13 cs.LG math.OC stat.ML
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中,我们介绍了一个概率模型学习非负矩阵分解(NMF),通常用于预测缺失值和发现隐藏模式的数据,其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型,包括具有不同大小和维度的MovieLens 100K和MovieLens 1M,并表明与现有的贝叶斯NMF方法相比,所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
Generalized Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学)
非负矩阵分解(NMF)是一种用于非负数据的线性维数技术,其应用包括图像分析,文本挖掘,音频源分离和高光谱解混。给定数据矩阵$M$和因子分解秩$r$,NMF查找具有$r$列的非负矩阵$W$和具有$r$行的非负矩阵$H$,使得$M \approx WH$。NMF一般是NP难的。然而,它可以有效地计算下的可分性假设,要求的基础向量出现的数据点,即,存在一个索引集$\mathcal{K}$,使$W = M(:,\mathcal{K})$。在本文中,我们推广了可分性假设:我们只需要对每个秩一因子$W(:,k)H(k,:)$为$k=1,2,\dots,r$,或者$W(:,k) = M(:,j)$为一些$j$或$H(k,:) = M(i,:)$为一些$i$。我们把相应的问题称为广义可分NMF(GS-NMF)。我们讨论了GS-NMF的一些性质,并提出了一个凸优化模型,我们使用快速梯度法求解。我们还提出了启发式算法的启发式连续投影算法。为了验证我们的方法的有效性,我们将它们与几种最先进的可分离NMF算法在合成,文档和图像数据集上进行比较。
2019-10-15 cs.CV cs.LG math.OC
Probabilistic semi-nonnegative matrix factorization: a Skellam-based framework
LTCI, Institut Polytechnique de Paris, Télécom Paris(巴黎理工学院LTCI、巴黎电信学院);Smart Impulse(Smart Impulse公司)
我们提出了一个新的概率模型来解决半非负矩阵分解(SNMF),称为Skellam-SNMF。它是一个由先验分量、Skellam分布隐变量和观测数据组成的层次生成模型。推导了两种推理算法:用于最大\emph{a posteriori}估计的期望最大化(EM)算法和用于包括参数先验分布估计的完全贝叶斯推理的变分贝叶斯EM(VBEM)算法。从这个基于Skellam的模型,我们还引入了一个新的分歧$\mathcal{D}$之间的一个实值的目标数据$x$和两个非负参数$λ_{0}$和$λ_{1}$,使$\mathcal{D}\left(x\midλ_{0},λ_{1}\right)=0\Leftrightarrow x=λ_{0}-λ_{1}$,这是一个推广的Kullback-Leibler(KL)分歧。最后,我们对这些新算法进行了实验研究,以了解它们的行为,并证明它们在自动聚类任务中可以在真实数据上优于经典的SNMF方法。
2021-07-07 cs.LG stat.ML
A Convergent Algorithm for Bi-orthogonal Nonnegative Matrix Tri-Factorization
本文提出了一种具有正交约束的非负矩阵分解的收敛算法。这个分解的概念最早是由Ding等人提出的,目的是进一步提高NMF的聚类能力。然而,由于原始算法是基于乘法更新规则开发的,因此无法保证算法的收敛性。在本文中,我们利用我们以前的工作中提出的技术来开发的算法,并证明它收敛到解空间内的一个稳定点。
2018-11-15 cs.LG
Sparse Separable Nonnegative Matrix Factorization
University of Mons(蒙斯大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所)
我们提出了一个新的非负矩阵分解(NMF)的变种,结合分离性和稀疏性的假设。可分离性要求第一NMF因子的列等于输入矩阵的列,而稀疏性要求第二NMF因子的列是稀疏的。我们称这种变体稀疏可分NMF(SSNMF),我们证明是NP-完全的,而不是可分NMF,可以解决多项式时间。考虑这种新模型的主要动机是处理欠定盲声源分离问题,如多光谱图像解混。我们介绍了一种算法来解决SSNMF,基于连续非负投影算法(SNPA,一种有效的算法可分离NMF),和一个精确的稀疏非负最小二乘求解器。我们证明,在无噪声设置和温和的假设下,我们的算法恢复真正的潜在来源。这说明了合成数据集和多光谱图像的解混实验。
2020-06-13 cs.CV cs.LG eess.SP
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles(加州大学洛杉矶分校)
在线非负矩阵分解(ONMF)是一种在线环境中的矩阵分解技术,其中数据以流式方式获取,并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中,我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
Bayesian Mean-parameterized Nonnegative Binary Matrix Factorization
Criteo AI Lab(Criteo人工智能实验室);IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
二进制数据矩阵可以表示许多类型的数据,例如社交网络、投票或基因表达。在某些情况下,二进制矩阵的分析可以用非负矩阵分解(NMF)来处理,其中观察到的数据矩阵近似为两个较小的非负矩阵的乘积。在这种情况下,概率NMF假设数据通常是伯努利分布的生成模型。通常,链接函数用于将因子分解映射到$[0,1]$范围,以确保有效的伯努利均值参数。然而,链接函数有潜在的缺点,导致不可解释的模型。相反,均值参数化NMF克服了这个问题。提出了贝叶斯均值参数化非负二元矩阵分解模型(NBMF)的统一框架。我们分析了三种模型,对应于三种可能的约束,尊重的平均参数化,而不需要链接功能。在此基础上,我们提出了一种新的折叠Gibbs采样器和一种折叠变分算法来推断因子的后验分布。接下来,我们将所提出的模型扩展到非参数设置,其中所使用的潜在维度的数量由观察到的数据自动驱动。我们分析了我们的NBMF方法在多个数据集上的性能,用于不同的任务,如字典学习和缺失数据的预测。实验表明,我们的方法提供了类似或优于现有技术的结果,同时自动检测相关组件的数量。
2020-06-20 cs.LG stat.ML
Reverse Annealing for Nonnegative/Binary Matrix Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
最近的研究表明,量子退火可以作为一种有效的,快速的子程序在某些类型的矩阵分解算法。量子退火算法在快速、近似的答案方面表现最好,但性能很快就趋于稳定。在本文中,我们利用反向退火,而不是向前退火的量子退火子程序的非负/二元矩阵分解问题。在前向退火的初始全局搜索之后,反向退火执行一系列局部搜索,以改进现有的解决方案。对于除了最短运行时间之外的所有运行时间,与单独的正向退火相比,正向退火和反向退火的组合显著提高了性能。
2021-01-12 cs.ET cs.LG quant-ph
On the clustering aspect of nonnegative matrix factorization
Grad. School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院)
本文对非负矩阵分解(NMF)的聚类问题进行了理论解释。我们证明了即使不对基和/或系数矩阵施加正交性或稀疏性约束,NMF仍然可以给出聚类结果,从而为许多工作提供了理论支持,例如,Xu等人[1]和Kim等人[2],显示了标准NMF作为聚类方法的优越性。
2010-06-12 cs.LG
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University(华中师范大学);The University of Hong Kong(香港大学)
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性,底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明,所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下,包括加性高斯噪声,加性拉普拉斯噪声,和泊松观测的详细误差范围可以推导出来。此外,极大极小下界与所建立的上界相匹配,最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果,这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比,基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
Heuristics for Exact Nonnegative Matrix Factorization
本文提出两种启发式方法用于精确非负矩阵分解,通过模拟退火和贪心随机自适应搜索启发式方法,展示了其在多种非负矩阵类别的应用优势,并探讨了非负秩的行为特性。
2014-11-26 cs.LG cs.NA math.NA
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University(乌普萨拉大学);Research Institutes of Sweden (RISE)(瑞典研究机构(RISE))
我们描述了一种用于非负矩阵分解的基于图的神经加速技术,该技术建立在矩阵和二部图之间的联系之上,该联系在某些领域是众所周知的,例如,稀疏线性代数,但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛,并提出了一个适合于图神经网络的问题的图形表示。然后,我们专注于非负矩阵分解的任务,并提出了一个图神经网络,交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明,即使我们只在较小的合成实例上以无监督的方式进行训练,我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
Fast and Robust Recursive Algorithms for Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
本文研究了在可分离性假设下的非负矩阵分解问题(即存在由包含所有列的输入非负数据矩阵的列的一个小子集所张成的锥),它等价于线性混合模型和纯像元假设下的高光谱解混问题.我们提出了一族快速递归算法,并证明了它们在输入数据矩阵的任何小扰动下都是鲁棒的。这个家庭概括了现有的几个高光谱解混算法,因此第一次提供了一个理论上的理由,他们更好的实际性能。
2013-10-07 cs.LG math.OC stat.ML
Converged Algorithms for Orthogonal Nonnegative Matrix Factorizations
Hokkaido University(北海道大学)
提出基于Lee和Seung算法以及Lin思想的单正交和双正交非负矩阵分解算法,并给出收敛性证明,实验验证了收敛性。
2011-03-16 cs.LG cs.NA math.NA
Monotonous (Semi-)Nonnegative Matrix Factorization
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Santa Fe Research(圣达菲研究公司)
非负矩阵分解(NMF)将非负矩阵分解为两个非负矩阵的乘积,即信号矩阵和混合矩阵。NMF的规模和排序的模糊性。通常,源信号本质上可以是单调的。例如,在声源分离问题中,源信号可以单调递增或递减,而混合矩阵可以具有非负项。NMF方法可能对这种情况无效,因为它遭受排序模糊性。本文提出了一种方法,将单调性的概念NMF,标记为单调NMF。提出了一种基于交替最小二乘的从数据矩阵中恢复单调信号的算法。进一步放宽了混合矩阵的假设,将单调NMF推广到实数数据矩阵。使用合成噪声数据的方法进行说明。通过单调NMF得到的结果与文献中的标准NMF算法进行了比较,结果表明,当潜在的源信号是单调的时,与标准NMF算法相比,单调NMF估计源信号。
2015-05-01 cs.LG stat.ML
The Why and How of Nonnegative Matrix Factorization
Université de Mons(蒙斯大学)
非负矩阵分解(Nonnegative matrix factorization,NMF)能够从一组非负数据向量中自动提取稀疏且有意义的特征,已成为高维数据分析中广泛使用的工具。我们首先在三个应用中说明NMF的这种性质,图像处理,文本挖掘和高光谱成像-这就是为什么。然后,我们解决的问题,解决NMF,这是NP-困难的一般。我们回顾了一些标准的NMF算法,并提出了一个最近的子类的NMF问题,称为近可分离的NMF,可以有效地解决(即,在多项式时间),即使在存在噪声-这是如何。最后,通过非负秩,简要描述了数学和计算机科学中与NMF密切相关的一些问题。
2014-03-07 cs.IR cs.LG math.OC
Near-Universal Multiplicative Updates for Nonnegative Einsum Factorization
Department of Statistics, University of Chicago(统计学系,芝加哥大学);Data Science Institute, University of Chicago(数据科学研究所,芝加哥大学)
NNEinFact提出了一种基于Einsum的非负张量分解乘法更新算法,能够高效适应各种非负分解模型,实现更快的收敛速度和更优的预测性能。
2026-09-21 cs.LG stat.ML
Coordinate Descent Methods for Symmetric Nonnegative Matrix Factorization
University of Mons(蒙斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
本文提出高效的坐标下降方法用于对称非负矩阵分解,适用于大规模稀疏矩阵,通过实验证明其在合成和实际数据集上的有效性。
2016-05-31 cs.CV cs.LG cs.NA
Adversarially-Trained Nonnegative Matrix Factorization
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT实验室、法国国家科学研究中心)
我们考虑一个adversarially-trained版本的非负矩阵分解,一个流行的潜在降维技术。在我们的公式中,攻击者将任意有界范数矩阵添加到给定的数据矩阵。我们设计了受对抗训练启发的高效算法,以优化具有增强泛化能力的字典和系数矩阵。在合成数据集和基准数据集上进行的广泛模拟表明,与最先进的竞争对手(包括对抗性非负矩阵分解的其他变体)相比,我们提出的方法在矩阵完成任务上具有卓越的预测性能。
2021-06-22 cs.LG eess.SP
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons(蒙斯大学);Université de Rennes(雷恩大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学研究所)
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新,称为启发式外推与重启(HER)。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF,特别是具有挑战性的计算场景,同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University(西北工业大学)
针对非负张量分解忽略特征边信息的问题,提出Wasserstein流形非负张量分解(WMNTF),通过最小化Wasserstein距离并引入图正则化项,有效利用特征相关性和样本流形信息,实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
On a Guided Nonnegative Matrix Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
完全无监督的主题模型在文档聚类和分类方面取得了巨大的成功。然而,当数据偏向于一组特征时,这些模型往往会学习不太有意义甚至冗余的主题。出于这个原因,我们提出了一种基于非负矩阵分解(NMF)模型的方法,被认为是\textit{Guided NMF},它结合了用户设计的种子词监督。我们的实验结果表明,该模型的承诺,并说明它是有竞争力的同类方法,只有很少的监督信息。
2021-02-05 cs.LG
Nonnegative Matrix Factorization with Transform Learning
IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心)
传统的基于NMF的信号分解依赖于谱数据的因式分解,其通常通过短时频率变换来计算。在本文中,我们建议放宽选择的一个预先固定的变换,并学习一个短时间的正交变换与因式分解。为此,我们制定了一个正则化的优化问题,让人想起传统的NMF,但与变换作为额外的未知参数,并设计了一种新的块下降算法,使找到这个目标函数的固定点。提出的联合变换学习和因式分解方法进行了测试的两个音频信号处理实验,说明其概念和实际的好处。
2017-12-15 cs.LG
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba(筑波大学)
用于计算梯度的反向传播算法已广泛用于深度神经网络(DNN)的权重计算。这种方法需要目标函数的导数,并且在寻找合适的参数(如学习率)方面存在一定的困难。在本文中,我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解(半NMF)。在该方法中,通过交替地计算权重矩阵来执行优化过程,并且不使用反向传播(BP)。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明,我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn(siat.ac.cn(注:此处原文仅提供了邮箱,未明确完整机构名,根据要求不提取))
近年来,半监督多视图非负矩阵分解(MVNMF)算法在多视图聚类中取得了很好的性能。然而,大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法(DCS^2MVNMF)。具体地说,每个视图的辅助矩阵,这增强了类间的区别引入一个判别加权矩阵。同时,利用标号和几何信息构造了一种新的图正则化方法。此外,我们设计了一种新的特征尺度归一化策略来对齐多个视图,并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
An Empirical Comparison of Sampling Quality Metrics: A Case Study for Bayesian Nonnegative Matrix Factorization
Harvard University(哈佛大学)
在这项工作中,我们经验性地探索的问题:我们如何才能评估一些目标分布的样本的质量?我们假设样本是由一些有效的蒙特卡罗程序提供的,所以我们保证样本的集合将渐近逼近真实分布。目前大多数评价方法都集中在两个问题上:(1)链是否混合,即是否从分布中抽样?以及(2)样本的独立性如何(因为MCMC程序产生相关样本)?专注于贝叶斯非负矩阵分解的情况下,我们经验性地评估采样质量的标准指标,以及提出新的指标来捕捉这些措施未能暴露的方面。我们特别感兴趣的采样方面是采样方法在NMF问题中在多个最优之间移动的能力(或能力)。作为一个代理,我们提出并研究了一些指标,可以量化的多样性的一组NMF因子分解采样器通过量化后验分布的覆盖范围。我们比较了一些标准的NMF抽样方法的性能,在这些新的指标。
2016-06-20 cs.LG stat.ML
Algorithms, Initializations, and Convergence for the Nonnegative Matrix Factorization
College of Charleston(查尔斯顿学院);North Carolina State University(北卡罗来纳州立大学);SAS Institute, Inc.(SAS研究所)
本文研究了非负矩阵分解算法的初始化对收敛速度和精度的影响,提出两种新的交替最小二乘算法,并讨论了收敛准则的选择问题。
2014-07-28 cs.LG cs.NA math.NA
A State-Space Approach to Dynamic Nonnegative Matrix Factorization
在过去的十年中,非负矩阵分解(NMF)得到了广泛的研究和应用。大量的注意力已经给予开发NMF算法,适合于建模时间序列与强时间依赖性。在本文中,我们提出了一种新的状态空间方法来执行动态NMF(D-NMF)。在所提出的概率框架中,NMF系数作为状态变量,其动态建模使用多滞后非负向量自回归(N-VAR)模型的过程方程。我们使用期望最大化,并提出了一个最大似然估计框架估计的基础矩阵和N-VAR模型参数。有趣的是,N-VAR模型的参数,通过简单地应用NMF。此外,我们推导出状态变量的最大后验估计(即,NMF系数),其基于预测步骤和更新步骤,类似于卡尔曼滤波器。我们说明了所提出的方法,使用不同的数值模拟的D-NMF显着优于其静态对应的好处。三个不同的应用程序的实验结果表明,所提出的方法优于两个国家的最先进的NMF方法,利用时间依赖性,即非负隐马尔可夫模型和帧堆叠的方法,而它需要更少的内存和计算能力。
2017-08-31 cs.LG stat.ML
Learning nonnegative matrix factorizations from compressed data
本文提出了一种从压缩数据中学习非负矩阵分解的框架,通过随机化抽样方法实现低秩非负分解,并验证了其在实际应用中的有效性。
2026-02-15 cs.LG cs.NA math.NA
Nonnegative Matrix Factorization Requires Irrationality
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Oxford(牛津大学)
研究证明非负矩阵分解中,即使输入矩阵为有理数,分解后的因子矩阵可能需要无理数元素,推翻了原有假设。
2017-03-22 cs.CC cs.LG cs.NA
Compressed Nonnegative Matrix Factorization is Fast and Accurate
Duke University(杜克大学)
非负矩阵分解(NMF)作为一种有用的数据分析技术在许多应用中享有盛誉。然而,近年来,它在实际情况中的使用正在经历挑战。其根本因素是信息科学中可用和所需的数据集规模日益增长。为了解决这个问题,在这项工作中,我们建议使用结构化的随机压缩,也就是说,随机投影,利用数据结构,两个NMF的变种:经典和可分离的。在可分离NMF(SNMF)中,左因子是输入矩阵的列的子集。我们提出了合适的配方为每个问题,处理不同的代表性算法内的每一个。我们表明,由此产生的压缩技术比未压缩的变体更快,大大降低了内存需求,并且不包括任何显着的性能恶化。所提出的SNMF结构化随机投影允许处理任意形状的大型矩阵,超出了高瘦矩阵的标准限制,从而在此一般设置中获得非常有效的计算。我们伴随着理论基础和众多不同的例子的算法演示,显示所提出的方法的适用性。
2015-09-06 cs.LG stat.ML
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH(浦项科技大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测,可提升时间模式清晰度与频域可解释性,在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization
Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);Colorado School of Mines(科罗拉多矿业学院)
对称非负矩阵分解(NMF),一般NMF的一个特殊的,但重要的类,被证明是有用的数据分析,特别是对各种聚类任务。不幸的是,设计对称NMF的快速算法并不像非对称NMF那样容易,后者承认分裂属性,允许有效的交替型算法。为了克服这个问题,我们将对称NMF转化为非对称NMF,然后借鉴非对称NMF算法的思想,设计求解对称NMF的快速算法。我们严格建立解决非对称重构返回对称NMF的解决方案,然后应用快速交替为基础的算法相应的重构问题。此外,我们表明这些快速算法承认强收敛保证的意义上,所产生的序列是收敛的至少在一个次线性率,它全局收敛到一个临界点的对称NMF。我们在合成数据和图像聚类上进行实验来支持我们的结果。
2018-11-14 cs.LG stat.ML
Semidefinite Programming Based Preconditioning for More Robust Near-Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
非负矩阵分解(NMF)在可分离性假设下可以有效地求解,即使在存在噪声的情况下也是有效的,并已被证明是文档分类和高光谱解混的一种强大技术。这个问题被称为近可分NMF,并要求存在一个锥,该锥由输入非负矩阵的列的一个小子集构成,近似包含所有列。本文提出了一种基于半定规划的预处理方法,使输入矩阵满足条件。这反过来又可以显着提高近可分离NMF算法的性能,这是在流行的连续投影算法(SPA)上说明的。新的预处理的SPA被证明是更强大的噪声,并优于SPA的几个合成数据集。我们还展示了如何有效集的方法,使我们能够应用大规模的现实世界的高光谱图像的预处理。
2014-09-16 cs.LG math.OC stat.ML
Efficient Nonnegative Tensor Factorization via Saturating Coordinate Descent
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
随着计算技术和基于Web的应用程序的进步,数据越来越多地以多维形式生成。由于存在大量用户和较少的用户交互,这些数据通常是稀疏的。为了解决这一问题,基于非负张量分解(NTF)的方法得到了广泛的应用。然而,现有的因式分解算法并不适合处理所有三个条件的大小,密度和秩的张量。因此,其适用性受到限制。在本文中,我们提出了一种新的快速和有效的NTF算法使用的元素选择方法。我们使用Lipschitz连续性计算元素的重要性,并提出了一种基于饱和点的元素选择方法,该方法选择一组元素进行列式更新以解决优化问题。实证分析表明,该算法是可扩展的张量大小,密度和排名相比,相关的国家的最先进的算法。
2020-03-07 cs.DC cs.LG stat.ML