Nonnegative Matrix Factorization with Toeplitz Penalty
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
非负矩阵分解(NMF)是一种无监督学习算法,可生成数据矩阵的线性、基于部分的近似。NMF构造一个非负低秩基矩阵和一个非负低秩权重矩阵,当它们相乘在一起时,使用一些成本函数近似感兴趣的数据矩阵。NMF算法可以被修改为包括辅助约束,该辅助约束对矩阵分解的成本函数施加特定于任务的惩罚或限制。在本文中,我们提出了一种新的NMF算法,利用非数据依赖的辅助约束,将Toeplitz矩阵的基础和权重矩阵的乘法更新。我们比较我们的新Toeplitz非负矩阵分解(TNMF)算法的面部识别性能的Zellner非负矩阵分解(ZNMF)算法,它利用数据相关的辅助约束的性能。我们还比较了面部识别性能的两个上述算法的性能与几个预先存在的约束NMF算法,具有非数据依赖的处罚。使用剑桥ORL人脸数据库和耶鲁人脸数据库评估人脸识别性能。
2020-12-07 cs.LG stat.ML
Nonnegative Matrix Factorization with Zellner Penalty
School of Mathematical Sciences, Rochester Institute of Technology(罗切斯特理工学院数学科学学院)
非负矩阵分解(Nonnegative matrix factorization,NMF)是一种相对较新的无监督学习算法,它将非负数据矩阵分解为基于部分的、低维的线性数据表示。NMF在图像处理、文本挖掘、推荐系统和各种其他领域都有应用。自诞生以来,NMF算法已经被许多作者修改和探索。一个这样的修改涉及添加辅助约束的目标函数的因式分解。这些辅助约束的目的是对目标函数施加特定于任务的惩罚或限制。虽然已经研究了许多辅助约束,但没有一个利用数据相关的惩罚。在本文中,我们提出了Zellner非负矩阵分解(ZNMF),它使用数据依赖的辅助约束。我们使用Cambridge ORL数据库评估ZNMF算法和其他几种著名的约束NMF算法的面部识别性能。
2020-12-07 cs.LG stat.ML
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Bayesian Group Nonnegative Matrix Factorization for EEG Analysis
Korea Advanced Institute of Technology(韩国高等科学技术院)
我们提出了一个生成模型的一组EEG分析,基于适当的内核假设的EEG数据。我们推导出变分推理更新规则使用各种近似技术。所提出的模型优于当前国家的最先进的算法在共同的模式提取。该模型的有效性进行了测试的BCI竞争数据集。
2012-12-18 cs.LG stat.ML
Nonnegative Matrix Factorization with Local Similarity Learning
Qingdao University(青岛大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
现有的非负矩阵分解方法侧重于学习数据的全局结构来构造基矩阵和系数矩阵,忽略了数据之间普遍存在的局部结构。本文提出了一种新的非负矩阵分解方法,该方法以相互增强的方式学习局部相似性和聚类。学习的新表示更具有代表性,因为它更好地揭示了数据的固有几何属性。给出了非线性扩展和有效的乘法更新,理论上的收敛保证。大量的实验结果证实了该模型的有效性。
2019-07-09 cs.CV cs.LG stat.ML
Continuous Semi-Supervised Nonnegative Matrix Factorization
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校);University of California Los Angeles(加州大学洛杉矶分校)
非负矩阵分解可以用于以无监督的方式自动检测语料库中的主题。该技术相当于一个近似的非负矩阵的产品的两个非负矩阵的低秩。在本文中,我们证明了这种分解可以与连续响应变量的回归相结合。在实践中,该方法比在识别主题并重新训练可解释性之后进行的回归更好。
2022-12-19 cs.CL cs.LG
Efficient Nonnegative Tensor Factorization via Saturating Coordinate Descent
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
随着计算技术和基于Web的应用程序的进步,数据越来越多地以多维形式生成。由于存在大量用户和较少的用户交互,这些数据通常是稀疏的。为了解决这一问题,基于非负张量分解(NTF)的方法得到了广泛的应用。然而,现有的因式分解算法并不适合处理所有三个条件的大小,密度和秩的张量。因此,其适用性受到限制。在本文中,我们提出了一种新的快速和有效的NTF算法使用的元素选择方法。我们使用Lipschitz连续性计算元素的重要性,并提出了一种基于饱和点的元素选择方法,该方法选择一组元素进行列式更新以解决优化问题。实证分析表明,该算法是可扩展的张量大小,密度和排名相比,相关的国家的最先进的算法。
2020-03-07 cs.DC cs.LG stat.ML
Regularized L21-Based Semi-NonNegative Matrix Factorization
Portland State University(波特兰州立大学)
提出了一种通用的数据压缩算法--正则化L21半非负矩阵分解(L21 SNF)。L21 SNF提供了强大的,基于部分的压缩适用于混合符号数据,高保真,个别数据点重建是至关重要的。我们给出了算法收敛性的严格证明。通过实验,我们展示了L21 SNF的用例优势,包括在许多一般机器学习过程中广泛遇到的高度超定系统的压缩应用。
2020-05-10 cs.LG cs.NA math.NA
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
耦合矩阵张量分解(CMTF)有助于集成和分析多个数据源,并有助于发现有意义的信息。非负CMTF(N-CMTF)已在许多应用中用于识别潜在模式、预测和推荐。然而,由于张量和矩阵数据之间的耦合增加的复杂性,现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法,避免了频繁的梯度更新。理论和实证分析表明,与现有的因子分解算法相比,本文提出的N-CMTF因子分解算法不仅精度更高,而且计算效率更高.
2020-03-07 cs.LG stat.ML
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University(博阿齐奇大学)
本文综述了非负矩阵因子化方法在聚类中的应用,探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积,将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中,数据经常被大的加性噪声部分破坏。当噪声的位置已知时,可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而,在许多现实世界的应用中,这些位置通常是未知的,这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解(RobustNMF)算法,该算法将部分腐败明确地建模为大的加性噪声,而不需要噪声的位置信息。在实践中,可以使用大的加性噪声来对离群值进行建模。特别是,所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering
Guangdong University of Technology(广东工业大学)
非负矩阵分解(NMF)是一种广泛使用的数据表示技术。受深度学习的表达能力的启发,已经提出了几种配备有深度架构的NMF变体。然而,这些方法大多使用唯一的非负性,而忽略了任务特定的数据特征。在本文中,我们提出了一种新的深度近似正交非负矩阵分解方法,同时施加非负性和正交性,目的是通过使用不同层次的抽象数据进行层次聚类。在两个人脸图像数据集上的实验表明,该方法比其他深度矩阵分解方法和最先进的单层NMF变体具有更好的聚类性能。
2017-11-20 cs.LG
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF,用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF,以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案,使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明,神经NMF优于其他层次NMF方法对这些数据集,并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中,我们介绍了一个概率模型学习非负矩阵分解(NMF),通常用于预测缺失值和发现隐藏模式的数据,其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型,包括具有不同大小和维度的MovieLens 100K和MovieLens 1M,并表明与现有的贝叶斯NMF方法相比,所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
Co-Separable Nonnegative Matrix Factorization
The University of Hong Kong(香港大学)
非负矩阵分解(NMF)是模式识别领域中的一个流行模型。它的目的是通过两个非负矩阵W和H的乘积找到非负数据M的一个低秩近似。一般来说,NMF是NP-难求解的,但在可分性假设下,它可以有效地求解,这要求因子矩阵的列等于输入矩阵的列。本文推广了基于3-因子NMF M=P_1SP_2的可分性假设,并要求S是输入矩阵的子矩阵。我们将该NMF称为可共分NMF(CoS-NMF)。讨论了CoS-NMF的一些数学性质,并给出了它与CUR分解、广义可分NMF(GS-NMF)、双正交三因子分解(BiOR-NM 3F)等相关矩阵分解的关系。提出了一种CoS-NMF优化模型,并采用交替快速梯度法进行求解。在合成数据集、文档数据集和人脸数据集上进行了数值实验,验证了CoS NMF模型的有效性.与现有方法相比,CoS-NMF模型在协同聚类方面表现良好,并且保持了对输入数据矩阵的良好逼近。
2021-09-02 cs.LG stat.ML
A Convergent Algorithm for Bi-orthogonal Nonnegative Matrix Tri-Factorization
本文提出了一种具有正交约束的非负矩阵分解的收敛算法。这个分解的概念最早是由Ding等人提出的,目的是进一步提高NMF的聚类能力。然而,由于原始算法是基于乘法更新规则开发的,因此无法保证算法的收敛性。在本文中,我们利用我们以前的工作中提出的技术来开发的算法,并证明它收敛到解空间内的一个稳定点。
2018-11-15 cs.LG
Reverse Annealing for Nonnegative/Binary Matrix Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
最近的研究表明,量子退火可以作为一种有效的,快速的子程序在某些类型的矩阵分解算法。量子退火算法在快速、近似的答案方面表现最好,但性能很快就趋于稳定。在本文中,我们利用反向退火,而不是向前退火的量子退火子程序的非负/二元矩阵分解问题。在前向退火的初始全局搜索之后,反向退火执行一系列局部搜索,以改进现有的解决方案。对于除了最短运行时间之外的所有运行时间,与单独的正向退火相比,正向退火和反向退火的组合显著提高了性能。
2021-01-12 cs.ET cs.LG quant-ph
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles(加州大学洛杉矶分校)
在线非负矩阵分解(ONMF)是一种在线环境中的矩阵分解技术,其中数据以流式方式获取,并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中,我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
A Provably Correct and Robust Algorithm for Convolutive Nonnegative Matrix Factorization
Stanford University(斯坦福大学);Université de Mons(蒙斯大学)
在本文中,我们提出了一个可证明正确的算法卷积非负矩阵分解(CNMF)的分离性假设。CNMF是非负矩阵分解(NMF)的卷积变体,其作为具有附加序列结构的NMF起作用。该模型在许多应用中是有用的,例如音频声源分离和神经序列识别。虽然已经提出了一些启发式算法来解决CNMF,但据我们所知,还没有开发出可证明正确的算法。我们提出了一种算法,利用CNMF的NMF模型的基础上,利用现有的算法可分离NMF证明找到一个解决方案在一定条件下。我们的方法保证在低噪声设置的解决方案,并运行在多项式时间。我们说明了它的有效性合成数据集,并在唱歌的鸟的音频序列。
2019-11-13 cs.LG math.OC stat.ML
Converged Algorithms for Orthogonal Nonnegative Matrix Factorizations
Hokkaido University(北海道大学)
提出基于Lee和Seung算法以及Lin思想的单正交和双正交非负矩阵分解算法,并给出收敛性证明,实验验证了收敛性。
2011-03-16 cs.LG cs.NA math.NA
Heuristics for Exact Nonnegative Matrix Factorization
本文提出两种启发式方法用于精确非负矩阵分解,通过模拟退火和贪心随机自适应搜索启发式方法,展示了其在多种非负矩阵类别的应用优势,并探讨了非负秩的行为特性。
2014-11-26 cs.LG cs.NA math.NA
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University(乌普萨拉大学);Research Institutes of Sweden (RISE)(瑞典研究机构(RISE))
我们描述了一种用于非负矩阵分解的基于图的神经加速技术,该技术建立在矩阵和二部图之间的联系之上,该联系在某些领域是众所周知的,例如,稀疏线性代数,但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛,并提出了一个适合于图神经网络的问题的图形表示。然后,我们专注于非负矩阵分解的任务,并提出了一个图神经网络,交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明,即使我们只在较小的合成实例上以无监督的方式进行训练,我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
On the clustering aspect of nonnegative matrix factorization
Grad. School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院)
本文对非负矩阵分解(NMF)的聚类问题进行了理论解释。我们证明了即使不对基和/或系数矩阵施加正交性或稀疏性约束,NMF仍然可以给出聚类结果,从而为许多工作提供了理论支持,例如,Xu等人[1]和Kim等人[2],显示了标准NMF作为聚类方法的优越性。
2010-06-12 cs.LG
Adversarially-Trained Nonnegative Matrix Factorization
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT实验室、法国国家科学研究中心)
我们考虑一个adversarially-trained版本的非负矩阵分解,一个流行的潜在降维技术。在我们的公式中,攻击者将任意有界范数矩阵添加到给定的数据矩阵。我们设计了受对抗训练启发的高效算法,以优化具有增强泛化能力的字典和系数矩阵。在合成数据集和基准数据集上进行的广泛模拟表明,与最先进的竞争对手(包括对抗性非负矩阵分解的其他变体)相比,我们提出的方法在矩阵完成任务上具有卓越的预测性能。
2021-06-22 cs.LG eess.SP
Introduction to Nonnegative Matrix Factorization
本文介绍非负矩阵因子分解的应用、解的几何性质与唯一性、复杂度及算法,并探讨其与多面体扩展形式的联系。
2017-03-02 cs.CV cs.LG cs.NA
The Why and How of Nonnegative Matrix Factorization
Université de Mons(蒙斯大学)
非负矩阵分解(Nonnegative matrix factorization,NMF)能够从一组非负数据向量中自动提取稀疏且有意义的特征,已成为高维数据分析中广泛使用的工具。我们首先在三个应用中说明NMF的这种性质,图像处理,文本挖掘和高光谱成像-这就是为什么。然后,我们解决的问题,解决NMF,这是NP-困难的一般。我们回顾了一些标准的NMF算法,并提出了一个最近的子类的NMF问题,称为近可分离的NMF,可以有效地解决(即,在多项式时间),即使在存在噪声-这是如何。最后,通过非负秩,简要描述了数学和计算机科学中与NMF密切相关的一些问题。
2014-03-07 cs.IR cs.LG math.OC
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons(蒙斯大学);Université de Rennes(雷恩大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学研究所)
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新,称为启发式外推与重启(HER)。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF,特别是具有挑战性的计算场景,同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Fast and Robust Recursive Algorithms for Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
本文研究了在可分离性假设下的非负矩阵分解问题(即存在由包含所有列的输入非负数据矩阵的列的一个小子集所张成的锥),它等价于线性混合模型和纯像元假设下的高光谱解混问题.我们提出了一族快速递归算法,并证明了它们在输入数据矩阵的任何小扰动下都是鲁棒的。这个家庭概括了现有的几个高光谱解混算法,因此第一次提供了一个理论上的理由,他们更好的实际性能。
2013-10-07 cs.LG math.OC stat.ML
Stochastic variance reduced multiplicative update for nonnegative matrix factorization
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生院,东京电波通信大学)
本文提出一种随机方差缩减乘法更新算法,改进非负矩阵分解的收敛速度,通过数值实验验证其在不同数据集上的优越性。
2018-04-03 cs.CV cs.LG cs.NA
Probabilistic semi-nonnegative matrix factorization: a Skellam-based framework
LTCI, Institut Polytechnique de Paris, Télécom Paris(巴黎理工学院LTCI、巴黎电信学院);Smart Impulse(Smart Impulse公司)
我们提出了一个新的概率模型来解决半非负矩阵分解(SNMF),称为Skellam-SNMF。它是一个由先验分量、Skellam分布隐变量和观测数据组成的层次生成模型。推导了两种推理算法:用于最大\emph{a posteriori}估计的期望最大化(EM)算法和用于包括参数先验分布估计的完全贝叶斯推理的变分贝叶斯EM(VBEM)算法。从这个基于Skellam的模型,我们还引入了一个新的分歧$\mathcal{D}$之间的一个实值的目标数据$x$和两个非负参数$λ_{0}$和$λ_{1}$,使$\mathcal{D}\left(x\midλ_{0},λ_{1}\right)=0\Leftrightarrow x=λ_{0}-λ_{1}$,这是一个推广的Kullback-Leibler(KL)分歧。最后,我们对这些新算法进行了实验研究,以了解它们的行为,并证明它们在自动聚类任务中可以在真实数据上优于经典的SNMF方法。
2021-07-07 cs.LG stat.ML
Bayesian Mean-parameterized Nonnegative Binary Matrix Factorization
Criteo AI Lab(Criteo人工智能实验室);IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
二进制数据矩阵可以表示许多类型的数据,例如社交网络、投票或基因表达。在某些情况下,二进制矩阵的分析可以用非负矩阵分解(NMF)来处理,其中观察到的数据矩阵近似为两个较小的非负矩阵的乘积。在这种情况下,概率NMF假设数据通常是伯努利分布的生成模型。通常,链接函数用于将因子分解映射到$[0,1]$范围,以确保有效的伯努利均值参数。然而,链接函数有潜在的缺点,导致不可解释的模型。相反,均值参数化NMF克服了这个问题。提出了贝叶斯均值参数化非负二元矩阵分解模型(NBMF)的统一框架。我们分析了三种模型,对应于三种可能的约束,尊重的平均参数化,而不需要链接功能。在此基础上,我们提出了一种新的折叠Gibbs采样器和一种折叠变分算法来推断因子的后验分布。接下来,我们将所提出的模型扩展到非参数设置,其中所使用的潜在维度的数量由观察到的数据自动驱动。我们分析了我们的NBMF方法在多个数据集上的性能,用于不同的任务,如字典学习和缺失数据的预测。实验表明,我们的方法提供了类似或优于现有技术的结果,同时自动检测相关组件的数量。
2020-06-20 cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University(西北工业大学)
针对非负张量分解忽略特征边信息的问题,提出Wasserstein流形非负张量分解(WMNTF),通过最小化Wasserstein距离并引入图正则化项,有效利用特征相关性和样本流形信息,实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
On a Guided Nonnegative Matrix Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
完全无监督的主题模型在文档聚类和分类方面取得了巨大的成功。然而,当数据偏向于一组特征时,这些模型往往会学习不太有意义甚至冗余的主题。出于这个原因,我们提出了一种基于非负矩阵分解(NMF)模型的方法,被认为是\textit{Guided NMF},它结合了用户设计的种子词监督。我们的实验结果表明,该模型的承诺,并说明它是有竞争力的同类方法,只有很少的监督信息。
2021-02-05 cs.LG
Learning nonnegative matrix factorizations from compressed data
本文提出了一种从压缩数据中学习非负矩阵分解的框架,通过随机化抽样方法实现低秩非负分解,并验证了其在实际应用中的有效性。
2026-02-15 cs.LG cs.NA math.NA
Scalable methods for nonnegative matrix factorizations of near-separable tall-and-skinny matrices
Stanford University(斯坦福大学);Purdue University(普渡大学);Purdue University Institute for Computational and Bindley Biosciences Center(普渡大学计算与Bindley生物科学中心);Computer Science Mathematical Engineering(计算机科学数学工程)
本文提出高效算法处理高瘦矩阵的非负矩阵分解,通过正交变换保持分离性,适用于流式数据和分布式计算环境。
2014-02-27 cs.DC cs.LG cs.NA
Adaptive Graph via Multiple Kernel Learning for Nonnegative Matrix Factorization
非负矩阵分解(NMF)在模式识别和信息检索方法等领域不断发展。它将矩阵分解为2个低秩非负矩阵的乘积,这将定义非负数据的基于部分和线性表示。最近,图正则化NMF(GrNMF)被提出来寻找一种紧凑的表示,它揭示了隐藏的语义,同时尊重内在的几何结构。在GNMF中,从原始数据空间构造亲和图以编码几何信息。在本文中,我们提出了一个新的想法,该想法采用多核学习方法来细化反映矩阵和新数据空间的分解的图结构。利用核学习细化的图对GrNMF进行了改进,并在GrNMF框架下提出了一种新的核学习方法。我们的方法显示了令人鼓舞的结果相比,国家的最先进的聚类算法,如NMF,GrNMF,SVD等。
2013-04-03 cs.CV cs.LG stat.ML
Nonnegative Matrix Factorization Requires Irrationality
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Oxford(牛津大学)
研究证明非负矩阵分解中,即使输入矩阵为有理数,分解后的因子矩阵可能需要无理数元素,推翻了原有假设。
2017-03-22 cs.CC cs.LG cs.NA
Nonnegative Matrix Factorization with Transform Learning
IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心)
传统的基于NMF的信号分解依赖于谱数据的因式分解,其通常通过短时频率变换来计算。在本文中,我们建议放宽选择的一个预先固定的变换,并学习一个短时间的正交变换与因式分解。为此,我们制定了一个正则化的优化问题,让人想起传统的NMF,但与变换作为额外的未知参数,并设计了一种新的块下降算法,使找到这个目标函数的固定点。提出的联合变换学习和因式分解方法进行了测试的两个音频信号处理实验,说明其概念和实际的好处。
2017-12-15 cs.LG
Monotonous (Semi-)Nonnegative Matrix Factorization
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Santa Fe Research(圣达菲研究公司)
非负矩阵分解(NMF)将非负矩阵分解为两个非负矩阵的乘积,即信号矩阵和混合矩阵。NMF的规模和排序的模糊性。通常,源信号本质上可以是单调的。例如,在声源分离问题中,源信号可以单调递增或递减,而混合矩阵可以具有非负项。NMF方法可能对这种情况无效,因为它遭受排序模糊性。本文提出了一种方法,将单调性的概念NMF,标记为单调NMF。提出了一种基于交替最小二乘的从数据矩阵中恢复单调信号的算法。进一步放宽了混合矩阵的假设,将单调NMF推广到实数数据矩阵。使用合成噪声数据的方法进行说明。通过单调NMF得到的结果与文献中的标准NMF算法进行了比较,结果表明,当潜在的源信号是单调的时,与标准NMF算法相比,单调NMF估计源信号。
2015-05-01 cs.LG stat.ML
Near-Universal Multiplicative Updates for Nonnegative Einsum Factorization
Department of Statistics, University of Chicago(统计学系,芝加哥大学);Data Science Institute, University of Chicago(数据科学研究所,芝加哥大学)
NNEinFact提出了一种基于Einsum的非负张量分解乘法更新算法,能够高效适应各种非负分解模型,实现更快的收敛速度和更优的预测性能。
2026-09-21 cs.LG stat.ML
Algorithms, Initializations, and Convergence for the Nonnegative Matrix Factorization
College of Charleston(查尔斯顿学院);North Carolina State University(北卡罗来纳州立大学);SAS Institute, Inc.(SAS研究所)
本文研究了非负矩阵分解算法的初始化对收敛速度和精度的影响,提出两种新的交替最小二乘算法,并讨论了收敛准则的选择问题。
2014-07-28 cs.LG cs.NA math.NA
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn(siat.ac.cn(注:此处原文仅提供了邮箱,未明确完整机构名,根据要求不提取))
近年来,半监督多视图非负矩阵分解(MVNMF)算法在多视图聚类中取得了很好的性能。然而,大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法(DCS^2MVNMF)。具体地说,每个视图的辅助矩阵,这增强了类间的区别引入一个判别加权矩阵。同时,利用标号和几何信息构造了一种新的图正则化方法。此外,我们设计了一种新的特征尺度归一化策略来对齐多个视图,并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba(筑波大学)
用于计算梯度的反向传播算法已广泛用于深度神经网络(DNN)的权重计算。这种方法需要目标函数的导数,并且在寻找合适的参数(如学习率)方面存在一定的困难。在本文中,我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解(半NMF)。在该方法中,通过交替地计算权重矩阵来执行优化过程,并且不使用反向传播(BP)。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明,我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Curvature Corrected Nonnegative Manifold Data Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
针对流形取值数据的可解释因子提取需求,提出几何感知的曲率校正非负流形数据分解方法,开发了高效迭代算法,并在扩散张量磁共振成像数据上完成验证。
2025-02-21 cs.LG cs.NA math.DG
Boolean Matrix Factorization via Nonnegative Auxiliary Optimization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出了一种新的布尔矩阵分解方法。该方法不是直接求解BMF问题,而是求解一个非负优化问题,该问题的约束条件是一个辅助矩阵,其布尔结构与初始布尔数据相同。然后对非负辅助优化问题的解进行阈值化,为BMF问题提供一个解。在存在精确解的条件下,证明了两个解空间的等价性。此外,还证明了算法的非增性。在模拟数据集和真实数据集上的实验结果表明,该算法与现有的其他方法相比,具有更好的有效性和复杂性。
2021-06-08 cs.DS cs.LG math.OC
A Globally Optimal Analytic Solution for Semi-Nonnegative Matrix Factorization with Nonnegative or Mixed Inputs
School of Mathematical Science, Zhejiang University of Technology(浙江工业大学数学科学学院)
针对半非负矩阵分解易陷入局部极小值的问题,提出基于散布矩阵正交分解的全局最优非迭代解析解,在低秩下退化为标准NMF,实验证明其重构精度优于现有方法。
2025-08-10 cs.DM cs.LG
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University(爱荷华州立大学)
非负矩阵分解(NMF)作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长,自然地,样本被收集并分布存储在本地计算节点中。因此,越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法,称为\textit{distributed incremental block coordinate descent}(DID),来解决这个问题。通过调整块坐标下降框架,获得封闭形式的更新规则在DID。此外,DID基于最近更新的残差矩阵递增地执行更新。因此,每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
Collaborative filtering based on nonnegative/binary matrix factorization
Department of Computer Science, Ochanomizu University, Tokyo, Japan(东京大学计算机科学系);Corporate Research and Development Center, Toshiba Corporation, Kawasaki, Japan(东芝公司研发中心);Graduate School of Information Sciences, Tohoku University, Sendai, Japan(东北大学信息科学研究生院)
针对协同过滤中评分数据稀疏的问题,提出适配稀疏数据的改进非负/二值矩阵分解算法,通过掩码未评分条目提升预测精度,结合低延迟Ising机优化计算效率。
2025-07-29 cond-mat.stat-mech cs.IR cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Semidefinite Programming Based Preconditioning for More Robust Near-Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
非负矩阵分解(NMF)在可分离性假设下可以有效地求解,即使在存在噪声的情况下也是有效的,并已被证明是文档分类和高光谱解混的一种强大技术。这个问题被称为近可分NMF,并要求存在一个锥,该锥由输入非负矩阵的列的一个小子集构成,近似包含所有列。本文提出了一种基于半定规划的预处理方法,使输入矩阵满足条件。这反过来又可以显着提高近可分离NMF算法的性能,这是在流行的连续投影算法(SPA)上说明的。新的预处理的SPA被证明是更强大的噪声,并优于SPA的几个合成数据集。我们还展示了如何有效集的方法,使我们能够应用大规模的现实世界的高光谱图像的预处理。
2014-09-16 cs.LG math.OC stat.ML
Nonnegative/binary matrix factorization with a D-Wave quantum annealer
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
D-Wave量子退火机代表了一种新的计算架构,并引起了人们的极大兴趣,但很少用于现实世界的计算。机器学习已被确定为量子退火可能有用的领域。在这里,我们证明了D-Wave 2X可以有效地用作无监督机器学习方法的一部分。该方法可用于分析大型数据集。D-Wave仅限制可以从数据集中提取的特征数量。我们应用这种方法来学习一组面部图像的特征。
2017-04-05 cs.LG quant-ph stat.ML
Max-Min Distance Nonnegative Matrix Factorization
University at Buffalo, The State University of New York, Buffalo, NY 14203, USA(纽约州立大学布法罗分校)
本文提出一种监督非负矩阵分解算法,通过利用类别标签将数据对分为同类和异类对,旨在最小化同类对在新空间中的最大距离,同时最大化异类对的最小距离,提升表示的判别能力。
2013-12-05 cs.LG cs.NA math.NA
Coordinate Descent Methods for Symmetric Nonnegative Matrix Factorization
University of Mons(蒙斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
本文提出高效的坐标下降方法用于对称非负矩阵分解,适用于大规模稀疏矩阵,通过实验证明其在合成和实际数据集上的有效性。
2016-05-31 cs.CV cs.LG cs.NA
Sparse Separable Nonnegative Matrix Factorization
University of Mons(蒙斯大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所)
我们提出了一个新的非负矩阵分解(NMF)的变种,结合分离性和稀疏性的假设。可分离性要求第一NMF因子的列等于输入矩阵的列,而稀疏性要求第二NMF因子的列是稀疏的。我们称这种变体稀疏可分NMF(SSNMF),我们证明是NP-完全的,而不是可分NMF,可以解决多项式时间。考虑这种新模型的主要动机是处理欠定盲声源分离问题,如多光谱图像解混。我们介绍了一种算法来解决SSNMF,基于连续非负投影算法(SNPA,一种有效的算法可分离NMF),和一个精确的稀疏非负最小二乘求解器。我们证明,在无噪声设置和温和的假设下,我们的算法恢复真正的潜在来源。这说明了合成数据集和多光谱图像的解混实验。
2020-06-13 cs.CV cs.LG eess.SP