Nonnegative Matrix Factorization with Transform Learning
IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心)
传统的基于NMF的信号分解依赖于谱数据的因式分解,其通常通过短时频率变换来计算。在本文中,我们建议放宽选择的一个预先固定的变换,并学习一个短时间的正交变换与因式分解。为此,我们制定了一个正则化的优化问题,让人想起传统的NMF,但与变换作为额外的未知参数,并设计了一种新的块下降算法,使找到这个目标函数的固定点。提出的联合变换学习和因式分解方法进行了测试的两个音频信号处理实验,说明其概念和实际的好处。
2017-12-15 cs.LG
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn(siat.ac.cn(注:此处原文仅提供了邮箱,未明确完整机构名,根据要求不提取))
近年来,半监督多视图非负矩阵分解(MVNMF)算法在多视图聚类中取得了很好的性能。然而,大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法(DCS^2MVNMF)。具体地说,每个视图的辅助矩阵,这增强了类间的区别引入一个判别加权矩阵。同时,利用标号和几何信息构造了一种新的图正则化方法。此外,我们设计了一种新的特征尺度归一化策略来对齐多个视图,并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
Robust Bayesian Nonnegative Matrix Factorization with Implicit Regularizers
Microsoft Corporation(微软公司)
我们引入了一个概率模型,隐式范数正则化学习非负矩阵分解(NMF),通常用于预测缺失值和发现数据中的隐藏模式,其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负性约束通过选择具有非负子空间上的支持的先验来处理,例如,指数密度或基于指数函数的分布。贝叶斯推理过程的基础上吉布斯抽样。我们评估了几个真实世界的数据集,包括癌症药物敏感性的基因组学(GDSC $IC_{50}$)和基因体甲基化与不同的大小和尺寸的模型,并表明,所提出的贝叶斯NMF GL $_2^2$和GL $_\infty$模型导致不同的数据值的鲁棒预测,并避免过拟合与竞争贝叶斯NMF方法相比。
2022-08-22 cs.LG
An Interpretable Joint Nonnegative Matrix Factorization-Based Point Cloud Distance Measure
Harvey Mudd College(哈维穆德学院);Scripps College(斯克里普斯学院)
本文提出了一种新的方法来确定共享的特征和测量数据集或点云之间的距离。我们的方法使用两个数据矩阵$X_1,X_2$到非负矩阵$X_1 = AS_1, X_2 = AS_2$的联合因式分解,以获得一个相似性度量,确定如何以及共享的基础$A$近似$X_1, X_2$。我们还提出了一个点云距离测量建立在这种方法和学习的因式分解。我们的方法揭示了图像和文本数据的结构差异。潜在的应用包括分类、检测剽窃或其他操纵、数据去噪和迁移学习。
2022-11-27 cs.LG
Clustering and Latent Semantic Indexing Aspects of the Nonnegative Matrix Factorization
Faculty of Computer Science and Information Systems, University of Technology Malaysia(马来西亚理工大学计算机科学与信息系统学院)
本文为非负矩阵分解(NMF)的聚类方面提供了理论支持。通过利用Karush-Kuhn-Tucker最优性条件,我们证明了NMF目标等价于图聚类目标,因此NMF的聚类方面具有坚实的理由。不同于以往的方法,通常放弃非负约束,我们的方法保证用于推导等价的驻点位于非负正交的可行域。此外,由于矩阵分解技术的聚类能力有时可能意味着其潜在的语义索引(LSI)方面,我们也将评估LSI方面的NMF显示其在解决合成数据集的同义词和多义词问题的能力。并通过使用一些标准数据集比较NMF和标准LSI方法奇异值分解(SVD)的LSI性能,进行更广泛的评估。
2011-12-17 cs.LG
Symmetry Nonnegative Matrix Factorization Algorithm Based on Self-paced Learning
Shanxi University(山西大学);Anhui University(安徽大学)
本文提出基于自步学习的对称非负矩阵分解算法,通过误差驱动的难易样本权重约束提升聚类性能,并在图像和文本数据集上验证了其有效性。
2024-10-20 cs.LG
Continuous Semi-Supervised Nonnegative Matrix Factorization
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校);University of California Los Angeles(加州大学洛杉矶分校)
非负矩阵分解可以用于以无监督的方式自动检测语料库中的主题。该技术相当于一个近似的非负矩阵的产品的两个非负矩阵的低秩。在本文中,我们证明了这种分解可以与连续响应变量的回归相结合。在实践中,该方法比在识别主题并重新训练可解释性之后进行的回归更好。
2022-12-19 cs.CL cs.LG
Adaptive Weighted Nonnegative Matrix Factorization for Robust Feature Representation
Northeastern University(东北大学);Stevens Institute of Technology(史蒂文斯理工学院)
非负矩阵分解(NMF)在机器学习中被广泛应用于降维。然而,传统的NMF没有正确处理离群值,因此它对噪声很敏感。为了提高NMF算法的鲁棒性,提出了一种自适应加权NMF算法,通过引入权值来强调每个数据点的不同重要性,从而降低了算法对噪声数据的敏感性。它与现有的使用缓慢增长相似性度量的稳健NMF非常不同。具体地说,提出了两种策略:模糊加权技术和熵加权正则化技术,这两种技术都导致一个简单的形式的迭代解。实验结果表明,新方法在多个含有噪声的真实数据集上具有更好的鲁棒性。
2022-06-07 cs.LG
Maximum-distance nonnegative matrix factorization for unmixing highly mixed grain-size distribution data
Hangzhou Dianzi University(杭州电子科技大学);Utrecht University(乌得勒支大学);University of Southampton(南安普顿大学)
本文针对高度混合粒度分布数据的解混问题,提出了 AnalySize 的推广方法——最大距离非负矩阵分解,通过最大化端元间距离结合分层交替最小二乘算法,实现了对高度混合数据的有效分解。
2026-10-20 cs.LG
Persistent Nonnegative Matrix Factorization via Multi-Scale Graph Regularization
School of Mathematics and Statistics, Xi’an Jiaotong University(数学与统计学学院,西安交通大学)
本文提出持久非负矩阵分解方法,通过多尺度图正则化生成多尺度低秩嵌入,解决传统NMF单尺度问题,提升数据表示的解释性与鲁棒性。
2026-02-26 cs.LG
A Converged Algorithm for Tikhonov Regularized Nonnegative Matrix Factorization with Automatic Regularization Parameters Determination
提出了一种Tikhonov正则化非负矩阵分解(NMF)的收敛算法.我们特别选择这种正则化,因为它是已知的Tikhonov正则化最小二乘(LS)是更可取的形式在解决线性反问题比传统的LS。由于NMF问题可以分解为LS子问题,因此可以预期Tikhonov正则化NMF将是求解NMF问题的更合适的方法。该算法是使用已被证明具有收敛保证的加性更新规则推导出来的。我们配备了一个机制,自动确定正则化参数的基础上的L-曲线,一个众所周知的概念,在反问题的社区,但在NMF的研究是未知的。该算法的引入解决了Tikhonov正则化NMF算法研究中的两个固有问题,即,收敛性保证和正则化参数确定。
2012-05-10 cs.LG
Tight Semi-Nonnegative Matrix Factorization
United States Census Bureau(美国人口普查局);Colorado State University(科罗拉多州立大学)
非负矩阵分解是一种广泛使用的、灵活的矩阵分解,在生物学、图像和信号处理以及信息检索等领域都有应用。在这里,我们提出了一个相关的矩阵分解。多目标优化问题找到近似给定数据矩阵的模板的圆锥组合。选择模板,以便尽可能地仅以这种方式表示初始数据集。然而,模板不需要是原始数据的非负或凸组合。
2017-12-11 cs.LG stat.ML
Log-based Sparse Nonnegative Matrix Factorization for Data Representation
Qingdao University(青岛大学);Harbin Institute of Technology(哈尔滨工业大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
非负矩阵分解(NMF)是近年来得到广泛研究的一种基于部分表示的非负数据表示方法。对于NMF,稀疏解意味着更好的基于部分的表示。然而,目前的NMF方法并不总是产生稀疏解。本文提出了一种新的NMF方法,在因子矩阵上施加对数范数以增强稀疏性。此外,我们提出了一种新的列方向稀疏范数,称为$\ell_{2,\log}$ -(伪)范数,以增强所提出方法的鲁棒性。$\ell_{2,\log}$ -(伪)范数是不变的,对于$\ell_{2,\log}$正则化收缩问题,给出了一个可用于其他一般问题的封闭解,并提出了有效的乘性更新规则,从理论上保证了目标值序列的收敛性,大量的实验结果证实了所提方法的有效性,以及增强的稀疏性和鲁棒性.
2022-04-22 cs.LG
Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction
University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们展示了如何将来自标记示例的信息纳入非负矩阵分解(NMF),这是一种流行的无监督学习降维算法。除了将数据映射到一个较低维度的空间,我们的方法旨在保留数据的非负成分,这对分类很重要。我们确定这些组件的支持向量的大利润分类器,并获得迭代更新,以保持它们在一个半监督版本的NMF。这些更新具有简单的乘法形式,就像它们的无监督对应物一样;它们也保证在每次迭代时减少它们的损失函数--I-发散的加权和,它捕获了无监督学习和监督学习之间的权衡。我们评估这些更新降维时,他们被用作线性分类的先驱。在这个角色中,我们发现它们比无监督的同行产生更好的性能。我们还发现了我们的方法发现的低维表示的一个意想不到的好处:它们通常比在原始输入空间中训练的普通和转换SVM产生更准确的分类器。
2011-12-16 cs.LG
An Entropy Weighted Nonnegative Matrix Factorization Algorithm for Feature Representation
Northeastern University(东北大学);Stevens Institute of Technology(斯蒂文斯理工学院)
非负矩阵分解(NMF)已被广泛用于学习数据的低维表示。然而,NMF同样关注数据点的所有属性,这不可避免地导致不准确的表示。例如,在一个人脸数据集中,如果一个图像包含一顶帽子,在矩阵分解过程中,帽子应该被移除,或者其相应属性的重要性应该被降低。提出了一种新的非负矩阵分解方法--熵加权非负矩阵分解(EWNMF),它对每个数据点的每个属性使用一个可优化的权重来强调它们的重要性。这个过程是通过增加一个熵正则化的成本函数,然后使用拉格朗日乘子方法来解决这个问题。多个数据集的实验结果验证了该方法的可行性和有效性。我们在https://github.com/Poisson-EM/Entropy-weighted-NMF上提供我们的代码。
2021-11-27 cs.LG
An Efficient Newton Algorithm for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence
ENS de Lyon(里昂高等师范学校);CNRS and LIP (UMR5668, Université de Lyon - ENS de Lyon - UCBL - CNRS - Inria)(法国国家科学研究中心和里昂信息学实验室(联合研究单位5668,里昂大学 - 里昂高等师范学校 - 里昂中央理工学院 - 法国国家科学研究中心 - 法国国家信息与自动化研究所))
研究非负矩阵分解,针对多数KL-NMF算法用可分离主元找迭代已达极限的问题,提出用损失的二阶泰勒展开,通过推广HALS算法最小化不可分离替代函数,得到高效且收敛的KL-NMF算法,在多数据集上表现良好。
2026-07-16 cs.LG
Nonnegative Tensor Factorization for Directional Blind Audio Source Separation
Analog Devices(亚德诺半导体)
我们增加了非负矩阵分解方法的音频源分离与线索的声音传播的方向性。这大大提高了分离质量,并消除了对训练数据的需求,运行时间仅增加了两倍。这是第一种可以利用麦克风阵列的方向信息比声音的波长小得多的方法,在毫米级麦克风阵列的模拟和实践中都有效。
2017-05-26 cs.LG stat.ML
Learning manifold to regularize nonnegative matrix factorization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在这一章中,我们讨论了学习最优流形表示来正则化非负矩阵分解(NMF)的数据表示问题。NMF是一种将非负数据矩阵表示为两个低秩非负矩阵的乘积的方法,由于其能够探索数据的潜在部分结构,因此已成为数据表示的一种流行方法。近年来的研究表明,许多数据分布具有流形结构,在数据表示时应尊重流形结构。最近,流形正则化NMF使用最近邻图来调节因子分解参数矩阵的学习,并显示出其优于传统NMF方法的数据表示问题。然而,由于图的模型选择、噪声特征以及数据的非线性分布,如何构造一个最优的图来表示流形仍然是一个难题。在这一章中,我们介绍了三种有效的方法来解决流形正则化NMF的图构造问题。提出了多重图学习方法来解决图模型选择问题,提出了基于特征选择的自适应图学习方法来解决从噪声特征中构造图的问题,提出了基于多核学习的图构造方法来解决从非线性分布数据中构造图的问题.
2014-10-03 cs.LG
On Identifiability of Nonnegative Matrix Factorization
University of Minnesota(明尼苏达大学)
在这封信中,我们提出了一个新的识别准则,保证恢复的低秩潜在因素的非负矩阵分解(NMF)模型,在温和的条件下。具体而言,使用所提出的标准,它足以识别潜在的因素,如果行的一个因素是\emph{sufficiently scattered}在非负正交,而没有结构的假设是强加在其他因素,除了满秩。这是迄今为止最温和的条件下,潜在的因素是证明可识别的NMF模型。
2017-09-02 cs.LG stat.ML
Adversarially-Trained Nonnegative Matrix Factorization
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT实验室、法国国家科学研究中心)
我们考虑一个adversarially-trained版本的非负矩阵分解,一个流行的潜在降维技术。在我们的公式中,攻击者将任意有界范数矩阵添加到给定的数据矩阵。我们设计了受对抗训练启发的高效算法,以优化具有增强泛化能力的字典和系数矩阵。在合成数据集和基准数据集上进行的广泛模拟表明,与最先进的竞争对手(包括对抗性非负矩阵分解的其他变体)相比,我们提出的方法在矩阵完成任务上具有卓越的预测性能。
2021-06-22 cs.LG eess.SP
Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates
Stanford University(斯坦福大学)
识别高维时间序列数据中的重复模式是许多科学领域中的重要问题。一个流行的模型来实现这一点是卷积非负矩阵分解(CNMF),它扩展了经典的非负矩阵分解(NMF)从长时间序列中提取短暂的时间模体。以前的工作通常通过乘法参数更新来拟合这个模型-这种方法被广泛认为是NMF的次优方法,特别是在大规模数据应用中。在这里,我们描述了如何扩展两个流行的和计算可扩展的NMF算法-层次交替最小二乘法(HALS)和交替非负最小二乘法(ANLS)-为CNMF模型。这两种方法都证明了在大规模合成和真实世界数据上的乘法更新的性能优势。
2019-06-29 cs.LG stat.ML
A Characterization of the Non-Uniqueness of Nonnegative Matrix Factorizations
Harvard University(哈佛大学)
非负矩阵分解(NMF)是一种流行的降维技术,它将数据分解为可解释的部分。然而,这种分解通常是不可识别的(即使是置换和缩放)。虽然其他研究提供的标准下,NMF是可识别的,我们提出了第一个(据我们所知)表征的NMF的不可识别性。我们准确地描述了何时以及如何发生非唯一性,这对算法有效地发现替代解决方案(如果存在的话)具有重要意义。
2016-04-03 cs.LG stat.ML
Nonnegative Matrix Factorization with Toeplitz Penalty
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
非负矩阵分解(NMF)是一种无监督学习算法,可生成数据矩阵的线性、基于部分的近似。NMF构造一个非负低秩基矩阵和一个非负低秩权重矩阵,当它们相乘在一起时,使用一些成本函数近似感兴趣的数据矩阵。NMF算法可以被修改为包括辅助约束,该辅助约束对矩阵分解的成本函数施加特定于任务的惩罚或限制。在本文中,我们提出了一种新的NMF算法,利用非数据依赖的辅助约束,将Toeplitz矩阵的基础和权重矩阵的乘法更新。我们比较我们的新Toeplitz非负矩阵分解(TNMF)算法的面部识别性能的Zellner非负矩阵分解(ZNMF)算法,它利用数据相关的辅助约束的性能。我们还比较了面部识别性能的两个上述算法的性能与几个预先存在的约束NMF算法,具有非数据依赖的处罚。使用剑桥ORL人脸数据库和耶鲁人脸数据库评估人脸识别性能。
2020-12-07 cs.LG stat.ML
Nonnegative Matrix Factorization in Dimensionality Reduction: A Survey
Graduate University of Advanced Technology(高级技术研究生院);Queensland University of Technology (QUT)(昆士兰科技大学);Ardakan University(阿尔达坎大学);Griffith University(格里菲斯大学)
本文综述了非负矩阵分解(NMF)在降维中的特征提取与特征选择应用,提出降维分类框架,并探讨未来研究方向。
2024-05-06 cs.LG
Nonnegative Matrix Factorization with Zellner Penalty
School of Mathematical Sciences, Rochester Institute of Technology(罗切斯特理工学院数学科学学院)
非负矩阵分解(Nonnegative matrix factorization,NMF)是一种相对较新的无监督学习算法,它将非负数据矩阵分解为基于部分的、低维的线性数据表示。NMF在图像处理、文本挖掘、推荐系统和各种其他领域都有应用。自诞生以来,NMF算法已经被许多作者修改和探索。一个这样的修改涉及添加辅助约束的目标函数的因式分解。这些辅助约束的目的是对目标函数施加特定于任务的惩罚或限制。虽然已经研究了许多辅助约束,但没有一个利用数据相关的惩罚。在本文中,我们提出了Zellner非负矩阵分解(ZNMF),它使用数据依赖的辅助约束。我们使用Cambridge ORL数据库评估ZNMF算法和其他几种著名的约束NMF算法的面部识别性能。
2020-12-07 cs.LG stat.ML
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Converged Algorithms for Orthogonal Nonnegative Matrix Factorizations
Hokkaido University(北海道大学)
提出基于Lee和Seung算法以及Lin思想的单正交和双正交非负矩阵分解算法,并给出收敛性证明,实验验证了收敛性。
2011-03-16 cs.LG cs.NA math.NA
Bayesian Group Nonnegative Matrix Factorization for EEG Analysis
Korea Advanced Institute of Technology(韩国高等科学技术院)
我们提出了一个生成模型的一组EEG分析,基于适当的内核假设的EEG数据。我们推导出变分推理更新规则使用各种近似技术。所提出的模型优于当前国家的最先进的算法在共同的模式提取。该模型的有效性进行了测试的BCI竞争数据集。
2012-12-18 cs.LG stat.ML
NIMFA: A Python Library for Nonnegative Matrix Factorization
NIMFA是一个开源Python库,为非负矩阵分解算法提供了统一的接口。它包括最先进的因子分解方法,初始化方法和质量评分的实现。它支持密集和稀疏矩阵表示。NIMFA的基于组件的实现和分层设计应该帮助用户采用已经实现的技术或设计和编码矩阵分解任务的新策略。
2018-08-06 cs.AI cs.LG q-bio.QM
A Globally Optimal Analytic Solution for Semi-Nonnegative Matrix Factorization with Nonnegative or Mixed Inputs
School of Mathematical Science, Zhejiang University of Technology(浙江工业大学数学科学学院)
针对半非负矩阵分解易陷入局部极小值的问题,提出基于散布矩阵正交分解的全局最优非迭代解析解,在低秩下退化为标准NMF,实验证明其重构精度优于现有方法。
2025-08-10 cs.DM cs.LG
Nonnegative Matrix Factorization with Local Similarity Learning
Qingdao University(青岛大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
现有的非负矩阵分解方法侧重于学习数据的全局结构来构造基矩阵和系数矩阵,忽略了数据之间普遍存在的局部结构。本文提出了一种新的非负矩阵分解方法,该方法以相互增强的方式学习局部相似性和聚类。学习的新表示更具有代表性,因为它更好地揭示了数据的固有几何属性。给出了非线性扩展和有效的乘法更新,理论上的收敛保证。大量的实验结果证实了该模型的有效性。
2019-07-09 cs.CV cs.LG stat.ML
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology(昆士兰科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
耦合矩阵张量分解(CMTF)有助于集成和分析多个数据源,并有助于发现有意义的信息。非负CMTF(N-CMTF)已在许多应用中用于识别潜在模式、预测和推荐。然而,由于张量和矩阵数据之间的耦合增加的复杂性,现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法,避免了频繁的梯度更新。理论和实证分析表明,与现有的因子分解算法相比,本文提出的N-CMTF因子分解算法不仅精度更高,而且计算效率更高.
2020-03-07 cs.LG stat.ML
Regularized L21-Based Semi-NonNegative Matrix Factorization
Portland State University(波特兰州立大学)
提出了一种通用的数据压缩算法--正则化L21半非负矩阵分解(L21 SNF)。L21 SNF提供了强大的,基于部分的压缩适用于混合符号数据,高保真,个别数据点重建是至关重要的。我们给出了算法收敛性的严格证明。通过实验,我们展示了L21 SNF的用例优势,包括在许多一般机器学习过程中广泛遇到的高度超定系统的压缩应用。
2020-05-10 cs.LG cs.NA math.NA
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF,用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF,以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案,使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明,神经NMF优于其他层次NMF方法对这些数据集,并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Co-Separable Nonnegative Matrix Factorization
The University of Hong Kong(香港大学)
非负矩阵分解(NMF)是模式识别领域中的一个流行模型。它的目的是通过两个非负矩阵W和H的乘积找到非负数据M的一个低秩近似。一般来说,NMF是NP-难求解的,但在可分性假设下,它可以有效地求解,这要求因子矩阵的列等于输入矩阵的列。本文推广了基于3-因子NMF M=P_1SP_2的可分性假设,并要求S是输入矩阵的子矩阵。我们将该NMF称为可共分NMF(CoS-NMF)。讨论了CoS-NMF的一些数学性质,并给出了它与CUR分解、广义可分NMF(GS-NMF)、双正交三因子分解(BiOR-NM 3F)等相关矩阵分解的关系。提出了一种CoS-NMF优化模型,并采用交替快速梯度法进行求解。在合成数据集、文档数据集和人脸数据集上进行了数值实验,验证了CoS NMF模型的有效性.与现有方法相比,CoS-NMF模型在协同聚类方面表现良好,并且保持了对输入数据矩阵的良好逼近。
2021-09-02 cs.LG stat.ML
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积,将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中,数据经常被大的加性噪声部分破坏。当噪声的位置已知时,可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而,在许多现实世界的应用中,这些位置通常是未知的,这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解(RobustNMF)算法,该算法将部分腐败明确地建模为大的加性噪声,而不需要噪声的位置信息。在实践中,可以使用大的加性噪声来对离群值进行建模。特别是,所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Learning nonnegative matrix factorizations from compressed data
本文提出了一种从压缩数据中学习非负矩阵分解的框架,通过随机化抽样方法实现低秩非负分解,并验证了其在实际应用中的有效性。
2026-02-15 cs.LG cs.NA math.NA
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University(博阿齐奇大学)
本文综述了非负矩阵因子化方法在聚类中的应用,探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Boolean Matrix Factorization via Nonnegative Auxiliary Optimization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出了一种新的布尔矩阵分解方法。该方法不是直接求解BMF问题,而是求解一个非负优化问题,该问题的约束条件是一个辅助矩阵,其布尔结构与初始布尔数据相同。然后对非负辅助优化问题的解进行阈值化,为BMF问题提供一个解。在存在精确解的条件下,证明了两个解空间的等价性。此外,还证明了算法的非增性。在模拟数据集和真实数据集上的实验结果表明,该算法与现有的其他方法相比,具有更好的有效性和复杂性。
2021-06-08 cs.DS cs.LG math.OC
Nonnegative Matrix Factorization Requires Irrationality
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Oxford(牛津大学)
研究证明非负矩阵分解中,即使输入矩阵为有理数,分解后的因子矩阵可能需要无理数元素,推翻了原有假设。
2017-03-22 cs.CC cs.LG cs.NA
Collaborative filtering based on nonnegative/binary matrix factorization
Department of Computer Science, Ochanomizu University, Tokyo, Japan(东京大学计算机科学系);Corporate Research and Development Center, Toshiba Corporation, Kawasaki, Japan(东芝公司研发中心);Graduate School of Information Sciences, Tohoku University, Sendai, Japan(东北大学信息科学研究生院)
针对协同过滤中评分数据稀疏的问题,提出适配稀疏数据的改进非负/二值矩阵分解算法,通过掩码未评分条目提升预测精度,结合低延迟Ising机优化计算效率。
2025-07-29 cond-mat.stat-mech cs.IR cs.LG
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中,我们介绍了一个概率模型学习非负矩阵分解(NMF),通常用于预测缺失值和发现隐藏模式的数据,其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型,包括具有不同大小和维度的MovieLens 100K和MovieLens 1M,并表明与现有的贝叶斯NMF方法相比,所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
Curvature Corrected Nonnegative Manifold Data Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
针对流形取值数据的可解释因子提取需求,提出几何感知的曲率校正非负流形数据分解方法,开发了高效迭代算法,并在扩散张量磁共振成像数据上完成验证。
2025-02-21 cs.LG cs.NA math.DG
A Provably Correct and Robust Algorithm for Convolutive Nonnegative Matrix Factorization
Stanford University(斯坦福大学);Université de Mons(蒙斯大学)
在本文中,我们提出了一个可证明正确的算法卷积非负矩阵分解(CNMF)的分离性假设。CNMF是非负矩阵分解(NMF)的卷积变体,其作为具有附加序列结构的NMF起作用。该模型在许多应用中是有用的,例如音频声源分离和神经序列识别。虽然已经提出了一些启发式算法来解决CNMF,但据我们所知,还没有开发出可证明正确的算法。我们提出了一种算法,利用CNMF的NMF模型的基础上,利用现有的算法可分离NMF证明找到一个解决方案在一定条件下。我们的方法保证在低噪声设置的解决方案,并运行在多项式时间。我们说明了它的有效性合成数据集,并在唱歌的鸟的音频序列。
2019-11-13 cs.LG math.OC stat.ML
Probabilistic semi-nonnegative matrix factorization: a Skellam-based framework
LTCI, Institut Polytechnique de Paris, Télécom Paris(巴黎理工学院LTCI、巴黎电信学院);Smart Impulse(Smart Impulse公司)
我们提出了一个新的概率模型来解决半非负矩阵分解(SNMF),称为Skellam-SNMF。它是一个由先验分量、Skellam分布隐变量和观测数据组成的层次生成模型。推导了两种推理算法:用于最大\emph{a posteriori}估计的期望最大化(EM)算法和用于包括参数先验分布估计的完全贝叶斯推理的变分贝叶斯EM(VBEM)算法。从这个基于Skellam的模型,我们还引入了一个新的分歧$\mathcal{D}$之间的一个实值的目标数据$x$和两个非负参数$λ_{0}$和$λ_{1}$,使$\mathcal{D}\left(x\midλ_{0},λ_{1}\right)=0\Leftrightarrow x=λ_{0}-λ_{1}$,这是一个推广的Kullback-Leibler(KL)分歧。最后,我们对这些新算法进行了实验研究,以了解它们的行为,并证明它们在自动聚类任务中可以在真实数据上优于经典的SNMF方法。
2021-07-07 cs.LG stat.ML
Reverse Annealing for Nonnegative/Binary Matrix Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
最近的研究表明,量子退火可以作为一种有效的,快速的子程序在某些类型的矩阵分解算法。量子退火算法在快速、近似的答案方面表现最好,但性能很快就趋于稳定。在本文中,我们利用反向退火,而不是向前退火的量子退火子程序的非负/二元矩阵分解问题。在前向退火的初始全局搜索之后,反向退火执行一系列局部搜索,以改进现有的解决方案。对于除了最短运行时间之外的所有运行时间,与单独的正向退火相比,正向退火和反向退火的组合显著提高了性能。
2021-01-12 cs.ET cs.LG quant-ph
Heuristics for Exact Nonnegative Matrix Factorization
本文提出两种启发式方法用于精确非负矩阵分解,通过模拟退火和贪心随机自适应搜索启发式方法,展示了其在多种非负矩阵类别的应用优势,并探讨了非负秩的行为特性。
2014-11-26 cs.LG cs.NA math.NA
Bayesian Mean-parameterized Nonnegative Binary Matrix Factorization
Criteo AI Lab(Criteo人工智能实验室);IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
二进制数据矩阵可以表示许多类型的数据,例如社交网络、投票或基因表达。在某些情况下,二进制矩阵的分析可以用非负矩阵分解(NMF)来处理,其中观察到的数据矩阵近似为两个较小的非负矩阵的乘积。在这种情况下,概率NMF假设数据通常是伯努利分布的生成模型。通常,链接函数用于将因子分解映射到$[0,1]$范围,以确保有效的伯努利均值参数。然而,链接函数有潜在的缺点,导致不可解释的模型。相反,均值参数化NMF克服了这个问题。提出了贝叶斯均值参数化非负二元矩阵分解模型(NBMF)的统一框架。我们分析了三种模型,对应于三种可能的约束,尊重的平均参数化,而不需要链接功能。在此基础上,我们提出了一种新的折叠Gibbs采样器和一种折叠变分算法来推断因子的后验分布。接下来,我们将所提出的模型扩展到非参数设置,其中所使用的潜在维度的数量由观察到的数据自动驱动。我们分析了我们的NBMF方法在多个数据集上的性能,用于不同的任务,如字典学习和缺失数据的预测。实验表明,我们的方法提供了类似或优于现有技术的结果,同时自动检测相关组件的数量。
2020-06-20 cs.LG stat.ML
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University(乌普萨拉大学);Research Institutes of Sweden (RISE)(瑞典研究机构(RISE))
我们描述了一种用于非负矩阵分解的基于图的神经加速技术,该技术建立在矩阵和二部图之间的联系之上,该联系在某些领域是众所周知的,例如,稀疏线性代数,但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛,并提出了一个适合于图神经网络的问题的图形表示。然后,我们专注于非负矩阵分解的任务,并提出了一个图神经网络,交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明,即使我们只在较小的合成实例上以无监督的方式进行训练,我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
Initialization for Nonnegative Matrix Factorization: a Comprehensive Review
Shiraz University of Technology(设拉子理工大学)
非负矩阵分解(NMF)已经成为一种流行的方法,用于表示有意义的数据,通过从观察到的非负数据矩阵中提取非负基特征。这种方法在识别隐藏数据方面的一些独特功能使这种方法成为机器学习领域的强大方法之一。NMF是一个已知的非凸优化问题,初始点对寻找有效的局部解有重要影响。在本文中,我们研究了迄今为止最流行的NMF初始化程序。我们描述了每种方法,并提出了一些他们的优点和缺点。最后,给出了一些数值结果来说明每个算法的性能。
2021-09-08 cs.LG math.OC
Introduction to Nonnegative Matrix Factorization
本文介绍非负矩阵因子分解的应用、解的几何性质与唯一性、复杂度及算法,并探讨其与多面体扩展形式的联系。
2017-03-02 cs.CV cs.LG cs.NA
The Why and How of Nonnegative Matrix Factorization
Université de Mons(蒙斯大学)
非负矩阵分解(Nonnegative matrix factorization,NMF)能够从一组非负数据向量中自动提取稀疏且有意义的特征,已成为高维数据分析中广泛使用的工具。我们首先在三个应用中说明NMF的这种性质,图像处理,文本挖掘和高光谱成像-这就是为什么。然后,我们解决的问题,解决NMF,这是NP-困难的一般。我们回顾了一些标准的NMF算法,并提出了一个最近的子类的NMF问题,称为近可分离的NMF,可以有效地解决(即,在多项式时间),即使在存在噪声-这是如何。最后,通过非负秩,简要描述了数学和计算机科学中与NMF密切相关的一些问题。
2014-03-07 cs.IR cs.LG math.OC
Fast and Robust Recursive Algorithms for Separable Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);University of Waterloo(滑铁卢大学)
本文研究了在可分离性假设下的非负矩阵分解问题(即存在由包含所有列的输入非负数据矩阵的列的一个小子集所张成的锥),它等价于线性混合模型和纯像元假设下的高光谱解混问题.我们提出了一族快速递归算法,并证明了它们在输入数据矩阵的任何小扰动下都是鲁棒的。这个家庭概括了现有的几个高光谱解混算法,因此第一次提供了一个理论上的理由,他们更好的实际性能。
2013-10-07 cs.LG math.OC stat.ML
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons(蒙斯大学);Université de Rennes(雷恩大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学研究所)
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新,称为启发式外推与重启(HER)。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF,特别是具有挑战性的计算场景,同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA