Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization
School of Industrial and Systems Engineering at Georgia Tech(佐治亚理工学院工业与系统工程学院)
大量的经验证据已经证实了噪声在非凸优化问题中的重要性。然而,这种经验观察背后的理论在很大程度上仍然是未知的。本文通过研究非凸矩形矩阵分解问题来研究这一基本问题,由于旋转和缩放不变性,该问题具有无穷多个全局极小值。因此,取决于初始化,梯度下降(GD)可以收敛到任何最优值。相比之下,我们表明,一个扰动形式的GD与任意初始化收敛到一个全局最优,这是唯一确定的注入噪声。我们的结果意味着,噪声对某些最优值施加了隐式偏差。数值实验支持我们的理论。
2021-02-24 cs.LG stat.ML
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法,由于其可解释性,但难以执行,由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型,并提出了一个消息传递的方法,规模与观察和因素的数量呈线性关系。我们的实证研究表明,消息传递是能够恢复低秩布尔矩阵,在理论上可能的恢复的边界,并与最先进的在现实世界中的应用,如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
A model selection approach for clustering a multinomial sequence with non-negative factorization
我们考虑一个问题的聚类序列的多项式观测的方式的模型选择标准。我们提出了一种形式的惩罚项的模型选择过程。我们的方法包含了传统的AIC和BIC标准,但也扩展了传统的标准,它也可以适用于一系列稀疏的多项式观测,即使在同一个集群,多项式试验的数量可能是不同的观察。此外,作为极大似然估计的初步估计步骤,更一般地,最大$L_{q}$估计,我们建议使用降秩投影结合非负因子分解。我们激励我们的方法表明,我们的模型选择标准和初步估计步骤产生相合估计简化的假设。我们还说明了我们的方法,通过使用真实和模拟数据的数值实验。
2015-08-14 stat.ML
A Unified Framework for Sparse Non-Negative Least Squares using Multiplicative Updates and the Non-Negative Matrix Factorization Problem
研究了稀疏非负最小二乘(S-NNLS)问题。S-NNLS自然发生在各种各样的应用中,其中必须从线性测量中恢复未知的非负量。我们提出了一个统一的框架,S-NNLS的基础上整流幂指数尺度混合物之前的稀疏码。我们表明,该框架包含了一大类的S-NNLS算法,并提供了一个计算效率的推理过程的基础上乘法更新规则。这种更新规则便于同时解决大量的S-NNLS问题,这在稀疏非负矩阵分解(S-NMF)等背景下是必需的。我们提供了理论上的理由,所提出的方法表明,被优化的目标函数的局部极小值是稀疏的,并保证S-NNLS算法收敛到一组固定点的目标函数。然后,我们将我们的框架扩展到S-NMF,表明我们的框架导致许多众所周知的S-NMF算法在特定的选择之前,并提供了一个保证,一个流行的子类所提出的算法收敛到一组固定点的目标函数。最后,我们研究了所提出的方法在合成数据和真实数据上的性能。
2018-01-02 stat.ML
A particle-based variational approach to Bayesian Non-negative Matrix Factorization
贝叶斯非负矩阵分解(NMF)是一种很有前途的方法来理解矩阵数据的不确定性和结构。然而,大量的应用工作优化了传统的非贝叶斯NMF目标,无法提供一个原则性的理解NMF固有的不可识别性-一个问题,理想地解决了贝叶斯方法。尽管它们的适用性,目前的贝叶斯NMF方法未能获得普及的应用环境中,他们牺牲灵活性建模易于处理的计算,往往陷入局部模式,并需要成千上万的样本有意义的不确定性估计。我们通过贝叶斯NMF的基于粒子的变分方法来解决这些问题,该方法仅需要联合似然可微以实现可处理性,使用新型初始化技术来识别后验中的多个模式,并允许领域专家检查“小”集忠实地代表后验的因子分解。我们引入并采用了一类似然和先验分布的NMF,制定一个贝叶斯模型,使用流行的非贝叶斯NMF目标。在几个真实的数据集上,我们在比基线更短的时间内获得了对贝叶斯NMF后验的更好的粒子近似,并证明了多模态在NMF相关任务中发挥的重要作用。
2018-03-16 stat.ML
Applying separative non-negative matrix factorization to extra-financial data
我们在这里提出了一个原始的应用程序的非负矩阵分解(NMF)方法,额外的金融数据的情况下。这些数据受到协变量之间以及观测之间的高度相关性的影响。NMF比简单的主成分分析(PCA)提供了一个更相关的协变量和观测值的聚类。此外,我们表明,应用NMF之前的初始数据分离步骤进一步提高了聚类的质量。
2022-06-09 q-fin.CP stat.ML
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System(天普大学卫生系统福克斯·蔡斯癌症中心)
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架,该框架包含了指数模型族的成员.使用这个框架开发了一系列算法,并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法,不同的噪声结构和对比,最近提出的准似然方法,从而提供了一个有用的替代非负矩阵分解。一个措施,以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚,内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
Error bound of critical points and KL property of exponent $1/2$ for squared F-norm regularized factorization
South China University of Technology(华南理工大学)
研究了含噪声低秩矩阵恢复问题的平方F(robenius)范数正则化分解形式。在对损失函数的Hessian约束条件数作适当假设的情况下,对于秩不大于真矩阵秩的非严格临界点,得到了误差界.然后,对于平方F-范数正则化因子分解最小二乘损失函数,在有噪声和全样本情况下,建立了其指数$1/2$在全局极小点集上的KL性质,并在有噪声和部分样本情况下,对一类临界点得到了该性质.这些理论研究结果也证实了解决平方F-范数正则因式分解问题的加速交替最小化方法。
2021-06-26 cs.LG math.OC stat.ML
Resolution-limit-free and local Non-negative Matrix Factorization quality functions for graph clustering
许多图聚类质量函数受到分辨率限制,无法在大型图中找到小簇。所谓的无分辨率限制的质量函数没有这个限制。此属性以前是为硬聚类(即图分区)引入的。我们研究了硬图和软图聚类的非负矩阵分解(NMF)的无分辨率限制特性。要在硬集群设置中使用NMF,一种常见的方法是将每个节点分配到其最高成员资格集群。我们表明,在这种情况下,对称NMF是不分辨率限制自由,但它成为这样的硬度约束时,作为优化的一部分。由此产生的函数与常数波茨模型密切相关。在软集群中,节点可以属于多个集群,具有不同的成员关系。在这种情况下,无分辨率限制的属性太强了。因此,我们引入局部性,它大致说明改变图的一部分不会影响图的其他部分的聚类。我们认为,这是一个理想的属性,提供条件下,NMF质量函数是本地的,并提出了一种新的本地概率NMF质量函数的软图聚类。
2014-07-22 stat.ML
Non-negative Factorization of the Occurrence Tensor from Financial Contracts
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
我们提出了一个算法的非负因子分解的发生张量从异构网络。我们使用l0范数对离散值(事件)上的稀疏误差进行建模,并使用分解因子对嵌入的节点组进行建模。提出了一种有效的分裂方法来优化非凸非光滑目标。我们研究了合成问题和一个新的数据集建立从金融文件,resMBS。
2016-12-10 cs.CE cs.LG stat.ML
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
我们介绍负二项矩阵分解(NBMF),矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解(PF)扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度,使NBMF对离群值更加鲁棒。我们表明,NBMF允许跳过传统的预处理阶段,如二值化,这会导致信息丢失。两种估计方法:最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型,并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization
University of Maryland(马里兰大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
可分性假设(Donoho & Stodden,2003; Arora et al.,2012)将非负矩阵分解(NMF)变成了一个易于处理的问题。最近,一类新的可证明正确的NMF算法出现在这个假设下。本文将可分NMF问题转化为求有限向量集锥壳的极值射线问题。从这个几何的角度来看,我们得到新的可分离的NMF算法,是高度可扩展的和经验噪声鲁棒性,并有其他几个有利的属性,在现有的方法。我们的算法的并行实现展示了高的可扩展性共享和分布式内存机器。
2012-10-03 cs.LG stat.ML
Ordinal Non-negative Matrix Factorization for Recommendation
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心);ISAE-SUPAERO, Université de Toulouse(图卢兹大学 ISAE-SUPAERO 高等航空与航天学院)
本文提出了一种新的非负矩阵分解方法,称为OrdNMF。有序数据是类别数据,它们在类别之间表现出自然的顺序。特别是,它们可以在推荐系统中找到,无论是显式数据(如评级)还是隐式数据(如量化播放计数)。OrdNMF是一种概率潜在因子模型,它将Bernoulli-Poisson因子分解(BePoF)和Poisson因子分解(PF)推广到二进制数据。与这些方法相反,OrdNMF避免了二值化,并且可以利用数据的更多信息表示。我们设计了一个有效的变分算法的基础上,一个合适的模型增强和相关的变分PF。特别是,我们的算法保留了PF的可扩展性,并可以应用于巨大的稀疏数据集。我们报告了显式和隐式数据集上的推荐实验,并表明OrdNMF优于应用于二进制数据的BePoF和PF。
2020-09-02 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute(鲁杰尔·博什科维奇研究所);ETH Zürich, Swiss Federal Institute of Technology(苏黎世联邦理工学院)
最近的理论分析表明,非负矩阵分解(NMF)和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的,我们引入了一个非线性NMF显式正交性,并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下,提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut,并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架,并引入了一个图正则化,以获得一个因子分解,尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质,以及其固有的局部几何形状,这大大提高了聚类性能相比,最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
Identifiable Phenotyping using Constrained Non-Negative Matrix Factorization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
这项工作提出了一种新的算法,用于使用电子健康记录(EHR)的临床记录自动和同时对多种共同发生的医疗状况(也称为合并症)进行表型分析。一个基本的潜在因素估计技术的非负矩阵分解(NMF)增强域特定的约束,以获得稀疏的潜在因素,锚定到一组固定的慢性疾病。所提出的锚定机制确保潜在因素和目标合并症之间的一对一可识别和可解释的映射。临床专家对经验结果的定性评估表明,所提出的模型在预测30天死亡率的同时学习了临床可解释的表型。所提出的方法可以很容易地适用于各种医疗机构的任何非负EHR数据。
2016-09-20 cs.LG stat.ML
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University(华中师范大学);The University of Hong Kong(香港大学)
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性,底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明,所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下,包括加性高斯噪声,加性拉普拉斯噪声,和泊松观测的详细误差范围可以推导出来。此外,极大极小下界与所建立的上界相匹配,最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果,这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比,基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa(比萨大学)
本文讨论了一种池机制,以诱导图结构数据的二次采样,并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解(NMF)上,所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图,其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明,这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息,如标签或重要特征,已经开发出方法来执行分类和主题建模任务;然而,大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中,我们提出了一种方法,即引导半监督非负矩阵分解(GSSNMF),进行分类和主题建模,将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能,该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明,我们提出的方法提高了分类精度和主题一致性相比,过去的方法,如半监督非负矩阵分解(SSNMF)和引导非负矩阵分解(引导NMF)。
2022-01-31 cs.IR cs.LG stat.ML
Detecting multi-timescale consumption patterns from receipt data: A non-negative tensor factorization approach
University of Southern California(南加州大学);Kobe University(神户大学);CyberAgent, Inc.(CyberAgent 公司);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
了解消费者行为是一项重要的任务,不仅对制定营销战略,而且对经济政策的管理。然而,检测消费模式,是一个高维的问题,其中各种因素会影响消费者的行为需要考虑,如消费者的人口统计,昼夜节律,季节周期等,在这里,我们开发了一种方法来提取多时间尺度的消费者的支出模式从一个大的数据集扫描收据。我们使用非负张量因子分解(NTF)来同时检测周内和周间的消费模式。所提出的方法使我们能够根据不同时间尺度上相关的消费模式来表征消费者。
2020-08-02 cs.LG stat.ML
Non-Negative Matrix Factorizations for Multiplex Network Analysis
网络已经成为表示、分析和建模多个领域中出现的关系数据的通用工具。网络分析的一个重要方面是社区发现或网络聚类。直到最近,主要的焦点一直是发现社区结构中的单一(即,单路)网络。然而,随着具有多种模态的关系数据的出现,多重网络,即,出现了由代表关系不同方面的多个层次组成的网络。因此,复用网络中的社区发现,即,检测所有层共享的节点集群已成为新的挑战。在本文中,我们提出了网络融合复合社区提取(NF-CCE),一类新的算法,基于四种不同的非负矩阵分解模型,能够提取复合社区在多路复用网络。每个算法分为两个步骤:首先,它找到每个网络层的非负,低维特征表示;然后,它通过集体因子分解将层的特征表示融合成一个共同的非负,低维特征表示。从共同特征表示中提取复合聚类。我们证明了我们的算法在各种类型的多路复用网络,包括生物,社会,经济,引用,电话通信和大脑多路复用网络的最先进的方法的优越性能。
2017-01-25 cs.SI stat.ML
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees
Microsoft Research New England(新英格兰微软研究院)
非负矩阵分解(NMF)是一种自然的混合模型,在科学和工程中有着广泛的应用。已经开发了大量的算法来解决NMF,但由于问题的非凸性质,几乎不能保证这些方法的工作效果。最近的研究热潮集中在一类非常有限的NMF,称为可分离NMF,其中已开发出可证明正确的算法。在本文中,我们提出了子集可分NMF的概念,它实质上推广了可分性的性质。我们表明,子集可分性是一个自然的必要条件,分解是唯一的或有最小的体积。我们提出了面交算法,该算法在自然条件下可有效地解决子集可分NMF问题,并证明了该算法对小噪声具有鲁棒性。我们探讨了模拟的面相交的性能,并讨论了它在经验上优于最先进方法的设置。我们的工作是一个步骤,找到可证明正确的算法,解决大类NMF问题。
2015-07-08 cs.LG stat.ML
An Oracle Inequality for Quasi-Bayesian Non-Negative Matrix Factorization
本文的目的是提供一些理论上的理解准贝叶斯聚集方法的非负矩阵分解。我们得到了一个聚集估计量的预言不等式。这一结果适用于一个非常一般的先验分布类,并显示了先验如何影响收敛速度。
2018-06-26 math.ST stat.ML stat.TH
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种新的知识发现方法,用于文本挖掘,信号处理,生物信息学和消费者分析。然而,由于它不是一个规则的统计模型,其作为学习机的基本性质还不清楚,导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值,并给出了贝叶斯学习中推广误差的一个上界。结果表明,如果应用贝叶斯学习,可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics(穆尔加大学科学学院统计学系);University of Crete(克里特大学);University of Piraeus(比雷埃克斯大学)
该研究引入新的用于非负矩阵分解的R包,与两个广泛使用的R包进行系统性能比较,通过使用真实数据和一致实验框架,重点评估计算效率等多方面性能,为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
A Comparative Study of Gamma Markov Chains for Temporal Non-Negative Matrix Factorization
Aalto University(阿尔托大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);DI ENS(巴黎高等师范学院信息学系);INRIA(法国国家信息与自动化研究所);Université PSL(巴黎文理研究大学)
非负矩阵分解(NMF)已成为一类行之有效的方法,用于分析非负数据。特别是,人们在概率NMF方面投入了大量精力,即描述数据的概率模型中的估计或推理任务,例如基于泊松或指数似然。当处理时间序列数据时,一些工作已经提出将激活系数的演变建模为非负马尔可夫链,大多数时间与Γ分布相关,从而产生所谓的时间NMF模型。在本文中,我们回顾了四个伽玛马尔可夫链的NMF文献,并表明他们都有一个共同的缺点:缺乏一个良好定义的平稳分布。然后,我们介绍了第五个过程,一个被忽视的模型的时间序列文献命名为BGAR(1),它克服了这一限制。这些时间NMF模型,然后比较在MAP框架上的预测任务,在泊松似然的上下文中。
2021-02-25 cs.LG stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University(杜克大学)
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据,并开发可扩展的推理算法(批量和在线)处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外,利用将泊松分布重新参数化为多项式有助于模型中的共轭性,并实现简单有效的吉布斯抽样和变分贝叶斯(VB)推断更新,其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素,在我们的模型中,每个因素对应于一个“主题”。我们开发了一套在线推理算法,允许进一步扩展到大规模的张量模型,批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序,如科学出版物数据库上的\emph{multiway}主题建模,分析政治学数据集,并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Structural and Functional Discovery in Dynamic Networks with Non-negative Matrix Factorization
时间序列图形在现代数据中越来越普遍,并对视觉探索和模式提取提出了独特的挑战。本文介绍了矩阵分解的发展和应用,探索和时变社区发现的时间演变图序列。矩阵分解模型允许用户锁定并显示有趣的底层结构及其随时间的演变。该方法可扩展到具有大量时间点或节点的加权网络,并且可以适应图拓扑的突然变化。我们的技术证明了几个动态图系列从合成和现实世界的数据,包括引文和贸易网络。这些示例说明了用户如何驾驭这些技术,并将其与现有方法相结合,以在许多时间点上发现和显示有意义的图形。
2013-05-30 cs.SI physics.soc-ph stat.ML
Bayesian non-parametric non-negative matrix factorization for pattern identification in environmental mixtures
环境健康研究人员可能会致力于确定代表来源的暴露模式,产品使用,或行为,引起潜在有害的环境化学品暴露的混合物。我们提出了贝叶斯非参数非负矩阵分解(BN ^2 MF)作为一种新的方法来识别模式的化学品暴露时,模式的数量是未知的先验。我们将非负连续先验放置在模式负载和个体分数上以增强可解释性,并使用聪明的非参数稀疏先验来估计模式数。我们进一步推导出估计值周围的变分置信区间;这是一个关键的发展,因为它量化了模型对估计模式的置信度。这些独特的功能与现有的模式识别方法在这一领域中所采用的是有限的用户指定的模式数,缺乏解释性的模式在人类的理解,以及缺乏不确定性量化。
2021-09-24 stat.AP stat.ME stat.ML
Blind Source Separation with Optimal Transport Non-negative Matrix Factorization
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室)
最优运输作为机器学习优化问题的一种损失,最近得到了很多关注。基于计算最优传输的最新进展,我们提出了一种用于有监督语音盲声源分离(BSS)的最优传输非负矩阵分解(NMF)算法。最佳传输使我们能够设计和利用短时傅里叶变换(STFT)频谱图频率之间的成本,这考虑了人类如何感知声音。我们给出的经验证据表明,使用我们提出的最佳传输NMF导致感知更好的结果比欧几里德NMF,孤立的语音重建和BSS任务。最后,我们演示了如何使用跨域声音处理任务的最佳传输,其中在输入频谱图中表示的频率可能是不同的从一个频谱图到另一个。
2018-02-15 cs.SD eess.AS stat.ML
A Survey on Surrogate Approaches to Non-negative Matrix Factorization
University of Bremen(不来梅大学)
出于应用程序在高光谱成像,我们调查的方法近似的高维非负矩阵$\mathbf{\mathit{Y}}$由两个低维,非负矩阵$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}.$的产品。这种所谓的非负矩阵分解是基于定义合适的Tikhonov泛函,它结合了一个差异措施$\mathbf{\mathit{Y}}\approx\mathbf{\mathit{KX}}$与惩罚条款强制执行额外的属性$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}$。最小化是基于交替最小化相对于$\mathbf{\mathit{K}}$或$\mathbf{\mathit{X}}$,其中在每个迭代步骤中,一个取代了原来的Tikhonov功能的本地定义的代理功能。代理泛函的选择是至关重要的:它应该允许一个相对简单的最小化,同时它的一阶最优性条件应该导致乘法更新规则,自动保持迭代的非负性。我们回顾了Frobenius范数和Kullback-Leibler差异测度的代理泛函的最标准的构造原则。我们扩展了已知的替代结构的一般框架,它允许添加各种各样的惩罚条款。本文最后明确地推导出相应的交替最小化方案,并将这些方法应用于MALDI成像数据。
2018-08-09 cs.LG stat.ML
Song Recommendation with Non-Negative Matrix Factorization and Graph Total Variation
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑联邦理工学院))
这项工作制定了一个新的歌曲推荐系统作为一个矩阵完成的问题,受益于协同过滤通过非负矩阵分解(NMF)和基于内容的过滤通过全变差(TV)的图形。这些图表使用音频、元数据和社交功能的丰富组合对播放列表接近度信息和歌曲相似度进行编码。正如我们所展示的,我们的混合推荐系统是非常通用的,并结合了几个著名的方法,同时优于他们。特别是,我们在现实世界的数据表明,我们的模型克服了w.r.t.两个评估度量:仅基于低秩信息、基于图的信息或两者的组合的模型的推荐。
2016-01-13 cs.IR cs.LG physics.data-an
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University(俄亥俄州立大学)
非负矩阵分解(NMF)是无监督降维的核心,在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质,过去已经开发了几种并行实现。然而,现有的并行NMF算法没有解决数据局部性优化,这对于高性能是关键的,因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中,我们设计了一个并行NMF算法的基础上的HALS(分层交替最小二乘)计划,采用算法变换,以提高数据的局部性。该算法在多核CPU和GPU上的有效实现,表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
Wild Bootstrap Inference for Non-Negative Matrix Factorization with Random Effects
Faculty of Data Science, Shiga University(滋贺大学数据科学学部)
本文提出NMF-RE模型,通过随机效应和野Bootstrap推断实现非负矩阵分解中协变量效应的稳定推断。
2026-03-02 stat.ME stat.ML
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University(普林斯顿大学)
非负矩阵分解是一种流行的工具,用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功,但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法,并表明假设数据的生成模型,它可以在相当温和的条件下证明恢复地面真实。特别是,它对特征的唯一基本要求是线性独立性。此外,该算法使用ReLU来利用非负性来解码权重,因此可以容忍可能与信号一样大的对抗性噪声,并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能,我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);City University of Hong Kong(香港城市大学)
急诊室拥挤是影响医院管理效率和病人护理质量的世界性问题。这种情况发生时,要求入院病房床位接收病人的请求被推迟,直到医生作出入院决定。为了减少ED的过度拥挤和等待时间,我们建立了一个分类器来预测病人的处置,使用手动输入的护士在分诊过程中收集的笔记,从而使医院工作人员提前开始必要的准备。然而,这些分类笔记涉及高维,噪声,也稀疏的文本数据,这使得模型拟合和解释困难。为了解决这个问题,我们提出了半正交非负矩阵分解(SONMF)的连续和二进制设计矩阵的第一个双集群的患者和单词到一个减少的主题数量。然后,主题可以被解释为正交基主题向量的非减法线性组合。这些生成的主题向量为医院提供了对入院原因的直接理解。我们表明,通过使用变换的基础上,分类精度可以进一步提高相比,传统的词袋模型和替代矩阵分解方法。通过模拟数据实验,我们还表明,所提出的方法优于其他非负矩阵分解(NMF)的分解精度,收敛速度和正交度的方法。
2019-07-04 cs.LG stat.ME stat.ML
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD(新加坡科技设计大学(SUTD)(注:SUTD是Singapore University of Technology and Design的缩写,常见中文名新加坡科技设计大学))
非负矩阵分解(NMF)是一个基本的非凸优化问题,在机器学习(音乐分析,文档聚类,语音-声源分离等)中有许多应用。尽管已经得到了广泛的研究,但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的,它的梯度不是Lipschitz。在本文中,我们定义了一个乘法的权重更新型动力学(修改的种子李Seung算法),同时运行,并可证明避免鞍点(一阶不二阶固定点)。我们的技术结合了动力系统的工具,如稳定性,并利用几何的NMF目标,通过减少标准的NMF制定的非负正交到一个新的制定(缩放)单纯形。我们的方法的一个重要优点是使用并发更新,它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
Semi-supervised multichannel speech enhancement with variational autoencoders and non-negative matrix factorization
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室)
在本文中,我们解决未知噪声环境中的非特定人多通道语音增强。我们的工作是基于一个完善的多通道局部高斯建模框架。我们建议使用一个神经网络建模的语音频谱时间的内容。该监督模型的参数使用变分自编码器的框架来学习。噪声记录环境被认为是未知的,因此噪声频谱-时间建模仍然是无监督的,并且基于非负矩阵分解(NMF)。我们开发了一个蒙特卡洛期望最大化算法,我们的实验表明,所提出的方法优于其基于NMF的同行,其中语音建模使用监督NMF。
2019-04-30 cs.SD eess.AS stat.ML
Topic Diffusion Discovery based on Sparseness-constrained Non-negative Matrix Factorization
National Sun Yat-sen University(国立中山大学)
由于最近的文本数据爆炸,研究人员已经被不同研究社区产生的不断增加的文章数量所淹没。各种学术搜索网站,引文推荐引擎和研究数据库已经被创建,以简化文本搜索任务。然而,研究人员仍然很难在不对期刊、会议、会议和研讨会发表的大量文章进行深入审查的情况下确定潜在的研究主题。在本文中,我们考虑了一种新的主题扩散发现技术,它结合了稀疏约束的非负矩阵分解与广义詹森-香农发散,以帮助理解术语主题的演变和识别主题扩散。我们的实验结果表明,该方法可以从大型文章数据库中提取更多的突出主题,可视化感兴趣的术语和抽象主题之间的关系,并进一步帮助研究人员了解给定的术语/主题是否已被广泛探讨,或者是否有新的主题正在从文献中出现。
2018-07-12 cs.IR cs.LG stat.ML
Non-negative Matrix Factorization via Archetypal Analysis
Stanford University(斯坦福大学)
给定一组数据点,非负矩阵分解(NMF)建议将它们表示为一小组具有非负条目的“原型”的凸组合。这种分解是唯一的,只有当真正的原型是非负的和足够稀疏(或权重是足够稀疏),一个制度,是由可分性条件及其推广。在本文中,我们研究了一种NMF方法,该方法可以追溯到Cutler和Breiman(1994)的工作,并且不要求数据是可分离的,同时提供了一个普遍唯一的分解。我们优化了两个目标之间的权衡:最小化数据点与原型凸包络的距离(可以解释为经验风险),同时最小化原型与数据凸包络的距离(可以解释为数据依赖正则化)。的原型分析方法(卡特勒,Breiman,1994年)恢复的极限情况下,最后一项被赋予无限的权重。我们引入了一个“唯一性条件”的数据,这是必要的,准确地恢复的原型,从无噪声的数据。我们证明,在唯一性(加上额外的正则条件的几何原型),我们的估计是强大的。虽然我们的方法需要解决一个非凸优化问题,我们发现,标准的优化方法成功地找到了良好的解决方案,为真实和合成数据。
2017-05-08 cs.LG stat.ML
Prediction of Cancer Microarray and DNA Methylation Data using Non-negative Matrix Factorization
Laurentian University(劳伦森大学);Jaypee Institute of Information Technology(杰普信息技术学院)
在过去的几年里,微阵列技术在许多生物模式中得到了相当大的传播,特别是在那些与白血病、前列腺癌、结肠癌等癌症疾病有关的模式中。人们在正确理解这些数据集时遇到的主要瓶颈在于它们的维度,因此对于研究它们的高效和有效的方法,在很大程度上减小它们的尺寸被认为是必要的。这项研究是一个出价,建议不同的算法和方法,减少这种微阵列数据集的维数。这项研究利用了这种微阵列数据的矩阵状结构,并使用一种流行的技术,称为非负矩阵因子分解(NMF),以减少维数,主要是在生物学数据领域。然后比较这些算法的分类精度。该技术的准确率为98%。
2020-07-15 cs.LG q-bio.QM stat.ML
Statistical Speech Enhancement Based on Probabilistic Integration of Variational Autoencoder and Non-Negative Matrix Factorization
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
本文提出了一种单通道语音增强的统计方法,该方法使用变分自编码器(VAE)作为纯净语音的先验分布。语音增强的标准方法是训练深度神经网络(DNN)以将含噪语音作为输入并输出干净语音。虽然这种监督方法需要非常大量的配对数据进行训练,但它对未知环境并不鲁棒。另一种方法是使用非负矩阵分解(NMF),该非负矩阵分解基于预先在干净语音上训练的基谱和那些在运行中适应噪声的基谱。然而,这种半监督的方法,由于不切实际的假设,语音频谱是基本频谱的线性组合,导致相当大的信号失真增强语音。用VAE--一个强大的非线性深度生成模型--在干净的语音上训练,取代NMF中干净语音的线性生成模型,我们制定了一个统一的噪声语音概率生成模型。给定带噪语音作为观测数据,我们可以从其后验分布中抽取干净的语音。该方法在看不见的噪声环境中优于传统的基于DNN的方法。
2018-03-19 cs.LG cs.SD eess.AS
On the Connection Between Non-negative Matrix Factorization and Latent Dirichlet Allocation
Harvard University(哈佛大学)
本文证明了对两个矩阵列施加 $\ell_1$ 归一化约束并对其中一个矩阵列施加 Dirichlet 先验的 NMF 等价于 LDA,并揭示了联合 MU 算法与 PLSA 的联系及 Lasso 惩罚的局限性。
2024-05-30 cs.LG stat.ML
Neighborhood Structure Assisted Non-negative Matrix Factorization and its Application in Unsupervised Point-wise Anomaly Detection
Texas A & M University(德克萨斯农工大学);ABB Corporate Research(ABB企业研究院);TOTVS Labs(TOTVS实验室)
在异常检测等无监督学习中,先验性降低被认为是确保竞争性能的重要步骤。非负矩阵分解(NMF)是实现这一目标的流行和广泛使用的方法。但是NMF不具有包括邻域结构信息的规定,因此,在存在非线性流形结构的情况下可能无法提供令人满意的性能。为了解决这一缺点,我们建议考虑和纳入NMF框架内的邻域结构相似性信息,通过最小生成树建模的数据。我们将所得到的方法称为邻域结构辅助NMF。我们进一步设计离线和在线算法版本的方法。使用20个基准数据集以及从水电站提取的工业数据集的实证比较表明,邻域结构辅助NMF的优越性,并支持我们的主张的优点。近距离观察邻域结构辅助NMF与其他最近的NMF增强版本的制定和属性,发现使用MST包含邻域结构信息在实现异常检测的增强性能中起着关键作用。
2021-02-05 cs.LG stat.ML
Truncated Cauchy Non-negative Matrix Factorization
National University of Defense Technology(国防科技大学);University of Sydney(悉尼大学);Google(谷歌)
非负矩阵分解(NMF)最小化数据矩阵与其低秩近似之间的欧氏距离,并且当应用于损坏的数据时失败,因为损失函数对离群值敏感。在本文中,我们提出了一种截断CauchyNMF损失,通过截断大误差来处理离群值,并开发了一种截断CauchyNMF来鲁棒地学习被离群值污染的噪声数据集上的子空间。我们从理论上分析了截断CauchyNMF与竞争模型的鲁棒性,并证明了截断CauchyNMF具有以$O(\sqrt{{\ln n}/{n}})$阶速度收敛的推广界,其中$n$是样本量.我们通过模拟和真实数据集上的图像聚类来评估截断CauchyNMF。在含有严重损坏数据集上的实验结果验证了截断CauchyNMF学习鲁棒子空间的有效性和鲁棒性。
2019-06-02 cs.CV cs.LG stat.ML
Joint Negative and Positive Learning for Noisy Labels
KAIST(韩国科学技术院)
用带有噪声标签的数据训练卷积神经网络(CNN)是一个挑战。基于直接为数据提供标签(正学习; PL)有允许CNN记住噪声数据情况下的污染标签的风险,使用互补标签的间接学习方法(噪声标签的负学习; NLNL)已被证明在防止过度拟合噪声数据方面非常有效,因为它降低了提供错误目标的风险。NLNL进一步采用三级流水线来提高收敛性。因此,通过NLNL管道过滤噪声数据很麻烦,增加了训练成本。在这项研究中,我们提出了一种新的改进NLNL,命名为联合消极和积极的学习(JNPL),将过滤管道统一到一个单一的阶段。JNPL通过两个损失NL+和PL+训练CNN,这两个损失分别在NL和PL损失函数上进行了改进。我们分析了NL损失函数的基本问题,并开发了新的NL+损失函数,产生梯度,提高噪声数据的收敛。此外,PL+损失函数的设计,使更快的收敛到预期要干净的数据。我们表明,NL+和PL+训练CNN的同时,显着简化管道,允许更大的易用性相比,NLNL的实际使用。通过一个简单的半监督训练技术,我们的方法实现了最先进的精度为噪声数据分类的基础上优越的过滤能力。
2021-04-14 cs.LG stat.ML
Risk budget portfolios with convex Non-negative Matrix Factorization
本研究提出一种基于凸非负矩阵分解的风险因子预算投资组合配置方法,可得到可解释的纯多头多元化组合,在两类资产组合上表现优于经典方法和HRP,且经蒙特卡洛模拟验证稳健。
2023-06-12 econ.EM q-fin.PM stat.AP
Robust Large Scale Non-negative Matrix Factorization using Proximal Point Algorithm
Department of Electrical and Computer Engineering(电气与计算机工程系);Tufts University(塔夫茨大学)
本文提出一种鲁棒算法用于大规模非负矩阵分解,通过引入减少的约束条件改进线性规划算法,无需预先知道分解秩,适用于极端射线或主题数量远大于数据向量维度的情况。
2014-01-08 cs.IT cs.LG cs.NA
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);Tokyo Institute of Technology(东京工业大学)
非负矩阵分解(NMF)是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而,由于变分贝叶斯NMF(VBNMF)中的先验分布不具有统计正则性,变分贝叶斯NMF(VBNMF)中的变分逼近误差存在零点或发散点,因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法,从理论上分析了负对数证据(也称“负对数证据”)的差异。自由能),即,变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数(a.k.a.)的上界。贝叶斯NMF中的实对数典型阈值)。通过使用上界,我们找到了一个下界的近似误差,渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF,其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
A Hebbian/Anti-Hebbian Network Derived from Online Non-Negative Matrix Factorization Can Cluster and Discover Sparse Features
尽管我们对神经元的生物物理特性有广泛的了解,但还没有普遍接受的神经元功能的算法理论。在这里,我们探讨的假设,单层神经网络进行在线对称非负矩阵分解(SNMF)的相似性矩阵的流数据。通过从SNMF成本函数开始,我们推导出一种在线算法,该算法可以由具有局部学习规则的生物学上合理的网络来实现。我们证明,这样的网络执行软聚类的数据,以及稀疏特征发现。衍生的算法复制了许多已知的方面的感觉解剖和生物物理特性的神经元,包括单极性质的神经元活动和突触的权重,本地突触可塑性规则和累积神经元活动的学习率的依赖性。因此,我们朝着神经元功能的算法理论迈出了一步,这将有助于大规模神经电路模拟和生物启发的人工智能。
2015-03-02 cs.NE q-bio.NC stat.ML
Non-negative matrix factorization algorithms generally improve topic model fits
Vesalius Therapeutics(维萨利斯制药)
本文通过利用NMF优化方法提升主题模型的拟合效果,证明EM算法与NMF的乘法更新方法本质相同,且在效率和效果上优于现有方法。
2026-02-09 cs.LG stat.CO stat.ML
Singularities of Non-negative Matrix Factorization and their application to Bayesian inference
Toyota Central R&D Labs., Inc.(丰田中央研发实验室有限公司)
本文研究非负矩阵分解的奇异性,推导其实对数规范阈值的上界,并给出特定条件下的精确值,从而界定贝叶斯泛化误差与自由能的首项系数。
2026-09-29 cs.LG math.ST stat.ML
Hierarchical Compound Poisson Factorization
Princeton University(普林斯顿大学)
基于分层Gamma-Poisson结构的非负矩阵分解模型在极稀疏的数据集中有效地捕获用户和项目行为,使其成为协同过滤应用程序的理想选择。特别是层次泊松分解(HPF)已被证明是成功的可扩展的推荐系统与极端稀疏。然而,HPF遭受稀疏模型(没有评级)和响应模型(评级的值)的紧密耦合,这限制了后者的表达能力。在这里,我们介绍了分层复合泊松分解(HCPF),具有良好的伽玛泊松结构和HPF的可扩展性,高维极稀疏矩阵。更重要的是,HCPF将稀疏模型从响应模型中分离出来,使我们能够为响应选择最合适的分布。HCPF可以捕获二元、非负离散、非负连续和零膨胀连续响应。我们比较了HCPF与HPF在9个离散数据集和3个连续数据集上的表现,并得出结论,HCPF比HPF更好地捕捉了稀疏性和响应之间的关系。
2016-05-26 cs.AI cs.LG stat.ML