Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Alibaba Cloud Intelligence Business Group(阿里云智能事业群)
拓扑数据分析(TDA)是一种从数据集的拓扑结构的角度来分析数据集的新方法。它对时间序列数据的使用受到限制。在这项工作中,介绍了为领先的云计算提供商开发的一个结合用户细分和需求预测的系统。它包括一个基于TDA的聚类方法的时间序列的灵感来自一个流行的管理框架,客户细分和扩展到聚类回归的情况下,使用矩阵分解方法来预测需求。提高客户忠诚度和准确预测仍然是研究人员和管理人员讨论的热门话题。使用一个公共的和一个新的专有数据集的商业数据,这项研究表明,所提出的系统使分析师能够聚类他们的用户群和计划的需求在一个粒度级别显着更高的准确性比最先进的基线。因此,这项工作旨在引入TDA为基础的聚类的时间序列和集群回归矩阵分解方法作为可行的工具,从业者。
2020-09-08 cs.LG stat.ML
A Comparative Study of Gamma Markov Chains for Temporal Non-Negative Matrix Factorization
Aalto University(阿尔托大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);DI ENS(巴黎高等师范学院信息学系);INRIA(法国国家信息与自动化研究所);Université PSL(巴黎文理研究大学)
非负矩阵分解(NMF)已成为一类行之有效的方法,用于分析非负数据。特别是,人们在概率NMF方面投入了大量精力,即描述数据的概率模型中的估计或推理任务,例如基于泊松或指数似然。当处理时间序列数据时,一些工作已经提出将激活系数的演变建模为非负马尔可夫链,大多数时间与Γ分布相关,从而产生所谓的时间NMF模型。在本文中,我们回顾了四个伽玛马尔可夫链的NMF文献,并表明他们都有一个共同的缺点:缺乏一个良好定义的平稳分布。然后,我们介绍了第五个过程,一个被忽视的模型的时间序列文献命名为BGAR(1),它克服了这一限制。这些时间NMF模型,然后比较在MAP框架上的预测任务,在泊松似然的上下文中。
2021-02-25 cs.LG stat.ML
Deep Markov Spatio-Temporal Factorization
Northeastern University(东北大学);University of Oregon(俄勒冈大学)
我们介绍了深度马尔可夫时空分解(DMSTF),时空数据的动态分析的生成模型。与其他因子分析方法一样,DMSTF通过时间相关权重和空间相关因子之间的乘积来近似高维数据。这些权重和因素反过来表示在使用随机变分推理推断的低维潜伏期。DMSTF的创新之处在于,我们将权重参数化为具有离散潜时的深度马尔可夫先验可扩展性,从而能够表征非线性多模态时间动态,并进行多维时间序列预测。DMSTF学习一个低维的空间潜在生成参数化的空间因素或其功能的形式,以适应高空间维度。我们参数化相应的变分分布使用双向递归网络在低级别的潜在表示。这产生了一系列灵活的分层深度生成因子分析模型,这些模型可以扩展以执行时间序列聚类或在存在控制信号的情况下执行因子分析。我们的实验,其中包括模拟和真实世界的数据,表明DMSTF优于相关方法的预测性能方面看不见的数据,揭示了有意义的集群的数据,并在各种领域进行预测与潜在的非线性时间转换。
2020-08-18 cs.LG stat.ML
IdealTSF: Can Non-Ideal Data Contribute to Enhancing the Performance of Time Series Forecasting Models?
IdealTSF通过整合理想正负样本提升时间序列预测性能,利用非理想数据增强模型表现。
2025-12-16 cs.AI cs.LG
Structural and Functional Discovery in Dynamic Networks with Non-negative Matrix Factorization
时间序列图形在现代数据中越来越普遍,并对视觉探索和模式提取提出了独特的挑战。本文介绍了矩阵分解的发展和应用,探索和时变社区发现的时间演变图序列。矩阵分解模型允许用户锁定并显示有趣的底层结构及其随时间的演变。该方法可扩展到具有大量时间点或节点的加权网络,并且可以适应图拓扑的突然变化。我们的技术证明了几个动态图系列从合成和现实世界的数据,包括引文和贸易网络。这些示例说明了用户如何驾驭这些技术,并将其与现有方法相结合,以在许多时间点上发现和显示有意义的图形。
2013-05-30 cs.SI physics.soc-ph stat.ML
Decomposing Temperature Time Series with Non-Negative Matrix Factorization
BMW Group AG(宝马集团股份公司);University of Regensburg(雷根斯堡大学);University of Aveiro(阿威罗大学)
在铸造零件的制造过程中,传感器数据通常被自动记录和积累,用于过程监控和缺陷诊断。由于铸造是一个具有许多相互作用的工艺参数的热过程,根本原因分析往往是繁琐和无效的。我们展示了如何基于非负矩阵分解(NMF)的分解,这是由基于知识的初始化策略的指导下,是能够提取物理有意义的源从温度时间序列收集在热制造过程中。该方法假设时间序列是由几个同时作用的组件过程的叠加产生的。非负矩阵分解能够反转叠加过程,识别隐藏的分量过程。后者可能与无法直接监测的持续物理现象和过程变量有关。我们的方法提供了新的见解的基础物理,并提供了一个工具,可以帮助诊断缺陷的原因。我们证明了我们的方法,将其应用到现实世界的数据,收集在铸造厂在汽车工业的铸造零件的系列生产。
2019-04-03 cs.CV cs.LG physics.app-ph
Temporal Wasserstein non-negative matrix factorization for non-rigid motion segmentation and spatiotemporal deconvolution
Columbia University(哥伦比亚大学)
自然图像的运动分割通常依赖于密集的光流来产生点轨迹,这些点轨迹可以通过包括谱聚类或最小成本多割的各种手段被分组为簇。然而,在生物成像场景中,例如荧光显微镜或钙成像,其中信噪比受到损害并且发生强度波动,光流可能难以近似。为此,我们提出了一种替代的模式,运动分割的基础上,最佳运输模型的视频帧随时间变化的质量表示为直方图。因此,我们铸造运动分割作为一个时间非线性矩阵分解问题与Wasserstein度量损失。该因子分解的字典元素将运动分割成相干对象,而加载系数允许捕获运动对象的时变强度信号。我们在模拟的多电极漂移场景中演示了所提出的范例的使用,以及秀丽隐杆线虫(C. elegans)。后一种应用具有在自由进行的行为中提取动物的神经活动的附加效用。
2019-12-07 cs.CV cs.LG eess.IV
Ellipsoidal Time Series Forecasting
Independent Researcher(独立研究者)
本文提出Fern方法,通过显式谱结构学习局部雅可比矩阵,将预测视为概率质量从固定高斯源到数据依赖椭球的最优传输,提升非平稳场景下的鲁棒性。
2026-05-02 cs.AI cs.LG
Clustering US States by Time Series of COVID-19 New Case Counts with Non-negative Matrix Factorization
COVID-19在美国各州的传播模式因隔离措施和重新开放政策的不同而有很大差异。我们建议通过非负矩阵分解(NMF),然后在NMF的基础上进行k-均值聚类程序,根据每日新确诊病例计数将美国各州聚类为不同的社区。采用交叉验证方法来选择NMF的秩。将该方法应用于3月22日至7月25日的整个研究期间,我们将49个大陆州(包括哥伦比亚特区)分为7组,其中两组包含一个州。为了研究聚类结果随时间的动态变化,从3月22日至3月28日期间开始,以一周为增量连续应用相同的方法。结果表明,从5月30日开始的一周内,集群出现了一个变化点,这可能是隔离措施和重新开放政策的综合影响。
2021-01-15 stat.AP
Online Forecasting Matrix Factorization
本文研究了高维时间序列的预测问题。这样的时间序列可以被建模为矩阵,其中每列表示测量。此外,当存在缺失值时,低秩矩阵分解方法适用于预测未来值。本文正式定义并分析了在线环境中的预测问题,即数据作为流到达并且只允许单次通过。我们提出并分析了新的矩阵分解技术,可以有效地学习低维嵌入在线的方式。基于这些嵌入的递归最小均方误差估计器,它学习的自回归模型,他们。两个真实数据集的实验与数千万的测量显示所提出的方法的好处。
2017-12-23 cs.LG
Improving Sales Forecasting Accuracy: A Tensor Factorization Approach with Demand Awareness
University of Minnesota(明尼苏达大学);Shanghai Jiao Tong University(上海交通大学);University of California, Irvine(加州大学欧文分校)
由于可以从消费者、产品和商店获得大量数据汇集,高级销售预测能力已经引起了许多公司的高度关注,特别是在零售业,因为它在决策中的重要性。预测准确性的提高,即使是很小的百分比,也可能对公司的生产和财务规划、营销策略、库存控制、供应链管理以及最终的股票价格产生重大影响。具体而言,我们的研究目标是预测每个商店在不久的将来每个产品的销售情况。受个性化上下文感知推荐系统的张量因子分解方法的启发,我们提出了一种称为高级时间潜在因素销售预测方法(ATLAS)的新方法,该方法通过在多个商店和产品中构建单个张量因子分解模型来实现准确和个性化的销售预测。我们的贡献是:张量框架(利用商店和产品的信息),新的正则化函数(将需求动态纳入其中),以及使用最先进的统计(季节自回归综合移动平均模型)和机器学习(递归神经网络)模型将张量外推到未来时间段。ATLAS的优势在信息资源公司收集的八个产品类别数据集上得到了证明,其中分析了来自1,500多家杂货店的15,560种产品的总计1.65亿次每周销售交易。
2020-11-06 cs.IR cs.LG stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种新的知识发现方法,用于文本挖掘,信号处理,生物信息学和消费者分析。然而,由于它不是一个规则的统计模型,其作为学习机的基本性质还不清楚,导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值,并给出了贝叶斯学习中推广误差的一个上界。结果表明,如果应用贝叶斯学习,可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
An Exponential Factorization Machine with Percentage Error Minimization to Retail Sales Forecasting
National University of Singapore(新加坡国立大学);Red Jasper Holdings(红碧玉控股公司);Nanjing University(南京大学)
针对交货期长、产品生存周期短的新产品,提出了一种新的销售预测方法。这些SKU通常只销售一个季节,没有任何折扣。针对这一问题,提出了一种指数因子分解机(EFM)销售预测模型。EFM模型与原始的因子分解机(FM)有两个方面的显著不同:(1)解释变量的属性水平公式和(2)积极响应变量的指数公式。属性级的形成排除不可行的属性内的相互作用,并导致更有效的功能工程相比,传统的一热编码,而指数公式被证明比对数变换的积极的,但不偏斜的分布响应更有效。为了估计参数,百分比误差平方(PES)和误差平方(ES)最小化的建议自适应批量梯度下降方法在训练集。真实世界的数据提供的鞋类零售商在新加坡用于测试所提出的方法。平均绝对百分比误差(MAPE)和平均绝对误差(MAE)方面的预测性能相比,不仅是现成的模型,而且现有的销售和需求预测研究报告的结果有利。两个外部公共数据集也证明了所提出方法的有效性。此外,我们证明了PES和ES最小化之间的理论关系,并提出了回归模型的PES最小化的一个重要性质,它训练模型低估数据。这一性质适用于单位持有成本远大于单位短缺成本的销售预测。
2020-09-22 cs.IR cs.LG stat.ML
Forecasting Sparse Movement Speed of Urban Road Networks with Nonstationary Temporal Matrix Factorization
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本文提出非平稳时间矩阵分解模型,用于预测城市道路网络稀疏行驶速度,通过低秩结构和季节性信息提升预测精度。
2025-04-12 cs.LG stat.ML
Deep Functional Factor Models: Forecasting High-Dimensional Functional Time Series via Bayesian Nonparametric Factorization
London School of Economics(伦敦经济学院);Faculty of Business(商学院);Economics, The University of Hong Kong(经济学,香港大学);Management School, University of Liverpool(利物浦大学管理学院)
本文提出DF2M模型,通过贝叶斯非参数因子化方法提升高维函数时间序列预测的可解释性和准确性。
2024-07-18 cs.LG stat.ML
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);Tokyo Institute of Technology(东京工业大学)
非负矩阵分解(NMF)是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而,由于变分贝叶斯NMF(VBNMF)中的先验分布不具有统计正则性,变分贝叶斯NMF(VBNMF)中的变分逼近误差存在零点或发散点,因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法,从理论上分析了负对数证据(也称“负对数证据”)的差异。自由能),即,变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数(a.k.a.)的上界。贝叶斯NMF中的实对数典型阈值)。通过使用上界,我们找到了一个下界的近似误差,渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF,其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
Singularities of Non-negative Matrix Factorization and their application to Bayesian inference
Toyota Central R&D Labs., Inc.(丰田中央研发实验室有限公司)
本文研究非负矩阵分解的奇异性,推导其实对数规范阈值的上界,并给出特定条件下的精确值,从而界定贝叶斯泛化误差与自由能的首项系数。
2026-09-29 cs.LG math.ST stat.ML
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System(天普大学卫生系统福克斯·蔡斯癌症中心)
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架,该框架包含了指数模型族的成员.使用这个框架开发了一系列算法,并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法,不同的噪声结构和对比,最近提出的准似然方法,从而提供了一个有用的替代非负矩阵分解。一个措施,以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚,内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
Non-negative Factorization of the Occurrence Tensor from Financial Contracts
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
我们提出了一个算法的非负因子分解的发生张量从异构网络。我们使用l0范数对离散值(事件)上的稀疏误差进行建模,并使用分解因子对嵌入的节点组进行建模。提出了一种有效的分裂方法来优化非凸非光滑目标。我们研究了合成问题和一个新的数据集建立从金融文件,resMBS。
2016-12-10 cs.CE cs.LG stat.ML
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
我们介绍负二项矩阵分解(NBMF),矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解(PF)扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度,使NBMF对离群值更加鲁棒。我们表明,NBMF允许跳过传统的预处理阶段,如二值化,这会导致信息丢失。两种估计方法:最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型,并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
A Non-Negative Matrix Factorization Game
University of Washington(华盛顿大学)
我们提出了一种新的非负矩阵分解(NNMF),一个流行的数据分析方法与许多科学和工程应用的博弈论制定。博弈论制定具有良好的缩放和并行化性能,同时保留重建和收敛性能相媲美的传统乘法更新算法。
2021-04-11 cs.GT cs.LG
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa(比萨大学)
本文讨论了一种池机制,以诱导图结构数据的二次采样,并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解(NMF)上,所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图,其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明,这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Fast Conical Hull Algorithms for Near-separable Non-negative Matrix Factorization
University of Maryland(马里兰大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
可分性假设(Donoho & Stodden,2003; Arora et al.,2012)将非负矩阵分解(NMF)变成了一个易于处理的问题。最近,一类新的可证明正确的NMF算法出现在这个假设下。本文将可分NMF问题转化为求有限向量集锥壳的极值射线问题。从这个几何的角度来看,我们得到新的可分离的NMF算法,是高度可扩展的和经验噪声鲁棒性,并有其他几个有利的属性,在现有的方法。我们的算法的并行实现展示了高的可扩展性共享和分布式内存机器。
2012-10-03 cs.LG stat.ML
Ordinal Non-negative Matrix Factorization for Recommendation
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心);ISAE-SUPAERO, Université de Toulouse(图卢兹大学 ISAE-SUPAERO 高等航空与航天学院)
本文提出了一种新的非负矩阵分解方法,称为OrdNMF。有序数据是类别数据,它们在类别之间表现出自然的顺序。特别是,它们可以在推荐系统中找到,无论是显式数据(如评级)还是隐式数据(如量化播放计数)。OrdNMF是一种概率潜在因子模型,它将Bernoulli-Poisson因子分解(BePoF)和Poisson因子分解(PF)推广到二进制数据。与这些方法相反,OrdNMF避免了二值化,并且可以利用数据的更多信息表示。我们设计了一个有效的变分算法的基础上,一个合适的模型增强和相关的变分PF。特别是,我们的算法保留了PF的可扩展性,并可以应用于巨大的稀疏数据集。我们报告了显式和隐式数据集上的推荐实验,并表明OrdNMF优于应用于二进制数据的BePoF和PF。
2020-09-02 cs.LG stat.ML
Binary Orthogonal Non-negative Matrix Factorization
University of Lethbridge(莱斯布里奇大学)
我们提出了一种计算二进制正交非负矩阵分解(BONMF)的聚类和分类的方法。该方法在几个有代表性的现实世界的数据集上进行了测试。数值结果表明,该方法与相关技术相比,具有更高的精度。该方法具有训练和分类速度快、空间利用率高等优点。
2022-10-19 cs.LG math.OC
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息,如标签或重要特征,已经开发出方法来执行分类和主题建模任务;然而,大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中,我们提出了一种方法,即引导半监督非负矩阵分解(GSSNMF),进行分类和主题建模,将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能,该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明,我们提出的方法提高了分类精度和主题一致性相比,过去的方法,如半监督非负矩阵分解(SSNMF)和引导非负矩阵分解(引导NMF)。
2022-01-31 cs.IR cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
A Nonlinear Orthogonal Non-Negative Matrix Factorization Approach to Subspace Clustering
Ruder Bošković Institute(鲁杰尔·博什科维奇研究所);ETH Zürich, Swiss Federal Institute of Technology(苏黎世联邦理工学院)
最近的理论分析表明,非负矩阵分解(NMF)和谱聚类方法之间的等价性的子空间聚类。由于NMF和它的许多变种本质上是线性的,我们引入了一个非线性NMF显式正交性,并推导出一般的基于核的正交乘法更新规则来解决子空间聚类问题。在非线性正交NMF框架下,提出了两种基于核的非负子空间聚类算法KNSC-Ncut和KNSC-Rcut,并将其与谱归一化割和比率割聚类进行了比较。我们进一步扩展了非线性正交NMF框架,并引入了一个图正则化,以获得一个因子分解,尊重非线性映射后的数据的局部几何结构。所提出的基于NMF的子空间聚类方法考虑到流形的非线性性质,以及其固有的局部几何形状,这大大提高了聚类性能相比,最近提出的几个国家的最先进的方法。
2017-09-29 cs.LG stat.ML
Identifiable Phenotyping using Constrained Non-Negative Matrix Factorization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学)
这项工作提出了一种新的算法,用于使用电子健康记录(EHR)的临床记录自动和同时对多种共同发生的医疗状况(也称为合并症)进行表型分析。一个基本的潜在因素估计技术的非负矩阵分解(NMF)增强域特定的约束,以获得稀疏的潜在因素,锚定到一组固定的慢性疾病。所提出的锚定机制确保潜在因素和目标合并症之间的一对一可识别和可解释的映射。临床专家对经验结果的定性评估表明,所提出的模型在预测30天死亡率的同时学习了临床可解释的表型。所提出的方法可以很容易地适用于各种医疗机构的任何非负EHR数据。
2016-09-20 cs.LG stat.ML
Non-negative matrix factorization with sparseness constraints
非负矩阵分解(NMF)是最近发展起来的一种技术,用于寻找非负数据的基于部分的线性表示。虽然它已成功地应用于多个应用程序中,但它并不总是导致基于零件的表示。在本文中,我们将展示如何明确地将“稀疏”的概念,提高了发现分解。此外,我们还为标准NMF和我们的扩展提供了完整的MATLAB代码。我们希望这将进一步应用这些方法来解决新的数据分析问题。
2004-08-25 cs.LG cs.NE
Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development(爱普生研发中心)
提出一种加性非负矩阵分解方法,通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性,并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
Detecting multi-timescale consumption patterns from receipt data: A non-negative tensor factorization approach
University of Southern California(南加州大学);Kobe University(神户大学);CyberAgent, Inc.(CyberAgent 公司);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
了解消费者行为是一项重要的任务,不仅对制定营销战略,而且对经济政策的管理。然而,检测消费模式,是一个高维的问题,其中各种因素会影响消费者的行为需要考虑,如消费者的人口统计,昼夜节律,季节周期等,在这里,我们开发了一种方法来提取多时间尺度的消费者的支出模式从一个大的数据集扫描收据。我们使用非负张量因子分解(NTF)来同时检测周内和周间的消费模式。所提出的方法使我们能够根据不同时间尺度上相关的消费模式来表征消费者。
2020-08-02 cs.LG stat.ML
Identifying Population Movements with Non-Negative Matrix Factorization from Wi-Fi User Counts in Smart and Connected Cities
University of Colorado at Boulder(科罗拉多大学博尔德分校)
非负矩阵分解(NMF)是一种有价值的矩阵分解技术,它产生一个“基于部分”的数据集分解。Wi-Fi用户数量是智能互联城市环境中人口流动的隐私保护指标。在本文中,我们将具有新型矩阵嵌入的NMF应用于科罗拉多大学博尔德校区的Wi-Fi用户计数数据,以自动识别智能互联基础设施环境中的人类运动模式。
2021-11-19 cs.LG eess.SP
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees
Microsoft Research New England(新英格兰微软研究院)
非负矩阵分解(NMF)是一种自然的混合模型,在科学和工程中有着广泛的应用。已经开发了大量的算法来解决NMF,但由于问题的非凸性质,几乎不能保证这些方法的工作效果。最近的研究热潮集中在一类非常有限的NMF,称为可分离NMF,其中已开发出可证明正确的算法。在本文中,我们提出了子集可分NMF的概念,它实质上推广了可分性的性质。我们表明,子集可分性是一个自然的必要条件,分解是唯一的或有最小的体积。我们提出了面交算法,该算法在自然条件下可有效地解决子集可分NMF问题,并证明了该算法对小噪声具有鲁棒性。我们探讨了模拟的面相交的性能,并讨论了它在经验上优于最先进方法的设置。我们的工作是一个步骤,找到可证明正确的算法,解决大类NMF问题。
2015-07-08 cs.LG stat.ML
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法,支持加权范数与岭、Lasso正则化,将乘法更新重构为无零值卡滞的加法更新,还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University(哥伦比亚大学);Colorado State University(科罗拉多州立大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
我们验证使用矩阵分解的原子对分布函数(PDF)数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施,用于分析PDF数据流的方式到达。然后,我们应用两个矩阵分解技术,主成分分析(PCA)和非负矩阵分解(NMF),在原位实验的背景下,研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Learning Hidden Markov Models using Non-Negative Matrix Factorization
Dartmouth College(达特茅斯学院);California State University at Los Angeles(加州州立大学洛杉矶分校)
Baum-Welsh算法及其衍生物和变体一直是从观测数据中学习隐马尔可夫模型(HMM)的主要技术。我们提出了一种基于高阶马尔可夫统计的非负矩阵分解(NMF)的HMM学习算法,该算法在结构上不同于Baum-Welsh及其相关方法。所描述的算法支持估计HMM的递归状态的数量,并迭代非负矩阵分解(NMF)算法以改进学习的HMM参数。数值例子也提供。
2011-01-08 cs.AI cs.IT cs.LG
Biclustering Readings and Manuscripts via Non-negative Matrix Factorization, with Application to the Text of Jude
将证人分组为家庭或文本类型的文本批评实践通常面临两个障碍:手稿传统的污染,以及识别特征阅读和手稿的相互依赖。我们引入非负矩阵分解(NMF)作为一种简单,无监督,有效的方法来同时聚类大量的手稿和读数,同时使用易于解释的混合模型总结污染。我们应用这种方法来广泛的整理新约书信的裘德,并表明,由此产生的集群对应于人类识别的文本家庭从现有的研究。
2016-02-03 cs.LG
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics(穆尔加大学科学学院统计学系);University of Crete(克里特大学);University of Piraeus(比雷埃克斯大学)
该研究引入新的用于非负矩阵分解的R包,与两个广泛使用的R包进行系统性能比较,通过使用真实数据和一致实验框架,重点评估计算效率等多方面性能,为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
Song Recommendation with Non-Negative Matrix Factorization and Graph Total Variation
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑联邦理工学院))
这项工作制定了一个新的歌曲推荐系统作为一个矩阵完成的问题,受益于协同过滤通过非负矩阵分解(NMF)和基于内容的过滤通过全变差(TV)的图形。这些图表使用音频、元数据和社交功能的丰富组合对播放列表接近度信息和歌曲相似度进行编码。正如我们所展示的,我们的混合推荐系统是非常通用的,并结合了几个著名的方法,同时优于他们。特别是,我们在现实世界的数据表明,我们的模型克服了w.r.t.两个评估度量:仅基于低秩信息、基于图的信息或两者的组合的模型的推荐。
2016-01-13 cs.IR cs.LG physics.data-an
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University(俄亥俄州立大学)
非负矩阵分解(NMF)是无监督降维的核心,在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质,过去已经开发了几种并行实现。然而,现有的并行NMF算法没有解决数据局部性优化,这对于高性能是关键的,因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中,我们设计了一个并行NMF算法的基础上的HALS(分层交替最小二乘)计划,采用算法变换,以提高数据的局部性。该算法在多核CPU和GPU上的有效实现,表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University(普林斯顿大学)
非负矩阵分解是一种流行的工具,用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功,但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法,并表明假设数据的生成模型,它可以在相当温和的条件下证明恢复地面真实。特别是,它对特征的唯一基本要求是线性独立性。此外,该算法使用ReLU来利用非负性来解码权重,因此可以容忍可能与信号一样大的对抗性噪声,并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能,我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data
Duke University(杜克大学)
我们提出了一个贝叶斯非负张量因式分解模型的计数值张量数据,并开发可扩展的推理算法(批量和在线)处理大量的张量。我们的生成模型可以处理过度分散的计数以及推断分解的秩。此外,利用将泊松分布重新参数化为多项式有助于模型中的共轭性,并实现简单有效的吉布斯抽样和变分贝叶斯(VB)推断更新,其计算成本仅取决于张量中非零的数量。该模型还提供了一个很好的解释的因素,在我们的模型中,每个因素对应于一个“主题”。我们开发了一套在线推理算法,允许进一步扩展到大规模的张量模型,批量推理方法可能是不可行的。我们将我们的框架应用于不同的现实世界的应用程序,如科学出版物数据库上的\emph{multiway}主题建模,分析政治学数据集,并分析大量的家庭交易数据集。
2015-08-18 cs.LG stat.ML
Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);City University of Hong Kong(香港城市大学)
急诊室拥挤是影响医院管理效率和病人护理质量的世界性问题。这种情况发生时,要求入院病房床位接收病人的请求被推迟,直到医生作出入院决定。为了减少ED的过度拥挤和等待时间,我们建立了一个分类器来预测病人的处置,使用手动输入的护士在分诊过程中收集的笔记,从而使医院工作人员提前开始必要的准备。然而,这些分类笔记涉及高维,噪声,也稀疏的文本数据,这使得模型拟合和解释困难。为了解决这个问题,我们提出了半正交非负矩阵分解(SONMF)的连续和二进制设计矩阵的第一个双集群的患者和单词到一个减少的主题数量。然后,主题可以被解释为正交基主题向量的非减法线性组合。这些生成的主题向量为医院提供了对入院原因的直接理解。我们表明,通过使用变换的基础上,分类精度可以进一步提高相比,传统的词袋模型和替代矩阵分解方法。通过模拟数据实验,我们还表明,所提出的方法优于其他非负矩阵分解(NMF)的分解精度,收敛速度和正交度的方法。
2019-07-04 cs.LG stat.ME stat.ML
Evaluating Neural Probabilistic Forecasts of Sparse Earthquake Counts: What Survives a Careful Evaluation
本文提出了一种基于神经网络的地震预测方法,通过每个单元的分散参数估计和尾部风险评估,改进了传统泊松分布的假设,提高了极端事件预测的准确性。
2026-10-23 cs.LG physics.geo-ph stat.ML
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD(新加坡科技设计大学(SUTD)(注:SUTD是Singapore University of Technology and Design的缩写,常见中文名新加坡科技设计大学))
非负矩阵分解(NMF)是一个基本的非凸优化问题,在机器学习(音乐分析,文档聚类,语音-声源分离等)中有许多应用。尽管已经得到了广泛的研究,但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的,它的梯度不是Lipschitz。在本文中,我们定义了一个乘法的权重更新型动力学(修改的种子李Seung算法),同时运行,并可证明避免鞍点(一阶不二阶固定点)。我们的技术结合了动力系统的工具,如稳定性,并利用几何的NMF目标,通过减少标准的NMF制定的非负正交到一个新的制定(缩放)单纯形。我们的方法的一个重要优点是使用并发更新,它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
A Survey on Surrogate Approaches to Non-negative Matrix Factorization
University of Bremen(不来梅大学)
出于应用程序在高光谱成像,我们调查的方法近似的高维非负矩阵$\mathbf{\mathit{Y}}$由两个低维,非负矩阵$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}.$的产品。这种所谓的非负矩阵分解是基于定义合适的Tikhonov泛函,它结合了一个差异措施$\mathbf{\mathit{Y}}\approx\mathbf{\mathit{KX}}$与惩罚条款强制执行额外的属性$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}$。最小化是基于交替最小化相对于$\mathbf{\mathit{K}}$或$\mathbf{\mathit{X}}$,其中在每个迭代步骤中,一个取代了原来的Tikhonov功能的本地定义的代理功能。代理泛函的选择是至关重要的:它应该允许一个相对简单的最小化,同时它的一阶最优性条件应该导致乘法更新规则,自动保持迭代的非负性。我们回顾了Frobenius范数和Kullback-Leibler差异测度的代理泛函的最标准的构造原则。我们扩展了已知的替代结构的一般框架,它允许添加各种各样的惩罚条款。本文最后明确地推导出相应的交替最小化方案,并将这些方法应用于MALDI成像数据。
2018-08-09 cs.LG stat.ML
Topic Diffusion Discovery based on Sparseness-constrained Non-negative Matrix Factorization
National Sun Yat-sen University(国立中山大学)
由于最近的文本数据爆炸,研究人员已经被不同研究社区产生的不断增加的文章数量所淹没。各种学术搜索网站,引文推荐引擎和研究数据库已经被创建,以简化文本搜索任务。然而,研究人员仍然很难在不对期刊、会议、会议和研讨会发表的大量文章进行深入审查的情况下确定潜在的研究主题。在本文中,我们考虑了一种新的主题扩散发现技术,它结合了稀疏约束的非负矩阵分解与广义詹森-香农发散,以帮助理解术语主题的演变和识别主题扩散。我们的实验结果表明,该方法可以从大型文章数据库中提取更多的突出主题,可视化感兴趣的术语和抽象主题之间的关系,并进一步帮助研究人员了解给定的术语/主题是否已被广泛探讨,或者是否有新的主题正在从文献中出现。
2018-07-12 cs.IR cs.LG stat.ML
Prediction of Cancer Microarray and DNA Methylation Data using Non-negative Matrix Factorization
Laurentian University(劳伦森大学);Jaypee Institute of Information Technology(杰普信息技术学院)
在过去的几年里,微阵列技术在许多生物模式中得到了相当大的传播,特别是在那些与白血病、前列腺癌、结肠癌等癌症疾病有关的模式中。人们在正确理解这些数据集时遇到的主要瓶颈在于它们的维度,因此对于研究它们的高效和有效的方法,在很大程度上减小它们的尺寸被认为是必要的。这项研究是一个出价,建议不同的算法和方法,减少这种微阵列数据集的维数。这项研究利用了这种微阵列数据的矩阵状结构,并使用一种流行的技术,称为非负矩阵因子分解(NMF),以减少维数,主要是在生物学数据领域。然后比较这些算法的分类精度。该技术的准确率为98%。
2020-07-15 cs.LG q-bio.QM stat.ML
Privacy-preserving Non-negative Matrix Factorization with Outliers
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
针对非负数据处理中的用户隐私保护需求,提出一种含异常值场景下的隐私保护非负矩阵分解算法,可按需调节隐私保障程度,在六个真实数据集上验证了其在严格隐私保护下接近非隐私算法的性能。
2022-12-09 cs.LG
Non-Negative Matrix Factorization with Scale Data Structure Preservation
Sultan Qaboos University(苏丹卡布斯大学);École de technologie supérieure(高等技术学院)
本文所描述的模型属于非负矩阵分解方法的家庭设计的数据表示和降维。除了保持数据的正性属性外,它还旨在保持矩阵分解过程中的数据结构。其思想是向NMF成本函数添加惩罚项,以在原始数据点和变换后的数据点的成对相似性矩阵之间施加尺度关系。新模型的解决方案涉及到推导一个新的参数化更新方案的系数矩阵,这使得它有可能提高质量的减少数据时,用于聚类和分类。提出的聚类算法相比,一些现有的NMF为基础的算法和一些流形学习为基础的算法时,应用到一些现实生活中的数据集。实验结果表明了该算法的有效性。
2022-09-22 cs.LG
Large Scale Tensor Regression using Kernels and Variational Inference
我们概述了张量因子分解模型的内在弱点时,潜在的因素表示为边信息的函数,并提出了一种新的方法来减轻这种弱点。我们创造了我们的方法\textit{Kernel Fried Tensor}(KFT),并提出它作为一个大规模的预测工具,高维数据。我们的研究结果显示出优越的性能对\textit{LightGBM}和\textit{Field Aware Factorization Machines}(FFM),两个算法与成熟的跟踪记录广泛用于工业预测。我们还开发了一个变分推断框架KFT和我们的预测与校准的不确定性估计三个大规模的数据集。此外,经验表明,KFT对常数和高斯噪声方面的无信息边信息是鲁棒的。
2020-02-11 cs.LG stat.CO stat.ML
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay(法国国家信息与自动化研究所萨克雷研究中心);MINES-ParisTech(巴黎高科矿业学院)
在本文中,我们提出了我们的工作,在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化,而是关注整个网络的空间拥堵配置。在我们的工作中,我们的目标是描述这种网络级的交通状态的典型的时间动态模式,并实现长期预测的大规模的交通动态,在一个统一的数据挖掘框架。为此,我们使用非负张量分解(NTF)来制定这个联合任务,NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果,长期预测的交通演变。
2012-12-18 cs.LG