Tensor Factorization via Matrix Factorization
Stanford University(斯坦福大学)
张量分解在许多机器学习应用中出现,例如知识库建模和潜变量模型中的参数估计。然而,张量分解的数值方法还没有达到矩阵分解方法的成熟程度。在本文中,我们提出了一种新的方法CP张量因式分解,使用随机投影减少问题的同时矩阵对角化。我们的方法是概念简单,也适用于非正交和非对称张量的任意阶。我们证明,少量的随机投影基本上保留了张量中的谱信息,使我们能够消除对本征间隙的依赖,这种依赖困扰着早期的张量到矩阵的减少。实验上,我们的方法优于现有的张量因式分解方法的模拟数据和两个真实的数据集。
2015-05-18 cs.LG stat.ML
BLC: Private Matrix Factorization Recommenders via Automatic Group Learning
School of Computer Science and Statistics, Trinity College(都柏林圣三一学院计算机科学与统计学院)
我们提出了一个隐私增强的矩阵分解推荐,利用这一事实,用户往往可以分组在一起的兴趣。这允许一种形式的“隐藏在人群中”的隐私。我们介绍了一种新的矩阵分解方法,适合在一个共享组(或NYM)设置和BLC算法进行这种矩阵分解的隐私增强的方式进行建议。我们证明,增加隐私并不以降低推荐准确性为代价。
2017-02-27 cs.LG stat.ML
An Introduction to Matrix factorization and Factorization Machines in Recommendation System, and Beyond
本文旨在更好地理解矩阵分解(MF),分解机(FM),以及它们与深层算法的结合在推荐系统中的应用。具体来说,本文将重点介绍奇异值分解(SVD)及其衍生物,例如Funk-SVD,SVD++等。逐步公式计算和解释图片显示。更重要的是,我们解释了DeepFM模型,其中FM由深度学习辅助。通过数值例子,我们试图将理论与现实世界的问题联系起来。
2022-03-12 cs.IR cs.LG
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时,在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想,并提供经验和理论证据,足够小的步长和初始化足够接近原点,梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Tight Semi-Nonnegative Matrix Factorization
United States Census Bureau(美国人口普查局);Colorado State University(科罗拉多州立大学)
非负矩阵分解是一种广泛使用的、灵活的矩阵分解,在生物学、图像和信号处理以及信息检索等领域都有应用。在这里,我们提出了一个相关的矩阵分解。多目标优化问题找到近似给定数据矩阵的模板的圆锥组合。选择模板,以便尽可能地仅以这种方式表示初始数据集。然而,模板不需要是原始数据的非负或凸组合。
2017-12-11 cs.LG stat.ML
In-training Matrix Factorization for Parameter-frugal Neural Machine Translation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出使用训练矩阵分解来减少神经机器翻译的模型大小。使用训练中矩阵分解,参数矩阵可以被分解为较小矩阵的乘积,这可以通过极大地减少可学习参数的数量来压缩大型机器翻译架构。我们将训练中矩阵分解应用于标准神经架构的不同层,并表明训练中分解能够减少近50%的可学习参数,而不会导致BLEU分数的任何相关损失。此外,我们发现训练矩阵分解在嵌入层上特别强大,提供了一种简单有效的方法来减少参数的数量,同时对模型性能的影响最小,有时还能提高性能。
2020-03-23 cs.CL cs.LG
A Non-Negative Matrix Factorization Game
University of Washington(华盛顿大学)
我们提出了一种新的非负矩阵分解(NNMF),一个流行的数据分析方法与许多科学和工程应用的博弈论制定。博弈论制定具有良好的缩放和并行化性能,同时保留重建和收敛性能相媲美的传统乘法更新算法。
2021-04-11 cs.GT cs.LG
Matrix factorization with Binary Components
Saarland University(萨尔兰大学)
出于在计算生物学中的应用,我们考虑低秩矩阵分解与$\{0,1\}$ -约束的因素之一,并可选地凸约束的第二个。除了与其他矩阵分解方案共享的非凸性之外,我们的问题还被大小为$2^{m \cdot r}$的组合约束集进一步复杂化,其中$m$是数据点的维度,$r$是分解的秩。尽管明显的棘手,我们提供了-在最近的工作线上的非负矩阵因式分解的Arora等。(2012)-一个算法,可证明恢复的基本因式分解在确切的情况下与$O(m r 2^r + mnr + r^2 n)$操作的$n$数据点。为了得到这个结果,我们使用了组合学中的Littlewood-Offord引理。
2014-01-23 cs.LG stat.ML
Content-boosted Matrix Factorization Techniques for Recommender Systems
University College London(伦敦大学学院);University of Waterloo(滑铁卢大学)
许多企业正在使用推荐系统进行营销推广。推荐算法可以基于内容或由协同过滤驱动。我们研究了不同的方式,将内容信息直接到矩阵分解方法的协同过滤。这些内容提升的矩阵分解算法不仅提高了推荐的准确性,而且还提供了关于内容的有用见解,并使推荐更容易解释。
2013-01-04 cs.LG stat.ML
Adversarially-Trained Nonnegative Matrix Factorization
National University of Singapore(新加坡国立大学);IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT实验室、法国国家科学研究中心)
我们考虑一个adversarially-trained版本的非负矩阵分解,一个流行的潜在降维技术。在我们的公式中,攻击者将任意有界范数矩阵添加到给定的数据矩阵。我们设计了受对抗训练启发的高效算法,以优化具有增强泛化能力的字典和系数矩阵。在合成数据集和基准数据集上进行的广泛模拟表明,与最先进的竞争对手(包括对抗性非负矩阵分解的其他变体)相比,我们提出的方法在矩阵完成任务上具有卓越的预测性能。
2021-06-22 cs.LG eess.SP
Continuous Semi-Supervised Nonnegative Matrix Factorization
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校);University of California Los Angeles(加州大学洛杉矶分校)
非负矩阵分解可以用于以无监督的方式自动检测语料库中的主题。该技术相当于一个近似的非负矩阵的产品的两个非负矩阵的低秩。在本文中,我们证明了这种分解可以与连续响应变量的回归相结合。在实践中,该方法比在识别主题并重新训练可解释性之后进行的回归更好。
2022-12-19 cs.CL cs.LG
Identifying Population Movements with Non-Negative Matrix Factorization from Wi-Fi User Counts in Smart and Connected Cities
University of Colorado at Boulder(科罗拉多大学博尔德分校)
非负矩阵分解(NMF)是一种有价值的矩阵分解技术,它产生一个“基于部分”的数据集分解。Wi-Fi用户数量是智能互联城市环境中人口流动的隐私保护指标。在本文中,我们将具有新型矩阵嵌入的NMF应用于科罗拉多大学博尔德校区的Wi-Fi用户计数数据,以自动识别智能互联基础设施环境中的人类运动模式。
2021-11-19 cs.LG eess.SP
Binary Orthogonal Non-negative Matrix Factorization
University of Lethbridge(莱斯布里奇大学)
我们提出了一种计算二进制正交非负矩阵分解(BONMF)的聚类和分类的方法。该方法在几个有代表性的现实世界的数据集上进行了测试。数值结果表明,该方法与相关技术相比,具有更高的精度。该方法具有训练和分类速度快、空间利用率高等优点。
2022-10-19 cs.LG math.OC
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学)
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中,秩显示QR(RRQR)因子分解,这是计算上比奇异值分解(SVD)便宜,利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择,这是该因子分解方法的独特性质。此外,QR分解嵌入到非负矩阵分解(NMF)的目标函数作为一种新的无监督特征选择方法。最后,提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中,使用RRQR分解去除冗余特征,并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的,当与最先进的特征选择算法在监督,无监督和半监督设置。所有的方法进行了测试,7个可用的微阵列数据集,使用KNN,SVM和C4.5分类。实验结果表明,该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Validation of non-negative matrix factorization for assessment of atomic pair-distribution function (PDF) data in a real-time streaming context
Columbia University(哥伦比亚大学);Colorado State University(科罗拉多州立大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
我们验证使用矩阵分解的原子对分布函数(PDF)数据的相关组件的自动识别。我们还提出了一个新开发的软件基础设施,用于分析PDF数据流的方式到达。然后,我们应用两个矩阵分解技术,主成分分析(PCA)和非负矩阵分解(NMF),在原位实验的背景下,研究模拟和实验数据集。
2020-10-22 cond-mat.mtrl-sci cs.LG
Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
尽管深度神经网络在不同的应用中表现出色,但它们仍然是计算量很大的,并且需要大量的存储器。这促使人们开展更多研究,以减少实施此类网络所需的资源。一个有效的方法是矩阵分解,这已被证明是有效的不同的网络。在本文中,我们利用二进制矩阵分解,并显示其在减少深度神经网络中所需资源数量方面的巨大效率。实际上,这种技术可以导致这种网络的实际实现。
2023-01-06 cs.LG eess.SP
Simulated Annealing with Levy Distribution for Fast Matrix Factorization-Based Collaborative Filtering
Cairo University(开罗大学)
矩阵分解是协同过滤的最佳方法之一,因为它能准确地呈现用户和项目的潜在因素。矩阵分解的主要缺点是其复杂性,并且很难并行化,特别是对于非常大的矩阵。提出了一种基于矩阵分解的协同过滤算法,该算法将模拟退火算法与Levy分布相结合。通过使用这种方法,良好的解决方案,在可接受的时间内实现低计算,相比其他方法,如随机梯度下降,交替最小二乘法,加权非负矩阵分解。
2017-08-09 cs.IR cs.LG stat.ML
Closed-form Marginal Likelihood in Gamma-Poisson Matrix Factorization
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所、法国国家科学研究中心)
我们提出了新的理解伽玛泊松(GaP)模型,概率矩阵分解模型计数数据。我们表明,GaP可以重写免费的得分/激活矩阵。这为我们提供了新的见解的估计主题/字典矩阵的最大边际似然估计。特别是,这解释了该估计器对因子分解秩的过度指定值的鲁棒性,特别是其自动修剪不相关的字典列的能力,如在先前的工作中根据经验观察到的。激活矩阵的边缘化又导致一个新的蒙特卡罗期望最大化算法具有良好的性能。
2018-05-31 cs.LG stat.ML
On implicit regularization: Morse functions and applications to matrix factorization
在本文中,我们重新审视隐式正则化从地面上使用动力系统和不变的Morse函数的子空间的概念。主要贡献是隐式正则化的一个新标准-解释神经网络等深度模型泛化能力的主要竞争者-和研究它的一般蓝图。我们应用这些技术解决了矩阵分解中隐式正则化的一个猜想。
2020-01-31 cs.LG stat.ML
Unitary Approximate Message Passing for Matrix Factorization
Artificial Intelligence Technology Engineering Research Center, Open University of Henan(河南开放大学人工智能技术工程研究中心);University of Wollongong(伍伦贡大学);Weizmann Institute of Science(魏茨曼科学研究所);University of Sydney(悉尼大学)
我们考虑矩阵分解(MF)与一定的约束,发现在各个领域的广泛应用。利用变分推理(VI)和酉近似消息传递(UAMP),我们开发了一个贝叶斯方法MF与一个有效的消息传递实现,称为UAMPMF。通过在因子矩阵上施加适当的先验,UAMPMF可以用于解决许多可以用MF表示的问题,例如非负矩阵因子分解、字典学习、具有矩阵不确定性的压缩感知、鲁棒主成分分析和稀疏矩阵因子分解。大量的数值例子表明,UAMPMF显着优于国家的最先进的算法在恢复精度,鲁棒性和计算复杂度。
2022-07-31 cs.LG eess.SP
Noisy and Incomplete Boolean Matrix Factorizationvia Expectation Maximization
University of Pittsburgh(匹兹堡大学)
布尔矩阵分解的概率方法可以提供对噪声和缺失值具有线性计算复杂度的解决方案。然而,潜在因素的假设可能会在现实世界中的应用是有问题的,本研究提出了一个新的概率算法的潜在因素的假设自由,而保留了以前的算法的优点。实际数据实验表明,该算法与现有的概率算法相比,具有较好的性能。
2019-05-29 cs.LG stat.ML
Matrix Completion in the Unit Hypercube via Structured Matrix Factorization
Tokyo Institute of Technology(东京工业大学);Technicolor AI Lab(特艺集团人工智能实验室)
组织中出现的一些复杂任务可以通过将它们映射到矩阵完成问题来简化。在本文中,我们解决了我们公司面临的一个关键挑战:预测艺术家在电影镜头中渲染视觉效果(VFX)的效率。我们通过使用双重方法来应对这一挑战:首先,我们将此任务转换为约束矩阵完成问题,其中条目在单位区间[0,1]内有界;其次,我们提出了两个新的矩阵分解模型,利用我们对VFX环境的了解。我们的第一种方法,专业知识矩阵分解(EMF),是一种可解释的方法,结构的潜在因素加权用户项目的相互作用。第二个,生存矩阵分解(SMF),而是一个概率模型的基本过程定义员工的效率。我们通过对我们的VFX数据集和另外两个值也在[0,1]区间内有界的数据集进行广泛的数值测试,证明了我们提出的模型的有效性。
2019-05-30 cs.LG stat.ML
ALX: Large Scale Matrix Factorization on TPUs
Google Research(谷歌研究院)
我们提出了ALX,一个开源的库分布式矩阵分解使用交替最小二乘法,写在JAX。我们的设计允许有效地使用TPU架构,并通过缩放可用TPU核的数量来很好地扩展到O(B)行/列的矩阵分解问题。为了促进未来对大规模矩阵分解方法的研究,并说明我们自己的实现的可扩展性,我们还建立了一个真实世界的Web链接预测数据集,称为WebGraph。这个数据集可以很容易地建模为矩阵分解问题。我们根据子图的局部性和稀疏性属性创建了这个数据集的几个变体。WebGraph的最大变体拥有大约3.65亿个节点,使用256个TPU核心,训练一个epoch大约在20分钟内完成。我们在WebGraph的所有变体上都包含ALX的速度和性能数字。框架代码和数据集都是开源的。
2022-03-29 cs.DC cs.LG
NIMFA: A Python Library for Nonnegative Matrix Factorization
NIMFA是一个开源Python库,为非负矩阵分解算法提供了统一的接口。它包括最先进的因子分解方法,初始化方法和质量评分的实现。它支持密集和稀疏矩阵表示。NIMFA的基于组件的实现和分层设计应该帮助用户采用已经实现的技术或设计和编码矩阵分解任务的新策略。
2018-08-06 cs.AI cs.LG q-bio.QM
PoissonMat: Remodeling Matrix Factorization using Poisson Distribution and Solving the Cold Start Problem without Input Data
矩阵分解是近十年来最成功的推荐系统技术之一。然而,矩阵分解的经典概率理论框架是使用正态分布建模的。为了找到更好的概率模型,近年来发明了RankMat,ZeroMat和DotMat等算法。本文将推荐系统中的用户评分行为建模为泊松过程,设计了一种不依赖输入数据的算法,同时解决了推荐问题和冷启动问题。通过与矩阵分解、随机布局、Zipf布局、ZeroMat、DotMat等算法的比较,证明了该算法的优越性。
2022-12-06 cs.AI cs.IR cs.LG
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University(茨城大学)
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下,利用变分贝叶斯方法,推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性,我们假设稀疏矩阵的先验服从拉普拉斯分布。然后,我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案,我们还数值评估的性能稀疏矩阵重构矩阵分解,并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
我们介绍负二项矩阵分解(NBMF),矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解(PF)扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度,使NBMF对离群值更加鲁棒。我们表明,NBMF允许跳过传统的预处理阶段,如二值化,这会导致信息丢失。两种估计方法:最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型,并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Global Convergence of Four-Layer Matrix Factorization under Random Initialization
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学);Electrical and Computer Engineering(电气与计算机工程)
针对随机初始化下通用深度矩阵分解缺乏全局收敛保证的问题,本文证明了带平衡正则的四层矩阵分解上随机初始化梯度下降的多项式时间全局收敛性,拓展了相关收敛理论。
2025-11-19 cs.LG math.OC stat.ML
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System(天普大学卫生系统福克斯·蔡斯癌症中心)
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架,该框架包含了指数模型族的成员.使用这个框架开发了一系列算法,并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法,不同的噪声结构和对比,最近提出的准似然方法,从而提供了一个有用的替代非负矩阵分解。一个措施,以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚,内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
Converged Algorithms for Orthogonal Nonnegative Matrix Factorizations
Hokkaido University(北海道大学)
提出基于Lee和Seung算法以及Lin思想的单正交和双正交非负矩阵分解算法,并给出收敛性证明,实验验证了收敛性。
2011-03-16 cs.LG cs.NA math.NA
Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development(爱普生研发中心)
提出一种加性非负矩阵分解方法,通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性,并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
BMF: Block matrix approach to factorization of large scale data
大规模矩阵的矩阵分解(MF)是一项计算量大、内存消耗大的任务。当输入矩阵的大小高于中央处理单元(CPU)和图形处理单元(GPU)上的可用存储器时,需要替代的收敛技术。虽然交替最小二乘(ALS)在CPU上的收敛可能需要很长时间,但当维度明显更高时,将所有所需的矩阵加载到GPU内存中可能是不可能的。因此,我们引入了一种新的技术,该技术是基于考虑到整个数据到一个块矩阵,并依赖于在块级的因式分解。
2019-01-18 cs.AI cs.LG stat.ML
Stability of matrix factorization for collaborative filtering
National University of Singapore(新加坡国立大学)
研究矩阵分解算法在矩阵补全中对抗性噪声的稳定性,通过误差界、子空间分析和个体预测误差分析,为协同过滤系统设计提供指导。
2012-06-18 cs.LG cs.NA math.NA
On Application of Block Kaczmarz Methods in Matrix Factorization
矩阵分解技术计算高维数据矩阵的低秩乘积近似,因此,经常在推荐系统和协同过滤应用中使用。然而,许多算法,这项任务利用精确的最小二乘求解器的计算是耗时和内存昂贵的。在本文中,我们讨论和测试块Kaczmarz求解器,取代最小二乘法子程序在常见的交替计划矩阵因式分解。这种变体以因子分解误差的小幅增加换取显著更快的算法性能。在这样做的时候,我们发现块的大小,产生的解决方案相比,最小二乘求解器的运行时间和工作内存的要求只有一小部分。
2020-10-20 cs.LG cs.NA math.NA
Riemannian Perspective on Matrix Factorization
MIT(麻省理工学院)
本文研究了利用黎曼几何的非凸矩阵分解方法来完成矩阵完备化。基于格拉斯曼流形上的优化公式,我们根据子空间之间的主角度的概念来描述景观。对于完全观测的情形,我们的结果表明,存在一个区域,在该区域中的成本是测地线凸的,并且在该区域之外的所有临界点都是严格鞍点。我们实证研究的部分观察的情况下,根据我们的研究结果。
2021-02-01 cs.LG math.DG math.OC
Automatic Hyperparameter Tuning in Sparse Matrix Factorization
Chuo University(中央大学);Ibaraki University(茨城大学)
研究贝叶斯框架下稀疏矩阵分解的超参数调优问题,基于变分贝叶斯方法的解析解提出评估归一化因子零点的新型数值调优方法,并在真实稀疏矩阵重建中表现优异。
2023-05-17 cond-mat.dis-nn cs.IT cs.LG
Nonnegative matrix factorizations and related compositional models: Equivalence, identifiability, and an application on the grain-size analysis of sediments
Hangzhou Dianzi University, China(杭州电子科技大学);Utrecht University, the Netherlands and University of Southampton, UK(乌得勒支大学和南安普顿大学)
本文综述了非负矩阵分解、偏最小二乘分析等五个模型,聚焦于其可识别性问题,并证明了这些模型解的唯一性与NMF的解唯一性相关。
2026-09-16 cs.LG math.OC math.ST