Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University(西南大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
多视图聚类的目的是整合来自多个异构视图的互补信息,以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性,多视图数据可以从不同的角度进行合理和有趣的不同分组。然而,如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中,我们引入了一个基于深度矩阵分解的解决方案(DMClusts)来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间,并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性,它最小化了一个新的冗余量化项,该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程,同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实,DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Robust Volume Minimization-Based Matrix Factorization for Remote Sensing and Document Clustering
本文考虑基于\emph{volume minimization}(VolMin)的结构矩阵分解(SMF)。VolMin是一种分解准则,通过找到包含数据矩阵所有列的最小体积单纯形,将给定的数据矩阵分解为基矩阵乘以结构化系数矩阵。最近的工作表明,VolMin保证在温和的条件下,在各种各样的应用中是现实的因素矩阵的可识别性。本文着重于VolMin的理论和实践方面。在理论方面,两个独立开发的VolMin可识别性的充分条件的确切等价性在这里被证明,从而提供了一个更全面的理解这方面的VolMin。在算法方面,计算复杂性和对离群值的敏感性是与VolMin的实际应用相关的两个关键挑战。这里通过一个新的VolMin算法来解决这些问题,该算法以计算简单的方式处理体积正则化,并同时自动检测和{迭代地降低权重}离群值。仿真和实际数据实验使用遥感高光谱图像和路透社的文档语料库,以展示所提出的算法的有效性。
2016-08-15 stat.ML
Orthogonal symmetric non-negative matrix factorization under the stochastic block model
提出了一种基于规范化拉普拉斯矩阵的正交对称非负矩阵三分解的复杂网络社团检测方法。虽然给定阶的精确因式分解可能不存在并且是NP难计算的,但我们通过求解优化问题来获得近似因式分解。我们建立了连接的因素,通过因子分解得到的估计矩阵的不变子空间的非负基础,绘制平行的谱聚类。在网络中使用这种因子分解进行聚类的动机是分析块对角拉普拉斯矩阵,其中块表示图的连通分量。该方法被证明是一致的,从随机块模型和度校正随机块模型生成的图中的社区检测。仿真结果和实际数据分析表明,这些方法的有效性下各种各样的情况下,包括稀疏和高度异构的图形,通常的谱聚类是失败的。我们的方法在流行的基准网络数据集中的性能也优于现有技术,例如,政治博客和空手道俱乐部的数据。
2016-05-17 stat.ML
Learning Inter- and Intra-manifolds for Matrix Factorization-based Multi-Aspect Data Clustering
Queensland University of Technology(昆士兰科技大学)
对多视图、多类型关系数据等多方面的数据进行聚类,由于其广泛的适用性,近年来已成为一个热门的研究方向。该方法使用流形学习与非负矩阵分解(NMF)框架,学习多维数据的准确低秩表示,已显示出有效性。我们建议在NMF框架中包括内部流形,利用不同数据类型(或视图)的数据点的距离信息来学习数据聚类的多样性流形。实证分析表明,该方法可以找到各种相关类型的部分表示,并在聚类过程中选择有用的功能。在多个数据集上的实验结果表明,该方法在精度和效率上都优于现有的多方面数据聚类方法。
2020-09-07 cs.LG stat.ML
Multi-way Clustering and Discordance Analysis through Deep Collective Matrix Tri-Factorization
National University of Singapore(新加坡国立大学)
异构、多类型、多模态的关系数据在许多领域中越来越多,它们的探索性分析带来了一些挑战。我们推进了神经无监督学习的最新技术来分析这些数据。我们设计了第一种神经方法,用于对任意矩阵集合进行集体矩阵三因子分解,以对所有组成实体进行谱聚类并学习聚类关联。在基准数据集上的实验证明了它比以前的非神经方法的有效性。利用来自多路聚类和集体矩阵完成的信号,我们设计了一种独特的技术,称为不一致性分析,以揭示关于两个实体的集合中矩阵子集之间的信息差异。我们说明了它的效用,在质量评估的知识库和改进表示学习。
2021-09-27 cs.LG stat.ML
A Review of Nonnegative Matrix Factorization Methods for Clustering
Bogazici University(博阿齐奇大学)
本文综述了非负矩阵因子化方法在聚类中的应用,探讨了多种变体及其聚类解释。
2015-08-28 cs.LG cs.NA math.NA
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Spectral and matrix factorization methods for consistent community detection in multi-layer networks
我们考虑的问题,估计一个共识社区结构相结合的信息,从多层网络的多个层使用的方法的基础上的谱聚类或低秩矩阵分解。作为一般主题,这些“中间融合”方法涉及通过优化目标函数来获得低列秩矩阵,然后使用矩阵的列进行聚类。然而,这些方法的理论特性在很大程度上仍未被探索。在目标函数缺乏统计保证的情况下,很难确定优化目标的算法是否会返回良好的社区结构。我们调查的一致性性质的全局优化的一些目标函数下的多层随机块模型。为了这个目的,我们得到几个新的渐近结果显示的一致性的中间融合技术随着谱聚类的平均邻接矩阵下的高维设置,其中节点的数量,层数和社区的多层图的数量增长。我们的数值研究表明,中间融合技术优于后期融合方法,即在稀疏网络中的聚合谱核和模块忠诚矩阵的谱聚类,而它们优于在多层网络中的平均邻接矩阵的谱聚类,其中包含具有同性和异性社区的层。
2018-12-03 stat.ML
Constrained Bilinear Factorization Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
多视图聚类是一个重要而基本的问题。已有的多视点子空间聚类方法大多假设所有视点共享同一个系数矩阵。然而,在这种假设下,多视图数据的底层信息没有得到充分利用,因为不同视图的系数矩阵应该具有相同的聚类属性,而不是在多个视图之间是均匀的。为此,本文提出了一种新的约束双线性分解多视图子空间聚类(CBF-MSC)方法。具体地说,对所有系数矩阵进行带正交约束和低秩约束的双线性分解,使它们具有相同的迹范数而不是等价的,从而更充分地挖掘多视图数据的一致性信息.最后,一个增广拉格朗日乘子(ALM)为基础的算法来优化目标函数。在九个基准数据集上进行的综合实验验证了所提出的方法与几种最先进的方法相比的有效性和竞争力。
2021-03-24 cs.LG stat.ML
Online Matrix Factorization via Broyden Updates
在本文中,我们提出了一个在线算法来计算矩阵分解。所提出的算法更新字典矩阵和相关的系数使用一个单一的观察在每一个时间。该算法对字典矩阵进行低秩更新。我们通过定义一个简单的目标函数来最小化每当一个观察到达的算法。我们进一步扩展了该算法来处理缺失数据。我们还提供了一个小批量扩展,可以在大数据集上计算矩阵分解。我们证明了我们的算法在一个真实的数据集上的效率,并与著名的算法,如随机梯度矩阵分解和非负矩阵分解(NMF)的比较。
2015-06-26 stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来,多视图聚类(MVC)被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而,现有的方法可以进一步改进以下考虑:i)当前的单层矩阵分解框架不能充分利用有用的数据表示。ii)大多数算法只关注共享信息,而忽略了视图特定的结构,导致次优解。iii)在现有工作中尚未利用分区级别信息。针对上述问题,提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说,通过深度矩阵分解得到每个视图的分区表示,然后与最优分区表示联合用于融合多视图信息。最后,一个交替优化算法被开发来解决优化问题,证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
Techniques for clustering interaction data as a collection of graphs
分析“what-connects-to-what-when”形式的交互数据的自然方法是通过时间离散化(带宽选择)和空间离散化(顶点收缩)来创建图形的时间序列(或者更确切地说是序列)。这种离散化与非负因子分解技术一起可以用于获得图的聚类。执行图的聚类(与顶点聚类相对)的激励应用可以在神经科学和社交网络分析中找到,并且它还可以用于增强社区检测(即,顶点聚类)。在本文中,我们制定了一个问题的聚类图的模型选择问题。我们的方法涉及信息准则,非负矩阵分解和奇异值阈值,我们用真实和模拟数据说明我们的技术。
2015-01-10 stat.ML
Gromov-Wasserstein Factorization Models for Graph Clustering
Infinia ML Inc.(英飞尼亚机器学习公司)
我们提出了一个新的非线性因子分解模型的图的拓扑结构,并可选地,节点属性。这个模型是基于一个伪度量称为Gromov-Wasserstein(GW)的差异,比较关系的方式图。它将观察到的图估计为由一组具有不同权重的原子构造的GW重心。通过最小化每个观察到的图与其基于GW重心的估计之间的GW差异,我们学习与观察到的图相关联的原子及其权重。该模型实现了一种新的灵活的因子分解机制,在GW差异下,观察到的图和可学习的原子可以是不对齐的,并具有不同的大小。我们设计了一个有效的近似算法来学习这个Gromov-Wasserstein分解(GWF)模型,将循环计算展开为堆叠模块并使用反向传播计算梯度。堆叠的模块可以具有两种不同的架构,其分别对应于邻近点算法(PPA)和Bregman交替方向乘法器方法(BADMM)。实验表明,我们的模型在聚类图上获得了令人鼓舞的结果。
2019-11-19 cs.LG stat.ML
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Cornell University(康奈尔大学)
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术,通过观察足够大的特征空间中的矩阵图像是低秩的,来学习这些非线性结构,用于去噪、分类、字典学习和缺失数据填补。然而,这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中,我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解(RNLMF)。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性,并可扩展到具有数千行和列的矩阵。根据经验,RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Hybrid Clustering based on Content and Connection Structure using Joint Nonnegative Matrix Factorization
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究所)
提出了一种基于约束低秩近似的混合方法,用于同时包含文本内容和连接结构的数据集上的潜在信息发现。新方法联合优化了文本聚类的非负矩阵分解(NMF)目标函数和图聚类的对称NMF(SymNMF)目标函数。我们提出了一个有效的算法的联合NMF目标函数,基于块坐标下降(BCD)框架。所提出的混合方法通过使用SymNMF发现的潜在连接来发现内容关联。当使用超图公式或内容与超图边缘相关联时,该方法也可以应用于问题的自然转换。实验结果表明,通过同时利用内容和连接结构,我们的混合方法产生更高质量的聚类结果相比,其他NMF聚类方法,单独使用内容(标准NMF)或连接结构(SymNMF)。我们还提出了一些有趣的应用程序,以几种类型的现实世界的数据,如论文的引用建议。本文提出的混合方法也适用于一般的数据表示的特征空间向量和两两相似性,并可以扩展到多个特征空间或多个相似性措施的情况。
2017-03-28 cs.LG stat.ML
Applying separative non-negative matrix factorization to extra-financial data
我们在这里提出了一个原始的应用程序的非负矩阵分解(NMF)方法,额外的金融数据的情况下。这些数据受到协变量之间以及观测之间的高度相关性的影响。NMF比简单的主成分分析(PCA)提供了一个更相关的协变量和观测值的聚类。此外,我们表明,应用NMF之前的初始数据分离步骤进一步提高了聚类的质量。
2022-06-09 q-fin.CP stat.ML
Revisiting Dynamic Graph Clustering via Matrix Factorization
The University of Tokyo(东京大学);Institute of Science Tokyo(东京科学大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);RMIT University(皇家墨尔本理工大学)
针对基于矩阵分解的动态图聚类方法存在的可扩展性差、鲁棒性不足等问题,提出时间分离矩阵分解、双聚类正则化和选择性嵌入更新三项改进,实验验证其在大规模动态图上的有效性、效率与鲁棒性。
2025-02-10 cs.AI cs.LG stat.ML
Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering
Qingdao University(青岛大学);University of Electronic Science and Technology of China(电子科技大学);University of Kentucky(肯塔基大学)
本文提出了一种新的二维数据的半非负矩阵分解方法TS-NMF。它克服了现有方法在预处理步骤中通过将二维数据转换为矢量来严重破坏数据的空间信息的缺点。特别地,在构建新的数据表示的指导下寻求投影矩阵,使得空间信息被保留并且投影通过聚类的目标被增强,这有助于构造最优投影方向。此外,为了利用数据的非线性结构,在投影子空间中构造流形,该流形根据投影自适应地更新,并且较少受数据的噪声和异常值的影响,因此在投影空间中更具代表性。因此,寻求投影,构建新的数据表示和学习流形无缝集成在一个模型中,相互增强,并导致强大的数据表示。综合的实验结果验证了TS-NMF的有效性与几个国家的最先进的算法相比,这表明所提出的方法在现实世界中的应用潜力很大。
2020-05-19 cs.LG stat.ML
ACCAMS: Additive Co-Clustering to Approximate Matrices Succinctly
Google(谷歌)
矩阵完成和近似是流行的工具,以捕捉用户的偏好推荐和近似缺失的数据。而不是使用低秩因子分解,我们采取了一个截然不同的方法,基于简单的见解,一个加性模型的共同聚类允许一个近似矩阵有效。这使我们能够构建一个简洁的模型,每学习一点模型,都大大击败了矩阵近似的所有因子分解方法。更令人惊讶的是,我们发现,在小的联合聚类求和是更有效的建模矩阵比经典的联合聚类,它只使用一个大的矩阵分区。遵循奥卡姆剃刀原理表明,我们的模型所诱导的简单结构比经典的共聚类或矩阵分解更好地捕捉了现实世界中存在的潜在偏好和决策过程。我们提供了一个迭代的最小化算法,一个崩溃的吉布斯采样器,理论保证矩阵近似,和优秀的经验证据,我们的方法的有效性。我们在Netflix问题上实现了最先进的结果,模型复杂性只有一小部分。
2014-12-31 cs.LG stat.ML
A deep matrix factorization method for learning attribute representations
Imperial College London(帝国理工学院);Google Robotics(谷歌机器人部门)
半非负矩阵分解(Semi-Non-Negative Matrix Factorization)是一种学习数据集的低维表示的技术,它有助于聚类解释。这是可能的,这种新的表示和我们的原始数据矩阵之间的映射包含相当复杂的层次信息与隐含的较低级别的隐藏属性,经典的一级聚类方法不能解释。在这项工作中,我们提出了一种新的模型,深度半NMF,它能够学习这种隐藏的表示,允许自己根据给定数据集的不同,未知的属性来解释聚类。我们还提出了一个半监督版本的算法,名为深度WSF,它允许使用(部分)先验信息的数据集的每个已知属性,这使得该模型可以用于混合属性知识的数据集。最后,我们证明了我们的模型能够学习更适合聚类和分类的低维表示,优于半非负矩阵分解,也优于其他最先进的方法变体。
2015-09-10 cs.CV cs.LG stat.ML
Tensor Factorization via Matrix Factorization
Stanford University(斯坦福大学)
张量分解在许多机器学习应用中出现,例如知识库建模和潜变量模型中的参数估计。然而,张量分解的数值方法还没有达到矩阵分解方法的成熟程度。在本文中,我们提出了一种新的方法CP张量因式分解,使用随机投影减少问题的同时矩阵对角化。我们的方法是概念简单,也适用于非正交和非对称张量的任意阶。我们证明,少量的随机投影基本上保留了张量中的谱信息,使我们能够消除对本征间隙的依赖,这种依赖困扰着早期的张量到矩阵的减少。实验上,我们的方法优于现有的张量因式分解方法的模拟数据和两个真实的数据集。
2015-05-18 cs.LG stat.ML
Unsupervised Phase Mapping of X-ray Diffraction Data by Nonnegative Matrix Factorization Integrated with Custom Clustering
分析大的X射线衍射(XRD)数据集是组合材料库的组成相图的高通量映射的关键步骤。优化和自动化这项任务可以帮助加快发现具有新颖和理想特性的材料的过程。在这里,我们报告了一种新的方法,用于模式分析和相提取的XRD数据集。该方法扩展了非负矩阵分解方法,该方法以前曾用于分析此类数据集,通过将其与自定义聚类和互相关算法相结合。这种新方法能够鲁棒地确定数据中存在的基础模式的数量,这反过来又能够直接识别任何可能的峰移模式。峰移的出现是由于晶格常数作为组成的函数的连续变化,并且在来自组成分布库的XRD数据集中是普遍存在的。峰移图案的成功识别允许基础XRD图案的适当量化和分类,这是必要的,以便破译每个独特的单相结构对多相区域的贡献。该方法可用于准确测定所研究体系的组成相图。所提出的方法被应用到一个合成和一个实验数据集,并表现出强大的准确性和识别能力。
2018-02-20 cond-mat.mtrl-sci stat.ML
BLC: Private Matrix Factorization Recommenders via Automatic Group Learning
School of Computer Science and Statistics, Trinity College(都柏林圣三一学院计算机科学与统计学院)
我们提出了一个隐私增强的矩阵分解推荐,利用这一事实,用户往往可以分组在一起的兴趣。这允许一种形式的“隐藏在人群中”的隐私。我们介绍了一种新的矩阵分解方法,适合在一个共享组(或NYM)设置和BLC算法进行这种矩阵分解的隐私增强的方式进行建议。我们证明,增加隐私并不以降低推荐准确性为代价。
2017-02-27 cs.LG stat.ML
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时,在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想,并提供经验和理论证据,足够小的步长和初始化足够接近原点,梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Flexible Auto-weighted Local-coordinate Concept Factorization: A Robust Framework for Unsupervised Clustering
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Department of Computer Science, University of Georgia(佐治亚大学计算机科学系)
由于概念因子分解(CF)及其变体对噪声的敏感性、对重构误差的严格约束以及预先获得的近似相似性,可能会产生不准确的表示和聚类结果。为了提高表示能力,提出了一种新的无监督鲁棒灵活自动加权局部坐标概念因子分解(RFA-LCF)框架,用于聚类高维数据。RFA-LCF通过干净数据空间恢复、鲁棒稀疏局部坐标编码和自适应加权将鲁棒灵活CF集成到统一模型中。RFA-LCF通过增强CF对噪声和误差的鲁棒性、对重建误差提供灵活的约束以及联合优化局部性来改进表示。对于鲁棒学习,RFA-LCF清楚地学习稀疏投影以恢复底层的干净数据空间,然后在投影的特征空间中执行灵活的CF。RFA-LCF还使用基于L2,1-范数的灵活残差来编码恢复数据与其重建之间的失配,并使用鲁棒的稀疏局部坐标编码来使用几个邻近基概念来表示数据。对于自动加权,RFA-LCF通过最小化干净数据、锚点和坐标上的重建误差,以自适应的方式联合保留基础概念空间和新坐标空间中的流形结构。通过交替地更新局部坐标保持数据、基概念和新坐标,可以潜在地提高表示能力。在公共数据库上的大量实验结果表明,与其他相关方法相比,RFA-LCF提供了最先进的聚类结果。
2019-09-02 cs.CV cs.LG stat.ML
Tight Semi-Nonnegative Matrix Factorization
United States Census Bureau(美国人口普查局);Colorado State University(科罗拉多州立大学)
非负矩阵分解是一种广泛使用的、灵活的矩阵分解,在生物学、图像和信号处理以及信息检索等领域都有应用。在这里,我们提出了一个相关的矩阵分解。多目标优化问题找到近似给定数据矩阵的模板的圆锥组合。选择模板,以便尽可能地仅以这种方式表示初始数据集。然而,模板不需要是原始数据的非负或凸组合。
2017-12-11 cs.LG stat.ML
Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization
对称非负矩阵分解(SNMF)模型作为许多标准聚类算法(包括流行的谱聚类方法)的简单重构而自然出现。最近的工作表明,SNMF的一个基本实例提供了优越的聚类质量相比,许多经典的聚类算法在各种合成和真实世界的数据集。在这项工作中,我们提出了新的重新制定的这种情况下的SNMF变量分裂的概念的基础上,并产生两个快速有效的算法,其优化使用i)可证明收敛的加速邻近梯度(APG)的过程和ii)的启发式版本的交替方向乘法(ADMM)框架。我们的两个算法之间的计算速度和数学收敛保证提出了一个有趣的权衡:虽然前者的方法是可证明收敛的,它是相当慢,比后者的方法,我们也提供了显着的,但不太严格的数学证明其收敛性。通过大量的实验,我们不仅表明,这些方法的功效是等于最先进的SNMF算法的状态,而且,后者的算法是非常快的一个到两个数量级的总计算时间比最先进的方法,甚至优于谱聚类在大数据集的计算时间。
2016-09-17 cs.CV cs.LG stat.ML
Matrix factorization with Binary Components
Saarland University(萨尔兰大学)
出于在计算生物学中的应用,我们考虑低秩矩阵分解与$\{0,1\}$ -约束的因素之一,并可选地凸约束的第二个。除了与其他矩阵分解方案共享的非凸性之外,我们的问题还被大小为$2^{m \cdot r}$的组合约束集进一步复杂化,其中$m$是数据点的维度,$r$是分解的秩。尽管明显的棘手,我们提供了-在最近的工作线上的非负矩阵因式分解的Arora等。(2012)-一个算法,可证明恢复的基本因式分解在确切的情况下与$O(m r 2^r + mnr + r^2 n)$操作的$n$数据点。为了得到这个结果,我们使用了组合学中的Littlewood-Offord引理。
2014-01-23 cs.LG stat.ML
Expectile Matrix Factorization for Skewed Data Analysis
矩阵分解是解决基于部分观测值的矩阵估计问题的一种常用方法。现有的矩阵分解是基于最小二乘法,目的是产生一个低秩矩阵来解释条件样本均值给定的观察。然而,在许多实际应用中,有倾斜和极端的数据,最小二乘法不能解释他们的中心趋势或尾部分布,产生不希望的估计。在本文中,我们提出了\emph{expectile matrix factorization}通过引入非对称最小二乘,一个关键的概念,在预期的回归分析,到矩阵分解的框架。我们提出了一个有效的算法来解决新的问题的基础上交替极小化和二次规划。我们证明了我们的算法收敛到一个全局最优,并准确地恢复真正的底层低秩矩阵时,噪声为零。对于具有偏斜噪声的合成数据和包含Web服务响应时间的真实数据集,该方案在广泛的设置范围内实现了比现有的基于最小二乘的矩阵分解方法更低的恢复误差。
2017-03-03 stat.ME stat.ML
Content-boosted Matrix Factorization Techniques for Recommender Systems
University College London(伦敦大学学院);University of Waterloo(滑铁卢大学)
许多企业正在使用推荐系统进行营销推广。推荐算法可以基于内容或由协同过滤驱动。我们研究了不同的方式,将内容信息直接到矩阵分解方法的协同过滤。这些内容提升的矩阵分解算法不仅提高了推荐的准确性,而且还提供了关于内容的有用见解,并使推荐更容易解释。
2013-01-04 cs.LG stat.ML
Federated Matrix Factorization: Algorithm Design and Application to Data Clustering
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
近年来,人们对数据隐私的要求使得联邦学习(FL)成为大规模异构网络中一种新的分布式学习范式。尽管已经提出了许多FL算法,但是很少有人考虑矩阵分解(MF)模型,该模型已知具有大量的信号处理和机器学习应用。与现有的FL算法是针对单一变量块的光滑问题而设计的不同,联邦MF(FedMF)算法需要处理两个变量块的非凸和非光滑问题(由于约束或正则化)。在本文中,我们提出了两个新的FedMF算法,即FedMAvg和FedMGS,模型平均和梯度共享原则的基础上,分别解决这一挑战。FedMAvg和FedMGS都采用每轮通信多步本地更新的方式来加快收敛速度,并只允许随机抽样的客户端子集与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析,描述了数据分布、局部更新次数和部分客户端通信对算法性能的影响。通过集中在一个数据聚类任务,广泛的实验结果,以检查这两种算法的实际性能,以及证明他们的有效性,现有的分布式聚类算法。
2020-10-30 cs.DC cs.LG math.OC
Simulated Annealing with Levy Distribution for Fast Matrix Factorization-Based Collaborative Filtering
Cairo University(开罗大学)
矩阵分解是协同过滤的最佳方法之一,因为它能准确地呈现用户和项目的潜在因素。矩阵分解的主要缺点是其复杂性,并且很难并行化,特别是对于非常大的矩阵。提出了一种基于矩阵分解的协同过滤算法,该算法将模拟退火算法与Levy分布相结合。通过使用这种方法,良好的解决方案,在可接受的时间内实现低计算,相比其他方法,如随机梯度下降,交替最小二乘法,加权非负矩阵分解。
2017-08-09 cs.IR cs.LG stat.ML
NIMFA: A Python Library for Nonnegative Matrix Factorization
NIMFA是一个开源Python库,为非负矩阵分解算法提供了统一的接口。它包括最先进的因子分解方法,初始化方法和质量评分的实现。它支持密集和稀疏矩阵表示。NIMFA的基于组件的实现和分层设计应该帮助用户采用已经实现的技术或设计和编码矩阵分解任务的新策略。
2018-08-06 cs.AI cs.LG q-bio.QM
A global optimization algorithm for sparse mixed membership matrix factorization
混合隶属因子分解是分析样本内异质性数据集的一种常用方法。近年来,已经开发了几种算法用于混合隶属度矩阵分解,但它们只能保证从局部最优估计。在这里,我们推导出一个全局优化(GOP)算法,提供了一个保证$ε$ -全局最优的稀疏混合隶属度矩阵分解问题。我们在模拟数据上测试了该算法,发现该算法在随机初始化过程中始终保持全局最优,并有效地探索了多个模式。
2016-10-24 math.OC stat.ME stat.ML
Negative Binomial Matrix Factorization for Recommender Systems
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
我们介绍负二项矩阵分解(NBMF),矩阵分解技术专门设计用于分析过分散计数数据。它可以被看作是一个扩展的泊松矩阵分解(PF)扰动的乘法项模型曝光。这个术语为控制分散带来了一定的自由度,使NBMF对离群值更加鲁棒。我们表明,NBMF允许跳过传统的预处理阶段,如二值化,这会导致信息丢失。两种估计方法:最大似然和变分贝叶斯推断。我们用推荐任务测试了我们的模型,并展示了它比PF更精确地预测用户口味的能力。
2018-01-05 cs.IR cs.LG stat.ML
Global Convergence of Four-Layer Matrix Factorization under Random Initialization
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学);Electrical and Computer Engineering(电气与计算机工程)
针对随机初始化下通用深度矩阵分解缺乏全局收敛保证的问题,本文证明了带平衡正则的四层矩阵分解上随机初始化梯度下降的多项式时间全局收敛性,拓展了相关收敛理论。
2025-11-19 cs.LG math.OC stat.ML
Non-negative matrix factorization based on generalized dual divergence
Fox Chase Cancer Center, Temple University Health System(天普大学卫生系统福克斯·蔡斯癌症中心)
提出了一个基于广义对偶库尔贝克-莱布勒散度的非负矩阵分解的理论框架,该框架包含了指数模型族的成员.使用这个框架开发了一系列算法,并使用期望最大化算法证明了其收敛性。该方法概括了现有的一些方法,不同的噪声结构和对比,最近提出的准似然方法,从而提供了一个有用的替代非负矩阵分解。一个措施,以评估所产生的因式分解的拟合优度。这个框架可以适用于包括惩罚,内核和判别函数以及张量。
2019-05-16 cs.LG stat.CO stat.ML
Stability of matrix factorization for collaborative filtering
National University of Singapore(新加坡国立大学)
研究矩阵分解算法在矩阵补全中对抗性噪声的稳定性,通过误差界、子空间分析和个体预测误差分析,为协同过滤系统设计提供指导。
2012-06-18 cs.LG cs.NA math.NA