Matrix tri-factorization over the tropical semiring
Faculty of Computer and Information Science(计算机与信息科学学院);University of Ljubljana(卢布尔雅那大学)
本文提出热带半环上的矩阵三因子分解算法triFastSTMF,用于分析多分网络,在子网络训练预测整个网络时误差比Fast-NMTF小几个数量级。
2023-05-11 cs.LG
Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
因式分解机(FM)是一种监督学习方法,通过引入二阶特征交互来增强线性回归模型。尽管有效,但FM可能会受到具有相同权重的所有特征交互建模的阻碍,因为并非所有特征交互都同样有用和具有预测性。例如,与无用特征的交互甚至可能引入噪声并不利地降低性能。在这项工作中,我们通过区分不同特征交互的重要性来改进FM。我们提出了一个新的模型命名为注意力分解机(AFM),它通过神经注意力网络从数据中学习每个特征交互的重要性。在两个真实数据集上的大量实验证明了AFM的有效性。从经验上看,AFM在回归任务中表现出比FM更好的$8.6\%$相对改进,并且始终优于最先进的深度学习方法Wide&Deep和DeepCross,其结构更简单,模型参数更少。我们的AFM实现可在以下网址公开获取:https://github.com/hexiangnan/attentional_factorization_machine
2017-08-15 cs.LG
Temporal Network Embedding via Tensor Factorization
Emory University(埃默里大学);Xidian University(西安电子科技大学)
静态图结构数据的表示学习在许多实际应用中表现出了显著的影响。然而,很少有人注意到时间网络的演化性质,其中的边缘往往随着时间的推移而变化。这种时间网络的嵌入应该编码图结构信息和时间演变模式。现有的方法在学习时间演化网络表示未能捕捉时间的相互依赖性。在本文中,我们提出了太妃糖,一种新的方法的时间网络表示学习的基础上张量分解。我们的方法利用张量-张量积算子对跨时间信息进行编码,从而可以捕获演化网络中的周期性变化。实验结果表明,Toffee优于现有的方法在多个真实世界的时间网络生成有效的嵌入链接预测任务。
2021-08-22 cs.LG
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay(法国国家信息与自动化研究所萨克雷研究中心);MINES-ParisTech(巴黎高科矿业学院)
在本文中,我们提出了我们的工作,在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化,而是关注整个网络的空间拥堵配置。在我们的工作中,我们的目标是描述这种网络级的交通状态的典型的时间动态模式,并实现长期预测的大规模的交通动态,在一个统一的数据挖掘框架。为此,我们使用非负张量分解(NTF)来制定这个联合任务,NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果,长期预测的交通演变。
2012-12-18 cs.LG
Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization
Faculty of Mathematics, Physics and Informatics, Comenius University(数学、物理与信息学系,科门纽斯大学);Powerful Medical(强力医疗);GrizzlyTech(灰熊科技)
本文提出双重稀疏分解(DSF),将权重矩阵分解为两个稀疏矩阵,并基于ADMM交替最小化实现高效求解,在LLaMA2-13B等模型上实现50%稀疏化且性能优于稠密小模型,超越现有逐层剪枝方法。
2025-06-04 cs.LG
Equivalence between LINE and Matrix Factorization
School of Software, Tsinghua University(清华大学软件学院)
LINE [1]作为一种有效的网络嵌入方法,在处理大规模无向、有向和/或加权网络时表现出了其有效性。特别地,它建议保留网络的局部结构(由一阶近似表示)和全局结构(由二阶近似表示)。在这项研究中,我们证明了具有这两个近似的LINE(LINE(1st)和LINE(2nd))实际上是分别分解两个不同的矩阵。具体来说,LINE(1st)是对矩阵M(1)进行因子分解,矩阵M(1)的条目是无向网络中顶点对的双倍逐点互信息(PMI),移位一个常数。LINE(2nd)是一个矩阵M(2)的分解,其元素是有向网络中顶点和上下文对的PMI,移动一个常数。我们希望这一发现将为LINE的进一步扩展和推广提供基础。
2017-11-08 cs.LG
Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
尽管深度神经网络在不同的应用中表现出色,但它们仍然是计算量很大的,并且需要大量的存储器。这促使人们开展更多研究,以减少实施此类网络所需的资源。一个有效的方法是矩阵分解,这已被证明是有效的不同的网络。在本文中,我们利用二进制矩阵分解,并显示其在减少深度神经网络中所需资源数量方面的巨大效率。实际上,这种技术可以导致这种网络的实际实现。
2023-01-06 cs.LG eess.SP
Random Weight Factorization Improves the Training of Continuous Neural Representations
University of Pennsylvania(宾夕法尼亚大学)
连续神经表示最近出现了一个强大的和灵活的替代经典的离散表示的信号。然而,训练它们捕捉多尺度信号中的精细细节是困难的,并且计算成本很高。在这里,我们提出了随机权重分解作为一个简单的插入式替代,用于参数化和初始化基于坐标的多层感知器(MLP)中的传统线性层,从而显着加速和改善其训练。我们展示了这种分解如何改变潜在的损失景观,并有效地使网络中的每个神经元使用自己的自适应学习率进行学习。这不仅有助于减轻频谱偏差,而且还允许网络从糟糕的初始化中快速恢复,并达到更好的局部最小值。我们展示了如何利用随机权重因子分解来改善各种任务的神经表示训练,包括图像回归,形状表示,计算机断层扫描,逆渲染,求解偏微分方程和函数空间之间的学习运算符。
2022-10-05 cs.LG
Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization
Hailo Technologies(海洛科技)
由于需要在嵌入式设备上高效实现深度神经网络,神经网络的量化已成为常见做法。在本文中,我们利用了大多数网络中经常被忽视的自由度-对于给定的层,单个输出通道可以通过任何因子进行缩放,前提是下一层的相应权重被逆缩放。因此,一个给定的网络有许多因子分解,这些因子分解改变了网络的权重,而不改变其功能。我们提出了一个概念上简单,易于实现的方法,使用此属性,并表明适当的因式分解显着降低量化所造成的退化。我们在各种各样的网络上表现出改进,并为MobileNets实现了最先进的降级结果。虽然我们的重点是量化,但这种类型的因式分解也适用于其他领域,如网络修剪,神经网络正则化和网络可解释性。
2019-02-05 cs.LG stat.ML
Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network
College of Computer and Information Science(计算机与信息科学学院)
针对大规模动态加权有向网络,提出基于差分进化的张量潜在因子模型超参数自动优化框架,自动学习正则化参数,提升预测精度并减少人工调参。
2026-06-03 cs.LG
LRX-PINN: A Layer-Resolving XNet Physics-Informed Neural Network with Integrated Cauchy Activations for Convection-Dominated Problems
Institute for Advanced Research, Great Bay University(先进研究院,大湾大学);College of Computer Science and Technology, Dongguan University of Technology(计算机科学与技术学院,东莞理工大学);Department of Mathematics, Northwestern University(数学系,西北大学)
针对对流主导的对流扩散问题中标准物理信息神经网络的结构不匹配,提出基于集成柯西激活的LRX-PINN,其结构匹配对流主导层缩放,实验表明该方法参数少精度高。
2026-07-14 cs.LG math.AP
Greenformer: Factorization Toolkit for Efficient Deep Neural Networks
The Hong Kong University of Science and Technology(香港科技大学)
虽然深度神经网络(DNN)的最新进展带来了显着的成功,但计算成本也大大增加。在本文中,我们介绍了Greenformer,一个工具包,通过矩阵分解加速神经网络的计算,同时保持性能。Greenformer可以通过一行代码轻松应用于任何DNN模型。我们的实验结果表明,Greenformer是有效的广泛的场景。我们在https://samuelcahyawijaya.github.io/greenformer-demo/上提供Greenformer的展示。
2021-10-09 cs.AI cs.LG
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Deep Self-representative Concept Factorization Network for Representation Learning
Department of Computer Science, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Electronic Engineering, City University of Hong Kong(香港城市大学电子工程系)
在本文中,我们研究了无监督的深度表示学习问题,并在技术上提出了一种称为深度自代表概念分解网络(DSCF-Net)的新框架,用于聚类深度特征。为了提高表示和聚类能力,DSCF-Net显式地考虑发现隐藏的深层语义特征,增强深层分解对噪声的鲁棒性,并保留深层特征的局部流形结构。具体来说,DSCF-Net将鲁棒的深度概念分解、深度自表达表示和自适应局部保持特征学习无缝集成到一个统一的框架中。为了发现隐藏的深层表示,DSCF-Net设计了一种使用多层线性变换的层次分解结构,通过优化每层中的基本概念来间接改进表示,从而实现层次表示。DSCF-Net还通过子空间恢复进行稀疏纠错来提高鲁棒性,然后在恢复的视觉子空间中进行深度分解。为了获得局部保持表示,我们还提出了一种自适应深度自代表加权策略,通过使用系数矩阵作为自适应重建权重来保持表示的局部性。与其他几个相关模型的广泛比较结果表明,DSCF-Net在几个公共数据库上提供了最先进的性能。
2019-12-29 cs.LG stat.ML
Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms
NTT Communication Science Laboratories(NTT通信科学研究所)
多项式网络和因子分解机是最近提出的两种模型,可以有效地在分类和回归任务中使用特征交互。在本文中,我们从一个统一的角度重新审视这两种模式。基于这一新的观点,我们研究了这两种模型的性质,并提出了新的有效的训练算法。我们的方法的关键是将参数学习作为一个低秩对称张量估计问题,我们通过多凸优化来解决。我们展示了我们关于回归和推荐系统任务的方法。
2016-07-29 cs.LG stat.ML
FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints
University of Waterloo(滑铁卢大学)
深度因子分解和量化已经成为设计高效深度卷积神经网络(CNN)架构的两个主要策略,该架构专为边缘上的低功耗推理而定制。然而,对于不同的深度因子分解选择如何影响CNN中每层的最终训练分布,特别是在量化权重和激活的情况下,仍然缺乏详细的了解。在这项研究中,我们引入了一个渐进的深度分解策略,在量化约束下有效的CNN架构探索。通过以渐进的方式在算法上增加深度因子分解的粒度,所提出的策略能够对逐层分布进行细粒度的低级分析。因此,在固定精度量化下,能够获得对效率-准确性权衡的深入、层级见解。这种渐进式深度因子分解策略还使得能够基于期望的效率-准确性要求来有效地识别最佳深度因子分解的宏架构设计(我们在这里将其称为FactorizeNet)。
2020-11-30 cs.CV cs.LG
Just Propagate: Unifying Matrix Factorization, Network Embedding, and LightGCN for Link Prediction
针对链路预测领域缺乏对不同模型通用认知的问题,本文提出涵盖矩阵分解、代表性网络嵌入与图神经网络方法的统一框架,通过初步分析揭示关键设计因素,为方法创新提供启发。
2024-10-26 cs.AI cs.LG
Matrix factorization with neural networks
University of Bologna(博洛尼亚大学);École normale supérieure(巴黎高等师范学院);Bocconi University(博科尼大学)
本文提出将矩阵分解映射为联想记忆神经网络模型,通过新的抽取方案和基态搜索算法,实现对大规模秩矩阵的高效分解与去噪,且实验性能与理论预测一致。
2022-12-05 cond-mat.dis-nn cs.LG
Neural Network Matrix Factorization
University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
数据通常以数组或矩阵的形式出现。矩阵分解技术试图通过假设矩阵可以被写为两个低秩矩阵的乘积来恢复丢失或损坏的条目。换句话说,矩阵分解通过一个简单的固定函数来近似矩阵的元素,即内积,作用于相应行和列的潜在特征向量。在这里,我们考虑用一个任意函数来代替内积,我们在学习潜在特征向量的同时从数据中学习该函数。特别是,我们用多层前馈神经网络代替内积,并通过为固定的潜在特征优化网络和为固定的网络优化潜在特征之间的交替来学习。由此产生的方法-我们称之为神经网络矩阵分解或NNMF,简称-在一套基准测试中占主导地位的标准低秩技术,但占主导地位的是最近提出的一些利用图形特征的建议。考虑到NNMF框架中可以使用的架构、激活函数、正则化器和优化技术的广泛范围,该方法的真正潜力似乎还没有达到。
2015-12-15 cs.LG stat.ML
LU-Net: Invertible Neural Networks Based on Matrix Factorization
Bielefeld University(比勒费尔德大学);University of Wuppertal(伍珀塔尔大学)
LU-Net是一种简单快速的可逆神经网络(INN)结构,它基于二次权矩阵$\mathsf{A=LU}$的分解,其中$\mathsf{L}$是下三角矩阵,对角线上为1,$\mathsf{U}$是上三角矩阵。我们不是学习完全占用的矩阵$\mathsf{A}$,而是分别学习$\mathsf{L}$和$\mathsf{U}$。如果与可逆的激活函数相结合,则只要$\mathsf{U}$的对角项不为零,就可以容易地将这些层反转。此外,这种层的雅可比矩阵的行列式的计算是便宜的。因此,LU架构允许通过变量公式的变化来廉价地计算似然,并且可以根据最大似然原理进行训练。在我们的数值实验中,我们在几个学术数据集上测试了作为生成模型的LU网络架构。我们还提供了一个详细的比较与传统的可逆神经网络的性能,训练以及运行时间。
2023-02-21 cs.LG cs.NE
Communication Efficient Generalized Tensor Factorization for Decentralized Healthcare Networks
Emory University(埃默里大学);Xidian University(西安电子科技大学)
张量分解已被证明是一种用于健康数据分析的有效无监督学习方法,特别是用于计算表型,其中具有患者的医疗程序、药物、诊断、实验室测试等历史的高维电子健康记录(EHR),转化为有意义和可解释的医学概念。联合张量因式分解在中央服务器的协调下将张量计算分配给多个工作人员,这使得能够跨多个医院联合学习表型,同时保护患者信息的隐私。然而,现有的联邦张量分解算法在引入中央服务器的情况下会遇到单点失效问题,不仅容易受到外部攻击,而且在上行带宽受限的情况下,限制了与服务器共享信息的客户端数量。在本文中,我们提出了CiderTF,一个通信高效的分散广义张量因式分解,它降低了上行链路的通信成本,利用一个四个层次的通信减少策略设计的广义张量因式分解,它具有建模不同的张量分布与多种损失函数的灵活性。在两个真实世界的EHR数据集上的实验表明,CiderTF实现了相当的收敛性,通信减少高达99.99%。
2022-11-03 cs.DC cs.LG
Cauchy activation function and XNet
Northwestern University(西北大学);Oxford Suzhou Centre for Advanced Research(牛津苏州高等研究院);Great Bay University(大湾区大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出源自Cauchy积分定理的Cauchy激活函数,并构建新型神经网络XNet,在图像分类与求解偏微分方程等高维任务上显著优于既有基准和PINNs。
2025-01-28 cs.CV cs.LG cs.NE
A Peek Into the Hidden Layers of a Convolutional Neural Network Through a Factorization Lens
University of California Riverside(加州大学河滨分校)
尽管深度神经网络在各种监督学习问题中越来越受欢迎并取得了成功,但它们非常难以解释和调试:给定并已经训练好的深度神经网络,以及一组测试输入,我们如何才能深入了解这些输入如何与神经网络的不同层交互?此外,我们是否可以根据不同输入下观察到的行为来表征给定的深度神经网络?在本文中,我们提出了一种新的基于因子分解的方法来理解不同的深度神经网络如何运行。在我们的初步结果中,我们发现了一些有趣的模式,这些模式将因子分解排名(通常用作无监督数据分析中的兴趣度量)与深度网络的训练效果联系起来。最后,我们提出的方法可以帮助提供关于如何高水平的视觉见解。网络输入的可解释模式在深层网络的隐藏层内表现。
2018-06-06 cs.CV cs.LG stat.ML
Simplification of Graph Convolutional Networks: A Matrix Factorization-based Perspective
RealAI(瑞尔智能);Tsinghua University(清华大学)
近年来,图卷积网络(GCN)的研究取得了实质性的进展。然而,GCN的计算通常需要大量的存储空间来保存整个图。因此,GCN不够灵活,特别是对于复杂现实世界应用中的大规模图。幸运的是,基于矩阵分解(MF)的方法自然支持构造小批量,因此与GCN相比,对分布式计算更友好。因此,本文分析了GCN和MF之间的联系,并将GCN简化为具有单位化和协同训练的矩阵分解。此外,在我们的分析的指导下,我们提出了一个替代模型GCN命名为Unitized和Co-training矩阵分解(UCMF)。在几个真实世界的数据集上进行了广泛的实验。在半监督节点分类任务上,实验结果表明,UCMF取得了与GCN相似或更好的性能。同时,分布式UCMF显著优于分布式GCN方法,这表明UCMF可以极大地有利于大规模和复杂的现实世界的应用。此外,我们还对图嵌入的典型任务进行了实验,即,社区发现,提出的UCMF模型优于几种有代表性的图嵌入模型。
2020-11-04 cs.LG cs.SI
NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization
Tsinghua University(清华大学);Microsoft Research(微软研究院);Facebook AI(脸书人工智能研究院);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心)
我们研究了大规模网络嵌入的问题,其目的是学习潜在的表示网络挖掘应用程序。先前的研究表明:1)流行的网络嵌入基准测试,如DeepWalk,本质上是隐式分解具有封闭形式的矩阵,2)这种矩阵的显式分解比现有方法生成更强大的嵌入。然而,直接构造和分解这个矩阵-这是密集的-在时间和空间方面都是非常昂贵的,使得它不适合大型网络。在这项工作中,我们提出了大规模的网络嵌入的稀疏矩阵分解(NetSMF)的算法。NetSMF利用频谱稀疏化的理论来有效地稀疏上述密集矩阵,从而显著提高嵌入学习的效率。稀疏矩阵在频谱上接近原始稠密矩阵,具有理论上有界的近似误差,这有助于保持学习嵌入的表示能力。我们在各种规模和类型的网络上进行实验。结果表明,在流行的基准测试和基于因子分解的方法中,NetSMF是唯一实现高效率和有效性的方法。我们发现,NetSMF只需要24小时就可以为一个拥有数千万节点的大规模学术合作网络生成有效的嵌入,而DeepWalk需要花费数月的时间,并且对于密集矩阵分解解决方案来说,这在计算上是不可行的。NetSMF的源代码是公开的(https://github.com/xptree/NetSMF)。
2019-06-26 cs.LG cs.SI stat.ML
Multi-view Factorization AutoEncoder with Network Constraints for Multi-omic Integrative Analysis
University at Buffalo(布法罗大学)
多组学数据提供相同患者的多个视图。多组学数据的综合分析对于阐明疾病病因的分子基础至关重要。然而,多组数据存在“大p,小N”问题(特征数多,但样本数少),仅从多组数据中训练复杂的机器学习模型并使其具有良好的泛化能力是一个挑战。在这里,我们提出了一个框架,称为多视图分解AutoEncoder与网络约束集成多组学数据与领域知识(生物相互作用网络)。我们的框架采用深度表示学习来同时学习特征嵌入和患者嵌入,使我们能够将特征交互网络和患者视图相似性网络约束集成到训练目标中。整个框架是端到端可区分的。我们将我们的方法应用于TCGA泛癌症数据集,并取得了令人满意的结果,以预测疾病无进展间期(PFI)和患者总生存期(OS)事件。代码将公开提供。
2018-09-06 cs.LG stat.ML
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior
Soochow University(苏州大学);Hefei University of Technology(合肥工业大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Sea AI Labs
非负矩阵分解通常对于学习“浅”的基于部分的表示是强大的,但它显然无法发现基础和表示空间中的深层层次信息。在本文中,我们在技术上提出了一种新的基于丰富先验的双约束深度半监督耦合因子分解网络,称为DS 2CF-Net,用于学习分层耦合表示。为了提取隐藏的深层特征,DS 2CF-Net被建模为一个受深层结构和几何结构约束的神经网络。具体来说,DS 2CF-Net使用多层线性变换设计了一个深度耦合的因式分解架构,每层中的基和新表示都进行了耦合更新。为了提高学习的深度表示和深度系数的辨别能力,我们的网络明确考虑通过联合深度系数-正则化标签预测来丰富监督先验,并将丰富的先验信息作为额外的标签和结构约束。标签约束可以使相同标签的样本在新的特征空间中具有相同的坐标,而结构约束迫使每层中的系数矩阵是块对角的,使得使用自表达标签传播的增强先验更加准确。我们的网络还集成了自适应双图学习,通过最小化每层的重建误差来保留数据流形和特征流形的局部流形结构。在几个真实数据库上的大量实验表明,我们的DS 2CF-Net可以获得最先进的表示学习和聚类性能。
2021-09-07 cs.LG stat.ML
Including local feature interactions in deep non-negative matrix factorization networks improves performance
University of Bremen(不来梅大学)
该研究提出在深度非负矩阵分解网络中的每个NMF模块后添加混合正活动的模块,以模拟皮层局部交互,从而在基准数据上超越类似规模的普通深度卷积网络。
2025-03-26 cs.AI cs.LG
Enhancing Network Embedding with Auxiliary Information: An Explicit Matrix Factorization Perspective
University of Science and Technology of China(中国科学技术大学)
网络嵌入领域的最新进展表明,低维网络表示在网络分析中起着至关重要的作用。然而,现有的大多数网络嵌入的原理没有灵活地结合诸如节点的内容和标签的辅助信息。本文从矩阵分解的角度对网络嵌入进行了研究,并将网络的结构信息、内容信息和标签信息结合起来。对于结构,我们验证了我们构造的矩阵保留了网络的高阶近似。标签信息可以通过随机游走采样过程进一步集成到矩阵中,以增强无监督方式的嵌入质量,即,而不利用下游分类器。此外,我们推广了Skip-Gram Negative Sampling模型,将网络内容整合到矩阵分解框架中。因此,网络嵌入可以在一个统一的框架中学习,同时集成网络结构和节点内容以及标签信息。我们证明了所提出的模型的有效性与任务的半监督节点分类和链接预测在各种现实世界的基准网络数据集。
2018-03-05 cs.LG cs.SI stat.ML
Semi-Supervised Tensor Factorization for Node Classification in Complex Social Networks
NCSR Demokritos(国家科学研究中心“德谟克利特”)
本文提出了一种方法来指导张量因式分解,使用类标签。此外,它显示了使用所提出的方法在识别在多关系网络中发挥特殊作用的节点,例如垃圾邮件发送者的优点。大多数复杂系统都涉及实体之间的多种类型的关系和交互。组合来自不同关系的信息对于各种预测任务可能是至关重要的。在本文中,我们提出了一种基于RESCAL的张量因子分解方法,而不是为每种类型的关系创建不同的预测模型,该方法共同利用了所有现有的关系。我们扩展RESCAL产生一个半监督的因子分解方法,结合了分类误差项与标准因子优化过程。耦合优化方法,模拟张量数据同化观测信息的所有关系,同时也考虑到分类性能。我们对现实世界社交网络数据的评估表明,在可用的情况下,纳入监督会导致模型更准确。
2019-07-24 cs.LG cs.SI physics.soc-ph
Multi-output Polynomial Networks and Factorization Machines
NTT Communication Science Laboratories(NTT通信科学实验室);Cornell University(康奈尔大学);RIKEN(理化学研究所)
因式分解机和多项式网络是基于有效低秩分解的监督多项式模型。我们将这些模型扩展到多输出设置,即,学习向量值函数,应用于多类或多任务问题。我们将此转换为学习3路张量的问题,其切片共享公共基础,并提出了该问题的凸公式。然后,我们开发了一个有效的条件梯度算法,并证明其全局收敛性,尽管它涉及到一个非凸的基础选择步骤。在分类任务中,我们证明了我们的算法比现有方法具有更稀疏的模型,从而实现了出色的准确性。在推荐系统任务中,我们展示了如何将我们的算法与从有序回归到多输出分类的减少相结合,并表明所得到的算法在排名准确性方面优于简单的基线。
2017-11-04 cs.LG stat.ML
Cauchy-Schwarz Regularizers
ETH Zurich(苏黎世联邦理工学院)
本文提出柯西-施瓦茨(CS)正则化器,可诱导离散值、特征向量和正交性等性质,并在线性方程求解与神经网络权重量化中验证其有效性。
2025-03-17 cs.LG math.OC
Discrete Denoising Diffusion Approach to Integer Factorization
Institute of Electronics and Computer Science(电子与计算机科学研究所);Institute of Mathematics and Computer Science(数学与计算机科学研究所)
本文提出一种基于深度神经网络和离散去噪扩散的整数分解方法,通过迭代纠正部分正确解中的错误,开发新seq2seq架构并调整反向扩散过程,成功为56位整数找到因子,且训练投入可指数减少推理采样步骤。
2023-09-11 cs.AI cs.LG
A Non-Negative Factorization approach to node pooling in Graph Convolutional Neural Networks
Università di Pisa(比萨大学)
本文讨论了一种池机制,以诱导图结构数据的二次采样,并介绍了它作为一个组成部分的图卷积神经网络。池化机制建立在表示节点邻接性和节点相似性的矩阵的非负矩阵分解(NMF)上,所述节点邻接性和节点相似性通过模型学习的顶点嵌入自适应地获得。这种机制被应用于获得一个增量粗图,其中节点被自适应地汇集到社区的基础上的非负因子分解的结果。对图分类基准的实证分析表明,这种粗化过程如何产生显着改善的预测性能的模型相对于其非池对应。
2019-09-07 cs.AI cs.LG cs.NE
Community detection in multiplex networks based on orthogonal nonnegative matrix tri-factorization
Michigan State University(密歇根州立大学)
本文提出多重正交非负矩阵三分解方法,将每层邻接矩阵分解为共有与私有社区两部分,并引入两阶段方法自动确定社区数量,在合成与真实多重网络及多视图聚类中优于现有方法。
2023-01-08 cs.LG cs.SI
Neural Network Regularization via Robust Weight Factorization
University of Guelph(圭尔夫大学)
在训练大型神经网络时,正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器,因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此,毫不奇怪,一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前,Dropout(以及相关方法,如DropConnect)是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型,同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略,但学习每个权重矩阵的因子分解,使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
A Constraints Fusion-induced Symmetric Nonnegative Matrix Factorization Approach for Community Detection
College of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
社区是无向社会网络的一个重要特征,社区发现是网络表示学习中的一个重要而棘手的问题。对称非负矩阵分解(SNMF)模型由于其良好的可解释性和可扩展性,经常被用来解决这个问题。然而,它采用单一的潜在因子矩阵来表示一个无向网络,以精确地表示其对称性,这导致了表示学习能力的损失,由于潜在空间减少。基于这一发现,本文提出了一种新的约束融合诱导的对称非负矩阵分解(CFS)模型,该模型采用三个方面的思想:a)用多个潜在因子矩阵表示目标无向网络,从而保持其表示学习能力; b)将保持所学习的对邻接矩阵的低秩近似的对称性的保序正则化器构造到所述损失函数中,从而使得所得到的检测器清楚地知道目标网络的对称性;以及c)引入保持网络的固有几何的局部不变性的图正则化器,从而使得所实现的检测器清楚地知道目标网络内的社区结构。对工业应用中的8个真实社交网络的广泛实证研究表明,所提出的CFS模型在实现高准确度社区发现结果方面明显优于最先进的模型。
2023-02-23 cs.LG cs.SI
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出深度权重分解方法,将权重分解为多个因子并施加可微L2正则化,理论上等价于非凸稀疏正则化,并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Understanding the Difficulty of Solving Cauchy Problems with PINNs
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文针对PINNs求解柯西问题精度不足的问题,指出$L^2$残差损失函数和神经网络近似间隙两大根源,通过理论分析和数值实验揭示了其对解的准确性、全局最小值存在性的影响。
2024-06-18 cs.LG cs.NA math.NA
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Input Guided Multiple Deconstruction Single Reconstruction neural network models for Matrix Factorization
Indian Statistical Institute(印度统计研究所);Institute of Data Engineering, Analytics and Science Foundation, Technology Innovation Hub, Indian Statistical Institute(印度统计研究所数据工程、分析与科学基金会技术创新中心)
本文提出两种基于非负矩阵分解的神经网络模型(IG-MDSR-NMF和IG-MDSR-RNMF),通过输入引导的多重解构单重建实现低秩嵌入,在保持局部结构的同时优于九种算法,验证了降维的有效性。
2024-05-22 cs.AI cs.LG
Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec
Tsinghua University(清华大学);Microsoft Research(微软研究院)
自word 2 vec发明以来,skip-gram模型极大地推进了网络嵌入的研究,例如最近出现的DeepWalk、LINE、PTE和node 2 vec方法。在这项工作中,我们表明,所有上述模型与负采样可以统一到矩阵分解框架的封闭形式。我们的分析和证明表明:(1)DeepWalk经验上产生网络的归一化拉普拉斯矩阵的低秩变换;(2)LINE在理论上是DeepWalk的一个特例,当顶点的上下文大小设置为1时;(3)作为LINE的扩展,PTE可以被视为多个网络的拉普拉斯算子的联合因子分解;(4)node 2 vec分解与二阶随机游动的平稳分布和转移概率张量相关的矩阵。进一步给出了基于跳图的网络嵌入算法与图拉普拉斯算子理论之间的理论联系。最后,我们提出了计算网络嵌入的NetMF方法及其近似算法。我们的方法为传统的网络挖掘任务提供了比DeepWalk和LINE显著的改进。本文的工作为基于跳图的网络嵌入方法奠定了理论基础,从而更好地理解潜在网络表示学习。
2018-02-08 cs.LG cs.SI stat.ML
A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation
School of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
针对基于SGD的张量潜在因子分解模型尾部收敛差的问题,提出融入动量的非负张量分解模型MNNL,提升了动态网络表示的预测精度与收敛速度。
2023-05-04 cs.LG cs.SI
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba(筑波大学)
用于计算梯度的反向传播算法已广泛用于深度神经网络(DNN)的权重计算。这种方法需要目标函数的导数,并且在寻找合适的参数(如学习率)方面存在一定的困难。在本文中,我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解(半NMF)。在该方法中,通过交替地计算权重矩阵来执行优化过程,并且不使用反向传播(BP)。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明,我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Online Factorization and Partition of Complex Networks From Random Walks
Princeton University(普林斯顿大学);Johns Hopkins University(约翰霍普金斯大学)
找到降维结构对于理解复杂网络至关重要。现有的方法,如谱聚类是适用的,只有当整个网络是明确观察。在本文中,我们专注于在线因式分解和分区的隐式大规模网络的基础上,从一个相关的随机游动的观察。我们制定成一个非凸随机因子分解问题,并提出了一个有效的和可扩展的随机广义赫布算法。该算法能够处理底层网络动态生成的相关状态转换数据,并学习每个顶点的低维表示。通过应用扩散近似分析,我们表明,连续时间限制过程的随机算法收敛到全局的“主成分”的马尔可夫链,并实现了近最佳的样本复杂性。一旦给出了学习的低维表示,我们进一步应用聚类技术来恢复网络分区。我们表明,当相关的马尔可夫过程是集总的,可以恢复分区准确地以高概率。我们应用所提出的方法来模拟曼哈顿的交通流量为全市范围内的随机行走。通过使用我们的算法分析出租车出行数据,我们发现了曼哈顿城市的一个与交通动态密切匹配的潜在分区。
2017-12-11 cs.LG math.OC stat.ML
Resonator Networks outperform optimization methods at solving high-dimensional vector factorization
University of California, Berkeley(加州大学伯克利分校);Intel Laboratories(英特尔实验室)
我们发展了谐振器网络的理论基础,谐振器网络是Frady等人(2020)引入的一种新型递归神经网络,用于解决矢量符号架构中出现的高维矢量分解问题。给定由离散的一组高维向量之间的Hadamard乘积形成的复合向量,谐振器网络可以有效地将复合分解为这些因子。我们将谐振器网络的性能与基于优化的方法(包括交替最小二乘法和几种基于梯度的算法)进行了比较,结果表明谐振器网络在几个重要方面具有优势。这一优势是通过利用非线性动力学和“叠加搜索”的组合来实现的,通过该组合,正确解的估计是从所有可能解的加权叠加中形成的。虽然替代方法也在叠加中搜索,但谐振器网络的动态使它们能够在探索解空间和利用本地信息之间取得更有效的平衡,以推动网络走向可能的解。谐振器网络不能保证收敛,但在特定的制度下,他们几乎总是这样做。作为放松这种全局收敛保证的交换,谐振器网络在寻找因子分解方面比考虑的所有替代方法都更有效。
2020-07-14 cs.LG cs.NE stat.ML
Streaming Probabilistic Deep Tensor Factorization
University of Utah(犹他大学);Kwai Inc.(快手)
尽管现有的张量因式分解方法取得了成功,但它们中的大多数进行多线性分解,很少利用强大的建模框架,如深度神经网络,来捕获数据中的各种复杂交互。更重要的是,对于高表达性的深度因子分解,我们缺乏有效的方法来处理流数据,这在现实世界的应用中无处不在。为了解决这些问题,我们提出了SPIDER,流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络(NN)构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验,以鼓励稀疏性并防止过拟合。然后,我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据,在此基础上,我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新,同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
Factorization Bandits for Online Influence Maximization
University of Virginia(弗吉尼亚大学);Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
研究了社交网络中的在线影响力最大化问题。在这个问题中,学习者的目标是通过与网络交互来识别网络中的“最佳影响者”集合,即,重复选择种子节点并观察网络中的激活反馈。我们利用了影响力最大化问题的一个重要性质--网络可伸缩性,这一性质在现有的在线影响力最大化研究中被忽略.为了实现网络的敏感性,我们将边上的激活概率分解为相应节点上的潜在因子,包括给定节点上的影响因子和接收节点上的敏感因子。我们提出了一个基于置信上限的在线学习解决方案来估计潜在因素,从而估计激活概率。基于因子分解的在线影响力最大化算法实现了相当大的遗憾减少。在两个真实网络上进行的广泛的实证评估表明了我们提出的解决方案的有效性。
2019-07-16 cs.LG cs.SI stat.ML
DeepThin: A Self-Compressing Library for Deep Neural Networks
Intel(英特尔);UC Davis(加州大学戴维斯分校)
随着业界将越来越大和复杂的神经网络部署到移动设备,这些设备的存储器和计算资源面临更大的压力。深度压缩,或深度神经网络权重矩阵的压缩,是一种为此类场景拉伸资源的技术。现有的压缩方法不能有效地压缩小于其原始大小的1-2%的模型。我们开发了一种新的压缩技术DeepThin,建立在低秩因子分解领域的现有研究基础上。我们确定和打破人为的限制强加的低秩近似相结合的秩分解与整形过程中,增加了非线性的近似函数。我们将DeepThin部署为与TensorFlow集成的插件库,使用户能够以不同的粒度无缝压缩模型。我们在两个最先进的声学模型TFKaldi和DeepSpeech上评估了DeepThin,并将其与以前的压缩工作(修剪,HashNet和Rank Factorization),经验极限研究方法和手动调整模型进行了比较。对于TFKaldi,我们的DeepThin网络在几乎所有测试的压缩率下都显示出比竞争方法更好的单词出错率(WER),比秩因子分解平均相对改进60%,比修剪平均相对改进57%,比手动调整的相同大小的网络平均相对改进23%,比计算昂贵的HashedNets平均相对改进6%。对于DeepSpeech,DeepThin压缩网络的测试损失比所有其他压缩方法都要好,比秩分解好28%,比修剪好27%,比手动调整的相同大小的网络好20%,比哈希网络好12%。DeepThin还提供推理性能优势,范围…
2018-02-20 cs.LG stat.ML
Adaptive Factorization Network: Learning Adaptive-Order Feature Interactions
Shanghai Jiao Tong University(上海交通大学)
已经提出了各种基于因子分解的方法来利用二阶或高阶交叉特征来提高预测模型的性能。它们通常在预定义的最大阶数下枚举所有交叉特征,然后通过模型训练来识别有用的特征交互,这具有两个缺点。首先,他们必须在高阶交叉特征的表达能力和计算成本之间做出权衡,从而导致次优预测。其次,枚举所有交叉特征,包括不相关的特征,可能会引入噪声特征组合,降低模型性能。在这项工作中,我们提出了自适应因子分解网络(AFN),一个新的模型,学习任意阶交叉功能自适应数据。AFN的核心是对数转换层,将特征组合中每个特征的功率转换为要学习的系数。在四个真实数据集上的实验结果证明了AFN对最新技术的优越预测性能。
2020-06-24 cs.AI cs.IR cs.LG
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University(名古屋大学)
我们提出了一个统一的方法,数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形,同时保留灵活性的源滤波器模型,以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络(uSFGAN)的开发,通过分解准周期并行WaveGAN(QPPWG),神经声码器的基础上一个单一的神经网络,到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外,受神经源滤波器(NSF)的启发,仅正弦波形被另外用作最简单的线索以生成周期性源激励波形,同时最小化源滤波器模型中的近似的影响。实验结果表明,uSFGAN优于传统的神经声码器,如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
Graph-based Neural Acceleration for Nonnegative Matrix Factorization
Uppsala University(乌普萨拉大学);Research Institutes of Sweden (RISE)(瑞典研究机构(RISE))
我们描述了一种用于非负矩阵分解的基于图的神经加速技术,该技术建立在矩阵和二部图之间的联系之上,该联系在某些领域是众所周知的,例如,稀疏线性代数,但尚未被利用来设计用于矩阵计算的图神经网络。我们首先考虑低秩因子分解更广泛,并提出了一个适合于图神经网络的问题的图形表示。然后,我们专注于非负矩阵分解的任务,并提出了一个图神经网络,交错的二分自注意层与更新的基础上交替方向的方法乘子。我们对合成数据集和两个真实世界数据集的经验评估表明,即使我们只在较小的合成实例上以无监督的方式进行训练,我们也获得了显著的加速。
2022-02-01 cs.LG cs.NA math.NA
Compression of Recurrent Neural Networks using Matrix Factorization
Thales SIX(泰雷兹SIX);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室)
本文提出了一种名为Rank-Tuning的训练后秩选择方法,通过为每个矩阵选择不同的秩来压缩循环神经网络,结合训练适应实现了高达14倍的压缩率且性能下降不超过1.4%。
2023-10-19 cs.AI cs.LG stat.ML
Deep Feature Factorization For Concept Discovery
EPFL(洛桑联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);ETHZ(苏黎世联邦理工学院)
我们提出了深度特征因子分解(DFF),一种能够在图像或一组图像中定位相似语义概念的方法。我们使用DFF来深入了解深度卷积神经网络的学习特征,其中我们检测特征空间中的分层聚类结构。这被可视化为热图,它突出了一组图像中语义匹配的区域,揭示了网络“感知”的相似之处。DFF也可以用于执行共分割和共定位,我们报告这些任务的最先进的结果。
2018-10-08 cs.CV cs.LG stat.ML