Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization
Hailo Technologies(海洛科技)
由于需要在嵌入式设备上高效实现深度神经网络,神经网络的量化已成为常见做法。在本文中,我们利用了大多数网络中经常被忽视的自由度-对于给定的层,单个输出通道可以通过任何因子进行缩放,前提是下一层的相应权重被逆缩放。因此,一个给定的网络有许多因子分解,这些因子分解改变了网络的权重,而不改变其功能。我们提出了一个概念上简单,易于实现的方法,使用此属性,并表明适当的因式分解显着降低量化所造成的退化。我们在各种各样的网络上表现出改进,并为MobileNets实现了最先进的降级结果。虽然我们的重点是量化,但这种类型的因式分解也适用于其他领域,如网络修剪,神经网络正则化和网络可解释性。
2019-02-05 cs.LG stat.ML
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出深度权重分解方法,将权重分解为多个因子并施加可微L2正则化,理论上等价于非凸稀疏正则化,并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network
College of Computer and Information Science(计算机与信息科学学院)
针对大规模动态加权有向网络,提出基于差分进化的张量潜在因子模型超参数自动优化框架,自动学习正则化参数,提升预测精度并减少人工调参。
2026-06-03 cs.LG
Weighted-SVD: Matrix Factorization with Weights on the Latent Factors
National Central University(国立中央大学)
矩阵分解模型,有时也称为潜在因素模型,是推荐系统研究领域中的一系列方法,用于(1)生成用户和项目的潜在因素,以及(2)基于潜在因素预测用户对项目的评级。然而,目前的矩阵分解模型假设所有潜在因素的权重相等,这在实践中可能并不总是一个合理的假设。在本文中,我们提出了一个新的模型,称为加权SVD,集成的线性回归模型和SVD模型,使每个潜在的因素伴随着一个相应的权重参数。该机制允许潜在因素具有不同的权重来影响最终评级。加权SVD模型的复杂度略高于SVD模型,但远小于SVD++模型。我们比较了加权SVD模型与几个潜在的因素模型在五个公共数据集的根均方误差(RMSE)的基础上。结果表明,加权奇异值分解模型在几乎所有设置下的所有实验数据集上都优于基线方法。
2017-10-02 cs.IR cs.LG stat.ML
Addition is almost all you need: Compressing large language models with double binary factorization
Faculty of Mathematics, Physics and Informatics(数学、物理与信息学系);Comenius University(科尼乌斯大学)
本文提出双重二进制分解方法,通过分解权重矩阵为二进制矩阵乘积,实现高效压缩大语言模型,同时保持较高的精度和压缩率。
2026-02-28 cs.LG
Does Weighting Improve Matrix Factorization for Recommender Systems?
University of Alberta Edmonton, AB Canada;Netflix, Inc. Los Gatos, CA USA;Netflix, Inc. \& Cornell University New York, NY USA;University of Alberta;Netflix, Inc.;Netflix, Inc. \& Cornell University
本文系统研究了推荐系统矩阵分解中的加权方案,发现未加权数据在大型模型上表现相当甚至更优,挑战了传统观念,同时推导出精确最小化加权目标的高效算法。
2025-10-12 cs.IR cs.LG stat.ML
Function Smoothing Regularization for Precision Factorization Machine Annealing in Continuous Variable Optimization Problems
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文针对FMQA在连续变量优化中因FM哈密顿量曲面噪声导致性能受限的问题,识别噪声来源并提出一种简单通用的函数平滑正则化方法,验证了其泛化性能与解决实际问题的能力。
2024-07-05 cs.LG quant-ph
W2T: LoRA Weights Already Know What They Can Do
University of Surrey(萨里大学);Stanford University(斯坦福大学);University of Notre Dame(诺丁汉大学)
W2T通过将LoRA权重转换为token化嵌入,验证了在消除因子化歧义后,LoRA权重能可靠指示模型行为,适用于属性分类、性能预测和适配器检索。
2026-03-16 cs.LG
Neural Network Regularization via Robust Weight Factorization
University of Guelph(圭尔夫大学)
在训练大型神经网络时,正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器,因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此,毫不奇怪,一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前,Dropout(以及相关方法,如DropConnect)是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型,同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略,但学习每个权重矩阵的因子分解,使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
Revisiting Action Factorization for Complex Action Spaces
The University of Tulsa(塔尔萨大学)
本文对多种动作分解方法在PPO、SAC、DQN算法和离散、混合、连续动作空间上进行了横截面研究,提出了VDN-PPO和PPO-MIX,并发现分支决斗架构在计算和性能之间取得了最佳平衡。
2026-06-26 cs.LG
WAFFLe: Weight Anonymized Factorization for Federated Learning
Duke University(杜克大学);Samsung(三星)
在数据敏感或私密的领域中,可以以分布式方式学习而无需数据离开本地设备的方法具有很大的价值。鉴于这种需求,联邦学习已经成为一种流行的培训模式。然而,许多联邦学习方法以传输数据来交换每个本地设备的更新的权重参数。因此,一个成功的漏洞,否则将直接损害数据,而不是授予白盒访问本地模型,这打开了大门,以一系列的攻击,包括暴露数据联邦学习寻求保护。此外,在分布式场景中,各个客户端设备通常表现出高度的统计异质性。许多常见的联邦方法学习单个全局模型;虽然这可能在平均情况下做得很好,但当i.i.d.假设被违反,使个人进一步偏离平均值,并提出公平性问题。为了解决这些问题,我们提出了权重分析因子分解的联邦学习(WAFFLe),一种方法,结合了印度自助餐过程与共享字典的权重因子的神经网络。在MNIST、FashionMNIST和CIFAR-10上的实验表明,WAFFLe在本地测试性能和公平性方面有了显着改善,同时提供了额外的安全层。
2020-08-13 cs.LG stat.ML
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Invariant Factorization Of Time-Series
University of Hildesheim(希尔德斯海姆大学)
时间序列分类是机器学习的一个重要研究领域,目前已经有大量的方法用于时间序列分类。在现有的方法相比,本研究提出了一种新的方法,该方法将时间序列数据集分解成潜在的模式和隶属权重的局部段这些模式。该过程被形式化为一个受约束的目标函数和定制的随机坐标下降优化。将时间序列投影到一个新的特征表示,该特征表示由成员权重的总和组成,该权重捕获局部模式的频率。来自不同滑动窗口大小的特征被连接起来,以便封装来自不同大小的模式的交互。最后,对6个最先进的基线和43个现实生活中的数据集进行了大规模的实验比较。所提出的方法优于所有的基线具有统计上显着的利润率方面的预测精度。
2013-12-23 cs.LG
Streaming Probabilistic Deep Tensor Factorization
University of Utah(犹他大学);Kwai Inc.(快手)
尽管现有的张量因式分解方法取得了成功,但它们中的大多数进行多线性分解,很少利用强大的建模框架,如深度神经网络,来捕获数据中的各种复杂交互。更重要的是,对于高表达性的深度因子分解,我们缺乏有效的方法来处理流数据,这在现实世界的应用中无处不在。为了解决这些问题,我们提出了SPIDER,流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络(NN)构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验,以鼓励稀疏性并防止过拟合。然后,我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据,在此基础上,我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新,同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
Non-Negative Matrix Factorization for Event Data
Ghent University(根特大学)
提出EventNMF,一种直接对事件时间进行建模的连续时间非负矩阵分解方法,通过B样条基函数分解强度函数,避免分箱预处理的信息损失,并证明标准分箱方法是其特例。
2026-06-04 cs.LG
Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback
College of Computer Science, Zhejiang University(浙江大学计算机科学学院);Zhejiang University-LianlianPay Joint Research Center(浙江大学-连连支付联合研究中心)
由于缺乏可靠的观察到的负面数据,隐式反馈的推荐是一项极具挑战性的任务。一种流行而有效的隐式推荐方法是将未观察到的数据视为负面,但降低其置信度。当然,如何分配置信度权重和如何处理大量的未观测数据是隐式推荐模型的两个关键问题。然而,现有的方法要么追求快速学习,通过手动分配简单的信心权重,这缺乏灵活性,并可能会产生经验偏见,在评估用户的偏好;或自适应推断个性化的信心权重,但效率低下。为了实现自适应权重分配和有效的模型学习,我们提出了一种快速自适应加权矩阵分解(FAWMF)的变分自动编码器的基础上。个性化数据的置信度权重自适应分配与参数化神经网络(功能)和网络可以推断出的数据。此外,为了支持FAWMF的快速和稳定的学习,已经开发了一种新的特定的基于批处理的学习算法fBGD,其在所有反馈数据上进行训练,但其复杂度与观测数据的数量成线性关系。在真实数据集上的大量实验证明了所提出的FAWMF及其学习算法fBGD的优越性。
2020-03-04 cs.IR cs.LG stat.ML
Weighted Multi-Level Feature Factorization for App ads CTR and installation prediction
Aarhus University(奥胡斯大学);ISISTAN, CONICET-UNCPBA(ISISTAN,阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯省中部国立大学)
本文提出加权多层级特征因子分解模型,将广告点击与安装视为相关任务,通过分层融合任务特定与共享特征,在RecSys Challenge 2023中获第11名。
2023-08-03 cs.IR cs.LG
Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization
Faculty of Mathematics, Physics and Informatics, Comenius University(数学、物理与信息学系,科门纽斯大学);Powerful Medical(强力医疗);GrizzlyTech(灰熊科技)
本文提出双重稀疏分解(DSF),将权重矩阵分解为两个稀疏矩阵,并基于ADMM交替最小化实现高效求解,在LLaMA2-13B等模型上实现50%稀疏化且性能优于稠密小模型,超越现有逐层剪枝方法。
2025-06-04 cs.LG
Multi-Label Network Classification via Weighted Personalized Factorizations
University of Hildesheim(希尔德斯海姆大学)
多标签网络分类是一个众所周知的任务,被用于各种各样的基于Web和非基于Web的域。它可以被形式化为一个多关系学习任务,用于根据网络中的关系预测节点标签。在稀疏网络中,当只有隐式反馈信息可用时,例如在预测社交网络中的用户兴趣时,该预测任务可能非常具有挑战性。目前的方法依赖于通过利用网络结构来学习每个节点的潜在表示,然而,隐式反馈关系是自然稀疏的,并且仅包含正的观察到的反馈,这意味着这些方法将把所有观察到的关系视为同等重要。这在现实世界的场景中不一定是这种情况,因为隐式关系可能具有反映这些关系的强度的语义权重。如果这些权重可以近似,则可以训练模型以区分强关系和弱关系。提出了一种基于贝叶斯个性化排序损失的加权个性化两阶段多关系矩阵分解网络分类模型,该模型利用基本传递节点相似度函数对隐式反馈关系进行加权.实验表明,该模型显着优于国家的最先进的模型在三个不同的现实世界的基于Web的数据集和基于生物学的数据集。
2019-02-25 cs.IR cs.LG cs.SI
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba(筑波大学)
用于计算梯度的反向传播算法已广泛用于深度神经网络(DNN)的权重计算。这种方法需要目标函数的导数,并且在寻找合适的参数(如学习率)方面存在一定的困难。在本文中,我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解(半NMF)。在该方法中,通过交替地计算权重矩阵来执行优化过程,并且不使用反向传播(BP)。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明,我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University(普林斯顿大学)
非负矩阵分解是一种流行的工具,用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功,但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法,并表明假设数据的生成模型,它可以在相当温和的条件下证明恢复地面真实。特别是,它对特征的唯一基本要求是线性独立性。此外,该算法使用ReLU来利用非负性来解码权重,因此可以容忍可能与信号一样大的对抗性噪声,并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能,我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Robust Manifold Nonnegative Tucker Factorization for Tensor Data Representation
Northwestern Polytechnical University(西北工业大学)
非负Tucker因子分解(NTF)最小化原始数据与其低秩近似之间的欧氏距离或Kullback-Leibler散度,而这种低秩近似经常遭受严重的破坏或离群值,并且忽略了数据的流形结构。特别是,NTF遭受旋转模糊性,其解决方案与旋转变换和不旋转变换是同样的意义上产生的最大似然。在本文中,我们提出了三个鲁棒流形NTF算法处理离群值,结合结构知识的离群值。他们首先应用半二次优化算法将问题转化为一般的加权NTF,其中权重受离群值的影响。然后,我们引入了相关熵诱导度量,Huber函数和Cauchy函数的权重,分别处理野值。最后,我们引入了流形正则化来克服NTF的旋转模糊性。我们已经比较了所提出的方法与一些代表性的参考文献,涵盖了各种现实世界的图像数据库上的NTF的主要分支。实验结果表明,该方法的有效性下的两个评价指标(准确性和nmi)。
2022-11-08 cs.AI cs.LG
Fast Matrix Factorization with Non-Uniform Weights on Missing Data
University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);Hefei University of Technology(合肥工业大学);Nanjing University(南京大学);National University of Singapore(新加坡国立大学)
矩阵分解(MF)被广泛用于发现数据矩阵的低秩结构和预测数据矩阵的缺失项。在许多现实世界的学习系统中,数据矩阵可能是非常高维但稀疏的。这造成了一个不平衡的学习问题,因为丢失条目的规模通常比观察到的条目大得多,但由于有价值的负信号,它们不能被忽略。为了提高效率,现有的工作通常对缺失的条目应用统一的权重以允许快速学习算法。然而,这种简化会降低建模保真度,导致下游应用程序的性能不佳。在这项工作中,我们对缺失数据进行非均匀加权,更一般地,我们允许对缺失数据进行任何加权策略。为了解决效率的挑战,我们提出了一种快速的学习方法,其时间复杂度由数据矩阵中观察到的条目的数量决定,而不是矩阵的大小。关键的想法是双重的:1)我们在权重矩阵上应用截断SVD以获得更紧凑的权重表示,2)我们使用逐元素交替最小二乘(eALS)学习MF参数并记住关键中间变量以避免不必要的重复计算。我们进行了广泛的实验,两个推荐基准,证明了我们的快速eALS方法的正确性,效率和有效性。
2019-01-07 cs.IR cs.LG stat.ML
Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);KAUST(阿卜杜拉国王科技大学)
本文提出通过深度权重分解先验尺度来学习贝叶斯神经网络的随机参数划分,以稀疏化随机性而非容量,在保持性能的同时减少随机参数数量。
2026-10-08 cs.LG stat.ML
Subspace Nonnegative Matrix Factorization for Feature Representation
Northeastern University(东北大学);Stevens Institute of Technology(史蒂文斯理工学院)
传统的非负矩阵分解(NMF)在整个数据空间上学习一种新的特征表示,这意味着平等地对待所有特征。然而,在实际应用中,子空间通常足以用于精确表示,并且冗余特征可能是无效的甚至是有害的。例如,如果相机的一些传感器被破坏,那么来自该相机的照片中的相应像素对识别内容没有帮助,这意味着只有由剩余像素组成的子空间才值得关注。本文提出了一种新的NMF方法,通过引入自适应权重来识别原始空间中的关键特征,使得只有一个子空间涉及生成新的表示。提出了两种策略:模糊加权技术和熵正则化加权技术,这两种技术都导致迭代解具有简单的形式。在真实数据集上的实验结果表明,该方法可以生成比现有方法更准确的特征表示。本研究中开发的代码可在https://github.com/WNMF1/FWNMF-ERWNMF上获得。
2022-04-18 cs.CV cs.LG
Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting
Northeastern University(东北大学)
我们引入了深度开关自回归因子分解(DSARF),这是一种时空数据的深度生成模型,能够解开数据中的重复模式,并执行强大的短期和长期预测。与其他因子分析方法类似,DSARF通过时间相关权重和空间相关因子之间的乘积来近似高维数据。这些权重和因子又表示为使用随机变分推理推断的低维潜变量。DSARF与现有技术的不同之处在于,它根据马尔可夫先验的深度切换向量自回归似然来参数化权重,该似然能够捕获权重之间的非线性相互依赖性以表征多模态时间动态。这导致了一个灵活的分层深度生成因子分析模型,该模型可以扩展为(i)提供从过程动态中抽象的潜在可解释状态的集合,以及(ii)在复杂的多关系设置中执行短期和长期向量时间序列预测。我们广泛的实验,其中包括模拟数据和实际数据,从广泛的应用,如气候变化,天气预报,交通,传染病传播和非线性物理系统证明了优越的性能DSARF的长期和短期的预测误差,与国家的最先进的方法相比。
2020-09-10 cs.LG stat.ML
Deep Self-representative Concept Factorization Network for Representation Learning
Department of Computer Science, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Electronic Engineering, City University of Hong Kong(香港城市大学电子工程系)
在本文中,我们研究了无监督的深度表示学习问题,并在技术上提出了一种称为深度自代表概念分解网络(DSCF-Net)的新框架,用于聚类深度特征。为了提高表示和聚类能力,DSCF-Net显式地考虑发现隐藏的深层语义特征,增强深层分解对噪声的鲁棒性,并保留深层特征的局部流形结构。具体来说,DSCF-Net将鲁棒的深度概念分解、深度自表达表示和自适应局部保持特征学习无缝集成到一个统一的框架中。为了发现隐藏的深层表示,DSCF-Net设计了一种使用多层线性变换的层次分解结构,通过优化每层中的基本概念来间接改进表示,从而实现层次表示。DSCF-Net还通过子空间恢复进行稀疏纠错来提高鲁棒性,然后在恢复的视觉子空间中进行深度分解。为了获得局部保持表示,我们还提出了一种自适应深度自代表加权策略,通过使用系数矩阵作为自适应重建权重来保持表示的局部性。与其他几个相关模型的广泛比较结果表明,DSCF-Net在几个公共数据库上提供了最先进的性能。
2019-12-29 cs.LG stat.ML
Distributionally Robust and Multi-Objective Nonnegative Matrix Factorization
Université de Mons(蒙斯大学);Faculté Polytechnique(理工学院);National University of Singapore(新加坡国立大学)
非负矩阵分解(NMF)是一种用于分析非负数据的线性降维技术。NMF的一个关键方面是目标函数的选择,该目标函数取决于对数据假设的噪声模型(或噪声统计)。在许多应用中,噪声模型是未知的并且难以估计。在本文中,我们定义了一个多目标NMF(MO-NMF)问题,其中多个目标被组合在同一NMF模型。我们建议使用拉格朗日对偶明智地优化一组权重的框架内使用的加权和的方法,也就是说,我们最小化一个单一的目标函数,这是一个加权和的所有目标函数。我们设计了一个简单的算法的基础上乘法更新,以尽量减少这个加权和。我们将展示如何使用它来找到分布式鲁棒NMF(DR-NMF)解决方案,即最大限度地减少所有目标之间的最大误差的解决方案,使用一种双重方法,通过启发式的Frank-Wolfe算法来解决。我们说明了这种方法的有效性合成,文件和音频数据集。结果表明,DR-NMF对我们不知道NMF问题的噪声模型是鲁棒的。
2021-02-09 cs.LG math.OC stat.ML
Spectra-Guided Neural Tucker Factorization
School of Automation, Chongqing University of Posts and Telecommunications(重庆邮电大学自动化学院);College of Computer and Information Science, School of Software, Southwest University(西南大学计算机与信息科学学院、软件学院)
提出光谱引导的神经Tucker分解(SG-NTF),通过连续光谱空间映射和时空共门控机制,实现高维不完整张量的高效补全。
2026-05-30 cs.LG stat.ML
Separate Training for Conditional Random Fields Using Co-occurrence Rate Factorization
University of Twente(特文特大学)
条件随机场(CRF)的标准训练方法对于大规模应用来说非常缓慢。作为替代方案,分段训练将整个图划分为多个部分,独立训练它们,并在测试时组合学习的权重。在本文中,我们提出了\emph{separate}训练的无向模型的基础上新的同现率因子分解(CR-F)。单独训练是一种局部训练方法。与MEMM相反,单独训练不受标签偏差问题的影响。实验表明,单独训练(i)不受标签偏差问题的影响;(ii)将训练时间从数周减少到数秒;(iii)在线性链CRF上获得与标准和分段训练有竞争力的结果。
2012-12-04 cs.AI cs.LG
Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations
Princeton University(普林斯顿大学)
本文提出了一种简单的交替梯度下降算法,证明在强相关性下能有效恢复真实特征矩阵,并展示了其在噪声下的鲁棒性。
2017-06-13 cs.DS cs.LG cs.NA
Global Convergence of Four-Layer Matrix Factorization under Random Initialization
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学);Electrical and Computer Engineering(电气与计算机工程)
针对随机初始化下通用深度矩阵分解缺乏全局收敛保证的问题,本文证明了带平衡正则的四层矩阵分解上随机初始化梯度下降的多项式时间全局收敛性,拓展了相关收敛理论。
2025-11-19 cs.LG math.OC stat.ML