Adaptive Low-Rank Factorization to regularize shallow and deep neural networks
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
过拟合是深度学习领域的一个令人诅咒的课题。为了解决这一问题,人们提出了许多方法来正则化学习模型。他们向模型中添加了一些超参数来扩展泛化;然而,确定这些超参数是一项艰巨的任务,并且糟糕的设置会分散训练过程。此外,大多数正则化方案降低了学习速度。最近,Tai等人。[1]提出了低秩张量分解作为一种约束滤波器,用于消除CNN卷积核中的冗余。从不同的角度来看,我们使用低秩矩阵分解(LRF)来在训练过程中丢弃学习模型的一些参数。然而,这种类似于[1]的方案在试图减少操作次数时可能会降低训练精度。相反,当层的复杂度很高时,我们自适应地使用这种正则化方案。任何一层的复杂性都可以用其学习系统的非线性条件数来评价。由此产生的名为“AdaptiveLRF”的方法既不降低训练速度,也不消除层的准确性。AdaptiveLRF的行为在噪声数据集上可视化。在此基础上,分别对小规模和大规模数据集进行了改进。证明了AdaptiveLRF对浅层网络上著名的丢弃正则化器的偏好。此外,AdaptiveLRF在各种深度网络上与dropout和adaptive dropout竞争,包括MobileNet V2,ResNet V2,DenseNet和Xception。AdaptiveLRF在SVHN和CIFAR-10数据集上的最佳结果分别为98%和94. 1% F-measure,以及97.9%和94%的准确率。最后,我们陈述…
2020-05-05 cs.LG stat.ML
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota(明尼苏达大学)
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中,我们表明,在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外,我们表明,一个项目或用户的评级数量正相关的能力,低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外,我们使用这些见解来开发四种基于矩阵完成的方法,即,频率自适应评分预测(FARP)、截断矩阵分解(TRUNCATED MATRIX FACTORIZATION,TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT,TRUNCATED MATRIX + DOPPOUT)和逆频率加权矩阵分解(IFWMF),对于用户和用户-项目评分矩阵中评分较少的项目,其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
Concept Factorization via Self-Representation and Adaptive Graph Structure Learning
Department of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);School of Cyber Science and Technology, Beihang University(北航信息科学与技术学院)
本文提出 CFSRAG 模型,通过自表示学习亲和矩阵并实现动态图正则化,以自适应学习数据结构,实验表明其在四个真实数据集上的聚类性能优于现有方法。
2025-05-06 cs.LG
Deep Self-representative Concept Factorization Network for Representation Learning
Department of Computer Science, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Electronic Engineering, City University of Hong Kong(香港城市大学电子工程系)
在本文中,我们研究了无监督的深度表示学习问题,并在技术上提出了一种称为深度自代表概念分解网络(DSCF-Net)的新框架,用于聚类深度特征。为了提高表示和聚类能力,DSCF-Net显式地考虑发现隐藏的深层语义特征,增强深层分解对噪声的鲁棒性,并保留深层特征的局部流形结构。具体来说,DSCF-Net将鲁棒的深度概念分解、深度自表达表示和自适应局部保持特征学习无缝集成到一个统一的框架中。为了发现隐藏的深层表示,DSCF-Net设计了一种使用多层线性变换的层次分解结构,通过优化每层中的基本概念来间接改进表示,从而实现层次表示。DSCF-Net还通过子空间恢复进行稀疏纠错来提高鲁棒性,然后在恢复的视觉子空间中进行深度分解。为了获得局部保持表示,我们还提出了一种自适应深度自代表加权策略,通过使用系数矩阵作为自适应重建权重来保持表示的局部性。与其他几个相关模型的广泛比较结果表明,DSCF-Net在几个公共数据库上提供了最先进的性能。
2019-12-29 cs.LG stat.ML
Adaptive Quantile Low-Rank Matrix Factorization
Xi’an Jiaotong University(西安交通大学)
低秩矩阵分解(LRMF)由于其在计算机视觉和数据挖掘中的成功应用而受到广泛关注。通过假设噪声来自高斯分布、拉普拉斯分布或高斯分布的混合,已经在优化观察矩阵与其双线性分解之间的(加权)$L_1$或$L_2$ -范数损失方面做出了显著的努力。然而,在实际应用中,噪声分布的类型通常是未知的,不适当的假设将不可避免地恶化LRMF的行为。另一方面,真实数据经常被偏斜而不是对称噪声破坏。为了解决这个问题,本文提出了一种新的LRMF模型称为AQ-LRMF建模噪声与非对称拉普拉斯分布的混合。一个有效的算法的基础上的期望最大化(EM)算法也提供了估计的参数参与AQ-LRMF。AQ-LRMF模型的优点是,它可以很好地逼近噪声,无论实际噪声是对称的还是斜的。AQ-LRMF的核心思想在于解决一个加权的$L_1$问题,从数据中学习权重。在合成数据集和真实数据集上进行的实验表明,AQ-LRMF优于几种最先进的技术。此外,AQ-LRMF在捕捉真实图像中包含的局部结构信息方面也具有优于其他算法的优势。
2020-03-03 cs.LG stat.ML
Spatio-Temporal Tensor Sketching via Adaptive Sampling
Emory University(埃默里大学)
挖掘海量时空数据可以帮助各种现实世界的应用,如城市容量规划,事件管理和社会网络分析。张量表示可用于捕获空间和时间之间的相关性,并同时以无监督的方式利用空间和时间模式的潜在结构。然而,随着时空数据量的不断增加,使用张量分解进行存储和分析的成本变得非常昂贵。在本文中,我们提出了SkeTenSmooth,一种新的张量因式分解框架,使用自适应采样来压缩张量的时间流的方式,并保留底层的全局结构。SkeTenSmooth根据检测到的数据动态自适应地对传入张量切片进行采样。因此,草图更具有张量动态模式的代表性和信息性。此外,我们提出了一个强大的张量分解方法,可以处理草图张量和恢复原始模式。在纽约市黄色出租车数据上的实验表明,SkeTenSmooth大大降低了内存开销,在保留底层模式方面优于随机采样和固定速率采样方法。
2020-06-21 cs.LG stat.ML
Adaptive Prompt Structure Factorization: A Framework for Self-Discovering and Optimizing Compositional Prompt Programs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Taobao and Tmall Group(淘宝天猫集团)
本文提出aPSF框架,通过语义因素发现和单因素更新优化提示程序,提升大语言模型的推理可靠性,实验显示在多个基准上准确率提升2.16个百分点,优化成本降低45-87%。
2026-04-08 cs.CL cs.LG
Adaptive Nonnegative Matrix Factorization and Measure Comparisons for Recommender Systems
Università di Pisa(比萨大学)
评价矩阵的非负矩阵分解(NMF)已被证明是解决推荐问题的有效方法。在本文中,我们提出了新的方法的基础上NMF的评级矩阵,我们比较了他们与一些经典的算法,如SVD和正则化和非正则化非负矩阵分解方法。特别地,给出了一种新的算法,该算法在每一步中自适应地改变待极小化的函数,实现了一种动态的先验策略。另一种算法是通过对先前项的未知评级进行重构来修改NMF公式中要最小化的函数。然后,我们结合不同的方法,得到两个混合策略,这是非常有效的重建丢失的意见。我们进行了周到的比较不同的方法的基础上的几个评价措施。我们认为,特别是评级,分类和排名的措施表明,算法获得最好的分数为一个给定的措施是一般最好的,也当考虑不同的措施,降低在设计具体的评估措施的兴趣。这些算法已经在不同的数据集上进行了测试,特别是包含电影评级的1M和10M MovieLens数据集,包含笑话评级的Jester数据集和包含食物评级的Amazon Fine Foods数据集。不同算法的比较,显示了良好的性能的方法,采用显式和隐式正则化计划。此外,我们可以得到一个快速的方法与更准确的一个相结合的混合策略的推动。
2019-08-29 cs.LG cs.NA math.NA
Learning Feature Interactions with Lorentzian Factorization Machine
eBay Inc.(易趣公司);Tongji University(同济大学)
学习特征交互的表示来建模用户行为对于推荐系统和点击率(CTR)预测至关重要。这一领域的最新进展得益于深度学习方法,这些方法可以学习复杂的特征交互,并以端到端的方式实现最先进的结果。这些方法需要大量的训练参数与低级别的表示,因此是内存和计算效率低。在本文中,我们提出了一个新的模型命名为“LorentzFM”,可以学习嵌入在双曲空间中的特征相互作用,其中三角不等式的违反洛伦兹距离是可用的。为此,学习的表示受益于双曲三角形的特殊几何属性,并导致参数数量的显着减少(20\%至80\%),因为不需要所有的顶部深度学习层。有了这样一个轻量级的架构,LorentzFM在推荐和CTR预测任务中都取得了与DeepFM、xDeepFM和Deep \& Cross等深度学习方法相当甚至更好的结果。
2019-11-22 cs.AI cs.IR cs.LG
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学)
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中,秩显示QR(RRQR)因子分解,这是计算上比奇异值分解(SVD)便宜,利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择,这是该因子分解方法的独特性质。此外,QR分解嵌入到非负矩阵分解(NMF)的目标函数作为一种新的无监督特征选择方法。最后,提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中,使用RRQR分解去除冗余特征,并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的,当与最先进的特征选择算法在监督,无监督和半监督设置。所有的方法进行了测试,7个可用的微阵列数据集,使用KNN,SVM和C4.5分类。实验结果表明,该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
GraphFM: Graph Factorization Machines for Feature Interaction Modeling
Chinese Academy of Science(中国科学院);University of California(加利福尼亚大学);Alibaba Group(阿里巴巴集团);DAMO Institute(达摩院);Institute of Information Engineering(信息工程学院)
针对传统FM无法捕捉高阶特征交互且易引入噪声的问题,提出GraphFM,通过图结构表示特征、筛选有益交互并结合GNN聚合策略建模任意阶交互,实验验证了其有效性。
2025-02-21 cs.AI cs.IR cs.LG
Real-time, Adaptive Radiological Anomaly Detection and Isotope Identification Using Non-negative Matrix Factorization
Nuclear Science Division at Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室核科学部);Nevada National Security Sites, Remote Sensing Laboratory - Andrews, Joint Base Andrews(内华达国家安全站,安德伍德远程传感实验室,联合基地安德伍德);Mission Support and Test Services, LLC(任务支持与测试服务有限公司)
针对移动探测器背景变化导致预训练模型失效的问题,提出一种能定期更新背景模型的Adaptive NMF算法,在模拟和真实数据集上保持或提升了检测性能并增强了泛化能力。
2025-09-16 cs.LG physics.app-ph
Discrete Factorization Machines for Fast Feature-based Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学)
辅助信息的用户特征和项目特征是实现准确推荐的关键。然而,大量的特征尺寸,例如,通常大于10^7,导致昂贵的存储和计算成本。这阻碍了快速推荐,特别是在计算资源非常有限的移动应用程序上。在本文中,我们开发了一个通用的基于特征的推荐模型,称为离散因子分解机(DFM),快速和准确的推荐。DFM将实值模型参数(例如,float32)嵌入到二进制代码中的每个特征(例如,布尔值),并因此支持高效存储和快速用户项得分计算。为了避免严重的量化损失的二值化,我们提出了一个收敛的更新规则,解决了具有挑战性的离散优化的DFM。通过对两个真实世界数据集的广泛实验,我们表明:1)DFM始终优于最先进的二进制推荐模型,2)DFM与其实值版本(FM)相比表现出非常有竞争力的性能,证明了最小化的量化损失。这项工作被IJCAI 2018接受。
2018-09-19 cs.IR cs.LG stat.ML
Deep Feature Factorization For Concept Discovery
EPFL(洛桑联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);ETHZ(苏黎世联邦理工学院)
我们提出了深度特征因子分解(DFF),一种能够在图像或一组图像中定位相似语义概念的方法。我们使用DFF来深入了解深度卷积神经网络的学习特征,其中我们检测特征空间中的分层聚类结构。这被可视化为热图,它突出了一组图像中语义匹配的区域,揭示了网络“感知”的相似之处。DFF也可以用于执行共分割和共定位,我们报告这些任务的最先进的结果。
2018-10-08 cs.CV cs.LG stat.ML
Sequence-Aware Factorization Machines for Temporal Predictive Analytics
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学);National Chiao Tung University(国立交通大学)
在像定向广告和推荐系统的各种web应用中,可用的分类特征(例如,产品类型)通常非常重要,但很少。作为一种广泛采用的解决方案,基于因子分解机(FM)的模型能够对特征之间的高阶交互进行建模,以实现有效的稀疏预测分析。随着网络规模数据量的增长呈指数级增长,稀疏预测分析不可避免地涉及动态和顺序特征。然而,现有的FM为基础的模型假设没有时间顺序的数据,并且无法捕捉的动态功能内的顺序依赖关系或模式,阻碍了这些方法的性能和自适应性。因此,在本文中,我们提出了一种新的时序感知因子分解机(SeqFM)的时间预测分析,模型功能的相互作用,充分调查顺序依赖的影响。作为静态特征(例如,用户性别)和动态特征(例如,用户交互项)表达不同的语义,我们创新性地设计了一个多视图自注意方案,分别对静态特征、动态特征以及静态和动态特征之间的相互作用在三个不同视图中的作用进行建模。在SeqFM中,我们进一步将学习到的特征交互表示映射到具有共享残差网络的所需输出。为了展示SeqFM的多功能性和通用性,我们在基于FM的模型的三个流行应用场景中测试了SeqFM,即排名,分类和回归任务。在六个大规模数据集上的大量实验结果证明了SeqFM的优越性和效率。
2019-11-18 cs.IR cs.LG stat.ML
Field-aware Neural Factorization Machine for Click-Through Rate Prediction
Zhejiang University(浙江大学)
推荐系统和计算广告已经逐渐从商业应用领域进入学术研究领域。点击率预测是核心研究问题之一,因为预测的准确性影响着用户体验以及商家和平台的收益。特征工程对于提高点击率预测是非常重要的。传统的特征工程严重依赖于人的经验,很难构造出能够描述数据中隐含的复杂模式的特征组合。本文将传统的特征组合方法与深度神经网络相结合,实现特征组合的自动化,以提高点击率预测的准确性。我们提出了一个机制命名为“场感知神经因子分解机”(FNFM)。该模型可以像Field-aware Factorization Machine一样具有较强的二阶特征交互学习能力,在此基础上,使用深度神经网络进行高阶特征组合学习。实验表明,该模型比现有的深度学习特征组合模型DeepFM、DCN和NFM具有更强的表达能力。
2019-02-25 cs.LG stat.ML
Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院);Boston University(波士顿大学)
最近的应用程序需要差分隐私自适应流的动机,我们调查的矩阵机制在这种设置的最佳实例化的问题。我们证明了基本的理论结果的适用性矩阵分解自适应流,并提供了一个无参数的不动点算法计算最佳因子分解。我们实例化这个框架的具体矩阵,自然出现在机器学习,训练用户级差分隐私模型与由此产生的最佳机制,产生显着的改善,在一个显着的问题,在联邦学习与用户级差分隐私。
2023-01-18 cs.LG math.OC
Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization
School of Computer Science and Engineering, Chongqing University of Science and Technology(重庆科技大学计算机科学与工程学院);College of Computer and Information Science, School of Software, Southwest University(西南大学计算机与信息科学学院 软件学院)
提出KaBiN模型,结合Kaiming初始化和偏差校正,解决高维不完全张量补全中初始化不当和偏差缺失导致的优化不稳定问题。
2026-06-16 cs.LG
An Adaptive Latent Factorization of Tensors Model for Embedding Dynamic Communication Network
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
本文提出自适应时间依赖张量低秩表示(ATT)模型,通过时间依赖特征重建、差分进化算法超参数自适应和非负学习方案,从高维稀疏张量中提取动态通信网络行为模式,在预测误差和收敛速度上优于现有模型。
2024-08-29 cs.LG eess.SP
Interaction-aware Factorization Machines for Recommender Systems
Advertising and Marketing Services, Corporate Development Group, Tencent Inc.(腾讯公司广告与营销服务部、企业发展集团);zju.edu.cn(浙江大学(注:此为邮箱域名,非明确机构名,按要求不应提取,但原HTML中作者邮箱部分可能存在格式问题,根据提取范围,仅提取明确的机构名,此处原文本中唯一明确的机构是腾讯公司的部门,故仅保留该机构))
因子分解机(FM)是一种广泛使用的监督学习方法,它通过有效地建模特征之间的交互作用来实现。尽管FM及其许多深度学习变体的成功应用,但公平地对待每个特征交互可能会降低性能。例如,无用特征的交互可能会引入噪声;当与不同特征交互时,特征的重要性也可能不同。在这项工作中,我们提出了一个新的模型命名为\emph{Interaction-aware Factorization Machine}(IFM)通过引入交互感知机制(IAM),其中包括\emph{feature aspect}和\emph{field aspect},学习灵活的互动在两个层次上。特征方面通过注意力网络学习特征交互重要性,而场方面学习特征交互效果,作为特征交互向量与相应场交互原型的参数相似度。IFM引入了更多的结构化控制,并以分层的方式学习功能交互的重要性,这允许在功能和字段级别上调整交互时有更多的杠杆作用。此外,我们给出了一个更通用的架构,并提出了交互感知神经网络(INN)和DeepIFM来捕获高阶交互。为了进一步提高IFM的性能和效率,开发了一种基于场方面重要性来选择交互的采样方案。两个著名的数据集的实验结果表明,所提出的模型比国家的最先进的方法的优越性。
2019-02-26 cs.IR cs.LG cs.SI
Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization
Yunnan University of Finance and Economics(云南财经大学);Hunan Normal University(湖南师范大学);Guangxi Normal University(广西师范大学)
针对传统RPCA方法易引入偏差且非凸正则化方法优化复杂、对初始条件敏感的问题,提出一种结合自适应加权最小二乘和低秩矩阵分解的新模型,通过自注意力机制动态更新权重,有效降低偏差并提高计算效率,数值实验证明其具有更优的性能与鲁棒性。
2024-12-19 cs.CV cs.LG
PANTHER: Pathway Augmented Nonnegative Tensor factorization for HighER-order feature learning
Northwestern University(西北大学)
遗传途径通常编码分子机制,可以提供有针对性的干预措施。现有的机器学习方法通常具有挑战性,以联合建模遗传途径(高阶特征)和变体(原子特征),并向临床医生呈现可解释的模型。为了建立更准确和更好的解释机器学习模型的遗传医学,我们引入路径增强非负张量分解高阶特征学习(PANTHER)。PANTHER选择直接编码分子机制的信息遗传途径。我们应用遗传动机的约束张量因式分解组途径的方式,反映分子机制的相互作用。然后,我们训练softmax分类器的疾病类型使用所确定的途径组。我们评估了PANTHER对多个国家的最先进的约束张量/矩阵分解模型,以及组指导和贝叶斯分层模型。PANTHER显著优于所有最先进的比较模型(p<0.05)。我们在大规模下一代测序(NGS)和全基因组基因分型数据集上的实验也证明了PANTHER的广泛适用性。我们在预测疾病类型时进行了特征分析,这表明了所识别的通路组的见解和益处。
2020-12-15 cs.AI cs.LG q-bio.QM
AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai Jiao Tong University(上海交通大学)
在推荐系统中,特征交互的学习对于点击率(CTR)预测至关重要。在大多数现有的深度学习模型中,特征交互要么是手动设计的,要么是简单枚举的。然而,枚举所有的特征交互会带来大量的内存和计算成本。更糟糕的是,无用的交互可能会引入噪音并使训练过程复杂化。在这项工作中,我们提出了一个两阶段的算法,称为自动功能交互选择(AutoFIS)。AutoFIS可以自动识别因子分解模型的重要特征交互作用,计算成本相当于训练目标模型收敛。在\emph{search stage}中,而不是在一个离散的候选特征交互集搜索,我们放松的选择是连续的,通过引入架构参数。通过在架构参数上实现正则化优化器,模型可以在模型的训练过程中自动识别和删除冗余特征交互。在\emph{re-train stage}中,我们保持架构参数作为一个注意单元,以进一步提高性能。在三个大规模数据集(两个公共基准,一个私人)上的离线实验表明,AutoFIS可以显着改善各种基于FM的模型。AutoFIS已部署到华为应用商店推荐服务的训练平台上,经过10天的在线A/B测试,AutoFIS在CTR和CVR方面分别提高了DeepFM模型20.3%和20.1%。
2020-07-03 cs.IR cs.LG stat.ML
ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
ARMOR通过自适应矩阵分解技术,实现高效的半结构化剪枝,保留模型质量的同时提升压缩效率和任务准确性。
2026-04-03 cs.LG
FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine
Sina Weibo(新浪微博)
点击率(CTR)估计是个性化广告和推荐系统中的一项基本任务。近年来,基于深度学习的模型和注意力机制在计算机视觉(CV)和自然语言处理(NLP)的各种任务中取得了成功。如何将注意力机制与深度CTR模型相结合,可以综合两者的优点,是一个很有前途的方向。虽然一些CTR模型,如注意力因子机(AFM)已被提出来建模的二阶交互功能的权重,我们认为,显式特征交互过程之前的特征重要性的评估也是重要的CTR预测任务,因为该模型可以学习选择性地突出的信息功能和抑制不太有用的,如果任务有很多输入功能。在本文中,我们提出了一个新的神经CTR模型命名为场注意深度场感知因子分解机(FAT-DeepFFM)通过结合深度场感知因子分解机(DeepFFM)和组合激励网络(CENet)字段注意力机制,这是我们提出的挤压激励网络(SENet)的增强版本,以突出特征的重要性。我们在两个真实世界的数据集上进行了大量的实验,实验结果表明,FAT-DeepFFM实现了最佳性能,并获得了不同的改进,比最先进的方法。我们还比较了两种注意力机制(外显特征交互前的注意力机制和外显特征交互后的注意力机制),并证明了前一种机制显著优于后一种机制。
2019-05-15 cs.IR cs.LG
Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
因式分解机(FM)是一种监督学习方法,通过引入二阶特征交互来增强线性回归模型。尽管有效,但FM可能会受到具有相同权重的所有特征交互建模的阻碍,因为并非所有特征交互都同样有用和具有预测性。例如,与无用特征的交互甚至可能引入噪声并不利地降低性能。在这项工作中,我们通过区分不同特征交互的重要性来改进FM。我们提出了一个新的模型命名为注意力分解机(AFM),它通过神经注意力网络从数据中学习每个特征交互的重要性。在两个真实数据集上的大量实验证明了AFM的有效性。从经验上看,AFM在回归任务中表现出比FM更好的$8.6\%$相对改进,并且始终优于最先进的深度学习方法Wide&Deep和DeepCross,其结构更简单,模型参数更少。我们的AFM实现可在以下网址公开获取:https://github.com/hexiangnan/attentional_factorization_machine
2017-08-15 cs.LG
Neural Network Matrix Factorization
University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
数据通常以数组或矩阵的形式出现。矩阵分解技术试图通过假设矩阵可以被写为两个低秩矩阵的乘积来恢复丢失或损坏的条目。换句话说,矩阵分解通过一个简单的固定函数来近似矩阵的元素,即内积,作用于相应行和列的潜在特征向量。在这里,我们考虑用一个任意函数来代替内积,我们在学习潜在特征向量的同时从数据中学习该函数。特别是,我们用多层前馈神经网络代替内积,并通过为固定的潜在特征优化网络和为固定的网络优化潜在特征之间的交替来学习。由此产生的方法-我们称之为神经网络矩阵分解或NNMF,简称-在一套基准测试中占主导地位的标准低秩技术,但占主导地位的是最近提出的一些利用图形特征的建议。考虑到NNMF框架中可以使用的架构、激活函数、正则化器和优化技术的广泛范围,该方法的真正潜力似乎还没有达到。
2015-12-15 cs.LG stat.ML
FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
Sina Weibo Inc.(新浪微博公司)
广告和提要排名对Facebook和新浪微博等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中,点击率(CTR)预测起着核心作用。在该领域中有许多提出的模型,例如逻辑回归、基于树的模型、基于因子分解机的模型和基于深度学习的CTR模型。然而,目前的许多工作都是以简单的方式计算特征的相互作用,如Hadamard积和内积,他们很少关心特征的重要性。提出了一种新的特征重要性和双线性特征交互网络(FeatureImportance and BilinearfeatureInteractionNETwork,简称FiBiNET)模型,用于动态学习特征重要性和细粒度特征交互。一方面,FiBiNET可以通过挤压激励网络(SENET)机制动态学习特征的重要性;另一方面,它能够通过双线性函数有效地学习特征的相互作用。我们在两个真实世界的数据集上进行了广泛的实验,并表明我们的浅层模型优于其他浅层模型,如因子分解机(FM)和场感知因子分解机(FFM)。为了进一步提高性能,我们将经典的深度神经网络(DNN)组件与浅层模型相结合,成为深度模型。深度FiBiNET始终优于其他最先进的深度模型,如DeepFM和极端深度因子分解机(XdeepFM)。
2019-05-23 cs.AI cs.LG stat.ML
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University(北海道大学)
因式分解机(FM)是基于二阶特征交互的机器学习预测模型,具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择,其选择最相关的特征以进行准确的预测,因此它们可以有助于提高模型的准确性和可解释性。然而,由于FM使用二阶特征交互,特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下,具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的,而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中,我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界,该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择,我们提出的正则化器使特征交互矩阵稀疏,而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法,建议FM和现有的理论分析和新的正则化。此外,我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型,如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Weighted Multi-Level Feature Factorization for App ads CTR and installation prediction
Aarhus University(奥胡斯大学);ISISTAN, CONICET-UNCPBA(ISISTAN,阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯省中部国立大学)
本文提出加权多层级特征因子分解模型,将广告点击与安装视为相关任务,通过分层融合任务特定与共享特征,在RecSys Challenge 2023中获第11名。
2023-08-03 cs.IR cs.LG
OFF-Set: One-pass Factorization of Feature Sets for Online Recommendation in Persistent Cold Start Settings
Yahoo! Labs(雅虎实验室);Yahoo! Smart Ad(雅虎智能广告)
最具挑战性的推荐任务之一是推荐给一个新的,以前看不见的用户。这就是所谓的“用户冷启动”问题。假设用户的某些特征或属性是已知的,用于处理新用户的一种方法是基于他们的特征对他们进行初始建模。受广告定位应用程序的启发,本文描述了一个极端的在线推荐设置,其中冷启动问题是永久的。每个用户只被系统遇到一次,收到一个推荐,要么消费,要么忽略它,注册一个二元奖励。本文介绍了一种新的基于潜在因子分析的推荐算法OFF-Set,它通过将用户的特征映射到一个潜在空间来对用户进行建模。此外,OFF-Set能够对特征对之间的非线性交互进行建模。OFF-Set是为纯粹的在线推荐而设计的,它会根据每个推荐-奖励观察对其模型进行轻量级更新。我们评估OFF-Set对几个国家的最先进的基线,并证明其优越性,对真正的广告定位数据。
2013-08-08 cs.IR cs.LG
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research(雅虎研究院);TouchPal Inc.(触宝公司);UC Berkeley(加州大学伯克利分校);LinkedIn Corporation(领英公司);Ablibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据,即,每个特征都是分类的,并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是,来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近,场感知因子分解机(FFM)已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而,FFM中的参数数量是特征数量乘以字段数量的顺序,这在现实世界的生产系统中是不可接受的。在本文中,我们提出了字段加权因子分解机(FwFM),以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明,FwFM可以实现有竞争力的预测性能,只有4%的FFM参数。当使用相同数量的参数时,在两个真实CTR预测数据集上,FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling
The University of Queensland(昆士兰大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Hefei University of Technology(合肥工业大学)
作为一种成熟的方法,因子分解机(FM)能够自动学习特征之间的高阶交互来进行预测,而不需要手动特征工程。随着深度神经网络(DNN)的显著发展,最近有一种趋势是用DNN增强基于FM的模型的表达能力。然而,尽管使用基于DNN的FM变体可以获得更好的结果,但这种性能增益是通过在普通FM之上的大量(通常是数百万)过多模型参数来获得的。因此,大量的参数化阻碍了这些深度模型在现实生活中的实用性,特别是在资源受限的物联网和边缘设备上的有效部署。在本文中,我们超越了传统的实空间,其中大多数深FM为基础的模型定义,并寻求解决方案,从超复杂空间内的四元数表示。具体来说,我们提出了四元数因子分解机(QFM)和四元数神经因子分解机(QNFM),这是两种新的轻量级和内存高效的四元数值模型稀疏预测分析。通过引入一个全新的采取FM为基础的模型与四元数代数的概念,我们的模型不仅能够表达组件间的功能相互作用,但也显着减少了参数的大小,由于较低的自由度在超复杂的汉密尔顿产品相比,实值矩阵乘法。在三个大规模数据集上的大量实验结果表明,QFM在不引入任何额外参数的情况下,比普通FM性能提高了4.36%,而QNFM的性能优于所有基线,与最先进的同行方法相比,参数大小减少了两个数量级。
2021-04-11 cs.IR cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Theoretically Accurate Regularization Technique for Matrix Factorization based Recommender Systems
正则化是解决机器学习算法过拟合问题的一种常用技术。大多数正则化技术依赖于正则化系数的参数选择。插入法和交叉验证法是岭回归、Lasso回归和核回归等回归方法中最常用的两种参数选择方法。基于矩阵分解的推荐系统也严重依赖于正则化技术。大多数人选择单个标量值来独立或共同正则化用户特征向量和项目特征向量。在本文中,我们证明了这种选择正则化系数的方法是无效的,我们提供了一个理论上准确的方法,优于最广泛使用的方法在准确性和公平性指标。
2022-05-21 cs.IR cs.LG
DS-FACTO: Doubly Separable Factorization Machines
University of California Santa Cruz(加州大学圣克鲁兹分校);Amazon(亚马逊)
因子分解机(FM)是一类功能强大的模型,它包含了特征之间的高阶交互,为线性模型增加了更多的表达能力。它们已经成功地应用于一些现实世界的任务,如点击预测,排名和推荐系统。尽管对成对特征使用低秩表示,但在大规模真实世界数据集上使用因子分解机器的内存开销可能非常高。例如,在criteo tera数据集上,假设适度的$128$维度潜在表示和$10^{9}$特征,则模型的内存需求为$1$ TB的量级。此外,数据本身占用$2.1$ TB。传统的FM算法在单机上工作,无法处理这种规模,因此,使用分布式算法在集群中并行计算是不可避免的。在这项工作中,我们提出了一个混合并行随机优化算法DS-FACTO,分区的数据以及参数的因式分解机同时进行。我们的解决方案是完全分散的,不需要使用任何参数服务器。我们提出的实证结果来分析的收敛行为,预测能力和可扩展性的DS-FACTO。
2020-04-29 cs.LG stat.ML
Including local feature interactions in deep non-negative matrix factorization networks improves performance
University of Bremen(不来梅大学)
该研究提出在深度非负矩阵分解网络中的每个NMF模块后添加混合正活动的模块,以模拟皮层局部交互,从而在基准数据上超越类似规模的普通深度卷积网络。
2025-03-26 cs.AI cs.LG
Field-Embedded Factorization Machines for Click-through rate prediction
Adobe(奥多比)
点击率(CTR)预测模型在许多在线应用中是常见的,例如数字广告和推荐系统。场感知因子分解机(FFM)和场加权因子分解机(FwFM)是CTR预测的浅层模型中最先进的。最近,也提出了许多基于深度学习的模型。在更深层次的模型中,DeepFM,xDeepFM,AutoInt+和FiBiNet是最先进的模型。更深层次的模型将学习显式特征交互的核心架构组件与深度神经网络(DNN)组件相结合。我们提出了一种新的浅场嵌入式分解机(FEFM)和它的深场嵌入式分解机(DeepFEFM)。FEFM学习每个字段对的对称矩阵嵌入以及每个特征的通常的单向量嵌入。FEFM的模型复杂度明显低于FFM,与FwFM的复杂度大致相同。FEFM还具有关于重要场和场相互作用的深刻的数学性质。DeepFEFM将FEFM组件学习的FEFM交互向量与DNN相结合,从而能够学习更高阶的交互。我们在两个大型公开的真实世界数据集上对各种超参数进行了全面的实验。当比较测试AUC和log loss时,结果表明FEFM和DeepFEFM在CTR预测任务中优于现有的最先进的浅层和深层模型。我们已经在DeepCTR库(https://github.com/shenweichen/DeepCTR)中提供了FEFM和DeepFEFM的代码。
2021-06-14 cs.IR cs.LG stat.ML
Feature Weighted Non-negative Matrix Factorization
Academy of Advanced Interdisciplinary Research, Xidian University(西安电子科技大学先进交叉学科研究院);Center for OPTical Imagery Analysis and Learning (OPTIMAL), Northwestern Polytechnical University(西北工业大学光学图像分析与学习中心);Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, International Research Center for Intelligent Perception and Computation, Xidian University(西安电子科技大学教育部智能感知与图像理解重点实验室、国际智能感知与计算研究中心)
非负矩阵分解(NMF)是数据表示和聚类的最流行技术之一,在机器学习和数据分析中得到了广泛的应用。非负矩阵分解将样本的特征集中到一个向量中,通过基向量的线性组合来逼近,从而实现了样本的低维表示。然而,在实际应用中,这些特征通常具有不同的重要性。为了充分利用鉴别特征,一些方法通过变换矩阵将样本投影到子空间中,这会干扰原始特征属性,忽略样本的多样性。为了解决上述问题,本文提出了特征加权非负矩阵分解(FNMF)。FNMF的突出特性可以概括为三个方面:1)它根据特征的重要性自适应地学习特征的权重; 2)它利用多个特征加权分量来保持多样性; 3)它可以用建议的优化算法有效地求解。在合成数据集和真实数据集上的性能表明,所提出的方法获得了最先进的性能。
2021-03-24 cs.LG eess.IV
Memory-Efficient Factorization Machines via Binarizing both Data and Model Coefficients
Hong Kong Baptist University(香港浸会大学)
因子分解机(FM),一个通用的预测器,可以有效地在线性时间模型的特征交互,主要是提出了协作推荐,并已被广泛用于回归,分类和排名任务。子空间编码分解机(SEFM)是近年来提出的一种新的分解机,它通过对每个输入特征进行one-hot编码,对单个特征和特征间的交互进行显式非线性特征映射,克服了分解机(FM)的表达能力限制。尽管SEFM很有效,但它使FM的内存成本增加了$b$倍,其中$b$是对每个输入特征应用独热编码时的箱数。为了减少SEFM的内存开销,我们提出了一种称为二进制FM的新方法,该方法将模型参数约束为二进制值(即,1或$-1$)。然后,每个参数值可以有效地存储在一个比特中。我们提出的方法可以显着减少SEFM模型的内存开销。此外,我们提出了一种新的算法,有效地和高效地学习建议FM与二进制约束使用直通估计(STE)与自适应梯度下降(Adagrad)。最后,我们评估了我们提出的方法在八个不同的分类数据集上的性能。我们的实验结果表明,我们提出的方法达到了相当的精度与SEFM,但少得多的内存成本。
2021-08-17 cs.LG
DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University(浙江大学)
预测用户肯定响应(例如,购买和点击)概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征,最先进的极深因子分解机器模型(xDeepFM)引入了一个新的交互网络,以显式地利用矢量级别的特征交互。然而,由于交互网络中的每个隐藏层都是特征图的集合,因此它本质上可以被视为不同特征图的集合。在这种情况下,仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型(DexDeepFM),该模型在每个隐层设计集成多样性度量,在目标函数中同时考虑集成多样性和预测精度。此外,引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验,以显示所提出的模型的有效性。
2021-12-10 cs.LG
Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出整合核函数与核对齐的矩阵分解无监督特征选择方法,并引入多核学习自动生成最优核,在真实数据上显著提升了聚类效果与冗余减少。
2024-03-13 cs.LG cs.NA math.NA
Deep matrix factorizations
Université de Mons(蒙斯大学)
几十年来,约束低秩矩阵近似一直被认为是强大的线性降维技术,能够以相关的方式提取包含在大型数据集中的信息。然而,这种低秩的方法是无法挖掘复杂的,交错的功能,分层语义的基础。最近,深度矩阵分解(deep MF)被引入来处理多层特征的提取,并已被证明在无监督任务中具有出色的性能。深度MF的动机是深度学习的成功,因为它在概念上接近一些神经网络范例。在本文中,我们提出了主要的模型,算法和应用程序的深度MF通过一个全面的文献综述。我们还讨论了研究的理论问题和观点。
2020-10-03 cs.LG stat.ML
Text Mining using Nonnegative Matrix Factorization and Latent Semantic Analysis
Shahid Bahonar University of Kerman(沙希德巴霍纳尔克尔曼大学)
文本聚类可以说是现代数据采掘中最重要的课题之一。然而,文本数据需要标记化,这通常会产生非常大且高度稀疏的术语-文档矩阵,这通常难以使用传统的机器学习算法进行处理。潜在语义分析等方法有助于缓解这个问题,但在实践中并不完全稳定。因此,我们提出了一种新的基于非负矩阵分解的特征聚集方法,该方法将术语分组,然后将每组的术语向量聚集成一个新的特征向量。这些特征向量一起创建了一个更适合聚类的新特征空间。此外,我们提出了一个新的确定性初始化球形K均值,这证明是非常有用的这种特定类型的数据。为了评估所提出的方法,我们将其与该领域的一些最新研究以及一些最实用的方法进行比较。在我们的实验中,我们得出结论,该方法要么显着提高聚类性能,或保持其他方法的性能,同时提高结果的稳定性。
2020-02-24 cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University(西北工业大学)
针对非负张量分解忽略特征边信息的问题,提出Wasserstein流形非负张量分解(WMNTF),通过最小化Wasserstein距离并引入图正则化项,有效利用特征相关性和样本流形信息,实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Private Matrix Factorization with Public Item Features
UC Berkeley(加州大学伯克利分校);Google(谷歌);Microsoft(微软)
本文提出基于集体矩阵分解的方法,在差分隐私约束下利用公开物品特征训练推荐模型,有效缩小私有与非私有模型的质量差距,实现从协同过滤到上下文推荐的平滑过渡。
2023-09-17 cs.CR cs.IR cs.LG
Recovery Guarantee of Non-negative Matrix Factorization via Alternating Updates
Princeton University(普林斯顿大学)
非负矩阵分解是一种流行的工具,用于在非负约束下将数据分解为特征和权重矩阵。它在实践中取得了成功,但理论上却知之甚少。本文提出了一种在解码权重和更新特征之间交替的算法,并表明假设数据的生成模型,它可以在相当温和的条件下证明恢复地面真实。特别是,它对特征的唯一基本要求是线性独立性。此外,该算法使用ReLU来利用非负性来解码权重,因此可以容忍可能与信号一样大的对抗性噪声,并且可以容忍比信号大得多的无偏噪声。分析依赖于两个潜在的功能,我们相信是独立的利益之间精心设计的耦合。
2016-11-11 cs.DS cs.LG stat.ML
Sparse encoding for more-interpretable feature-selecting representations in probabilistic matrix factorization
National Institutes of Health(美国国立卫生研究院);Clinical Center(临床中心);NIDDK(糖尿病、消化系统疾病和肾脏疾病研究所);mederrata
针对层级泊松矩阵分解缺乏编码器稀疏性、可解释性不足的问题,提出用广义加性模型自洽强制编码器稀疏性的方法,兼具特征选择能力,在模拟数据与医保患者共病场景验证了有效性。
2020-12-29 cs.LG q-bio.QM stat.ML
Subspace Nonnegative Matrix Factorization for Feature Representation
Northeastern University(东北大学);Stevens Institute of Technology(史蒂文斯理工学院)
传统的非负矩阵分解(NMF)在整个数据空间上学习一种新的特征表示,这意味着平等地对待所有特征。然而,在实际应用中,子空间通常足以用于精确表示,并且冗余特征可能是无效的甚至是有害的。例如,如果相机的一些传感器被破坏,那么来自该相机的照片中的相应像素对识别内容没有帮助,这意味着只有由剩余像素组成的子空间才值得关注。本文提出了一种新的NMF方法,通过引入自适应权重来识别原始空间中的关键特征,使得只有一个子空间涉及生成新的表示。提出了两种策略:模糊加权技术和熵正则化加权技术,这两种技术都导致迭代解具有简单的形式。在真实数据集上的实验结果表明,该方法可以生成比现有方法更准确的特征表示。本研究中开发的代码可在https://github.com/WNMF1/FWNMF-ERWNMF上获得。
2022-04-18 cs.CV cs.LG
Multi-view Factorization AutoEncoder with Network Constraints for Multi-omic Integrative Analysis
University at Buffalo(布法罗大学)
多组学数据提供相同患者的多个视图。多组学数据的综合分析对于阐明疾病病因的分子基础至关重要。然而,多组数据存在“大p,小N”问题(特征数多,但样本数少),仅从多组数据中训练复杂的机器学习模型并使其具有良好的泛化能力是一个挑战。在这里,我们提出了一个框架,称为多视图分解AutoEncoder与网络约束集成多组学数据与领域知识(生物相互作用网络)。我们的框架采用深度表示学习来同时学习特征嵌入和患者嵌入,使我们能够将特征交互网络和患者视图相似性网络约束集成到训练目标中。整个框架是端到端可区分的。我们将我们的方法应用于TCGA泛癌症数据集,并取得了令人满意的结果,以预测疾病无进展间期(PFI)和患者总生存期(OS)事件。代码将公开提供。
2018-09-06 cs.LG stat.ML
A Neural Network for Determination of Latent Dimensionality in Nonnegative Matrix Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
非负矩阵分解(Non-negative Matrix Factorization,NMF)是一种有效的无监督学习方法,可用于发现复杂和噪声数据中隐藏的特征,在数据采掘、文本识别、降维、人脸识别、异常检测、盲声源分离等领域有着广泛的应用。NMF的一个重要输入是数据的潜在维度,也就是说,在探索的数据集中存在的隐藏特征的数量K。不幸的是,这个数量很少先验地知道。我们利用监督机器学习方法结合最近的模型确定方法,称为NMFk,自动确定隐藏特征的数量。NMFk对通过自举初始数据集获得的矩阵集合执行一组NMF模拟,并确定哪个K产生稳定的潜在特征组,这些特征组可以很好地重建初始数据集。然后,我们训练一个多层感知器(MLP)分类器网络,以确定正确的潜在特征的数量,利用NMF解决方案的统计和特征,从NMFk获得。为了训练MLP分类器,用NMFk对具有预定潜在特征的58,660个矩阵的训练集进行因子分解。MLP分类器结合NMFk在应用于保持的测试集时保持大于95%的成功率。此外,当应用于两个著名的基准数据集,游泳者和麻省理工学院的脸数据,NMFk/MLP正确地恢复了隐藏功能的既定数量。最后,我们比较了我们的方法的准确性ARD,AIC和基于稳定性的方法。
2020-06-22 cs.LG stat.ML
LaFA: Latent Feature Attacks on Non-negative Matrix Factorization
Theoretical Division, LANL(洛斯阿拉莫斯国家实验室理论部);Computational Sciences, LANL(洛斯阿拉莫斯国家实验室计算科学部)
针对NMF被认为抗对抗攻击的问题,本文提出直接优化潜在特征FE损失的LaFA攻击,并以隐式微分降低反向传播内存开销,在合成与真实数据上验证其有效性。
2024-08-07 cs.AI cs.CR cs.LG
Neural Factorization Machines for Sparse Predictive Analytics
National University of Singapore(新加坡国立大学)
Web应用程序的许多预测任务需要对分类变量进行建模,例如用户ID和性别和职业等人口统计数据。为了应用标准的机器学习技术,这些分类预测器总是通过独热编码转换为一组二进制特征,从而使所得特征向量高度稀疏。为了有效地从这样的稀疏数据中学习,考虑特征之间的相互作用至关重要。因式分解机(FM)是一种有效利用二阶特征交互的流行解决方案。然而,FM模型以线性方式描述交互,这可能不足以捕捉真实世界数据的非线性和复杂的固有结构。虽然深度神经网络最近被应用于学习工业中的非线性特征交互,例如Google的Wide&Deep和Microsoft的DeepCross,但深度结构同时使它们难以训练。在本文中,我们提出了一种新的模型神经因子分解机(NFM)的预测稀疏设置。NFM无缝地结合了FM在建模二阶特征交互时的线性和神经网络在建模高阶特征交互时的非线性。从概念上讲,NFM比FM更具表现力,因为FM可以被视为没有隐藏层的NFM的特殊情况。两个回归任务的实证结果表明,只有一个隐藏层,NFM显着优于FM与7.3%的相对改善。与最近的深度学习方法Wide&Deep和DeepCross相比,我们的NFM使用更浅的结构,但提供更好的性能,更容易在实践中进行训练和调整。
2017-08-16 cs.LG
Nonnegative/binary matrix factorization with a D-Wave quantum annealer
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
D-Wave量子退火机代表了一种新的计算架构,并引起了人们的极大兴趣,但很少用于现实世界的计算。机器学习已被确定为量子退火可能有用的领域。在这里,我们证明了D-Wave 2X可以有效地用作无监督机器学习方法的一部分。该方法可用于分析大型数据集。D-Wave仅限制可以从数据集中提取的特征数量。我们应用这种方法来学习一组面部图像的特征。
2017-04-05 cs.LG quant-ph stat.ML