Boosting Factorization Machines via Saliency-Guided Mixup
University of Science and Technology of China(中国科学技术大学);University of Arizona(亚利桑那大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);JD Explore Academy(京东探索研究院);University of Sydney(悉尼大学)
因式分解机(FM)由于其自适应性和从稀疏数据中学习的能力而被广泛应用于推荐系统中。然而,对于稀疏数据中普遍存在的非交互性特征,现有的FM只能通过其嵌入的内积来估计与这些特征相对应的参数。不可否认的是,它们无法学习这些特征的直接交互,这限制了模型的表达能力。为此,我们首先提出了MixFM,灵感来自Mixup,生成辅助训练数据,以提高FM。与现有的需要人工成本和专业知识来收集位置和字段等额外信息的增强策略不同,MixFM仅通过原始数据的凸组合生成这些额外数据,而无需任何专业知识支持。更重要的是,如果要混合的父样本具有非交互特征,MixFM将建立它们的直接交互。其次,考虑到MixFM可能会产生冗余甚至有害的实例,我们进一步提出了一种新的由显着性引导的Mixup驱动的因式分解机(SMFM)。在自定义显著性的指导下,SMFM可以生成更多信息的邻居数据。通过理论分析,我们证明了所提出的方法最小化的泛化误差的上界,这举行了一个有益的效果,以增强功能模块。值得注意的是,我们给出了FM的第一个推广界,这意味着推广需要更多的数据和更小的嵌入大小下,足够的表示能力。最后,在五个数据集上的广泛实验证实了我们的方法优于基线。此外,结果表明,“中毒”混合数据同样有利于FM变体。
2022-06-17 cs.IR cs.LG
Extended Factorization Machine Annealing for Rapid Discovery of Transparent Conducting Materials
Jij Inc(Jij公司);Toyota Motor Corporation(丰田汽车公司)
本研究针对透明导电材料高效搜索需求,扩展结合因子分解机与退火的FMA框架,引入四项优化技术,在(AlₓGaᵧIn_z)₂O₃体系搜索中优于贝叶斯优化与遗传算法,还可用于多目标材料设计,助力材料信息学发展。
2025-07-30 cond-mat.mtrl-sci cs.LG
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解(NMF)是一种新的知识发现方法,用于文本挖掘,信号处理,生物信息学和消费者分析。然而,由于它不是一个规则的统计模型,其作为学习机的基本性质还不清楚,导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值,并给出了贝叶斯学习中推广误差的一个上界。结果表明,如果应用贝叶斯学习,可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore(新加坡国立大学)
我们提出了第一个基于深度学习的架构,用于任意矩阵集合的集体矩阵三分解(DCMTF),也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类,以发现每个输入矩阵中的潜在聚类,跨两个维度,以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到:https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
Constrained Bilinear Factorization Multi-view Subspace Clustering
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
多视图聚类是一个重要而基本的问题。已有的多视点子空间聚类方法大多假设所有视点共享同一个系数矩阵。然而,在这种假设下,多视图数据的底层信息没有得到充分利用,因为不同视图的系数矩阵应该具有相同的聚类属性,而不是在多个视图之间是均匀的。为此,本文提出了一种新的约束双线性分解多视图子空间聚类(CBF-MSC)方法。具体地说,对所有系数矩阵进行带正交约束和低秩约束的双线性分解,使它们具有相同的迹范数而不是等价的,从而更充分地挖掘多视图数据的一致性信息.最后,一个增广拉格朗日乘子(ALM)为基础的算法来优化目标函数。在九个基准数据集上进行的综合实验验证了所提出的方法与几种最先进的方法相比的有效性和竞争力。
2021-03-24 cs.LG stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来,多视图聚类(MVC)被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而,现有的方法可以进一步改进以下考虑:i)当前的单层矩阵分解框架不能充分利用有用的数据表示。ii)大多数算法只关注共享信息,而忽略了视图特定的结构,导致次优解。iii)在现有工作中尚未利用分区级别信息。针对上述问题,提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说,通过深度矩阵分解得到每个视图的分区表示,然后与最优分区表示联合用于融合多视图信息。最后,一个交替优化算法被开发来解决优化问题,证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
A Boosting Framework of Factorization Machine
Ant Financial(蚂蚁金融)
最近,因子分解机(FM)已成为越来越流行的推荐系统,由于其有效地发现功能之间的信息交互。通常,相互作用的权重被学习为低秩权重矩阵,其被公式化为两个低秩矩阵的内积。这种低秩可以帮助提高因式分解机的泛化能力。然而,为了正确地选择秩,通常需要使用不同的秩多次运行算法,这对于一些大规模数据集显然是低效的。为了缓解这个问题,我们提出了一个自适应提升因子分解机框架(AdaFM),它可以自适应地为不同的数据集搜索适当的排名,而无需重新训练。该算法不使用固定的FM秩,而是使用提升策略,根据FM的性能自适应地逐渐增加FM的秩,直到性能不再增长。为了验证我们提出的框架的性能,我们在许多真实世界的数据集上进行了广泛的实验。令人鼓舞的实证结果表明,所提出的算法通常比最先进的其他因式分解机更有效。
2018-04-17 cs.LG stat.ML
Convex Factorization Machine for Regression
Kyoto University(京都大学);Yahoo Labs(雅虎实验室);Duke University(杜克大学);Aalto University(阿尔托大学)
我们提出了凸因式分解机(CFM),这是一个凸变量的广泛使用的因式分解机(FM)。具体地说,我们采用线性+二次模型,并用$\ell_2$ -正则化器正则化线性项,并用迹范数正则化器正则化二次项。然后,我们制定CFM优化作为一个半定规划问题,并提出了一个有效的优化过程与哈赞的算法。与现有的FM相比,CFM的一个关键优点是它可以找到全局最优解,而FM可能会得到一个差的局部最优解,因为FM的目标函数是非凸的。此外,该算法简单有效,易于实现。最后,CFM是一种通用的因子分解方法,也可以用于其他因子分解问题,包括多视图矩阵因子分解和张量完成问题。通过合成和movielens数据集,我们首先表明,所提出的CFM实现的结果具有竞争力的FM。此外,在毒理基因组学预测任务中,我们表明CFM优于最先进的张量因子分解方法。
2016-08-10 cs.LG stat.ML
Multi-View Multiple Clusterings using Deep Matrix Factorization
Southwest University(西南大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
多视图聚类的目的是整合来自多个异构视图的互补信息,以提高聚类结果。现有的多视图聚类解决方案只能输出单个聚类的数据。由于其多样性,多视图数据可以从不同的角度进行合理和有趣的不同分组。然而,如何从多视图数据中发现多个、有意义的、多样的聚类结果仍然是多视图聚类和多聚类中一个很少研究和具有挑战性的课题。在本文中,我们引入了一个基于深度矩阵分解的解决方案(DMClusts)来发现多个聚类。DMClusts逐步将多视图数据矩阵分解为逐层的表示子空间,并在每层中生成一个聚类。为了加强所生成的聚类之间的多样性,它最小化了一个新的冗余量化项,该量化项来自这些子空间中样本之间的接近度。我们进一步引入了一个迭代优化过程,同时寻求多个聚类的质量和多样性。在基准数据集上的实验结果证实,DMClusts优于最先进的多个聚类解决方案。
2019-11-26 cs.LG stat.ML
Higher-Order Factorization Machines
NTT Communication Science Laboratories(NTT通信科学实验室);Hokkaido University(北海道大学)
因子分解机(FM)是一种监督学习方法,即使数据是非常高维的,也可以使用二阶特征组合。不幸的是,尽管越来越多的兴趣,在FM,至今还没有有效的训练算法高阶FM(HOFM)。在本文中,我们提出了第一个通用而有效的算法训练任意阶HOFM。我们还提出了具有共享参数的HOFM的新变体,这些变体在保持相似精度的同时大大减少了模型大小和预测时间。我们展示了四个不同的链接预测任务的方法。
2016-10-14 cs.LG stat.ML
Federated Multi-view Matrix Factorization for Personalized Recommendations
Helsinki Research Center(赫尔辛基研究中心);Europe Cloud Service Competence Center(欧洲云服务能力中心);Huawei Technologies Oy (Finland) Co. Ltd(华为技术有限公司(芬兰))
我们引入了联邦多视图矩阵分解方法,将联邦学习框架扩展到多数据源的矩阵分解。我们的方法是能够学习多视图模型,而无需将用户的个人数据传输到中央服务器。据我们所知,这是第一个使用多视图矩阵分解提供推荐的联邦模型。该模型在生产环境的三个数据集上进行了严格的评估。实证验证证实,联邦多视图矩阵分解优于不考虑数据多视图结构的简单方法,此外,它还证明了所提出的方法对于冷启动联邦推荐的挑战性预测任务的有用性。
2020-04-08 cs.IR cs.LG stat.ML
DS-FACTO: Doubly Separable Factorization Machines
University of California Santa Cruz(加州大学圣克鲁兹分校);Amazon(亚马逊)
因子分解机(FM)是一类功能强大的模型,它包含了特征之间的高阶交互,为线性模型增加了更多的表达能力。它们已经成功地应用于一些现实世界的任务,如点击预测,排名和推荐系统。尽管对成对特征使用低秩表示,但在大规模真实世界数据集上使用因子分解机器的内存开销可能非常高。例如,在criteo tera数据集上,假设适度的$128$维度潜在表示和$10^{9}$特征,则模型的内存需求为$1$ TB的量级。此外,数据本身占用$2.1$ TB。传统的FM算法在单机上工作,无法处理这种规模,因此,使用分布式算法在集群中并行计算是不可避免的。在这项工作中,我们提出了一个混合并行随机优化算法DS-FACTO,分区的数据以及参数的因式分解机同时进行。我们的解决方案是完全分散的,不需要使用任何参数服务器。我们提出的实证结果来分析的收敛行为,预测能力和可扩展性的DS-FACTO。
2020-04-29 cs.LG stat.ML
Multi-view Factorization AutoEncoder with Network Constraints for Multi-omic Integrative Analysis
University at Buffalo(布法罗大学)
多组学数据提供相同患者的多个视图。多组学数据的综合分析对于阐明疾病病因的分子基础至关重要。然而,多组数据存在“大p,小N”问题(特征数多,但样本数少),仅从多组数据中训练复杂的机器学习模型并使其具有良好的泛化能力是一个挑战。在这里,我们提出了一个框架,称为多视图分解AutoEncoder与网络约束集成多组学数据与领域知识(生物相互作用网络)。我们的框架采用深度表示学习来同时学习特征嵌入和患者嵌入,使我们能够将特征交互网络和患者视图相似性网络约束集成到训练目标中。整个框架是端到端可区分的。我们将我们的方法应用于TCGA泛癌症数据集,并取得了令人满意的结果,以预测疾病无进展间期(PFI)和患者总生存期(OS)事件。代码将公开提供。
2018-09-06 cs.LG stat.ML
Field-aware Neural Factorization Machine for Click-Through Rate Prediction
Zhejiang University(浙江大学)
推荐系统和计算广告已经逐渐从商业应用领域进入学术研究领域。点击率预测是核心研究问题之一,因为预测的准确性影响着用户体验以及商家和平台的收益。特征工程对于提高点击率预测是非常重要的。传统的特征工程严重依赖于人的经验,很难构造出能够描述数据中隐含的复杂模式的特征组合。本文将传统的特征组合方法与深度神经网络相结合,实现特征组合的自动化,以提高点击率预测的准确性。我们提出了一个机制命名为“场感知神经因子分解机”(FNFM)。该模型可以像Field-aware Factorization Machine一样具有较强的二阶特征交互学习能力,在此基础上,使用深度神经网络进行高阶特征组合学习。实验表明,该模型比现有的深度学习特征组合模型DeepFM、DCN和NFM具有更强的表达能力。
2019-02-25 cs.LG stat.ML
Multi-View Multi-Instance Multi-Label Learning based on Collaborative Matrix Factorization
Southwest University(西南大学);China University of Geosciences(中国地质大学);George Mason University(乔治梅森大学);Deakin University(迪肯大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
多视图多实例多标签学习(M3L)处理包含不同实例的复杂对象,使用不同的特征视图表示,并使用多个标签进行注释。现有的M3L解决方案仅部分探索对象(或包),实例和标签之间的内部或内部关系,这些关系可以传达M3L的重要上下文信息。因此,它们可能具有受损的性能。在本文中,我们提出了一个协作矩阵分解为基础的解决方案,称为M3Lcmf。M3Lcmf首先使用由包、实例和标签节点组成的异构网络,通过多个关系数据矩阵对不同类型的关系进行编码。为了保持数据矩阵的内在结构,M3Lcmf将它们协作分解为低秩矩阵,探索包,实例和标签之间的潜在关系,并有选择地合并数据矩阵。进一步引入了一种聚合机制,将实例级标签聚合到包级,并指导因子分解。在基准数据集上的实证研究表明,M3Lcmf在实例级和包级预测方面都优于其他相关竞争解决方案。
2019-05-15 cs.LG stat.ML
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn(siat.ac.cn(注:此处原文仅提供了邮箱,未明确完整机构名,根据要求不提取))
近年来,半监督多视图非负矩阵分解(MVNMF)算法在多视图聚类中取得了很好的性能。然而,大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法(DCS^2MVNMF)。具体地说,每个视图的辅助矩阵,这增强了类间的区别引入一个判别加权矩阵。同时,利用标号和几何信息构造了一种新的图正则化方法。此外,我们设计了一种新的特征尺度归一化策略来对齐多个视图,并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
A Non-convex One-Pass Framework for Generalized Factorization Machine and Rank-One Matrix Sensing
University of Michigan(密歇根大学)
我们开发了一个有效的交替框架,用于学习具有可证明保证的数据流上的广义因式分解机(gFM)。当样本是从$d$维随机高斯向量中采样的,且gFM中的目标二阶系数矩阵秩为$k$时,算法线性收敛,在检索$O(k^{3}d\log(1/ε))$训练样本后达到$O(ε)$恢复误差,一遍数据集消耗$O(kd)$内存,每次迭代只需要矩阵向量乘积运算。我们的框架的关键成分是一个建设的估计序列赋予所谓的连续性独立RIP条件(CI-RIP)。作为gFM的特殊情况,我们的框架可以应用于对称或非对称的秩一矩阵传感问题,如归纳矩阵完成和相位检索。
2016-10-25 cs.LG stat.ML
RaFM: Rank-Aware Factorization Machines
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
因式分解机(FM)是一种通过低秩近似学习两两交互的流行模型类。与现有的基于FM的方法不同,该方法对所有特征使用固定的秩,本文提出了一种秩感知FM(RaFM)模型,该模型采用不同秩嵌入的成对交互。该模型在真实世界的数据集上实现了更好的性能,其中不同的特征具有显着不同的出现频率。此外,我们证明了RaFM模型可以像单个FM一样有效地存储,评估和训练,并且在某些合理的条件下,它甚至可以比FM更有效。RaFM提高了FM在回归任务和分类任务中的性能,同时产生更少的计算负担,因此在工业应用中也具有诱人的潜力。
2019-05-18 cs.LG stat.ML
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research(雅虎研究院);TouchPal Inc.(触宝公司);UC Berkeley(加州大学伯克利分校);LinkedIn Corporation(领英公司);Ablibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据,即,每个特征都是分类的,并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是,来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近,场感知因子分解机(FFM)已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而,FFM中的参数数量是特征数量乘以字段数量的顺序,这在现实世界的生产系统中是不可接受的。在本文中,我们提出了字段加权因子分解机(FwFM),以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明,FwFM可以实现有竞争力的预测性能,只有4%的FFM参数。当使用相同数量的参数时,在两个真实CTR预测数据集上,FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Multi-output Polynomial Networks and Factorization Machines
NTT Communication Science Laboratories(NTT通信科学实验室);Cornell University(康奈尔大学);RIKEN(理化学研究所)
因式分解机和多项式网络是基于有效低秩分解的监督多项式模型。我们将这些模型扩展到多输出设置,即,学习向量值函数,应用于多类或多任务问题。我们将此转换为学习3路张量的问题,其切片共享公共基础,并提出了该问题的凸公式。然后,我们开发了一个有效的条件梯度算法,并证明其全局收敛性,尽管它涉及到一个非凸的基础选择步骤。在分类任务中,我们证明了我们的算法比现有方法具有更稀疏的模型,从而实现了出色的准确性。在推荐系统任务中,我们展示了如何将我们的算法与从有序回归到多输出分类的减少相结合,并表明所得到的算法在排名准确性方面优于简单的基线。
2017-11-04 cs.LG stat.ML
Partially Shared Semi-supervised Deep Matrix Factorization with Multi-view Data
Guangdong University of Technology(广东工业大学)
由于现实世界中的许多数据可以从多个视角描述,多视角学习引起了人们的广泛关注。已经提出了各种方法,并成功地应用于多视图学习,通常基于矩阵分解模型。近年来,利用多视图数据的层次信息已被扩展到深层结构,但很少考虑视图的特定特征和标签信息。为了解决这些问题,我们提出了一个部分共享的半监督深度矩阵分解模型(PSDMF)。通过整合部分共享的深度分解结构,图正则化和半监督回归模型,PSDMF可以通过消除不相关信息的影响来学习一个紧凑的和有区别的表示。此外,我们开发了一个有效的迭代更新算法的PSDMF。在五个基准数据集上的实验表明,PSDMF可以实现比最先进的多视图学习方法更好的性能。MATLAB源代码可在https://github.com/libertyhhn/PartiallySharedDMF上获得。
2020-12-02 cs.LG
Deep Factorization Machines for Knowledge Tracing
RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能项目中心);RIKEN(理化学研究所(RIKEN))
本文介绍了我们对2018年Duolingo第二语言习得建模(SLAM)共享任务的解决方案。我们使用了深度因子分解机器,这是一种广泛的深度学习模型,用于分析用户、项目、技能和其他考虑的实体之间的成对关系。我们的解决方案(AUC 0.815)有望击败逻辑回归基线(AUC 0.774),但不是表现最好的模型(AUC 0.861),并揭示了建立项目反应理论模型的有趣策略。
2018-05-01 cs.IR cs.LG stat.ML
An Introduction to Matrix factorization and Factorization Machines in Recommendation System, and Beyond
本文旨在更好地理解矩阵分解(MF),分解机(FM),以及它们与深层算法的结合在推荐系统中的应用。具体来说,本文将重点介绍奇异值分解(SVD)及其衍生物,例如Funk-SVD,SVD++等。逐步公式计算和解释图片显示。更重要的是,我们解释了DeepFM模型,其中FM由深度学习辅助。通过数值例子,我们试图将理论与现实世界的问题联系起来。
2022-03-12 cs.IR cs.LG
Interpretable Multi-View Clustering Based on Anchor Graph Tensor Factorization
Xidian University(西安电子科技大学);State Key Laboratory of Integrated Services Networks(综合业务网国家重点实验室)
针对现有基于锚图分解的多视图聚类方法可解释性不足、忽略视图间信息的问题,提出利用非负张量分解融合多视图锚图的方法,提升了聚类可解释性,经实验验证了有效性。
2024-10-30 cs.LG
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
基于非负矩阵分解(NMF)及其变体的多视图聚类(MVC)由于其在聚类可解释性方面的优势,近年来受到了广泛关注。然而,现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF,忽略了视图间的影响。因此,它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题,我们提出了半非负张量因子分解(Semi-NTF),并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此,我们的模型直接考虑视图之间的关系。此外,我们使用张量Schatten p-范数正则化作为三阶张量的秩近似,该三阶张量表征多视图数据的聚类结构,并利用视图间的互补信息。此外,我们提供了一个优化算法,所提出的方法和数学证明,该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明,我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
Multi-view Clustering with Deep Matrix Factorization and Global Graph Refinement
多视图聚类是机器学习和数据采掘领域的一个重要而又具有挑战性的课题。矩阵分解是多视图聚类的一种流行策略,它可以在低维空间中探索有用的特征表示,从而减轻维数灾难。但现有工作存在两大缺陷:i)大多数矩阵分解方法仅限于阴影深度,导致无法充分发现原始数据丰富的隐藏信息。很少有深度矩阵分解方法为不同层的新表示的维度的选择提供基础。ii)现有的方法大多只关注视图共享信息,而忽略了不同视图中的特定局部特征。为了解决上述问题,本文提出了一种新的基于深度半NMF和全局图细化的多视图聚类方法(MVC-DMF-GGR)。首先,我们通过层次分解为每个视图捕获新的表示矩阵,然后通过近似从这些新表示重构的图的组合来学习公共图,以改进新的表示。一个交替的算法,证明收敛性,然后开发来解决优化问题,并在六个多视图基准测试的结果证明了我们所提出的算法的有效性和优越性。
2021-05-01 cs.LG
Multi-view Clustering via Unified Multi-kernel Learning and Matrix Factorization
School of Mathematics, Hunan University(湖南大学数学学院);Shenzhen Research Institute, Hunan University(湖南大学深圳研究院);Malaysia-Japan International Institute of Technology (MJIIT), Universiti Teknologi, Malaysia(马来西亚理工大学马来西亚-日本国际理工学院);College of Science, Princess Nourah bint Abdulrahman University (PNU)(公主诺拉·宾特·阿卜杜勒拉赫曼大学理学院);Regional Research Center, Iwate Prefectural University(岩手县立大学区域研究中心)
针对现有多核聚类计算复杂度高、基于矩阵分解的多视图聚类单视图约束限制学习的问题,提出融合多核学习与矩阵分解的多视图聚类方法,通过对共识矩阵施加正交约束、避免最优核学习降低复杂度,搭配三步优化算法,经真实数据集验证有效。
2024-12-12 cs.LG
Field-Embedded Factorization Machines for Click-through rate prediction
Adobe(奥多比)
点击率(CTR)预测模型在许多在线应用中是常见的,例如数字广告和推荐系统。场感知因子分解机(FFM)和场加权因子分解机(FwFM)是CTR预测的浅层模型中最先进的。最近,也提出了许多基于深度学习的模型。在更深层次的模型中,DeepFM,xDeepFM,AutoInt+和FiBiNet是最先进的模型。更深层次的模型将学习显式特征交互的核心架构组件与深度神经网络(DNN)组件相结合。我们提出了一种新的浅场嵌入式分解机(FEFM)和它的深场嵌入式分解机(DeepFEFM)。FEFM学习每个字段对的对称矩阵嵌入以及每个特征的通常的单向量嵌入。FEFM的模型复杂度明显低于FFM,与FwFM的复杂度大致相同。FEFM还具有关于重要场和场相互作用的深刻的数学性质。DeepFEFM将FEFM组件学习的FEFM交互向量与DNN相结合,从而能够学习更高阶的交互。我们在两个大型公开的真实世界数据集上对各种超参数进行了全面的实验。当比较测试AUC和log loss时,结果表明FEFM和DeepFEFM在CTR预测任务中优于现有的最先进的浅层和深层模型。我们已经在DeepCTR库(https://github.com/shenweichen/DeepCTR)中提供了FEFM和DeepFEFM的代码。
2021-06-14 cs.IR cs.LG stat.ML
In-training Matrix Factorization for Parameter-frugal Neural Machine Translation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出使用训练矩阵分解来减少神经机器翻译的模型大小。使用训练中矩阵分解,参数矩阵可以被分解为较小矩阵的乘积,这可以通过极大地减少可学习参数的数量来压缩大型机器翻译架构。我们将训练中矩阵分解应用于标准神经架构的不同层,并表明训练中分解能够减少近50%的可学习参数,而不会导致BLEU分数的任何相关损失。此外,我们发现训练矩阵分解在嵌入层上特别强大,提供了一种简单有效的方法来减少参数的数量,同时对模型性能的影响最小,有时还能提高性能。
2020-03-23 cs.CL cs.LG
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Deep Poisson Factorization Machines: factor analysis for mapping behaviors in journalist ecosystem
在线生态系统中的新闻编辑室很难理清。随着社会化媒体的普及,记者与个人之间的互动越来越明显,但对公共领域信息反馈回路的内部加工缺乏了解,使大多数记者感到困惑。我们能否提供一个有组织的观点来描述记者在个人层面上的行为,以更好地了解生态系统?为此,我提出了泊松因子分解机(PFM),贝叶斯模拟矩阵分解,假设泊松分布的生成过程。该模型概括了最近的研究泊松矩阵分解考虑时间的相互作用,涉及张量结构,标签信息。设计了两个推理过程,一个基于批变分EM和另一个随机变分推理方案,有效地规模与数据大小。本文中一个重要的新颖之处是,我展示了如何堆叠PFM层以引入深度架构。这项工作讨论了应用该模型的一些潜在结果,并解释了这些潜在因素如何有助于分析数据探索的潜在行为。
2017-12-29 cs.CY cs.LG stat.ML
Multi-View Non-negative Matrix Factorization Discriminant Learning via Cross Entropy Loss
China University of Petroleum(中国石油大学)
多视图学习通过描述同一对象不同视图之间的关系来实现分类任务目标。大多数现有的方法通常侧重于多个视图之间的一致性和互补性。但并非所有这些信息都对分类任务有用。相反,起重要作用的是特定的区分信息。Zhong Zhang等通过联合非负矩阵分解,研究了不同视图间公共部分和视图特定部分中存在的区分性和非区分性信息。本文在此基础上对该算法进行了改进,引入交叉熵损失函数,更好地约束目标函数。最后,在相同的数据集上实现了比原算法更好的分类效果,并显示了其优于许多现有算法的优越性。
2022-01-08 cs.LG eess.SP
Field-aware Factorization Machines in a Real-world Online Advertising System
Criteo Research(Criteo研究院);Facebook;Google
预测用户响应是计算广告中的核心机器学习任务之一。领域感知因子分解机(FFM)最近被确立为解决该问题的最先进方法,特别是赢得了两次Kaggle挑战。本文提出了一些结果,从实现这种方法在生产系统中预测点击率和转化率的显示广告,并表明这种方法不仅是有效的赢得挑战,但在现实世界中的预测系统也是有价值的。我们还讨论了一些具体的挑战和解决方案,以减少训练时间,即使用创新的播种算法和分布式学习机制。
2017-02-23 cs.LG
fastFM: A Library for Factorization Machines
University of Konstanz(康斯坦茨大学)
因式分解机(FM)仅用于范围很窄的应用程序中,并且不是机器学习模型的标准工具箱的一部分。这是一个遗憾,因为即使FM被认为是非常成功的推荐系统类型的应用程序,他们是一个通用的模型来处理稀疏和高维特征。我们的因式分解机实现提供了对许多求解器的轻松访问,并支持回归、分类和排名任务。这样的实施方式简化了FM在广泛应用领域的使用。这种实现有可能提高我们对FM模型的理解并推动新的发展。
2016-11-23 cs.IR cs.LG
Learning from Multi-View Multi-Way Data via Structural Factorization Machines
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Cornell University(康奈尔大学);Purdue University(普渡大学);Tsinghua University(清华大学)
实体之间的真实世界关系通常可以通过不同的视角/视图来观察和确定。例如,由用户做出的关于是否采用物品的决定依赖于多个方面,诸如决定的上下文信息、物品的属性、用户的简档以及由其他用户给出的评论。不同的视图可以展示实体之间的多路交互,并提供补充信息。在本文中,我们介绍了一种基于多张量的方法,可以在通用预测模型中保留多视图数据的底层结构。具体来说,我们提出了结构因子分解机(SFM),它学习多视图张量共享的公共潜在空间,并自动调整预测模型中每个视图的重要性。此外,SFM的复杂性是线性的参数的数量,这使得SFM适合于大规模的问题。在真实数据集上的大量实验表明,所提出的SFM在预测精度和计算成本方面优于几种最先进的方法。
2018-02-15 cs.LG
Which Factorization Machine Modeling is Better: A Theoretical Answer with Optimal Guarantee
Alibaba Group(阿里巴巴集团);Department of Computational Medicine and Bioinformatics, University of Michigan(密歇根大学计算医学与生物信息学系);University of Michigan(密歇根大学)
因式分解机(FM)是一种流行的机器学习模型,用于捕获二阶特征交互。FM及其广义版本的最优学习保证尚未开发。对于$d$维输入的秩$k$广义FM,以前已知的最佳采样复杂度是高斯分布下的$\mathcal{O}[k^{3}d\cdot\mathrm{polylog}(kd)]$。与信息理论下限$\mathcal{O}(kd)$相比,该界限是次优的。在这项工作中,我们的目标是收紧这一界向最佳和推广的分析亚高斯分布。证明了当输入数据满足$τ$ -矩可逆性时,广义FM的采样复杂度可以提高到$\mathcal{O}[k^{2}d\cdot\mathrm{polylog}(kd)/τ^{2}]$。当在广义FM中排除二阶自相互作用项时,该界可以改进到最佳的$\mathcal{O}[kd\cdot\mathrm{polylog}(kd)]$,直到对数因子。我们的分析还表明,半正定约束在传统的FM是多余的,因为它没有提高采样的复杂性,同时使模型难以优化。在实时高精度GPS信号校准任务中,对改进的FM模型进行了评估,验证了其优越性。
2019-01-30 cs.LG stat.ML
Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
因式分解机(FM)是一种监督学习方法,通过引入二阶特征交互来增强线性回归模型。尽管有效,但FM可能会受到具有相同权重的所有特征交互建模的阻碍,因为并非所有特征交互都同样有用和具有预测性。例如,与无用特征的交互甚至可能引入噪声并不利地降低性能。在这项工作中,我们通过区分不同特征交互的重要性来改进FM。我们提出了一个新的模型命名为注意力分解机(AFM),它通过神经注意力网络从数据中学习每个特征交互的重要性。在两个真实数据集上的大量实验证明了AFM的有效性。从经验上看,AFM在回归任务中表现出比FM更好的$8.6\%$相对改进,并且始终优于最先进的深度学习方法Wide&Deep和DeepCross,其结构更简单,模型参数更少。我们的AFM实现可在以下网址公开获取:https://github.com/hexiangnan/attentional_factorization_machine
2017-08-15 cs.LG
Learning Inter- and Intra-manifolds for Matrix Factorization-based Multi-Aspect Data Clustering
Queensland University of Technology(昆士兰科技大学)
对多视图、多类型关系数据等多方面的数据进行聚类,由于其广泛的适用性,近年来已成为一个热门的研究方向。该方法使用流形学习与非负矩阵分解(NMF)框架,学习多维数据的准确低秩表示,已显示出有效性。我们建议在NMF框架中包括内部流形,利用不同数据类型(或视图)的数据点的距离信息来学习数据聚类的多样性流形。实证分析表明,该方法可以找到各种相关类型的部分表示,并在聚类过程中选择有用的功能。在多个数据集上的实验结果表明,该方法在精度和效率上都优于现有的多方面数据聚类方法。
2020-09-07 cs.LG stat.ML
Logically Synthesized, Hardware-Accelerated, Restricted Boltzmann Machines for Combinatorial Optimization and Integer Factorization
University of California, Berkeley(加州大学伯克利分校)
受限玻尔兹曼机(RBM)是一种随机神经网络,能够解决各种困难的任务,如NP-Hard组合优化问题和整数分解。RBM架构也非常紧凑;需要很少的权重和偏差。这一点,连同其简单的,并行化的采样算法,寻找基态的这些问题,使RBM适合硬件加速。然而,在这些问题上训练RBM可能会带来重大挑战,因为训练算法往往会在大问题大小时失败,并且很难找到有效的映射。在这里,我们提出了一种将RBM结合在一起的方法,避免了以完整形式训练大问题的需要。我们还提出了使RBM更适合硬件的方法,使算法能够有效地映射到基于FPGA的加速器。使用该加速器,我们能够以高精度显示16位数字的硬件加速因式分解,速度提高10000倍,功率提高32倍。
2020-10-14 cs.LG cs.NE stat.ML
Visualizations Relevant to The User By Multi-View Latent Variable Factorization
University of Warwick(华威大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
数据可视化的主要目标是从所有可用的备选方案中找到与用户相关的到2D/3D显示器的映射。假设用户交互数据或关于项目或其关系的其他辅助数据,目标是识别主数据中的哪些方面支持用户的输入,以及同样重要的是,用户的潜在噪声输入的哪些方面在主数据中得到支持。为了解决这个问题,我们引入了一个多视图嵌入,其中一个潜在的因式分解识别两个数据视图(主数据和用户数据)中的哪些方面是相关的,哪些是特定于其中之一。因子分解是生成模型,其中显示器被参数化为因子分解的一部分,并且其他因子解释了二维显示器中不可表达的方面。该模型的功能在多个数据集上得到了演示。
2016-01-25 cs.IR cs.LG
DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University(浙江大学)
预测用户肯定响应(例如,购买和点击)概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征,最先进的极深因子分解机器模型(xDeepFM)引入了一个新的交互网络,以显式地利用矢量级别的特征交互。然而,由于交互网络中的每个隐藏层都是特征图的集合,因此它本质上可以被视为不同特征图的集合。在这种情况下,仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型(DexDeepFM),该模型在每个隐层设计集成多样性度量,在目标函数中同时考虑集成多样性和预测精度。此外,引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验,以显示所提出的模型的有效性。
2021-12-10 cs.LG
Additive Higher-Order Factorization Machines
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
在大数据和可解释的机器学习时代,方法需要大规模工作,同时允许对方法的内部工作原理有清晰的数学理解。虽然存在固有的可解释的半参数回归技术,用于大规模应用,以解释数据中的非线性,但其模型复杂性仍然经常受到限制。其中一个主要的限制是在这些模型中缺少相互作用,这是为了更好的解释性,但也是由于不合理的计算成本。为了解决这个缺点,我们推导出一个可扩展的高阶张量积样条模型使用因式分解的方法。我们的方法允许包括非线性特征效应的所有(高阶)相互作用,同时具有与没有相互作用的模型成比例的计算成本。我们从理论上和经验上证明,我们的方法的规模明显优于现有的方法,得到有意义的惩罚计划,并讨论进一步的理论方面。最后,我们研究预测和估计性能与合成和真实数据。
2023-02-01 cs.LG stat.CO stat.ML
Efficient Inverse-Free Algorithms for Extreme Learning Machine Based on the Recursive Matrix Inverse and the Inverse LDL' Factorization
Shenzhen University(深圳大学)
文献[4]中提出的无逆极端学习机(ELM)算法是基于无逆算法来计算正则化伪逆的,该正则化伪逆是从更新Hermitian矩阵的逆的无逆递归算法推导出来的。在文献[4]中应用递归算法之前,其改进版本已在以前的文献[9],[10]中使用。相应地,从改进的递归算法[9],[10]中,我们推导出一种更有效的无逆算法来更新正则化伪逆,由此我们发展了所提出的无逆ELM算法1。此外,所提出的ELM算法2进一步降低了计算复杂性,其直接从更新的逆计算输出权重,并且避免了计算正则化伪逆。最后,代替更新逆,所提出的ELM算法3通过逆LDLT因式分解[11]更新逆的LDLT因子,以避免在非常大量的迭代之后的数值不稳定性[12]。相对于现有的ELM算法,所提出的ELM算法1、2和3预计分别仅需要(8+3)/M、(8+1)/M和(8+1)/M的复杂度,其中M是输出节点数。在数值实验中,标准ELM、已有的无逆ELM算法和提出的ELM算法1、2和3在回归和分类方面取得了相同的性能,而所有提出的3种算法都显著地加速了已有的无逆ELM算法
2019-11-12 cs.LG stat.ML
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题,提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数,在低秩张量空间中提取非线性局部结构并自适应分配权重,有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
Incremental Factorization Machines for Persistently Cold-starting Online Item Recommendation
The University of Tokyo(东京大学)
现实世界中的项目管理器通常遭受持续的冷启动问题,这是由动态变化的用户和项目引起的。为了克服这个问题,最近提出了几种上下文感知推荐技术。就可行性和性能而言,因子分解机(FM)作为传统矩阵分解技术的推广,是最有前途的方法之一。然而,由于在线算法适用于动态数据,静态FM仍然是不够的。因此,本文提出了增量FM(iFM),一个通用的在线分解框架,特别是扩展到一个在线项目推荐iFM。建议的框架可以是一个有前途的基线,为进一步发展的生产推荐系统。评估是在合成和真实世界的不稳定数据集上根据经验进行的。
2016-07-11 cs.IR cs.LG
Black-box optimization for integer-variable problems using Ising machines and factorization machines
Keio University(庆应义塾大学);National Institute for Materials Science(国立材料科学研究所);The University of Tokyo(东京大学);Waseda University(早稻田大学);Tokyo Institute of Technology(东京工业大学)
黑箱优化在许多应用中具有潜力,例如机器学习中的超参数优化和实验设计中的优化。伊辛机对于二进制优化问题是有用的,因为变量可以由伊辛机的单个二进制变量表示。然而,使用伊辛机的传统方法不能处理具有非二进制值的黑盒优化问题。为了克服这一限制,我们提出了一种整数变量黑盒优化问题的方法,通过使用伊辛/退火机和因式分解机与三种不同的整数编码方法的合作。我们的方法的性能进行了数值评估与不同的编码方法,使用一个简单的问题,计算的能量的氢分子在最稳态。所提出的方法可以使用任何整数编码方法来计算能量。然而,独热编码对于小尺寸的问题是有用的。
2022-09-01 cs.LG quant-ph
Strongly Hierarchical Factorization Machines and ANOVA Kernel Regression
Arizona State University(亚利桑那州立大学)
高阶参数模型,包括功能相互作用的条款适用于各种数据采掘任务,其中地面真理取决于功能的相互作用。然而,在数据稀疏的情况下,用于特征交互的高维参数通常面临三个问题:计算昂贵、参数估计困难和缺乏结构。以前的工作已经提出的方法,可以部分地重新解决这三个问题。特别是,具有因子分解参数(例如因子分解机)和稀疏学习算法(例如FTRL-Proximal)的模型可以解决前两个问题,但无法解决第三个问题。关于非结构化参数,应用约束或复杂的正则化项,使得可以施加分层结构。然而,这些方法使优化问题更具挑战性。在这项工作中,我们提出了强层次分解机和ANOVA核回归,所有这三个问题都可以解决,而不会使优化问题更加困难。实验结果表明,所提出的模型显着优于国家的最先进的两个数据采掘任务:冷启动用户响应时间预测和股票波动预测。
2018-01-05 cs.LG
$L_0$ Regularization of Field-Aware Factorization Machine through Ising Model
Secure System Platform Research Laboratories, NEC Corporation(NEC公司安全系统平台研究所);NEC-AIST Quantum Technology Cooperative Research Laboratories(NEC-AIST量子技术合作研究所)
本文提出利用 Ising 模型对 FFM 进行 $L_0$ 正则化,可同时为各组选择最佳特征组合,从而提升泛化能力并增强模型可解释性。
2024-03-04 cond-mat.dis-nn cs.LG
Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Kyoto University(京都大学)
知识追踪是一个序列预测问题,其目标是预测学生在与学习平台交互时对问题的结果。通过跟踪一些学生知识的演变,可以优化教学。现有的方法要么是基于时间潜变量模型,或因素分析的时间特征。我们在这里表明,因子分解机(FM),回归或分类模型,包括几个现有的模型在教育文献中的特殊情况下,特别是添加剂因子模型,性能因子模型,和多维项目反应理论。我们表明,使用几个真实的数据集的成千上万的用户和项目,FM可以准确和快速地估计学生的知识,即使学生的数据是稀疏观察,并处理边信息,如多个知识组件和尝试次数在项目或技能水平。我们的方法允许适应比现有模型更高维度的学生模型,并提供了一个测试平台来尝试新的功能组合,以改善现有模型。
2018-11-15 cs.AI cs.IR cs.LG
DeCom: Deep Coupled-Factorization Machine for Post COVID-19 Respiratory Syncytial Virus Prediction with Nonpharmaceutical Interventions Awareness
IQVIA Inc.(艾昆纬公司)
针对新冠疫情打乱RSV季节性传播模式的问题,提出融合张量分解与残差建模、兼顾常规传播规律与非药物干预因素的深度耦合分解机DeCom,在真实数据集上的国家层面预测精度显著优于现有最优算法。
2023-05-02 cs.LG q-bio.QM stat.ML
Function Basis Encoding of Numerical Features in Factorization Machines
Yahoo(雅虎);University of Haifa(海法大学)
本文提出一种将数值特征编码为自选函数基函数值向量的方法,以系统化且理论有据的方式改进因子分解机对数值特征的处理,并推荐使用B样条基,实验和在线A/B测试验证了其性能提升。
2025-01-02 cs.LG stat.ML
Tensor Factorization via Matrix Factorization
Stanford University(斯坦福大学)
张量分解在许多机器学习应用中出现,例如知识库建模和潜变量模型中的参数估计。然而,张量分解的数值方法还没有达到矩阵分解方法的成熟程度。在本文中,我们提出了一种新的方法CP张量因式分解,使用随机投影减少问题的同时矩阵对角化。我们的方法是概念简单,也适用于非正交和非对称张量的任意阶。我们证明,少量的随机投影基本上保留了张量中的谱信息,使我们能够消除对本征间隙的依赖,这种依赖困扰着早期的张量到矩阵的减少。实验上,我们的方法优于现有的张量因式分解方法的模拟数据和两个真实的数据集。
2015-05-18 cs.LG stat.ML
Function Smoothing Regularization for Precision Factorization Machine Annealing in Continuous Variable Optimization Problems
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文针对FMQA在连续变量优化中因FM哈密顿量曲面噪声导致性能受限的问题,识别噪声来源并提出一种简单通用的函数平滑正则化方法,验证了其泛化性能与解决实际问题的能力。
2024-07-05 cs.LG quant-ph
Discrete Factorization Machines for Fast Feature-based Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学)
辅助信息的用户特征和项目特征是实现准确推荐的关键。然而,大量的特征尺寸,例如,通常大于10^7,导致昂贵的存储和计算成本。这阻碍了快速推荐,特别是在计算资源非常有限的移动应用程序上。在本文中,我们开发了一个通用的基于特征的推荐模型,称为离散因子分解机(DFM),快速和准确的推荐。DFM将实值模型参数(例如,float32)嵌入到二进制代码中的每个特征(例如,布尔值),并因此支持高效存储和快速用户项得分计算。为了避免严重的量化损失的二值化,我们提出了一个收敛的更新规则,解决了具有挑战性的离散优化的DFM。通过对两个真实世界数据集的广泛实验,我们表明:1)DFM始终优于最先进的二进制推荐模型,2)DFM与其实值版本(FM)相比表现出非常有竞争力的性能,证明了最小化的量化损失。这项工作被IJCAI 2018接受。
2018-09-19 cs.IR cs.LG stat.ML