Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）；Zhejiang University-LianlianPay Joint Research Center（浙江大学-连连支付联合研究中心）
由于缺乏可靠的观察到的负面数据，隐式反馈的推荐是一项极具挑战性的任务。一种流行而有效的隐式推荐方法是将未观察到的数据视为负面，但降低其置信度。当然，如何分配置信度权重和如何处理大量的未观测数据是隐式推荐模型的两个关键问题。然而，现有的方法要么追求快速学习，通过手动分配简单的信心权重，这缺乏灵活性，并可能会产生经验偏见，在评估用户的偏好;或自适应推断个性化的信心权重，但效率低下。为了实现自适应权重分配和有效的模型学习，我们提出了一种快速自适应加权矩阵分解（FAWMF）的变分自动编码器的基础上。个性化数据的置信度权重自适应分配与参数化神经网络（功能）和网络可以推断出的数据。此外，为了支持FAWMF的快速和稳定的学习，已经开发了一种新的特定的基于批处理的学习算法fBGD，其在所有反馈数据上进行训练，但其复杂度与观测数据的数量成线性关系。在真实数据集上的大量实验证明了所提出的FAWMF及其学习算法fBGD的优越性。
2020-03-04 cs.IR cs.LG stat.ML
Adaptive Weighted Nonnegative Matrix Factorization for Robust Feature Representation
Northeastern University（东北大学）；Stevens Institute of Technology（史蒂文斯理工学院）
非负矩阵分解（NMF）在机器学习中被广泛应用于降维。然而，传统的NMF没有正确处理离群值，因此它对噪声很敏感。为了提高NMF算法的鲁棒性，提出了一种自适应加权NMF算法，通过引入权值来强调每个数据点的不同重要性，从而降低了算法对噪声数据的敏感性。它与现有的使用缓慢增长相似性度量的稳健NMF非常不同。具体地说，提出了两种策略：模糊加权技术和熵加权正则化技术，这两种技术都导致一个简单的形式的迭代解。实验结果表明，新方法在多个含有噪声的真实数据集上具有更好的鲁棒性。
2022-06-07 cs.LG
Meta-Weighted Gaussian Process Experts for Personalized Forecasting of AD Cognitive Changes
Massachusetts Institute of Technology（麻省理工学院）；Imperial College London（帝国理工学院）
我们引入了一种新的个性化高斯过程专家（pGPE）模型，用于预测每个受试者的ADAS-Cog 13认知评分-认知领域中阿尔茨海默病（AD）的重要预测因子-在未来6，12，18和24个月内。首先，我们使用基础高斯过程（GP）回归，使用来自先前观察到的受试者的多模态数据来训练人口水平模型。然后，我们通过使用域自适应GP，并通过训练特定于主题的GP，随着时间的推移，将基础GP顺序地适应于新的（目标）主题，来个性化此模型。虽然我们表明，这些模型在选择性地应用于预测任务时实现了更好的性能（在不同的主题/访问中，一个模型比另一个模型表现得更好），但每个模型的平均性能是次优的。为此，我们在建议的pGPE中使用了元学习的概念来设计这些专家模型的基于回归的权重，其中专家权重针对每个受试者及其未来的访问进行了优化。来自ADNI数据集的一组受试者的结果表明，这种新引入的专家模型的个性化加权在准确预测未来ADAS-Cog 13评分及其与AD进展相关的细粒度变化方面有了很大的改进。这种方法有可能帮助早期识别高危患者，并改善AD临床试验的建设。
2019-04-19 cs.LG stat.ML
Diverse personalized recommendations with uncertainty from implicit preference data with the Bayesian Mallows Model
在Web应用中，点击数据被广泛地用于产生个性化推荐，其中包含了大量客观的用户偏好信息。目前流行的推荐算法，通常基于矩阵分解，通常具有很高的准确性和实现良好的点击率。然而，推荐项目的多样性，这可以大大提高用户体验，往往被忽视。此外，大多数算法不产生可解释的不确定性量化的建议。在这项工作中，我们提出了贝叶斯锦葵点击数据（BMCD）的方法，它增加了点击数据到兼容的完整的排名向量，通过强制所有点击的项目排名靠前。用户偏好使用Mallow排名模型学习。贝叶斯推断导致每个个人的推荐可解释的不确定性，我们还提出了一种方法，使个性化的建议，基于这种不确定性。通过模拟研究和现实生活中的数据示例，我们证明了与最先进的矩阵分解相比，BMCD可以以相似的准确度进行个性化推荐，同时实现更高水平的多样性，并产生可解释和可操作的不确定性估计。
2019-04-05 stat.ME
An Entropy Weighted Nonnegative Matrix Factorization Algorithm for Feature Representation
Northeastern University（东北大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
非负矩阵分解（NMF）已被广泛用于学习数据的低维表示。然而，NMF同样关注数据点的所有属性，这不可避免地导致不准确的表示。例如，在一个人脸数据集中，如果一个图像包含一顶帽子，在矩阵分解过程中，帽子应该被移除，或者其相应属性的重要性应该被降低。提出了一种新的非负矩阵分解方法--熵加权非负矩阵分解（EWNMF），它对每个数据点的每个属性使用一个可优化的权重来强调它们的重要性。这个过程是通过增加一个熵正则化的成本函数，然后使用拉格朗日乘子方法来解决这个问题。多个数据集的实验结果验证了该方法的可行性和有效性。我们在https://github.com/Poisson-EM/Entropy-weighted-NMF上提供我们的代码。
2021-11-27 cs.LG
Adaptive Weighted Multiview Kernel Matrix Factorization with its application in Alzheimer's Disease Analysis -- A clustering Perspective
Clemson University（克莱姆森大学）
最近的技术和设备进步为我们提供了更好地分析阿尔茨海默病（AD）的机会，我们可以收集和利用来自不同图像和遗传模式的数据，这些数据可能会提高预测性能。为了在AD分析中进行更好的聚类，本文提出了一种新的模型来利用来自所有不同模态/视图的数据，该模型可以自适应地学习每个视图的权重。与传统的非负矩阵分解假设数据是线性可分的不同，本文提出了一种简单有效的基于核矩阵分解的方法，该方法不仅能够处理非线性数据结构，而且能够获得更好的预测精度。在ADNI数据集上的实验结果表明了该方法的有效性，表明了核函数在AD分析中的应用前景。
2023-03-07 cs.AI cs.LG
Simulated Annealing with Levy Distribution for Fast Matrix Factorization-Based Collaborative Filtering
Cairo University（开罗大学）
矩阵分解是协同过滤的最佳方法之一，因为它能准确地呈现用户和项目的潜在因素。矩阵分解的主要缺点是其复杂性，并且很难并行化，特别是对于非常大的矩阵。提出了一种基于矩阵分解的协同过滤算法，该算法将模拟退火算法与Levy分布相结合。通过使用这种方法，良好的解决方案，在可接受的时间内实现低计算，相比其他方法，如随机梯度下降，交替最小二乘法，加权非负矩阵分解。
2017-08-09 cs.IR cs.LG stat.ML
Adversarial Personalized Ranking for Recommendation
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Chengdu University of Information Technology（成都信息工程大学）
项目推荐是一个个性化的排序任务。为此，许多推荐系统使用成对排序目标来优化模型，例如贝叶斯个性化排名（BPR）。使用矩阵分解（MF）-推荐中最广泛使用的模型-作为示范，我们表明，优化它与BPR导致推荐模型是不稳健的。特别是，我们发现，由此产生的模型是非常容易受到对抗性扰动的模型参数，这意味着可能很大的误差推广。为了增强推荐模型的鲁棒性，从而提高其泛化性能，我们提出了一个新的优化框架，即对抗个性化排名（APR）。简而言之，我们的APR通过执行对抗训练来增强成对排名方法BPR。它可以被解释为玩一个极大极小博弈，其中BPR目标函数的最小化同时防御对手，这增加了对模型参数的对抗性扰动以最大化BPR目标函数。为了说明它是如何工作的，我们通过在用户和项目的嵌入向量上添加对抗扰动来实现MF上的APR。在三个公开的真实数据集上进行的大量实验证明了APR的有效性--通过使用APR优化MF，它比BPR平均提高了11.2%，并实现了最先进的项目推荐性能。我们的实现可以在https://github.com/hexiangnan/adversarial_personalized_ranking上获得。
2018-08-12 cs.IR cs.LG stat.ML
Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Adobe Research（奥多比研究院）；Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
我们研究了高维数据聚类问题，提出了一种新的和无监督的表示学习模型称为鲁棒灵活的自动加权局部坐标概念分解（RFA-LCF）。RFA-LCF将鲁棒的灵活CF、鲁棒的稀疏局部坐标编码和自适应重构加权学习集成到一个统一的模型中。自适应加权是通过在恢复的干净数据、基础概念和新表示上包括联合流形保持约束来驱动的。具体而言，我们的RFA-LCF使用基于L2，1-范数的灵活残差来编码干净数据及其重建之间的失配，并且还应用鲁棒的自适应稀疏局部坐标编码来使用几个附近的基概念来表示数据，这可以使因子分解更准确和对噪声更鲁棒。在恢复的干净数据空间中进行鲁棒灵活因子分解，以增强表示。RFA-LCF还考虑了以自适应的方式联合保持干净数据空间、基概念空间和新坐标空间的局部流形结构。广泛的比较表明，RFA-LCF可以提供增强的聚类结果。
2019-05-25 cs.CV cs.LG
Does Weighting Improve Matrix Factorization for Recommender Systems?
University of Alberta Edmonton, AB Canada；Netflix, Inc. Los Gatos, CA USA；Netflix, Inc. \& Cornell University New York, NY USA；University of Alberta；Netflix, Inc.；Netflix, Inc. \& Cornell University
本文系统研究了推荐系统矩阵分解中的加权方案，发现未加权数据在大型模型上表现相当甚至更优，挑战了传统观念，同时推导出精确最小化加权目标的高效算法。
2025-10-12 cs.IR cs.LG stat.ML
Personalized Expertise Search at LinkedIn
LinkedIn（领英）
LinkedIn是全球最大的专业社交网络，拥有超过3.5亿会员。随着会员基数的增加，寻找专家变得越来越具有挑战性。在本文中，我们提出了一种方法来解决LinkedIn上的个性化专业知识搜索的问题，特别是对探索性搜索查询包含{ \it技能}。在离线阶段，我们介绍了一种基于矩阵分解的协同过滤方法。我们的方法估计了成员在个人资料中列出的技能以及他们可能拥有但没有明确列出的技能的专业知识得分。在在线阶段（查询时），我们使用这些技能的专业知识分数作为特征，并结合其他特征对结果进行排名。为了学习个性化的排名功能，我们提出了一个启发式提取训练数据从搜索日志，同时处理位置和样本选择偏差。我们在两个产品上测试了我们的模型-- LinkedIn主页和LinkedIn招聘人员。A/B测试显示，点击率有了显着提高-招聘人员的CTR@1为31%（主页为18%），搜索发送的下游消息为37%（主页为20%）。截至撰写本文时，这些模型几乎为LinkedIn主页上的技能搜索以及LinkedIn招聘人员提供了所有实时流量。
2016-02-15 cs.IR cs.LG cs.SI
Feature Weighted Non-negative Matrix Factorization
Academy of Advanced Interdisciplinary Research, Xidian University（西安电子科技大学先进交叉学科研究院）；Center for OPTical Imagery Analysis and Learning (OPTIMAL), Northwestern Polytechnical University（西北工业大学光学图像分析与学习中心）；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, International Research Center for Intelligent Perception and Computation, Xidian University（西安电子科技大学教育部智能感知与图像理解重点实验室、国际智能感知与计算研究中心）
非负矩阵分解（NMF）是数据表示和聚类的最流行技术之一，在机器学习和数据分析中得到了广泛的应用。非负矩阵分解将样本的特征集中到一个向量中，通过基向量的线性组合来逼近，从而实现了样本的低维表示。然而，在实际应用中，这些特征通常具有不同的重要性。为了充分利用鉴别特征，一些方法通过变换矩阵将样本投影到子空间中，这会干扰原始特征属性，忽略样本的多样性。为了解决上述问题，本文提出了特征加权非负矩阵分解（FNMF）。FNMF的突出特性可以概括为三个方面：1）它根据特征的重要性自适应地学习特征的权重; 2）它利用多个特征加权分量来保持多样性; 3）它可以用建议的优化算法有效地求解。在合成数据集和真实数据集上的性能表明，所提出的方法获得了最先进的性能。
2021-03-24 cs.LG eess.IV
Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network
College of Computer and Information Science（计算机与信息科学学院）
针对大规模动态加权有向网络，提出基于差分进化的张量潜在因子模型超参数自动优化框架，自动学习正则化参数，提升预测精度并减少人工调参。
2026-06-03 cs.LG
Is Simple Better? Revisiting Non-linear Matrix Factorization for Learning Incomplete Ratings
ETH Zurich（苏黎世联邦理工学院）
矩阵分解技术已被广泛用作推荐系统的协同过滤方法。最近，在这种情况下，已经探索了深度学习算法的不同变体，以改进使用用户-项目交互数据进行个性化推荐的任务。潜在用户或项目因素与原始特征之间的映射是高度非线性的，这一想法表明经典的矩阵分解技术不再足够。在本文中，我们提出了一种多层非线性半非负矩阵分解方法，其动机是用户-项目交互可以更准确地使用非线性项目特征的线性组合来建模。首先，我们从设计的多层非线性Semi-NMF方法中学习用户和项目表示的潜在因素。其次，将构建的架构与深度学习算法（如受限玻尔兹曼机和最先进的深度矩阵分解技术）进行比较。通过在潜在项空间中使用监督率预测任务和无监督聚类，我们证明了我们提出的方法在预测中具有更好的泛化能力，并且在聚类任务中具有与深度矩阵分解相当的表示能力。
2018-09-21 cs.LG stat.ML
Diversely Regularized Matrix Factorization for Accurate and Aggregately Diversified Recommendation
Seoul National University（首尔国立大学）
在向用户推荐个性化的热门$k$商品时，我们如何在满足用户需求的同时向用户推荐个性化的商品？聚合多样性推荐系统的目标是在不牺牲推荐准确性的情况下向所有用户推荐各种项目。它们增加了各种物品的曝光机会，这反过来又增加了卖家的潜在收入和用户满意度。然而，它是具有挑战性的，以解决聚合级的多样性与矩阵分解（MF），最常见的推荐模型之一，因为倾斜的真实世界数据导致倾斜的MF推荐结果。在这项工作中，我们提出了DivMF（DifferentialRegularized Matrix Factorization），一种新的矩阵分解方法，用于聚合多样化推荐。DivMF正则化MF模型的得分矩阵以最大化前$k$推荐列表的覆盖率和熵，从而使推荐结果聚合地多样化。我们还提出了一个unmasking机制和精心设计的多批次学习技术，以实现准确和高效的训练。在真实数据集上的大量实验表明，DivMF在聚合多样性推荐方面达到了最先进的性能。
2022-10-19 cs.IR cs.LG
Joint Text Embedding for Personalized Content-based Recommendation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Etsy Inc.（Etsy公司）；Yahoo! Research（雅虎研究院）；Facebook（脸书）
学习良好的文本表示是许多推荐应用程序的关键。示例包括新闻推荐，其中每天不断地发布要推荐的文本。然而，大多数现有的推荐技术，如基于矩阵分解的方法，主要依赖于交互历史来学习项目的表示。虽然可以从用户交互数据中有效地学习项目的潜在因素，但在许多情况下，这样的数据是不可用的，特别是对于新出现的项目。在这项工作中，我们的目标是解决这个问题的个性化推荐完全新的项目与文本信息。我们铸造的问题作为一个个性化的文本排名问题，并提出了一个通用的框架，结合文本嵌入与个性化推荐。用户和文本内容被嵌入到潜在的特征空间。文本嵌入功能可以通过预测用户与项目的交互来端到端学习。为了减轻交互数据的稀疏性，并利用大量的文本数据，很少或没有用户交互，我们进一步提出了一个联合文本嵌入模型，该模型将无监督文本嵌入与组合模块相结合。实验结果表明，我们的模型可以显着提高推荐系统的有效性在现实世界的数据集。
2017-06-23 cs.CL cs.IR cs.LG
Improving Sales Forecasting Accuracy: A Tensor Factorization Approach with Demand Awareness
University of Minnesota（明尼苏达大学）；Shanghai Jiao Tong University（上海交通大学）；University of California, Irvine（加州大学欧文分校）
由于可以从消费者、产品和商店获得大量数据汇集，高级销售预测能力已经引起了许多公司的高度关注，特别是在零售业，因为它在决策中的重要性。预测准确性的提高，即使是很小的百分比，也可能对公司的生产和财务规划、营销策略、库存控制、供应链管理以及最终的股票价格产生重大影响。具体而言，我们的研究目标是预测每个商店在不久的将来每个产品的销售情况。受个性化上下文感知推荐系统的张量因子分解方法的启发，我们提出了一种称为高级时间潜在因素销售预测方法（ATLAS）的新方法，该方法通过在多个商店和产品中构建单个张量因子分解模型来实现准确和个性化的销售预测。我们的贡献是：张量框架（利用商店和产品的信息），新的正则化函数（将需求动态纳入其中），以及使用最先进的统计（季节自回归综合移动平均模型）和机器学习（递归神经网络）模型将张量外推到未来时间段。ATLAS的优势在信息资源公司收集的八个产品类别数据集上得到了证明，其中分析了来自1，500多家杂货店的15，560种产品的总计1.65亿次每周销售交易。
2020-11-06 cs.IR cs.LG stat.ML
Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization
Yunnan University of Finance and Economics（云南财经大学）；Hunan Normal University（湖南师范大学）；Guangxi Normal University（广西师范大学）
针对传统RPCA方法易引入偏差且非凸正则化方法优化复杂、对初始条件敏感的问题，提出一种结合自适应加权最小二乘和低秩矩阵分解的新模型，通过自注意力机制动态更新权重，有效降低偏差并提高计算效率，数值实验证明其具有更优的性能与鲁棒性。
2024-12-19 cs.CV cs.LG
Distributionally Robust and Multi-Objective Nonnegative Matrix Factorization
Université de Mons（蒙斯大学）；Faculté Polytechnique（理工学院）；National University of Singapore（新加坡国立大学）
非负矩阵分解（NMF）是一种用于分析非负数据的线性降维技术。NMF的一个关键方面是目标函数的选择，该目标函数取决于对数据假设的噪声模型（或噪声统计）。在许多应用中，噪声模型是未知的并且难以估计。在本文中，我们定义了一个多目标NMF（MO-NMF）问题，其中多个目标被组合在同一NMF模型。我们建议使用拉格朗日对偶明智地优化一组权重的框架内使用的加权和的方法，也就是说，我们最小化一个单一的目标函数，这是一个加权和的所有目标函数。我们设计了一个简单的算法的基础上乘法更新，以尽量减少这个加权和。我们将展示如何使用它来找到分布式鲁棒NMF（DR-NMF）解决方案，即最大限度地减少所有目标之间的最大误差的解决方案，使用一种双重方法，通过启发式的Frank-Wolfe算法来解决。我们说明了这种方法的有效性合成，文件和音频数据集。结果表明，DR-NMF对我们不知道NMF问题的噪声模型是鲁棒的。
2021-02-09 cs.LG math.OC stat.ML
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；LANL（洛斯阿拉莫斯国家实验室）
非负矩阵分解（NMF）与缺失值完成是一个著名的有效的协同过滤（CF）方法，用于提供个性化的用户推荐。然而，传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈，以建立一个中央推荐模型。单次联邦学习最近出现了一种方法，以减轻隐私问题，同时解决传统的联邦学习的通信瓶颈。在本文中，我们提出了第一个无监督的一次性联邦CF实现，名为FedSPLIT，基于NMF联合因式分解。在我们的解决方案中，客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后，从每个客户端的隐私保护的本地项目模式和偏见与处理器共享，以执行联合因子分解，以提取全局项目模式。然后，将提取的模式聚合到每个客户端，以通过知识蒸馏构建本地模型。在我们的实验中，我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果（在某些情况下甚至优于现有技术），但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
The Value of Personalized Recommendations: Evidence from Netflix
Netflix；Kellogg School of Management, Northwestern University（西北大学凯洛格管理学院）
本文通过Netflix观众数据，构建离散选择模型评估个性化推荐的价值，发现替换推荐算法会降低用户参与度和消费多样性，且有效推荐主要来自精准定位而非机械曝光。
2026-06-08 cs.IR cs.LG econ.GN
TigerLily: Finding drug interactions in silico with the Graph
Tigerlily是一个基于TigerGraph的系统，旨在解决药物相互作用预测任务。在这个机器学习任务中，我们希望预测两种药物是否存在不良相互作用。我们的框架允许我们在这些步骤中使用图挖掘技术来解决这个高度相关的现实问题：（a）使用PyTigergraph，我们创建了药物和蛋白质的异构生物图。(b)我们在TigerGraph Cloud中计算药物节点的个性化PageRank分数。(c)我们使用个性化PageRank矩阵的稀疏非负矩阵分解来嵌入节点。(d)使用节点嵌入，我们训练基于梯度提升的药物相互作用预测器。
2022-04-18 cs.AI cs.LG cs.SI
Adaptive Quantile Low-Rank Matrix Factorization
Xi’an Jiaotong University（西安交通大学）
低秩矩阵分解（LRMF）由于其在计算机视觉和数据挖掘中的成功应用而受到广泛关注。通过假设噪声来自高斯分布、拉普拉斯分布或高斯分布的混合，已经在优化观察矩阵与其双线性分解之间的（加权）$L_1$或$L_2$ -范数损失方面做出了显著的努力。然而，在实际应用中，噪声分布的类型通常是未知的，不适当的假设将不可避免地恶化LRMF的行为。另一方面，真实数据经常被偏斜而不是对称噪声破坏。为了解决这个问题，本文提出了一种新的LRMF模型称为AQ-LRMF建模噪声与非对称拉普拉斯分布的混合。一个有效的算法的基础上的期望最大化（EM）算法也提供了估计的参数参与AQ-LRMF。AQ-LRMF模型的优点是，它可以很好地逼近噪声，无论实际噪声是对称的还是斜的。AQ-LRMF的核心思想在于解决一个加权的$L_1$问题，从数据中学习权重。在合成数据集和真实数据集上进行的实验表明，AQ-LRMF优于几种最先进的技术。此外，AQ-LRMF在捕捉真实图像中包含的局部结构信息方面也具有优于其他算法的优势。
2020-03-03 cs.LG stat.ML
Personalized Recommendations via Active Utility-based Pairwise Sampling
本文提出一种基于效用的主动成对采样框架，通过从成对比较中学习偏好并选择最能提升最终推荐效用的查询，在电影推荐和大学招生场景中实现了更准确、数据高效且以用户为中心的个性化排序。
2025-08-12 cs.IR cs.LG
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法，支持加权范数与岭、Lasso正则化，将乘法更新重构为无零值卡滞的加法更新，还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
Understanding the Effects of Adversarial Personalized Ranking Optimization Method on Recommendation Quality
Polytechnic University of Bari（巴里理工大学）
推荐系统（RS）采用用户项目反馈，例如，评级，以匹配客户的个性化产品列表。top-k推荐的方法主要依赖于学习排名算法，其中，最广泛采用的是贝叶斯个性化排名（BPR），它基于成对优化方法。最近，BPR已被发现易受其模型参数的对抗性扰动。对抗性个性化排名（APR）通过对抗性训练过程增强BPR来缓解这个问题。APR在BPR上的准确性性能的经验改进导致其在几个推荐模型中的广泛使用。然而，一个被忽视的关键方面是APR的超精度性能，即，新颖性，覆盖率和放大的流行偏见，考虑到最近的结果表明，业务流程再造，APR的基石，是敏感的偏见和减少的建议新颖性的加剧。在这项工作中，我们建模的BPR和APR优化框架的学习特性，给出数学证据，当反馈数据有一个尾部分布，APR放大的流行偏见比BPR由于收到的正面更新短标题项目的数量不平衡。使用矩阵分解（MF），我们通过在两个公共数据集上进行初步实验来实证验证理论结果，以比较BPR-MF和APR-MF在准确度和超准确度指标上的性能。实验结果一致表明，新颖性和覆盖率的措施和令人担忧的放大偏见的退化。
2021-07-29 cs.AI cs.CR cs.IR
The Target Polish: A New Approach to Outlier-Resistant Non-Negative Matrix Factorization
本文提出目标抛光框架，通过加权中值变换自适应抛光数据，使Fast-HALS算法在保持高效加性更新的同时具备抗离群点能力，实验表明其精度匹敌或超越现有鲁棒NMF方法，计算时间降低一个数量级。
2025-08-22 cs.LG
A Geometric Approach to Personalized Recommendation with Set-Theoretic Constraints Using Box Embeddings
Manning College of Information \& Computer Sciences, UMass Amherst
提出用 Box Embeddings 以几何集合方式建模用户与属性，支持否定、交集等复杂约束，并在推荐查询上较向量神经方法最高提升30%。
2025-02-15 cs.AI cs.IR cs.LG
Personalized Risk Scoring for Critical Care Patients using Mixtures of Gaussian Process Experts
University of California, Los Angeles（加州大学洛杉矶分校）；David Geffen School of Medicine, University of California, Los Angeles（加州大学洛杉矶分校大卫·格芬医学院）
我们开发了一个个性化的实时的风险评分算法，提供及时和粒度评估的基础上，他们的（时间）实验室检查和生命体征的病房患者的临床急性。通过分层潜在类模型捕获患者群体的异质性。所提出的算法的目的是发现潜在的类在患者人群中的数量，并训练混合高斯过程（GP）的专家，其中每个专家模型的生理数据流与特定的类。自学迁移学习用于将从临床稳定患者的域学到的潜在类的知识迁移到临床恶化患者的域。对于新患者，计算所有全科医生专家对患者生理数据流的临床状态的后验信念，并将个性化风险评分评估为这些信念的加权平均值，其中权重是从患者的入院信息中学习的。在加州大学洛杉矶分校罗纳德里根医学中心收治的6，313名患者的异质队列中进行的实验表明，我们的风险评分优于目前部署的风险评分，如MEWS和Rothman评分。
2016-05-03 cs.LG stat.ML
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL（瑞士联邦理工学院）；TUM（慕尼黑工业大学）
本文研究用户通过成对比较给出反馈的推荐问题，证明非凸损失在真实解附近具有受限强凸性，使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
A Tech Hybrid-Recommendation Engine and Personalized Notification: An integrated tool to assist users through Recommendations (Project ATHENA)
ATHENA项目旨在开发一个解决信息过载的应用程序，主要关注具有现代系统的个性化和用户体验设计的推荐系统（RS）。使用了两种机器学习（ML）算法：（1）用于基于内容的过滤（CBF）的TF-IDF;（2）具有矩阵分解的分类-奇异值分解（SVD），其应用于协同过滤（CF）和平均值（归一化）以用于CF的预测精度。菲律宾农业、水产和自然资源研究与发展委员会（PCAARRD）电子图书馆和SARAI项目出版物的学术研究与发展中的数据采样，以及用作训练集的模拟数据，以生成使用三种RS过滤（CF，CBF和个性化版本的项目推荐）的项目推荐。执行并讨论了一系列测试和TAM。调查结果允许用户参与在线信息，并快速评估应用程序产生的检索项目。兼容性测试（CoT）显示该应用程序与所有主要浏览器兼容，并且对移动设备友好。性能测试（PT）推荐的v-参数规格和TAM评估结果表明与总体正反馈密切相关，足以彻底解决信息过载问题作为本文的核心。提出了一种模块化架构，以解决信息过载问题，主要关注具有个性化和现代系统设计的RS。开发人员使用了两种ML算法，并对架构的简化版本进行了原型设计。进行并讨论了一系列测试（CoT和PT）和TAM评价。项目ATHENA增加了一个现代系统的UX功能设计。
2022-02-13 cs.IR cs.LG
Matrix Completion in the Unit Hypercube via Structured Matrix Factorization
Tokyo Institute of Technology（东京工业大学）；Technicolor AI Lab（特艺集团人工智能实验室）
组织中出现的一些复杂任务可以通过将它们映射到矩阵完成问题来简化。在本文中，我们解决了我们公司面临的一个关键挑战：预测艺术家在电影镜头中渲染视觉效果（VFX）的效率。我们通过使用双重方法来应对这一挑战：首先，我们将此任务转换为约束矩阵完成问题，其中条目在单位区间[0，1]内有界;其次，我们提出了两个新的矩阵分解模型，利用我们对VFX环境的了解。我们的第一种方法，专业知识矩阵分解（EMF），是一种可解释的方法，结构的潜在因素加权用户项目的相互作用。第二个，生存矩阵分解（SMF），而是一个概率模型的基本过程定义员工的效率。我们通过对我们的VFX数据集和另外两个值也在[0，1]区间内有界的数据集进行广泛的数值测试，证明了我们提出的模型的有效性。
2019-05-30 cs.LG stat.ML
Subspace Nonnegative Matrix Factorization for Feature Representation
Northeastern University（东北大学）；Stevens Institute of Technology（史蒂文斯理工学院）
传统的非负矩阵分解（NMF）在整个数据空间上学习一种新的特征表示，这意味着平等地对待所有特征。然而，在实际应用中，子空间通常足以用于精确表示，并且冗余特征可能是无效的甚至是有害的。例如，如果相机的一些传感器被破坏，那么来自该相机的照片中的相应像素对识别内容没有帮助，这意味着只有由剩余像素组成的子空间才值得关注。本文提出了一种新的NMF方法，通过引入自适应权重来识别原始空间中的关键特征，使得只有一个子空间涉及生成新的表示。提出了两种策略：模糊加权技术和熵正则化加权技术，这两种技术都导致迭代解具有简单的形式。在真实数据集上的实验结果表明，该方法可以生成比现有方法更准确的特征表示。本研究中开发的代码可在https://github.com/WNMF1/FWNMF-ERWNMF上获得。
2022-04-18 cs.CV cs.LG
Collaborative Filtering Through Weighted Similarities of User and Item Embeddings
Federal University of São Carlos（圣卡洛斯联邦大学）
本文提出一种融合用户-物品和物品-物品推荐的新型集成方法，通过加权相似性框架实现Top-N推荐，简化架构并提升效率，实验表明其在不同场景下表现稳健且易于实现。
2026-04-16 cs.IR cs.LG
Bi-Objective Nonnegative Matrix Factorization: Linear Versus Kernel-Based Models
Institut Charles Delaunay (CNRS)（夏尔·德拉吕研究所（CNRS））；Université de Technologie de Troyes（特鲁瓦技术大学）
非负矩阵分解（NMF）是一类功能强大的特征提取技术，已成功地应用于许多领域，即在信号和图像处理。当前的NMF技术在其基于线性或非线性核的公式中仅限于单目标问题。在本文中，我们建议重新审视NMF作为一个多目标问题，特别是一个双目标的，在输入和特征空间中定义的目标函数考虑。通过利用多目标优化文献中的加权求和方法，提出的双目标NMF确定了一组非支配的Pareto最优解，而不是一个单一的最优分解。此外，相应的帕累托前沿的研究和近似。对真实高光谱图像进行解混的实验结果表明，与现有方法相比，该方法具有较好的解混效果。
2015-01-22 cs.CV cs.LG math.OC
Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems
African Institute for Mathematical Sciences (AIMS) South Africa（非洲数学科学研究所（AIMS）南非）
本文提出了一种可扩展的低秩矩阵分解方法，用于推荐系统，通过优化模型参数和可视化嵌入空间，提升了推荐精度和冷启动场景下的表现。
2026-01-13 cs.CV cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
在现实世界的联邦学习场景中，由于使用不同的标签排列或处理完全不同的任务或域，参与者可能拥有自己的个性化标签，这些标签与其他客户端的标签不兼容。然而，大多数现有的FL方法不能有效地解决这种极端异构的情况下，因为他们经常假设（1）所有参与者使用一组同步的标签，（2）他们训练相同的任务，从同一个域。在这项工作中，为了应对这些挑战，我们引入了Factorized-FL，它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置，其中一个向量捕获不同标签和任务之间的公共知识，另一个向量捕获每个本地模型处理的特定于任务的知识。此外，基于客户端特定向量空间中的距离，Factorized-FL执行选择性聚合方案，以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法，在这些设置上，它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
WAFFLE: Weighted Averaging for Personalized Federated Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，模型个性化是处理客户端异构训练数据的非常有效的策略。我们介绍WAFFLE（加权平均联邦学习），一个个性化的协作机器学习算法，利用随机控制变量更快的收敛。WAFFLE使用客户端更新之间的欧几里德距离来衡量他们的个人贡献，从而最大限度地减少感兴趣的特定代理的个性化模型损失。通过一系列的实验，我们将我们的新方法与最近的两种个性化联邦学习方法-权重侵蚀和APFL-以及两种通用FL方法-联邦平均和SCAFFOLD进行了比较。性能评估使用两个类别的不相同的客户端数据分布-概念转移和标签倾斜-在两个图像数据集（MNIST和CIFAR 10）。我们的实验证明了WAFFLE的相对有效性，因为它实现或提高了精度，收敛速度更快。
2021-12-13 cs.LG
A Novel Algorithm for Personalized Federated Learning: Knowledge Distillation with Weighted Combination Loss
Medical College of Wisconsin（威斯康星医学院）
本文提出个性化联邦学习算法 pFedKD-WCL，通过知识蒸馏与双层优化结合应对非独立同分布数据挑战，并在 MNIST 和合成数据集上验证其准确率与收敛速度优于 FedAvg 等现有方法。
2025-04-06 cs.LG stat.ML
FedHealth 2: Weighted Federated Transfer Learning via Batch Normalization for Personalized Healthcare
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
机器学习应用的成功往往需要大量的数据。近年来，由于数据隐私和安全性的需求，特别是在医疗领域，联邦学习（FL）正引起越来越多的关注。然而，现有的FL方法的性能往往恶化时，有客户之间存在域转移，很少有以前的作品集中在医疗保健的个性化。在本文中，我们提出了FedHealth 2，这是FedHealth \cite{chen2020fedhealth}的扩展，用于处理域转移并为本地客户端获得个性化模型。FedHealth 2通过预训练的模型获得客户端相似性，然后对所有加权模型进行平均，并保留本地批量归一化。可穿戴活动识别和COVID-19辅助诊断实验已经评估，FedHealth 2可以实现更好的准确性（活动识别提高10%以上）和个性化医疗，而不会影响隐私和安全。
2021-07-21 cs.AI cs.LG
Attention Weighted Mixture of Experts with Contrastive Learning for Personalized Ranking in E-commerce
针对电商排序中特征交互个性化建模不足、长尾用户排序效果差的问题，提出结合对比学习的注意力加权混合专家模型，通过MoE捕捉个性化交互、对比损失提升长尾泛化，性能优于SOTA且已落地京东搜索。
2023-06-08 cs.IR cs.LG
Optimal Model Averaging: Towards Personalized Collaborative Learning
EPFL（洛桑联邦理工学院）
在联邦学习中，参与节点之间的数据或目标的差异激发了为每个节点训练个性化机器学习模型的方法。一种这样的方法是在局部训练模型和全局模型之间进行加权平均。在这方面的理论工作中，我们研究加权模型平均任意标量平均估计问题的最小假设下的分布。在偏差-方差权衡的一个变体中，我们发现，与局部模型相比，总是存在一些正的模型平均值，从而降低了预期的平方误差，前提是局部模型具有非零方差。此外，我们将加权模型平均的（可能是负面的）好处量化为所使用的权重和最佳权重的函数。两者合计，这项工作正式的方法来量化协作学习中的个性化的价值，并为未来的研究提供了一个框架，以测试在多变量参数估计的结果，并在一系列的假设。
2021-10-25 cs.IR cs.LG stat.ML
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research（雅虎研究院）；TouchPal Inc.（触宝公司）；UC Berkeley（加州大学伯克利分校）；LinkedIn Corporation（领英公司）；Ablibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据，即，每个特征都是分类的，并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是，来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近，场感知因子分解机（FFM）已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而，FFM中的参数数量是特征数量乘以字段数量的顺序，这在现实世界的生产系统中是不可接受的。在本文中，我们提出了字段加权因子分解机（FwFM），以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明，FwFM可以实现有竞争力的预测性能，只有4%的FFM参数。当使用相同数量的参数时，在两个真实CTR预测数据集上，FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Weighted Multi-Level Feature Factorization for App ads CTR and installation prediction
Aarhus University（奥胡斯大学）；ISISTAN, CONICET-UNCPBA（ISISTAN，阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯省中部国立大学）
本文提出加权多层级特征因子分解模型，将广告点击与安装视为相关任务，通过分层融合任务特定与共享特征，在RecSys Challenge 2023中获第11名。
2023-08-03 cs.IR cs.LG
SocialRec: User Activity Based Post Weighted Dynamic Personalized Post Recommendation System in Social Media
School of Computing（计算机学院）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
本文提出SocialRec推荐系统，通过整合用户历史、参与度和个人画像评估推荐得分，采用混合方法解决新用户冷启动问题，并在NeuMF模型上取得HR 0.80和NDCG 0.6的最高成绩。
2024-07-13 cs.IR cs.LG cs.SI
Multi-Agent Conformal Prediction with Personalized Statistical Validity
Department of Electronic Systems（电子系统系）；Aalborg University（奥尔堡大学）；Department of Mathematical Sciences（数学科学系）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）
提出个性化联邦加权共形预测框架，通过局部密度比加权和加权分位数聚合，在保护隐私的同时纠正数据异质性，为每个参与智能体提供渐近有效的边际和校准条件覆盖保证。
2026-05-30 cs.AI cs.LG stat.ML
Latent Factorization of Tensors with Threshold Distance Weighted Loss for Traffic Data Estimation
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对传统张量潜在分解模型对异常值敏感的问题，提出结合阈值距离加权损失的TDWLFT模型，通过为样本分配差异化权重降低异常值影响，在多个交通速度数据集上实现了准确性与计算效率的双重提升。
2025-06-11 cs.AI cs.LG
Flexible Auto-weighted Local-coordinate Concept Factorization: A Robust Framework for Unsupervised Clustering
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Department of Computer Science, University of Georgia（佐治亚大学计算机科学系）
由于概念因子分解（CF）及其变体对噪声的敏感性、对重构误差的严格约束以及预先获得的近似相似性，可能会产生不准确的表示和聚类结果。为了提高表示能力，提出了一种新的无监督鲁棒灵活自动加权局部坐标概念因子分解（RFA-LCF）框架，用于聚类高维数据。RFA-LCF通过干净数据空间恢复、鲁棒稀疏局部坐标编码和自适应加权将鲁棒灵活CF集成到统一模型中。RFA-LCF通过增强CF对噪声和误差的鲁棒性、对重建误差提供灵活的约束以及联合优化局部性来改进表示。对于鲁棒学习，RFA-LCF清楚地学习稀疏投影以恢复底层的干净数据空间，然后在投影的特征空间中执行灵活的CF。RFA-LCF还使用基于L2，1-范数的灵活残差来编码恢复数据与其重建之间的失配，并使用鲁棒的稀疏局部坐标编码来使用几个邻近基概念来表示数据。对于自动加权，RFA-LCF通过最小化干净数据、锚点和坐标上的重建误差，以自适应的方式联合保留基础概念空间和新坐标空间中的流形结构。通过交替地更新局部坐标保持数据、基概念和新坐标，可以潜在地提高表示能力。在公共数据库上的大量实验结果表明，与其他相关方法相比，RFA-LCF提供了最先进的聚类结果。
2019-09-02 cs.CV cs.LG stat.ML
Low Rank Field-Weighted Factorization Machines for Low Latency Item Recommendation
Yahoo Research（雅虎研究院）
针对FwFM推理成本随字段数平方增长的问题，提出对角加对称低秩分解方法，使推理成本仅与项目字段数成正比，实验证明其在准确性和推荐速度上均优于启发式剪枝，并已部署于大型在线广告系统。
2024-07-22 cs.IR cs.LG stat.ML
Language model compression with weighted low-rank factorization
Samsung Research America（三星美国研究院）；Northeastern University（东北大学）
将大矩阵分解成小矩阵是模型压缩的一种流行策略。奇异值分解（SVD）在这种压缩策略中起着至关重要的作用，它用较少的参数近似学习矩阵。然而，SVD最小化了重建原始矩阵的平方误差，而没有衡量参数的重要性，这可能会给那些影响任务精度的人带来更大的重建误差。换句话说，SVD的优化目标与训练模型的任务精度不一致。我们分析这个以前未探索的问题，进行观察，并通过引入Fisher信息来衡量影响模型预测的参数的重要性来解决这个问题。这个想法导致了我们的方法：Fisher加权SVD（FWSVD）。虽然我们的方法的因式分解矩阵不会导致更小的重建误差，但我们发现我们得到的任务精度更接近原始模型的性能。我们对基于transformer的语言模型进行了分析，表明我们的加权奇异值分解在很大程度上消除了不匹配的优化目标，并可以保持模型的性能与更高的压缩率。我们的方法可以直接压缩特定于任务的模型，同时比其他需要昂贵的模型预训练的紧凑模型策略获得更好的性能。此外，压缩已经紧凑的模型的评估表明，我们的方法可以进一步减少9%至30%的参数，对任务准确性的影响微不足道。
2022-06-30 cs.AI cs.CL cs.LG
RWNE: A Scalable Random-Walk-Based Network Embedding Framework with Personalized Higher-Order Proximity Preserved
Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）
高阶邻近度保持的网络嵌入越来越受到人们的关注。特别是，由于优越的可扩展性，基于随机游走的网络嵌入也得到了很好的发展，它可以通过多跳随机游走有效地探索高阶邻域。然而，尽管目前基于随机游走的方法取得了成功，但它们中的大多数通常没有足够的表达能力来保持个性化的高阶接近度，并且缺乏一个直接的目标来从理论上阐明网络接近度是如何保持的。在本文中，为了解决上述问题，我们提出了一个通用的可扩展的随机游走为基础的网络嵌入框架，其中随机游走明确纳入一个健全的目标，理论上设计，以保持任意高阶接近。此外，我们引入了重新启动过程的随机游走的框架，自然和有效地实现个性化的加权保持不同的顺序的接近。我们进行了大量的实验，在几个现实世界的网络，并证明我们提出的方法一致，大大优于最先进的网络嵌入方法。
2021-04-07 cs.LG stat.ML
Adapting Triplet Importance of Implicit Feedback for Personalized Recommendation
McGill University（麦吉尔大学）；City University of Hong Kong（香港城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
隐式反馈由于其在现实系统中的普遍性和可访问性，经常被用于开发个性化推荐服务。为了有效地利用这些信息，大多数研究采用成对排序方法构建训练三元组（用户，积极项目，消极项目），旨在区分每个用户的积极项目和消极项目。然而，这些方法中的大多数都平等地对待所有的训练三元组，这忽略了不同的积极或消极项目之间的细微差异。另一方面，即使其他一些作品利用辅助信息（例如，停留时间）来捕捉这种微妙的差异，这样的辅助信息是难以获得的。为了缓解上述问题，我们提出了一种名为Triplet Importance Learning（TIL）的新型训练框架，该框架自适应地学习训练三元组的重要性得分。我们设计了两种策略的重要性得分生成和制定的整个过程作为一个双层优化，这不需要任何基于规则的设计。我们将建议的训练过程与几个矩阵分解（MF）和图神经网络（GNN）为基础的推荐模型，证明了我们的框架的兼容性。通过使用三个真实世界的数据集与许多最先进的方法进行比较，我们表明，我们提出的方法在Recall@k方面优于最好的现有模型3-21\%。
2022-12-17 cs.IR cs.LG
Personalized Federated Learning via Heterogeneous Modular Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（美国NEC实验室）；Florida International University（佛罗里达国际大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）
个性化联邦学习（PFL）是一种在隐私约束下考虑本地客户的情况下协同训练联邦模型的学习方法。尽管它的流行，它已被观察到，现有的PFL方法导致次优的解决方案时，当地客户端之间的联合分布发散。为了解决这个问题，我们提出了联邦模块化网络（FedMN），一种新的PFL方法，自适应地从模块池中选择子模块，为不同的客户端组装异构的神经架构。FedMN采用一个轻量级的路由超网络来模拟每个客户端上的联合分布，并为每个客户端生成模块块的个性化选择。为了减少现有FL中的通信负担，我们开发了一种有效的方式来进行客户端和服务器之间的交互。我们进行了广泛的实验，在现实世界的测试床和结果显示的有效性和效率的建议FedMN的基线。
2022-12-02 cs.LG
Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation
The Pennsylvania State University（宾夕法尼亚州立大学）；Visa Research（Visa研究院）
针对现有个性化联邦学习方法实现与调参复杂的问题，本文提出基于聚类动态图传播的简洁框架，通过聚类建图传播更新参数并设计个性化分配策略，经多数据集实验验证了有效性。
2024-01-29 cs.DC cs.LG
