Horizontal Federated Learning and Secure Distributed Training for Recommendation System with Intel SGX
Intel Corporation（英特尔公司）
随着大数据时代的到来和人工智能等技术的发展，数据安全和隐私保护变得更加重要。推荐系统在社会中有着广泛的应用，但推荐系统的模型构建往往离不开用户数据。特别是对于基于深度学习的推荐系统，由于模型的复杂性和深度学习本身的特点，其训练过程不仅需要较长的训练时间和丰富的计算资源而且需要使用大量的用户数据，这在数据安全和隐私保护方面带来了相当大的挑战。如何训练一个分布式推荐系统，同时保证数据安全，已成为一个亟待解决的问题。本文基于可信执行环境的实现Intel SGX（Software Guard Extensions）和TensorFlow框架，实现了水平联邦学习和安全分布式训练两种方案，以实现不同场景下基于推荐系统的安全分布式学习方案。我们对经典的深度学习推荐模型（DLRM）进行了实验，DLRM是一种基于神经网络的机器学习模型，专为个性化和推荐而设计，结果表明我们的实现几乎没有引入模型性能损失。训练速度在可接受的范围内。
2022-07-11 cs.AI cs.IR cs.LG
On the Bias-Variance Characteristics of LIME and SHAP in High Sparsity Movie Recommendation Explanation Tasks
Princeton University（普林斯顿大学）；Netflix, Inc.（奈飞公司）；Warner Media（华纳媒体）
我们评估两个流行的本地可解释性技术，石灰和SHAP，在一个电影推荐任务。我们发现，这两种方法的行为非常不同的数据集的稀疏性。LIME在数据集的密集段中比SHAP做得更好，而SHAP在稀疏段中做得更好。我们跟踪这种差异，以不同的偏置方差特性的潜在估计的石灰和SHAP。我们发现，SHAP表现出较低的方差稀疏段的数据相比，石灰。我们将这种较低的方差归因于SHAP中固有的完整性约束属性和LIME中缺失的属性。该约束充当正则化器，因此增加了SHAP估计器的偏差，但降低了其方差，从而导致有利的偏差-方差权衡，特别是在高稀疏数据设置中。有了这个见解，我们引入相同的约束到LIME和制定一个新的本地解释框架称为完整性约束的LIME（CLIMB），优于LIME和SHAP快得多。
2022-06-09 cs.IR cs.LG
Towards Efficient Communication and Secure Federated Recommendation System via Low-rank Training
College of Engineering & Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）
针对联邦推荐系统的高通信成本及安全聚合兼容问题，提出CoLR低秩训练框架，在冻结多数参数的同时仅训练轻量参数，最高减少93.75%通信载荷且性能仅降约8%。
2024-02-28 cs.CR cs.DC cs.IR
Practical and Secure Federated Recommendation with Personalized Masks
Hong Kong University of Science and Technology（香港科技大学）；Clustar；Peking University（北京大学）；Fuzhou University（福州大学）
联合推荐解决了推荐系统的数据孤岛和隐私问题。目前的联合推荐系统主要利用密码学或混淆方法来保护原始评分不被泄露。然而，前者带来了额外的通信和计算成本，后者损害了模型的准确性。这两种方法都不能同时满足推荐系统的实时反馈和精确个性化的要求。在本文中，我们提出了联邦屏蔽矩阵分解（FedMMF），以保护联邦推荐系统中的数据隐私，而不牺牲效率和效果。更详细地说，我们介绍了新的思想，个性化的面具只产生从本地数据，并将其应用在FedMMF。一方面，个性化口罩为参与者的私人数据提供了保护，而不会损失有效性。另一方面，结合自适应安全聚合协议，个性化掩码可以进一步提高效率。从理论上分析了个性化口罩的安全性。从经验上讲，我们还显示了所设计的模型在不同的现实世界的数据集上的优越性。
2022-06-20 cs.AI cs.CR cs.IR
FastPFRec: A Fast Personalized Federated Recommendation with Secure Sharing
organization= Key Laboratory of Big Data \& Artificial Intelligence in Transportation (Beijing Jiaotong University) , addressline= Ministry of Education , city= Beijing , postcode= 100044 , country= China；organization= School of Computer Science；Technology , addressline= Beijing Jiaotong University , city= Beijing , postcode= 100044 , country= China
本文提出FastPFRec框架，通过高效本地更新策略和隐私感知参数共享机制，提升联邦推荐系统的训练效率和数据安全性，在四个真实数据集上表现优异。
2026-03-18 cs.IR cs.LG
Scalable and Sparsity-Aware Privacy-Preserving K-means Clustering with Application to Fraud Detection
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
K-means是实践中使用最广泛的聚类模型之一。由于数据隔离的问题和对模型性能的高要求，如何联合构建多方实用、安全的K-means已成为业界众多应用的重要课题。这方面的现有工作主要有两类。第一种类型具有效率优势，但信息泄露会带来潜在的隐私风险。第二种是可证明安全的，但效率低下，甚至无助于大规模的数据稀疏场景。在本文中，我们提出了一个新的框架，有效的稀疏意识的K-均值有三个特点。首先，我们的框架分为数据独立的离线阶段和更快的在线阶段，离线阶段允许预先计算几乎所有的加密操作。第二，我们在在线和离线阶段利用矢量化技术。第三，我们采用稀疏矩阵乘法的数据稀疏的情况下，以进一步提高效率。我们在三个合成数据集上进行了全面的实验，并将我们的模型部署在现实世界的欺诈检测任务中。我们的实验结果表明，与最先进的解决方案相比，我们的模型在运行时间和通信大小方面都具有竞争力的性能，特别是在稀疏数据集上。
2022-08-12 cs.CR cs.LG
Recommending Burgers based on Pizza Preferences: Addressing Data Sparsity with a Product of Experts
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Swisscom（瑞士电信）
在本文中，我们描述了一种方法来解决数据稀疏性，并在用户偏好知识有限的领域中创建推荐。我们将变分自编码器协同过滤从单域扩展到多域。直觉是，源域中的用户-项目交互可以增强目标域中的推荐质量。这种直觉可以发挥到极致，在跨域设置中，源域中的用户历史足以在目标域中生成高质量的推荐。因此，我们创建了一个产品的专家（POE）的建议，联合模型跨多个领域的用户项目交互架构。该方法对一个或多个域的丢失数据有弹性，这是现实生活中经常发现的情况。我们提出了两个广泛使用的数据集上的结果-亚马逊和Yelp，支持主张，全面的用户偏好知识导致更好的建议。令人惊讶的是，我们发现，在某些情况下，一个POE推荐，不访问目标域的用户表示可以超过一个强大的VAE推荐基线训练的目标域。
2021-09-07 cs.IR cs.LG
When Reviews Are Scarce: Structure-Aware Review Imputation for Recommendation in Realistic Sparse Review Settings
Yale University（耶鲁大学）；Vanderbilt University（范德比大学）；Adobe Research（Adobe研究）；Cisco AI Research（思科人工智能研究）
针对推荐中评论稀疏问题，提出TWISTER框架，通过文本边图联合建模语义与结构信号，利用大语言模型聚合邻域生成个性化评论，在Amazon和Goodreads上提升推荐性能。
2026-11-05 cs.AI cs.IR cs.LG
FedGRec: Dynamic Spatio-Temporal Federated Graph Learning for Secure and Efficient Cross-Border Recommendations
Macau University of Science and Technology（澳门科技大学）；Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院）
FedGRec提出一种隐私保护的联邦图学习方法，利用动态时空建模和个性化聚合，在跨境推荐中提升性能并保护数据隐私。
2025-05-15 cs.AI cs.LG
Overcoming Data Sparsity in Group Recommendation
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）；Soochow University（苏州大学）
在人们的日常社交生活中，向一组用户推荐令人满意的活动一直是推荐系统的一个重要任务。在这个任务中的主要挑战是如何聚集群体成员的个人偏好来推断群体的决策。传统的群体推荐方法采用预定义的偏好聚合策略。然而，这些静态策略过于简单，无法模拟真实而复杂的群体决策过程，特别是对于临时形成的群体。此外，组成员在组中应该具有不均匀的影响力或权重，并且用户的权重在不同的组中可以变化。因此，一个理想的群组推荐系统不仅要能够准确地学习用户的个人偏好，还要能够从数据中准确地学习偏好聚合策略。本文提出了一种新的端到端群组推荐系统CAGR（Centrality Aware Group Recommender），该系统以二分图嵌入模型（BGEM）、自注意力机制和图卷积网络（GCN）为基本构建模块，以统一的方式学习群组和用户表示。具体来说，我们首先扩展BGEM模型组项目的相互作用，然后为了克服的限制和稀疏性的交互数据产生的偶尔组，我们提出了一个自我关注的机制来表示组的基础上的组成员。此外，为了克服用户-项目交互数据的稀疏性问题，我们利用用户社交网络来增强用户表示学习，获得中心感知的用户表示。我们创建了三个大规模的基准数据集，并对它们进行了广泛的实验。实验结果表明，我们提出的CAGR的优越性，通过比较它与国家的最先进的群体推荐模型。
2020-10-02 cs.IR cs.LG
Quantitative analysis of Matthew effect and sparsity problem of recommender systems
HC Research（HC研究院）；HC Financial Service Group（HC金融服务集团）
推荐系统已经获得了巨大的商业成功。推荐技术在电子商务、在线音乐FM、在线新闻门户等领域得到了广泛的应用，然而与输入数据结构相关的一些问题对推荐系统的性能提出了严峻的挑战。其中两个问题是马太效应和稀疏性问题。马太效应严重地使推荐系统的输出偏向于受欢迎的项目。数据稀疏性问题直接影响推荐结果的覆盖率。协同过滤是一个简单的基准普遍采用的行业作为基线推荐系统的设计。了解协同过滤的底层机制是进一步优化的关键。本文对协同过滤特定上下文环境下的马太效应和稀疏性问题进行了深入的定量分析。我们比较了基于用户和基于项目的协同过滤的基本机制，并为工业推荐系统的构建者提供了见解。
2019-09-24 cs.IR cs.LG
Superhighway: Bypass Data Sparsity in Cross-Domain CF
Academia Sinica（中央研究院）；KKBOX Inc.（KKBOX公司）；National Chengchi University（国立政治大学）
跨域协同过滤（CF）的目的是减轻数据稀疏性在单域CF利用知识转移相关领域。许多传统的方法侧重于丰富CF中的比较邻域关系，直接解决稀疏性问题。在本文中，我们提出了高速公路建设，另一种显式关系丰富的过程，以提高建议，通过加强跨域连接。具体而言，假设部分重叠的项目（用户），高速公路绕过跨域用户（项目，分别）之间的多跳域间路径与直接路径，以丰富跨域连接。在真实世界跨区域音乐数据集和跨平台电影数据集上进行的实验表明，所提出的高速公路建设显着提高了目标域和源域的推荐性能。
2018-08-28 cs.IR cs.LG stat.ML
A Text-based Deep Reinforcement Learning Framework for Interactive Recommendation
Huazhong University of Science and Technology（华中科技大学）
强化学习（RL）由于其从动态交互中学习和规划长期性能的性质，近年来在交互式推荐系统（IRS）中受到了广泛的关注。IRS通常面临着大的离散行为空间问题，这使得现有的大多数基于RL的推荐方法效率低下。此外，数据稀疏性是大多数IRS面临的另一个具有挑战性的问题。虽然文本信息，如评论和描述是不敏感的稀疏性，现有的基于RL的推荐方法要么忽略或不适合纳入文本信息。为了解决这两个问题，在本文中，我们提出了一个基于文本的深度确定性策略梯度框架（TDDPG-Rec）的IRS。具体来说，我们利用文本信息映射到一个特征空间的项目和用户，这大大简化了稀疏性问题。此外，我们设计了一个有效的方法来构建一个行动候选集。通过从TDDPG-Rec中动态学习表达用户偏好的策略向量，我们可以有效地从候选集合中选择动作。通过在三个公共数据集上的实验，我们证明了TDDPG-Rec以时间有效的方式在多个基线上实现了最先进的性能。
2020-07-26 cs.IR cs.LG
Sparsity-Preserving Differentially Private Training of Large Embedding Models
Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
本文提出DP-FEST和DP-AdaFEST两种算法，在大型嵌入模型的差分隐私训练中保持梯度稀疏性，实现梯度大小缩减百万倍且准确率相当。
2023-11-14 cs.CR cs.LG
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Facebook Inc.（脸书公司）
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量，但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术，可以减少模型推理的内存和计算需求。然而，在线推荐系统的修剪是具有挑战性的，由于连续的数据分布偏移（又名非平稳数据）。虽然完整模型上的增量训练能够适应非平稳数据，但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知，这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言，本文的工作主要有以下几个方面的贡献：1）提出了一种自适应的密集到稀疏的模式，并结合一种新的剪枝算法，用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2）设计了自动学习层间稀疏度的剪枝算法，避免了重复手工调整，这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
Relation Embedding for Personalised POI Recommendation
RMIT University（皇家墨尔本理工大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Australian National University（澳大利亚国立大学）
兴趣点（POI）推荐是帮助人们发现感兴趣的场所或服务的最重要的基于位置的服务之一。然而，极端的用户兴趣点矩阵稀疏性和不断变化的时空上下文对兴趣点系统提出了挑战，这影响了兴趣点推荐的质量。为此，我们提出了一个基于推理的关系嵌入POI推荐。该方法利用知识图谱嵌入技术，在低维关系空间中有效地编码时间和地理信息以及语义内容。为了进一步缓解用户兴趣点矩阵稀疏性的问题，在用户兴趣点图上构建组合矩阵分解框架，以通过利用边信息来增强动态个人兴趣的推断。两个真实世界的数据集上的实验证明了我们提出的模型的有效性。
2020-02-19 cs.DB cs.IR cs.LG
GroupIM: A Mutual Information Maximization Framework for Neural Group Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
我们研究的问题，使项目的建议，短暂的群体，其中包括用户有限或没有历史活动在一起。现有的研究针对具有大量活动历史的持久组，而短暂组缺乏历史相互作用。为了克服群体交互稀疏性，我们提出了数据驱动的正则化策略，以利用同一群体中用户之间的偏好协方差，以及用户个人偏好与每个群体的上下文相关性。我们做了两个贡献。首先，我们提出了一个推荐架构不可知的框架GroupIM，可以集成任意的神经偏好编码器和聚合器的短暂的组推荐。其次，我们规范化的用户组的潜在空间，以克服组交互稀疏：最大限度地提高互信息之间的代表性的群体和群体成员，并动态优先级的偏好，通过上下文偏好加权的高度信息化的成员。我们在几个真实世界数据集上的实验结果表明，与最先进的组推荐技术相比，性能有显着提高（相对NDCG@20为31-62%）。
2020-06-09 cs.IR cs.LG cs.SI
VRConvMF: Visual Recurrent Convolutional Matrix Factorization for Movie Recommendation
China University of Petroleum（中国石油大学）；East China Jiaotong University（华东交通大学）；Federation University Australia（澳大利亚联邦大学）
用户对项目评分数据的稀疏性成为推荐系统面临的挑战之一，严重影响了推荐系统的性能。幸运的是，上下文感知推荐系统可以通过利用一些辅助信息，如用户和项目的信息来缓解稀疏性问题。特别是，项目的视觉信息，如电影海报，可以被认为是对项目描述文档的补充，这有助于获得更多的项目特征。本文针对电影推荐系统，提出了一种基于概率矩阵分解的视觉递归卷积矩阵分解（VRConvMF）推荐方案，该方案利用了从描述性文本和海报中分别提取的文本特征和多层次视觉特征。我们实现了所提出的VRConvMF，并在三个常用的真实世界数据集上进行了广泛的实验，以验证其有效性。实验结果表明，所提出的VRConvMF算法性能优于现有算法.
2022-02-16 cs.CV cs.IR cs.LG
A Deep Framework for Cross-Domain and Cross-System Recommendations
Macquarie University（麦考瑞大学）；Ant Financial Services Group（蚂蚁集团）
跨域推荐（CDR）和跨系统推荐（CSR）是解决推荐系统中长期存在的数据稀疏问题的两个有前途的解决方案。他们利用相对丰富的信息，例如，评级，以提高目标域或系统中的推荐准确性。因此，找到跨领域或系统的潜在因素的准确映射对于提高推荐准确性至关重要。然而，这是一个非常具有挑战性的任务，因为源和目标域或系统的潜在因素之间的复杂关系。为此，在本文中，我们提出了一个基于矩阵分解（MF）模型和完全连接的深度神经网络（DNN）的跨域和跨系统推荐的深度框架，称为DCDCSR。具体而言，DCDCSR首先采用MF模型来生成用户和项目潜在因素，然后采用DNN来映射跨域或系统的潜在因素。更重要的是，我们考虑了不同领域或系统中单个用户和项目的评级稀疏度，并使用它们来指导DNN训练过程，以便更有效地利用评级数据。在三个真实数据集上进行的大量实验表明，DCDCSR框架在推荐准确性方面优于最先进的CDR和CSR方法。
2020-09-14 cs.AI cs.LG
StratMed: Relevance Stratification between Biomedical Entities for Sparsity on Medication Recommendation
Yanshan University（燕山大学）；Xinjiang University Of Science & Technology（新疆理工学院）；Hunan University（湖南大学）
提出StratMed模型，通过相关性分层策略和双属性网络解决医疗数据长尾分布问题，协同提升药物推荐的安全性与准确性，并显著降低训练时间。
2023-11-27 cs.AI cs.LG
QoS-Aware Graph Contrastive Learning for Web Service Recommendation
Yonsei University（延世大学）；Jeonbuk National University（全北国立大学）
针对Web服务推荐中的数据稀疏和冷启动问题，提出QAGCL模型，利用图对比学习构建包含地理位置信息的增强图以学习嵌入，有效提升了QoS感知推荐的准确性。
2024-01-06 cs.IR cs.LG cs.SE
Differential Private Knowledge Transfer for Privacy-Preserving Cross-Domain Recommendation
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；JZTData Technology（捷智数科技术）
跨域推荐（CDR）是目前推荐系统中普遍存在的冷启动和数据稀疏性问题。CDR模型可以通过利用其他源域的数据来提高目标域的推荐性能。然而，大多数现有的CDR模型假设信息可以直接“跨桥传输”，忽略了隐私问题。为了解决CDR中的隐私问题，本文提出了一种新的基于两阶段的隐私保护CDR框架（PriCDR）。在第一阶段，我们提出了两种方法，即，基于Johnson-Lindenstrauss变换（JLT）和基于稀疏感知JLT（SJLT），使用差分隐私发布源域的评级矩阵。我们从理论上分析了我们提出的基于差分隐私的评级发布方法的隐私性和实用性。在第二阶段，我们提出了一种新的异构CDR模型（HeteroCDR），该模型使用深度自动编码器和深度神经网络分别对发布的源评级矩阵和目标评级矩阵进行建模。为此，PriCDR不仅可以保护源域的数据隐私，还可以缓解源域的数据稀疏性。我们在两个基准数据集上进行了实验，结果证明了我们提出的PriCDR和HeteroCDR的有效性。
2022-02-10 cs.LG
Graph-Based Recommendation System
University College London（伦敦大学学院）
在这项工作中，我们研究推荐系统建模为上下文多臂强盗（MAB）问题。我们提出了一个基于图的推荐系统，学习和利用用户空间的几何形状，在用户域中创建有意义的集群。这降低了推荐问题的维度，同时保持了MAB的准确性。然后，我们研究了图的稀疏性和集群大小对MAB性能的影响，并在合成和真实情况下的数据集提供详尽的模拟结果。仿真结果表明，相对于国家的最先进的MAB算法的改进。
2018-07-31 cs.IR cs.LG stat.ML
Transfer of codebook latent factors for cross-domain recommendation with non-overlapping data
University of Hyderabad（海得拉巴大学）；University of Delhi（德里大学）；Mahindra University（马恒达大学）
基于协同过滤的推荐系统在许多电子商务应用中起着至关重要的作用，因为它们引导用户根据用户过去的交易和其他类似客户的反馈找到他们感兴趣的项目。数据稀疏性是协同过滤技术的主要缺点之一，由于交易和反馈数据的数量较少。为了减少稀疏性问题，出现了称为迁移学习/跨域推荐的技术。在迁移学习方法中，考虑来自其他密集域（源）的数据，以便预测稀疏域（目标）中的缺失评级。在本文中，我们提出了一种新的跨域推荐的迁移学习方法，其中的聚类级别的评级模式（码本）的源域通过一个共同的聚类技术获得。之后，我们应用最大边际矩阵分解（MMMF）技术的码本，以学习用户和项目的潜在特征的码本。通过以一种新的方式将这些潜在特征引入到优化函数中来实现目标评级矩阵的预测。在实验中，我们证明了我们的模型提高了基准数据集上目标矩阵的预测精度。
2022-03-26 cs.IR cs.LG
Practical Privacy Preserving POI Recommendation
Ant Financial Services Group（蚂蚁金融服务集团）；Peking University（北京大学）；Zhejiang University（浙江大学）
兴趣点推荐技术近年来得到了广泛的研究和成功的应用。然而，现有的方法大多是在收集用户数据的基础上建立集中式模型。私人数据和模型都由推荐器持有，这导致了严重的隐私问题。在本文中，我们提出了一种新的隐私保护POI推荐（PriRec）框架。首先，为了保护数据隐私，用户的私人数据（功能和操作）被保存在自己的一侧，例如，手机或平板电脑。同时，所有用户需要访问的公共数据由推荐器保存，以减少用户设备的存储成本。这些公开数据包括：（1）仅与POI的状态相关的静态数据，例如POI类别，以及（2）取决于用户POI动作的动态数据，例如访问计数。动态数据可能是敏感的，我们开发了本地差分隐私技术来向公众发布这些数据的隐私保证。其次，PriRec遵循由线性模型和特征交互模型组成的因式分解机（FM）的表示。为了保护模型的隐私，线性模型保存在用户端，我们提出了一个安全的分散梯度下降协议，供用户协作学习。由于特征交互模型不存在隐私风险，因此由推荐器保存，并采用联邦学习范式中的安全聚合策略进行学习，PriRec将用户私有的原始数据和模型保存在用户自己手中，在很大程度上保护了用户隐私。我们将PriRec应用于真实世界的数据集，综合实验表明，与FM相比，PriRec实现了相当甚至更好的推荐准确性。
2020-04-27 cs.CR cs.LG stat.ML
UFGraphFR: Graph Federation Recommendation System based on User Text description features
UFGraphFR通过语义向量、安全用户关系图和个性化行为序列，实现高效的联邦推荐，提升推荐准确性和个性化效果。
2026-03-02 cs.LG
Improving Cross-domain Recommendation through Probabilistic Cluster-level Latent Factor Model--Extended Version
Beijing University of Posts and Telecommunications（北京邮电大学）
跨领域推荐通过将多个领域的评分数据集中在一起来传递用户行为模式，以缓解单一评分领域中出现的稀疏性问题。然而，以前的模型只假设多个领域共享一个潜在的共同评级模式的基础上的用户项目的共同聚类。为了捕捉不同领域之间的差异，我们提出了一种新的概率统计等级潜在因子（PCLF）模型，以提高跨域推荐性能。在多个真实数据集上的实验表明，我们提出的模型在跨域推荐任务中的性能优于现有的方法。
2014-09-24 cs.IR cs.LG stat.ML
Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；College of Integrated Circuits and Optoelectronic Chips, School of Computer Engineering and Science, Shenzhen Technology University（深圳科技大学集成电路与光电芯片学院、计算机工程与科学学院）
本文提出通过动态剪枝减少矩阵分解计算量，提升推荐系统效率，实验显示在速度提升1.2-1.65倍的同时误差增加不超过20.08%。
2026-03-25 cs.IR cs.LG
Decentralized Collaborative Learning Framework for Next POI Recommendation
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
下一个兴趣点（POI）推荐由于其在帮助人们决定下一个兴趣点访问方面的有效性而成为基于位置的社交网络（LBSNs）中不可或缺的功能。然而，准确的推荐需要大量的历史签到数据，从而威胁到用户隐私，因为位置敏感数据需要由云服务器处理。尽管已经存在用于隐私保护POI推荐的几种设备上框架，但是当涉及到存储和计算时，它们仍然是资源密集型的，并且对用户-POI交互的高稀疏性显示出有限的鲁棒性。在此基础上，我们提出了一种新的分散式协同学习框架的POI推荐（DPOI），它允许用户训练他们的个性化模型本地在一个合作的方式。DSPs显著降低了本地模型对云的依赖，并可用于扩展任意的集中式推荐模型。为了抵消学习每个本地模型时设备上用户数据的稀疏性，我们设计了两个自监督信号来预训练服务器上的POI表示，其中POI具有地理和分类相关性。为了促进协作学习，我们创新性地提出将知识从地理或语义相似的用户到每个本地模型与细心的聚合和互信息最大化。协作学习过程利用设备之间的通信，同时仅需要来自中央服务器的较小参与来识别用户组，并且与诸如差分隐私的常见隐私保护机制兼容。我们用两个真实世界的数据集来评估DALBO，结果表明DALBO的性能优于最先进的设备上框架，并且与集中式框架相比，DALBO产生了具有竞争力的结果。
2022-08-01 cs.IR cs.LG
Thresholding for Top-k Recommendation with Temporal Dynamics
这项工作的重点是top-k推荐的基础数据分布偏移超时的域。我们建议在现有的推荐引擎上学习每个项目的时间依赖性偏差。这种偏差学习过程在构建引擎时消除了数据稀疏性，同时捕获了在数据中观察到的最近趋势变化。我们提出了一个交替优化框架来解决偏差学习问题，并开发了处理各种常用的推荐评估标准，以及大量的项目和用户在实践中的方法。所提出的算法进行检查，离线和在线，使用从全球最大的零售商收集的真实世界的数据集。实验结果表明，偏见学习几乎总是可以提高推荐性能。我们鼓励其他从业者采用它作为一个标准的组成部分，在推荐系统的时间动态是一个规范。
2015-11-09 cs.IR cs.LG
SCONE: A Novel Stochastic Sampling to Generate Contrastive Views and Hard Negative Samples for Recommendation
Korea Telecom（韩国电信）；Yonsei University（延世大学）；KAIST（韩国科学技术院）
针对图协同过滤中的数据稀疏和负采样问题，提出基于分数生成模型的随机采样方法SCONE，生成动态对比视图和困难负样本，在6个数据集上持续优于基线，有效提升冷启动和长尾推荐性能及多样性。
2024-12-19 cs.AI cs.IR cs.LG
A Survey on Cross-domain Recommendation: Taxonomies, Methods, and Future Directions
Shanghai Jiao Tong University（上海交通大学）
传统的推荐系统面临着数据稀疏和冷启动两个长期存在的障碍，这两个问题促进了跨域推荐（Cross-Domain Recommendation，CDR）的产生和发展。CDR的核心思想是利用从其他领域收集的信息来缓解一个领域中的两个问题。在过去的十年中，许多努力已经从事跨域推荐。最近，随着深度学习和神经网络的发展，涌现出了大量的方法。然而，关于CDR的系统调查数量有限，特别是关于最新提出的方法以及它们所解决的建议场景和建议任务。在这篇调查论文中，我们首先提出了一个两级分类的跨域推荐分类不同的推荐场景和推荐任务。然后，我们介绍和总结现有的跨域推荐方法在不同的推荐场景下，以结构化的方式。我们还组织了常用的数据集。最后，我们提供了几个潜在的研究方向，这一领域的调查。
2022-07-24 cs.IR cs.LG
Efficient Privacy-Preserving Recommendation on Sparse Data using Fully Homomorphic Encryption
Independent Researcher（独立研究者）；Illinois Institute of Technology（伊利诺伊理工学院）
针对推荐系统依赖敏感数据存隐私风险、全同态加密处理稀疏评分矩阵计算与通信成本高的问题，提出结合CSR表示与FHE矩阵分解的方法，实现加密域高效稀疏处理与低通信开销，兼顾推荐准确率与隐私保护。
2025-09-03 cs.AI cs.CR cs.LG
A Random Walk Based Model Incorporating Social Information for Recommendations
Deutsche Telekom Laboratories（德国电信实验室）；Princeton University（普林斯顿大学）
协同过滤（CF）是构建推荐系统最流行的方法之一。针对推荐系统中的数据稀疏性和冷启动问题，提出了一种基于马尔可夫随机游走的混合协同过滤模型。更准确地说，我们构建了一个有向图，其节点包括项目和用户，以及项目内容，用户简档和社交网络信息。我们将用户的评分纳入图模型的边缘设置。该模型为个人和团体提供个性化的建议和预测。在MovieLens和Eppery数据集上对所提出的算法进行了评估。实验结果表明，与其他基于图的方法相比，所提出的方法性能良好，特别是在冷启动的情况下。
2013-05-17 cs.IR cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出MixSGCL方法，将推荐与对比损失整合为监督对比学习损失以统一优化方向，并引入节点级和边级混合挖掘监督信号，有效缓解数据稀疏性，在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
A Hinge-Loss based Codebook Transfer for Cross-Domain Recommendation with Nonoverlapping Data
Mahindra University（马恒达大学）；University of Delhi（德里大学）；University of Hyderabad（海得拉巴大学）
推荐系统，特别是基于协同过滤的推荐系统，在电子商务应用中发挥着重要的作用。随着互联网上搜索的信息迅速增加，用户往往面临着寻找自己感兴趣的项目的困难，RS经常在这些任务中提供帮助。最近的研究表明，随着项目空间的增加，以及用户评分的项目数量变得非常少，出现了稀疏性等问题。为了减轻稀疏性问题，正在使用迁移学习技术，其中考虑来自密集域（源）的数据以便预测稀疏域（目标）中的缺失条目。在本文中，我们提出了一个迁移学习方法跨域推荐时，两个领域没有重叠的用户和项目。在我们的方法中，知识从源到目标域的转移是以一种新颖的方式完成的。我们利用共聚类技术来获得源域的码本（聚类等级模式）。利用铰链损失函数将源域的学习码书传递到目标域。使用铰链损失作为损失函数是新颖的，并且在迁移学习中之前没有尝试过。我们证明，我们的技术提高了基准数据集上的目标矩阵的近似。
2021-08-02 cs.IR cs.LG
CDR-Adapter: Learning Adapters to Dig Out More Transferring Ability for Cross-Domain Recommendation Models
Tsinghua-Berkeley Shenzhen Institute, Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院清华-伯克利深圳学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Ant Group（蚂蚁集团）
针对跨域推荐中传统EMCDR框架需重构网络、成本高且易遗忘原有知识的问题，提出即插即用的CDR-Adapter模块，通过适配器对齐特征实现灵活知识迁移与低成本微调，在基准数据集上性能优于现有最优方法。
2023-11-04 cs.AI cs.IR cs.LG
Fisher-Weighted Merge of Contrastive Learning Models in Sequential Recommendation
Seoul National University（首尔国立大学）
本文首次将Fisher-Merging方法引入序列推荐，通过合并多个对比学习模型参数实现稳健微调，有效缓解数据稀疏问题并提升推荐性能。
2023-07-05 cs.AI cs.IR cs.LG
Group-Aware Interest Disentangled Dual-Training for Personalized Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce AI Research（赛富时人工智能研究院）；Walmart Global Tech（沃尔玛全球技术）
本文提出IGRec模型，通过自门控解耦用户兴趣、Gumbel-Softmax聚合生成群体表示，并采用双训练评分预测，利用群体信息缓解数据稀疏和冷启动问题，在三个数据集上验证了有效性。
2023-11-16 cs.IR cs.LG
Multi-behavior Self-supervised Learning for Recommendation
Tsinghua University（清华大学）；Kuaishou Inc.（快手公司）
本文提出多行为自监督学习框架MBSSL，通过行为感知图神经网络、行为间与行为内节点自判别及梯度混合优化策略，缓解多行为推荐中的数据稀疏、噪声和优化不平衡问题，并在多个数据集上优于SOTA基线。
2023-05-22 cs.IR cs.LG
Understanding Capacity-Driven Scale-Out Neural Recommendation Inference
Facebook（脸书）；Drexel University（德雷塞尔大学）；Tufts University（塔夫茨大学）
深度学习推荐模型已经发展到TB级。传统的服务方案--将整个模型加载到单个服务器--无法支持这种规模。支持这种规模的一种方法是使用分布式服务或分布式推理，它将单个大型模型的内存需求划分到多个服务器上。这项工作是系统研究社区开发新的模型服务解决方案的第一步，考虑到巨大的系统设计空间。大规模深度推荐系统是一种新的工作负载，对研究至关重要，因为它们消耗了数据中心所有推理周期的79%。为此，这项工作描述和表征了使用数据中心服务基础设施的横向扩展深度学习推荐推理。这项工作专门探讨延迟有界推理系统，相比其他最近的作品面向吞吐量的培训系统。我们发现分布式推理的延迟和计算开销主要是由于模型的静态嵌入表分布和输入推理请求的稀疏性。我们进一步评估了三个类DLRM模型的三个嵌入表映射策略，并在端到端延迟，计算开销和资源效率方面指定了具有挑战性的设计权衡。总的来说，当数据中心规模推荐模型以分布式推理方式提供服务时，我们只观察到边际延迟开销-P99延迟在最佳情况配置中仅增加1%。延迟开销很大程度上是由于使用的商品基础设施和嵌入表的稀疏性。更令人惊讶的是，我们还展示了分布式推理如何提高数据中心规模推荐服务的效率。
2020-11-11 cs.DC cs.IR cs.LG
Graph-based Alignment and Uniformity for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce AI Research（赛富时人工智能研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Electronic Science and Technology of China（电子科技大学）
针对超球面表示学习在推荐系统中的稀疏性问题，提出GraphAU，利用二部图高阶邻域聚合与分层对齐池化提升性能并达到最先进水平。
2023-08-18 cs.AI cs.IR cs.LG
Integrating User and Item Reviews in Deep Cooperative Neural Networks for Movie Recommendation
University of Patras（帕特雷大学）
用户评价包括在线平台上的大量信息。这种信息源被大多数现有的推荐系统所忽视，尽管它有可能缓解稀疏性问题并提高建议的质量。这项工作提出了一个深度模型，用于从评论文本中同时学习项目属性和用户行为。深度合作神经网络（DeepCoNN）是由两个并行的神经网络在其最后一层连接而成的建议模型。其中一个网络专注于从用户提交的评论中学习用户行为，而另一个网络则从用户评论中学习物品属性。在顶部，添加了一个共享层来连接这两个网络。与因子分解机器方法类似，共享层允许为人和事物获取的潜在因子彼此交互。根据实验结果，在许多数据集上，DeepCoNN超过了所有基线推荐系统。
2022-06-22 cs.IR cs.LG
Cross-Domain Recommendation: Challenges, Progress, and Prospects
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
为了解决推荐系统（RS）中长期存在的数据稀疏性问题，提出了跨域推荐（CDR）方法，利用较丰富域中相对丰富的信息来提高稀疏域中的推荐性能。虽然CDR近年来得到了广泛的研究，但缺乏对现有CDR方法的系统综述。为了填补这一空白，在本文中，我们提供了一个全面的审查现有的CDR方法，包括挑战，研究进展和未来的发展方向。具体而言，我们首先总结了现有的CDR方法分为四种类型，包括单目标CDR，多域推荐，双目标CDR，和多目标CDR。然后，我们提出了这些CDR方法的定义和挑战。接下来，我们提出了一个全面的分类和新的分类法，这些方法和报告的研究进展。最后，我们分享了CDR中几个有前途的研究方向。
2021-03-02 cs.AI cs.IR cs.LG
Hierarchical Attentive Knowledge Graph Embedding for Personalized Recommendation
Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）
事实证明，知识图谱（KG）对于高质量推荐是有效的，其中用户和项目之间的连接性为用户与项目的交互提供了丰富且互补的信息。然而，大多数现有的方法，是不足以利用的KG捕捉用户的喜好，因为他们要么表示用户项目的连接性通过路径有限的表现力或隐式地通过传播信息在整个KG不可避免的噪声模型。在本文中，我们设计了一个新的分层注意知识图谱嵌入（HAKG）框架，利用知识图谱进行有效的推荐。具体来说，HAKG首先提取的表达子图，链接用户项目对，以表征其连接性，这既容纳语义和拓扑结构的KG。然后，通过分层关注子图编码对子图进行编码，以生成用于增强的用户偏好预测的有效子图嵌入。大量的实验表明，HAKG对国家的最先进的推荐方法的优越性，以及其在缓解数据稀疏性问题的潜力。
2021-09-15 cs.IR cs.LG
Joint Triplet Loss Learning for Next New POI Recommendation
GrabTaxi Holdings（GrabTaxi控股公司）；School of Computing, National University of Singapore（新加坡国立大学计算学院）；National University of Singapore（新加坡国立大学）
用户兴趣点矩阵的稀疏性是下一个兴趣点推荐的一个公认问题，这阻碍了用户偏好的有效学习。针对更细粒度的扩展问题，我们提出了一个联合三重丢失学习（JTLL）模块的下一个新的（$N^2$）POI推荐任务，这是更具挑战性的。JTLL模块首先从用户的历史兴趣点访问序列中计算额外的训练样本，然后根据兴趣点和用户嵌入之间的关系，设计了一个三元组损失函数来减小和增大兴趣点和用户嵌入之间的距离。接下来，JTLL模块与最近的方法联合训练，以额外学习推荐任务的未访问关系。在两个已知的真实世界LBSN数据集上进行的实验表明，我们的联合训练模块能够提高最近现有作品的性能。
2022-09-25 cs.AI cs.IR cs.LG
Value-Aware Product Recommendation by Customer Segmentation using a suitable High-Dimensional Similarity Measure
Santafe-Conicet（圣菲-锥形研究所）
本文提出一种新颖的价值感知推荐方法，同时解决用户-物品数据的高维性和稀疏性问题，并显式考虑每个产品和用户对总销售额的贡献。通过编码收益贡献到用户-物品矩阵中，并基于此计算客户相似性，支持按盈利能力目标进行推荐。
2026-04-28 cs.IR cs.LG stat.ML
Pseudo Label NCF for Sparse OHC Recommendation: Dual Representation Learning and the Separability Accuracy Trade off
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文研究了在极端交互稀疏性下的推荐问题，通过引入伪标签目标提升排名性能，并发现可分离性与准确性之间的权衡。
2026-03-30 cs.AI cs.IR cs.LG
Joint Text Embedding for Personalized Content-based Recommendation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Etsy Inc.（Etsy公司）；Yahoo! Research（雅虎研究院）；Facebook（脸书）
学习良好的文本表示是许多推荐应用程序的关键。示例包括新闻推荐，其中每天不断地发布要推荐的文本。然而，大多数现有的推荐技术，如基于矩阵分解的方法，主要依赖于交互历史来学习项目的表示。虽然可以从用户交互数据中有效地学习项目的潜在因素，但在许多情况下，这样的数据是不可用的，特别是对于新出现的项目。在这项工作中，我们的目标是解决这个问题的个性化推荐完全新的项目与文本信息。我们铸造的问题作为一个个性化的文本排名问题，并提出了一个通用的框架，结合文本嵌入与个性化推荐。用户和文本内容被嵌入到潜在的特征空间。文本嵌入功能可以通过预测用户与项目的交互来端到端学习。为了减轻交互数据的稀疏性，并利用大量的文本数据，很少或没有用户交互，我们进一步提出了一个联合文本嵌入模型，该模型将无监督文本嵌入与组合模块相结合。实验结果表明，我们的模型可以显着提高推荐系统的有效性在现实世界的数据集。
2017-06-23 cs.CL cs.IR cs.LG
Recommendation system using a deep learning and graph analysis approach
University of Qom（库姆大学）
当用户连接到互联网来满足他的需求时，他经常会遇到大量的相关信息。推荐系统是一种对信息进行大规模过滤并提供用户满意和感兴趣的项目的技术。机器学习方法的进步，特别是深度学习，使得推荐系统取得了巨大的成就，尽管这些系统仍然受到诸如冷启动和稀疏性问题等挑战。为了解决这些问题，通常使用诸如用户通信网络的上下文信息。本文提出了一种基于矩阵分解和图分析的推荐方法。此外，我们利用深度自动编码器来初始化用户和项目的潜在因素，深度嵌入方法从用户信任图中收集用户的潜在因素。该方法在两个标准数据集上实现。实验结果和比较表明，该方法优于现有的国家的最先进的推荐方法。我们的方法优于其他比较方法，并取得了很大的改善。
2021-07-13 cs.LG cs.SI stat.ML
Graph Based Recommendations: From Data Representation to Feature Extraction and Application
为了识别用户的偏好，然后根据这些模型对服务进行个性化，对用户进行建模是一项复杂的任务，主要是因为需要考虑各种显式和隐式信号、缺失或不确定的信息、上下文方面等等。在这项研究中，提出了一种新的通用的方法来发现潜在的偏好模式从用户数据和评估。该方法依赖于使用图表示数据，然后系统地提取基于图的特征并使用它们来丰富原始用户模型。提取的特征封装了用户、项和元数据之间的复杂关系。然后，增强的用户模型可以用作任何推荐算法的输入。所提出的方法是领域独立的（从电影，音乐和商业推荐系统的数据证明），并使用几个国家的最先进的机器学习方法进行评估，在不同的推荐任务，并使用不同的评估指标。结果表明，在跨任务和域的推荐准确性的一致提高。此外，评价提供了一个更深入的分析，在特殊情况下，包括高稀疏性和可变性的评级的方法的性能。
2017-07-05 cs.AI cs.IR cs.LG
