An efficient manifold density estimator for all recommendation systems
Synerise；Warsaw University of Technology（华沙理工大学）
许多无监督表示学习方法都属于相似性学习模型的范畴。虽然针对不同类型的数据存在各种特定于模态的方法，但许多方法的核心属性是相似输入的表示在某些相似性函数下是接近的。我们提出了EMDE（高效流形密度估计）-一个框架，利用任意向量表示与局部相似性的属性，简洁地表示光滑的概率密度黎曼流形。我们的近似表示具有固定大小和具有简单的加法组合性的理想特性，因此特别适合用神经网络处理-作为输入和输出格式，产生有效的条件估计。我们推广和重新制定的问题，多模式的建议，有条件的，加权密度估计流形。我们的方法允许包含多种交互类型，数据的形式以及任何推荐设置的交互强度。将EMDE应用于top-k和基于会话的推荐设置，我们在单模态和多模态设置中的多个开放数据集上建立了新的最先进的结果。
2021-04-16 cs.IR cs.LG stat.ML
A Multimodal Single-Branch Embedding Network for Recommendation in Cold-Start and Missing Modality Scenarios
Institute of Computational Perception, Johannes Kepler University Linz（约翰开普勒林茨大学计算感知研究所）；Human-centered AI Group, AI Lab, Linz Institute of Technology（林茨理工大学人工智能实验室以人为中心的人工智能组）
本文提出多模态单分支嵌入网络SiBraR，通过权重共享编码交互数据与多模态辅助信息，有效解决冷启动与缺失模态场景下的推荐问题，显著优于现有方法。
2024-09-26 cs.AI cs.IR cs.LG
From Raw Features to Effective Embeddings: A Three-Stage Approach for Multimodal Recipe Recommendation
KAIST（韩国科学技术院）
本文提出TESMR三阶段框架，通过内容、关系和学习增强多模态特征，提升食谱推荐性能，实验表明其在Recall@10上比现有方法高7-15%。
2026-04-22 cs.IR cs.LG
PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest
Pinterest Inc.（Pinterest公司）
潜在用户表示在技术行业中被广泛采用，用于为个性化推荐系统提供动力。大多数先前的工作推断出一个单一的高维嵌入来表示用户，这是一个很好的起点，但在提供用户的兴趣的充分理解不足。在这项工作中，我们介绍PinnerSage，一个端到端的推荐系统，通过多模态嵌入代表每个用户，并利用这种丰富的用户表示提供高质量的个性化推荐。PinnerSage通过层次聚类方法（Ward）将用户的行为聚类为概念上连贯的聚类来实现这一点，并通过代表性引脚（Medoids）总结聚类以提高效率和可解释性。PinnerSage已部署在Pinterest的生产中，我们概述了使其在非常大的规模上无缝运行的几个设计决策。我们进行了几个离线和在线A/B实验，以表明我们的方法显着优于单一的嵌入方法。
2020-07-07 cs.IR cs.LG cs.SI
Emotion-Driven Personalized Recommendation for AI-Generated Content Using Multi-Modal Sentiment and Intent Analysis
University of Electronic Science and Technology of China（电子科技大学）；Columbia Business School, Columbia University（哥伦比亚大学哥伦比亚商学院）；New York University（纽约大学）
本研究提出基于多模态情感与意图分析的情绪驱动个性化推荐模型，通过融合视觉、听觉和文本信息提升推荐效果，实验显示在F1得分和损失上均有显著提升。
2025-11-25 cs.AI cs.HC cs.IR
Enhancing Personalized Recipe Recommendation Through Multi-Class Classification
Michigan State University（密歇根州立大学）
针对饮食偏好多样下的个性化食谱推荐难题，结合关联分析与考虑食谱食材多类归属的多分类技术，探索实现精准个性化推荐的方法与流程。
2024-09-16 cs.AI cs.IR cs.LG
VIP5: Towards Multimodal Foundation Models for Recommendation
Rutgers University（罗格斯大学）
提出 VIP5 多模态基础模型，统一视觉、文本和个性化模态，通过多模态个性化提示和参数高效训练（冻结主干、微调适配器）提升推荐性能与效率。
2023-10-14 cs.AI cs.HC cs.IR
Eating Healthier: Exploring Nutrition Information for Healthier Recipe Recommendation
随着个性化食谱共享网络的蓬勃发展（例如，美味），从不同的美食食谱洪水可以很容易地获得。在本文中，我们的目标是解决一个问题，许多家庭厨师遇到的时候，网上搜索食谱。也就是说，找到最适合一套方便的成分，同时遵循健康饮食指南的食谱。这项任务尤其困难，因为大部分在线食谱都被证明是不健康的。在本文中，我们提出了一个新的框架命名为NutRec，它模型的成分之间的相互作用和它们的比例在食谱中提供健康的建议。具体来说，NutRec由三个主要组件组成：1）使用基于嵌入的成分预测器来预测具有用户定义的初始成分的相关成分，2）使用基于多层感知器的网络来预测相关成分的量，3）创造一个健康的伪-根据营养信息列出成分及其数量的食谱，并推荐与伪食谱相似的顶级食谱。我们在两个食谱数据集上进行了实验，分别包括包含36，429个食谱的Allrecipes和包含89，413个食谱的Yummly。实证结果支持框架的直觉，并展示了其检索更健康的食谱的能力。
2020-03-16 cs.IR
Market2Dish: Health-aware Food Recommendation
随着肥胖症和糖尿病等疾病发病率的上升，健康饮食正引起越来越多的关注。然而，大多数现有的食品相关的研究工作集中在食谱检索，基于用户偏好的食物推荐，烹饪辅助，或菜肴的营养和热量估计，忽略了个性化的健康意识的食物推荐。因此，在这项工作中，我们提出了一个个性化的健康意识的食品推荐计划，即Market2Dish，映射的成分显示在市场上的健康菜肴在家里吃。建议的计划包括三个组成部分，即食谱检索，用户健康分析和健康意识的食物推荐。特别是，食谱检索的目的是获得可用的成分给用户，然后检索食谱候选人从一个大规模的食谱数据集。用户健康分析是通过获取从社交网络中抓取的与健康相关的文本信息来表征用户的健康状况。具体来说，为了解决健康相关信息非常稀疏的问题，我们将一个词类交互机制纳入到所提出的深度模型中，以学习文本推文和预定义的健康概念之间的细粒度相关性。对于健康感知的食物推荐，我们提出了一种新的类别感知层次记忆网络的推荐学习健康感知的用户食谱的交互更好的食物推荐。此外，大量的实验证明了健康意识的食物推荐计划的有效性。
2020-12-11 cs.IR
Towards Multi-Language Recipe Personalisation and Recommendation
多语言食谱个性化和推荐是学术和生产系统中信息检索的一个未充分开发的领域。我们目前的理解存在着许多差距，即使是在基本问题上，例如是否可以跨语言提供一致和高质量的食谱推荐。在本文中，我们介绍了多语言的食谱推荐设置和接地的结果，这将有助于建立在这一领域的未来工作的潜力和绝对价值。我们的工作借鉴了来自数百万食谱和阿拉伯语，英语，印度尼西亚语，俄语和西班牙语用户的数十亿个事件。我们使用标准化的成分，标准化的技能和图像嵌入的组合来表示食谱，而无需人工干预。在建模中，我们采取了一种经典的方法，基于优化嵌入式双线性用户-项目度量空间，以最强烈地引发烹饪意图的交互。对于没有交互历史的用户，引入了一个基于内容的冷启动模型，该模型预测上下文和食谱亲和力。我们表明，我们的个性化方法是稳定的，很容易扩展到新的语言。一个强大的交叉验证活动，并始终拒绝基线模型和表示，强烈支持我们提出的。我们的研究结果是在一个面向语言（而不是面向模型）的时尚，强调这项工作的语言为基础的目标。我们相信，这是第一个全面考虑多语言食谱推荐和个性化以及提供可扩展和可靠模型的价值和潜力的大规模工作。
2020-08-18 cs.IR cs.SI
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology（佐治亚理工学院）；Wuhan University of Technology（武汉理工大学）
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法，称为JEMA，用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入，并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化，以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐，作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明，所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
Multi-modal Food Recommendation using Clustering and Self-supervised Learning
针对多模态食品推荐中预训练表示性能不佳的问题，提出CLUSSL框架，利用聚类构建模态特定图并通过自监督学习增强表示独立性，在真实数据集上超越现有基准。
2025-02-27 cs.IR
Cross-Modal Retrieval and Synthesis (X-MRS): Closing the Modality Gap in Shared Representation Learning
Samsung AI Center（三星人工智能中心）
计算食品分析（CFA）自然需要特定食品的多模态证据，例如，使CFA成为可能的关键是多模态共享表示学习，其目的是创建数据的多个视图（文本和图像）的联合表示。在这项工作中，我们提出了一种方法，食品领域的跨模态共享表示学习，保留了巨大的语义丰富性，目前在食品数据。我们提出的方法采用了一个有效的基于变换的多语言配方编码器，加上传统的图像嵌入架构。在这里，我们建议使用不完美的多语言翻译来有效地规范模型，同时添加跨多种语言和字母表的功能。在公共Recipe1M数据集上的实验分析表明，通过所提出的方法学习的表示在检索任务上显着优于当前最先进的（SOTA）。此外，通过食谱嵌入条件下的生成食物图像合成模型证明了所学习的表示的表示能力。合成图像可以有效地再现成对样本的视觉外观，这表明学习的表示捕获了文本配方及其视觉内容的联合语义，从而缩小了模态差距。
2021-09-30 cs.CV cs.IR cs.LG
Learning TFIDF Enhanced Joint Embedding for Recipe-Image Cross-Modal Retrieval Service
Georgia Institute of Technology（佐治亚理工学院）；Wuhan University of Technology（武汉理工大学）
人们普遍认为，由于烹饪过程中成分的多样性和变形，学习具有图像的食谱的联合嵌入具有挑战性。我们提出了一种多模态语义增强的联合嵌入方法（MSJE），用于学习两种模态（文本和图像）之间的共同特征空间，最终目标是提供高性能的跨模态检索服务。我们的MSJE方法有三个独特的特点。首先，我们从菜谱的标题、配料和烹饪说明中提取TFIDF特征。通过将LSTM学习的特征与TFIDF特征相结合来确定单词序列的重要性，我们将食谱编码为TFIDF加权向量，以捕获重要的关键术语以及这些关键术语如何在相应的烹饪指令中使用。其次，我们将配方TFIDF特征与通过两阶段LSTM网络提取的配方序列特征相结合，这可以有效地捕获配方及其相关图像之间的独特关系。第三，我们进一步结合TFIDF增强的类别语义，以改善图像模态的映射，并在跨模态联合嵌入的迭代学习过程中调节相似性损失函数。在基准数据集Recipe1M上的实验表明，该方法优于现有的方法。
2021-08-02 cs.CV cs.IR
Hierarchical Attention Network for Visually-aware Food Recommendation
食物推荐系统在帮助用户确定想要吃的食物方面起着重要的作用。决定吃什么食物是一个复杂而多方面的过程，它受到许多因素的影响，如成分，食谱的外观，用户对食物的个人偏好，以及各种背景，如在过去的饭菜中吃了什么。在这项工作中，我们制定的食物推荐问题，预测用户偏好的食谱上的三个关键因素，确定用户的选择上的食物，即：1）用户的（和其他用户的）历史; 2）配方的成分;和3）的描述性图像的食谱。为了解决这个具有挑战性的问题，我们开发了一个专用的基于神经网络的解决方案层次注意力的食物推荐（HAFR），它能够：1）捕捉协同过滤效果，如类似的用户倾向于吃什么; 2）推断用户的偏好在成分水平;和3）学习用户偏好从食谱的视觉图像。为了评估我们提出的方法，我们构建了一个由AllRecipes.com的数百万评级组成的大规模数据集。大量的实验表明，我们的方法优于几个竞争的推荐解决方案，如因子分解机和视觉贝叶斯个性化排名的平均提高了12%，在预测用户对食物的偏好提供了有希望的结果。代码和数据集将在验收后发布。
2019-01-06 cs.IR
SIMMER: Cross-Modal Food Image--Recipe Retrieval via MLLM-Based Embedding
The University of Electro-Communications（电通大学）
本文提出SIMMER，利用基于MLLM的嵌入模型VLM2Vec，通过统一编码器处理食物图像和食谱文本，设计定制化提示模板和数据增强策略，实现跨模态检索的高精度。
2026-04-17 cs.CL cs.CV cs.IR
Towards Bridging the Cross-modal Semantic Gap for Multi-modal Recommendation
本文提出CLIPER框架，利用CLIP进行多视图模态对齐以弥合跨模态语义鸿沟，提取细粒度语义并集成到下游推荐模型，在三个公开数据集上取得优于现有方法的推荐性能。
2024-07-07 cs.IR
Multi-Modal Adversarial Autoencoders for Recommendations of Citations and Subject Labels
Kiel University（基尔大学）；ZBW – Leibniz Information Centre for Economics（ZBW——莱布尼茨经济信息中心）
我们提出了用于推荐的多模态对抗性自动编码器，并在两个不同的任务上对其进行了评估：引用推荐和主题标签推荐。我们分析了对抗正则化，稀疏性和不同输入方式的影响。通过进行408个实验，我们证明了对抗正则化始终提高了自动编码器的推荐性能。然而，我们证明，这两个任务不同的项目共现的语义在这个意义上，项目共现类似于相关性的情况下引用，但意味着多样性的情况下，主题标签。我们的研究结果表明，提供部分项目集作为输入是有帮助的，当项目同现相似的相关性。因此，当面对一个新的推荐任务时，考虑项目共现的语义对于选择合适的模型是至关重要的。
2019-07-22 cs.IR cs.LG stat.ML
DGEM: A New Dual-modal Graph Embedding Method in Recommendation System
Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）
在当前基于深度学习的推荐系统中，一般采用嵌入的方法来完成从高维稀疏特征向量到低维稠密特征向量的转换。然而，由于嵌入层的输入向量的维数太大，嵌入层的增加显著减慢了整个神经网络的收敛速度，这在现实场景中是不可接受的。此外，随着用户与项目之间的交互增加，项目之间的关系变得更加复杂，针对序列数据提出的嵌入方法不再适用于当前现实环境中的图形数据。因此，在本文中，我们提出了双模态图嵌入方法（DGEM）来解决这些问题。DGEM包括静态和动态两种模式。我们首先构造项目图来提取图的结构，并使用不等概率的随机游走来捕获项目之间的高阶邻近度。然后我们通过Skip-Gram模型生成图嵌入向量，最后反馈给下游深度神经网络进行推荐任务。实验结果表明，DGEM能够挖掘项目间的高阶相似度，增强推荐模型的表达能力。同时，它还利用项目之间的时间依赖关系，提高了推荐性能。
2021-08-09 cs.IR cs.LG
Cross-Modal Content Inference and Feature Enrichment for Cold-Start Recommendation
本文提出CIERec框架，通过图像标注引导视觉到语义的映射，并融合协同、视觉与跨模态推断表示来增强内容特征，从而显著提升冷启动推荐性能。
2023-07-06 cs.IR
Socially Aware Music Recommendation: A Multi-Modal Graph Neural Networks for Collaborative Music Consumption and Community-Based Engagement
University of Maryland（马里兰大学）
本文提出多模态图神经网络MM-GNN，通过无融合深度互学习、异构图社交建模和情感感知嵌入，实现社交感知的个性化音乐推荐，并在基准数据集上显著超越现有方法。
2025-09-13 cs.IR cs.LG cs.MM
Online Distillation-enhanced Multi-modal Transformer for Sequential Recommendation
本文针对多模态序列推荐提出模型无关的在线蒸馏增强多模态Transformer（ODMT）框架，通过ID感知多模态Transformer和在线蒸馏策略促进多源特征交互与相互学习，在流媒体和电商数据集上相比基线模型性能提升约10%。
2023-08-14 cs.IR
Movie Recommendation with Poster Attention via Multi-modal Transformer Feature Fusion
BNU-HKBU United International College（北师港浸会联合国际学院）；Research Center for Mathematics, Beijing Normal University（北京师范大学数学研究中心）
本研究提出融合BERT文本特征、ViT海报特征的多模态Transformer电影推荐模型，在MovieLens数据集上验证了其相比基线算法更高的评分预测准确率，为跨模态视频推荐提供了可行方案。
2024-07-12 cs.AI cs.IR cs.LG
Dataset and Models for Item Recommendation Using Multi-Modal User Interactions
本文针对多模态用户交互中模态缺失问题，发布真实数据集并基准测试多种推荐方法，提出将交互映射到公共特征空间的新方法，发现高频模态可增强低频模态的学习。
2024-05-07 cs.IR
Enhancing Recipe Retrieval with Foundation Models: A Data Augmentation Perspective
本文提出利用基础模型（Llama2和SAM）进行数据增强，并引入DAR框架，通过适配器层和多层级圆损失增强食谱与图像表示，在Recipe1M数据集上大幅超越现有方法。
2024-07-17 cs.IR
BBQRec: Behavior-Bind Quantization for Multi-Modal Sequential Recommendation
针对多模态序列推荐中碎片化量化和语义ID过度依赖导致的跨模态语义割裂问题，提出BBQRec方法，通过行为-语义对比码本对齐和离散化相似度重加权机制，在四个基准上取得优于现有方法的推荐性能。
2025-04-09 cs.IR
Sequential Modality Dropout for Robust Multi-Modal Sequential Recommendation
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出序列模态丢弃（SMD），通过训练时随机擦除模态流提升多模态序列推荐器的鲁棒性，在四个骨干网络和亚马逊数据集上显著提升了缺失模态下的推荐准确率，且几乎不损失完整模态性能。
2026-08-12 cs.IR cs.LG cs.MM
Large Multi-modal Encoders for Recommendation
本文研究将CLIP与VLMo等大型多模态编码器用于推荐，通过预训练、微调和端到端训练策略，在三个数据集上验证其能获得更对齐有效的用户/物品表示并提升推荐性能。
2023-11-03 cs.IR cs.MM
Structure-Preserving Projection for Mitigating Modality Bias in LLM-Based Sequential Recommendation
National Taiwan University（台湾大学）
本文针对基于LLM的序列推荐中投影引入的模态偏差问题，提出结构保留投影方法，通过专用损失维持协同嵌入关系几何，经实验验证可提升推荐性能。
2026-08-11 cs.IR
Universal Multi-modal Multi-domain Pre-trained Recommendation
针对现有多域预训练推荐忽略多模态物品内容、未充分利用全交互域用户行为的问题，提出UniM^2Rec方法预训练通用多模态物品表示，可高效迁移至新域，在5个真实数据集上性能优于现有方法。
2023-11-03 cs.IR
Retrieval Augmented Cross-Modal Tag Recommendation in Software Q&A Sites
提出检索增强跨模态标签推荐模型，通过外部知识检索增强表示，并利用跨模态注意力与门控融合，在三个真实数据集上超越现有方法。
2024-02-06 cs.IR
MDE: Modality Discrimination Enhancement for Multi-modal Recommendation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Singapore University of Social Sciences（新加坡社会科学大学）
针对多模态推荐中模态特定特征被忽视的问题，提出MDE框架，通过新颖融合模块增强模态差异并引入节点级权衡机制，在三个公开数据集上显著优于现有方法。
2025-02-08 cs.AI cs.IR
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA（英伟达）
基于会话的推荐是电子商业服务中的一项重要任务，其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中，我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发，由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集，我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析，以更好地了解我们的架构的有效性，基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
Joint Behavior-guided and Modality-coherence Conditional Graph Diffusion Denoising for Multi Modal Recommendation
Huazhong University of Science and Technology（华中科技大学）
本文提出JBM-Diff模型，通过多视图信息传播和特征融合去除多模态特征中的冗余信息，并从行为角度检测样本对的偏序一致性以提升推荐准确性。
2026-04-04 cs.IR
Generating Negative Samples for Multi-Modal Recommendation
针对多模态推荐系统负采样难以有效利用多模态数据的问题，提出利用多模态大型语言模型生成均衡对比负样本的NegGen框架，通过提示模板和因果学习模块提升性能，实验证明其优于现有方法。
2025-08-21 cs.IR
MENTOR: Multi-level Self-supervised Learning for Multimodal Recommendation
本文提出MENTOR多层级自监督多模态推荐方法，通过GCN模态增强、物品语义图及跨模态对齐与通用特征增强任务，缓解标签稀疏和模态噪声问题。
2024-02-29 cs.IR
Are Multimodal Embeddings Truly Beneficial for Recommendation? A Deep Dive into Whole vs. Individual Modalities
University of Glasgow（格拉斯哥大学）；Michigan State University（密歇根州立大学）
研究探讨多模态嵌入对推荐效果的实际影响，发现整体嵌入提升效果有限，但文本模态单独使用效果显著，图像模态则不具优势。
2026-01-16 cs.IR
CLEAR: Null-Space Projection for Cross-Modal De-Redundancy in Multimodal Recommendation
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）
CLEAR通过显式减少跨模态冗余提升多模态推荐性能，采用子空间投影方法增强表示学习动态。
2026-03-02 cs.IR cs.MM
It is Never Too Late to Mend: Separate Learning for Multimedia Recommendation
针对多媒体推荐中模态对齐损害模态独有属性的问题，提出分离学习（SEA）框架，通过互信息上下界分别学习模态独有和通用特征，在三个数据集上验证了有效性。
2024-12-17 cs.IR
Cross-Modal Retrieval in the Cooking Context: Learning Semantic Text-Image Embeddings
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Conservatoire National des Arts et Métiers（法国国立工艺学院）
设计支持烹饪活动的强大工具已经迅速流行起来，这是由于大量的可用数据，以及机器学习能够分析这些数据的最新进展。在本文中，我们提出了一个跨模态检索模型对齐视觉和文本数据（如图片的菜肴和他们的食谱）在一个共享的表示空间。我们描述了一个有效的学习方案，能够解决大规模的问题，并在包含近100万个图片-食谱对的Recipe 1 M数据集上进行了验证。我们展示了我们的方法对以前最先进的模型的有效性，并在计算烹饪用例中给出了定性结果。
2018-04-30 cs.CL cs.CV cs.IR
Multi-Modal Self-Supervised Learning for Recommendation
针对多模态推荐中标签依赖强、稀疏行为鲁棒性弱的问题，提出 MMSSL，通过对抗扰动的模态感知交互结构学习与跨模态对比学习提升推荐性能。
2023-07-18 cs.IR
Beyond Noisy Signals: Dual-Level Denoising for Multi-modal Sequential Recommendation
University of Science and Technology of China（中国科学技术大学）
研究多模态序列推荐中的双重噪声困境，提出DDMSR框架，从特征拓扑和序列频率角度净化信号，设计基于图的特征去噪与频域序列去噪模块，纳入多模态对比对齐目标，实验证明该框架性能优于基线。
2026-08-17 cs.IR
Multi-modal Generative Models in Recommendation System
针对现有推荐系统模态独立处理、交互形式单一的问题，本文指出未来推荐系统需结合多模态生成能力实现 richer 交互，并综述了同时使用多数据模态的推荐系统相关研究。
2024-09-17 cs.IR
Towards Transfer-Efficient Multi-modal Sequential Recommendation with State Space Duality
East China University of Science and Technology（华东理工大学）
本文提出MMM4Rec模型，通过结合态空间双重视角和全局时间建模，提升多模态序列推荐的迁移效率与准确性，实验表明其在大规模下游数据集上收敛速度提升10倍。
2026-07-31 cs.IR
Bootstrap Latent Representations for Multi-modal Recommendation
针对多模态推荐中辅助图计算开销大、负样本引入噪声的问题，提出无需辅助图和负样本的自监督模型BM3，通过自举潜在对比视图和多目标优化提升性能并大幅缩短训练时间。
2023-05-01 cs.IR
Collaborative Recommendation Model Based on Multi-modal Multi-view Attention Network: Movie and literature cases
本文提出基于多模态多视图注意力网络的协同推荐模型CRMMAN，通过结合用户偏好与厌恶视图及场景语义结构信息丰富表示，在MovieLens-1M和Book-Crossing数据集上显著提升了推荐性能。
2023-05-24 cs.IR
Multi-Modal Multi-Behavior Sequential Recommendation with Conditional Diffusion-Based Feature Denoising
Peking University（北京大学）；Wuhan University（武汉大学）；Shanghai University of International Business（上海国际商务大学）；Microsoft（微软公司）
针对多模态多行为序列推荐中模态偏好刻画不足、行为噪声和模态噪声问题，提出M$^3$BSR模型，利用条件扩散去噪和多专家兴趣提取，显著提升推荐性能。
2025-08-07 cs.AI cs.IR
D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
该研究针对多模态推荐中同质性与异质性判别信息联合学习的缺陷，提出D3ER方法，引入梯度提升并结合知识蒸馏与全局校正正则化，在真实数据集上验证了其优越性。
2026-08-27 cs.IR cs.MM
Adaptive Multi-Modalities Fusion in Sequential Recommendation Systems
针对顺序推荐中多模态融合阶段争议，提出基于图的MMSR方法，通过自适应融合顺序和双重注意力机制，在六个数据集上超越现有模型，并自然处理缺失模态。
2023-08-30 cs.IR
SynGR: Unleashing the Potential of Cross-Modal Synergy for Generative Recommendation
School of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能学院）；School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院）
本文提出SynGR框架，通过显式鼓励生成过程中的跨模态依赖，以捕捉新兴物品语义，从而提升生成推荐性能。
2026-07-21 cs.AI cs.IR
Beyond Co-occurrence: Multi-modal Session-based Recommendation
针对基于会话推荐过度依赖物品ID共现的问题，提出MMSBR统一建模描述性与数值多模态信息，并通过对比学习、分层枢轴transformer和Wasserstein自注意力提升推荐效果、缓解冷启动。
2023-09-29 cs.IR
QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou
Kuaishou Technology（快手科技）
本文提出QARM框架，通过定量对齐解决多模态预训练与推荐任务间的表示不匹配和不可学习问题，为下游模型定制可训练的多模态信息。
2024-11-18 cs.AI cs.IR
Knowledge graph-based personalized multimodal recommendation fusion framework
针对传统推荐方法难以捕捉用户细微兴趣的问题，提出CrossGMMI-DUKGLR框架，结合预训练模型、多头交叉注意力与图注意力网络，优化多模态融合与高阶依赖建模，提升推荐表征精度。
2025-09-03 cs.IR
Disentangling and Generating Modalities for Recommendation in Missing Modality Scenarios
KAIST（韩国科学技术院）
针对多模态推荐中模态缺失问题，提出DGMRec框架，通过解耦通用与特定模态特征并生成缺失模态，显著提升推荐性能并支持跨模态检索。
2025-04-23 cs.AI cs.IR
