SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
研究针对推荐场景中Transformer性能瓶颈问题,提出SpecFormer,通过引入可学习频谱软化模块、频谱软化注意力机制和频谱残差位置编码,有效减轻嵌入和注意力崩溃,实验证明其显著优于基线且有卓越扩展能力。
2026-08-04 cs.IR cs.LG
Attention-based neural re-ranking approach for next city in trip recommendations
Edinburgh(爱丁堡);Saint-Petersburg(圣彼得堡)
本文描述了一种解决旅游预订系统下一个目的地城市推荐问题的方法。我们提出了一个两阶段的方法:一个启发式的候选人选择方法和一个注意力神经网络模型的候选人重新排名。我们的方法的灵感来自列表学习排名方法和自然语言处理的最新发展,特别是Transformer架构。我们使用这种方法来解决Booking.com推荐挑战我们的团队使用这种方法在挑战中获得了第5名,在数据集的封闭部分上获得了0.555的准确度@4值。
2021-03-23 cs.IR cs.LG
Pairwise Interactive Graph Attention Network for Context-Aware Recommendation
Nanjing University(南京大学)
上下文感知推荐系统(CARS)考虑了丰富的边信息来提高推荐性能,引起了学术界和工业界越来越多的关注。如何从不同的上下文特征中预测用户偏好是CARS的核心。最近的几个模型关注用户行为,并使用专门设计的结构来从历史行为中提取自适应的用户兴趣。然而,很少有研究考虑项目历史交互,这导致项目特征表示和项目吸引力提取的不足。根据这些观察,我们将用户-项目交互建模为动态交互图(DIG),并提出了一种基于GNN的模型,称为成对交互图注意力网络(PIGAT),以同时捕获动态用户兴趣和项目吸引力。PIGAT引入了注意力机制来考虑每个交互的用户/项目对用户和项目的重要性,该机制捕获用户兴趣、项目吸引力及其对推荐上下文的影响。此外,置信度嵌入应用于交互,以区分在不同时间发生的交互的置信度。然后,更有表现力的用户/项目表示和自适应交互功能,这有利于推荐性能,特别是当涉及长尾项目。我们在三个真实世界的数据集上进行实验,以证明PIGAT的有效性。
2019-11-18 cs.IR cs.LG
Price-guided user attention in large-scale E-commerce group recommendation
Rakuten Group, Inc.(乐天集团)
本文针对群组推荐中关键用户选择受价格影响的问题,提出以商品价格引导用户聚合的注意力方法,通过自适应sigmoid调整logits,并在命中率和均方误差上优于现有方法。
2024-10-02 cs.IR cs.LG
Movie Recommendation with Poster Attention via Multi-modal Transformer Feature Fusion
BNU-HKBU United International College(北师港浸会联合国际学院);Research Center for Mathematics, Beijing Normal University(北京师范大学数学研究中心)
本研究提出融合BERT文本特征、ViT海报特征的多模态Transformer电影推荐模型,在MovieLens数据集上验证了其相比基线算法更高的评分预测准确率,为跨模态视频推荐提供了可行方案。
2024-07-12 cs.AI cs.IR cs.LG
An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention
Yonsei University(延世大学)
首次揭示序列推荐中自注意力的低通滤波本质及过度平滑问题,提出利用傅里叶变换注入归纳偏置并整合高低频信息的BSARec方法,在6个数据集上优于7种基线。
2024-02-17 cs.AI cs.IR cs.LG
Hybrid-Hierarchical Fashion Graph Attention Network for Compatibility-Oriented and Personalized Outfit Recommendation
Tarbiat Modares University (TMU)(塔比亚特莫达雷斯大学)
针对现有研究独立处理穿搭兼容性和个性化推荐的问题,提出FGAT框架,通过用户-穿搭-商品三层图及图注意力机制联合建模,在POG数据集上多指标优于基线,提升推荐效果。
2025-08-20 cs.IR cs.LG
Modeling Long-Term and Short-Term Interests with Parallel Attentions for Session-based Recommendation
Shanghai Jiao Tong University(上海交通大学)
基于会话的推荐的目的是预测用户的下一个点击项目,这是一个具有挑战性的任务,由于用户行为的固有的不确定性和匿名的隐式反馈信息。强大的基于会话的推荐器通常可以探索用户不断变化的兴趣(即,他/她的长期和短期利益的结合)。注意力机制的最新进展已经导致了用于解决该任务的最先进的方法。然而,存在两个主要缺点。首先,大多数基于注意力的方法只是简单地利用最后一次点击的项目来表示用户的短期兴趣,忽略了时间信息和行为上下文,这可能无法全面地捕获用户的近期偏好。其次,目前的研究通常认为长期和短期利益同样重要,但它们的重要性应该是用户特定的。因此,我们提出了一种新的并行注意力网络模型(PAN)的基于会话的推荐。具体而言,我们提出了一种新的时间感知的注意力机制,学习用户的短期兴趣,同时考虑到上下文信息和时间信号。此外,我们引入了一个门控融合方法,自适应地整合用户的长期和短期的喜好,以产生混合兴趣表示。在三个真实数据集上的实验表明,PAN方法比现有方法有明显的改进。
2020-07-24 cs.IR cs.LG
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University(首尔大学);POSTECH(浦项工科大学);Neural Processing Research Center(神经处理研究中心)
近年来,基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯,这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而,目前的方法有一些局限性。首先,顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次,使用简单的嵌入方案可能导致信息瓶颈,因为相同的嵌入必须代表所有可能的上下文偏见。第三,由于以前的模型在每个注意力头部中使用相同的位置嵌入,它们可以浪费地学习重叠模式。为了解决这些限制,我们提出了MEANTIME(AtteNTION机制与多时间嵌入的混合),它采用多种类型的时间嵌入,旨在从用户的行为序列中捕获各种模式,以及充分利用这种多样性的注意力结构。对真实数据的实验表明,我们提出的方法优于当前最先进的顺序推荐方法,我们提供了一个广泛的消融研究,分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
Mixed Attention Network for Cross-domain Sequential Recommendation
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Kuaishou Technology(快手科技);Hefei University of Technology(合肥工业大学)
本文提出混合注意力网络(MAN),通过局部与全局注意力模块提取领域特定和跨领域信息,解决跨域序列推荐中依赖重叠用户的问题,在两个真实数据集上验证了优越性。
2023-11-14 cs.IR cs.LG
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia(弗吉尼亚大学)
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时,大多关注顺序行为之间的过渡结构,而忽略了时间和上下文信息。在本文中,我们认为,过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此,我们提出了一个语境化的时间注意力机制,它学会权衡历史行动的影响,不仅是什么行动,而且行动何时以及如何发生。更具体地说,为了动态地校准来自自注意力机制的相对输入依赖性,我们部署了多个参数化核函数来学习各种时间动态,然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中,我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
Heterogeneous Graph Learning for Explainable Recommendation over Academic Networks
Dalian University of Technology(大连理工大学);Federation University Australia(澳大利亚联邦大学);University of South Australia(南澳大学);China University of Petroleum(中国石油大学)
随着每年新毕业的研究学位的爆炸性增长,对于早期职业研究人员来说,在合适的机构找到工作是前所未有的挑战。本研究旨在了解学术工作转换的行为,从而为博士毕业生推荐合适的机构。具体来说,我们设计了一个深度学习模型来预测早期职业研究人员的职业流动并提供建议。该设计建立在学术/学术网络之上,其中包含有关学者和机构之间科学合作的丰富信息。本研究建构一异质性学术网络,以探讨学者之生涯变动行为与推荐机构。我们设计了一个无监督学习模型HAI(Heterogeneous graph Attention InfoMax),它将注意力机制和互信息聚合起来用于机构推荐。此外,我们提出学者注意力和元路径注意力来发现多个元路径之间隐藏的关系。通过这些机制,HAI提供了具有可解释性的有序建议。我们评估HAI对基线方法的真实世界的数据集。实验结果验证了该方法的有效性和效率。
2022-02-16 cs.AI cs.IR cs.LG
SOLAR: SVD-Optimized Lifelong Attention for Recommendation
SOLAR通过SVD-Attention优化低秩结构,提升推荐系统中长序列建模效率,实现0.68%的视频观看量增长。
2026-10-01 cs.CV cs.IR cs.LG
LLM-Assisted Knowledge Graph Completion for Curriculum and Domain Modelling in Personalized Higher Education Recommendations
University of Siegen(锡根大学);Institute for Knowledge-Based Systems and Knowledge Management(知识与知识管理研究所);Institute for Embedded Systems(嵌入式系统研究所);Department of Digital Health Sciences and Biomedicine(数字健康科学与生物医学系)
本文提出利用大语言模型辅助知识图谱补全,为高等教育课程建模并生成个性化学习路径,经专家与图指标验证有效。
2025-01-21 cs.AI cs.HC
KGAT: Knowledge Graph Attention Network for Recommendation
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Shandong University(山东大学)
为了提供更准确、多样和可解释的推荐,必须超越对用户-项目交互的建模,并考虑辅助信息。传统的方法如因子分解机(FM)将其视为一个监督学习问题,它假设每个交互都是一个独立的实例,并对边信息进行编码。由于忽略了实例或项目之间的关系(例如,一部电影的导演也是另一部电影的演员),这些方法不足以从用户的集体行为中提取协作信号。在这项工作中,我们调查的效用知识图谱(KG),打破了独立的相互作用的假设,连接项目与他们的属性。我们认为,在这样一个混合结构的KG和用户项目图,高阶关系-连接两个项目与一个或多个链接属性-是成功的推荐的一个必不可少的因素。我们提出了一种新的方法命名为知识图谱注意力网络(KGAT),显式模型的高阶连接在KG端到端的方式。它递归地从节点的邻居(可以是用户、项目或属性)传播嵌入以细化节点的嵌入,并采用注意力机制来区分邻居的重要性。我们的KGAT在概念上有利于现有的KG为基础的推荐方法,利用高阶关系提取路径或隐式建模与正则化。三个公共基准测试的实证结果表明,KGAT的性能明显优于Neural FM和RippleNet等最先进的方法。进一步的研究验证了嵌入传播对高阶关系建模的有效性和注意力机制带来的可解释性优势。
2019-06-08 cs.IR cs.LG stat.ML
GRACE: Generative Recommendation via Journey-Aware Sparse Attention on Chain-of-Thought Tokenization
Walmart Global Tech(沃尔玛全球技术)
GRACE提出结合思维链标记化与旅程感知稀疏注意力的生成式多行为推荐框架,通过知识图谱属性编码和选择性注意力机制,在显著提升推荐准确率的同时降低计算成本。
2025-07-19 cs.AI cs.CL cs.IR
ACDNet: Attention-guided Collaborative Decision Network for Effective Medication Recommendation
Southeast University(东南大学)
本文提出 ACDNet,结合注意力机制、Transformer 与协同决策框架建模患者历史就诊及用药-药物表示相似性,并在 MIMIC-III/IV 上验证其药物推荐性能优于现有方法。
2023-09-26 cs.LG
Research Progress of News Recommendation Methods
Northeastern University(东北大学)
由于研究者的研究目的是针对不同的业务领域进行个性化推荐,因此总结特定领域的推荐方法具有一定的现实意义。新闻推荐系统是推荐系统最早的研究领域,也是最早应用协同过滤方法的推荐领域。此外,新闻具有实时性和内容丰富性,这使得新闻推荐方法比其他领域更具挑战性。因此,本文综述了新闻推荐方法的研究进展。从2018年到2020年,开发的新闻推荐方法主要是基于深度学习、基于注意力和基于知识图谱。截至2020年,结合了注意力机制和知识图谱的新闻推荐方法很多。然而,这些方法都是基于基本方法(协同过滤方法、基于内容的推荐方法以及结合两者的混合推荐方法)开发的。为了让研究者对新闻推荐方法的发展过程有一个详细的了解,本文将所调研的近10年的新闻推荐方法按照上述基本方法分为三类。首先介绍了每类方法的基本思想,然后根据研究成果的时间顺序,总结了基于每类方法与其他方法相结合的推荐方法。最后,本文还总结了新闻推荐系统面临的挑战。
2021-03-08 cs.AI cs.CL cs.IR
Attention Enhanced Entity Recommendation for Intelligent Monitoring in Cloud Systems
Microsoft(微软)
本文提出DiRecGNN框架,通过增强注意力机制解决云服务监控中推荐最优属性子集的问题,实验显示MRR提升43.1%,产品团队评价该功能非常有用。
2026-06-29 cs.LG
A Neural Attention Model for Adaptive Learning of Social Friends' Preferences
Maastricht University(马斯特里赫特大学)
基于社会的推荐系统利用好友的选择来对抗用户偏好的数据稀疏性,提高协同过滤策略的推荐准确率。主要的挑战是捕捉和权衡朋友的偏好,因为在实践中,他们确实必然匹配。本文提出了一种用于社会协同过滤的神经注意力机制,即NAS。我们设计了一个神经架构,通过考虑朋友对用户行为的社会潜在影响来仔细计算朋友偏好的非线性。此外,我们引入了一个社会行为的注意力机制,自适应地权衡朋友对用户偏好的影响,从而产生准确的建议。我们在公开数据集上的实验证明了所提出的NAS模型比其他最先进的方法的有效性。此外,我们研究了建议的社会行为注意力机制的效果,并表明它是一个关键因素,我们的模型的性能。
2019-06-29 cs.IR cs.LG cs.SI
C-TLSAN: Content-Enhanced Time-Aware Long- and Short-Term Attention Network for Personalized Recommendation
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
针对序列推荐中用户偏好建模问题,提出融合物品文本语义的C-TLSAN模型,在Amazon数据集上多项指标显著优于基线,验证了内容增强对时序推荐的价值。
2025-06-16 cs.LG
Local Information Assisted Attention-free Decoder for Audio Captioning
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
自动音频字幕旨在使用自然语言来描述带有字幕的音频数据。现有方法通常采用编码器-解码器结构,其中基于注意力的解码器(例如,Transformer解码器)得到广泛应用,并实现了最先进的性能。虽然该方法通过自注意力机制有效地捕获音频数据内的全局信息,但是由于其在捕获音频信号中的局部信息方面的限制,其可能忽略具有短持续时间的事件,导致对字幕的不准确预测。为了解决这个问题,我们提出了一种方法,使用预训练的音频神经网络(PANN)作为编码器和本地信息辅助的注意力自由Transformer(LocalAFT)作为解码器。我们的方法的新颖性在于LocalAFT解码器的提议,其允许捕获音频信号内的局部信息,同时保留全局信息。这使得能够捕获不同持续时间(包括短持续时间)的事件以用于更精确的字幕生成。实验表明,我们的方法优于国家的最先进的方法在任务6的DCASE 2021挑战与标准的基于注意力的解码器的字幕生成。
2022-07-03 cs.LG cs.SD eess.AS
AI-assisted Coding with Cody: Lessons from Context Retrieval and Evaluation for Code Recommendations
Sourcegraph
本文以Cody为例探讨基于LLM的编程助手,将其代码推荐任务与传统推荐系统对比,总结上下文检索增强及离线和在线评估的经验教训。
2024-08-09 cs.IR cs.LG cs.SE
Time-aware Self-Attention Meets Logic Reasoning in Recommender Systems
Jiaying University(嘉应学院)
在大数据时代,推荐系统作为我们日常生活中信息过滤的关键手段已经取得了显着的成功。近年来,推荐系统的技术发展经历了从感知学习到认知推理的过程,将推荐任务直观地构建为逻辑推理的过程,并取得了显著的进步。然而,推理中的逻辑陈述隐含地承认了排序的无关性,甚至没有考虑在许多推荐任务中起重要作用的时间信息。此外,结合时间上下文的推荐模型将倾向于自我关注,即,自动聚焦更多(更少)的相关性(无关性)。针对这些问题,本文提出了一种基于时间感知的自注意力神经协作推理(TiSANCR)推荐模型,将时间模式和自注意力机制集成到基于推理的推荐中。特别是,时间模式表示的相对时间,提供上下文和辅助信息来描述用户的偏好在推荐,而自我注意是利用提取信息模式和抑制无关。因此,自我注意的时间信息的融合提供了更深层次的表示用户的偏好。在基准数据集上进行的大量实验表明,提出的TiSANCR推荐算法性能显著提高,并且始终优于现有的推荐方法。
2022-08-29 cs.AI cs.IR cs.LG
FD-GATDR: A Federated-Decentralized-Learning Graph Attention Network for Doctor Recommendation Using EHR
Iowa State University(爱荷华州立大学);IQVIA(艾昆纬);The Ohio State University(俄亥俄州立大学)
在过去的十年中,随着大数据技术的发展,越来越多的患者信息被存储为电子健康记录(EHR)。利用这些数据,已经提出了各种医生推荐系统。通常,这样的研究以平面结构的方式处理EHR数据,其中每个遭遇都被视为无序的特征集。然而,不应忽视索赔中存储的服务顺序等异构结构化信息。本文提出了一个具有时间嵌入的医生推荐系统,利用异构图注意力网络重构患者和医生之间的潜在联系。此外,针对跨医院患者数据共享的隐私问题,提出了一种基于最小化优化模型的联邦分散学习方法。基于图的推荐系统已经在EHR数据集上进行了验证。与基线模型相比,该方法将AUC提高了6.2%。我们所提出的基于联邦的融合算法,不仅产生虚拟融合中心的性能,但也享有O(1/T)的收敛速度。
2022-07-11 cs.AI cs.IR cs.LG
Interacting Attention-gated Recurrent Networks for Recommendation
Delft University of Technology(代尔夫特理工大学);Nanyang Technological University(南洋理工大学)
捕获用户对项目的偏好的时间动态对于推荐是重要的。现有的方法主要假设用户-项目交互历史中的所有时间步都与推荐同等相关,然而这并不适用于用户-项目交互经常意外发生的现实场景。更重要的是,它们分别学习用户和项目动态,因此无法捕捉它们对用户-项目交互的联合影响。为了更好地模拟用户和项目动态,我们提出了交互式注意力门控递归网络(IARN),它采用注意力模型来衡量每个时间步的相关性。特别是,我们提出了一种新的注意力计划,以学习用户和项目的历史中的交互方式的注意力分数,从而考虑到用户和项目之间的依赖关系的动态塑造用户-项目的交互。通过这样做,IARN可以在预测用户对不同项目的偏好时有选择地记住用户历史的不同时间步骤。因此,我们的模型可以为推荐结果提供有意义的解释,这可以通过辅助功能进一步增强。对真实世界数据集的广泛验证表明,IARN始终优于最先进的方法。
2017-09-07 cs.AI cs.IR cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research(Deezer研究院)
本文提出MOJITO,一种改进的Transformer序列推荐系统,利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模,在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Enhancing Performance and Scalability of Large-Scale Recommendation Systems with Jagged Flash Attention
Meta Platforms(元平台公司)
本文提出 Jagged Flash Attention,通过高效处理动态大小张量提取长类别特征细粒度信息,相比密集注意力实现高达9倍加速和22倍内存减少,在生产中提升10% QPS并节省18%内存,有效增强大规模推荐系统性能与可扩展性。
2024-09-19 cs.AI cs.IR cs.LG
Origin-Aware Next Destination Recommendation with Personalized Preference Attention
GrabTaxi Holdings(GrabTaxi控股公司);School of Computing, National University of Singapore(新加坡国立大学计算学院);National University of Singapore(新加坡国立大学);Grab-NUS AI Lab(Grab-新加坡国立大学人工智能实验室)
下一个目的地推荐是出租车和乘车服务的运输领域中的重要任务,其中用户被推荐具有个性化目的地,给出他们当前的起源位置。然而,最近的推荐工作并不满足这种原产地意识属性,只考虑从历史目的地位置,没有原产地信息的学习。因此,所得到的方法不能基于用户的当前位置来学习和预测来源感知推荐,导致次优性能和较差的现实世界实用性。因此,在这项工作中,我们研究了原产地感知的下一个目的地推荐任务。我们提出了时空起点-目的地个性化偏好注意力(STOD-PPA)编码器-解码器模型,通过首先在局部和全局视图中使用空间和时间因素对起点和目的地序列进行编码,然后通过个性化偏好注意力对其进行解码,以预测下一个目的地,从而学习起点-起点(OO),目的地-目的地(DD)和起点-目的地(OD)关系。在七个真实用户轨迹出租车数据集上的实验结果表明,我们的模型显着优于基线和最先进的方法。
2021-01-11 cs.AI cs.IR cs.LG
Reading Between the Lines: Modeling User Behavior and Costs in AI-Assisted Programming
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
研究程序员与GitHub Copilot等代码推荐系统的交互,提出CUPS行为分类体系,通过21名程序员实验揭示交互低效与时间成本,为界面设计和评估指标提供依据。
2024-04-22 cs.HC cs.LG cs.SE
HMAR: Hierarchical Masked Attention for Multi-Behaviour Recommendation
University of Hildesheim(希尔德斯海姆大学);Volkswagen Financial Services AG(大众汽车金融服务股份公司)
针对多行为推荐中历史交互序列模式捕捉难的问题,提出分层掩码注意力模型HMAR,结合分层注意力、历史行为指示器与多任务学习,在四个真实数据集上性能超越现有最优方法。
2024-04-29 cs.IR cs.LG
When AI Gets it Wrong: Reliability and Risk in AI-Assisted Medication Decision Systems
Ducaltus(Ducaltus公司);School of Computing, Engineering & Digital Technologies(计算、工程与数字技术学院);Teesside University(泰赛德大学)
本文研究了AI辅助用药系统在现实决策中的可靠性问题,通过模拟药物相互作用和剂量决策场景,分析系统故障类型及其潜在临床影响,强调在安全关键领域如药房实践中,需补充传统性能指标的风险意识评估方法。
2026-05-19 cs.AI cs.LG
TV-Rec: Time-Variant Convolutional Filter for Sequential Recommendation
KAIST(韩国科学技术院)
TV-Rec通过引入时间变换单元卷积滤波器,提升了序列推荐中对复杂用户行为交互模式的捕捉能力,同时减少了计算量并加速了推理过程。
2025-10-29 cs.AI cs.IR cs.LG
Personalized Graph Neural Networks with Attention Mechanism for Session-Aware Recommendation
会话感知推荐的目标是根据用户的当前会话和历史会话预测用户的下一次点击。现有的会话感知推荐方法在捕捉复杂的项目转换关系方面存在缺陷。除此之外,他们中的大多数都没有明确区分不同历史会话对当前会话的影响。为此,我们提出了一种新的方法,命名为个性化图神经网络与注意力机制(A-PGNN)的简洁。A-PGNN主要由两部分组成:一是个性化图神经网络(PGNN),用于提取每个用户行为图中的个性化结构信息,而传统的图神经网络(GNN)模型在节点嵌入更新时考虑了用户的角色。另一种是点积注意力机制,它利用Transformer网络来显式地模拟历史会话对当前会话的影响。在两个真实数据集上进行的大量实验表明,A-PGNN明显优于最先进的个性化会话感知推荐方法。
2021-01-27 cs.IR cs.LG
Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
Meta
该研究揭示了推荐模型中交叉注意力隐式执行正交对齐机制,发现其能自然产生并改善缩放定律,在超300次实验中提升性能,为多模态参数高效缩放提供了新方向。
2025-10-10 cs.IR cs.LG
Attention-based Mixture Density Recurrent Networks for History-based Recommendation
eBay;New York University(纽约大学)
个性化的基于历史的推荐的目标是自动输出一个分布在所有的项目给定的一系列以前购买的用户。在这项工作中,我们提出了一种新的方法,使用一个经常性的网络来总结购买的历史,连续的向量表示项目的可扩展性,和一个新的基于注意力的经常性混合密度网络,它输出每个组件的混合物顺序,建模多模态条件分布。我们在两个公开的数据集MovieLens-20 M和RecSys 15上评估了所提出的方法。实验表明,所提出的方法,明确建模的多模态性质的预测分布,是能够提高性能在各种基线的精度,召回率和nDCG。
2017-09-22 cs.IR cs.LG
SAM: A Self-adaptive Attention Module for Context-Aware Recommendation System
School of Data Science, Fudan University(复旦大学数据科学学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
近年来,文本信息在推荐系统中的作用越来越受到人们的重视。然而,现有的评价方法大多只关注评分中文本信息的表示学习,而忽略了文本信息可能引起的选择偏差。在这项工作中,我们提出了一种新的和一般的自适应模块,自适应注意力模块(SAM),它调整的选择偏差,通过捕获上下文信息的基础上,其表示。该模块可以嵌入到包含上下文信息的学习组件的推荐系统中。在三个真实数据集上的实验结果证明了我们的建议的有效性,与SAM的最先进的模型显着优于原来的。
2021-10-13 cs.IR cs.LG
Adaptive Bi-Recommendation and Self-Improving Network for Heterogeneous Domain Adaptation-Assisted IoT Intrusion Detection
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学);University of New Brunswick(新不伦瑞克大学)
随着物联网设备的普及,使用入侵检测来保护物联网免受恶意入侵至关重要。然而,物联网的数据稀缺性阻碍了传统入侵检测方法的有效性。针对这一问题,本文提出了一种基于无监督异构领域自适应(HDA)的自适应双向推荐自改进网络(ABRSI)。ABRSI从数据丰富的网络入侵源域传输丰富的入侵知识,以促进数据稀缺的物联网目标域的有效入侵检测。ABRSI通过自适应双推荐匹配实现细粒度的入侵知识传递。两个推荐系统的双向推荐兴趣匹配和入侵类别在共享特征空间中的对齐形成了一个互利的循环。此外,ABRSI还采用了自改进机制,从四个方面自主改进入侵知识传递。硬伪标签投票机制联合考虑推荐系统决策和标签关系信息,以促进更准确的硬伪标签分配。为提高入侵知识传递过程中的多样性和目标数据参与度,对不能被分配硬伪标签的目标实例分配概率软伪标签,形成混合伪标签策略.与此同时,ABRSI也使得软伪标签在全球范围内多样化,并具有个体确定性。最后,利用错误知识学习机制来对抗性地利用导致检测模糊的因素,并通过当前和先前的错误知识进行学习,防止错误知识遗忘。从整体上讲,这些机制形成了ABRSI模型,通过HDA辅助的入侵知识转移来提高物联网入侵检测的准确性。
2023-03-25 cs.CR cs.CY cs.LG
GraphDiffMed: Knowledge-Constrained Differential Attention with Pharmacological Graph Priors for Medication Recommendation
Kyushu Institute of Technology(九州工业大学)
本文提出GraphDiffMed,一种结合噪声感知注意力和药理约束的药物推荐框架,通过双尺度差分注意力在院内和院间层面过滤虚假信号,提升推荐质量和安全性。
2026-03-21 cs.AI cs.LG
NRPA: Neural Recommendation with Personalized Attention
Tianjin University(天津大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
现有的基于评论的推荐方法通常使用相同的模型来从用户对项目发布的评论中学习所有用户/项目的表示。然而,不同的用户有不同的偏好,不同的项目有不同的特点。因此,相同的词或类似的评论对于不同的用户和项目可能具有不同的信息量。在本文中,我们提出了一种具有个性化注意力的神经推荐方法,以从评论中学习用户和项目的个性化表示。我们使用评论编码器从单词中学习评论的表示,使用用户/项目编码器从评论中学习用户或项目的表示。我们提出了一个个性化的注意力模型,并将其应用到评论和用户/项目编码器,以选择不同的重要的话和评论,为不同的用户/项目。在五个数据集上的实验验证了该方法可以有效地提高神经推荐的性能。
2019-05-29 cs.CL cs.IR cs.LG
CLEAR: Causal Explanations from Attention in Neural Recommenders
Intel Labs(英特尔实验室)
我们提出了CLEAR,一种学习特定会话的因果图的方法,在可能存在的潜在混杂因素,从预先训练的基于注意力的决策者的注意力。这些因果图描述了用户行为,在注意力捕获的背景下,可以为推荐提供反事实的解释。从本质上讲,这些因果图允许回答任何特定会话的“为什么”问题。使用实证评估,我们表明,相比天真地使用注意力权重来解释输入-输出关系,CLEAR发现的反事实解释更短,替代建议在原始的前k建议中排名更高。
2022-10-07 cs.AI cs.IR cs.LG
Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation
Shanghai Jiao Tong University(上海交通大学);Meituan(美团)
用户兴趣在现实世界中通常是动态的,这对从丰富的行为数据中学习准确的偏好提出了理论和实践挑战。在现有的用户行为建模解决方案中,注意力网络因其有效性和相对简单性而被广泛采用。尽管被广泛研究,现有的注意力仍然遭受两个局限性:i)传统的注意力主要考虑用户行为之间的空间相关性,而不管这些行为在连续时间空间中的距离;和ii)这些注意力大多提供了一个密集的和不可区分的分布在所有过去的行为,然后用心地将它们编码到输出的潜在表示。然而,这在用户的未来动作与她/他的历史行为的小子集相关的实际场景中是不合适的。在本文中,我们提出了一种新的注意力网络,命名为自调节注意力,模型的复杂和非线性演变的动态用户偏好。我们实证证明了我们的方法在前N个顺序推荐任务上的有效性,并且在三个大规模真实世界数据集上的结果表明,我们的模型可以达到最先进的性能。
2022-03-30 cs.IR cs.LG
Deep Attention Q-Network for Personalized Treatment Recommendation
Georgia Institute of Technology(佐治亚理工学院)
本文提出深度注意力Q网络,在深度强化学习框架中引入Transformer整合患者历史观察数据,用于个性化治疗推荐,并在脓毒症和急性低血压真实数据上验证其优于现有最优模型。
2023-07-04 cs.AI cs.LG
Leveraging Negative Signals with Self-Attention for Sequential Music Recommendation
Georgia Institute of Technology(佐治亚理工学院);TU Wien(维也纳工业大学)
针对序列音乐推荐中短内容场景和会话级负反馈利用不足的问题,提出可嵌入多种深度架构的对比学习损失,用跳过曲目等负信号提升推荐效果。
2024-01-18 cs.IR cs.LG
Local Citation Recommendation with Hierarchical-Attention Text Encoder and SciBERT-based Reranking
Institute of Neuroinformatics, University of Zurich(苏黎世大学神经信息学研究所);ETH Zurich(苏黎世联邦理工学院)
本地引用推荐的目标是从本地引用上下文以及可选地从全局上下文推荐缺失的参考文献。为了在大规模论文数据库的背景下平衡引用推荐的速度和准确性之间的权衡,一种可行的方法是首先使用有效的排名方法预取有限数量的相关文档,然后使用更复杂的模型执行细粒度的重新排名。在这种情况下,BM 25被发现是一种难以击败的预取方法,这就是为什么最近的工作主要集中在重新排序步骤上。即便如此,我们探索预取与最近邻搜索之间的文本嵌入构造的层次注意力网络。当再加上一个SciBERT reranker微调本地引文推荐任务,我们的分层注意力编码器(HAtten)实现了高预取召回给定数量的候选人进行重新排名。因此,我们的重新排名器需要更少的预取候选项来重新排名,但仍然在ACL-200、FullTextPeerRead、RefSeer和arXiv等各种本地引文推荐数据集上实现了最先进的性能。
2022-03-17 cs.CL cs.IR cs.LG
Query-based Interactive Recommendation by Meta-Path and Adapted Attention-GRU
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Xidian University(西安电子科技大学)
近年来,交互式推荐系统越来越受欢迎。通过用户与系统之间的交互,(1)用户可以主动干预推荐结果,而不是被动地接受它们,(2)系统可以更多地了解用户,以便提供更好的推荐。我们专注于单轮交互,即系统向用户提问(步骤1),并利用他的反馈来生成更好的推荐(步骤2)。本文提出了一种新的基于查询的交互式推荐系统,其中步骤1是\textbf{personalized questions are accurately generated from millions of automatically constructed questions},步骤2是\textbf{the recommendation is ensured to be closely-related to users' feedback}。我们通过将步骤1转换为查询推荐任务,将步骤2转换为检索任务来实现这一点。前一项任务是我们的主要挑战。我们首先提出了一个基于元路径的模型,以有效地从大型查询池中检索数百个查询候选。然后,一个自适应的Attention-GRU模型的开发,以有效地排名这些候选人的推荐。在中国大型电子商务平台淘宝网上进行的离线和在线实验验证了我们的交互系统的有效性。自2018年11月11日起,该系统已在淘宝App首页投入使用(在线工作方式请参见https://v.qq.com/x/page/s0833tkp1uo.ht…
2019-06-24 cs.IR cs.LG
ReFORM: Review-aggregated Profile Generation via LLM with Multi-Factor Attention for Restaurant Recommendation
University of Southern California, USA(美国南加州大学);Sejong University, South Korea(韩国世宗大学)
本文提出ReFORM框架,利用LLM和多因素注意力机制从评论中生成用户和物品资料,提升餐厅推荐的鲁棒性和性能。
2026-03-17 cs.IR cs.LG
LA-LDA: A Limited Attention Topic Model for Social Recommendation
USC Information Sciences Institute(南加州大学信息科学研究所);University of Maryland(马里兰大学)
社交媒体用户的注意力有限,这限制了他们可以处理的来自朋友的传入消息的数量。此外,他们比其他人更关注某些朋友的意见和建议。在本文中,我们提出了LA-LDA,一个潜在的主题模型,其中包括有限的,非均匀分布的注意力在扩散过程中的意见和信息在社会网络上传播。我们表明,我们提出的模型是能够学习更准确的用户模型,从用户的社交网络和项目采用行为比模型,不考虑有限的注意力。我们分析了社会新闻聚合器Digg上的新闻项目投票,并表明我们提出的模型能够更好地预测投票。我们的研究表明,心理社会动机的模型比只考虑主题的模型有更好的描述和预测观察到的行为的能力。
2013-01-26 cs.IR cs.LG cs.SI
Dynamic Memory based Attention Network for Sequential Recommendation
Texas A&M University(德克萨斯A&M大学);Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学)
顺序推荐在各种在线服务中变得越来越重要。它旨在从用户的历史交互中建模用户的动态偏好,并预测他们的下一个项目。真实系统上积累的用户行为记录可能会很长。这些丰富的数据为跟踪用户的实际兴趣带来了机会。先前的努力主要集中在基于相对较新的行为提出建议。然而,由于早期的交互可能会影响用户当前的选择,因此整体顺序数据可能无法得到有效利用。此外,由于现实世界的系统需要短的响应时间,因此在为每个用户执行推理时扫描整个行为序列变得不可容忍。为了弥补这一不足,我们提出了一种新的长序列推荐模型,称为动态基于记忆的注意力网络(DMAN)。它将整个长行为序列分割成一系列子序列,然后训练模型并维护一组内存块以保存用户的长期兴趣。为了提高记忆保真度,DMAN动态地抽象每个用户的长期兴趣到自己的记忆块,通过最小化的辅助重建损失。基于动态记忆,用户的短期和长期兴趣可以显式地提取和组合的有效联合推荐。四个基准数据集的实证结果表明,我们的模型在捕获长期依赖性方面优于各种最先进的序列模型。
2021-02-18 cs.IR cs.LG
NAIRS: A Neural Attentive Interpretable Recommendation System
School of Computer Science, Fudan University(复旦大学计算机学院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast(贝尔法斯特女王大学电子、电气工程与计算机科学学院)
在本文中,我们开发了一个神经注意的可解释的推荐系统,NAIRS。自注意网络作为系统的关键部分,被设计用于为用户的交互项目分配注意权重。该注意力机制可以区分各种交互项在对用户简档作出贡献方面的重要性。基于自注意网络获得的用户简档,NAIRS提供个性化的高质量推荐。此外,它还开发了视觉线索来解释建议。这个演示应用程序实现了NAIRS,使用户能够与推荐系统进行交互,它持续收集训练数据以改进系统。演示和实验结果表明了NAIRS的有效性。
2019-02-20 cs.IR cs.LG cs.SI
Attention-Based Recommendation On Graphs
图神经网络(GNN)在不同的任务中表现出了卓越的性能。然而,目前关于GNN在推荐系统上的研究还很少。GCN作为GNN的一种类型,可以为图中的不同实体提取高质量的嵌入。在协同过滤任务中,核心问题是找出实体对预测目标用户未来行为的信息量。使用注意力机制,当底层数据被建模为图时,我们可以使GCN能够进行这样的分析。在这项研究中,我们提出了GARec作为一个基于模型的推荐系统,它应用了一个注意力机制以及一个空间GCN的推荐图,以提取嵌入的用户和项目。注意力机制告诉GCN一个相关的用户或项目应该在多大程度上影响目标实体的最终表示。我们比较的性能GARec对一些基线算法的RMSE。该方法在不同的MovieLens数据集上优于现有的基于模型的非图神经网络和图神经网络。
2022-01-04 cs.IR cs.LG
Whose hotel does the AI recommend? An algorithm audit of reputation signals in LLM-assisted hotel selection
Fandaqah, Al Khobar, Saudi Arabia(沙特阿拉伯阿尔科巴尔Fandaqah);Hamdard University, Karachi, Pakistan(巴基斯坦卡拉奇哈姆达德大学)
通过随机选择联合实验审计12种LLM,发现客人评分和价格主导推荐,但过度重视生态认证而忽略管理回复,且列表位置(无内容特征)有因果影响。
2026-06-16 cs.AI cs.CL cs.CY
Reusable Self-Attention-based Recommender System for Fashion
Zalando SE(Zalando SE(扎兰多))
大量关于在推荐系统领域中应用自注意模型的实证研究都是基于标准化数据集上计算的离线评估和度量,而没有深入了解这些模型在现实生活中的表现。此外,他们中的许多人不考虑项目和客户元数据等信息,尽管深度学习分类器只有在包含大量异构类型的特征时才能充分发挥其潜力。此外,通常推荐模型被设计为仅很好地服务于单个用例,这增加了建模复杂性和维护成本,并且可能导致不一致的客户体验。在这项工作中,我们提出了一个可重用的基于注意力的时尚推荐算法(AFRA),利用各种交互类型与不同的时尚实体,如项目(例如,衬衫),服装和影响者,以及他们的异质特征。此外,我们利用时间和上下文信息来解决短期和长期客户偏好。我们展示了它在服装推荐用例上的有效性,特别是:1)个性化排名提要; 2)按风格推荐服装; 3)相似项目推荐和4)由最近的客户行为启发的会话推荐。我们提出了离线和在线实验结果,证明了客户保留和参与的实质性改善。
2022-11-29 cs.IR cs.LG
Time-aware Hyperbolic Graph Attention Network for Session-based Recommendation
Walmart Global Tech(沃尔玛全球技术);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
基于会话的推荐(SBR)是根据用户先前的浏览会话来预测用户下一个感兴趣的项目。现有方法将会话建模为图形或序列,以基于用户交互的项目来估计用户兴趣,从而进行推荐。近年来,基于图的方法在SBR上取得了优异的性能。然而,这些方法都没有考虑时间信息,这是SBR中的一个重要特征,因为它表明了时间性或时效性。此外,会话图呈现出层次结构,并被证明是适用于双曲几何。但在双曲空间中设计模型的文献还很少,这方面的研究还处于探索阶段。在本文中,我们提出了时间感知双曲图注意力网络(TA-HGAT)-一种新的双曲图神经网络框架,建立一个基于会话的推荐模型考虑时间信息。更具体地说,在TA-HGAT中有三个组成部分。首先,双曲投影模块将项目特征转换到双曲空间。第二,时间感知图形注意力模块对项目与用户当前兴趣之间的时间间隔进行建模。第三,在模型结束时的进化损失提供了基于给定时间戳的推荐项目的准确预测。TA-HGAT构建在双曲空间中,用于学习会话图的层次结构。实验结果表明,提出的TA-HGAT具有最好的性能相比,10个基线模型在两个真实世界的数据集。
2023-01-10 cs.IR cs.LG cs.SI