Evaluating Impact of User-Cluster Targeted Attacks in Matrix Factorisation Recommenders
本文针对基于矩阵分解的推荐系统,系统研究面向用户聚类的数据投毒攻击,分析攻击对特征矩阵的影响及攻击效果影响因素,通过真实数据集验证理论,为设计更鲁棒的推荐系统提供参考。
2024-06-20 cs.IR
Improving the Shortest Plank: Vulnerability-Aware Adversarial Training for Robust Recommender System
针对推荐系统中投毒攻击仅影响部分易受攻击用户的问题,提出漏洞感知对抗训练(VAT),通过评估用户漏洞并施加自适应扰动,在降低攻击成功率的同时保持推荐质量。
2024-09-26 cs.IR
Detecting Abnormal Profiles in Collaborative Filtering Recommender Systems
个性化协同过滤推荐系统(CFRS)是流行的电子商务服务的重要组成部分。在实践中,CFRS也特别容易受到“先令”攻击或“配置文件注入”攻击,由于其开放性。攻击者可以仔细地将选择的攻击配置文件注入CFRS,以便使推荐结果偏向于他们的利益。为了降低这种风险,已经提出了各种检测技术来检测这样的攻击,其使用从用户简档提取的不同特征。然而,依靠有限的特征来提高检测性能似乎是困难的,因为现有的特征不能完全表征攻击特征和真实特征。在本文中,我们提出了一种新的检测方法,使推荐系统抵抗“先令”攻击或“配置文件注入”攻击。现有的特征可以简单地概括为基于评分行为和基于项目分布两个方面。我们首先将问题表述为利用最小二乘近似解找到评分行为和项目分布之间的映射模型。基于训练的模型,我们设计了一个检测器,通过采用回归检测此类攻击。在MovieLens-100 K和MovieLens-ml-latest-small数据集上进行的大量实验验证了我们提出的检测方法的有效性。实验结果验证了我们的方法与基准方法,包括KNN相比,表现出色。
2015-06-23 cs.IR
Stealthy LLM-Driven Data Poisoning Attacks Against Embedding-Based Retrieval-Augmented Recommender Systems
本文系统研究了基于 RAG 的推荐系统中通过微调物品描述 token 实施的隐蔽数据投毒攻击,并在 MovieLens 上验证其能显著改变排名与曝光,揭示了现有流程的脆弱性及防御需求。
2025-05-08 cs.IR
Poisoning Attacks against Recommender Systems: A Survey
本文系统综述了针对推荐系统的投毒攻击,提出组件特定型、目标驱动型和能力探测型三类分类法,并发布开源库ARLib以支持实证比较与基准测试。
2024-01-14 cs.IR
ID-Free Not Risk-Free: LLM-Powered Agents Unveil Risks in ID-Free Recommender Systems
本文揭示LLM驱动的智能体可通过基于重写的欺骗策略和多智能体协作机制,在黑盒设置下隐蔽攻击无ID推荐系统以推广低质量物品,并提出相应的检测方法以强调增强其安全性的迫切需求。
2025-04-28 cs.IR
A Cognitive Distribution and Behavior-Consistent Framework for Black-Box Attacks on Recommender Systems
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);NSFOCUS(启明星辰)
本文提出一种认知分布与行为一致的黑盒攻击框架,通过引入认知分布驱动的提取机制和行为感知的噪声项生成策略,提升推荐系统攻击的成功率和隐蔽性。
2026-02-12 cs.IR
Graph Embedding for Recommendation against Attribute Inference Attacks
近年来,推荐系统在帮助用户识别满足个人偏好的最合适的项目方面发挥了关键作用。由于用户-项目交互可以自然地建模为图结构数据,因此图卷积网络(GCN)的变体已经成为最新的建模器中公认的构建块。由于敏感用户简档数据的广泛使用,现有的推荐模式可能会使用户面临隐私泄露的威胁,基于GCN的推荐者也不例外。除了原始用户数据的泄漏外,当前的推理攻击的脆弱性为恶意攻击者提供了一个后门,通过他们的行为足迹和推荐结果来估计用户的私人属性。然而,很少有人注意到开发推荐系统,可以抵御这种属性推理攻击,现有的作品实现攻击抵抗牺牲相当大的推荐精度或只覆盖特定的攻击模型或受保护的信息。在我们的论文中,我们提出了GERAI,一种新的差分私有图卷积网络,以解决这些限制。具体来说,在GERAI中,我们将差分隐私中的信息扰动机制与图卷积网络的推荐能力相结合。此外,基于局部差分隐私和功能机制,创新性地设计了一种双阶段加密范式,同时对用户敏感特征和模型优化过程实施隐私保障。大量的实验表明,GERAI在抵抗属性推理攻击和推荐有效性方面的优越性。
2021-01-29 cs.IR
LoRec: Large Language Model for Robust Sequential Recommendation against Poisoning Attacks
针对序列推荐系统易受投毒攻击且传统防御泛化性差的问题,提出利用大型语言模型开放世界知识检测未知欺诈者(LLM4Dec),并构建LoRec框架,通过LLM增强校准器进行用户级重加权,显著提升系统鲁棒性。
2025-02-28 cs.IR
Interaction-level Membership Inference Attack Against Federated Recommender Systems
联邦学习和推荐系统(FedRec)的结合已被广泛用于解决个性化推荐服务中日益增长的数据隐私问题。在FedRecs中,用户的属性信息和行为数据(即,用户-项目交互数据)被本地保存在他们的个人设备上,因此,这被认为是保护用户隐私的相当安全的方法。因此,FedRecs的隐私问题很少被探讨。不幸的是,最近的几项研究表明,FedRecs容易受到用户属性推断攻击,突出了FedRecs的隐私问题。在本文中,我们进一步研究了用户行为数据的隐私问题(即,用户项交互)。具体来说,我们进行了第一次系统的研究交互级的成员推断攻击的FedRecs。首先设计了一种交互级成员推断攻击器,然后采用经典的隐私保护机制--局部差分隐私(LDP)来防御成员推断攻击。不幸的是,实证分析表明,LDP是不能有效地抵御这种新的攻击,除非推荐性能在很大程度上受到损害。为了减轻交互级成员攻击的威胁,我们设计了一个简单而有效的防御方法,以显着降低攻击者的推理准确性,而不损失推荐性能。在三个真实推荐数据集(MovieLens-100 K、Steam-200 K和Amazon Cell Phone)上,使用两个广泛使用的FedRecs(Fed-NCF和Fed-LightGCN)进行了大量实验,实验结果表明了我们的解决方案的有效性。
2023-01-30 cs.IR
Who is Really Affected by Fraudulent Reviews? An analysis of shilling attacks on recommender systems in real-world scenarios
我们提出了一个初步的分析结果进行了现实生活中的设置,以量化的影响,先令攻击的推荐系统。我们专注于算法性能以及受这些攻击影响最大的用户类型。
2018-08-21 cs.IR cs.SI
Towards Robust Recommendation: A Review and an Adversarial Robustness Evaluation Library
该研究全面综述推荐系统鲁棒性,将其分为对抗与非对抗两类梳理相关方法、数据集与指标,还提出对抗鲁棒性评估库ShillingREC并完成基础模型评估,指明领域挑战与未来方向。
2025-06-13 cs.IR
Precision Profile Pollution Attack on Sequential Recommenders via Influence Function
针对序列推荐器的画像污染攻击中梯度估计不准的问题,提出基于影响函数的 INFAttack,通过估计模型参数变化选择最有效污染序列,在五个真实数据集上优于基线。
2024-12-02 cs.IR
Poison-RAG: Adversarial Data Poisoning Attacks on Retrieval-Augmented Generation in Recommender Systems
Poison-RAG 提出针对基于 RAG 的推荐系统的数据投毒攻击框架,通过操纵物品元数据(局部或全局策略)在 MovieLens 上实现最高 50% 的操纵提升,并指出热门物品更易受攻击,建议数据增强以增强防御。
2025-01-20 cs.IR
FedAttack: Effective and Covert Poisoning Attack on Federated Recommendation via Hard Sampling
联邦学习(FL)是一种从分散的用户数据中学习个性化推荐模型的可行技术。不幸的是,联合推荐系统很容易受到恶意客户端的中毒攻击。现有的推荐系统中毒方法主要集中在提高目标项目的推荐机会,由于经济激励。事实上,在现实世界中,攻击者也可能试图降低推荐系统的整体性能。然而,现有的一般FL中毒降低模型性能的方法要么是无效的或不隐藏中毒联邦推荐系统。本文提出了一种针对联邦推荐的简单有效的隐蔽中毒攻击方法--FedAttack。它的核心思想是使用全局最难的样本来颠覆模型训练。更具体地,恶意客户端首先基于本地用户简档推断用户嵌入。接下来,他们选择与用户嵌入最相关的候选项作为最难的负样本,并找到距离用户嵌入最远的候选项作为最难的正样本。然后,从这些中毒样本推断出的模型梯度被上传到服务器以进行聚合和模型更新。由于恶意客户端的行为与具有不同兴趣的用户有些相似,因此服务器无法有效地将其与正常客户端区分开来。在两个基准数据集上的大量实验表明,FedAttack可以有效地降低各种联邦推荐系统的性能,同时许多现有方法无法有效地检测或防御FedAttack。
2022-02-10 cs.IR
Prompt-Unknown Promotion Attacks against LLM-based Sequential Recommender Systems
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学);Chongqing University(重庆大学);Shandong University(山东大学)
研究提出在攻击者无法获取系统提示和受害者模型的情况下,通过进化优化策略生成有效替代模型,实现对目标物品的推广攻击,实验表明该方法在提升冷门物品曝光方面优于现有方法。
2026-04-26 cs.IR
Manipulating Federated Recommender Systems: Poisoning with Synthetic Users and Its Countermeasures
本文提出一种无需先验知识的合成恶意用户投毒攻击,可高效操纵联邦推荐系统中目标物品的曝光率,并设计分层梯度裁剪与稀疏化更新防御机制以提升系统鲁棒性。
2023-04-15 cs.IR
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统,从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御,我们设想了一种猫捉老鼠的游戏,即,新的防御被设计来防御现有的攻击,而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏,我们提出了PORE,第一个框架,以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的,以抵抗任何非目标性的数据投毒攻击,其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下,PORE仍然向用户推荐至少$r$的$N$项目,其中$r$是攻击中的假用户数量的函数。此外,我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
Rethinking Financial Service Promotion With Hybrid Recommender Systems at PicPay
Federal University of Rio de Janeiro(里约热内卢联邦大学);PicPay
针对PicPay推广战略金融服务的挑战,提出切换式混合推荐系统,结合两种算法提升推广效果,A/B测试显示提升达3.2%。
2023-10-16 cs.AI cs.IR
Black-Box Attacks on Sequential Recommenders via Data-Free Model Extraction
Technical University of Munich(慕尼黑工业大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们研究模型提取是否可以用来“窃取”顺序推荐系统的权重,以及这种攻击对受害者构成的潜在威胁。这种类型的风险在图像和文本分类中引起了关注,但据我们所知,在推荐系统中没有。我们认为,顺序推荐系统受到独特的漏洞,由于特定的自回归制度用于训练他们。与许多现有的推荐攻击者不同,这些攻击者假设用于训练受害者模型的数据集暴露给攻击者,我们考虑无数据设置,其中训练数据不可访问。在此背景下,我们提出了一种基于API的模型提取方法,通过有限预算的合成数据生成和知识蒸馏。我们研究了最先进的顺序推荐模型,并显示了它们在模型提取和下游攻击下的脆弱性。我们分两个阶段进行攻击。(1)模型提取:给定从黑盒推荐器检索的不同类型的合成数据和它们的标签,我们通过蒸馏将黑盒模型提取为白盒模型。(2)下游攻击:我们用白盒推荐器生成的对抗样本攻击黑盒模型。实验结果表明,我们的无数据模型提取和下游攻击的连续的病毒在两个配置文件污染和数据投毒设置的有效性。
2021-09-01 cs.AI cs.CR cs.IR
Debiasing Learning for Membership Inference Attacks Against Recommender Systems
Shandong University(山东大学);Alibaba Group(阿里巴巴集团);Meituan(美团);University of Amsterdam(阿姆斯特丹大学)
学习推荐系统可能会无意中泄露有关其训练数据的信息,从而导致隐私侵犯。我们调查的隐私威胁所面临的推荐系统,通过镜头的成员推理。在这样的攻击中,对手旨在推断用户的数据是否用于训练目标推荐器。为了实现这一点,以前的工作已经使用了影子推荐器来获得攻击模型的训练数据,然后通过计算用户的历史交互和推荐项目之间的差异向量来预测成员资格。现有技术的方法面临两个挑战性的问题:(1)由于阴影和目标映射器之间的间隙,攻击模型的训练数据是有偏差的,以及(2)映射器中的隐藏状态是不可观测的,导致差异向量的估计不准确。为了解决上述限制,我们提出了一个针对推荐系统的成员推断攻击的去偏学习(DL-MIA)框架,该框架有四个主要组件:(1)差异向量生成器,(2)解纠缠编码器,(3)权重估计器和(4)攻击模型。为了缩小推荐器之间的差距,设计了一种基于变分自动编码器(VAE)的解纠缠编码器来识别推荐器不变特征和特定特征。为了减少估计偏差,我们设计了一个权重估计器,为每个差异向量分配一个真值分数来表示估计精度。我们评估DL-MIA对一般的排序器和顺序排序器在三个真实世界的数据集。实验结果表明,DL-MIA算法能够有效地同时消除训练偏差和估计偏差,达到了最佳的攻击性能。
2022-06-28 cs.CR cs.IR cs.LG
Robust Recommender System: A Survey and Future Directions
本综述系统回顾了推荐系统鲁棒性研究,提出分类法组织抵御恶意攻击与自然噪声的技术,探讨前沿方法、评估指标及未来方向,并维护相关GitHub项目。
2025-04-01 cs.IR
Fairness Attacks on Recommender Systems
Department of Information Systems and Operations Management, College of Business, The University of Texas at Arlington(信息系统与运营管理系,商学院,德克萨斯大学阿灵顿分校);Department of Management Information Systems, Eller College of Management, the University of Arizona(管理信息系,埃勒管理学院,亚利桑那大学)
提出一种基于结构感知强化学习的公平性攻击方法,通过图编码和循环神经网络生成虚假交互,联合学习物品选择和性别选择策略,以加剧推荐系统的不公平性。
2026-06-27 cs.AI cs.IR
Manipulating Visually-aware Federated Recommender Systems and Its Countermeasures
本文研究了视觉感知联邦推荐系统的安全问题,发现引入视觉信息能抵御现有模型投毒攻击,但也引入了图像投毒攻击这一新威胁,并提出利用扩散模型净化图像以防御攻击。
2023-05-16 cs.IR
Robust Federated Contrastive Recommender System against Model Poisoning Attack
本文提出 CL4FedRec 对比学习框架,利用嵌入增强缓解联邦推荐中的数据稀疏问题,并针对其加剧投毒攻击脆弱性的现象,进一步提出 rCL4FedRec 以提升模型性能与鲁棒性。
2024-03-29 cs.IR
Defending Grey Attacks by Exploiting Wavelet Analysis in Collaborative Filtering Recommender Systems
"先令"攻击或"轮廓注入"攻击一直是协同过滤推荐系统(CFRS)的主要挑战。人们一直致力于改进协同过滤技术,以消除“先令”攻击。然而,大多数研究都集中在检测推送攻击或核攻击上,这些攻击在目标项上得分最高或最低。很少有人关注灰色攻击,当一个目标项目的评分低于或高于平均评分,这表明一个更隐藏的评级行为比推或核攻击。在本文中,我们提出了一种新的检测方法,使推荐系统抵抗这种攻击。为了刻画灰色评级,我们利用项目的评级偏差来区分灰色攻击配置文件和真实配置文件。此外,本研究亦利用项目的新颖度与受欢迎度来建构评分序列。由于很难区分攻击者和真正的用户之间的评级系列,我们结合到离散小波变换(DWT)来放大这些差异的基础上的评级偏差,新颖性和流行度的评级系列,分别。最后,利用幅域分析方法分别对基于评分偏差、新颖度和流行度的评分序列进行特征提取,并将聚类结果作为检测结果。我们在不同的攻击模型中对Book-Crossing和HetRec-2011数据集进行了一系列实验。实验结果验证了我们的方法与基准方法相比的有效性。
2015-06-19 cs.CR cs.IR
Poisoning Attacks and Defenses in Recommender Systems: A Survey
本综述从攻击者视角系统梳理了推荐系统中的投毒攻击流程(含设定目标、评估能力、分析架构与实施策略),并将防御策略分为数据过滤与鲁棒训练,指出了现有局限与未来方向。
2024-06-05 cs.CR cs.IR
Data Poisoning Attacks on Neighborhood-based Recommender Systems
Sun Yat-Sen University(中山大学);South China University of Technology(华南理工大学)
目前,协同过滤推荐系统已被广泛应用于商业企业中以获取利润。基于邻域的协同过滤是一种常见而有效的方法。到目前为止,尽管它的有效性,有很少的努力,以探讨其鲁棒性和数据投毒攻击对其性能的影响。基于邻域的推荐系统容易被愚弄吗?为此,我们揭示了基于邻域的推荐系统的鲁棒性,并提出了一种新的数据投毒攻击框架编码的攻击目的和约束。首先给出了如何计算最优的数据投毒攻击,即UNAttack。我们注入一些精心设计的假用户的推荐系统,使目标项目将推荐给尽可能多的正常用户。在三个真实数据集上进行了大量的实验,以验证我们提出的方法的有效性和可移植性。此外,还发现了一些有趣的现象,例如:1)基于邻域的推荐系统具有很强的鲁棒性。2)虚假用户可以被转移到攻击最先进的协同过滤推荐系统,如神经协同过滤和贝叶斯个性化排名矩阵分解。
2019-12-01 cs.CR cs.IR cs.LG
PipAttack: Poisoning Federated Recommender Systems forManipulating Item Promotion
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学);Shandong University(山东大学)
由于隐私问题的日益严重,去中心化在个性化服务,特别是推荐服务中迅速兴起。此外,最近的研究表明,集中式模型容易受到中毒攻击,从而损害其完整性。在推荐系统的背景下,这种中毒攻击的典型目标是通过干扰训练数据集和/或过程来促进对手的目标项目。因此,一种常见的做法是在分散式联邦学习范式下对推荐系统进行子系统化,这使得所有用户设备能够协作地学习全局推荐,同时将所有敏感数据保留在本地。在不向终端用户暴露推荐器和整个数据集的全部知识的情况下,这种联合推荐被广泛认为是对中毒攻击“安全”的。在本文中,我们提出了一个系统的方法,后门联邦推荐系统有针对性的项目推广。其核心策略是利用数据驱动型博客中普遍存在的固有的流行偏见。由于流行项目更容易出现在推荐列表中,我们创新设计的攻击模型使目标项目具有嵌入空间中流行项目的特征。然后,通过上传精心制作的梯度通过少量的恶意用户在模型更新,我们可以有效地增加一个目标(不受欢迎的)项目的曝光率,在所产生的联合推荐。对两个真实数据集的评估表明:1)我们的攻击模型以一种隐秘的方式显着提高了目标项目的曝光率,而不会损害中毒推荐的准确性; 2)现有的防御措施不够有效,突出了对联邦推荐系统的本地模型中毒攻击的新防御措施的需求。
2021-10-21 cs.AI cs.IR
Poisoning Attacks to Graph-Based Recommender Systems
Iowa State University(爱荷华州立大学);Facebook, Inc.(Facebook公司)
推荐系统是许多Web服务的重要组成部分,帮助用户找到符合他们兴趣的项目。几项研究表明,推荐系统容易受到中毒攻击,攻击者将虚假数据注入给定系统,使系统根据攻击者的意愿进行推荐。然而,这些中毒攻击要么是不可知的推荐算法或优化的推荐系统,不是基于图的。与基于关联规则和基于矩阵分解的推荐系统一样,基于图的推荐系统也被部署在实践中,例如,eBay、华为应用商店。然而,如何为基于图的推荐系统设计优化的中毒攻击仍然是一个悬而未决的问题。在这项工作中,我们进行了系统的研究中毒攻击基于图的推荐系统。由于有限的资源和避免检测,我们假设可以注入到系统中的假用户的数量是有界的。关键的挑战是如何为假用户分配评分,以便将目标项目推荐给尽可能多的正常用户。为了解决这一挑战,我们将中毒攻击制定为优化问题,解决该问题决定了虚假用户的评级分数。我们还提出了解决优化问题的技术。我们评估我们的攻击,并将其与现有的攻击下的白盒(推荐算法及其参数是已知的),灰盒(推荐算法是已知的,但其参数是未知的),黑盒(推荐算法是未知的)设置使用两个真实世界的数据集。我们的研究结果表明,我们的攻击是有效的,优于现有的攻击基于图的推荐系统。例如,当1%的虚假用户被注入时,我们的攻击可以在某些情况下将目标项目推荐给580倍的正常用户。
2018-09-11 cs.CR cs.IR cs.LG
Adversarial Item Promotion: Vulnerabilities at the Core of Top-N Recommenders that Use Images to Address Cold Start
Radboud University(拉德堡德大学)
电子商务平台向其客户提供匹配客户偏好的推荐物品的排名列表。电子商务平台上的商家希望他们的商品尽可能出现在这些排名列表的前N位。在本文中,我们展示了无良商家如何创建物品图像,人为地推广他们的产品,提高他们的排名。使用图像来解决冷启动问题的推荐系统容易受到这种安全风险的影响。我们描述了一种新型的攻击,对抗性项目推广(AIP),直接打击前N名的核心:排名机制本身。推荐系统中对抗图像的现有工作研究了传统攻击的影响,这些攻击针对深度学习分类器。相比之下,我们的AIP攻击是嵌入式攻击,试图以欺骗排名器(而不是分类器)的方式推送特征表示,并直接导致项目提升。我们介绍了三个AIP攻击内幕攻击,专家攻击和语义攻击,这是相对于三个连续更现实的攻击模型定义。我们的实验评估了这些攻击的危险时,安装对三个代表性的视觉感知推荐算法的框架,使用图像来解决冷启动。我们还评估了潜在的防御措施,包括对抗性训练,并发现目前常见的技术并不能消除AIP攻击的危险。总之,我们表明,使用图像来解决冷启动打开推荐系统的潜在威胁具有明确的实际意义。
2020-10-20 cs.CR cs.CV cs.IR
Poisoning Deep Learning Based Recommender Model in Federated Learning Scenarios
Zhejiang University(浙江大学)
本文针对联邦学习场景下的深度学习推荐模型,提出基于随机近似与困难用户挖掘的投毒梯度生成攻击方法,实验证明其攻击效果达到当前最优,揭示了联邦推荐系统仍存在安全脆弱性。
2022-06-08 cs.CR cs.IR cs.LG
LLM-Based User Simulation for Low-Knowledge Shilling Attacks on Recommender Systems
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
本研究提出基于LLM智能体的Agent4SR框架,可在低知识条件下通过生成评分与评论实施高隐蔽性的托攻击,效果优于现有基线,揭示了LLM智能体对推荐系统的新型威胁。
2025-05-18 cs.AI cs.IR
Securing Tag-based recommender systems against profile injection attacks: A comparative study
这项工作解决了与社交标签系统攻击相关的挑战,这些攻击通常以恶意注释或配置文件注入攻击的形式出现。特别是,我们研究了两种类型的威胁,这样的系统,过载和捎带攻击的各种对策。研究的对策包括基线分类器,如朴素贝叶斯滤波器和支持向量机,以及基于深度学习的方法。我们对从del.icio.us生成的合成垃圾邮件数据进行的评估表明,在大多数情况下,基于深度学习的方法可以提供最佳的威胁防护。
2018-08-30 cs.CR cs.IR cs.SI
Adversarial Item Promotion on Visually-Aware Recommender Systems by Guided Diffusion
针对现有视觉感知推荐系统对抗攻击图片易被检测、效果不稳定的问题,提出基于引导扩散的IPDGI攻击方法,生成高隐蔽性对抗图片,在两个电商数据集上验证了其在长尾商品推广和图片质量上的优势,揭示了系统真实脆弱性。
2024-05-23 cs.IR
Influence Function based Data Poisoning Attacks to Top-N Recommender Systems
Iowa State University(爱荷华州立大学);Duke University(杜克大学)
推荐系统是Web服务吸引用户的重要组成部分。流行的推荐系统使用大量众包的用户-物品交互数据来对用户偏好和物品属性进行建模,例如,评级分数;然后向用户推荐与用户偏好最佳匹配的前$N$项目。在这项工作中,我们表明,攻击者可以发起一个数据投毒攻击的推荐系统,使建议,攻击者的愿望,通过注入假用户精心制作的用户项目交互数据。具体来说,攻击者可以欺骗推荐系统向尽可能多的普通用户推荐目标项目。我们专注于基于矩阵分解的推荐系统,因为他们已经被广泛部署在工业。给定攻击者可以注入的虚假用户的数量,我们将虚假用户的评级分数制定为优化问题。然而,这个优化问题是具有挑战性的解决,因为它是一个非凸整数规划问题。为了应对这一挑战,我们开发了几种技术来近似解决优化问题。例如,我们利用影响力函数来选择对推荐有影响力的正常用户的子集,并基于这些有影响力的用户来解决我们的公式化优化问题。我们的结果表明,我们的攻击是有效的,优于现有的方法。
2020-05-31 cs.CR cs.IR cs.LG
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Adelaide(阿德莱德大学)
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布,然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Intelligent Request Strategy Design in Recommender System
Alibaba Group(阿里巴巴集团);Institute of Artificial Intelligence, Zhejiang University(浙江大学人工智能研究所);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Shanghai AI Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学)
瀑布式推荐系统(Waterfall Recommender System,RS)是移动应用程序中流行的一种RS形式,它是一个由连续页面组成的推荐项目流,可以通过滚动浏览。在瀑布RS中,当用户完成浏览页面时,边缘(例如,移动电话)将向云服务器发送请求以获得新的推荐页面,这被称为寻呼请求机制。RS通常将大量项目放入一个页面中以减少来自众多寻呼请求的过度资源消耗,然而,这将降低RS根据用户的实时兴趣及时更新推荐的能力,并导致差的用户体验。直觉上,在页面中插入额外的请求以更高的频率更新推荐可以缓解这个问题。然而,先前的尝试,包括仅非自适应策略(例如,统一插入请求),最终将导致资源过度消耗。为此,我们设想了一种新的边缘智能学习任务,称为智能请求策略设计(IRSD)。它旨在提高瀑布RS的有效性,通过确定适当的时机,请求插入用户的实时意图。此外,我们提出了一个新的范例的自适应请求插入策略命名为基于Uplift的边缘智能请求框架(AdaRequest)。AdaRequest 1)通过基于注意力的神经网络将用户的实时行为与历史兴趣进行匹配,捕捉用户意图的动态变化。2)基于因果推理估计由插入的请求带来的用户购买的反事实提升。3)通过最大化在线资源约束下的效用函数来确定最终的请求插入策略。我们在离线数据集和在线A/B测试上进行了大量的实验,以验证AdaRequest的有效性。
2022-06-23 cs.AI cs.IR
Privacy Risks of LLM-Empowered Recommender Systems: An Inversion Attack Perspective
Monash University(墨尔本大学)
本文首次系统研究了针对LLM赋能推荐系统的反演攻击,提出Similarity Guided Refinement方法优化vec2text框架,从模型输出logits重构原提示词,实验证明该攻击能高保真恢复用户交互项目及人口属性,揭示了此类系统的严重隐私漏洞。
2025-09-12 cs.AI cs.IR
Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然顺序推荐系统在捕获用户动态方面取得了显着的改进,但我们认为顺序推荐系统容易受到基于替换的配置文件污染攻击。为了证明我们的假设,我们提出了一个基于替换的对抗攻击算法,该算法通过选择某些易受攻击的元素并将其替换为对抗项来修改输入序列。在无目标和有针对性的攻击情况下,我们观察到显着的性能恶化,使用建议的配置文件污染算法。受这些观察的启发,我们设计了一种有效的对抗性防御方法,称为Dirichlet邻域采样。具体来说,我们从多跳邻居构造的凸包中抽取项目嵌入,以替换输入序列中的原始项目。在采样过程中,使用狄利克雷分布来近似邻域中的概率分布,使得推荐器学习对抗局部扰动。此外,我们还设计了一种针对顺序推荐系统的对抗性训练方法。特别是,我们用独热编码表示选定的项,并对编码执行梯度上升,以搜索训练中项嵌入的最坏情况线性组合。因此,嵌入函数学习鲁棒的项目表示,并且训练的推荐器能够抵抗测试时的对抗性示例。大量的实验表明了我们的攻击和防御方法的有效性,这些方法在模型架构和数据集上的表现始终优于基线。
2022-07-19 cs.AI cs.CR cs.IR
Revisiting Adversarially Learned Injection Attacks Against Recommender Systems
Simon Fraser University(西蒙弗雷泽大学);Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
推荐系统在现代信息和电子商务应用中扮演着重要的角色。虽然越来越多的研究致力于提高推荐的相关性和多样性,但最先进的推荐模型的潜在风险尚未得到充分探讨,即这些模型可能会受到恶意第三方的攻击,通过注入虚假的用户交互来实现其目的。本文重新审视了adversarially-learned注入攻击问题,其中注入的假用户“行为”是由攻击者用自己的模型在本地学习的-一个可能与受攻击的模型不同,但共享类似的属性,以允许攻击转移。我们发现,大多数现有的工作在文献中遭受两个主要的局限性:(1)他们没有精确地解决优化问题,使攻击的危害小于它可能是,(2)他们假设完美的知识的攻击,导致缺乏对现实的攻击能力的理解。我们证明了生成假用户作为优化问题的确切解决方案可能会产生更大的影响。我们在真实数据集上的实验揭示了攻击的重要特性,包括攻击的可转移性及其局限性。这些发现可以启发有用的防御方法来对抗这种可能存在的攻击。
2020-08-28 cs.IR cs.LG stat.ML
Securing Tag-based recommender systems against profile injection attacks: A comparative study. (Extended Report)
Norwegian University of Science and Technology(挪威科技大学)
这项工作解决了与协作标记系统攻击相关的挑战,这些攻击通常以恶意注释或配置文件注入攻击的形式出现。特别是,我们研究了各种对策,对两种类型的这种攻击的社会标签系统,超载攻击和捎带攻击。这里研究的对策方案包括基线分类器,如朴素贝叶斯滤波器和支持向量机,以及深度学习方法。我们对从del.icio.us数据集生成的合成垃圾邮件数据进行的评估表明,在大多数情况下,深度学习可以超越经典解决方案,提供高级别的威胁防护。
2019-01-24 cs.CL cs.IR cs.SI
Manipulating Recommender Systems: A Survey of Poisoning Attacks and Countermeasures
Griffith University(格里菲斯大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Monash University(莫纳什大学);Humboldt-Universität zu Berlin(柏林洪堡大学);The University of Queensland(昆士兰大学)
本综述系统梳理了针对推荐系统的投毒攻击及其对策,提出新的攻击分类法整理30余种攻击,并评估40余种对策的有效性,为保护推荐系统提供参考。
2024-04-23 cs.CR cs.IR cs.LG
Poisoning Federated Recommender Systems with Fake Users
University of Science and Technology of China(中国科学技术大学);Duke University(杜克大学)
本文提出了一种名为PoisonFRS的新型虚假用户投毒攻击方法,无需额外信息即可在联邦推荐系统中推广攻击者选定的目标项目,实验证明其效果优于依赖额外信息的现有基准。
2024-02-18 cs.CR cs.IR cs.LG
Unveiling Vulnerabilities of Contrastive Recommender Systems to Poisoning Attacks
Chongqing University(重庆大学);The University of Queensland(昆士兰大学);Peking University(北京大学)
本文揭示对比推荐系统因InfoNCE损失导致的表示均匀分布而易受投毒攻击,提出双目标攻击框架(分散促进与排名提升),并在四个数据集上验证其威胁,旨在推动更鲁棒的CL推荐系统发展。
2024-05-25 cs.CR cs.IR cs.LG
Re-scale AdaBoost for Attack Detection in Collaborative Filtering Recommender Systems
Xi’an Jiaotong University(西安交通大学)
协同过滤推荐系统是电子商务系统的关键组成部分。实际上,CFRS由于其开放性,极易受到攻击。然而,由于攻击的规模远小于真正的用户,传统的监督学习为基础的检测方法可能太“沉闷”处理这种不平衡的分类。本文主要从以下两个方面来提高检测性能。首先,我们根据不同攻击模型的统计特性,从用户简档中提取精心设计的特征,使得难以分类的任务变得更容易执行。然后,参考re-scale Boosting(RBoosting)和AdaBoost的一般思想,我们应用AdaBoost的变体,称为re-scale AdaBoost(RAdaBoost)作为我们基于提取特征的检测方法。RAdaBoost算法与最优Boosting类算法相当,在某些困难场景下能有效提高性能。最后,在MovieLens-100 K数据集上进行了一系列的实验,并与SVM、kNN和AdaBoost等经典方法进行了比较,验证了RAdaBoost算法的有效性。
2015-06-15 cs.CR cs.IR cs.LG
Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学)
对抗攻击,例如,输入和对抗样本的对抗性扰动对包括交互式推荐系统在内的机器学习和深度学习技术提出了重大挑战。这些技术的潜在嵌入空间使得对抗攻击难以在早期阶段检测到。因果关系研究的最新进展表明,反事实也可以被认为是生成来自不同分布的对抗样本作为训练样本的方法之一。我们建议在基于强化学习的交互式推荐系统上探索对抗性示例和攻击不可知检测。我们首先通过向输入中添加扰动并干预偶然因素来制作不同类型的对抗性示例。然后,我们通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有泛化能力超过其他几个手工方法。
2021-12-02 cs.IR cs.LG
Shilling Black-box Recommender Systems by Learning to Generate Fake User Profiles
Xiamen University(厦门大学);Chongqing University(重庆大学)
由于推荐系统(RS)在引导客户购买方面的关键作用,无良方自然会有动机欺骗RS以获取利润。在本文中,我们研究了先令攻击,其中一个敌对方注入了一些虚假的用户简档用于不正当的目的。传统的先令攻击方法缺乏攻击可转移性(即,攻击对某些受害者RS模型无效)和/或攻击不可见性(即,可以容易地检测注入的分布)。为了克服这些问题,我们提出了Leg-UP,一种基于生成对抗网络的新型攻击模型。Leg-UP从采样的"模板“中的真实用户学习用户行为模式,并构建虚假的用户简档。为了模拟真实用户,Leg-UP中的生成器直接输出离散评级。为了提高攻击的可转移性,通过最大化对代理RS模型的攻击性能来优化生成器的参数。为了提高攻击的不可见性,Leg-UP采用了一个引导生成器来生成不可检测的虚假用户简档。在基准测试上的实验表明,Leg-UP在广泛的受害者RS模型上超过了最先进的先令攻击方法。我们工作的源代码可以在https://github.com/XMUDM/ShillingAttack上找到。
2022-06-23 cs.CR cs.IR cs.LG
Single-User Injection for Invisible Shilling Attack against Recommender Systems
针对推荐系统托攻击需注入多个虚假用户的局限,本文提出基于图节点生成的单用户注入方法SUI-Attack,仅用一个虚假档案即可有效攻击且更隐蔽。
2023-08-21 cs.CR cs.IR
Ready for Emerging Threats to Recommender Systems? A Graph Convolution-based Generative Shilling Attack
Chongqing University(重庆大学);The University of Queensland(昆士兰大学);University of Reading(雷丁大学)
为了研究推荐系统的鲁棒性,研究者们提出了各种各样的欺骗攻击模型,并分析了它们的负面影响。原始攻击非常可行,但由于过于简单的手工规则而效率较低,而升级攻击更强大,但成本高昂,并且难以部署,因为它们需要更多的建议知识。在本文中,我们探讨了一种新的先令攻击称为基于图卷积的生成先令攻击(GOAT),以平衡攻击的可行性和有效性。GOAT采用了原始攻击范式和升级攻击范式,原始攻击范式通过抽样为虚假用户分配项目,升级攻击范式通过基于深度学习的模型生成虚假评级。它部署了一个生成对抗网络(GAN),学习真实的评级分布来生成虚假评级。此外,生成器结合了一个定制的图卷积结构,该结构利用共同评级项目之间的相关性来平滑虚假评级并增强其真实性。在两个公开数据集上的大量实验从多个角度评估了GOAT的性能。我们对GOAT的研究证明了以更低的成本构建更强大、更智能的攻击模型的技术可行性,可以分析这种攻击的威胁,并指导调查必要的预防措施。
2021-07-22 cs.CR cs.IR cs.LG
Advancing Recommender Systems by mitigating Shilling attacks
Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本文提出一种新算法来检测推荐系统中的 Shilling profiles,并研究其对推荐结果的影响,以缓解 Shilling 攻击。
2024-04-24 cs.AI cs.CR cs.IR
Attacking Recommender Systems with Augmented User Profiles
Xiamen University(厦门大学);Fudan University(复旦大学)
推荐系统(RS)已经成为许多在线服务的重要组成部分。由于其在引导客户购买方面的关键作用,无良方自然有动机欺骗RS以获取利润。在本文中,我们研究了先令攻击:一个存在的和有利可图的攻击,敌对方注入了一些用户简档,以促进或降级的目标项目。传统的欺骗攻击模型都是基于简单的、易于检测的攻击策略,或者直接采用对抗攻击的方法,而没有对RS进行专门的设计。此外,在文献中缺乏对基于深度学习的RS的攻击影响的研究,使得对真实RS的shilling攻击的效果值得怀疑。提出了一种新的增强先令攻击框架(AUSH),并结合生成对抗网络的思想实现了该框架。AUSH能够根据预算和复杂的攻击目标(如针对特定用户组)来定制针对RS的攻击。我们的实验表明,AUSH的攻击影响是显而易见的,在广泛的RS,包括经典和现代的基于深度学习的RS,而它几乎是无法检测到的最先进的攻击检测模型。
2020-07-23 cs.CR cs.IR cs.LG
HiSAC: Hierarchical Sparse Activation Compression for Ultra-long Sequence Modeling in Recommenders
Alibaba Group(阿里巴巴集团);Renmin University(中国人民大学)
针对推荐系统超长序列建模难题,提出HiSAC框架。通过编码交互、构建分层码本及投票机制确定偏好中心,利用注意力聚合历史信号,减少量化误差并保留长尾行为,在淘宝应用效果显著。
2026-07-07 cs.CL cs.IR
A Closer Look on Gender Stereotypes in Movie Recommender Systems and Their Implications with Privacy
本文通过630人用户研究与四种推理算法,结合MovieLens 1M和Yahoo!Movie数据集,揭示电影推荐中的性别刻板印象可被用于隐私推断。
2025-01-08 cs.IR