Analogical Inference Enhanced Knowledge Graph Embedding
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Donghai Laboratory(东海实验室);Huawei Technologies Co., Ltd(华为技术有限公司);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
知识图谱嵌入(KGE)将知识图谱中的实体和关系映射到连续的向量空间,在预测知识图谱中的缺失链接方面取得了巨大的成功。然而,知识图谱往往包含不完整的三元组,这是很难归纳推断的KGE。为了解决这个问题,我们诉诸类比推理,并提出了一个新的和一般的自监督框架AnKGE增强KGE模型与类比推理能力。我们提出了一个类比对象检索器,检索适当的类比对象从实体级,关系级,三级。在AnKGE中,我们训练一个类比函数,用于类比推理的每一层,以训练好的KGE模型的原始元素嵌入作为输入,输出类比对象嵌入。为了将原始KGE模型的归纳推理能力和AnKGE增强的类比推理能力相结合,我们将类比得分与基础模型得分插值,并在得分函数中引入自适应权重进行预测。通过在FB 15 k-237和WN 18 RR数据集上的大量实验,我们证明了AnKGE在链接预测任务上取得了有竞争力的结果,并能很好地执行类比推理。
2023-02-04 cs.AI cs.CL
PIE: a Parameter and Inference Efficient Solution for Large Scale Knowledge Graph Embedding Reasoning
Ant Group(蚂蚁集团)
知识图谱(KG)的嵌入方法,映射的实体和关系的唯一嵌入在KG已显示出良好的结果,在许多推理任务。然而,密集实体和稀疏实体的相同嵌入维度将导致过度参数化(稀疏实体)或拟合不足(密集实体)。通常,设置较大的维度以获得更好的性能。同时,推理时间随着遍历和比较所有实体的实体数量呈对数线性增长。当处理大量实体时,参数和推理都成为挑战。因此,我们提出了PIE,一个\textbf{p}算法和\textbf{i}参考\textbf{e}有效的解决方案。受张量分解方法的启发,我们发现将实体嵌入矩阵分解为低秩矩阵可以在保持相当性能的同时减少一半以上的参数。为了加速模型推理,我们提出了一个自监督的辅助任务,它可以被看作是细粒度的实体类型。通过随机掩蔽和恢复实体的连接关系,任务学习实体和关系的共现。利用细粒度的类型,我们可以过滤不相关的实体在推理过程中,并得到可能的次线性时间要求的目标。在链接预测基准测试上的实验证明了所提出的关键能力。此外,我们证明了所提出的解决方案的有效性在开放图基准的大规模挑战数据集WikiKG90Mv2,并实现了最先进的性能。
2022-05-05 cs.AI cs.CL
Property Inference From Poisoning
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
属性推断攻击考虑可以访问训练模型的对手,并试图提取训练数据的一些全局统计信息。在这项工作中,我们研究的情况下,对手可以恶意控制部分的训练数据(中毒数据),以增加泄漏的属性推断。以前关于中毒攻击的工作集中在试图降低模型在整个群体或特定子群体或实例上的准确性。在这里,我们第一次研究中毒攻击,对手的目标是增加模型的信息泄漏。我们的研究结果表明,中毒攻击可以显着提高信息泄漏,并应被视为一个更强大的威胁模型在敏感的应用程序中,其中一些数据源可能是恶意的。我们描述了我们的\emph{property inference poisoning attack},它允许对手学习它选择的任何属性的训练数据中的流行率。我们从理论上证明了只要所使用的学习算法具有良好的泛化性能,我们的攻击总是可以成功的。然后,我们通过实验评估两个数据集:人口普查数据集和安然电子邮件数据集,验证我们的攻击的有效性。在我们所有的实验中,我们都能够在$9-10\%$中毒的情况下实现上述$90\%$攻击精度。
2021-01-26 cs.CR cs.LG
Adversarial Attacks on Node Embeddings via Graph Poisoning
Technical University of Munich(慕尼黑工业大学)
网络表示学习的目标是学习低维节点嵌入,这些节点嵌入捕获图结构,并有助于解决下游任务。然而,尽管这种方法的扩散,目前还没有研究其鲁棒性的对抗攻击。我们对广泛使用的基于随机游走的方法家族进行了首次对抗性脆弱性分析。我们得到了有效的对抗性扰动,它会毒害网络结构,并对嵌入的质量和下游任务产生负面影响。我们进一步表明,我们的攻击是可转移的,因为它们推广到许多模型,即使在攻击者受到限制时也是成功的。
2019-05-27 cs.CR cs.LG cs.SI
Explainable Knowledge Graph Embedding: Inference Reconciliation for Knowledge Inferences Supporting Robot Actions
Georgia Institute of Technology(佐治亚理工学院)
支持机器人的学习知识图谱表示包含丰富的驱动机器人行为的领域知识。然而,不存在一个推理和解框架,表示如何影响机器人的顺序决策的知识图谱表示。我们使用教学方法来解释一个学习,黑盒知识图谱表示,一个知识图谱嵌入的推论。我们的可解释模型,使用决策树分类器来局部近似黑盒模型的预测,并提供非专家可解释的自然语言解释。从我们的算法评估结果肯定了我们的模型设计的选择,我们的用户研究的结果与非专家支持所提出的推理和解框架的需要。关键的是,我们的模拟机器人评估结果表明,我们的解释使非专家纠正不稳定的机器人行为,由于荒谬的信念在黑盒子。
2022-05-04 cs.AI cs.RO
Approximating Probabilistic Inference in Statistical EL with Knowledge Graph Embeddings
Bosch Center for AI(博世人工智能中心);University of Stuttgart(斯图加特大学);Cardiff University(卡迪夫大学);Stanford University(斯坦福大学);University of Oslo(奥斯陆大学);University of Southampton(南安普顿大学)
本文提出利用知识图谱嵌入高效近似统计EL中的概率推理,并提供了运行时和正确性保证的理论证明及实验评估。
2026-06-02 cs.AI
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China(电子科技大学);Georgia State University(佐治亚州立大学)
最近,物联网(IoT)、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而,现有的图嵌入方法没有考虑用户的隐私,以防止推理攻击。也就是说,攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中,我们提出了对抗隐私图嵌入(APGE),这是一个图对抗训练框架,它集成了解开和清除机制,以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性,同时隐藏了用户的私有属性,避免了推理攻击。在真实世界的图数据集上进行的大量实验表明,与最先进的算法相比,APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
Embedding Poisoning: Bypassing Safety Alignment via Embedding Semantic Shift
University of Electronic Science and Technology of China(电子科技大学);Huazhong University of Science and Technology(华中科技大学);The University of Queensland(昆士兰大学)
针对LLM部署阶段,提出基于搜索的嵌入投毒(SEP)框架,通过向高风险令牌嵌入注入优化扰动,绕过安全对齐,在六个模型上实现96.43%平均攻击成功率,揭示嵌入级完整性检查的迫切性。
2025-09-08 cs.CR cs.LG
AMES: A Differentiable Embedding Space Selection Framework for Latent Graph Inference
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出AMES框架,通过反向传播为潜图推断可微地选择最佳嵌入空间,在五个基准数据集上取得优异性能,并提供可解释性方法以定量比较不同嵌入空间的贡献。
2023-11-20 cs.LG cs.SI stat.ML
What Really is a Member? Discrediting Membership Inference via Poisoning
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Vanderbilt University(范德堡大学);Google DeepMind(谷歌DeepMind)
本文证明即使放宽成员定义,成员推断测试仍可通过训练数据投毒被破坏,并从理论和实验上揭示了测试准确性与投毒鲁棒性之间的权衡。
2025-06-06 cs.CR cs.LG
Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning
Tel Aviv University(特拉维夫大学);MIT(麻省理工学院);Cornell Tech(康奈尔科技学院)
词嵌入,即,诸如GloVe和SGNS的低维向量表示在词的向量之间的距离对应于它们的语义接近度的意义上对词“含义”进行编码。这使得能够对各种自然语言处理任务进行语义的迁移学习。词嵌入通常在大型公共语料库(如Wikipedia或Twitter)上进行训练。我们证明,攻击者谁可以修改的语料库上的嵌入训练可以控制“意义”的新的和现有的单词通过改变它们在嵌入空间中的位置。我们开发了一个明确的表达语料库功能,作为一个代理词之间的距离,并建立其值和嵌入距离之间的因果关系。然后,我们展示了如何将这种关系用于两个对抗目标:(1)使一个词成为另一个词的顶级邻居,以及(2)将一个词从一个语义集群移动到另一个。对嵌入的攻击可能会影响各种下游任务,这首次证明了数据投毒在迁移学习场景中的威力。我们使用这种攻击来操纵信息检索系统(如简历搜索)中的查询扩展,使某些名称或多或少对命名实体识别模型可见,并使新词被翻译为特定的目标词,而不管语言。最后,我们展示了攻击者如何生成语言上可能的语料库修改,从而欺骗防御,试图使用语言模型从语料库中过滤不可信的句子。
2020-01-14 cs.CL cs.CR cs.LG
Find a Scapegoat: Poisoning Membership Inference Attack and Defense to Federated Learning
Yale University(耶鲁大学);University of Louisville(路易斯维尔大学);Guangdong Polytechnic Normal University(广东 polytechnic 正规大学)
本文提出针对联邦学习的投毒成员推理攻击FedPoisonMIA,通过恶意客户端构造本地更新推断成员信息,并设计鲁棒防御机制以减轻其影响。
2025-07-01 cs.CR cs.DC cs.LG
Poisoning Bayesian Inference via Data Deletion and Replication
CUNEF Universidad Nantes Université, École Centrale Nantes, CNRS LS2N, UMR 6004, F-44000 Nantes, France(CUNEF大学南特大学,中央理工南特学院,CNRS LS2N,UMR 6004,法国南特)
本文提出通过策略性删除和复制观测数据来攻击通用贝叶斯推断的白盒投毒方法,能够将后验导向目标分布并实现仅破坏特定推断的外科手术式投毒。
2025-03-06 cs.LG stat.ML
Data Poisoning Attack against Unsupervised Node Embedding Methods
Tsinghua University(清华大学);Mila(米拉研究所);HEC Montreal(蒙特利尔高等商学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校)
无监督节点嵌入方法(例如,DeepWalk、LINE和node 2 vec)由于其简单性和有效性而吸引了越来越多的兴趣。然而,虽然这些方法已被证明是有效的,在各种应用中,没有现有的工作已经分析了他们的鲁棒性。如果这些方法受到敌对方的攻击,这可能非常危险。本文以图分析中最基本的问题之一--链接预测为例,介绍了一种针对节点嵌入方法的数据定位攻击。我们给出了攻击者效用的完整表征,并针对两种流行的节点嵌入方法:DeepWalk和LINE,提出了对抗攻击的有效解决方案。我们评估我们提出的攻击模型在多个现实世界的图。实验结果表明,我们提出的模型可以通过稍微改变图结构(例如,添加或去除一些边缘)。我们还表明,我们提出的模型是非常普遍的,可以在不同的嵌入方法之间转移。最后,我们在一个合著者网络上进行了一个案例研究,以更好地理解我们的攻击方法。
2018-11-01 cs.CR cs.LG cs.SI
SNAP: Efficient Extraction of Private Properties with Poisoning
Northeastern University(东北大学);Google Research(谷歌研究院);ETH Zurich(苏黎世联邦理工学院)
提出SNAP攻击,利用投毒高效提取训练数据集的私有属性,相比现有方法成功率更高且计算开销更低,并支持属性存在性推断与比例估计。
2023-06-21 cs.CR cs.LG
Chameleon: Increasing Label-Only Membership Leakage with Adaptive Poisoning
Northeastern University(东北大学)
针对仅标签场景下现有成员推理攻击在低假阳性率区间失效的问题,本文提出Chameleon攻击,通过自适应数据投毒与高效查询选择显著提升成员推理准确性。
2024-01-16 cs.LG
What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning
University of Siegen(锡根大学);University of Maryland(马里兰大学)
数据投毒是一种威胁模型,其中恶意行为者篡改训练数据以在推理时操纵结果。针对这种威胁模型提出了各种防御措施,但每一种都至少有以下缺陷之一:它们很容易被自适应攻击克服,它们严重降低测试性能,或者它们不能推广到不同的数据投毒威胁模型。对抗性训练及其变体目前被认为是唯一一种针对(推理时间)对抗攻击的经验性强的防御方法。在这项工作中,我们扩展了对抗性训练框架,以防御(训练时间)数据投毒,包括有针对性的和后门攻击。我们的方法通过在训练过程中创建毒药并将其注入训练批次来使网络对此类攻击的影响脱敏。我们证明了这种防御可以承受自适应攻击,推广到不同的威胁模型,并且比以前的防御(如DP-SGD或(逃避)对抗训练)具有更好的性能权衡。
2022-02-17 cs.CR cs.CV cs.LG
SteganoBackdoor: Evading Data-Poisoning Defenses via Steganographic Backdoors
UC San Diego(圣迭戈大学)
SteganoBackdoor通过隐写学方法在流畅句子中隐蔽地植入后门,实现对语言模型的高效隐蔽攻击。
2026-09-21 cs.CL cs.CR cs.LG
Model Supply Chain Poisoning: Backdooring Pre-trained Models via Embedding Indistinguishability
Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学)
本文提出 TransTroj 后门攻击,通过两阶段优化实现嵌入不可区分性,使预训练模型中的后门在供应链微调后仍能高效迁移,在多数下游任务上达到近 100% 攻击成功率。
2025-02-04 cs.CR cs.CV cs.LG
Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);National University of Singapore(新加坡国立大学);Yale-NUS College(耶鲁-新加坡国立大学学院);Oregon State University(俄勒冈州立大学)
我们介绍了一类新的攻击机器学习模型。我们证明,可以毒害训练数据集的对手可能会导致在此数据集上训练的模型泄露属于其他方的训练点的重要私人细节。我们的主动推理攻击连接了两条独立的工作线,目标是机器学习训练数据的完整性和隐私。我们的攻击是有效的成员推理,属性推理和数据提取。例如,我们的目标攻击可以毒害<0.1%的训练数据集,从而将推理攻击的性能提高1到2个数量级。此外,控制训练数据的很大一部分(例如,50%)可以发起无针对性的攻击,对所有其他用户的隐私数据点进行8倍更精确的推断。如果各方可以任意选择他们的训练数据份额,我们的研究结果对机器学习多方计算协议中的密码隐私保证的相关性产生了怀疑。
2022-10-06 cs.CR cs.LG stat.ML
Code-Poisoning Property Inference Attacks
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);School of Computer Science and Engineering, Northeastern University(计算机科学与工程学院,东北大学)
研究针对机器学习模型训练数据隐私泄露问题,提出代码中毒属性推理攻击(CPPIA),克服现有工作局限。通过恶意代码提供者使数据持有者下载中毒代码训练模型,对手借此嵌入属性查询模型泄露隐私,该方法攻击准确率高、计算轻量,评估证明其通用性和有效性。
2026-07-20 cs.CR cs.LG
Deep Probabilistic Models to Detect Data Poisoning Attacks
Intel Labs(英特尔实验室)
数据投毒攻击通过引入恶意训练样本来影响测试期间的结果,从而损害机器学习模型的完整性。在这项工作中,我们通过在训练图像中插入后门模式来研究对深度神经网络(DNN)的后门数据投毒攻击。由此产生的攻击将错误分类中毒的测试样本,同时保持高精度的清洁测试集。我们提出了两种方法,通过量化与训练模型相关的不确定性估计来检测此类中毒样本。在第一种方法中,我们使用从干净的保留数据集学习的参数概率分布来对各个层(深度特征)的输出进行建模。在推断时,计算这些分布的深度特征的似然性以获得不确定性估计。在第二种方法中,我们使用贝叶斯深度神经网络训练平均场变分推理来估计与预测相关的模型不确定性。这些方法的不确定性估计用于区分干净的中毒样品。
2019-12-03 cs.LG stat.ML
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Lab(应用物理实验室)
在本文中,我们提出了一种新的数据投毒攻击,并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上,这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程,用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中,并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks
University of Maryland, College Park(马里兰大学帕克分校)
数据投毒和后门攻击操纵训练数据,以导致模型在推理过程中失败。最近对行业从业者的一项调查发现,数据投毒是从模型窃取到对抗攻击等威胁中的头号问题。然而,考虑到这些方法,即使是目标相同的方法,也没有在一致或现实的环境中进行过测试,因此仍然不清楚投毒方法的危险程度以及哪些方法更有效。我们观察到,数据投毒和后门攻击是高度敏感的测试设置的变化。此外,我们发现,现有的方法可能无法推广到现实的设置。虽然这些现有的作品作为数据投毒的有价值的原型,我们应用严格的测试,以确定我们应该害怕他们的程度。为了促进公平比较,在未来的工作中,我们开发了标准化的基准数据投毒和后门攻击。
2021-06-17 cs.CR cs.CV cs.CY
Training set cleansing of backdoor poisoning by self-supervised representation learning
Meta;Pennsylvania State University(宾夕法尼亚州立大学)
后门或特洛伊木马攻击是针对深度神经网络(DNN)分类器的一种重要类型的数据投毒攻击,其中训练数据集被少量样本中毒,每个样本都具有后门模式(通常是不可感知或无害的模式)并且被错误标记为攻击者的目标类别。当在后门中毒的数据集上训练时,DNN在大多数良性测试样本上表现正常,但当测试样本包含后门模式时(即,包含后门触发器)。在这里,我们专注于图像分类任务,并表明监督训练可以建立后门模式和相关的目标类之间的关联比正常功能和真正的类的起源。相比之下,自监督表示学习忽略了样本的标签,并根据图像的语义内容学习特征嵌入。因此,我们建议使用无监督的表示学习来避免强调后门中毒的训练样本,并为同一类的样本学习类似的特征嵌入。利用自监督表示学习发现的特征嵌入,提出了一种结合样本过滤和重新标记的数据清洗方法。在CIFAR-10基准数据集上的实验表明,该方法在抵御后门攻击方面达到了最先进的性能。
2023-03-14 cs.CR cs.CV cs.LG
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models
University of Maryland(马里兰大学);Oregon State University(俄勒冈州立大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分部);MPI Intelligent Systems(马克斯·普朗克智能系统研究所);Google DeepMind(谷歌DeepMind)
本文提出隐私后门攻击,通过污染预训练模型使受害者在微调时以更高速率泄露训练数据,并在CLIP和大语言模型上验证了其广泛有效性与隐私风险。
2024-04-01 cs.CR cs.LG
Multi-Trigger Poisoning Amplifies Backdoor Vulnerabilities in LLMs
University of Cambridge(剑桥大学);Trismik
本研究提出多触发器投毒框架,证明LLM中多个后门可共存且高相似性触发器稳健激活,并提出基于逐层权重差异分析的选择性重训练方法以最小参数更新有效防御。
2025-10-09 cs.CL cs.CR cs.LG
Empirical Evaluation of Data Poisoning Attacks in Supervised Learning
Minot State University(迈诺特州立大学)
本研究在MNIST和Fashion-MNIST上实证评估标签翻转与后门投毒攻击,发现后门攻击隐蔽且成功率高,需安全导向评估。
2026-09-11 cs.CR cs.LG
PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks
The University of Texas at Dallas(德克萨斯大学达拉斯分校);The Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)的黑盒性质便于攻击者通过数据投毒来操纵DNN的行为。能够检测和减轻中毒攻击(通常分为后门和对抗性中毒(AP))对于在许多应用领域中安全采用DNN至关重要。虽然最近的工作表现出令人鼓舞的结果检测某些后门攻击,他们表现出固有的局限性,可能会显着限制的适用性。实际上,不存在用于检测AP攻击的技术,这代表了更困难的挑战,因为这种攻击没有表现出共同和明确的规则,而后门攻击表现出共同和明确的规则(即,将后门触发器嵌入到中毒数据中)。我们认为,检测和缓解AP攻击的关键是在受感染的DNN模型中观察和利用基本中毒诱导属性的能力。在本文中,我们提出PoisHygiene,第一个有效和强大的检测和缓解框架对AP攻击。PoisHygiene的基本动机是欧内斯特·卢瑟福博士的故事(即,1908年诺贝尔奖获得者),通过随机电子取样观察原子结构。
2020-06-19 cs.CR cs.CV cs.LG
Deep k-NN Defense against Clean-label Data Poisoning Attacks
Center for Machine Learning, University of Maryland - College Park(马里兰大学帕克分校机器学习中心)
有针对性的干净标签数据投毒是对机器学习系统的一种对抗攻击,其中攻击者将一些正确标记的、最小扰动的样本注入训练数据中,导致模型在推理过程中错误分类特定的测试样本。虽然已经提出了一般中毒攻击的防御措施,但没有证明对清洁标签攻击的可靠防御,尽管攻击的有效性和现实应用。在这项工作中,我们提出了一种简单但高效的深度k-NN防御方法,可以抵御CIFAR-10数据集上的特征冲突和凸多面体清洁标签攻击。我们证明,我们提出的策略能够检测到超过99%的中毒的例子在这两种攻击,并删除它们,而不影响模型的性能。此外,通过消融研究,我们发现了选择k值以及在具有类别不平衡的真实世界数据集上实施深度k-NN防御的简单指南。我们提出的防御表明,目前的清洁标签中毒攻击策略可以被废除,并作为一个强大而简单的实现基线防御,以测试未来的清洁标签中毒攻击。我们的代码可在https://github.com/neeharperi/DeepKNNDefense上获得
2020-08-13 cs.CV cs.LG cs.NE
Weight Poisoning Attacks on Pre-trained Models
Carnegie Mellon University(卡内基梅隆大学)
最近,NLP使用大型预训练模型的情况激增。用户下载在大型数据集上预先训练的模型的权重,然后在他们选择的任务上微调权重。这就提出了一个问题,即下载不受信任的预训练权重是否会构成安全威胁。在本文中,我们证明了可以构建“权重中毒”攻击,其中预先训练的权重被注入漏洞,这些漏洞在微调后暴露“后门”,使攻击者能够简单地通过注入任意关键字来操纵模型预测。我们表明,通过应用正则化方法(我们称之为RIPPLe)和初始化过程(我们称之为嵌入手术),即使对数据集和微调过程的了解有限,这种攻击也是可能的。我们在情感分类、毒性检测和垃圾邮件检测上的实验表明,这种攻击具有广泛的适用性,并构成严重的威胁。最后,我们概述了针对此类攻击的实际防御措施。复制我们实验的代码可在https://github.com/neulab/RIPPLe上获得。
2020-04-14 cs.CL cs.CR cs.LG
Class Machine Unlearning for Complex Data via Concepts Inference and Data Poisoning
China University of Geosciences(中国地质大学);City University of Macau(澳门城市大学);University of Technology Sydney(悉尼科技大学)
本文提出基于概念推断与数据投毒的方法,用于复杂数据的类机器遗忘,能准确擦除目标信息并保持模型性能。
2026-10-09 cs.LG
Robust Industrial Cyber Physical Classification Using Neuromorphic Temporal Embeddings and Hybrid SNN XGBoost Under Machine Unlearning Attacks
RMIT University(皇家墨尔本理工大学);Powercor(Powercor公司)
提出混合SNN与XGBoost架构,利用神经形态时间编码实现轻量级鲁棒入侵检测,在电力系统数据集上达99.9%准确率,并有效抵御机器遗忘攻击。
2026-09-10 cs.CR cs.LG cs.NE
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks
University of Maryland(马里兰大学)
本文针对数据投毒攻击,评估了Deep Partition Aggregation等聚合防御的实践表现,提出了提升模型扩展效率的方法,并揭示了投毒过拟合现象是增强鲁棒性的关键机制。
2023-06-28 cs.AI cs.CR cs.CV
Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris);Universidad Carlos III de Madrid
探讨针对联网和自动驾驶车辆增强型3D点云公共数据集的中毒攻击影响,以生成对抗网络技术为例评估增强中毒数据集效果,验证中毒能规避增强技术净化特性及在增强数据集上的传播与干扰,且实验材料公开。
2026-07-08 cs.CR cs.CV cs.LG
Multi-Faceted Studies on Data Poisoning can Advance LLM Development
Michigan State University(密歇根州立大学);University of Arizona(亚利桑那大学);University of Georgia(佐治亚大学)
本文提出应超越将数据投毒仅视为安全威胁的视角,从威胁评估、可信性增强和机制理解三方面利用投毒研究推动更安全、鲁棒且可解释的 LLM 发展。
2025-02-20 cs.CR cs.LG
Influence-Driven Data Poisoning in Graph-Based Semi-Supervised Classifiers
Université de Luxembourg(卢森堡大学)
基于图的半监督学习(GSSL)是一种实用的解决方案,可以从有限数量的标记数据和大量未标记数据中学习。然而,由于它们依赖于已知标签来推断未知标签,这些算法对数据质量敏感。因此,必须研究与标签数据相关的潜在威胁,更具体地说,标签中毒。在本文中,我们提出了一种新的数据投毒方法,有效地近似标签推理的结果,以确定输入,如果中毒,将产生最高数量的错误推断标签。我们广泛评估我们的方法在24个不同的实验设置下的三个分类问题。与现有技术相比,我们的影响驱动攻击产生的平均错误率增加了出错率50%,同时速度快了几个数量级。此外,我们的方法可以在训练学习模型之前通知工程师值得调查的输入(重新标记它们)。我们发现,重新标记三分之一的中毒输入(根据其影响力选择)减少50%的中毒效果。
2022-05-11 cs.LG cs.SE
SAFELOC: Overcoming Data Poisoning Attacks in Heterogeneous Federated Machine Learning for Indoor Localization
Colorado State University(科罗拉多州立大学)
提出SAFELOC框架,通过融合神经网络架构和动态显著性图聚合策略,在异构联邦学习环境中抵御数据投毒攻击,显著降低室内定位误差与推理延迟。
2024-11-13 cs.AI cs.CR cs.LG
Backdoor Attacks in Federated Learning by Rare Embeddings and Gradient Ensembling
Seoul National University(首尔国立大学)
联邦学习的最新进展已经证明了它在分散数据集上学习的潜力。然而,大量的工作引起了人们的担忧,因为参与框架的对手可能会出于敌对目的毒化全球模型。本文研究了通过NLP模型的稀有词嵌入来对后门攻击进行模型中毒的可行性。在文本分类中,少于1%的对手客户端足以操纵模型输出,而不会降低对干净句子的性能。对于一个不太复杂的数据集,仅仅0.1%的对手客户端就足以有效地毒害全局模型。我们还提出了一种专门用于联邦学习方案的技术,称为梯度增强,它增强了我们所有实验设置中的后门性能。
2022-10-24 cs.AI cs.CL cs.LG
FLEDGE: Ledger-based Federated Learning Resilient to Inference and Backdoor Attacks
The University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校);Technical University of Darmstadt(达姆施塔特工业大学);KOBIL GmbH(KOBIL有限公司);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本研究提出基于账本的联邦学习框架FLEDGE,利用加密货币的奖惩机制实现参与方行为问责,可同时高效缓解推理与投毒攻击,经多数据集验证,其在保障隐私、抵御攻击的同时可维持模型效用。
2023-10-03 cs.CR cs.DC cs.LG
Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近关注神经网络安全性的一个来源是干净标签数据集中毒攻击的出现,其中正确标记的中毒样本被注入到训练数据集中。虽然这些有毒样本对人类观察者来说看起来是合法的,但它们包含恶意特征,这些特征会在推理过程中触发有针对性的错误分类。针对迁移学习,提出了一种可扩展、可转移的清洁标签中毒攻击方法,该方法在特征空间中创建中心靠近目标图像的中毒图像。我们的攻击Bullseye Polytope在端到端迁移学习中将当前最先进的攻击成功率提高了26.75%,同时将攻击速度提高了12倍。我们进一步将靶心多面体扩展到更实用的攻击模型,包括同一对象的多个图像(例如,从不同的角度)制作毒药样本时。我们证明,这种扩展提高了攻击的可转移性超过16%,看不见的图像(相同的对象),而不使用额外的毒药样本。
2021-03-14 cs.CR cs.LG stat.ML
DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial
Lawrence Technological University(劳伦斯理工大学)
本文提出DenialRAG单文档RAG污染攻击,通过嵌入参数化弃权引导LLM生成错误答案,经多数据集、多模型及防御评估,其在Mistral-7B上攻击效果最优,凸显RAG污染风险的复杂性。
2026-08-05 cs.AI cs.CR cs.LG
TOFD: Target-Oriented Feature Decoupling against Poisoning Attacks in Split Federated Learning
Shanghai University of Finance and Economics(上海财经大学)
针对分裂式联邦学习的投毒攻击,本文提出TOFD框架,通过目标推理、样本净化、解耦优化三阶段防御,在五个数据集上优于现有最优防御,鲁棒性高且开销低,适用于实际部署。
2026-08-10 cs.AI cs.LG
Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning
Duke University(杜克大学)
针对联邦学习后门更新易被防御检测的问题,提出DPOT触发器优化数据投毒攻击,仅靠数据投毒即可隐藏恶意更新并突破现有防御。
2024-09-09 cs.AI cs.CR cs.LG
Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection
Laurentian University(劳伦森大学);Centennial College(百年学院);The University of Osaka(大阪大学)
本文提出RAG-IDS三层多智能体入侵检测框架,通过软信任评分、LECC和提示净化的检索边界防御,可在知识投毒与提示注入攻击下恢复分类质量,在CIC-UNSW-NB15数据集上表现出良好的防御效果。
2026-08-11 cs.AI cs.CR cs.LG
SleeperNets: Universal Backdoor Poisoning Attacks Against Reinforcement Learning Agents
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
本文提出通用后门投毒攻击框架SleeperNets,通过关联攻击目标与最优策略求解并利用动态奖励投毒,在多个环境中显著提升攻击成功率且不影响正常性能。
2024-10-21 cs.CR cs.LG
Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
Nankai University(南开大学);University of Louisville(路易斯安那大学);University of North Texas(北卡罗来纳州立大学)
该研究提出首个针对检索增强生成(RAG)投毒攻击的综合性基准框架,涵盖5个标准QA数据集及10个扩展变体、13种攻击方法和7种防御机制,发现现有攻击在扩展数据集上效果显著下降,且多种先进RAG架构仍易受攻击,现有防御缺乏稳健性。
2025-05-24 cs.CR cs.IR cs.LG
Subpopulation Data Poisoning Attacks
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
机器学习系统部署在关键环境中,但它们可能会以意想不到的方式失败,影响其预测的准确性。针对机器学习的中毒攻击会导致对机器学习算法使用的数据进行对抗性修改,以在部署时选择性地改变其输出。在这项工作中,我们介绍了一种新的数据投毒攻击称为\emph{subpopulation attack},这是特别相关的数据集是大而多样的。我们设计了一个子群体攻击的模块化框架,用不同的构建块实例化它,并表明攻击对各种数据集和机器学习模型是有效的。我们进一步优化攻击在连续域中使用影响函数和梯度优化方法。与现有的后门中毒攻击相比,子群攻击具有在推理时在自然分布的数据点中诱导错误分类的优点,使得攻击非常隐蔽。我们还表明,我们的攻击策略可以用来改善现有的有针对性的攻击。我们证明,在某些假设下,亚群攻击是不可能防御的,并以经验证明了现有防御措施对我们的攻击的局限性,突出了保护机器学习免受这种威胁的困难。
2021-05-12 cs.CR cs.LG stat.ML
Enhancing Prompt Injection Attacks to LLMs via Poisoning Alignment
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 PoisonedAlign 方法,通过投毒 LLM 的对齐数据集来放大未来提示注入攻击的成功率,且在保持模型标准能力基准性能不变的情况下难以被检测。
2025-09-15 cs.AI cs.CL cs.CR
Traceback of Poisoning Attacks to Retrieval-Augmented Generation
CCS\&CS, DISSec, Nankai University(计算机科学与技术系、信息安全与保密系、南开大学);University of Louisville(路易斯维尔大学);University of North Texas(北德克萨斯大学)
针对RAG知识库投毒攻击,本文提出首个溯源系统RAGForensics,通过迭代检索与LLM提示检测定位投毒文本,并在多数据集上验证其防御有效性。
2025-10-18 cs.CR cs.IR cs.LG
Demystifying Poisoning Backdoor Attacks from a Statistical Perspective
University of Minnesota(明尼苏达大学);Cisco Research(思科研究院)
本文从统计视角建立包含常量触发器的后门攻击在干净和后门测试数据上性能的严格上下界,揭示了攻击成功的决定因素、最有效攻击方向及人类不可察觉触发器成功的条件,适用于判别式与生成式模型。
2023-10-18 cs.AI cs.CR cs.LG
Poisoning Federated Recommender Systems with Fake Users
University of Science and Technology of China(中国科学技术大学);Duke University(杜克大学)
本文提出了一种名为PoisonFRS的新型虚假用户投毒攻击方法,无需额外信息即可在联邦推荐系统中推广攻击者选定的目标项目,实验证明其效果优于依赖额外信息的现有基准。
2024-02-18 cs.CR cs.IR cs.LG
FullCert: Deterministic End-to-End Certification for Training and Inference of Neural Networks
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Oxford(牛津大学)
针对机器学习模型缺乏训练阶段攻击可证明鲁棒性保证的问题,提出首个端到端确定性认证器FullCert,结合开源库BoundFlow实现训练与推理阶段的联合鲁棒性认证,并在两个数据集上验证了可行性。
2024-09-11 cs.AI cs.CR cs.LG
Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems
Independent Researcher(独立研究者)
研究RAG系统中依赖语料库的污染攻击与防御,提出双文档污染攻击方法并评估混合检索防御效果,展示混合检索能有效降低攻击成功率。
2026-03-10 cs.AI cs.CR cs.LG