Finding Connections: Membership Inference Attacks for the Multi-Table Synthetic Data Setting
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
本文提出多表成员推断攻击，揭示单表攻击低估用户级隐私泄露问题，通过异构图神经网络评估用户实体的隐私风险。
2026-05-08 cs.LG
Target-Aware Interaction-Guided Reinforcement Learning for Black-Box Node Injection Attacks on Graph Neural Networks
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
研究针对图神经网络黑盒节点注入攻击问题，提出TIRBA方法，将攻击建模为马尔可夫决策过程，通过设计目标感知交互编码器、引入类中心引导机制和采用拓扑差异感知状态值评估来联合优化节点特征生成与边构建，性能优于现有方法。
2026-07-07 cs.LG
White-box Membership Attack Against Machine Learning Based Retinopathy Classification
Université de Bretagne Occidentale - UBO（西布列塔尼大学）；Inserm（法国国家健康与医学研究院）
机器学习（ML）的进步极大地改善了医学成像中基于AI的诊断辅助系统。然而，基于收集特定于个人的医疗数据会引发一些安全问题，特别是在隐私方面。即使像医院这样的图像所有者在其信息系统层面制定了严格的隐私保护规定，在其图像上训练的模型仍然具有披露潜力。攻击者可以通过以下方式访问经训练的模型：1）白盒：访问模型架构和参数; 2）黑盒：其中他只能通过适当的接口用他自己的输入来查询模型。现有的攻击方法包括：特征估计攻击（FEA）、成员推断攻击（MIA）、模型记忆攻击（MMA）和识别攻击（IA）。在这项工作中，我们专注于MIA对一个模型，已被训练为从视网膜图像检测糖尿病视网膜病变。糖尿病视网膜病变是一种可导致糖尿病患者视力丧失和失明的疾病。MIA是确定数据样本是否来自经训练的ML模型的训练数据集的过程。从隐私的角度来看，在我们的用例中，糖尿病视网膜病变分类模型被提供给拥有图像和患者标识符的合作伙伴，推断数据样本的成员状态可以帮助说明患者是否对模型的训练做出了贡献。
2022-05-30 cs.AI cs.CR cs.CV
Investigating the Effect of Misalignment on Membership Privacy in the White-box Setting
EPFL（洛桑联邦理工学院）；Microsoft（微软公司）；Imperial College London (ICL)（伦敦帝国学院）；Azure Research（微软Azure研究院）；M365 Research（微软365研究院）
本研究首次系统分析影子模型错位成因，发现权重初始化是主因，并引入重新对齐技术，显著提升白盒成员推理攻击性能，表明设备端部署扩大攻击面。
2024-03-12 cs.CR cs.LG
Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics
University of Central Florida（中佛罗里达大学）；University of Texas San Antonio（德克萨斯大学圣安东尼奥分校）
我们演示了目标模型的泛化差距如何直接导致一个有效的确定性黑盒成员推断攻击（MIA）。这提供了基于简单度量的模型对MIA的安全性的上限。此外，这种攻击被证明是最佳的预期意义上只访问某些可能获得的度量有关的网络的训练和性能。实验表明，这种攻击在许多情况下与最先进的MIA的准确性相当。
2020-09-11 cs.CR cs.LG stat.ML
Membership Inference Attack and Defense for Wireless Signal Classifiers with Deep Learning
Virginia Tech（弗吉尼亚理工大学）；Intelligent Automation, Inc.（智能自动化公司）
提出了一种无线成员推断攻击（MIA），用于从无线信号分类器中泄漏私有信息。机器学习（ML）提供了对无线信号进行分类的强大手段，例如，用于PHY层认证。作为对抗性机器学习攻击，MIA推断目标分类器的训练数据中是否使用了感兴趣的信号。该私有信息包含波形、信道和设备特征，并且如果被泄露，则可以被对手利用来识别底层ML模型的漏洞（例如，以渗透PHY层认证）。空中MIA的一个挑战是，由于信道条件的差异，对手和预期接收机处的接收信号以及因此的RF指纹不同。因此，对手首先通过观察频谱来构建代理分类器，然后在该分类器上启动黑盒MIA。MIA结果表明，对手可以可靠地推断用于构建目标分类器的信号（以及潜在的无线电和信道信息）。因此，通过建立影子MIA模型和欺骗对手来开发针对MIA的主动防御。这种防御可以成功地降低MIA的准确性，并防止从无线信号分类器的信息泄漏。
2021-07-22 cs.CR cs.IT cs.LG
G-Drift MIA: Membership Inference via Gradient-Induced Feature Drift in LLMs
Florida International University（佛罗里达国际大学）；University of South Florida（南佛罗里达大学）
本文提出G-Drift MIA，通过梯度诱导的特征漂移实现LLM成员推断，优于传统方法，在多个模型和数据集上表现突出，揭示了梯度几何与记忆之间的联系。
2026-04-01 cs.AI cs.LG
A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）；Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
本文针对扩散模型成员推理攻击中过拟合依赖导致的性能不足问题，提出基于概率波动检测的黑盒攻击方法PFAMI，利用生成模型固有的记忆现象提升攻击成功率，实验表明其ASR较最佳基线提高约27.9%。
2024-12-26 cs.AI cs.CR cs.CV
Membership Inference Attacks Against Self-supervised Speech Models
National Taiwan University（国立台湾大学）
最近，将自监督学习（SSL）的思想应用于连续语音已经开始受到关注。在大量未标记音频上预训练的SSL模型可以生成通用表示，这些表示有利于各种语音处理任务。尽管它们无处不在的部署，但是，这些模型的潜在隐私风险还没有得到很好的研究。在本文中，我们提出了第一次的隐私分析的几个SSL语音模型使用成员推断攻击（MIA）下的黑盒访问。实验结果表明，这些预训练的模型在说话人和话语层的曲线下面积（AUC）都很大，容易受到MIA的影响，容易发生隶属度信息泄漏。此外，我们还进行了几项消融研究，以了解有助于MIA成功的因素。
2022-08-15 cs.CR cs.LG cs.SD
The Benefit of Noise-Injection for Dynamic Gray-Box Model Creation
Toronto Metropolitan University（多伦多都会大学）
针对灰箱模型构建中因非线性、未建模动态等导致的性能不及黑箱模型的问题，提出向训练集注入噪声的方法，在水-水换热器动态模型上验证可显著降低建模误差。
2023-10-02 cs.LG cs.SY eess.SY
Black-box Node Injection Attack for Graph Neural Networks
University of Notre Dame（圣母大学）；Case Western Reserve University（凯斯西储大学）；Emory University（埃默里大学）
图神经网络（GNNs）近年来受到了广泛的关注，并被广泛应用于产品推荐、流量预测等对安全性要求较高的重要领域。在这种情况下，利用GNN的漏洞并进一步降低其分类性能对攻击者来说具有很大的激励作用。以前的攻击者主要集中在现有图的结构扰动。虽然它们提供了有希望的结果，但实际的实现需要操纵图连接的能力，这在某些情况下是不切实际的。在这项工作中，我们研究了注入节点以逃避受害者GNN模型的可能性，与以前的白盒设置相关工作不同，我们显着限制可访问的知识量并探索黑盒设置。具体来说，我们模型的节点注入攻击作为一个马尔可夫决策过程，并提出GA2C，一个图强化学习框架的优势演员评论家的时尚，以产生现实的功能注入节点和无缝地合并到原始图遵循相同的拓扑特征。通过我们在多个公认的基准数据集上的广泛实验，我们证明了我们提出的GA2C比现有的最先进的方法具有更好的性能。数据和源代码可在https://github.com/jumxglhf/GA2C上公开访问。
2022-02-18 cs.AI cs.LG
Hard Label Black Box Node Injection Attack on Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出图神经网络的首个非目标硬标签黑盒节点注入攻击方法，无需模型架构、梯度及输出logits先验知识，基于边扰动攻击限制优化过程，在COIL-DEL、IMDB-BINARY和NCI1数据集上验证了攻击性能。
2023-11-22 cs.CR cs.LG cs.SI
SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It)
Imperial College London（伦敦帝国学院）；Sense Street（森斯街公司）；CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）
本文系统梳理了针对 LLMs 的成员推理攻击（MIAs）文献，指出事后构建的数据集存在严重分布偏移导致现有记忆性声明失效，并提出了随机化测试划分等评估改进方案与基准测试建议。
2025-03-07 cs.CL cs.CR cs.LG
GRAPHTEXTACK: A Realistic Black-Box Node Injection Attack on LLM-Enhanced GNNs
针对现有单模态攻击对LLM增强GNN效果有限、攻击假设不现实的问题，提出黑盒多模态节点注入攻击GRAPHTEXTACK，通过进化优化框架构造注入节点，实验证明其攻击效果显著优于现有基线。
2025-11-16 cs.CR cs.LG
Data Contamination Calibration for Black-box LLMs
Zhejiang University（浙江大学）
本文提出一种即插即用的整体方法PAC，通过扩展MIA检测并减轻黑盒及白盒LLMs中的数据污染问题，在4种数据集格式和10个基础模型上检测性能提升至少4.5%。
2024-06-03 cs.LG
Towards Black-Box Membership Inference Attack for Diffusion Models
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Qizhi Institute（上海启智研究院）
针对扩散模型版权问题，提出仅依赖图像变体API且无需访问内部U-net的黑盒成员推理攻击方法，在DDIM、Stable Diffusion及Diffusion Transformer架构上均优于现有方法。
2025-08-13 cs.AI cs.CR cs.CV
No Privacy Left Outside: On the (In-)Security of TEE-Shielded DNN Partition for On-Device ML
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文发现现有TEE防护的DNN分区（TSDP）方案易受隐私窃取攻击，并提出TEESlice方法，通过训练前分区策略实现与全模型TEE防护相同的安全性，同时降低10倍以上开销且无精度损失。
2023-10-11 cs.AI cs.CR cs.LG
Privacy Threats in Stable Diffusion Models
University of Mississippi（密西西比大学）；Cisco（思科公司）
本文针对 Stable Diffusion V2 模型提出一种黑盒成员推理攻击，通过观察不同生成时期的输出并训练分类器，以 ROC AUC 评估达到 60% 成功率，揭示隐私漏洞并呼吁加强防御。
2023-11-15 cs.AI cs.CV cs.LG
Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation
IBM Research（IBM研究院）
针对RAG系统的隐私泄露问题，提出一种高效的成员推理攻击方法，在黑盒和灰盒设置下可推断数据是否在检索库中，并提出了初步防御策略。
2025-02-04 cs.AI cs.CR cs.LG
Colored Noise Injection for Training Adversarially Robust Neural Networks
Technion – Israel Institute of Technology（以色列理工学院）；Intel – Artificial Intelligence Products Group (AIPG)（英特尔人工智能产品事业部）
尽管深度学习在各种任务上表现出无与伦比的性能，但神经网络已被证明容易受到输入的小对抗性扰动的影响，从而导致性能显著下降。在这项工作中，我们扩展了在对抗训练（PNI）期间向网络权重和激活添加高斯白噪声的想法，以注入有色噪声来防御常见的白盒和黑盒攻击。我们表明，我们的方法在CIFAR-10和CIFAR-100数据集的对抗准确性方面优于PNI和各种以前的方法。此外，我们提供了一个广泛的消融研究所提出的方法证明所选择的配置。
2020-03-20 cs.CV cs.LG stat.ML
GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation
Artificial Intelligence Research Institute（人工智能研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）
针对深度神经网络训练数据隐私易受成员推理攻击的问题，提出蒸馏引导的黑盒成员推理攻击方法GLiRA，通过知识蒸馏提升似然比攻击效率，在黑盒设置下性能超越现有最先进方法。
2024-05-13 cs.AI cs.LG
Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
University of California, Los Angeles（加州大学洛杉矶分校）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
该研究针对微调TTS模型提出首个黑盒成员推断框架，通过优化查询生成与表示工程，在三类模型上实现高隐私泄露，揭示了TTS模型的严重隐私风险。
2026-09-03 cs.CR cs.LG cs.SD
On the Evaluation of User Privacy in Deep Neural Networks using Timing Side Channel
IIT Kharagpur（印度理工学院克勒格布尔分校）；NYU Abu Dhabi（纽约大学阿布扎比分校）；IMEC（微电子技术中心）
本文发现深度学习框架PyTorch中存在数据相关的时序侧信道类泄露，攻击者可借此对MLaaS发起成员推理攻击，且差分隐私也无法完全防御，并提出恒定时间分支操作作为有效对策。
2024-02-17 cs.CR cs.LG
Bypassing LLM Guardrails: An Empirical Analysis of Evasion Attacks against Prompt Injection and Jailbreak Detection Systems
Mindgard；Lancaster University（兰卡斯特大学）
本文实证分析了 LLM 护栏系统的漏洞，提出通过传统字符注入和对抗机器学习规避技术绕过提示注入与越狱检测，并利用离线白盒模型提升黑盒攻击成功率，揭示了当前保护机制的脆弱性。
2025-07-14 cs.AI cs.CR cs.LG
Let Graph be the Go Board: Gradient-free Node Injection Attack for Graph Neural Networks via Reinforcement Learning
University of Notre Dame（圣母大学）；Case Western Reserve University（凯斯西储大学）；Brandeis University（布兰迪斯大学）
图神经网络（GNN）近年来引起了广泛关注，并被广泛应用于需要可靠鲁棒性或严格安全标准的重要应用，如产品推荐和用户行为建模。在这些情况下，利用GNN的漏洞并进一步降低其性能对攻击者来说是非常有刺激性的。以前的攻击者主要集中在结构扰动或节点注入到现有的图形，引导梯度从代理模型。虽然它们带来了有希望的结果，但仍然存在一些限制。对于结构扰动攻击，为了发起拟议的攻击，对手需要操纵现有的图拓扑，这在大多数情况下是不切实际的。而对于节点注入攻击，虽然更实用，但目前的方法需要训练代理模型来模拟白盒设置，当代理架构偏离实际受害者模型时，这会导致显著的性能下降。为了弥补这些差距，在本文中，我们研究了黑盒节点注入攻击的问题，没有训练一个潜在的误导代理模型。具体来说，我们将节点注入攻击建模为马尔可夫决策过程，并提出了无约束的图优势演员批评，即G2 A2 C，一个强化学习框架的优势演员批评的方式。通过直接查询受害者模型，G2 A2 C学会以极其有限的攻击预算注入高度恶意的节点，同时保持类似的节点特征分布。通过我们对八个具有不同特征的公认基准数据集的综合实验，我们证明了我们提出的G2 A2 C比现有的最先进的攻击者具有更好的性能。源代码可在以下网址公开获取：https：//github.com/jumxglhf/G2A2C}。
2022-11-25 cs.CR cs.LG
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
Single Node Injection Label Specificity Attack on Graph Neural Networks via Reinforcement Learning
Zhejiang University of Technology（浙江工业大学）；Hangzhou Dianzi University（杭州电子科技大学）；PengCheng Laboratory（鹏城实验室）
针对现有图神经网络攻击方法实用性差、泛化性不足的问题，提出基于强化学习的无梯度可泛化单节点注入攻击G²-SNIA，在黑盒场景下以极少预算实现多目标攻击，性能优于现有基线且效果接近白盒最优攻击。
2023-05-04 cs.AI cs.CR cs.LG
COMPASS: Membership Inference Attack Against Vision Large Language Models via Adaptive Noise Calibration
Emory University（埃默里大学）
本研究针对视觉大语言模型的隐私风险，提出自适应灰盒成员推断攻击COMPASS，通过校准扰动幅度与得分方向，在多模型多数据集上优于基线，医学场景AUC达0.64。
2026-10-14 cs.CR cs.LG
How Not to Detect Prompt Injections with an LLM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文揭示了KAD方案的结构性漏洞，并提出DataFlip攻击方法，能够有效绕过KAD防御，实现低检测率和高恶意行为诱导率。
2025-12-06 cs.AI cs.CR cs.LG
Efficient Black-box Adversarial Attacks via Bayesian Optimization Guided by a Function Prior
Tsinghua University（清华大学）；JQ Investments（JQ投资）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；RealAI；Kaiyuan International Mathematical Sciences Institute（开源国际数学科学研究院）
本文提出先验引导的贝叶斯优化（P-BO）算法，利用替代白盒模型作为全局函数先验来提升黑盒对抗攻击的查询效率，并通过自适应集成策略优化先验权重，显著减少了查询次数并提高了攻击成功率。
2024-05-29 cs.AI cs.CR cs.CV
Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents
University of California, Irvine（加州大学尔湾分校）
研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。
2026-07-20 cs.CR cs.CV cs.LG
Membership Inference Attacks on Discrete Diffusion Language Models
本文研究了对微调后的MDLMs的成员推断攻击，发现其比现有灰盒基线更易受攻击，并设计了阴影模型转移攻击以证明其有效性。
2026-05-19 cs.AI cs.LG
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。
2026-06-11 cs.AI cs.LG
GoldenTransformer: A Modular Fault Injection Framework for Transformer Robustness Research
Radnor High School（拉多尔高中）
提出GoldenTransformer，一个模块化故障注入框架，支持在基于Transformer的大型语言模型中注入多种故障，用于鲁棒性分析与可靠系统设计。
2025-09-13 cs.AI cs.LG
Black-box Optimization of LLM Outputs by Asking for Directions
ETH Zurich（苏黎世联邦理工学院）；University at Buffalo（布法罗大学）；Bytedance, Security Research（字节跳动安全研究）
该研究利用 LLM 自然语言表达置信度的能力，在仅提供文本输出的黑盒条件下引导对抗优化，并在视觉 LLM、越狱和提示注入场景中验证攻击效果。
2025-10-19 cs.CR cs.LG
From Construction to Injection: Edit-Based Fingerprints for Large Language Models
East China Normal University（华东师范大学）；Hasso Plattner Institute/University of Potsdam（哈索罗普拉特纳研究所/波茨坦大学）
提出端到端注入指纹框架，通过代码混合指纹和多候选编辑方法，解决黑盒部署中指纹的不可感知性和鲁棒性挑战。
2026-10-01 cs.AI cs.CL cs.LG
ImpMIA: Leveraging Implicit Bias for Membership Inference Attack
Department of Computer Science and Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（计算机科学与应用数学系，魏茨曼科学研究所，以色列雷霍维特）
ImpMIA通过利用神经网络的隐性偏见，无需训练参考模型，实现了在仅知模型权重和超集训练数据情况下，对成员推断攻击的高效检测。
2026-02-25 cs.CR cs.CV cs.LG
LSTM-based Load Forecasting Robustness Against Noise Injection Attack in Microgrid
Clemson University International Center for Automotive Research (CU-ICAR)（克莱姆森大学国际汽车研究中心（CU-ICAR））
本文评估微电网负荷预测 LSTM 在黑盒高斯噪声攻击下的性能下降，并通过输入端最优截止频率低通滤波器提升其鲁棒性。
2023-04-25 cs.AI cs.CR cs.LG
Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents
LaunchSafe Research（LaunchSafe研究院）
本文组织带外防御（如CaMeL、Progent）为经典完整性保护与引用监视实例，并在AgentDojo上对Qwen2.5-7B代理进行自适应评估，结果显示Progent将攻击成功率从25.8%降至4.2%，手工自适应攻击未提升成功率。
2026-06-26 cs.AI cs.CL cs.CR
A General Black-box Adversarial Attack on Graph-based Fake News Detectors
Northwestern Polytechnical University（西北工业大学）；Air Force Engineering University（空军工程大学）；Guangzhou University（广州大学）
针对黑盒场景下基于GNN的假新闻检测器难以实施经典对抗攻击的问题，提出首个通用黑盒对抗攻击框架GAFSI，通过模拟用户共享行为注入虚假社交交互，实现对不同图结构检测器的有效攻击。
2024-04-26 cs.AI cs.CR cs.LG
Epsilon-Neighborhood Decision-Boundary Governed Estimation (EDGE) of 2D Black Box Classifier Functions
Department of Mechanical and Aerospace Engineering, The Ohio State University（机械与航空航天工程系，俄亥俄州立大学）
EDGE算法通过中间值定理高效估计黑盒分类器的决策边界，适用于2D场景，展示出更高的样本效率和边界逼近性能。
2026-02-13 cs.CG cs.LG cs.NA
