Identity-Focused Inference and Extraction Attacks on Diffusion Models
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California Davis Health（加利福尼亚大学戴维斯健康中心）；University of South Florida（南佛罗里达大学）
本文提出一种针对扩散模型的身份推理框架，通过身份级推理、成员推理与数据提取攻击，在 LFW 和 CelebA 数据集上验证了其高准确率，以追究模型训练中未授权使用个人面部数据的责任。
2024-10-14 cs.CR cs.CV cs.LG
DiMEx: Breaking the Cold Start Barrier in Data-Free Model Extraction via Latent Diffusion Priors
Dept. of Computer Science New York University（计算机科学系纽约大学）
DiMEx通过利用预训练的潜在扩散模型先验，有效突破数据无关模型提取的冷启动问题，同时提出HSE防御机制以抑制攻击成功率
2026-01-10 cs.LG
Adversarially Guided Stateful Defense Against Backdoor Attacks in Federated Deep Learning
UNSW Sydney（新南威尔士大学悉尼分校）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织Data61）
针对联邦学习中现有防御依赖不切实际假设且难以抵御后门攻击的问题，提出对抗引导有状态防御（AGSD），利用对抗扰动计算信任指数指导簇选择，并维护客户端信任历史，在极少或无留出数据下优于SOTA且保持高准确率。
2024-10-15 cs.CR cs.CV cs.LG
Safety, Security, and Cognitive Risks in State-Space Models: A Systematic Threat Analysis with Spectral, Stateful, and Capacity Attacks
SovereignAI Security Labs（SovereignAI安全实验室）
本文系统分析了状态空间模型的安全性、安全性和认知风险，提出了七项贡献，包括威胁框架、三种新型攻击类别、14项MITRE ATLAS技术扩展以及针对不同领域的攻击者分类。
2026-04-04 cs.AI cs.CL cs.CR
Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents
本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。
2026-08-05 cs.AI cs.CR cs.LG
PINCH: An Adversarial Extraction Attack Framework for Deep Learning Models
Lancaster University（兰卡斯特大学）；Mindgard（Mindgard公司）
对抗性提取攻击构成了对深度学习（DL）模型的潜在威胁，其中攻击者旨在窃取目标DL模型的架构、参数和超参数。现有的提取攻击文献已经观察到不同DL模型和数据集的攻击成功程度不同，但其易感性背后的根本原因通常仍不清楚，这将有助于创建安全的DL系统。在本文中，我们提出了PINCH：一个高效和自动化的提取攻击框架，能够设计，部署和分析跨异构硬件平台的提取攻击场景。使用PINCH，我们对21个模型架构进行了广泛的提取攻击实验评估，以探索新的提取攻击场景和进一步的攻击分期。我们的研究结果表明：（1）关键提取特征，即特定的模型配置对特定的攻击表现出很强的弹性，（2）即使部分提取成功，也可以进一步分期为其他对抗攻击，（3）等效被盗模型揭示了表达能力的差异，但表现出类似的捕获知识。
2023-01-31 cs.AI cs.CR cs.LG
A Survey on Model Extraction Attacks and Defenses for Large Language Models
University of Notre Dame（圣约翰大学）；Florida State University（佛罗里达州立大学）；Northwestern University（西北大学）；Duke University（杜克大学）；University of Southern California（南加州大学）
本综述系统梳理了针对大型语言模型的模型提取攻击与防御方法，提出分类体系与评估指标，并指出集成攻击与自适应防御等未来研究方向。
2025-06-26 cs.AI cs.CR cs.LG
Exploring Connections Between Active Learning and Model Extraction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California San Diego（加州大学圣迭戈分校）；Protocol Labs（协议实验室）
机器学习越来越多地被个人、研究机构和公司使用。这导致了机器学习即服务（MLaaS）云服务的激增，这些服务提供（a）学习模型的工具和资源，以及（b）访问模型的用户友好的查询界面。然而，这样的MLaaS系统会引起隐私问题，例如模型提取。在模型窃取攻击中，攻击者恶意地利用查询接口来窃取模型。更确切地说，在模型窃取攻击中，由服务器持有的敏感或专有模型的良好近似由仅经由查询接口与服务器交互的不诚实用户提取（即，学习）。Tramer等人在2016年USENIX安全研讨会上介绍了这种攻击，并展示了各种模型的实际攻击。我们认为，更好地理解模型窃取攻击的有效性对于设计安全的MLaaS系统至关重要。为此，我们采取的第一步是（a）形式化模型提取和讨论可能的防御策略，（b）绘制模型提取和主动学习的既定领域之间的相似之处。特别是，我们表明，在主动学习领域的最新进展，可以用来实现强大的模型窃取攻击，并调查可能的防御策略。
2019-11-20 cs.CR cs.LG stat.ML
Evaluating Query Efficiency and Accuracy of Transfer Learning-based Model Extraction Attack in Federated Learning
Center for Secure & Intelligent Critical Systems, Old Dominion University, Virginia, USA（安全与智能关键系统中心，旧 Dominion 大学，弗吉尼亚州，美国）；School of Cybersecurity, Old Dominion University, Virginia, USA（网络安全学院，旧 Dominion 大学，弗吉尼亚州，美国）
本文研究了联邦学习对模型提取攻击的脆弱性，提出基于迁移学习的方法，利用预训练模型作为提取起点，在NVFlare平台上进行多架构与数据集实验，发现微调后的预训练模型在较小查询集下显著提升了提取模型的准确率和保真度。
2025-05-25 cs.AI cs.CR cs.LG
Exploiting Latent Space Discontinuities for Building Universal LLM Jailbreaks and Data Extraction Attacks
本研究提出利用与训练数据稀疏性相关的潜在空间不连续性这一架构漏洞，构建可跨模型和接口泛化的通用 LLM 越狱与数据提取攻击，在七个 SOTA LLM 和一个图像生成模型上验证了其能突破分层防御的系统性攻击潜力。
2025-11-01 cs.AI cs.CR cs.LG
High Accuracy and High Fidelity Extraction of Neural Networks
Google Research（谷歌研究院）；Northeastern University（东北大学）
在模型窃取攻击中，攻击者窃取远程部署的机器学习模型的副本，并给予oracle预测访问权限。我们围绕两个目标对模型窃取攻击进行分类：* 准确性 *，即，在潜在的学习任务上表现良好，以及 * 保真度 *，即，在任何输入上匹配远程受害者分类器的预测。为了提取高精度的模型，我们开发了一种基于学习的攻击，利用受害者来监督提取模型的训练。通过分析和实证论证，我们解释了阻止任何基于学习的策略提取真正高保真模型的固有局限性-即，提取功能上等效的模型，其预测与受害者模型在所有可能输入上的预测相同。为了解决这些限制，我们扩展了先前的工作，开发了第一个用于直接提取的实用功能等效提取攻击（即，没有训练）模型的权重。我们在学术数据集和用10亿张专有图像训练的最先进的图像分类器上进行实验。除了拓宽模型提取研究的范围外，我们的工作还证明了模型窃取攻击对生产级系统的实用性。
2020-03-03 cs.CR cs.LG stat.ML
Model Leeching: An Extraction Attack Targeting LLMs
Lancaster University（兰卡斯特大学）；Mindgard
本文提出模型吸血攻击，仅用50美元API成本从ChatGPT-3.5-Turbo提取任务能力并蒸馏到小模型，在SQuAD上取得75% EM和87% F1，且提取模型可迁移对抗攻击，使目标LLM攻击成功率提升11%。
2023-09-19 cs.AI cs.CL cs.CR
Against All Odds: Winning the Defense Challenge in an Evasion Competition with Diversification
Technische Universität Braunschweig（布伦瑞克工业大学）
用于恶意软件检测的基于机器学习的系统在恶劣的环境中运行。因此，攻击者也将针对学习系统，并使用规避攻击来绕过恶意软件的检测。在本文中，我们概述了我们的学习为基础的系统PEberus，获得了第一名，在防御者的挑战，微软逃避竞争，抵御各种攻击的独立攻击者。我们的系统结合了多种多样的防御：我们解决了语义差距，使用各种分类模型，并应用有状态防御。这场比赛给了我们一个独特的机会，在现实的情况下研究规避攻击。它还强调了现有的机器学习方法可以通过彻底分析攻击面和实施对抗性学习的概念来加强对攻击的防御。我们的辩护可以作为未来加强安全学习研究的额外基线。
2020-10-19 cs.CR cs.LG
Marich: A Query-efficient Distributionally Equivalent Model Extraction Attack using Public Data
Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希纳传教会维韦卡南达教育与研究院）；National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
我们研究黑盒模型提取攻击的设计，这些攻击通过预测 API 向目标ML模型发送极少查询。旨在从公开可用的数据集中提取一个目标ML模型，旨在旨在创建一个信息丰富、分布等_equ价的副本
2023-10-18 cs.CR cs.LG stat.ML
HODA: Hardness-Oriented Detection of Model Extraction Attacks
Sharif University of Technology（谢里夫理工大学）
模型窃取攻击利用目标模型的预测API来创建代理模型，以便在黑盒设置中窃取或侦察目标模型的功能。最近的几项研究表明，数据有限的攻击者无法或有限地访问来自目标模型的训练数据分布的样本，可以使用合成或语义相似的样本进行模型窃取攻击。在本文中，我们定义了一个样本的硬度使用学习困难的概念。样本的硬度取决于该样本的预测标签收敛的历元数。我们研究了样本的硬度，并证明了数据有限的对手的样本序列的硬度直方图是区别于良性用户的样本序列的硬度直方图。本文提出了一种面向硬度的检测方法（HODA）来检测模型窃取攻击的样本序列。实验结果表明，HODA算法只需监测100个样本，就能以较高的成功率检测出模型窃取攻击的样本序列，优于以往的模型抽取检测方法。
2022-02-24 cs.CR cs.LG
Adversarial Exploitation of Policy Imitation
Kansas State University（堪萨斯州立大学）
本文研究了针对深度强化学习（DRL）策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性（例如，分类器）到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力，从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中，我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外，我们开发了概念验证攻击，利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念，缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Model Extraction Attacks on Graph Neural Networks: Taxonomy and Realization
Monash University（莫纳什大学）
机器学习模型面临着来自模型窃取攻击的严重威胁，其中服务提供商拥有的经过良好训练的私有模型可以被伪装成客户端的攻击者窃取。不幸的是，先前的工作集中在欧几里德空间上训练的模型上，例如，图像和文本，而如何提取包含图结构和节点特征的GNN模型还有待探索。在本文中，我们第一次全面地研究和开发了针对GNN模型的模型窃取攻击。我们首先在GNN模型提取的背景下系统地形式化威胁建模，并通过考虑攻击者的不同背景知识将对抗性威胁分为七类，例如，属性和/或由攻击者获得的节点的相邻连接。然后，我们提出了详细的方法，利用可访问的知识，在每个威胁实施攻击。通过评估三个真实世界的数据集，我们的攻击被证明可以有效地提取重复的模型，即，目标域中84% - 89%的输入与受害者模型具有相同的输出预测。
2021-11-30 cs.CR cs.LG
MEGEX: Data-Free Model Extraction Attack against Gradient-Based Explainable AI
NTT Social Informatics Laboratories（NTT社会信息学实验室）
可解释的人工智能的进步为其预测提供了理由，预计将加速深度神经网络在现实世界中的使用，例如机器学习即服务（MLaaS），它通过训练模型返回对查询数据的预测。部署在MLaaS中的深度神经网络面临着模型窃取攻击的威胁。模型窃取攻击是一种侵犯知识产权和隐私的攻击，其中对手仅使用其预测来窃取云中的训练模型。特别地，最近已经提出了无数据的模型窃取攻击，并且更关键。在这种攻击中，攻击者使用生成模型，而不是准备输入数据。然而，这种攻击的可行性需要研究，因为它需要比代理数据集更多的查询。在本文中，我们提出了MEGEX，一种针对基于梯度的可解释AI的无数据模型窃取攻击。在这种方法中，对手使用解释来训练生成模型，并减少查询的数量来窃取模型。我们的实验表明，我们提出的方法重建高精度的模型-0.97 $\times$和0.98 $\times$的受害者模型精度SVHN和CIFAR-10数据集给定2M和20 M查询，分别。这意味着在模型的可解释性和窃取它们的难度之间存在权衡。
2021-07-19 cs.CR cs.LG
Model Extraction Attacks against Recurrent Neural Networks
Osaka University（大阪大学）
模型窃取攻击是指攻击者通过对目标模型的高效查询访问，获得与目标模型性能相当的新模型的攻击，即，比目标模型的数据集和计算资源更少。现有的工作仅涉及简单的深度神经网络（DNN），例如，只有三层，作为模型窃取攻击的目标，因此不知道循环神经网络（RNN）在处理时间序列数据时的有效性。在这项工作中，我们揭示了模型窃取攻击对RNN的威胁。我们讨论了一个更高精度的模型是否可以从长短期记忆（LSTM）中提取一个简单的RNN，这是一个更复杂和强大的RNN。具体来说，我们要解决以下问题。首先，在分类问题的情况下，例如图像识别，通过利用序列中途的输出来呈现没有来自LSTM模型的最终输出的RNN模型的提取。接下来，在一个回归问题的情况下。例如在天气预报中，提出了通过重新配置损失函数的新攻击。我们对我们的模型窃取攻击进行了实验，攻击对象是RNN和使用公开学术数据集训练的LSTM。然后，我们表明，可以有效地提取具有更高精度的模型，特别是通过配置损失函数和与目标模型不同的更复杂的架构。
2020-02-01 cs.CR cs.LG
Towards More Realistic Extraction Attacks: An Adversarial Perspective
McGill University（麦吉尔大学）；Mila（Mila研究所）
本文从对抗性视角重新审视语言模型的提取攻击，发现结合多种攻击手段（如修改提示、针对小模型和早期检查点）可将提取风险加倍，并在多个案例中超越现有对手。
2025-08-08 cs.CL cs.CR cs.LG
DivQAT: Enhancing Robustness of Quantized Convolutional Neural Networks against Model Extraction Attacks
Polytechnique Montreal（蒙特利尔理工学院）
DivQAT通过量化感知训练提升量化CNN对模型提取攻击的鲁棒性，有效防御攻击且不降低模型精度。
2025-12-30 cs.CR cs.LG
Thief, Beware of What Get You There: Towards Understanding Model Extraction Attack
Nanyang Technological University（南洋理工大学）；Huawei International Pte. Ltd.（华为国际有限公司）
模型提取越来越受到研究的关注，因为保持商业AI模型的私密性可以保持竞争优势。在某些情况下，人工智能模型是专有训练的，其中既没有预先训练的模型，也没有足够的分布数据是公开的。针对这些模型的模型窃取攻击通常更具破坏性。因此，在本文中，我们实证研究的行为模型提取在这种情况下。我们发现现有技术的有效性受到缺乏预训练模型的影响。此外，攻击者的超参数（例如模型架构和优化器）以及从查询中检索到的信息的效用的影响是违反直觉的。我们提供了一些见解解释这些现象的可能原因。通过这些观察，我们将模型窃取攻击公式化为一个自适应框架，该框架通过深度强化学习捕获这些因素。实验表明，该框架可以用来改善现有的技术，并表明模型提取仍然是可能的，在这样严格的场景。我们的研究可以帮助系统设计人员根据他们的场景构建更好的防御策略。
2021-04-13 cs.CR cs.CV cs.LG
PII-Scope: A Comprehensive Study on Training Data PII Extraction Attacks in LLMs
Huawei Munich Research Center（华为慕尼黑研究中心）
本研究提出PII-Scope基准，系统评估LLM的PII提取攻击，发现单次查询低估泄漏，高级策略可提升五倍提取率，且微调模型更易泄漏，为缓解策略奠定基础。
2025-05-25 cs.AI cs.CL cs.LG
A Survey of Model Extraction Attacks and Defenses in Distributed Computing Environments
University of Notre Dame（圣母大学）；Florida State University（佛罗里达州立大学）；Northwestern University（西北大学）；Duke University（杜克大学）；University of Southern California（南加州大学）
本综述系统分析云、边缘和联邦环境中模型提取攻击的演变与防御机制，强调环境因素对安全策略的影响，并提出整合防护以保障分布式机器学习模型的安全部署。
2025-02-22 cs.AI cs.CR cs.LG
Careful What You Wish For: on the Extraction of Adversarially Trained Models
Polytechnique Montréal（蒙特利尔综合理工学院）
最近对机器学习（ML）模型的攻击，例如使用对抗性示例的规避攻击和通过提取攻击窃取模型，造成了一些安全和隐私威胁。先前的工作提出使用对抗性训练来保护模型免受对抗性示例的攻击，这些示例可以逃避模型的分类并降低其性能。然而，这种保护技术会影响模型的决策边界及其预测概率，从而可能增加模型的隐私风险。实际上，恶意用户仅使用对模型的预测输出的查询访问就可以提取模型的预测输出并获得高精度和高保真度的代理模型。为了获得更大的提取，这些攻击利用了受害者模型的预测概率。事实上，以前所有关于提取攻击的工作都没有考虑到出于安全目的的培训过程的变化。在本文中，我们提出了一个框架来评估对视觉数据集进行对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行这种评价的。通过广泛的实证研究，我们证明了对抗训练的模型比自然训练环境下获得的模型更容易受到提取攻击。他们可以实现高达$\times1.2$更高的准确性和协议的分数低于$\times0.75$的查询。我们还发现，对抗性鲁棒性能力是通过提取攻击转移的，即，从鲁棒模型中提取的深度神经网络（DNN）与从自然训练（即标准）模型中提取的DNN相比，显示出对对抗性示例的增强的准确性。
2022-07-21 cs.CR cs.LG
From Counterfactuals to Trees: Competitive Analysis of Model Extraction Attacks
Polytechnique Montréal（蒙特利尔理工学院）
本文通过竞争分析形式化研究模型提取攻击，针对基于加性决策树的模型提出可证明完美保真且具有强任意时刻性能的重建算法，并给出查询复杂度理论界限。
2025-10-23 cs.CR cs.LG
From Threat Reports to Continuous Threat Intelligence: A Comparison of Attack Technique Extraction Methods from Textual Artifacts
North Carolina State University（北卡罗来纳州立大学）
网络威胁形势在不断演变。因此，持续监控和共享威胁情报已成为组织的优先事项。网络安全供应商发布的威胁报告包含以非结构化文本格式编写的攻击策略、技术和程序（TTP）的详细描述。从这些报告中提取TTP有助于网络安全从业人员和研究人员学习和适应不断变化的攻击，并规划威胁缓解。研究人员在文献中提出了TTP提取方法，然而，并非所有这些提出的方法都相互比较或与基线进行比较。\textit{The goal of this study is to aid cybersecurity researchers and practitioners choose attack technique extraction methods for monitoring and sharing threat intelligence by comparing the underlying methods from the TTP extraction studies in the literature.}在这项工作中，我们确定了十个现有的TTP提取研究的文献，并实施五种方法，从十项研究。我们发现两种方法，基于词频逆文档频率（TFIDF）和潜在语义索引（LSI），优于其他三种方法的F1得分分别为84%和83%。我们观察到所有方法的性能在F1分数下降的情况下，类标签呈指数增长。我们还实施和评估过采样策略，以减轻类不平…
2022-10-05 cs.CR cs.LG
DualCF: Efficient Model Extraction Attack from Counterfactual Explanations
Nanyang Technological University（南洋理工大学）
云服务提供商已经推出了机器学习即服务（MLaaS）平台，允许用户通过API访问大规模基于云的模型。除了预测输出之外，这些API还可以以更易于理解的方式提供其他信息，例如反事实解释（CF）。然而，这些额外的信息不可避免地导致云模型更容易受到旨在窃取云中模型内部功能的提取攻击。然而，由于云模型的黑盒性质，在替代模型达到高保真度之前，现有的攻击策略不可避免地需要大量的查询。在本文中，我们提出了一种新的简单而有效的查询策略，大大提高了查询效率窃取分类模型。这是由于我们观察到当前的查询策略存在决策边界偏移问题，该问题是由将远距离查询和接近边界的CF带入替代模型训练引起的。然后，我们提出了DualCF策略，以规避上述问题，这是通过采取不仅CF，但CF（CCF）的反事实解释作为对替代模型的训练样本。在合成和真实世界的数据集上进行了广泛而全面的实验评估。实验结果表明，DualCF能够以较少的查询次数高效地生成高逼真度的模型。
2022-05-13 cs.AI cs.CR cs.LG
Data-Free Model Extraction Attacks in the Context of Object Detection
AIShield, Bosch Global Software Technologies Pvt. Ltd.（博世全球软件技术私人有限公司AIShield）；Nirma University（尼玛大学）；Coimbatore Institute of Technology（哥印拜陀理工学院）
本文首次提出针对目标检测中边界框坐标回归的无数据黑盒模型提取攻击，通过新颖生成器构造查询并设计损失函数，在有限查询下有效窃取目标模型，揭示了目标检测模型的安全漏洞。
2023-08-09 cs.AI cs.CR cs.CV
Few-shot Model Extraction Attacks against Sequential Recommender Systems
本文提出了一种针对顺序推荐系统的少样本模型提取框架，通过自回归增强生成策略和双向修复损失促进模型蒸馏，有效构建高功能相似性的代理模型。
2026-03-03 cs.CR cs.IR cs.LG
Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models
本文针对大语言模型提出性能远超基线的新型成员推断攻击，结合模型窃取等技术实现预训练数据成员检测，还可从微调模型中提取超半数微调数据集，推进了LLM隐私攻击领域的研究。
2024-07-15 cs.AI cs.CR cs.LG
Model extraction from counterfactual explanations
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Polytech Nice Sophia（尼斯索菲亚综合理工学院）
事后解释技术是指可以用来解释黑盒机器学习模型如何产生结果的后验方法。在事后解释技术中，反事实解释正成为实现这一目标的最流行的方法之一。特别是，除了突出黑盒模型使用的最重要的功能外，它们还以数据实例的形式为用户提供了可操作的解释，这些数据实例可能会收到不同的结果。尽管如此，通过这样做，他们也泄露了关于模型本身的重要信息，这引发了隐私问题。在这项工作中，我们演示了对手如何利用反事实解释提供的信息来构建高保真度和高精度的模型窃取攻击。更准确地说，我们的攻击使对手能够通过访问其反事实解释来构建目标模型的忠实副本。对在真实世界数据集上训练的黑盒模型进行的经验评估表明，即使在低查询预算下，它们也可以实现高保真度和高准确度的提取。
2020-09-03 cs.CR cs.LG stat.ML
Model Extraction Attacks Revisited
Stony Brook University（石溪大学）；Penn State University（宾夕法尼亚州立大学）
本文系统重审模型提取攻击，从攻击策略、学习技术、代理模型与基准任务评估主流MLaaS平台，并用四年历史数据揭示脆弱性演变及防御改进方向。
2025-09-29 cs.CR cs.LG
Beyond Slow Signs in High-fidelity Model Extraction
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文针对标准基准训练模型的参数提取攻击，整合并优化了 Carlini 等人的方法，将权重符号提取效率最高提升 14.8 倍，并指出权重提取才是关键瓶颈，同时提出了更稳健的基准测试方案。
2024-06-14 cs.AI cs.CR cs.LG
AUTOLYCUS: Exploiting Explainable AI (XAI) for Model Extraction Attacks against Interpretable Models
Case Western Reserve University（凯斯西储大学）；IBM Research - Dublin（IBM都柏林研究院）
本研究提出基于重训练的模型提取攻击框架AUTOLYCUS，利用LIME和SHAP两种XAI工具推断目标模型决策边界构建替代模型，在6个数据集和多种可解释模型上验证了其低查询量、高准确率的攻击效果及抗防御性。
2024-07-08 cs.CR cs.LG
MEA-Defender: A Robust Watermark against Model Extraction Attack
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Department of Computer Science, Metropolitan College, Boston University（波士顿大学大都会学院计算机科学系）
针对现有基于后门的DNN模型水印易受模型提取攻击失效的问题，提出MEA-Defender新型水印，通过输入域样本组合与适配主任务输出域的损失函数使水印随主任务被提取，实验验证其对多种提取攻击及水印移除/检测方法均具高鲁棒性。
2024-01-26 cs.CR cs.LG
ATOM: A Framework of Detecting Query-Based Model Extraction Attacks for Graph Neural Networks
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Florida State University（佛罗里达州立大学）；Arizona State University（亚利桑那州立大学）
针对图神经网络在GMLaaS平台中易受基于查询的模型提取攻击且现有防御存在不足的问题，提出结合序列建模、强化学习与$k$-核嵌入的ATOM实时检测框架，经实验验证其检测性能更优且稳定性强。
2025-03-20 cs.CR cs.LG
Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs
Queen's University Belfast（女王大学贝尔法斯特）；CSIT, Queen's University Belfast（女王大学贝尔法斯特计算机科学与技术研究所）
提出一种通过投毒重塑模型损失景观，迫使模型记忆目标数据并实现高成功率提取的攻击方法，在语言和视觉-语言模型上验证有效性，并发现差分隐私可防御但存在绕过攻击。
2026-06-24 cs.CR cs.LG
SAME: Sample Reconstruction against Model Extraction Attacks
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
针对模型提取攻击防御方案实用性差的问题，提出基于样本重建的新型防御机制SAME，无需辅助数据集和白盒访问，兼容现有主动防御，实验证明其效果优于现有方案。
2024-01-08 cs.AI cs.CR cs.CV
DeepSteal: Advanced Model Extractions Leveraging Efficient Weight Stealing in Memories
Arizona State University（亚利桑那州立大学）；University of Central Florida（中佛罗里达大学）
深度神经网络（DNN）的最新进展已经在多个安全敏感领域中得到了广泛部署。对资源密集型训练的需求和对有价值的特定领域训练数据的使用使这些模型成为模型所有者的顶级知识产权（IP）。DNN隐私的主要威胁之一是模型窃取攻击，其中对手试图窃取DNN模型中的敏感信息。最近的研究表明，基于硬件的侧信道攻击可以揭示关于DNN模型的内部知识（例如，模型体系结构）然而，迄今为止，现有的攻击不能提取详细的模型参数（例如，权重/偏差）。在这项工作中，我们首次提出了一种先进的模型窃取攻击框架DeepSteal，该框架借助内存侧信道攻击有效地窃取DNN权重。我们提出的DeepSteal包括两个关键阶段。首先，我们提出了一种新的权值位信息抽取方法HammerLeak，该方法采用基于Rowhammer的硬件故障技术作为信息泄漏向量。HammerLeak利用了几种针对DNN应用的系统级新技术，以实现快速有效的权重窃取。其次，我们提出了一种新的替代模型训练算法与均值聚类权值惩罚，有效地利用部分泄漏的比特信息，并生成目标受害者模型的替代原型。我们在三个流行的图像数据集（例如，CIFAR-10/100/GTSRB）和四种DNN架构（例如，ResNet-18/34/Wide-ResNet/VGG-11）。提取的替代模型在CIFAR-10数据集的深度残差网络上成功实现了90%以上的测试准确度。此外，我们提取的替代模型也可以生…
2021-11-08 cs.AI cs.CR cs.CV
Defense Against Model Extraction Attacks on Recommender Systems
Nanyang Technological University（南洋理工大学）；The University of Queensland（昆士兰大学）
针对推荐系统模型提取攻击防御空白，提出首个防御策略GRO，通过将不可微的top-k列表转为可微交换矩阵，在最小化目标模型损失的同时最大化攻击者替代模型损失，实验证明其防御效果卓越。
2023-10-25 cs.LG
A Framework for Understanding Model Extraction Attack and Defense
University of Minnesota（明尼苏达大学）
机器学习模型的隐私已经成为许多新兴的机器学习即服务应用中的重要问题，其中基于良好训练的模型的预测服务通过按查询付费提供给用户。缺乏防御机制可能会对服务器模型的隐私造成很高的风险，因为对手可以通过只查询几个“好”数据点来有效地窃取模型。服务器的防御和对手的攻击之间的相互作用不可避免地导致军备竞赛困境，这在对抗性机器学习中很常见。为了研究模型效用从一个良性的用户的观点和隐私从对手的观点之间的根本权衡，我们开发了新的指标来量化这种权衡，分析其理论性质，并开发了一个优化问题，以了解最佳的对抗攻击和防御策略。所发展的概念和理论符合关于隐私和效用之间“平衡”的实证研究结果。在优化方面，使我们的结果的关键因素是一个统一的表示的攻击-防御问题作为一个最小最大的双层问题。开发的结果将通过实例和实验证明。
2022-06-23 cs.CR cs.LG
Model Extraction Attacks Against Reinforcement Learning Based Controllers
University of California, Irvine（加利福尼亚大学欧文分校）
该研究聚焦信息物理系统中基于强化学习的DNN控制器的模型提取攻击问题，提出含离线候选筛选与在线策略精选的两阶段攻击算法，通过理论分析与数值实验验证了其有效性。
2023-04-25 cs.CR cs.LG cs.SY
MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction
University of Toronto（多伦多大学）
本文提出MARAGE框架，通过多模型梯度连续优化对抗性字符串，实现跨模型可迁移的RAG数据提取攻击，并验证其优于现有基线。
2025-02-05 cs.CL cs.CR cs.LG
SEEK: model extraction attack against hybrid secure inference protocols
Open Security Research（开放安全研究院）
关于在预测即服务中使用的机器学习模型的安全问题包括模型、查询和结果的隐私。已经开发了基于同态加密（HE）和/或多方计算（MPC）的安全推理解决方案来保护所有敏感信息。最有效的解决方案之一是将HE用于线性层，将MPC用于非线性层。然而，对于这种半诚实安全的混合协议，攻击者可以在推理过程中篡改中间特征，从而比针对明文推理服务的方法更有效地提取模型信息。在本文中，我们提出了SEEK，一个通用的提取方法的混合安全推理服务只输出类标签。该方法能够独立地提取目标模型的每一层，且不受模型深度的影响。对于ResNet-18，SEEK可以提取一个参数，平均查询次数少于50次，平均误差小于$0.03\%$。
2022-09-14 cs.CR cs.LG
BODAME: Bilevel Optimization for Defense Against Model Extraction
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）；Japan Science and Technology Agency（日本科学技术振兴机构）
对于使用机器学习的服务提供商来说，模型窃取攻击已经成为严重的问题。我们认为一个对抗性的设置，以防止模型提取的假设下，攻击者将使他们最好的猜测服务提供商的模型使用查询访问，并建议建立一个代理模型，显着保持远离攻击者的模型的预测，从那些真正的模型。我们制定的问题作为一个非凸约束双层优化问题，并表明，对于核模型，它可以转化为一个非凸的1-二次约束二次规划的多项式时间算法找到全局最优解。此外，我们给出了一个易于处理的转换和算法，更复杂的模型，学习使用随机梯度下降为基础的算法。数值实验表明，当攻击者和服务提供者的分布差异较大时，该代理模型与现有的防御模型相比具有较好的性能.我们还实证证实了代理模型的泛化能力。
2021-03-11 cs.CR cs.LG
A Systematic Study of Model Extraction Attacks on Graph Foundation Models
University of Southern California（南加州大学）；Florida State University（佛罗里达州立大学）；The Ohio State University（俄亥俄州立大学）；Nanyang Technological University（南洋理工大学）
本文首次针对大规模多模态图基础模型开展模型提取攻击系统性研究，形式化黑盒威胁模型与6类攻击场景，提出轻量图嵌入回归提取方法，实验证明该方法可低成本复刻受害模型零样本能力，揭示其安全风险。
2025-11-14 cs.CR cs.LG
CopyQNN: Quantum Neural Network Extraction Attack under Varying Quantum Noise
Indiana University Bloomington（印第安纳大学伯明顿分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对含噪中等规模量子计算机中量子噪声影响QNN提取攻击的问题，提出CopyQNN框架，通过三步数据清洗及量子域对比与迁移学习，显著提升攻击性能并大幅减少查询次数。
2025-04-01 cs.CR cs.LG quant-ph
Efficient Model Extraction via Boundary Sampling
Ben-Gurion University（本-古里安大学）
本文提出一种基于决策边界采样和进化算法优化的无数据模型提取攻击，在严格黑盒条件下将查询量降低10至600倍，同时提升被盗模型准确性与对抗样本迁移性。
2024-10-20 cs.CR cs.LG
SNAP: Efficient Extraction of Private Properties with Poisoning
Northeastern University（东北大学）；Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）
提出SNAP攻击，利用投毒高效提取训练数据集的私有属性，相比现有方法成功率更高且计算开销更低，并支持属性存在性推断与比例估计。
2023-06-21 cs.CR cs.LG
Embedding and Extraction of Knowledge in Tree Ensemble Classifiers
University of Liverpool（利物浦大学）
有用知识的嵌入和提取是机器学习应用中的最近趋势，例如，以补充现有的小数据集。同时，随着机器学习模型在安全关键应用中的广泛应用，恶意知识的嵌入和提取分别相当于臭名昭著的后门攻击和后门防御。本文研究了树集成分类器中知识的嵌入和提取问题，重点研究了用布尔公式表示的知识，例如，鲁棒性和后门攻击。对于嵌入，它需要是防腐的（保留分类器的原始性能），可验证的（知识可以证明）和隐形的（嵌入不容易被检测到）。为了实现这一点，我们提出了两种新颖有效的嵌入算法，其中一种是黑盒设置，另一种是白盒设置。除了嵌入，我们开发了一种算法来提取嵌入的知识，减少问题的SMT（可满足性模理论）求解器是可解决的。虽然这种新的算法可以成功地提取知识，减少导致NP计算。因此，如果应用嵌入作为后门攻击和提取作为防御，我们的研究结果表明，当使用树集成分类器时，攻击和防御之间存在复杂性差距（P与NP）。我们将我们的算法应用于一组不同的数据集，以广泛地验证我们的结论。
2021-10-26 cs.CR cs.LG
What are the attackers doing now? Automating cyber threat intelligence extraction from text on pace with the changing threat landscape: A survey
North Carolina State University（北卡罗来纳州立大学）
本文综述了从文本中自动提取网络威胁情报（CTI）的相关研究，提出了CTI提取流水线，总结了提取目的、数据源与NLP及机器学习技术，并指出了数据挑战，倡导助力主动决策。
2021-09-14 cs.CL cs.CR cs.LG
Beyond Labeling Oracles: What does it mean to steal ML models?
University of Oxford（牛津大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文重新审视模型提取攻击，发现攻击者往往无法同时节省数据获取与标注成本，且先验数据访问能力是决定攻击成功的关键因素，呼吁重新定义模型提取攻击的评估目标。
2024-06-13 cs.CR cs.LG
Hard-Label Cryptanalytic Extraction of Neural Network Models
Institute for Advanced Study, Tsinghua University（清华大学高等研究院）；Zhongguancun Laboratory（中关村实验室）；School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学科学学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Shandong Key Laboratory of Artificial Intelligence Security（山东省人工智能安全重点实验室）
针对硬标签设置下无法实现神经网络功能等价提取的问题，提出首个适用于ReLU网络的理论可行攻击方法，经多数据集实验验证，对十万参数网络单核数小时即可完成提取。
2024-09-18 cs.CR cs.LG
