Evaluating False Alarm and Missing Attacks in CAN IDS
Department of Applied Mathematics University of Colorado Boulder(应用数学系科罗拉多大学波德摩尔分校)
本文通过评估CAN IDS在对抗性攻击下的性能,揭示了其在误报和遗漏攻击方面的脆弱性,强调了对抗鲁棒性在安全关键汽车系统中的重要性。
2026-02-02 cs.AI cs.CR cs.LG
Critical Checkpoints for Evaluating Defence Models Against Adversarial Attack and Robustness
Nirma University(尼尔玛大学);Swiss School of Business and Management(瑞士商业与管理学院);Bosch Global Software Technologies Pvt. Ltd.(博世全球软件技术私人有限公司)
在过去的几年里,研究人员提出了一种针对机器学习中的对手的防御模型,该模型可以在受限条件下防御大多数现有的攻击(他们对一些有界输入或数据集进行评估)。然后很快另一组研究人员发现了防御模型中的漏洞,并通过提出更强大的攻击模型来打破它。在过去的防御模式中,一些常见的缺陷在很短的时间内被打破。防御模型如此容易被破坏是一个值得关注的问题,因为许多关键活动的决策都是在机器学习模型的帮助下进行的。因此,完全需要一些防御检查点,任何研究人员在评估技术的可靠性并宣布它是体面的防御技术时都应该记住。在本文中,我们提出了一些检查点,应考虑到,而建设和评估的合理性防御模型。所有这些观点都是在观察了为什么过去的一些防御模型失败以及一些模型如何保持坚定并证明了它们对一些非常强大的攻击的可靠性之后提出的。
2022-02-18 cs.AI cs.CR cs.CV
Steal Now and Attack Later: Evaluating Robustness of Object Detection against Black-box Adversarial Attacks
National Tsing Hua University(国立清华大学);IBM Research(IBM研究院)
本研究提出基于“steal now, decrypt later”的黑盒对抗攻击方法,通过生成ghost objects增加目标检测推理延迟,在无目标模型先验知识下成功攻击多种模型与Google Vision API,单次成本低于1美元,揭示AI安全风险。
2024-04-24 cs.AI cs.CV
Evaluating the Evaluators: Trust in Adversarial Robustness Tests
DIBRIS - Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa(热那亚大学信息学、生物工程、机器人与系统工程系);Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice(威尼斯卡弗里大学环境科学、信息学与统计学系)
本文提出AttackBench基准框架,在标准化可复现条件下基于新的最优性指标评估并排名基于梯度的对抗攻击,以解决现有鲁棒性测试评估不一致、不可靠并导致虚假安全感的问题。
2025-07-04 cs.AI cs.CR cs.CV
Towards Evaluating the Robustness of Deep Diagnostic Models by Adversarial Attack
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);BRIC, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校BRIC)
深度学习模型(具有神经网络)已广泛用于具有挑战性的任务,例如基于医学图像的计算机辅助疾病诊断。最近的研究表明,深度诊断模型在推理过程中可能不健壮,并且可能在临床实践中造成严重的安全问题。在所有导致模型不鲁棒的因素中,最严重的是对抗性样本。所谓的“对抗性示例”是一种精心设计的扰动,人类不容易感知,但会导致深度诊断模型以高置信度输出错误。本文通过对抗攻击来评估深度诊断模型的鲁棒性。具体来说,我们在单标签和多标签分类任务中对三个深度诊断模型进行了两种类型的对抗攻击,发现这些模型在受到对抗性示例攻击时并不可靠。我们通过分析它们的定量分类结果、中间特征、特征的可区分性以及原始/干净图像和那些对抗性图像的估计标签的相关性,进一步探讨了对抗性示例如何攻击模型。我们还设计了两种新的防御方法来处理深度诊断模型中的对抗性示例,即,多扰动对抗训练(MPAvT)和误分类感知对抗训练(MAvT)。实验结果表明,使用防御方法可以显著提高深度诊断模型对对抗攻击的鲁棒性。
2021-03-05 cs.AI cs.CV cs.LG
Recent improvements of ASR models in the face of adversarial attacks
Carnegie Mellon University(卡内基梅隆大学)
像许多其他涉及神经网络的任务一样,语音识别模型容易受到对抗攻击的影响。然而,最近的研究指出了ASR模型与图像模型之间的攻击和防御之间的差异。提高ASR模型的鲁棒性需要从评估对一个或几个模型的攻击到评估系统方法的范式转变。我们通过评估各种体系结构上的一组有代表性的对抗攻击:有针对性的和无针对性的,基于优化和语音处理的,白盒,黑盒和有针对性的攻击奠定了基础。我们的研究结果表明,不同的攻击算法的相对强度变化很大,当改变模型架构,一些攻击的结果是不盲目信任。他们还表明,自我监督预训练等训练选择可以通过实现可转移的扰动来显着影响鲁棒性。我们将源代码作为一个包发布,这将有助于未来的研究评估他们的攻击和防御。
2022-04-04 cs.AI cs.CR cs.LG
Evaluating Model Robustness Using Adaptive Sparse L0 Regularization
University of Adelaide(阿德莱德大学)
本文提出一种基于L0范数的可扩展对抗样本生成方法,解决现有攻击在准确性与效率间的权衡,以改进深度神经网络对稀疏扰动的鲁棒性评估。
2024-08-28 cs.AI cs.LG
Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders
University of California, Berkeley(加州大学伯克利分校);Bosch Research(博世研究);Harvard University(哈佛大学)
本研究评估了稀疏自编码器中概念表示的对抗鲁棒性,发现其易受微小输入扰动影响,可能不适合用于模型监控和监督。
2026-01-22 cs.AI cs.CL cs.LG
Not So Robust After All: Evaluating the Robustness of Deep Neural Networks to Unseen Adversarial Attacks
Innopolis University(Innopolis 大学);University of Hull(赫尔大学)
本文通过实验证明仅用鲁棒特征训练 DNN 并不能普遍抵抗对抗攻击,并分析了 $L_2$ 与 $L_{\infty}$ 范数攻击对模型表示和决策边界的影响,揭示了 $L_{\infty}$ 攻击被低估的危险性。
2023-08-12 cs.AI cs.LG
Evaluating and Safeguarding the Adversarial Robustness of Retrieval-Based In-Context Learning
University of Edinburgh(爱丁堡大学)
该研究针对检索增强型上下文学习的对抗鲁棒性展开评估,发现其对测试样本攻击鲁棒性提升但易受示范攻击影响,并提出免训练防御方法DARD,可将攻击成功率较基线降低15%。
2024-10-08 cs.AI cs.CL
Privacy Leaks by Adversaries: Adversarial Iterations for Membership Inference Attack
本文提出 IMIA 攻击,利用生成对抗样本所需迭代次数作为成员推断特征,并在黑盒与白盒场景下验证其有效性,为模型隐私评估提供新视角。
2025-06-03 cs.CR
Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models
Japan Advanced Institute of Science and Technology - Information Science(日本科学技术先进研究院-信息科学)
本文评估了基于文本的成员推断攻击(MIAs)在多模态模型中的有效性,发现其在分布内设置中表现相似,而在分布外设置中视觉输入起到正则化作用,有效掩盖了成员信号。
2026-05-21 cs.AI cs.CR
Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks
最近,成员推断攻击对机器学习模型的机密训练数据的隐私构成了严重威胁。本文提出了一种新的基于对抗性示例的隐私保护技术(AEPPT),该技术在目标模型的预测中加入了精心制作的对抗性扰动,以误导对手的成员推理模型。增加的对抗性扰动不影响目标模型的准确性,但可以防止对手推断特定数据是否在目标模型的训练集中。由于AEPPT只修改目标模型的原始输出,因此该方法具有通用性,不需要修改或重新训练目标模型。实验结果表明,该方法可以将隶属度推理模型的推理准确率和精度降低到50%,接近于随机猜测。此外,对于那些自适应攻击的对手知道的防御机制,建议AEPPT也被证明是有效的。与最先进的防御方法相比,所提出的防御可以将成员推断攻击的准确性和精确度显著降低到50%(即,与随机猜测相同),而目标模型的性能和实用性将不受影响。
2020-11-27 cs.CR
Membership Inference Attacks via Adversarial Examples
Laboratoire d’Informatique de l’École polytechnique(巴黎综合理工学院计算机实验室);Inria(法国国家信息与自动化研究所);LTCI, Télécom Paris(巴黎电信学院通信与信息技术实验室);Institut Polytechnique de Paris(巴黎理工学院);CMAP, Ecole Polytechique(巴黎综合理工学院应用数学中心);Lagrange Research Center(拉格朗日研究中心)
机器学习和深度学习的兴起导致了几个领域的重大改进。这种变化得到了计算能力和大型数据集收集的巨大增长的支持。这样的大规模数据集通常包括可能对隐私构成威胁的个人数据。成员推断攻击是一个新的研究方向,其目的是恢复学习算法使用的训练数据。在本文中,我们开发了一种方法来衡量泄漏的训练数据利用一个数量出现作为一个代理的总变化的训练模型附近的训练样本。我们通过提供一种新的防御机制来扩展我们的工作。我们的贡献是支持的经验证据,通过令人信服的数值实验。
2022-11-23 cs.AI cs.CR cs.LG
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University(杜克大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在成员推断攻击中,攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地,给定对目标分类器的黑盒访问,攻击者训练二元分类器,该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入,并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制:1)它们没有置信度得分向量的正式效用损失保证,以及2)它们实现了次优的隐私效用权衡。在这项工作中,我们提出MemGuard,第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程,而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是,攻击者使用分类器来预测成员或非成员,分类器容易受到对抗性示例的影响。基于观察结果,我们建议将精心制作的噪声向量添加到置信度得分向量中,将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明,MemGuard可以有效地抵御成员推断攻击,并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制,以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
Evaluating the Defense Potential of Machine Unlearning against Membership Inference Attacks
Democritus University of Thrace(色雷斯德谟克利特大学)
本文评估了三种机器无学习算法在对抗成员推断攻击中的防御效果,发现其效果受算法选择、模型容量和学习率影响显著。
2026-01-22 cs.CR
Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries
University of Maryland(马里兰大学);University of Chicago(芝加哥大学);New York University(纽约大学)
针对现有成员推理仅依赖原始样本或简单增强、信息不足的问题,本文提出用对抗工具优化判别性且多样的集成查询,在离线和低误报率场景下显著提升推理准确率。
2023-06-01 cs.CR cs.LG
TableGAN-MCA: Evaluating Membership Collisions of GAN-Synthesized Tabular Data Releasing
生成对抗网络(GAN)-合成表发布让人们可以私下学习见解,而无需访问私有表。然而,现有的成员关系推断(MI)攻击的研究显示出了披露GAN合成表的训练数据集的成员关系的有希望的结果。与那些专注于发现给定数据点的成员关系的工作不同,在本文中,我们提出了一种新的针对GANs的成员关系碰撞攻击(TableGAN-MCA),该攻击允许对手仅从黑盒生成器中随机采样的合成条目来恢复部分GAN训练数据。也就是说,对最先进的MI攻击免疫的GAN合成表容易受到TableGAN-MCA的攻击。TableGAN-MCA的成功得益于GAN合成表可能与生成器的训练数据发生冲突的观察。我们对TableGAN-MCA的实验评估有五个主要发现。首先,TableGAN-MCA在三个常用的真实世界数据集上对四个生成模型具有令人满意的训练数据恢复率。其次,包括GAN训练数据的大小、GAN训练时期和对手可用的合成样本数量在内的因素与TableGAN-MCA的成功呈正相关。第三,高度频繁的数据点被TableGAN-MCA恢复的风险很高。第四,在TableGAN-MCA中,一些独特的数据暴露于意外的高恢复风险,这可能归因于GAN的泛化。第五,正如预期的那样,在不考虑特征之间的相关性的情况下,差分隐私对TableGAN-MCA没有表现出值得称赞的缓解效果。最后,我们提出了两种缓解方法,并在保护TableGAN-MCA时显示了有希…
2021-07-28 cs.CR
Machine Learning with Membership Privacy using Adversarial Regularization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National University of Singapore(新加坡国立大学)
机器学习模型会泄露关于它们所训练的数据集的信息。攻击者可以构建一个算法来跟踪模型训练数据集的各个成员。作为基本的推理攻击,他的目标是区分模型训练集的数据点和来自同一分布的任何其他数据点。这被称为跟踪(也称为成员推断)攻击。在本文中,我们专注于对黑盒模型的攻击,其中对手只能观察模型的输出,但不能观察其参数。这是互联网中机器学习作为服务的当前设置。我们引入了一种隐私机制来训练可证明实现成员隐私的机器学习模型:该模型对其训练数据的预测与其对来自同一分布的其他数据点的预测无法区分。我们设计了一个策略机制,隐私机制预计成员推理攻击。目标是训练一个模型,使其不仅具有最小的预测误差(高实用性),而且是针对其相应的最强推理攻击(高隐私性)的最鲁棒模型。我们将其形式化为一个最小-最大博弈优化问题,并设计了一个对抗性训练算法,该算法最大限度地减少了模型的分类损失以及对模型的成员推理攻击的最大收益。这种策略,保证了成员隐私(作为预测不可篡改性),也作为一个强正则化器,并显着推广了模型。我们使用不同的基准数据集在深度神经网络上评估我们的隐私机制。我们表明,我们的最小-最大策略可以减轻成员推断攻击的风险(接近随机猜测),在分类错误方面的成本可以忽略不计。
2018-07-16 cs.CR cs.LG stat.ML
Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks
Politecnico di Milano(米兰理工大学)
本文提出判别式对抗隐私(DAP),通过对抗训练和新损失函数同时降低预测误差并最大化MIA误差,并以AOP指标评估其在准确率、训练速度与成员隐私间的权衡。
2023-06-05 cs.CR cs.LG
Membership Privacy Protection for Image Translation Models via Adversarial Knowledge Distillation
Simon Fraser University(西蒙菲莎大学);Tianjin University(天津大学);Huawei Canada Technologies Co. Ltd.(华为加拿大技术有限公司)
图像到图像的翻译模型被证明是容易受到成员推断攻击(MIA),其中对手的目标是确定是否使用样本来训练模型或没有。随着基于图像到图像翻译模型的应用日益增多,保护这些模型的隐私免受MIA的侵害至关重要。我们提出了对抗性知识蒸馏(AKD)作为一种防御方法对MIA的图像到图像的翻译模型。该方法通过提高模型的泛化能力来保护训练样本的隐私。我们对图像到图像的翻译模型进行了实验,结果表明,与常规训练模型相比,AKD通过将攻击性能降低高达38.9%,从而实现了最先进的实用性-隐私权衡,其代价是生成的输出图像的质量略有下降。实验结果还表明,AKD训练的模型比常规训练模型具有更好的泛化能力。此外,与现有的防御方法相比,结果表明,在相同的隐私保护水平下,AKD训练的图像翻译模型生成的输出质量更高;而在相同的输出质量下,AKD将隐私保护提高了30%以上。
2022-03-10 cs.CR cs.CV
Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge
NIST(美国国家标准与技术研究院)
本文评估差分隐私在联邦学习中对抗成员推断攻击的效果,提出堆叠攻击策略,并在不同隐私配置下验证其性能。
2026-04-15 cs.CR cs.LG
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架,通过低误报率评估语音隐私,发现即使在低FPR下,对手攻击能力显著增强,强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
On the Evidentiary Limits of Membership Inference for Copyright Auditing
Centrum Wiskunde \& Informatica (CWI), Amsterdam, The Netherlands;Vrije Universiteit Amsterdam, Amsterdam, The Netherlands;University of Rhode Island, Kingston, RI, United States;Independent Researcher
研究探讨了在对抗性版权纠纷中成员推断攻击(MIAs)作为证据的可靠性,发现其在面对语义保持的改写数据时信号脆弱,表明MIAs单独不足以用于LLMs的版权审计。
2026-01-19 cs.AI cs.CR
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Evaluating Answer Leakage Robustness of LLM Tutors against Adversarial Student Attacks
EPFL(瑞士联邦理工学院)
本文研究了学生对抗性攻击下LLM导师的答案泄露鲁棒性,评估了多种模型在对抗攻击下的表现,并提出标准化基准和防御策略。
2026-04-20 cs.AI cs.CR
Membership Inference Attacks on DNNs using Adversarial Perturbations
Information Technology University(信息技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学)
本文针对简单数据集上成员推断攻击真阳性率低的问题,提出统一三阶段框架,并设计AMIA和E-AMIA两种新型攻击及增强指示器,显著提升低假阳性率下的成员检测性能、可迁移性和对DP-SGD的鲁棒性。
2023-07-11 cs.CR cs.LG
Biologically-Informed Hybrid Membership Inference Attacks on Generative Genomic Models
Asia Belfiore(第1机构);Dmitrii Usynin(第2机构)
本文提出了一种结合生物信息学指标的混合成员推理攻击方法,用于评估生成式基因组模型的隐私保护效果。
2025-12-18 cs.AI cs.CR
Gotcha! This Model Uses My Code! Evaluating Membership Leakage Risks in Code Models
本文提出了针对代码模型的新型成员推断攻击方法 Gotcha,揭示了其高成员身份泄露风险,并发现改变解码策略可缓解该风险,呼吁关注代码模型隐私。
2024-10-15 cs.CR cs.SE
Privacy Risks of Securing Machine Learning Models against Adversarial Examples
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学)
近年来,机器学习模型的攻击和防御之间的军备竞赛已经成为安全社区和隐私社区的前沿。然而,以前的研究的一个很大的局限性是,安全域和隐私域通常被分开考虑。因此,尚不清楚一个领域的防御方法是否会对另一个领域产生任何意想不到的影响。在本文中,我们采取了一个步骤,解决这一限制相结合的两个领域。特别是,我们衡量了六种最先进的防御方法对成员推理攻击的成功,这些方法可以减轻对抗性示例的风险(即,逃避攻击)。成员推断攻击确定单个数据记录是否是模型训练集的一部分。这种攻击的准确性反映了训练算法关于训练集个体成员的信息泄漏。对抗性示例的对抗性防御方法会影响模型的决策边界,使得模型预测在每个输入周围的小区域内保持不变。然而,这个目标是在训练数据上优化的。因此,训练集中的单个数据记录对鲁棒模型有显著影响。这使得模型更容易受到推理攻击。为了执行成员推理攻击,我们利用现有的推理方法,利用模型预测。我们还提出了两个新的推理方法,利用结构特性的强大的模型对不利扰动的数据。我们的实验评估表明,与自然训练(无防御)方法相比,对抗性防御方法确实可以增加目标模型对成员推断攻击的风险。
2019-08-25 cs.CR cs.LG stat.ML
Generative Models with Information-Theoretic Protection Against Membership Inference Attacks
J.P. Morgan AI Research(摩根大通人工智能研究院);Index Exchange(Index Exchange(索引交易所))
深度生成模型,如生成对抗网络(GANs),通过估计高维数据的底层分布来合成各种高保真数据样本。尽管GANs取得了成功,但它们可能会从训练数据中泄露私人信息,从而容易受到对抗攻击,例如成员推断攻击,其中对手的目标是确定记录是否是训练集的一部分。我们提出了一个信息理论动机的正则化项,防止生成模型过拟合训练数据,并鼓励推广。我们表明,这种惩罚最大限度地减少了具有不同成员资格的数据上训练的生成器组件之间的JensenShannon分歧,并且可以使用额外的分类器以低成本实现。我们在图像数据集上的实验表明,通过提出的正则化(仅增加很小的计算成本),GANs能够保护隐私并生成高质量的样本,从而实现比非私有和差异私有更好的下游分类性能生成模型。
2022-05-31 cs.CR cs.LG
Bits for Privacy: Evaluating Post-Training Quantization via Membership Inference
Department of Computer Science University of Luxembourg(计算机科学系卢森堡大学);Department of Computer Science Nanjing University(计算机科学系南京大学)
研究通过成员推断攻击评估训练后量化在隐私和效用之间的平衡,发现低精度量化可显著降低隐私泄露风险,但会牺牲模型效用。
2025-12-17 cs.CR cs.LG
Evaluating Automated Driving Planner Robustness against Adversarial Influence
The MITRE Corporation(米特尔公司)
评估自动驾驶规划器的鲁棒性是一项关键且具有挑战性的任务。尽管评估车辆的方法已经很成熟,但它们还没有考虑到带有自动驾驶组件的车辆与敌对代理共享道路的现实。我们的方法基于概率信任模型,旨在帮助研究人员评估支持机器学习的规划者对对抗性影响的保护的鲁棒性。与对所有车辆使用相同的评估数据集来评估安全性的既定做法相比,我们认为对抗性评估从根本上需要一个寻求击败特定保护的过程。因此,我们建议,评估的基础上估计的困难,对手,以确定条件,有效地诱导不安全的行为。这种类型的推理需要关于威胁、保护和规划决策方面的精确陈述。我们证明了我们的方法,通过评估保护规划师依赖于基于摄像头的物体探测器。
2022-05-29 cs.AI cs.CR cs.LG
Membership Inference over Diffusion-models-based Synthetic Tabular Data
University of Alberta(阿尔伯塔大学)
该研究针对基于扩散模型的合成表格数据生成方法,提出基于逐步误差比较的查询式 MIA,评估 TabDDPM 与 TabSyn 的隐私风险,发现前者更易受攻击、后者更具韧性。
2025-10-16 cs.AI cs.CR cs.LG
TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy
ST Engineering(ST工程)
研究利用模型自身梯度作为防御信号抵御基于解释的成员推理攻击,提出TIER防御,通过惩罚梯度引导扰动模拟的置信度下降波动及最小化分布偏移来保护隐私,兼顾模型效用和解释保真度。
2026-07-07 cs.AI cs.CR
Trade-offs between membership privacy & adversarially robust learning
University College London(伦敦大学学院)
从历史上看,机器学习方法在设计时并没有考虑到安全性。反过来,这又产生了对抗性的例子,仔细扰动输入样本,旨在误导检测在测试时,已被应用于攻击垃圾邮件和恶意软件分类,最近攻击图像分类。因此,大量的研究致力于设计对对抗性示例鲁棒的机器学习方法。不幸的是,除了鲁棒性之外,安全和安全的机器学习模型还必须满足其他要求,例如公平性和隐私性。Song et al.(2019)最近的研究表明,经验表明,健壮和私有机器学习模型之间存在权衡。设计为对对抗性示例具有鲁棒性的模型通常比标准(非鲁棒)模型在训练数据上更大程度地过拟合。如果数据集包含隐私信息,那么通过观察模型的输出来分离训练和测试数据的任何统计测试都可能代表隐私泄露,如果模型在训练数据上过拟合,这些统计测试就会变得更容易。在这项工作中,我们确定设置标准模型将过拟合到更大程度上相比,强大的模型,并在以前的作品中,根据经验观察,设置相反的行为发生。因此,不一定必须牺牲隐私来实现鲁棒性。过度拟合的程度自然取决于可用于训练的数据量。我们继续描述训练集大小如何影响通过在简单的高斯数据任务上训练鲁棒模型所暴露的隐私风险,并根据经验表明我们的研究结果适用于图像分类基准数据集,如CIFAR-10和CIFAR-100。
2022-01-08 cs.CR cs.LG stat.ML
Evaluating Membership Inference Attacks in heterogeneous-data setups
University of Twente, The Netherlands(特文特大学,荷兰);Inria, France(法国国家信息与自动化技术研究院)
本文提出了一种度量标准来评估成员推断攻击在异构数据设置中的表现,揭示了攻击准确性依赖于实验设置,并指出了缺乏标准化基线对风险评估的挑战。
2025-04-28 cs.CR cs.LG
Evaluating the Vulnerability of ML-Based Ethereum Phishing Detectors to Single-Feature Adversarial Perturbations
本研究评估以太坊钓鱼检测模型对单特征对抗攻击的脆弱性,发现攻击影响因算法而异,并提出对抗训练与特征选择等缓解策略以增强鲁棒性。
2025-04-24 cs.CR
Adversarial Risk and the Dangers of Evaluating Against Weak Attacks
DeepMind(深度思维)
本文研究了最近提出的防御对抗性示例和评估对抗性鲁棒性的方法。我们激励“对抗性风险”作为实现对最坏情况输入具有鲁棒性的模型的目标。然后,我们将常用的攻击和评估指标定义为真实对抗风险的易处理替代目标。这表明模型可能会优化这个替代品,而不是真正的对抗风险。我们将这个概念形式化为“对对手的模糊性”,并开发工具和算法来识别模糊模型和设计透明模型。我们证明了这是一个重要的问题,在实践中重新利用梯度自由优化技术到对抗攻击,我们用它来降低最近提出的几个防御的准确性接近零。我们希望我们的配方和结果将帮助研究人员开发更强大的防御。
2018-06-12 cs.CR cs.LG stat.ML
From ML to LLM: Evaluating the Robustness of Phishing Webpage Detection Models against Adversarial Attacks
本研究提出PhishOracle工具生成对抗性钓鱼网页,评估现有检测模型及多模态大语言模型的鲁棒性,发现检测率显著下降且用户易受骗,凸显了加强检测鲁棒性的必要性。
2025-05-24 cs.CR
Evaluating and Understanding the Robustness of Adversarial Logit Pairing
Massachusetts Institute of Technology(麻省理工学院)
我们评估了对抗性Logit配对的鲁棒性,这是最近提出的对抗性示例的防御方法。我们发现,使用对抗性Logit配对训练的网络在考虑防御的威胁模型中达到了0.6%的准确率。我们简要概述了防御和所考虑的威胁模型/声明,以及我们攻击的方法和结果的讨论,这可能会深入了解ALP易受对抗性攻击的原因。
2018-11-23 cs.CR cs.CV cs.LG
Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability
Georgia Institute of Technology(佐治亚理工学院)
成员推断攻击试图推断私人训练模型的各个训练实例的成员。本文提出了一个会员隐私分析和评估系统,称为MPLens,有三个独特的贡献。首先,通过MPLens,我们演示了如何在对抗性机器学习中利用成员推断攻击方法。其次,通过MPLens,我们强调了预训练模型在成员推断攻击下的脆弱性在所有类中是不一致的,特别是当训练数据本身是偏斜的时候。我们发现,当模型使用倾斜的训练数据时,成员推断攻击的风险通常会增加。最后,我们调查的有效性差分隐私作为缓解技术对成员推断攻击。我们讨论了实施这种缓解策略的权衡模型的复杂性,学习任务的复杂性,数据集的复杂性和隐私参数设置。我们的实证结果表明,(1)少数群体在偏斜的数据集显示成员推理的风险增加和(2)差分隐私提出了许多具有挑战性的权衡作为缓解技术的成员推理风险。
2019-11-21 cs.CR cs.LG stat.ML
OSLO: One-Shot Label-Only Membership Inference Attacks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出仅需单次查询的OSLO仅标签成员推断攻击,基于成员样本抗对抗扰动更强的思路,利用迁移黑盒对抗攻击实现,在CIFAR100的ResNet18模型上性能远超需数千次查询的现有方法,并评估了对应防御机制。
2024-11-01 cs.CR cs.LG
On Evaluating Adversarial Robustness
Google Brain(谷歌大脑);MIT(麻省理工学院);University of Tübingen(图宾根大学)
事实证明,正确评估对抗性示例的防御非常困难。尽管最近有大量的工作试图设计抵御自适应攻击的防御系统,但很少有人成功;大多数提出防御系统的论文很快就被证明是不正确的。我们认为一个很大的影响因素是执行安全评估的困难。在本文中,我们讨论了方法论基础,回顾了普遍接受的最佳实践,并提出了评估对抗性示例防御的新方法。我们希望开发防御的研究人员以及希望了解评估完整性的读者和评论者考虑我们的建议,以避免常见的陷阱。
2019-02-20 cs.CR cs.LG stat.ML
A Unified Framework of Graph Information Bottleneck for Robustness and Membership Privacy
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊)
针对图神经网络易受对抗攻击、训练数据易遭成员推理泄露且现有方法难以同时兼顾鲁棒性与隐私的问题,提出融合邻居瓶颈与伪标签优化的图信息瓶颈框架,实现鲁棒预测与成员隐私保护的双重目标。
2023-06-14 cs.AI cs.CR cs.LG
Understanding the Error in Evaluating Adversarial Robustness
深度神经网络很容易被对抗性的例子误导。虽然提出了许多防御方法,但其中许多方法在应对适当执行的自适应攻击时会失去有效性。如何有效地评估对抗鲁棒性对于深度模型的实际部署非常重要,但目前还不清楚。为了提供一个合理的解决方案,主要的事情之一是了解真正的对抗鲁棒性和评估的鲁棒性之间的误差(或差距),它是什么以及为什么存在。本文做了几项工作,以明确这一点。首先,我们介绍了一个有趣的现象,称为梯度陷阱,这导致不称职的对手,并被证明是一种表现的评估错误。然后,我们分析了误差,并确定有三个组成部分。每一个都是由特定的妥协引起的。在此基础上,提出了评价建议。对抗性训练及其变体的实验表明:(1)错误确实存在于经验中,(2)这些防御仍然是脆弱的。我们希望这些分析和结果将有助于社区开发更强大的防御。
2021-01-07 cs.CR
Evaluating Deep Learning Models and Adversarial Attacks on Accelerometer-Based Gesture Authentication
San Jose State University(圣何塞州立大学)
基于手势的身份验证已经成为一种非侵入式的、有效的移动设备上的用户身份验证手段。通常,这样的认证技术依赖于经典的机器学习技术,但是最近,深度学习技术已经应用于这个问题。尽管先前的研究表明,深度学习模型容易受到对抗攻击的攻击,但在对抗领域对行为生物识别技术的研究相对较少。在这项研究中,我们收集了来自46个用户的三轴加速度计手势数据(TAGD),并使用经典机器学习和深度学习模型进行分类实验。具体来说,我们训练和测试支持向量机(SVM)和卷积神经网络(CNN)。然后,我们考虑一个现实的对抗攻击,我们假设攻击者可以访问真实用户的TAGD数据,但不能访问身份验证模型。我们使用深度卷积生成对抗网络(DC-GAN)来创建对抗样本,我们证明了我们的深度学习模型对这种攻击场景具有惊人的鲁棒性。
2021-10-03 cs.CR cs.LG
Liuer Mihou: A Practical Framework for Generating and Evaluating Grey-box Adversarial Attacks against NIDS
深度学习(DL)由于其高表达性和速度,已成为越来越受欢迎的选择作为基于网络的入侵检测系统(NIDS)的检测算法。不幸的是,DL算法容易受到对抗性示例的攻击,这些示例会对输入进行不可感知的修改,并导致DL算法对输入进行错误分类。现有的NIDS领域的对抗攻击通常直接操纵流量特征,由于流量特征在真实网络中无法重现,因此没有实际意义。产生实用的和规避的对抗攻击仍然是一个研究挑战。本文介绍了Liuer Mihou攻击,该攻击生成实用且可重放的对抗性网络数据包,可以绕过部署在物联网(IoT)网络中的基于异常的NIDS。Liuer Mihou背后的核心思想是利用对抗性可转移性,并在代理NIDS上生成对抗性数据包,该代理NIDS受预定义的变异操作约束,以确保实用性。我们客观地分析了六耳蜜猴对四种基于ML的算法(LOF,OCSVM,RRCF和SOM)和最先进的NIDS,Kitsune的回避。从我们的实验结果中,我们获得了有价值的见解的必要条件对抗异常检测算法的可转移性。超越理论设置,我们在真实的物联网测试平台中重播了对抗攻击,以检验六耳密喉的实用性。此外,我们证明了现有的特征级对抗性防御不能抵御刘尔密侯和建设性地批评特征级对抗性防御的局限性。
2022-04-12 cs.CR
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt(达姆施塔特工业大学);SAP SE(思爱普公司)
我们提出了两个信息泄漏攻击,优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断,而无需对生成模型的类型进行假设。与以前的生成模型评估指标(如核密度估计)相反,它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器,以实现较高的隶属推理精度。此外,以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者,以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估,生成对抗网络(GANs)和变分自编码器(VAE),在标准图像数据集上训练。我们的研究结果表明,这两种攻击产生的成功率优于以前的工作在大多数数据集,而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合,特别有用。例如,在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中,我们的工作激励了GANs的使用,因为它们在产生详细样本的同时,被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Evaluating Defensive Distillation For Defending Text Processing Neural Networks Against Adversarial Examples
对抗性样本是人工修改的输入样本,会导致错误分类,但人类无法检测到。这些对抗性示例对于图像和文本分类等许多任务来说都是一个挑战,特别是研究表明,许多对抗性示例可以在不同的分类器之间转移。在这项工作中,我们评估了一种流行的防御策略的性能对抗性的例子,称为防御蒸馏,它可以成功地硬化神经网络对抗性的例子在图像域。然而,我们没有将防御性蒸馏应用于图像分类网络,而是首次研究了它在文本分类任务上的性能,并评估了它对对抗性文本示例的可移植性的影响。我们的研究结果表明,防御蒸馏只对文本分类神经网络的影响很小,既不帮助提高其对对抗性的例子,也不阻止神经网络之间的对抗性的例子的可移植性。
2019-08-21 cs.CL cs.CR cs.LG
Membership Inference Attacks against Machine Learning Models
Cornell Tech(康奈尔理工大学);INRIA(法国国家信息与自动化研究所);Cornell(康奈尔大学)
我们定量地研究了机器学习模型如何泄漏关于它们所训练的个体数据记录的信息。我们专注于基本的成员推断攻击:给定一个数据记录和对模型的黑盒访问,确定该记录是否在模型的训练数据集中。为了对目标模型执行成员推理,我们对抗性地使用机器学习并训练我们自己的推理模型,以识别目标模型对它训练过的输入和没有训练过的输入的预测差异。我们在由商业“机器学习即服务”提供商(如Google和Amazon)训练的分类模型上实证评估我们的推理技术。使用现实的数据集和分类任务,包括从隐私的角度来看,其成员是敏感的出院数据集,我们表明,这些模型可能容易受到成员推断攻击。然后,我们调查影响这种泄漏的因素,并评估缓解策略。
2017-03-31 cs.CR cs.LG stat.ML
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration
AutoMIA通过代理自我探索和策略进化,改进成员推断攻击基线,实现模型无关的攻击空间系统遍历,优于现有方法且无需手动特征工程。
2026-04-01 cs.CR cs.CV
Evaluating the Robustness of Geometry-Aware Instance-Reweighted Adversarial Training
Sapienza University of Rome(罗马大学);Department of Computer Science(计算机科学系)
在这份技术报告中,我们评估了一种名为“几何感知实例重新加权对抗训练”的最新方法的对抗鲁棒性[7]。GAIRAT报告了CIFAR-10数据集上防御对抗攻击的最新结果。事实上,我们发现用这种方法训练的网络,虽然比常规对抗训练(AT)有所改进,但通过重新调整损失,使模型偏向某些样本。事实上,这导致模型容易受到扩展logit的攻击。原始模型在AutoAttack下显示出59%的准确率-当使用带有伪标签的额外数据进行训练时。我们提供的分析显示了相反的情况。特别是,我们制作了一个PGD攻击,将logits乘以一个正标量,当只在CIFAR-10上训练时,将GAIRAT的准确率从55%降低到44%。在本报告中,我们严格评估了该模型,并深入分析了GAIRAT易受这种对抗攻击的原因。可在https://github.com/giuxhub/GAIRAT-LSA上获得重现我们评估的代码
2021-03-05 cs.CR cs.LG