Mole Recruitment: Poisoning of Image Classifiers via Selective Batch Sampling
Arizona State University（亚利桑那州立大学）
在这项工作中，我们提出了一种数据投毒攻击，混淆机器学习模型，而无需对图像或标签进行任何操作。这是通过简单地利用训练数据本身中发现的最令人困惑的自然样本来实现的，这是一种新形式的有针对性的攻击，称为“鼹鼠招募”。“我们将摩尔定义为一类与另一类样本最相似的训练样本，并表明简单地用最佳摩尔数重组训练批次会导致目标类的性能显着下降。我们在几个标准图像分类数据集的离线设置中显示了这种新攻击的有效性，并在持续学习（CL）设置中展示了这种攻击在现实世界中的可行性。我们的分析表明，最先进的模型容易受到鼹鼠招募的影响，从而暴露了图像分类器以前未被发现的漏洞。
2023-03-30 cs.LG
Do Fairness Interventions Come at the Cost of Privacy: Evaluations for Binary Classifiers
Australian Artificial Intelligence Institute and the School of Computer Science, University of Technology Sydney（澳大利亚人工智能研究所和悉尼技术大学计算机学院）；Data61, CSIRO（Data61和澳大利亚联邦科学与工业研究组织）；City University of Macau（澳门城市大学）
本文通过成员推理攻击和属性推理攻击评估公平性增强二元分类器的隐私风险，发现公平性干预通常能增强抵御能力，但揭露了利用公平与有偏差模型预测差异的新型威胁机制，暴露了重大隐私风险。
2025-03-11 cs.LG
Adversarial Attacks on Hidden Tasks in Multi-Task Learning
RIKEN AIP（理化学研究所人工智能项目）；Tsukuba university（筑波大学）；Tokyo Institute of Technology（东京工业大学）
本文提出一种利用非目标任务和共享骨干网络信息攻击多任务模型中隐藏任务的方法，在CelebA和DeepFashion上验证了其能降低隐藏任务准确率而不影响可见任务。
2024-05-28 cs.LG
Mudjacking: Patching Backdoor Vulnerabilities in Foundation Models
Duke University（杜克大学）
本文提出首个基础模型后门修补方法Mudjacking，将修补建模为优化问题并用梯度下降求解，在多种模型、数据集和后门攻击上验证了其在保持效用下移除后门的有效性。
2024-02-22 cs.CR cs.CV cs.LG
Revealing Hidden Vulnerabilities in Autoencoders through Gradient Signal Restoration
University of the Bundeswehr Munich（联邦国防军理工大学）
针对自编码器对抗攻击中梯度消失导致鲁棒性被高估的问题，提出GRILL框架恢复梯度信号，显著提升攻击效果，暴露隐藏漏洞。
2026-06-18 cs.AI cs.CV cs.LG
Towards Unveiling Vulnerabilities of Large Reasoning Models in Machine Unlearning
Iowa State University（爱荷华州立大学）
本文研究大规模推理模型在机器反向学习中的安全漏洞，提出一种能生成误导性推理轨迹的攻击方法，并通过白盒和黑盒实验验证其有效性。
2026-04-05 cs.CR cs.LG
Analyzing the vulnerabilities in SplitFed Learning: Assessing the robustness against Data Poisoning Attacks
Anglia Ruskin University（安格利亚鲁斯金大学）
本文首次系统研究SplitFed学习中的数据投毒攻击，提出非定向、定向和基于距离三种攻击策略，并通过心电图分类和手写数字识别实验证明非定向及基于距离的攻击比定向攻击更具破坏性。
2023-07-04 cs.AI cs.LG
Time for a change: a tutorial for comparing multiple classifiers through Bayesian analysis
University of Ljubljana（卢布尔雅那大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
机器学习社区采用原假设显著性检验（NHST）来确保结果的统计有效性。然而，许多科学领域意识到了频率论推理的缺点，在最激进的情况下，甚至禁止在出版物中使用频率论。我们也应该这样做：正如我们在开发新的机器学习方法时采用贝叶斯范式一样，我们也应该在分析自己的结果时使用它。我们主张放弃NHST，揭露其谬误，更重要的是，提供更好的-更健全和有用的-替代品。
2017-07-15 cs.LG stat.ML
Short Paper: Static and Microarchitectural ML-Based Approaches For Detecting Spectre Vulnerabilities and Attacks
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
Spectre入侵利用了现代处理器中的推测执行设计漏洞。这些攻击违反了程序中的隔离原则，以获取未经授权的私人用户信息。当前最先进的检测技术利用微体系结构特征或易受攻击的推测性代码来检测这些威胁。然而，这些技术是不够的，因为Spectre攻击已经被证明是更隐蔽的，最近发现的变种绕过了当前的缓解机制。侧通道在处理器缓存中生成不同的模式，并且敏感信息泄漏取决于易受Spectre攻击的源代码，其中攻击者使用这些漏洞，例如分支预测，这会导致数据泄露。以前的研究主要采用微体系结构分析来检测Spectre攻击，这是一种反应式方法。因此，在本文中，我们提出了第一次全面评估的静态和微架构分析辅助机器学习方法来检测Spectre脆弱的代码片段（预防）和Spectre攻击（反应）。我们评估的性能权衡采用分类检测幽灵的漏洞和攻击。
2022-10-26 cs.CR cs.LG
Explaining Vulnerabilities to Adversarial Machine Learning through Visual Analytics
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）
机器学习模型目前被部署在各种现实世界的应用程序中，其中模型预测用于做出有关医疗保健，银行贷款和许多其他关键任务的决策。随着人工智能技术的部署变得无处不在，对手已经开始开发操纵机器学习模型的方法以获得优势也就不足为奇了。虽然可视化分析社区已经开发了打开机器学习模型黑匣子的方法，但很少有工作专注于帮助用户了解他们在对抗攻击背景下的模型漏洞。在本文中，我们提出了一个可视化的分析框架，用于解释和探索对抗攻击的模型漏洞。我们的框架采用了多方面的可视化方案，旨在支持分析的数据投毒攻击的角度模型，数据实例，功能和本地结构。我们证明了我们的框架，通过两个案例研究二进制分类器和说明模型的漏洞，不同的攻击策略。
2019-10-03 cs.CR cs.HC cs.LG
Vulnerabilities in Machine Learning-Based Voice Disorder Detection Systems
University of Cagliari（卡利亚里大学）
本文通过对抗攻击、逃逸攻击和变调技术等方法，系统评估了基于机器学习的嗓音障碍检测系统的脆弱性，识别出最有效的攻击策略，揭示了医疗健康领域机器学习系统面临的安全隐患。
2024-10-21 cs.CR cs.LG
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University（杜克大学）
随着机器学习（ML）变得越来越强大且易于访问，攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中，攻击者可以访问个人、软件或系统的某些数据（称为公共数据）;并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功，是因为私有数据与公共数据在统计上相关，而ML分类器可以捕获这种统计相关性。在本章中，我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是，攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此，我们可以将ML的漏洞转化为对推理攻击的防御。例如，ML分类器很容易受到对抗性示例的影响，这些示例会向正常示例添加精心制作的噪音，以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击，我们可以在公共数据中添加精心制作的噪音，将它们变成对抗性的例子，这样攻击者的分类器就会对私有数据做出错误的预测。然而，现有的构建对抗性示例的方法是不够的，因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中，我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Security Evaluation of Pattern Classifiers under Attack
University of Cagliari（卡利亚里大学）
模式分类系统通常用于对抗性应用，如生物特征认证，网络入侵检测和垃圾邮件过滤，其中数据可以被人类故意操纵以破坏其操作。由于传统的设计方法没有考虑到这种对抗性的情况，模式分类系统可能会表现出漏洞，这些漏洞的利用可能会严重影响其性能，从而限制其实际效用。因此，将模式分类理论和设计方法扩展到对抗环境是一个新颖且非常相关的研究方向，尚未以系统的方式进行。在本文中，我们解决了一个主要的开放问题：评估在设计阶段的模式分类器的安全性，即潜在的攻击，他们可能会招致在操作过程中的性能下降。我们提出了一个框架，分类器的安全性，形式化和概括的主要思想在文献中提出的经验评估，并给出了它的使用在三个实际应用的例子。报告的结果表明，安全评估可以提供一个更完整的了解分类器的行为在对抗环境中，并导致更好的设计选择。
2017-09-02 cs.CR cs.LG
A Synergetic Attack against Neural Network Classifiers combining Backdoor and Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
在这项工作中，我们展示了如何联合利用对抗扰动和模型中毒漏洞来实际发起一种新的隐形攻击，称为AdvTrojan。AdvTrojan是隐形的，因为它只能在以下情况下被激活：1）在推理过程中将精心制作的对抗扰动注入输入示例，2）在模型的训练过程中植入特洛伊木马后门。我们利用输入空间中的对抗性噪声将木马感染的示例移动到模型的决策边界，使其难以检测。AdvTrojan的隐形行为欺骗用户意外地将受感染的模型信任为对抗对抗性示例的鲁棒分类器。AdvTrojan可以通过类似于传统木马后门攻击的仅毒化训练数据来实现。我们对几个基准数据集的全面分析和广泛实验表明，AdvTrojan可以绕过现有的防御，在我们的大多数实验场景中成功率接近100%，并且可以扩展到攻击联邦学习任务。
2021-09-03 cs.CR cs.LG
On the reversibility of adversarial attacks
Queen Mary University of London（伦敦玛丽女王大学）
对抗攻击通过扰动来修改图像，从而改变分类器的预测。这些修改后的图像被称为对抗性示例，暴露了深度神经网络分类器的漏洞。在本文中，我们研究了原始图像预测的类与其相应的对抗性示例之间的映射的可预测性。这种可预测性与恢复原始预测的可能性有关，从而扭转了诱导的错误分类。我们将此属性称为对抗攻击的可逆性，并将可逆性量化为检索对抗示例的原始类或真实类的准确性。我们提出了一种方法，逆转的对抗攻击的分类器上使用的分类结果的先验集的效果。我们分析了最先进的对抗攻击对基准分类器的可逆性，并讨论了影响可逆性的因素。
2022-06-01 cs.AI cs.CR cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
A practical approach to evaluating the adversarial distance for machine learning classifiers
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所（BAuA））；University of Stuttgart（斯图加特大学）
本文提出一种结合迭代对抗攻击与认证方法估计对抗距离上下界的实用评估方法，并通过可视化与消融研究验证其有效性，旨在推动更具信息量的ML分类器鲁棒性评估。
2024-09-05 cs.CV cs.LG
Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks
University of Iowa（爱荷华大学）
深度学习（DL）正被广泛用于文本分类。然而，研究人员已经证明了这种分类器对对抗攻击的脆弱性。攻击者以误导分类器的方式修改文本，同时保持原始含义接近完整。最先进的（SOTA）攻击算法遵循对文本进行最小更改的一般原则，以便不危及语义。利用这一点，我们提出了一种新颖而直观的防御策略，称为样本屏蔽。它与攻击者和分类器无关，不需要重新配置分类器或外部资源，并且易于实现。从本质上讲，我们对输入文本的子集进行采样，对它们进行分类，并将其总结为最终决策。我们使用Sample Shielding屏蔽了三个流行的DL文本分类器，在现实的威胁环境中测试了它们对三个数据集上的四个SOTA攻击者的弹性。即使在了解我们的屏蔽策略的优势下，对手的攻击成功率也<=10%，只有一个例外，通常<5%。此外，样本屏蔽在应用于原始文本时保持接近原始的准确性。至关重要的是，我们表明，SOTA攻击者的“做最小的改变”的方法导致关键的漏洞，可以防御一个直观的采样策略。
2022-05-03 cs.CL cs.CR cs.LG
Data Driven Exploratory Attacks on Black Box Classifiers in Adversarial Domains
University of Louisville（路易斯维尔大学）
虽然现代网络应用程序的目标是在文明水平上产生影响，但它们已经变得容易受到敌对活动的影响，下一次网络攻击可以采取任何形式，可以来自任何地方。攻击的规模和复杂性不断增加，促使人们需要一种数据驱动的解决方案，机器学习是许多网络安全系统的核心。机器学习在设计时并没有考虑到安全性，并且要求训练和测试数据遵循类似分布的平稳性的基本假设在对抗域中被违反。在本文中，对手的观点的分类为基础的系统，提出。基于形式化的对抗模型，提出了一个种子-探索-利用框架，用于模拟对分类器的数据驱动和逆向工程攻击的生成。在10个真实世界数据集上使用Google Cloud Prediction Platform进行的实验评估表明，分类器存在固有的脆弱性，并且在没有任何关于分类器类型，训练数据或应用领域的明确信息的情况下可以轻松进行规避。所提出的框架，算法和经验评估，作为一个白帽分析的漏洞，并旨在促进安全的机器学习框架的发展。
2017-03-23 cs.CR cs.LG stat.ML
Adequacy of the Gradient-Descent Method for Classifier Evasion Attacks
University of Melbourne（墨尔本大学）
尽管机器学习在包括计算机安全在内的对抗性环境中得到了广泛应用，但最近的研究表明，规避攻击存在漏洞-精心制作的对抗性样本与合法实例非常相似，但会导致错误分类。在本文中，我们研究了产生对抗样本的主要方法-梯度下降方法的充分性。特别是（1）我们在MNIST、USPS和Spambase三个数据集上进行了大量的实验，以分析梯度下降方法对非线性支持向量机的有效性，并得出结论，仔细降低核平滑度可以显着提高对攻击的鲁棒性;（2）我们证明了分离的类间支持向量导致更安全的模型，并提出了一个类似于裕度的量，可以在攻击发起之前有效地预测对梯度下降攻击的潜在易感性;（3）设计了一种新的基于类决策函数乘性比优化的对抗样本构造算法。
2017-05-25 cs.CR cs.LG stat.ML
Membership Inference Attack and Defense for Wireless Signal Classifiers with Deep Learning
Virginia Tech（弗吉尼亚理工大学）；Intelligent Automation, Inc.（智能自动化公司）
提出了一种无线成员推断攻击（MIA），用于从无线信号分类器中泄漏私有信息。机器学习（ML）提供了对无线信号进行分类的强大手段，例如，用于PHY层认证。作为对抗性机器学习攻击，MIA推断目标分类器的训练数据中是否使用了感兴趣的信号。该私有信息包含波形、信道和设备特征，并且如果被泄露，则可以被对手利用来识别底层ML模型的漏洞（例如，以渗透PHY层认证）。空中MIA的一个挑战是，由于信道条件的差异，对手和预期接收机处的接收信号以及因此的RF指纹不同。因此，对手首先通过观察频谱来构建代理分类器，然后在该分类器上启动黑盒MIA。MIA结果表明，对手可以可靠地推断用于构建目标分类器的信号（以及潜在的无线电和信道信息）。因此，通过建立影子MIA模型和欺骗对手来开发针对MIA的主动防御。这种防御可以成功地降低MIA的准确性，并防止从无线信号分类器的信息泄漏。
2021-07-22 cs.CR cs.IT cs.LG
The Hidden Cost of Modeling P(X): Vulnerability to Membership Inference Attacks in Generative Text Classifiers
IIT Kharagpur（印度理工学院Kharagpur分校）；Amazon.com Inc.（亚马逊公司）
本文通过理论分析与九数据集实证比较，证明显式建模 $P(X,Y)$ 的生成式文本分类器比判别式和伪生成式分类器更易受 MIA 攻击，且规范推理会加剧泄露。
2025-10-17 cs.CL cs.CR cs.LG
Logically Consistent Adversarial Attacks for Soft Theorem Provers
Imperial College London（帝国理工学院）；ByteDance（字节跳动）
人工智能社区最近的努力已经取得了令人印象深刻的成果，使用语言模型对自然语言句子进行“软定理证明“。我们提出了一个新的生成对抗框架，用于探测和提高这些模型的推理能力。该领域中的对抗攻击遭受逻辑不一致问题，由此对输入的扰动可能改变标签。我们的逻辑一致的对抗性攻击器LAVA通过将结构化生成过程与符号求解器相结合来解决这个问题，从而保证逻辑一致性。我们的框架成功地生成了对抗攻击，并识别了多个目标模型中常见的全局弱点。我们的分析揭示了这些模型的推理能力中的幼稚的逻辑学和漏洞，暴露了对逻辑程序下的逻辑演绎的不完全掌握。最后，除了有效地探测这些模型之外，我们还展示了对生成的样本进行训练可以提高目标模型的性能。
2022-04-29 cs.CL cs.CR cs.LG
Towards Predicting Multi-Vulnerability Attack Chains in Software Supply Chains from Software Bill of Materials Graphs
University of Colorado Colorado Springs (UCCS)（科罗拉多大学科罗拉多斯普林斯分校 (UCCS)）
本文提出基于SBOM图学习的方法，通过构建异构图预测软件供应链中的多漏洞攻击链，验证结果显示模型在识别漏洞关联和预测攻击链方面具有高准确率。
2026-07-17 cs.CR cs.LG cs.SE
MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks
IBM Research Europe（IBM欧洲研究院）
本文提出MoJE防护栏架构，利用简单语言统计技术以低计算开销检测越狱攻击，实验显示可在不误伤良性提示的情况下识别90%的攻击。
2024-10-04 cs.AI cs.CR cs.LG
Reversible Jump Attack to Textual Classifiers with Modification Reduction
School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
针对NLP模型对抗样本修改幅度与攻击成功率失衡问题，提出RJA和MMR算法，通过随机化机制和采样器生成高效且不可感知的对抗样本，在攻击性能、流畅性和语法正确性上超越现有方法。
2024-03-21 cs.CL cs.CR cs.LG
Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces
Oxford Internet Institute, University of Oxford（牛津互联网研究所，牛津大学）；Department of Engineering Science, University of Oxford（工程科学系，牛津大学）
研究通过被动JavaScript跟踪器分析LLM代理的行为和交互时间，发现可识别底层模型，F1达96%，并展示分类器在不同模型上的泛化能力及早期身份推断。
2026-05-14 cs.AI cs.CR cs.HC
Vulnerabilities of Deep Learning-Driven Semantic Communications to Backdoor (Trojan) Attacks
Virginia Tech（弗吉尼亚理工大学）；University of Maryland（马里兰大学）；The Ohio State University（俄亥俄州立大学）
本文重点介绍了深度学习驱动的语义通信对后门（特洛伊木马）攻击的脆弱性。语义通信的目的是在将信息从发送者传递到接收者的同时传达期望的含义。由作为自动编码器的一部分的两个深度神经网络（DNN）表示的编码器-解码器对被训练以通过在有限数量的信道使用上传输小尺寸的潜在特征来在接收器处重构诸如图像的信号。同时，接收器处的语义任务分类器的另一个DNN与自动编码器联合训练，以检查传达给接收器的含义。DNN的复杂决策空间使得语义通信容易受到对抗性操纵的影响。在后门（特洛伊木马）攻击中，攻击者将触发器添加到一小部分训练样本中，并将标签更改为目标标签。当考虑图像的传输时，触发器可以被添加到图像或等同地添加到对应的发送或接收的信号。在测试时间，对手通过提供中毒样本作为语义通信的编码器（或解码器）的输入来激活这些触发器。后门攻击可以有效地将针对中毒输入样本传递的语义信息改变为目标含义。随着语义通信的性能随着信噪比和信道使用次数的提高而提高，后门攻击的成功率也会提高。此外，增加训练数据中的特洛伊木马比率使攻击更成功。与此同时，这种攻击对未中毒输入样本的影响仍然有限。总体而言，本文表明，后门攻击构成了严重的威胁，语义通信，并提出了新的设计准则，以保持传输的信息的含义存在的后门攻击。
2022-12-21 cs.CR cs.IT cs.LG
