walk2friends: Inferring Social Links from Mobility Profiles
定位技术的发展已经导致可用的移动性数据量的增加。在给人们的生活带来诸多便利的同时,这样的可获得性也引发了人们对隐私的严重担忧。在本文中,我们集中在一个最敏感信息,可以推断出从移动数据,即社会关系。我们提出了一种新的社会关系推理攻击,依赖于一个先进的特征学习技术,自动总结用户的移动功能。与现有的方法相比,我们的攻击能够预测任何两个人的社会关系,它不需要对手有任何先验知识的现有的社会关系。这些优势大大增加了我们攻击的适用性和隐私评估的范围。在一个大型数据集上进行的大量实验表明,我们的推理攻击是有效的,并实现了13%至20%的最佳国家的最先进的计划之间的改进。我们提出了三种防御机制-隐藏,替换和泛化-并评估其有效性,以减轻移动数据共享带来的社会联系隐私风险。我们的实验结果表明,隐藏和替换机制优于泛化。此外,隐藏和替换实现了效用和隐私之间的可比权衡,前者保留更好的效用,后者提供更好的隐私。
2017-09-05 cs.CR cs.SI
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University(杜克大学)
后门攻击是对深度神经网络(DNN)的严重安全威胁。我们设想,就像对抗性的例子一样,后门攻击将是一场猫捉老鼠的游戏,即,开发了新的经验防御来防御后门攻击,但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏,我们采取了第一步,对后门攻击认证防御。具体来说,在这项工作中,我们研究的可行性和有效性,证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明,使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而,我们也发现,现有的随机平滑方法在抵御后门攻击的有效性有限,这突出了新的理论和方法的需求,以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
BAN-GZKP: Optimal Zero Knowledge Proof based Scheme for Wireless Body Area Networks
BANZKP是目前最好的基于零知识证明(ZKP)的安全、轻量级、节能的无线局域网认证方案。它容易受到重放攻击、汇聚端分布式拒绝服务攻击和冗余信息破解等多种安全攻击。然而,BANZKP需要端到端认证,这与人体姿势移动性不兼容。我们提出了一个新的方案BAN-GZKP。我们的计划提高了BANZKP的安全性和姿势移动弹性。此外,BAN-GZKP只使用了一个三阶段的认证,这是最佳的类ZKP协议。为了解决BANZKP的安全漏洞,BAN-GZKP使用了一种新的随机密钥分配和逐跳认证定义。我们进一步证明了我们的计划的可靠性,包括BANZKP是脆弱的各种攻击。此外,通过大量的模拟,我们证明了我们的计划,BAN-GZKP,优于BANZKP在可靠性方面的人体姿势移动性的各种网络参数(端到端的延迟,在网络中交换的数据包的数量,传输的数量)。我们比较了这两种方案,使用代表性的收敛播策略与各种传输速率和人体姿势的流动性。最后,重要的是要提到,与BANZKP相比,BAN-GZKP在存储器、计算复杂性或能耗方面没有额外的成本。
2018-02-20 cs.CR cs.NI
MultiRobustBench: Benchmarking Robustness Against Multiple Attacks
Princeton University(普林斯顿大学);IBM Research(IBM研究院)
针对现有对抗防御多聚焦单一攻击的问题,本文提出首个多攻击鲁棒性统一框架及基准MultiRobustBench,评估16种防御模型对9类共180次攻击的表现,发现现有方法最坏攻击鲁棒性仍弱于随机猜测。
2023-07-20 cs.CR cs.LG
One Year of DDoS Attacks Against a Cloud Provider: an Overview
分布式拒绝服务攻击是云提供商面临的最重要威胁之一。近年来,DDoS攻击变得越来越重要和复杂。由于攻击者快速适应旨在对抗他们的检测和缓解方法,因此行业需要不断监控和分析他们面临的攻击。在本文中,我们概述了2021年针对我们基础设施的攻击。我们的动机是深入了解DDoS攻击在欧洲大型云提供商中仍然存在的挑战
2022-08-30 cs.CR cs.NI
A Survey of AI-Related Cyber Security Risks and Countermeasures in Mobility-as-a-Service
本文首次全面综述了出行即服务中人工智能相关的网络安全风险与对策,聚焦隐私风险和对抗性攻击及其对生态系统的影响。
2024-11-08 cs.CR
TA3: Testing Against Adversarial Attacks on Machine Learning Models
University of Oxford(牛津大学)
该研究设计开发了交互式对抗攻击测试系统TA3,通过人在回路实现人工引导攻击模拟与可视化攻击影响评估,当前版本聚焦决策树的单像素攻击测试,验证了人在回路在ML测试中的价值与拓展潜力。
2024-10-06 cs.CR cs.LG
Data Poisoning against Differentially-Private Learners: Attacks and Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
数据投毒攻击旨在通过反向修改训练集来操纵由学习算法产生的模型。我们认为差分隐私作为对这种类型的攻击的防御措施。我们表明,这样的学习者是抵抗数据投毒攻击时,对手只能中毒少量的项目。然而,这种保护会随着对手毒害更多数据而降低。为了说明这一点,我们设计了针对目标和输出扰动学习器的攻击算法,这是差分私有机器学习的两种标准方法。实验表明,我们的方法是有效的,当攻击者被允许中毒足够多的训练项目。
2019-07-05 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University(杜克大学)
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器,使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外,每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻(kNN)和半径近邻(rNN)具有固有的多数表决机制。在这项工作中,我们表明,在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证,对数据投毒攻击和后门攻击。此外,我们对MNIST和CIFAR 10的评估结果表明,kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
On Configurable Defense against Adversarial Example Attacks
The Chinese University of Hong Kong(香港中文大学)
基于深度神经网络(DNN)的机器学习系统已在许多应用中获得主流采用。然而,最近,DNN被证明容易受到对抗性示例攻击,并且对输入进行轻微扰动。现有的针对此类攻击的防御机制试图提高系统的整体鲁棒性,但它们不能区分不同的目标攻击,即使相应的影响可能会有很大的不同。为了解决这个问题,我们提出了一种新的可配置的防御机制,在这项工作中,我们能够灵活地调整系统的鲁棒性对不同的有针对性的攻击,以满足应用程序的要求。这是通过使用攻击敏感矩阵来细化DNN损失函数以表示不同目标攻击的影响来实现的。在CIFAR-10和GTSRB数据集上的实验结果证明了该方法的有效性。
2018-12-06 cs.CR cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman(克尔曼沙希德巴霍纳尔大学);York University(约克大学);Instituto Tecnológico de Costa Rica(哥斯达黎加技术学院)
本文利用近似乘法器替换深度神经网络中的精确乘法器,在可行时间内探索并提升了模型对抗攻击的鲁棒性,无攻击时精度下降最多7%,攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections
OpenAI;Anthropic;Google DeepMind(谷歌DeepMind);HackAPrompt;Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院);AI Sequrity Company(AI安全公司);MATS Main contributors(MATS主要贡献者)
本文指出当前语言模型防御评估存在缺陷,通过系统调整和扩展通用优化技术构建自适应攻击,成功绕过12种近期防御(成功率多超90%),证明未来防御工作必须考虑更强攻击才能可靠验证鲁棒性。
2025-10-10 cs.CR cs.LG
Query-Efficient Black-Box Attack Against Sequence-Based Malware Classifiers
Ben-Gurion University of The Negev(本-古里安大学)
在本文中,我们提出了一个通用的,查询高效的黑盒攻击对基于API调用的机器学习恶意软件分类器。我们通过修改恶意软件的API调用序列和非顺序特征(可打印字符串)来生成对抗性示例,这些对抗性示例将被目标恶意软件分类器错误分类,而不会影响恶意软件的功能。与以前的研究相比,我们的攻击最大限度地减少了所需的恶意软件分类器查询的数量。此外,在我们的攻击中,攻击者必须只知道恶意软件分类器预测的类;攻击者对恶意软件分类器的置信度得分的了解是可选的。我们评估了针对各种恶意软件分类器架构进行攻击时的攻击效果,包括递归神经网络(RNN)变体、深度神经网络、支持向量机和梯度提升决策树。当分类器的置信度得分已知时,我们的攻击成功率约为98%,而当分类器的预测类已知时,攻击成功率为64%。我们实现了四个最先进的查询效率的攻击,并表明我们的攻击需要更少的查询和更少的知识,攻击模型的架构比其他现有的查询效率的攻击,使其实用的攻击基于云的恶意软件分类器以最小的成本。
2020-10-03 cs.CR cs.LG
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University(纽约大学)
深度神经网络(DNN)在广泛的分类任务中提供出色的性能,但其训练需要大量的计算资源,并且通常外包给第三方。最近的研究表明,外包训练引入了一种风险,即恶意训练者将返回一个后门DNN,该DNN在大多数输入上表现正常,但在存在只有攻击者才知道的触发器时,会导致有针对性的错误分类或降低网络的准确性。在本文中,我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作,并使用它们来调查两个有前途的防御,修剪和微调。我们表明,两者本身都不足以抵御复杂的攻击者。然后,我们评估了精细修剪,修剪和微调的组合,并表明它成功地削弱甚至消除了后门,即,在某些情况下,将攻击成功率降低到0%,对于干净(非触发)输入,准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nirma University(尼尔玛大学)
本文评估了针对 LLM 智能体间接提示注入攻击的八种防御机制,发现自适应攻击能绕过所有防御并保持超 50% 成功率,揭示了现有防御的脆弱性,强调了引入自适应攻击评估的必要性。
2025-03-04 cs.CR cs.LG
Training-Time Attacks against k-Nearest Neighbors
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Amherst College(阿默斯特学院)
基于最近邻的方法通常用于分类任务,并作为其他数据分析方法的子程序。具有将自己的数据点插入训练集中的能力的攻击者可以操纵推断的最近邻结构。我们提取这个目标的任务执行训练集数据插入攻击$k$ -最近邻分类($k$ NN)。我们证明,计算一个最佳的训练时间(a.k.a.中毒)攻击对$k$ NN分类是NP难的,即使当$k = 1$和攻击者只能插入一个单一的数据点。我们提供了一个随时算法来执行这样的攻击,和一个贪心算法一般$k$和攻击者的预算。我们提供了理论界限,并在合成和真实世界的数据集上实证证明了我们的方法的有效性和实用性。经验上,我们发现$k$ NN在实践中是脆弱的,降维是一种有效的防御。最后,我们讨论了开放的问题,我们的分析照亮。
2022-08-15 cs.CR cs.LG
Adversarial Inception Backdoor Attacks against Reinforcement Learning
本文提出一种新型DRL后门攻击方法,通过在严格奖励约束下操纵训练数据中的观测与动作,首次在多个环境中实现100%攻击成功率且几乎不影响任务性能。
2025-06-02 cs.CR cs.LG
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
PHANTOM: PHysical ANamorphic Threats Obstructing Connected Vehicle Mobility
George Mason University(乔治·马歇尔大学)
PHANTOM通过形变艺术生成视角依赖的对抗示例,揭示了联网车辆在感知和通信层面对物理攻击的脆弱性。
2025-12-15 cs.AI cs.CR cs.CV
Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges
Duke University(杜克大学)
随着机器学习(ML)变得越来越强大且易于访问,攻击者越来越多地利用ML在各个领域执行自动化的大规模推理攻击。在这种配备ML的推理攻击中,攻击者可以访问个人、软件或系统的某些数据(称为公共数据);并且攻击者使用ML分类器来自动推断其私有数据。推理攻击对个人和系统构成严重的隐私和安全威胁。推理攻击之所以成功,是因为私有数据与公共数据在统计上相关,而ML分类器可以捕获这种统计相关性。在本章中,我们将讨论通过对抗性示例防御ML装备的推理攻击的机会和挑战。我们的关键观察是,攻击者在推理攻击中依赖ML分类器。对抗性机器学习社区已经证明了ML分类器有各种漏洞。因此,我们可以将ML的漏洞转化为对推理攻击的防御。例如,ML分类器很容易受到对抗性示例的影响,这些示例会向正常示例添加精心制作的噪音,以便ML分类器按照我们的期望对示例进行预测。为了防御推理攻击,我们可以在公共数据中添加精心制作的噪音,将它们变成对抗性的例子,这样攻击者的分类器就会对私有数据做出错误的预测。然而,现有的构建对抗性示例的方法是不够的,因为它们没有考虑到在防御推理攻击时对精心制作的噪声的独特挑战和要求。在本章中,我们以在线社交网络中的推理攻击防御为例来说明机遇和挑战。
2019-09-19 cs.CR cs.LG stat.ML
Visual Security Evaluation of Learnable Image Encryption Methods against Ciphertext-only Attacks
针对隐私保护深度神经网络(DNN),已经提出了各种视觉信息保护方法。与此相反,对这种保护方法的攻击方法已同时研究。在本文中,我们评估了最先进的隐私保护DNN的视觉保护方法,以防止仅密文攻击(COA)。我们专注于蛮干攻击,特征重建攻击(FR-攻击),逆变换攻击(ITN-攻击),和基于GAN的攻击(GAN-攻击),已经提出了从视觉保护的图像重建视觉信息的平原图像。首先总结了各种攻击的细节,然后对各种防护方法的视觉安全性进行了评估。实验结果表明,大多数保护方法,包括像素级加密,对GAN攻击的鲁棒性不够,而少数保护方法对GAN攻击具有足够的鲁棒性。
2020-10-13 cs.CR
An SDN-based Approach For Defending Against Reflective DDoS Attacks
分布式反射式拒绝服务(Distributed Reflective Denial of Service,DRDoS)攻击是对Internet服务的一种不可忽视的威胁。这种攻击的潜在规模在2018年3月变得明显,当时基于memcached的攻击达到了1.7 Tbps的峰值。基于UDP构建的新型服务增加了对自动缓解机制的需求,这些机制可以在不事先了解实际使用的应用程序协议的情况下对攻击做出反应。凭借软件定义网络提供的灵活性,我们开发了一种新的防御DRDoS攻击的方法;它不仅可以防御任意DRDoS攻击,而且对攻击目标是透明的,可以在没有目标主机操作员的帮助下使用。该方法提供了一个强大的缓解系统,这是协议无关的,有效的防御DRDoS攻击。
2018-08-03 cs.CR
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”,在仅限制逐点与总体扰动且不知算法的条件下,可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
HINT: Healthy Influential-Noise based Training to Defend against Data Poisoning Attacks
University of Arkansas(阿肯色大学)
本文提出基于影响函数的高效鲁棒训练方法 HINT,通过构造健康噪声增强模型对投毒攻击的防御且不损失泛化能力,仅需修改训练数据子集即可在多种场景下有效抵御无目标和有目标投毒攻击。
2023-11-21 cs.AI cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Current injection and voltage insertion attacks against the VMG-KLJN secure key exchanger
本文展示了Vadai,Mingesz和Gingl(VMG)- Kirchhoff-Law-Johnson-Noise(KLJN)密钥交换器(Nature,Science Report 5(2015)13653)对两种主动攻击的脆弱性。的安全漏洞产生的事实,即有效的驱动阻抗是不同的HL和LH的情况下的VMG-KLJN计划,而理想的KLJN计划,他们是相同的。针对这些攻击,给出了两种防御方案,但每种方案只能防御其中一种攻击,而不能同时防御两种攻击。理论结果得到了计算机模拟的证实。
2022-11-13 cs.CR
Low-Loss Subspace Compression for Clean Gains against Multi-Agent Backdoor Attacks
University of Oxford(牛津大学)
最近对多智能体后门攻击的研究证明了逆火效应,这是一种对后门攻击的自然防御,其中后门输入是随机分类的。这产生了低精度w.r.t.的副作用。干净的标签,这促使本文的工作建设的多代理后门防御,最大限度地提高准确性w.r.t.清洁标签,尽量减少有毒标签。基于代理动力学和低损失子空间构造,我们贡献了三种防御措施,提高了多代理后门的鲁棒性。
2022-09-20 cs.CR cs.LG cs.MA
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago(芝加哥大学)
众所周知,深度学习系统容易受到对抗性样本的攻击。特别是,基于查询的黑盒攻击不需要深度学习模型的知识,但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率,证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight,一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是,为了计算对抗性示例,这些攻击在网络上执行迭代优化,在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击,使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击,在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人,往往只有少数查询后。通过拒绝所有检测到的查询,Blacklight可以阻止任何攻击完成,即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策,包括在效率上接近白盒攻击的最佳黑盒攻击。最后,我们说明了Blacklight如何推广到其他领域,如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Mixed Strategy Game Model Against Data Poisoning Attacks
McMaster University(麦克马斯特大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
在本文中,我们使用博弈论模型中毒攻击场景。证明了攻击者与防御者博弈中不存在纯策略纳什均衡。然后,我们提出了一个混合扩展我们的游戏模型和算法来近似的纳什均衡策略的后卫。然后,我们证明了该算法产生的混合防御策略的有效性,在实验中。
2019-06-07 cs.CR cs.LG stat.ML
The Attack of the Clones Against Proof-of-Authority
在本文中,我们探讨了最近提出的基于权威证明的区块链共识的漏洞和对策。工作量证明区块链,如比特币和以太坊,在理论和经验上都很容易受到双重支出攻击。这就是拜占庭容错共识算法在区块链环境中流行的原因,因为它们能够容忍n个参与者中有限数量的攻击者。我们通过描述以太坊的两个主流实现中存在的Aura和Clique协议,形式化了最近提出的具有拜占庭容错性的权威证明共识算法。然后,我们介绍了克隆攻击,并展示了如何将其应用于这些协议中的一个恶意节点的双重花费。我们的研究结果表明,克隆攻击Aura总是成功的,而同样的攻击Clique的速度大约是两倍,并且在大多数情况下都能成功。
2019-09-25 cs.CR cs.DC cs.NI
Certified Robustness Against Natural Language Attacks by Causal Intervention
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
深度学习模型在许多领域取得了巨大的成功,但它们容易受到对抗性样本的影响。本文从因果关系的角度来研究对抗性漏洞,并提出了语义平滑因果干预(CISS),这是一种针对自然语言攻击的鲁棒性的新框架。CISS不仅仅是拟合观测数据,而是学习因果效应p(y| do(x)),以进行鲁棒的预测,这可扩展到深度架构并避免为特定攻击定制的噪声的繁琐构造。CISS可证明对单词替换攻击具有鲁棒性,即使在未知攻击算法加强扰动时也具有经验鲁棒性。例如,在YELP上,CISS在针对单词替换的认证鲁棒性方面超过亚军6.7%,并且在集成语法攻击时实现了79.4%的经验鲁棒性。
2022-10-14 cs.CL cs.CR cs.LG
Generic Black-Box End-to-End Attack Against State of the Art API Call Based Malware Classifiers
Ben Gurion University(本-古里安大学)
在本文中,我们提出了一种针对基于API调用的机器学习恶意软件分类器的黑盒攻击,重点是生成结合API调用和静态特征(例如,可打印字符串),其将被分类器错误分类而不影响恶意软件功能。我们表明,由于RNN变体、前馈DNN和传统机器学习分类器(如SVM)之间的可转移性原则,这种攻击对许多分类器都是有效的。我们还实现了GADGET,一个软件框架,将任何恶意软件二进制转换为二进制未检测到的恶意软件分类器,使用拟议的攻击,而无需访问恶意软件源代码。
2018-06-24 cs.CR cs.LG cs.NE
Adversarial FDI Attack against AC State Estimation with ANN
Auburn University(奥本大学)
人工神经网络(ANN)为智能电网中的非线性交流(AC)状态估计(SE)提供了优于传统方法的精度。然而,研究发现,人工神经网络很容易被对抗性的例子所欺骗。在本文中,我们发起了一个新的研究对抗虚假数据注入(FDI)攻击AC SE与ANN:通过注入一个故意的攻击向量到测量,攻击者可以降低ANN SE的准确性,同时保持未被检测到。我们提出了一个基于种群的算法和一个基于梯度的算法来生成攻击向量。这些算法的性能进行评估,通过模拟IEEE 9总线,14总线和30总线系统在各种攻击情况下。仿真结果表明,DE比SLSQP更有效的所有仿真情况下。DE算法生成的攻击实例成功地降低了ANN SE的准确性与高概率。
2019-06-26 cs.CR cs.LG stat.ML
PORE: Provably Robust Recommender Systems against Data Poisoning Attacks
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
数据投毒攻击通过向推荐系统中注入具有精心制作的评级分数的虚假用户来欺骗推荐系统,从而做出任意的、攻击者期望的推荐。对于这种数据投毒攻击及其防御,我们设想了一种猫捉老鼠的游戏,即,新的防御被设计来防御现有的攻击,而新的攻击被设计来打破它们。为了防止这样的猫捉老鼠的游戏,我们提出了PORE,第一个框架,以建立可证明的强大的推荐系统在这项工作中。PORE可以将任何现有的推荐系统转换为可证明鲁棒的,以抵抗任何非目标性的数据投毒攻击,其目的是降低推荐系统的整体性能。假设PORE在没有攻击时向用户推荐顶级$N$项目。我们证明了在任何数据投毒攻击下,PORE仍然向用户推荐至少$r$的$N$项目,其中$r$是攻击中的假用户数量的函数。此外,我们设计了一个有效的算法来计算每个用户的$r$。我们在流行的基准数据集上对PORE进行了经验评估。
2023-03-26 cs.CR cs.IR cs.LG
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research(Facebook AI研究院)
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例,而是搜索由连续值矩阵参数化的对抗性示例分布,从而实现基于梯度的优化。我们的经验表明,我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外,我们证明了一个强大的黑盒传输攻击,通过从对抗分布中采样,匹配或超过现有的方法,而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
Constrained Gradient Descent: A Powerful and Principled Evasion Attack Against Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);Tel Aviv University(特拉维夫大学)
我们提出了针对深度神经网络的新的、更有效的有针对性的白盒攻击。我们的攻击更好地与攻击者的目标保持一致:(1)欺骗模型,使目标类的概率高于任何其他类,同时(2)保持在被攻击输入的$ε$距离内。首先,我们展示了一个损失函数,显式编码(1),并表明自动PGD发现更多的攻击。其次,我们提出了一种新的攻击方法,约束梯度下降(CGD),使用我们的损失函数的改进,捕捉(1)和(2)。CGD寻求以原则性的方式满足两个攻击者目标-错误分类和有界$\ell_{p}$ -范数-作为优化的一部分,而不是经由自组织后处理技术(例如,投影或剪切)。我们发现CGD在CIFAR 10(0.9- 4.2%)和ImageNet(8.6- 13.6%)上比最先进的攻击更成功,同时消耗更少的时间(11.4- 18.8%)。统计测试证实,我们的攻击优于其他领先的防御不同的数据集和值的$ε$。
2022-06-21 cs.CR cs.CV cs.LG
De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks
Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Georgia Institute of Technology(佐治亚理工学院)
机器学习技术已经广泛应用于各种应用。然而,它们可能容易受到数据投毒攻击,其中复杂的攻击者可以通过向训练数据集中注入一小部分恶意样本来破坏学习过程。针对中毒攻击的现有防御技术在很大程度上是特定于攻击的:它们是针对一种特定类型的攻击而设计的,但不适用于其他类型,主要是由于它们遵循的不同原则。然而,很少有一般的防御战略已经制定。在本文中,我们提出了De-Pois,一种针对中毒攻击的攻击不可知防御。De-Pois的核心思想是训练一个模仿模型,其目的是模仿目标模型的行为。我们利用生成对抗网络(GANs)来促进信息训练数据的增强以及模拟模型的构建。通过比较模拟模型和目标模型之间的预测差异,De-Pois因此能够区分中毒样本和干净样本,而无需明确了解任何ML算法或中毒攻击类型。我们实现了四种类型的中毒攻击,并在不同的现实数据集上使用五种典型的防御方法对De-Pois进行评估。实验结果表明,De-Pois算法能够有效地检测出四种类型的中毒攻击,其准确率和F1平均值均超过0.9。
2021-05-08 cs.CR cs.LG cs.PF
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全研究中心)
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入,通常是通过向其添加触发器,以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度,而且可以很容易地被多种防御机制检测到。在本文中,我们提出了第一个针对深度神经网络的无攻击者后门攻击,其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说,我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段,当目标神经元再次被丢弃时,模型将输出目标标签,即,则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明,我们的无攻击者的后门攻击达到了完美的攻击成功率,可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Provably Efficient Black-Box Action Poisoning Attacks Against Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
由于强化学习(RL)的广泛应用,了解对抗攻击对RL模型的影响对于该模型的安全应用至关重要。针对强化学习的对抗攻击的理论研究主要集中在观察投毒攻击和环境投毒攻击。在本文中,我们介绍了一类新的攻击命名为行动中毒攻击,对手可以改变代理选择的行动信号。与现有的攻击模型相比,所提出的行为中毒攻击模型对攻击者的攻击能力有更大的限制,这给设计带来了一定的挑战。我们研究了白盒和黑盒环境下的动作中毒攻击。我们介绍了一种自适应攻击方案称为LCB-H,它适用于大多数RL代理在黑盒设置。我们证明了LCB-H攻击可以迫使任何有效的RL代理,其动态遗憾规模与所采取的步骤总数呈次线性,根据攻击者非常频繁地选择的策略选择行动,只有次线性成本。此外,我们对一个流行的无模型强化学习算法:UCB-H应用LCB-H攻击。我们表明,即使在黑盒设置,仅花费对数成本,所提出的LCB-H攻击方案可以迫使UCB-H代理根据攻击者选择的策略选择行动非常频繁。
2021-10-26 cs.AI cs.CR cs.LG
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University(清华大学);HeartVoice Medical Technology(心之声医疗科技);University of Science and Technology of China(中国科学技术大学);HeartRhythm Medical(心律医疗);Tianjin Institute of Cardiology(天津心脏病学研究所);Second Hospital of Tianjin Medical University(天津医科大学第二医院);Peking University(北京大学)
在诊所,医生依靠心电图(ECG)来评估严重的心脏疾病。由于技术的发展和健康意识的提高,目前通过使用医疗和商业设备来获得ECG信号。深度神经网络(DNN)可以用来分析这些信号,因为它们的准确率很高。然而,研究人员发现,对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击,例如投影梯度下降(PGD)和针对ECG分类的平滑对抗性扰动(SAP);然而,据我们所知,还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此,我们做了不同的实验,以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果,我们发现一些常见的防御方法对这些攻击表现良好。此外,我们提出了一种新的防御方法,称为对抗蒸馏训练(ADT),它来自防御蒸馏,可以有效地提高DNN的泛化性能。结果表明,我们的方法比其他基线方法,即对抗性训练,防御性蒸馏,雅各布正则化和信噪比正则化,更有效地对抗针对ECG分类的对抗性攻击。此外,我们发现,我们的方法表现出更好的PGD攻击与低噪声水平,这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
FDA3 : Federated Defense Against Adversarial Attacks for Cloud-Based IIoT Applications
East China Normal University(华东师范大学);Tongji University(同济大学);Huawei(华为)
随着人工智能(AI)和物联网(IoT)技术的普及,各种各样的对抗攻击越来越多地出现,以欺骗工业物联网(IIoT)应用所使用的深度神经网络(DNN)。由于有偏见的训练数据或脆弱的底层模型,对抗攻击对输入进行的不可察觉的修改可能会导致毁灭性的后果。虽然现有的方法在防御此类恶意攻击方面很有希望,但大多数方法只能处理有限的现有攻击类型,这使得大规模IIoT设备的部署面临巨大挑战。为了解决这个问题,我们提出了一种名为FDA3的有效的联邦防御方法,它可以聚合来自不同来源的对抗性示例的防御知识。受联邦学习的启发,我们提出的基于云的架构可以在IIoT设备之间共享防御能力,以抵御不同的攻击。综合实验结果表明,通过我们的方法生成的DNN不仅可以比现有的特定于攻击的对抗训练方法抵御更多的恶意攻击,而且可以防止IIoT应用受到新的攻击。
2020-06-28 cs.CR cs.LG stat.ML
Practical Defences Against Model Inversion Attacks for Split Neural Networks
Tessella(泰塞拉);OpenMined;Edinburgh Napier University(爱丁堡龙比亚大学);Apheris
我们描述了一个威胁模型下,分裂的基于网络的联邦学习系统容易受到恶意计算服务器的模型反演攻击。我们证明了攻击者可以成功地执行有限的知识的数据分布。我们提出了一个简单的加性噪声方法来抵御模型反演,发现该方法可以显着降低攻击效率在一个可接受的精度权衡MNIST。此外,我们表明,NoPeekNN,现有的防御方法,保护不同的信息暴露,这表明一个组合的防御是必要的,以充分保护私人用户数据。
2021-04-21 cs.CR cs.DC cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology(伊朗谢里夫理工大学)
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法,提出随机对数缩放(RLS)防御可降低攻击成功率,还引入新型自适应攻击,证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Robust Adversarial Attacks Against DNN-Based Wireless Communication Systems
深度神经网络(DNN)由于其有前途的性能而在无线通信系统中变得流行。然而,与其他基于DNN的应用程序类似,它们容易受到对抗性示例的影响。在这项工作中,我们提出了一个输入不可知的,不可检测的,和强大的对抗攻击对基于DNN的无线通信系统在白盒和黑盒的情况下。我们设计了量身定制的通用对抗扰动(UAP)来执行攻击。我们还使用生成对抗网络(GAN)来为我们的攻击实施不可检测性约束。此外,我们调查我们的攻击对抗对策的鲁棒性。我们表明,在通信方部署的防御机制的存在下,我们的攻击比现有的针对基于DNN的无线系统的攻击表现得更好。特别是,结果表明,即使采用经过深思熟虑的防御措施,基于DNN的无线通信也容易受到对抗攻击的攻击。
2021-02-01 cs.CR
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构,利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面,经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
2024-02-01 cs.CR cs.CV cs.LG
Cyber Risk Analysis of Combined Data Attacks Against Power System State Estimation
了解智能电网网络攻击是制定适当的保护和恢复措施的关键。高级攻击追求以最小的成本和可检测性实现最大的影响。针对电力系统状态估计进行了数据完整性和可用性组合攻击的风险分析。我们比较了组合攻击与纯完整性攻击-虚假数据注入(FDI)攻击。针对这两种攻击,提出了一种安全指标,并将其转化为一个混合整数线性规划问题。我们表明,这种组合攻击可以成功的资源比FDI攻击。与系统模型的有限知识的组合攻击也暴露出优势,保持隐形对坏数据检测。最后,利用脆弱性评估和攻击影响分析的结果,评估了组合攻击对系统可靠运行的风险。本文的研究结果得到了详细的案例研究的验证和支持。
2017-08-28 cs.CR
On the Security of Non-Linear HB (NLHB) Protocol Against Passive Attack
作为RFID系统HB认证协议的一种变体,它依赖于对线性码进行解码以抵抗被动攻击的复杂性,Madhavan等人提出了非线性HB(NLHB)协议。与HB相比,NLHB依赖于解码一类非线性代码的复杂性,从而使针对HB提出的被动攻击无效。在本文中,我们表明,对HB协议的被动攻击仍然可以适用于NLHB和该协议不提供所需的安全裕度。在我们的攻击中,我们首先线性化NLHB的非线性部分,以获得一个HB等价NLHB,然后利用HB提出的被动攻击技术来评估NLHB的安全裕度。结果表明,虽然NLHB的安全裕度相对高于HB对类似的被动攻击技术,它已被高估,与所声称的相反,NLHB是容易受到针对HB的被动攻击,特别是当协议中的噪声向量具有较低的权重。
2012-01-17 cs.CR
DCA: Delayed Charging Attack on the Electric Shared Mobility System
本文提出延迟充电攻击DCA,利用电动共享出行系统的物理与通信漏洞隐蔽延迟充电服务,并在纽约市真实数据上验证其可造成显著收入损失且对异常检测算法具有鲁棒性。
2023-06-13 cs.CR cs.SY eess.SY
A Static-Loop-Current Attack against the KLJN Secure Key Exchange System
提出了一种针对Kirchhoff定律-Johnson-Noise(KLJN)密钥分发系统的新的攻击方法。该攻击是基于利用寄生直流电压源的环路。在实际系统中,由于接地回路和/或电磁干扰(EMI),在低频限制下经常存在相关情况,特别是当通信距离较远时。令人惊讶的是,通常的基于电流/电压比较的防御方法暴露了主动攻击或寄生特征(例如允许信息泄漏的导线电阻),但在这里不起作用。攻击被成功证明。提出了针对它的防御方法。
2018-10-03 cs.CR
Action-Manipulation Attacks Against Stochastic Bandits: Attacks and Defense
University of California, Davis(加利福尼亚大学戴维斯分校)
由于随机多臂强盗模型的广泛应用,了解对抗攻击的影响并设计对攻击具有鲁棒性的强盗算法对于该模型的安全应用至关重要。在本文中,我们介绍了一类新的攻击命名为动作操纵攻击。在这种攻击中,对手可以改变用户选择的动作信号。我们表明,在不知道的平均奖励的武器,我们提出的攻击可以操纵上置信界(UCB)算法,一个广泛使用的强盗算法,拉一个目标手臂非常频繁,只花费对数成本。为了抵御这类攻击,我们引入了一种新的算法,是强大的动作操纵攻击时,总攻击成本的上限。我们证明了我们的算法有一个伪遗憾上限由$\mathcal{O}(\max\{\log T,A\})$,其中$T$是总轮数和$A$是总攻击成本的上界。
2020-02-21 cs.CR cs.LG math.OC
Trusted-HB: a low-cost version of HB+ secure against Man-in-The-Middle attacks
自从Juels和Weis在Crypto'05上提出HB+协议以来,许多工作都试图增强其安全性。我们在这里提出了一种新的方法来实现抵抗中间人攻击。我们的要求--在额外的通信和硬件方面--出奇的低。
2008-02-05 cs.CR
Horizontal SCA Attacks against kP Algorithm Using K-Means and PCA
侧信道分析攻击利用了从加密算法的实现中泄露的信息。在本文中,我们描述了两个关键的揭示方法,这是基于机器学习算法:K-means和PCA。我们对ECDSA实现进行了攻击,而没有任何关于密钥的先验知识,并且对于没有任何针对水平攻击的对策的实现了100%的准确率,对于具有总线地址排序的实现了88.7%的准确率。在kP操作输入由攻击者控制的情况下(如在签名验证期间),我们实现了98.3%的准确率。
2022-01-05 cs.CR