Input-Triggered Hardware Trojan Attack on Spiking Neural Networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);CSIT, Queen’s University Belfast(贝尔法斯特女王大学计算机科学与信息技术学院)
针对脉冲神经网络提出一种输入触发的硬件木马攻击,通过特定输入模式使单个神经元饱和并永久发放,污染网络产生错误决策,并验证了硬件实现面积和功耗极低。
2025-03-20 cs.AI cs.NE
An Adaptive Black-box Defense against Trojan Attacks (TrojDef)
New Jersey Institute of Technology(新泽西理工学院);Jordan University of Science & Technology(约旦科技大学);Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学)
特洛伊木马后门是一种针对神经网络(NN)分类器的中毒攻击,其中对手试图利用(高度期望的)模型重用属性,通过中毒的训练过程将特洛伊木马植入后门漏洞的模型参数中。大多数针对木马攻击的防御措施都假设白盒设置,其中防御者可以访问NN的内部状态,也可以通过它运行反向传播。在这项工作中,我们提出了一个更实用的黑盒防御,称为TrojDef,它只能运行NN的前向传递。TrojDef尝试识别和过滤特洛伊输入(即,当输入被随机噪声反复扰动时,通过监视预测置信度的变化,来检测用特洛伊触发器增强的输入)。我们推导出一个函数的基础上的预测输出,这是所谓的预测置信界,以决定是否输入的例子是木马或没有。直觉是,特洛伊输入更稳定,因为错误分类仅取决于触发器,而良性输入在由于分类特征的扰动而增加噪声时会受到影响。通过数学分析,我们表明,如果攻击者是完美的注入后门,木马感染模型将被训练学习适当的预测置信区间,这是用来区分木马和良性输入下的任意扰动。然而,由于攻击者在注入后门方面可能并不完美,因此我们引入了一种非线性变换来预测置信区间,以提高实际设置中的检测精度。广泛的实证评估表明,TrojDef的性能明显优于最先进的防御,并且在不同的设置下非常稳定,即使分类器架构,训练过程或超参数发生变化。
2022-09-05 cs.CR cs.CV
MISA: Online Defense of Trojaned Models using Misattributions
Boston University(波士顿大学);SRI International(斯坦福国际研究院)
最近的研究表明,神经网络很容易受到特洛伊木马攻击,其中网络被训练成以特定和潜在恶意的方式对输入中特制的触发模式做出响应。本文提出了MISA,一种新的在线方法来检测木马触发器的神经网络在推理时间。我们的方法是基于一个新的概念称为misattributations,它捕捉了木马激活的特征空间中的异常表现。给定输入图像和相应的输出预测,我们的算法首先计算模型在不同特征上的属性。然后对这些属性进行统计分析,以确定是否存在特洛伊木马触发器。在一组基准测试中,我们证明了我们的方法可以有效地检测各种触发模式的特洛伊木马触发器,包括最近几个没有已知防御的触发模式。我们的方法实现了96%的AUC检测图像,其中包括一个木马触发器没有任何假设的触发模式。
2021-09-23 cs.CR cs.CV stat.ML
A Survey of Trojan Attacks and Defenses to Deep Neural Networks
University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学)
本文综述深度神经网络木马攻击与防御研究,梳理概念演进,对比分析各类攻防策略,评估真实场景攻击可行性,指出问题紧迫性并给出技术优化建议。
2024-08-15 cs.CR cs.CV
Trojan Hippo Bench: A Dynamic Benchmark for Persistent Memory Attacks and Defenses in LLM Agents
ETH Z\"urich
研究提出Trojan Hippo攻击,通过单次不可信工具调用在代理长期记忆中植入潜伏载荷,当用户讨论敏感话题时激活并外泄数据。通过动态评估框架评估不同内存架构和防御措施,发现现有防御措施在安全性和实用性之间存在显著权衡。
2026-09-30 cs.AI cs.CR
Februus: Input Purification Defense Against Trojan Attacks on Deep Neural Network Systems
我们提出了Februus;一个新的想法,在运行时中和对深度神经网络(DNN)系统的高度有效和阴险的特洛伊木马攻击。在特洛伊木马攻击中,攻击者使用秘密触发器(特洛伊木马)激活在深度神经网络模型中制作的后门,该触发器应用于任何输入,以改变模型对目标预测的决策--由攻击者确定且仅为攻击者所知的目标。Februus通过外科手术删除潜在的触发器伪像并恢复分类任务的输入来清理传入的输入。Februus通过对输入进行清理而不会损失经过清理的输入、特洛伊木马或良性输入的性能,从而实现有效的特洛伊木马缓解。我们对基于四个流行数据集的多个感染模型进行了广泛的评估,这些数据集跨越了三种对比鲜明的视觉应用和触发类型,证明了Februus的高效率。我们将所有情况下的攻击成功率从100%大幅降低到接近0%(在多个情况下达到0%),并评估了Februus抵御复杂自适应攻击的通用性;值得注意的是,我们首次实现了对高级部分木马攻击的防御。据我们所知,Februus是第一个在运行时运行的后门防御方法,能够在不需要异常检测方法,模型再训练或昂贵的标记数据的情况下清理特洛伊木马输入。
2020-09-28 cs.CR
CatchBackdoor: Backdoor Detection via Critical Trojan Neural Path Fuzzing
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院)
针对现有后门检测对触发器大小敏感且依赖良性样本的问题,提出CatchBackdoor方法,通过差分模糊测试从良性路径逼近木马路径并逆向触发器,在多个数据集和模型上显著提升隐蔽攻击检测性能。
2024-07-17 cs.AI cs.CR cs.CV
Semantic Host-free Trojan Attack
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
在本文中,我们提出了一种新的无主机木马攻击的触发器是固定的语义空间,但不一定在像素空间。与现有的木马攻击使用干净的输入图像作为主机进行小,无意义的触发模式相比,我们的攻击认为触发器是属于语义上有意义的对象类的全尺寸图像。由于在我们的攻击中,后门分类器被鼓励记住触发图像的抽象语义,而不是任何特定的固定模式,因此它可以稍后由语义相似但外观不同的图像触发。这使得我们的攻击在现实世界中更实用,更难防御。大量的实验结果表明,只有少量的木马模式进行训练,我们的攻击可以很好地推广到新的模式相同的木马类,可以绕过国家的最先进的防御方法。
2021-10-26 cs.CR cs.CV
MergeGuard: Efficient Thwarting of Trojan Attacks in Machine Learning Models
University of California San Diego(加州大学圣迭戈分校)
本文提出 MergeGuard,一种通过训练后线性化并合并全连接层来缓解 AI 木马攻击的方法,在 Transformer 模型上验证其能在保持准确率的同时降低攻击成功率,优于常用的微调缓解方法。
2025-05-06 cs.AI cs.CR
Programmable Neural Network Trojan for Pre-Trained Feature Extractor
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
神经网络木马攻击是一种新兴的重要攻击模式,能够对部署有神经网络模型的系统造成广泛的破坏。已有的研究在特定领域的小数据集上探索了外包训练攻击场景和迁移学习攻击场景,目标类数量有限。针对外包训练攻击和迁移学习攻击,本文提出了一种更强大的木马攻击方法,该方法在攻击能力、通用性和隐蔽性方面均优于现有研究。首先,攻击是可编程的,恶意误分类目标是不固定的,即使在受害者部署之后也可以按需生成。其次,我们的木马攻击并不局限于一个小的领域,一个木马模型的大规模数据集可以影响不同领域的应用程序,重用其一般功能。第三,我们的木马设计是很难被发现或消除,即使受害者微调整个模型。
2019-01-23 cs.CR cs.CV cs.NE
Don't Watch Me: A Spatio-Temporal Trojan Attack on Deep-Reinforcement-Learning-Augment Autonomous Driving
Northwestern Polytechnical University(西北工业大学)
深度强化学习(Deep Reinforcement Learning,DRL)是实现自动驾驶(autonomous driving,AD)系统的最常用算法之一。DRL的关键成功因素是它包含了深度神经网络的感知能力,但已被证明易受特洛伊木马攻击。特洛伊木马攻击已经在监督学习(SL)任务(例如,图像分类),但很少在顺序决策任务解决的DRL。因此,在本文中,我们探讨木马攻击DRL AD任务。首先,我们提出了一种基于递归神经网络和注意力机制的时空DRL算法,证明了时空交通特征的捕获是DRL增强AD系统有效性和安全性的关键因素。然后,我们设计了一个时空特洛伊木马攻击DRL政策,触发器隐藏在一系列的空间和时间的流量特征,而不是一个单一的即时状态,在现有的特洛伊木马SL和DRL任务。使用我们的特洛伊木马,对手充当周围的正常车辆,可以通过特定的时空驾驶行为触发攻击,而不是物理或无线访问。通过大量的实验,我们发现,虽然捕获时空流量特征可以提高DRL针对不同AD任务的性能,但由于我们设计的特洛伊木马具有高度的隐蔽性(各种时空触发模式)、有效性(性能变化率小于3.1%,攻击成功率超过98.5%),并且可持续到现有的高级防御,因此它们会遭受特洛伊木马攻击。
2022-11-22 cs.AI cs.CR cs.LG
TrojDiff: Trojan Attacks on Diffusion Models with Diverse Targets
UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
扩散模型在图像合成和分子设计等领域取得了巨大的成功。由于这种成功取决于从不同来源收集的大规模训练数据,因此这些收集的数据的可信度难以控制或审计。在这项工作中,我们的目标是探索潜在的训练数据操纵下的扩散模型的漏洞,并试图回答:有多难执行木马攻击训练有素的扩散模型?这种特洛伊木马攻击可以达到的敌对目标是什么?为了回答这些问题,我们提出了一个有效的特洛伊木马攻击扩散模型,TrojDiff,它优化了木马的扩散和生成过程中的训练。特别是,我们在木马扩散过程中设计了新的过渡,将敌对目标扩散到有偏的高斯分布中,并提出了一种新的木马生成过程的参数化,从而为攻击提供了一个有效的训练目标。此外,我们考虑了三种类型的对抗性目标:特洛伊扩散模型将始终输出属于域内分布(In-D2 D攻击),域外分布(Out-D2 D攻击)和一个特定实例(D2 I攻击)的某个类的实例。我们在CIFAR-10和CelebA数据集上针对DDPM和DDIM扩散模型评估TrojDiff。我们表明,TrojDiff总是实现高攻击性能下使用不同类型的触发器的不同的敌对目标,而在良性环境的性能是保留的。该代码可在https://github.com/chenweixin107/TrojDiff上获得。
2023-03-10 cs.CR cs.CV cs.LG
BppAttack: Stealthy and Efficient Trojan Attacks against Deep Neural Networks via Image Quantization and Contrastive Adversarial Learning
Rutgers University(罗格斯大学)
深度神经网络易受木马攻击。现有的攻击使用可见的模式(例如,补丁或图像变换)作为触发器,其易受人类检查的影响。在本文中,我们提出了隐蔽且高效的特洛伊木马攻击BppAttack。基于现有的人类视觉系统的生物学文献,我们建议使用图像量化和抖动作为木马触发器,使不易察觉的变化。它是一种不需要训练辅助模型的隐蔽而有效的攻击。由于对图像进行的微小更改,很难在训练期间注入此类触发器。为了缓解这个问题,我们提出了一种基于对比学习的方法,该方法利用对抗攻击来生成负样本对,从而使学习到的触发器精确而准确。该方法在MNIST、CIFAR-10、GTSRB和CelebA四个基准数据集上实现了高攻击成功率。它还有效地绕过了现有的特洛伊木马防御和人工检查。我们的代码可以在https://github.com/RU-System-Software-and-Security/BppAttack上找到。
2022-05-26 cs.CR cs.CV cs.LG
An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks
Texas A&M University(德克萨斯农工大学)
随着深度神经网络(DNN)在高风险应用中的广泛应用,DNN模型的安全问题受到了广泛关注。在本文中,我们研究了一个特定的安全问题,称为木马攻击,其目的是攻击部署DNN系统依赖于隐藏的触发模式插入恶意黑客。我们提出了一种无训练的攻击方法,这是不同于以往的工作,其中特洛伊木马的行为注入重新训练模型上中毒的数据集。具体来说,我们不改变原始模型中的参数,而是在目标模型中插入一个微小的木马模块(TrojanNet)。当输入被特殊触发器标记时,带有恶意特洛伊木马的受感染模型可以将输入错误分类为目标标签。拟议的TrojanNet具有几个很好的特性,包括(1)它通过微小的触发模式激活,并对其他信号保持沉默,(2)它是模型不可知的,可以注入大多数DNN,大大扩展其攻击场景,(3)与传统的特洛伊木马攻击方法相比,免训练机制节省了大量的训练工作。实验结果表明,TrojanNet能够同时向所有标签注入木马(全标签木马攻击),在不影响原任务模型准确性的情况下,实现100%的攻击成功率。实验分析进一步表明,现有的木马检测算法无法检测到TrojanNet攻击。该代码可在https://github.com/trx14/TrojanNet上获得。
2020-06-18 cs.CR cs.LG
Detecting AI Trojans Using Meta Neural Analysis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在机器学习特洛伊木马攻击中,攻击者训练一个损坏的模型,该模型在正常数据上获得良好的性能,但在具有某些触发模式的数据样本上表现为恶意行为。已经提出了几种方法来检测这种攻击,但它们对攻击策略做出了不期望的假设,或者需要直接存取训练模型,这限制了它们在实践中的实用性。本文通过引入一个Meta Neural Trojan Detection(MNTD)管道来解决这些挑战,该管道不对攻击策略进行假设,只需要对模型进行黑盒访问。该策略是训练一个元分类器,该元分类器预测给定的目标模型是否被特洛伊木马感染。为了在不了解攻击策略的情况下训练元模型,我们引入了一种称为巨型学习的技术,该技术对一组遵循一般分布的特洛伊模型进行采样。然后,我们动态优化查询集与元分类器区分木马和良性模型。我们评估MNTD与实验上的视觉,语音,表格数据和自然语言文本数据集,并对不同的木马攻击,如数据投毒攻击,模型操作攻击,和潜在的攻击。我们表明,MNTD达到97%的检测AUC分数,并显着优于现有的检测方法。此外,MNTD的推广以及实现对不可预见的攻击的高检测性能。我们还提出了一个强大的MNTD管道,即使攻击者的目的是逃避检测系统的全部知识,达到90%的检测AUC。
2020-10-01 cs.AI cs.CR cs.LG
STRIP: A Defence Against Trojan Attacks on Deep Neural Networks
最近对深度神经网络(DNN)模型的特洛伊木马攻击是数据投毒攻击的一种阴险变种。特洛伊木马攻击利用DNN模型中创建的有效后门,利用学习模型的可解释性的困难,对攻击者选择的特洛伊木马触发器签名的任何输入进行错误分类。由于特洛伊木马触发器是攻击者保护和利用的秘密,因此检测此类特洛伊木马输入是一项挑战,特别是在模型处于活动操作中的运行时。本文构建了基于STRong意图扰动(STRIP)的运行时木马攻击检测系统,重点研究了视觉系统。我们故意干扰输入,例如通过叠加各种图像模式,并观察来自给定部署模型的干扰输入的预测类的随机性-恶意或良性。预测类中的低熵违反了良性模型的输入依赖属性,并意味着恶意输入的存在-特洛伊输入的特征。通过对三个流行的对比数据集:MNIST,CIFAR 10和GTSRB的案例研究,我们的方法的高效率得到了验证。对于不同类型的触发器,给定1%的预设错误拒绝率(FRR),我们实现了小于1%的总体错误接受率(FAR)。使用CIFAR 10和GTSRB,我们经验性地实现了FRR和FAR的0%的结果。我们还评估了STRIP对一些木马攻击变种和自适应攻击的鲁棒性。
2020-01-17 cs.CR
Rethinking the Reverse-engineering of Trojan Triggers
Rutgers University(罗格斯大学)
深度神经网络易受木马(或后门)攻击。逆向工程方法可以重建触发器,从而识别受影响的模型。现有的逆向工程方法仅考虑输入空间约束,例如,输入空间中的触发器大小。实际上,它们假设触发器是输入空间中的静态模式,并且无法检测具有特征空间触发器(例如图像样式转换)的模型。我们观察到,输入空间和特征空间木马与特征空间超平面。基于这一观察,我们设计了一种新的逆向工程方法,利用特征空间约束的逆向工程木马触发器。对四个数据集和七种不同攻击的结果表明,我们的解决方案有效地防御输入空间和特征空间木马。它在木马模型检测和缓解任务方面优于最先进的逆向工程方法和其他类型的防御。平均而言,我们的方法的检测精度为93%。对于木马缓解,我们的方法可以减少ASR(攻击成功率),只有0.26%的BA(良性准确性)保持几乎不变。我们的代码可以在https://github.com/RU-System-Software-and-Security/FeatureRE上找到。
2022-10-27 cs.AI cs.CR cs.CV
FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases
Zhejiang University(浙江大学);Pennsylvania State University(宾夕法尼亚州立大学);Chinese Aeronautical Establishment(中国航空研究院);National University of Defense Technology(国防科技大学)
针对深度神经网络的木马攻击,又称后门攻击,是人工智能面临的典型威胁。安装了木马的神经网络在输入干净的情况下行为正常。但是,如果输入包含特定的触发器,安装特洛伊木马的模型将具有攻击者选择的异常行为。尽管存在许多后门检测方法,但大多数方法都假设防御者可以访问一组干净的验证样本或具有触发器的样本,这在一些关键的现实情况下可能不成立,例如,辩护人是模型共享平台的维护者的情况。因此,在本文中,我们提出了FreeEagle,这是第一种无数据后门检测方法,可以有效地检测深度神经网络上的复杂后门攻击,而不依赖于访问任何干净样本或具有触发器的样本。在不同数据集和模型架构上的评估结果表明,FreeEagle可以有效抵御各种复杂的后门攻击,甚至优于一些最先进的非无数据后门检测方法。
2023-02-28 cs.AI cs.CR
Towards Practical Fabrication Stage Attacks Using Interrupt-Resilient Hardware Trojans
本文提出中断弹性硬件木马(IRT),通过解决CPU非确定性上下文切换导致的触发竞态问题,在28nm RISC-V微架构上以仅20皮秒的平均延迟开销实现高可靠性的制造阶段攻击,并开源设计以推动微处理器木马研究。
2024-05-02 cs.CR
An Experimental Study of Trojan Vulnerabilities in UAV Autonomous Landing
Department of Electrical and Computer Engineering at North Carolina A&T State University(北卡罗来纳A&T州立大学电气与计算机工程系);University of Alabama(阿拉巴马大学);Department of Electrical and Computer Engineering, Windsor University(温莎大学电气与计算机工程系)
本研究通过实验揭示了无人机自主降落系统中木马攻击的漏洞,展示了攻击对模型准确性的严重影响,并提出了评估框架以识别受感染模型。
2025-10-23 cs.AI cs.CR cs.CV
A Novel Tampering Attack on AES Cores with Hardware Trojans
近年来,由于半导体制造的进步和每个晶体管成本的降低,集成电路(IC)中的密码原语的实现持续增加。硬件实现使加密操作更快,更节能。然而,已经提出了旨在提取秘密密钥以破坏这些原语的安全性的各种硬件攻击。针对目前广泛使用的高级加密标准(AES)分组密码算法,分析了其在篡改攻击下的脆弱性。我们提出的攻击依赖于由不受信任的代工厂在网表中植入硬件木马,该代工厂可以设计和实现这样的木马,因为它可以访问设计布局和掩码信息。硬件特洛伊木马的激活通过阻止所有先前回合的密钥相关计算的影响来修改特定回合的输入数据。我们建议使用一个顺序的硬件木马来提供有效载荷在输入的内部轮实现这种修改的数据。一旦特洛伊木马被激活,所有内部子密钥,以及最后的秘密密钥都可以从观察到的密文中计算出来。我们实现了我们提出的篡改攻击的顺序硬件木马插入到一个128位的AES设计从OpenCores基准套件和报告的面积开销,以证明拟议的篡改攻击的可行性。
2020-08-07 cs.CR
Side-Channel Trojan Insertion -- a Practical Foundry-Side Attack via ECO
设计公司通常将其集成电路(IC)制造外包给第三方,其中IC容易受到恶意行为的影响,例如插入侧信道硬件特洛伊木马(SCT)。在本文中,我们提出了一个框架,设计和插入SCT的基础上的工程变更单(ECO)流,这使得它第一次公开如何毫不费力地可以插入到IC木马。该木马的设计目标是在每次读取电源签名时泄漏多个位。我们的发现和结果表明,今天,铸造厂内的流氓元素拥有通过ECO执行铸造厂侧攻击所需的所有手段。
2021-03-29 cs.CR
Exploiting Logic Locking for a Neural Trojan Attack on Machine Learning Accelerators
Rochester Inst. of Tech.(罗切斯特理工学院)
本文提出利用逻辑锁定中错误密钥产生的确定性错误,在被保护的神经加速器中自动构造神经木马后门,并在基准加速器上实现触发输入准确率下降74%而其他输入仅下降1.7%的攻击效果。
2023-04-14 cs.AI cs.AR cs.CR
Exploiting Software-level Abstractions To Support Practical Hardware Trojan Attacks
Georgia Institute of Technology(佐治亚理工学院)
提出SURF类CPU木马,无需任意代码执行即可通过高级语言整数运算的微架构副作用激活,在RISC-V处理器和V8引擎中验证了代码注入攻击,并开源设计。
2026-09-22 cs.CR
Information Flow Tracking Methods for Protecting Cyber-Physical Systems against Hardware Trojans -- a Survey
网络物理系统(CPS)为硬件攻击(如硬件木马)提供了有利可图的表面。硬件木马可以实施隐形攻击,例如泄露关键信息,控制设备或伤害人类。在这篇文章中,我们回顾了信息流跟踪(IFT)的方法,保护CPS免受硬件木马,并讨论其目前的局限性。IFT方法是检测复杂系统中硬件木马的一种很有前途的方法,因为检测机制不一定依赖于潜在的木马行为。然而,为了最大限度地提高收益,研究应该更多地关注黑盒设计模型,并考虑现实世界的攻击场景。
2022-11-27 cs.CR
ESTAS: Effective and Stable Trojan Attacks in Self-supervised Encoders with One Target Unlabelled Sample
University of Central Florida(中佛罗里达大学)
新兴的自监督学习(SSL)已经成为一种流行的图像表示编码方法,以减少对标记数据的依赖,并从大规模、无处不在的未标记数据中学习丰富的表示。然后,可以在预先训练的SSL图像编码器之上训练具有很少或没有标记的下游数据的下游分类器。虽然大量的工作表明,SSL已经取得了显着的和有竞争力的性能在不同的下游任务,其安全问题,如木马攻击SSL编码器,仍然没有得到很好的研究。在这项工作中,我们提出了一种新的木马攻击方法,表示为ESTAS,可以使一个有效的和稳定的攻击SSL编码器只有一个目标未标记的样本。特别是,我们在ESTAS中提出了一致的触发器中毒和级联优化,以提高攻击效率和模型精度,并消除了从大规模无序未标记数据中提取目标类数据样本的昂贵过程。我们在多个数据集上的大量实验表明,ESTAS在一个目标类样本下稳定地实现了> 99%的攻击成功率(ASR)。与以往的工作相比,ESTAS实现了> 30%的ASR提高和> 8.3%的准确性提高的平均水平。
2023-01-24 cs.CR cs.CV cs.LG
Dormant Neural Trojans
Boston University(波士顿大学)
我们提出了一种新的神经网络后门攻击的方法。与现有的训练时间攻击不同,木马网络将在训练后响应木马触发器,我们的方法插入一个木马,该木马将保持休眠状态,直到它被激活。激活是通过对网络的权重参数的特定扰动来实现的,只有攻击者才知道。我们的分析和实验结果表明,休眠木马网络可以有效地逃避国家的最先进的后门检测方法的检测。
2022-11-02 cs.CR cs.LG
Hardware Trojans in Quantum Circuits, Their Impacts, and Defense
本文研究了NISQ量子计算场景下第三方编译器插入单量子比特硬件木马的安全风险,测试了不同木马在有无噪声下的性能影响,并提出基于CNN的检测方法实现90%的检测准确率。
2024-02-02 cs.CR
ConFoc: Content-Focus Protection Against Trojan Attacks on Neural Networks
Purdue University(普渡大学)
深度神经网络(DNN)已成功应用于计算机视觉。然而,它们在图像相关应用程序中的广泛采用受到了特洛伊木马攻击的威胁。这些攻击在训练时使用带有标记或触发器的样本插入一些错误行为,这些行为在推理或测试时被利用。在这项工作中,我们分析了DNN在训练时学习的特征的组成。我们发现,它们,包括那些相关的插入触发器,包含内容(语义信息)和风格(纹理信息),这是作为一个整体识别的DNN在测试时。然后,我们提出了一种新的防御技术,对木马攻击,其中DNN被教导忽视的风格的输入,并专注于其内容只减轻触发器的影响在分类。该方法的通用适用性的交通标志和人脸识别应用程序的背景下证明。他们每个人都暴露在不同的攻击与各种触发器。结果表明,该方法在所有测试攻击中将攻击成功率显着降低到< 1%,同时在处理良性和敌对数据时保持并提高了模型的初始准确性。
2020-07-01 cs.CR cs.CV cs.LG
Automatic Hardware Trojan Insertion using Machine Learning
由于当前的横向业务模式促进了对不受信任的第三方知识产权(IP)、CAD工具和设计设施的日益依赖,硬件特洛伊木马攻击已成为半导体行业的严重威胁。开发针对硬件木马攻击的有效对策需要:(1)快速可靠地探索给定设计的可行木马攻击空间;(2)一套符合特定标准的高质量木马插入基准测试。后者已成为必不可少的设计/验证解决方案的开发和评估,以实现对特洛伊木马攻击的量化保证。虽然现有的静态基准测试为比较不同的对策提供了一个基线,但它们只能从完整的特洛伊木马设计空间中枚举有限数量的手工制作的特洛伊木马。为了实现这些双重目标,在本文中,我们提出了MIMIC,一种用于自动木马插入的新型AI引导框架,它可以通过模仿一小部分已知木马的属性,为给定的设计创建大量有效的木马。虽然有一些工具可以使用固定的特洛伊木马模板自动插入特洛伊木马实例,但它们无法分析已知的特洛伊木马攻击,从而创建准确捕获威胁模型的新实例。MIMIC的工作分为两个主要步骤:(1)在多维空间中分析现有木马种群的结构和功能特征,以训练机器学习模型并生成大量给定设计的“虚拟木马”;(2)接下来,通过将它们的功能/结构属性与内部逻辑结构的适当网络相匹配,将它们绑定到设计中。我们已经为MIMIC开发了一个完整的工具流程,通过探索几个用例对框架进行了广泛的评估,并量化了其有效性,以展示非常有希望的结果。
2022-04-18 cs.CR
TrojDRL: Trojan Attacks on Deep Reinforcement Learning Agents
Boston University(波士顿大学);SRI International(斯坦福国际研究院)
最近的研究发现,作为神经网络实现的分类模型在训练时容易受到数据中毒和特洛伊木马攻击。在这项工作中,我们证明了这些训练时间漏洞扩展到深度强化学习(DRL)代理,并且可以被对手利用访问训练过程。特别是,我们专注于特洛伊木马攻击,增强功能的强化学习政策与隐藏的行为。我们证明了这种攻击可以通过微小的数据投毒(只有0.025%的训练数据)和带内奖励修改,不影响正常输入的奖励。与我们提出的攻击方法学习的政策执行无形中类似于良性的政策,但急剧恶化时,特洛伊木马在有针对性的和无针对性的设置触发。此外,我们表明,现有的木马防御机制的分类任务是无效的强化学习设置。
2019-03-01 cs.CR cs.LG stat.ML
Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
当训练数据被恶意篡改时,获得的深度神经网络(DNN)的预测可以被称为特洛伊木马攻击(或中毒后门攻击)的对手操纵。DNN对特洛伊木马攻击缺乏鲁棒性可能会严重损害下游应用中的现实机器学习(ML)系统,因此对其可信度造成广泛关注。在本文中,我们研究了数据稀缺制度下的特洛伊木马网络(TrojanNet)检测问题,其中检测器只访问经过训练的DNN的权重。我们首先提出了一个数据有限的特洛伊木马检测器(TND),当只有少数数据样本可用于特洛伊木马检测。我们发现,一个有效的数据有限的TND可以建立通过探索特洛伊木马攻击和预测规避对抗攻击,包括每样本攻击以及所有样本的通用攻击之间的联系。此外,我们提出了一个无数据的TND,它可以检测一个特洛伊木马,而无需访问任何数据样本。我们表明,这样的TND可以通过利用隐藏的神经元,即使在随机噪声输入表现出特洛伊木马的行为的内部响应。通过在不同的模型架构和数据集(包括CIFAR-10,GTSRB和ImageNet)下进行广泛的实验,评估了我们建议的有效性。
2020-07-31 cs.CR cs.LG stat.ML
On the lightweight authenticated semi-quantum key distribution protocol without Trojan horse attack
最近,Tsai等人(Laser Phys.Lett. 17,075202,2020)提出了一种用于量子参与者与经典参与者共享秘密密钥的轻量级认证半量子密钥分发协议。然而,本研究指出,攻击者可以使用修改攻击,使两个参与者共享一个错误的密钥而不被发现。为了避免这个问题,这里提出了一种改进。
2020-10-20 cs.CR quant-ph
CLEANN: Accelerated Trojan Shield for Embedded Neural Networks
UC San Diego(加州大学圣迭戈分校)
我们提出了CLEANN,第一个端到端的框架,使嵌入式深度神经网络(DNN)应用程序的木马在线缓解。特洛伊木马攻击的工作原理是在训练时在DNN中注入后门;在推理过程中,特洛伊木马可以通过特定的后门触发器激活。CLEANN与之前的工作的区别在于其轻量级方法,该方法可以恢复特洛伊样本的地面实况类,而无需标记数据,模型再训练或对触发器或攻击的先验假设。我们利用字典学习和稀疏近似来表征良性数据的统计行为并识别特洛伊木马触发器。CLEANN是基于算法/硬件协同设计而设计的,并配备了专用硬件,以实现在资源受限的嵌入式平台上的高效实时执行。CLEANN对最先进的神经特洛伊木马攻击的概念验证评估在视觉基准测试中证明了其在攻击弹性和执行开销方面的竞争优势。
2020-09-04 cs.AR cs.CR cs.CV
FLAW3D: A Trojan-based Cyber Attack on the Physical Outcomes of Additive Manufacturing
3D打印机等增材制造(AM)系统使用廉价的微控制器,很少具有网络安全防御功能。这是一个风险,特别是考虑到更大的数字制造领域内不断上升的威胁格局。在这项工作中,我们通过为基于AVR的Marlin兼容3D打印机(>100个商业型号)设计和研究恶意木马(FLAW3D引导程序)来证明这种风险。我们发现,木马可以隐藏编程工具,即使在严格的设计限制(小于1.7兆字节的大小),它可以损害增材制造打印的质量,并降低拉伸强度高达50%。
2021-04-19 cs.CR
Trojan of Things: Embedding Malicious NFC Tags into Common Objects
我们提出了一种名为Trojan of Things(ToT)的新型概念验证攻击,旨在攻击支持NFC的移动设备,如智能手机。ToT攻击的关键思想是将恶意编程的NFC标签秘密嵌入日常生活中经常遇到的常见物体,如钞票,衣服或家具,这些物体不被视为NFC接触点。为了充分探讨ToT的威胁,我们开发了两种引人注目的技术,即ToT设备和Phantom touch generator。这些技术使攻击者能够在无意中将设备靠近ToT的设备所有者不知情的情况下执行各种严重和复杂的攻击。我们讨论了攻击的可行性以及可能的对策对ToT攻击的威胁。
2017-02-23 cs.CR
Trojan Cleansing with Neural Collapse
University of California, San Diego(加州大学圣地亚哥分校)
本文通过神经崩溃现象,提出了一种轻量且通用的机制,用于清除多种网络架构中的木马攻击。
2025-12-15 cs.CR cs.LG
A Stealthy Hardware Trojan Exploiting the Architectural Vulnerability of Deep Learning Architectures: Input Interception Attack (IIA)
Tennessee Technological University(田纳西理工大学)
深度学习架构(DLA)在计算机视觉、自然语言处理等领域表现出了令人瞩目的性能,由于计算量和内存要求较高,很多DLA都利用云计算来实现分类。由云计算引起的隐私和延迟问题激发了在嵌入式硬件加速器上部署DLA。为了缩短上市时间并获得全球专家的支持,硬件加速器上最先进的DLA部署技术被外包给不受信任的第三方。这种外包引起了安全问题,因为硬件特洛伊木马可以被插入到硬件加速器的映射DLA的硬件设计中。我们认为,现有的硬件木马攻击突出的文献中没有定性的手段如何确定他们是触发的木马。此外,大多数插入的特洛伊木马在触发特洛伊木马或有效负载处于活动状态时,加速器上使用的硬件资源数量会出现明显的峰值。在本文中,我们介绍了一种硬件木马攻击称为输入拦截攻击(IIA)。在这种攻击中,我们利用逐层输出的统计特性来确保不被窃取。我们的国际投资协定能够在一定程度上明确地触发。此外,该IIA攻击在用于分类MNIST和Cifar-10数据集的DLA上进行了测试。受攻击的设计使用大约高达2%以上的LUT分别相比,未妥协的设计。最后,本文讨论了潜在的防御机制,可用于打击这种硬件木马为DLA的硬件加速器为基础的攻击。
2021-01-27 cs.CR cs.LG stat.ML
Logic and Reduction Operation based Hardware Trojans in Digital Design
在本文中,我们将展示硬件木马攻击四个不同的数字设计上FPGA实现。硬件特洛伊木马是基于对向量的特殊逻辑和基于归约的操作来激活的,这使得特洛伊木马活动尽可能沉默和有效。在本文中,我们介绍了5个新的木马攻击方法。
2022-10-25 cs.AR cs.CR
Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment
Illinois Institute of Technology(伊利诺伊理工学院);Emory University(埃默里大学)
该研究提出名为TA²的木马激活攻击方法,通过向大语言模型激活层注入木马导向向量,在推理时触发以操纵模型行为,在四项对齐任务上验证了其高效低开销的特性,并探讨了对应防御方案。
2024-08-15 cs.AI cs.CL cs.CR
Hammering the Diagnosis: Rowhammer-Induced Stealthy Trojan Attacks on ViT-Based Medical Imaging
Department of Electrical and Computer Engineering, University of Arizona, Tucson, AZ, USA(亚利桑那大学电气与计算机工程系);Department of Electrical and Computer Engineering, University of California, Davis, CA, USA(加州大学戴维斯分校电气与计算机工程系);Department of Computer Engineering and Computer Science, California State University, Long Beach, Long Beach, CA, USA(加州州立大学-long beach分校计算机工程与科学系)
该研究提出Med-Hammer威胁模型,结合Rowhammer硬件故障注入与神经木马攻击针对基于ViT的医学成像系统,实验验证其高隐蔽性与高成功率,并指出医疗领域硬件与深度学习安全交叉防御的紧迫性。
2025-10-28 cs.AI cs.CR
Event Trojan: Asynchronous Event-based Backdoor Attacks
Hong Kong Baptist University(香港浸会大学);City University of Hong Kong(香港城市大学)
针对异步事件数据后门攻击研究不足的问题,提出包含不可变与可变两类触发器的Event Trojan框架,通过自适应机制和新型损失函数提升攻击性与隐蔽性,实验验证了有效性,呼吁关注相关安全威胁。
2024-07-14 cs.CR cs.CV
Hardware Trojan Threats to Cache Coherence in Modern 2.5D Chiplet Systems
随着工业向基于芯片的设计发展,硬件木马的插入对这些系统的安全性构成了重大威胁。这些系统在很大程度上依赖于高速缓存一致性来进行一致性数据通信,这使得一致性成为一个有吸引力的目标。重要的是,与之前的工作不同,它只关注恶意数据包修改,利用一致性的特洛伊木马攻击可以修改内存中从未被触及的数据,并且不属于包含特洛伊木马的小芯片。此外,特洛伊木马甚至不需要在受害者和存储器控制器之间物理地攻击受害者的存储器事务。在这里,我们探讨了基于芯片的系统中可能存在的基本攻击向量,并提供了一个能够直接修改内存中受害者数据的特洛伊木马实现示例。这项工作的目的是强调有必要制定机制,可以保护和确保一致性计划免受这些形式的攻击。
2022-09-30 cs.AR cs.CR
T-Miner: A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification
Virginia Tech(弗吉尼亚理工大学);LUMS Pakistan(拉合尔管理科学大学巴基斯坦分校);University of Michigan(密歇根大学)
已知深度神经网络(DNN)分类器易受特洛伊木马或后门攻击的攻击,其中分类器被操纵,使得其对包含攻击者确定的特洛伊木马触发器的任何输入进行错误分类。后门会损害模型的完整性,从而对基于DNN的分类前景构成严重威胁。虽然针对图像域中的分类器存在针对这种攻击的多种防御,但是保护文本域中的分类器的努力有限。我们提出了木马矿工(T-Miner)-一个防御框架的木马攻击基于DNN的文本分类器。T-Miner采用序列到序列(seq-2-seq)生成模型,该模型探测可疑分类器并学习生成可能包含特洛伊木马触发器的文本序列。然后,T-Miner分析生成模型产生的文本,以确定它们是否包含触发短语,以及相应地,测试的分类器是否有后门。T-Miner不需要访问训练数据集或可疑分类器的干净输入,而是使用合成的“无意义”文本输入来训练生成模型。我们在1100个模型实例上对T-Miner进行了广泛的评估,这些模型实例涵盖了3个无处不在的DNN模型架构、5个不同的分类任务和各种触发短语。我们表明,T-Miner检测特洛伊木马和干净模型的总体准确率为98.75%,同时在干净模型上实现了低误报。我们还表明,T-Miner对来自自适应攻击者的各种有针对性的高级攻击具有鲁棒性。
2021-03-11 cs.CR cs.LG
Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation
Harvard University(哈佛大学)
近年来,知识蒸馏已成为有效部署机器学习的基石,实验室和行业使用知识蒸馏来训练廉价且资源优化的模型。特洛伊木马攻击在同一时期获得了显著的突出地位,揭示了深度学习模型中的根本漏洞。鉴于广泛使用的知识蒸馏,在这项工作中,我们试图利用未标记的数据知识蒸馏过程中嵌入木马的学生模型,而不引入明显的行为在教师。我们最终设计了一个木马攻击,有效地降低学生的准确性,不改变教师的表现,并在实践中有效地构建。
2023-03-09 cs.AI cs.CR cs.LG
Mind the Trojan Horse: Image Prompt Adapter Enabling Scalable and Deceptive Jailbreaking
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);Nanyang Technological University(南洋理工大学);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
本文揭示配备 IP-Adapter 的文本到图像扩散模型存在“劫持攻击”越狱风险,攻击者可通过难以察觉的对抗样本劫持大量用户,并探索结合对抗训练模型以改进防御。
2025-04-08 cs.AI cs.CR cs.CV
Hu-Fu: Hardware and Software Collaborative Attack Framework against Neural Networks
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心)
近年来,深度学习(Deep Learning,DL),特别是卷积神经网络(Convolutional Neural Network,CNN)发展迅速,被广泛应用于图像分类、人脸识别、图像分割、人体检测等领域。由于其卓越的性能,基于DL的模型在许多领域都有广泛的应用,其中一些领域对安全性非常重要,例如智能监控和自动驾驶。由于云计算的延迟和隐私问题,嵌入式加速器在这些安全关键领域很受欢迎。然而,由于加速器和部署工具(或神经网络模型)通常由第三方公司提供,因此将硬件/软件木马插入到加速器和神经网络模型中可能会损害嵌入式DL系统的鲁棒性。所幸的是,插入硬件木马只能实现非弹性攻击,也就是说,硬件木马可以轻易攻破整个系统或交换两个输出,但无法让CNN将未知图片识别为目标。虽然插入软件木马具有更大的攻击自由度,但它往往需要篡改输入图像,这对攻击者来说并不容易。因此,在本文中,我们提出了一个软硬件协同攻击框架注入隐藏的神经网络木马,它作为一个后门,而不需要操纵输入图像,是灵活的,为不同的场景。我们测试了我们的攻击框架用于图像分类和人脸识别任务,并在CIFAR10和YouTube Faces上分别获得了92.6%和100%的攻击成功率,同时保持了与正常模式下未受攻击模型几乎相同的准确率。此外,我们展示了一个特定的攻击场景,其中人脸识别系统受到攻击,并给出了一个特定的错误答案。
2018-12-12 cs.CR cs.CV
Hardware Trojan Attacks on Neural Networks
Clemson University(克莱姆森大学)
随着机器学习的日益普及和对计算能力的不断增长的需求,对神经网络和其他机器学习模型的硬件优化实现的需求不断增长。随着技术的发展,机器学习或人工智能将很快以训练有素的模型的形式成为消费电子产品和军事装备。不幸的是,制造硬件的现代无晶圆厂商业模式虽然经济,但却导致供应链的安全性不足。在本文中,我们阐明了这些安全问题,通过引入硬件木马攻击神经网络,扩大目前的分类神经网络安全,将这种性质的攻击。为了帮助这一点,我们开发了一个新的框架,用于插入恶意硬件木马的实施神经网络分类器。我们通过在卷积神经网络上实现攻击算法,同时控制对手可用的各种参数,来评估对手在这种情况下的能力。实验结果表明,该算法通过在任意7层卷积神经网络的第5隐层的$0.03\%$中注入硬件木马,可以有效地将输入触发器分类为MNIST数据集上的指定类,而在测试数据下无法检测到。最后,我们讨论了潜在的防御,以保护神经网络免受硬件木马攻击。
2018-06-14 cs.CR cs.LG stat.ML
Trojan Attacks on Wireless Signal Classification with Adversarial Machine Learning
Intelligent Automation, Inc.(智能自动化公司)
我们提出了一种特洛伊木马(后门或陷阱)攻击,目标是无线通信中的深度学习应用程序。深度学习分类器被认为使用原始(I/Q)样本作为特征并且使用调制类型作为标签来对无线信号进行分类。对手通过插入木马(即,触发器)通过修改它们的相位并将这些样本的标签改变为目标标签而仅对少数训练数据样本进行控制。该中毒的训练数据用于训练深度学习分类器。在测试(推断)时间,对手发送具有相同相移的信号,该相移在训练期间作为触发器添加。虽然接收器可以在没有触发器的情况下准确地对干净(未中毒)信号进行分类,但它不能可靠地对有触发器的中毒信号进行分类。这种隐形攻击保持隐藏,直到被有毒输入(特洛伊木马)激活以绕过信号分类器(例如,用于认证)。我们证明了这种攻击在不同的信道条件下是成功的,并且不能通过简单地用随机相位变化对训练数据和测试数据进行预处理来减轻。为了检测这种攻击,基于激活的离群值检测被认为是统计和聚类技术。我们发现,后者可以检测木马攻击,即使很少的样本中毒。
2019-10-23 cs.CR cs.LG cs.NI
PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications
University of California San Diego(加州大学圣地亚哥分校)
深度神经网络(DNN)已被证明易受特洛伊木马攻击。神经木马是一种有针对性的中毒攻击,它将后门嵌入受害者,并由输入空间中的触发器激活。DNN在关键系统中的部署越来越多,外包DNN培训的激增(这使得特洛伊木马攻击更容易)使得检测特洛伊木马攻击变得必要。虽然神经木马检测已经在图像领域进行了研究,但在NLP领域缺乏解决方案。在本文中,我们提出了一个模型级的木马检测框架,通过分析的偏差模型输出时,我们引入了一个特制的扰动输入。特别是,我们提取模型的响应扰动输入的“签名”的模型和训练的元分类器,以确定是否一个模型是木马基于其签名。我们在我们创建的NLP模型数据集和来自TrojAI的特洛伊NLP模型公共数据集上证明了我们提出的方法的有效性。此外,我们提出了一个轻量级的变化,我们的检测方法,减少检测时间,同时保持检测率。
2022-08-08 cs.CL cs.CR cs.LG
Detecting Neural Trojans Through Merkle Trees
针对深度神经网络中神经木马攻击及现有防御成本高、难商用的问题,本文提出利用 Merkle 树检测并隔离神经木马的新方法。
2023-06-08 cs.CR
TPAD: Hardware Trojan Prevention and Detection for Trusted Integrated Circuits
越来越多的人担心关键应用中使用的集成电路(IC)可能被恶意修改。这种攻击通常被称为硬件木马。虽然许多技术都集中在IC测试期间的硬件木马检测上,但攻击仍然有可能未被检测到。使用新的设计技术和新的内存技术相结合,我们提出了一种新的方法,检测各种各样的硬件木马在IC测试过程中,也在现场的系统操作。我们的方法还可以防止各种各样的攻击,在合成,布局和路线,和制造的IC。它可以应用于任何数字系统,并且可以针对传统和分离制造方法进行调整。我们证明了它的ASIC和FPGA的适用性。使用制造的测试芯片与木马仿真功能,并使用模拟,我们证明:1。我们的方法的面积和功耗成本可以分别在7.4-165%和0.07- 60%之间,具体取决于设计和攻击目标; 2.速度影响可以是最小的(接近0%); 3.我们的方法可以检测到99.998%的木马(使用测试芯片模拟),不需要详细的知识被攻击的设计; 4。我们的方法可以防止99.98%的特定攻击(模拟),这些攻击利用了被攻击设计的详细知识(例如,通过反向工程)。5.我们的方法从不产生任何误报,即,当IC正常工作时,它不报告攻击。
2015-08-25 cs.AR cs.CR
Multiple Fault Attack on PRESENT with a Hardware Trojan Implementation in FPGA
物联网将许多小型受限设备连接到互联网。与任何其他环境一样,通信安全性很重要,加密算法是我们用来保持消息安全的许多元素之一。由于这些环境的约束性质,有必要使用不需要高计算能力的算法。因此,轻量级密码是实现这一目的的理想候选者。在本文中,我们探讨了攻击超轻量级密码PRESENT使用多故障攻击的可能性。利用差分故障分析技术,我们能够恢复秘密密钥与两个故障排除和2^16个剩余的密钥位的穷举搜索。我们的攻击目标是倒数第二轮密码中的四个半字节,导致输出的所有半字节的错误输出。我们还提供了一个实际的攻击方案,利用硬件木马(HT)技术的建议故障注入在Xilinx斯巴达-6 FPGA。
2017-02-27 cs.CR
TrappeD: DRAM Trojan Designs for Information Leakage and Fault Injection Attacks
在本文中,我们调查先进的电路功能,如在动态RAM(DRAM)存储器的外围设备中使用的WL-(WL)下驱动(防止保留故障)和辅助写入(辅助写入)从安全的角度来看。在理想的环境中,这些功能可确保快速可靠的读写操作。但是,攻击者可以通过插入特洛伊木马程序来重新利用它们,以便在攻击者激活时提供恶意有效负载,例如故障注入、拒绝服务(DoS)和信息泄漏攻击。仿真结果表明,DRAM存储器中的DoS攻击可以通过增加DRAM电压来引起保持失败,从而发起DoS攻击。此外,通过利用DRAM的刷新操作,两条字线或位线可能被短路以泄漏信息或注入故障。我们展示了一个信息泄漏系统利用在RocketChip SoC上实现TrappeD。
2020-01-03 cs.AR cs.CR