Secure and Private Federated Learning: Achieving Adversarial Resilience through Robust Aggregation
O’Donnell Data Science and Research Computing Institute(奥登数据科学与研究计算研究所);Southern Methodist University(南方 Methodist 大学)
本文提出 ArKrum 聚合策略,通过中位数过滤和多更新平均提升联邦学习在 Byzantine 攻击下的鲁棒性与隐私保障,并在图像和文本基准上验证其高准确率和稳定性。
2025-06-03 cs.CR cs.LG
Adverseness vs. Equilibrium: Exploring Graph Adversarial Resilience through Dynamic Equilibrium
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of the Chinese Academy of Sciences(中国科学院大学);Dalian University of Technology(大连理工大学);Fordham University(福特汉姆大学);Georgia Institute of Technology(佐治亚理工学院)
该研究将图对抗学习建模为多目标动态系统,提出理论框架证明图存在临界对抗韧性状态,通过求解动态系统均衡点定位该状态,实验验证其防御效果优于现有最优方法。
2025-05-20 cs.LG
Assessing the Resilience of Automotive Intrusion Detection Systems to Adversarial Manipulation
Politecnico di Milano(米兰理工大学)
该研究针对汽车入侵检测系统(IDS)的安全漏洞,探究了不同知识程度下基于梯度的对抗性规避攻击的可行性与影响,通过公开数据集实验验证了攻击有效性受数据集质量、目标IDS及攻击者知识程度的强关联影响。
2025-06-12 cs.CR cs.LG
Architectural Resilience to Foreground-and-Background Adversarial Noise
对抗攻击以正常图像的不可感知的扰动形式存在,已经得到了广泛的研究。对于每一种新的防御方法,都发现了多种对抗性攻击对抗攻击。特别是,近年来流行的一种攻击风格,例如DeepFool和Carlini-Wagner,完全依赖于白盒场景,其中需要完全访问预测模型及其权重。在这项工作中,我们提出了不同的模型无关的基准扰动的图像,以调查不同的网络架构的弹性和鲁棒性。根据经验,结果确定,在大多数类型的卷积神经网络中增加深度通常会提高模型对一般攻击的弹性,随着模型变得更深,改进会稳步下降。此外,我们发现,一个显着的差异,在对抗性的鲁棒性之间存在的残留结构与跳过连接和类似的复杂性的非残留结构。我们的研究结果为未来理解剩余连接和深度对网络鲁棒性的影响提供了方向。
2020-06-07 cs.CV cs.LG eess.IV
Data Poisoning: An Overlooked Threat to Power Grid Resilience
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The U.S. Air Force Research Laboratory(美国空军研究实验室)
本文综述了电网中对抗性干扰研究,指出投毒研究因假设训练安全而被忽视,并展示数据投毒如何危及电网韧性。
2024-07-19 cs.CR cs.LG
Federated Learning in Adversarial Environments: Testbed Design and Poisoning Resilience in Cybersecurity
Department of Information Science and Technology(信息科学与技术系);Technology University at Albany, SUNY, New York, USA(阿尔巴尼州立大学技术学院,纽约,美国)
本文设计实现了一个联邦学习测试床,用于网络安全应用,评估其对污染攻击的鲁棒性。通过案例研究展示了测试床在检测异常和保护关键基础设施方面的能力。
2025-04-03 cs.CR cs.DC cs.LG
Resilience of Bayesian Layer-Wise Explanations under Adversarial Attacks
University of Trieste(的里雅斯特大学);Saarland University(萨尔大学);University of Edinburgh(爱丁堡大学);SISSA(国际高等研究学院)
我们考虑了在分类任务中基于显著性的解释在对抗攻击下的神经网络预测的稳定性问题。确定性神经网络的显着性解释是非常脆弱的,即使在攻击失败时,即对于不改变分类标签的攻击。我们的经验表明,贝叶斯神经网络提供的解释是相当稳定的对抗扰动下的输入,甚至在直接攻击的解释。通过利用最近的结果,我们还提供了一个理论解释的数据流形的几何形状的这一结果。此外,我们还讨论了网络内部各层输入的高级表示的解释的稳定性。我们的研究结果表明,贝叶斯方法,除了更强大的对抗攻击,有潜力提供更稳定和可解释的评估神经网络预测。
2022-05-05 cs.LG stat.ML
Robust Decentralized Multi-armed Bandits: From Corruption-Resilience to Byzantine-Resilience
针对去中心化协作多智能体多臂老虎机易受对抗攻击的问题,提出鲁棒算法DeMABAR,可同时应对对抗损坏与拜占庭攻击场景,经理论分析和数值实验验证其鲁棒性与有效性。
2025-11-13 cs.LG
D-CAPTCHA++: A Study of Resilience of Deepfake CAPTCHA under Transferable Imperceptible Adversarial Attack
School of Computer Science(计算机学院);University College Dublin(都柏林大学学院);School of Computer Science and Statistics(计算机与统计学院);Trinity College Dublin(都柏林圣三一学院);University of Science(科学大学)
本研究针对基于挑战-应答协议的D-CAPTCHA深度伪造验证系统,揭示其在可迁移不可感知对抗攻击下的漏洞,并通过对抗训练优化检测器与分类器,提出更鲁棒的D-CAPTCHA++系统以抵御伪造电话攻击。
2024-09-11 cs.CR cs.LG cs.SD
Variational Inference with Latent Space Quantization for Adversarial Resilience
SigTuple Technologies(SigTuple科技公司);Indian Institute of Technology Delhi(印度理工学院德里分校)
尽管深度神经网络在对高维数据流形建模方面取得了巨大的成功,但它们仍受到对抗攻击的威胁-通过仔细扰动获得的感知有效的输入类样本的存在,导致底层模型的性能下降。现有防御机制的主要问题包括不同攻击、模型和大量推理时间的不可推广性。在本文中,我们提出了一个广义的防御机制,利用正则化的潜在空间的生成模型的表达能力。我们设计了一个对抗过滤器,没有访问分类器和对手,这使得它可以与任何分类器串联使用。其基本思想是从数据流形学习Lipschitz约束映射,将对抗性扰动引入到量化的潜在空间,并将其重新映射到真实的数据流形。具体来说,我们同时自动编码的数据流形和它的扰动隐式通过扰动的正则化和量化生成的潜在空间,实现变分推理。我们证明了所提出的配方在提供针对多种攻击类型(黑盒和白盒)和方法的弹性方面的有效性,同时几乎是实时的。我们的实验表明,所提出的方法超越了国家的最先进的技术在几种情况下。
2019-09-06 cs.CV cs.LG
Adversarial AI in Insurance: Pervasiveness and Resilience
University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);Reale Mutua Group(瑞莱穆图阿集团);KPA Group(KPA集团);Samuel Neaman Institute(塞缪尔·尼曼研究所);Technion(以色列理工学院)
人工智能(AI)和机器学习(ML)的快速和动态步伐正在彻底改变保险行业。人工智能为保险公司提供了重要的、非常受欢迎的优势,是其以客户为中心战略的基础。在项目和实施阶段,这也带来了挑战。其中,我们研究了对抗攻击,它包括创建修改的输入数据来欺骗AI系统并产生虚假输出。我们提供了对保险AI应用程序的攻击的例子,对它们进行了分类,并讨论了防御方法和预防系统,考虑到它们可能涉及Few-Shot和zero-shot多标签。一个相关的主题,越来越感兴趣,是验证和验证包含AI和ML组件的系统。本文件的各个部分讨论了这些主题。
2023-01-17 cs.LG q-fin.GN
Prepared for the Worst: A Learning-Based Adversarial Attack for Resilience Analysis of the ICP Algorithm
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究学院)
本文提出一种基于学习的对抗性攻击方法,用于在部署前评估ICP算法对激光雷达点云损坏的韧性,通过寻找最大ICP误差来识别脆弱位置,使自主机器人能采取更安全路径,该方法在超过88%的场景中优于基线。
2025-09-09 cs.LG cs.RO
ReLATE: Resilient Learner Selection for Multivariate Time-Series Classification Against Adversarial Attacks
San Diego State University(圣地亚哥州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
ReLATE 框架通过数据集相似性选择最优鲁棒模型,在对抗攻击下平均降低 81.2% 计算开销,性能保持在 Oracle 的 4.2% 以内。
2025-03-10 cs.CR cs.LG
Hybrid LSTM-Graph Neural Framework for Robust Financial Fraud Detection and Adversarial Resilience
Arab Open University(阿拉伯开放大学)
针对金融欺诈检测难题,提出FraudShield AI混合框架,融合LSTM网络与图拓扑特征,设计网络中心特征,用焦点损失和动态阈值机制,在PaySim数据集实验中性能超基线,消融研究验证组件互补性。
2026-07-23 cs.AI cs.LG
Byzantine Cheap Talk: Adversarial Resilience and Topology Effects in LLM Coordination Games
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
研究多智能体LLM在协调博弈中面对拜占庭攻击和通信拓扑限制的脆弱性,发现智能体无法集体适应背叛,且显式限制拓扑会破坏合作,而隐式限制则不影响。
2026-06-05 cs.LG
Boosting Model Resilience via Implicit Adversarial Data Augmentation
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);Tianjin University(天津大学)
针对数据偏差场景下模型性能提升的挑战,提出结合对抗与反对抗扰动分布增强深度特征并基于元学习优化替代损失的方法,在多种偏差学习场景中达到SOTA。
2024-06-01 cs.CV cs.LG
Adversarial Resilience against Clean-Label Attacks in Realizable and Noisy Settings
D-MATH IFOR ETH Zürich(苏黎世联邦理工学院数学研究所)
针对干净标签对抗攻击,我们扩展了可实现设定下的弃权(不执行)学习方法至不可知噪声设定,首次给出阈值分类器在对抗噪声下的理论保证。
2025-04-17 cs.LG stat.ML
Adversarial Resilience in Sequential Prediction via Abstention
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);Technion(以色列理工学院);Google Research, Israel(谷歌研究院(以色列));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出介于随机与完全对抗之间的序列预测模型,允许对干净标签对抗样本无成本弃权,并给出依赖 VC 维而非 Littlestone 维的学习器及不确定性度量。
2024-01-25 cs.DS cs.LG stat.ML
Resilience from Diversity: Population-based approach to harden models against adversarial attacks
University of Central Florida(中佛罗里达大学);Department of Computer Science(计算机科学系);Department of Industrial Engineering and Management Systems(工业工程与管理系统系);Orlando, FL, USA(奥兰多,佛罗里达州,美国)
传统的深度学习网络(DNN)表现出有趣的漏洞,允许攻击者迫使它们在任务中失败。众所周知的攻击,如快速梯度符号法(FGSM)和更强大的投影梯度下降(PGD),通过向输入的计算梯度添加扰动幅度$ε$来生成对抗样本,从而导致模型分类有效性的恶化。这项工作介绍了一个模型,是弹性的对抗攻击。我们的模型利用了一种既定的防御机制,该机制利用了随机性和DNN群体。更准确地说,我们的模型由一群$n$不同的子模型组成,每个子模型都经过训练,以单独获得手头任务的高精度,同时被迫保持其权重的有意义的差异。每次我们的模型接收到分类查询时,它都会从其种群中随机选择一个子模型来回答查询。为了对抗攻击的可转移性,在子模型的种群中引入并保持多样性。从而引入了反链接权重的概念。计数器链接模型(CLM)由相同架构的DNN群体组成,在同步训练期间进行定期随机相似性检查,以保证多样性,同时保持准确性。虽然随机化技术被证明对对抗攻击具有弹性,但我们表明,通过重新训练DNN集成或从一开始就使用计数器链接进行训练,在MNIST数据集上测试时,将鲁棒性提高约20%,在CIFAR-10数据集上测试时至少提高15%。当CLM与对抗训练相结合时,这种防御机制实现了最先进的鲁棒性。
2022-02-15 cs.LG
Graph Agent Network: Empowering Nodes with Inference Capabilities for Adversarial Resilience
Sichuan University(四川大学);Chengdu University of Information Technology(成都信息工程大学);Shihezi University(石河子大学);Tianjin University(天津大学);Huazhong University of Science and Technology(华中科技大学)
针对图神经网络易受对抗边扰动攻击、现有防御无法抵御二次攻击的问题,提出图结构的图智能体网络GAgN,通过1跳视野节点智能体的去中心化交互实现对抗边过滤与攻击抵御,实验证明其在扰动数据集上分类准确率优于现有最优防御方法。
2024-12-11 cs.AI cs.CR cs.LG
RESQ: A Unified Framework for REliability- and Security Enhancement of Quantized Deep Neural Networks
University of Zanjan(赞詹大学);Brandenburg Technical University(勃兰登堡技术大学);Leibniz Institute for High Performance Microelectronics(莱比锡高性能微电子研究所);Tallinn University of Technology(塔林技术大学)
本文提出一个三阶段统一框架,通过细调提升攻击鲁棒性,通过故障感知细调增强故障鲁棒性,并通过轻量级后训练调整提升效率和进一步降低故障敏感性。实验显示在多个数据集上攻击鲁棒性提升10.35%,故障鲁棒性提升12.47%。
2026-03-16 cs.AI cs.AR cs.LG
Computable Model-Independent Bounds for Adversarial Quantum Machine Learning
本文研究了QML对抗性能的模型无关界限,首次计算了对抗复杂量子攻击时对抗性错误的近似下界,实验证明QML模型具有高鲁棒性潜力。
2024-11-11 cs.AI cs.ET cs.LG
Adversary ML Resilience in Autonomous Driving Through Human Centered Perception Mechanisms
Rollins College(罗林斯学院)
针对自动驾驶路标分类器易受物理对抗攻击、模型泛化性差的问题,本研究结合对抗训练与迁移学习,验证了跨数据集迁移可提升分类鲁棒性,为增强自动驾驶系统安全性提供了可行方向。
2023-11-02 cs.CV cs.LG
ExAL: An Exploration Enhanced Adversarial Learning Algorithm
BITS Pilani(印度理工学院 Pilani 分校);Purdue University(普渡大学)
本文提出探索增强对抗学习算法 ExAL,利用 EMPSO 生成优化扰动以提升模型鲁棒性,并在 MNIST 和 Blended Malware 数据集上验证其有效性。
2024-11-24 cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Position: Adversarial ML for LLMs Is Not Making Any Progress
University of California, Berkeley(加州大学伯克利分校)
本文认为,在大语言模型时代,对抗性机器学习研究的问题定义更模糊、更难解决且更难以评估,可能导致未来十年仍无法取得有意义进展。
2026-06-02 cs.CR cs.LG
No Need to Know Physics: Resilience of Process-based Model-free Anomaly Detection for Industrial Control Systems
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心)
首次系统分析工业控制系统基于过程的异常检测方案,提出对抗欺骗信号生成框架评估四种检测器,发现多数存在漏洞且无法可靠学习物理属性,呼吁更完整的攻击数据集与批判性分析。
2023-06-26 cs.CR cs.LG
EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)
Lehigh University(理海大学)
深度神经网络(DNN)天生容易受到对抗性输入的影响:这种恶意制作的样本会触发DNN行为不端,从而对DNN驱动的系统造成不利后果。缓解敌对性投入的根本挑战来自其适应性和可变性。现有的解决方案试图提高DNN对特定攻击的弹性;然而,这种静态防御通常可以通过自适应工程输入或新的攻击变体来规避。在这里,我们介绍了一个用于DNN系统的攻击不可知对抗篡改分析引擎。我们的设计利用了许多攻击背后的{ \em最小原则}:为了最大限度地提高攻击的规避性,对手通常会寻求最小可能的失真来将真实输入转换为对抗性输入。我们表明,这种做法需要在输入空间中的对抗性输入的独特的分布特性。通过以原则性的方式利用这些属性,QualleEye可以有效地区分对抗性输入,甚至发现它们正确的分类输出。通过使用一系列基准数据集和DNN模型进行广泛的实证评估,我们验证了QuilleEye的有效性。我们进一步调查对手的可能的对策,这意味着一个困难的困境,她:逃避的检测,过度的失真是必要的,从而显着减少攻击的逃避其他检测机制。
2018-08-01 cs.CR cs.LG
Adversarial Embedding: A robust and elusive Steganography and Watermarking technique
University of Luxembourg(卢森堡大学)
我们提出了对抗性嵌入,一种新的隐写和水印技术,在图像中嵌入秘密信息。我们方法的关键思想是使用深度神经网络进行图像分类和对抗攻击,以在图像中嵌入秘密信息。因此,我们使用攻击在图像中嵌入消息的编码,并使用相关的深度神经网络输出来提取它。对抗攻击的关键属性(不可见的扰动、不可转移性、篡改弹性)提供了关于隐藏消息的机密性和完整性的保证。我们使用100多个模型和1,000条消息来实证评估对抗嵌入。我们的研究结果证实,我们的嵌入通过未被人类和隐写分析方法注意到,同时阻止非法检索的消息(小于13%的恢复率时,拦截器有一些知识,我们的模型),并有弹性的软和(在某种程度上)积极的图像篡改(高达100%的恢复率下的JPEG压缩)。我们通过提出一种新型的对抗攻击来进一步发展我们的方法,该攻击将我们方法的嵌入密度(隐藏信息量)提高到每像素10位。
2019-11-14 cs.CR cs.LG
Enhancing Cyber-Resilience in Integrated Energy System Scheduling with Demand Response Using Deep Reinforcement Learning
School of Electrical Engineering, Northeast Electric Power University(东北电力大学电气工程学院);State Grid XiXian New Area Power Supply Company(国家电网西安新区供电公司);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);The Hong Kong University of Science and Technology(香港科技大学);Institute of Energy Technology, Aalborg University(奥尔堡大学能源技术研究所);Illinois Institute of Technology(伊利诺伊理工大学)
本文针对综合能源系统在不确定性和网络攻击下的调度问题,提出基于状态对抗深度强化学习的无模型韧性调度方法,设计综合需求响应程序并引入SA-SAC算法,仿真显示经济性能较SAC提升10%。
2024-11-03 cs.LG cs.SY eess.SY
Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids, and Full-Bandit Learning
Purdue University(普渡大学)
该研究针对拟阵约束的子模最大化问题,证明了SGS-Poisson算法的对抗鲁棒性,并将其归约得到具有特定近似-遗憾因子的全臂赌博机CMAB算法。
2026-09-09 cs.AI cs.CC cs.LG
Deep Adversarial Defense Against Multilevel-Lp Attacks
Illinois Institute of Technology(伊利诺伊理工学院);University of Michigan(密歇根大学)
针对传统对抗训练仅能防御单一范数攻击的局限,提出高效鲁棒模式连通性(EMRC)方法,融合ℓ₁与ℓ∞范数对抗训练解,实现多ℓ_p范数攻击防御,在多个数据集与模型架构上性能优于现有方法。
2024-07-12 cs.AI cs.LG eess.SP
Golden Ratio Search: A Low-Power Adversarial Attack for Deep Learning based Modulation Classification
Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文提出一种基于黄金比例搜索的低功耗白盒对抗攻击,用于深度学习调制分类,该方法能以最小功耗快速生成强大攻击,并有效挑战现有防御机制。
2024-09-17 cs.CR cs.LG eess.SP
Delving into adversarial attacks on deep policies
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校)
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入(如图像像素)训练代理策略方面显示出了有希望的结果。在本文中,我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法,用于减少成功攻击所需注入的对抗性示例的次数,该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Quantitative Analysis of Deeply Quantized Tiny Neural Networks Robust to Adversarial Attacks
University of Glasgow(格拉斯哥大学);City, University of London(伦敦城市大学);STMicroelectronics France(意法半导体法国公司);STMicroelectronics Italy(意法半导体意大利公司)
本文提出基于随机三值量化和逐层Jacobian正则化协同优化的紧凑DNN模型,在CIFAR-10和语音数据集上以较小内存占用实现对黑盒与白盒攻击的鲁棒性,并优于Quanos和DS-CNN基准。
2025-03-12 cs.CR cs.LG cs.PF
Adversarial-Ensemble Kolmogorov Arnold Networks for Enhancing Indoor Wi-Fi Positioning: A Defensive Approach Against Spoofing and Signal Manipulation Attacks
School of Computer Engineering, Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院);Meteorological Training Institute, India Meteorological Department(印度气象局气象培训学院)
针对 Wi-Fi 欺骗与信号强度操纵攻击,本文提出基于 KAN 的对抗训练与基线—鲁棒模型集成方法,显著降低室内定位误差并提升系统可靠性。
2025-01-16 cs.LG
Defense against adversarial attacks on deep convolutional neural networks through nonlocal denoising
Universiti Brunei Darussalam(文莱达鲁萨兰大学)
尽管网络架构性能有了实质性的进步,但对抗攻击的敏感性使得深度学习在安全关键型应用中的实现具有挑战性。本文提出了一种以数据为中心的方法来解决这个问题。具有不同亮度值的非局部去噪方法已被用于从修改的国家标准与技术研究所数据库(MNIST)和加拿大高级研究所(CIFAR-10)数据集生成对抗性示例。扰动下,该方法提供了高达9.3%的MNIST数据集和13%的CIFAR-10数据集的绝对精度提高。使用具有较高亮度值的变换图像进行训练增加了分类器的鲁棒性。我们已经证明了迁移学习对于对抗性机器学习是不利的。结果表明,简单的对抗性示例可以提高弹性,并使深度学习更容易应用于各种应用程序。
2022-06-25 cs.CR cs.CV cs.LG
Towards Sybil Resilience in Decentralized Learning
Delft University of Technology(代尔夫特理工大学)
本文提出SybilWall算法,通过结合抗Sybil聚合函数与概率Gossip机制,提升去中心化学习抵御Sybil中毒攻击的抗性,在多种攻击场景下表现优于现有联邦学习方案。
2023-06-26 cs.CR cs.DC cs.LG
Denoising Autoencoder-based Defensive Distillation as an Adversarial Robustness Algorithm
LASIGE(LASIGE实验室);Faculdade de Ciências da Universidade Lisboa(里斯本大学理学院)
对抗攻击严重威胁着深度神经网络(DNN)的鲁棒性。尽管采用了多种防御方法,但它们仍然容易受到毒药攻击,攻击者会干扰初始训练数据。为了保护DNN免受这种对抗攻击,这项工作提出了一种新的方法,将防御蒸馏机制与去噪自动编码器(DAE)相结合。该技术试图通过在训练数据中发现和重建有毒对抗输入来降低蒸馏模型对有毒攻击的敏感性。我们将精心创建的对抗样本添加到初始训练数据中,以评估所提出的方法的性能。我们的实验结果表明,我们的方法成功地识别和重建了有毒的输入,同时还考虑到提高DNN的弹性。所提出的方法为DNN在关注数据投毒攻击的各种应用中提供了有力且鲁棒的防御机制。从而克服了防御性蒸馏技术受到有毒对抗攻击的限制。
2023-03-28 cs.AI cs.CR cs.LG
Beyond Suffixes: Token Position in GCG Adversarial Attacks on Large Language Models
University of Cagliari(卡利里大学);Sapienza University of Rome(罗马大学);Huawei Technologies Finland Research Center(芬兰华为技术研究中心)
研究探讨了在大语言模型对抗攻击中,标记位置对攻击成功率的影响,指出在Greedy Coordinate Gradient攻击中,优化攻击生成前缀而非后缀以及调整对抗标记位置对攻击效果有显著影响。
2026-04-30 cs.LG
Generative AI and Digital Ecosystem Resilience: A Proactive Lifecycle-Based Survey
Google LLC(谷歌有限公司)
本文采用基于生命周期的C5交互模型,综合机器学习与社会科学方法,系统综述了针对生成式AI驱动的对抗性合成内容的主动检测技术,包括协调不真实行为分析、流行病学建模和霍克斯过程等,旨在构建更具韧性的信息生态系统。
2026-05-28 cs.AI cs.CL cs.CR
Security Assessment of Hierarchical Federated Deep Learning
Newcastle University(纽卡斯尔大学);Alahsa Technical College(艾拉哈萨技术学院);University of Catania(卡塔尼亚大学);Technical University of Ostrava(俄斯特拉发技术大学)
本研究评估分层联邦学习(HFL)的安全性,发现其对非目标训练时攻击鲁棒,但易受后门攻击,且分层聚合增强了对推理时攻击的抵抗力。
2024-08-20 cs.AI cs.CR cs.LG
Fairness Increases Adversarial Vulnerability
Syracuse University(雪城大学);Georgia Tech(佐治亚理工学院)
深度学习模型的卓越性能及其在重要领域(例如,面部识别)在公平和安全的交叉点上引入了重要的挑战。公平性和鲁棒性是学习模型中经常需要的两个理想概念。公平性确保模型不会对某些群体造成不成比例的伤害(或受益),而鲁棒性则衡量模型对小输入扰动的弹性。本文证明了公平性和鲁棒性之间存在二分法,并分析了当实现公平性时,模型对对抗样本的鲁棒性会降低。报告的分析揭示了导致这种对比行为的因素,表明跨群体的决策边界的距离是这种行为的关键解释。在非线性模型和不同的架构上进行了大量的实验,验证了多个视觉领域的理论研究结果。最后,本文提出了一种简单而有效的解决方案,以构建模型,实现公平性和鲁棒性之间的良好权衡。
2022-11-23 cs.AI cs.CR cs.LG
Adversarial Training for Tabular Credit Scoring: A Multi-Attack Robustness Evaluation in P2P Lending
University of Twente(特文特大学)
针对P2P借贷表格信用评分,系统评估对抗训练在多种攻击下的鲁棒性,发现混合攻击训练能实现最均衡的防御并保持性能。
2026-09-10 cs.LG q-fin.RM stat.ML
Enhancing Resilience of Deep Learning Networks by Means of Transferable Adversaries
University of Münster(明斯特大学)
一般的人工神经网络,特别是深度学习网络,将自己确立为流行且强大的机器学习算法。虽然这些网络的巨大规模在解决复杂任务时是有益的,但大量的参数也导致这些网络容易受到恶意行为的影响,例如对抗性扰动。这些扰动可以改变模型的分类决策。此外,虽然单步攻击者可以很容易地从一个网络转移到另一个网络,但更强大的多步攻击者的转移通常相当困难。在这项工作中,我们介绍了一种方法,用于生成强大的对手,可以很容易地(和经常)在不同的模型之间转移。然后,这种方法被用来生成一个大的对手,在此基础上,选定的防御方法的效果进行实验评估。最后,我们介绍了一种新的,简单的,但有效的方法来提高神经网络对对手的弹性和基准测试它对既定的防御方法。与现有的方法相比,我们提出的防御方法更有效,因为它只需要一个额外的前向传递,以实现可比的性能结果。
2020-05-27 cs.CR cs.LG stat.ML
PHANTOM: Physics-Aware Adversarial Attacks against Federated Learning-Coordinated EV Charging Management System
Florida International University(佛罗里达国际大学);North Carolina State University(北卡罗来纳州立大学)
PHANTOM通过多智能体强化学习和物理信息神经网络,提出了一种针对联邦学习协调电动车充电管理系统的物理感知对抗攻击方法,揭示了其对电网稳定性的影响。
2025-12-26 cs.ET cs.LG
Autonomous Cyber Resilience via a Co-Evolutionary Arms Race within a Fortified Digital Twin Sandbox
Telkom University(电信大学)
本文提出ARC框架,通过数字孪生沙箱内的共进化军备竞赛,实现工业控制系统对新型攻击的高效检测与防御,提升网络安全的动态适应能力。
2025-10-16 cs.CR cs.LG cs.SY
Simultaneously Optimizing Perturbations and Positions for Black-box Adversarial Patch Attacks
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Tencent Corporation(腾讯公司)
对抗补丁是现实世界中对抗攻击的一种重要形式,给深度神经网络的鲁棒性带来严重风险。先前的方法通过在固定粘贴位置的同时优化其扰动值或在固定补丁内容的同时操纵位置来生成对抗补丁。这表明位置和扰动对对抗攻击都很重要。为此,在本文中,我们提出了一种新的方法,同时优化的位置和扰动的对抗补丁,从而获得高的攻击成功率在黑盒设置。在技术上,我们把补丁的位置,预先设计的超参数,以确定补丁的扰动作为变量,并利用强化学习框架,同时解决最优解的基础上获得的回报,从目标模型与少量的查询。在人脸识别(FR)任务上进行了大量的实验,在4个具有代表性的FR模型上的实验结果表明,该方法可以显著提高攻击成功率和查询效率。此外,商业FR服务和物理环境的实验证实了其实际应用价值。我们还将我们的方法扩展到交通标志识别任务,以验证其泛化能力。
2022-12-26 cs.CV cs.LG
PINCH: An Adversarial Extraction Attack Framework for Deep Learning Models
Lancaster University(兰卡斯特大学);Mindgard(Mindgard公司)
对抗性提取攻击构成了对深度学习(DL)模型的潜在威胁,其中攻击者旨在窃取目标DL模型的架构、参数和超参数。现有的提取攻击文献已经观察到不同DL模型和数据集的攻击成功程度不同,但其易感性背后的根本原因通常仍不清楚,这将有助于创建安全的DL系统。在本文中,我们提出了PINCH:一个高效和自动化的提取攻击框架,能够设计,部署和分析跨异构硬件平台的提取攻击场景。使用PINCH,我们对21个模型架构进行了广泛的提取攻击实验评估,以探索新的提取攻击场景和进一步的攻击分期。我们的研究结果表明:(1)关键提取特征,即特定的模型配置对特定的攻击表现出很强的弹性,(2)即使部分提取成功,也可以进一步分期为其他对抗攻击,(3)等效被盗模型揭示了表达能力的差异,但表现出类似的捕获知识。
2023-01-31 cs.AI cs.CR cs.LG
MAT: A Multi-strength Adversarial Training Method to Mitigate Adversarial Attacks
Duke University(杜克大学);Hewlett Packard Labs(惠普实验室);Air Force Research Lab(美国空军研究实验室)
最近的一些研究表明,深度神经网络(DNN)很容易受到所谓的对抗攻击的攻击,其中输入示例被故意扰动以欺骗DNN。在这项工作中,我们重新审视了DNN训练过程,将对抗性示例包含到训练数据集中,以提高DNN对对抗攻击的弹性,即对抗性训练。我们的实验表明,不同的对抗强度,即,对抗性例子的扰动水平,有不同的工作区来抵抗攻击。在此基础上,提出了一种多强度对抗训练方法(MAT),该方法将具有不同对抗强度的对抗训练样本结合起来,以抵御对抗攻击。两种训练结构-混合MAT和并行MAT -的开发,以促进训练时间和内存占用之间的权衡。我们的研究结果表明,MAT可以大大减少深度学习系统对MNIST、CIFAR-10、CIFAR-100和SVHN的对抗攻击的准确性下降。
2018-05-11 cs.CV cs.LG
Simultaneously Learning Stochastic and Adversarial Bandits under the Position-Based Model
Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
在线学习排名(OLTR)交互式地学习基于描述用户点击行为的特定点击模型从大集合中选择项目列表。最近的工作,这个问题集中在随机环境中的项目吸引力被假定为在学习过程中是不变的。然而,在许多现实世界的场景中,环境可能是动态的,甚至是任意变化的。本文研究了基于位置模型(PBM)下随机环境和对抗环境下的OLTR问题。我们提出了一种基于Tsallis熵的FTRL框架的方法,并开发了一种新的自约束,特别是为PBM设计的。我们证明了该算法同时实现了随机环境下的$O(\log{T})$后悔和对抗环境下的$O(m\sqrt{nT})$后悔,其中$T$是轮数,$n$是项目数,$m$是位置数.我们还提供了对抗PBM的$Ω(m\sqrt{nT})$阶的下界,该下界与我们的上界相匹配,并在最先进的下界上有所改进。实验表明,我们的算法可以同时在随机和对抗性环境中学习,与现有的针对单一环境设计的方法相比具有竞争力。
2022-07-12 cs.LG
Exploring the Vulnerabilities of Machine Learning and Quantum Machine Learning to Adversarial Attacks using a Malware Dataset: A Comparative Analysis
Kennesaw State University(肯尼索州立大学);Nicolet High School(尼科莱特高中);Southern Polytechnic College of Engineering and Engineering Technology(南方理工工程与工程技术学院)
本文基于ClaMP恶意软件数据集比较了神经网络和量子神经网络对对抗性攻击的脆弱性,发现QNN准确率下降更大但精确率和召回率更具韧性,并揭示了跨模型对抗样本的迁移威胁。
2023-05-31 cs.LG quant-ph
Evaluation of Adversarial Training on Different Types of Neural Networks in Deep Learning-based IDSs
Carleton University(卡尔顿大学)
包括深度神经网络的入侵检测系统在内的网络安全应用正在迅速增加,使得异常活动的检测任务更加准确和鲁棒。随着DNN的使用和系统中传输的数据量的快速增长,不同类型的对抗攻击对击败它们构成了严峻的挑战。在本文中,我们重点研究了不同规避攻击的有效性,以及如何使用不同的神经网络来训练一个弹性的基于深度学习的IDS,例如,卷积神经网络(CNN)和递归神经网络(RNN)。我们使用最小-最大的方法来制定的问题,训练鲁棒的IDS对抗对抗的例子,使用两个基准数据集。我们在不同的深度学习算法和不同的基准数据集上的实验表明,使用基于对抗训练的最小-最大方法进行防御可以提高对五种著名的对抗攻击方法的鲁棒性。
2020-07-08 cs.LG stat.ML
Diverse Knowledge Distillation (DKD): A Solution for Improving The Robustness of Ensemble Models Against Adversarial Attacks
George Mason University(乔治梅森大学);University of California, Davis(加州大学戴维斯分校);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出了一种抗对抗性攻击的集成学习模型。为了建立弹性,我们引入了一个训练过程,每个成员都学习一个完全不同的潜在空间。成员模型一次添加一个到集合中。同时,损失函数由反向知识蒸馏调节,迫使新成员学习不同的特征并映射到与现有成员安全距离的潜在空间。我们使用CIFAR10和MNIST数据集评估了所提出的解决方案在图像分类任务上的安全性和性能,并与最先进的防御方法相比,显示了安全性和性能的提高。
2021-01-07 cs.LG eess.IV