Exploring Silent Data Corruption as a Reliability Challenge in LLM Training
研究静默数据损坏对LLM预训练的影响,通过GPU矩阵乘法指令注入故障,分析不同位位置、内核函数和执行阶段的敏感性,并提出轻量检测方法以缓解有害参数更新。
2026-04-01 cs.LG
Model Failure or Data Corruption? Exploring Inconsistencies in Building Energy Ratings with Self-Supervised Contrastive Learning
ADAPT Centre(ADAPT中心)
本研究提出CLEAR方法,利用自监督对比学习检测建筑能效评级中的不一致性,并在爱尔兰建筑数据集上验证,发现测量数据损坏证据。
2024-04-14 cs.AI cs.LG
Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity
Intel Corporation(英特尔公司)
在本文中,我们研究了多样性度量,准确性和深度学习(DL)图像分类器集成对自然图像损坏的弹性之间的关系。我们调查的潜在的基于属性的多样性度量,以提高已知的准确性多样性权衡的典型的基于预测的多样性。我们的动机是基于分析研究的设计多样性,已表明,减少常见的故障模式是可能的,如果实现多样性的设计选择。使用ResNet50作为比较基线,我们评估了多个单独的DL模型架构对与自然图像损坏相对应的数据集分布偏移的弹性。我们比较了使用独立训练或通过神经架构搜索技术训练的不同模型架构创建的集成,并评估了基于预测和基于属性的多样性与最终集成准确性的相关性。我们评估了一组多样性的执行策略的基础上负相关学习,以评估最终的合奏自然图像损坏的弹性和检查所产生的预测,激活和归因的多样性。我们的主要意见是:1)模型架构对于复原力比模型大小或模型准确度更重要,2)基于属性的多样性与集成准确度的负相关性比基于预测的多样性小,3)个体和集成准确度的平衡损失函数为图像自然损坏创建更有复原力的集成,4)架构多样性在所有探索的多样性度量中产生更多的多样性:预测、归因和激活。
2023-03-15 cs.AI cs.CV cs.LG
3D Common Corruptions and Data Augmentation
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑联邦理工学院))
我们引入了一组图像变换,可以用作腐败来评估模型的鲁棒性以及用于训练神经网络的数据增强机制。所提出的转换的主要区别是,与现有的方法,如常见的腐败,场景的几何形状被纳入转换-从而导致腐败,更有可能发生在现实世界中。我们还介绍了一组语义腐败(例如自然对象遮挡)。我们表明,这些转换是“有效的”(可以计算的飞行),“可扩展的”(可以应用于大多数图像数据集),暴露现有模型的脆弱性,并可以有效地使模型更强大时,作为“3D数据增强”机制。对几个任务和数据集的评估表明,将3D信息纳入基准测试和训练为鲁棒性研究开辟了一个有希望的方向。
2022-04-29 cs.CV cs.LG
Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks
Shanghai Jiao Tong University(上海交通大学);Queen’s University Belfast(女王学院 Belfast);Tsinghua University(清华大学);Stevens Institute of Technology(史蒂文斯理工学院)
本研究通过贝叶斯神经网络缓解扩散模型在少样本微调中的腐蚀阶段问题,提升生成图像质量。
2026-03-06 cs.AI cs.CV cs.LG
PRIME: A few primitives can boost robustness to common corruptions
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院);Imperial College London(伦敦帝国理工学院)
尽管深度网络在图像分类任务上的表现令人印象深刻,但它们很难概括其数据的不可预见的损坏。为了修复该漏洞,先前的工作已经构建了复杂的数据增强策略,结合多种方法来丰富训练数据。然而,引入复杂的设计选择或算法使得很难理解这些方法中的哪些元素确实对提高鲁棒性至关重要。在这项工作中,我们后退一步,遵循原则性的方法来实现对常见腐败的鲁棒性。我们提出PRIME,一个通用的数据增强计划,依赖于简单而丰富的家庭的最大熵图像变换。PRIME在破坏鲁棒性方面优于现有技术,而其简单性和即插即用性质使得能够与其他方法组合以进一步提高其鲁棒性。我们分析PRIME来阐明混合策略对合成损坏图像的重要性,并揭示常见损坏情况下产生的鲁棒性-准确性权衡。最后,我们表明,我们的方法的计算效率允许它很容易地用于在线和离线数据增强计划。
2022-03-13 cs.CV cs.LG
Bit-Flip Vulnerability of Shared KV-Cache Blocks in LLM Serving Systems
Institute of Science Tokyo(东京科学研究所)
研究揭示LLM服务系统中共享KV缓存块的位翻转漏洞,指出其具有静默分歧、选择性传播和持久累积特性,提出基于校验和的防护措施以限制累积损害。
2026-06-07 cs.AR cs.CR cs.LG
Stylized Synthetic Augmentation further improves Corruption Robustness
Institute of Industrial Automation and Software Engineering, University of Stuttgart, Stuttgart, Germany(工业自动化与软件工程学院,斯图加特大学,斯图加特,德国);Federal Institute for Occupational Safety and Health (BAuA)(联邦职业安全与健康研究所)
本文提出结合合成数据与风格迁移的增强方法,提升模型对抗鲁棒性,在多个基准上取得最佳性能。
2025-12-19 cs.CV cs.LG
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems(智能系统实验室)
本文提出对抗对比学习框架,通过生成实例级对抗样本并优化对比损失,同时增强目标检测器对对抗攻击和常见损坏的鲁棒性,以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
To Think or Not to Think: Exploring the Unthinking Vulnerability in Large Reasoning Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Huawei International, Singapore(华为国际(新加坡));State University of New York at Buffalo(纽约州立大学布法罗分校)
该研究发现大型推理模型存在可被特殊分隔符绕过思考过程的无思考漏洞,既提出了两类思维破解攻击与部分防御方法,也设计了思维监控框架以提升模型效率与安全性。
2025-05-16 cs.AI cs.CL cs.LG
Towards Class-wise Robustness Analysis
Visual Computing University of Siegen(锡根大学视觉计算学院);Fraunhofer ITWM Kaiserslautern(弗劳恩霍夫 ITWM 凯泽斯劳滕研究所);IMLA University of Offenburg(奥芬堡大学 IMLA 学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文分析对抗训练鲁棒分类器的类别间偏差,提出 Class False Positive Score,揭示目标类别误报数对攻击脆弱性的关键影响。
2025-03-13 cs.CV cs.LG
VulScribeR: Exploring RAG-based Vulnerability Augmentation with LLMs
University of Manitoba(曼尼托巴大学);Washington State University(华盛顿州立大学);University at Buffalo(布法罗大学)
本文提出 VulScribeR,利用大语言模型结合检索增强生成,通过变异、注入和扩展三种策略增强漏洞数据,在多个数据集上显著优于现有方法,并具备低成本大规模增强能力。
2025-08-12 cs.CR cs.LG cs.SE
Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts
Laboratory of Intelligent Systems(智能系统实验室)
本文提出类特定专家混合架构,通过为每个类别训练专门网络片段并聚合输出,以增强神经网络对常见污染的鲁棒性,并强调使用常见污染基准进行全面评估的重要性。
2023-11-16 cs.AI cs.CV cs.LG
Exploring Cross-Stage Adversarial Transferability in Class-Incremental Continual Learning
School of Integrated Technology / BK21 Graduate Program in Intelligent Semiconductor Technology(整合技术学院 / 智能半导体技术BK21研究生项目)
本文探讨了类增量持续学习中对抗转移攻击的脆弱性,揭示了持续学习方法对这类攻击的高度敏感性,并指出现有防御方法的不足。
2025-08-12 cs.LG
Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Michigan(密歇根大学);Tulane University(杜兰大学);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校)
认证的鲁棒性保证衡量模型对测试时攻击的鲁棒性,并可以评估模型在现实世界中部署的准备情况。在这项工作中,我们批判性地研究了当最先进的可证明的鲁棒模型遇到分布外(OOD)数据时,基于随机平滑的认证方法的对抗鲁棒性保证如何变化。我们的分析表明,这些模型对低频OOD数据(如与天气相关的损坏)存在以前未知的脆弱性,使这些模型不适合在野外部署。为了缓解这个问题,我们提出了一种新的数据增强计划,FourierMix,产生增强,以提高频谱覆盖的训练数据。此外,我们提出了一个新的正则化,鼓励一致的预测噪声扰动的增强数据,以提高平滑模型的质量。我们发现,FourierMix增强有助于消除光谱偏差的证明强大的模型,使他们能够实现显着更好的鲁棒性保证一系列的OOD基准。我们的评估还揭示了当前OOD基准在突出模型的光谱偏差方面的无能。为此,我们提出了一个全面的基准套件,包含腐败从不同地区的频谱域。对使用流行的增强方法训练的模型进行评估,突出了它们的频谱偏差,并确定了FourierMix训练模型在整个频谱上OOD偏移下实现更好的认证鲁棒性保证的优越性。
2021-12-01 cs.AI cs.CR cs.LG
Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models
School of Innovation, Design and Engineering(创新、设计与工程学院);Mälardalen University(梅拉达伦大学)
本文研究基于深度的动态推理对LLMs抵御越狱攻击鲁棒性的影响,发现浅层出口更抗攻击、深层出口攻击损失更低等,为设计更鲁棒的动态推理方法提供了见解。
2026-10-22 cs.AI cs.CL cs.CR
OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);China Academy of Information and Communications Technology(中国信息通信研究院)
本文提出OODFace基准,从常见损坏和外观变化两方面系统评估人脸识别模型在分布外场景下的鲁棒性,发现现有模型脆弱,并提供统一工具包与改进方向。
2025-03-27 cs.AI cs.CR cs.CV
VisMoDAl: Visual Analytics for Evaluating and Improving Corruption Robustness of Vision-Language Models
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学);George Mason University(乔治·马歇尔大学)
本文提出可视化分析框架VisMoDAl,用于评估视觉-语言模型在多种数据损坏下的鲁棒性并识别低表现样本,从而指导数据增强策略制定。
2025-09-18 cs.AI cs.HC cs.LG
Exploring Software Naturalness through Neural Language Models
IBM Research(IBM研究院)
软件自然性假设认为,程序设计语言可以通过自然语言处理中使用的相同技术来理解。我们通过使用预先训练的基于transformer的语言模型来执行代码分析任务来探索这一假设。目前的代码分析方法在很大程度上依赖于从抽象树(AST)的功能,而我们的基于transformer的语言模型的原始源代码的工作。这项工作是第一次调查是否这样的语言模型可以自动发现AST功能。为了实现这一点,我们引入了一个序列标记任务,直接探测的语言模型理解AST。我们的研究结果表明,Transformer为基础的语言模型实现高精度的AST标注任务。此外,我们评估我们的模型上的软件漏洞识别任务。重要的是,我们表明,我们的方法获得的漏洞识别结果相比,严重依赖编译器的特征提取基于图的方法。
2020-06-24 cs.CL cs.LG cs.PL
Scalable Kronecker-Fisher Approximation: Efficient Hessian Analysis for Billion-Parameter Language Models Compression
HSE University(高等经济大学)
本文提出一种可扩展的克罗内克-费舍尔近似方法,实现了十亿参数语言模型的高效海森分析,揭示了值投影层的高敏感性与强跨层相关性,可用于识别大模型脆弱组件,支撑多种压缩优化策略。
2026-09-03 cs.AI cs.CL cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London(伦敦国王学院)
深度神经网络很容易被欺骗,通过对抗性扰动(人类无法感知的人工噪声)破坏输入来做出错误的预测。到目前为止,对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练,以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现,在训练过程中,通过牺牲相当大比例的训练样本来更容易受到对抗攻击,从而导致数据中对抗脆弱性的不均匀分布,从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在,更重要的是,与对抗训练中的过度拟合有关。基于这一观察,我们提出了一种新的对抗训练方法:实例自适应平滑增强对抗训练(ISEAT)。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观,以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明,我们的方法优于现有的防御方法。值得注意的是,我们的方法,结合最新的数据增强和半监督学习技术,实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据,和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
A Geometric Framework for Adversarial Vulnerability in Machine Learning
University of Arizona(亚利桑那大学)
本文提出一个基于 Ricci 曲率与持久性的几何框架,旨在理解神经网络的对抗脆弱性,并发展双线性映射表示等新工具,以支持对抗攻击的猜想与理论分析。
2024-07-03 cs.CR cs.LG stat.ML
SmoothFool: An Efficient Framework for Computing Smooth Adversarial Perturbations
West Virginia University(西弗吉尼亚大学)
深度神经网络容易受到输入域中的对抗性操作的影响。在$\ell_p$ -有界和$\ell_p$ -最小对抗扰动的情况下,已经深入探讨了脆弱性的程度。然而,DNN对具有特定统计特性或频域特征的对抗性扰动的脆弱性尚未得到充分探讨。在本文中,我们研究了扰动的光滑性,并提出了SmoothFool,一个通用的和计算效率高的框架,用于计算光滑的对抗扰动。通过大量的实验,我们验证了所提出的方法的白盒和黑盒攻击的情况下的有效性。特别是,我们证明:(i)对于良好建立和广泛使用的网络架构,存在极其平滑的对抗性扰动,(ii)平滑性显著增强了扰动对最先进的防御机制的鲁棒性,(iii)平滑性提高了对抗性扰动跨数据点和网络架构的可转移性,和(iv)类类别表现出对平滑扰动的可变范围的敏感性。我们的研究结果表明,平滑AP可以在探索DNN对对抗性示例的脆弱程度方面发挥重要作用。
2019-10-08 cs.CV cs.LG stat.ML
Exploring the Landscape of Spatial Robustness
MIT(麻省理工学院)
对抗鲁棒性的研究主要集中在p-范数约束的扰动上。然而,最先进的模型也容易受到其他更自然的扰动,如平移和旋转。在这项工作中,我们彻底调查的脆弱性神经网络-基于分类旋转和平移。虽然数据增强提供了相对较小的鲁棒性,我们使用鲁棒优化和测试时输入聚合的想法,以显着提高鲁棒性。最后,我们发现,在p-范数的情况下,一阶方法不能可靠地找到最坏情况下的扰动。这突出了空间鲁棒性作为一个根本不同的设置,需要额外的研究。代码可在https://github.com/MadryLab/adversarial_spatial和https://github.com/MadryLab/spatial-pytorch上获得。
2019-09-16 cs.CV cs.LG cs.NE
Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators
University of Rochester(罗切斯特大学);PerceptIn;Arm Research(Arm研究院)
本文提出Thales方法,通过准确捕获瞬态故障下DNN变量的故障概率并利用蒙特卡洛积分加速估计弹性准确率(RA),揭示了瞬态故障导致的准确率下降远超现有工具估计,并可与网络架构搜索框架集成以设计更具弹性的DNN。
2024-01-07 cs.AR cs.CR cs.LG
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman(克尔曼沙希德巴霍纳尔大学);York University(约克大学);Instituto Tecnológico de Costa Rica(哥斯达黎加技术学院)
本文利用近似乘法器替换深度神经网络中的精确乘法器,在可行时间内探索并提升了模型对抗攻击的鲁棒性,无攻击时精度下降最多7%,攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
Exploring Adversarial Examples via Invertible Neural Networks
Purdue University(普渡大学)
对抗性样本(AE)是可以通过向原始图像中引入轻微扰动来误导深度神经网络(DNN)分类器的图像。这种安全漏洞近年来引发了广泛的研究,因为它可以将现实世界的威胁引入依赖神经网络的系统。然而,对对抗性例子的特征的深刻理解仍然难以捉摸。我们提出了一种新的方式来实现这种理解,通过最近的发展,即可逆的神经模型与Lipschitz连续映射函数从输入到输出。通过将任何潜在表示反转回其对应的输入图像的能力,我们可以在更深层次上研究对抗性示例,并解开对抗性示例的潜在表示。鉴于这种新的视角,我们提出了一种快速的潜在空间对抗性示例生成方法,可以加速对抗性训练。此外,这种新的视角可能有助于对抗性示例检测的新方法。
2020-12-24 cs.CR cs.LG
ODE guided Neural Data Augmentation Techniques for Time Series Data and its Benefits on Robustness
IIT Hyderabad(印度理工学院海得拉巴分校);IIT Madras(印度理工学院马德拉斯分校)
探索对抗攻击向量并研究它们对机器学习算法的影响一直是研究人员感兴趣的。在这种情况下,与图像对应物相比,处理时间序列数据的深度神经网络受到的关注较少。在最近的一项发现中,已经揭示了当前最先进的深度学习时间序列分类器容易受到对抗攻击的攻击。本文介绍了两种基于局部梯度和一种基于谱密度的时间序列数据增强技术。我们表明,使用我们的技术获得的数据训练的模型在各种时间序列基准上获得了最先进的分类精度。此外,它提高了模型对一些最常见的腐败技术,如快速梯度符号法(FGSM)和基本迭代法(BIM)的鲁棒性。
2020-09-27 cs.LG stat.ML
ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks
Nanyang Technological University(南洋理工大学);Beihang University(北航大学)
本文提出双重学习假设解释 ICL 后门攻击机理,并据此设计 ICLShield 防御机制,通过动态调整概念偏好比率选择干净演示,在多个 LLM 上取得最优防御效果。
2025-07-02 cs.AI cs.CR cs.LG
Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness
University of Alberta(阿尔伯塔大学)
本研究探索Softmax温度缩放对图像分类的影响,发现适度温度提升性能,高温增强对损坏和对抗攻击的鲁棒性,并有助于对抗训练。
2025-02-28 cs.AI cs.LG
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Graz University of Technology(格拉茨技术大学)
深度神经网络在很大程度上依赖于归一化方法来提高其性能和学习行为。虽然规范化方法促进了越来越深入和有效的架构的发展,但它们也增加了噪声和输入损坏的脆弱性。然而,在大多数应用中,噪声是无处不在和多样化的;这通常会导致机器学习系统完全失败,因为它们无法处理训练和测试期间输入分布之间的不匹配。最常见的归一化方法是批量归一化,它减少了训练期间的分布偏移,但对测试期间输入分布的变化不可知。这使得批量归一化在测试期间出现噪声时易于性能下降。基于样本的归一化方法可以校正激活分布的线性变换,但不能减轻分布形状的变化;这使得网络容易受到无法反映在归一化参数中的分布变化的影响。我们提出了一种无监督的非参数分布校正方法,该方法适应每层的激活分布。这通过最小化1-D Wasserstein距离来减少训练和测试时间分布之间的不匹配。在我们的实验中,我们的经验表明,该方法有效地减少了强烈的图像损坏的影响,从而提高了分类性能,而不需要重新训练或微调模型。
2021-10-05 cs.CV cs.LG
Exploring the Limits of Model-Targeted Indiscriminate Data Poisoning Attacks
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出模型投毒可达性与可计算阈值,刻画模型靶向无差别数据投毒的相变条件,并通过改进 Gradient Canceling 攻击验证理论、提升多数据集与模型上的攻击基线。
2023-06-06 cs.CR cs.LG
Advancing Melanoma Diagnosis with Self-Supervised Neural Networks: Evaluating the Effectiveness of Different Techniques
Greenwood High International School(格林伍德高中国际学校);Weill Cornell Medicine(威尔康奈尔医学院)
本研究评估多种自监督技术对黑色素瘤斑块分类深度学习模型准确性的影响,发现损坏去除方法效果显著,并指出通过更多训练轮次或扩大数据集可进一步提升性能,建议未来探索BYOL和对比学习等方法。
2024-07-19 cs.CV cs.LG
Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis
Queen’s University(女王大学)
基于变压器的模型(如BERT、GPT和RoBERTa)的发明使研究人员和金融公司能够微调这些强大的模型,并将其用于不同的下游任务,以实现最先进的性能。最近,一个轻量级的替代(约0.1% - 3%的原始模型参数)微调,称为前缀调优已被引入。此方法冻结模型参数,仅更新前缀,以实现与完全微调相当的性能。前缀调优使研究人员和金融从业者能够用更少的参数实现类似的结果。在本文中,我们探讨了前缀调整的鲁棒性时,面对噪声数据。我们的实验表明,微调是更强大的噪声比前缀调整-后一种方法面临着显着降低性能的最损坏的数据集,随着噪声水平的增加。此外,与许多腐败方法中的微调相比,前缀调整在F1分数中具有高方差。我们强烈主张,在将最先进的前缀调优方法应用于噪声数据时,应谨慎行事。
2022-10-26 cs.AI cs.CE cs.CL
Beyond Accuracy: Evaluating Efficiency, Robustness and Explainability in Deep Learning for Malaria Diagnosis
African Institute for Mathematical Sciences(非洲数学科学研究所);Hertie Institute for AI in Brain Health(脑健康人工智能研究所)
本研究在NLM-Malaria数据集上基准测试四种深度学习模型,联合评估预测性能、鲁棒性和事后可解释性,发现轻量级模型在性能上与重型模型相当,但可解释性在图像损坏下脆弱。
2026-05-29 cs.CV cs.LG
Terminal Brain Damage: Exposing the Graceless Degradation in Deep Neural Networks Under Hardware Fault Attacks
University of Maryland, College Park(马里兰大学帕克分校);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
深度神经网络(DNN)已被证明可以容忍“脑损伤”:网络参数的累积变化(例如,修剪、数值扰动)通常导致分类精度的适度降低。然而,在DNN参数的底层存储器表示存在小的对抗性变化(例如可能由硬件故障攻击引起的位翻转)的情况下,这种自然弹性的限制并没有得到很好的理解。我们研究了19个DNN模型的按位损坏的影响-三个图像分类任务的六个架构-我们发现大多数模型至少有一个参数,在其按位表示中的特定位翻转后,会导致超过90%的准确性损失。我们采用简单的算法来有效地识别可能易受攻击的参数。我们估计,模型中40-50%的参数可能会导致精度下降超过10%,当单独受到这样的单比特扰动。为了演示对手如何利用此漏洞,我们研究了示例性硬件故障攻击Rowhammer对DNN的影响。具体来说,我们表明,一个Rowhammer使攻击者共同位于同一物理机可以造成显着的准确性下降(高达99%),即使单个位翻转损坏和不知道的模型。我们的研究结果揭示了DNN对现实世界故障攻击引起的参数扰动的弹性极限。最后,我们讨论了可能的缓解措施和未来的研究方向故障攻击弹性DNN。
2019-06-03 cs.CR cs.LG
VCAT: Vulnerability-aware and Curiosity-driven Adversarial Training for Enhancing Autonomous Vehicle Robustness
State Key Laboratory of Intelligent Transportation Systems(智能交通系统国家重点实验室);School of Transportation Science and Technology, Beihang University(北京航空航天大学交通科学与工程学院);Department of Civil and Environmental Engineering, Rensselaer Polytechnic Institute(伦斯勒理工学院土木与环境工程系)
针对自动驾驶车辆对抗训练中攻击者易陷入过度利用已知漏洞的问题,提出 VCAT 框架,利用代理网络感知受害者漏洞并结合随机网络蒸馏构建内在奖励引导探索,显著提升了自动驾驶车辆的鲁棒性并降低了碰撞率。
2024-09-19 cs.AI cs.LG
Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations
University of Alberta(阿尔伯塔大学);Harbin Engineering University(哈尔滨工程大学);Huawei Kirin Solution(华为麒麟解决方案部)
本文研究分布式强化学习在噪声状态观测下的训练鲁棒性,通过理论分析梯度稳定性和实验验证,证明其优于基于期望的方法。
2023-06-21 cs.LG
Shape-Biased Domain Generalization via Shock Graph Embeddings
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);Brown University(布朗大学)
有一种新兴的感觉,图像卷积神经网络(CNN)的脆弱性,即,对图像损坏、扰动和对抗攻击的敏感性与纹理偏差有关。这种形状偏差的相对缺乏也是领域泛化(DG)性能不佳的原因。包括形状的作用消除了这些弱点,并且一些方法已经通过在负像、具有边缘图的图像或具有冲突的形状和纹理信息的图像上进行训练来实现这一点。本文提出了一种基于经典计算机视觉的形状表示方法,即用等高线图的冲击图表示图像的形状内容。得到的图及其描述符是轮廓内容的完整表示,并使用最近的图神经网络(GNN)方法进行分类。三个域移位数据集,彩色MNIST,PACS和VLCS的实验结果表明,即使不使用外观的基于形状的方法超过经典的图像CNN的方法在领域泛化。
2021-09-13 cs.CV cs.LG
GraphDLG: Exploring Deep Leakage from Gradients in Federated Graph Learning
C-FAIR \& School of Software Shandong University Jinan China;SKLCCSE Lab Beihang University Beijing China;Automation \& Intelligent Sensing Shanghai Jiao Tong University Shanghai China;Shandong University;Beihang University;Shanghai Jiao Tong University
GraphDLG通过解耦图结构和节点特征,有效从共享梯度中恢复原始图数据,提升了节点特征和图结构重建的性能。
2026-01-27 cs.LG
Improving robustness of jet tagging algorithms with adversarial training: exploring the loss surface
Center for Theoretical Physics, Sloane Physics Laboratory, Yale University(理论物理中心,斯洛恩物理实验室,耶鲁大学);III. Physics Institute A, RWTH Aachen University(物理研究所A,亚琛工业大学)
研究通过对抗训练提升喷注标记算法鲁棒性,探索输入和模型对应的损失曲面几何解释,考虑相关性以提高模型稳定性。
2023-03-25 cs.AI cs.LG hep-ex