AdvCat: Domain-Agnostic Robustness Assessment for Cybersecurity-Critical Applications with Categorical Inputs
INRIA(法国国家信息与自动化研究所);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Beijing Jiaotong University(北京交通大学);University of Notre Dame(圣母大学)
机器学习即服务系统(MLaaS)主要是为网络安全关键应用开发的,例如检测网络入侵和假新闻活动。尽管有效,但它们对对抗攻击的鲁棒性是MLaaS部署的关键信任问题之一。因此,我们有动机评估这些安全关键应用程序的核心中的机器学习模型的对抗鲁棒性。以前关于访问模型鲁棒性以防止操纵分类输入的研究工作是特定于用例的,并且严重依赖于领域知识,或者需要对目标ML模型进行白盒访问。这些限制阻止了健壮性评估作为提供给各种真实世界应用的域不可知服务。我们提出了一个可证明的最佳但计算效率很高的对抗鲁棒性评估协议,用于广泛的ML驱动的网络安全关键应用程序。我们展示了使用域不可知的鲁棒性评估方法与大量的实验研究假新闻检测和入侵检测问题。
2022-12-13 cs.AI cs.CR cs.LG
FraudBench: Protocol-Sensitive Benchmarking of Adversarial Robustness for Financial Risk Assessment
FraudBench是面向金融风险评估的协议敏感型对抗鲁棒性基准,通过三种匹配协议评估不同模型,发现鲁棒性结论具协议敏感性,提出应将领域约束纳入攻击生成。
2026-08-26 cs.AI cs.LG
Direct evaluation of progression or regression of disease burden in brain metastatic disease with Deep Neuroevolution
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
目的:推进癌症治疗研究的一个核心组成部分是评估对治疗的反应。手工操作,例如按照RECIST或RANO标准,是繁琐、耗时的,并且可能错过重要的肿瘤缓解信息;最值得注意的是,它们排除了非靶病灶。我们希望以包括所有病变的整体方式评估变化,获得肿瘤进展或消退的简单,信息丰富和自动化评估。由于临床试验的患者入组率通常较低,我们希望使用小训练集进行缓解评估。深度神经进化(DNE)可以产生在小训练集上表现良好的放射学人工智能(AI)。在这里,我们使用DNE的功能近似,预测进展与退化的转移性脑疾病。方法:我们分析了50对MRI对比增强图像作为我们的训练集。这些图像中有一半在时间上分开,符合疾病进展的条件,而其他25张图像构成了退化。我们通过由随机CNN权重调整和突变适应度组成的突变来训练相对较小的CNN的参数。然后,我们将最好的突变纳入下一代CNN,重复这个过程大约50,000代。我们将CNN应用于我们的训练集,以及一个单独的测试集,其中具有25个进展和25个回归图像的同类平衡。结果:DNE实现了单调收敛到100%的训练集准确率。DNE也单调收敛到100%测试集精度。结论:DNE可以准确地对脑转移性疾病的进展与消退进行分类。未来的工作将从2D图像切片扩展到完整的3D体积,并包括无变化的类别。我们相信,像我们这样的方法最终可以为RANO/RECIST评估提供有用的辅助。
2022-03-24 cs.AI cs.CV cs.LG
Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment
University of Cambridge(剑桥大学)
语法错误纠正(GEC)系统执行序列到序列任务,其中包含语法错误的输入词序列由GEC系统纠正这些错误,以输出语法正确的词序列。随着深度学习方法的出现,自动化GEC系统变得越来越流行。例如,GEC系统通常用于英语学习者的语音翻译,作为评估和反馈的一种形式-这些功能强大的GEC系统可以用于自动测量候选人流利程度的一个方面。从候选人的输入句子(或文章)到GEC系统的语法校正的输出句子的\textit{edits}的计数指示候选人的语言能力,其中较少的编辑表明更好的流利性。因此,编辑的计数可以被视为\textit{fluency score},其中零表示完美的流畅性。然而,尽管基于深度学习的GEC系统非常强大和准确,但它们容易受到对抗攻击的影响:对手可以在系统的输入处引入小的特定变化,从而在输出处引起大的不期望的变化。当考虑将GEC系统应用于自动语言评估时,对手的目的可能是通过对语法不正确的输入句子进行小的更改来欺骗,从而隐藏GEC系统的错误,这样就不会发现编辑,并且候选人被不公正地授予完美的流利度分数。这项工作研究了一个简单的通用替代对抗攻击,非英语母语的人可以实际上采用欺骗GEC系统用于评估。
2022-08-19 cs.CL cs.CY cs.LG
A Self-adaptive Neuroevolution Approach to Constructing Deep Neural Network Architectures Across Different Types
Dalian Maritime University(大连海事大学);Sun Yat-sen University(中山大学);Hanyang University(汉阳大学);Victoria University(维多利亚大学);Chaoyang University of Technology(朝阳科技大学)
神经进化极大地促进了深度神经网络(DNN)的架构设计及其应用,但缺乏跨不同类型DNN的规模和性能方法。在这项研究中,我们提出了一种自适应神经进化(SANE)方法来自动构建各种轻量级DNN架构,用于不同的任务。SANE中的关键设置之一是由自适应不同DNN类型的细胞和器官定义的搜索空间。在此搜索空间的基础上,设计了一种具有统一进化设置和操作的构造性演化策略,以逐步扩展DNN体系结构。SANE能够自适应地调整进化探索和利用,以提高搜索效率。此外,一个物种形成计划,以保护进化早期收敛限制物种内的选择竞争。为了评估SANE,我们进行了神经进化实验,以生成不同的DNN架构,包括卷积神经网络,生成对抗网络和长短期记忆。结果表明,所获得的DNN架构可以有较小的规模与类似的性能相比,现有的DNN架构。我们提出的SANE提供了一种有效的方法来自适应地搜索不同类型的DNN架构。
2023-02-02 cs.AI cs.NE
QSTAformer: A Quantum-Enhanced Transformer for Robust Short-Term Voltage Stability Assessment against Adversarial Attacks
School of Electrical Engineering, Northeast Electric Power University(东北电力大学电气工程学院);State Grid Shandong Electric Power Company Jiaozhou Power Supply Company(山东电网济南供电分公司);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology(香港科技大学土木与环境工程系);State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources, School of Electrical & Electronic Engineering, North China Electric Power University(可再生能源电力系统国家重点实验室,华北电力大学电气与电子工程学院);Department of Electrical Engineering, City University of Hong Kong(香港城市大学电气工程系)
QSTAformer通过整合参数化量子电路的增强型变压器架构,提升对抗攻击下的短期电压稳定性评估的鲁棒性和效率。
2025-11-29 cs.LG cs.SY eess.SY
Adversarial Stress Testing of Outlier Detection in Subjective Image Quality Assessment
Department of Computer and Information Science, University of Konstanz, Konstanz, Germany(计算机与信息科学系,康斯坦茨大学,康斯坦茨,德国)
针对主观图像质量评估中异常值检测方法的性能评估缺口,提出通用经验最坏情况框架,验证其能揭示方法的最坏情况表现,还提出低复杂度异常值检测方法,实现出色的最坏情况性能。
2026-09-03 cs.LG cs.MM eess.IV
Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Computational Robotics Lab, ETH Zurich(苏黎世联邦理工学院计算机器人实验室);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出一种利用序列对抗攻击识别四足运动控制器弱点的计算方法,揭示最先进鲁棒控制器在低幅度对抗序列下会失效,并验证该方法能有效增强原始策略鲁棒性及评估黑盒策略安全性。
2024-05-30 cs.LG cs.RO
Coevolution of Generative Adversarial Networks
生成对抗网络(GAN)在计算机视觉领域取得了令人瞩目的成果,成为当前的研究热点。然而,GAN模型仍然存在一些问题,如训练的稳定性和架构的手工设计。神经进化是一种技术,可以用来提供网络架构的自动设计,即使在大搜索空间,如在深神经网络。因此,本项目提出了COEGAN,这是一种在GAN训练算法的协调中结合神经进化和协同进化的模型。该建议使用的生成器和可重构组件之间的对抗特性,设计一个算法,使用协同进化技术。我们的建议在MNIST数据集中进行了评估。结果表明,训练稳定性的改善和有效的网络结构的自动发现GANs。我们的模型也部分地解决了模式坍塌的问题。
2019-12-12 cs.NE
Deep Learning Defenses Against Adversarial Examples for Dynamic Risk Assessment
Vicomtech Foundation(维康特奇基金会);Basque Research and Technology Alliance(巴斯克研究与技术联盟)
深度神经网络最初是在几十年前开发的,但直到最近,由于其计算能力的要求,它们才开始被广泛使用。从那时起,它们越来越多地应用于许多领域,并取得了深远的进步。更重要的是,它们已被用于关键事项,例如在医疗程序或自动驾驶中做出决策,其中风险管理至关重要。在这些领域的诊断或决策中的任何错误都可能导致严重事故,甚至死亡。这是令人关注的,因为已经多次报道攻击这种类型的模型是直接的。因此,必须对这些攻击进行研究,以评估其风险,并开发防御措施,使模型更加强大。在这项工作中,选择了最广为人知的攻击(对抗攻击),并对其实施了几种防御(即对抗训练,降维和预测相似性)。所获得的结果使得模型在保持相似精度的同时更加鲁棒。这个想法是使用乳腺癌数据集和VGG 16和密集神经网络模型开发的,但解决方案可以应用于其他领域的数据集和不同的卷积和密集深度神经网络模型。
2020-07-02 cs.CR cs.LG stat.ML
Conditional Adversarial Fragility in Financial Machine Learning under Macroeconomic Stress
本研究探讨了金融机器学习中宏观经济压力对对抗鲁棒性的影响,发现压力环境下模型对抗脆弱性显著增加,提出基于制度意识的评估框架及解释性治理层。
2025-12-22 cs.AI cs.CR cs.LG
Understanding Deep Learning defenses Against Adversarial Examples Through Visualizations for Dynamic Risk Assessment
Vicomtech Foundation(维康科技基金会)
本研究针对深度神经网络防御对抗性样本攻击的不透明性,通过可视化方法比较了对抗性训练、降维和预测相似性三种防御措施对模型行为的改变,以更准确地理解被防御模型性能的修改方式。
2024-02-12 cs.CR cs.LG
ERTS: Adversarial Robustness Testing of Ethical AI via Semantic Perturbation in a Bounded Consequence Space
Pratyush Chaudhari(普拉蒂什·查德哈里)
提出伦理鲁棒性测试系统(ERTS),通过有界伦理后果空间、语义扰动和领域自适应评估,测试AI在伦理推理中的对抗鲁棒性,实验表明仅33%模型通过测试。
2026-06-12 cs.AI
Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge
University of Calabria(卡利博利亚大学)
提出可扩展基准框架,用LLM-as-a-Judge评估LLM对抗性偏见诱导的鲁棒性,发布CLEAR-Bias数据集,发现偏见韧性不均且无模型完全鲁棒。
2025-10-16 cs.AI cs.CL
Real-time Factuality Assessment from Adversarial Feedback
Duke University(杜克大学)
提出利用基于 RAG 检测器的自然语言反馈,将实时新闻迭代改写为对抗性欺骗变体,以评估 LLM 检索证据并推理时事的能力。
2025-07-27 cs.AI cs.CL
Selecting Models based on the Risk of Damage Caused by Adversarial Attacks
neurocat(neurocat公司)
监管、法律责任和社会问题对人工智能在安全和安全关键型应用中的采用提出了挑战。其中一个关键问题是,对手可以通过操纵模型预测而不被发现来造成伤害。因此,监管要求对对手造成损害的风险进行评估。然而,没有方法将这种高层次的需求转化为量化损害风险的可操作指标。在这篇文章中,我们提出了一种方法来建模和统计估计的损害概率所产生的对抗攻击。我们表明,我们提出的估计是统计一致和无偏的。在实验中,我们证明了我们的方法的估计结果有一个明确的和可操作的解释,并优于传统的指标。然后,我们将展示运营商如何使用估计结果来可靠地选择风险最低的模型。
2023-01-28 cs.AI cs.LG
Adversarial Attacks Assessment of Salient Object Detection via Symbolic Learning
CICESE Research Center(CICESE研究中心);Monterrey Institute of Technology and Higher Education(蒙特雷理工学院);Anáhuac University(阿纳瓦克大学);National Institute of Technology Rourkela(国家理工学院鲁尔克拉分校);Terra-Peninsular;Cornell Lab of Ornithology(康奈尔鸟类学实验室);Universidad Autónoma de San Luis Potosí(圣路易斯波托西自治大学)
本研究评估了符号学习方法Brain programming在显著性目标检测中抵御对抗攻击和噪声扰动的鲁棒性,证明其性能不受影响,显著优于五种深度学习方法,并强调了野生动物监控中的安全性。
2023-09-12 cs.CR cs.CV cs.LG
Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);United States Military Academy(美国军事学院)
本文系统比较了CNN、LSTM和随机森林三种分类器在对抗攻击下的鲁棒性,发现随机森林基线准确率虽高但极易被攻破,而CNN表现最稳健。
2026-06-11 cs.CR cs.LG
Towards Assessment of Randomized Smoothing Mechanisms for Certifying Adversarial Robustness
University of Toronto(多伦多大学);State University of New York at Buffalo(纽约州立大学布法罗分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
作为一种经过认证的防御技术,随机平滑由于其对大型数据集和神经网络的可扩展性而受到相当大的关注。然而,几个重要的问题仍然没有答案,如(i)高斯机制是否是一个适当的选择,用于证明$\ell_2$ -范数鲁棒性,以及(ii)是否有一个适当的随机化(平滑)机制,以证明$\ell_\infty$ -范数鲁棒性。为了阐明这些问题,我们认为,主要的困难是如何评估每个随机机制的适当性。在本文中,我们提出了一个通用的框架,连接现有的框架在\cite{lecuyer2018certified, li2019certified},评估随机机制。在我们的框架下,对于一个可以证明一定程度的鲁棒性的随机机制,我们定义其所需的加性噪声的大小作为评估其适当性的度量。我们还证明了这个度量的$\ell_2$规范和$\ell_\infty$规范的情况下,作为评估的标准的下限。基于我们的框架,我们通过比较这些机制所需的加性噪声的大小和下限(标准)来评估高斯和指数机制。我们首先得出结论,高斯机制确实是一个适当的选择,以证明$\ell_2$ -范数的鲁棒性。令人惊讶的是,我们表明,高斯机制也是一个适当的选择,用于证明$\ell_\infty$规范的鲁棒性,而不是指数机制。最后,我们将我们的框架推广到任何$p\geq2$的$\ell_p$ -范数。我们的理论研究结果通过CIFAR 10和ImageNet的评估得到了验证。
2020-06-07 cs.CR cs.LG stat.ML
Cloud-based XAI Services for Assessing Open Repository Models Under Adversarial Attacks
Concordia University(康考迪亚大学)
针对开源AI模型在对抗攻击下XAI评估复杂的问题,本文提出基于云的微服务XAI评估框架,通过流水线组织任务并集成开放XAI工具库,系统评估模型的计算成本、性能、鲁棒性、解释偏差和解释弹性等质量属性。
2024-10-01 cs.AI cs.CR
Attack Assessment and Augmented Identity Recognition for Human Skeleton Data
Dept. of ECE(电子工程系);Old Dominion University(旧 Dominion 大学);Dept. of Computer Science(计算机科学系);Amherst College(阿默斯特学院);Hampshire County, MA, USA(马萨诸塞州汉普郡县)
本文提出Attack-AAIRS框架,利用真实与合成数据提升HCN-ID模型对未知对抗攻击的鲁棒性,通过生成对抗样本增强模型防御能力,实验显示模型在保持真实数据测试性能的同时提高了对抗攻击的鲁棒性。
2026-03-25 cs.CR cs.CV cs.LG
OpenFact at CheckThat! 2024: Combining Multiple Attack Methods for Effective Adversarial Text Generation
Poznań University of Economics and Business(波兹南经济与商业大学)
本文针对 CheckThat! 2024 任务 6,通过修改 BERT-Attack 并结合遗传算法、TextFooler 和 CLARE 等多种方法,在五个数据集上显著提升了对抗文本攻击的有效性,为构建更鲁棒的文本分类系统提供支持。
2024-09-05 cs.AI cs.CL
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
尽管研究界付出了巨大的努力,但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外,鲁棒性评估通常是不精确的,使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策,这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明,目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外,我们观察到,在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果,我们提出了一种新的对抗攻击损失函数,与19个分析模型中的19个相比,该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Perceptual Evaluation of Adversarial Attacks for CNN-based Image Classification
National Institute of Telecommunications and ICT(国家电信与信息通信技术研究院);Univ. Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心)
深度神经网络(DNN)最近取得了最先进的性能,并在许多机器学习任务中取得了重大进展,如图像分类,语音处理,自然语言处理等。例如,在图像分类域中,向输入图像添加小的不可感知的扰动足以欺骗DNN并导致误分类。扰动后的图像称为\textit{adversarial example},在视觉上应尽可能接近原始图像。然而,文献中提出的用于生成对抗性示例的所有工作都使用$L_{p}$范数($L_{0}$、$L_{2}$和$L_{\infty}$)作为距离度量来量化原始图像和对抗性示例之间的相似性。尽管如此,$L_{p}$规范与人类判断不相关,使得它们不适合可靠地评估对抗性示例的感知相似性/保真度。在本文中,我们提出了一个数据库的视觉逼真度评估的对抗性的例子。我们描述了数据库的创建,并评估了15个国家的最先进的全参考(FR)图像保真度评估指标,可以取代$L_{p}$规范的性能。该数据库和主观评分是公开的,可以帮助设计对抗性示例的新指标,并促进未来的研究工作。
2019-06-01 cs.CR cs.CV cs.LG
Outsmarting the Chameleon: Counterfactual Decoupling for Tactical OOD Shifts in Live Streaming Risk Assessment
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);ByteDance China(字节跳动中国)
针对直播中恶意行为者通过战术性分布偏移(Tactical OOD Shift)规避检测的问题,提出基于潜在因果的反事实解耦框架LPCD,通过潜在层建模意图与叙事变化并强制潜在反事实一致性,实现鲁棒的风险评估。
2026-06-01 cs.CR cs.LG
A Holistic Assessment of the Reliability of Machine Learning Systems
Stanford University(斯坦福大学)
本文提出一种全面评估机器学习系统可靠性的方法,通过五个关键属性和可靠性评分对超过500个模型进行评估,发现某些算法技术可同时提升多个指标上的可靠性,为未来研究提供路线图。
2023-07-29 cs.LG
COEGAN: Evaluating the Coevolution Effect in Generative Adversarial Networks
生成对抗网络(GAN)在根据输入数据集的分布生成样本方面呈现出最先进的结果。然而,GANs很难训练,模型的几个方面需要事先手工设计。神经进化是用于提供网络架构的自动设计的公知技术,其最近被扩展到深度神经网络。COEGAN是一种在GAN训练算法中使用神经进化和协同进化的模型,提供了一种更稳定的训练方法和神经网络架构的自动设计。COEGAN利用GAN组件的对抗方面来实现训练算法中的协同进化策略。我们的建议在Fashion-MNIST和MNIST数据集中进行了评估。我们将我们的结果与基于DCGAN的基线进行比较,并与随机搜索算法的结果进行比较。我们表明,我们的方法是能够发现高效的架构在时尚MNIST和MNIST数据集。结果还表明,COEGAN可以用作GANs的训练算法,以避免常见的问题,如模式坍塌问题。
2019-12-12 cs.NE
Robust NAS under adversarial training: benchmark, theory, and beyond
LIONS, EPFL(洛桑联邦理工学院 LIONS);University of Warwick(华威大学);AWS Lablets(亚马逊云科技 Lablets);Mirelo AI;University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对对抗训练下搜索鲁棒神经架构缺乏基准评估和理论保证的问题,本文发布了一个包含大量对抗训练网络干净与鲁棒准确率的综合数据集,并利用神经正切核建立了多目标对抗训练下的架构搜索泛化理论。
2024-03-19 cs.AI cs.LG stat.ML
Resilience of Bayesian Layer-Wise Explanations under Adversarial Attacks
University of Trieste(的里雅斯特大学);Saarland University(萨尔大学);University of Edinburgh(爱丁堡大学);SISSA(国际高等研究学院)
我们考虑了在分类任务中基于显著性的解释在对抗攻击下的神经网络预测的稳定性问题。确定性神经网络的显着性解释是非常脆弱的,即使在攻击失败时,即对于不改变分类标签的攻击。我们的经验表明,贝叶斯神经网络提供的解释是相当稳定的对抗扰动下的输入,甚至在直接攻击的解释。通过利用最近的结果,我们还提供了一个理论解释的数据流形的几何形状的这一结果。此外,我们还讨论了网络内部各层输入的高级表示的解释的稳定性。我们的研究结果表明,贝叶斯方法,除了更强大的对抗攻击,有潜力提供更稳定和可解释的评估神经网络预测。
2022-05-05 cs.LG stat.ML
On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error
Scuola Superiore Sant’Anna(圣安娜高等研究院)
尽管深度神经网络(DNN)在感知和控制任务中表现出令人难以置信的性能,但一些值得信赖的问题仍然存在。讨论最多的话题之一是对抗性扰动的存在,这为能够量化给定输入的鲁棒性的可证明技术开辟了一条有趣的研究路线。在这方面,输入与分类边界的欧几里得距离表示作为最小可负担的对抗性扰动的充分证明的鲁棒性评估。不幸的是,由于NN的非凸性质,计算这样的距离非常复杂。尽管已经提出了几种方法来解决这个问题,据我们所知,没有可证明的结果已经提出来估计和约束所犯的错误。本文通过提出两种轻量级策略来解决这个问题,以找到最小的对抗性扰动。与现有技术相比,所提出的方法允许制定相对于理论距离的近似距离的误差估计理论。最后,大量的实验报告,以评估算法的性能和支持的理论研究结果。所得到的结果表明,所提出的策略近似的理论距离接近分类边界的样本,导致可证明的鲁棒性保证对任何对抗攻击。
2022-01-04 cs.AI cs.LG math.DG
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出基于分数的对抗生成框架ScoreAG,通过生成无限制对抗样本和净化图像,在多个基准上提升了最先进攻防方法的效果,推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
Non-Singular Adversarial Robustness of Neural Networks
National Chiao Tung University(国立交通大学);IBM Research(IBM研究院)
由于神经网络对小输入扰动过于敏感,对抗鲁棒性已成为神经网络面临的一个新挑战。虽然是关键的,我们认为,解决这个单一的问题本身无法提供一个全面的鲁棒性评估。更糟糕的是,从奇异鲁棒性中得出的结论可能会给人一种错误的整体模型鲁棒性的感觉。具体来说,我们的研究结果表明,与标准模型相比,对输入扰动具有鲁棒性的对抗训练模型仍然(甚至更容易)受到权重扰动的影响。在本文中,我们形式化的非奇异对抗鲁棒性的概念,神经网络通过镜头的联合扰动的数据输入以及模型的权重。据我们所知,这项研究是第一个考虑同时输入权重对抗扰动的工作。基于一个具有ReLU激活函数和标准分类损失的多层前馈神经网络模型,建立了误差分析,用于量化数据输入和模型权重对$\ell_\infty$范数有界扰动的损失敏感性。基于误差分析,我们提出了新的正则化函数的鲁棒训练,并证明了改进的非奇异鲁棒性对联合输入权重对抗扰动。
2021-02-23 cs.LG
Impact of Architectural Modifications on Deep Learning Adversarial Robustness
Sungkyunkwan University(成均馆大学);Loyola University Chicago(芝加哥洛约拉大学)
本文通过对抗攻击实验评估深度学习模型架构修改对鲁棒性的影响,揭示在安全关键应用中系统评估模型变更的必要性。
2024-05-03 cs.AI cs.CR cs.CV
Selective Adversarial Attacks on LLM Benchmarks
ITMO University(ITMO大学);Applied AI Institute(应用人工智能研究所)
本研究正式提出选择性对抗攻击问题,针对MMLU基准,利用TextAttack框架和代理LLM流水线生成选择性扰动,证明其能实质改变模型相对排名,挑战排行榜评估的公平性,并呼吁采用扰动感知的报告与鲁棒性诊断。
2025-10-15 cs.LG
Measuring the Transferability of Adversarial Examples
University of Edinburgh(爱丁堡大学)
对抗性示例由于其对当代机器学习系统的可靠性的影响而受到广泛关注。有效的对抗性例子大多是通过白盒攻击发现的。然而,在某些情况下,它们可以跨模型传输,从而使它们能够攻击黑盒模型。在这项工作中,我们评估了三种对抗攻击的可转移性-快速梯度符号法,基本迭代法和Carlini & Wagner方法,跨两类模型-VGG类(使用VGG 16,VGG 19和VGG 16和VGG 19的集成)和Inception类(Inception V3,Xception,Inception Resnet V2,以及三者的集成)。我们还概述了在目前的研究机构的可转移性评估的问题,并试图通过挑选特定的“强”参数的攻击,并通过使用L-Infinity裁剪技术和SSIM度量的攻击可转移性的最终评估来修改它们。
2019-07-14 cs.CR cs.CV cs.LG
How do humans perceive adversarial text? A reality check on the validity and naturalness of word-based adversarial attacks
University of Luxembourg(卢森堡大学)
本文通过378人调查检验现有词级文本对抗攻击的人类可感知性,发现其在现实场景中不实用,并主张将人类可感知性作为文本攻击的首要成功标准。
2023-05-24 cs.AI cs.CL
JASPER: Special Session on Joint Reliability And Security Assessment of SPlit Computing for Edge Robustness
Politecnico di Torino(都灵理工大学);Tallinn University of Technology(塔林理工大学);University of California, Irvine(加州大学欧文分校);Brandenburg University of Technology(勃兰登堡工业大学);Humboldt University of Berlin(柏林洪堡大学)
本文提出统一框架联合评估拆分计算中DNN的可靠性与安全性,引入JVS指标,在ResNet-50上揭示独立评估隐藏的脆弱性趋势。
2026-10-06 cs.AR cs.CR cs.DC
Physics-Guided Adversarial Machine Learning for Aircraft Systems Simulation
Polytechnique Montréal(蒙特利尔综合理工学院);Bombardier Aerospace Inc.(庞巴迪宇航公司)
在飞行器系统性能评估的背景下,深度学习技术允许从实验测量快速推断模型,与基于物理的建模相比通常需要较少的详细系统知识。然而,这种廉价的模型开发也带来了关于模型可信度的新挑战。这项工作提出了一种新的方法,物理引导的对抗性机器学习(ML),提高了模型的物理一致性的信心。首先,该方法执行物理引导的对抗性测试阶段,以搜索揭示行为系统不一致性的测试输入,同时仍在可预见的操作条件范围内。然后,它继续进行物理信息对抗训练,通过迭代地减少先前未发现的反例上不需要的输出偏差来教授模型系统相关的物理领域预知。对两个飞机系统性能模型的实证评估表明,我们的对抗ML方法在暴露两个模型的物理不一致性和提高其与物理领域知识一致的倾向方面是有效的。
2022-09-07 cs.CE cs.LG cs.SY
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval(拉瓦尔大学智能与数据研究所(IID));Mila(米拉研究所)
神经网络集成已经在对抗鲁棒性的背景下被广泛研究,并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中,我们研究的鲁棒性的纠错输出码(ECOC)集成,通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估,并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明,与卷积神经网络(CNN)的常规集成相比,ECOC集成对对抗鲁棒性的好处,并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法,可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
ARB4WM: An Adversarial Robustness Benchmark for World Models in Continuous Control
College of Computer Science, National University of Defense Technology(国防科技大学计算机学院);College of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Department of New Networks, Peng Cheng Laboratory(鹏城实验室新型网络部);National Key Laboratory of Advanced Communication Networks(先进通信网络全国重点实验室)
提出ARB4WM统一基准,从策略、价值和潜在动力学三个层面评估世界模型在视觉扰动下的对抗鲁棒性,发现多目标攻击和时序暴露模式对安全评估至关重要。
2026-06-16 cs.AI
Attack on Grid Event Cause Analysis: An Adversarial Machine Learning Approach
University of Nevada, Reno(内华达大学雷诺分校)
随着电网中数据驱动应用(如事件原因分析)对数据的依赖程度不断增加,数据流的真实性变得至关重要。数据可能容易受到旨在操纵数据的对抗性隐身攻击,使得基于残差的坏数据检测器无法检测到它们,并且系统操作员或事件分类器对实际事件的感知发生变化。本文研究了对抗攻击对基于卷积神经网络的事件原因分析框架的影响。我们已经成功地验证了对手通过秘密数据操纵恶意错误分类事件的能力。脆弱性评估的研究与妥协的测量的数量。此外,提出了一种防御机制来增强事件原因分析的性能。利用实时数字仿真器(RTDS)在不同攻击类型和数据访问级别等场景下生成的数据,研究了对抗攻击改变框架输出的有效性。
2019-11-25 cs.LG eess.SP stat.ML
Attack Transferability Characterization for Adversarially Robust Multi-label Classification
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Inria(法国国家信息与自动化研究所)
尽管多标签规避攻击的普遍存在,它是一个开放的,但重要的问题是描述的多标签学习系统的对抗性脆弱性的来源,并评估其可攻击性。在这项研究中,我们专注于针对多标签分类器的非目标规避攻击。威胁的目标是在相同的输入扰动下,尽可能多的标签导致分类错误。我们的工作获得了深入的了解多标签对抗攻击的攻击的转移性的基础上的多标签分类器的功能特性的特征。通过建立对抗风险的信息论分析,我们揭示了攻击的可转移性水平如何决定分类器的可攻击性。此外,我们提出了一个以可转移性为中心的可攻击性评估,命名为软攻击性估计(SAE),以评估目标多标签分类器的内在脆弱性水平。然后将该估计器作为可转移性调整正则化项集成到多标签学习范式中,以实现对抗性鲁棒分类。对真实数据的实验研究与理论分析相呼应,验证了可迁移正则化多标记学习方法的有效性。
2021-06-29 cs.CR cs.LG
Does Demand Response Increase Vulnerability to Cyber Attacks by Adversarial Data Modifications?
RWTH Aachen University(亚琛工业大学);University College London(伦敦大学学院)
研究对抗性攻击对工业需求响应决策的影响,设计攻击破坏电价预测模型输出,用广义过程模型研究不同生产调度问题的脆弱性,发现攻击会侵蚀利润,但扰动有限时需求响应仍有优势,且影响取决于扰动方向,应将模型敏感性纳入攻击设计。
2026-07-09 cs.LG
The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1
UC Santa Cruz(加州大学圣克ruz分校);UC Santa Barbara(加州大学圣芭芭拉分校);UC Berkeley(加州大学伯克利分校);Cisco Research(思科研究)
本研究对大型推理模型(如DeepSeek-R1)进行全面安全评估,发现开源推理模型与o3-mini存在显著安全差距,推理能力越强危害潜力越大,思维过程比最终答案更危险,需提升R1模型安全性。
2025-11-17 cs.AI cs.CY
Provably Safeguarding a Classifier from OOD and Adversarial Samples: an Extreme Value Theory Approach
Thales(泰勒斯公司);Paris-Saclay University(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);LISN(巴黎南部大学信息科学实验室)
本研究提出基于极值理论的SPADE方法,通过分类器潜在空间的GEV模型构建可证明规避OOD和对抗样本的弃权分类器,在多架构和多数据集上验证了其优于现有方法的性能。
2025-01-17 cs.LG stat.ML
LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets
Zhejiang Normal University(浙江师范大学);Zhejiang University(浙江大学);China Electric Power Research Institute(中国电力科学研究院)
研究在低查询预算硬标签场景下生成高质量对抗文本的难题,提出基于采样的LBA方法,整合先验与后验知识构建近似分布用于采样,实验证明该方法在多语言模型上显著优于基线,生成的对抗文本语义保留性和可理解性更佳。
2026-07-17 cs.AI cs.CL
SafeGenes: Evaluating the Adversarial Robustness of Genomic Foundation Models
Department of Computer Science & Engineering, New Mexico Tech(计算机科学与工程系,新墨西哥技术学院);Computational Biomedicine, Cedars-Sinai Medical Center(计算生物医学,西德斯-辛内斯医疗中心)
SafeGenes通过对抗攻击评估基因组基础模型的鲁棒性,揭示其在变异效应预测中的安全漏洞。
2025-12-02 cs.AI cs.CR
Dummy-Aware Weighted Attack (DAWA): Breaking the Safe Sink in Dummy Class Defenses
Tsinghua University(清华大学);University of Macau(澳门大学);Tencent(腾讯)
本文提出DAWA,一种新的评估方法,通过自适应加权同时攻击真实标签和伪标签,有效突破伪类防御机制,降低其鲁棒性评估值。
2026-03-31 cs.CR cs.LG
A Malware Classification Survey on Adversarial Attacks and Defences
该综述梳理了网络安全领域恶意软件分类方向的对抗攻击与防御研究,将方法分为四类并分析优劣,介绍了常用数据集与评估标准,指出了开放研究难点与未来方向,为相关研究者和从业者提供参考。
2023-12-15 cs.CR cs.LG
Adversarial attacks against Fact Extraction and VERification
University of Cambridge(剑桥大学)
本文描述了事实提取和验证共享任务(FEVER2.0)的第二次迭代的基线,该任务通过对抗性评估来探索系统的弹性。我们提出了一个简单的对抗攻击的系统,参与了第一个FEVER共享任务的集合。FEVER使用来自维基百科的证据将书面声明的真实性评估建模为联合信息检索和自然语言推理任务。大量参与者在提交共享任务时使用了深度神经网络。这种模型是否理解语言的程度一直是最近一些研究和文献讨论的主题。在本文中,我们提出了一个简单的方法,产生的蕴涵保持和蕴涵改变扰动的训练数据内的共同模式的实例。我们发现,一些系统的分类精度的绝对损失高达$29\%$的新扰动的情况下,受到很大的影响。使用这些新生成的实例,我们为FEVER2.0共享任务构造了一个示例提交。解决这些类型的攻击将有助于建立更强大的事实检查模型,并为扩展数据集提供方向。
2019-03-13 cs.AI cs.CL
STRIDE-AI: A Threat Modeling Framework for Generative AI Security Assessment
SRH University of Applied Sciences Heidelberg School of Technology(海德堡应用科学大学技术与建筑学院)
本文提出STRIDE-AI框架,旨在填补高层风险标准与技术漏洞分类之间的差距,通过六个阶段的评估生命周期和针对AI系统的威胁建模适应,降低AI系统面临攻击的成功率。
2026-05-16 cs.AI cs.CR
On Evaluating Adversarial Robustness of Chest X-ray Classification: Pitfalls and Best Practices
University of Luxembourg(卢森堡大学)
对抗性攻击的脆弱性是深度神经网络的一个众所周知的弱点。虽然大多数研究都集中在使用ImageNet和CIFAR等标准化基准的自然图像上,但很少有研究考虑现实世界的应用,特别是在医疗领域。我们的研究表明,与以前的说法相反,胸部X射线分类的鲁棒性更难评估,并导致基于数据集,架构和鲁棒性度量的非常不同的评估。我们认为,以前的研究没有考虑到医疗诊断的特殊性,如疾病的共同发生,标签(领域专家)的分歧,攻击的威胁模型和每次成功攻击的风险影响。在本文中,我们讨论了方法学基础,回顾了陷阱和最佳实践,并提出了新的方法学考虑,用于评估胸部X射线分类模型的鲁棒性。我们对3个数据集、7个模型和18种疾病的评估是对胸部X射线分类模型鲁棒性的最大评估。
2022-12-15 cs.CV cs.LG eess.IV
Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks
Dept. of Computer Science and Engineering, University of North Texas(北德克萨斯大学计算机科学与工程系)
提出在神经音频编解码器连续潜空间中生成对抗性扰动的方法,实现单次前向传播、低延迟(<7ms)的高成功率(99%)目标攻击。
2026-06-23 cs.AI cs.CR cs.SD
Beyond Vulnerabilities: A Survey of Adversarial Attacks as Both Threats and Defenses in Computer Vision Systems
本综述系统分析对抗性攻击在计算机视觉中的双重角色,涵盖像素、物理和潜在空间攻击,并探讨其在漏洞评估与防御中的建设性应用,指出研究空白与未来方向。
2025-08-03 cs.AI cs.CR cs.CV