Exploring the Back Alleys: Analysing The Robustness of Alternative Neural Network Architectures against Adversarial Attacks
ST Engineering Electronics-SUTD Cyber Security Laboratory（新科工程电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University of the Negev（本-古里安大学）；Deutsche Telekom Innovation Laboratories at Ben-Gurion University of the Negev（本-古里安大学德国电信创新实验室）
我们研究人工神经网络（ANN）的替代变体在多大程度上容易受到对抗攻击的影响。我们在三个不同的数据集上分析了原始图像空间中常规随机ANN和脉冲神经网络（SNN）的对抗鲁棒性。我们的实验表明，随机人工神经网络的变种几乎同样容易受到传统的人工神经网络时，面对简单的迭代梯度为基础的攻击，在白盒设置。然而，我们观察到，在黑盒设置，随机人工神经网络比传统的人工神经网络更强大，当面临边界攻击，可转移性和代理攻击。因此，我们提出了改进的攻击和防御机制的随机人工神经网络在黑盒设置。在执行基于代理的黑盒攻击时，可以采用随机模型作为代理，以观察对随机和确定性目标的更高攻击成功率。这种成功可以进一步提高我们提出的方差模仿（VM）代理训练方法，对随机目标。最后，采用防御者的角度来看，我们调查的可行性采用随机切换模型的混合物作为一个可行的硬化机制。我们观察到，这样的方案确实提供了部分硬化。
2020-03-11 cs.LG stat.ML
FlatNAS: optimizing Flatness in Neural Architecture Search for Out-of-Distribution Robustness
Politecnico di Milano（米兰理工大学）
本研究提出FlatNAS，一种在神经架构搜索中利用锐度感知最小化优化损失景观平坦性的新方法，在仅使用分布内数据的情况下，联合优化模型性能、OOD鲁棒性与参数数量，实现良好权衡。
2024-02-29 cs.AI cs.CV cs.LG
Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness
ELTE Eötvös Loránd University（厄特沃什·罗兰大学）；AImotive Inc.（AImotive公司）
虽然深度神经网络对对抗性噪声敏感，但使用基追踪（BP）方法的稀疏编码对此类攻击（包括其多层扩展）具有鲁棒性。我们证明了BP的稳定性定理在以下推广上成立：（i）正则化过程可以分成具有不同权重的不相交的组，（ii）神经元或完整层可以形成组，以及（iii）正则化器采用$\ell_1$范数的各种广义形式。这一结果为Cazenavette等人（2021）的架构概括提供了证据，包括（iv）将完整架构近似为浅层稀疏编码网络。由于这种近似，我们决定用浅层网络进行实验，并在合成数据集和MNIST上研究它们对迭代快速梯度符号方法的鲁棒性。我们介绍了分类的基础上的$\ell_2$规范的团体和数字显示，它可以是准确的，并提供了相当大的加速。在这个系列中，线性Transformer表现出最好的性能。基于理论结果和数值模拟，我们强调数值问题，可能会进一步提高性能。
2022-05-05 cs.LG
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe（IBM欧洲研究院）；IBM Technology Campus, Damastown Ind. Park（IBM科技园区，达马斯敦工业园区）
对抗性训练是一项计算代价高昂的任务，因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步，这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标，我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数，从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性，在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models
Seoul National University（首尔大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本研究证明基础模型的OOD鲁棒性可由预训练权重的谱结构预测，提出架构与策略条件统计量，在116个模型上验证，单元内排序准确率达92%，并缩小OOD差距24%。
2026-10-08 cs.LG
Causal Structural Hypothesis Testing and Data Generation Models
University of California, Los Angeles（加州大学洛杉矶分校）
大量的专家和领域知识被捕获的因果结构先验，但一直很少有研究测试这样的先验的泛化和数据合成的目的。我们提出了一种新的模型架构，因果结构假设检验，可以使用非参数，结构因果知识和近似因果模型的功能关系，使用深神经网络。我们使用这些架构来比较结构先验，类似于假设检验，使用训练和测试数据的故意（非随机）分裂。大量的模拟证明了分布外泛化误差作为因果结构先验假设检验的代理的有效性，并为解释结果提供了统计基线。我们表明，变分版本的架构，因果结构变分假设检验可以提高性能在低信噪比制度。由于模型的简单性和低参数计数，从业者可以在小数据集上测试和比较结构先验假设，并使用具有最佳泛化能力的先验来合成更大的因果信息数据集。最后，我们在合成摆数据集上验证了我们的方法，并在现实世界的创伤手术地面坠落数据集上展示了一个用例。
2022-11-04 cs.AI cs.LG stat.ML
Verifiability and Predictability: Interpreting Utilities of Network Architectures for Point Cloud Processing
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
在本文中，我们诊断用于3D点云处理的深度神经网络，以探索不同中间层网络架构的效用。我们提出了一些关于特定中间层网络架构对DNN表示能力的影响的假设。为了证明假设，我们设计了五个指标来诊断各种类型的DNN，从以下角度，信息丢弃，信息集中，旋转鲁棒性，对抗鲁棒性和邻域不一致性。我们根据这些指标进行比较研究，以验证假设。我们进一步使用经过验证的假设来修改现有DNN的中间层架构并提高其实用性。实验证明了该方法的有效性。
2021-04-01 cs.CV cs.LG stat.ML
The robust way to stack and bag: the local Lipschitz way
IIT Madras（印度理工学院马德拉斯分校）
最近的研究表明，神经网络的局部Lipschitz常数直接影响其对抗鲁棒性。我们利用这种关系来构建一个集成的神经网络，不仅提高了准确性，但也提供了增加的对抗鲁棒性。局部Lipschitz常数为两种不同的集成方法-装袋和堆叠-推导出最适合于确保对抗鲁棒性的架构。在白盒攻击、FGSM和PGD的情况下，在MNIST和CIFAR-10数据集上对所提出的集成架构进行了测试。所提出的架构被发现是更强大的a）一个单一的网络和b）传统的集成方法。
2022-06-01 cs.CR cs.LG
Adversarial Robustness Comparison of Vision Transformer and MLP-Mixer to CNNs
卷积神经网络（CNN）在过去几年中已经成为计算机视觉应用中事实上的黄金标准。然而，最近，新的模型架构已经提出了挑战现状。视觉Transformer（ViT）仅依赖于注意力模块，而MLP混合器架构用多层感知器（MLP）代替自注意力模块。尽管CNN取得了巨大的成功，但众所周知，它容易受到对抗攻击的攻击，这对安全敏感的应用程序造成了严重的担忧。因此，社区必须知道新提出的ViT和MLP混合器是否也容易受到对抗攻击的攻击。为此，我们根据经验评估了它们在几种对抗攻击设置下的对抗鲁棒性，并将它们与广泛使用的CNN进行基准测试。总的来说，我们发现这两种架构，特别是ViT，比它们的CNN模型更健壮。使用一个玩具例子，我们还提供了经验证据，证明CNN的较低对抗鲁棒性可以部分归因于其平移不变特性。我们的频率分析表明，与CNN相比，最强大的ViT架构往往更依赖于低频特征。此外，我们有一个有趣的发现，MLP混合器非常容易受到普遍对抗性扰动的影响。
2021-10-11 cs.CR cs.CV cs.LG
Boosting Adversarial Robustness and Generalization with Dictionary Structure
North Carolina State University（北卡罗来纳州立大学）
本文提出弹性字典学习网络（EDLNets），通过引入结构先验显著提升深度学习模型的对抗鲁棒性与泛化能力，并在RobustBench上超越现有最先进方法。
2026-09-30 cs.CR cs.LG cs.NE
A Little Robustness Goes a Long Way: Leveraging Robust Features for Targeted Transfer Attacks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Santa Fe Institute（圣塔菲研究所）
已知神经网络图像分类器的对抗性示例是可转移的：被源分类器错误分类的优化示例通常也被具有不同架构的分类器错误分类。然而，有针对性的对抗性示例（被优化为被分类为选定的目标类）往往不太容易在架构之间转移。虽然以前的研究构建可转移的有针对性的攻击集中在改善优化过程中，在这项工作中，我们研究的作用的源分类器。在这里，我们表明，训练源分类器“稍微健壮”-即对小规模对抗性示例的健壮性-大大提高了针对类和针对表示的对抗攻击的可转移性，即使是在卷积神经网络和Transformers等不同的架构之间。我们提出的结果提供了深入了解对抗性例子的性质以及所谓的“鲁棒”分类器的机制。
2021-10-25 cs.CR cs.LG
From Structural Equation Modelling to Double Machine Learning: Robustness Analysis for Survey-Based Research
School of Business, Law, Humanities and Pathways（商学院、法律、人文与路径学院）
提出一个分阶段鲁棒性分析框架，结合SEM、OLS和双机器学习，通过FinTech数字客户亲密调查模型验证，识别稳定与需谨慎解释的关系，并提供可复现模板。
2026-07-02 cs.LG stat.ML
How Robust Are Graph Neural Networks to Structural Noise?
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
图神经网络（GNNs）是一种新兴的用于学习图嵌入和对图结构数据进行预测的模型。然而，图神经网络的鲁棒性还没有得到很好的理解。在这项工作中，我们专注于节点结构身份预测，其中代表性的GNN模型能够实现近乎完美的准确性。我们还通过一个受控的数据集和一组实验表明，相同的GNN模型对增加结构噪声不具有鲁棒性。最后，我们证明了在正确的条件下，图增强训练能够显着提高对结构噪声的鲁棒性。
2019-12-21 cs.LG stat.ML
Noise-Response Analysis of Deep Neural Networks Quantifies Robustness and Fingerprints Structural Malware
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
深度神经网络（DNN）、基于云的训练和迁移学习的普遍存在正在催生一个新的网络安全前沿，其中不安全的DNN具有“结构性恶意软件”（即，折衷的重量和激活途径）。特别是，DNN可以被设计为具有后门，允许对手通过添加称为触发器的像素模式来轻松可靠地欺骗图像分类器。通常难以检测后门，并且现有的检测方法在计算上是昂贵的并且需要大量的资源（例如，访问训练数据）。在这里，我们提出了一种快速的特征生成技术，量化DNN的鲁棒性，“指纹”其非线性，并允许我们检测后门（如果存在）。我们的方法涉及研究DNN如何响应具有不同噪声强度的噪声注入图像，我们用滴定曲线总结。我们发现，带有后门的DNN对输入噪声更敏感，并以一种特有的方式做出响应，揭示了后门及其所在的位置（其“目标”）。我们的实证结果表明，我们可以准确地检测后门与高置信度的数量级比现有的方法（秒与小时）更快。
2021-02-03 cs.LG stat.ML
Evaluating Robustness and Uncertainty of Graph Models Under Structural Distributional Shifts
HSE University（高等经济大学）；Yandex Research（Yandex研究院）；Skoltech（斯科尔科沃科学技术学院）；Isomorphic Labs
本文提出基于图结构（流行度、局部性、密度）诱导分布偏移的通用方法，系统评估图模型鲁棒性，发现简单模型常优于复杂方法，并揭示表示质量与分布区分能力之间的权衡。
2023-11-01 cs.LG stat.ML
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中，我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性，其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设，如果网络的架构与目标函数比噪声更一致，则网络对噪声标签更鲁棒。为了支持我们的假设，我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现，当网络与目标函数很好地对齐时，其表示的预测能力可以在测试准确性方面改善最先进的（SOTA）噪声标签训练方法，甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Microsoft（微软）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性，但提高对抗鲁棒性的一个有希望的方向尚未探索，即，神经网络架构的复杂拓扑结构。在这项工作中，我们解决了以下问题：神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性？我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明，对于小规模攻击，基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而，随着数据集大小或任务复杂性的增加，手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明，在DARTS（一种流行的NAS方法）的搜索空间中随机抽样并进行简单的集成，可以使对PGD攻击的鲁棒性提高近12%.我们表明，NAS，这是流行的实现SoTA的准确性，可以提供对抗准确性作为一个免费的附加组件，没有任何形式的对抗训练。我们的研究结果表明，利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量，可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing
Duke University（杜克大学）
社区发现是理解图结构的关键。然而，最近的一些研究表明，社区发现是脆弱的对抗性结构扰动。特别是，通过在图中添加或删除少量精心选择的边，攻击者可以操纵检测到的社区。然而，据我们所知，还没有研究证明社区发现对这种对抗性结构扰动的鲁棒性。在这项工作中，我们的目标是弥合这一差距。具体来说，我们开发了第一个经过认证的鲁棒性保证社区发现对抗性结构扰动。在给定任意社区发现方法的基础上，通过随机扰动图的结构，建立了一种新的平滑社区发现方法。我们从理论上表明，平滑的社区发现方法可证明组到同一个社区（或不同的社区）的节点的一个给定的任意集合时，由攻击者添加/删除的边缘的数量是有界的。此外，我们证明了我们的认证的鲁棒性是紧密的。我们还在多个真实世界的图形与地面真实社区上实证评估了我们的方法。
2020-09-15 cs.CR cs.LG cs.SI
Testing the Robustness of a BiLSTM-based Structural Story Classifier
University of Houston（休斯顿大学）
互联网上越来越多的虚假新闻引起了人们对机器学习社区中快速和可扩展的虚假新闻检测的极大兴趣。虽然已经出现了几种用于此目的的机器学习技术，但我们观察到需要评估噪声对这些技术性能的影响，其中噪声构成被错误地标记为假（或真）的新闻文章。这项工作在这个方向上迈出了一步，我们研究了噪声对最先进的结构模型的影响，该模型基于BiLSTM（双向长短期模型）用于假新闻检测，Karimi和Tang的用于假新闻检测的分层话语级结构（参考文献9）。
2022-05-18 cs.CL cs.LG
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks
NTT Software Innovation Center（NTT软件创新中心）；Keio University（庆应义塾大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
我们提出了Absum，这是一种用于提高卷积神经网络（CNN）对抗鲁棒性的正则化方法。虽然CNN可以准确地识别图像，但最近的研究表明，CNN中的卷积运算通常对由傅立叶基函数组成的特定噪声具有结构敏感性。通过利用这种敏感性，他们提出了一种简单的黑盒对抗攻击：单傅立叶攻击。为了降低结构灵敏度，我们可以使用卷积滤波器权重的正则化，因为线性变换的灵敏度可以通过权重的范数来评估。然而，标准的正则化方法可以防止损失函数的最小化，因为它们为获得高鲁棒性施加了严格的约束。为了解决这个问题，Absum施加了一个松散的约束;它惩罚卷积层中参数总和的绝对值。Absum可以提高对单傅立叶攻击的鲁棒性，同时与标准正则化方法一样简单和有效（例如，权重衰减和L1正则化）。我们的实验表明，Absum提高了对单傅立叶攻击的鲁棒性比标准的正则化方法。此外，我们揭示了具有Absum的鲁棒CNN对转移攻击的鲁棒性更强，因为它降低了共同的灵敏度，并且比标准的正则化方法更能抵抗高频噪声。我们还发现，当与对抗训练一起使用时，Absum可以提高对基于梯度的攻击（投影梯度下降）的鲁棒性。
2019-09-19 cs.CV cs.LG stat.ML
R3Net: Random Weights, Rectifier Linear Units and Robustness for Artificial Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑一个具有随机化特征的神经网络架构，一个符号分离器，后面是整流线性单元（ReLU）。我们证明了我们的架构具有鲁棒性的输入扰动：输出功能的神经网络表现出Lipschitz连续的输入扰动。我们进一步证明了网络输出具有一种区分能力，即不是任意接近的输入生成输出向量，这些输出向量保持彼此之间的距离服从一定的下界。这确保了两个不同的输入保持可区分，同时收缩输出特征空间中的距离。
2018-03-12 cs.LG stat.ML
Clustering and Structural Robustness in Causal Diagrams
University of Jyvaskyla（于韦斯屈莱大学）
本文针对大规模因果图的简化问题，定义可保留因果效应可识别性的 transit cluster，提出寻找全部此类聚类的可靠完备算法，并揭示其与扩展图结构稳健性的关系。
2023-08-15 cs.LG stat.ME stat.ML
Exploring Robust Architectures for Deep Artificial Neural Networks
Rowan University（罗文大学）；University of Minnesota（明尼苏达大学）
深度人工神经网络（DANN）的架构被常规地研究以提高其预测性能。然而，DANN的结构与其对噪声和对抗攻击的鲁棒性之间的关系却很少被探索。我们研究了DANN的鲁棒性与其底层图形架构或结构的关系。本研究：（1）从使用图论鲁棒性度量探索DANN体系结构的设计空间开始;（2）将图转换为DANN体系结构，以对各种图像分类任务进行训练/验证/测试;（3）探索训练的DANN对噪声和对抗攻击的鲁棒性与通过图论度量估计的其底层体系结构的鲁棒性之间的关系。我们发现，拓扑熵和Olivier-Ricci曲率的基础图可以量化的DANN的鲁棒性性能。对于复杂任务和大型DANN，上述关系更强。我们的工作将允许autoML和神经架构搜索社区探索健壮和准确的DANN的设计空间。
2022-04-05 cs.AI cs.LG
Multitasking Models are Robust to Structural Failure: A Neural Model for Bilingual Cognitive Reserve
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们发现多任务学习和神经元故障的鲁棒性之间存在惊人的联系。我们的实验表明，双语语言模型保持更高的性能，在各种神经元扰动，如随机删除，幅度修剪和权重噪声相比，等效的单语的。我们通过数学分析线性表示学习并表明多任务处理可以创建更强大的表示，为这种鲁棒性提供了理论依据。我们的分析将鲁棒性与所学习的表示的谱特性相联系，并证明了多任务处理对不同任务向量具有更高的鲁棒性。我们开源我们的代码和模型：https://github.com/giannisdaras/multilingual_robustness
2022-10-20 cs.AI cs.CL cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research（谷歌研究院）
我们提出了E NERGY NET，一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机（RBM）。我们目前的实验结果表明，最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
Estimating Neural Network Robustness via Lipschitz Constant and Architecture Sensitivity
Carnegie Mellon University（卡内基梅隆大学）
该研究针对机器人学习系统的鲁棒性需求，提出基于神经网络架构推导Lipschitz常数解析表达式的方法，通过实验明确网络设计、Lipschitz常数与鲁棒性的关联，为构建更安全可靠的机器人感知系统提供理论与实践依据。
2024-10-30 cs.AI cs.LG cs.RO
An Evaluation of Zero-Cost Proxies -- from Neural Architecture Performance to Model Robustness
University of Siegen（锡根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
该研究针对NAS领域零成本代理指标侧重干净准确率、对鲁棒性关注不足的问题，在NAS-Bench-201空间中分析常用零成本代理对鲁棒性的预测能力，发现鲁棒性预测需联合多代理指标，干净准确率单特征即可回归。
2023-07-18 cs.CV cs.LG
Robustness-aware 2-bit quantization with real-time performance for neural network
Beihang University（北京航空航天大学）
比特精度降低的量化神经网络（NN）是降低计算和存储资源需求的有效解决方案，在机器学习中起着至关重要的作用。然而，它仍然是具有挑战性的，以避免显着的精度下降，由于其数值近似和较低的冗余。本文在二进制神经网络和生成对抗网络（GAN）的基础上，提出了一种新的鲁棒性感知的2比特量化方案，通过丰富二进制神经网络的信息，有效地提取结构信息，并考虑量化后的神经网络的鲁棒性，提高了神经网络的性能。具体地说，在量化过程中用移位加法运算代替乘累加运算，可以有效地提高神经网络的速度。同时，提出了一种量化后的神经网络与原始神经网络之间的结构损失，以保持量化后数据的结构信息。从NN学习的结构信息不仅在提高性能方面起着重要作用，而且还允许通过将Lipschitz约束应用于结构损耗来进一步微调量化网络。此外，我们还首次考虑到量化神经网络的鲁棒性，通过引入谱范数的无关项，提出了一种非敏感扰动损失函数。实验在CIFAR-10和ImageNet数据集上进行，使用流行的NN（如MoblieNetV 2，SqueezeNet，ResNet 20等）。实验结果表明，该算法在2比特精度下比现有的量化方法具有更好的竞争力。同时，实验结果也表明，该方法在FGSM对抗样本攻击下具有较好的鲁棒性。
2020-10-19 cs.LG
Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
Michigan State University（密歇根州立大学）；Argonne National Laboratory（阿贡国家实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）
具有精确校准的不确定性的鲁棒机器学习模型对于安全关键型应用至关重要。概率机器学习，特别是贝叶斯形式主义提供了一个系统的框架，通过分布估计和不确定性的原因，将鲁棒性。最近的工作表明，近似推理的方法，采取神经网络的权重空间的不确定性，以产生集成预测是最先进的。然而，架构的选择大多是临时的，这基本上忽略了认知的不确定性，从架构空间。为此，我们提出了一个统一的概率架构和权重集成神经架构搜索（UraeNAS），利用概率神经架构搜索和近似贝叶斯推理的进步，以生成集成形式的联合分布的神经网络架构和权重。与基线确定性方法相比，所提出的方法显示出分布内（准确度为0.86%，ECE为42%）CIFAR-10和分布外（准确度为2.43%，ECE为30%）CIFAR-10-C的显著改善。
2022-10-08 cs.AI cs.LG
Neural Architecture Design and Robustness: A Dataset
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Siegen（锡根大学）
该研究构建了基于NAS-Bench-201搜索空间的神经架构鲁棒性评估数据集，评估了6466个网络在多种攻击与损坏下的鲁棒性，并展示了其在基准测试、架构搜索和设计分析上的应用，发现拓扑设计对鲁棒性影响显著。
2023-06-11 cs.CV cs.LG
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology（罗切斯特理工学院）；Amazon Inc.（亚马逊公司）
本文提出RC-NAS框架，通过元训练与微调的双层强化学习范式，在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络，实现自适应压缩。
2024-06-14 cs.AI cs.LG
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego（加州大学圣迭戈分校）
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
A Structural Approach to the Design of Domain Specific Neural Network Architectures
Technische Universität Dortmund（多特蒙德工业大学）
这是一篇关于几何深度学习理论思想的硕士论文。几何深度学习旨在提供神经网络架构的结构化表征，特别关注数据相对于给定变换的不变性和等变性。本论文旨在提供几何深度学习的理论评估，编译表征不变神经网络在学习性能方面的特性的理论结果。
2023-01-23 cs.LG cs.NE
Towards Accurate and Robust Architectures via Neural Architecture Search
College of Computer Science, Sichuan University（四川大学计算机学院）
提出 ARNAS，通过准确鲁棒搜索空间与可微多目标搜索策略，为对抗训练搜索兼具高准确率和强鲁棒性的神经架构。
2024-05-09 cs.CR cs.CV cs.LG
On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations
Cornell University（康奈尔大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
深度卷积神经网络通常被认为是鲁棒的函数逼近器。到目前为止，这种直觉是基于对外部刺激的扰动，例如要分类的图像。在这里，我们探讨了卷积神经网络对网络本身的内部权重和结构扰动的鲁棒性。我们发现，卷积网络对较高卷积层中的一些内部扰动具有惊人的鲁棒性，但底层卷积层要脆弱得多。例如，Alexnet在随机删除顶部卷积层或密集层中超过70%的权重连接时，分类性能下降不到30%，但在第一个卷积层中使用相同的扰动时，性能几乎是偶然的。最后，我们建议进一步的研究，可以继续为卷积网络对内部扰动的鲁棒性提供信息。
2017-03-23 cs.CV cs.LG
A Domain Guided CNN Architecture for Predicting Age from Structural Brain Images
University of Michigan（密歇根大学）
鉴于卷积神经网络（CNN）应用于自然图像的广泛成功，研究人员已经开始将其应用于神经成像数据。然而，迄今为止，对针对神经成像数据定制的新型CNN架构的探索受到限制。最近的几项工作未能利用大脑的3D结构，而是将大脑视为一组独立的2D切片。利用3D卷积的方法依赖于为自然2D图像中的对象识别任务开发的架构。这种架构对神经成像可能不适用的输入做出假设。例如，现有的架构假设大脑中的模式表现出平移不变性。然而，大脑中的模式可能具有不同的含义，这取决于它在大脑中的位置。有必要探索适合大脑图像的新架构。我们提出了两个简单的修改现有的CNN架构的基础上，大脑图像结构。应用于大脑年龄预测任务，我们的网络实现了1.4年的平均绝对误差（MAE），并且比CNN基线训练速度快30%，达到了1.6年的MAE。我们的研究结果表明，从自然图像开发模型中吸取的经验教训可能不会直接转移到神经成像任务中。相反，在这一领域的模式发展方面仍有大量未探索的问题，其答案可能与传统智慧不同。
2018-08-11 cs.CV cs.LG stat.ML
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于许多应用对安全性的迫切需求，深度神经网络（DNN）模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台，通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是，当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题，在本文中，我们首先提出了一个新的平台，称为自动对抗攻击和防御（$A^{3}D$），它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中，我们采用了多种神经结构搜索方法，考虑不同的鲁棒性评估指标，包括四种类型的噪声：对抗性噪声，自然噪声，系统噪声和量化指标，从而找到强大的架构。此外，我们提出了一个自动对抗攻击的数学模型，并提供了多种优化算法来搜索有效的对抗攻击。此外，我们将自动对抗攻击和防御结合在一起，形成一个统一的框架。在自动对抗防御中，搜索到的有效攻击可以作为新的鲁棒性评价指标，进一步提高系统的鲁棒性。在自动对抗攻击中，搜索到的鲁棒体系结构可以用作威胁模型，以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性，为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization
Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）；Didi Chuxing（滴滴出行）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
图神经网络（GNN）是结构化数据学习的实际解决方案。然而，它容易受到低质量和不可靠的结构的影响，这在现实世界的图中是一种常态而不是例外。现有的图结构学习（GSL）框架仍然缺乏鲁棒性和可解释性。本文提出了一个通用的GSL框架，SE-GSL，通过结构熵和图层次抽象的编码树。特别是，我们利用一维结构熵最大化嵌入的信息内容时，辅助邻域属性融合，以提高原始图。提出了一种新的最优编码树的构造方案，以最小化图中的不确定性和噪声，同时确保分层抽象中适当的社区划分。我们提出了一种新的基于样本的机制，通过节点结构熵分布恢复图结构。它增加了较低级别社区中具有较大不确定性的节点之间的连通性。SE-GSL与各种GNN模型兼容，并增强了对噪声和异质结构的鲁棒性。大量的实验表明，在结构学习和节点表示学习的有效性和鲁棒性显着改善。
2023-03-17 cs.AI cs.LG
Drift Happens: An Empirical Study of Neural Architecture Robustness to Temporal Distribution Shift
Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
研究现实世界数据分布随时间演变带来的时间分布变化对机器学习系统可靠性的影响，通过统一评估框架比较不同模型家族的时间鲁棒性，发现架构归纳偏差塑造时间鲁棒性，为现实系统选架构提供指导。
2026-07-08 cs.LG
Evaluating Uplift Modeling under Structural Biases: Insights into Metric Stability and Model Robustness
College of Computer Science and Software Engineering（计算机科学与软件工程学院）；Shenzhen University（深圳大学）；School of Computing and Information Technology（计算与信息科技学院）；Great Bay University（大湾大学）
针对现实营销数据中的多种偏差，设计半合成基准框架，发现TARNet具有鲁棒性，且与ATE对齐的指标更稳定。
2026-06-17 cs.LG
Reliable Policy Iteration: Performance Robustness Across Architecture and Environment Perturbations
Indian Institute of Science（印度科学研究院）；Kalinga Institute of Industrial Technology（工业技术学院）；NVIDIA Research（NVIDIA研究）
RPI通过在函数逼近设置中恢复策略迭代的值估计单调性属性，在CartPole和倒置摆任务中展现出对神经网络和环境扰动的鲁棒性，相较于其他深度强化学习方法，其早期性能优势和稳定性使其成为更可靠的替代方案。
2025-12-12 cs.AI cs.LG
Robust Neural Architecture Search
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对NAS生成模型易受恶意攻击且现有鲁棒方法忽略自然准确率的问题，提出RNAS方法，通过设计正则化项并使用噪声样本替代对抗样本降低搜索成本，在鲁棒性与准确率间实现了良好折衷。
2023-04-10 cs.AI cs.CR cs.LG
Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
本文提出SMGrNN，通过局部结构可塑性模块实现网络拓扑的在线进化，提升强化学习中的控制性能与稳定性。
2026-07-28 cs.LG cs.NE
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University（首尔大学）
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
The Robustness of Structural Features in Species Interaction Networks
Michigan State University（密歇根州立大学）
本研究分析148个真实二部网络，测试六种拓扑属性对缺失数据的鲁棒性，发现Clauset-Newman-Moore和Louvain社区检测算法更稳定，为生态网络分析提供属性选择依据。
2025-02-24 cs.AI cs.LG cs.SI
Intrinsic Numerical Robustness and Fault Tolerance in a Neuromorphic Algorithm for Scientific Computing
本文提出了一种神经形态算法，展示其在求解偏微分方程时对神经元和脉冲丢失的高鲁棒性，并通过结构超参数调节其容错能力。
2026-03-10 cs.AI cs.LG cs.NA
Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures
Independent Researcher（独立研究者）；Bengaluru, India（印度班加罗尔）
研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。
2026-07-08 cs.LG cs.NE
Structural Pruning of Pre-trained Language Models via Neural Architecture Search
Amazon Web Services（亚马逊网络服务）；Helsing（赫尔辛公司）
本文提出利用神经架构搜索（NAS）进行预训练语言模型的结构化剪枝，通过多目标方法识别Pareto最优子网络集，并采用两阶段权重共享NAS加速搜索，实现效率与泛化性能的最优权衡。
2024-08-25 cs.CL cs.LG
Impact of architecture on robustness and interpretability of multispectral deep neural networks
University of Washington（华盛顿大学）
本文比较采用早期融合、晚期融合等不同架构的多光谱深度学习模型，分析其性能、对各光谱波段的依赖及对自然图像损坏的鲁棒性。
2023-09-27 cs.CV cs.LG
Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh（匹兹堡大学）
最近，为了解决卷积神经网络中的一些普遍弱点，已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性，因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出，数据增强仍然是必不可少的模型是强大的腐败，我们建议探索的影响，该架构对腐败的鲁棒性。我们发现，视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现，参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research（谷歌研究院）
深度卷积神经网络（CNN）长期以来一直是计算机视觉任务的首选架构。最近，像视觉Transformer（ViT）这样基于Transformer的架构已经在图像分类方面与ResNets相匹配，甚至超过了ResNets。然而，Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中，我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究，并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现，当用足够多的数据进行预训练时，ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现，Transformers是强大的删除几乎任何单一的层，虽然从后面的层激活是高度相关的彼此，他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
