A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯神经网络架构，可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明，当在包含特定不变性的数据集上训练时，我们的模型优于其他非不变架构。当不执行数据增强时，情况也是如此。
2021-11-02 cs.LG stat.ML
A New Neural Network Architecture Invariant to the Action of Symmetry Subgroups
Institute of Robotics and Machine Intelligence（机器人与机器智能研究所）；Poznan University of Technology（波兹南理工大学）
我们提出了一种计算效率高的$G$不变的神经网络，近似函数不变的动作的对称组输入数据的给定置换子群$G \leq S_n$。所提出的网络架构的关键元素是一个新的$G$不变的变换模块，它产生一个$G$不变的潜在表示的输入数据。理论上的考虑得到了数值实验的支持，证明了所提出的方法的有效性和较强的泛化性能相比，其他$G$不变的神经网络。
2020-12-11 cs.AI cs.LG
A robust assessment for invariant representations
University of Alberta（阿尔伯塔大学）；the Chinese University of Hong Kong（香港中文大学）
本文针对基于 IRM 的表示缺乏直接不变性能评估的问题，利用似然比连接跨环境条件期望，提出稳健评估准则，并通过理论与数值实验验证其有效性。
2024-04-07 cs.LG stat.ML
EmbraceNet: A robust deep learning architecture for multimodal classification
Yonsei University（延世大学）
使用多模态数据的分类出现在许多机器学习应用中。这不仅是至关重要的模型跨模态的关系，有效地，而且要确保鲁棒性，防止丢失的部分数据或模态。在本文中，我们提出了一种新的基于深度学习的多模态融合架构的分类任务，它保证与任何类型的学习模型的兼容性，仔细处理跨模态信息，并防止由于部分数据缺失而导致的性能下降。我们使用两个数据集进行多模态分类任务，基于我们的架构和其他最先进的模型构建模型，并分析它们在各种情况下的性能。实验结果表明，当部分数据不可用时，我们的架构优于其他多模态融合架构。
2019-04-19 cs.LG stat.ML
Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations
University of Tennessee（田纳西大学）
本文提出稠密连接的 $G$-不变深度神经网络，利用带符号置换表示，推导可容许架构条件，并在乘法与3D分类任务中显著提升性能。
2023-10-17 cs.LG stat.ML
Set Flow: A Permutation Invariant Normalizing Flow
Zalando Research（Zalando研究院）
我们提出了一个生成模型，定义在有限的可交换的，潜在的高维数据集。由于该架构是RealNVP的扩展，因此它继承了其所有有利的属性，例如可逆性和允许精确的对数似然评估。我们表明，这种架构是能够学习有限的非独立同分布。集合数据分布，学习集合的实体之间的统计依赖性，并且能够以计算高效的方式训练和采样可变的集合大小。在3D点云上的实验显示了最先进的可能性。
2019-09-06 cs.LG stat.ML
Structural Robustness for Deep Learning Architectures
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；IMT Atlantique（大西洋国立高等工业技术与矿业学校）；HEC Montréal（蒙特利尔高等商学院）；University of Southern California（南加州大学）
深度网络已被证明在许多机器学习挑战中提供最先进的性能。不幸的是，它们容易受到各种类型的噪声的影响，包括对抗攻击和损坏的输入。在这项工作中，我们引入了一个正式的定义的鲁棒性，它可以被看作是一个本地化的Lipschitz常数的网络功能，量化的域中的数据进行分类。我们比较现有的鲁棒性的概念，并研究其与文献中的方法的连接。我们通过在各种竞争性视觉数据集上进行实验来评估这个指标。
2019-09-11 cs.LG stat.ML
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是，整个架构是时不变的（在空间域中的平移不变）或静止的。我们认为，时间不变性可以降低执行多步预测的能力，其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet，它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出，我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Transformation Invariant Cancerous Tissue Classification Using Spatially Transformed DenseNet
University of Sharjah（沙迦大学）
在这项工作中，我们引入了一个空间变换的DenseNet架构的变换不变分类的癌症组织。我们的架构提高了基础DenseNet架构的准确性，同时增加了以变换不变方式操作的能力，同时比试图提供某种形式的不变性的其他模型更简单。
2022-04-23 cs.CV cs.LG eess.IV
When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks
The Chinese University of Hong Kong（香港中文大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
对抗攻击的最新进展揭示了现代深层神经网络的内在脆弱性。从那时起，人们投入了大量的努力，通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们采取了架构的角度来看，并调查的模式，网络架构的弹性对抗攻击。为了获得本研究所需的大量网络，我们采用一次性神经结构搜索，训练一次大型网络，然后对从中采样的子网络进行微调。采样架构以及它们所达到的精度为我们的研究提供了丰富的基础。我们的“鲁棒架构Odyssey”揭示了几个有价值的观察：1）密集连接的模式导致提高的鲁棒性; 2）在计算预算下，将卷积运算添加到直接连接边是有效的; 3）解决方案流程（FSP）矩阵是网络鲁棒性的良好指标。基于这些观察，我们发现了一个强大的架构（RobNets）的家庭。在各种数据集上，包括CIFAR，SVHN，Tiny-ImageNet和ImageNet，RobNets表现出比其他广泛使用的架构更出色的鲁棒性性能。值得注意的是，RobNets大大提高了白盒和黑盒攻击下的鲁棒准确性（约5%的绝对增益），即使参数数量更少。代码可在https://github.com/gmh14/RobNets上获得。
2020-03-26 cs.CR cs.CV cs.LG
ATRAS: Adversarially Trained Robust Architecture Search
Drexel University（德雷塞尔大学）
在本文中，我们探讨了架构完整性对抗鲁棒性的影响。我们在CIFAR-10和MNIST数据集上训练具有不同架构的模型。对于每个模型，我们改变不同的层数和层中不同的节点数。对于每一个候选架构，我们使用快速梯度符号方法（FGSM）来生成无针对性的对抗攻击，并使用对抗训练来防御这些攻击。对于每个候选架构，我们报告了模型的攻击前、攻击后和防御后的准确性，以及架构参数和完整性对模型准确性的影响。
2021-06-13 cs.LG
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中，我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性，其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设，如果网络的架构与目标函数比噪声更一致，则网络对噪声标签更鲁棒。为了支持我们的假设，我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现，当网络与目标函数很好地对齐时，其表示的预测能力可以在测试准确性方面改善最先进的（SOTA）噪声标签训练方法，甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
A Computationally Efficient Neural Network Invariant to the Action of Symmetry Subgroups
Institute of Robotics and Machine Intelligence, Poznan University of Technology（波兹南理工大学机器人与机器智能研究所）
我们介绍了一种方法来设计一个计算效率高的$G$不变的神经网络，近似函数不变的一个给定的置换子群$G \leq S_n$的对称组输入数据的行动。所提出的网络架构的关键元素是一个新的$G$不变的变换模块，它产生一个$G$不变的潜在表示的输入数据。然后，该潜在表示在网络中用多层感知器处理。我们证明了所提出的架构的普遍性，讨论其属性，并突出其计算和内存效率。理论上的考虑是支持涉及不同的网络配置，这表明所提出的方法相比，其他$G$不变的神经网络的有效性和强大的泛化性能的数值实验。
2020-02-18 cs.LG cs.NE stat.ML
Diagnostic Benchmarks for Invariant Learning Dynamics: Empirical Validation of the Eidos Architecture
Occybyte
该研究通过PolyShapes-Ideal数据集验证Eidos架构在拓扑不变性上的高准确率，证明几何完整性而非统计规模决定泛化能力。
2026-02-10 cs.CV cs.LG
Exploring Robust Architectures for Deep Artificial Neural Networks
Rowan University（罗文大学）；University of Minnesota（明尼苏达大学）
深度人工神经网络（DANN）的架构被常规地研究以提高其预测性能。然而，DANN的结构与其对噪声和对抗攻击的鲁棒性之间的关系却很少被探索。我们研究了DANN的鲁棒性与其底层图形架构或结构的关系。本研究：（1）从使用图论鲁棒性度量探索DANN体系结构的设计空间开始;（2）将图转换为DANN体系结构，以对各种图像分类任务进行训练/验证/测试;（3）探索训练的DANN对噪声和对抗攻击的鲁棒性与通过图论度量估计的其底层体系结构的鲁棒性之间的关系。我们发现，拓扑熵和Olivier-Ricci曲率的基础图可以量化的DANN的鲁棒性性能。对于复杂任务和大型DANN，上述关系更强。我们的工作将允许autoML和神经架构搜索社区探索健壮和准确的DANN的设计空间。
2022-04-05 cs.AI cs.LG
A Materials Foundation Model via Hybrid Invariant-Equivariant Architectures
Texas A&M University（德克萨斯大学）；Lambda Inc.（Lambda公司）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出混合不变-等变材料原子间势模型 HIENet，整合两类消息传递层并满足物理约束，在保持计算高效的同时实现了最先进的性能。
2025-05-29 cond-mat.mtrl-sci cs.LG physics.comp-ph
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego（加州大学圣迭戈分校）
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
Affine-Invariant Robust Training
对抗鲁棒性在机器学习中引起了极大的关注。与训练在平均情况下准确的模型的常见方法相反，它旨在训练对最坏情况输入准确的模型，因此它产生更鲁棒和可靠的模型。换句话说，它试图防止对手欺骗模型。对抗鲁棒性的研究主要集中在$\ell_p-$有界对抗扰动上，即输入的修改，在某些$\ell_p$范数中有界。然而，已经表明，最先进的模型也容易受到其他更自然的扰动，如仿射变换，这已经在数据增强中的机器学习中得到了考虑。本计画回顾先前在空间稳健性方法上的工作，并提出演化策略作为零阶最佳化演算法，以找出每一输入的最差仿射变换。所提出的方法有效地产生鲁棒模型，并允许引入非参数对抗扰动。
2020-10-08 cs.LG cs.NE stat.ML
On Adversarial Robustness: A Neural Architecture Search perspective
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Microsoft（微软）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
深度学习模型的对抗鲁棒性在过去几年中获得了很大的关注。提出了各种攻击和防御来提高现代深度学习架构的对抗鲁棒性。虽然所有这些方法都有助于提高鲁棒性，但提高对抗鲁棒性的一个有希望的方向尚未探索，即，神经网络架构的复杂拓扑结构。在这项工作中，我们解决了以下问题：神经网络的复杂拓扑结构是否可以在没有任何形式的对抗训练的情况下提供对抗鲁棒性？我们通过实验不同的手工制作和基于NAS的架构来经验地回答这个问题。我们的研究结果表明，对于小规模攻击，基于NAS的架构对于小规模数据集和简单任务比手工构建的架构更强大。然而，随着数据集大小或任务复杂性的增加，手工构建的架构比基于NAS的架构更健壮。我们的工作是第一个纯粹从架构角度理解对抗鲁棒性的大规模研究。研究结果表明，在DARTS（一种流行的NAS方法）的搜索空间中随机抽样并进行简单的集成，可以使对PGD攻击的鲁棒性提高近12%.我们表明，NAS，这是流行的实现SoTA的准确性，可以提供对抗准确性作为一个免费的附加组件，没有任何形式的对抗训练。我们的研究结果表明，利用NAS方法的搜索空间和集成等方法可以在没有任何形式的对抗训练的情况下实现对抗鲁棒性。我们还引入了一个度量，可用于计算干净的准确性和对抗鲁棒性之间的权衡。代码和预训练模型将在\url{https://github.com/tdchaitanya/nas-robustness}上提供
2021-08-26 cs.CR cs.CV cs.LG
Sufficient Invariant Learning for Distribution Shift
Yonsei University（延世大学）；Purdue University（普渡大学）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
针对测试集缺失不变特征导致模型鲁棒性下降的问题，提出充分不变学习（SIL）框架及ASGDRO算法，通过寻找跨环境共同平坦极小值学习多样化不变特征，显著提升了模型对分布偏移的鲁棒性。
2025-09-12 cs.AI cs.LG stat.ML
Invariant backpropagation: how to train a transformation-invariant neural network
IBM Research Australia（IBM澳大利亚研究院）；The University of Melbourne（墨尔本大学）
在许多分类问题中，分类器应该对输入向量中的小变化具有鲁棒性。这是一个理想的属性，不仅为特定的变换，如图像分类问题中的平移和旋转，但也为所有其他的变化是足够小，以保持对象的感知不可区分的。我们提出了两个扩展的反向传播算法，训练一个神经网络是强大的特征向量的变化。虽然第一种方法增强了损失函数对所有变化的鲁棒性，但第二种方法训练预测对损失函数变化最大的特定变化具有鲁棒性。第二种方法显示出更好的结果，但速度稍慢。我们分析比较所提出的算法与两个最相似的方法（切线BP和对抗训练），并提出他们的快速版本。在实验部分中，我们在MNIST和CIFAR-10数据集上对所有算法的分类精度和对噪声的鲁棒性进行了比较。此外，我们分析了所提出的算法的性能如何取决于数据集的大小和数据扩增。
2016-01-15 cs.LG cs.NE stat.ML
Towards Accurate and Robust Architectures via Neural Architecture Search
College of Computer Science, Sichuan University（四川大学计算机学院）
提出 ARNAS，通过准确鲁棒搜索空间与可微多目标搜索策略，为对抗训练搜索兼具高准确率和强鲁棒性的神经架构。
2024-05-09 cs.CR cs.CV cs.LG
On the Expressive Power of Spectral Invariant Graph Neural Networks
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文提出统一框架EPNN，系统分析了各类谱不变GNN的表达能力层级，证明其严格弱于3-WL，并探讨了与更强GNN结合的潜力。
2024-06-06 cs.DM cs.DS cs.LG
ALIGN-FL: Architecture-independent Learning through Invariant Generative component sharing in Federated Learning
International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC)（2025国际计算机增强分布式计算和知识发现会议）
ALIGN-FL通过在联邦学习中共享不变生成组件，实现隐私保护的分布式学习，有效处理非独立同分布数据中的隐私与效用平衡问题。
2025-12-15 cs.AI cs.LG
Linear Memory SE(2) Invariant Attention
Zoox
针对自动驾驶空间数据处理中 SE(2) 等变注意力需二次方内存的问题，提出线性内存的 SE(2) 等变缩放点积注意力 transformer，并验证其可实现且性能优于非等变架构。
2025-07-24 cs.LG
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University（首尔大学）
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective
School of Computer Science, South China Normal University（华南师范大学计算机学院）
本文提出CmIR框架，通过因果推断分离模态中的因果不变表示与环境特定的虚假表示，提升多模态学习的鲁棒性和泛化能力。
2026-04-20 cs.LG
Effective, Efficient and Robust Neural Architecture Search
Southern University of Science and Technology（南方科技大学）
对抗攻击的最新进展显示了神经架构搜索（NAS）搜索的深度神经网络的脆弱性。尽管NAS方法可以找到具有最先进性能的网络结构，但NAS中的对抗鲁棒性和资源约束往往被忽略。为了解决这个问题，我们提出了一个有效的，高效的，和鲁棒的神经网络架构搜索（E2RNAS）的方法来搜索一个神经网络架构，考虑到性能，鲁棒性和资源约束。与现有的NAS方法不同的是，E2RNAS方法的目标函数是一个双层多目标优化问题，上层问题是一个多目标优化问题。为了解决提出的目标函数，我们集成了多梯度下降算法，一个广泛研究的基于梯度的多目标优化算法，与双层优化。在基准数据集上的实验表明，所提出的E2RNAS方法可以找到具有优化模型大小和可比分类精度的对抗鲁棒架构。
2020-11-19 cs.LG cs.NE
Koopman Invariants as Drivers of Emergent Time-Series Clustering in Joint-Embedding Predictive Architectures
本文提出JEPAs通过Koopman不变量驱动时间序列聚类的理论，揭示了预测器在表示解缠中的作用，为自监督学习与动力系统理论提供了联系。
2026-01-23 cs.AI cs.LG
A Multisensory Learning Architecture for Rotation-invariant Object Recognition
Humboldt-Universität zu Berlin（柏林洪堡大学）；Scuola Superiore Sant’Anna（圣安娜高等研究学院）
本研究提出了一种多传感器机器学习架构的对象识别采用一种新的数据集，该数据集是与iCub机器人，这是配备了三个摄像头和一个深度传感器。所提出的体系结构组合了卷积神经网络以形成表示（即，特征）和多层感知器算法来处理深度数据。为此，我们的目标是学习不同模态的联合表示（例如，颜色和深度），并利用它们来识别物体。我们评估所提出的体系结构的性能基准与模型分别训练与不同的传感器和一个国家的最先进的数据融合技术，即决策级融合的输入所获得的结果。结果表明，我们的架构提高了识别精度相比，使用输入从一个单一的模态和决策级多模态融合方法的模型。
2020-09-14 cs.CV cs.LG cs.RO
Robust Image Watermarking based on Cross-Attention and Invariant Domain Learning
University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
该研究提出基于多头交叉注意力和不变域学习的鲁棒图像水印方法，通过注意力机制定位语义适配的嵌入位置，并学习包含水印语义与噪声不变信息的域表示，为提升水印鲁棒性提供新路径。
2023-10-09 cs.LG cs.MM
Domain Generalization In Robust Invariant Representation
Massachusetts Institute of Technology（麻省理工学院）；University of California San Diego（加州大学圣迭戈分校）；Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文研究不变表示在分布外数据上的泛化能力，通过实验证明对已见域变换保持不变的模型能学到对分布偏移鲁棒的非结构化潜在表示，使不变性成为资源受限训练中的理想性质。
2024-02-25 cs.AI cs.LG
Differentiable Search of Accurate and Robust Architectures
深度神经网络（DNN）被发现容易受到对抗攻击的攻击，并且已经提出了各种防御方法。在这些方法中，对抗训练由于其简单有效而受到越来越多的关注。然而，对抗性训练的性能受到目标DNN结构的极大限制，这通常使得所得到的DNN的准确性和鲁棒性较差。为了解决这个问题，我们提出了DSARA来自动搜索在对抗训练后准确和鲁棒的神经架构。特别是，我们设计了一种新的基于细胞的搜索空间，通过仔细设计细胞的位置和滤波器数量的比例关系，提高了搜索结构的准确性和鲁棒性上界。然后，我们提出了一个两阶段的搜索策略，搜索准确和强大的神经结构。在第一阶段，优化结构参数，使对抗损失最小化，充分利用对抗训练的有效性，提高鲁棒性。在第二阶段，结构参数进行优化，以最大限度地减少自然损失和对抗性损失，利用所提出的多目标对抗性训练方法，使搜索的神经网络结构是准确和鲁棒的。我们在自然数据和各种对抗攻击下对所提出的算法进行了评估，这揭示了所提出的方法在准确性和鲁棒性方面的优越性。我们还得出结论，准确和鲁棒的神经结构倾向于在输入和输出附近部署非常不同的结构，这对于手工制作和自动设计准确和鲁棒的神经结构具有重要的实际意义。
2023-01-02 cs.AI cs.CR cs.LG
Hard-Constrained Neural Networks with Physics-Embedded Architecture for Residual Dynamics Learning and Invariant Enforcement in Cyber-Physical Systems
Department of Informatics and Statistics Federal University of Santa Catarina（信息与统计系弗拉斯卡廷联邦大学）
本文提出了一种具有物理嵌入架构的硬约束神经网络，用于在信息物理系统中学习残差动态并强制执行不变量，通过理论分析和实验验证展示了其高精度和数据效率，同时揭示了物理一致性、计算成本和数值稳定性之间的权衡。
2025-11-28 cs.AI cs.LG
Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry
Kyoto University（京都大学）；RIKEN（理化学研究所）；Kanazawa Institute of Technology（金泽工业大学）；Grenoble INP（格勒诺布尔理工学院）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文建立了群作用下等变映射与不变映射之间的一一对应关系，揭示了具有对称性的深度神经网络机制，并据此提出通用等变架构构造，分析了模型参数复杂度及ReLU网络的逼近率。
2024-09-25 cs.LG
Deep video gesture recognition using illumination invariants
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了基于深度神经网络的视频手势识别架构，这些架构对局部缩放是不变的。我们使用自适应加权方案来合并自动编码器和预测器架构，以处理大小减小的标记数据集，同时从巨大的未标记集丰富我们的模型。我们进一步提高鲁棒性的光照条件下，通过引入一个新的自适应滤波器的时间局部尺度归一化的基础上。我们提供了优于已知方法的结果，包括最近报道的基于神经网络的方法。
2016-03-21 cs.CV cs.LG
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology（罗切斯特理工学院）；Amazon Inc.（亚马逊公司）
本文提出RC-NAS框架，通过元训练与微调的双层强化学习范式，在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络，实现自适应压缩。
2024-06-14 cs.AI cs.LG
Robust Invariant Representation Learning by Distribution Extrapolation
Institute of Science Tokyo（东京科学研究所）
针对IRM惩罚项对有限环境多样性和过参数化敏感的问题，提出一种基于分布外推的框架，通过合成分布偏移增强环境多样性，实验证明其优于现有IRM变体。
2025-05-23 cs.LG
Robustness to Transformations Across Categories: Is Robustness To Transformations Driven by Invariant Neural Representations?
Massachusetts Institute of Technology（麻省理工学院）；Technical University of Munich（慕尼黑工业大学）；Center for Brains, Minds and Machines（大脑、心智与机器中心）；Fujitsu Research of America（富士通美国研究院）
本文研究深度卷积神经网络变换鲁棒性与不变神经表征的关系，发现鲁棒性并非总由不变表征驱动，仅当训练中带变换类别增多时不变性才会出现，且局部变换下该现象更显著。
2023-06-14 cs.CV cs.LG
RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
Arizona State University（亚利桑那州立大学）
本文提出 RNAS-CL，利用跨层知识蒸馏让 NAS 自动匹配教师层监督学生层，从而搜索出小型且对对抗攻击鲁棒的神经架构。
2023-01-19 cs.CV cs.LG
Complex-Valued GNNs for Distributed Basis-Invariant Control of Planar Systems
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出复值图神经网络，实现对局部基的选择不变性，提升在无GPS和无指南针环境下的控制效率与泛化能力。
2026-04-03 cs.LG
Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations
Centre for Wireless Communication, University of Oulu（奥卢大学无线通信中心）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
研究了数据分布变化下的鲁棒可重构智能曲面系统设计问题。使用不变风险最小化（Invariant Risk Minimization，简称RST）的概念，使用跨多个环境的不变因果表示，使得预测器对于每个环境同时是最优的。一个基于神经网络的解决方案，采用寻求预测器，其性能通过模拟验证对经验的风险最小化为基础的设计。结果表明，利用不变性产生更强大的鲁棒性对看不见的和分布外的测试环境。
2021-05-04 cs.LG cs.NI eess.SP
Learning with invariances in random features and kernel models
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
许多机器学习任务需要高度的不变性：如果我们对数据进行特定的一组变换，数据分布不会改变。例如，图像的标签在图像的平移下是不变的。某些神经网络架构--例如卷积网络--被认为是将它们的成功归功于它们利用了这种不变性的事实。为了量化不变结构所获得的增益，我们引入了两类模型：不变随机特征和不变核方法。作为特殊情况，后者包括具有全局平均池化的卷积网络的神经切线内核。我们考虑球面和超立方体上的一致协变量分布和一般不变目标函数。我们的特点是测试误差不变的方法在一个高维的制度，其中的样本量和数量的隐藏单位规模作为多项式的维度，为一类的群体，我们称之为“退化$α$”，与$α\leq 1$。我们发现，利用不变性的架构节省了$d^α$因素（$d$代表的尺寸）在样本量和隐藏单元的数量，以达到相同的测试误差为非结构化架构。最后，我们表明，输出对称化的非结构化核估计并没有得到显着的统计改善;另一方面，数据增强与非结构化核估计是等价的不变核估计，并享有相同的统计效率的改善。
2021-02-25 cs.LG math.ST stat.ML
Text-Guided Image Invariant Feature Learning for Robust Image Watermarking
University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
针对现有 SSL 水印缺乏显式不变特征的问题，提出利用 CLIP 文本嵌入作为语义锚点的文本引导不变特征学习框架，在多数据集上显著提升严重失真下的特征一致性与水印提取准确率。
2025-03-18 cs.CV cs.LG cs.MM
Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
Michigan State University（密歇根州立大学）；Argonne National Laboratory（阿贡国家实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）
具有精确校准的不确定性的鲁棒机器学习模型对于安全关键型应用至关重要。概率机器学习，特别是贝叶斯形式主义提供了一个系统的框架，通过分布估计和不确定性的原因，将鲁棒性。最近的工作表明，近似推理的方法，采取神经网络的权重空间的不确定性，以产生集成预测是最先进的。然而，架构的选择大多是临时的，这基本上忽略了认知的不确定性，从架构空间。为此，我们提出了一个统一的概率架构和权重集成神经架构搜索（UraeNAS），利用概率神经架构搜索和近似贝叶斯推理的进步，以生成集成形式的联合分布的神经网络架构和权重。与基线确定性方法相比，所提出的方法显示出分布内（准确度为0.86%，ECE为42%）CIFAR-10和分布外（准确度为2.43%，ECE为30%）CIFAR-10-C的显著改善。
2022-10-08 cs.AI cs.LG
Robust Neural Architecture Search
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对NAS生成模型易受恶意攻击且现有鲁棒方法忽略自然准确率的问题，提出RNAS方法，通过设计正则化项并使用噪声样本替代对抗样本降低搜索成本，在鲁棒性与准确率间实现了良好折衷。
2023-04-10 cs.AI cs.CR cs.LG
Unsupervised Scale-Invariant Multispectral Shape Matching
Tel Aviv University（特拉维夫大学）
非刚性可拉伸结构之间的对齐是计算机视觉中最具挑战性的任务之一，因为不变量属性难以定义，并且没有用于真实数据集的标记数据。我们提出了无监督神经网络架构的基础上的频谱域的尺度不变的几何。我们建立在功能地图架构之上，但到目前为止，学习本地功能是不够的，一旦等距假设打破。我们演示了使用多个尺度不变的几何解决这个问题。我们的方法是不可知的本地规模的变形，并显示出优越的性能匹配形状从不同的域相比，现有的光谱最先进的解决方案。
2022-08-28 cs.CV cs.LG
Minimum sharpness: Scale-invariant parameter-robustness of neural networks
University of Southern California（南加州大学）；University of Tokyo（东京大学）
为了实现鲁棒的和防御性的神经网络，对权值参数扰动的鲁棒性，即，锐度，近年来吸引了人们的注意（Sun等人，2020年）。然而，锐度仍然是一个关键问题，“尺度敏感性”。“在本文中，我们提出了一种新的锐度度量，最小锐度。众所周知，神经网络具有特定的尺度变换，构成了功能特性完全相同的等价类，同时，它们的锐度可以无限变化。我们定义我们的锐度通过一个最小化问题的等价NN不变的尺度变换。我们还开发了一种有效和精确的技术，使清晰度易于处理，从而减少了沉重的计算成本与海森。在实验中，我们观察到我们的锐度与NN的泛化具有有效的相关性，并且比现有的锐度度量具有更少的计算成本。
2021-06-26 cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于许多应用对安全性的迫切需求，深度神经网络（DNN）模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台，通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是，当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题，在本文中，我们首先提出了一个新的平台，称为自动对抗攻击和防御（$A^{3}D$），它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中，我们采用了多种神经结构搜索方法，考虑不同的鲁棒性评估指标，包括四种类型的噪声：对抗性噪声，自然噪声，系统噪声和量化指标，从而找到强大的架构。此外，我们提出了一个自动对抗攻击的数学模型，并提供了多种优化算法来搜索有效的对抗攻击。此外，我们将自动对抗攻击和防御结合在一起，形成一个统一的框架。在自动对抗防御中，搜索到的有效攻击可以作为新的鲁棒性评价指标，进一步提高系统的鲁棒性。在自动对抗攻击中，搜索到的鲁棒体系结构可以用作威胁模型，以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性，为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
An Evaluation of Zero-Cost Proxies -- from Neural Architecture Performance to Model Robustness
University of Siegen（锡根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
该研究针对NAS领域零成本代理指标侧重干净准确率、对鲁棒性关注不足的问题，在NAS-Bench-201空间中分析常用零成本代理对鲁棒性的预测能力，发现鲁棒性预测需联合多代理指标，干净准确率单特征即可回归。
2023-07-18 cs.CV cs.LG
Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；DeepAuto
提出一种轻量级鲁棒零成本代理，通过评估初始化状态下干净与扰动图像在特征、参数和梯度上的一致性，高效搜索出对多样扰动具有强鲁棒性的神经架构。
2023-10-20 cs.LG
Neural approximation of Wasserstein distance via a universal architecture for symmetric and factorwise group invariant functions
University of California - San Diego（加利福尼亚大学圣地亚哥分校）；Halıcıoğlu Data Science Institute, University of California - San Diego（加利福尼亚大学圣地亚哥分校哈利乔格鲁数据科学学院）
本文提出一种结合草图化思想的通用神经网络架构，用于高效逼近点集间的Wasserstein距离，模型复杂度与输入规模无关，且在理论和实证上均优于现有方法。
2023-11-17 cs.LG
Estimating Neural Network Robustness via Lipschitz Constant and Architecture Sensitivity
Carnegie Mellon University（卡内基梅隆大学）
该研究针对机器人学习系统的鲁棒性需求，提出基于神经网络架构推导Lipschitz常数解析表达式的方法，通过实验明确网络设计、Lipschitz常数与鲁棒性的关联，为构建更安全可靠的机器人感知系统提供理论与实践依据。
2024-10-30 cs.AI cs.LG cs.RO
