On the Benefits of Invariance in Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界的数据分析问题都表现出不变结构，利用这种结构的模型表现出令人印象深刻的经验性能，特别是在深度学习中。虽然文献中包含了各种将不变性纳入模型的方法，但理论上的理解很差，并且没有办法评估何时应该首选一种方法。在这项工作中，我们分析了深度学习中存在不变性的两种广泛使用的方法的优点和局限性：数据增强和特征平均。我们证明了使用数据增强进行训练可以更好地估计风险及其梯度，并且我们为使用数据增强训练的模型提供了PAC-Bayes泛化界。我们还表明，相比数据增强，特征平均减少了泛化误差时，使用凸损失，并收紧PAC贝叶斯界限。我们提供了这些理论结果的实证支持，包括为什么泛化可能无法通过数据增强训练来改善的演示：“学习不变性”在训练分布之外失败。
2020-05-01 cs.LG stat.ML
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
利用由于变换而引起的类内方差的先验知识是提高深度神经网络的样本复杂度的有力方法。这使得它们适用于训练数据稀缺的实际重要用例。这种知识不是通过学习获得的，而是通过对这些转换强制执行不变性来嵌入的。不变性可以使用群等变卷积，然后进行池化操作来实现。对于旋转不变性，以前的工作研究了用不变积分取代空间池操作，该积分显式地构造不变表示。不变积分使用单项式，单项式是使用迭代方法选择的，需要昂贵的预训练。我们提出了一种新的单项选择算法的基础上修剪方法，使应用程序更复杂的问题。此外，我们用不同的函数（如加权和、多层感知器和自注意力）替换单项式，从而简化了基于不变积分的架构的训练。我们在Rotated-MNIST、SVHN和CIFAR-10数据集上展示了改进的样本复杂度，其中使用单项式和加权和的基于旋转不变积分的Wide-ResNet架构在有限样本范围内优于各自的基线。我们实现了国家的最先进的结果，使用旋转MNIST和SVHN的旋转是一个主要来源的组内变化的完整数据。在STL-10上，我们使用池化优于标准和旋转等变卷积神经网络。
2022-02-08 cs.LG
Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
Meiji University（东邦大学）
本研究提出一种理论保证且加速的Lipschitz多尺度深度均衡模型，通过重构架构实现固定点收敛，提升训练和推理效率。
2026-02-03 cs.LG
Geometric robustness of deep networks: analysis and improvement
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度卷积神经网络已被证明易受任意几何变换的影响。然而，目前还没有系统的方法来衡量深度网络对这种变换的不变性。我们提出ManiFool作为一个简单但可扩展的算法来衡量深度网络的不变性。特别是，我们的算法在最坏情况下测量了深度网络对几何变换的鲁棒性，因为它们对于敏感的应用程序可能是有问题的。我们的大量实验结果表明，ManiFool可以用来衡量相当复杂的网络在高维数据集上的不变性，这些值可以用来分析其原因。此外，我们基于ManiFool提出了一种新的对抗性训练方案，我们展示了它在提高深度神经网络的不变性方面的有效性。
2017-11-24 cs.CV cs.LG
Do Deep Networks Transfer Invariances Across Classes?
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
为了很好地泛化，分类器必须学会对不改变输入类的讨厌的变换保持不变。许多问题具有类似地应用于所有类的“类不可知”的讨厌变换，例如图像分类的照明和背景变化。神经网络可以在给定足够数据的情况下学习这些不变性，但许多现实世界的数据集是严重的类不平衡的，并且只包含大多数类的几个示例。因此，我们提出了一个问题：神经网络如何将从大类中学习到的类不可知不变性转移到小类中？通过仔细的实验，我们观察到类不可知变换的不变性仍然严重依赖于类的大小，网络在较小的类上的不变性要小得多。即使使用数据平衡技术，这个结果也成立，并且表明跨类的不变性传输很差。我们的研究结果提供了一个解释，为什么分类推广不平衡和长尾分布。基于此分析，我们展示了如何生成的方法学习滋扰变换可以帮助跨类转移不变性和提高性能的一组不平衡的图像分类基准。我们实验的源代码可在https://github.com/AllanYangZhou/generative-invariance-transfer上获得。
2022-03-18 cs.CV cs.LG
In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）；Colorado State University（科罗拉多州立大学）；National Geospatial-Intelligence Agency（国家地理空间情报局）
人们常说，深度学习模型对某些特定类型的转换是“不变的”。然而，这一声明的含义在很大程度上取决于它所处的背景。在本文中，我们探讨了深度学习模型的不变性和等变性的本质，目的是更好地理解它们在形式层面上实际捕获这些概念的方式。我们引入了一个家庭的不变性和等变性指标，使我们能够量化这些属性的方式，解开他们从其他指标，如损失或准确性。我们使用我们的指标来更好地理解用于在网络中构建不变性的两种最流行的方法：数据增强和等变层。我们得出了一系列关于深度学习模型中的不变性和等变性的结论，从使用预训练权重初始化模型是否会影响训练模型的不变性，到通过训练学习的不变性可以推广到分布外数据的程度。
2022-10-07 cs.CV cs.LG
On Invariance Penalties for Risk Minimization
Mayo Clinic（梅奥诊所）；Oxford University（牛津大学）；King’s College London（伦敦国王学院）
不变风险最小化（Invariant Risk Minimization，简称RST）原则最早由Arjovsky et al. [2019]提出，旨在通过利用不同实验条件下的数据异质性来解决领域泛化问题。具体来说，SVM试图找到一种数据表示，在这种数据表示下，最佳分类器在所有域中都保持不变。尽管概念上的上诉，最初提出的不变性惩罚的有效性最近已被质疑。特别是，存在这样的反例：对于非不变数据表示，不变性惩罚可以任意小。我们提出了另一种不变性惩罚通过重新访问的Gramian矩阵的数据表示。我们讨论了它的特征值之间的关系的风险和不变性惩罚的作用，并证明了它是病态的上述反例。所提出的方法是保证恢复一个不变的表示线性设置下温和的非退化条件。在两个广泛的领域泛化测试平台DomainBed和InvarianceUnitTest上的实验证明了该方法的有效性。
2021-06-17 cs.LG stat.ML
Do Invariances in Deep Neural Networks Align with Human Perception?
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
安全和值得信赖的深度学习的一个评估标准是深度神经网络（DNN）表示所捕获的不变性与人类共享的程度。我们确定在衡量这些不变性的挑战。先前的工作使用基于梯度的方法来生成相同表示的输入（IRI），即具有神经网络的相同表示（在给定层上）的输入，从而捕获给定网络的不变性。网络的不变性与人类感知一致的一个必要标准是其IRI看起来与人类“相似”。然而，之前的工作有混合的外卖;一些人认为DNN的后期层不会学习类似人类的不变性（\cite{jenelle2019metamers}），但其他人似乎表明并非如此（\cite{mahendran2014understanding}）。我们认为，用于生成IRI的损失函数可以严重影响网络不变性的外卖，是这些相互矛盾的研究结果的主要原因。我们提出了一个对抗正则化的IRI代损失，发现IRI，使任何模型似乎有很少的共享不变性与人类。基于这一证据，我们认为有改进模型的余地，使其具有类似人类的不变性，并且进一步地，为了在模型之间进行有意义的比较，应该使用使用正则化器无损失生成的IRI。然后，我们深入研究了深度学习管道的不同组件（例如架构，训练损失，数据增强）如何有助于与人类保持良好一致的学习模型。我们发现，使用（自监督）对比损失与$\ell_p$球对抗数据增强训练的具有剩余连接的架构倾向于学习与人类最一致的不变性。代码：\url{github.com/nvedant07…
2022-12-02 cs.AI cs.CV cs.LG
Learning Invariances with Generalised Input-Convex Neural Networks
University of Basel（巴塞尔大学）
考虑到从输入向量到连续目标的光滑映射，我们的目标是使输入域的子空间在这种映射下保持不变。因此，我们想要隐式地定义由水平集的流形。具体来说，这种表征应该是全局参数形式，这对于不同的知情数据探索任务特别有用，例如构建基于网格的近似，沿着水平曲线采样点，或在流形上找到轨迹。然而，全局参数化只能在水平集连接时存在。为了这个目的，我们引入了一种新的和灵活的类神经网络，广义输入凸网络。这些网络表示保证具有连通水平集的函数，这些连通水平集在输入空间上形成光滑流形。我们进一步表明，这些水平集的全局参数化总是可以有效地找到。最后，我们证明了我们用于表征不变性的新技术在现实世界的应用中是一个强大的生成数据探索工具，例如计算化学。
2022-04-14 cs.LG
Deep Neural Networks for Rotation-Invariance Approximation and Learning
Hong Kong Baptist University（香港浸会大学）；CityU（香港城市大学）
基于树结构，本文的目标是设计具有两个或多个隐藏层的深度神经网络（称为深度网络）来实现径向函数，从而在任意高维欧氏空间中实现近似最优函数的旋转不变性。结果表明，深度网络在近似精度和学习能力方面比浅网络（只有一个隐藏层）有更好的性能。特别是，对于径向函数的学习，它表明，近最优的速率可以通过深网络，但不能通过浅网络实现。我们的结果说明了深度在神经网络设计中的必要性，以实现旋转不变的目标函数。
2019-04-03 cs.LG stat.ML
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology（计算机科学与技术系）
本文提出变换不变神经网络（TinvNN），通过修改多维缩放得到变换不变且保持距离的初始点表示，实现几何数据的严格变换不变性，在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
Spelunking the Deep: Guaranteed Queries on General Neural Implicit Surfaces via Range Analysis
University of Toronto（多伦多大学）；Adobe Research（奥多比研究院）
神经隐式表示将表面编码为应用于空间坐标的神经网络的水平集，已被证明对于优化、压缩和生成3D几何形状非常有效。虽然这些表示很容易拟合，但如何最好地评估形状上的几何查询（例如与射线相交或查找最近点）尚不清楚。主要的方法是鼓励网络具有符号距离属性。然而，该属性通常仅近似地保持，从而导致鲁棒性问题，并且仅在训练结束时保持，从而抑制了在损失函数中使用查询。相反，这项工作提出了一种新的方法来执行查询，直接对一般的神经隐式功能的广泛的现有架构。我们的关键工具是应用范围分析神经网络，使用自动算术规则约束一个区域的网络的输出，我们进行了研究范围分析神经网络，并确定变种的仿射算法是非常有效的。我们使用由此产生的边界来开发几何查询，包括光线投射，相交测试，构建空间层次结构，快速网格提取，最近点评估，评估批量属性，等等。我们的查询可以在GPU上有效地进行评估，即使在随机初始化的网络上也能提供具体的准确性保证，使其能够用于训练目标及其他领域。我们还展示了一个初步的应用程序，逆渲染。
2022-06-24 cs.CV cs.GR cs.LG
How ConvNets model Non-linear Transformations
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们从理论上解决了涉及深度卷积网络的三个基本问题，即不变性、深度和层次。我们介绍了转换网络（TN）的范式，它是卷积网络（ConvNets）的直接推广。从理论上讲，我们证明了TN（以及ConvNets）可以对输入的非线性变换保持不变，尽管仅在局部平移上进行了池化。我们的分析提供了清晰的见解，在这些网络的深度增加不变性。更深层次的网络能够模拟更丰富的转换类别。我们还发现，一个分层的架构允许网络生成不变性比非分层网络更有效。我们的研究结果为使用ConvNets的深度学习中的这三个基本问题提供了有用的见解。
2017-02-24 cs.CV cs.LG
A Deep Representation for Invariance And Music Classification
Center for Brains, Minds and Machines（大脑、心智与机器中心）
听觉皮层中的表征可能基于类似于视觉腹侧流的机制;模块用于构建对变换的不变性以及用于组合性和选择性的多个层。在本文中，我们提出了使用这样的计算模块提取不变的和歧视性的音频表示。建立在层次结构的不变性理论，我们提出了一种新的，中级表示的声学信号，使用经验分布的投影在一组模板和它们的变换。在这样的假设下，通过构造，该模板字典由类似的类组成，并且对方差诱导信号变换（例如移位和缩放）的轨道进行采样，所得到的签名在理论上保证是唯一的、对变换不变性的并且对变形稳定。然后，投影和池化模块可以构成深度网络的层，用于学习复合表示。我们提出的主要理论和计算方面的框架不变的音频表示的无监督学习，经验评估音乐流派分类。
2014-04-01 cs.LG cs.SD stat.ML
SketchTransfer: A Challenging New Task for Exploring Detail-Invariance and the Abstractions Learned by Deep Networks
MILA（蒙特利尔学习算法研究所）；Aalto University（阿尔托大学）；Google Brain（谷歌大脑）
深度网络在感知任务中取得了优异的成绩，但它们在训练过程中没有看到的变化的能力受到了越来越多的关注。在这项工作中，我们专注于他们的能力，有不变性对存在或不存在的细节。例如，人类能够观看缺少许多视觉细节的卡通片，而无需进行明确的训练。作为另一个例子，3D渲染软件是一个相对较新的发展，但人们能够理解这样的渲染场景，即使他们缺少细节（考虑像玩具总动员电影）。机器学习算法未能做到这一点，表明人类能力和深度网络能力之间在泛化方面存在显著差距。我们提出了一个数据集，这将使它更容易具体地研究细节不变性问题。我们为此产生了一个具体的任务：SketchTransfer，我们表明，最先进的域转移算法仍然在努力完成这项任务。在MNIST $\xrightarrow{}$ SVHN转换上达到95%以上的最新技术在SketchTransfer任务上仅达到59%的准确率，这比随机（11%的准确率）好得多，但低于直接在标记草图上训练的分类器的87%的准确率。这表明，这项任务是接近今天的最好的方法，但有很大的改进空间。
2019-12-25 cs.CV cs.LG stat.ML
Invariant Integration in Deep Convolutional Feature Space
University of Lübeck（吕贝克大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
在这篇文章中，我们展示了如何以原则性的方式将先验知识融入深度神经网络架构。我们使用基于不变积分的新层来执行特征空间不变性。这使我们能够构造一个完整的特征空间不变的有限变换群。我们应用我们提出的层来显式地插入视觉相关分类任务的不变性属性，展示我们在旋转不变性情况下的方法，并报告Rotated-MNIST数据集上的最新性能。我们的方法在使用有限数据进行训练时特别有用。
2020-04-20 cs.CV cs.LG stat.ML
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University（奥古斯塔大学）
本文针对量化神经网络压缩，通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差，且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步，我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设，因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发，提出了一种计算效率高的计算方法，用于确定欺骗网络的对抗性扰动的大小下限，该方法广泛适用于各种复杂网络.此外，我们提出了一个有效的训练过程，使网络健壮，并显着提高数据点周围的可证明的保护区域。在实验评估中，我们的方法显示出它能够提供非平凡的保证，并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
An invariance constrained deep learning network for PDE discovery
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出不变性约束深度学习网络ICNet，利用伽利略不变性筛选候选项并嵌入损失函数，从稀疏高噪声数据中发现偏微分方程，在流体力学和波动方程上验证了优越性。
2024-02-06 cs.LG
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Encoding Invariances in Deep Generative Models
Iowa State University（爱荷华州立大学）
生成对抗网络（GANs）的可靠训练通常需要大量数据集，以便对复杂的分布进行建模。然而，在一些应用中，训练样本服从\textit{a priori}已知的不变性;例如，在复杂的物理模拟中，训练数据服从编码为明确定义的数学方程的普遍规律。在本文中，我们提出了一种新的生成式建模方法，InvNet，可以有效地建模数据空间与已知的不变性。我们设计了一个对抗训练算法来将它们编码到数据分布中。我们验证了我们的框架在三个实验设置：生成图像与固定图案;求解非线性偏微分方程（PDE）;和重建两相微结构所需的统计特性。我们补充我们的实验与几个理论结果。
2019-06-04 cs.LG eess.IV stat.ML
Transitive Vision-Language Prompt Learning for Domain Generalization
Xiamen University（厦门大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
本文提出一种新颖的提示学习策略，利用深度视觉提示提取领域不变特征，结合语言提示确保类可分离性及自适应加权机制平衡二者，在三个数据集上实现了最先进的领域泛化性能。
2024-04-29 cs.CV cs.LG
Differentiable Optimization Layers for Guaranteed Fairness in Deep Learning
Department of Statistics \& Data Science, University of California, Los Angeles, USA；Department of Mathematics, University of California, Los Angeles, USA；Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany
本文提出了一种称为'公平性层'的可微优化层，该层可确保在神经网络中集成时满足所选的输出平等性概念，并介绍了一个在线对偶推理算法，为流式预测提供可证明的公平性保证，即使使用任意小的批量大小。
2026-05-16 cs.LG stat.CO stat.ML
Learning Deep Features for Shape Correspondence with Domain Invariance
University of Utah（犹他大学）
基于对应的形状模型是依赖于解剖结构的统计分析的各种医学成像应用的关键。预计此类形状模型将代表人群中一致的解剖学特征，用于人群特异性形状统计。早期的对应放置方法依赖于最近邻搜索较简单的解剖结构。形状对应的坐标变换有望解决日益增加的解剖复杂性。尽管如此，由于固有的形状级几何复杂性和群体级形状变化，坐标对应通常不会转化为解剖对应。另一种方法，组明智的对应位置明确模型之间的权衡几何描述和人口的统计紧凑性。然而，这些模型在解决非线性形状对应方面取得了有限的成功。最近的工作已经解决了这个限制，通过采用特定于应用程序的概念，通过提升位置数据到一个更高维的特征空间的对应关系。然而，他们严重依赖人工专业知识来创建特定于领域的功能和一致的地标。本文提出了一种自动特征学习方法，使用深度卷积神经网络从形状集成中提取对应友好的特征。此外，一个无监督的领域自适应方案被引入到增加新的解剖结构的预训练的几何特征。对人类肩胛骨、股骨和骨盆骨骼的解剖数据集的结果表明，与手动特征相比，以监督方式学习的特征显示出对应性估计的性能提高。此外，无监督学习被证明使用监督领域自适应从在较简单的解剖结构上学习的特征来学习复杂的解剖结构特征。
2021-02-21 cs.CV cs.LG
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）；Beijing Jiaotong University（北京交通大学）
工业物联网（IoT）设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络（DNN）推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率，是最小化服务延迟的关键。在本文中，我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性，我们制定了一个约束马尔可夫决策过程（CMDP）的问题。具体而言，采样率自适应，推理任务卸载和边缘计算资源分配被联合考虑，以最小化平均服务延迟，同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习（RL）算法由于棘手的长期约束，我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后，提出了一种基于深度RL的算法来求解MDP。为了加快训练过程，在该算法中嵌入了优化子程序，直接获得最优的边缘计算资源分配。大量的仿真结果表明，所提出的基于RL的算法可以显着降低平均服务延迟，同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
Interpretable Neural Approximation of Stochastic Reaction Dynamics with Guaranteed Reliability
Department of Biosystems Science and Engineering, ETH Zurich（1 生物系统科学与工程系，苏黎世联邦理工学院）
DeepSKA通过结合可解释性、可靠性保证和高效计算，为随机反应动力学提供了一种新的神经近似方法。
2025-12-06 cs.LG math.PR q-bio.MN
A Comparative Study of Invariance-Aware Loss Functions for Deep Learning-based Gridless Direction-of-Arrival Estimation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对深度学习无网格 DoA 估计，提出基于尺度不变信号失真比的矩阵缩放不变损失，并通过比较实验表明更高程度不变性的损失设计更具优势。
2025-03-16 cs.LG eess.SP
Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning
University of California, Los Angeles（加州大学洛杉矶分校）
精心制作的对抗样本有效地利用了深度神经网络的弱点。对抗鲁棒性的标准方法假设一个框架来防御通过最小限度地扰动样本以使其相应的模型输出发生变化而制作的样本。这些敏感性攻击利用了模型对与任务无关的特征的敏感性。另一种形式的对抗性样本可以通过不变性攻击来制作，这种攻击利用模型低估相关特征的重要性。以往的文献表明，在严格的L_p有界防御中，防御两种类型的攻击是一种折衷。为了提高对超越欧几里得距离度量的两种类型攻击的鲁棒性，我们使用度量学习将对抗正则化框架作为最优传输问题。我们的初步结果表明，在我们的框架中，正则化不变扰动提高了不变和敏感性防御。
2022-11-04 cs.AI cs.CR cs.LG
Deep Clustering with a Constraint for Topological Invariance based on Symmetric InfoNCE
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通有限公司）；RIKEN AIP（理化学研究所人工智能研究中心）
我们考虑深度聚类的情况下，可用的先验知识是有限的。在这种情况下，很少有现有的最先进的深度聚类方法可以很好地执行非复杂拓扑和复杂拓扑数据集。为了解决这个问题，我们提出了一个约束，利用对称的InfoNCE，这有助于深度聚类方法的目标在场景中的模型训练，以便不仅是有效的非复杂的拓扑结构，但也复杂的拓扑数据集。此外，我们提供了几个理论解释的原因，约束可以提高性能的深度聚类方法。为了确认所提出的约束的有效性，我们引入了一种名为MIST的深度聚类方法，它是现有深度聚类方法和我们的约束的组合。我们通过MIST的数值实验表明，该约束是有效的。此外，对于大多数常用的十个基准数据集，MIST的性能优于其他最先进的深度聚类方法。
2023-03-06 cs.LG stat.ML
Invariance encoding in sliced-Wasserstein space for image classification with limited training data
University of Virginia（弗吉尼亚大学）
深度卷积神经网络（CNN）被广泛认为是最先进的通用端到端图像分类系统。然而，当训练数据有限并且因此需要数据增强策略时，已知它们表现不佳，这使得该方法在计算上昂贵并且不总是有效的。而不是使用一个数据增强策略来编码的不变性通常在机器学习，在这里，我们建议在数学上增加最近的子空间分类模型切片Wasserstein空间利用某些数学性质的氡累积分布变换（R-CDT），最近推出的图像变换。我们证明，对于特定类型的学习问题，我们的数学解决方案在分类准确性和计算复杂性方面优于深度CNN的数据增强，并且在有限的训练数据设置下特别有效。该方法简单，有效，计算效率高，非迭代，不需要调整参数。实现我们方法的Python代码可以在https://github.com/rohdelab/mathematical_augmentation上找到。我们的方法被集成为软件包PytransKit的一部分，该软件包可在https://github.com/rohdelab/PyTransKit获得。
2022-07-24 cs.CV cs.LG
Understanding when spatial transformer networks do not support invariance, and what to do about it
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究指出空间变换网络（STNs）变换CNN特征图时无法支持不变性并会降低分类准确率，提出与分类网络共享参数的深层定位网络架构以提升复杂数据集分类精度，还探究了定位网络复杂度与迭代图像对齐的相互作用。
2021-05-18 cs.CV cs.LG
Learning robust visual representations using data augmentation invariance
University of Osnabrück（奥斯纳布吕克大学）；MRC Cognition and Brain Sciences Unit, University of Cambridge（剑桥大学MRC认知与脑科学组）
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而，人工和生物网络仍然表现出重要的差异。在这里，我们调查这样一个属性：增加不变性，以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现，但我们提出的经验证据表明，为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案，我们提出了数据增强不变性，一个无监督学习的目标，提高了鲁棒性的学习表示，通过促进增强图像样本的激活之间的相似性。我们的研究结果表明，这种方法是一种简单而有效的（训练时间增加10%）方法，可以提高模型的不变性，同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Invariant Policy Learning: A Causal Perspective
University of Copenhagen（哥本哈根大学）
上下文强盗和强化学习算法已经成功地用于各种交互式学习系统，如在线广告，推荐系统和动态定价。然而，它们尚未在高风险应用领域（如医疗保健）中广泛采用。一个原因可能是，现有的方法假设基础机制是静态的，在这个意义上，它们不会随着不同的环境而改变。然而，在许多现实世界的系统中，这些机制会在不同的环境中发生变化，这可能会使静态环境假设失效。在本文中，我们采取了一个步骤来解决环境变化的问题，考虑离线上下文土匪的框架。我们通过因果关系的镜头来看待环境变化问题，并提出多环境背景的强盗，允许改变的基本机制。我们采用的概念不变性的因果关系文献，并介绍了政策不变性的概念。我们认为，政策的不变性是唯一相关的，如果未观察到的变量存在，并表明，在这种情况下，一个最佳不变的政策是保证在适当的假设下，跨环境推广。我们的研究结果建立了因果关系，不变性和上下文土匪之间的具体联系。
2022-09-22 cs.AI cs.LG stat.ML
Empowering Graph Invariance Learning with Deep Spurious Infomax
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现有图不变性学习对虚假相关强度假设敏感的问题，提出基于信息最大化原理的EQuAD框架，通过分离虚假特征学习不变特征，在合成和真实数据集上性能稳定提升，最高达31.76%。
2024-07-13 cs.LG
Exploring Intensity Invariance in Deep Neural Networks for Brain Image Registration
School of Science（理学院）；EPFL（洛桑联邦理工学院）；Edith Cowan University (ECU)（伊迪丝·考恩大学）；Neuroscience Center Zurich（苏黎世神经科学中心）；UZH/ETH Zurich（苏黎世大学/苏黎世联邦理工学院）
图像配准是一种广泛使用的技术，用于分析通过各种成像模式和生物医学成像技术（如MRI、X射线等）捕获的大规模数据集。这些数据集通常是使用各种扫描仪在不同成像协议下从各个站点收集的。数据汇集过程中的这种异质性导致强度（亮度）和噪声分布的不均匀性或变化。这些变化在图像配准、分割和检测算法的性能中起着有害的作用。经典的图像配准方法是计算昂贵的，但能够相对更好地处理这些伪影。然而，基于深度学习的技术被证明对于自动大脑配准是计算高效的，但是对强度变化敏感。在这项研究中，我们研究了基于深度学习的图像配准方法中输入图像对之间强度分布变化的影响。我们发现这些模型的性能退化时，大脑图像对具有不同的强度分布，即使具有相似的结构。为了克服这一局限性，我们在深度神经网络中引入了一个基于结构相似性的损失函数，并在训练前分离的验证分裂以及完全看不见的新数据集上测试其性能。我们报告说，用基于结构相似性的损失训练的深度学习模型似乎对两个数据集都有更好的表现。这项调查强调了基于深度学习的配准模型中可能的性能限制因素，并提出了一种潜在的解决方案，以将强度分布变化纳入输入图像对中。我们的代码和模型可以在https://github.com/hassaanmahmood/DeepIntense上找到。
2020-09-21 cs.AI cs.CV cs.LG
Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度卷积架构的成功通常部分归功于它们学习自然信号的多尺度和不变表示的能力。然而，对这些属性以及它们如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示;我们研究它们对平移和更一般的变换群的不变性，它们对反同态作用的稳定性，以及它们保存信号信息的能力。通过引入基于卷积核网络的多层核并通过研究核映射引起的几何形状来进行这种分析。然后，我们描述了相应的再生核希尔伯特空间（RKHS），表明它包含一个大类的卷积神经网络具有齐次激活函数。这种分析使我们能够将数据表示与学习分开，并提供模型复杂性的规范度量，即RKHS范数，它控制任何学习模型的稳定性和泛化。除了在构建的RKHS模型，我们的稳定性分析也适用于卷积网络与一般的激活，如整流线性单元，我们讨论了它与最近的泛化界的基础上谱范数的关系。
2018-10-10 cs.LG stat.ML
Neural Residual Modeling for Scientific Data Compression under Guaranteed Error Bounds
University of Florida（佛罗里达大学）
针对科学数据压缩，提出结合潜空间RVQ、U-Net像素空间残差校正和GAE误差界保证的后处理流水线，在S3D、JHTDB和E3SM数据集上提升压缩比并维持严格误差界。
2026-09-22 cs.LG
Deep invariant networks with differentiable augmentation layers
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
在机器学习中，设计对某些数据变换不变性的学习系统是至关重要的。从业者通常可以通过选择网络架构，例如使用卷积进行翻译，或使用数据增强，在训练模型上强制执行所需的不变性。然而，在网络中实施真正的不变性可能是困难的，并且数据不变性并不总是已知的。用于学习数据增强策略的最新方法需要保留的数据并且基于双层优化问题，该双层优化问题解决起来很复杂并且通常需要计算。在这项工作中，我们研究新的方法学习不变性仅从训练数据。使用直接在网络中构建的可学习增强层，我们证明了我们的方法是非常通用的。它可以包含任何类型的可微增强，并应用于计算机视觉之外的广泛的学习问题。我们提供的经验证据表明，我们的方法是更容易和更快的训练比现代自动数据增强技术的基础上双层优化，同时实现可比的结果。实验表明，虽然通过自动数据增强转移到模型的不变性受到模型表达能力的限制，但我们的方法产生的不变性对它不敏感。
2022-10-25 cs.AI cs.LG
Task-Induced Representational Invariances Depend on Learning Objective in Deep RL
Department of Physics, Harvard University（哈佛大学物理系）；Kempner Institute, Harvard University（哈佛大学凯普纳研究所）；Center for Computational Neuroscience, Flatiron Institute（Flatiron研究所计算神经科学中心）
本文通过MDP约简理论分析深度强化学习中的表征，发现基于价值的方法（DQN）学习对MDP同态对称性不变的表征，而基于策略梯度的方法（PPO）学习对动作对称性不变的表征，这些差异影响迁移学习并在LLM中呈现提示依赖性。
2026-06-01 cs.LG
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
为了更好地理解深度学习中的泛化，我们研究了几种可能的解释。我们表明，由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点，我们研究了不同的复杂性度量如何确保泛化，并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性，提出了与神经网络中的不变性相似的复杂性度量和优化算法，并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Learning Causally Invariant Representations for Out-of-Distribution Generalization on Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯人工智能实验室）；The University of Sydney（悉尼大学）
尽管最近成功地将不变性原理用于欧几里德数据的分布外（OOD）推广（例如，图像），对图形数据的研究仍然有限。与图像不同，图形的复杂性对采用不变性原理提出了独特的挑战。特别是，图上的分布偏移可以以属性和结构等多种形式出现，使得难以识别不变性。此外，域或环境分区，这往往是需要的OOD方法对欧几里德数据，可能是非常昂贵的获得图。为了弥补这一差距，我们提出了一个新的框架，称为因果启发不变图学习（CIGA），捕捉各种分布偏移下的保证OOD推广的图的不变性。具体来说，我们的特点潜在的分布偏移图与因果模型，得出结论，OOD泛化图是可以实现的，当模型只集中在子图包含最多的信息标签的原因。因此，我们提出了一个信息理论的目标，以提取所需的子图，最大限度地保持不变的类内信息。使用这些子图进行学习不受分布偏移的影响。在16个合成或真实世界的数据集上进行了广泛的实验，包括一个具有挑战性的设置-来自AI辅助药物发现的DrugOOD，验证了CIGA的卓越OOD性能。
2022-10-11 cs.LG
Permutation Invariance of Deep Neural Networks with ReLUs
Chennai Mathematical Institute（钦奈数学研究所）；TCS Research（TCS研究院）
考虑一个深度神经网络（DNN），它被用来建议飞机必须转向的方向，以避免与入侵飞机发生可能的碰撞。非正式地说，如果当入侵者从左（右）方向接近时，它要求自己的船右转（左），那么这样的网络是行为良好的。考虑另一个网络，它接受四个输入--在一场桥牌游戏中发给玩家的牌--并决定哪支球队可以出价。不严格地说，如果你交换伙伴的手（北方和南方，或东方和西方），决定不会改变。然而，如果你把北牌换成东牌，情况就会改变。对于输入和输出层的某些排列，这种排列不变性是这些网络的正确性和鲁棒性的核心。本文提出了一种合理的、基于抽象的技术，以ReLU作为激活函数，在DNN中建立置换不变性。该技术计算可达状态的过度近似和安全状态的欠近似，并将此信息向前和向后跨层传播。我们的方法的新颖之处在于一个有用的领带类分析，我们介绍了前向传播，和一个可扩展的2-多面体下近似方法，逃避指数爆破的区域数量在向后传播。实验比较表明，我们的算法的效率验证置换不变性作为一个两个安全属性（使用FFNN验证两个副本的网络）。
2021-10-18 cs.LG cs.LO
Understanding Learning Invariance in Deep Linear Networks
Department of Statistics \& Data Science, University of California, Los Angeles, CA；Department of Mathematics, University of California, Los Angeles, CA
本文针对深度线性网络均方误差回归场景，从理论层面比较数据增强、正则化、硬布线三种不变性实现方法，明确了三类方法优化临界点的差异与正则化路径的收敛特性。
2025-06-16 cs.LG math.ST stat.ML
Excessive Invariance Causes Adversarial Vulnerability
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Center for Industrial Mathematics（工业数学中心）；University of Tübingen（图宾根大学）
尽管深度神经网络具有令人印象深刻的性能，但它们在分布外输入上表现出惊人的失败。对抗性样本研究的一个核心思想是揭示神经网络在这种分布偏移下的错误。我们将这些误差分解为两个互补的来源：灵敏度和不变性。我们发现，深度网络不仅对与任务无关的输入变化过于敏感，正如从ε对抗性示例中所知的那样，而且对广泛的任务相关变化过于不变，从而使输入空间中的广大区域容易受到对抗攻击的影响。我们表明这种过度的不变性发生在各种任务和架构类型。在MNIST和ImageNet上，人们可以操纵几乎任何图像的类特定内容，而无需更改隐藏的激活。我们确定了不足的标准交叉熵损失作为这些失败的原因。此外，我们基于信息理论分析扩展了这一目标，因此它鼓励模型在决策中考虑所有任务相关的特征。这提供了第一种明确定制的方法，以克服过度的不变性和由此产生的漏洞。
2020-07-12 cs.AI cs.CV cs.LG
Gi and Pal Scores: Deep Neural Network Generalization Statistics
IBM Research（IBM研究院）
深度学习领域有丰富的经验证据表明，在各种回归、分类和控制任务上都有类似人类的表现。然而，尽管取得了这些成功，但该领域缺乏强有力的理论误差界和一致的网络泛化措施和学习不变性。在这项工作中，我们引入了两个新的措施，GI评分和PAL评分，捕捉深度神经网络的泛化能力。受基尼系数和帕尔马比率（衡量收入不平等的指标）的启发，我们的统计数据是网络对扰动的不变性的稳健度量，可以准确预测泛化差距，即，训练集和测试集的准确性之间的差异。
2021-06-10 cs.LG
Criticality & Deep Learning II: Momentum Renormalisation Group
CriticalAI
在自然界中发现的临界系统的指导下，我们开发了一种由非齐次多项式正则化组成的新机制，通过这种机制，我们可以在深度学习系统中诱导尺度不变性。从技术上讲，我们将我们的深度学习（DL）设置映射到真正的场论，在此基础上，我们在动量空间中使用重正化群（RG）并产生耦合的流动方程;这些方程被转换为约束，因此在优化器中被解释为“临界正则化”条件;因此，所得到的方程被证明是充分条件，并作为一种优雅而简单的机制，在任何深度学习设置中诱导尺度不变性。
2017-05-31 cond-mat.stat-mech cs.LG
Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization
Queensland University of Technology（昆士兰科技大学）
领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题，近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同，并通过最小化边缘分布来学习域不变模型。然而，训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点，我们提出了一个判别域不变对抗网络（DDIAN）的领域泛化。通过区分性特征模块保证特征的区分性，通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明，与最先进的领域泛化方法相比，DDIAN在训练过程中对看不见的目标数据实现了更好的预测。
2021-08-20 cs.AI cs.CV cs.LG
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯神经网络架构，可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明，当在包含特定不变性的数据集上训练时，我们的模型优于其他非不变架构。当不执行数据增强时，情况也是如此。
2021-11-02 cs.LG stat.ML
Robustness and invariance properties of image classifiers
IBM Ireland（IBM爱尔兰公司）；QMUL（伦敦玛丽女王大学）
深度神经网络在许多图像分类任务中取得了令人印象深刻的结果。然而，由于它们的性能通常是在受控环境中测量的，因此确保它们在噪声环境中部署时的决策保持正确是很重要的。事实上，深度网络对各种各样的语义保留图像修改都不鲁棒，甚至对被称为对抗性扰动的难以察觉的图像变化也不鲁棒。图像分类器对小数据分布偏移的鲁棒性差引起了对其可信度的严重关注。为了构建可靠的机器学习模型，我们必须设计原则性的方法来分析和理解形成鲁棒性和不变性的机制。这正是本文的重点所在。首先，我们研究了稀疏对抗扰动的计算问题。我们利用图像分类器的决策边界的几何形状来快速计算稀疏扰动，并揭示了对抗性示例与图像分类器学习的数据特征之间的定性联系。然后，为了更好地理解这种联系，我们提出了一个几何框架，连接数据样本的距离的决策边界，在数据中存在的功能。我们发现，深度分类器对非歧视性特征的不变性有很强的归纳偏见，而对抗性训练利用了这一特性来赋予鲁棒性。最后，我们专注于具有挑战性的问题，不可预见的腐败的数据的推广，我们提出了一种新的数据增强计划，实现国家的最先进的鲁棒性常见的腐败的图像。总的来说，我们的研究结果有助于理解深度图像分类器的基本机制，并为构建可部署在现实环境中的更可靠的机器学习系统铺平了道路。
2022-08-30 cs.AI cs.CV cs.LG
Physics-aware Deep Generative Models for Creating Synthetic Microstructures
Iowa State University（爱荷华州立大学）
计算材料科学中的一个关键问题涉及理解材料分布的影响（即，微观结构）对材料性能的影响。所面临的挑战是合成微结构，给定有限数量的微结构图像，和/或微结构表现出的一些物理不变性。传统的方法是基于随机优化和计算密集型。我们介绍了三个生成模型的快速合成二进制微结构图像。第一个模型是WGAN模型，它使用有限数量的训练图像来合成新的微结构，这些微结构弱地满足原始数据所遵循的物理不变性。第二个模型通过用不变性检查器替换GAN中的传统的不变性来显式地强制已知的物理不变性。我们的第三个模型结合了前两个模型来重建微观结构，既尊重显式物理不变性，也尊重从图像数据中学习到的隐式约束。我们通过重建表现出粗化行为的两相微观结构来说明这些模型。训练的模型也表现出有趣的潜变量插值行为，结果表明相当大的承诺，在微观结构合成过程中执行用户定义的物理约束。
2018-11-21 cond-mat.mtrl-sci cs.LG physics.comp-ph
Shifting the Paradigm: A Diffeomorphism Between Time Series Data Manifolds for Achieving Shift-Invariancy in Deep Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出一种可微双射函数，将时间序列样本映射到同维流形，实现深度学习模型的完全平移不变性，无需修改模型拓扑，并在六个任务上持续提升性能。
2025-02-27 cs.LG
Revisiting Spatial Invariance with Low-Rank Local Connectivity
Google Research, Brain Team（谷歌研究院大脑团队）
卷积神经网络是深度学习中最成功的架构之一，这种成功至少部分归因于空间不变性作为归纳偏差的功效。局部连接层与卷积层的不同之处仅在于它们缺乏空间不变性，通常在实践中表现不佳。然而，这些观察仍然留下了空间不变性的某种程度的放松可能会产生比卷积或局部连接更好的归纳偏差的可能性。为了验证这一假设，我们设计了一种方法来放松网络层的空间不变性在一个受控的方式，我们创建一个\textit{low-rank}局部连接层，其中在每个位置应用的滤波器组被构造为一个线性组合的滤波器组与空间变化的组合权重的基础集。通过改变基滤波器组的数量，我们可以控制空间不变性的松弛程度。在小型卷积网络的实验中，我们发现放松空间不变性可以提高MNIST、CIFAR-10和CelebA数据集上卷积层和局部连接层的分类准确性，因此表明空间不变性可能是一个过度限制的先验。
2020-08-14 cs.CV cs.LG stat.ML
Unveiling Invariances via Neural Network Pruning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出通过神经网络剪枝自动学习数据依赖不变性的框架，所得到的架构在3个视觉和40个表格数据集上均优于稠密网络，兼顾效率与效果。
2023-09-15 cs.AI cs.LG
