Diverse feature visualizations reveal invariances in early layers of deep neural networks
Centre for Integrative Neuroscience(综合神经科学中心);Institute for Theoretical Physics(理论物理研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);University of Tübingen(图宾根大学)
可视化深度神经网络(DNN)中的特征可以帮助理解它们的计算。许多先前的研究旨在通过寻找有意义的图像来最大化它们的激活,从而可视化单个单元的选择性。然而,很少有人注意到DNN中的图像变换单元是不变的。在这里,我们提出了一种方法来发现深层神经网络的隐藏层单元的响应中的不变性。我们的方法是基于同时搜索一批图像,这些图像强烈激活一个单元,同时尽可能彼此不同。我们发现,即使是VGG-19中的早期卷积层也表现出各种形式的响应不变性:在某些单元中具有近乎完美的相位不变性,而在其他单元中具有对局部双态变换的不变性。同时,我们发现了ResNet-50在其相应层中的代表性差异。我们的结论是,不变性变换是DNN学习的一个主要计算组件,我们提供了一个系统的方法来研究它们。
2018-07-27 cs.CV
GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
本文提出GIT方法,通过结合梯度信息与不变性变换来整体检测由泛化误差导致的错误分类,实验证明其在多种架构和扰动类型下优于现有方法。
2023-07-05 cs.CV cs.LG
Understanding the Generalization Benefit of Model Invariance from a Data Perspective
Department of Computer Science(计算机科学系);University of Maryland, College Park(马里兰大学帕克分校)
对某些类型的数据转换具有不变性的机器学习模型在实践中已经证明了优越的泛化性能。然而,解释为什么不变性会导致更好的泛化的潜在机制并没有得到很好的理解,限制了我们为给定数据集选择适当数据转换的能力。本文通过引入由变换引起的样本覆盖,即,数据集的代表性子集,可以使用转换近似恢复整个数据集。基于这一概念,我们改进了不变模型的推广界,并通过变换引起的样本覆盖数来表征一组数据变换的适用性,即,其诱导样本覆盖的最小尺寸。我们表明,推广界可以收紧适当的转换,有一个小的样本覆盖数。此外,我们提出的样本覆盖数可以根据经验进行评估,为选择转换以开发模型不变性以获得更好的泛化提供了实用指南。我们评估了多个数据集上常用变换的样本覆盖数,并证明了一组变换的样本覆盖数越小,表明不变模型的测试和训练误差之间的差距越小,从而验证了我们的主张。
2023-02-23 cs.CV cs.LG stat.ML
Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
Institute for Theoretical Studies(理论研究所);Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
这项工作提供了理论和经验证据,不变性诱导正则化可以提高最坏情况下的空间变换(空间鲁棒性)的预测精度。通过对这些对抗性变换的示例进行评估,我们证明了在标准或对抗性训练之上添加正则化可以将CIFAR10的相对误差降低20%,而不会增加计算成本。这优于那些被明确设计为空间等变的手工网络。此外,我们观察到SVHN,已知具有固有的方向方差,鲁棒训练也提高了测试集的标准准确度。我们证明了这种无权衡现象适用于无限数据极限下变换群的对抗性例子。
2019-06-26 cs.CV cs.LG stat.ML
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology(计算机科学与技术系)
本文提出变换不变神经网络(TinvNN),通过修改多维缩放得到变换不变且保持距离的初始点表示,实现几何数据的严格变换不变性,在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
Do Deep Networks Transfer Invariances Across Classes?
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
为了很好地泛化,分类器必须学会对不改变输入类的讨厌的变换保持不变。许多问题具有类似地应用于所有类的“类不可知”的讨厌变换,例如图像分类的照明和背景变化。神经网络可以在给定足够数据的情况下学习这些不变性,但许多现实世界的数据集是严重的类不平衡的,并且只包含大多数类的几个示例。因此,我们提出了一个问题:神经网络如何将从大类中学习到的类不可知不变性转移到小类中?通过仔细的实验,我们观察到类不可知变换的不变性仍然严重依赖于类的大小,网络在较小的类上的不变性要小得多。即使使用数据平衡技术,这个结果也成立,并且表明跨类的不变性传输很差。我们的研究结果提供了一个解释,为什么分类推广不平衡和长尾分布。基于此分析,我们展示了如何生成的方法学习滋扰变换可以帮助跨类转移不变性和提高性能的一组不平衡的图像分类基准。我们实验的源代码可在https://github.com/AllanYangZhou/generative-invariance-transfer上获得。
2022-03-18 cs.CV cs.LG
Deep Neural Networks with Efficient Guaranteed Invariances
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
我们通过强制和保证对称变换的不变性,而不是从数据中学习,来解决提高深度神经网络的性能,特别是样本复杂度的问题。群等变卷积是获得等变表示的一种流行方法。然后使用池化操作来施加期望的对应不变性。对于旋转,已经表明使用不变积分而不是池化进一步提高了样本复杂度。在这方面的贡献,我们首先扩大不变量积分超越旋转翻转和缩放变换。然后,我们解决的问题,将多个所需的不变性到一个单一的网络。为此,我们提出了一种多流架构,其中每个流对于不同的变换是不变的,使得网络可以同时受益于多个不变性。我们证明了我们的方法与成功的实验缩放MNIST,SVHN,CIFAR-10和STL-10。
2023-03-02 cs.CV cs.LG
Manitest: Are classifiers really invariant?
在许多图像识别任务中,对几何变换的不变性是自动分类器非常期望的特性。然而,目前还不清楚在何种程度上最先进的分类器是不变的基本变换,如旋转和平移。这主要是由于缺乏适当测量这种不变性的一般方法。在本文中,我们提出了一个严格的和系统的方法来量化的不变性的几何变换的任何分类。我们的主要思想是把评估分类器的不变性的问题转化为沿着变换图像的流形计算测地线的问题。我们提出了Manitest方法,建立在高效的快速行军算法计算分类器的不变性。我们的新方法特别量化了数据增强对于从数据中学习不变性的重要性,以及卷积神经网络随深度增加的不变性。我们可以预见,所提出的通用工具,用于测量不变性的一大类的几何变换和任意分类器将有许多应用程序的基础上,他们的不变性的分类器进行评估和比较,并帮助提高现有的分类器的不变性。
2015-07-23 cs.CV cs.LG stat.ML
How ConvNets model Non-linear Transformations
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们从理论上解决了涉及深度卷积网络的三个基本问题,即不变性、深度和层次。我们介绍了转换网络(TN)的范式,它是卷积网络(ConvNets)的直接推广。从理论上讲,我们证明了TN(以及ConvNets)可以对输入的非线性变换保持不变,尽管仅在局部平移上进行了池化。我们的分析提供了清晰的见解,在这些网络的深度增加不变性。更深层次的网络能够模拟更丰富的转换类别。我们还发现,一个分层的架构允许网络生成不变性比非分层网络更有效。我们的研究结果为使用ConvNets的深度学习中的这三个基本问题提供了有用的见解。
2017-02-24 cs.CV cs.LG
TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning
New York University(纽约大学);Viasat, Inc.(Viasat公司);Facebook AI Research(脸书人工智能研究院)
我们提出了自监督视觉表示学习的变换不变性和协方差对比(TiCo)。与其他最近的自监督学习方法类似,我们的方法是基于最大化同一图像的不同失真版本的嵌入之间的一致性,这推动编码器产生变换不变表示。为了避免编码器生成恒定向量的平凡解,我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失和协方差对比度损失,我们得到了一个能够为下游任务产生有用表示的编码器。我们分析了我们的方法,并表明,它可以被看作是一个变种的MoCo与隐式存储体的无限大小,没有额外的内存成本。这使得我们的方法在使用小批量时比其他方法表现更好。TiCo也可以被视为巴洛双胞胎的修改。通过将对比和冗余减少方法连接在一起,TiCo为我们提供了关于联合嵌入方法如何工作的新见解。
2022-06-23 cs.AI cs.CV cs.LG
Learning Non-Parametric Invariances from Data with Permanent Random Connectomes
Carnegie Mellon University(卡内基梅隆大学)
监督分类和一般机器学习中的基本问题之一是对数据中存在的非参数不变性进行建模。大多数现有技术集中于以不变性的形式对预期存在于数据中的参数干扰变换强制执行先验。直接从数据中学习非参数不变性仍然是一个重要的开放问题。在本文中,我们为卷积网络引入了一个新的架构层,它能够从数据本身学习一般不变性。这一层可以学习非参数变换的不变性,有趣的是,它激发并整合了永久随机连接体,因此被称为永久随机连接体非参数变换网络(PRC-NPTN)。PRC-NPTN网络使用随机连接(不仅仅是权重)进行初始化,这些连接是全连接卷积层中连接的一个小子集。重要的是,PRC-NPTNs中的这些连接一旦初始化就在整个训练和测试过程中保持永久性。永久随机连接体使这些架构比许多其他需要高度有序结构的主流网络架构在生物学上更松散。我们激励随机初始化的连接作为一种简单的方法来学习数据本身的不变性,同时调用对多个滋扰变换的不变性。我们发现,这些随机初始化的永久连接对泛化有积极影响,在执行数据本身的学习不变性的基准上,性能优于更大的ConvNet基线和最近提出的非参数转换网络(NPTN)。
2020-08-14 cs.CV cs.LG cs.NE
Learning Online Visual Invariances for Novel Objects via Supervised and Self-Supervised Training
University of Bristol(布里斯托大学)
人类可以识别物体的各种空间变换,如规模和观点。这延伸到新颖的对象,在单个姿势的单个呈现之后,有时被称为在线不变性。CNN已经被提出作为人类视觉的一种引人注目的模型,但它们识别跨转换对象的能力通常是在经过广泛的数据增强后,在训练类别的保持样本上进行测试的。本文评估了标准CNN是否可以通过训练模型来识别经历几种变换的合成3D对象的图像来支持类似人类的在线不变性:旋转,缩放,平移,亮度,对比度和视点。通过分析模型的内部表示,我们表明,在变换对象上训练的标准监督CNN可以在新类上获得强不变性,即使在训练时只需要从10个类中选取50个对象。这扩展到真实物体照片的不同数据集。我们还表明,这些不变性可以获得在一个自我监督的方式,通过解决相同/不同的任务。我们认为,后者的方法可能类似于人类如何获得不变性。
2022-01-14 cs.AI cs.CV
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
我们提出了一个简单而有效的自监督框架视听表示学习,本地化的声源在视频中。为了理解是什么使得能够学习有用的表示,我们系统地研究了数据增强的效果,并揭示了(1)数据增强的组合起着关键作用,即明确地鼓励视听表示对各种变换保持不变~({ \em变换不变性});(2)强制几何一致性实质上提高了学习表示的质量,即,检测到的声源应当遵循应用于输入视频帧的相同变换~({ \em变换等方差})。大量的实验表明,我们的模型显着优于以前的方法在两个声音定位基准,即,Flickr-SoundNet和VGG-Sound。此外,我们还评估了音频检索和跨模态检索任务。在这两种情况下,我们的自监督模型表现出优越的检索性能,甚至与音频检索中的监督方法竞争。这表明,所提出的框架学习强大的多模态表示,有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
Non-Parametric Transformation Networks
Carnegie Mellon University(卡内基梅隆大学)
ConvNets通过其架构,只强制翻译的不变性。在本文中,我们介绍了一类新的深度卷积架构,称为非参数变换网络(NPTNs),它可以直接从数据中学习\textit{general}不变性和对称性。NPTNs是ConvNets的自然推广,可以直接使用梯度下降进行优化。与几乎所有以前在深度架构中的工作不同,它们没有假设数据中存在的不变性的结构,并且在这方面是灵活和强大的。我们还在一个名为转换网络(TN)的统一框架下对ConvNets和NPTNs进行建模,这可以更好地理解两者之间的联系。我们证明了NPTNs在数据上的有效性,例如具有极端变换的MNIST和CIFAR 10,它们的性能优于基线,并进一步优于ETH-80上的几种最新算法。他们这样做,同时具有相同数量的参数。我们还表明,它们比ConvNets更有效地从数据中建模对称性和不变性,而无需明确了解添加的任意滋扰变换。最后,我们在胶囊网络中用NPTN取代了ConvNets,并表明这使胶囊网络的性能更好。
2018-09-08 cs.AI cs.CV cs.LG
Learning to Transform for Generalizable Instance-wise Invariance
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);Google Research(谷歌研究院)
将不变性视为预测问题,利用归一化流预测实例特定的变换分布以对齐实例,实现了跨类别的可泛化不变性,并在多个数据集上提升了准确率与鲁棒性。
2024-02-15 cs.CV cs.LG
Assessing invariance to affine transformations in image quality metrics
Image Processing Lab, Universitat de València(图像处理实验室,瓦伦西亚大学);ValgrAI: Valencian Grad. School Research Network of AI(ValgrAI:瓦伦西亚研究生人工智能研究网络)
本文提出一种通过评估图像质量度量对旋转、平移、缩放和光照变化等仿射变换不变性的方法,利用主观表示确定不可见阈值并实现度量转换,实验表明现有度量均未表现出类人不可见阈值。
2025-09-19 cs.AI cs.CV
Tailored Transformation Invariance for Industrial Anomaly Detection
KU Leuven, Dept. of Computer Science, B-3000 Leuven, Belgium(卢森堡大学计算机科学系);Leuven.AI - KU Leuven Institute for AI, B-3000 Leuven, Belgium(列日人工智能研究所)
本文提出局部窗口方法 LWinNN,在 kNN 与复杂方法之间折中,仅保留有限平移不变性,从而在工业异常检测中显著提升准确率并降低训练与测试时间。
2025-09-22 cs.CV cs.LG
Geometric robustness of deep networks: analysis and improvement
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
深度卷积神经网络已被证明易受任意几何变换的影响。然而,目前还没有系统的方法来衡量深度网络对这种变换的不变性。我们提出ManiFool作为一个简单但可扩展的算法来衡量深度网络的不变性。特别是,我们的算法在最坏情况下测量了深度网络对几何变换的鲁棒性,因为它们对于敏感的应用程序可能是有问题的。我们的大量实验结果表明,ManiFool可以用来衡量相当复杂的网络在高维数据集上的不变性,这些值可以用来分析其原因。此外,我们基于ManiFool提出了一种新的对抗性训练方案,我们展示了它在提高深度神经网络的不变性方面的有效性。
2017-11-24 cs.CV cs.LG
Natural and Adversarial Error Detection using Invariance to Image Transformations
Weizmann Institute of Science(魏茨曼科学研究所);TTIC(芝加哥丰田技术研究所);Toyoyta Technological Institute at Chicago(芝加哥丰田技术研究所)
我们提出了一种方法来区分正确和不正确的图像分类。我们的方法可以检测错误分类,无论是发生$\it{unintentionally}$(“自然错误”),或由于$\it{intentional~adversarial~attacks}$(“对抗性错误”),在一个单一的$\it{unified~framework}$。我们的方法是基于这样的观察,即正确分类的图像往往在某些图像变换下表现出鲁棒和一致的分类(例如,水平翻转、小图像平移等)。相比之下,不正确分类的图像(无论是由于对抗性错误还是自然错误)往往会在这种变换下表现出很大的分类结果变化。我们的方法不需要对分类器进行任何修改或重新训练,因此可以应用于任何预先训练的分类器。我们进一步使用最先进的有针对性的对抗攻击来证明,即使对手完全了解我们的方法,绕过我们的检测器所需的对抗性失真也是$\it{no~longer~imperceptible~to~the~human~eye}$。与以前的对抗性检测方法相比,我们的方法获得了最先进的结果,远远超过了它们。
2019-02-01 cs.CV cs.LG stat.ML
SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations
University of Southampton(索姆塞特大学)
本文提出SEIS方法,用于分析神经表示在几何变换下的特性,揭示卷积编码器和解码器在不同层的等变性和不变性变化规律,以及训练策略对这些特性的影响。
2026-05-09 cs.CV cs.LG
Improving Content-Invariance in Gated Autoencoders for 2D and 3D Object Rotation
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究院);Johannes Kepler University(约翰内斯·开普勒大学)
GAE学习的映射代码的内容不变性是各种关系学习任务的有用特征。在本文中,我们表明,内容不变性的映射代码的图像的2D和3D旋转的对象,可以大大提高延长标准的GAE损失(对称重建误差)的正则化项,惩罚对称交叉重建误差。这个误差项涉及到用从表现出类似变换的其他对获得的映射码来重建对。虽然这主要需要训练对所表现出的变换的知识,但我们的实验表明,自举方法可以回避这个问题,并且正则化项可以有效地用于无监督设置。
2017-07-05 cs.AI cs.CV cs.LG