Emergence of Invariance and Disentanglement in Deep Representations
University of California Los Angeles（加州大学洛杉矶分校）
使用统计学和信息论中的既定原则，我们证明了深度神经网络中对滋扰因素的不变性相当于学习表示的信息最小化，并且在训练过程中堆叠层和注入噪声自然会使网络偏向于学习不变表示。然后，我们分解训练过程中使用的交叉熵损失，并强调存在固有的过拟合项。我们建议通过以两种等效的方式绑定这样一个项来正则化损失：一种是Kullbach-Leibler项，它与PAC贝叶斯观点有关;另一种是使用权重中的信息作为学习模型复杂性的度量，为权重产生一个新的信息瓶颈。最后，我们证明了网络学习的表示的组件的不变性和独立性在权重信息的上下范围内，因此在训练过程中被隐式优化。该理论使我们能够量化和预测尖锐的相位过渡欠拟合和过拟合的随机标签时，使用我们的正则化损失，我们在实验中验证，并揭示了损失函数的几何形状之间的关系，学习表示的不变性，和泛化误差。
2018-06-28 cs.AI cs.LG stat.ML
Rethink Deep Learning with Invariance in Data Representation
The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
本文从历史视角探讨数据表示中的不变性原则，指出其在深度学习前后的发展、被忽视后的瓶颈及回归形成的几何深度学习领域，并识别相关研究困境、前景工作等。
2024-12-06 cs.AI
Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning
Institute of Informatics Research, University of Alicante（阿利坎特大学信息学研究所）
与无监督机器学习相关的主要问题之一是从大型数据集中处理和提取有用信息的成本。在这项工作中，我们提出了一个分类器集成的基础上的CLIP神经网络架构在多模态环境（图像和文本）从社会媒体的可转移学习能力。为此，我们使用InstaNY100K数据集，并提出了一种基于采样技术的验证方法。我们的实验，根据地点数据集的标签的图像分类任务的基础上，首先只考虑视觉部分，然后添加相关的文本作为支持。所获得的结果表明，训练的神经网络，如CLIP可以成功地应用于图像分类，几乎没有微调，并考虑相关的文本的图像可以帮助提高精度取决于目标。结果表明，这似乎是一个有前途的研究方向。
2021-07-08 cs.AI cs.CV
Efficient Rotation Invariance in Deep Neural Networks through Artificial Mental Rotation
ZHAW Centre for Artificial Intelligence（苏黎世应用科学大学人工智能中心）；University of Lugano（卢加诺大学）；European Centre for Living Technology（欧洲生命技术中心）；The Swiss AI Lab IDSIA（瑞士人工智能实验室 IDSIA）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
提出人工心理旋转（AMR）范式，通过模拟心理旋转实现深度神经网络对平面内旋转的高效不变性，在多个数据集和架构上显著优于旋转数据增强，并能迁移至下游分割任务提升性能。
2023-11-14 cs.AI cs.CV
Exploiting epistemic uncertainty of the deep learning models to generate adversarial samples
Isik University（伊斯克大学）；Simula Research Laboratory（西穆拉研究实验室）
深度神经网络架构被认为对随机扰动具有鲁棒性。然而，研究表明，它们可能非常容易受到输入的轻微但精心设计的扰动，称为对抗性样本。近年来，在这个称为“对抗机器学习“的新领域进行了大量研究，以设计新的对抗攻击，并使用更强大的DNN架构来防御这些攻击。然而，到目前为止，几乎所有的研究工作都集中在利用模型损失函数来制作对抗性示例或创建鲁棒模型。本研究探讨了使用量化的认知不确定性从蒙特卡洛辍学抽样对抗攻击的目的，我们扰动的输入到模型还没有见过的领域。基于模型的认知不确定性，提出了新的攻击思想。我们的结果表明，我们提出的混合攻击方法将攻击成功率从82.59%提高到85.40%，在MNIST Digit，MNIST Fashion和CIFAR-10数据集上分别从82.86%提高到89.92%和88.06%提高到90.03%。
2021-02-13 cs.AI cs.LG
Exploiting Style Latent Flows for Generalizing Deepfake Video Detection
Chung-Ang Univ（中央大学）；NAVER Cloud（NAVER云）；UNIST（蔚山科学技术院）
针对深度伪造视频检测泛化性不足的问题，提出基于风格潜在向量时间变化分析的检测框架，结合StyleGRU与风格注意力模块融合特征，在跨数据集、跨操纵场景下检测性能更优，验证了风格潜在流对提升检测泛化性的作用。
2024-05-20 cs.AI cs.CV
Unveiling Invariances via Neural Network Pruning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出通过神经网络剪枝自动学习数据依赖不变性的框架，所得到的架构在3个视觉和40个表格数据集上均优于稠密网络，兼顾效率与效果。
2023-09-15 cs.AI cs.LG
Structure-agnostic Causal Representation Learning
Illinois Institute of Technology（伊利诺伊理工学院）
提出SaCRL框架，无需先验结构知识即可联合识别因果结构并学习不变表示，通过HSIC软优化实现结构选择，在多个基准上取得最优性能。
2026-10-02 cs.AI cs.LG
Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本研究系统探究深度神经网络损失谷非对称性的影响因素，发现噪声与收敛点的符号一致性是关键指标，并用ReLU和softmax理论解释，为模型融合与联邦学习提供新思路。
2024-10-09 cs.AI cs.LG
DFIL: Deepfake Incremental Learning by Exploiting Domain-invariant Forgery Clues
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；University College London（伦敦大学学院）
本文提出DFIL增量学习框架，通过域不变表示学习、多视角知识蒸馏和中心与困难样本回放选择，缓解深度伪造检测中的分布差异与灾难性遗忘，在四个基准上取得最优平均遗忘率和准确率。
2023-09-18 cs.AI cs.CV
Exploiting Problem Structure in Deep Declarative Networks: Two Case Studies
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；Technion（以色列理工学院）
深度声明网络和其他最近的相关工作已经展示了如何区分（连续）参数化优化问题的解映射，从而开辟了将数学优化问题嵌入到端到端可学习模型中的可能性。这些可微性结果可以通过提供用于计算导数的表达式而无需在向后传递期间展开向前传递优化过程的步骤来导致显著的存储器节省。然而，结果通常需要求逆一个大的Hessian矩阵，这在简单实现时是计算昂贵的。在这项工作中，我们研究了深度声明性网络的两个应用-鲁棒的向量池和最优传输-并展示了如何利用问题结构来获得非常有效的时间和内存方面的向后传递计算。我们的想法可以作为指导，以提高其他新的深度声明节点的计算性能。
2022-02-24 cs.LG
Exploiting Efficiency Vulnerabilities in Dynamic Deep Learning Systems
University of Texas at Dallas USA（德克萨斯大学达拉斯分校）
本研究揭示动态深度学习系统因输入自适应计算而存在的效率漏洞，分析攻击策略与防御缺陷，并提出开发针对性防御以增强对抗条件下的鲁棒性。
2025-06-21 cs.AI cs.CR cs.LG
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
Beyond CNNs: Exploiting Further Inherent Symmetries in Medical Images for Segmentation
Macquarie University（麦考瑞大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
肿瘤的自动分割是医学图像分析和计算机辅助诊断的关键步骤。虽然现有的基于卷积神经网络（CNN）的方法已经达到了最先进的性能，但在医学肿瘤分割中仍然存在许多挑战。这是因为常规CNN只能利用平移不变性，而忽略了医学图像中存在的其他固有对称性，如旋转和反射。为了克服这一缺点，我们提出了一种新的组等变分割框架，通过编码这些固有的对称性来学习更精确的表示。首先，在每个方向上设计了基于核的同变运算，可以有效地解决现有方法中学习对称性的差距。然后，为了保持分割网络全局等变，我们设计了具有逐层对称约束的独特组层。通过利用进一步的对称性，新的分割CNN可以大大降低样本复杂度和滤波器的冗余度（大约2/3）。更重要的是，基于我们的新框架，我们证明了新构建的GER-UNet在现实世界的临床数据上优于其常规的基于CNN的同行和最先进的分割方法。具体来说，我们的分割框架的组层可以无缝集成到任何流行的基于CNN的分割架构中。
2020-05-08 cs.CV cs.LG eess.IV
Invariance Pair Guidance: Robustness to Spurious Correlations via Corrective Gradients
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出不变性对引导（IPG）方法，利用稀疏的反事实对和双更新机制动态校正优化轨迹，减少模型对虚假相关性的依赖，在多个数据集上验证了有效性。
2026-07-29 cs.LG
On the Benefits of Invariance in Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of British Columbia（不列颠哥伦比亚大学）
许多现实世界的数据分析问题都表现出不变结构，利用这种结构的模型表现出令人印象深刻的经验性能，特别是在深度学习中。虽然文献中包含了各种将不变性纳入模型的方法，但理论上的理解很差，并且没有办法评估何时应该首选一种方法。在这项工作中，我们分析了深度学习中存在不变性的两种广泛使用的方法的优点和局限性：数据增强和特征平均。我们证明了使用数据增强进行训练可以更好地估计风险及其梯度，并且我们为使用数据增强训练的模型提供了PAC-Bayes泛化界。我们还表明，相比数据增强，特征平均减少了泛化误差时，使用凸损失，并收紧PAC贝叶斯界限。我们提供了这些理论结果的实证支持，包括为什么泛化可能无法通过数据增强训练来改善的演示：“学习不变性”在训练分布之外失败。
2020-05-01 cs.LG stat.ML
Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding
University of Cambridge（剑桥大学）
本文提出了一种用于统计口语对话系统的语义解码器组件的深度学习架构。在槽填充对话中，语义解码器从自动语音识别返回的n个最佳假设的集合预测对话动作和槽值对的集合。用于口语语言理解的大多数当前模型假设（i）如在序列标记器中的单词对齐的语义注释，以及（ii）去词汇化，或者使用尝试捕获形态变化但不缩放到其他域也不缩放到语言变化（例如，形态学、同义词、释义）。在这项工作中，语义解码器使用未对齐的语义注释进行训练，并使用分布式语义表示学习来克服显式去词汇化的局限性。所提出的架构使用一个卷积神经网络的句子表示和一个长短期记忆网络的上下文表示。结果是公开的DSTC 2语料库和车内语料库，这是类似于DSTC 2，但有一个显着较高的字出错率（WER）。
2016-10-13 cs.AI cs.CL cs.NE
Exploiting Excessive Invariance caused by Norm-Bounded Adversarial Robustness
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Google Brain（谷歌大脑）；Stanford University（斯坦福大学）
对抗性示例是恶意输入，旨在导致模型对它们进行错误分类。它们最常见的实例，“基于扰动的”对抗性示例，对输入进行了更改，使其真实标签保持不变，但导致不同的模型预测。相反，“基于不变性”的对抗性示例会对输入进行更改，使模型的预测不受影响，尽管底层输入的标签已经更改。在本文中，我们证明了对基于扰动的对抗性示例的鲁棒性不仅不足以满足一般鲁棒性，而且更糟的是，它还会增加模型对基于不变性的对抗性示例的脆弱性。除了分析结构，我们凭经验研究视觉分类器与国家的最先进的鲁棒性，以扰动为基础的对手约束的$\ell_p$规范。我们在与任务相关的方向上利用过度的模型不变性进行攻击，这些攻击能够在$\ell_p$球内找到对抗性的例子。事实上，我们发现训练成$\ell_p$ -范数鲁棒的分类器比其未防御的对应物更容易受到基于不变性的对抗性示例的影响。过度的不变性并不局限于被训练为对基于扰动的$\ell_p$ -范数对手具有鲁棒性的模型。事实上，我们认为，术语对抗性示例用于捕获一系列模型限制，其中一些可能尚未被发现。因此，我们需要一套精确的定义，对学习中的每一个缺点进行分类和解决。
2019-03-25 cs.CR cs.CV cs.LG
Exploiting Spatial Invariance for Scalable Unsupervised Object Tracking
Mila（米拉研究所）；McGill University（麦吉尔大学）
在视觉世界中检测和跟踪对象的能力是任何智能代理的关键技能，因为它是任何对象级推理过程的必要前提。此外，重要的是，智能体学会在没有监督的情况下跟踪对象（即不访问带注释的训练视频），因为这将允许智能体在最少的人工帮助下开始在新环境中操作。近年来，学习发现和跟踪视频中的对象的任务（我们称之为\textit{unsupervised object tracking}）越来越突出;然而，解决这个问题的大多数架构仍然难以处理包含许多对象的大型场景。在目前的工作中，我们提出了一个架构，以及采用空间不变的计算（卷积和空间注意力）和表示（空间局部对象规范方案）的大场景，多对象设置的规模。在一系列实验中，我们展示了我们的架构的一些有吸引力的功能;最值得注意的是，它在跟踪具有许多对象的杂乱场景中的对象时优于竞争方法，并且它可以很好地推广到比训练期间遇到的视频更大和/或包含更多对象的视频。
2019-11-20 cs.CV cs.LG stat.ML
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们提出了一个简单而有效的自监督框架视听表示学习，本地化的声源在视频中。为了理解是什么使得能够学习有用的表示，我们系统地研究了数据增强的效果，并揭示了（1）数据增强的组合起着关键作用，即明确地鼓励视听表示对各种变换保持不变~（{ \em变换不变性}）;（2）强制几何一致性实质上提高了学习表示的质量，即，检测到的声源应当遵循应用于输入视频帧的相同变换~（{ \em变换等方差}）。大量的实验表明，我们的模型显着优于以前的方法在两个声音定位基准，即，Flickr-SoundNet和VGG-Sound。此外，我们还评估了音频检索和跨模态检索任务。在这两种情况下，我们的自监督模型表现出优越的检索性能，甚至与音频检索中的监督方法竞争。这表明，所提出的框架学习强大的多模态表示，有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
Geometric robustness of deep networks: analysis and improvement
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度卷积神经网络已被证明易受任意几何变换的影响。然而，目前还没有系统的方法来衡量深度网络对这种变换的不变性。我们提出ManiFool作为一个简单但可扩展的算法来衡量深度网络的不变性。特别是，我们的算法在最坏情况下测量了深度网络对几何变换的鲁棒性，因为它们对于敏感的应用程序可能是有问题的。我们的大量实验结果表明，ManiFool可以用来衡量相当复杂的网络在高维数据集上的不变性，这些值可以用来分析其原因。此外，我们基于ManiFool提出了一种新的对抗性训练方案，我们展示了它在提高深度神经网络的不变性方面的有效性。
2017-11-24 cs.CV cs.LG
Do Deep Networks Transfer Invariances Across Classes?
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
为了很好地泛化，分类器必须学会对不改变输入类的讨厌的变换保持不变。许多问题具有类似地应用于所有类的“类不可知”的讨厌变换，例如图像分类的照明和背景变化。神经网络可以在给定足够数据的情况下学习这些不变性，但许多现实世界的数据集是严重的类不平衡的，并且只包含大多数类的几个示例。因此，我们提出了一个问题：神经网络如何将从大类中学习到的类不可知不变性转移到小类中？通过仔细的实验，我们观察到类不可知变换的不变性仍然严重依赖于类的大小，网络在较小的类上的不变性要小得多。即使使用数据平衡技术，这个结果也成立，并且表明跨类的不变性传输很差。我们的研究结果提供了一个解释，为什么分类推广不平衡和长尾分布。基于此分析，我们展示了如何生成的方法学习滋扰变换可以帮助跨类转移不变性和提高性能的一组不平衡的图像分类基准。我们实验的源代码可在https://github.com/AllanYangZhou/generative-invariance-transfer上获得。
2022-03-18 cs.CV cs.LG
Offset Sampling Improves Deep Learning based Accelerated MRI Reconstructions by Exploiting Symmetry
Facebook AI Research（Facebook人工智能研究）；fastMRI team（fastMRI团队）
加速MRI的深度学习方法将采样的傅立叶空间线矩阵作为输入，并生成空间图像作为输出。在这项工作中，我们表明，通过仔细选择在采样过程中使用的偏移量，在k空间中的对称性可以更好地利用，产生更高质量的重建比标准的等距样本或随机样本的动机压缩感知。
2020-02-04 cs.CV cs.LG eess.IV
In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）；Colorado State University（科罗拉多州立大学）；National Geospatial-Intelligence Agency（国家地理空间情报局）
人们常说，深度学习模型对某些特定类型的转换是“不变的”。然而，这一声明的含义在很大程度上取决于它所处的背景。在本文中，我们探讨了深度学习模型的不变性和等变性的本质，目的是更好地理解它们在形式层面上实际捕获这些概念的方式。我们引入了一个家庭的不变性和等变性指标，使我们能够量化这些属性的方式，解开他们从其他指标，如损失或准确性。我们使用我们的指标来更好地理解用于在网络中构建不变性的两种最流行的方法：数据增强和等变层。我们得出了一系列关于深度学习模型中的不变性和等变性的结论，从使用预训练权重初始化模型是否会影响训练模型的不变性，到通过训练学习的不变性可以推广到分布外数据的程度。
2022-10-07 cs.CV cs.LG
Deep Learning for Target Classification from SAR Imagery: Data Augmentation and Translation Invariance
Toshiba Infrastructure Systems & Solutions Corporation（东芝基础设施系统与解决方案公司）
本文研究了用于合成孔径雷达（SAR）图像自动目标识别（ATR）的卷积神经网络（CNN）的平移不变性。特别地，用于SAR ATR的CNN的平移不变性表示对从SAR图像提取的目标芯片的未对准的鲁棒性。为了理解CNN的平移不变性，我们训练了CNN，在有和没有数据增强的情况下，将来自MSTAR的目标芯片分类为10类，然后可视化CNN的平移不变性。根据我们的结果，即使我们使用深度残差网络，在没有使用对齐图像（例如MSTAR目标芯片）的数据增强的情况下，CNN的平移不变性也不是那么大。平移不变性的一个更重要的因素是使用增强的训练数据。此外，我们的CNN使用增强的训练数据实现了99.6%的最先进的分类准确率。这些结果显示了特定领域数据增强的重要性。
2017-08-26 cs.CV
Diverse feature visualizations reveal invariances in early layers of deep neural networks
Centre for Integrative Neuroscience（综合神经科学中心）；Institute for Theoretical Physics（理论物理研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；University of Tübingen（图宾根大学）
可视化深度神经网络（DNN）中的特征可以帮助理解它们的计算。许多先前的研究旨在通过寻找有意义的图像来最大化它们的激活，从而可视化单个单元的选择性。然而，很少有人注意到DNN中的图像变换单元是不变的。在这里，我们提出了一种方法来发现深层神经网络的隐藏层单元的响应中的不变性。我们的方法是基于同时搜索一批图像，这些图像强烈激活一个单元，同时尽可能彼此不同。我们发现，即使是VGG-19中的早期卷积层也表现出各种形式的响应不变性：在某些单元中具有近乎完美的相位不变性，而在其他单元中具有对局部双态变换的不变性。同时，我们发现了ResNet-50在其相应层中的代表性差异。我们的结论是，不变性变换是DNN学习的一个主要计算组件，我们提供了一个系统的方法来研究它们。
2018-07-27 cs.CV
Exploiting SIFT Descriptor for Rotation Invariant Convolutional Neural Network
Samsung R&D Institute（三星研发所）
本文提出了一种新的方法来开发卷积神经网络中的独特不变特征。所提出的CNN模型使用尺度不变特征变换（SIFT）描述符而不是最大池化层。最大池化层丢弃姿势，即，低级别特征之间的平移和旋转关系，因此无法捕获低级别特征和高级别特征之间的空间层次。SIFT描述符层捕获卷积层提取的特征的方向和空间关系。因此，所提出的SIFT描述符CNN结合了CNN模型的特征提取能力和SIFT描述符的旋转不变性。MNIST和fashionMNIST数据集上的实验结果表明，在文献中可用的传统方法的合理改进。
2019-03-30 cs.CV cs.LG stat.ML
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Digging Deep into the layers of CNNs: In Search of How CNNs Achieve View Invariance
Rutgers University（罗格斯大学）
本文主要研究卷积神经网络（CNN）不同层次所隐含的特征空间中的视图流形结构。本文旨在回答几个问题：学习的CNN表示是否实现了视点不变性？它如何实现视点不变性？它是通过折叠视图流形来实现的，还是在保留它们的同时分离它们？在哪一层实现了视图不变性？如何通过实验量化深度卷积神经网络每一层的视图流形结构？在多视图数据集上对预训练的CNN进行微调如何影响网络每层的表示？为了回答这些问题，我们提出了一种方法来量化的变形和退化的视图流形在CNN层。我们应用这种方法，并在本文中报告有趣的结果，回答上述问题。
2016-06-20 cs.CV
Making Sense of CNNs: Interpreting Deep Representations & Their Invariances with INNs
Heidelberg University（海德堡大学）
为了解决日益复杂的任务，学习抽象表示已经成为神经网络的一项基本能力。这些特定于任务的表示，特别是它们所捕获的不变性，将神经网络变成了缺乏可解释性的黑箱模型。因此，要打开这样一个黑盒子，关键是要揭示模型已经学习的不同语义概念以及它已经学习的不变性概念。我们提出了一种基于INN的方法，（i）通过解开数据中剩余的变化因素来恢复特定于任务的学习不变性，以及（ii）将这些恢复的不变性与模型表示相结合，可逆地转换为具有可访问语义概念的同等表达性。因此，通过提供以下手段，神经网络表示变得可理解：（i）暴露它们的语义含义，（ii）语义地修改表示，以及（iii）可视化个体学习的语义概念和不变性。我们的可逆方法显着扩展了理解黑盒模型的能力，使国家的最先进的网络事后解释，而不影响其性能。我们的实现可以在https://compvis.github.io/invariances/上获得。
2020-08-04 cs.CV
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology（计算机科学与技术系）
本文提出变换不变神经网络（TinvNN），通过修改多维缩放得到变换不变且保持距离的初始点表示，实现几何数据的严格变换不变性，在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
SketchTransfer: A Challenging New Task for Exploring Detail-Invariance and the Abstractions Learned by Deep Networks
MILA（蒙特利尔学习算法研究所）；Aalto University（阿尔托大学）；Google Brain（谷歌大脑）
深度网络在感知任务中取得了优异的成绩，但它们在训练过程中没有看到的变化的能力受到了越来越多的关注。在这项工作中，我们专注于他们的能力，有不变性对存在或不存在的细节。例如，人类能够观看缺少许多视觉细节的卡通片，而无需进行明确的训练。作为另一个例子，3D渲染软件是一个相对较新的发展，但人们能够理解这样的渲染场景，即使他们缺少细节（考虑像玩具总动员电影）。机器学习算法未能做到这一点，表明人类能力和深度网络能力之间在泛化方面存在显著差距。我们提出了一个数据集，这将使它更容易具体地研究细节不变性问题。我们为此产生了一个具体的任务：SketchTransfer，我们表明，最先进的域转移算法仍然在努力完成这项任务。在MNIST $\xrightarrow{}$ SVHN转换上达到95%以上的最新技术在SketchTransfer任务上仅达到59%的准确率，这比随机（11%的准确率）好得多，但低于直接在标记草图上训练的分类器的87%的准确率。这表明，这项任务是接近今天的最好的方法，但有很大的改进空间。
2019-12-25 cs.CV cs.LG stat.ML
Invariant Integration in Deep Convolutional Feature Space
University of Lübeck（吕贝克大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
在这篇文章中，我们展示了如何以原则性的方式将先验知识融入深度神经网络架构。我们使用基于不变积分的新层来执行特征空间不变性。这使我们能够构造一个完整的特征空间不变的有限变换群。我们应用我们提出的层来显式地插入视觉相关分类任务的不变性属性，展示我们在旋转不变性情况下的方法，并报告Rotated-MNIST数据集上的最新性能。我们的方法在使用有限数据进行训练时特别有用。
2020-04-20 cs.CV cs.LG stat.ML
Invariance encoding in sliced-Wasserstein space for image classification with limited training data
University of Virginia（弗吉尼亚大学）
深度卷积神经网络（CNN）被广泛认为是最先进的通用端到端图像分类系统。然而，当训练数据有限并且因此需要数据增强策略时，已知它们表现不佳，这使得该方法在计算上昂贵并且不总是有效的。而不是使用一个数据增强策略来编码的不变性通常在机器学习，在这里，我们建议在数学上增加最近的子空间分类模型切片Wasserstein空间利用某些数学性质的氡累积分布变换（R-CDT），最近推出的图像变换。我们证明，对于特定类型的学习问题，我们的数学解决方案在分类准确性和计算复杂性方面优于深度CNN的数据增强，并且在有限的训练数据设置下特别有效。该方法简单，有效，计算效率高，非迭代，不需要调整参数。实现我们方法的Python代码可以在https://github.com/rohdelab/mathematical_augmentation上找到。我们的方法被集成为软件包PytransKit的一部分，该软件包可在https://github.com/rohdelab/PyTransKit获得。
2022-07-24 cs.CV cs.LG
Deep Domain Confusion: Maximizing for Domain Invariance
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；UMass Lowell（马萨诸塞大学洛厄尔分校）
最近的报告表明，在大规模数据集上训练的通用监督深度CNN模型减少了但没有消除标准基准上的数据集偏差。在新领域中微调深度模型可能需要大量的数据，而对于许多应用程序来说，这是不可用的。我们提出了一种新的CNN架构，它引入了一个适应层和额外的域混淆损失，以学习一种既有语义意义又具有域不变性的表示。我们还表明，域混淆度量可用于模型选择，以确定适应层的尺寸和层在CNN架构中的最佳位置。我们提出的适应方法提供了经验的性能，超过了以前发表的结果在一个标准的基准视觉领域自适应任务。
2014-12-10 cs.CV
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步，我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设，因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发，提出了一种计算效率高的计算方法，用于确定欺骗网络的对抗性扰动的大小下限，该方法广泛适用于各种复杂网络.此外，我们提出了一个有效的训练过程，使网络健壮，并显着提高数据点周围的可证明的保护区域。在实验评估中，我们的方法显示出它能够提供非平凡的保证，并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
Exploiting T-norms for Deep Learning in Autonomous Driving
TU Wien（维也纳工业大学）
本文提出内存高效的T-范数损失函数，使自动驾驶事件检测能在有限GPU内存下利用背景知识，并在标注数据稀缺及半监督场景中提升模型性能。
2024-02-17 cs.CV cs.LG
Excessive Invariance Causes Adversarial Vulnerability
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Bremen（不来梅大学）；Center for Industrial Mathematics（工业数学中心）；University of Tübingen（图宾根大学）
尽管深度神经网络具有令人印象深刻的性能，但它们在分布外输入上表现出惊人的失败。对抗性样本研究的一个核心思想是揭示神经网络在这种分布偏移下的错误。我们将这些误差分解为两个互补的来源：灵敏度和不变性。我们发现，深度网络不仅对与任务无关的输入变化过于敏感，正如从ε对抗性示例中所知的那样，而且对广泛的任务相关变化过于不变，从而使输入空间中的广大区域容易受到对抗攻击的影响。我们表明这种过度的不变性发生在各种任务和架构类型。在MNIST和ImageNet上，人们可以操纵几乎任何图像的类特定内容，而无需更改隐藏的激活。我们确定了不足的标准交叉熵损失作为这些失败的原因。此外，我们基于信息理论分析扩展了这一目标，因此它鼓励模型在决策中考虑所有任务相关的特征。这提供了第一种明确定制的方法，以克服过度的不变性和由此产生的漏洞。
2020-07-12 cs.AI cs.CV cs.LG
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究所）
本文提出 LCD 工具，用于分别量化电子游戏任务的感知与强化学习需求，并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Exploiting inter-image similarity and ensemble of extreme learners for fixation prediction using deep features
Aalto University（阿尔托大学）；University of Central Florida（中佛罗里达大学）；University of Oulu（奥卢大学）
本文提出了一种基于图像间相似性和极限学习机（ELM）集成的新型注视预测和显着性建模框架。提出的框架的灵感来自两个观察，1）场景的上下文信息以及低级别的视觉线索调节注意，2）场景记忆性对眼动模式的影响所造成的相似性的一个场景，以前的视觉经验。出于这样的观察，我们开发了一个框架，使用极端学习器的集合来估计给定图像的显着性，每个极端学习器都在与输入图像相似的图像上训练。也就是说，在检索给定图像的一组相似图像之后，使用ELM从检索到的图像集中的每个图像学习显著性预测器，从而产生系综。给定图像的显着性，然后测量由合奏的成员预测显着性值的平均值。
2016-10-20 cs.AI cs.CV
How ConvNets model Non-linear Transformations
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们从理论上解决了涉及深度卷积网络的三个基本问题，即不变性、深度和层次。我们介绍了转换网络（TN）的范式，它是卷积网络（ConvNets）的直接推广。从理论上讲，我们证明了TN（以及ConvNets）可以对输入的非线性变换保持不变，尽管仅在局部平移上进行了池化。我们的分析提供了清晰的见解，在这些网络的深度增加不变性。更深层次的网络能够模拟更丰富的转换类别。我们还发现，一个分层的架构允许网络生成不变性比非分层网络更有效。我们的研究结果为使用ConvNets的深度学习中的这三个基本问题提供了有用的见解。
2017-02-24 cs.CV cs.LG
Individualized Deepfake Detection Exploiting Traces Due to Double Neural-Network Operations
NC State University（北卡罗来纳州立大学）
针对特定公众人物的深度伪造检测问题，提出利用神经网络幂等性进行双重操作以优化检测器，使AUC提升至0.94，并发布了包含45位公众人物约3.2万张图像的数据集。
2025-04-04 cs.CR cs.CV cs.LG
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Endowing Deep 3D Models with Rotation Invariance Based on Principal Component Analysis
Sun Yat-sen University（中山大学）；Pixtalks Tech（Pixtalks科技）
在本文中，我们提出了一种简单而有效的方法，通过在由对象形状本身确定的内在框架中表示坐标来赋予深度3D模型旋转不变性。我们的方法的关键是找到这样一个内在框架，它应该是唯一的相同的对象形状和一致的跨不同的实例相同的类别，例如，桌子的框架轴应该都大致沿边缘。有趣的是，主成分分析正好提供了一种有效的方法来定义这样的框架，即将主成分设置为框架轴。由于特征向量计算的符号模糊性导致主分量具有方向模糊性，因此每个对象存在多个内标。为了实现深度模型的绝对旋转不变性，我们采用所有内在框架中表示的坐标作为输入，以获得多个输出特征，这些特征将通过自注意模块进一步聚合为最终特征。我们的方法在理论上是旋转不变的，可以灵活地嵌入到当前的网络架构。综合实验表明，我们的方法可以在旋转增强数据集上实现接近最先进的性能，用于ModelNet40分类，并在SHREC'17扰动检索任务上优于其他模型。
2019-10-20 cs.CV
Data-Free Universal Attack by Exploiting the Intrinsic Vulnerability of Deep Models
提出无数据通用攻击方法 IntriUAP，利用深度模型线性组件的病态性质，将扰动与最大奇异值对应的右奇异向量对齐，无需样本即可高效攻击，且仅需部分层访问。
2025-03-28 cs.CV cs.LG
Phantom Sponges: Exploiting Non-Maximum Suppression to Attack Deep Object Detectors
The Open University（开放大学）；Ben-Gurion University（本-古里安大学）；University of Genoa（热那亚大学）；University of Cagliari（卡利亚里大学）
针对基于深度学习的对象检测器的对抗攻击在过去几年中得到了广泛的研究。提出的大多数攻击都针对模型的完整性（即，导致模型做出不正确的预测），而针对模型可用性的对抗攻击（自动驾驶等安全关键领域的一个关键方面）尚未被机器学习研究界探索。在本文中，我们提出了一种新的攻击，产生负面影响的决定延迟的端到端的目标检测管道。我们制作了一个通用的对抗扰动（UAP），目标是集成在许多对象检测器管道中的广泛使用的技术-非最大抑制（NMS）。我们的实验表明，所提出的UAP的能力，以增加处理时间的个别帧，通过添加“幻影”的对象，超载的NMS算法，同时保留检测的原始对象，使攻击去未被检测到的一段较长的时间。
2022-11-17 cs.CR cs.CV cs.LG
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
University of Toronto（多伦多大学）
在本文中，我们提出了一种方法，利用对象分割，以提高目标检测的准确性。我们框架的问题，在马尔可夫随机场的推理，其中每个检测假设得分对象的外观以及上下文信息使用卷积神经网络，并允许该假设选择和评分的一个大池的准确的对象分割建议的一段。这使得探测器能够在获得额外证据时将其纳入，从而导致更准确的探测。我们的实验显示，在PASCAL VOC 2010上，mAP比R-CNN基线提高了4.1%，比目前最先进的提高了3.4%，证明了我们方法的强大性。
2015-02-15 cs.CV
Deep Depth from Focal Stack with Defocus Model for Camera-Setting Invariance
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Shiga University（滋贺大学）
我们提出了一个基于学习的深度从聚焦/散焦（DFF），它需要一个焦点堆栈作为输入估计场景深度。散焦模糊是用于深度估计的有用线索。然而，模糊的大小不仅取决于场景深度，还取决于相机设置，如焦距，焦距和f数。如果相机设置在训练和测试时间不同，则当前基于学习的方法没有任何散焦模型，无法估计正确的深度图。我们的方法将平面扫描体积作为场景深度、散焦图像和相机设置之间的约束的输入，并且这种中间表示使得能够在训练和测试时间使用不同的相机设置进行深度估计。这种相机设置不变性可以增强基于学习的DFF方法的适用性。实验结果还表明，我们的方法是强大的对合成到真正的域差距，并表现出最先进的性能。
2022-02-26 cs.CV
Deep Blur Mapping: Exploiting High-Level Semantics by Deep Neural Networks
University of Waterloo（滑铁卢大学）；The University of Sydney（悉尼大学）
人类视觉系统擅长检测视觉图像的局部模糊，但其内在机制还不清楚。模糊的传统观点，如在高频率的能量减少和相位相干性的损失在本地化功能有根本的局限性。例如，它们不能很好地区分平坦区域和模糊区域。在这里，我们建议，高层次的语义信息是成功地识别局部模糊的关键。因此，我们求助于擅长学习高级特征的深度神经网络，提出了首个基于全卷积网络的端到端局部模糊映射算法。通过分析具有不同深度和设计理念的各种架构，我们凭经验表明，在解决这项任务的挑战性模糊性方面，较深层的高级功能比较浅层的低级功能发挥更重要的作用。我们在一个标准的模糊检测基准上测试了所提出的方法，并证明了它显着提高了最先进的水平（ODS F分数为0.853）。此外，我们探讨使用所产生的模糊地图在三个应用程序，包括模糊区域分割，模糊程度估计，和模糊放大。
2018-06-12 cs.CV
A study on the invariance in security whatever the dimension of images for the steganalysis by deep-learning
LIRMM（LIRMM实验室）；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；Univ. Nîmes（尼姆大学）
在本文中，我们研究的性能不变性的卷积神经网络时，面对可变的图像大小的背景下，更“野生隐写分析”。首先，我们提出了两个算法和定义的优良实验协议的数据集具有“相似的难度”和“相似的安全性”。“智能裁剪2”算法允许引入近嵌套图像数据集（NNID），以确保各种数据集之间的“相似难度”，而二分法研究算法允许“相似的安全性”。其次，我们表明，不变性不存在于国家的最先进的架构。我们还表现出行为上的差异，这取决于我们是在比训练图像更大还是更小的图像上进行测试。最后，基于实验，我们建议使用扩张卷积，这导致了一个国家的最先进的架构的改进。
2023-02-22 cs.CR cs.CV
Exploiting Semantic Information and Deep Matching for Optical Flow
University of Toronto（多伦多大学）
我们解决的问题，估计光流从一个单目摄像头的背景下，自动驾驶。我们建立在这样的观察，场景通常是由一个静态的背景，以及一个相对较少的交通参与者，在3D刚性移动。我们建议使用实例级分割来估计流量参与者。对于每个交通参与者，我们使用极线约束，管理每个独立的运动更快，更准确的估计。我们的第二个贡献是一个新的卷积网络，它学习执行流匹配，并能够估计其匹配的不确定性。这是我们流量估算管道的核心要素。我们证明了我们的方法在具有挑战性的KITTI 2015流量基准的有效性，并表明我们的方法优于已公布的方法的大幅度。
2016-08-23 cs.CV
Exploiting multi-temporal information for improved speckle reduction of Sentinel-1 SAR images by deep learning
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Laboratoire Hubert Curien（于贝尔·居里安实验室）
深度学习方法在SAR振幅图像中的斑点减少方面取得了前所未有的成果。SAR图像的多时间堆栈的广泛可用性可以进一步提高去噪的质量。在本文中，我们提出了一种灵活而有效的方法，将时间信息集成到深度神经网络中以进行斑点抑制。档案提供了进入长时间序列的合成孔径雷达图像，从多时间的平均值可以计算几乎没有剩余的斑点波动。所提出的方法结合了这个多时间的平均值和图像在一个给定的日期的比率图像的形式，并使用一个国家的最先进的神经网络，以消除在这个比率图像的斑点。这种简单的策略被证明提供了一个显着的改善相比，过滤的原始图像没有知识的多时间平均。
2021-02-01 cs.CV eess.IV
Exploiting Local Features from Deep Networks for Image Retrieval
University of Maryland, College Park（马里兰大学帕克分校）
深度卷积神经网络已成功应用于图像分类任务。当这些相同的网络应用于图像检索时，假设最后一层将提供最佳性能，就像它们在分类中一样。我们表明，对于实例级图像检索，较低的层往往比卷积神经网络中的最后一层表现更好。我们提出了一种从网络的不同层中提取卷积特征的方法，并采用VLAD编码将每个图像的特征编码为单个向量。我们使用最近的深度网络OxfordNet和GoogLeNet研究了输入图像的不同层和尺度对卷积特征性能的影响。实验表明，与最后一层相比，具有更细尺度的中间层或更高层可以产生更好的图像检索结果。当使用压缩的128-D VLAD描述符时，我们的方法获得了最先进的结果，并且在三个测试数据集中的两个上优于其他基于VLAD和CNN的方法。我们的工作为将在图像分类上训练的深度网络转移到图像检索任务提供了指导。
2015-04-30 cs.CV
