Towards Understanding Hierarchical Learning: Benefits of Neural Representations
Georgia Tech（佐治亚理工学院）；Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
深度神经网络可以凭经验执行有效的分层学习，其中各层学习数据的有用表示。然而，它们如何利用中间表示并没有被最近的理论解释，这些理论将它们与“浅层学习者”（如内核）联系起来。在这项工作中，我们证明了中间神经表示为神经网络增加了更多的灵活性，并且可以比原始输入更有优势。我们考虑一个固定的，随机初始化的神经网络作为一个代表性的功能，送入另一个可训练的网络。当可训练网络是一个宽的两层网络的二次泰勒模型时，我们证明了神经表示可以实现与原始输入相比改进的样本复杂度：对于学习$d$维中的低秩度$p$多项式（$p \geq 4$），神经表示只需要$\tilde{O}(d^{\lceil p/2 \rceil})$样本，而原始输入的最知名的样本复杂度上限是$\tilde{O}(d^{p-1})$。我们将我们的结果与下限进行了对比，该下限表明，当可训练网络是神经切线核时，神经表示不会在原始输入（无限宽度限制）上得到改善。我们的研究结果描述了神经表征何时是有益的，并可能为深度在深度学习中的重要性提供新的视角。
2021-03-05 cs.LG stat.ML
A Reparameterization-Invariant Flatness Measure for Deep Neural Networks
Lund University（隆德大学）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Monash University（莫纳什大学）；Google Research（谷歌研究院）
深度神经网络的性能通常归因于其自动化的、与任务相关的特征构造。然而，这仍然是一个悬而未决的问题，为什么这会导致具有良好泛化能力的解决方案，即使在参数数量大于样本数量的情况下。早在90年代，Hochreiter和Schmidhuber就观察到，局部最小值附近的损失表面的平坦度与低泛化误差相关。对于几个平坦度测量，这种相关性已经被经验验证。然而，它最近被证明，现有的平坦度的措施，理论上不能与泛化由于缺乏不变性的reparameterizations。我们提出了一个自然的修改现有的平坦性措施，结果在不变性重新参数化。
2019-11-29 cs.LG stat.ML
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago（芝加哥大学）
考虑一下这个问题：给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$，指定一个神经网络模型，并随时间对权重运行梯度流，直到达到任何平稳性。$f_t$，即神经网络在时间$t$计算的函数，在近似和表示方面与$f_*$有什么关系？神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比，有哪些可证明的好处？我们回答了上述问题，通过动态再生核希尔伯特空间（RKHS）的方法索引的神经网络的训练过程。首先，我们证明了当达到任何局部平稳性时，梯度流学习自适应RKHS表示，并同时将全局最小二乘投影到自适应RKHS上。其次，我们证明了RKHS是数据自适应和特定于任务的，残差$f_*$位于一个子空间，这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后，我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning
Princeton University（普林斯顿大学）；Peking University（北京大学）
针对跨异质环境的因果挖掘难题，本文提出FAIR框架及对应的FAIR-NN模型，通过极小极大对抗优化识别不变准因果变量，经理论分析与实验验证了方法的有效性。
2025-11-17 cs.LG math.ST stat.ME
A Coordinate-Free Construction of Scalable Natural Gradient
Borealis AI；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
大多数神经网络使用一阶优化方法进行训练，这对模型的参数化敏感。自然梯度下降是不变的平滑重新参数化，因为它是在一个坐标自由的方式定义，但易于处理的近似通常是在坐标系中定义，因此可能会失去不变性。通过构造一种与坐标无关的K-FAC算法，分析了K-FAC算法的不变性。我们明确地构建了一个黎曼度量，在该度量下，自然梯度与K-FAC更新相匹配;对激活的仿射变换的不变性立即发生。我们扩展了我们的框架来分析应用于卷积网络和递归神经网络的K-FAC的不变性，以及通常的Fisher度量以外的度量。
2018-08-30 cs.LG math.DG math.OC
Linear Mode Connectivity in Differentiable Tree Ensembles
National Institute of Informatics（信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（高等研究生院（SOKENDAI））
本文研究可微软树集成的线性模式连通性，揭示树排列、子树翻转与分裂顺序不变性的作用，并提出基于决策列表的架构以消除额外不变性同时保持LMC。
2025-02-14 cs.LG
Invariance, encodings, and generalization: learning identity effects with neural networks
Concordia University（康考迪亚大学）；Simon Fraser University（西蒙菲莎大学）
通常在语言和其他认知领域，一个对象的两个组成部分是否相同决定了它是否是良好的形式。我们称这种约束为身份效应。当开发一个系统来从示例中学习格式良好性时，很容易建立识别效果。但是，在没有明确指导的情况下，是否可以从数据中学习身份效应？我们提供了一个框架，在这个框架中，我们可以严格地证明，满足简单标准的算法不能做出正确的推断。然后，我们证明了一大类学习算法，包括通过基于梯度的算法（如随机梯度下降或亚当方法）训练的深度前馈神经网络，满足我们的标准，这取决于输入的编码。在一些更广泛的情况下，我们能够提供网络必然会错误分类的对抗性示例。最后，我们证明了我们的理论与计算实验中，我们探讨了不同的输入编码算法的能力，以推广到新的输入的效果。这使我们能够显示出类似的效果，理论预测的更现实的方法，违反了我们的理论结果的一些条件。
2022-03-02 cs.CL cs.LG
Fisher-Rao Metric, Geometry, and Complexity of Neural Networks
University of Chicago（芝加哥大学）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们从不变性的角度研究了深度神经网络的几何和容量度量之间的关系。我们引入了一个新的容量概念-Fisher-Rao范数-它具有理想的不变性，并受到信息几何的启发。我们发现了新的能力测度的分析特征，通过它我们建立了规范比较不等式，并进一步表明，新的测度可以作为现有的几个基于规范的复杂性测度的保护伞。我们讨论了所提出的措施引起的泛化误差的上界。CIFAR-10上的大量数值实验支持了我们的理论研究结果。我们的理论分析依赖于一个关键的结构引理偏导数的多层整流网络。
2019-02-23 cs.AI cs.LG stat.ML
On the benefits of representation regularization in invariance based domain generalization
Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）
可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
Learning Invariances in Neural Networks
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
平移不变性赋予了卷积神经网络强大的泛化特性。然而，我们通常不知道数据中存在什么样的不变性，或者模型在多大程度上应该对给定的对称群保持不变。我们展示了如何通过参数化增强分布并同时优化网络参数和增强参数的训练损失来实现\emph{learn}不变性和等变性。通过这个简单的过程，我们可以恢复正确的设置和程度上的不变性图像分类，回归，分割，和分子性质预测从一个大的空间增强，训练数据单独。
2020-12-01 cs.LG stat.ML
Deep Neural Networks for Rotation-Invariance Approximation and Learning
Hong Kong Baptist University（香港浸会大学）；CityU（香港城市大学）
基于树结构，本文的目标是设计具有两个或多个隐藏层的深度神经网络（称为深度网络）来实现径向函数，从而在任意高维欧氏空间中实现近似最优函数的旋转不变性。结果表明，深度网络在近似精度和学习能力方面比浅网络（只有一个隐藏层）有更好的性能。特别是，对于径向函数的学习，它表明，近最优的速率可以通过深网络，但不能通过浅网络实现。我们的结果说明了深度在神经网络设计中的必要性，以实现旋转不变的目标函数。
2019-04-03 cs.LG stat.ML
Neural Networks for Learning Counterfactual G-Invariances from Single Environments
Purdue University（普渡大学）
尽管--或者可能是因为--神经网络具有惊人的拟合数据的能力，但人们认为，训练数据分布之外的外推有困难。这项工作表明，对于基于有限变换群的外推，模型无法外推与其容量无关。相反，这个缺点是从一个学习假设继承来的：没有用无限多的训练样本明确观察到的样本在学习者的模型中具有未指定的结果。为了赋予神经网络在群变换上外推的能力，我们引入了一个学习框架，该框架由学习假设反事实指导，即任何对（已知）变换群的群不变性即使没有证据也是强制性的，除非学习者认为它与训练数据不一致。与现有的（反事实）外推的不变性驱动方法不同，该框架允许从单个环境进行外推。最后，我们介绍序列和图像外推任务，验证我们的框架，并展示传统方法的缺点。
2021-04-20 cs.LG stat.ML
Learning Invariant Weights in Neural Networks
Imperial College London（帝国理工学院）
关于数据不变性或对称性的假设可以显著提高统计模型的预测能力。机器学习中的许多常用模型都受到约束，以尊重数据中的某些对称性，例如卷积神经网络中的平移等方差，并且正在积极研究新对称类型的合并。然而，从数据本身学习这种不变性的努力仍然是一个开放的研究问题。已经表明，边际似然提供了一种原则性的方法来学习高斯过程中的不变性。我们提出了一个权重空间等效于这种方法，通过最小化的边际似然的下限，学习不变性的神经网络自然导致更高的性能模型。
2022-08-02 cs.LG stat.ML
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
数据增强通常用于提高深度学习的性能，方法是强制执行对输入的某些转换保留输出的知识。目前，数据增强参数是通过人工努力和昂贵的交叉验证来选择的，这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法，用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性，这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效，但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标，它可以优化没有人的监督或验证数据。我们表明，我们的方法可以成功地恢复数据中存在的不变性，这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Rotation Equivariance and Invariance in Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
神经网络的性能可以通过对特定任务的已知不变性进行编码来显著提高。许多图像分类任务，例如与细胞成像相关的任务，表现出旋转不变性。我们提出了一种新的方案，使用2D离散傅立叶变换（2D-DFT）的幅度响应来编码神经网络中的旋转不变性，以及一个新的，有效的卷积方案，用于编码整个卷积层的旋转等方差。我们实现了这个计划的几个图像分类任务，并证明了改进的性能，在分类精度，训练模型所需的时间，和超参数选择的鲁棒性，超过标准的CNN和另一个国家的最先进的方法。
2018-05-31 cs.CV cs.LG stat.ML
DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel
针对DNN生成SIMP密度场时NTK滤波器缺乏平移不变性的问题，本文提出两种坐标嵌入以实现近似空间不变，并通过实验验证其效果与架构影响。
2021-11-28 cs.LG stat.ML
Affine Invariance in Continuous-Domain Convolutional Neural Networks
University of Hamburg（汉堡大学）
本研究聚焦连续域卷积神经网络的仿射不变性，针对GL₂(ℝ)生成的仿射变换完整结构，引入新评估准则并通过嵌入仿射李群G₂实现群卷积，扩展了深度学习流水线可处理的几何变换范围。
2025-04-11 cs.LG math.ST stat.ML
Frame invariance and scalability of neural operators for partial differential equations
Virginia Tech（弗吉尼亚理工大学）；Flatiron Institute（熨斗研究所）
偏微分方程在许多复杂动力学过程的数学建模中起着主导作用。求解这些偏微分方程通常需要非常高的计算成本，特别是当必须对不同的参数或条件进行多次评估时。经过训练后，神经操作员可以比传统的PDE求解器更快地提供PDE解决方案。在这项工作中，不变性性质和计算复杂性的两个神经运营商的运输偏微分方程的标量检查。基于图核网络（GKN）的神经算子对图结构数据进行操作，以包含非局部依赖。在这里，我们提出了一个修改的制定GKN实现帧不变性。向量云神经网络（VCNN）是一种基于点云数据的具有嵌入框架不变性的交替神经算子。与VCNN相比，基于GKN的神经操作符表现出略好的预测性能。然而，与VCNN的线性增加相比，GKN需要过高的计算成本，其随着离散化对象的数量的增加而二次增加。
2021-12-28 cs.LG
Unveiling Invariances via Neural Network Pruning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出通过神经网络剪枝自动学习数据依赖不变性的框架，所得到的架构在3个视觉和40个表格数据集上均优于稠密网络，兼顾效率与效果。
2023-09-15 cs.AI cs.LG
Unsupervised Adversarial Invariance
USC Information Sciences Institute（南加州大学信息科学研究所）
包含关于目标变量的所有信息但不受干扰因素影响的数据表示有利于监督学习算法，因为它可以防止监督学习算法学习这些因素与目标之间的关联，从而减少过拟合。我们提出了一种新的无监督的不变性归纳框架神经网络，通过预测任务和重建任务之间的竞争性训练，再加上解纠缠，学习分裂表示的数据，而不需要任何标记的有害因素或领域知识的信息。我们描述了这个框架的对抗实例，并提供其工作分析。我们的无监督模型优于最先进的方法，这是监督，在诱导不变性的固有滋扰因素，有效地使用合成数据增强学习不变性，和领域自适应。我们的方法可以应用于任何预测任务，例如，二进制/多类分类或回归，不失一般性。
2018-09-26 cs.LG stat.ML
Last Layer Marginal Likelihood for Invariance Learning
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
数据扩充通常用于将归纳偏差纳入模型。传统上，这些都是手工制作的，并通过交叉验证进行了调整。用于模型选择的贝叶斯范例通过优化边际似然性，提供了一条仅使用训练数据进行不变性的端到端学习的路径。计算边缘似然对于神经网络来说是困难的，但是成功地计算最后一层的边缘似然的易处理方法只会提出这样一个问题：这种方便的方法是否可以用于学习不变性。我们显示部分成功的标准基准，在低数据制度和医学成像数据集设计一个自定义的优化程序。引入一个新的下界的边际似然允许我们执行推理的一个更大的类的似然函数比以前。另一方面，我们在CIFAR10数据集上展示了故障模式，由于神经网络的复杂性增加，最后一层近似是不够的。我们的研究结果表明，一旦更复杂的近似变得可用的边缘似然是一个有前途的方法在神经网络的不变性学习。
2022-03-01 cs.LG stat.ML
Discovering Invariances in Healthcare Neural Networks
我们通过经验学习输入上的变换来研究预训练预测模型的不变性特征，这些变换使预测函数近似不变。为了学习不变变换，我们最小化以数据实例为条件的预测分布与以变换后的数据实例为条件的预测分布之间的Wasserstein距离。为了避免发现退化或扰动变换，我们添加了相似性正则化来阻止数据及其变换值之间的相似性。从理论上分析了算法的正确性和解的结构。将所提出的技术应用于临床时间序列数据，我们发现了常用的LSTM模型不依赖于其预测的变量，特别是当LSTM被训练为对抗鲁棒时。我们还分析了BioBERT在临床笔记上的不变性，并发现了它不变的单词。
2020-03-03 cs.LG q-bio.QM stat.ML
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯神经网络架构，可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明，当在包含特定不变性的数据集上训练时，我们的模型优于其他非不变架构。当不执行数据增强时，情况也是如此。
2021-11-02 cs.LG stat.ML
Model Metamers Reveal Invariances in Graph Neural Networks
提出模型 metamer 生成方法，通过匹配 GNN 内部节点激活构造表示等价但结构和特征迥异的图，以揭示并量化经典 GNN 的过度不变性及失败模式。
2025-10-20 cs.LG
Learning to Exploit Invariances in Clinical Time-Series Data using Sequence Transformer Networks
Department of Electrical Engineering and Computer Science University of Michigan（密歇根大学电气工程与计算机科学系）；University of Michigan（密歇根大学）
最近，研究人员已经开始将具有一维卷积的卷积神经网络（CNN）应用于涉及时间序列数据的临床任务。这部分是由于它们相对于递归神经网络的计算效率以及它们有效利用某些时间不变性的能力（例如，相位不变性）。然而，公认的是，临床数据可以表现出许多其他类型的不变性（例如，缩放）。虽然预处理技术（例如，动态时间规整）可以成功地变换和对齐输入，但是它们的使用通常需要预先识别不变性的类型。相比之下，我们建议使用序列Transformer网络，这是一种端到端的可训练架构，可以学习识别和解释临床时间序列数据中的不变性。应用于预测住院死亡率的任务，我们提出的方法实现了相对于基线CNN的受试者工作特征曲线下面积（AUROC）的改善（AUROC=0.851 vs. AUROC=0.838）。我们的研究结果表明，各种有价值的不变性可以直接从数据中学习。
2018-08-21 cs.LG stat.ML
FI-ODE: Certifiably Robust Forward Invariance in Neural ODEs
California Institute of Technology（加州理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）
本文提出FI-ODE框架，用于训练和可证明地认证神经ODE中的鲁棒前向不变性，首次为非空泛认证保证的神经ODE策略提供支持，并应用于鲁棒连续控制及图像分类的对抗鲁棒性认证。
2023-12-22 cs.LG
Preserving gauge invariance in neural networks
Institute for Theoretical Physics, TU Wien（维也纳工业大学理论物理研究所）
在这些程序中，我们提出了格点规范等变卷积神经网络（L-CNN），它能够处理来自格点规范理论模拟的数据，同时精确地保持规范对称性。我们回顾了架构的各个方面，并展示了L-CNN如何在晶格上表示一大类规范不变和等变函数。我们使用非线性回归问题比较了L-CNN和非等变网络的性能，并演示了如何打破非等变模型的规范不变性。
2021-12-21 cs.LG hep-lat hep-ph
Invariance Measures for Neural Networks
Instituto de Investigación en Informática LIDI, Facultad de Informática, Universidad Nacional de La Plata（拉普拉塔国立大学信息学院LIDI信息学研究所）；Universitat Rovira i Virgili（罗维拉-依维尔基里大学）；HP Inc.（惠普公司）
本文提出可解释且高效的不变性度量，用于刻画神经网络内部表示的不变性，并在仿射变换及 CIFAR10、MNIST 上验证其对权重初始化稳定、对数据和变换变化敏感的特性。
2023-10-26 cs.AI cs.LG cs.NE
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步，我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设，因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发，提出了一种计算效率高的计算方法，用于确定欺骗网络的对抗性扰动的大小下限，该方法广泛适用于各种复杂网络.此外，我们提出了一个有效的训练过程，使网络健壮，并显着提高数据点周围的可证明的保护区域。在实验评估中，我们的方法显示出它能够提供非平凡的保证，并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
How Infinitely Wide Neural Networks Can Benefit from Multi-task Learning -- an Exact Macroscopic Characterization
ETH Zurich（苏黎世联邦理工学院）
在实践中，多任务学习（通过学习任务之间共享的特征）是深度神经网络（NN）的基本属性。虽然NN的无限宽度限制可以为其泛化行为提供良好的直觉，但文献中众所周知的NN的无限宽度限制（例如，神经切线核）假设特定的设置，其中宽ReLU-NN表现得像具有固定核的浅高斯过程。因此，在这样的设置中，这些NN失去了在无限宽度限制下从多任务学习中受益的能力。相比之下，我们证明了使用参数的L2正则化来优化具有至少一个隐藏层的宽ReLU神经网络可以促进多任务学习，这是由于表示学习-也是在网络宽度趋于无穷大的限制范围内。我们提出了一个精确的定量表征这个无限的宽度限制在一个适当的函数空间，整齐地描述多任务学习。
2022-10-20 cs.LG stat.ML
Encoding Involutory Invariances in Neural Networks
BITS-Pilani（比尔拉科学技术学院）；Harvard University（哈佛大学）
在某些情况下，神经网络是在服从基本对称性的数据上训练的。然而，预测并不完全尊重对称性，除非嵌入到网络结构中。在这项工作中，我们引入的架构，嵌入一种特殊的对称性，即不变性相对于对合线性/仿射变换奇偶校验$p=\pm 1$。我们提供严格的定理表明，建议的网络确保这样的不变性和一个特殊的普遍逼近定理的定性参数。我们的技术适应CNN任务的数据集具有固有的水平/垂直反射对称性的证明。大量的实验表明，该模型优于基线前馈和物理信息神经网络，同时同样尊重潜在的对称性。
2022-04-26 cs.AI cs.LG cs.NE
The Geometry of Neural Nets' Parameter Spaces Under Reparametrization
Vector Institute（向量研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
从黎曼几何视角研究神经网络在重参数化下的不变性，指出显式表示度量并使用正确变换规则可保持固有不变性，从而解决平坦度度量和优化分析中的不一致问题。
2023-10-23 cs.LG stat.ML
Patch Reordering: a Novel Way to Achieve Rotation and Translation Invariance in Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；University of Technology Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务中表现出了最先进的性能。然而，卷积和池化操作的组合仅对输入中有意义的对象中的小的局部位置变化示出不变性。有时，这种网络使用数据增强来训练，以将这种不变性编码到参数中，这限制了模型学习这些对象内容的能力。更有效地使用参数预算是将旋转或平移不变性编码到模型架构中，这使模型无需学习它们。为了使模型能够专注于学习对象的内容而不是它们的位置，我们建议在将它们馈送到下一层之前对特征图进行补丁排名。当补丁排名与卷积和池化操作相结合时，尽管输入中有意义的对象的位置，我们还是获得了一致的表示。我们表明，补丁排名模块提高了CNN在许多基准任务，包括MNIST数字识别，大规模图像识别和图像检索的性能。该代码可在https://github.com//jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
Reparameterization invariance in approximate Bayesian inference
Technical University of Denmark（丹麦技术大学）；University of Cambridge（剑桥大学）；Karolinska Institutet（卡罗林斯卡学院）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
针对贝叶斯神经网络（BNNs）近似后验在重参数化下缺乏不变性的问题，本文基于线性化拉普拉斯近似提出重参数化几何视角解释线性化成功原因，并通过黎曼扩散过程将不变性扩展到原始网络预测，提出采样算法并提升后验拟合效果。
2025-02-10 cs.LG stat.ML
Learning Invariances with Generalised Input-Convex Neural Networks
University of Basel（巴塞尔大学）
考虑到从输入向量到连续目标的光滑映射，我们的目标是使输入域的子空间在这种映射下保持不变。因此，我们想要隐式地定义由水平集的流形。具体来说，这种表征应该是全局参数形式，这对于不同的知情数据探索任务特别有用，例如构建基于网格的近似，沿着水平曲线采样点，或在流形上找到轨迹。然而，全局参数化只能在水平集连接时存在。为了这个目的，我们引入了一种新的和灵活的类神经网络，广义输入凸网络。这些网络表示保证具有连通水平集的函数，这些连通水平集在输入空间上形成光滑流形。我们进一步表明，这些水平集的全局参数化总是可以有效地找到。最后，我们证明了我们用于表征不变性的新技术在现实世界的应用中是一个强大的生成数据探索工具，例如计算化学。
2022-04-14 cs.LG
Analysis of Invariance and Robustness via Invertibility of ReLU-Networks
University of Bremen（不来梅大学）
研究深度神经网络（DNN）的可逆性提供了一种原则性方法，可以更好地理解这些强大模型的行为。尽管是一个很有前途的诊断工具，一个一致的理论，他们的可逆性仍然缺乏。我们从理论上推导出一种方法来探索ReLU层的原像和影响逆层稳定性的机制。使用发达的理论，我们数值显示这种方法如何揭示网络的特性。
2018-06-27 cs.LG stat.ML
Does Neural Machine Translation Benefit from Larger Context?
New York University（纽约大学）
我们提出了一种神经机器翻译架构，除了源句子之外，还可以对周围的文本进行建模。这些模型在小语料库上训练时，在一般翻译质量和代词预测方面都有更好的性能，尽管在使用较大语料库训练时，这种改进基本上消失了。我们还发现，基于注意力的神经机器翻译非常适合代词预测，并且与专门为此任务设计的其他方法相比毫不逊色。
2017-04-17 cs.CL cs.LG stat.ML
Measuring Representational Robustness of Neural Networks Through Shared Invariances
University of Maryland, College Park（马里兰大学帕克分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；PUCRS（巴西圣保罗天主教大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
在深度学习中研究鲁棒性的一个主要挑战是定义给定的神经网络（NN）应该不变的“无意义”扰动集。大多数关于鲁棒性的工作都隐含地使用人类作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定NN应该不变的扰动集，从而将对参考“人类NN”的依赖推广到任何NN，从而提供了一个关于鲁棒性的新观点。这使得测量鲁棒性等同于测量两个NN共享不变性的程度，为此我们提出了一种称为STIR的度量。STIR重新利用现有的表示相似性度量，使其适合于测量共享不变性。使用我们的测量，我们能够深入了解共享不变性如何随着权重初始化，架构，损失函数和训练数据集的变化而变化。我们的实现可从以下网址获得：\url{https://github.com/nvedant07/STIR}。
2022-06-23 cs.AI cs.LG
Towards Invariance to Node Identifiers in Graph Neural Networks
Blavatnik School of Computer Science, Tel-Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Meta；University of Cambridge（剑桥大学）；Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（特拉维夫大学埃德蒙·J·萨夫拉生物信息学中心）；Google Research（谷歌研究院）
针对节点 ID 导致 GNN 输出依赖具体标识符的问题，本文提出一种正则化方法以强制实现 ID 不变性，并在真实与合成任务上验证其可改善不变性和泛化。
2026-11-03 cs.LG
Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks
The University of Hong Kong（香港大学）
本文从理论角度研究 SimCLR 预训练机制，证明在两层 CNN 中结合监督微调可实现近乎最优测试损失，且标签复杂度远低于直接监督训练，揭示了其在少标签学习中的优势。
2024-09-27 cs.LG stat.ML
Do Invariances in Deep Neural Networks Align with Human Perception?
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
安全和值得信赖的深度学习的一个评估标准是深度神经网络（DNN）表示所捕获的不变性与人类共享的程度。我们确定在衡量这些不变性的挑战。先前的工作使用基于梯度的方法来生成相同表示的输入（IRI），即具有神经网络的相同表示（在给定层上）的输入，从而捕获给定网络的不变性。网络的不变性与人类感知一致的一个必要标准是其IRI看起来与人类“相似”。然而，之前的工作有混合的外卖;一些人认为DNN的后期层不会学习类似人类的不变性（\cite{jenelle2019metamers}），但其他人似乎表明并非如此（\cite{mahendran2014understanding}）。我们认为，用于生成IRI的损失函数可以严重影响网络不变性的外卖，是这些相互矛盾的研究结果的主要原因。我们提出了一个对抗正则化的IRI代损失，发现IRI，使任何模型似乎有很少的共享不变性与人类。基于这一证据，我们认为有改进模型的余地，使其具有类似人类的不变性，并且进一步地，为了在模型之间进行有意义的比较，应该使用使用正则化器无损失生成的IRI。然后，我们深入研究了深度学习管道的不同组件（例如架构，训练损失，数据增强）如何有助于与人类保持良好一致的学习模型。我们发现，使用（自监督）对比损失与$\ell_p$球对抗数据增强训练的具有剩余连接的架构倾向于学习与人类最一致的不变性。代码：\url{github.com/nvedant07…
2022-12-02 cs.AI cs.CV cs.LG
ODE guided Neural Data Augmentation Techniques for Time Series Data and its Benefits on Robustness
IIT Hyderabad（印度理工学院海得拉巴分校）；IIT Madras（印度理工学院马德拉斯分校）
探索对抗攻击向量并研究它们对机器学习算法的影响一直是研究人员感兴趣的。在这种情况下，与图像对应物相比，处理时间序列数据的深度神经网络受到的关注较少。在最近的一项发现中，已经揭示了当前最先进的深度学习时间序列分类器容易受到对抗攻击的攻击。本文介绍了两种基于局部梯度和一种基于谱密度的时间序列数据增强技术。我们表明，使用我们的技术获得的数据训练的模型在各种时间序列基准上获得了最先进的分类精度。此外，它提高了模型对一些最常见的腐败技术，如快速梯度符号法（FGSM）和基本迭代法（BIM）的鲁棒性。
2020-09-27 cs.LG stat.ML
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks
University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
深度网络通常使用比训练数据集的大小更多的参数进行训练。最近的经验证据表明，过度参数化的做法不仅有利于训练大型模型，而且有助于-也许违反直觉-构建轻量级模型。具体来说，它表明，overparameterization的好处模型修剪/稀疏化。本文揭示了这些实证研究结果的理论特征的高维渐近模型修剪过参数化制度。提出的理论解决了以下核心问题："应该从一开始就训练一个小模型，还是先训练一个大模型，然后再修剪？".我们通过分析确定了一些机制，即使最具信息量的特征的位置是已知的，我们也最好拟合一个大型模型，然后进行修剪，而不是简单地用已知的信息量特征进行训练。这导致了稀疏模型训练中新的双下降：增长原始模型，同时保持目标稀疏性，当超过过参数化阈值时，提高了测试精度。我们的分析进一步揭示了再训练的好处，将其与特征相关性联系起来。我们发现，上述现象已经存在于线性和随机特征模型。我们的技术方法推进了高维分析的工具集，并精确地刻画了过参数化最小二乘的渐近分布。通过分析研究简单模型得到的直觉在神经网络上得到了数值验证。
2020-12-16 cs.LG stat.ML
SEIS: Subspace-based Equivariance and Invariance Scores for Neural Representations
University of Southampton（索姆塞特大学）
本文提出SEIS方法，用于分析神经表示在几何变换下的特性，揭示卷积编码器和解码器在不同层的等变性和不变性变化规律，以及训练策略对这些特性的影响。
2026-05-09 cs.CV cs.LG
On genuine invariance learning without weight-tying
University of Amsterdam（阿姆斯特丹大学）；University of Twente（特文特大学）
本文从群论视角分析无权重绑定神经网络学习不变性的局限，提出不变性误差正则化及三类量化指标，使学习到的不变性逼近真正不变性并在输入分布偏移下保持可靠。
2023-08-07 cs.LG
Probabilistic symmetries and invariant neural networks
University of British Columbia（不列颠哥伦比亚大学）；University of Oxford（牛津大学）
将神经网络的输入和输出作为随机变量处理，我们描述了神经网络的结构，该结构可用于对在紧致群的作用下不变或等变的数据进行建模。最近的许多研究致力于将对称变换下的不变性编码到神经网络架构中，以努力提高深度神经网络在数据稀缺、非独立同分布、或无人监管的环境。通过从概率对称性的角度考虑群不变性，建立了泛函与概率对称性之间的联系，得到了在紧群作用下不变或等变的概率分布的生成泛函表示.我们的陈述完全表征的神经网络，可用于模拟这种分布的结构，并产生一个通用的程序，用于构建不变的随机或确定性神经网络。我们证明，从最近的文献中的例子是特殊的情况下，和可交换的序列和数组的一般程序的细节。
2020-09-16 cs.LG stat.ML
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos Univ.（胡安·卡洛斯国王大学）
图形信号是具有可以由图形描述的不规则结构的信号。图神经网络（GNN）是为这些图信号量身定制的信息处理架构，由堆叠层组成，这些堆叠层组成具有非线性激活函数的图卷积滤波器。图卷积赋予GNN对图节点标签的排列的不变性。在本文中，我们考虑的可训练的非线性激活函数的设计，考虑到图的结构。这是通过使用图中值滤波器和图最大值滤波器来实现的，它们模仿线性图卷积，并保持了GNN的排列不变性。我们还讨论了修改反向传播算法所需的训练本地激活功能。本地化的激活函数架构的优势，证明了在四个数值实验：合成图上的源本地化，19世纪的小说，电影推荐系统和科学文章分类的作者归属。在所有情况下，本地化的激活功能，以提高模型的能力。
2019-11-05 cs.LG cs.NE eess.SP
Regularising for invariance to data augmentation improves supervised learning
DeepMind（深度思维）
数据增强用于机器学习中，以使分类器对标签保持变换不变。通常，这种不变性仅通过在训练期间包括单个增强输入来隐含地鼓励。然而，最近有几项工作表明，每个输入使用多个增广可以提高泛化能力，或者可以用来更明确地纳入不变性。在这项工作中，我们首先从经验上比较这些最近提出的目标，这些目标的不同之处在于它们是否依赖于显式或隐式正则化，以及它们在什么水平上编码不变性的预测。我们表明，预测的最佳性能的方法也是最相似的，当比较不同的扩增相同的输入。受此观察的启发，我们提出了一个明确的正则化，鼓励这种不变性的水平上的个别模型的预测。通过在CIFAR-100和ImageNet上的大量实验，我们证明了这种显式正则化器（i）提高了泛化能力，（ii）均衡了所有考虑的目标之间的性能差异。我们的研究结果表明，鼓励神经网络本身水平上的不变性的目标比那些通过平均非不变模型的预测来实现不变性的目标更好地推广。
2022-03-07 cs.LG stat.ML
Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）
最近的研究对卷积网络通常假设的移位不变性提出了质疑，表明输入中的微小移位会对输出预测产生重大影响。在本文中，我们分析了解决基于CNN的声音事件分类中缺乏移位不变性的好处。具体来说，我们评估了两种池化方法，以提高CNN中的移位不变性，基于低通滤波和对传入特征图的自适应采样。这些方法是通过插入到CNN的池化层中的小的架构修改来实现的。我们使用不同容量的模型并在强正则化的情况下评估这些架构变化对FSD 50 K数据集的影响。我们表明，这些修改一贯提高声音事件分类在所有情况下考虑。我们还实证证明，所提出的池化方法增加了网络中的移位不变性，使其对输入频谱图中的时间/频率移位更具鲁棒性。这是通过添加可忽略不计的可训练参数来实现的，这使得这些方法成为传统池化层的有吸引力的替代方案。结果是在FSD 50 K分类基准上获得了0.541的最新mAP。
2021-07-22 cs.LG cs.SD eess.AS
On the Forward Invariance of Neural ODEs
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出利用控制障碍函数和不变集传播，将神经常微分方程的输出规范转化为参数与输入约束，从而在训练和推理中保证输出满足规范，并在物理动力学建模、凸性画像和自动驾驶避障等任务中验证了其泛化性与鲁棒性。
2023-05-31 cs.AI cs.LG cs.RO
Physical invariance in neural networks for subgrid-scale scalar flux modeling
University Grenoble Alpes（格勒诺布尔大学）；Institut Universitaire de France (IUF)（法兰西大学研究院）；IMT Atlantique（大西洋理工大学）；Laboratoire des Sciences du Climat et de l’Environnement (LSCE)（气候与环境科学实验室）；LOCEAN-IPSL, Sorbonne Université（巴黎索邦大学海洋与气候实验室（IPSL））
在本文中，我们提出了一种新的战略，模拟亚网格尺度的标量通量在三维湍流不可压缩流的物理信息神经网络（NN）。当从直接数值模拟（DNS）数据训练时，最先进的神经网络（例如卷积神经网络）可能无法保留众所周知的物理先验，这反过来可能会质疑它们在真实案例研究中的应用。为了解决这个问题，我们调查硬和软约束到模型的基础上经典的变换不变性和对称性来自物理定律。从基于模拟的实验中，我们表明，所提出的变换不变NN模型优于纯数据驱动的模型以及参数化的最先进的子网格尺度模型。所考虑的不变性被视为正则化物理指标在先验评估和约束的预测子网格尺度项的分布尾部更接近DNS。当在大涡模拟中用作替代模型时，它们还提高了模型的稳定性和性能。此外，变换不变NN被证明可以推广到在训练阶段没有看到的政权。
2021-03-01 cs.LG physics.flu-dyn
Invariance of Weight Distributions in Rectified MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
分析神经网络的一个有趣的方法是研究神经网络的等价核，这一方法重新受到关注。这是基于这样的事实，即具有一个隐藏层、一定的权重分布、激活函数和无限数量的神经元的全连接前馈网络可以被视为到希尔伯特空间的映射。对于所有旋转不变的权重分布，我们推导出具有ReLU或Leaky ReLU激活的MLP的等效内核，推广了之前需要高斯权重分布的结果。此外，中心极限定理被用来表明，对于某些激活函数，内核对应的层具有$0$平均值和有限的绝对三阶矩的重量分布是渐近普遍的，以及近似的内核对应的层与球形高斯权重。在深度网络中，随着深度的增加，等效内核接近病态不动点，这可以用来解释为什么训练随机初始化的网络会很困难。我们的研究结果也有影响的权重初始化。
2018-06-01 cs.LG stat.ML
Benefits of depth in neural networks
University of Michigan（密歇根大学）
对于任何正整数$k$，存在具有$Θ(k^3)$层、每层$Θ(1)$节点和$Θ(1)$不同参数的神经网络，这些网络不能用具有$\mathcal{O}(k)$层的网络来近似，除非它们是指数大的--它们必须具有$Ω(2^k)$节点。在这里，针对称为"半代数门"的一类节点证明了这一结果，其中包括ReLU、最大值、指示符和分段多项式函数的常见选择，因此不仅针对具有ReLU门的标准网络，而且针对具有ReLU和最大化门的卷积网络、和积网络以及提升的决策树建立了深度优势（在具有更强分离的最后一种情况下：需要$Ω(2^{k^3})$全部树节点）。
2016-05-27 cs.LG cs.NE stat.ML
