We study low-rank parameterizations of weight matrices with embedded spectral properties in the Deep Learning context. The low-rank property leads to parameter efficiency and permits taking computational shortcuts when computing mappings. Spectral properties are often subject to constraints in optimization problems, leading to better models and stability of optimization. We start by looking at the compact SVD parameterization of weight matrices and identifying redundancy sources in the parameterization. We further apply the Tensor Train (TT) decomposition to the compact SVD components, and propose a non-redundant differentiable parameterization of fixed TT-rank tensor manifolds, termed the Spectral Tensor Train Parameterization (STTP). We demonstrate the effects of neural network compression in the image classification setting and both compression and improved training stability in the generative adversarial training setting.
Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation
Georgia Institute of Technology（佐治亚理工学院）；National Taiwan University（国立台湾大学）；University of Palermo（帕尔米奥大学）；NVIDIA Research（NVIDIA研究）；Hon-Hai Quantum Computing Research Center（鸿海量子计算研究中心）
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Auckland University of Technology（奥克兰理工大学）
卷积神经网络（CNN），如ResNet-50，DenseNet-40和ResNeXt-56是严重过度参数化的，因此需要增加模型训练所需的计算资源，模型训练以指数方式增加模型深度。在本文中，我们提出了一个基于熵的卷积层估计（EBCLE）启发式算法，这是强大的，简单的，但有效地解决了过度参数化的问题，关于CNN模型的网络深度。EBCLE启发式算法采用输入数据集的熵数据分布的先验知识来确定卷积网络深度的上限，超过该上限，恒等变换是普遍的，为增强模型性能提供了微不足道的贡献。通过强制特征压缩和抽象来限制深度冗余，限制了过度参数化，同时减少了24.99% - 78.59%的训练时间，而不会降低模型性能。我们提出了经验证据来强调使用EBCLE启发式训练的较宽但较浅的模型的相对有效性，该模型保持或优于较窄但较深的模型的基线分类准确性。EBCLE启发式算法在架构上是不可知的，并且基于EBCLE的CNN模型限制深度冗余，从而增强了对可用计算资源的利用。提出的EBCLE启发式是一种令人信服的技术，研究人员可以分析证明他们对CNN的HyperParameter（HP）选择。EBCLE启发式训练CNN模型的经验验证是在五个基准数据集（ImageNet 32，CIFAR-10/100，STL-10，MNIST）和四个网络架构（DenseNet，ResNet，ResNeXt和EfficientNet B 0-…
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上，并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时，通过（随机）梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近，研究表明，在对训练数据的某些裕度假设下，多对数宽度条件足以使双层ReLU网络收敛和泛化（Ji and Telgarsky，2019）。然而，深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中，我们肯定地回答了这个问题，并为通过（随机）梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言，在一定的假设下，在以前的工作中，我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
Stabilizing Gradients for Deep Neural Networks via Efficient SVD Parameterization
Amazon/A9（亚马逊/A9）
梯度消失和梯度爆炸是训练深度神经网络的两个主要障碍，特别是在捕获递归神经网络~（RNN）中的长程依赖关系方面。在本文中，我们提出了RNN的转移矩阵的有效参数化，使我们能够稳定其训练中出现的梯度。具体来说，我们通过奇异值分解（SVD）来参数化转移矩阵，这允许我们显式地跟踪和控制其奇异值。我们通过使用数值线性代数中常见的工具来实现效率，即Householder反射器用于表示SVD中出现的正交矩阵。通过显式控制奇异值，我们提出的Spectral-RNN方法使我们能够轻松解决梯度爆炸问题，并且我们观察到它在很大程度上凭经验解决了梯度消失问题。我们注意到SVD参数化可以用于任何矩形权重矩阵，因此它可以很容易地扩展到任何深度神经网络，例如多层感知器。从理论上讲，我们证明了我们的参数化不会失去任何表达能力，并展示了它如何控制RNN的分类任务的泛化。%，并展示它如何潜在地使优化过程更容易。我们广泛的实验结果也表明，所提出的框架收敛速度更快，具有良好的泛化能力，特别是在捕捉长范围的依赖关系，如合成添加和复制任务，以及MNIST和Penn Tree Bank数据集。
Deep Learning Based Cloud Cover Parameterization for ICON
University of Lausanne（洛桑大学）；Columbia University（哥伦比亚大学）；Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)（德国航空航天中心）；Max Planck Institute for Meteorology（马克斯·普朗克气象研究所）；University of Bremen（不来梅大学）
NORi: An ML-Augmented Ocean Boundary Layer Parameterization
Department of Earth, Atmospheric and Planetary Sciences, Massachusetts Institute of Technology（麻省理工学院地球、大气与行星科学系）；Center for Computational Science and Engineering, Massachusetts Institute of Technology（麻省理工学院计算科学与工程中心）；Department of Physics, Imperial College London（伦敦帝国学院物理系）；atdepth；Aeolus Labs（Aeolus实验室）；Department of Environment, Land and Infrastructure Engineering, Politecnico di Torino（托里诺理工学院环境、土地与基础设施工程系）
Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers
Northeastern University（东北大学）；Microsoft Corporation（微软公司）；The Institute for Experiential AI（体验式人工智能研究所）；Roux Institute（鲁克斯研究所）；Zeus AI（宙斯人工智能公司）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
Adjoint-based online learning of two-layer quasi-geostrophic baroclinic turbulence
Hong Kong University of Science and Technology（香港科技大学）；Institut de Physique du Globe de Paris（巴黎地球物理研究所）；Université Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；National Oceanography Centre, Southampton（南安普顿国家海洋中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
