Full-Capacity Unitary Recurrent Neural Networks
University of Washington（华盛顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
循环神经网络是处理序列数据的强大模型，但它们通常受到消失和爆炸梯度问题的困扰。酉循环神经网络（uRNN）使用酉递归矩阵，最近被提出作为避免这些问题的一种手段。然而，在以前的实验中，递归矩阵被限制为参数化酉矩阵的乘积，并且仍然存在一个悬而未决的问题：当这样的参数化不能表示所有酉矩阵时，这种有限的表示能力如何限制可以学习的内容？为了解决这个问题，我们提出了全容量的uRNN，它在所有酉矩阵上优化了它们的递归矩阵，从而比使用有限容量递归矩阵的uRNN的性能有了显着提高。我们的贡献包括两个主要部分。首先，我们提供了一个理论论据，以确定是否酉参数化有限制的能力。使用这个参数，我们表明，最近提出的酉参数化的隐藏状态维数大于7的限制能力。其次，我们展示了如何一个完整的，全容量的酉递归矩阵可以优化的酉矩阵的可微流形。所得的乘法梯度步骤非常简单，并且不需要梯度裁剪或学习速率自适应。我们通过在合成和自然数据上对新的全容量uRNN进行经验评估来证实我们的主张的实用性，与LSTM和原始的容量受限uRNN相比，我们实现了更优越的性能。
2016-10-31 cs.LG cs.NE stat.ML
Orthogonal Recurrent Neural Networks with Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）被设计用于处理连续数据，但会受到梯度消失或爆炸的影响。最近关于酉循环神经网络（uRNN）的工作已经被用来解决这个问题，在某些情况下，超过了长短期记忆网络（LSTM）的能力。我们提出了一个更简单和新颖的更新计划，以保持正交递归权重矩阵，而不使用复值矩阵。这是通过使用Cayley变换用反对称矩阵进行参数化来完成的。这样的参数化不能表示具有负一特征值的矩阵，但是通过由一和负一组成的对角矩阵缩放递归权重矩阵来克服这种限制。所提出的训练方案涉及直接的梯度计算和更新步骤。在几个实验中，所提出的缩放凯莱正交递归神经网络（scoRNN）比其他酉RNN具有更少的可训练参数，取得了更好的结果。
2018-06-19 cs.LG stat.ML
Orthogonal Gated Recurrent Unit with Neumann-Cayley Transformation
University of Kentucky（肯塔基大学）
近年来，使用正交矩阵已被证明是一种很有前途的方法，可以改善递归神经网络（RNN）的训练，稳定性和收敛性，特别是控制梯度。虽然门控递归单元（GRU）和长短期记忆（LSTM）架构通过使用各种门和存储单元来解决消失梯度问题，但它们仍然容易出现梯度爆炸问题。在这项工作中，我们分析了GRU中的梯度，并提出了使用正交矩阵来防止爆炸梯度问题和增强长期记忆。我们研究了在哪里使用正交矩阵，我们提出了一个基于Neumann级数的Scaled Cayley变换来训练GRU中的正交矩阵，我们称之为Neumann-Cayley Orthogonal GRU，或简称为NC-GRU。我们在几个合成和现实世界的任务上对我们的模型进行了详细的实验，结果表明NC-GRU的性能明显优于GRU和其他几个RNN。
2022-08-12 cs.LG
Unitary Evolution Recurrent Neural Networks
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；University of Cambridge（剑桥大学）；Université de Montréal（蒙特利尔大学）
众所周知，循环神经网络（RNN）很难训练。当隐到隐权重矩阵的特征值偏离绝对值1时，由于消失和爆炸梯度的问题得到了很好的研究，优化变得很困难，特别是当试图学习长期依赖性时。为了解决这个问题，我们提出了一种新的架构，学习一个酉权重矩阵，其特征值的绝对值正好为1。我们所面临的挑战是，参数化酉矩阵的方式，不需要昂贵的计算（如特征分解）后，每次权重更新。我们构建了一个表达单一的权重矩阵组成的几个结构矩阵，作为积木与参数要学习。只有当考虑复域中的隐藏状态时，这种参数化的优化才变得可行。我们证明了这种架构的潜力，实现国家的最先进的结果，在几个硬任务，涉及非常长期的依赖关系。
2016-05-25 cs.LG cs.NE stat.ML
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory（国家物理实验室）；Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列，这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下，我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外，我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果，我们提出了一个更快的变种，所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
A Differential Geometry Perspective on Orthogonal Recurrent Models
Ben-Gurion University（本-古里安大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Technion – Israel Institute of Technology（以色列理工学院）
最近，正交递归神经网络（RNN）已经成为学习长期依赖关系的最先进模型。这类模型通过设计减轻了梯度爆炸和消失的问题。在这项工作中，我们采用微分几何的工具和见解，为正交RNN提供了一个新的视角。我们证明了正交RNN可以被视为在无发散向量场空间中进行优化。具体地说，基于微分几何中一个著名的结果，涉及向量场和线性算子，我们证明了每一个发散自由向量场是相关的反对称矩阵。受此观察的启发，我们研究了一个新的循环模型，它跨越了整个向量场空间。我们的方法通过标量函数的方向导数参数化向量场。这需要构造潜在的内积、梯度和发散算子。与最先进的正交RNN相比，我们的方法在各种基准任务上取得了相当或更好的结果。
2021-02-18 cs.LG math.DG
On orthogonality and learning recurrent networks with long term dependencies
École Polytechnique de Montréal（蒙特利尔理工学院）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；CHUM Research Center（蒙特利尔大学医学中心研究中心）
众所周知，针对表现出长期依赖性的任务来训练深度神经网络和递归神经网络是具有挑战性的。消失或爆炸梯度问题是与这些挑战相关联的众所周知的问题。解决消失和爆炸梯度的一种方法是对权重矩阵使用软约束或硬约束，以便鼓励或加强正交性。正交矩阵在反向传播过程中保持梯度范数，因此可能是一个理想的属性。本文探讨的问题与优化收敛，速度和梯度稳定性时，鼓励或强制正交。为了进行这种分析，我们提出了一个权重矩阵分解和参数化策略，通过它我们可以约束矩阵范数，从而控制反向传播过程中引起的膨胀度。我们发现，正交性的硬约束会对收敛速度和模型性能产生负面影响。
2017-10-12 cs.LG cs.NE
Cheap Orthogonal Constraints in Neural Networks: A Simple Parametrization of the Orthogonal and Unitary Group
University of Oxford（牛津大学）
我们介绍了一种新的方法来执行正交和酉约束的一阶优化。这种方法是基于一个参数化源于李群理论通过指数映射。参数化将约束优化问题转化为欧氏空间上的无约束优化问题，可以使用常见的一阶优化方法。所给出的理论结果是一般的，足以涵盖特殊的正交群，酉群，并在一般情况下，任何连通紧李群。我们讨论了如何通过一个实现技巧来有效地计算这个和其他参数化，使得在神经网络中以可忽略的运行时成本使用数值上复杂的参数化。特别是，我们将我们的结果应用于具有正交递归权重的RNN，产生了一种称为expRNN的新架构。我们展示了我们的方法如何构成一种更强大的正交约束优化方法，在几个旨在测试RNN的任务中显示出更快，更准确，更稳定的收敛性。
2019-05-30 cs.LG stat.ML
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Efficient Orthogonal Parametrisation of Recurrent Neural Networks Using Householder Reflections
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；The University of Melbourne（墨尔本大学）
使用循环神经网络（RNN）学习序列中的长期依赖关系的问题仍然是一个重大挑战。最近的方法已经被提出来解决这个问题，通过在训练期间将转移矩阵约束为酉矩阵，确保其范数等于1并防止梯度爆炸。与简单的RNN情况相比，这些方法要么具有有限的表达能力，要么随着网络的大小而扩展得很差，特别是当使用小批量的随机梯度下降时。我们的贡献如下：我们首先表明，约束的过渡矩阵是酉是一个正交约束的特殊情况。然后，我们提出了一个新的参数化的过渡矩阵，它允许有效的训练RNN，同时确保矩阵总是正交的。我们的研究结果表明，通过我们的参数化应用的过渡矩阵的正交约束提供了类似的好处，酉约束，没有时间复杂度的限制。
2017-06-13 cs.LG
Complex Evolution Recurrent Neural Networks (ceRNNs)
Google Inc（谷歌公司）
酉进化循环神经网络（uRNN）具有三个吸引人的特性：（a）酉特性，（b）复值性质，以及（c）它们的有效线性算子。到目前为止，文献并没有解决--模型的酉属性有多重要？此外，uRNN还没有在大型任务上进行评估。为了研究这些缺点，我们提出了复杂的进化循环神经网络（ceRNNs），它类似于uRNNs，但选择性地放弃了酉属性。在一个简单的多元线性回归任务中，我们说明了放弃约束可以改善学习轨迹。在复制记忆任务中，ceRNN和uRNN的表现相同，表明它们优于LSTM的性能是由于复值性质和它们的线性算子。在大规模的真实语音识别中，我们发现预处理uRNN会降低我们的基线LSTM声学模型的性能，而预处理ceRNN会将基线的性能提高0.8%的绝对WER。
2019-06-05 cs.CL cs.LG cs.SD
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
尽管RNN已被证明是处理序列数据的强大工具，但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中，我们仔细分析了最初在（Hochreiter和Schmidhuber，1997）中概述的两个合成数据集，这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案，并使用这些结构，阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法，指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky（肯塔基大学）
最近开发了具有正交或酉递归矩阵的循环神经网络（RNN）的几种变体，以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而，由于递归矩阵的特征值在单位圆上，递归状态保留了所有的输入信息，这可能不必要地消耗模型容量。在本文中，我们通过提出一种架构来解决这个问题，该架构扩展了正交/酉RNN，其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散，并被新的输入所取代，模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法，称为特征值归一化RNN（ENRNN），在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Improved memory in recurrent neural networks with sequential non-normal dynamics
New York University（纽约大学）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
训练循环神经网络（RNN）是一个很难的问题，因为优化环境中存在退化，这个问题也被称为梯度消失/爆炸。由于没有设计新的RNN架构，以前处理这个问题的方法通常归结为在初始化或整个训练期间对递归动态进行正交化。这些方法背后的基本动机是正交变换是欧几里得空间的等距，因此它们保持（欧几里得）范数并有效地处理消失/爆炸梯度。然而，这忽略了非线性和噪声的重要影响。在存在非线性的情况下，正交变换不再保持范数，这表明替代变换可能更适合非线性网络。此外，在噪音的存在下，规范保存本身不再是理想的目标。一个更明智的目标是最大化传播信号的信噪比（SNR）。以前的工作表明，在线性情况下，最大化SNR的递归网络显示出强烈的非正态性，序列动态和正交网络是高度次优的。受这一发现的启发，我们在这里研究了非正常RNN的潜力，即具有非正常递归连接矩阵的RNN在顺序处理任务中的潜力。我们的实验结果表明，非正规RNN在各种基准测试中的表现优于正交RNN。我们还发现了在用正交递归连接矩阵初始化的训练RNN中增加非正态性和隐藏链式前馈基序的证据。
2020-02-10 cs.LG cs.NE stat.ML
projUNN: efficient method for training deep networks with unitary matrices
MIT（麻省理工学院）；Meta AI, FAIR（Meta人工智能研究院，基础人工智能研究）；NYU（纽约大学）；Turing Inc.（图灵公司）
在使用递归或非常深的前馈网络进行学习时，在每一层中使用酉矩阵可以非常有效地保持长期稳定性。然而，将网络参数限制为单一的通常以昂贵的参数化或增加的训练运行时间为代价。相反，我们提出了一种基于秩- $k$更新-或其秩- $k$近似-的有效方法，该方法在接近最佳的训练运行时保持性能。我们介绍了这种方法的两种变体，称为直接（projUNN-D）和正切（projUNN-T）投影酉神经网络，可以参数化完整的$N$维酉或正交矩阵，训练运行时缩放为$O(kN^2)$。我们的方法要么将低秩梯度投影到最接近的酉矩阵（projUNN-T）上，要么将酉矩阵向低秩梯度的方向传输（projUNN-D）。即使在最快的设置（$k=1$）中，projUNN也能够训练模型的单一参数，以达到与基线实现相当的性能。在递归神经网络设置中，projUNN紧密匹配或超过来自先前单一神经网络的基准结果。最后，我们初步探索了projUNN在训练正交卷积神经网络中的应用，这些网络目前无法超越最先进的模型，但可以在大深度下增强稳定性和鲁棒性。
2022-10-13 cs.AI cs.LG quant-ph
Learning Unitary Operators with Help From u(n)
ETH Zurich（苏黎世联邦理工学院）；Weill Cornell Medical（威尔康奈尔医学院）
递归神经网络训练中的一个主要挑战是所谓的消失或爆炸梯度问题。使用保范转换算子可以解决这个问题，但参数化是具有挑战性的。在这项工作中，我们专注于酉算子和描述的参数化使用李代数$\mathfrak{u}(n)$与李群$U(n)$的$n \times n$酉矩阵。指数映射提供了这些空间之间的对应关系，并且允许我们使用相对于李代数的基的$n^2$实系数来定义酉矩阵。参数化在这些系数的加法更新下是封闭的，因此提供了一个简单的空间来进行梯度下降。我们证明了这种参数化学习任意酉算子的问题上的有效性，比较几个基线和优于最近提出的低维参数化。我们还使用我们的参数化将最近提出的酉递归神经网络推广到任意酉矩阵，用它来解决标准的长记忆任务。
2017-01-10 cs.LG stat.ML
HadamRNN: Binary and Sparse Ternary Orthogonal RNNs
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Institut de Recherche Technologique Saint Exupéry（圣埃克苏佩里技术研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
本文提出HadamRNN与Block-HadamRNN，利用Hadamard矩阵参数化二元和稀疏三元正交循环权重，首次实现普通RNN循环权重的二值化与三值化，并在长时序复制任务及多个基准上达到与全精度模型相当的性能。
2025-05-06 cs.AI cs.LG
The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory
No Way Labs（无路实验室）
研究发现正交化读取可改善噪声联想记忆，它具有自洽、均匀、可移除特性，能重新调整学习问题。固定预算下解决率衡量突破风险，遵循热/噪声定律。还得出召回基准部分衡量可训练性，系统可检测“涌现”现象的结论。
2026-09-16 cs.LG
DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation
Cornell University（康奈尔大学）
消失和爆炸梯度问题是研究得很好的障碍，使得循环神经网络很难学习长期的时间依赖性。我们提出了一种标准循环神经网络的重新参数化，通过Givens旋转以可证明的范数保持方式更新线性变换。此外，我们使用绝对价值函数作为逐元素非线性，以保持整个网络上反向传播信号的范数。我们表明，这种重新参数化减少了参数的数量，并保持相同的算法复杂度作为一个标准的递归神经网络，同时优于标准的递归神经网络与正交初始化和长短期记忆网络的复制问题。
2016-12-13 cs.LG
Kronecker Recurrent Units
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们的工作解决了递归神经网络的两个重要问题：（1）它们是过参数化的，（2）递归矩阵是病态的。前者增加了学习的样本复杂度和训练时间。后者导致梯度消失和爆炸问题。我们提出了一个灵活的递归神经网络模型称为克罗内克递归单位（KRU）。KRU通过Kronecker分解的递归矩阵在RNN中实现参数效率。通过对因子施加软酉约束，克服了递归矩阵的病态性。由于因子的维数很小，保持这些约束在计算上是高效的。我们在7个标准数据集上的实验结果表明，与现有的递归模型相比，KRU可以将递归权重矩阵中的参数数量减少三个数量级，而不会牺牲统计性能。这些结果特别表明，虽然具有高维递归空间具有优势，但模型的递归部分的容量可以显着降低。
2017-12-31 cs.LG
