Achieving Small Test Error in Mildly Overparameterized Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,过参数化神经网络的理论研究主要集中在优化和泛化两个方面。许多现有的研究优化和推广一起工作是基于神经切线核,并需要一个非常大的宽度。在这项工作中,我们感兴趣的是以下问题:对于一个具有两层轻度过参数化ReLU网络的二元分类问题,我们能否在多项式时间内找到一个测试误差小的点?我们首先证明了具有显式正则化的损失函数的景观具有以下性质:所有局部极小值和仅在某些方向上静止的某些其他点实现小的测试误差。然后,我们证明,对于卷积神经网络,有一个算法,找到这些点之一在多项式时间(在输入维度和数据点的数量)。此外,我们证明了一个完全连接的神经网络,与一个额外的假设的数据分布,有一个多项式时间算法。
2021-04-24 cs.LG math.OC stat.ML
Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers
Stanford University(斯坦福大学)
理论上研究神经网络架构的一个常见视角是分析它们可以近似的函数。然而,近似理论的构造可能是不切实际的,因此意义不大。例如,一个常见的不切实际的技巧是使用无限精度对目标函数值进行编码。为了解决这些问题,这项工作提出了一个正式的定义,统计意义(SM)的近似,要求近似网络表现出良好的统计学习能力。我们研究了两类函数的SM逼近:布尔电路和图灵机。我们发现,过参数化的前向神经网络可以SM近似布尔电路的样本复杂度只依赖于多项式的电路大小,而不是网络的大小。此外,我们表明,Transformers可以SM近似图灵机的计算时间有界的$T$与样本复杂性多项式的字母表大小,状态空间大小,和$\log (T)$。我们还介绍了新的工具,分析泛化提供更严格的样本复杂性比典型的VC维或基于范数的界限,这可能是独立的利益。
2023-03-30 cs.LG stat.ML
MomentumRNN: Integrating Momentum into Recurrent Neural Networks
Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Utah(犹他大学)
设计深度神经网络是一门艺术,通常涉及对候选架构的昂贵搜索。为了克服递归神经网络(RNN)的这一点,我们在RNN中的隐藏状态动态和梯度下降(GD)之间建立了联系。然后,我们将动量集成到这个框架中,并提出了一个新的RNN家族,称为{ \em MomentumRNNs}。我们从理论上证明和数值上证明了MomentumRNNs缓解了训练RNNs时的梯度消失问题。我们研究了动量长短期记忆(MomentumLSTM),并在各种基准测试中验证了其在收敛速度和精度方面优于LSTM。我们还证明了MomentumRNN适用于许多类型的递归细胞,包括最先进的正交RNN中的递归细胞。最后,我们证明了其他先进的基于动量的优化方法,如Adam和Nesterov加速梯度与重新启动,可以很容易地纳入MomentumRNN框架,以设计新的递归细胞具有更好的性能。该代码可在https://github.com/minhtannguyen/MomentumRNN上获得。
2020-10-11 cs.LG math.DS stat.ML
The loss landscape of overparameterized neural networks
IAS(普林斯顿高等研究院)
我们探讨了过参数化神经网络的损失景观的一些数学特征。我们可以先验地想象,损失函数看起来像是从$\mathbb{R}^n$到$\mathbb{R}$的典型函数--特别是非凸的,具有离散的全局极小值。在本文中,我们证明,在至少一个重要的方式,一个过参数化神经网络的损失函数看起来不像一个典型的功能。如果神经网络具有$n$参数并在$d$数据点上进行训练,则使用$n>d$,我们证明$L$的全局极小值的轨迹$M$通常不是离散的,而是$\mathbb{R}^n$的$n-d$维子流形。在实践中,神经网络通常具有比数据点多几个数量级的参数,因此这一观察结果意味着$M$通常是$\mathbb{R}^n$的一个非常高维的子集。
2018-04-26 cs.AI cs.LG cs.NE
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology(麻省理工学院)
群等变卷积神经网络(G-CNN)是卷积神经网络(CNN)的推广,其通过在其架构中显式地编码对称性(例如旋转和置换)而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的,但最近的一系列工作提出,特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下,我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案,并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN,包括非交换群(如置换)的挑战性设置,以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理,并根据经验探索更现实的非线性网络,这些网络局部捕获类似的正则化模式。最后,我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
A Selective Overview of Deep Learning
Princeton University(普林斯顿大学)
可以说,深度学习近年来取得了巨大的成功。简而言之,深度学习使用许多非线性函数的组合来建模输入特征和标签之间的复杂依赖关系。虽然神经网络有着悠久的历史,但最近的进展大大提高了它们在计算机视觉、自然语言处理等方面的性能。与经典方法相比,深度学习有哪些新特点?深度学习的理论基础是什么?为了回答这些问题,我们介绍常见的神经网络模型(例如,卷积神经网络、递归神经网络、生成对抗网络)和训练技术(例如,随机梯度下降、丢弃、批量归一化)。在此过程中,我们强调了深度学习的新特征(包括深度和过度参数化),并解释了它们的实践和理论优势。我们还对深度学习理论的最新结果进行了抽样,其中许多只是建议性的。虽然对深度学习的全面理解仍然难以实现,但我们希望我们的观点和讨论能够刺激新的统计研究。
2019-04-15 cs.LG math.ST stat.ME
Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets
Facebook AI Research(Facebook人工智能研究院)
尽管最近在机器学习方面取得了一些成就,但我们离实现真正的人工智能还很远。在本文中,我们讨论了标准深度学习方法的局限性,并表明其中一些局限性可以通过学习如何以结构化的方式增加模型的复杂性来克服。具体来说,我们研究了最简单的序列预测问题,这些问题超出了标准递归网络的可学习范围,算法生成的序列只能通过具有计数和记忆序列能力的模型来学习。我们表明,一些基本的算法可以从序列数据中学习,使用与可训练记忆相关的递归网络。
2015-06-01 cs.LG cs.NE
From Bayesian Sparsity to Gated Recurrent Nets
Peking University(北京大学);Microsoft Research(微软研究院)
许多一阶算法的迭代,当应用于最小化常见的正则化回归函数时,通常类似于具有预先指定的权重的神经网络层。这一观察结果促进了基于学习的方法的发展,这些方法旨在用增强的代理来取代这些迭代,这些代理是从可用的训练数据中伪造为DNN模型的。例如,重要的NP难稀疏估计问题最近受益于这种类型的升级,简单的前馈或递归网络取代了基于梯度的迭代。类似地,本文证明了用于促进稀疏性的更强大的贝叶斯算法,它依赖于复杂的多循环优化-最小化技术,反映了更复杂的长短期记忆(LSTM)网络的结构,或先前为序列预测设计的替代门控反馈网络。作为这一发展的一部分,我们研究了在优化过程中跨多个时间尺度运行的潜在变量轨迹之间的相似性,以及旨在自适应地对这些特征序列进行建模的深层网络结构中的激活。由此产生的见解导致一种新的稀疏估计系统,当授予训练数据,可以有效地估计最佳解决方案的制度,其他算法失败,包括实际的方向到达(DOA)和3D几何恢复问题。我们揭示的基本原则也暗示了其他领域中更丰富的多循环算法的学习过程。
2017-08-02 cs.LG
Recurrent Control Nets for Deep Reinforcement Learning
Stanford University(斯坦福大学)
中枢模式发生器(Central Pattern Generators,CPG)是一种生物神经回路,能够在缺乏节奏输入的情况下产生协调的节奏输出。因此,它们负责生物体中大多数有节奏的运动。这种节奏控制广泛适用于机车机器人和医疗设备等领域。在本文中,我们探索了为强化学习创建一个自我维持的CPG网络的可能性,该网络比当前的多层感知器(MLP)基线模型更有效地学习节奏运动,并且可以在更一般的环境中学习。最近的工作介绍了结构化控制网络(SCN),它保持线性和非线性模块的局部和全局控制,分别。在这里,我们表明,时间序列架构,如递归神经网络(RNN)模型CPG有效。结合以前的工作与RNN和SCN,我们引入了递归控制网络(RCN),它增加了一个线性分量,RCN匹配并超过了所有环境任务中基线MLP和SCN的性能。我们的研究结果证实了RNN在强化学习任务中的现有直觉,并证明了在强化学习中类似SCN结构的前景。
2019-01-18 cs.AI cs.LG stat.ML
Towards Sample-efficient Overparameterized Meta-learning
University of Washington(华盛顿大学);Bogazici University(博阿齐奇大学);University of California, Riverside(加州大学河滨分校)
机器学习的首要目标是用很少的样本构建一个可推广的模型。为此,过度参数化一直是人们非常感兴趣的主题,以解释深度网络的泛化能力,即使数据集的大小小于模型的大小。虽然以前的文献集中在经典的监督设置,本文旨在揭开神秘的过度参数化的元学习。在这里,我们有一系列线性回归任务,我们问:(1)给定先前的任务,对于新的下游任务,特征的最佳线性表示是什么?(2)我们需要多少样本来构建这个表示?这项工作表明,令人惊讶的是,过度参数化是这些基本元学习问题的自然答案。具体来说,对于(1),我们首先表明学习最佳表示与设计任务感知正则化以促进归纳偏差的问题相一致。我们利用这种归纳偏差来解释下游任务实际上是如何从过度参数化中受益的,与之前的少样本学习工作相反。对于(2),我们发展了一个理论来解释特征协方差如何隐式地帮助将样本复杂度降低到自由度以下,并导致小的估计误差。然后,我们整合这些发现,以获得我们的元学习算法的整体性能保证。真实数据和合成数据的数值实验验证了我们对过参数化元学习的见解。
2022-01-16 cs.LG stat.ML
Automatic Synthesis of Neurons for Recurrent Neural Nets
Østfold University College(东福尔郡大学学院)
我们提出了一类新的神经元ARN,它在测试数据上的交叉熵比精心优化的LSTM神经元低三倍。对这些巨大改进的解释通常是,通过时间的精心设计的跳跃连接,每个神经元多达四个内部记忆状态,以及许多新颖的激活函数,包括小的二次型。新的神经元是使用自动编程生成的,并被公式化为纯函数程序,可以很容易地转换。我们展示了八个数据集的实验结果,发现其中七个数据集有很好的改进,但LSTM仍然是一个数据集的最佳改进。这些结果是如此有希望,以至于自动编程生成新神经元应该成为任何处理传感器信号等时间序列数据的机器学习从业者的标准操作程序的一部分。
2022-06-29 cs.AI cs.LG cs.NE
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute(弗莱德哈钦森研究所);Harvard University(哈佛大学);New York University School of Medicine(纽约大学医学院)
本研究对比介导递归通信的中间神经元网络与直接递归连接网络,发现前者对初始化更鲁棒、收敛更快,揭示了中间神经元在快速统计适应中的计算作用,为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Parameter Estimation for the SEIR Model Using Recurrent Nets
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
估计参数$Θ_\text{SEIR}$的标准方法(例如,SEIR模型的传输速率$β$)是使用网格搜索,其中对每组参数执行模拟,并且选择导致预测的感染数量和观察到的感染之间的最小$L_2$距离的参数组。这种蛮力策略不仅耗时,因为当群体很大时模拟很慢,而且不准确,因为不可能枚举所有参数组合。为了解决这些问题,在本文中,我们建议将不可微的问题,找到最佳的$Θ_\text{SEIR}$到一个可微的,我们首先训练一个经常性的网络,以适应少量的模拟数据。其次,基于这个能够推广SEIR模拟的递归网络,我们能够将目标转换为关于$Θ_\text{SEIR}$的可微目标,并直接获得其最优值。所提出的策略是既有时间效率,因为它只依赖于少量的SEIR模拟,和准确的,因为我们能够找到最佳的$Θ_\text{SEIR}$的基础上可微的目标。在两个COVID-19数据集上,我们观察到所提出的策略以较少的模拟次数获得了显著更好的参数估计。
2021-05-30 cs.LG stat.ML
Parallelizing Linear Recurrent Neural Nets Over Sequence Length
Future of Humanity Institute, University of Oxford(牛津大学人类未来研究所)
递归神经网络(RNN)被广泛用于对序列数据进行建模,但它们在序列元素之间的非线性依赖关系阻止了序列长度上的并行训练。我们证明了只有线性顺序依赖关系的RNN的训练可以使用并行扫描算法在序列长度上并行化,从而即使在小的minibatch大小下也可以快速训练长序列。我们开发了一个并行线性递归CUDA内核,并表明它可以立即将几种最先进的RNN架构的训练和推理速度提高9倍。我们将最近关于线性RNN的工作抽象成一个新的线性代理RNN框架,并为长短期记忆单元GILR-LSTM开发了一个线性代理模型,该模型利用并行线性递归。我们将序列学习扩展到新的极长序列机制,这些机制以前是无法实现的,我们成功地在具有一百万时间步依赖性的合成序列分类任务上训练了GILR-LSTM。
2018-02-22 cs.AI cs.LG cs.NE
Universal Approximation of Input-Output Maps by Temporal Convolutional Nets
University of Illinois(伊利诺伊大学)
最近序列到序列建模从递归网络架构转移到卷积网络架构,这是由于在训练和操作中的计算优势,同时仍然实现了有竞争力的性能。对于具有有限的长期时间依赖性的系统,递归网络的近似能力基本上等同于时间卷积网络(TCN)。我们证明了TCN可以近似一个大类的输入-输出映射具有近似有限的内存任意容错。此外,我们根据网络的宽度和深度以及原始输入-输出映射的连续性模量推导出深度ReLU TCN的定量近似率,并将这些结果应用于允许有限维状态空间实现的系统的输入-输出映射(即,循环模型)。
2019-10-27 cs.LG cs.SY eess.SY
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of British Columbia(不列颠哥伦比亚大学)
尽管深度神经网络过度参数化,并且在没有显式正则化的情况下进行训练,但它的泛化能力很好。这个奇怪的现象激发了广泛的研究活动,以建立其统计原则:在什么条件下观察?这些如何依赖于数据和训练算法?什么时候正则化有利于泛化?虽然这些问题对于深度神经网络仍然是开放的,但最近的研究试图通过研究更简单的,通常是线性的模型来获得见解。我们的论文有助于这一不断增长的工作线,通过检查生成高斯混合模型下的二进制线性分类。最近的结果的启发梯度下降的隐式偏差,我们研究了最大利润SVM分类器(对应于逻辑损失)和最小范数插值分类器(对应于最小二乘损失)。首先,我们利用在[V. Muthukumar et al.,arXiv:2005.08054,(2020)]以将SVM解与最小范数内插解相关联。其次,我们推导出后者的分类误差的新的非渐近界。结合这两个,我们提出了新的充分条件的协方差谱和信号噪声比(SNR)下,插值估计实现渐近最优性能overparameterization增加。有趣的是,我们的结果扩展到一个噪声模型与恒定概率噪声翻转。与以前研究的判别数据模型相反,我们的研究结果强调了SNR的关键作用及其与数据协方差的相互作用。最后,通过结合分析参数和数值演示,我们确定的条件下,插值估计比相应的正则化估计表现更好。
2021-09-15 cs.LG math.ST stat.ML
Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets
Wellman Center for Photomedicine MGH, Harvard Medical School, and MIT CSAIL(麻省总医院韦尔曼光医学中心、哈佛医学院、麻省理工学院计算机科学与人工智能实验室)
本文探讨了少样本学习与循环神经网络的理论基础,提出低熵算法提升学习效率,并通过图像去模糊和OCT去斑处理验证了方法的有效性。
2026-03-29 cs.CV cs.LG
Learning Representations Using Complex-Valued Nets
Dartmouth College(达特茅斯学院)
复值神经网络是神经网络中的一个新兴研究领域,由于其对音频、图像和生理信号的潜在表示特性。在信号处理中,通常通过一组复基函数将实值序列变换到复域,例如傅里叶变换。我们展示了CVNN如何用于学习实值时间序列数据的复杂表示。我们目前的方法和结果,使用一个框架,可以组成全纯和非全纯函数在多层网络中使用的理论结果称为Wirtinger导数。我们测试我们的方法对实值信号,经常性复值网络和它们的实值对应物的表示学习任务。我们的研究结果表明,在学习代表数据域的过滤器时,递归复值网络可以表现得与实值网络一样好。
2015-11-19 cs.LG cs.NE
Geometric sparsification in recurrent neural networks
University of Tennessee(田纳西大学);Army Research Lab(陆军研究实验室);DEVCOM ARL(DEVCOM陆军研究实验室)
针对循环神经网络稀疏化结构认知不足的问题,提出结合幅度剪枝的模正则化技术,先验定义稀疏架构并实现几何结构端到端学习,在多任务中验证了90%以上稀疏度下的性能与稳定性。
2024-12-13 cs.LG
A Function Space View of Bounded Norm Infinite Width ReLU Nets: The Multivariate Case
University of Chicago(芝加哥大学);Technion, Israel Institute of Technology(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
理解过参数化神经网络的有效性的一个关键因素是描述当网络中的权重数量接近无穷大时它们如何表示函数。在本文中,我们将函数$f:\mathbb{R}^d\rightarrow\mathbb{R}$实现为具有无限数量单元(无限宽度)的单个隐藏层ReLU网络所需的范数进行了表征,但其中权重的欧几里得范数是有界的,包括精确表征哪些函数可以用有限范数实现。Savarese等人(2019)解决了单变量单变量函数的问题,其中表明所需的范数由函数的二阶导数的L1范数确定。我们将特征扩展到多变量函数(即,具有d个输入设备的网络),将所需的范数与函数的(d+1)/2次拉普拉斯算子的Radon变换的L1范数相关联。这个特征使我们能够证明,所有的功能在Sobolev空间$W^{s,1}(\mathbb{R})$,$s\geq d+1$,可以表示与有界范数,计算所需的范数为几个特定的功能,并获得深度分离的结果。这些结果对于理解泛化性能以及神经网络和更传统的核学习之间的区别具有重要意义。
2019-10-03 cs.LG stat.ML
Training and Generating Neural Networks in Compressed Weight Space
The Swiss AI Lab IDSIA, USI & SUPSI(瑞士人工智能实验室 IDSIA,USI 与 SUPSI)
一些神经网络的输入和/或输出是其他神经网络的权重矩阵。权重矩阵的间接编码或端到端压缩可能有助于扩展此类方法。我们的目标是开启对这个主题的讨论,从用于字符级语言建模的递归神经网络开始,其权重矩阵由离散余弦变换编码。我们的快速权重版本使用递归神经网络来参数化压缩权重。我们在enwik 8数据集上展示了实验结果。
2021-12-31 cs.CL cs.LG
Going Beyond Linear Transformers with Recurrent Fast Weight Programmers
The Swiss AI Lab, IDSIA(瑞士人工智能实验室,IDSIA);University of Lugano (USI)(卢加诺大学 (USI));SUPSI;King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学 (KAUST))
具有线性化注意力的Transformers(“线性transformers”)已经证明了90年代基于外积的快速权重编程器(FWP)的实际可扩展性和有效性。然而,原始的FWP公式比线性Transformers公式更通用:一个缓慢的神经网络(NN)不断地重新编程具有任意结构的快速NN的权重。在现有的线性Transformers中,两个NN都是前馈的并且由单层组成。在这里,我们通过向慢网和快网添加递归来探索新的变化。我们评估我们的新的经常性FWP(RFWP)的两个合成算法任务(代码执行和顺序ListOps),Wikitext-103语言模型,和Atari 2600 2D游戏环境。我们的模型展示了Transformers和RNN的特性。在强化学习设置中,我们报告了几个Atari游戏中LSTM的大幅改进。代码是公开的。
2021-10-26 cs.LG
Surprisal-Driven Feedback in Recurrent Networks
IBM Research(IBM研究院)
循环神经网络广泛用于预测时态数据。它们固有的深度前馈结构允许学习复杂的序列模式。据认为,自上而下的反馈可能是一个重要的缺失成分,在理论上可以帮助消除歧义类似的模式取决于更广泛的背景。在本文中,我们介绍了一种递归驱动的递归网络,它在进行新的预测时会考虑过去的错误信息。这是通过不断监测最新预测与实际观测之间的差异来实现的。此外,我们表明,它优于其他随机和完全确定性的方法enwik8字符级预测任务实现1.37 BPC的测试部分的文本。
2016-10-19 cs.LG cs.NE
Evolutionary Deep Nets for Non-Intrusive Load Monitoring
该研究针对内存与计算受限场景,提出自适应稀疏进化训练与热启动压缩方法,在非侵入式负荷监测中优化卷积网络,提升F1值并减少权重与连接数,但受样本限制无法验证泛化性能。
2026-10-23 cs.AI cs.LG cs.NE
Meta-Learning with Hessian-Free Approach in Deep Neural Nets Training
Fudan University(复旦大学);Rochester Institute of Technology(罗切斯特理工学院)
元学习是一种很有前途的方法,可以实现深度神经网络的有效训练方法,近年来吸引了越来越多的兴趣。但现有的方法大多不能训练复杂的神经网络模型,训练时间较长。本文在Hessian-Free方法的基础上,提出了一种新的二阶元优化算法--无Hessian-Free元学习(MLHF)方法。建立了两个递归神经网络来生成该Hessian-Free框架的阻尼和预条件矩阵。一系列的技术,以元训练MLHF走向稳定,并加强元训练的优化器,包括梯度计算的$H$。在CIFAR 10和ILSVRC 2012数据集上对深度卷积神经网络(包括CUDA-convnet和ResNet 18(v2))进行的数值实验表明,MLHF在整个长时间训练过程中表现出良好的连续训练性能,即,快速下降的早期阶段和快速下降的后期阶段,因此是一个有前途的元学习框架,可以提高现实世界深度神经网络的训练效率。
2018-09-07 cs.LG stat.ML
Segmental Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
我们引入分段循环神经网络(SRNN),它定义,给定一个输入序列,一个联合概率分布的分段的输入和标签的段。输入段的表示(即,输入的相邻标记)通过使用双向递归神经网络对其组成标记进行编码来计算,并且这些“段嵌入”用于定义与输出标签的兼容性得分。这些本地的兼容性分数集成使用一个全球性的半马尔可夫条件随机场。无论是完全监督训练(其中观察到段边界和标签)还是部分监督训练(其中段边界是潜在的)都是直接的。手写体识别和联合中文分词/词性标注的实验表明,与没有显式表示段的模型,如BIO标记方案和连接主义时间分类(CTC)相比,SRNN获得了更高的准确率。
2016-03-01 cs.CL cs.LG
Can recurrent neural networks learn process model structure?
KU Leuven(鲁汶大学);Ghent University(根特大学)
已经提出了使用机器和深度学习的各种方法来处理预测过程监控中的不同任务,预测正在进行的情况,例如最可能的下一个事件或后缀,其剩余时间或结果相关变量。循环神经网络(RNN),更具体地说是长短期记忆网络(LSTM),在流行程度方面脱颖而出。在这项工作中,我们研究了这种LSTM实际学习事件日志的底层流程模型结构的能力。我们引入了一个评估框架,它结合了基于变量的restaurant和自定义指标的健身,精度和泛化。我们评估4个假设的学习能力的LSTM,过拟合对策的效果,在训练集的不完整性和并行的水平在底层的过程模型。我们证实,LSTM可以努力学习过程模型结构,即使是简单的过程数据和非常宽松的设置。采取正确的反过拟合措施可以缓解这一问题。然而,当纯粹根据预测准确性选择超参数时,这些措施并没有表现出最佳效果。我们还发现,减少LSTM在训练过程中看到的信息量,会导致泛化和精确度得分急剧下降。在我们的实验中,我们无法确定模型中的并行程度与泛化能力之间的关系,但它们确实表明过程的复杂性可能会产生影响。
2022-12-13 cs.LG
RNN-BOF: A Multivariate Global Recurrent Neural Network for Binary Outcome Forecasting of Inpatient Aggression
Monash University(莫纳什大学);Swinburne University of Technology(斯威本科技大学)
本文提出全局多元循环神经网络RNN-BOF,将住院患者攻击风险建模为时间序列二元预测问题,在83名患者真实数据上相比心理测量基准和已有机器学习方法取得显著性能提升。
2023-12-02 cs.LG
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam(阿姆斯特丹大学)
神经网络可以学习逻辑吗?我们用当前的方法来处理这个经典问题,并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言,生成了一个大型的样本“数据集”,并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系,并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功,在新句子(由已知单词组成)上达到了近乎完美的性能,甚至优于递归网络。我们报告了一系列的实验,以测试的能力的模型进行组合泛化。特别是,我们研究他们如何处理看不见的长度的句子,和句子包含看不见的话。我们发现,设置使用LSTM和GRU在这些测试中获得高分,表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Scaling Limits of Wide Neural Networks with Weight Sharing: Gaussian Process Behavior, Gradient Independence, and Neural Tangent Kernel Derivation
Microsoft Research AI(微软研究院AI)
机器学习理论和实践中的几个最新趋势,从最先进的高斯过程的设计到随机梯度下降(SGD)下深度神经网络(DNN)的收敛性分析,都发现研究宽随机神经网络是富有成效的。这些方法的核心是此类网络的某些扩展限制。我们统一这些结果通过引入一个直线\emph{tensor program},可以表示大多数神经网络计算的概念,我们表征其缩放极限时,它的张量是大的和随机的。从我们的框架中得出(1)随机神经网络到高斯过程的收敛,用于诸如递归神经网络、卷积神经网络、残差网络、注意力及其任何组合的架构,具有或不具有批量归一化;(2)\emph{gradient independence assumption} --反向传播中的权重可以被假设为独立于正向传递中的权重--的条件,导致梯度动力学的正确计算,以及当其不正确时的校正;(3)神经切线核的收敛,该内核是最近提出的用于预测梯度下降下的神经网络的训练动力学的内核,在(1)中的所有架构的初始化时,没有批量归一化。在数学上,我们的框架是一般性的,足以重新推导经典的随机矩阵的结果,如循环和Marchenko-Pastur法律,以及最近的结果在神经网络雅可比奇异值。我们希望我们的工作为设计更强的高斯过程、避免梯度爆炸/消失的初始化方案以及更深入地理解现代架构中的SGD动态开辟了一条道路。
2020-04-04 cond-mat.dis-nn cs.LG cs.NE
Query Abandonment Prediction with Recurrent Neural Models of Mouse Cursor Movements
Aalto University(阿尔托大学);Telefonica Research(西班牙电信研究院)
如果用户可以直接在SERP上满足他们的信息需求,大多数成功的搜索查询不会导致点击。在没有点击数据的情况下对查询放弃进行建模是具有挑战性的,因为搜索引擎必须依赖于其他行为信号来理解潜在的搜索意图。我们表明,鼠标光标的移动是一种有价值的、低成本的行为信号,可以区分好的和坏的放弃。我们使用递归神经网络对SERP上的鼠标运动进行建模,并探索了几种不依赖于昂贵的手工制作功能且不依赖于特定SERP结构的数据表示。我们还尝试了数据恢复和增强技术,我们采用的顺序数据。我们的研究结果可以帮助搜索提供商衡量用户的满意度查询没有点击,并最终有助于更好地了解搜索引擎的性能。
2021-01-22 cs.HC cs.IR cs.LG
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research(IBM研究院)
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题,要么高计算成本,以保持记忆的可微性,或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式,近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆,并模仿Hopfield网络中的能量衰减过程,但它继承了基于规则的记忆更新的缺点,并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法,以提高对长序列的记忆能力。此外,我们提出了一个架构,使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比,我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Event Representations for Automated Story Generation with Deep Neural Nets
Georgia Institute of Technology(佐治亚理工学院)
自动故事生成是自动选择可以作为故事讲述的事件、动作或词语的序列的问题。我们试图开发一个系统,可以通过学习它需要知道的一切从文本故事语料库生成的故事。迄今为止,在字符、单词或句子层面学习语言模型的递归神经网络在生成连贯的故事方面几乎没有成功。我们探讨的问题,提供了一个中等水平的抽象之间的单词和句子,以保留原始数据的语义信息,同时最大限度地减少事件稀疏的事件表示。我们提出了一种技术,用于将文本故事数据预处理成事件序列。然后,我们提出了一种技术,自动生成的故事,我们分解成连续的事件(event2event)和自然语言句子的事件(event2sentence)的生成问题。我们给出了实证结果,比较了不同的事件表示及其对事件后继生成和事件到自然语言的翻译的影响。
2017-09-12 cs.AI cs.CL cs.LG
Recurrent Neural Network Training with Dark Knowledge Transfer
Huilan Ltd.(慧兰有限公司);Sinovoice(中科信利)
递归神经网络(RNN),特别是长短期记忆(LSTM),在自动语音识别(ASR)中得到了广泛的关注。尽管已经报道了一些成功的案例,但训练RNN仍然具有很大的挑战性,特别是在训练数据有限的情况下。最近的研究发现,经过良好训练的模型可以作为教师来训练其他子模型,通过使用教师模型生成的预测作为监督。这种知识转移学习已被用来训练简单的神经网络与一个复杂的,使最终的性能可以达到一个水平,这是不可行的,以获得定期的培训。在本文中,我们采用知识转移学习方法来训练RNN(准确地说是LSTM),使用深度神经网络(DNN)模型作为教师。这与大多数现有的知识转移学习研究不同,因为教师(DNN)被假设为弱于儿童(RNN);然而,我们在ASR任务上的实验表明,它工作得相当好:在学习方案上没有应用任何技巧,这种方法即使在有限的训练数据下也可以成功地训练RNN。
2016-05-08 cs.CL cs.LG cs.NE
State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era
DIISM University of Siena(锡耶纳大学DIISM学院);IIT Ist. Italiano di Tecnologia(意大利技术研究所);IMT Scuola Alti Studi(IMT高级研究学院)
本文综述了Transformer时代下基于循环机制的长序列处理方法,系统梳理状态空间模型与大上下文Transformer的最新架构和算法,指出超越时间反向传播、采用局部前向在线计算是未来重要研究方向。
2025-08-18 cs.LG
Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes
University of Toronto(多伦多大学);Baylor College of Medicine(贝勒医学院);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
规范化技术最近才开始在监督学习任务中使用。批量归一化利用小批量统计来归一化激活。这被证明可以加快训练速度并产生更好的模型。然而,在处理递归神经网络时,它的成功非常有限。另一方面,层归一化对层内所有活动的激活进行归一化。这被证明在经常性环境中工作良好。在本文中,我们提出了一个统一的规范化技术,作为分裂规范化的形式,其中包括层和批量归一化的特殊情况。我们的第二个贡献是发现,这些规范化方案的一个小的修改,结合稀疏正则化的激活,导致显着的好处超过标准的规范化技术。我们在卷积神经网络和递归神经网络的背景下证明了我们的统一分裂归一化框架的有效性,在图像分类,语言建模以及超分辨率方面显示了基线的改进。
2017-03-06 cs.LG stat.ML
Reservoir Computing: A New Paradigm for Neural Networks
The City University of New York(纽约城市大学)
本文综述了储备池计算这一神经网络新范式,探讨了传统前馈与循环神经网络的历史与局限,并详细介绍了储备池计算的理论、模型及其在自然语言处理、机器人学等多领域的成功应用。
2025-04-03 cs.LG
Nowcasting-Nets: Deep Neural Network Structures for Precipitation Nowcasting Using IMERG
The University of Arizona(亚利桑那大学)
准确和及时地估计降水量对于发布灾害警报至关重要(例如,山洪暴发或山体滑坡)。目前的遥感降水产品有几个小时的潜伏期,这与卫星数据的获取和处理有关。通过将强大的即时预报系统应用于这些产品,(原则上)可以减少这种延迟并提高其适用性,价值和影响力。然而,这样一个系统的发展是复杂的大气的混沌性质,以及随之而来的快速变化,可能会发生在降水系统的结构在这项工作中,我们开发了两种方法(以下简称为Nowcasting网),使用递归和卷积深神经网络结构,以解决降水临近预报的挑战。使用全球降水测量(GPM)集成多卫星反演GPM(IMERG)降水数据在美国东部沿海地区(CONUS),然后对东部和西部CONUS的独立数据进行测试,共训练了五个模型。这些模型的设计是为了提供提前时间最长为1.5小时的预报,并通过使用反馈回路方法,研究了这些模型将预报时间延长到4.5小时的能力。将模型性能与随机森林(RF)和线性回归(LR)机器学习方法进行比较,并与使用最新观测值作为预测的持久性基准(BM)进行比较。独立的IMERG观测被用作参考,并进行了实验,以检查涉及特定降水事件的总体统计数据和案例研究。总的来说,Nowcasting-Net模型提供的预测是优越的,具有剩余水头的卷积Nowcasting Network(CNC-R)在测试中实现了25%,28%和46%的改进。
2021-08-16 cs.CV cs.LG cs.NE
State-Reification Networks: Improving Generalization by Modeling the Distribution of Hidden Representations
Université de Montréal(蒙特利尔大学);Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Colorado(科罗拉多大学);Google Research(谷歌研究院)
机器学习承诺从有限标记数据中很好地推广方法。然而,现有的神经网络方法的脆弱性被显着的失败所揭示,例如存在尽管与训练样本几乎相同但被错误分类的对抗样本,或者在没有教师强迫的情况下,递归序列处理网络无法保持在轨道上。我们介绍了一种方法,我们称之为\emph{state reification},它涉及到建模的隐藏状态的分布在训练数据,然后预测隐藏状态在测试过程中观察到这个分布。我们的直觉是,如果网络可以保持在一个熟悉的隐藏空间流形中,那么网络的后续层应该得到很好的训练,以做出适当的反应。我们证明了这种状态具体化方法有助于神经网络更好地泛化,特别是当标记数据稀疏时,并且还有助于克服通过对抗训练实现鲁棒泛化的挑战。
2019-05-26 cs.AI cs.LG stat.ML
A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
Carnegie Mellon University(卡内基梅隆大学)
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念,并回过头来看看它的早期实现:神经网络。以神经网络为背景,我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的,以及许多有助于优化神经网络的实用技术。另一方面,我们也将追溯深度生成模型的演化历史,看看研究人员如何平衡表示能力和计算复杂度,以达到受限玻尔兹曼机,并最终达到深度信念网。此外,我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始,进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后,我们将以深度神经网络的一些有趣的开放式问题结束本报告。
2015-11-06 cs.LG cs.NE
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal(蒙特利尔大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Bern(伯尔尼大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们考虑深层多层生成模型,如玻尔兹曼机或Hopfield网,其中计算(实现推理)是递归和随机的,但递归不是为了模拟序列结构,只是为了执行计算。我们发现条件下,一个简单的前馈计算是一个非常好的初始化推理,后的输入设备被钳位到观察值。这意味着在前馈初始化之后,递归网络非常接近网络动力学的不动点,其中能量梯度为0。主要条件是连续的层形成良好的自动编码器,或者更一般地说,单元中的不同输入组(特别是,一方面是自下而上的输入,另一方面是自上而下的输入)彼此一致,从而对输入的总加权和产生相同的贡献。在生物学术语中,这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入,即,体细胞潜能这与预测一致,即训练到树突分支(诸如锥体细胞的顶端树突和基底树突的那些)中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理(当模型被打开时),但这一贡献有助于在这种递归神经模型中实现快速正相推理(当目标输出被钳制时)。
2016-06-28 cs.LG cs.NE q-bio.NC
Algorithm Development in Neural Networks: Insights from the Streaming Parity Task
Gatsby Computational Neuroscience Unit, University College London(加布兹计算神经科学单元,伦敦大学学院);Sainsbury Wellcome Centre, University College London(萨인斯伯里韦尔科中心,伦敦大学学院)
本研究以流式奇偶校验任务为案例,揭示循环神经网络在足够训练下经历相变实现无限泛化,其机制可理解为隐式表示合并构建有限自动机。
2025-08-06 cs.LG q-bio.NC
Very Deep Convolutional Networks for Text Classification
Facebook AI Research(Facebook人工智能研究院);University of Le Mans(勒芒大学)
许多NLP任务的主要方法是递归神经网络,特别是LSTM和卷积神经网络。然而,与推动计算机视觉发展的深度卷积网络相比,这些架构相当肤浅。我们提出了一个新的架构(VDCNN)的文本处理,直接在字符级,只使用小卷积和池操作。我们能够证明该模型的性能随着深度的增加而增加:使用多达29个卷积层,我们报告了几个公共文本分类任务的最新改进。据我们所知,这是第一次将非常深的卷积网络应用于文本处理。
2017-01-27 cs.CL cs.LG cs.NE
Contraction Properties of the Global Workspace Primitive
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
针对多区域递归神经网络(RNNs)研究领域,本文扩展了Kozachkov等人提出的可证明稳定的RNNs of RNNs架构,证明其全局工作空间模块化结构的宽松稳定性条件,并通过稀疏组合网络实证验证了低参数模型的性能与鲁棒性,还提升了基准任务上的最先进性能。
2025-08-25 cs.LG cs.SY eess.SY
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University(宾夕法尼亚州立大学)
递归神经网络(RNN),更具体地说是其长短期记忆(LSTM)变体,已被广泛用作深度学习工具,用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的,因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会,但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中,我们确定辍学引起的稀疏LSTM作为一个合适的模式,减少计算。Dropout是一种广泛使用的正则化机制,它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式,通过丢弃同一组物理神经元内的一批,导致列(行)级隐藏状态稀疏,这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验:PTB数据集上的语言建模,基于OpenNMT的机器翻译,使用IWALDE-EN和En-Vi数据集,以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间,改进范围从1.23倍到1.64倍,而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
Applications of Machine Learning to Modelling and Analysing Dynamical Systems
St. Stephen’s College(圣斯蒂芬学院);University of Delhi(德里大学)
本文提出可适应辛递归神经网络和结合Takens嵌入定理的LSTM-辛网络架构,在部分信息条件下高精度、结构保持地预测哈密顿动力系统动力学。
2023-07-22 cs.LG
Pointer Networks with Q-Learning for Combinatorial Optimization
Politecnico di Milano(米兰理工大学)
该研究提出结合Q学习与指针网络的PQN模型,将其应用于马尔可夫决策过程,有效解决组合优化任务,尤其在旅行商问题上表现出色,且在不稳定环境中验证了模型有效性。
2026-08-18 cs.LG math.OC
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究,最先进的神经语言模型通常由一个或多个递归层组成,这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题,嵌入和softmax矩阵可以占模型大小的一半以上。例如,bigLSTM模型在拥有约80万词汇的十亿字(OBW)数据集上实现了最先进的性能,其词嵌入和softmax矩阵使用超过6Gbit空间,并负责超过90%的模型参数。在本文中,我们提出了GroupReduce,神经语言模型的一种新的压缩方法,基于词汇分区(块)的低秩矩阵近似和令牌的固有频率分布(词的幂律分布)。实验结果表明,该方法的压缩性能明显优于传统的压缩方法,如低秩近似和修剪。在OBW数据集上,我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率,当与量化相结合时,我们的方法可以实现26倍的压缩率,这意味着整个模型的压缩系数为12.8倍,并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG