Balancing Sparse RNNs with Hyperparameterization Benefiting Meta-Learning
Data Science(数据科学);Worcester Polytechnic Institute(沃斯特理工学院)
本文提出通过超参数化控制RNN权重稀疏度,并引入隐藏比例指标平衡未知量分布,从而提升性能并支持基于数据集特征的元学习与模型优化。
2025-09-18 cs.AI cs.LG
Unified Sparse-Matrix Representations for Diverse Neural Architectures
Dalian University of Technology(大连理工大学)
提出统一矩阵阶框架,将 CNN、RNN 和 Transformer 表示为稀疏矩阵乘法并证明同构,实验显示其性能持平或更优且收敛更快。
2025-07-22 cs.AI cs.LG
BERT4Traj: Transformer Based Trajectory Reconstruction for Sparse Mobility Data
University of Georgia(佐治亚大学);Department of Geography University of Georgia(佐治亚大学地理系);College of Public Health University of Georgia(佐治亚大学公共卫生学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出基于Transformer的BERT4Traj模型,通过预测稀疏序列中的隐藏访问来重建完整移动轨迹,并在真实CDR和GPS数据上显著优于传统基线模型。
2025-07-03 cs.AI cs.LG
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington(华盛顿大学)
循环神经网络(RNN)是处理连续数据的强大而有效的方法。然而,RNN通常被认为是“黑箱”模型,其内部结构和学习参数是不可解释的。在本文中,我们提出了一个可解释的RNN的顺序迭代软阈值算法(SISTA)的基础上解决顺序稀疏恢复问题,该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的,这导致了一种新的堆叠RNN架构。此外,SISTA-RNN的权重完全可以解释为原则性统计模型的参数,在这种情况下,包括稀疏化字典,迭代步长和正则化参数。此外,在特定的顺序压缩感知任务中,SISTA-RNN比传统的最先进的黑盒RNN(包括长短期记忆(LSTM)RNN)训练得更快,性能更好。
2016-11-22 cs.LG stat.ML
Block-Sparse Recurrent Neural Networks
Baidu Research(百度研究院)
循环神经网络(RNN)用于语音识别、机器翻译和语言建模等领域的最先进模型。稀疏性是一种减少深度学习模型的计算和内存需求的技术。稀疏RNN更容易部署在设备和高端服务器处理器上。尽管稀疏操作相对于密集操作需要更少的计算和内存,但通过使用稀疏操作观察到的速度提高在不同的硬件平台上低于预期。为了解决这个问题,我们研究了两种不同的方法来诱导RNN中的块稀疏性:修剪层中的权重块和使用组套索正则化来创建零权重块。使用这些技术,我们证明了我们可以创建块稀疏RNN,稀疏度范围从80%到90%,准确性损失很小。这使我们能够将模型尺寸缩小约10倍。此外,我们可以修剪一个更大的密集网络来恢复这种准确性损失,同时保持高块稀疏性并减少整体参数计数。我们的技术适用于高达32x32的各种块大小。与非结构化稀疏性相比,块稀疏RNN消除了与数据存储和不规则内存访问相关的开销,同时提高了硬件效率。
2017-11-08 cs.AI cs.LG stat.ML
AntMan: Sparse Low-Rank Compression to Accelerate RNN inference
Microsoft Research(微软研究院)
基于复杂RNN模型的广泛采用受到其推理性能,成本和内存要求的阻碍。为了解决这个问题,我们开发了AntMan,将结构化稀疏性与低秩分解相结合,以减少RNN的模型计算,大小和执行时间,同时达到所需的精度。AntMan扩展了基于知识蒸馏的训练,以有效地学习压缩模型。我们的评估表明,AntMan提供了高达100倍的计算减少与不到1点的准确率下降的语言和机器阅读理解模型。我们的评估还表明,对于给定的精度目标,AntMan产生的模型比最先进的模型小5倍。最后,我们表明,AntMan提供了超线性的速度增益相比,理论加速,证明其实用价值的商品硬件。
2019-10-02 cs.LG stat.ML
Sparse Persistent RNNs: Squeezing Large Recurrent Networks On-Chip
NVIDIA(英伟达公司)
递归神经网络(RNN)是解决基于序列的问题的强大工具,但其效率和执行时间取决于网络的大小。在最近通过模型修剪和将工作映射到GPU来简化这些网络的工作之后,我们为稀疏RNN设计了一个有效的实现。我们研究了几个优化和权衡:Lamport时间戳,宽内存负载和银行感知的权重布局。通过这些优化,对于大小为2304的隐藏层,批量大小为4,密度为30%的下一个最佳算法,我们实现了超过6倍的加速。此外,我们的技术允许超过5倍大小的模型适合GPU,加速2倍,使更大的网络,以帮助推进最先进的。我们在附录中对NMT和语音识别任务进行案例研究,将其循环层加速高达3倍。
2018-04-26 cs.DC cs.LG cs.NE
RNN Architecture Learning with Sparse Regularization
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
NLP的神经模型通常使用大量参数来达到最先进的性能,这可能导致过多的内存使用和运行时间增加。我们提出了一种结构学习方法来学习稀疏的,参数有效的NLP模型。我们的方法将组套索应用于有理RNN(Peng et al.,2018),一个与加权有限状态自动机(WFSA)密切相关的模型家族。我们利用了RNN对权重的自然分组,因此组套索惩罚直接删除了WFSA状态,大大减少了模型中的参数数量。我们在一些情感分析数据集上进行的实验,使用GloVe和BERT嵌入,表明我们的方法可以学习参数较少的神经结构,而不会牺牲相对于参数丰富的基线的性能。我们的方法还突出了理性RNN的可解释性。我们表明,稀疏化这样的模型,使他们更容易可视化,我们提出的模型,完全依赖于少至三个WFSA修剪后超过90%的权重。我们公开发布代码。
2019-09-06 cs.CL cs.LG stat.ML
Sparse tree-based initialization for neural networks
Boston University(波士顿大学);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
专用的神经网络(NN)架构被设计用于处理特定的数据类型(例如用于图像的CNN或用于文本的RNN),这将它们列为处理这些数据的最先进方法之一。不幸的是,还没有发现处理表格数据的架构,树集成方法(树提升,随机森林)通常表现出最好的预测性能。在这项工作中,我们提出了一种新的稀疏初始化技术(潜在的深)多层感知器(MLP):我们首先训练一个基于树的程序来检测功能的相互作用,并使用由此产生的信息来初始化网络,随后通过标准的随机梯度策略进行训练。在几个表格数据集上的数值实验表明,这种新的,简单易用的方法在泛化能力和计算时间方面都是默认MLP初始化甚至现有复杂深度学习解决方案的可靠并发。事实上,这种明智的MLP初始化将产生的NN方法提升到处理表格数据时梯度提升的有效竞争对手的水平。此外,这样的初始化能够保持通过训练在网络的第一层中引入的权重的稀疏性。这一事实表明,这个新的初始化器在NN训练期间操作隐式正则化,并强调第一层充当稀疏特征提取器(如CNN中的卷积层)。
2022-09-30 cs.LG stat.ML
Rethinking Full Connectivity in Recurrent Neural Networks
NVIDIA(英伟达)
循环神经网络(RNN)在序列建模任务中无处不在。实际模型通常由数百或数千个完全连接的神经元组成。这给硬件带来了沉重的计算和存储负担,限制了实际低成本和低功耗设备的采用。与完全卷积模型相比,RNN的昂贵顺序操作严重阻碍了并行硬件的性能。本文挑战了RNN中完全连接的惯例。我们研究了结构稀疏的RNN,表明它们非常适合在并行硬件上加速,大大降低了经常性操作的成本,并且经常性权重也减少了几个数量级。对从语言建模和语音识别到视频动作识别等具有挑战性的任务进行的大量实验表明,与全连接网络相比,结构稀疏的RNN具有竞争力的性能。这允许使用大型稀疏RNN来执行广泛的现实任务,而这些任务以前在完全连接的网络中成本太高。
2019-05-29 cs.LG stat.ML
Exploiting Symmetric Temporally Sparse BPTT for Efficient RNN Training
Institute of Neuroinformatics, University of Zurich and ETH Zurich(苏黎世大学和苏黎世联邦理工学院神经信息学研究所);Department of Microelectronics, Delft University of Technology(代尔夫特理工大学微电子系)
本研究提出利用时间稀疏性的Delta RNN训练算法,通过对称计算图跳过失活神经元梯度计算,大幅减少运算量并提升速度,适用于边缘设备在线增量学习。
2023-12-14 cs.LG cs.NE
Permutation-Invariant Transformer Neural Architectures for Set-Based Indoor Localization Using Learned RSSI Embeddings
Stanford University(斯坦福大学)
本文提出一种基于Set Transformer的置换不变神经架构,将Wi-Fi RSSI扫描建模为无序集合以处理稀疏可变长度输入,并在六栋建筑数据集中验证其室内定位性能,证明集合模型适用于信号定位任务。
2025-05-31 cs.AI cs.LG
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum(波鸿鲁尔大学神经计算研究所);Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Faculty of Electrical and Computer Engineering, Technische Universität Dresden(德累斯顿工业大学电气与计算机工程学院)
递归神经网络(RNN)非常适合解决资源受限系统中的序列任务,因为它们的表达能力和低计算要求。然而,仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求,以及激活的顺序依赖性,导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案,使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播(BPTT)的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元(GRU),将其扩展为发出离散事件的单元,用于由阈值触发的通信,以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信,以及向前和向后传递所需的计算,与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率,与现实世界任务(包括语言建模)中最先进的递归网络模型相比,表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data
University Clinic Tübingen(图宾根大学医院);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学院)
递归神经网络(RNN)是大脑功能的流行模型。典型的训练策略是调整它们的输入-输出行为,使其与感兴趣的生物回路相匹配。尽管这种策略确保了生物和人工网络执行相同的计算任务,但它并不能保证它们的内部活动动态匹配。这表明,经过训练的RNN最终可能会使用不同的内部计算机制来执行任务,这将使它们成为生物回路的次优模型。在这项工作中,我们引入了一种新的训练策略,该策略不仅允许学习RNN的输入输出行为,还允许学习其内部网络动态,基于稀疏神经记录。我们通过训练RNN来测试所提出的方法,以同时再现生理启发神经模型的内部动态和输出信号。具体地说,该模型产生的多相肌肉样活动模式,通常在执行达到运动的基础上,同时观察到的运动皮层中的振荡激活模式。值得注意的是,我们表明,即使在训练算法依赖于从生物网络中采样的一小部分神经元的活动时,内部动态的再现也是成功的。此外,我们还证明了用这种方法训练RNN可以显着提高其泛化性能。总的来说,我们的研究结果表明,所提出的方法适用于构建功能强大的RNN模型,该模型可以从稀疏的神经记录中自动捕获感兴趣的生物回路的重要计算特性。
2020-05-05 cs.LG cs.NE q-bio.NC
T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders
Electrical and Computer Engineering, University of Washington(华盛顿大学电气与计算机工程系);Applied Mathematics, University of Washington(华盛顿大学应用数学系);Computer Science & Engineering, University of Washington(华盛顿大学计算机科学与工程系)
T-SHRED通过结合Transformer和符号回归,提升模型正则化和可解释性,适用于不同尺度的混沌系统预测。
2025-12-11 cs.LG
Efficient Sparse Selective-Update RNNs for Long-Range Sequence Modeling
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Eindhoven University of Technology(埃因霍温理工大学);Zhejiang University(浙江大学)
本文提出选择性更新RNN,通过神经元层面的二进制开关,在输入冗余时保留记忆,从而解决RNN的记忆衰减问题,实验证明其在长距离序列建模中具有高效性和准确性。
2026-04-30 cs.LG
Deconstructing Recurrence, Attention, and Gating: Investigating the transferability of Transformers and Gated Recurrent Neural Networks in forecasting of dynamical systems
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Institute of Structural Engineering, ETH Zurich(苏黎世联邦理工学院结构工程研究所)
本文通过消融研究解构RNN的门控与循环及Transformer的注意力机制,构建混合架构,发现门控和注意力普遍提升RNN性能,而循环对Transformer有害,并提出结合循环高速网络与门控注意力的新架构在高维时空预测中表现最佳。
2024-10-03 cs.LG nlin.CD physics.comp-ph
Investigating Sparsity in Recurrent Neural Networks
Lehrstuhl für Data Science(数据科学讲席)
本论文研究剪枝和嵌入随机图结构两种稀疏化技术对RNN性能的影响,在RNN-Tanh、RNN-ReLU、GRU和LSTM上实验分析了性能与图属性的关系及恢复精度所需训练轮数。
2024-07-30 cs.LG
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
Birla Institute of Technology and Science, Pilani – Goa Campus(果阿校区,皮拉尼贝拉理工学院);TUD Dresden University of Technology(德累斯顿工业大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本研究提出将活动稀疏性与参数稀疏性相结合应用于GRU模型,在Penn Treebank语言建模任务中实现20倍计算量减少且困惑度低于60,为深度学习模型移植到神经形态设备提供可行策略并推动相关方法融合。
2024-11-26 cs.LG
Learning Intrinsic Sparse Structures within Long Short-Term Memory
Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Microsoft Research(微软研究院);Bing(必应);Business AI(商业人工智能);Microsoft(微软)
模型压缩对于在拥有有限资源的用户设备和需要对大规模服务请求进行快速响应的业务集群中广泛采用递归神经网络(RNN)具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长短期记忆(LSTM),包括输入更新,门,隐藏状态,单元状态和输出。独立地减小基本结构的大小可能会导致它们之间的尺寸不一致,从而导致无效的LSTM单元。为了克服这个问题,我们提出了内在稀疏结构(ISS)的LSTM。删除ISS的一个组件将同时将所有基本结构的尺寸减少一个,从而始终保持尺寸的一致性。通过在LSTM单元内学习ISS,获得的LSTM保持规则,同时具有更小的基本结构。基于组Lasso正则化,我们的方法实现了10.59倍的加速,而不会失去任何语言建模的Penn TreeBank数据集的困惑。它也成功地通过一个紧凑的模型,只有2.69 M的权重为机器问答的SQuAD数据集进行评估。我们的方法成功地扩展到非LSTM RNN,如递归高速公路网络(RHN)。我们的源代码可在https://github.com/wenwei202/iss-rnns上公开获取
2018-02-11 cs.AI cs.CL cs.LG
Robust representations of oil wells' intervals via sparse attention mechanism
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对工业时间序列中Transformer计算复杂度高、对缺失噪声数据鲁棒性不足的问题,提出正则化Transformer(Reguformer),在油气测井数据的层段分类与相似性任务上表现更优。
2023-11-06 cs.LG
Image Captioning with Sparse Recurrent Neural Network
University of Malaya(马来亚大学)
循环神经网络(RNN)已被广泛用于解决各种各样的语言生成问题,并能够达到最先进的(SOTA)性能。然而,尽管其结果令人印象深刻,但RNN模型中的大量参数使得部署到移动和嵌入式设备不可行。在这个问题的驱动下,许多研究者提出了一些剪枝方法来减小RNN模型的规模。在这项工作中,我们提出了一个端到端的修剪方法的图像描述模型配备了视觉注意。我们提出的方法能够实现高达97.5%的稀疏度,相对于基线没有显著的性能损失(微调后在40倍压缩时损失约2%)。我们的方法也易于使用和调整,有利于神经网络从业者更快的开发时间。我们在流行的MS-COCO数据集上进行了广泛的实验,以实证验证我们所提出的方法的有效性。
2019-10-28 cs.CL cs.CV cs.LG
W-RNN: News text classification based on a Weighted RNN
大多数信息都是以文本的形式存储的,因此文本挖掘被认为具有很高的商业潜力。针对基于稀疏表示的分类方法存在的语义约束问题,提出了一种加权递归神经网络(W-RNN),能够充分提取文本序列化语义信息。针对文本数据表示中特征维数高、语义关系不清晰的问题,首先利用词向量表示文本中的词汇,然后利用递归神经网络(RNN)对序列化文本数据进行特征提取。然后,使用词向量的中间输出对词向量进行自动加权和求和,以形成文本表示向量。最后,利用神经网络进行分类。在新闻数据集上对W-RNN进行了验证,证明W-RNN在精度、召回率、F1和损失值方面优于其他四种基线方法,适合于文本分类。
2019-09-28 cs.IR cs.LG stat.ML
Skip-gram Language Modeling Using Sparse Non-negative Matrix Probability Estimation
Google, Inc.(谷歌公司)
提出了一种新的语言模型(LM)估计技术,称为稀疏非负矩阵(SNM)估计。在十亿字基准上进行的第一组实验表明,SNM $n$ -gram LM的性能几乎与成熟的Kneser-Ney(KN)模型一样好。当使用skip-gram特征时,模型能够匹配最先进的递归神经网络(RNN)LM;结合这两种建模技术可以在基准测试中获得最佳结果。SNM相对于最大熵和RNN LM估计的计算优势可能是其主要优势,有望成为一种在有效组合任意特征方面具有相同灵活性的方法,但应该像$n$ -gram LM一样优雅地扩展到非常大量的数据。
2015-06-26 cs.CL cs.LG
Designing recurrent neural networks by unfolding an l1-l1 minimization algorithm
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
我们提出了一种新的深度递归神经网络(RNN)结构,用于序列信号重构。我们的网络是通过展开近似梯度法的迭代来设计的,该方法解决了l1-l1最小化问题。因此,我们的网络通过设计利用信号具有稀疏表示,并且连续信号表示之间的差异也是稀疏的。我们在从压缩测量重建视频帧的任务中评估了所提出的模型,并表明它优于几种最先进的RNN模型。
2019-02-18 cs.LG stat.ML
Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
在本文中,我们专注于直接反馈对齐(DFA)算法的改进,并将DFA的使用扩展到卷积和递归神经网络(CNN和RNN)。尽管DFA算法在生物学上是合理的,并且具有高速训练的潜力,但由于CNN和RNN训练的准确性较低,它尚未被认为是反向传播(BP)的替代品。在这项工作中,我们提出了一种新的DFA算法,用于BP级精确的CNN和RNN训练。首先,我们将网络分成几个模块,并在模块内应用DFA算法。其次,应用具有稀疏向后权重的DFA。在CNN情况下,它带有一种扩张卷积的形式,在RNN情况下,它带有一种稀疏矩阵乘法的形式。此外,通过群卷积,CNN的误差传播方法变得更简单。最后,混合DFA将CNN和RNN训练的准确性提高到BP级,同时利用DFA算法的并行性和硬件效率。
2020-06-23 cs.LG cs.NE stat.ML
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut(彼得·格林贝格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);ESI Algiers(阿尔及尔电子与信息技术学院)
针对稀疏RNN和SNN,提出双重检查点梯度策略,利用IPU分布式内存,减少重计算开销,实现超10倍序列长度或4倍网络规模的训练,仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
Uncovering the Computational Roles of Nonlinearity in Sequence Modeling Using Almost-Linear RNNs
Interdisciplinary Center for Scientific Computing, Heidelberg University(海德堡大学交叉科学计算中心);Ernst Strüngmann Institute of the Max Planck Society, Frankfurt(马克斯·普朗克学会恩斯特·斯特鲁姆曼研究所,法兰克福);Dept. of Psychiatry, Goethe University Frankfurt(弗赖堡大学精神病科部门);Hector Institute for AI in Psychiatry and Dept. of Psychiatry and Psychotherapy, Central Institute for Mental Health Mannheim(心理健康中央研究所曼海姆精神病学与心理学部及人工智能在精神病学中的海克特研究所);Hertie Institute for AI in Brain Health, Tübingen(图宾根大学健康大脑人工智能研究所)
通过近线性RNN揭示非线性在序列建模中的计算作用,证明稀疏非线性可提升可解释性和效率。
2026-01-12 cs.AI cs.CL cs.LG
Geometric sparsification in recurrent neural networks
University of Tennessee(田纳西大学);Army Research Lab(陆军研究实验室);DEVCOM ARL(DEVCOM陆军研究实验室)
针对循环神经网络稀疏化结构认知不足的问题,提出结合幅度剪枝的模正则化技术,先验定义稀疏架构并实现几何结构端到端学习,在多任务中验证了90%以上稀疏度下的性能与稳定性。
2024-12-13 cs.LG
RNN Decoding of Linear Block Codes
Tel-Aviv University(特拉维夫大学)
设计一个实用的,低复杂度,接近最佳,信道解码器的功能强大的代数码短到中等块长度是一个开放的研究问题。最近,它已经表明,前馈神经网络架构可以改善标准的信念传播解码,尽管大的例子空间。本文介绍了一种用于线性分组码译码的递归神经网络结构。我们的方法相比,前馈神经网络具有显着更少的参数显示出相当的出错率的结果。我们还证明了改进的性能,相信传播稀疏坦纳图表示的代码。此外,我们证明了RNN解码器可以用于提高性能或降低mRRD算法的计算复杂性,用于低复杂度,接近最佳,短BCH码的解码。
2017-02-24 cs.IT cs.LG cs.NE
Online Transformers with Spiking Neurons for Fast Prosthetic Hand Control
Peter Grünberg Institute(彼得·格林贝格研究所);Forschungszentrum Jülich(于利希研究中心);RWTH(亚琛工业大学)
Transformers是用于大多数序列处理任务的最先进的网络。然而,在Transformers中经常使用的自注意力机制对于每个计算步骤需要大的时间窗口,并且因此使得它们与递归神经网络(RNN)相比不太适合于在线信号处理。在本文中,我们使用滑动窗口注意力机制代替自注意力机制。我们表明,这种机制对于输入和目标之间具有有限范围依赖关系的连续信号更有效,并且我们可以用它来逐个元素地处理序列,这使得它与在线处理兼容。我们在手指位置回归数据集(NinaproDB 8)上测试了我们的模型,并在前臂皮肤上测量了表面肌电图(sEMG)信号,以估计肌肉活动。我们的方法在该数据集的准确性方面设置了新的最先进的技术,同时在每个推理步骤中只需要非常短的3.5 ms的时间窗口。此外,我们使用Leaky-Integrate and Fire(LIF)单元增加了网络的稀疏性,这是一种生物启发的神经元模型,仅在跨越阈值时才在时间上稀疏激活。因此,我们减少了突触操作的数量高达$\times5.3$的一个因素,而不损失的准确性。我们的研究结果为sEMG信号的准确和快速的在线处理提供了很大的希望,以实现平稳的假肢手控制,并且是Transformers和脉冲神经网络(SNN)协整的能量有效的时间信号处理的一步。
2023-03-21 cs.AI cs.LG cs.NE
Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences
Institute of Neuroinformatics(神经信息学研究所);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
递归神经网络(RNN)已经成为从时间序列中提取模式的最先进的选择。然而,当前的RNN模型不适合处理由传感器或其他神经元在连续时间内生成的事件触发的不规则采样数据。例如,当输入来自生成稀疏、异步事件流的新型事件驱动人工传感器或来自具有不同更新间隔的多个传统传感器时,可能会出现这种数据。在这项工作中,我们引入了Phased LSTM模型,它通过添加新的时间门来扩展LSTM单元。该门由具有一定频率范围的参数化振荡控制,该频率范围仅在周期的一小部分期间产生存储单元的更新。即使在振荡施加的稀疏更新下,相位LSTM网络在需要学习长序列的任务上也比常规LSTM实现了更快的收敛。该模型自然地集成了来自任意采样率的传感器的输入,从而为处理携带定时信息的异步感觉事件开辟了新的研究领域。它还极大地提高了标准RNN应用程序中LSTM的性能,并且在运行时的计算数量级更少。
2016-10-29 cs.LG
M-Walk: Learning to Walk over Graphs using Monte Carlo Tree Search
Tencent AI Lab(腾讯人工智能实验室);Microsoft Research(微软研究院);DeepMind(深度思维)
在知识库补全(KBC)等应用中,学习在图上向给定查询的目标节点和源节点行走是一个重要的问题。它可以用公式表示为具有已知状态转换模型的强化学习(RL)问题。为了克服稀疏奖励的挑战,我们开发了一个名为M-Walk的图行走代理,它由深度递归神经网络(RNN)和蒙特卡罗树搜索(MCTS)组成。RNN编码状态(即,步行路径的历史)并将其分别映射到策略和Q值。为了有效地训练代理从稀疏的奖励,我们结合MCTS的神经政策,以产生更多的积极回报的轨迹。从这些轨迹中,使用Q学习以非策略方式改进网络,Q学习通过参数共享修改RNN策略。我们提出的RL算法重复应用这个策略改进步骤来学习模型。在测试时,MCTS与神经策略相结合,预测目标节点。实验结果表明,M-Walk能够学习到比其他基于RL的方法更好的策略,而其他基于RL的方法主要是基于策略梯度。M-Walk的表现也优于传统的KBC基线。
2018-12-18 cs.AI cs.CL cs.LG
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi(德里印度理工学院);University of California Berkeley(加州大学伯克利分校);Microsoft Research India(微软印度研究院)
本文开发了FastRNN和FastGRNN算法,以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度,但代价是预测成本,使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围,在一定程度上提高了准确性,但也增加了模型的大小,因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度,从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制,该残差连接不明确限制奇异值的范围,并且只有两个额外的标量参数。然后,FastGRNN通过重用RNN矩阵将剩余连接扩展到门,以匹配最先进的门控RNN精度,但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化,导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词,并部署在资源严重受限的物联网微控制器上,这些微控制器太小,无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
Unified recurrent neural network for many feature types
Northwestern University(西北大学);Allstate Insurance Company(好事达保险公司)
当被视为序列时,存在服从循环神经网络(RNN)解决方案的时间序列,但是一些序列(例如异步时间序列)提供比当前RNN单元考虑的更丰富的特征类型变化。为了解决这种情况,我们引入了一个统一的RNN,它可以处理五种不同的特征类型,每种类型都以不同的方式处理。我们的RNN框架将序列特征分为两组,这取决于它们的频率,我们称之为稀疏特征和密集特征,它们对细胞更新的影响不同。此外,我们还将时间功能,在顺序的水平,涉及到指定的事件之间的时间序列,并用于修改单元的内存状态。我们还包括两种类型的静态(全序列级)特征,一种与时间相关,另一种与编码器输出相结合。实验表明,提出的建模框架确实提高了性能相比,标准单元。
2018-09-24 cs.LG stat.ML
Linear-MoE: Linear Sequence Modeling Meets Mixture-of-Experts
Shanghai AI Laboratory(上海人工智能实验室);South China University of Technology(华南理工大学);Soochow University(苏州大学);The Chinese University of Hong Kong(香港中文大学)
本文提出Linear-MoE生产级系统,整合线性序列建模(LSM)与混合专家模型(MoE),通过统一建模框架和序列并行等训练技术提升效率,在A0.3B-2B及A1B-7B模型系列上验证了其高效性与性能竞争力。
2025-04-15 cs.AI cs.CL cs.DC
Exploring Sparsity in Recurrent Neural Networks
Baidu Research(百度研究院)
循环神经网络(RNN)被广泛用于解决各种问题,随着数据量和可用计算量的增加,模型大小也随之增加。最新技术水平的网络中的参数数量使得它们难以部署,特别是在移动电话和嵌入式设备上。挑战是由于模型的大小和评估它所需的时间。为了有效地部署这些RNN,我们提出了一种技术,通过在网络的初始训练期间修剪权重来减少网络的参数。在训练结束时,网络的参数稀疏,而精度仍然接近原来的密集神经网络。网络大小减少了8倍,训练模型所需的时间保持不变。此外,我们可以修剪一个更大的密集网络,以实现比基线性能更好的性能,同时仍然显着减少参数的总数。修剪RNN减少了模型的大小,并且还可以使用稀疏矩阵乘法来帮助实现显著的推理时间加速。基准测试表明,使用我们的技术,模型大小可以减少90%,速度提高约2倍至7倍。
2017-11-06 cs.CL cs.LG
Non-convolutional Graph Neural Networks
Center for Data Science(数据科学中心);New York University(纽约大学);Prescient Design
本文提出非卷积图神经网络 RUM,利用 RNN 沿随机游走融合图的拓扑与语义特征,以缓解传统卷积 GNN 的表达力受限、过度平滑和过度挤压问题,并在节点级和图级任务上取得竞争性性能。
2024-09-29 cs.AI cs.LG
Network-Optimised Spiking Neural Network for Event-Driven Networking
School of Computing and Communications(计算与通讯学院);Lancaster University(兰卡斯特大学)
网络优化脉冲神经网络通过事件驱动动态单元提升延迟图预测和早期预警任务的检测性能,适用于资源受限的部署。
2026-01-24 cs.LG cs.NE cs.NI
Granger Causality using Neural Networks
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Muhammad Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对非线性多元时间序列中的格兰杰因果关系估计问题,提出基于神经网络的新型模型,通过可学习核VAR和解耦惩罚实现同时进行GC估计与滞后阶数选择,克服了传统线性VAR模型的局限。
2024-08-07 cs.LG stat.ML
Recurrent neural networks and transfer learning for elasto-plasticity in woven composites
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
本文提出用循环神经网络结合迁移学习替代编织复合材料细观仿真,通过平均场数据与网格搜索调参,实现从随机游走到循环加载的应力预测,验证了其对路径相关弹塑性响应的建模能力。
2023-12-07 cond-mat.mtrl-sci cs.LG
Sparse Deep Learning for Time Series Data: Theory and Applications
Purdue University(普渡大学);University of Pennsylvania(宾夕法尼亚大学)
针对现有稀疏深度学习多聚焦独立同分布数据、对依赖数据研究不足的问题,本文研究了时间序列等依赖数据下的稀疏深度学习理论,证明稀疏RNN可一致估计且预测渐近正态,在不确定性量化、自回归阶数识别和模型压缩上均优于现有方法,具备多领域应用价值。
2023-10-05 cs.AI cs.LG stat.ML
Compensating trajectory bias for unsupervised patient stratification using adversarial recurrent neural networks
Sensyne Health Plc(Sensyne Health 公司);Bayer AG - Pharmaceuticals(拜耳制药公司)
电子医疗记录是一种重要的信息来源,可用于患者分层,以发现新的疾病表型。然而,它们可能具有挑战性,因为数据通常是稀疏和不规则的采样。解决这些限制的一种方法是使用递归神经网络自动编码器(RNN-AE)学习代表个体患者轨迹的密集嵌入。这个过程可能容易受到不必要的数据偏差的影响。我们发现,使用先前提出的RNN-AE模型的患者嵌入和聚类可能会受到轨迹偏差的影响,这意味着结果主要取决于每个患者轨迹中包含的数据量,而不是临床相关的细节。我们在2个数据集(来自不同的医院)和2个疾病领域以及使用患者轨迹的不同部分研究了这种偏倚。我们使用2个先前发表的基线方法的结果表明,在事件到结束轨迹的情况下,特别强烈的偏见。我们提出了一种可以在RNN-AE之上使用对抗训练方案来克服这个问题的方法。我们的结果表明,我们的方法可以减少在所有情况下的轨迹偏差。
2021-12-14 cs.LG
Robustness of Spatio-temporal Graph Neural Networks for Fault Location in Partially Observable Distribution Grids
Ghent University -- imec(根特大学--imec)
本文提出STGNN模型,通过对比不同图构建策略,提升配电网络故障定位的鲁棒性和效率,实验显示STGNN在F1得分和稳定性上优于RNN基线。
2026-05-08 cs.LG
Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future and Past Trends in Time Series Data
Centre of Mathematics, University of Minho(米尼奥大学数学中心)
本文提出神经时间序常微分方程(Neural CODE)架构,通过连续时间ODE拟合实现时间序列的前向和后向预测,并探索与RNN的结合变体;实验表明其在稀疏数据下优于Neural ODE,且双向变体在插补和外推任务上表现最佳。
2023-07-03 cs.LG
Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices
Arizona State University(亚利桑那州立大学);Samsung Research America(三星美国研究院)
递归神经网络(RNN)在各种问题上实现了尖端性能。然而,由于其高计算和内存需求,在资源受限的移动设备上部署RNN是一项具有挑战性的任务。为了在保证较高压缩率的同时保证最小的精度损失,并满足移动资源需求,提出了一种基于优化快速字典学习算法的模型压缩方法DirNet,该算法1)动态挖掘层内投影字典矩阵的字典原子以调整压缩率2)自适应地改变稀疏码的稀疏度.在语言模型和使用1000 h语音数据集训练的ASR模型上的实验结果表明,该方法的性能明显优于现有方法。在现成的移动设备上进行评估,我们能够将原始模型的大小减少八倍,同时具有实时模型推理和可忽略的准确性损失。
2018-06-08 cs.LG stat.ML
Structured Pruning of Recurrent Neural Networks through Neuron Selection
University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);Peng Cheng Lab(鹏城实验室)
循环神经网络(RNN)最近在许多应用中取得了显著的成功。然而,这些模型的巨大尺寸和计算负担使得它们难以在边缘设备上部署。一种实际有效的方法是通过网络修剪技术来降低RNN的总体存储和计算成本。尽管基于Lasso的剪枝方法得到了成功的应用,但它们要么在权重矩阵中产生不规则的稀疏模式,这对实际加速没有帮助。为了解决这些问题,我们提出了结构化修剪方法,通过神经元选择,可以减少RNN的基本结构的大小。更具体地说,我们引入了两组二进制随机变量,它们可以被解释为输入神经元和隐藏神经元的门或开关。我们证明了相应的优化问题可以通过最小化权矩阵的L0范数来解决。最后,在语言建模和机器阅读理解任务上的实验结果表明,与现有的剪枝算法相比,该方法具有明显的优势.特别是,在Penn TreeBank数据集上,语言模型在推理过程中实现了近20倍的实际加速,而没有损失性能,表明所提出的方法具有良好的性能
2019-12-08 cs.LG cs.NE stat.ML
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI(CWI研究所);Stichting IMEC Netherlands, Holst Centre(荷兰IMEC基金会荷尔斯特中心);Univ of Amsterdam(阿姆斯特丹大学);Rijksuniversiteit Groningen(格罗宁根大学)
受生物神经元更详细建模的启发,脉冲神经网络(SNN)已经被研究为更生物学上合理的和潜在的更强大的神经计算模型,并且还具有提取生物神经元能量效率的目的;然而,与经典人工神经网络(ANN)相比,这种网络的性能仍然不足。在这里,我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合,如何在时域中具有挑战性的基准上为SNN提供最先进的技术,如语音和手势识别。这也超过了标准经典循环神经网络(RNN)的性能,并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰,我们表明,与具有可比性能的RNN相比,它们理论上的计算效率高出一到三个数量级。总之,这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks
North Carolina State University(北卡罗来纳州立大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
由于其在推理任务和去噪应用中的许多成功,字典学习(DL)及其相关的稀疏优化问题已经引起了很多研究兴趣。虽然大多数解决方案都集中在单层字典上,但最近提出的改进的Deep DL(深度学习)方法在许多问题上也存在不足。我们在此提出了一种新的递归方法,其中每个DL层可以被公式化为一个线性层和递归神经网络(RNN)的组合。RNN灵活地考虑了层关联和学习的度量。我们提出的工作揭示了对神经网络和神经网络的新见解,并提供了一种新的,有效的和有竞争力的方法来联合学习深度变换和推理应用的度量。进行了大量的实验,以证明所提出的方法不仅可以优于现有的卷积神经网络,而且最先进的通用CNN。
2020-10-21 cs.LG stat.ML
Rigging the Lottery: Making All Tickets Winners
Google Brain(谷歌大脑);DeepMind(深度思维)
由于空间或推理时间的限制,许多应用需要稀疏神经网络。在训练密集网络以产生用于推理的稀疏网络方面有大量的工作,但这将最大可训练稀疏模型的大小限制为最大可训练密集模型的大小。在本文中,我们介绍了一种方法,训练稀疏神经网络与一个固定的参数计数和一个固定的计算成本在整个训练,而不牺牲精度相对于现有的密集到稀疏的训练方法。我们的方法通过使用参数幅度和不频繁的梯度计算来更新稀疏网络的拓扑结构。我们表明,这种方法需要更少的浮点运算(FLOPs),以达到给定的精度水平相比,以前的技术。我们在各种网络和数据集上展示了最先进的稀疏训练结果,包括ResNet-50,Imagenet-2012上的MobileNets和WikiText-103上的RNN。最后,我们提供了一些见解,为什么允许拓扑结构在优化过程中改变可以克服局部极小时遇到的拓扑结构保持静态。我们工作中使用的代码可以在github.com/google-research/rigl中找到。
2021-07-23 cs.CV cs.LG stat.ML
MRNet-Product2Vec: A Multi-task Recurrent Neural Network for Product Embeddings
Core Machine Learning, Amazon(亚马逊核心机器学习部门)
亚马逊、阿里巴巴、Flipkart和沃尔玛等电子商务网站销售数十亿种产品。涉及产品的机器学习(ML)算法通常用于改善客户体验并增加收入,例如,产品相似性、推荐和价格估计。在训练ML算法之前,需要将产品表示为特征。在本文中,我们提出了一种称为MRNet-Product 2 Vec的方法,用于在电子商务生态系统中创建产品的通用嵌入。我们学习了一个密集和低维的嵌入,其中与产品相关的各种信号被显式地注入到其表示中。我们训练一个判别式多任务双向循环神经网络(RNN),其中输入是通过双向RNN馈送的产品标题,并且在输出处,预测对应于15个不同任务的产品标签。任务集包括产品的几个内在特征,如价格、重量、尺寸、颜色、受欢迎程度和材料。我们评估建议的嵌入定量和定性。我们证明,他们几乎是一样好稀疏和极高维TF-IDF表示,尽管有不到3%的TF-IDF尺寸。我们还使用多模态自动编码器比较来自不同语言地区的产品,并显示初步但有前途的定性结果。
2017-09-21 cs.AI cs.LG stat.ML
One-Shot Pruning of Recurrent Neural Networks by Jacobian Spectrum Evaluation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
稀疏神经网络文献中的最新进展使得仅用少量数据就可以修剪许多大型前馈和卷积网络。然而,这些相同的技术往往动摇时,应用于恢复稀疏递归网络的问题。这些故障是定量的:当使用最近的技术修剪时,RNN通常获得比在简单随机修剪方案下更差的性能。失败也是定性的:修剪的LSTM或GRU网络中的活动权重的分布往往集中在特定的神经元“与”门中,而不是很好地分散在整个架构中。我们试图纠正定量和定性问题与经常性网络修剪引入一个新的经常性修剪目标来自经常性雅可比矩阵的频谱。我们的目标是数据高效(只需要64个数据点来修剪网络),易于实现,并产生95%的稀疏GRU,显着改善现有的基线。我们评估顺序MNIST,十亿字,和Wikitext。
2019-11-30 cs.LG stat.ML
Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Polynom(波林公司);Trinity College Dublin(都柏林三一学院)
本文通过保持递归神经网络底层图的扩展性质(大谱间隙)进行剪枝,在MNIST、CIFAR-10和Google语音命令基准上验证了该方法能保持RNN和LSTM的分类准确性。
2024-03-17 cs.CV cs.LG cs.NE
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI(荷兰国家数学与计算机科学研究所);IMEC(比利时微电子研究中心)
受大脑启发的类脑计算作为边缘AI的范例的出现,正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而,与深度学习中的经典神经网络相比,当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里,对于顺序和流式任务,我们演示了一种新型的自适应尖峰递归神经网络(SRNN)与其他脉冲神经网络相比,如何能够实现最先进的性能,并且几乎达到或超过经典循环神经网络(RNN)的性能,同时表现出稀疏的活动。由此,我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标,我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元,并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播,包括学习重要的尖峰神经元参数,以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE