Neural GPUs Learn Algorithms
Google Brain(谷歌大脑)
从例子中学习算法是一个被广泛研究的基本问题。最近,已经使用神经网络,特别是神经图灵机(NTM)来解决该问题。这些是完全可微的计算机,使用反向传播来学习自己的编程。尽管它们很有吸引力,但NTM具有由它们的顺序性质引起的弱点:它们不平行,并且由于它们展开时的大深度而难以训练。我们提出了一个神经网络架构来解决这个问题:神经GPU。它基于一种卷积门控递归单元,并且像NTM一样,在计算上是通用的。与NTM不同,Neural GPU是高度并行的,这使得训练更容易,运行更高效。算法的一个基本属性是它们能够处理任意大小的输入。我们表明,神经GPU可以在算法任务的短实例上进行训练,并成功地推广到长实例。我们在一些任务上验证了它,包括二进制数字的长加法和长乘法。我们在最多20位的数字上对Neural GPU进行训练,并且在测试时没有观察到任何错误,即使是在更长的数字上。为了实现这些结果,我们引入了一种训练深度递归网络的技术:参数共享松弛。我们还发现少量的丢失和梯度噪声对学习和泛化有很大的积极影响。
2016-03-15 cs.LG cs.NE
Optimizing Sparse Convolution on GPUs with CUDA for 3D Point Cloud Processing in Embedded Systems
Brion Technologies, an ASML Company(Brion Technologies(ASML旗下公司));School of Mechanical Engineering and Automation, Northeastern University(东北大学机械工程与自动化学院)
该研究针对嵌入式系统中的 3D 点云处理,指出点云稀疏且无规则网格所带来的计算挑战,并聚焦于利用 CUDA 优化 GPU 上的稀疏卷积。
2024-04-06 cs.CV cs.LG
FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs
University of Macau(澳门大学);University of Georgia(佐治亚大学);Hong Kong University of Science and Technology(香港科技大学)
研究针对移动GPU上Transformer模型微调内存低效问题,提出FBLayout框架,通过统一布局、索引转换及激活引导选择等方法,在多手机多模型测试中实现加速,提高缓存效率并减少内存占用,助力设备上大模型微调。
2026-07-27 cs.AI cs.DC cs.LG
Online Sequence Training of Recurrent Neural Networks with Connectionist Temporal Classification
Seoul National University(首尔大学)
基于连接主义时态分类(CTC)的循环神经网络(RNN)的监督序列训练在包括端到端语音和手写字符识别在内的许多机器学习领域都取得了巨大的成功。然而,对于CTC训练,需要将RNN展开(或展开)输入序列的长度。这种展开需要大量的存储器,并且阻碍了在线学习或适应的小足迹实现。此外,训练序列的长度通常是不均匀的,这使得使用多个序列的并行训练在诸如图形处理单元(GPU)的共享存储器模型上效率低下。在这项工作中,我们引入了一种基于期望最大化(EM)的在线CTC算法,该算法使单向RNN能够学习比展开量更长的序列。RNN也可以被训练来处理无限长的输入序列,而无需预分割或外部重置。此外,所提出的方法允许在GPU上进行高效的并行训练。为了评估,音素识别和端到端语音识别的例子,分别在TIMIT和华尔街日报(WSJ)语料库。我们的在线模型实现了20.7%的音素出错率(PER)的非常长的输入序列,是通过连接所有192个话语在TIMIT核心测试集。在WSJ上,一个网络只需64次展开就可以训练好,同时牺牲了4.5%的相对字出错率。
2017-02-02 cs.LG cs.NE
Optimizing Recurrent Neural Networks Architectures under Time Constraints
递归神经网络(RNN)的结构是影响其性能的关键因素。我们提出了算法,以优化隐藏的大小下运行时间的约束。我们将离散优化转化为一个子集选择问题。通过新颖的变换,使目标函数成为次模,约束成为超模。提出了一种带界的贪婪算法来求解变换后的问题。我们展示了变换如何影响边界。为了加快优化速度,提出了平衡探索和开发的代理函数。实验表明,我们的算法可以找到更准确的模型或更快的模型比手动调整的国家的最先进的和随机搜索。我们还使用我们的算法比较了流行的RNN架构。
2018-02-21 cs.LG stat.ML
Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects
Department of ECE, Duke University(电子工程系,杜克大学);Advanced Micro Devices Inc.(先进微器件公司);Department of Computer Science, Duke University(计算机科学系,杜克大学)
针对分解式 GPU 中 NUMA 效应影响注意力机制性能的问题,提出空间感知调度策略 Swizzled Head-first Mapping,在 MI300X 上实现高达 50% 性能提升和高缓存命中率。
2025-11-03 cs.AR cs.DC cs.LG
Recurrent Drafter for Fast Speculative Decoding in Large Language Models
Apple(苹果公司)
提出循环草稿器ReDrafter,利用RNN草稿模型、动态树注意力与知识蒸馏,在MT-Bench上使Vicuna推理加速2.8倍,并在Apple Silicon上实现2.3倍加速。
2024-12-13 cs.CL cs.LG
Optimizing Bayesian Recurrent Neural Networks on an FPGA-based Accelerator
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
神经网络已经在广泛的任务中展示了其出色的性能。特别是基于长短期记忆(LSTM)单元的递归架构已经表现出对真实世界数据中的时间依赖性建模的出色能力。然而,标准的递归架构不能估计它们的不确定性,这对于安全关键应用(如医学)至关重要。相比之下,贝叶斯循环神经网络(RNN)能够提供具有改进的准确性的不确定性估计。尽管如此,贝叶斯RNN在计算和内存方面都有很高的要求,这限制了它们的实用性。为了解决这个问题,我们提出了一种基于FPGA的硬件设计来加速基于贝叶斯LSTM的RNN。为了进一步提高整体算法硬件性能,提出了一个协同设计框架,以探索最适合贝叶斯RNN的算法硬件配置。我们在医疗应用程序上进行了广泛的实验,以证明我们的设计和我们的框架的有效性的改进。与GPU实现相比,我们基于FPGA的设计可以实现高达10倍的加速比和近106倍的能效。据我们所知,这是第一个针对FPGA上贝叶斯RNN加速的工作。
2021-11-07 cs.LG
RETURNN: The RWTH Extensible Training framework for Universal Recurrent Neural Networks
RWTH Aachen University(亚琛工业大学)
在这项工作中,我们发布了可扩展且易于配置的神经网络训练软件。它提供了一组丰富的功能层,特别关注在多个GPU上有效训练递归神经网络拓扑。软件包的来源是公开的,可免费用于学术研究目的,可用作框架或支持灵活配置的独立工具。该软件允许在语音等一维数据或手写文本等二维的数据上训练最先进的深度双向长短期记忆(LSTM)模型,并用于在多个评估活动中开发成功的提交系统。
2017-01-10 cs.CL cs.LG cs.NE
MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU
Stony Brook University(石溪大学)
在本文中,我们探索了在移动设备上本地运行循环神经网络(RNN)模型的优化方法。RNN模型广泛用于自然语言处理、机器翻译和其他任务。然而,使用RNN模型的现有移动应用程序在云上这样做。为了解决隐私和效率问题,我们展示了RNN模型如何在移动设备上本地运行。将深度学习模型移植到移动设备的现有工作集中在卷积神经网络(CNN)上,不能直接应用于RNN模型。作为回应,我们提出了一个移动特定的优化框架,专门为移动GPU实现GPU卸载。使用RNN模型进行活动识别的评估表明,RNN确实显着降低了在手机上运行RNN模型的延迟。
2017-06-03 cs.DC cs.LG cs.NE
Sparse Persistent RNNs: Squeezing Large Recurrent Networks On-Chip
NVIDIA(英伟达公司)
递归神经网络(RNN)是解决基于序列的问题的强大工具,但其效率和执行时间取决于网络的大小。在最近通过模型修剪和将工作映射到GPU来简化这些网络的工作之后,我们为稀疏RNN设计了一个有效的实现。我们研究了几个优化和权衡:Lamport时间戳,宽内存负载和银行感知的权重布局。通过这些优化,对于大小为2304的隐藏层,批量大小为4,密度为30%的下一个最佳算法,我们实现了超过6倍的加速。此外,我们的技术允许超过5倍大小的模型适合GPU,加速2倍,使更大的网络,以帮助推进最先进的。我们在附录中对NMT和语音识别任务进行案例研究,将其循环层加速高达3倍。
2018-04-26 cs.DC cs.LG cs.NE
Neuroevolution of Recurrent Architectures on Control Tasks
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
本文提出依据少量变异规则动态进化循环神经网络架构的大规模并行进化算法,在19个OpenAI Gym控制任务上以少几个数量级的参数达到或超过梯度方法性能。
2023-04-03 cs.LG cs.NE
Regularizing and Optimizing LSTM Language Models
Salesforce Research(Salesforce 研究院)
递归神经网络(RNN),如长短期记忆网络(LSTM),作为许多序列学习任务的基本构建块,包括机器翻译、语言建模和问答。在本文中,我们考虑了单词级语言建模的具体问题,并研究了正则化和优化基于LSTM的模型的策略。我们提出了权重下降的LSTM,它在隐藏到隐藏权重上使用DropConnect作为循环正则化的一种形式。此外,我们介绍NT-ASGD,平均随机梯度方法的一个变体,其中平均触发器是使用非单调条件确定的,而不是由用户调整。使用这些和其他正则化策略,我们在两个数据集上实现了最先进的单词级困惑:Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与我们提出的模型相结合的有效性时,我们在Penn Treebank上实现了更低的最先进的困惑度,为52.8,在WikiText-2上为52.0。
2017-08-07 cs.CL cs.LG cs.NE
Scaling Recurrent Neural Network Language Models
Cantab Research(坎塔布研究公司)
研究了循环神经网络语言模型的标度特性。我们讨论如何在GPU上训练非常大的RNN,并解决RNNLM如何在模型大小,训练集大小,计算成本和内存方面扩展的问题。我们的分析表明,尽管训练的成本更高,RNNLM在标准基准测试中获得的困惑比n-gram模型低得多。我们训练了已知最大的RNN,并在ASR任务上实现了18%的相对字出错率增益。我们还在最近发布的十亿字语言建模基准上提出了新的最低困惑,机器翻译的BLEU点增益和单词预测的17%相对命中率增益。
2015-02-02 cs.CL cs.LG
Deep Recurrent Neural Networks for Sequential Phenotype Prediction in Genomics
Faculty of Applied Sciences of Communications(应用科学通信学院);UMTS Project Partners bv.(UMTS项目伙伴有限公司);Farnoud Data Communication Company(法努德数据通信公司);Mobile Communication Company of Iran (MCI)(伊朗移动通信公司(MCI))
在现代生物数据的分析中,由于数据的高维性和多重共线性,常常会遇到不适定问题和缺失数据。在本文中,我们提出了一个基于矩阵分解(MF)和深度循环神经网络(DRNN)的系统,用于基因型插补和表型序列预测。为了对表型数据的长期依赖性进行建模,首次使用了新的递归线性单元(ReLU)学习策略。所提出的模型实现的并行处理的中央处理单元(CPU)和图形处理单元(GPU)。该模型的性能进行了比较,与其他训练算法学习长期依赖性,以及稀疏偏最小二乘法(SPLS)的一组基因型和表型数据与604个样本,1980单核苷酸多态性(SNP),和两个性状的方法。结果证明了ReLU训练算法在学习RNN中的长期依赖关系方面的性能。
2016-01-17 cs.CE cs.LG cs.NE
LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
NVIDIA(英伟达);NVIDIA/UIUC(英伟达/伊利诺伊大学厄巴纳-香槟分校)
本文提出LSM-GNN框架,通过优化数据传输方案提升多GPU环境下GNN训练效率,实验表明其在单节点双GPU配置下优于双节点四GPU的Dist-DGL基线,实现端到端训练时间的3.75倍加速。
2026-03-28 cs.DC cs.LG
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University(清华大学);The University of Hong Kong(香港大学);ByteDance(字节跳动);Cornell University(康奈尔大学)
图神经网络(GNN)将深度神经网络(DNN)的成功扩展到非欧几里德图数据,在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此,现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL,一个分布式GNN训练系统,旨在通过一些关键思想解决瓶颈。首先,我们提出了一个动态缓存引擎,以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计,我们找到了一个低开销和高缓存命中率的最佳点。其次,我们改进了图划分算法,以减少子图采样过程中的跨分区通信。最后,仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明,BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
The difference between memory and prediction in linear recurrent networks
Massachusetts Institute of Technology(麻省理工学院)
循环网络被训练成更好地记住它们的输入,通常是希望这样的训练能提高网络的预测能力。我们发现,设计用于记忆输入的网络在预测方面可能会任意糟糕。我们还发现,对于几种类型的输入,一个节点的网络优化预测几乎是在由维纳滤波器给出的预测能力的上限,并且在性能上大致相当于随机生成的五个节点的网络。我们的研究结果表明,最大化的记忆容量导致非常不同的网络比最大化的预测能力,优化经常性的权重可以减少水库大小的半个数量级。
2017-08-14 cs.LG
DistrAttention: An Efficient and Flexible Self-Attention Mechanism on Modern GPUs
Shandong University(山东大学);Adobe(Adobe公司)
本文提出 DistrAttention,通过嵌入维度分组、局部敏感哈希采样融合及分块误差控制,在保留全上下文的同时加速自注意力,并可集成 FlashAttention-2。
2025-07-23 cs.AI cs.LG
Training Distributed Deep Recurrent Neural Networks with Mixed Precision on GPU Clusters
Princeton University(普林斯顿大学);Harvard University(哈佛大学)
在本文中,我们评估了具有半精度浮点数的深度循环神经网络的训练。我们通过集成TensorFlow和CUDA感知MPI来实现分布式、数据并行、同步训练算法,以实现跨多个GPU节点的执行,并利用高速互连。我们引入了一个学习率调度促进神经网络收敛到$O(100)$工人。在NVIDIA Pascal P100 GPU集群上进行的强缩放测试显示,单精度和混合精度训练模式下的运行时间和通信时间都呈线性缩放。性能进行评估的科学数据集从联合欧洲环(JET)托卡马克,包含多模态的时间序列的感官测量导致有害的事件,称为等离子体中断,和基准大电影评论数据集~ \cite{imdb}。半精度显著降低了内存和网络带宽,允许训练具有超过7000万个可训练参数的最先进模型,同时实现与单精度的相当的测试集性能。
2019-11-30 cs.LG
Generating images with recurrent adversarial networks
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);York University(约克大学)
Gatys et al.(2015)表明,优化像素以匹配卷积网络中的特征与参考图像特征,是渲染高视觉质量图像的一种方法。我们表明,展开这种基于梯度的优化产生了一个经常性的计算,通过增量添加到一个视觉“画布”上创建图像。我们提出了一个受这种观点启发的递归生成模型,并证明它可以使用对抗训练来训练,以生成非常好的图像样本。我们还提出了一种通过让这些网络的生成器和鉴别器相互竞争来定量比较对抗网络的方法。
2016-12-13 cs.CV cs.LG
Data Movement Is All You Need: A Case Study on Optimizing Transformers
ETH Zürich(苏黎世联邦理工学院)
Transformers是当今最重要的机器学习工作负载之一。训练一个是一个非常计算密集型的任务,通常需要数天或数周,并且已经对优化Transformers给予了极大的关注。尽管如此,现有的实现并没有有效地利用GPU。我们发现数据移动是训练时的关键瓶颈。由于Amdahl定律和计算性能的巨大改进,训练现在已经成为内存限制。此外,现有的框架使用次优的数据布局。利用这些见解,我们提出了一个全局优化Transformers中数据移动的方法。我们减少了高达22.91%的数据移动,在训练BERT编码器层时,总体性能比最先进的框架提高了1.30倍,整个BERT提高了1.19倍。我们的方法更广泛地适用于优化深度神经网络,并提供了如何解决新出现的性能瓶颈的见解。
2021-11-08 cs.LG stat.ML
Recurrent Collective Classification
Virginia Tech(弗吉尼亚理工大学)
我们提出了一种新的方法来训练迭代集体分类器标记网络数据中的节点。迭代分类算法(ICA)是一种将关系信息纳入分类的规范方法。然而,现有的ICA模型训练方法依赖于关系特征反映节点真实标签的假设。这种不切实际的假设引入了与实际预测算法不一致的偏差。在本文中,我们介绍了经常性的集体分类(RCC),ICA的一个变种类似于经常性的神经网络预测。RCC适应任何可微的局部分类器和关系特征函数。我们提供了基于梯度的策略来优化模型参数,以更直接地最小化损失函数。在我们的实验中,这种直接损失最小化转化为实际网络数据的准确性和鲁棒性的提高。我们证明了鲁棒性RCC的设置,当地的分类是非常嘈杂的,设置ICA是特别具有挑战性的。
2017-03-19 cs.LG
TVM: An Automated End-to-End Optimizing Compiler for Deep Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);AWS(亚马逊云科技);Shanghai Jiao Tong University(上海交通大学);UC Davis(加州大学戴维斯分校);Cornell(康奈尔大学)
越来越需要将机器学习引入各种各样的硬件设备。目前的框架依赖于特定于供应商的运算符库,并针对范围较窄的服务器级GPU进行了优化。将工作负载部署到新平台--例如移动电话、嵌入式设备和加速器(例如,FPGA、ASIC)--需要大量的手动工作。我们提出了TVM,这是一个编译器,它公开了图形级和操作符级优化,为跨不同硬件后端的深度学习工作负载提供性能可移植性。TVM解决了特定于深度学习的优化挑战,例如高级操作符融合,映射到任意硬件原语和内存延迟隐藏。它还采用了一种新的,基于学习的成本建模方法,用于快速探索代码优化,从而自动优化低级程序的硬件特性。实验结果表明,TVM在硬件后端提供的性能与低功耗CPU,移动GPU和服务器级GPU的最先进的手工调优库竞争。我们还展示了TVM针对新加速器后端的能力,例如基于FPGA的通用深度学习加速器。该系统是开源的,并在几家大公司的生产中使用。
2018-10-05 cs.AI cs.LG cs.PL
CuAsmRL: Optimizing GPU SASS Schedules via Deep Reinforcement Learning
University of Cambridge(剑桥大学)
针对专用CUDA内核仍有性能提升空间的问题,提出CuAsmRL方法,通过构建汇编游戏训练强化学习智能体优化GPU SASS调度,可透明提升现有内核性能最高26%、平均9%,还能揭示潜在优化操作。
2025-01-14 cs.AR cs.LG
AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院)
AdaptGear提出利用子图层级密度特征定制内核并动态选择最优内核集合,以平衡稀疏性收益与执行效率,在NVIDIA GPU上实现GNN训练最高6.49倍加速。
2023-05-27 cs.DC cs.LG
GEVO-ML: Optimizing Machine Learning Code with Evolutionary Computation
Arizona State University(亚利桑那州立大学);Santa Fe Institute(圣塔菲研究所)
GEVO-ML利用多目标进化搜索自动优化MLIR代码,在GPU上提升ML内核性能,兼顾准确率与速度,实现显著帕累托改进。
2023-10-16 cs.LG
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel(英特尔);Univ. of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
我们提出了BlackOut,一种近似算法,可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型(RNNLM)。停电的动机是使用歧视性损失,我们描述了一种新的采样策略,显着减少计算,同时提高稳定性,样本效率,收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展,其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut,重要性采样和噪声对比估计(NCE)之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术,并在该数据集上获得了最低的困惑分数。此外,与其他通常需要GPU或CPU集群的方法不同,我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM,它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut,但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
Australian Centre for Robotics(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
本文提出鲁棒循环深度网络(R2DN),通过将线性时不变系统与1-Lipschitz深度前馈网络反馈互联,直接参数化权重以保证模型稳定(收缩)且对小输入扰动鲁棒(Lipschitz),相比循环均衡网络(REN)无需迭代求解均衡层,显著提升GPU上的推理和反向传播速度,并在非线性系统辨识、观测器设计和基于学习的反馈控制中实现相近性能下训练和推理速度提升一个数量级。
2026-09-18 cs.LG cs.SY eess.SY
DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
Amazon Research(亚马逊研究院)
概率预测,即在给定时间序列的过去的情况下估计时间序列的未来的概率分布,是优化业务流程的关键使能器。例如,在零售业务中,预测需求对于在正确的时间在正确的地点提供正确的库存至关重要。在本文中,我们提出了DeepAR,这是一种基于大量相关时间序列训练自回归递归网络模型来生成准确概率预测的方法。我们展示了如何通过将深度学习技术应用于预测,人们可以克服广泛使用的经典方法所面临的许多挑战。我们通过对几个真实世界的预测数据集进行广泛的实证评估,与最先进的方法相比,准确性提高了约15%。
2019-02-22 cs.AI cs.LG stat.ML
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim(曼海姆大学);Boehringer Ingelheim(勃林格殷格翰)
本文提出 ReMeDe Trees,一种带内部记忆机制的循环决策树架构,通过梯度下降学习硬性轴对齐决策规则,以解决传统决策树难以直接捕获序列数据中长期依赖的问题,并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Recurrent Graph Neural Network Algorithm for Unsupervised Network Community Detection
Center For Urban Science+Progress, New York University(纽约大学城市科学与进步中心)
网络社区发现通常依赖于优化划分质量函数,如模块化。这种优化似乎是一个复杂的问题,传统上依赖于离散算法。虽然该问题可以重新表述为连续优化,但直接应用标准优化方法在克服众多局部极值方面的效率有限。然而,深度学习的兴起及其在图形中的应用提供了新的机会。虽然图神经网络已被用于网络上的监督和无监督学习,但尚未探索其在模块化优化中的应用。本文提出了一种新的变体的递归图神经网络算法的无监督网络社区发现,通过模块优化。将新算法的性能与一种流行的快速Louvain算法和作者最近提出的一种效率更高但速度更慢的Combo算法进行了比较。该方法还作为一个概念验证的更广泛的应用程序的经常性图神经网络无监督网络优化。
2021-03-03 cs.LG cs.SI physics.soc-ph
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut(彼得·格林贝格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);ESI Algiers(阿尔及尔电子与信息技术学院)
针对稀疏RNN和SNN,提出双重检查点梯度策略,利用IPU分布式内存,减少重计算开销,实现超10倍序列长度或4倍网络规模的训练,仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI(Facebook人工智能研究院)
在语音社区中,对开发用于自动语音识别(ASR)应用的循环神经网络换能器(RNN-T)模型的兴趣越来越大。RNN-T是用损失函数训练的,该损失函数不强制训练转录本和音频的时间对准。因此,使用单向长短期记忆(LSTM)编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中,我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T(Ar-RNN-T)模型,它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品,如单调RNN-T,LibriSpeech和内部数据集。我们表明,Ar-RNN-T损失提供了一个精细的控制,导航令牌发射延迟和字出错率(WER)之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用,例如ASR端点。此外,Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量,从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
TAGC: Optimizing Gradient Communication in Distributed Transformer Training
ITMO University(ITMO大学);VK Lab(VK实验室)
本文提出TAGC算法,通过分层选择性压缩和动态稀疏化优化Transformer分布式训练中的梯度通信,在PyTorch FSDP框架下实现最高15%的训练加速且对模型质量影响极小。
2025-04-08 cs.DC cs.LG
Reviving and Improving Recurrent Back-Propagation
University of Toronto(多伦多大学);Uber ATG Toronto(优步先进技术集团多伦多);Vector Institute(向量研究所);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院);Canadian Institute for Advanced Research(加拿大高等研究院)
在本文中,我们重新审视了递归反向传播(RBP)算法,讨论了它适用的条件以及如何在深度神经网络中满足这些条件。我们证明了RBP可能是不稳定的,并提出了两个变体的基础上共轭梯度的正规方程(CG-RBP)和Neumann系列(Neumann-RBP)。我们进一步研究了Neumann-RBP和时间反向传播(BPTT)及其截断版本(TBPTT)之间的关系。我们的Neumann-RBP具有与TBPTT相同的时间复杂度,但只需要恒定的内存,而TBPTT的内存成本与截断步骤的数量线性缩放。我们研究了所有RBP变体以及BPTT和TBPTT在三个不同的应用领域:连续Hopfield网络的联想记忆,引文网络中使用图神经网络的文档分类和全连接网络的超参数优化。所有的实验表明,RBP,特别是Neumann-RBP变体,是高效和有效的优化收敛递归神经网络。代码发布于:\url{https://github.com/lrjconan/RBP}。
2019-11-06 cs.LG stat.ML
Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation
University College London(伦敦大学学院)
提出DEARI模型,通过自注意力机制、残差组件和自监督度量学习构建深度循环网络填补异构多元时间序列缺失值,并利用贝叶斯边缘化策略估计不确定性,在真实数据集上超越SOTA。
2024-01-04 cs.AI cs.LG
Traffic signal control optimization under severe incident conditions using Genetic Algorithm
DATA61 | CSIRO(联邦科学与工业研究组织数据61所);University of Technology Sydney(悉尼科技大学)
交通控制优化是一个具有挑战性的任务,在世界上的各种交通中心和大多数的方法只集中在正常(经常性)的交通条件下应用自适应方法。但是,当严重事故发生时,优化控制计划仍然是一个很难解决的问题,特别是如果大量的车道或整个交叉口受到影响。本文旨在解决这一问题,并提出了一种新的方法来优化信号交叉口的交通信号配时,在非重现性交通事件。该方法依赖于部署遗传算法(GA)考虑的阶段持续时间作为决策变量和目标函数,以最小化的总旅行时间在网络中。首先,我们开发了遗传算法的信号测试床网络在经常性的交通条件下,与微调的交叉,变异,适应度计算的算法的目的,并获得最佳相位持续时间。其次,我们应用之前在影响网络中交通流量的严重事件下发现的最佳信号配时,但没有任何进一步的优化。最后,我们进一步应用GA优化事件条件下,我们的方法提高了近40.76%的总行程时间。
2019-06-11 cs.LG cs.SY eess.SY
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
UC Berkeley(加州大学伯克利分校);Allen Institute for AI(艾伦人工智能研究所)
该研究针对计算充足但数据有限的重复数据预训练,发现批量大小与轮次的U型关系、小批量的隐式正则化作用,还明确了训练方案调整方向及GPU与时间的资源权衡规则,为预训练资源分配提供了新指导。
2026-10-14 cs.CL cs.LG
Boosted Genetic Algorithm using Machine Learning for traffic control optimization
交通控制优化是一个具有挑战性的任务,为世界各地的各种交通中心和大多数现有的方法只专注于开发正常(经常性)的交通条件下的自适应方法。当严重事故发生时,优化控制计划仍然是一个悬而未决的问题,特别是当大量的车道或整个交叉口受到影响时。本文旨在解决这一问题,并提出了一种新的方法来优化信号交叉口的交通信号配时,在非重现性交通事件。为了产生快速可靠的决策,我们将快速运行的机器学习(ML)算法和可靠的遗传算法(GA)结合到一个优化框架中。作为一个基准,我们首先开始部署一个典型的遗传算法,考虑相位持续时间作为决策变量和目标函数,以最小化网络中的总行程时间。我们微调遗传算法的交叉,变异,适应度计算,并获得最佳参数。其次,我们训练各种机器学习回归模型来预测所研究的交通网络的总行程时间,并选择表现最好的回归器,我们进一步超调,以找到最佳的训练参数。最后,我们提出了一个新的算法BGA-ML结合GA算法和极值梯度决策树,这是最好的性能回归,在一个单一的优化框架。结果表明,新的BGA-ML比原来的GA算法速度快得多,可以成功地应用于非复发事件的条件下。
2021-03-11 cs.LG
Architecting for Hardware Diversity: Meta's End-to-End Co-Design for High-Performance AI Training on AMD GPUs
Meta;AMD
Meta针对异构硬件集群中AMD GPU性能可移植性问题,提出三项协同设计原则,实现推荐模型训练吞吐量最高1.5倍提升,相关成果已上游至开源PyTorch等生态。
2026-10-16 cs.AR cs.DC cs.LG
Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation
University of Montreal(蒙特利尔大学);IBM Research(IBM研究院)
我们引入了多分辨率递归神经网络,它扩展了序列到序列框架,将自然语言生成建模为两个并行的离散随机过程:一个高级粗令牌序列和一个自然语言令牌序列。有很多方法来估计或学习的高层次的粗令牌,但我们认为,一个简单的提取过程是足以捕捉丰富的高层次的话语语义。这样的过程允许通过最大化两个序列的精确联合对数似然来训练多分辨率递归神经网络。与标准的对数似然目标w.r.t.自然语言标记(单词困惑),优化联合对数似然模型偏向于建模高级抽象。我们将所提出的模型应用到两个具有挑战性的领域中的对话响应生成任务:Ubuntu技术支持域和Twitter对话。在Ubuntu上,该模型的性能大大优于竞争方法,根据自动评估指标和人工评估研究,都获得了最先进的结果。在Twitter上,该模型似乎根据自动评估指标生成更相关和更主题的响应。最后,我们的实验表明,该模型更善于克服自然语言的稀疏性,能够更好地捕捉长期结构。
2016-06-14 cs.AI cs.CL cs.LG
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
深度神经网络(DNN)的集成已经实现了定性预测,但它们是计算和内存密集型的。因此,要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同,这些举措专注于单个DNN的预测,我们提出了一个新的软件层,以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先,我们提出了一个新的过程来找到设备(CPU或GPU)和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中,并运行贪心算法以优化分配设置并加速集成。其次,我们设计的推理系统基于多个进程异步运行:搜索,预测和组合规则与一个有效的内部通信方案,以避免开销。实验表明,在极端情况下的灵活性和效率:它成功地服务于12个重DNN到4个GPU的合奏,相反,一个单一的DNN多线程到16个GPU。它还优于简单的基线,包括优化DNN的批量大小,在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
GraNNite: Enabling High-Performance Execution of Graph Neural Networks on Resource-Constrained Neural Processing Units
Purdue University(普渡大学);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院);Intel Corporation(英特尔公司)
针对资源受限设备部署图神经网络(GNNs)时面临的高延迟和能源开销问题,提出硬件感知框架GraNNite,通过三步优化实现商用NPU上的高性能执行,在Intel Core Ultra AI PC上取得显著加速和能效提升。
2025-02-13 cs.AI cs.AR cs.LG
CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices
University of Cambridge(剑桥大学);DeepMind(深度思维);Stanford University(斯坦福大学);Google Brain(谷歌大脑);Columbia University(哥伦比亚大学);The Alan Turing Institute(艾伦·图灵研究所)
我们介绍了一种高效的方法,优化正交组高度并行计算单元,如GPU或TPU。在早期的工作中,我们参数化的正交矩阵作为产品的Householder反射。然而,为了克服低并行化能力的计算Householder反射顺序,我们建议采用一种积累方案称为紧凑的WY(或CWY)变换-一个紧凑的并行化友好的矩阵表示的一系列Householder反射。我们进一步开发了一种新的截断CWY(或T-CWY)方法,用于Stiefel流形参数化,该方法具有竞争力的复杂性,并且在GPU和TPU上计算时再次产生好处。我们证明了我们的CWY和T-CWY方法导致收敛到一个稳定点的训练目标时,再加上随机梯度下降。我们将我们的方法应用于神经机器翻译和视频预测任务中的训练递归神经网络架构。
2021-02-16 cs.LG stat.ML
Optimizing Stock Option Forecasting with the Assembly of Machine Learning Models and Improved Trading Strategies
University of Washington(华盛顿大学);University of Calgary(卡尔加里大学)
本文介绍了应用机器学习模型、改进的交易策略和拟可逆性方法优化股票期权预测和交易结果的关键方面。介绍了“拟可逆卷积神经网络在期权预测中的应用”研究的后续项目的研究成果。首先,该项目包括递归神经网络(RNN)和长短期记忆(LSTM)网络的应用,以提供一种预测股票期权趋势的新方法。此外,它还通过评估将多个ML模型组合在一起以改善预测结果和决策的实验方法来检查ML模型的依赖性。最后,给出了两种改进的交易策略和模拟投资结果。应用离散时间随机过程分析的二项资产定价模型和投资组合套期保值,提出了最优的投资预期。这些结果可以用于现实生活中的交易策略,以优化基于历史数据的股票期权投资结果。
2022-11-29 cs.LG q-fin.CP
Parallelizing Legendre Memory Unit Training
Center for Theoretical Neuroscience, University of Waterloo(滑铁卢大学理论神经科学中心);Applied Brain Research(应用大脑研究(机构))
最近,提出了一种名为Legendre Memory Unit(LMU)的新循环神经网络(RNN),并证明其在多个基准数据集上实现了最先进的性能。在这里,我们利用LMU的线性时不变(LTI)内存组件来构建一个简化的变体,该变体可以在训练期间并行化(但在推理期间作为RNN执行),从而克服了在GPU上训练RNN的众所周知的限制。我们证明了这种有助于并行化的重新表述,它可以普遍应用于任何循环分量为线性的深度网络,使训练速度提高200倍。其次,为了验证它的实用性,我们将其与原始LMU和各种已发布的LSTM和Transformer网络在七个基准上进行了性能比较,从psMNIST到情感分析再到机器翻译。我们证明了我们的模型在所有数据集上都表现出卓越的性能,通常使用更少的参数。例如,我们的LMU在psMNIST上设置了一个新的最先进的结果,并使用了一半的参数,同时在IMDB情感分析上优于DistilBERT和LSTM模型。
2021-05-10 cs.AI cs.LG
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.(PKSHA科技公司)
本文描述了一种基于深度卷积神经网络(CNN)的新型文本到语音(TTS)技术,而不使用任何递归单元。近年来,递归神经网络(RNN)已经成为对序列数据建模的标准技术,并且该技术已经被用于一些前沿的神经TTS技术中。然而,训练RNN组件通常需要非常强大的计算机,或者非常长的时间,通常需要几天或几周。另一方面,最近的其他研究表明,由于高度的并行性,基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明,一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中,使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜(15小时)训练,而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
Adaptive Neural Quantum States: A Recurrent Neural Network Perspective
Perimeter Institute for Theoretical Physics(理论物理研究所);Artificial Intelligence and Cyber Futures Institute(人工智能与网络未来研究所);Department of Applied Mathematics(应用数学系);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出面向 RNN 型神经量子态的自适应训练方案,通过小模型初始化大模型来降低计算成本、稳定训练并提升变分基态计算质量。
2025-07-24 cond-mat.dis-nn cond-mat.str-el cs.LG
Breaking Boundaries: Distributed Domain Decomposition with Scalable Physics-Informed Neural PDE Solvers
University of California, Irvine(加州大学欧文分校)
该研究提出Mosaic Flow的端到端并行化方案,结合数据并行训练与域并行,大幅缩短拉普拉斯算子训练时间,实现大域可扩展推理且保持精度,为复杂物理建模与科学发现提供潜力工具。
2023-08-28 cs.DC cs.LG
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会ICT-irst研究所);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
户外声学事件检测是一个令人兴奋的研究领域,但由于需要复杂的算法和深度学习技术,通常需要许多计算,内存和能源资源,因此面临挑战。这一挑战阻碍了物联网的实施,因为物联网需要有效利用资源。然而,当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术,解决了边缘声音事件检测的应用。贡献是双重的:首先,提出了一个两阶段的学生-教师方法,使最先进的神经网络的声音事件检测适合当前的微控制器;其次,我们测试我们的方法在ARM Cortex M4上,特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率,与最先进的性能相差不远,每秒音频流的推理时间为125 ms,仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
Tuning the burn-in phase in training recurrent neural networks improves their performance
Leibniz University Hannover(莱比锡大学汉诺威分校)
本文通过调节循环神经网络训练中的预热阶段,显著提高了其在时间序列任务中的性能,减少了预测误差超过60%。
2026-02-11 cs.LG cs.SY eess.SY
Accelerating Recurrent Neural Networks for Gravitational Wave Experiments
California Institute of Technology(加州理工学院);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Imperial College London(帝国理工学院)
本文提出了一种新的可重构架构,用于减少用于探测引力波的循环神经网络(RNN)的延迟。引力干涉仪,如LIGO探测器,捕捉宇宙事件,如黑洞合并,发生在未知的时间和不同的持续时间,产生时间序列数据。我们开发了一种新的架构,能够加速RNN推理,用于分析LIGO探测器的时间序列数据。该架构基于优化多层LSTM(长短期记忆)网络中的初始间隔(II),通过为每层确定适当的重用因子。设计了一个可定制的模板,用于这种架构,它可以生成低延迟的FPGA设计,使用高层次的综合工具,有效地利用资源。基于两个LSTM模型对所提出的方法进行了评估,目标是ZYNQ 7045 FPGA和U250 FPGA。实验结果表明,平衡的II,DSP的数量可以减少到42%,而实现相同的II。与其他基于FPGA的LSTM设计相比,我们的设计可以实现约4.92至12.4倍的延迟。
2021-06-26 cs.AR cs.LG physics.ins-det
GraphVite: A High-Performance CPU-GPU Hybrid System for Node Embedding
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Tsinghua University(清华大学);HEC Montréal(蒙特利尔高等商学院)
最近,学习节点的连续表示吸引了学术界和工业界越来越多的兴趣,由于其在各种应用中的简单性和有效性。现有的节点嵌入算法和系统大多能够处理具有数十万或数百万节点的网络。然而,如何将它们扩展到具有数千万甚至数亿个节点的网络仍然是一个具有挑战性的问题。在本文中,我们提出了GraphVite,一个高性能的CPU-GPU混合系统的训练节点嵌入,通过共同优化的算法和系统。在CPU端,增强的边缘样本通过随机游走以在线方式在网络上并行生成,并用作训练数据。在GPU端,提出了一种新的并行负采样方法,利用多个GPU同时训练节点嵌入,无需大量的数据传输和同步。此外,提出了一种有效的协作策略,以进一步降低CPU和GPU之间的同步成本。在多个真实网络上的实验表明,GraphVite是超级高效的。对于一个拥有100万个节点和500万条边的网络,在一台拥有4个GPU的机器上只需要大约1分钟,而对于一个拥有6600万个节点和18亿条边的网络,则需要大约20小时。与目前最快的系统相比,GraphVite的速度快了约50倍,而性能没有任何损失。
2019-03-02 cs.DC cs.LG stat.ML