Dilated Recurrent Neural Networks
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
使用循环神经网络(RNN)在长序列上学习是一项非常困难的任务。有三个主要挑战:1)复杂的依赖关系,2)消失和爆炸梯度,以及3)有效的并行化。在本文中,我们介绍了一种简单而有效的RNN连接结构DilatedRNN,它同时解决了所有这些挑战。该架构的特点是多分辨率扩张的循环跳跃连接,可以灵活地与不同的RNN细胞相结合。此外,DilatedRNN减少了所需的参数数量,并显着提高了训练效率,同时在涉及非常长期依赖性的任务中匹配最先进的性能(即使使用标准RNN单元)。为了提供基于理论的量化架构的优势,我们引入了一个内存容量度量,平均递归长度,它比现有的度量更适合于具有长跳跃连接的RNN。我们严格证明了DilatedRNN相对于其他递归神经架构的优势。我们方法的代码可在https://github.com/code-terminator/DilatedRNN上公开获得
2017-11-02 cs.AI cs.LG
MinGRU-Based Encoder for Turbo Autoencoder Frameworks
Technische Universität Dresden(德累斯顿工业大学)
本文将轻量级minGRU与Mamba块集成到并行Turbo自编码器框架中,在短序列上达到与卷积方法相当的性能,并显著提升长块长度下的可扩展性和训练效率。
2025-03-11 cs.IT cs.LG math.IT
Estimating Vehicle Speed on Roadways Using RNNs and Transformers: A Video-based Approach
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对传统车辆测速方法成本高、覆盖有限等问题,本研究提出基于视频的LSTM、GRU和Transformer测速方案,验证了门控机制与长序列的优势,Transformer适配多场景,可提升测速系统性能,助力交通管理与安全。
2025-02-21 cs.CV cs.LG eess.IV
Dynamical similarity analysis can identify compositional dynamics developing in RNNs
ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);CentraleSupélec(中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
提出利用RNN组合学习构建测试用例评估表征对齐指标,证明动态相似性分析(DSA)比现有指标更抗噪且能可靠识别行为相关表征,并揭示了现代状态空间模型在循环动态上的差异。
2024-12-21 cs.AI cs.LG cs.NE
GANGR: GAN-Assisted Scalable and Efficient Global Routing Parallelization
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Chicago, USA(美国芝加哥)
本文提出基于GAN的GANGR算法,通过改进批处理方法,实现更高效的全局路由并行化,减少40%的运行时间且路由质量仅轻微下降。
2025-11-21 cs.LG
Scalable Generative Models for Graphs with Graph Attention Mechanism
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图是普遍存在的真实世界的数据结构,并且近似图上的分布并从中导出新样本的生成模型具有显著的重要性。在图生成任务中的已知挑战中,大型图和数据集的可扩展性处理是实际应用中最重要的挑战之一。最近,越来越多的图生成模型已经被提出,并表现出令人印象深刻的结果。然而,由于生成过程复杂或训练并行化困难,可扩展性仍然是一个未解决的问题。在本文中,我们首先从三个不同的角度定义可扩展性:节点数量,数据和节点/边缘标签。然后,我们提出了一种生成模型,它可以在所有三种情况下扩展,特别是在训练中。我们的目标是实现可扩展性,采用一种新的图形注意力机制,制定一个简单和一般的方式的可能性图。此外,我们应用两种技术来减少计算复杂性。此外,我们构建了一个统一的和非特定领域的评价指标,在节点/边标记图生成任务相结合的图形内核和最大均值离散。我们在合成图和真实世界图上的实验证明了我们模型的可扩展性和与基线方法相比的优越性能。
2019-10-03 cs.LG stat.ML
Embed and Conquer: Scalable Embeddings for Kernel k-Means on MapReduce
University of Waterloo(滑铁卢大学)
核$k$ -means算法是一种有效的数据聚类方法,它扩展了常用的$k$ -means算法,使其能够处理复杂数据结构上的相似矩阵。然而,核心$k$ -均值算法在计算上非常复杂,因为它需要计算和存储完整的数据矩阵。此外,内核$k$ -均值算法的内核化性质阻碍了其计算在用于分布式计算的现代基础设施上的并行化。在本文中,我们定义了一个家庭的基于内核的低维嵌入,允许缩放内核$k$ -通过一个有效的和统一的并行化策略MapReduce的手段。之后,我们提出了两种低维嵌入的方法,坚持我们的嵌入家庭的定义。利用提出的并行化策略,我们提出了两个可扩展的MapReduce算法的内核$k$ -手段。我们证明了所提出的算法的有效性和效率,通过对基准数据集的实证评估。
2014-01-29 cs.LG
GSPMD: General and Scalable Parallelization for ML Computation Graphs
Google(谷歌)
我们提出了GSPMD,一个自动的,基于编译器的并行化系统,用于常见的机器学习计算。它允许用户以与单个设备相同的方式编写程序,然后通过一些关于如何分配张量的注释给出提示,GSPMD将基于这些注释并行计算。它的分区表示简单而通用,允许它在各种模型上表达不同或混合的并行范例。GSPMD根据有限的用户注释为每个操作员推断分区,从而方便扩展现有的单设备程序。它解决了生产使用中的几个技术挑战,使GSPMD能够在多达2048个Cloud TPUv3内核上实现50%至62%的计算利用率,适用于多达1万亿个参数的模型。
2021-12-23 cs.DC cs.LG
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University(杜克大学)
循环神经网络(RNN)在语言建模方面表现出了良好的性能。然而,使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化(用于大型训练集)不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗(也适用于大型训练集)的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法,在训练过程中添加梯度噪声(增强对模型参数空间的探索),并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明,所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
K-Myriad: Jump-starting reinforcement learning with unsupervised parallel agents
AIRLAB, Politecnico di Milano, Milan, Italy(AIRLAB,米兰理工学院,米兰,意大利)
K-Myriad通过无监督并行智能体提升强化学习的初始化效率,实现高效训练和发现异质解决方案。
2026-01-26 cs.LG
Chipmunk: A Systolically Scalable 0.9 mm${}^2$, 3.08 Gop/s/mW @ 1.2 mW Accelerator for Near-Sensor Recurrent Neural Network Inference
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
递归神经网络(RNN)是语音感知/理解和语音识别的最新技术。在低功耗移动和可穿戴设备上进行RNN的设备计算将是零延迟语音人机界面等应用的关键。在这里,我们介绍了Chipmunk,一个小型(<1 mm ${}^2$)硬件加速器,用于UMC 65 nm技术的长短期记忆RNN,能够在1.24 mW峰值功率下以高达3.08 Gop/s/mW的实测峰值效率运行。为了实现大型RNN模型而不产生巨大的内存传输开销,多个Chipmunk引擎可以合作形成单个脉动阵列。通过这种方式,75块配置的Chipmunk架构可以在Graves等人提出的要求苛刻的RNN拓扑上实现实时音素提取,平均功耗小于13 mW。
2018-02-20 cs.DC cs.LG cs.NE
Simple and Efficient Parallelization for Probabilistic Temporal Tensor Factorization
The Chinese University of Hong Kong(香港中文大学)
概率时间张量分解(PTTF)是一种有效的时间张量数据建模算法。它利用时间约束来捕获张量数据的演化属性。如今爆炸的数据集需要大规模的PTTF分析,并行解决方案是至关重要的,以适应这一趋势。然而,PTTF的并行化仍然是未探索的。在本文中,我们提出了一个简单而有效的并行概率时间张量分解,简称为P $^2$ T $^2$ F,提供一个可扩展的PTTF解决方案。通过考虑张量数据的概率分解和时间效应,P $^2$ T $^2$ F从根本上不同于现有的并行张量因子分解。它采用了一种新的张量数据分割策略,将一个大的张量分割成多个独立的子张量,子张量的计算本质上是并行的。我们用随机交替方向乘子法的有效算法对P $^2$ T $^2$ F进行了训练,并证明了收敛性是有保证的.在多个实字张量数据集上的实验表明,P $^2$ T $^2$ F是一种高效、可扩展的大规模概率时间张量分析算法.
2016-11-11 cs.LG stat.ML
Quantifying Long Range Dependence in Language and User Behavior to improve RNNs
Google Research(谷歌研究院)
描述时序依赖模式是理解时序数据统计特性的关键步骤。长程相关性(LRD)-指长程相关性以幂律衰减,而不是以指数形式衰减。距离-需要一套不同的工具来对序列数据的潜在动态进行建模。虽然它已被广泛承认,LRD存在于语言建模和顺序推荐,在相应的顺序数据集中的LRD的量还没有量化的可扩展的和模型独立的方式。我们提出了一个原则性的估计程序的LRD在序列数据集的基础上建立LRD理论的实值时间序列,并将其应用到序列的符号与百万项目规模的字典。在我们的测量中,该程序可靠地估计了用户在撰写维基百科文章和与YouTube互动时的行为中的LRD。我们进一步表明,测量LRD更好地通知建模决策,特别是对于RNN,其捕获LRD的能力仍然是一个活跃的研究领域。定量测量为新的进化循环神经网络(EvolutiveRNN)设计提供了信息,从而以一小部分计算成本在语言理解和顺序推荐任务上获得了最先进的结果。
2019-05-23 cs.LG stat.ML
DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
分析深度神经网络对输入扰动的最坏情况性能相当于解决一个大规模的非凸优化问题,对于这个问题,过去的一些工作已经提出了凸松弛作为一个有前途的替代方案。然而,即使对于合理大小的神经网络,这些松弛也是不容易处理的,因此在实践中必须用更弱的松弛来代替。在这项工作中,我们提出了一种新的算子分裂方法,可以直接解决一个凸松弛的问题,以高精度,通过分裂成较小的子问题,往往有解析解。该方法是模块化的,可扩展到非常大的问题实例,并妥协的操作,是经得起快速并行与GPU加速。我们展示了我们的方法在图像分类和强化学习设置中限制大型卷积网络的最坏情况性能,以及神经网络动态系统的可达性分析。
2022-07-08 cs.LG
Integrating Recurrent Neural Networks with Data Assimilation for Scalable Data-Driven State Estimation
Cooperative Institute for Research in Environmental Sciences(环境科学合作研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);Physical Sciences Laboratory(物理科学实验室);National Oceanic and Atmospheric Administration(美国国家海洋和大气管理局);University of California San Diego(加州大学圣地亚哥分校);Scripps Institution of Oceanography(斯克里普斯海洋研究所)
数据同化(DA)与机器学习相结合,以执行完全数据驱动的在线状态估计。为了实现这一目标,循环神经网络(RNN)实现代理模型,以取代数值天气预报(NWP)中的DA循环的关键组件,包括传统的数值预报模型,预报误差协方差矩阵,切线线性和伴随模型。它显示了如何使用DA方法初始化这些RNN,以直接更新隐藏/水库状态与目标系统的观察。结果表明,这些技术可以应用于估计的短期预测的重复初始化的系统的状态,即使在没有一个传统的数值预报模型。此外,还演示了这些集成的RNN-DA方法如何通过应用域本地化和并行化扩展到更高的维度,为NWP的实际应用提供了一条路径。
2021-09-25 cs.AI cs.LG math.DS
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application(硬件/软件协同设计技术与应用的MoE工程研究中心);East China Normal University(东华大学)
本文提出了一种改进的随机老虎机框架BARBAT,通过消除K因子实现最优悔恨界,并扩展至多种设置,提升并行化能力与计算效率。
2026-01-02 cs.LG
Continual Learning with Gated Incremental Memories for sequential data processing
University of Pisa(比萨大学)
在动态、非平稳环境中学习而不忘记先前知识的能力,也称为持续学习(CL),是自适应解决方案可扩展和可信赖部署的关键推动因素。虽然持续学习的重要性在机器视觉和强化学习问题中得到了广泛的认可,但对于序列处理任务,这一点大多没有得到充分的证明。这项工作提出了一个循环神经网络(RNN)模型CL,能够处理输入分布中的概念漂移,而不会忘记以前获得的知识。我们还在两种不同类型的RNN上实现和测试了一种流行的CL方法,弹性权重合并(EWC)。最后,我们在一组标准CL基准测试中比较了我们的增强型架构与EWC和RNN的性能,这些测试适用于顺序数据处理场景。结果显示了我们架构的卓越性能,并强调了为解决RNN中的CL而设计的特殊解决方案的必要性。
2020-04-08 cs.LG cs.NE stat.ML
Massively Scalable Inverse Reinforcement Learning in Google Maps
Google Research(谷歌研究院);Google Maps(谷歌地图);Google DeepMind(谷歌DeepMind)
针对逆强化学习难以支撑行星级路线推荐的问题,提出结合图压缩、空间并行等技术的RHIP算法,实现全球路线质量16-24%的提升,是目前最大规模的真实场景IRL研究。
2024-03-05 cs.LG
Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems
Central Institute of Mental Health(中央精神卫生研究所);Heidelberg University(海德堡大学);University of Amsterdam(阿姆斯特丹大学);National Taiwan University(国立台湾大学)
在许多科学学科中,我们对推断一组观察到的时间序列下的非线性动力系统感兴趣,这在面对混沌行为和噪声时是一项具有挑战性的任务。以前实现这一目标的深度学习方法往往缺乏可解释性和可处理性。特别是,即使潜在的动力学存在于低维流形上,忠实嵌入也经常需要高维潜在空间,这可能会妨碍理论分析。受树突计算的新兴原理的启发,我们通过线性样条基扩展来增强动态可解释和数学上可处理的分段线性(PL)递归神经网络(RNN)。我们证明了这种方法保留了简单PLRNN的所有理论上吸引人的特性,但提高了其在相对较低维度下近似任意非线性动力系统的能力。我们采用了两个框架来训练系统,一个是将反向传播时间(BPTT)与教师强制相结合,另一个是基于快速和可扩展的变分推理。我们表明,树枝状扩展PLRNN实现更好的重建与更少的参数和尺寸在各种动力系统基准和比较有利的其他方法,同时保留一个易于处理和解释的结构。
2022-07-06 cs.LG math.DS nlin.CD
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving
Stanford University(斯坦福大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
前馈计算,例如评估神经网络或从自回归模型采样,在机器学习中无处不在。然而,前馈计算的顺序性需要严格的执行顺序,并且无法通过并行计算轻松加速。为了实现并行化,我们将前馈计算的任务定义为求解非线性方程组。然后,我们建议使用Jacobi或Gauss-Seidel不动点迭代方法以及两者的混合方法来找到解决方案。至关重要的是,Jacobi更新对每个方程独立操作,并且可以并行执行。我们的方法是保证给完全相同的值与原来的前馈计算与减少(或相等)的并行迭代次数,因此减少了足够的并行计算能力的时间。在实验中,我们证明了我们的方法在加速(i)RNN的反向传播,(ii)DenseNets的评估,以及(iii)MADE和PixelCNN++的自回归采样方面的有效性,在各种设置下的加速因子在2.1到26之间。
2021-06-11 cs.LG stat.ML
Efficient classification using parallel and scalable compressed model and Its application on intrusion detection
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Software Microelectronics, Peking University(北京大学软件与微电子学院)
为了实现入侵检测中的高效分类,提出了一种水平压缩和垂直压缩相结合的压缩模型。水平压缩采用OneR算法,垂直压缩采用仿射传播算法,从大量的训练数据中选择具有代表性的小样本。为了能够在计算上压缩具有可伸缩性的更大容量的训练数据,然后针对上述模型压缩过程的每个步骤实现并评估基于MapReduce的并行化方法,可以直接使用常见但有效的分类方法。在KDD 99和CMDC 2012两个公开的入侵检测数据集上的实验应用研究表明,基于压缩模型的分类方法可以有效地将检测速度提高184倍,最重要的是,其代价是平均精度差异小于1%.
2014-05-14 cs.CR cs.LG
Relaxed Scheduling for Scalable Belief Propagation
ITMO University(圣彼得堡国立信息技术机械与光学大学);IST Austria(奥地利科学技术研究所)
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此,已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而,尽管并行化的知识丰富,一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中,我们专注于高效的并行算法的关键机器学习任务的推理图形模型,特别是在基本的信念传播算法。我们解决的挑战,有效地并行化这一经典的范例,显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究,表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面,在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司)
贝叶斯优化(BO)是一个灵活而强大的框架,适用于计算昂贵的基于仿真的应用程序,并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一,但其能力受到数据大小,所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织,必须同时解决。在这项工作中,我们提出了可扩展的$^3$ -BO框架,它采用稀疏GP作为底层的代理模型,以大数据的范围,并配备了一个随机嵌入,以有效地优化高维问题,有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征,其在计算预算内充分利用HPC上的计算资源。因此,所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的:关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题,并最大限度地减少挂钟等待时间,以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力,在HPC环境中有100万个数据点,10,000维问题,20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Scalable Graph Algorithms
最近,处理大型复杂网络引起了人们极大的兴趣。复杂图在从技术网络到人类大脑等生物系统的广泛应用中非常有用。有时,这些网络由数十亿个实体组成,这些实体产生了新兴的属性和结构。分析这些结构有助于我们获得关于周围环境的新见解。随着大型网络变得丰富,需要可扩展的算法来执行分析。一个突出的例子是PageRank算法,它是诸如Google的网络搜索引擎用来对显示给用户的网页进行排名的措施之一。为了找到这些模式,必须获取和处理大量数据。设计和评估处理这些数据集的可扩展图算法是理解底层系统的关键任务。这篇论文总结了我在过去六年中与许多合著者开发的广泛的可扩展图算法。一般来说,这项研究是基于四个支柱:多级算法,实用的内核化,并行化和模因算法是高度互连。进行的实验表明,我们的算法找到更好的解决方案和/或比以前的国家的最先进的可扩展性。
2019-11-30 cs.DC cs.DS cs.LG
QArchSearch: A Scalable Quantum Architecture Search Package
University of Delaware(特拉华大学);Argonne National Laboratory(阿贡国家实验室)
本文提出QArchSearch,一个基于AI、以QTensor为后端、可扩展至大型电路并在高性能系统上高效运行的量子架构搜索软件包。
2023-10-11 cs.LG quant-ph
Scalable Graph Convolutional Network Training on Distributed-Memory Systems
Imagination Technologies(想象力科技);University of Warwick(华威大学)
图卷积网络(GCN)被广泛用于图上的深度学习。图的大数据量及其顶点特征使得可扩展的训练算法和分布式存储系统成为必要。由于图上的卷积运算会导致不规则的内存访问模式,因此为GCN训练设计一个高效的内存和通信并行算法带来了独特的挑战。我们提出了一个高度并行的训练算法,可扩展到大型处理器计数。在我们的解决方案中,大型邻接矩阵和顶点特征矩阵在处理器之间进行划分。我们利用图的顶点分区使用处理器之间的非阻塞点对点通信操作,以获得更好的可扩展性。为了进一步减少并行化的开销,我们引入了一个稀疏矩阵分区计划的超图分区模型的基础上进行全批训练。我们还提出了一种新的随机超图模型来编码小批量训练中的预期通信量。我们展示了超图模型的优点,以前未探索的GCN训练,在标准的图划分模型,它不准确地编码的通信成本。在真实世界的图数据集上进行的实验表明,所提出的算法实现了相当大的加速比替代解决方案。在具有许多处理器的高可扩展性下,通信成本方面的优化变得更加明显。性能优势在具有更多层的更深GCN中以及在十亿级图中得以保留。
2022-12-13 cs.AI cs.DC cs.LG
Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research(谷歌研究院);Sorbonne Université(索邦大学);Aarhus University(奥胡斯大学)
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入,我们给出了一个高效且易于实现的算法,该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$,其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替)。虽然最坏情况下的保证是最先进的私有聚类方法的状态差,我们提出的算法是实用的,运行在近线性,$\tilde{O}(nkd)$,时间和规模为数千万点。我们还表明,我们的方法是适合在大规模的分布式计算环境中的并行化。特别是,我们表明,我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后,我们补充我们的理论分析与实证评估,证明算法的效率和准确性相比,其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
A Review of Online Diffusion Policy RL Algorithms for Scalable Robotic Control
Daegu Gyeongbuk Institute of Science and Technology(大邱庆尚科学技术院);ShanghaiTech University(上海科技大学)
本文综述了在线扩散策略强化学习算法,分析了其在可扩展机器人控制中的性能、挑战及未来发展方向。
2026-02-09 cs.AI cs.LG cs.RO
Scalable Approximate Algorithms for Optimal Transport Linear Models
Swiss Data Science Center(瑞士数据科学中心);Paul Scherrer Institute(保罗谢勒研究所);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);PSI Center for Neutron and Muon Sciences CNM(PSI中子与缪子科学中心);Air Quality Research Center, University of California, Davis(加州大学戴维斯分校空气质量研究中心);Laboratory for Environmental Spectrochemistry, Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院环境光谱学实验室)
本文提出一种基于Sinkhorn式缩放迭代的可扩展算法框架,用于求解带熵正则化最优传输损失的非负线性回归模型,支持多种凸惩罚与损失项,适用于大规模问题。
2025-04-06 cs.LG math.OC stat.ML
HyPar-Flow: Exploiting MPI and Keras for Scalable Hybrid-Parallel DNN Training using TensorFlow
The Ohio State University(俄亥俄州立大学)
为了减少大规模DNN的训练时间,科学家们已经开始探索数据并行、模型并行和混合并行等并行化策略。虽然数据并行已经得到了广泛的研究和发展,但在有效实现模型并行和混合并行方面还存在一些问题。我们关注的四个主要问题是:1)定义跨进程的分布式模型的概念,2)实现跨进程边界的前向/反向传播,这需要显式通信,3)在固有的顺序任务上获得并行加速,以及4)实现可扩展性而不损失模型的准确性。为了解决这些问题,我们创建了HyPar-Flow --一个模型大小/类型不可知的,可扩展的,实用的和用户透明的系统,用于通过利用MPI,Keras和TensorFlow进行混合并行训练。HyPar-Flow提供了一个API,可用于对任何Keras模型进行大规模的数据、模型和混合并行训练。我们创建了用户提供的Keras模型的内部分布式表示,利用TF的Eager执行功能进行跨进程的分布式前向/反向传播,利用流水线来提高性能,并利用高效的MPI原语进行可扩展的通信。在模型分区之间,我们使用send和recv来交换层数据/部分错误,而allreduce用于累积/平均模型副本之间的梯度。除了HyPar-Flow的设计和实现,我们还提供了三个最先进的HPC系统的全面正确性和性能结果,包括TACC Frontera(Top500.org上排名第5)。对于超深度模型ResNet-1001,HyPar-Flow提供:1)基于Horo…
2020-02-19 cs.AI cs.DC cs.LG