Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa(莫拉图瓦大学)
卷积神经网络(CNN)广泛用于深度学习应用,例如视觉系统、机器人等。然而,现有的软件解决方案效率不高。因此,已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中,基于现场可编程门阵列(FPGA)的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中,我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加(MAC)单元与高速缓存技术和互连网络,以利用最大的数据并行。与现有的解决方案相比,我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此,我们的架构实现了显著降低资源利用率与竞争力的准确性。此外,我们开发了一个汇编类型的微指令来访问协处理结构,以管理逐层并行,从而使有限的资源重用。最后,我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构,在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
A Truncated Newton Method for Optimal Transport
University of Toronto(多伦多大学);Polytechnique Montréal(蒙特利尔理工学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Vector Institute(向量研究所)
针对熵正则化最优传输,提出一种GPU并行截断牛顿算法,在无Lipschitz Hessian假设下实现局部二次收敛,运行速度比现有方法快数个数量级,并可扩展至百万级规模问题。
2025-04-02 cs.LG cs.MS math.OC
Seizure Detection and Prediction by Parallel Memristive Convolutional Neural Networks
University of Toronto(多伦多大学);James Cook University(詹姆斯库克大学);York University(约克大学)
提出一种低延迟并行CNN架构,在模拟交叉阵列上实现,大幅降低参数量与延迟,在多个数据集上实现高精度癫痫检测与预测,并提出缓解硬件非理想效应的方法。
2022-06-20 cs.AI cs.AR cs.ET
SNLP: Layer-Parallel Inference via Structured Newton Corrections
Core AI, IBM(IBM核心AI)
提出结构化牛顿层并行(SNLP)框架,通过将Transformer层间依赖视为非线性残差方程并用结构化牛顿校正并行求解,实现推理加速,在0.5B模型上获得高达2.58倍加速。
2026-07-09 cs.LG
One weird trick for parallelizing convolutional neural networks
Google Inc.(谷歌公司)
我提出了一种新的方法来并行化多个GPU上的卷积神经网络的训练。当应用于现代卷积神经网络时,该方法的扩展性明显优于所有替代方案。
2014-04-26 cs.DC cs.LG cs.NE
Parallel Coordinate Descent Newton Method for Efficient $\ell_1$-Regularized Minimization
ETH Zurich(苏黎世联邦理工学院);CNCERT(国家计算机网络应急中心);Shanghai Jiao Tong University(上海交通大学);University of California, Merced(加州大学默塞德分校)
本文提出并行坐标下降牛顿算法(PCDN),通过将Hessian矩阵的非对角线元素设为零以实现并行化,有效解决大规模优化问题中的并行性与收敛性问题。
2017-12-07 cs.LG cs.NA math.NA
Towards Scalable and Stable Parallelization of Nonlinear RNNs
Stanford University(斯坦福大学);Wu Tsai Neurosciences Institute(吴蔡神经科学研究所);GE Healthcare(GE医疗);Liquid AI
针对非线性RNN并行方法DEER复杂度高、数值不稳定的问题,提出拟牛顿近似降复杂度、基于ELK关联结合并行卡尔曼平滑提升稳定性的方案,实现更大规模更稳定的非线性RNN并行求值。
2025-01-15 cs.LG
Exploring Hidden Dimensions in Parallelizing Convolutional Neural Networks
Stanford University(斯坦福大学);Microsoft(微软)
在过去的几年里,训练深度卷积神经网络的计算需求不断增长。当前的方法通过应用单个并行化策略(例如,数据或模型并行)到网络中的所有层。虽然很容易推理,但这些方法在大规模分布式训练中会导致次优的运行时性能,因为网络中的不同层可能更喜欢不同的并行化策略。在本文中,我们提出了逐层并行,允许网络中的每一层使用单独的并行化策略。我们通过解决图搜索问题来共同优化每一层的并行化方式。我们的评估表明,逐层并行通过增加训练吞吐量,降低通信成本,实现更好的可扩展性到多个GPU,同时保持原始网络的准确性,优于最先进的方法。
2018-06-09 cs.DC cs.LG cs.NE
Parallel Multi-Graph Convolution Network For Metro Passenger Volume Prediction
East China University of Science and Technology(华东理工大学);Zhejiang University(浙江大学)
地铁客流量的准确预测对于实现地铁系统的实时管理具有重要意义,是智能交通领域的一项关键而又具有挑战性的任务。由于城市地铁乘客行为具有复杂的空间相关性和时间变化性,深度学习被广泛用于捕捉非线性时空依赖关系。遗憾的是,目前的深度学习方法仅采用图卷积网络作为对空间关系建模的组件,没有充分利用站点之间不同的空间相关模式。为进一步提高地铁客流预测的准确性,提出了一种并行多重图卷积和堆叠双向单向门控递归单元(PB-GRU)组成的深度学习模型。并行多图卷积捕捉地铁站之间的起讫点(OD)分布和相似的流量模式,而双向门控递归单元考虑前向和后向的客流量序列,并学习复杂的时间特征。在两个真实地铁客流数据集上的实验表明了该模型的有效性。令人惊讶的是,与现有的方法相比,PB-GRU实现了更低的预测误差。
2021-08-29 cs.LG
FPGA deep learning acceleration based on convolutional neural network
Chongqing University(重庆大学)
针对卷积神经网络(CNN)计算量大、计算时间长的问题,提出了一种基于现场可编程逻辑门阵列(FPGA)的卷积神经网络硬件加速器。首先,通过深入分析卷积层的前向运算原理,探索卷积层运算的并行性,设计了一种输入通道并行、输出通道并行、卷积窗口深度流水的硬件架构。然后在上述架构中,设计了一个完全并行的乘加树模块来加速卷积运算,设计了一个高效的窗口缓冲模块来实现卷积窗口的流水线运算。最终实验结果表明,本文提出的加速器能效比达到32.73 GOPS/W,比现有方案提高了34%,性能达到317.86 GOPS。
2020-11-17 cs.AR cs.LG
Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds
Rensselaer Polytechnic Institute(伦斯拉尔理工学院)
本文提出平行运输卷积(PTC),一种在流形及其离散对应物上扩展卷积操作的新方法,能够保持卷积的紧凑支持、方向性和跨流形的可转移性,从而在曲面域上构建小波样操作和深度卷积神经网络。
2018-12-08 cs.CV cs.LG cs.NA
Pathfinder: Parallel quasi-Newton variational inference
Columbia University(哥伦比亚大学);Flatiron Institute(弗莱提荣研究所);Aalto University(阿尔托大学)
我们提出了探路者,一个变分方法近似采样可微日志密度。从随机初始化开始,Pathfinder沿着拟牛顿优化路径定位目标密度的正常近似,使用优化器产生的逆Hessian估计估计局部协方差。Pathfinder返回从具有最低估计Kullback-Leibler(KL)发散的近似到真实后验的绘制。我们评估探路者在广泛的后验分布,证明其近似绘制优于自动微分变分推断(ADVI)和可比的动态哈密顿蒙特卡罗(HMC),由1-瓦瑟斯坦距离测量的短链。与ADVI和短动态HMC运行相比,Pathfinder需要少一到两个数量级的对数密度和梯度评估,对于更具挑战性的后验,减少幅度更大。Pathfinder多次运行的重要性恢复提高了近似绘制的多样性,进一步减小了1-瓦瑟斯坦距离,并提供了对平台、鞍点或次要模式上的优化失败的鲁棒性度量。蒙特卡罗库尔贝克-莱布勒散度估计在核心Pathfinder算法中是可并行化的,在resort版本中也是如此,进一步增加了Pathfinder在多个核心上的速度优势。
2022-05-16 cs.LG stat.ML
High Throughput Multi-Channel Parallelized Diffraction Convolutional Neural Network Accelerator
George Washington University(乔治华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校)
卷积神经网络在包括相关分类和训练任务的图像和信号处理中至关重要,并且构成了当今大多数机器学习计算需求。由于卷积运算是计算密集型的,下一代硬件加速器需要提供并行化和算法硬件同态。幸运的是,衍射显示光学器件能够以低延迟进行百万通道并行数据处理,然而,到目前为止,仅显示出数十赫兹的慢单个图像和内核能力,从而显着低于其性能潜力。在这里,我们展示了一个操作并行化的高吞吐量傅里叶光学卷积神经网络加速器。对于第一次同时处理多个内核在傅立叶域启用光学衍射已经实现了与已经常规的现场输入并行。此外,我们还展示了比现有的基于光学衍射的处理器快100倍的系统速度,这一演示可与现代电子解决方案的性能相媲美。因此,该系统能够比现有技术的电子系统快十倍地处理大规模矩阵。
2022-07-07 cs.LG physics.optics
NPTC-net: Narrow-Band Parallel Transport Convolutional Neural Network on Point Clouds
Beijing International Center for Mathematical Research, Peking University(北京大学北京数学科学中心);Center for Data Science, Peking University(北京大学数据科学中心);Beijing Institute of Big Data Research(北京大数据研究院);Department of Mathematics, Rensselaer Polytechnic Institute(伦斯勒理工学院数学系)
卷积在信号和图像处理、分析和识别的各种应用中起着至关重要的作用。它也是卷积神经网络(CNN)的主要构建块。在流形结构的点云上设计适当的卷积神经网络可以继承CNN的最新进展,并使其能够分析和处理点云数据。然而,一个主要的挑战是定义一个适当的方式来“扫描”过滤器通过点云作为一个自然的概括的平面卷积,并反映点云的几何形状在同一时间。在本文中,我们考虑通过在点云上适应并行传输来推广卷积。受三角化曲面方法的启发[Stefan C. Schonsheck,Bin Dong,and Rongjie Lai,arXiv:1805.07857.],我们提出了窄带并行传输卷积(NPTC),其在点云数据的基于体素的窄带近似上使用特定定义的连接。在此基础上,我们进一步提出了一种基于NPTC的深度卷积神经网络(称为NPTC-net),用于点云分类和分割。综合实验表明,提出的NPTC网络实现类似或更好的结果比当前国家的最先进的点云分类和分割的方法。
2021-02-21 cs.CV cs.LG
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Partition-Parallelism and Random Boundary Node Sampling
Rice University(莱斯大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Pacific Northwest National Laboratory(太平洋西北国家实验室)
图卷积网络(GCN)已经成为基于图的学习任务的最先进的方法。然而,大规模训练GCN仍然具有挑战性,阻碍了更复杂的GCN架构的探索及其在现实世界大型图中的应用。虽然考虑图分区和分布式训练来应对这一挑战可能是很自然的,但由于现有设计的限制,这个方向在以前的工作中只是稍微触及了表面。在这项工作中,我们首先分析了为什么分布式GCN训练是无效的,并确定其根本原因是每个分区子图的边界节点数量过多,这很容易爆炸的内存和通信成本的GCN训练。此外,我们提出了一个简单而有效的方法称为BNS-GCN,采用随机边界节点采样,使高效和可扩展的分布式GCN训练。实验和消融研究一致地验证了BNS-GCN的有效性,例如,将吞吐量提高多达16.2倍,并将内存使用量减少多达58%,同时保持完整图形的准确性。此外,理论和实证分析表明,BNS-GCN享有更好的收敛性比现有的采样为基础的方法。我们相信,我们的BNS-GCN为大规模GCN培训开辟了一个新的范例。该代码可在https://github.com/RICE-EIC/BNS-GCN上获得。
2022-03-26 cs.AI cs.LG
An Oracle for Guiding Large-Scale Model/Hybrid Parallel Training of Convolutional Neural Networks
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);RIKEN-CCS(理化学研究所计算科学研究中心)
深度神经网络(DNN)框架使用分布式训练来实现更快的收敛时间,并在训练大型模型和/或使用高维输入时减轻内存容量限制。随着数据集和模型规模的稳步增长,模型/混合并行性被认为在DNN的分布式训练的未来中具有重要作用。我们分析了卷积神经网络(CNN)的计算,通信和内存要求,以了解性能和可扩展性的不同并行方法之间的权衡。我们利用我们的模型驱动的分析的基础上,甲骨文实用程序,可以帮助检测的限制和瓶颈,不同的并行方法的规模。我们评估了六种并行化策略的oracle,四个CNN模型和多个数据集(2D和3D),最多1024个GPU。结果表明,预言机具有约86.74%的平均准确率相比,经验的结果,高达97.57%的数据并行。
2021-04-19 cs.DC cs.LG
Murmur Detection Using Parallel Recurrent & Convolutional Neural Networks
TCS Research(塔塔咨询服务研究院)
在这篇文章中,我们提出了一种新的技术,在心音杂音的分类。我们引入了一种新的深度神经网络架构,使用基于双向长短期记忆(BiLSTM)和卷积神经网络(CNN)的递归神经网络(RNN)的并行组合来学习PCG波形中的Murmur的视觉和时间相关特性。一组声学特征被呈现给我们提出的深度神经网络,以区分Normal和Murmur类。使用5倍交叉验证在大数据集上对所提出的方法进行了评估,灵敏度和特异性分别为96 +-0.6%,100 +-0%,F1评分为98 +-0.3%。
2018-08-13 cs.LG cs.SD eess.AS
D-PCN: Parallel Convolutional Networks for Image Recognition via a Discriminator
Huazhong University of Science and Technology(华中科技大学)
在本文中,我们介绍了一个简单的,但相当有效的识别框架称为D-PCN,旨在提高CNN的特征提取能力。该框架由两个并行的CNN,一个SVM和一个额外的分类器组成,该分类器从并行网络中提取综合特征并给出最终预测。这个模型的核心是驱动并行网络关注不同的区域并学习互补的表征。提出了相应的联合训练策略,保证了训练资源的利用。我们使用几个CNN模型在两个基准数据集上验证了D-PCN:CIFAR-100和ImageNet 32 x32,D-PCN增强了所有模型。特别是与相关作品相比,它在CIFAR-100上产生了最先进的性能。我们还在细粒度的Stanford Dogs数据集上进行了可视化实验,验证了我们的动机。此外,我们应用D-PCN对PASCAL VOC 2012进行分割,并且还找到了推广。
2018-03-14 cs.CV cs.LG
A Bi-layered Parallel Training Architecture for Large-scale Convolutional Neural Networks
Hunan University(湖南大学);National Supercomputing Center in Changsha(长沙国家超级计算中心);COMSATS University Islamabad(伊斯兰堡COMSATS大学);Qatar University(卡塔尔大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
卷积神经网络(Convolutional Neural Networks,CNN)因其具有训练数据规模大、训练网络复杂等优点,在各个领域得到了广泛的应用。然而,CNN的训练过程非常耗时,需要大量的训练样本和迭代操作来获得高质量的权重参数。针对大规模CNN训练耗时的问题,提出了一种分布式计算环境下的双层并行训练(BPT-CNN)架构。BPT-CNN由两个主要部分组成:(a)在单独的数据子集上对多个CNN子网络进行外层并行训练,以及(b)对每个子网络进行内层并行训练。在外层并行性中,我们解决了分布式和并行计算的关键问题,包括数据通信,同步和工作负载平衡。提出了一种异构感知的增量式数据划分与分配策略(IDPA),将大规模训练数据集按照计算能力分批划分并分配给计算节点。为了减少全局权值更新过程中的同步等待时间,提出了一种异步全局权值更新策略。在内层并行性方面,我们进一步加速了每台计算机上每个CNN子网络的训练过程,其中卷积层的计算步骤和局部权重训练基于任务并行性并行化。我们引入了任务分解和调度策略,目标是线程级的负载均衡和最小等待时间的关键路线。大量的实验结果表明,所提出的BPT-CNN有效地提高了CNN的训练性能,同时保持准确性。
2018-10-17 cs.LG stat.ML
Multi Layered-Parallel Graph Convolutional Network (ML-PGCN) for Disease Prediction
Technische Universität München(慕尼黑工业大学);Klinikum der Universität München(慕尼黑大学附属医院);Johns Hopkins University(约翰斯·霍普金斯大学)
来自电子健康记录的结构数据作为疾病预测的成像数据的补充信息。我们将新的加权层纳入图卷积网络,通过探索其与潜在疾病的关系来加权结构数据的每个元素。我们证明了我们开发的技术在计算速度方面的优越性,并获得了令人鼓舞的结果,当应用于两个公开可用的数据集ABIDE和胸部X射线时,我们的方法在相对性能方面优于最先进的方法,预测精度分别为5.31%和8.15%,ROC曲线下面积分别为4.96%和10.36%。分别此外,该模型重量轻,速度快,易于训练。
2018-04-28 cs.LG stat.ML
Minimal Filtering Algorithms for Convolutional Neural Networks
West Pomeranian University of Technology Szczecin(西波美拉尼亚工业大学什切青分校)
在本文中,我们提出了几个资源高效的算法解决方案,关于在卷积神经网络的卷积层中执行的基本滤波操作的完全并行硬件实现。实际上,这些基本操作计算由滑动时间窗从当前数据流形成的相邻向量与M抽头有限脉冲响应滤波器的脉冲响应的两个内积。我们使用Winograd最小滤波技巧,并将其应用于开发完全并行的面向硬件的算法,用于实现M= 3,5,7,9和11的基本滤波操作。在每种情况下,所提出的算法的完全并行硬件实现给出了大约30%的节省嵌入式乘法器的数量相比,一个完全并行的硬件实现的天真的计算方法。
2020-04-12 cs.LG eess.SP stat.ML
GFCN: A New Graph Convolutional Network Based on Parallel Flows
Nanyang Technological University(南洋理工大学)
鉴于卷积神经网络(CNN)用于图像分类和对象识别的巨大成功,已经尝试将该方法推广到一般的图形结构数据。一个主要的研究方向是基于谱图理论和图信号处理。在本文中,我们从一个完全不同的角度来研究这个问题,通过引入图的并行流分解。其基本思想是将图分解为不相交的一维(1D)路径族,之后,我们可以沿着每个路径族应用1D CNN。我们证明了我们的方法,我们称之为GraphFlow,能够将CNN架构转换为一般图形。为了证明我们的方法的有效性,我们测试了我们的方法在经典的MNIST数据集,网络信息传播的合成数据集和新闻文章分类数据集。
2020-03-06 cs.CV cs.LG eess.IV
Parallel Backpropagation for Inverse of a Convolution with Application to Normalizing Flows
IIIT Hyderabad(印度理工学院海得拉巴分校)
本文针对归一化流中卷积求逆反向传播计算复杂度高的问题,提出运行时间为 $O(\sqrt{n})$ 的并行反向传播算法及 GPU 实现,并将卷积求逆用于前向过程以加速采样,构建的 Inverse-Flow 模型在标准数据集上以相近的每维比特数显著缩短了采样时间。
2025-03-12 cs.CV cs.LG cs.MM
CHAOS: A Parallelization Scheme for Training Convolutional Neural Networks on Intel Xeon Phi
Linnaeus University(林奈大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
深度学习是大数据分析工具和智能应用的重要组成部分,例如自动驾驶汽车、计算机视觉、语音识别或精准医疗。然而,训练过程是计算密集型的,并且如果按顺序执行,则通常需要大量时间。现代并行计算系统提供了减少深度神经网络所需训练时间的能力。在本文中,我们提出了我们的并行化方案训练卷积神经网络(CNN)命名为受控Hogwild与任意顺序的同步(混沌)。CHAOS的主要功能包括支持线程和向量并行性,在反向传播过程中没有明显延迟的权重参数的非即时更新,以及任意顺序的隐式同步。CHAOS专为使用英特尔至强融核加速的并行计算系统量身定制。我们评估我们的并行化方法经验使用测量技术和性能建模的线程和CNN架构的各种数量。使用Xeon Phi上的线程总数对手写数字的MNIST数据集进行的实验结果显示,与Xeon Phi的一个线程上执行相比,加速高达103倍,与英特尔至强E5上的顺序执行相比,加速高达14倍,与英特尔酷睿i5上的顺序执行相比,加速高达58倍。
2017-02-25 cs.CV cs.DC cs.LG
PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
表面网格是广泛使用的形状表示,并捕获比点云或体积网格更精细的几何数据,但由于其非欧几里得结构,直接应用CNN具有挑战性。我们使用表面上的平行框架来定义PFCNN,通过忠实地模仿标准卷积来实现表面网格上的有效特征学习。特别是,PFCNN的卷积不仅将局部曲面片映射到平坦的切平面上,而且还对齐切平面,使得它们局部形成平坦的欧几里得结构,从而能够恢复标准卷积。对齐是通过借用离散微分几何的局部平坦连接工具来实现的,它可以通过并行帧场进行有效的编码和计算。此外,对曲面缺乏典型轴的情况,采用框架方向采样的方法进行处理。实验表明,对于可变形几何域上的分类、分割和配准,以及刚性域上的语义场景分割等任务,PFCNN在不使用复杂输入特征的情况下,比最先进的基于表面的CNN实现了鲁棒性和优越的性能。
2020-06-12 cs.CG cs.CV cs.GR
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院医学人工智能研究中心);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);The State University of New York, Buffalo(纽约州立大学布法罗分校)
本文提出了一种多通道图像重建方法,命名为Deepcomplex MRI,以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同,DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性,并将其用作标记数据来离线训练深度残差卷积神经网络。特别地,提出了一种复杂的卷积网络,以考虑MR图像的实部和虚部之间的相关性。此外,k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明,该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明,该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien));Information Technology University (ITU)(信息技术大学(ITU))
用于卷积神经网络(CNN)的最先进的加速器通常只专注于加速卷积层,但不会优先考虑完全连接的层。因此,它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程,这可以提供更高的性能/能量效率潜力。为此,我们提出了一种新型的大规模并行神经阵列(MPNA)加速器,它集成了两个异构的脉动阵列和各自的高度优化的卷积模式,以共同加速卷积(CONV)和全连接(FC)层。除了充分利用可用的片外内存带宽之外,这些优化的FIFO还实现了所有数据类型(即,重量,输入和输出激活),从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构,并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W,功耗为239 mW。实验结果表明,我们的MPNA架构提供了1.7倍的整体性能提高相比,国家的最先进的加速器,和51%的节能相比,基线架构。
2018-10-30 cs.AR cs.DC cs.LG
PDCOVIDNet: A Parallel-Dilated Convolutional Neural Network Architecture for Detecting COVID-19 from Chest X-Ray Images
University of Chittagong(吉大港大学);Charles Sturt University(查尔斯特大学)
COVID-19疫情继续严重破坏全球卫生系统的繁荣。为了防治这一流行病,对受感染患者的有效筛查技术是必不可少的。毫无疑问,使用胸部X光图像进行放射评估是必不可少的筛查技术之一。早期的一些研究显示,患者的胸部X光图像显示异常,这对于感染COVID-19的患者来说是很自然的。在本文中,我们提出了一种基于并行扩张卷积神经网络(CNN)的COVID-19检测系统,称为并行扩张COVIDNet(PDCOVIDNet)。首先,公开可用的胸部X射线收集充分预加载和增强,然后分类所提出的方法。并行形式的不同卷积膨胀率证明了使用PDCOVIDNet提取用于COVID-19检测的放射学特征的原理证明。因此,我们用两种可视化方法来辅助我们的方法,这两种方法是专门设计来增加对与COVID-19感染相关的关键成分的理解的。这两种可视化方法都计算与最后一个卷积层的特征映射相关的给定图像类别的梯度,以创建类别区分区域。在我们的实验中,我们总共使用了2,905张胸部X射线图像,包括三种情况(如COVID-19,正常和病毒性肺炎),经验评估显示,所提出的方法可以快速提取与疑似疾病相关的更重要的特征。实验结果表明,我们提出的方法显着提高了性能指标:准确率、精确率、召回率和F1分数分别达到96.58%、96.58%、96.59%和96.58%,与现有方法相当或有所增强。
2020-07-29 cs.CV cs.LG eess.IV
Scalable Graph Convolutional Network Training on Distributed-Memory Systems
Imagination Technologies(想象力科技);University of Warwick(华威大学)
图卷积网络(GCN)被广泛用于图上的深度学习。图的大数据量及其顶点特征使得可扩展的训练算法和分布式存储系统成为必要。由于图上的卷积运算会导致不规则的内存访问模式,因此为GCN训练设计一个高效的内存和通信并行算法带来了独特的挑战。我们提出了一个高度并行的训练算法,可扩展到大型处理器计数。在我们的解决方案中,大型邻接矩阵和顶点特征矩阵在处理器之间进行划分。我们利用图的顶点分区使用处理器之间的非阻塞点对点通信操作,以获得更好的可扩展性。为了进一步减少并行化的开销,我们引入了一个稀疏矩阵分区计划的超图分区模型的基础上进行全批训练。我们还提出了一种新的随机超图模型来编码小批量训练中的预期通信量。我们展示了超图模型的优点,以前未探索的GCN训练,在标准的图划分模型,它不准确地编码的通信成本。在真实世界的图数据集上进行的实验表明,所提出的算法实现了相当大的加速比替代解决方案。在具有许多处理器的高可扩展性下,通信成本方面的优化变得更加明显。性能优势在具有更多层的更深GCN中以及在十亿级图中得以保留。
2022-12-13 cs.AI cs.DC cs.LG
5 Parallel Prism: A topology for pipelined implementations of convolutional neural networks using computational memory
IBM Research – Zurich(IBM研究院(苏黎世));ETH Zurich(苏黎世联邦理工学院)
存内计算是一种新兴的计算范式,它可以以显著更高的能量效率和更低的延迟实现深度学习推理。基本思想是将对应于每层的突触权重映射到一个或多个计算存储器(CM)核。在推断期间,这些核以O(1)时间复杂度就地执行相关联的矩阵-向量乘法运算,从而避免了将突触权重移动到附加处理单元的需要。此外,这种架构可以使这些网络的执行在一个高度流水线的方式。然而,一个关键的挑战是设计一个有效的通信结构的CM核心。在这里,我们提出了一个这样的通信结构的基础上的图形拓扑结构,非常适合于广泛成功的卷积神经网络(CNN)。我们表明,这种通信结构有利于所有国家的最先进的CNN的流水线执行证明这些网络的一个图形表示和建议的图形拓扑之间的同态的存在。然后,我们提出了一个定量的比较与已建立的通信拓扑结构,并表明我们提出的拓扑结构实现了最低的带宽要求,每个通信信道。最后,我们给出了一个将ResNet-32映射到CM核心阵列上的具体示例。
2019-06-08 cs.LG
Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition
University of Cologne(科隆大学);Center for Data and Simulation Science, University of Cologne(科隆大学数据与模拟科学中心)
本文提出一种基于区域分解的模型并行CNN架构,将输入数据分解为子图像并行训练局部CNN,再通过DNN聚合局部分类,并对比了多种聚合方案及迁移学习策略的性能。
2024-08-26 cs.CV cs.LG cs.NA
VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures
Sungkyunkwan University(成均馆大学)
由于其高能效,内存处理(PIM)阵列越来越多地用于卷积神经网络(CNN)推理。在基于PIM的CNN推理中,计算延迟和能量取决于CNN权重如何映射到PIM阵列。最近的一项研究提出了移位和重复内核(SDK)映射,该映射以并行窗口为单位重用输入特征映射,该窗口与重复内核卷积以并行获得多个输出元素。然而,现有的基于SDK的映射算法并不总是导致最小的计算周期,因为它只映射一个方形的并行窗口与整个通道。在本文中,我们介绍了一种新的映射算法,称为可变窗口SDK(VW-SDK),它自适应地确定并行窗口的形状,导致最小的计算周期为一个给定的卷积层和PIM阵列。通过允许带有部分通道的矩形窗口,VW-SDK可以更有效地利用PIM阵列,从而进一步减少计算周期的数量。使用512 x512 PIM阵列和Resnet-18进行的仿真表明,与现有的基于SDK的算法相比,VW-SDK将推理速度提高了1.69倍。
2021-12-21 cs.LG cs.NE
Community-based Layerwise Distributed Training of Graph Convolutional Networks
The State Key Laboratory of Integrated Service Networks, Xidian University(西安电子科技大学综合业务网理论及关键技术国家重点实验室);Department of Computer Science and Informatics, Emory University(埃默里大学计算机科学与信息学系);Department of Computer Science, George Mason University(乔治梅森大学计算机科学系)
图卷积网络(GCN)已成功地应用于许多基于图的应用。然而,训练大规模的GCN模型仍然具有挑战性:由于GCN架构的节点依赖性和层依赖性,在训练过程中需要大量的计算时间和内存。在本文中,我们提出了一个并行和分布式的GCN训练算法的基础上交替方向乘法(ADMM)同时解决这两个挑战。我们首先将GCN层拆分为独立的块以实现层并行。此外,我们通过将图划分为几个密集的社区来减少节点依赖性,这样每个社区都可以用代理并行训练。最后,我们提供了解决方案的所有子问题,基于社区的ADMM算法。初步结果表明,我们提出的基于社区的ADMM训练算法可以导致三倍以上的加速比,同时实现最佳性能与国家的最先进的方法相比。
2021-12-17 cs.LG
Implementation of Training Convolutional Neural Networks
University of Chinese Academy of Sciences(中国科学院大学)
深度学习是机器学习的一个闪亮分支,它基于对表示的学习水平。卷积神经网络(CNN)是一种深度神经网络。可以同时学习。本文详细分析了CNN算法的前向过程和反向传播过程。然后应用特殊的卷积神经网络,用java实现了典型的人脸识别问题。然后,在第四节中提出了一种并行策略。另外,通过测量前后向计算的实际时间,从理论上分析了最大加速比和并行效率。
2015-06-04 cs.CV cs.LG cs.NE
Newton: Gravitating Towards the Physical Limits of Crossbar Acceleration
University of Utah(犹他大学);Hewlett Packard Labs(惠普实验室)
最近的许多工作已经为卷积神经网络(CNN)设计了加速器。虽然数字加速器依赖于近数据处理,但模拟加速器通过执行原位计算进一步减少了数据移动。最近的工作利用忆阻器交叉杆中的高度并行模拟原位计算来加速CNN中的许多向量矩阵乘法运算。然而,这些原位加速器有两个重要的短周期,我们在这项工作中解决。首先,ADC占芯片功率和面积的很大一部分。其次,这些加速器采用同构设计,其中每个资源都是为最坏情况提供的。通过解决这两个问题,新架构Newton更接近于实现交叉杆加速器的最佳每神经元能量。我们介绍了多种新技术,适用于不同级别的瓦片层次结构。其中两种技术利用了异质性:一种是基于每个子计算的要求来调整ADC精度(对精度的影响为零),另一种是为卷积或分类器定制的瓦片设计。其他两种技术依赖于分治数值算法来减少计算和ADC压力。最后,我们对如何将工作负载映射到切片进行限制,从而帮助减少切片中的资源配置。对于各种各样的CNN流和结构,相对于最先进的ISAAC加速器,Newton实现了77%的功耗降低,51%的能效提高,以及2.2倍的吞吐量/面积。
2018-03-10 cs.AR cs.LG
Kronecker-factored Quasi-Newton Methods for Deep Learning
Columbia University(哥伦比亚大学)
二阶方法利用比一阶方法更丰富的曲率信息,具有加速优化的能力。然而,大多数对于训练参数数量巨大的深度学习来说都是不切实际的。在Goldfarb等人(2020)中,提出了实用的拟牛顿方法,该方法通过逐层块对角矩阵来近似多层感知器(MLP)模型的Hessian,其中每层的块进一步通过与限制到该层的Hessian结构相对应的Kronecker积来近似。在这里,我们通过分析卷积层的Hessian矩阵的Kronecker因子结构,扩展了这些方法,使它们能够应用于卷积神经网络(CNN)。还提出了对Goldfarb等人(2020)中方法的几项改进,可应用于MLP和CNN。这些新方法的内存要求与一阶方法相当,每次迭代的时间复杂度远低于Goldfarb等人(2020)的方法。此外,收敛结果证明了一个变种在相对温和的条件下。最后,我们将我们的新方法与几种最先进的(SOTA)方法在MLP自动编码器和CNN问题上的性能进行了比较,发现它们优于一阶SOTA方法,并优于二阶SOTA方法。
2022-02-19 cs.LG math.OC stat.ML
Splitting and Parallelizing of Quantum Convolutional Neural Networks for Learning Translationally Symmetric Data
Fujitsu Limited(富士通株式会社);Fujitsu Research(富士通研究所)
本文提出分割并行化量子卷积神经网络(sp-QCNN),利用平移对称性分割电路,在不增加量子比特数的情况下提高测量效率并加速学习,在量子相位识别任务中达到与传统 QCNN 相当的准确率。
2024-02-28 cs.LG quant-ph
DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient Processing of Convolutional Neural Networks
Technische Universität Wien(维也纳工业大学)
许多卷积神经网络(CNN)加速器面临着性能和能效挑战,这对于嵌入式实现至关重要,因为DRAM访问延迟和能耗很高。最近,一些DRAM架构已经被提出来利用子阵列级并行来减少访问延迟。为此,我们提出了一种设计空间探索方法来研究不同的DRAM架构上的不同映射策略的延迟和能量,并确定帕累托最优的设计选择。结果表明,能量有效的DRAM访问可以通过映射策略,有序的优先级,以最大限度地提高行缓冲器的命中,银行和子阵列级的并行性。
2020-04-21 cs.AR cs.LG
ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
卷积网络(ConvNets)已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的,这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务,其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算,广泛的网络架构。为了在真正的共享内存机器上实现这样的性能,我们的算法计算收敛在网络的同一节点上的卷积,具有时间局部性,以减少缓存未命中,并通过几乎无等待的并发方法对收敛卷积输出进行求和,以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明,ZNN可以达到大约等于物理核数量的加速比。我们还表明,ZNN可以在多核CPU(Xeon Phi Knights Corner)上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU,而以前算法的SIMD并行性与GPU兼容。通过示例,我们表明ZNN可以比某些GPU实现更快或更慢,这取决于网络架构,内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易,ZNN的开发和维护成本可能更低。
2015-10-22 cs.CV cs.DC cs.LG
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.(NEC美国实验室公司)
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合,这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此,使用模型并行(与数据并行相反)训练诸如卷积神经网络之类的大型模型是具有挑战性的,因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain,一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说,SplitBrain提供了特定于层的分区,可以将计算密集型卷积层放在一起,同时对内存需求层进行分片。提出了一种新的可扩展组通信,以进一步提高训练吞吐量,减少通信开销。实验结果表明,SplitBrain在实现数据和模型并行VGG时,与CIFAR-10相比,可以实现接近线性的加速比,同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing Flows
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
自Glow引入以来,可逆卷积一直是构建表达性规范化流生成模型的基本元素。已经进行了几次尝试来设计在训练和采样通道中有效的可逆$k \times k$卷积。虽然这些尝试提高了表现力和采样效率,但它们在采样时间方面严重落后于仅使用$1 \times 1$卷积的Glow。此外,许多方法掩盖了底层卷积的大量参数,导致在固定的运行时预算上的较低表达性。我们提出了一个$k \times k$卷积层和深度规范化流架构,i.)具有运行时间为O $(n k^2)$的快速并行反演算法($n$是输入图像的高度和宽度,k是核大小),ii.)屏蔽层中最小数量的可学习参数。(三)在实际基准测试中,与其他基于$k \times k$卷积的模型相比,提供了更好的前向传递和采样时间。我们在GPU上使用可逆卷积提供了所提出的并行采样算法的实现。CIFAR-10、ImageNet和CelebA数据集上的基准测试显示,在每维比特数方面,性能与以前的工作相当,同时显著提高了采样时间。
2023-01-23 cs.CV cs.LG