Im2win: An Efficient Convolution Paradigm on GPU
Nanchang Hangkong University(南昌航空大学);University of California Merced(加州大学默塞德分校);University of Washington(华盛顿大学)
本文提出了一种名为 im2win 的基于窗口顺序的 GPU 卷积范式,通过减少内存占用并提供连续内存访问,结合多种内核优化技术,在多个 DNN 基准上显著提升了性能并降低了内存消耗。
2023-06-25 cs.AI cs.LG cs.NE
Fading memory and the convolution theorem
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore(数学科学系,物理与数学科学学院,南洋理工大学,新加坡)
本文推广卷积定理,证明线性滤波器衰减记忆性质与卷积表示可用性等价,并进一步用最小连续性和最小衰减记忆性质刻画卷积表示,还讨论了再生核希尔伯特空间的嵌入。
2025-07-03 cs.LG math.FA math.OC
Enabling Long FFT Convolutions on Memory-Constrained FPGAs via Chunking
通过分块技术在内存受限的FPGA上实现长FFT卷积,提升长上下文推理性能
2025-12-28 cs.AR cs.LG
Processing-In-Memory Acceleration of Convolutional Neural Networks for Energy-Efficiency, and Power-Intermittency Resilience
University of Central Florida(中佛罗里达大学)
在此,使用自旋轨道扭矩磁随机存取存储器(SOT-MRAM)计算子阵列来实现逐位卷积神经网络(CNN)存储器内加速器。它采用了一种新的AND-累加方法,能够显著降低卷积层内的能耗,并完全在MRAM内执行各种低位宽的CNN推理操作。通过保留维持计算前向进展所需的部分状态信息,还增强了电力弹性,这对于无电池IoT节点是有利的。仿真结果表明,与基于ReRAM的加速相比,$\sim$ 5.4 $\times$更高的能效和9 $\times$加速,或者与最近的仅CMOS方法相比,大约$\sim$ 9.7 $\times$更高的能效和13.5 $\times$加速,同时保持与基线设计相当的推理准确性。
2019-04-16 cs.AR cs.ET cs.LG
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle(纽卡斯尔大学)
Transformer模型的关键是自注意力机制,它允许模型以计算高效的方式分析整个序列。最近的研究表明,RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中,我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明,单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果,但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到,对于某些特定的算法任务,主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Sub-Model Short-Term Memory Convolutions for Keyword Spotting Systems on Device
Samsung R&D Institute Poland(三星研发中心波兰分部);Samsung AI Center Warsaw(三星AI中心华沙)
本文提出将STMC框架应用于模块化CNN,实现在线类LSTM推理,降低功耗和冗余计算,在关键词识别任务上分别减少82%和46%的MCPS,并达到93.8%和97.1%的准确率。
2026-09-29 cs.LG cs.SD
Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices
Delhi Technological University(德里理工大学);University of Cambridge(剑桥大学);UQIDAR, IIT Delhi(UQIDAR,印度理工学院德里分校)
随着用户对智能设备的日益依赖,在边缘进行必要的计算已成为任何类型业务的关键要求。许多这样的计算利用卷积神经网络(CNN)来执行AI任务,具有高资源和计算要求,这对于边缘设备是不可行的。拆分CNN架构以在边缘上执行部分计算并保留在云上是一个研究领域,该领域的兴趣越来越大。在本文中,我们断言在边缘设备和云之间运行CNN是解决资源受限优化问题的同义词,该问题可以最大限度地减少延迟并最大限度地提高边缘的资源利用率。我们制定了一个多目标优化问题,并提出了LMOS算法,以实现帕累托有效的解决方案。在真实世界边缘设备上进行的实验表明,LMOS确保了在边缘执行不同的CNN模型,并改进了现有的最先进的方法。
2021-07-19 cs.AI cs.LG
Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation
Cerebras Systems
我们建议将内存节省技术与传统的U-Net架构相结合,以增加脑肿瘤分割(BraTS)挑战模型的复杂性。BraTS挑战包括将240 x240 x155 x4输入图像3D分割为一组肿瘤类别。由于体积大,需要3D卷积层,因此该任务非常占用内存。为了解决这个问题,以前的方法使用较小的裁剪图像,同时限制模型的深度和宽度。我们的3D U-Net使用MobileNetV 2,MnasNet和最近的EfficientNet架构中定义的移动反向瓶颈块的可逆版本,以在训练期间节省激活内存。使用可逆层使模型能够在给定该层输出的情况下重新计算输入激活,通过消除在前向传递期间存储激活的需要来节省内存。反向残差瓶颈块使用轻量级的dependency可分离卷积,通过将卷积分解为逐点卷积和dependency卷积来减少计算。此外,该块通过在输入和输出线性1x 1卷积之间放置中间扩展层来反转传统的瓶颈块,从而减少通道总数。给定固定的内存预算,通过这些内存节省技术,我们能够训练高达3倍大的图像体积,深度增加25%的模型,或者通道数量高达2倍的模型。
2021-04-21 cs.CV cs.LG eess.IV
Risk Analysis in Customer Relationship Management via Quantile Region Convolutional Neural Network-Long Short-Term Memory and Cross-Attention Mechanism
Longyan University(龙岩学院);National Central University(中央大学);University of Portsmouth(朴茨茅斯大学);Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);Northeastern University(东北大学)
本文提出结合QRCNN-LSTM与交叉注意力机制的方法,用于客户关系管理中的风险分析,有效捕获序列依赖并聚焦关键特征,为商业决策提供数据驱动的支持。
2024-08-22 cs.AI cs.CY cs.LG
Low-Resource Video Super-Resolution using Memory, Wavelets, and Deformable Convolutions
Department of Electrical Engineering, IIT Bombay, India(电子工程系,印度班加罗尔理工学院)
本文提出一种仅230万参数的轻量级VSR架构,结合2D小波分解、单记忆张量和残差可变形卷积,在低资源下实现最先进重建精度。
2025-06-19 cs.CV cs.LG
Short-term probabilistic photovoltaic power forecast based on deep convolutional long short-term memory network and kernel density estimation
Harbin Institute of Technology(哈尔滨工业大学)
太阳能是一种清洁的可再生能源。光伏发电是太阳能利用的重要途径。准确的光伏发电功率预测对光伏发电的大规模应用和电网的稳定运行至关重要。提出了一种基于深度卷积长短期记忆(ConvLSTM)网络和核密度估计(KDE)的短期光伏功率预测新方法。该方法利用ConvLSTM对未来光伏发电量进行预测,利用KDE估计联合概率密度函数并给出概率置信区间。在实际光伏电站中的实验验证了该方法的有效性。与卷积神经网络(CNN)和长短期记忆网络(LSTM)的对比实验表明,ConvLSTM可以结合CNN和LSTM的优点,在预测精度方面明显优于CNN和LSTM。通过与多层感知器(MLP)、支持向量回归(SVR)、极限学习机(ELM)、分类回归树(CART)和梯度提升决策树(GBDT)等5种传统方法的比较,结果表明,ConvLSTM的预测精度在20%以上,进一步验证了ConvLSTM的优越性。
2021-07-03 cs.LG eess.SP
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University(香港浸会大学)
深度卷积神经网络(CNN)已成功应用于许多现实问题。然而,深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备(例如,移动电话)。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN,其中卷积滤波器中的权重为1或-1,因此每个权重可以使用单个位有效地存储。然而,现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题,我们提出了一种新的方法,通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器,从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此,我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型,我们已经从理论上表明,我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此,我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析,我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明,我们提出的方法实现了更高的压缩比现有的方法,同时保持相当的精度。
2020-10-06 cs.CV cs.LG
A Neural Model of Rule Discovery with Relatively Short-Term Sequence Memory
The Whole Brain Architecture Initiative(全脑架构倡议)
针对流体智力任务中依赖短期记忆发现事件序列规律的问题,提出一种神经认知模型,并通过延迟样本匹配任务加以实现与验证。
2024-12-07 cs.AI cs.LG
Moonshine: Distilling with Cheap Convolutions
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
许多工程师希望在内存有限的环境中部署现代神经网络;但减少内存使用的灵活方法的开发仍处于起步阶段,并且对由此产生的成本效益知之甚少。我们提出了结构模型蒸馏的内存减少使用的策略,产生一个学生的架构,这是一个简单的教师架构的转换:不需要重新设计,可以使用相同的超参数。使用注意力转移,我们提供了帕累托曲线/表蒸馏的残留网络与四个基准数据集,表明内存与准确性的回报。我们表明,大量的内存节省是可能的,几乎没有损失的准确性,并确认蒸馏提供学生网络的性能,这是优于直接在数据上训练的学生架构。
2019-01-17 cs.CV cs.LG stat.ML
Dynamic Short Convolutions Improve Transformers
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出动态短卷积作为新的神经网络原语,通过输入依赖的滤波器增强Transformer,在语言建模中相比标准Transformer和静态短卷积变体持续提升性能,并带来计算优势。
2026-10-27 cs.CL cs.LG
Temporal Convolutional Memory Networks for Remaining Useful Life Estimation of Industrial Machinery
Singapore University of Technology and Design(新加坡科技设计大学);University of Moratuwa(莫拉图瓦大学);University of Melbourne(墨尔本大学);Keysight Technologies(是德科技);National University of Singapore(新加坡国立大学)
准确估计工业机械的剩余使用寿命(RUL)在许多实际应用中是有益的。估计技术主要利用线性模型或基于神经网络的方法,重点是短期时间依赖性。本文介绍了一个系统模型,它结合了时间卷积与长期和短期的时间依赖性。该网络学习传感器值的显著特征和复杂的时间变化,并预测RUL。使用数据增强方法来提高精度。所提出的方法进行了比较与几个国家的最先进的算法公开可用的数据集。它展示了有希望的结果,对于从复杂环境中获得的数据集具有优异的结果。
2018-12-10 cs.LG stat.ML
Unsupervised inter-frame motion correction for whole-body dynamic PET using convolutional long short-term memory in a convolutional neural network
Yale University(耶鲁大学);Siemens Medical Solutions USA, Inc.(美国西门子医疗解决方案公司)
在全身动态PET中,受试者运动会引入帧间失配,严重影响参数成像。传统的非刚性配准方法通常计算量大且耗时。深度学习方法在快速实现高准确性方面很有希望,但尚未考虑示踪剂分布变化或全身范围进行研究。在这项工作中,我们开发了一个基于无监督自动深度学习的框架来纠正帧间身体运动。运动估计网络是具有组合的卷积长短期记忆层的卷积神经网络,充分利用动态时间特征和空间信息。我们的数据集包含27名受试者,每名受试者接受90分钟FDG全身动态PET扫描。通过9倍交叉验证,与传统和深度学习基线相比,我们证明了所提出的网络在增强参数$K_{i}$和$V_{b}$图像之间的定性和定量空间对齐方面获得了优异的性能,并且显著降低了参数拟合误差。我们还展示了所提出的运动校正方法用于影响估计参数图像的下游分析的潜力,提高了区分恶性与良性高代谢感兴趣区域的能力。一旦经过训练,我们提出的网络的运动估计推理时间比传统的配准基线快460倍左右,显示出其在临床环境中易于应用的潜力。
2022-06-13 cs.CV cs.LG eess.IV
OPIMA: Optical Processing-In-Memory for Convolutional Neural Network Acceleration
Colorado State University(科罗拉多州立大学)
针对传统冯·诺依曼架构和DRAM基存内计算的瓶颈,提出构建于光学主内存内的OPIMA加速器,利用内存并行性和光学计算加速卷积神经网络,性能和能效显著优于现有方案。
2024-07-11 cs.AR cs.ET cs.LG
LSTM Fully Convolutional Networks for Time Series Classification
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
全卷积神经网络(FCN)已被证明可以在时间序列分类任务上实现最先进的性能。我们提出用长短期记忆递归神经网络(LSTM RNN)子模块增强全卷积网络,用于时间序列分类。我们提出的模型显著提高了全卷积网络的性能,模型大小略有增加,并且只需要对数据集进行最少的预处理。所提出的长短期记忆全卷积网络(LSTM-FCN)实现了最先进的性能相比,其他。我们还探讨了使用注意力机制,以改善时间序列分类与注意力长短期记忆全卷积网络(ALSTM-FCN)。利用注意力机制可以可视化LSTM单元的决策过程。此外,我们提出微调作为一种方法来提高训练模型的性能。我们的模型的性能进行了全面的分析,并与其他技术相比。
2017-09-08 cs.LG stat.ML
DeLTA: GPU Performance Model for Deep Learning Applications with In-depth Memory System Traffic Analysis
The University of Texas at Austin(得克萨斯大学奥斯汀分校);NVIDIA(英伟达)
训练卷积神经网络(CNN)需要高计算吞吐量和高内存带宽。特别是,卷积层占了CNN训练的大部分执行时间,GPU通常用于加速这些层的工作负载。GPU设计优化以实现高效的CNN训练加速,需要准确建模计算和内存资源增加时性能如何提高。我们提出了DeLTA,这是第一个分析模型,可以准确估计每个GPU存储层次结构级别的流量,同时考虑并行卷积算法的复杂重用模式。我们证明了我们的模型对于不同的CNN和GPU架构都是准确和鲁棒的。然后,我们将展示如何使用此模型来仔细平衡不同GPU资源的缩放,以提高CNN的性能。
2019-04-02 cs.DC cs.LG
Comparative Study of Long Short-Term Memory (LSTM) and Quantum Long Short-Term Memory (QLSTM): Prediction of Stock Market Movement
University of the Punjab(旁遮普大学);University of Jeddah(吉达大学)
本研究针对巴基斯坦股市走势预测难题,采用LSTM和QLSTM模型,基于2004-2020年26项多维度指标月度数据预测KSE 100指数,对比发现QLSTM是更具潜力的股市趋势预测技术。
2024-09-04 cs.AI cs.LG q-fin.ST
Short-Term Power Prediction for Renewable Energy Using Hybrid Graph Convolutional Network and Long Short-Term Memory Approach
AAU Energy, Aalborg University(奥尔堡大学能源系)
准确的短期太阳能和风能预测在电力系统的规划和运行中发挥着重要作用。然而,由于可再生能源输出功率的波动性和不确定性,以及当地天气条件随时间动态变化的规律,即时空相关性,可再生能源的短期功率预测一直被认为是一个复杂的回归问题。为了同时捕获时空特征,提出了一种新的基于图神经网络的短期功率预测方法,该方法结合了图卷积网络(GCN)和长短期记忆(LSTM)。具体来说,GCN用于学习相邻可再生能源之间的复杂空间相关性,LSTM用于学习发电曲线的动态变化。仿真结果表明,所提出的混合方法可以模拟可再生能源的时空相关性,其性能优于流行的基线在现实世界的数据集。
2022-02-07 cs.LG cs.SY eess.SY
VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures
Sungkyunkwan University(成均馆大学)
由于其高能效,内存处理(PIM)阵列越来越多地用于卷积神经网络(CNN)推理。在基于PIM的CNN推理中,计算延迟和能量取决于CNN权重如何映射到PIM阵列。最近的一项研究提出了移位和重复内核(SDK)映射,该映射以并行窗口为单位重用输入特征映射,该窗口与重复内核卷积以并行获得多个输出元素。然而,现有的基于SDK的映射算法并不总是导致最小的计算周期,因为它只映射一个方形的并行窗口与整个通道。在本文中,我们介绍了一种新的映射算法,称为可变窗口SDK(VW-SDK),它自适应地确定并行窗口的形状,导致最小的计算周期为一个给定的卷积层和PIM阵列。通过允许带有部分通道的矩形窗口,VW-SDK可以更有效地利用PIM阵列,从而进一步减少计算周期的数量。使用512 x512 PIM阵列和Resnet-18进行的仿真表明,与现有的基于SDK的算法相比,VW-SDK将推理速度提高了1.69倍。
2021-12-21 cs.LG cs.NE
Compositional Distributional Semantics with Long Short Term Memory
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
我们提出了一个扩展的递归神经网络,利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器(“存储单元”)中,并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案,并允许网络捕获长范围依赖性。实验结果表明,我们的组合优于传统的神经网络组成斯坦福情绪树库。
2015-04-17 cs.AI cs.CL cs.LG
Convolutional neural network compression for natural language processing
AGH University of Science and Technology(AGH科技大学)
卷积神经网络是一种在许多分类任务中非常有效的现代模型。它们最初是为了图像处理而创建的。然后进行了一些试验,将它们用于不同的领域,如自然语言处理。人工智能系统(如人形机器人)通常是基于嵌入式系统的内存,功耗等的限制,因此,卷积神经网络,因为它的内存容量应减少映射到给定的硬件。在本文中,压缩的有效卷积神经网络的情感分析的结果。主要步骤是量化和修剪过程。给出了压缩网络到FPGA的映射方法和实现结果。所描述的模拟表明,5位宽度足以使网络的浮点版本的准确性没有下降。此外,还实现了显著的内存占用减少(从85%减少到93%)。
2018-05-28 cs.CL cs.LG cs.NE
Optical Fiber Fault Detection and Localization in a Noisy OTDR Trace Based on Denoising Convolutional Autoencoder and Bidirectional Long Short-Term Memory
ADVA Optical Networking SE(ADVA光网络公司);Kiel University (CAU)(基尔大学(克里斯蒂安-阿尔布雷希茨大学))
光时域反射计(OTDR)已被广泛用于表征光纤链路以及用于检测和定位光纤故障。OTDR迹线容易被不同种类的噪声扭曲,导致后向散射信号的模糊,从而导致误导性解释和更繁琐的事件检测任务。为了解决这个问题,提出了一种新的方法结合去噪卷积自动编码器(DCAE)和双向长短期记忆(BiLSTM),其中前者用于OTDR信号的噪声去除,后者用于故障检测,定位和诊断与去噪信号作为输入。所提出的方法适用于不同水平的输入SNR范围从-5 dB到15 dB的噪声OTDR信号。实验结果表明:(i)DCAE在对OTDR迹线进行去噪方面是有效的,并且优于其他深度学习技术和传统的去噪方法;(ii)BiLSTM实现了96.7%的高检测和诊断准确率,与使用噪声OTDR信号训练的相同模型的性能相比,提高了13.74%。
2022-03-19 cs.LG eess.SP
Fast Weight Long Short-Term Memory
Intel AI Lab, Artificial Intelligence Products Group, Intel Corporation(英特尔人工智能实验室,人工智能产品组,英特尔公司)
使用快速权重的联想记忆是一种短期记忆机制,它大大提高了递归神经网络(RNN)的记忆容量和时间尺度。由于最近的研究仅将快速权重引入常规RNN,因此不知道快速权重记忆是否对门控RNN有益。在这项工作中,我们报告了长短期记忆(LSTM)网络和快速权重联想记忆之间的显着协同作用。我们发现,这种组合,在学习联想检索任务,结果更快的训练和更低的测试错误,性能提升最突出的高记忆任务的困难。
2018-04-18 cs.LG cs.NE
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
作为卷积神经网络(CNN)的重要进展,深度可分离卷积(DSC)技术在保持模型精度的同时,减少了CNN的计算量和参数大小,成为最流行的技术之一。它还带来了深远的影响,以提高计算和内存密集型CNN的适用性,以广泛的应用,如移动设备,这是通常缺乏计算能力和内存。然而,以前的DSC研究主要集中在合成有限的现有DSC设计,因此,错过了探索更多潜在设计的机会,可以实现更好的精度和更高的计算/参数减少。此外,现成的卷积实现提供有限的计算方案,因此,缺乏对具有不同卷积模式的DSC的支持。为此,我们介绍了DSXplore,这是第一个用于在CNN上探索DSC的优化设计。具体而言,在算法层面,DSXplore采用了一种新的因子分解内核-滑动通道卷积(SCC),其特征在于输入通道重叠,以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外,在实现层面上,我们进行了优化的GPU实现定制SCC利用几个关键技术,如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明,DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
Investigation Into The Effectiveness Of Long Short Term Memory Networks For Stock Price Prediction
Colyton Grammar School(科尔顿文法学校)
本文研究了通过时间反向传播训练的长短期记忆网络在股票价格预测中的有效性。一系列不同架构的LSTM网络被构建、训练和测试。
2016-08-28 cs.LG cs.NE
TinyAD: Memory-efficient anomaly detection for time series data in Industrial IoT
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学)
监测和检测网络物理系统中的异常事件对工业生产至关重要。随着工业物联网(IIoT)的普遍部署,收集了大量的时间序列数据以促进用于异常检测的机器学习模型,并且将训练好的模型直接部署在IIoT设备上至关重要。然而,在这些嵌入微控制器(MCU)的内存受限的IIoT设备上部署复杂的深度学习模型(如卷积神经网络(CNN))是最具挑战性的。为了减轻MCU的内存限制,我们提出了一种名为Tiny Anomaly Detection(TinyAD)的新框架,以有效地促进CNN的板载推理,从而进行实时异常检测。首先,我们对用于异常检测的深度可分离CNN和常规CNN进行了全面分析,发现深度可分离卷积运算与传统CNN相比可以将模型大小减少50-90%。然后,为了减少CNN的峰值内存消耗,我们探索了两种互补的策略,原地和逐补丁内存重新调度,并将它们集成到一个统一的框架中。就地方法通过保留临时缓冲区来传输激活结果来降低去卷积的峰值存储器,而逐块方法通过将输入数据切片到相应的感受野并按顺序执行来进一步降低逐层执行的峰值存储器。此外,通过调整卷积滤波器的维数,这些策略适用于单变量时间序列和多域时间序列特征。在真实工业数据集上的大量实验表明,我们的框架可以将峰值内存消耗降低2- 5倍,而计算开销可以忽略不计。
2023-03-07 cs.LG
ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
卷积网络(ConvNets)已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的,这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务,其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算,广泛的网络架构。为了在真正的共享内存机器上实现这样的性能,我们的算法计算收敛在网络的同一节点上的卷积,具有时间局部性,以减少缓存未命中,并通过几乎无等待的并发方法对收敛卷积输出进行求和,以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明,ZNN可以达到大约等于物理核数量的加速比。我们还表明,ZNN可以在多核CPU(Xeon Phi Knights Corner)上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU,而以前算法的SIMD并行性与GPU兼容。通过示例,我们表明ZNN可以比某些GPU实现更快或更慢,这取决于网络架构,内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易,ZNN的开发和维护成本可能更低。
2015-10-22 cs.CV cs.DC cs.LG
Short-term Hourly Streamflow Prediction with Graph Convolutional GRU Networks
The University of Iowa(爱荷华大学)
由于气候变化,洪水的频率和影响预计将增加。预测径流量以及洪水,以便准备和减轻其在财产损失和人员伤亡方面的后果,这一点至关重要。本文提出了一种基于图卷积GRUs的模型来预测未来36小时的径流传感器位置使用上游河流网络。实验结果表明,在短期径流预测中,本研究中提出的模型提供了更好的性能比持久性基线和卷积双向GRU网络为选定的研究区域。
2021-07-07 cs.LG eess.SP
Distributed Deep Convolutional Neural Networks for the Internet-of-Things
Politecnico di Milano(米兰理工大学)
表征物联网(IoT)单元的存储器和计算的严格约束可能会阻止基于深度学习(DL)的解决方案的执行,这通常需要大存储器和高处理负载。为了支持在物联网单元级别实时执行所考虑的DL模型,DL解决方案的设计必须考虑到所选物联网技术所暴露的内存和处理能力的限制。在本文中,我们介绍了一种设计方法,旨在分布式物联网应用上分配卷积神经网络(CNN)的执行。这种方法被形式化为一个优化问题,其中数据收集阶段和随后的决策阶段之间的延迟被最小化,在给定的限制内存和处理负载的单元级。该方法支持多个数据源以及在同一物联网系统上执行的多个CNN,从而允许设计要求自治、低决策延迟和高服务质量的基于CNN的应用程序。
2021-07-28 cs.DC cs.LG stat.ML
Cardiac Arrhythmia Detection from ECG Combining Convolutional and Long Short-Term Memory Networks
PeriGen. Inc.(PeriGen公司);Simon Bolivar University(西蒙·玻利瓦尔大学)
目的:心房颤动(AF)是一种常见的心律失常,与致命和衰弱的后果相关,包括心力衰竭、中风、精神健康状况不佳、生活质量下降和死亡。拥有一个诊断各种类型心律失常的自动系统将有助于心脏病专家采取适当的预防措施,并改善对心脏病的分析。为此,本文介绍了一种新的方法来自动检测和分类心律失常的心电图(ECG)记录。研究方法:所提出的方法使用卷积神经网络(CNN)和长短期记忆(LSTM)单元序列的组合,并使用池化、丢弃和归一化技术来提高其准确性。该网络在每18个输入样本处预测一个分类,我们选择最终的预测进行分类。结果在Physionet Challenge 2017训练数据集上进行了交叉验证,该数据集包含8,528个单导联ECG记录,持续时间从9秒到60秒。结果:使用所提出的结构并且没有明确的特征选择,10倍分层交叉验证在保留的测试数据上给出了0.83.10-0.015的总体F测量(所有折叠的平均值-标准差),并且在Challenge条目服务器的隐藏数据集上给出了0.80。
2018-01-30 cs.LG eess.SP stat.ML
HUGE2: a Highly Untangled Generative-model Engine for Edge-computing
University of California(加利福尼亚大学)
生成模型作为深度学习的一个重要研究方向,近年来得到了广泛的研究。深度学习模型的两个研究分支,生成网络(GANs,VAE)和语义分割,高度依赖于上采样操作,特别是转置卷积和扩张卷积。然而,这两种类型的卷积在输入特征图或内核中分别插入零方面本质上不同于标准卷积。这种独特的性质严重降低了现有深度学习引擎或框架的性能,例如Darknet,Tensorflow和PyTorch,它们主要是为标准卷积开发的。深度学习领域的另一个趋势是将模型部署到边缘/嵌入式设备上,其中内存资源是稀缺的。在这项工作中,我们提出了一个用于边缘计算的高度解纠缠生成模型引擎或HUGE 2,用于通过分解内核并通过执行基本矩阵乘法解开这些较小的卷积来加速边缘计算平台上的这两个特殊卷积。我们提出的方法使用更小的内存占用,因此更少的内存访问,和数据访问模式也大大增加了缓存中已经获取的数据的可重用性,从而增加了缓存的本地化。我们的引擎在嵌入式CPU上实现了近5倍的加速,在嵌入式GPU上实现了约10倍的加速,并减少了50%以上的内存访问。
2021-05-08 cs.CV cs.LG eess.IV
MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对边缘设备内存不足导致卷积神经网络推理延迟高的问题,提出MAFAT方法,通过多组卷积层独立融合分块、内存预测加搜索优化配置,在降内存的同时实现低延迟推理。
2023-07-18 cs.AR cs.LG
Right In-Place (RiP) Convolution: A Simple, General, and Near-Optimal Strategy for Memory-Efficient CNN Inference
PowerLabs Technologies
针对CNN推理中的激活内存瓶颈,提出原位右对齐(RiP)卷积,修正了现有最优公式的缺陷,推广至任意卷积参数,在保持位完全相同输出的同时平均节省24.8%内存,并提升微控制器上可部署模型数量。
2026-10-02 cs.CV cs.LG
Convolutional Long Short-Term Memory (convLSTM) for Spatio-Temporal Forecastings of Saturations and Pressure in the SACROC Field
National Energy Technology Laboratory(国家能源技术实验室);University of Utah(犹他大学);Energy & Geoscience Institute, University of Utah(犹他大学能源与地球科学研究所)
提出基于 convLSTM 的机器学习架构预测 SACROC 油田多孔介质时空参数,使用 30 年数据训练独立模型预测油气水饱和度与压力,实验结果表现良好。
2022-10-15 cs.LG eess.IV
Transfer between long-term and short-term memory using Conceptors
Inria Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南中心);LaBRI, Université de Bordeaux(波尔多大学波尔多计算机科学研究实验室);IMN, Université de Bordeaux(波尔多大学波尔多材料研究所)
我们介绍了一个循环神经网络模型的工作记忆相结合的短期和长期的组件。使用门控储层模型对短期分量进行建模,所述门控储层模型被训练为当门控信号接通时保持来自输入流的值。使用概念器对长期分量进行建模,以便存储内部时间模式(其对应于值)。我们结合这两个组成部分,以获得一个模型,信息可以从长期记忆到短期记忆,反之亦然,我们展示了如何标准操作的概念允许结合长期记忆,并描述其对短期记忆的影响。
2020-03-11 cs.LG cs.NE nlin.AO
Transportation Mode Classification from Smartphone Sensors via a Long-Short-Term-Memory Network
Carl von Ossietzky University(卡尔·冯·奥西茨基大学);OFFIS e.V. Institute for Information Technology(OFFIS信息技术研究所)
本文介绍了一种基于智能手机数据的长短期记忆交通方式分类网络的结构,并对其准确性进行了评估。通过使用长短期记忆网络与常见的预处理步骤,如标准化的分类任务的F1分数的准确度为63.68%的内部测试数据集。我们作为“GanbareAM”团队参加了“SHL认可挑战赛”。
2019-10-10 cs.LG eess.SP
Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution Networks
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学)
针对GCN在GPU上加速面临的工作负载不均与内存访问不规则问题,提出包含度排序、块级分区、组合warp策略的Accel-GCN加速器,其SpMM内核性能显著优于多个现有方案,有效提升GCN计算效率。
2023-08-22 cs.AR cs.LG
Lightweight Convolutional Representations for On-Device Natural Language Processing
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Facebook(脸书)
深度神经网络的计算和存储器复杂性的增加使得难以将它们部署在低资源电子设备(例如,移动电话、平板电脑、可穿戴设备)。从业者已经开发了许多模型压缩方法来解决这些问题,但很少有压缩输入表示本身。在这项工作中,我们提出了一种快速,准确和轻量级的卷积表示,可以交换到任何神经模型中并进行显著压缩(高达32倍),性能降低可以忽略不计。此外,当考虑以资源为中心的指标(例如,模型文件大小、延迟、内存使用)。
2020-02-04 cs.CL cs.LG