Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations
Ant Group（蚂蚁集团）
加速深度模型训练和推理在实践中至关重要。现有的深度学习框架通常专注于优化训练速度，而很少关注特定于推理的优化。实际上，模型推理在计算方面不同于训练，例如，在训练期间的每个梯度更新步骤中更新参数，但在推理期间保持不变。模型推理的这些特性为其优化提供了新的机会。在本文中，我们提出了一个硬件感知的优化框架，即啄木鸟DL（WPK），以加速推理，利用多个联合优化的角度，图优化，自动搜索，域特定语言（DSL）编译器技术和系统级探索。在WPK中，我们研究了两种新的自动搜索方法，分别基于遗传算法和强化学习，以寻找针对特定硬件的最佳操作符代码配置。定制的DSL编译器进一步附加到这些搜索算法以生成高效的代码。为了创建优化的推理计划，WPK系统地探索了来自第三方库的高速运算符实现，以及我们自动生成的代码，并挑选出每个运算符的最佳实现供使用。大量的实验表明，在Tesla P100 GPU上，我们可以在单个卷积运算符上实现cuDNN的最大加速比5.40和TVM的最大加速比1.63，并且端到端模型推理的运行速度比TensorRT快1.18倍。
2020-08-11 cs.DC cs.LG
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University（庆应义塾大学）
将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization
Samsung R&D Institute Ukraine (SRK)（三星乌克兰研发中心）
提出了一种有效的循环神经网络训练算法。该方法提高了输入序列的长度可能显著变化的任务的训练速度。所提出的方法是基于最佳的批量分桶输入序列的长度和数据并行多个图形处理单元。将没有序列分桶的基线训练性能与针对不同数量的桶提出的解决方案进行比较。给出了使用LSTM循环神经网络的在线手写识别任务的示例。根据挂钟时间、epoch数和验证损失值执行评估。
2017-08-18 cs.LG cs.NE
Accelerating Deep Learning with Shrinkage and Recall
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
深度学习是一种非常强大的机器学习模型。深度学习需要为多个层训练大量参数，当数据规模大、架构规模大时，速度非常慢。受支持向量机（SVM）算法中用于加速计算的收缩技术和LASSO中用于筛选的技术的启发，提出了一种带召回的收缩深度学习（sDLr）方法来加速深度学习的计算。我们在4个数据集上使用深度神经网络（DNN）、深度信念网络（DBN）和卷积神经网络（CNN）进行了具有召回的深度学习（sDLr）收缩实验。结果表明，使用具有召回的收缩深度学习（sDLr）的加速比可以达到2.0以上，同时仍然提供有竞争力的分类性能。
2016-09-19 cs.CV cs.LG cs.NE
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation（英特尔公司）；Intel Labs（英特尔研究院）
神经架构搜索（NAS）的最新进展，如one-shot NAS，提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段（即超级网络的训练）做出了相当大的努力，但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦，并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架，自动和有效地找到最佳的子网络，优化不同的性能指标和硬件配置。具体来说，我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对，以加速多目标环境中的架构搜索，包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
Accelerating Deep Convolutional Networks using low-precision and sparsity
Intel Labs（英特尔实验室）
我们探索技术，以显着提高深度卷积网络的计算效率和性能，而不影响其准确性。为了提高计算效率，我们专注于用极低精度（2位）权重网络实现高精度，为了加快执行时间，我们积极跳过对零值的操作。在Imagenet对象分类挑战中，我们使用低精度网络\footnote{github release of the source code coming soon}实现了76.6% Top-1/93% Top-5的最高报告准确率，同时与实现类似准确率的全精度网络相比，将计算要求降低了约3倍。此外，为了充分利用我们的低精度网络的优势，我们构建了一个深度学习加速器核心dLAC，它可以实现高达1 TFLOP/mm^2的单精度浮点运算（约2 TFLOP/mm^2的半精度）。
2016-10-02 cs.LG cs.NE
Introspection: Accelerating Neural Network Training By Learning Weight Evolution
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Adobe Systems Inc, Noida（Adobe系统公司诺伊达）；IIT Kanpur（印度理工学院坎普尔分校）
神经网络是函数逼近器，在许多机器学习任务中达到了最先进的精度。尽管它们在准确性方面取得了巨大的成功，但它们的大量训练时间使得它们难以用于各种任务。在本文中，我们探讨了从一个简单的网络学习权值演化模式的想法，以加速新的神经网络的训练。我们使用一个神经网络来学习MNIST分类的训练模式，并利用它来加速用于CIFAR-10和ImageNet分类的神经网络的训练。我们的方法具有较低的内存占用，是计算效率。这种方法也可以与其他优化器一起使用，以提供更快的收敛速度。结果表明，在神经网络的训练过程中的权重演变的一般趋势。
2017-04-17 cs.LG
Accelerating Training of Deep Neural Networks via Sparse Edge Processing
University of Southern California（南加州大学）
我们提出了一种可重构的硬件架构，用于能够在线训练和推理的深度神经网络（DNN），它使用算法预定的结构化稀疏性来显著降低内存和计算需求。这种新颖的架构引入了边缘处理的概念，以提供灵活性，并结合连接流水线和操作并行化，以加快训练。总体效果是将网络复杂性降低高达30倍，训练时间相对于GPU减少高达35倍，同时保持推理结果的高保真度。这有可能使广泛的参数搜索和DNN的基本上未开发的理论基础的发展。该架构自动适应不同的网络规模给定的可用硬件资源。作为概念的证明，我们展示了不同位宽的结果。
2017-11-03 cs.LG cs.NE
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
An optimal scheduling architecture for accelerating batch algorithms on Neural Network processor architectures
Intel Corporation（英特尔公司）
在神经网络拓扑结构中，算法运行在批量数据张量上。批量数据通常被调度到并行执行的计算核心上。对于在批量数据上运行的算法，非常需要通过适当地利用硬件资源来优化批调度架构，从而显著减少训练和推理时间。在本文中，我们提出了加速批处理算法的神经网络，通过调度架构，使最佳的计算能力利用。所提出的优化调度架构可以内置到硬件中，也可以单独在软件中实现，这可以用于加速批处理算法。结果表明，所提出的架构加快了批处理算法相比，以前的解决方案。所提出的想法适用于任何用于神经网络的HPC架构。
2020-02-14 cs.LG cs.PF
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California（南加州大学）
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异，我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果，强调大型随机优化问题的二阶方法的优势和挑战。特别是，我们的工作表明，结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
Towards a learning-based performance modeling for accelerating Deep Neural Networks
University of Perugia（佩鲁贾大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
新兴的应用程序，如深度学习，通常是数据驱动的，因此基于自动调谐器的传统方法在实践中使用的广泛输入范围内性能不佳。在本文中，我们开始研究基于机器学习技术的预测模型，以优化卷积神经网络（CNN）。作为一个用例，我们重点介绍ARM计算库，它提供了三种不同数值精度的卷积运算符的实现。从基准测试的整理开始，我们建立和验证决策树和朴素贝叶斯分类器学习的模型。在基于Midgard的ARM Mali GPU上的初步实验表明，我们的预测模型优于库手动选择的所有卷积运算符。
2022-12-09 cs.LG
Net2Net: Accelerating Learning via Knowledge Transfer
University of Washington（华盛顿大学）；Google Inc.（谷歌公司）
我们介绍了快速传输存储在一个神经网络中的信息到另一个神经网络的技术。其主要目的是加速一个更大的神经网络的训练。在现实世界的工作流程中，人们经常在实验和设计过程中训练许多不同的神经网络。这是一个浪费的过程，每个新模型都是从头开始训练的。我们的Net2Net技术通过将知识从以前的网络即时转移到每个新的更深或更宽的网络来加速实验过程。我们的技术是基于神经网络规范之间的功能保持转换的概念。这与以前的预训练方法不同，这种方法在向神经网络添加层时改变了神经网络所表示的函数。使用我们的知识转移机制来增加Inception模块的深度，我们在ImageNet数据集上展示了一种新的最先进的准确率。
2016-04-23 cs.LG
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University（斯坦福大学）；Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中，我们将重点转向DNN的训练。训练阶段是计算密集型的，需要复杂的数据通信，并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索，以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明，集体通信语义的分层支持的架构提供了灵活性，在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明，较小的网络有利于非批处理技术，而较大的网络的性能更高，使用批处理操作。在45纳米技术下，CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率，利用率超过80%，在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率，利用率超过90%，总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning
University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
深度无监督领域自适应（UDA）近年来受到越来越多的研究者的关注。然而，现有的方法是计算密集的，由于计算成本的卷积神经网络（CNN）采用的大多数工作。到目前为止，还没有有效的网络压缩方法来加速这些模型。在本文中，我们提出了一个统一的传输通道修剪（TCP）的方法来加速UDA模型。TCP能够通过修剪不太重要的通道来压缩深度UDA模型，同时通过减少跨域分布发散来学习可转移特征。因此，它减少了负迁移的影响，保持了目标任务的竞争力。据我们所知，TCP是第一种旨在加速深度UDA模型的方法。TCP在两个基准交换机Office-31和ImageCLEF-DA上进行了验证，两个基准交换机具有两个公共骨干网络VGG 16和ResNet 50。实验结果表明，TCP实现可比或更好的分类精度比其他比较方法，同时显着降低计算成本。更具体地说，在VGG 16中，我们在修剪26%的浮点运算（FLOPs）后获得了更高的准确率;在ResNet 50中，我们在修剪12%的FLOPs后也获得了一半的任务的更高准确率。我们希望TCP将为未来加速迁移学习模型的研究打开一扇新的大门。
2019-03-25 cs.CV cs.LG
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group（阿里巴巴集团）
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化，通过使用定点值替换网络的输入操作数。然后，大部分的计算成本集中在整数矩阵乘法累加。事实上，高位累加器会导致部分计算浪费，而低位累加器通常会发生数值溢出。为了解决这个问题，我们提出了一种溢出感知量化方法，通过设计可训练的自适应定点表示，以优化每个输入张量的位数，同时在计算过程中禁止数值溢出。利用该方法，我们能够充分利用计算能力，以最大限度地减少量化损失，并获得优化的推理性能。为了验证我们的方法的有效性，我们分别在ImageNet，Pascal VOC和COCO数据集上进行图像分类，目标检测和语义分割任务。实验结果表明，该方法可以实现与国家的最先进的量化方法相当的性能，同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
Accelerating Very Deep Convolutional Networks for Classification and Detection
Microsoft Research（微软研究院）
本文旨在加速卷积神经网络（CNN）的测试时计算，特别是对计算机视觉社区产生重大影响的深度CNN。与以前的方法，设计近似线性滤波器或线性响应，我们的方法考虑到非线性单元。我们开发了一个有效的解决方案，从而产生的非线性优化问题，而不需要随机梯度下降（SGD）。更重要的是，虽然以前的方法主要集中在优化一个或两个层，但我们的非线性方法能够实现非对称重建，当多个（例如，>=10）层近似。对于广泛使用的非常深的VGG-16模型，我们的方法实现了4倍的整体模型加速，而ImageNet分类中的前5个错误仅增加了0.3%。当插入Fast R-CNN检测器时，我们的4倍加速VGG-16模型也显示出目标检测的准确性下降。
2015-11-18 cs.CV cs.LG cs.NE
DeepAbstract: Neural Network Abstraction for Accelerating Verification
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
虽然抽象是一个经典的验证工具，可以扩展它，但它并不经常用于验证神经网络。然而，它可以帮助完成将现有算法扩展到最先进的网络架构的仍然开放的任务。我们介绍了一个抽象的框架，适用于全连接前馈神经网络的基础上聚类的神经元，在一些输入的行为相似。对于ReLU的特定情况，我们还提供了抽象所引起的错误范围。我们展示了抽象如何减少网络的大小，同时保持其准确性，以及如何将抽象网络上的验证结果传输回原始网络。
2020-06-24 cs.AI cs.LG cs.LO
Convolution, aggregation and attention based deep neural networks for accelerating simulations in mechanics
University of Luxembourg（卢森堡大学）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
深度学习代理模型越来越多地用于加速科学模拟，以取代昂贵的传统数值技术。然而，在处理现实世界的复杂示例时，它们的使用仍然是一个重大挑战。在这项工作中，我们展示了三种类型的神经网络架构的高度非线性固体变形的有效学习。前两种架构基于最近提出的CNN U-NET和MAgNET（图形U-NET）框架，这些框架在基于网格的数据学习方面表现出了良好的性能。第三种架构是Perceiver IO，这是一种非常新的架构，属于基于注意力的神经网络家族-这类网络已经彻底改变了不同的工程领域，并且在计算力学中尚未探索。我们研究和比较所有三个网络的性能在两个基准的例子，并显示他们的能力，准确地预测软体的非线性力学响应。
2023-03-24 cs.CE cs.LG
Accelerating Neural Networks for Large Language Models and Graph Processing with Silicon Photonics
Colorado State University（科罗拉多州立大学）
本文提出基于硅光子技术的新型硬件加速器，用于加速大语言模型中的Transformer神经网络和图神经网络，实验表明其相比最先进电子加速器实现至少10.2倍吞吐量提升和3.8倍能效提升。
2024-01-12 cs.AR cs.LG
Accelerating Deep Learning Model Inference on Arm CPUs with Ultra-Low Bit Quantization and Runtime
Deeplite Inc.（Deeplite公司）
深度学习是近年来最具颠覆性的技术进步之一。深度学习模型的高性能是以高计算、存储和功耗要求为代价的。意识到迫切需要加速和压缩这些模型以提高设备性能，我们引入了Deeplite Neutrino用于模型的生产就绪优化，并引入Deeplite Neutrino用于在基于Arm的平台上部署超低位量化模型。我们为Armv7和Armv8架构实现了低级量化内核，使其能够部署在大量基于32位和64位Arm的设备上。通过使用矢量化、并行化和平铺的高效实现，我们在分类和检测模型上分别实现了与带有XNNPACK后端的TensorFlow Lite相比高达2倍和2.2倍的加速。我们还实现了高达5倍和3.2倍的显着加速相比，ONNX的分类和检测模型，分别。
2022-07-18 cs.AI cs.LG
Accelerating Physics-Informed Neural Network Training with Prior Dictionaries
National Innovation Institute of Defense Technology, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
物理信息神经网络（PINNs）可以被看作是通用的PDE求解器，但它可能是缓慢的训练PINNs对特定的问题，并没有相应的误差界的理论保证。在这篇手稿中，我们提出了一个变种称为先验字典的物理信息神经网络（PD-PINNs）。PD-PINN配备了任务相关的字典，增强了对任务的表示能力，这有助于捕获字典提供的特征，从而使所提出的神经网络在训练过程中可以实现更快的收敛。在各种数值模拟中，与现有的PINN方法相比，结合先验字典可以显着提高收敛速度。在理论上，我们得到了PINNs和PD-PINNs求解二阶椭圆型偏微分方程的误差界。证明了在一定的温和条件下，神经网络的预测误差可以由偏微分方程的期望损失和边界条件限制。
2020-05-29 cs.LG stat.ML
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data
EPFL（洛桑联邦理工学院）
深度学习模型的分散式训练是通过网络实现数据隐私和设备上学习的关键要素。在现实的学习场景中，不同客户端的本地数据集之间的异质性的存在提出了优化的挑战，并可能严重恶化泛化性能。在本文中，我们调查和确定几个分散的优化算法的局限性，不同程度的数据异构性。我们提出了一种新的基于动量的方法来减轻这种分散训练的困难。我们在各种CV/NLP数据集（CIFAR-10，ImageNet和AG News）和几种网络拓扑（Ring和Social Network）上进行了广泛的实证实验，结果表明，我们的方法对客户端数据的异质性比其他现有方法更鲁棒，测试性能（$1\% \!-\! 20\%$）有显着提高。我们的代码是公开的。
2021-06-18 cs.LG
Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation
Southern University of Science and Technology（南方科技大学）；Shanghai Aircraft Design and Research Institute（上海飞机设计研究院）
为了实现高性能深度卷积神经网络（CNN）的自动化设计，神经结构搜索（NAS）方法在学术界和工业界都变得越来越重要。由于用于性能评估的CNN的随机梯度下降（SGD）训练的成本很高，大多数现有的NAS方法对于实际部署来说计算成本很高。为了解决这个问题，我们首先引入了一个新的性能估计指标，称为随机权重评估（RWE），以具有成本效益的方式量化CNN的质量。RWE只训练其最后一层，而不是完全训练整个CNN，并将随机初始化的权重留给最后一层，这导致在几秒钟内进行单个网络评估。其次，多目标NAS采用复杂度度量来平衡模型大小和性能。总的来说，我们提出的方法获得了一组有效的模型，在两个现实世界的搜索空间与国家的最先进的性能。然后将在CIFAR-10数据集上获得的结果转移到ImageNet数据集上，以验证所提算法的实用性。此外，NAS-Bench-301数据集上的消融研究揭示了与现有方法相比，所提出的RWE在估计性能方面的有效性。
2021-10-08 cs.CV cs.LG cs.NE
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Neural-Initialized Newton: Accelerating Nonlinear Finite Elements via Operator Learning
Institute of Applied Mechanics, RWTH Aachen University（应用力学研究所，亚琛工业大学）
本文提出神经初始化牛顿（NiN）策略，用神经算子预测为牛顿法提供初值，结合神经算子高效性与NFEM稳健性，在保持精度的同时降低非线性固体力学仿真的计算成本。
2025-11-10 cs.LG
Design Flow of Accelerating Hybrid Extremely Low Bit-width Neural Network in Embedded FPGA
IBM Research-China（IBM中国研究院）；University of Notre Dame（圣母大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有低延迟和低能耗的神经网络加速器是边缘计算所期望的。为了创建这样的加速器，我们提出了一个设计流程，用于在嵌入式FPGA中使用混合量化方案加速极低位宽的神经网络（ELB-NN）。该流程涵盖了网络训练和基于FPGA的网络部署，这有助于设计空间探索，并简化了网络精度和计算效率之间的权衡。使用此流程可帮助硬件设计人员在严格的资源和功率限制下在边缘设备中提供网络加速器。我们提出了建议的流程，支持混合ELB设置在一个神经网络。结果表明，我们的设计可以提供非常高的性能峰值在10.3 TOPS和分类高达325.3图像/s/W，而运行大规模神经网络小于5 W使用嵌入式FPGA。据我们所知，与文献中迄今为止报道的GPU或其他FPGA实现相比，它是最节能的解决方案。
2018-10-25 cs.CV cs.DC cs.LG
Accelerating PDE-Constrained Optimization by the Derivative of Neural Operators
Bosch (China) Invest Ltd., Shanghai, China；Dept. of Comp. Sci. \& Techn., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, Tsinghua University
针对神经算子求解PDE约束优化时的数据低效与不稳定问题，提出含面向优化训练、虚拟傅里叶层增强导数学习、混合优化的框架，实现精准的算子及导数学习与鲁棒收敛。
2025-06-16 cs.LG
DeepEverest: Accelerating Declarative Top-K Queries for Deep Neural Network Interpretation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
DeepEverest 是一个通过高效索引和查询执行算法加速深度神经网络激活值上声明式 Top-K 查询的系统，使用不到 20% 的存储实现高达 63 倍的查询加速。
2023-04-02 cs.DB cs.LG
Accelerating Neural Self-Improvement via Bootstrapping
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（瑞士意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）；KAUST（阿卜杜拉国王科技大学）
该研究针对少样本学习效率问题，将自举元学习引入神经网络少样本学习器，通过辅助损失让K样本学习器仅用NK个样本就能匹配更多样本下的性能，在Mini-ImageNet上取得良好效果并开源代码。
2023-05-02 cs.LG
Accelerating Neural Architecture Search using Performance Prediction
MIT Media Laboratory（麻省理工学院媒体实验室）；Harvard University（哈佛大学）
用于神经网络超参数优化和元建模的方法由于需要训练大量的模型配置而在计算上是昂贵的。在本文中，我们证明了标准频率回归模型可以使用基于网络架构，超参数和时间序列验证性能数据的特征来预测部分训练模型配置的最终性能。我们的经验表明，我们的性能预测模型是更有效的比突出的贝叶斯同行，更简单的实现，更快的训练。我们的模型可以预测视觉分类和语言建模领域的最终性能，对于预测急剧变化的模型架构的性能是有效的，甚至可以在模型类之间进行概括。使用这些预测模型，我们还提出了一个提前停止的方法，超参数优化和元建模，它获得了一个因素的加速比高达6倍的超参数优化和元建模。最后，我们的经验表明，我们的早期停止方法可以无缝地结合到基于强化学习的架构选择算法和基于强盗的搜索方法。通过大量的实验，我们的经验表明，我们的性能预测模型和早期停止算法是最先进的预测精度和加速方面实现，同时仍然确定最佳的模型配置。
2017-11-08 cs.CV cs.LG cs.NE
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Microsoft Research AI4Science（微软研究院AI4Science）
NeuralStagger 通过时空分解将物理约束神经 PDE 求解任务拆分为多个可并行的粗分辨率子任务，在保持物理约束训练的同时显著降低计算成本，并在 2D/3D 流体仿真中实现 10 到 100 倍加速。
2023-05-27 cs.LG physics.flu-dyn
NeuraLSP: A Neural Spectral Preconditioner for Accelerating PDE Solvers
Department of Applied Mathematics and Statistics, Stony Brook University（应用数学与统计学系，史泰尼斯布鲁克大学）；Department of Computer Science, Stony Brook University（计算机科学系，史泰尼斯布鲁克大学）
NeuraLSP通过结合新的损失度量标准和左奇异子空间，提供了一种高效的神经预置器，显著提升了共轭梯度方法的收敛速度和鲁棒性。
2026-07-24 cs.AI cs.LG
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics（三星电子DMC研发中心）
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先，为了减少LM查询的数量，引入了对过去的隐藏层输出（历史向量）进行有损压缩并进行缓存。接下来，RNNLM计算以CPU-GPU混合方式部署，在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明，历史向量精度的降低提高了平均识别速度的1.23倍，精度下降最小。另一方面，CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs
University of Utah（犹他大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Illinois Institute of Technology（伊利诺伊理工学院）；University of California, Irvine（加州大学欧文分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）
学习神经常微分方程通常需要解决非常僵硬的常微分方程系统，主要是使用显式自适应步长常微分方程求解器。这些求解器在计算上是昂贵的，需要使用微小的步长来保证数值稳定性和精度。本文考虑使用不同阶数的隐式ODE求解器利用邻近算子学习神经ODE。近似隐式求解器由内部-外迭代组成：内迭代使用快速优化算法近似每个隐式更新步骤，而外迭代随时间求解ODE系统。近似隐式常微分方程求解器保证了在数值稳定性和计算效率方面优于显式求解器。我们在各种具有挑战性的基准任务上验证了近端隐式求解器相对于现有流行神经ODE求解器的优势，包括学习连续深度图神经网络和连续归一化流。
2022-04-19 cs.LG cs.NA math.NA
Accelerating Generative Neural Networks on Unmodified Deep Learning Processors -- A Software Approach
Hefei University of Technology（合肥工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；National University of Singapore（新加坡国立大学）
生成式神经网络是一类新的神经网络，在内容生成、无监督学习、图像分割和姿态估计等方面有着广泛的应用。它通常涉及大量的计算密集型反卷积操作，这些操作不能直接适用于传统的神经网络处理器。然而，先前的工作主要通过对现有深度学习处理器进行密集的硬件修改来研究专用硬件架构，以加速去卷积和卷积。相比之下，这项工作提出了一种新的反卷积实现与软件方法，并使快速和有效的反卷积执行的传统深度学习处理器。我们提出的方法重新组织了反卷积的计算，并允许深度学习处理器通过将原始反卷积滤波器拆分为多个小滤波器来将其视为标准卷积。与现有的加速方案相比，实现的加速方案实现了2.41 - 4.34倍的性能加速，并降低了27.7% - 54.5%的能源消耗在一组现实的基准测试。此外，我们还将反卷积计算方法应用于现成的商品深度学习处理器。反卷积的性能还表现出比现有反卷积实现方式显著的性能加速。
2020-04-29 cs.CV cs.DS cs.LG
Point Proposal Network: Accelerating Point Source Detection Through Deep Learning
University of Pretoria（比勒陀利亚大学）
点源探测技术用于在射电天文测量中识别和定位点源。随着平方公里阵列（SKA）望远镜的发展，巡天图像的尺寸将从千兆像素大幅增加到万亿像素。在SKA探路者望远镜最近进行的调查中，点源探测已经被证明是一个挑战。本文提出了点建议网络（PPN）：一种利用深度卷积神经网络进行快速源检测的点源检测器。在模拟MeerKAT图像上测量的结果表明，尽管与领先的替代方法相比精度较低，但与替代方法不同，PPN执行源检测的速度更快，并且能够扩展到大图像。
2021-02-04 cs.CV cs.LG
ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies
Key Lab of High Confidence Software Technologies, Peking University（北京大学高可信软件技术重点实验室）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学计算社会科学研究所（青岛））；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Kuaishou Technology（快手科技）；Data Platform, TEG, Tencent Inc.（腾讯科技（深圳）有限公司TEG数据平台）
设计神经结构需要大量的人工努力。这促进了神经结构搜索（NAS）的发展，以实现设计的自动化。虽然以前的NAS方法实现了有希望的结果，但运行缓慢，零成本代理运行非常快，但不太有希望。因此，通过这些零成本代理来加速NAS具有很大的潜力。现有的方法有两个局限性，这是不可预见的可靠性和一次性使用。为了解决这些局限性，我们提出了ProxyBO，这是一个高效的贝叶斯优化（BO）框架，它利用零成本代理来加速神经架构搜索。我们应用泛化能力测量来估计在每次迭代过程中代理对任务的适应度，并设计了一种新的获取函数，将BO与零成本代理结合起来，基于它们的动态影响。广泛的实证研究表明，ProxyBO在三个公共基准的五个任务上始终优于竞争基准。具体来说，ProxyBO实现了最高5.41倍和3.86倍的加速比，超过了最先进的REA和BRP-NAS方法。
2023-03-13 cs.LG
A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation
Seoul National University（首尔国立大学）；Sungkyunkwan University（成均馆大学）；SK Hynix（SK海力士）
随着神经网络计算需求的不断增长，已经提出了许多用于神经网络的硬件加速器。这种现有的神经网络加速器通常专注于流行的神经网络类型，如卷积神经网络（CNN）和递归神经网络（RNN）;然而，没有太多的关注注意力机制，一种新兴的神经网络原语，使神经网络能够从知识库，外部存储器或过去的状态中检索最相关的信息。注意力机制被许多最先进的神经网络广泛采用，用于计算机视觉、自然语言处理和机器翻译，并且占总执行时间的很大一部分。我们观察到今天使用矩阵向量乘法实现该机制的实践是次优的，因为注意力机制在语义上是基于内容的搜索，其中大部分计算最终没有被使用。基于这一观察，我们设计并构建了A3，它通过算法近似和硬件专业化来加速神经网络中的注意力机制。我们提出的加速器实现了多个数量级的提高能源效率（性能/瓦），以及大大加快了国家的最先进的传统硬件。
2020-02-22 cs.DC cs.LG
Selective sampling for accelerating training of deep neural networks
Efi Arazi School of Computer Science（埃菲·阿拉齐计算机学院）；The Interdisciplinary Center（跨学科中心）
我们提出了一种选择性采样方法，旨在加速深度神经网络的训练。为此，我们引入了一种新的测量方法，最小边际得分（MMS），它测量输入的最小位移量，直到其预测的分类被切换。对于多类线性分类，MMS度量是基于边缘的选择准则的自然推广，其在二进制分类设置中被深入研究。此外，MMS措施提供了一个有趣的洞察力的培训过程的进展，并可能有助于设计和监测新的培训制度。从经验上讲，我们在为流行的图像分类任务训练常用的深度神经网络架构时表现出了显著的加速。我们的方法的效率进行了比较，对标准的训练程序，并对常用的选择性抽样的替代品：硬负挖掘选择，和基于熵的选择。最后，我们证明了一个额外的加速时，我们采用了更积极的学习下降制度，同时使用MMS选择性采样方法。
2019-11-16 cs.LG stat.ML
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology（麻省理工学院）
近年来，在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而，在现代硬件（如GPU）上很难利用由此产生的非结构化稀疏模式。因此，在权重中施加稀疏结构的修剪策略变得更加流行。然而，这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中，我们介绍了SparseRT，这是一个代码生成器，它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层，当在深度学习中对数百个测试用例进行评估时，我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍，在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积，我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Chainer: A Deep Learning Framework for Accelerating the Research Cycle
Preferred Networks, Inc.（首选网络公司）
神经网络的软件框架在深度学习方法的开发和应用中起着关键作用。在本文中，我们介绍了Chainer框架，它旨在提供一种灵活，直观和高性能的方法来实现研究人员和从业者所需的全方位深度学习模型。Chainer通过CuPy使用图形处理单元和熟悉的NumPy类API提供加速，通过Define-by-Run支持Python中的通用和动态模型，还为最先进的计算机视觉模型和分布式训练提供附加包。
2019-08-01 cs.CV cs.DC cs.LG
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University（亚利桑那州立大学）
本文介绍了Systolic-CNN，这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构，经过优化，可加速多租户云/边缘计算中各种卷积神经网络（CNN）的推理。由于在运行时间支持多个CNN模型的灵活性有限，以及可扩展性差，导致FPGA资源利用不足和计算并行性有限，因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构，有效地探索了空间和时间并行性，以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的，用户可以很容易地对其进行调整，以实现粗粒度计算资源的高达100%的利用率（即，DSP块）。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性，可以在运行时间分时加速各种CNN模型，而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明，对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet，Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟，分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
Physics-Informed Neural Networks for Accelerating Power System State Estimation
ECE Dept., KIOS CoE University of Cyprus Nicosia, Cyprus
本文提出利用物理信息神经网络加速电力系统状态估计，通过整合物理规律降低计算复杂度，实验显示精度提升11%，结果标准差降低75%，收敛速度提高30%。
2023-10-04 cs.LG cs.SY eess.SY
Accelerating Data Loading in Deep Neural Network Training
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Data Centric Systems（数据中心系统）
在大规模系统中，数据加载可以支配深度神经网络训练时间。我们提出了一个全面的研究，在大规模分布式训练中加速数据加载性能。我们首先确定当前数据加载实现中的性能和可伸缩性问题。然后，我们提出了利用CPU资源的数据加载器设计的优化。我们使用一个分析模型来描述数据加载对整体训练时间的影响，并在扩展分布式训练时建立性能趋势。我们的模型表明，I/O速率限制了分布式训练的可扩展性，这启发我们设计了一个本地感知的数据加载方法。通过利用软件缓存，我们的方法可以大大减少数据加载的通信量相比，原来的数据加载实现。最后，我们评估所提出的优化与各种实验。我们使用256个节点和1，024个学习器实现了超过30倍的数据加载加速。
2019-10-02 cs.DC cs.LG cs.PF
Accelerating 3D MULTIPLEX MRI Reconstruction with Deep Learning
United Imaging Intelligence（联影智能）；UIH America, Inc.（联影美国公司）；United Imaging Healthcare（上海联影医疗科技股份有限公司）
多对比度MRI图像提供关于解剖结构特征的互补对比信息，并且通常用于临床实践。最近，多翻转角（FA）和多回波GRE方法（MULTIPLEX MRI）已被开发出来，只需一次扫描即可同时采集多个参数图像。然而，在3D高分辨率环境中使用MULTIPLEX带来了两个挑战：相对较长的扫描时间和用于重建的大量3D多对比度数据。目前，还没有提出基于DL的方法用于3D MULTIPLEX数据重建。我们提出了一个用于欠采样3D MRI数据重建的深度学习框架，并将其应用于MULTIPLEX MRI。所提出的深度学习方法在图像质量和重建时间方面表现出良好的性能。
2021-05-17 cs.LG eess.IV
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations
Johns Hopkins Applied Physics Laboratory（约翰斯·霍普金斯应用物理实验室）
我们提出了一种方法来解决偏微分方程（PDE）使用一组神经网络，我们称之为神经基函数（NBF）。该NBF框架是POD DeepONet算子学习方法的一种新变体，其中我们将一组神经网络回归到降阶本征正交分解（POD）基础上。然后，这些网络与分支网络结合使用，该分支网络摄取规定的PDE的参数以计算PDE的降阶近似。这种方法适用于高速流动条件下（马赫数10-30）的稳态欧拉方程，其中我们考虑了圆柱体周围的二维流动，该流动产生了激波条件。然后，我们使用NBF预测作为高保真计算流体动力学（CFD）求解器（CFD++）的初始条件，以显示更快的收敛。培训和实施该算法的经验教训也将提出。
2022-08-02 cs.LG cs.NA math.NA
Accelerating Quantum Emitter Characterization with Latent Neural Ordinary Differential Equations
Accelerated Computing Systems and Graphics, Intel Corporation（英特尔公司加速计算系统与图形部门）；Massachusetts Institute of Technology（麻省理工学院）
提出一种潜神经常微分方程模型，利用少量含噪光子关联函数预测完整无噪的PCFS实验，将量子发射器表征的实验采集时间缩短20倍。
2024-11-17 cond-mat.mtrl-sci cs.LG quant-ph
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
Steinbuch Centre for Computing (SCC)（施泰因布赫计算中心（SCC））；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；Institute for Software Technology (SC)（软件技术研究所（SC））；German Aerospace Center (DLF)（德国航空航天中心（DLF））
随着数据和模型复杂性的增加，训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长，用户转向数据并行神经网络（DPNN），以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题，我们引入了分布式异步和选择性优化（DASO）方法，该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案，包括节点本地和全局网络，同时在学习过程中调整全局同步速率。我们表明，与其他现有的数据并行训练方法相比，DASO在经典和最先进的网络上的训练时间减少了34%。
2021-04-15 cs.DC cs.LG
Accelerating Deep Learning with Fixed Time Budget
Qatar Mobility Innovations Center (QMIC)（卡塔尔移动创新中心）；Qatar University（卡塔尔大学）
针对深度学习因数据与模型规模大导致训练时间长、难以满足边缘/联邦学习等场景固定时间预算的问题，提出基于样本重要性与动态排序的高效训练方法，经CV任务验证可显著提升多种前沿模型的学习性能。
2024-10-03 cs.CV cs.LG
Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy
Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）；Central Washington University（中央华盛顿大学）
针对 CNN 滤波器剪枝中互信息计算昂贵且易受噪声影响的问题，提出基于空间 aura 熵的改进方法，在 CIFAR-10 上提升了剪枝性能与计算效率。
2023-12-08 cs.CV cs.LG
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Learning Instance-wise Sparsity for Accelerating Deep Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）
探索高效率和低内存使用的深度卷积神经网络对于各种各样的机器学习任务非常重要。大多数现有的方法用于通过操纵参数或过滤器来加速深度模型，而无需数据，例如，修剪和分解。相比之下，我们从不同的角度研究这个问题，尊重数据之间的差异。通过识别不同实例的信息特征，开发了一种实例特征修剪。具体来说，通过研究特征衰减正则化，我们期望深度神经网络中每个实例的中间特征图是稀疏的，同时保持整体网络性能。在在线推理过程中，可以消除由经过良好训练的神经网络的中间层提取的输入图像的细微特征，以加速后续计算。我们进一步采取变异系数作为一种措施，以选择适合加速的层。在基准数据集和网络上进行的大量实验证明了该方法的有效性。
2019-07-27 cs.CV cs.LG
