Library network, a possible path to explainable neural networks
Allen Institute for Brain Science（艾伦脑科学研究所）
深度神经网络（DNN）在复杂任务中的表现可能优于人脑，但其决策过程缺乏透明度，这让我们质疑在处理高风险问题时是否可以完全信任DNN。由于DNN的操作依赖于大量的并行和顺序线性/非线性计算，预测它们的错误几乎是不可能的。此外，一系列研究表明，DNN很容易被对抗攻击欺骗，这表明它们的决策很容易被意外因素破坏。如果我们打算利用DNN在高风险问题中的效率，就必须克服这种脆弱性。在这里，我们提出了一种算法，可以帮助我们更好地理解DNN的决策过程。我们的经验评估表明，该算法可以有效地跟踪DNN的决策过程从一层到另一层，并检测对抗攻击。
2020-03-17 cs.LG stat.ML
QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration
George Mason University（乔治梅森大学）；University at Buffalo（布法罗大学）
深度神经网络（DNN）的巨大成功是由多个复杂的DNN库高度促进的。相反，尽管一些工作已经证明二次深度神经元网络（QDNN）比一阶DNN显示出更好的非线性和学习能力，但它们的神经元设计从理论性能到实际部署都存在一定的缺陷。在本文中，我们首先提出了一种新的QDNN神经元架构设计，并进一步开发了QDNN库QuadraLib，为QDNN提供架构优化和设计探索。大量的实验表明，我们的设计具有良好的性能，在多个学习任务的预测精度和计算消耗。
2022-04-01 cs.CV cs.LG
Enabling Massive Deep Neural Networks with the GraphBLAS
Massachusetts Institute of Technology（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
深度神经网络（DNN）已经成为机器学习的核心工具。在DNN训练和推理期间执行的计算由描述DNN的权重矩阵上的操作主导。由于DNN包含更多的阶段并且每个阶段包含更多的节点，因此由于内存限制，这些权重矩阵可能需要稀疏。开发GraphBLAS.org数学库标准是为了提供稀疏权重矩阵和输入/输出向量的高性能操作。对于足够稀疏的矩阵，稀疏矩阵库需要比相应的密集矩阵实现少得多的内存。本文简要描述了GraphBLAS的数学基础。此外，一个典型的DNN的方程被重写成一种设计用于使用GraphBLAS的形式。DNN的实现使用初步的GraphBLAS C库。GraphBLAS实现的性能是相对于标准密集线性代数库实现来测量的。对于各种大小的DNN权重矩阵，结果表明，随着权重矩阵变得更稀疏，GraphBLAS稀疏实现优于BLAS密集实现。
2017-08-09 cs.DC cs.LG
Analyzing and Mitigating Data Stalls in DNN Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Microsoft（微软）；VMWare Research（威睿研究院）
训练深度神经网络（DNN）是资源密集型和耗时的。虽然先前的研究已经探索了减少DNN训练时间的许多不同方式，但是输入数据流水线的影响，即，从存储器中取出原始数据项并在存储器中执行数据预处理相对来说尚未被探索。本文做出了以下贡献：（1）我们首次全面分析了输入数据管道如何影响广泛使用的计算机视觉和音频深度神经网络（DNN）的训练时间，这通常涉及复杂的数据预处理。我们分析了三个任务和四个数据集的九种不同模型，同时改变了作为微软大型生产集群一部分的服务器上的内存量、CPU线程数、存储设备、GPU生成等因素。我们发现，在许多情况下，DNN的训练时间主要是由数据停滞时间决定的：等待数据被提取和预处理的时间。(2)我们建立了一个工具，DS-Analyzer使用差分技术精确测量数据失速，并对数据失速进行预测性假设分析。(3)最后，基于我们的分析的见解，我们设计并实现了三个简单但有效的技术在数据加载库，CoorDL，以减轻数据失速。我们在一系列DNN任务、模型、数据集和硬件上的实验表明，当PyTorch使用CoorDL而不是最先进的DALI数据加载库时，DNN训练时间显著减少（在单个服务器上减少多达5倍）。
2021-01-19 cs.DC cs.LG cs.OS
ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining
Brno University of Technology（布尔诺理工大学）；Technische Universität Wien (TU Wien)（维也纳技术大学）
最先进的方法采用近似计算来降低DNN硬件的能耗。近似DNN随后需要大量的重新训练，以从使用近似运算造成的准确性损失中恢复过来。然而，复杂DNN的再训练不能很好地扩展。在本文中，我们证明了可以将有效的近似引入DNN加速器的计算路径中，同时可以完全避免重新训练。ALWANN为定制的低功耗加速器提供高度优化的DNN实现，其中计算单元的数量低于DNN层的数量。首先，一个经过完全训练的DNN被转换为在卷积层中使用8位权重和8位乘法器进行操作。然后从近似乘法器库中为每个计算元件选择合适的近似乘法器，使得（i）一个近似乘法器服务于若干层，以及（ii）总分类误差和能量消耗最小化。包括乘数选择问题的优化是通过多目标优化NSGA-II算法解决的。为了完全避免DNN的计算昂贵的再训练，这通常是用来提高分类精度，我们提出了一个简单的权重更新方案，补偿采用近似乘法器引入的不准确性。所提出的方法进行评估的DNN加速器与近似乘法器从开源的“EvoApprox”库的两个架构。我们报告说，所提出的方法节省了ResNet-50卷积层乘法所需的30%的能量，而准确度仅下降了0.6%。所提出的技术和近似层可作为TensorFlow的开源扩展在https://github.com/ehw-fit/tf-approximate上获得。
2019-07-25 cs.LG cs.NE
Low Error-Rate Approximate Multiplier Design for DNNs with Hardware-Driven Co-Optimization
Fudan University（复旦大学）
本文提出了两种近似的3*3乘法器，在ASAP-7 nm工艺库上的综合结果表明，与精确乘法器相比，它们的面积分别减少了31.38%和36.17%，功耗分别减少了36.73%和35.66%。它们可以与2*2乘法器聚合，以基于DNN权重的分布产生具有低出错率的8*8乘法器。我们提出了一种硬件驱动的软件协同优化方法，通过再训练来提高DNN的精度。基于提出的两个近似3位乘法器，三个近似8位乘法器，具有较低的出错率设计DNN。与精确的8位无符号乘法器相比，我们的设计可以在公共数据集上实现比其他近似乘法器显著的优势。
2022-11-16 cs.AR cs.LG
ApproxTrain: Fast Simulation of Approximate Multipliers for DNN Training and Inference
UNSW Sydney（悉尼新南威尔士大学）；University of Notre Dame（圣母大学）；Garvan Institute of Medical Research（加文医学研究所）；AMD（超威半导体）
深度神经网络（DNN）的边缘训练是连续学习的理想目标;然而，它受到训练所需的巨大计算能力的阻碍。硬件近似乘法器在DNN推理加速器中显示出其获得资源效率的有效性;然而，使用近似乘法器进行训练在很大程度上尚未探索。为了构建具有支持DNN训练的近似乘法器的资源高效加速器，需要对不同DNN架构和不同近似乘法器的训练收敛性和准确性进行全面评估。本文介绍了ApproxTrain，这是一个开源框架，允许使用模拟近似乘法器快速评估DNN训练和推理。ApproxTrain与TensorFlow（TF）一样用户友好，只需要DNN架构的高级描述以及近似乘法器的C/C++功能模型。我们通过使用一种新的基于LUT的近似浮点（FP）乘法器模拟器在GPU（AMSim），提高了在乘法器级的模拟速度。ApproxTrain利用CUDA并有效地将AMSim集成到TensorFlow库中，以克服商业GPU中缺乏原生硬件近似乘法器的问题。我们使用ApproxTrain来评估DNN训练的收敛性和准确性，其中使用LeNets和ResNets架构的小型和大型数据集（包括ImageNet）的近似乘法器。评估表明，与FP 32和bfloat 16乘法器相比，收敛行为相似，测试精度变化可忽略不计。与基于CPU的近似乘法器模拟相比，GPU加速的ApproxTrain的训练和推理速度快2500倍以上。基于高度优化的闭源cuDNN/cuB…
2022-09-23 cs.AI cs.AR cs.LG
PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives
Intel Labs（英特尔实验室）；IIT Hyderabad（印度理工学院海得拉巴分校）
深度学习训练和推理的核心是计算密集型原语，例如形成深度神经网络构建块的卷积。研究人员采取了两种不同的方法来创建深度学习内核的高性能实现，即1）以英特尔MKL-DNN为例的CPU库开发，2）以TensorFlow XLA编译器为代表的自动编译。这两种方法都有各自的缺点：即使定制的库可以提供非常好的性能，但库的开发成本和时间可能很高。内核的自动编译是有吸引力的，但在实践中，到目前为止，自动生成的实现在性能上落后于专家编码的内核几个数量级。在本文中，我们开发了一种混合解决方案来开发深度学习内核，实现了两全其美：专家编码的微内核用于内核的最内层循环，我们使用先进的多面体技术来自动调整外部循环的性能。我们设计了一种新的基于多面体模型的数据重用算法来优化内核的外循环。通过对一类重要的深度学习原语（即卷积）进行实验评估，我们证明了我们开发的方法可达到与英特尔MKL-DNN（一种手工编码的深度学习库）相同的性能水平。
2020-02-06 cs.LG cs.PL
Accelerated Neural Networks on OpenCL Devices Using SYCL-DNN
Codeplay Software Ltd.（Codeplay软件有限公司）
在过去的几年里，机器学习再次引起了人们的兴趣，一些研究表明神经网络在一系列以前被认为非常困难的任务中的有效性。神经网络在图像识别和自然语言处理领域的有效性主要源于公司和研究人员可用的大量数据，以及GPU、FPGA和ASIC等现代加速器中可用的大量计算能力。有许多方法可供开发人员利用GPGPU技术，如SYCL，OpenCL和CUDA，但许多应用程序需要相同的低级数学例程。专用于加速这些常见例程的库允许开发人员轻松地充分利用可用硬件，而无需对硬件本身的低水平知识，但是这些库通常由硬件制造商为特定硬件提供，例如用于Nvidia硬件的cuDNN或用于AMD硬件的MIOpen。SYCL-DNN是一个新的开源库，致力于为神经网络操作提供加速例程，这些操作与硬件和供应商无关。SYCL-DNN建立在SYCL开放标准之上，完全用标准C++编写，允许用户使用现代C++接口轻松加速各种硬件的神经网络代码。该库在AMD的OpenCL for GPU、英特尔的OpenCL for CPU和GPU、ARM的OpenCL for Mali GPU以及ComputeAorta的OpenCL for R-Car CV引擎和主机CPU上进行了测试。在这次演讲中，我们将介绍SYCL-DNN在这一系列硬件上的性能数据，并讨论如何在具有不同硬件功能的各种加速器上实现高性能。
2019-04-08 cs.DC cs.LG cs.PF
A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning
University of Alaska Anchorage（阿拉斯加安克雷奇大学）；Université de Nantes（南特大学）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
深度神经网络（DNN）是一种性能要求极高的应用。浮点（FP）和自定义类浮点运算满足了这种需求。虽然需要速度，但DNN中的推理似乎不需要精度。许多论文通过实验观察到DNN可以在几乎低得可笑的精度下成功运行。本文的目的是双重的：首先，从理论上阐明为什么DNN的FP精度在低FP精度的情况下仍然很高。我们观察到，卷积步骤中相对准确性的损失被激活层恢复，这些激活层是非常良好的。我们给出了DNN中精度和准确性之间的联系的解释。其次，本文提出了一个用于深度学习推理阶段的半自动FP错误分析的软件框架。与常见的Tensorflow/Keras模型兼容，它利用简单的Python/C++库将神经网络转换为C++代码，以分析网络对精度的需求。这种严格的分析基于区间和仿射算法来计算DNN的绝对和相对误差范围。我们用几个例子来展示我们的工具。
2020-02-10 cs.LG
Adaptive Fine-Tuning via Pattern Specialization for Deep Time Series Forecasting
Lamarr Institute for Machine Learning and AI（拉马尔机器学习与人工智能研究所）
本文提出一种基于模式特化的深度时间序列预测自适应微调框架，通过聚类提取主导模式并生成特化模型，结合概念漂移检测机制，在多种DNN架构上实现显著性能提升。
2025-08-11 cs.LG
CodeX: Bit-Flexible Encoding for Streaming-based FPGA Acceleration of DNNs
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文提出了CodeX，一个端到端的框架，有利于编码，位宽定制，微调，并在FPGA平台上实现神经网络。CodeX将非线性编码结合到神经网络的计算流中以节省内存。与原始全精度激活值相比，编码功能需要的存储量明显更低;因此，CodeX硬件引擎的执行流程完全在FPGA内使用片内流缓冲区执行，无需访问片外DRAM。我们进一步提出了一种受强化学习启发的全自动算法，该算法确定了跨网络层的自定义编码位宽。CodeX全栈框架包括一个编译器，它采用任意神经网络架构的高级Python描述。然后，编译器从CodeX硬件库中实例化相应的元素以用于FPGA实现。在MNIST、SVHN和CIFAR-10数据集上进行的概念验证评估表明，与独立权重编码相比，吞吐量平均提高了4.65倍。我们进一步将CodeX与ImageNet上现有的六个全精度DNN加速器进行了比较，结果显示吞吐量和性能功耗比分别平均提高了3.6倍和2.54倍。
2019-01-17 cs.LG stat.ML
Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations
School of Informatics, Aristotle University of Thessaloniki（阿尔基托斯大学信息学院）；School of Engineering, Computing and Mathematics, University of Plymouth（普利茅斯大学工程、计算与数学学院）；School of Informatics, Reutlingen University（鲁特林根大学信息学院）
本文提出了一种在RISC-V架构上通过设计空间探索和编译器优化优化DNN中张量列车分解的方法，以提高计算效率和推理速度。
2026-02-02 cs.AI cs.AR cs.LG
HW-Aware Initialization of DNN Auto-Tuning to Improve Exploration Time and Robustness
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Tübingen（图宾根大学）；Heidelberg University（海德堡大学）
使用ML模型和硬件在环优化DNN运算符的延迟的过程（称为自动调整）已经成为部署神经网络的普遍方法。从循环优化的搜索空间中，必须选择提供最佳性能的候选。通过硬件测量来评估各个配置的性能。可能配置的组合爆炸，以及硬件评估的成本使得在实践中对搜索空间的详尽探索是不可行的。随机森林或强化学习等机器学习方法用于帮助选择硬件评估的候选者。对于x86和GPGPU架构等通用硬件，与cuDNN等手动优化库相比，可以实现令人印象深刻的性能提升。该方法在硬件加速器的空间中也是有用的，其中高性能库并不总是可用的。然而，硬件加速器在其编程方面通常不太灵活，这导致运算符配置在硬件目标上不可执行。这项工作评估这些无效的配置如何影响自动调整过程及其底层的性能预测模型的VTA硬件。根据这些结果，开发了一种有效性驱动的AutoTVM初始化方法，仅需要41.6%的必要硬件测量来找到最佳解决方案，同时提高了搜索鲁棒性。
2022-05-31 cs.LG cs.PF
HALF: Holistic Auto Machine Learning for FPGAs
University of Kaiserslautern（凯泽斯劳滕大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）
深度神经网络（DNN）能够解决与嵌入式系统相关的领域中的复杂问题，例如图像和自然语言处理。为了针对给定的成本标准（例如，能量效率）在特定的FPGA平台上有效地实现DNN，从拓扑结构到最终的硬件实现，必须考虑大量的设计参数。必须考虑并有效探索不同设计层之间的相互依赖性，这使得手动找到优化解决方案变得几乎不可能。自动化、整体化的设计方法可以显著提高DNN在FPGA上的实现质量。为此，我们提出了一个跨层的设计空间探索方法。它包括从DNN的硬件感知拓扑搜索开始到给定FPGA平台的最终优化实现的优化。该方法在我们的FPGA整体自动机器学习（HALF）框架中实现，该框架结合了进化搜索算法，各种优化步骤和可参数化硬件DNN模块库。HALF可在目标FPGA平台上针对各种应用自动执行探索过程和优化解决方案的实施。我们在心律失常检测的医疗用例中展示了HALF的性能，分别用于三种不同的设计目标，即低功耗、低功耗和高吞吐量。我们的FPGA实现在吞吐量和能耗方面都优于Nvidia Jetson平台上的TensorRT优化模型。
2021-10-20 cs.AR cs.LG
MaRVIn: A Cross-Layer Mixed-Precision RISC-V Framework for DNN Inference, from ISA Extension to Hardware Acceleration
School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典）
MaRVIn提出跨层软硬件协同的RISC-V混合精度推理框架，通过新型ISA扩展、可配置混合精度ALU、软SIMD、剪枝感知微调和贪心DSE，在精度损失低于1%时实现平均17.6倍加速和最高1.8 TOPS/W能效。
2025-09-18 cs.AR cs.LG
GPU Acceleration of Sparse Fully Homomorphic Encrypted DNNs
University of Glasgow（格拉斯哥大学）；University of Murcia（穆尔西亚大学）；Northeastern University（东北大学）；AMD（超威半导体公司）
本文提出在AMD GPU上加速深度神经网络中矩阵乘法的方法，利用FIDESlib库优化稀疏矩阵运算，提升运行效率并降低时间复杂度。
2026-04-13 cs.CR cs.DC cs.DS
Stochastic Rounding in Low-Precision Transformer Inference: A Variable-Precision Emulation Study of a Small GPT-2
Krembil Centre for Neuroinformatics（克雷姆比尔神经信息学中心）；Centre for Addiction and Mental Health（成瘾与心理健康中心）；Université Paris-Saclay（巴黎萨克雷大学）；UVSQ（凡尔赛大学）
本研究通过可变精度模拟，发现低精度Transformer推理中随机舍入与就近舍入的效果取决于网络位置，混合配置可显著降低困惑度。
2026-10-09 cs.CL cs.LG
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
带有集成的自动机器学习（或带有集成的AutoML）旨在自动构建深度神经网络（DNN）的集成，以实现定性预测。DNN的包围是众所周知的，以避免过度拟合，但他们是内存和时间消耗的方法。因此，理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力，但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库，然后构建集成。首先，我们广泛的基准测试表明，异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上，提出了一种基于多目标贪心算法的集成选择方法，通过控制计算代价来生成准确的集成。最后，我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Syracuse University（雪城大学）；IBM Research（IBM研究院）；Lehigh University（理海大学）；George Mason University（乔治梅森大学）；DiDi AI Labs（滴滴AI Labs）；Tsinghua University（清华大学）
权重修剪被广泛认为是消除深度神经网络（DNN）中冗余的简单有效的方法，从而在各种平台上实现加速。然而，大多数修剪技术本质上是模型准确性和规律性之间的权衡，这导致推断准确性受损和设备上加速性能有限。为了解决这个问题，我们引入了一个新的稀疏性维度，即基于模式的稀疏性，包括模式和连接稀疏性，并成为高度准确和硬件友好。通过精心设计的模式，本文提出的剪枝方法在不同DNN结构和数据集上实现了前所未有的准确性增强和更好的特征提取能力，同时实现了模式库提取、模式选择、模式和连通性剪枝以及权重训练。我们基于新模式的稀疏性的方法自然适合在移动平台上高效执行DNN的编译器优化。据我们所知，这是移动设备首次实现大规模DNN模型的实时的【形】推理，这要归功于基于模式的稀疏性的独特空间属性和编译器的代码生成能力的帮助。
2020-07-05 cs.CV cs.LG cs.NE
Hardware-Efficient Neuro-Symbolic Networks with the Exp-Minus-Log Operator
本文提出一种结合深度神经网络与Exp-Minus-Log运算符的混合模型，旨在解决传统DNN在安全关键和资源受限环境中的透明性和计算效率问题，通过硬件可实现的Sheffer元素提升可解释性和形式验证可行性。
2026-04-21 cs.LG cs.SY eess.SY
Using GPI-2 for Distributed Memory Paralleliziation of the Caffe Toolbox to Speed up Deep Neural Network Training
Competence Center High Performance Computing（高性能计算能力中心）；Fraunhofer Institute for Industrial Mathematics（弗劳恩霍夫工业数学研究所）
深度神经网络（DNN）目前引起了人们的研究和应用兴趣。这些网络的训练是一项计算密集型和耗时的任务。为了以合理的成本将训练时间减少到最少，我们使用高效的分布式内存通信模式扩展了DNN的流行Caffe工具箱。为了实现良好的可扩展性，我们强调计算和通信的重叠，更喜欢细粒度的同步模式的全球障碍。为了实现这些通信模式，我们依赖于全局地址空间编程接口版本2（GPI-2）通信库。该接口提供了一组轻量级的异步单边通信原语，并辅以非阻塞精细的数据同步机制。因此，Caf- feGPI是我们的Caffe并行版本的名称。第一个基准测试证明了与其他扩展（例如，英特尔TM咖啡馆。即使在具有四个图形处理单元的单个对称多处理机中，CaffeGPI也比标准Caffe工具箱更好地扩展。这些初步结果表明，使用标准的高性能计算（HPC）硬件是一种有效的节省成本的方法来训练大型DDN。I/O是在标准并行HPC设置中使用DDN的另一个瓶颈，我们将在即将发表的论文中详细讨论。
2017-08-18 cs.DC cs.LG
