Parallelized Rate-Distortion Optimized Quantization Using Deep Learning
Qualcomm AI Research(高通人工智能研究院)
率失真优化量化(RDOQ)在诸如H. 264/AVC、H. 265/HEVC、VP 9和AV 1的最近的视频压缩标准的编码性能中起着重要作用。该方案以相对较小的失真增加为代价产生比特率的显著降低。通常,由于RDOQ算法的顺序性质以及它们需要频繁地获得熵编码成本,因此在实时硬件编码器上实现RDOQ算法是非常昂贵的。这项工作使用基于神经网络的方法解决了这一限制,该方法在离线监督训练期间学习权衡速率和失真。由于这些网络仅基于可以在现有神经网络硬件上执行的标准算术运算,因此不需要为专用RDOQ电路保留额外的片上区域。我们训练两类神经网络,一个全卷积网络和一个自回归网络,并评估每一个作为一个后量化步骤,旨在完善廉价的量化方案,如标量量化(SQ)。两种网络架构都被设计为具有低计算开销。在训练之后,它们被集成到HEVC的HM 16.20实现中,并且它们的视频编码性能在H.266/VVC SDR公共测试序列的子集上进行评估。在HM 16.20中对RDOQ和SQ实现进行了比较。与HM SQ锚相比,我们的方法在亮度上实现了1.64%的BD速率节省,并且平均达到迭代HM RDOQ算法性能的45%。
2020-12-11 cs.CV cs.LG
F-CAD: A Framework to Explore Hardware Accelerators for Codec Avatar Decoding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Facebook Reality Labs Research(Facebook现实实验室研究部)
创建具有真实感渲染的虚拟化身是提供高度沉浸式虚拟现实(VR)体验的最重要和最具挑战性的任务之一。它不仅需要复杂的基于深度神经网络(DNN)的编解码器化身解码器来确保高视觉质量和精确的运动表达,还需要高效的硬件加速器来确保使用轻量级边缘设备(如无限制的VR头显)进行流畅的实时渲染。然而,现有的硬件加速器无法提供足够的性能和效率,目标是由多分支DNN组成并需要苛刻的计算和存储器资源的解码器。为了解决这些问题,我们提出了一个自动化框架,称为F-CAD(Facebook编解码器头像加速器设计),探索和提供优化的硬件加速器编解码器头像解码。新技术包括:1)新的加速器架构,以有效地处理多分支DNN; 2)多分支动态设计空间,以实现细粒度的架构配置;以及3)有效的架构搜索,用于基于特定于应用的需求和硬件资源约束来挑选优化的硬件设计。据我们所知,F-CAD是第一个支持编解码器化身解码器硬件加速整个设计流程的自动化工具,允许在流行的机器学习框架中对解码器设计进行联合优化,以及相应的定制加速器设计,并进行周期精确评估。结果表明,F-CAD生成的加速器在运行最新的编解码器化身解码器时,可以提供高达122.1帧每秒(FPS)和91.6%的硬件效率。与最先进的设计相比,F-CAD通过针对相同的硬件设备,实现了比DNNBuilder和HybridDNN高4.0倍和2.8倍的吞吐量,高62.5%和21.2%的效…
2021-03-08 cs.AR cs.CV
GFormer: Accelerating Large Language Models with Optimized Transformers on Gaudi Processors
University of Houston(休斯顿大学);Indiana University(印第安纳大学);Stevens Institute of Technology(史蒂文斯理工学院);Argonne National Laboratory(阿贡国家实验室);Binghamton University(宾汉姆顿大学)
本文提出GFormer方法,通过融合稀疏与线性注意力并设计窗口化自注意力和高效外积内核,在Gaudi处理器上优化大语言模型推理,显著提升效率与性能并超越主流GPU。
2024-12-19 cs.AR cs.LG
A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
Intel Corporation(英特尔公司);Intel Labs(英特尔研究院)
神经架构搜索(NAS)的最新进展,如one-shot NAS,提供了从特定于任务的超级网络中提取专用硬件感知子网络配置的能力。虽然已经为改进第一阶段(即超级网络的训练)做出了相当大的努力,但对衍生的高性能子网络的搜索仍处于探索阶段。流行的方法将超级网络训练与子网络搜索解耦,并使用性能预测器来减少在不同硬件平台上搜索的计算负担。我们提出了一个灵活的搜索框架,自动和有效地找到最佳的子网络,优化不同的性能指标和硬件配置。具体来说,我们展示了进化算法如何在迭代周期中与经过轻度训练的客观预测器配对,以加速多目标环境中的架构搜索,包括机器翻译和图像分类。
2022-05-19 cs.LG cs.NE
RHNAS: Realizable Hardware and Neural Architecture Search
Intel Labs(英特尔实验室)
快速发展的人工智能领域需要自动化方法来协同设计神经网络架构和神经加速器,以最大限度地提高系统效率并解决生产力挑战。为了实现这一巨大空间的联合优化,人们对可微NN-HW协同设计的兴趣越来越大。完全可区分的协同设计降低了发现优化的NN-HW配置的资源需求,但不能适应一般的硬件加速器搜索空间。这是由于在许多硬件加速器的搜索空间中存在不可综合(无效)的设计。为了实现可配置硬件加速器与任意神经网络搜索空间的有效和可实现的协同设计,我们引入RHNAS。RHNAS是一种将用于硬件优化的强化学习与可微神经结构搜索相结合的方法。RHNAS发现了可实现的NN-HW设计,与默认硬件加速器设计相比,ImageNet上的延迟降低了1.84倍,能量延迟积(EDP)降低了1.86倍,CIFAR-10上的延迟降低了2.81倍,EDP降低了3.30倍。
2021-06-17 cs.AR cs.LG cs.NE
Hardware-Aware Neural Architecture Search for Encrypted Traffic Classification on Resource-Constrained Devices
Department of Naval, Electrical, Electronic and Telecommunications Engineering (DITEN), University of Genoa(海军、电气、电子与电信工程系(DITEN),热那亚大学)
本文提出一种硬件高效的深度神经网络,通过硬件感知神经架构搜索优化,实现了在资源受限物联网设备上的加密流量分类。模型在ISCX VPN-nonVPN数据集上达到96.60%的准确率,同时显著降低内存和计算需求。
2026-03-18 cs.LG cs.NI
Low-Cost FlashAttention with Fused Exponential and Multiplication Hardware Operators
Integrated Circuits Lab(集成电路实验室);Electrical and Computer Engineering(电子与计算机工程);Democritus University of Thrace(德米特里乌斯大学)
本文提出融合指数与向量乘法计算的ExpMul硬件算子,优化基于浮点的FlashAttention内核,在28nm ASIC下相比现有架构面积平均减少28.8%、功耗降低17.6%。
2025-05-30 cs.AR cs.LG
FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search
UC Berkeley(加州大学伯克利分校);Facebook Inc.(脸书公司);Princeton University(普林斯顿大学)
为移动设备设计准确高效的ConvNets具有挑战性,因为设计空间组合很大。因此,以前的神经架构搜索(NAS)方法在计算上是昂贵的。ConvNet架构的最优性取决于输入分辨率和目标设备等因素。然而,现有的方法过于昂贵的个案重新设计。此外,以前的工作主要集中在减少FLOP,但FLOP计数并不总是反映实际的延迟。为了解决这些问题,我们提出了一个可区分的神经架构搜索(DNAS)框架,该框架使用基于梯度的方法来优化ConvNet架构,避免像以前的方法那样单独枚举和训练各个架构。FBNets是DNAS发现的一系列模型,它超越了手动设计和自动生成的最先进的模型。FBNet-B在ImageNet上实现了74.1%的top-1精度,在三星S8手机上具有2.95亿FLOPs和23.1 ms的延迟,比MobileNetV 2 -1.3小2.4倍,快1.5倍,具有类似的精度。尽管比MnasNet更高的准确性和更低的延迟,我们估计FBNet-B的搜索成本比MnasNet小420倍,只有216 GPU小时。在不同分辨率和通道大小的搜索中,FBNet的准确率比MobileNetV 2高1.5%至6.4%。最小的FBNet在三星S8上实现了50.2%的准确率和2.9 ms的延迟(每秒345帧)。通过三星优化的FBNet,iPhone-X优化模型在iPhone X上实现了1.4倍的加速。
2019-05-24 cs.CV
ZeroQuant-HERO: Hardware-Enhanced Robust Optimized Post-Training Quantization Framework for W8A8 Transformers
Microsoft(微软)
ZeroQuant-HERO提出硬件增强的W8A8训练后量化框架,同时优化内存带宽与计算密集型算子,并支持INT8模块灵活切换FP16/BF16以提升Transformer推理精度。
2023-10-26 cs.CL cs.LG
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
EDNet: Edge-Optimized Small Target Detection in UAV Imagery -- Faster Context Attention, Better Feature Fusion, and Hardware Acceleration
Sorbonne University(索邦大学);University of California, Berkeley(加州大学伯克利分校);Imperial College London(伦敦帝国学院)
本文提出基于增强 YOLOv10 的 EDNet 边缘检测框架,通过 XSmall 检测头、Cross Concat、C2f-FCA 与 WIoU 提升无人机小目标检测精度和速度。
2025-01-10 cs.AI cs.CV cs.LG
MORPH: Design Co-optimization with Reinforcement Learning via a Differentiable Hardware Model Proxy
Columbia University(哥伦比亚大学)
本文提出 MORPH 方法,利用始终可微的硬件模型代理和强化学习,协同优化硬件参数与长时域控制策略,并在二维到达和三维多指操作任务中验证。
2023-09-29 cs.AI cs.LG cs.RO
Optimized Speculative Sampling for GPU Hardware Accelerators
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·欧姆应用技术大学);KAIST(韩国科学技术院)
本文通过并发计算中间矩阵和用sigmoid近似softmax来优化GPU上的投机采样,在自动语音识别和摘要任务上实现6%到94%的加速,且准确性损失很小。
2024-10-03 cs.CL cs.LG
Low Power Vision Transformer Accelerator with Hardware-Aware Pruning and Optimized Dataflow
Institute of Electronics, National Yang Ming Chiao Tung University(电子研究所,阳明交通大学)
本文提出一种低功耗视觉变换器加速器,通过算法-硬件协同设计,利用硬件友好的动态令牌剪枝和动态FFN2剪枝,减少运算和权重,提升能效与面积效率。
2025-10-16 cs.AR cs.LG
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University(南京大学);SenseTime(商汤科技)
Transformer一直是深度学习中不可或缺的主食。然而,对于现实生活中的应用,这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担,利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2:4稀疏模式来实现模型加速,但它很难满足部署模型时的各种算法和硬件约束。相比之下,我们提出了一个算法硬件协同优化的框架,灵活,有效地加速Transformers,利用一般的N:M稀疏模式。(1)从算法的角度,我们提出了一个稀疏继承机制,随着继承的动态修剪(IDP)的方法,以获得一系列的N:M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案,大大降低了部署所需的存储空间。(2)从硬件的角度来看,我们提出了一个灵活和高效的硬件架构,即STA,实现显着的加速时,部署N:M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎,具有高计算效率,而且具有可扩展的softmax模块,消除了中间片外数据通信的延迟。实验结果表明,与其他方法相比,使用IDP生成的N:M稀疏Transformers在训练效率较高的情况下,准确率平均提高了6.7%。此外,与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比,STA可以分别实现14.47倍和11.33倍的加速比,并且执…
2022-08-12 cs.AR cs.LG
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain(谷歌大脑);Google(谷歌);Stanford University(斯坦福大学)
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术(FAST),这是一个硬件加速器搜索框架,它定义了一个广泛的优化环境,涵盖硬件-软件堆栈中的关键设计决策,包括硬件数据路径,软件调度和编译器通道,如操作融合和张量填充。在本文中,我们分析了最先进的视觉和自然语言处理(NLP)模型中的瓶颈,包括EfficientNet和BERT,并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比,针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比,FAST生成的加速器针对服务一系列工作负载进行了优化,平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明,FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks
UC Davis(加州大学戴维斯分校);NVIDIA(英伟达)
本研究提出Sparsity Roofline可视化性能模型,可联合建模神经网络精度、稀疏度与理论推理加速比,无需优化内核基准测试,经真实视觉架构验证有效,可助力研究人员与硬件设计者评估稀疏模式性能潜力。
2023-11-06 cs.CV cs.LG
Cross-Layer Co-Optimized LSTM Accelerator for Real-Time Gait Analysis
Tallinn University of Technology(塔林理工大学)
本文提出首个跨层协同优化的LSTM加速器,用于实时步态分析,通过软件到布局的全面设计空间探索,优化硬件复杂度与准确性,实现高效实时步态异常检测。
2026-04-15 cs.AR cs.LG
Learning to rank quantum circuits for hardware-optimized performance enhancement
Q-CTRL
提出基于机器学习的量子电路排序方法,通过真实硬件训练预测性能,应用于布局选择,实验表明其在IBM设备上优于随机选择和Mapomatic基线,降低选择误差1.8-3.2倍。
2024-11-21 cs.LG quant-ph
Automated design of error-resilient and hardware-efficient deep neural networks
Bosch Corporate Research(博世企业研究院);RWTH Aachen University(亚琛工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
将深度神经网络(DNN)应用于移动和安全关键型系统(如自动驾驶汽车),需要在硬件上实现可靠、高效的执行。正在开发优化的专用硬件加速器来实现这一目标。然而,由于现代集成电路技术的增加的复杂性及其对硬件故障(诸如随机位翻转)的敏感性,高效且可靠的硬件的设计已经变得越来越困难。因此,期望也在算法侧利用用于错误恢复和效率的优化潜力,例如,通过优化DNN的架构。由于DNN的架构有许多设计选择,对优选特性(例如低延迟下的小出错率)具有部分相反的影响,因此多目标优化策略是必要的。在本文中,我们开发了一种进化优化技术,用于自动设计硬件优化的DNN架构。为此,我们推导出一组易于计算的目标函数,使DNN架构的硬件效率和错误恢复能力的快速评估仅基于网络拓扑结构。我们观察到预测的错误恢复能力和故障注入模拟获得的实际测量之间的强相关性。此外,我们分析了两种不同的量化方案,以实现高效的DNN计算,并发现它们对错误恢复的影响存在显着差异。
2019-09-30 cs.LG stat.ML
Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation
University of California, San Diego(加州大学圣地亚哥分校)
以更短的编译时间实现更快的执行可以使神经网络进一步多样化和创新。然而,目前执行神经网络的范例要么依赖于手工优化的库,传统的编译算法,要么依赖于最近的模拟退火和遗传算法。我们的工作采取了一种独特的方法,将神经网络的编译器优化作为一个强化学习问题,其解决方案需要更少的步骤来收敛。这个解决方案被称为ReLeASE,它带有一个采样算法,该算法利用聚类将昂贵的样本(实际硬件测量)集中在代表性点上,包含整个子空间。我们的自适应采样不仅减少了样本的数量,而且还提高了样本的质量,以便在更短的时间内更好地探索。因此,实际硬件实验表明,具有自适应采样的强化学习在优化时间上比AutoTVM快4.45倍,同时还将现代深度网络的推理时间提高了5.6%。进一步的实验也证实了我们的自适应采样甚至可以将AutoTVM的模拟退火提高4.00倍。
2019-05-30 cs.LG stat.ML
SONIQ: System-Optimized Noise-Injected Ultra-Low-Precision Quantization with Full-Precision Parity
SONIQ框架通过训练时注入硬件校准噪声学习每通道混合精度,在超低比特下达到或超过全精度精度,并在CPU/GPU上实现显著加速,且可部署于通用硬件。
2025-11-09 cs.AR cs.LG cs.PF
HALF: Holistic Auto Machine Learning for FPGAs
University of Kaiserslautern(凯泽斯劳滕大学);Fraunhofer ITWM(弗劳恩霍夫工业数学研究所)
深度神经网络(DNN)能够解决与嵌入式系统相关的领域中的复杂问题,例如图像和自然语言处理。为了针对给定的成本标准(例如,能量效率)在特定的FPGA平台上有效地实现DNN,从拓扑结构到最终的硬件实现,必须考虑大量的设计参数。必须考虑并有效探索不同设计层之间的相互依赖性,这使得手动找到优化解决方案变得几乎不可能。自动化、整体化的设计方法可以显著提高DNN在FPGA上的实现质量。为此,我们提出了一个跨层的设计空间探索方法。它包括从DNN的硬件感知拓扑搜索开始到给定FPGA平台的最终优化实现的优化。该方法在我们的FPGA整体自动机器学习(HALF)框架中实现,该框架结合了进化搜索算法,各种优化步骤和可参数化硬件DNN模块库。HALF可在目标FPGA平台上针对各种应用自动执行探索过程和优化解决方案的实施。我们在心律失常检测的医疗用例中展示了HALF的性能,分别用于三种不同的设计目标,即低功耗、低功耗和高吞吐量。我们的FPGA实现在吞吐量和能耗方面都优于Nvidia Jetson平台上的TensorRT优化模型。
2021-10-20 cs.AR cs.LG
Algorithm and Hardware Co-Design for Efficient Complex-Valued Uncertainty Estimation
Department of Computing, Imperial College London(帝国理工学院计算机系);Southeast University(东南大学)
本文提出基于dropout的贝叶斯复值神经网络,实现复值应用的不确定性量化,并通过自动化搜索方法优化配置,生成定制FPGA加速器,实现更高的性能与更低的硬件成本。
2026-04-21 cs.AR cs.LG
swTVM: Towards Optimized Tensor Code Generation for Deep Learning on Sunway Many-Core Processor
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
深度学习框架和硬件平台的蓬勃发展一直要求高效的编译器能够屏蔽软件和硬件的多样性,以提供应用程序的可移植性。在现有的深度学习编译器中,TVM以其在不同硬件设备上的代码生成和优化效率而闻名。与此同时,Sunway众核处理器凭借其在科学计算和深度学习工作负载方面的诱人计算能力,成为一个有竞争力的候选者。本文结合这两个方向的趋势。具体来说,我们提出了swTVM,扩展了原来的TVM,以支持提前编译的架构,需要交叉编译,如Sunway。此外,我们在编译过程中利用了架构特性,例如用于大规模并行的核心组,用于高带宽内存传输的DMA和用于数据局部性的本地设备内存,以便为Sunway上的深度学习工作负载生成高效的代码。实验结果表明,在六个有代表性的基准测试中,与Sunway上最先进的深度学习框架相比,swTVM生成的代码平均达到1.79倍。这项工作是第一次尝试从编译器的角度来弥合深度学习和Sunway处理器的差距,特别是考虑到生产力和效率。我们相信这项工作将鼓励更多的人接受深度学习和神威众核处理器的力量。
2022-07-11 cs.LG cs.PL stat.ML
COBRA: Algorithm-Architecture Co-optimized Binary Transformer Accelerator for Edge Inference
Department of Electrical Engineering and Computer Science University of California, Irvine, USA(电气工程与计算机科学系 加州大学伊维特分校)
COBRA通过算法-架构协同优化,采用1比特二值乘法单元和注意力模块硬件优化,在边缘FPGA上实现高吞吐和高能效,大幅优于GPU和现有二值加速器。
2025-04-24 cs.AR cs.LG
ORACLE: Optimized Radio clAssification through Convolutional neuraL nEtworks
Northeastern University(东北大学)
本文介绍了ORACLE的体系结构和性能,一种从大量比特相似设备(相同的硬件、协议、物理地址、MAC ID)中检测唯一无线电的方法,该方法仅使用物理层的IQ样本。ORACLE训练一个卷积神经网络(CNN),它平衡了计算时间和准确性,对于16节点USRP X310 SDR测试平台和$>$ 100 COTS WiFi设备的外部数据库,分类准确率达到99\%。我们的工作做出了以下贡献:(i)它研究了发射机链中导致IQ样本变化的以硬件为中心的特征;(ii)对于理想化的静态信道环境,它提出了一种CNN架构,该架构仅需要在前端可访问的原始IQ样本,而无需信道估计或通信协议的先验知识;(iii)对于动态信道,它演示了反馈驱动的发射机侧修改的原理方法,该方法在接收机处使用信道估计来增加CNN分类器的可微性。这里的关键创新是通过软件指令在发射机侧有意地引入受控缺陷,同时最小化误比特率的变化。与以前的工作,施加恒定的环境条件下,ORACLE采用“训练一次部署在任何地方”的范例与近乎完美的设备分类精度。
2018-12-03 cs.LG eess.SP
LoRaQ: Optimized Low Rank Approximation for 4-bit Quantization
Computer Vision Laboratory, Ecole Polytechnique Fédérale de Lausanne, Lausanne, Switzerland(瑞士洛桑联邦理工学院计算机视觉实验室);Research and Advancement Development Team, Advanced Micro Devices, Inc, USA(美国高级微器件公司研发与进步发展团队)
LoRaQ通过简化校准方法,实现了无需高精度分支的4位量化优化,首次提出全子16位流水线,提升Pixart-$Σ$和SANA模型性能。
2026-04-20 cs.LG
Intel nGraph: An Intermediate Representation, Compiler, and Executor for Deep Learning
Intel(英特尔)
深度学习(DL)社区每年都会发布许多新颖的拓扑。在每个新拓扑上实现高性能仍然具有挑战性,因为每个拓扑都需要一定程度的手动工作。框架和硬件平台的激增使这个问题变得更加复杂。当前的方法,我们称之为“直接优化”,需要在每个框架内进行深入的更改,以提高每个硬件后端(CPU,GPU,FPGA,ASIC)的训练性能,并需要$\mathcal{O}(fp)$的努力;其中$f$是框架的数量,$p$是平台的数量。虽然针对深度学习原语的优化内核是通过英特尔深度神经网络数学内核库(MKL-DNN)等库提供的,但仍有几种受编译器启发的方法可以进一步优化性能。基于我们创建neon(GPU上的快速深度学习库)的经验,我们开发了英特尔nGraph,这是一个即将开源的C++库,可简化跨框架和硬件平台实现优化的深度学习性能。最初支持的框架包括TensorFlow,MXNet和Intel neon框架。最初的后端是英特尔架构CPU(CPU)、英特尔(R)神经网络神经网络处理器(R)(NNP)和NVIDIA GPU。当前支持的编译器优化包括高效的存储管理和数据布局抽象。在本文中,我们描述了我们的整体架构及其核心组件。在未来,我们设想将nGraph API支持扩展到更广泛的框架,硬件(包括FPGA和ASIC)和编译器优化(训练与推理优化,通过有效的子图分区进行多节点和多设备扩展,以及特定于硬件的复合操作)。
2018-01-30 cs.DC cs.LG
Tawa: Automatic Warp Specialization for Modern GPUs with Asynchronous References
Cornell University(康奈尔大学);NVIDIA(英伟达)
Tawa通过自动编译器实现GPU扭曲专精,利用异步引用抽象,提升LLM内核性能1.1-1.2倍,减少编程努力。
2025-12-10 cs.AR cs.LG cs.PL
Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
National Institute of Standards and Technology(美国国家标准与技术研究院);University Colorado Boulder(科罗拉多大学博尔德分校)
提出无需反向传播的MGD零阶优化框架,可在线训练模拟或数字硬件神经网络,在CIFAR-10和Fashion-MNIST上表现可比反向传播,且现实硬件条件下训练速度快数个数量级。
2023-03-05 cs.LG cs.NE
TQml Simulator: optimized simulation of quantum machine learning
TQml模拟器通过优化量子电路各层的模拟方法,显著提升量子机器学习算法的模拟效率。
2026-02-16 cs.ET cs.LG cs.PF
Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation
Northeastern University(东北大学);University of Connecticut(康涅狄格大学);George Mason University(乔治梅森大学);Florida International University(佛罗里达国际大学)
最先进的DNN结构涉及密集的计算和高内存存储。为了缓解这些挑战,忆阻器交叉阵列已经成为DNN应用的内在合适的矩阵计算和低功耗加速框架。然而,忆阻器交叉阵列架构上的极端模型压缩的高精度解决方案仍在等待解开。在本文中,我们提出了一种基于忆阻器的DNN框架,该框架通过结合交替方向乘法器(ADMM)算法将结构化权重修剪和量化相结合,以获得更好的修剪和量化性能。我们还发现了ADMM解决方案的非最优权修剪和未使用的数据路径结构化修剪模型。受这些发现的启发,我们设计了一个软硬件协同优化框架,其中包含第一个提出的网络净化和未使用的路径删除算法,目标是在ADMM步骤之后对结构化修剪模型进行后处理。通过将忆阻器硬件约束纳入我们的整个框架,我们在最先进的神经网络结构上实现了极高的压缩比,同时精度损失最小。对于量化结构化修剪模型,我们的框架在将权重量化为8位忆阻器权重表示后几乎没有精度损失。我们在匿名链接https://bit.ly/2VnMUy0上分享我们的模型。
2019-08-27 cs.AR cs.ET cs.LG
Hardware Trojan Attacks on Neural Networks
Clemson University(克莱姆森大学)
随着机器学习的日益普及和对计算能力的不断增长的需求,对神经网络和其他机器学习模型的硬件优化实现的需求不断增长。随着技术的发展,机器学习或人工智能将很快以训练有素的模型的形式成为消费电子产品和军事装备。不幸的是,制造硬件的现代无晶圆厂商业模式虽然经济,但却导致供应链的安全性不足。在本文中,我们阐明了这些安全问题,通过引入硬件木马攻击神经网络,扩大目前的分类神经网络安全,将这种性质的攻击。为了帮助这一点,我们开发了一个新的框架,用于插入恶意硬件木马的实施神经网络分类器。我们通过在卷积神经网络上实现攻击算法,同时控制对手可用的各种参数,来评估对手在这种情况下的能力。实验结果表明,该算法通过在任意7层卷积神经网络的第5隐层的$0.03\%$中注入硬件木马,可以有效地将输入触发器分类为MNIST数据集上的指定类,而在测试数据下无法检测到。最后,我们讨论了潜在的防御,以保护神经网络免受硬件木马攻击。
2018-06-14 cs.CR cs.LG stat.ML