Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization
Tsinghua University(清华大学)
本文提出一种混合离线-在线调度方法,通过MIP建模、最小化完工时间装箱及在线抢占调度,提升LLM推理系统利用率至89.1%,并缩短推理时间。
2025-02-14 cs.AI cs.AR cs.DC
Hardware Utilization and Inference Performance of Edge Object Detection Under Fault Injection
Hamm-Lippstadt University of Applied Sciences (HSHL)(哈姆-利普施塔特应用科学大学(HSHL))
研究通过故障注入测试评估了TensorRT优化的YOLO模型在边缘平台上的硬件行为,发现其在资源降级下保持稳定性能,为边缘推断可靠性提供硬件层面的视角。
2026-05-15 cs.AI cs.DC
A Measurement Study of LLM Inference Trade-offs Across Edge Continuum Hardware
University of Cyprus(塞浦路斯大学);University of Nicosia(尼科西亚大学)
本研究测量了边缘连续体上LLM推理的权衡,发现GPU服务器延迟最低、Jetson Orin能耗更低,且参数大小不能预测性能,需考虑流式开销优化部署。
2026-09-09 cs.AI cs.DC cs.LG
LightCode: Compiling LLM Inference for Photonic-Electronic Systems
Research Laboratory of Electronics, Massachusetts Institute of Technology(麻省理工学院电子研究实验室)
LightCode提出面向光子-电子混合系统的LLM推理编译框架与模拟器,通过堆叠图中间表示和受约束子图选择优化延迟或能耗,在GPT-2和Llama-7B预填充阶段实现最高50%节能和超10倍延迟改进。
2025-09-19 cs.AI cs.PL physics.app-ph
Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
University of Oxford(牛津大学)
本研究测量86个开放权重LLM在7个基准、6种硬件上的推理能效,发现能力相近模型能效差异大,推理提升能力但增能耗,FP8降能耗且不影响分数,主张报告基准分数时同步报告实测能耗。
2026-10-14 cs.AI cs.PF
MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan(密歇根大学)
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题,提出MoE-Lens系统,通过整体性能建模识别硬件瓶颈并优化资源利用率,实现高吞吐量推理,性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
Large Language Model Inference Acceleration: A Comprehensive Hardware Perspective
Shanghai Jiao Tong University(上海交通大学);SII(上海创新研究院);Infinigence-AI
本文从硬件视角全面调研生成式大语言模型的推理加速技术,梳理多类硬件平台的优化方法并对比性能,指出三大未来发展趋势。
2025-06-13 cs.AR cs.LG
PREBA: A Hardware/Software Co-Design for Multi-Instance GPU based AI Inference Servers
KAIST(韩国科学技术院);Google(谷歌公司)
针对NVIDIA多实例GPU(MIG)在AI推理服务器中因数据预处理导致的性能瓶颈,提出软硬件协同设计PREBA,通过FPGA加速器和动态批处理系统,实现吞吐量、能效等关键指标的显著提升。
2024-11-28 cs.AI cs.AR cs.DC
Hardware-conscious Software Training for Deep Neural Network Inference Accelerator Chips to Recover Accuracy Degradation due to Hardware Variabilities
Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息·生产系统研究科)
针对芯片制造导致硬件变异影响DNN推理精度的问题,提出硬件感知软件训练(HCST)方法,以恢复精度并实现高推理精度。
2026-09-07 cs.AR cs.ET
A Hardware Evaluation Framework for Large Language Model Inference
Princeton University(普林斯顿大学)
提出 LLMCompass 硬件评估框架,通过自动映射调度和面积成本模型快速准确评估 LLM 推理硬件,并据此发现相比 A100 性能/成本最高提升 3.41 倍的设计。
2023-12-05 cs.AR cs.DC cs.LG
ProbLP: A framework for low-precision probabilistic inference
KU Leuven(鲁汶大学);MICAS;DTAI
贝叶斯推理是智能边缘设备中概率推理的一种强大机制。在这样的推断期间,低精度算术表示可以实现改进的能量效率。然而,其对推理准确性的影响尚未被理解。此外,通用硬件本身不支持低精度表示。为了解决这个问题,我们提出了ProbLP,这是一个自动分析和设计低精度概率推理硬件的框架。它会根据最坏情况下的误差范围和硬件能量模型自动选择适当的节能表示。它为所产生的推理网络生成定制硬件,利用并行,流水线和低精度操作。该框架在几个嵌入式传感基准上进行了验证。
2021-02-27 cs.AR cs.LG cs.NA
Hardware-accelerated Simulation-based Inference of Stochastic Epidemiology Models for COVID-19
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Graphcore(Graphcore公司);Graphcore Research(Graphcore研究院)
流行病学模型是理解和控制大规模流行病的核心。一些流行病学模型需要基于模拟的推理,如近似贝叶斯计算(ABC),以适应其参数的观察。ABC推理非常适合高效的硬件加速。在这项工作中,我们开发了COVID-19随机流行病学模型的并行ABC推理。统计推理框架在Intel Xeon CPU、NVIDIA Tesla V100 GPU和Graphcore Mk 1 IPU上实现并进行了比较,并在其计算架构的背景下讨论了结果。结果显示,GPU是Xeon CPU的4倍,IPU是Xeon CPU的30倍。广泛的性能分析表明,IPU和GPU之间的差异可以归因于更高的通信带宽,内存与计算的紧密性,以及IPU中更高的计算能力。所提出的框架可扩展到16个IPU,进行的实验的扩展开销不超过8%。我们提出了我们的框架在实践中的一个例子,在三个国家的流行病学模型上进行推理,并简要概述了结果。
2020-12-23 cs.AI cs.AR cs.DC
MicroRec: Efficient Recommendation Inference by Hardware and Data Structure Solutions
ETH Zurich(苏黎世联邦理工学院);Columbia University(哥伦比亚大学);Alibaba Group(阿里巴巴集团)
深度神经网络广泛应用于个性化推荐系统中。与常规DNN推理工作负载不同,推荐推理是内存受限的,因为需要许多随机内存访问来查找嵌入表。推理在延迟方面也受到很大的限制,因为为用户生成推荐必须在大约几十毫秒内完成。在本文中,我们提出了MicroRec,推荐系统的高性能推理引擎。MicroRec通过以下方式加速推荐推理:(1)重新设计嵌入中涉及的数据结构,以减少所需的查找次数;(2)利用FPGA加速器中的高带宽存储器(HBM)的可用性,通过启用并行查找来解决延迟问题。我们已经在FPGA板上实现了所得到的设计,包括嵌入查找步骤以及完整的推理过程。与优化的CPU基线(16 vCPU,AVX 2启用)相比,MicroRec在吞吐量方面仅在嵌入查找上实现了13.8~ 14.7倍的加速,在整个推荐推理上实现了2.5 ~ 5.4倍的加速。至于延迟,基于CPU的引擎需要毫秒来推断推荐,而MicroRec只需要微秒,这在实时推荐系统中是一个显著的优势。
2021-02-19 cs.AI cs.AR cs.IR
Fixflow: A Framework to Evaluate Fixed-point Arithmetic in Light-Weight CNN Inference
Sharif University of Technology(谢里夫理工大学)
卷积神经网络(CNN)广泛用于物联网应用中的资源受限设备。为了减少计算复杂性和内存占用,资源受限的设备使用定点表示。与浮点表示相比,这种表示在硬件中消耗更少的面积和能量,具有类似的分类精度。然而,为了采用低精度定点表示,需要各种考虑以获得高精度。虽然提出了许多量化和重新训练技术来提高推理精度,但这些方法非常耗时,并且需要访问整个数据集。本文研究了不同定点硬件单元对CNN推理精度的影响。为此,我们提供了一个名为Fixflow的框架来评估在硬件级别执行的定点计算对CNN分类精度的影响。我们可以在硬件加速器上采用不同的定点考虑因素。这包括舍入方法和调整定点运算结果的精度。Fixflow可以确定采用不同算术单元(如截断乘数)对CNN分类准确性的影响。此外,我们评估这些单元的硬件加速器的能源和面积消耗。我们在两个常见的MNIST和CIFAR-10数据集上进行实验。我们的研究结果表明,采用不同的方法在硬件水平,特别是低精度,可以显着改变分类精度。
2023-02-19 cs.AR cs.LG
Photonic Reconfigurable Accelerators for Efficient Inference of CNNs with Mixed-Sized Tensors
基于光子微谐振器(MRR)的硬件加速器已被证明可以为处理深度卷积神经网络(CNN)提供破坏性的加速和能效改进。然而,以前的基于MRR的CNN加速器无法为具有混合大小张量的CNN提供有效的适应性。这样的CNN的一个示例是深度可分离的CNN。在这种不灵活的加速器上使用混合大小的张量执行CNN的推理通常会导致硬件利用率低,这会降低加速器可实现的性能和能效。在本文中,我们提出了一种新的方式,在基于MRR的CNN加速器中引入可重构性,以实现加速器硬件组件和使用硬件组件处理的CNN张量之间的大小兼容性的动态最大化。基于加速器中所用硬件组件的布局和相对位置,我们将来自先前工作的最先进的基于MRR的CNN加速器分为两类。然后,我们使用我们的方法在这两个类的加速器中引入可重构性,从而提高它们的并行性,有效映射不同大小,速度和整体能源效率的张量的灵活性。我们评估我们的可重构加速器对三个以前的作品面积比例的前景(所有加速器的硬件面积相等)。我们对四种现代CNN的推理进行的评估表明,与先前工作中基于MRR的加速器相比,我们设计的可重构CNN加速器在每秒帧数(FPS)和FPS/W方面的改进高达1.8倍。
2022-07-12 cs.AI cs.AR cs.CV
HASI: Hardware-Accelerated Stochastic Inference, A Defense Against Adversarial Machine Learning Attacks
The Ohio State University(俄亥俄州立大学)
深度神经网络(DNN)被用于越来越多的应用中,其中一些是安全关键的。不幸的是,已知DNN容易受到所谓的对抗攻击的攻击,这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。已经提出了多种防御来增加DNN的鲁棒性。一般来说,这些防御具有很高的开销,有些需要对模型进行特定于攻击的重新训练或仔细调整以适应不同的攻击。本文介绍了HASI,一种硬件加速的防御,它使用我们称为随机推理的过程来检测对抗性输入。我们表明,通过在推理时仔细地将噪声注入模型,我们可以区分敌对输入和良性输入。HASI使用与非噪声参考相比的噪声推断的输出分布特征来检测对抗性输入。当应用于VGG 16时,我们显示出86%的对抗检测率,当应用于ResNet 50时,我们显示出93%的对抗检测率,这超过了最先进方法的检测率,并且开销要低得多。我们展示了两个软件/硬件加速的协同设计,相对于未受保护的基线,它将随机推理的性能影响降低到1.58X-2X,而纯软件GPU实现的开销为15 X-20 X。
2021-08-06 cs.AR cs.CR cs.LG
Rescaling-Aware Training for Efficient Deployment of Deep Learning Models on Full-Integer Hardware
NXP Semiconductors(恩智浦半导体);University of Bremen(不来梅大学)
针对纯整数AI推理中整数重缩放成本高昂的问题,提出重缩放感知训练方法,通过对重缩放乘数施加强量化并微调,在位宽减少8倍的情况下无损精度,实现更高效的嵌入式推理。
2025-10-13 cs.AR cs.LG
On the Mitigation of Read Disturbances in Neuromorphic Inference Hardware
非易失性存储器(NVM)单元在神经形态硬件中用于存储模型参数,所述模型参数被编程为电阻状态。NVM遭受读取干扰问题,其中在推断期间重复访问单元时编程的电阻状态漂移。电阻漂移会降低推理精度。为了解决这个问题,有必要定期重新编程模型参数(高开销操作)。我们研究了NVM单元的读干扰故障。我们的分析表明,模型特性,如突触激活和临界性,以及用于读取电阻状态的电压在推理过程中的强烈依赖。我们提出了一个系统软件框架,将这种依赖关系的编程模型参数的NVM细胞的神经形态硬件。我们的框架由一个凸优化公式组成,其目的是实现具有更多激活并且是关键的突触权重,即,那些对在推断期间暴露于较低电压的NVM单元上的准确性具有高影响的因素。通过这种方式,我们增加了两次连续重新编程模型参数之间的时间间隔。我们评估我们的系统软件与许多新兴的推理模型上的神经形态硬件模拟器,并显示出显着减少系统开销。
2022-01-27 cs.AR cs.NE
ALADIN: Accuracy-Latency-Aware Design-space Inference Analysis for Embedded AI Accelerators
ALADIN是一种面向嵌入式AI加速器的精度-延迟感知设计空间推理分析框架,通过混合精度量化神经网络的渐进细化过程,实现对精度、延迟和资源消耗的高效评估与优化。
2026-02-12 cs.AI cs.AR cs.LG
Model-Architecture Co-Design for High Performance Temporal GNN Inference on FPGA
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
时态图神经网络(TGNNs)是一种在时态图上捕捉时态、结构和上下文信息的强大模型。在许多下游任务中,生成的时间节点嵌入优于其他方法。现实世界的应用需要高性能的实时流动态图的推理。然而,这些模型通常依赖于复杂的注意力机制来捕捉时间邻居之间的关系。此外,维护顶点存储器受到内在的时间数据依赖性的影响,这阻碍了任务级并行性,使其在通用处理器上效率低下。在这项工作中,我们提出了一种新的模型架构的协同设计,在基于内存的TGNNs的FPGA上的推理。我们提出的关键建模优化包括一个轻量级的方法来计算注意力分数和相关的时间邻居修剪策略,以进一步减少计算和内存访问。这些都与利用FPGA硬件的关键硬件优化相结合。我们用基于FIFO的硬件采样器代替时间采样器,用查找表代替时间编码器。我们使用知识蒸馏来训练我们的简化模型,以确保与原始模型相似的精度。利用模型优化,我们提出了一个原则性的硬件架构,使用并行处理,流水线,和预取技术,以进一步提高性能。我们还提出了一个硬件机制,以确保按时间顺序的顶点更新,而不牺牲计算并行性。我们评估三个真实世界的数据集上的性能的硬件加速器。
2022-03-10 cs.AR cs.LG
SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN Accelerators for Edge Inference
University of Glasgow(格拉斯哥大学);Northeastern University(东北大学)
边缘计算设备固有地面临严格的资源约束,这在部署具有高内存和计算需求的深度神经网络(DNN)时尤为明显。FPGA通常用于边缘设备。由于这些可重构电路可以实现比通用处理器更高的吞吐量和更低的功耗,因此它们特别适合DNN加速。然而,为边缘设备设计基于FPGA的DNN加速器的现有解决方案具有很高的开发开销,因为重复的FPGA合成通道、在模拟设计的硬件描述语言(HDL)中的重新实现以及加速器系统集成的成本。在本文中,我们提出了SECDA,这是一种新的硬件/软件协同设计方法,可以减少使用FPGA的边缘设备上优化DNN推理加速器的设计时间。SECDA将经济高效的SystemC仿真与硬件执行相结合,通过缩短设计评估时间来简化设计空间探索和开发过程。作为一个案例研究,我们使用SECDA在PYNQ-Z1板上有效地开发了两种不同的DNN加速器设计,PYNQ-Z1板是一个包含边缘FPGA的平台。我们快速迭代地探索系统的硬件/软件堆栈,同时识别和缓解性能瓶颈。我们评估了两个加速器设计与四个常见的DNN模型,实现了平均性能加速高达3.5 $\times$的模型与2.9 $\times$减少能源消耗超过CPU的推理。我们的代码可在https://github.com/gicLAB/SECDA上获得
2021-10-01 cs.AR cs.DC cs.LG
Continuous-Flow Data-Rate-Aware CNN Inference on FPGA
Department of Applied Computer Science, Fulda University of Applied Sciences(应用计算机科学系,弗劳达应用科学大学);Department of Electronic Engineering, ETSI de Telecomunicación, Universidad Politécnica de Madrid(电子工程系,马德里理工大学电信学院);Department of Electrical Engineering, Linköping University(电气工程系,林雪平大学)
本文提出了一种数据率感知的连续流CNN架构,通过优化硬件利用率达到接近100%,实现了在FPGA上高效运行复杂CNN模型。
2026-03-07 cs.AI cs.AR cs.LG
HAPM -- Hardware Aware Pruning Method for CNN hardware accelerators in resource constrained devices
Universidad Tecnológica Nacional(阿根廷技术大学)
本文提出一种面向FPGA的通用CNN硬件架构及硬件感知剪枝方法HAPM,通过动态利用剪枝导致的稀疏性,在资源受限设备上实现低能耗与可接受推理时间的平衡,推理时间较标准剪枝提升45%。
2024-08-26 cs.AI cs.AR
SigmaQuant: Hardware-Aware Heterogeneous Quantization Method for Edge DNN Inference
Embedded Systems Laboratory (ESL), EPFL, Switzerland(嵌入式系统实验室(ESL),EPFL,瑞士);University of Applied Sciences and Arts Western Switzerland (HES-SO), Switzerland(应用科学与艺术西瑞士大学(HES-SO),瑞士)
SigmaQuant 是一种面向边缘 DNN 推理的自适应异构量化方法,通过动态分配不同比特宽度以优化精度与资源使用平衡。
2026-03-03 cs.AR cs.LG
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中,对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围,这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂,特别是对于训练。我们提出TRIM,这是一种基础设施,可以帮助硬件架构师探索深度神经网络加速器的设计空间,以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估,同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标,TRIM可以快速探索不同的硬件设计选项,选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间,通过几个案例研究。TRIM是一个强大的工具,可以帮助架构师评估不同的硬件选择,以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference
Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
针对LLM推理预填充与解码阶段硬件需求不匹配的问题,提出专用芯片SPAD,以“少即是多”设计分别优化两阶段,在保持性能的同时显著降低硬件成本与功耗。
2025-10-09 cs.AR cs.DC cs.LG
The Hardware Lottery
Google Research, Brain Team(谷歌研究院大脑团队)
硬件,系统和算法研究社区在历史上有不同的激励结构和波动的动机,以明确地相互参与。考虑到硬件和软件经常决定哪些研究思想成功(和失败),这种历史处理是奇怪的。本文引入了硬件彩票这个术语来描述一个研究想法获胜的情况,因为它适合现有的软件和硬件,而不是因为这个想法优于其他研究方向。早期计算机科学历史上的例子说明了硬件彩票如何通过将成功的想法视为失败来延迟研究进展。这些经验教训尤其突出,因为领域专用硬件的出现使得偏离研究思路的常规变得越来越昂贵。这篇文章认为,计算进步带来的收益可能会变得更加不平衡,某些研究方向进入快车道,而另一些研究方向的进展则进一步受阻。
2020-09-21 cs.AI cs.AR cs.CY
ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University(东北大学);Syracuse University(雪城大学);SUNY University at Buffalo(纽约州立大学布法罗分校);University of Southern California(南加利福尼亚大学)
为了促进深度神经网络(DNN)的高效嵌入式和硬件实现,研究了DNN模型压缩技术的两个重要类别:权重修剪和权重量化。前者利用权重数量的冗余,而后者利用权重的比特表示的冗余。然而,缺乏DNN的联合权重修剪和量化的系统框架,从而限制了可用的模型压缩比。此外,除了简单的模型大小减小之外,还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制,我们提出了ADMM-NN,这是DNN的第一个算法-硬件协同优化框架,使用交替方向乘法(ADMM),这是一种强大的技术,可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术,在每次ADMM迭代中动态更新正则化目标,从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化,以促进硬件级实现。在没有精度损失的情况下,我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪,显著高于先前的工作。当专注于计算减少时,改进变得更加显著。结合权重修剪和量化,我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小,当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元,这是一个硬件推理加速器,用于嵌入式系统的卷积深度神经网络,具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算,从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上,从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比,整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作,用于卷积和全连接计算。本文提出了一种方案,重用的输入,重量,和输出的所有层,以减少DRAM访问。此外,本文提出了一种可配置的架构,可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命,以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算(MAC/W)的数量,其中,最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器(TMA),具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器,无需任何乘法即可工作,这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后,我们比较了我们的加速器的吞吐量和功耗,以前的作品。所提出的加速器在能量和面积方面优于现有技术,实现2.3 TMACS/W@1.0 V,65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
ONNX-to-Hardware Design Flow for Adaptive Neural-Network Inference on FPGAs
本文扩展半集成 ONNX 到硬件工具链,通过近似计算增强 FPGA 上神经网络推理的适应性,以支持边缘端轻量级、高能效的长期部署。
2024-06-13 cs.AR
Memory-Oriented Design-Space Exploration of Edge-AI Hardware for XR Applications
Indian Institute of Technology Delhi(印度理工学院德里分校);Meta Reality Labs Research(Meta现实实验室)
低功耗Edge-AI功能对于设备上的延展实境(XR)应用程序至关重要,以支持Metaverse的愿景。在这项工作中,我们研究了两个代表性的XR工作负载:(i)手部检测和(ii)眼睛分割,用于硬件设计空间探索。对于这两个应用程序,我们训练深度神经网络,并分析量化和硬件特定瓶颈的影响。通过模拟,我们评估了CPU和两个收缩推理加速器的实现。接下来,我们将这些硬件解决方案与先进的技术节点进行比较。评估了将最先进的新兴非易失性存储器技术(STT/SOT/VGSOT MRAM)集成到XR-AI推理流水线中的影响。我们发现,通过在7 nm节点的设计的存储层次结构中引入非易失性存储器,同时满足最小IPS(每秒推理),可以实现手部检测(IPS=10)和眼睛分割(IPS=0.1)的显著能量效益(>=24%)。此外,与传统SRAM相比,由于MRAM的小形状因子,我们可以实现面积的显著减小(>=30%)。
2023-03-28 cs.AI cs.AR
Algorithm-Hardware Co-Design of Distribution-Aware Logarithmic-Posit Encodings for Efficient DNN Inference
Georgia Institute of Technology(佐治亚理工学院);Arizona State University(亚利桑那州立大学)
本文提出算法-硬件协同设计方法,引入对数Posit(LP)数据类型动态适应DNN参数分布,开发基于遗传算法的LPQ框架优化逐层参数,并设计统一混合精度LPA加速器,在保持<1%准确率下降的同时实现约2倍性能和2.2倍能效提升。
2024-03-26 cs.AI cs.AR cs.LG
SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
Department of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国)
针对 Transformer 中 Softmax 与 LayerNorm 的推理瓶颈,提出 SOLE 软硬件协同设计,以低精度计算和存储在无需重训下保持精度,并显著提升速度、能效和面积效率。
2025-10-20 cs.AR cs.LG
FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference
NVIDIA(NVIDIA公司);University of California, Berkeley(加州大学伯克利分校)
提出FGMP,一种软硬件协同的细粒度混合精度量化方法,通过Fisher信息加权扰动选择高精度块并配合敏感性裁剪,在Llama-2-7B上实现<1%困惑度退化、14%能耗和30%权重内存节省。
2025-04-19 cs.AR cs.LG
Vector-Vector-Matrix Architecture: A Novel Hardware-Aware Framework for Low-Latency Inference in NLP Applications
Lightelligence, Inc.(光智公司);Massachusetts Institute of Technology(麻省理工学院);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学))
深度神经网络已成为构建可靠的自然语言处理(NLP)应用程序的标准方法,从神经机器翻译(NMT)到对话系统。然而,通过增加模型大小来提高精度需要大量的硬件计算,这可能会在推理时显着降低NLP应用程序的速度。为了解决这个问题,我们提出了一种新的向量-向量-矩阵架构(VVMA),它大大减少了NMT推理时间的延迟。此架构利用具有低延迟向量-向量运算和较高延迟向量-矩阵运算的专用硬件。它还减少了几乎所有依赖高效矩阵乘法器的模型的参数和FLOP数量,而不会显著影响精度。我们目前的实证结果表明,我们的框架可以减少延迟的序列到序列和Transformer模型用于NMT的四个因素。最后,我们有证据表明,我们的VVMA扩展到其他领域,我们讨论了新的硬件,其有效的使用。
2020-10-06 cs.AR cs.CL
Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
图神经网络(GNN)处理由一千亿条边组成的大规模图。与传统的深度学习相比,新兴GNN的独特行为涉及大量的图形和嵌入存储的数据,这表现出复杂和不规则的预处理。我们提出了一个新的大型图上的深度学习框架HolisticGNN,它提供了一个易于使用的,接近存储的推理基础设施,用于快速,节能的GNN处理。为了实现最佳的端到端延迟和高能效,HolisticGNN允许用户实现各种GNN算法,并以整体方式在实际数据存在的地方直接执行这些算法。它还支持PCIe上的RPC,这样用户就可以通过图形语义库简单地对GNN进行编程,而无需了解底层硬件或存储配置。我们制作了HolisticGNN的硬件RTL,并在基于FPGA的计算SSD(CSSD)上实现了其软件。我们的实证评估表明,HolisticGNN的推理时间比使用高性能现代GPU的GNN推理服务高出7.1倍,同时平均降低了33.2倍的能耗。
2022-01-23 cs.AR cs.LG
Surrogates, Spikes, and Sparsity: Performance Analysis and Characterization of SNN Hyperparameters on Hardware
本文研究SNN超参数对硬件性能的影响,发现标准精度指标难以预测硬件效率,通过替代梯度函数和神经元模型的选择可显著提升准确率和效率。
2026-03-26 cs.AI cs.AR
PolyLUT: Ultra-low Latency Polynomial Inference with Hardware-Aware Structured Pruning
Imperial College London(伦敦帝国学院)
该研究提出面向FPGA的PolyLUT方法,以多元多项式为构建模块结合硬件感知结构化剪枝,解决LUT规模随输入指数增长问题,在三类任务中实现更低延迟与面积开销。
2025-01-14 cs.AR cs.LG
MOHAQ: Multi-Objective Hardware-Aware Quantization of Recurrent Neural Networks
Halmstad University(哈尔姆斯塔德大学);Umeå University(于默奥大学);KTH University(瑞典皇家理工学院)
深度学习模型的压缩对于将此类模型部署到边缘设备至关重要。压缩参数的选择可以使用优化算法自动化以满足硬件平台和应用的变化。本文介绍了一种多目标硬件量化方法(MOHAQ),它将硬件效率和推理误差作为混合精度量化的目标。所提出的方法可行地评估候选解决方案,在一个大的搜索空间,依靠两个步骤。首先,后训练量化应用于快速解决方案评估(仅推理搜索)。其次,我们提出了“基于信标的搜索”,重新训练选定的解决方案,并使用它们作为信标,知道再培训对其他解决方案的影响。我们使用一个基于简单递归单元(SRU)的语音识别模型,使用TIMIT数据集,并应用我们的方法在SiLago和Bitfusion平台上运行。我们提供的实验评估表明,SRU可以通过训练后量化压缩到8倍,而不会增加任何显着的误差。在SiLago上,我们发现解决方案实现了97%和86%的最大可能加速和节能,误差略有增加。在Bitfusion上,基于信标的搜索将仅推理搜索的错误增益降低了4.9个百分点。
2022-01-20 cs.AR cs.LG
Resource-Efficient and Robust Inference of Deep and Bayesian Neural Networks on Embedded and Analog Computing Platforms
Ruprecht–Karls-University Heidelberg(海德堡大学)
本研究通过算法-硬件协同设计,从模型压缩、含噪训练、近似概率推理及概率光子计算等方向,实现了嵌入式与模拟平台上深度和贝叶斯神经网络的高效鲁棒推理,为可信节能机器学习系统奠基。
2025-10-28 cs.AR cs.LG cs.NE
BILLNET: A Binarized Conv3D-LSTM Network with Logic-gated residual architecture for hardware-efficient video inference
CEA-LETI(法国原子能委员会电子与信息技术实验室)
提出BILLNET,一种二值化Conv3D-LSTM网络,通过分解卷积、MUX-OR门控残差架构和多阶段训练,在Jester数据集上以极低资源实现高精度视频推理。
2025-01-24 cs.AR cs.CV
Bottleneck Analysis of Dynamic Graph Neural Network Inference on CPU and GPU
Georgia Institute of Technology(佐治亚理工学院);Korea Advanced Institute of Science & Technology(韩国科学技术院)
本文首次在CPU和GPU上对八种主流动态图神经网络进行性能分析,揭示时序数据依赖、负载不均衡等硬件瓶颈,并提出软硬件优化建议。
2023-04-13 cs.AR cs.LG
Hardware-Aware Fine-Tuning of Spiking Q-Networks on the SpiNNaker2 Neuromorphic Platform
Centre for Tactile Internet with Human-in-the-Loop (CeTI)(触觉互联网与人环路中心)
本研究针对机器人控制任务,提出量化脉冲Q网络的硬件感知微调方法,在SpiNNaker2神经形态芯片上实现节能强化学习部署,验证其低能耗、实时推理的优势。
2025-07-31 cs.AR cs.LG
MaRVIn: A Cross-Layer Mixed-Precision RISC-V Framework for DNN Inference, from ISA Extension to Hardware Acceleration
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典)
MaRVIn提出跨层软硬件协同的RISC-V混合精度推理框架,通过新型ISA扩展、可配置混合精度ALU、软SIMD、剪枝感知微调和贪心DSE,在精度损失低于1%时实现平均17.6倍加速和最高1.8 TOPS/W能效。
2025-09-18 cs.AR cs.LG
LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference
Imperial College London(帝国理工学院伦敦分校);Microsoft Research London, UK(微软研究院伦敦, UK);Peking University(北京大学);Microsoft Research Beijing, China(微软研究院北京, China);University of Science(科学大学);University of Washington(华盛顿大学);Microsoft Research Seattle, USA(微软研究院西雅图, USA);Shanghai Jiao Tong University Shanghai, China(上海交通大学上海, China);Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学)
针对低位 LLM 中混合精度矩阵乘法的低效问题,本文提出软硬件协同设计 LUT Tensor Core,通过软件优化、专用硬件、指令集与编译优化实现 1.44 倍计算密度和能效提升。
2025-07-28 cs.AR cs.LG
A flexible and fast PyTorch toolkit for simulating training and inference on analog crossbar arrays
IBM Research(IBM研究院)
我们将介绍IBM模拟硬件加速工具包,这是一个全新的开源工具包,可以在PyTorch中以方便的方式模拟模拟交叉开关阵列(可从https://github.com/IBM/aihwkit免费获得)。该工具包正在积极开发中,并围绕着“模拟瓦片”的概念,它捕获了在纵横阵列上执行的计算。模拟瓦片是构建块,可用于使用模拟组件扩展现有网络模块,并使用PyTorch框架的灵活性组成任意人工神经网络(ANN)。模拟模块可以方便地配置为仿真大量不同的模拟硬件特性及其非理想性,例如器件间和周期间变化、电阻器件响应曲线以及重量和输出噪声。此外,该工具包还可以设计自定义单元配置,并使用高级模拟优化算法,如Tiki-Taka。此外,向后和更新行为可以设置为“理想”,以实现仅针对推理加速的芯片的硬件感知训练功能。为了评估这种芯片随着时间的推移的推理精度,我们提供了统计编程噪声和漂移模型校准相变存储器硬件。我们的新工具包是完全GPU加速的,可用于方便地估计材料属性和未来模拟技术的非理想性对任意ANN准确性的影响。
2021-04-05 cs.AR cs.LG
SatIn: Hardware for Boolean Satisfiability Inference
本文介绍了SatIn,硬件加速器确定布尔可满足性(SAT)-一个重要的问题,在许多领域,包括验证,安全分析和规划。SatIn基于一个分布式关联数组,它可以执行简短的原子操作,这些操作可以组成高级操作。为了克服线延迟所施加的缩放限制,我们扩展了软件求解器中使用的算法,以有效地在一组分布式节点上使用消息传递进行通信。在真实基准测试上进行的周期级模拟显示,SatIn与2016年SAT竞赛的获胜者Glucose相比,平均实现了72倍的加速,并有可能在两种情况下实现113倍的加速。为了量化SatIn的物理要求,我们使用Synopsys 32 nm教育开发工具包放置并路由单个条款。我们能够满足1 ns周期约束,我们的目标子句适合4867um^2,消耗63.8uW的动态功率;对于网络,这对应于在500mm^2 32 nm芯片中消耗8.3W的动态功率(不包括泄漏或全局时钟功率)的100 k子句。
2023-03-05 cs.AR
Understanding Inference-Time Token Allocation and Coverage Limits in Agentic Hardware Verification
Arizona State University(亚利桑那州立大学)
本文研究了代理硬件验证中推理时间标记分配与覆盖限制,通过两个层级的代理框架,分析覆盖孔径并改进效率,展示领域专业化如何提升覆盖效率。
2026-07-05 cs.AR
Data-Rate-Aware High-Speed CNN Inference on FPGAs
本文提出了一种面向数据速率的CNN加速器架构,通过设计空间探索提高硬件利用率和资源效率,实现高效多像素处理。
2026-02-18 cs.AR cs.LG
XNOR Neural Engine: a Hardware Accelerator IP for 21.6 fJ/op Binary Neural Network Inference
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
二进制神经网络(BNN)有望以内存和能量成本的一小部分提供与传统深度神经网络相当的准确性。在本文中,我们介绍了XNOR神经引擎(XNE),一个全数字可配置的硬件加速器IP的BNN,集成在一个微控制器单元(MCU)配备了一个自主的I/O子系统和混合SRAM /标准单元存储器。XNE能够自主或与MCU中的核心合作完全计算卷积层和密集层,以实现更复杂的行为。我们展示了XNE IP在65 nm和22 nm技术下的后合成结果以及完整MCU在22 nm下的后布局结果,表明该系统可以在0.4V下将每次二进制操作的能量成本降低到每次操作21.6fJ,同时具有足够的灵活性和性能,可以执行最先进的BNN拓扑,如ResNet,在8.9 fps时,每帧不到2.2mJ。
2018-07-09 cs.AR cs.LG cs.NE
Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale
Facebook(脸书)
机器学习(ML)的巨大成功和ML模型复杂性的持续增长,促使CPU和加速器架构中的许多ML特定设计加快模型推理。虽然这些架构多种多样,但高度优化的低精度算法是大多数架构共享的组件。这些架构在基准ML模型上确实经常表现出令人印象深刻的计算吞吐量。然而,对Facebook的个性化服务很重要的推荐系统等生产模型要求很高,也很复杂:这些系统必须每月以低延迟响应数十亿用户,同时保持高预测准确性,尽管每个推理需要数百亿个参数进行计算。这些低精度架构是否与我们的生产推荐系统配合良好?他们会去的而且但不是没有重大的努力。我们在本文中分享了我们的搜索策略,以适应参考推荐模型低精度的硬件,我们的低精度计算内核的优化,以及工具链的设计和开发,以保持我们的模型的准确性在其整个生命周期期间,主题趋势和用户的兴趣不可避免地演变。实践这些低精度技术帮助我们节省了数据中心容量,同时部署了复杂度高达5倍的模型,这些模型原本不会部署在传统的通用CPU上。我们相信,这些来自战壕的经验教训促进了硬件架构和软件工程之间更好的协同设计,并推动了ML在工业中的发展。
2021-05-26 cs.AR cs.IR cs.LG
STI-SNN: A 0.14 GOPS/W/PE Single-Timestep Inference FPGA-based SNN Accelerator with Algorithm and Hardware Co-Design
本文提出算法与硬件协同设计的 FPGA SNN 加速器 STI-SNN,通过 TET 时间剪枝、OS 数据流、压缩排序脉冲表示及可配置并行架构实现单时间步、低延迟高能效推理。
2025-06-10 cs.AR
STISA: A 0.16 GOPS/W/PE Single-Shot Inference FPGA-based SNN Accelerator with Algorithm and Hardware Co-Design
Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江大学);Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出基于FPGA的STISA SNN加速器,通过算法-硬件协同设计,采用TSC、TPOS映射与BMS架构,在多数据集上实现精度、延迟与能效的平衡,能效达0.16 GOPS/W/PE,优于现有同类加速器。
2026-10-14 cs.AR