Hardware Acceleration of LLMs: A comprehensive survey and comparison
University of West Attica(西阿提卡大学)
本文综述面向 LLM Transformer 的硬件加速框架,并通过将不同工艺下的性能与能效外推至同一技术,结合多款 FPGA 实测实现公平比较。
2024-09-05 cs.AI cs.AR
English K_Quantization of LLMs Does Not Disproportionately Diminish Multilingual Performance
University of Agder(阿格德大学)
本文通过使用三种语言的重要性矩阵对Llama3.3 70B进行量化,发现当前量化实践不会不成比例地损害多语言性能。
2026-01-22 cs.AI cs.CL
AiEDA: Agentic AI Design Framework for Digital ASIC System Design
针对数字ASIC设计效率低、复杂度高的问题,提出基于自主AI智能体的AiEDA框架,借助开源工具链实现从概念设计到GDSII版图的流程简化,并通过超低功耗KWS ASIC设计验证其提升效率、加速开发的效果。
2024-12-12 cs.AR
Structured Weight Matrices-Based Hardware Accelerators in Deep Neural Networks: FPGAs and ASICs
Syracuse University(雪城大学);City University of New York, City College(纽约城市大学城市学院)
工业界和学术界都对硬件加速进行了广泛的研究。在这项工作中,以解决日益增长的需求,在计算能力和内存需求,我们提出了结构化的权重矩阵(SWM)为基础的压缩技术\emph{field programmable gate array}(FPGA)和\emph{application-specific integrated circuit}(ASIC)的实现。在算法部分,基于SWM的框架采用块循环矩阵,以实现精确度和压缩比之间的细粒度权衡。对于每一层以及训练和推理阶段,基于SWM的技术可以将计算复杂性从O($n^2$)降低到O($n\log n$),并且将存储复杂度从O($n^2$)降低到O($n$)。对于深度卷积神经网络(DCNN)的FPGA实现,与使用MNIST,SVHN和CIFAR-10数据集的相同精度约束下的IBM TrueNorth处理器基线相比,使用基于SWM的框架,我们分别实现了至少152倍和72倍的性能和能效提高。对于长短期记忆(LSTM)网络上的FPGA实现,与基线加速器相比,所提出的基于SWM的LSTM可以实现高达21倍的性能增强和33.5倍的能效增益。对于ASIC实现,基于SWM的ASIC设计在功耗、吞吐量和能效方面表现出令人印象深刻的优势。实验结果表明,该方法非常适合将DNN应用到FPGA和移动/物联网设备上。
2018-03-28 cs.AR cs.DC cs.LG
End-to-end codesign of Hessian-aware quantized neural networks for FPGAs and ASICs
Fermi National Accelerator Laboratory(费米国家加速器实验室);University of California Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California San Diego(加州大学圣地亚哥分校)
本文提出端到端协同设计工作流,结合HAWQ量化、QONNX中间表示和hls4ml工具流,在FPGA和ASIC上高效部署神经网络,并在LHC 40 MHz触发场景中验证了混合精度分类器。
2023-04-13 cs.AR cs.LG hep-ex
Hardware-Aware Neural Network Compilation with Learned Optimization: A RISC-V Accelerator Approach
XgenSilicon Inc.(Xgen硅有限公司)
XgenSilicon ML编译器通过学习优化和硬件感知技术,实现高效神经网络编译,生成高性能低功耗的RISC-V加速器
2025-11-10 cs.AR
ASIC-based Compression Accelerators for Storage Systems: Design, Placement, and Profiling Insights
DapuStor(大普数据);HUST(华中科技大学)
该研究设计基于ASIC的存储内CDPU,并与Intel QAT对比评估三种放置方式,揭示互连、数据布局、能效及多租户干扰等跨层影响。
2025-09-28 cs.AR cs.OS
Automated and Holistic Co-design of Neural Networks and ASICs for Enabling In-Pixel Intelligence
Brookhaven National Laboratory(布鲁克海文国家实验室);Computational Science Initiative(计算科学倡议);Instrumentation Department(仪器部)
针对极端边缘AI系统严格的硬件约束与庞大设计空间,提出基于多目标贝叶斯优化的智能搜索方法,将神经网络搜索与ASIC综合集成于循环中,成功为读出ASIC像素内实时脉冲特征提取找到Pareto最优设计。
2024-07-18 cs.AI cs.AR cs.LG
Towards Closing the Performance Gap for Cryptographic Kernels Between CPUs and Specialized Hardware
Carnegie Mellon University(卡内基梅隆大学)
本研究针对CPU与专用硬件在密码学内核性能上的差距,开发了基于x86 CPU的优化标量实现并利用AVX2和AVX-512指令提升性能,同时提出AVX-512扩展MQX,使顶级服务器级CPU在密码学工作负载上接近ASIC性能。
2025-09-15 cs.AR cs.CR
Energy-Efficient Hardware Acceleration of Whisper ASR on a CGLA
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文在通用CGLA加速器IMAX上实现并评估了Whisper ASR核心内核,通过软硬件协同设计,预测28nm ASIC能效比NVIDIA Jetson AGX Orin高1.90倍、RTX 4090高9.83倍,为边缘设备可持续ASR提供高能效可编程平台。
2025-11-04 cs.AR
Hardware-Enabled Fuzzy Inference: Architectures, Platforms, and Emerging Trends
School of Computer Engineering, Iran University of Science and Technology(伊朗理工大学计算机工程学院);Electrical, Computer, and Systems Engineering Department, Case Western Reserve University(凯斯西储大学电气、计算机和系统工程系)
该综述以平台为中心,全面梳理硬件模糊系统的三类实现,对比各平台特性,指出研究缺口并提出未来方向,为相关研究者与从业者提供参考。
2026-08-06 cs.AR
Power, Performance, and Area of HPC-Based Malware Detectors: An FPGA and Open-PDK ASIC Study
University of California, Davis(加州大学戴维斯分校);San Francisco State University(旧金山州立大学);Worcester Polytechnic Institute(伍斯特理工学院)
该研究针对HPC恶意软件检测器的面积、功耗等未解决问题,设计流水线实现树/规则型检测器,发现其性能优且成本低,减少HPC输入可在保性能时降成本。
2026-10-12 cs.AR cs.CR
Verification and Design Methods for the BrainScaleS Neuromorphic Hardware System
本文介绍了验证和实施方法,已开发的BrainScaleS-2 65 nm ASIC的设计。第二代BrainScaleS芯片是混合信号器件,在全定制模拟神经形态电路和两个通用微处理器(PPU)之间具有紧密耦合,具有SIMD扩展,用于片上学习和可塑性。模拟方法的自动分析和预流片校准的高度参数化的模拟神经元和突触电路和数字逻辑和软件栈的硬件-软件协同开发。全定制神经形态部件和PPU之间的神经形态电路和高度并行数字数据总线的加速操作需要定制方法来关闭接口处的数字信号时序。新的标准数字物理实现设计流程的扩展突出显示。我们提出了第一个全尺寸BrainScaleS-2 ASIC的早期结果,其中包含512个神经元和130 K个突触,证明了这些方法的成功应用。一个应用示例说明了BrainScaleS-2混合可塑性架构的全部功能。
2020-03-25 cs.AR cs.NE
Side-Channel Hardware Trojan for Provably-Secure SCA-Protected Implementations
硬件木马已经引起了学术界、工业界和政府机构的关注。有效的检测机制和针对这种恶意设计的对策,只有当有一个深入的了解如何硬件木马可以在实践中建立,特别是木马专门设计,以避免检测。在这项工作中,我们提出了一种机制,介绍了一个非常隐秘的硬件木马到密码原语配备可证明安全的一阶侧信道对策。一旦木马被触发,恶意设计表现出可利用的侧通道泄漏,导致成功的密钥恢复攻击。一般来说,这样的特洛伊木马既不需要添加也不需要删除任何逻辑,这使得它非常难以检测。在ASIC上,它可以通过子晶体管级的精细操作插入,在FPGA上,它可以通过改变特定信号的路由来插入,从而导致\textbf{zero}逻辑开销。其基本概念是基于修改一个错误屏蔽的硬件实现,使得以特定时钟频率运行器件违反其基本属性之一,从而导致可利用的泄漏。我们将我们的技术的阈值实现的PRESENT块密码实现在两个不同的CMOS技术,并显示,触发木马使ASIC原型脆弱。
2019-09-22 cs.AR cs.CR
From ASIC to Fleet: Lessons from Building and Operating a Hyperscaler NIC
Meta Platforms, Inc.(Meta平台公司)
本文介绍Meta自研多主机NIC fbnic的运营基础设施,通过物理隔离、硬件在环CI、统一观测和限定修复,实现计划外不可用性降低12倍、修复时间降低37%。
2026-10-07 cs.AR cs.NI
RISC-NN: Use RISC, NOT CISC as Neural Network Hardware Infrastructure
神经网络(NN)已被证明是分析大数据的强大工具。然而,传统的CPU无法实现NN应用所需的性能和/或能效。因此,已经使用或设计了许多NN加速器来满足这些目标。这些加速器都分为三类:GPGPU,ASIC NN加速器和CISC NN加速器。虽然CISC NN加速器可以实现比GPGPU小得多的内存占用,从而提高能源效率,但由于其CISC架构继承的可编程性差,它们仍然无法提供与ASIC NN加速器相同的数据重用优化水平。我们认为,对于NN加速器,RISC是比CISC更好的设计选择,通用处理器也是如此。我们提出了RISC-NN,一种新的众核RISC为基础的神经网络加速器,实现了高表现力和高并行性,具有较强的可编程性和低的控制硬件成本。我们表明,RISC-NN可以实现最先进的CISC NN加速器的所有必要指令;同时,RISC-NN设法实现高级优化,例如多级数据重用和支持以前只存在于ASIC NN加速器中的稀疏NN应用。实验结果表明,RISC-NN在各种NN应用中的平均性能效率是最先进的Nvidia TITAN Xp GPGPU的11.88倍。RISC-NN在CNN、MLP和LSTM应用中的平均性能效率分别是基于CISC的TPU的1.29倍、8.37倍和21.71倍。最后,RISC-NN可以实现额外的26.05%的性能提高和33.13%的能源减少后,应用修剪稀疏NN应用程序。
2021-03-23 cs.AR
Auto-Generation of Pipelined Hardware Designs for Polar Encoder
本文提出了一种通用的自动生成流水线极化编码器架构的框架。拟议的框架可以用一个一般公式来很好地体现。给定任意代码长度$N$和并行度$M$,该公式可以指定相应的硬件架构。我们已经编写了一个编译器,它可以读取公式,然后自动生成其寄存器传输级(RTL)的描述适合FPGA或ASIC实现。有了这个硬件生成系统,人们可以探索设计空间,并在成本和性能之间进行权衡。我们的实验结果已经证明了这种自动生成器的效率极坐标编码器架构。
2018-01-01 cs.AR
Hardware Implementation of Fano Decoder for Polarization-adjusted Convolutional (PAC) Codes
本文提出了一种极化调整卷积码Fano译码的硬件实现架构。这种架构使用了一种新的分支度量单位特定于PAC码。该解码器在FPGA上进行了测试,并在ASIC上使用TSMC 28 nm 0.72 V库对其性能进行了评估。该解码器可以时钟频率为500 MHz,并达到38 Mb/s的平均信息吞吐量在3.5 dB的信噪比为128和1/2的码率的块长度。
2021-06-29 cs.AR cs.IT math.IT
NL2GDS: LLM-aided interface for Open Source Chip Design
University of Bristol(布里斯托大学);Science and Technology Facilities Council (STFC)(科学与技术设施委员会);Rutherford Appleton Laboratory(鲁瑟福阿普尔顿实验室)
NL2GDS通过大语言模型将自然语言描述转换为可综合的RTL和GDSII布局,实现开源芯片设计的自动化,显著提升设计效率和性能。
2026-03-05 cs.AR cs.CY cs.LO
A brief experience on journey through hardware developments for image processing and its applications on Cryptography
University Of Calcutta(加尔各答大学)
嵌入式应用在图像和视频处理、通信和密码学领域的重要性在当今的研究时代已经占据了更大的空间。在卫星成像、医学成像等领域中,图像信息的改善以改善人类的感知能力,如去模糊、去噪等是新的研究方向。具体来说,我们想详细阐述我们的经验,计算机视觉的重要性,硬件实现的算法比通过软件实现的算法性能好得多的领域之一。到目前为止,嵌入式设计工程师已经成功地通过专用集成电路(ASIC)和/或数字信号处理器(DSP)实现了他们的设计,然而,随着超大规模集成电路技术的进步,一种非常强大的硬件设备,即现场可编程门阵列(FPGA),结合ASIC和DSP的关键优势,开发了具有重新编程的可能性,使其成为非常有吸引力的快速器件,图像和视频数据在多个FPGA中的通信不再远离它们之间的安全传输的主旨,并且密码学的相关性确实是不可避免的。本文介绍了如何使用Xilinx硬件开发平台以及Mathworks Matlab从系统级方法开发基于硬件的计算机视觉算法及其在多个FPGA平台之间的相应密码传输通道,从而有利于开发软硬件协同设计环境。
2012-12-27 cs.AR cs.CR cs.CV
Architectural Design and Performance Analysis of FPGA based AI Accelerators: A Comprehensive Review
Indian Institute of Engineering Science and Technology(印度工程科学与技术学院)
本文综述了基于FPGA的AI加速器的架构设计与性能分析,探讨了硬件层面的优化技术及最新加速器的挑战与未来发展方向。
2026-02-25 cs.AI cs.AR
Efficient TCitH-Based Alternatives to SLH-DSA: Cross-Layer ASIC Design of Mirath
RPTU Kaiserslautern-Landau(莱茵兰-普法尔特技术大学凯泽斯劳滕-兰道)
针对后量子签名非格替代方案的高效实现需求,采用跨层方法在22nm FD-SOI工艺下实现首个基于TCitH的Mirath签名方案ASIC,性能和面积均优于同工艺SLH-DSA ASIC。
2026-09-28 cs.AR cs.CR
Locus: A Framework for Exploring and Optimizing Point Addition Hardware for Zero-Knowledge Proofs
New York University Tandon School of Engineering(纽约大学坦登工程学院)
Locus框架自动生成椭圆曲线点加(PADD)的ASIC和FPGA实现,系统探索设计空间,在12nm工艺下相比先前ASIC实现2.71倍加速和3.11倍面积缩减,并显著提升端到端ZKP证明生成速度。
2026-09-17 cs.AR cs.CR
AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall
Shiv Nadar Institution of Eminence(Shiv Nadar卓越学院)
本综述梳理了各类面向大语言模型的AI硬件加速器架构,基于Transformer与Roofline分析指出内存是加速核心约束,对比各平台特性并展望了未来以内存为中心的异构系统发展方向。
2026-08-31 cs.AR cs.DC
A Systematic Study of Lattice-based NIST PQC Algorithms: from Reference Implementations to Hardware Accelerators
可以预见,当前部署的公钥密码学算法的安全性容易受到量子计算机攻击。因此,存在开发后量子密码学(PQC)算法的团体努力,即,能抵抗量子攻击的算法在这项工作中,我们已经调查了如何从NIST PQC标准化竞争票价格为基础的候选算法时,被认为是硬件加速器。为了实现这一目标,我们评估了所选算法的参考实现,目的是确定它们的基本构建块是什么。我们假设硬件加速器将在专用集成电路(ASIC)中实现,并且我们实验中的目标技术是商业65 nm节点。为了估计每个算法的特性,我们评估了它们的内存需求,乘法器的使用,以及每个算法如何使用哈希函数。此外,对于这些构建块,我们收集了12个候选算法的面积和功率数据。对于内存,我们使用商业内存编译器。对于逻辑,我们使用标准单元库。为了公平地比较候选算法,我们选择500MHz的参考操作频率。我们的研究结果表明,我们的面积和功率数与现有技术相当,尽管在我们的实验中以更高的操作频率和更高的安全级别为目标。本文对基于格的NIST PQC算法进行了全面的研究,可用于指导ASIC设计人员在选择合适的算法时,同时尊重需求和设计约束。
2020-09-24 cs.AR cs.CR
ITP-STDP: A Hardware-Efficient Intrinsic-Timing Power-of-Two Synaptic Learning Engine for On-Chip SNNs
School of Electrical and Electronic Engineering, The University of Sheffield(谢菲尔德大学电子与电气工程学院);Donghai Laboratory(东海实验室);Engineering Research Center of Oceanic Sensing Technologyand Equipment, Ministry of Education(教育部海洋传感技术与设备工程研究中心);State Key Laboratory of Ocean Sensing and Ocean College, Zhejiang University(浙江大学海洋传感与海洋学院国家重点实验室)
针对SNN训练中权重更新计算量大导致的硬件资源与能耗问题,提出基于内在时序二次幂的STDP算法(ITP-STDP)及其硬件架构,通过算法与硬件优化消除大部分计算开销,在FPGA和ASIC平台上实现能效和速度的显著提升。
2026-09-01 cs.AI cs.AR cs.NE
HeteroViT: A Versatile Single-Layer Vision Transformer Concept, Co-Designed for Distributed Real-Time Data Reduction on Scientific Detectors
SLAC National Accelerator Laboratory(斯坦福直线加速器中心);Argonne National Laboratory(阿贡国家实验室)
针对下一代X射线探测器数据率过高的问题,提出一种极小的单层视觉Transformer(ViT),通过统一结构映射到异构硬件流水线(ASIC→FPGA→GPU),实现边缘实时数据缩减,并在两个不同任务上验证其通用性。
2026-06-23 cs.AR physics.ins-det
Microshift: An Efficient Image Compression Algorithm for Hardware
本文提出了一种图像压缩算法Microshift。我们采用的算法硬件协同设计方法,产生一个硬件友好的压缩方法,低功耗。在我们的方法中,首先对图像进行微位移,然后对子量化值进行进一步压缩。提出了利用自然图像的空间相关性恢复图像位深的两种方法:FAST模型和MRF模型。这两种方法都可以渐进地对图像进行消隐。我们的压缩算法将图像压缩到平均每像素1.25位,PSNR为33.16 dB,优于其他片上压缩算法。然后,我们提出了一个硬件架构,并实现了FPGA和ASIC上的算法。VLSI设计的结果进一步验证了该方法的低硬件复杂度和高功耗效率,表明该方法是有前途的,特别是对于低功耗的无线视觉传感器网络。
2021-04-20 cs.AR eess.IV eess.SP
AMG: Automated Efficient Approximate Multiplier Generator for FPGAs via Bayesian Optimization
本文提出AMG,一个基于贝叶斯优化与并行评估的FPGA自动化近似乘法器生成器,通过简化部分积压缩中的精确半加器并保留粗粒度累加,在可接受误差下显著降低硬件成本,相比已有1167个乘法器平均改进28.70%-38.47%。
2023-10-28 cs.AR
Scrooge: A Fast and Memory-Frugal Genomic Sequence Aligner for CPUs, GPUs, and ASICs
本文提出Scrooge序列比对器,通过三项算法改进降低GenASM的数据移动、内存占用和操作数,在CPU、GPU和ASIC上均实现显著加速与资源节省。
2023-04-12 cs.AR q-bio.GN
Cross-Layer Co-Optimized LSTM Accelerator for Real-Time Gait Analysis
Tallinn University of Technology(塔林理工大学)
本文提出首个跨层协同优化的LSTM加速器,用于实时步态分析,通过软件到布局的全面设计空间探索,优化硬件复杂度与准确性,实现高效实时步态异常检测。
2026-04-15 cs.AR cs.LG
Mining CryptoNight-Haven on the Varium C1100 Blockchain Accelerator Card
加密货币挖掘是一个能源密集型的过程,是硬件加速的主要候选者。这项正在进行的工作提出了第一个协处理器设计的ASIC抗CryptoNight-Haven工作证明(PoW)算法。我们将硬件加速器构建为Xilinx运行时间(XRT)RTL内核,目标是Xilinx Varium C1100区块链加速卡。该设计采用深度流水线计算和高带宽存储器(HBM)的底层暂存数据。我们的目标是将我们的加速器与现有的CPU和GPU矿工进行比较,以显示其哈希计算的吞吐量和能效
2022-12-09 cs.AR cs.CR
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University(康奈尔大学)
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题,本文提出开源可定制的Torch2Chip工具包,支持用户自定义压缩并自动完成模型融合与参数提取,直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
Kraken: An Efficient Engine with a Uniform Dataflow for Deep Neural Networks
深度神经网络(DNN)已经成功地应用于众多应用中,具有显著的性能。由于这种性能是以显著的计算成本来实现的,因此一些嵌入式应用需要用于DNN的快速高效的硬件加速器。先前提出的专用集成电路(ASIC)架构努力利用数百个处理元件(PE)的阵列,并使用需要复杂PE架构的多个ASIC来减少耗电的DRAM访问。这些会消耗大量面积,并降低最大时钟频率。本文介绍了Kraken架构,该架构通过硬件友好的统一卷积层优化处理任何DNN的卷积层,全连接层和矩阵乘积。这使得权重、输入和输出的数据重用最大化,并具有基本PE设计和动态重新配置。Kraken采用65 nm CMOS技术在400 MHz下实现,在7.3 mm 2内封装672个PE,峰值性能为537.6 Gops。Kraken分别以336.6,17.5和64.2帧/秒的速度处理AlexNet,VGG-16和ResNet-50的卷积层,因此在整体性能效率,DRAM访问,算术强度和吞吐量方面优于最先进的ASIC架构,Gops/mm 2增加5.8倍,Gops/W增加1.6倍。
2021-12-06 cs.AR
Evasive Hardware Trojan through Adversarial Power Trace
Geotge Mason University(乔治梅森大学)
本文质疑基于机器学习的侧信道硬件木马检测的可信度,提出硬件木马混淆(HTO)方法,通过在电路中嵌入对抗性噪声生成对抗性功耗轨迹以绕过检测,并在ASIC和FPGA上验证了其高效性及现有对策的局限性。
2024-01-04 cs.AR cs.CR cs.LG
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中,对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围,这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂,特别是对于训练。我们提出TRIM,这是一种基础设施,可以帮助硬件架构师探索深度神经网络加速器的设计空间,以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估,同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标,TRIM可以快速探索不同的硬件设计选项,选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间,通过几个案例研究。TRIM是一个强大的工具,可以帮助架构师评估不同的硬件选择,以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
MACO: A Multi-Agent LLM Framework for Automated CGRA Hardware/Software Co-Design
Arizona State University(亚利桑那州立大学);Google(谷歌)
提出MACO框架,通过多智能体LLM协作和指数衰减探索策略,自动化CGRA硬件/软件协同设计,在功耗、性能和搜索效率上分别提升25.9%、20.0%和5倍。
2026-05-30 cs.AR
Low-level optimizations in high-level HDLs: Is there a benefit?
TU Clausthal(Clausthal工业大学);Technical University of Denmark(丹麦技术大学)
本文通过16种配置的MAC单元实验,比较了高级HDL Clash与低级优化及Verilog在ASIC设计中的面积影响,发现高级构造影响可忽略,但Clash存在固有开销。
2026-09-30 cs.AR
Biological Intuition on Digital Hardware: An RTL Implementation of Poisson-Encoded SNNs for Static Image Classification
Department of Electronics and Communication Engineering, National Institute of Technology, Durgapur(电气与通信工程系,国家技术学院,杜尔加布尔)
本文提出了一种基于脉冲编码的SNN核心,利用固定点运算和位操作实现高效静态图像分类,减少功耗并提升计算效率。
2026-01-17 cs.AR
Energy Efficient Software Hardware CoDesign for Machine Learning: From TinyML to Large Language Models
Department of Computer Science(计算机科学系)
本文探讨了从TinyML到大语言模型的能效协同设计方法,涵盖边缘推理、训练和数据中心规模的LLM服务,分析了加速器架构和系统级技术,并提出分层分解视角以指导构建能效和碳感知的机器学习系统。
2026-03-24 cs.AR cs.LG
Analysis and Design of Cost-Effective, High-Throughput LDPC Decoders
本文介绍了一种新的低密度奇偶校验(LDPC)解码器的成本效益,高吞吐量的硬件设计方法。所提出的方法,称为非满射有限字母迭代解码器(NS-FAID),利用消息传递LDPC解码器的鲁棒性的不准确的计算交换的消息,它被证明提供了一个统一的框架,以前在文献中提出的几个设计。NS-FAID的密度进化优化规则和不规则的LDPC码,并提供不同的硬件复杂度和解码性能之间的权衡。针对高吞吐量应用的两个硬件架构也提出了,集成最小和(MS)和NS-FAID解码内核。在65 nm CMOS工艺上的ASIC后合成实现结果表明,NS-FAID在吞吐量与面积比方面产生了显着的改善,相对于MS解码器高达58.75%,具有更好或仅略有下降的纠错性能。
2017-08-23 cs.AR eess.SP
Speeding-up Logic Design and Refining Hardware EDA Flow by Exploring Chinese Character based Graphical Representation
电子设计自动化(EDA)技术对计算机硬件设计产生了深刻的影响,特别是在超大规模集成(VLSI)电路领域。特别是,FPGA,ASIC和SOC应用的普及已经急剧增加,由于发达的EDA工具链。几十年来,提高EDA工具的功能性、效率、准确性和智能性不仅是学术界的研究热点,也是业界的尝试目标。本文从一个新的角度对当前主流的EDA工作流程和设计方法进行了回顾,旨在缩短EDA设计周期,大大简化逻辑设计负担。具体而言,有三个主要贡献。首先,提出了一个用于表示逻辑抽象语法树的基于汉字的表示系统(CCRS)。其次,采用寄存器传输级(RTL)符号描述技术代替传统的基于文本的编程方法。最后,讨论了基于CCRS的EDA精细化设计流程。基于图形化非纯英文的EDA流程可以降低设计成本和复杂度。作为这一新领域的基础性尝试,可以肯定的是,后续的大量工作将促进相关EDA技术的发展。
2020-04-15 cs.AR cs.PL
X-Volt: Joint Tuning of Driver Strengths and Supply Voltages Against Power Side-Channel Attacks
电源侧信道(PSC)攻击是对高级加密标准(AES)加密核心等敏感硬件的众所周知的威胁。考虑到电源电压(VCC)对功率分布的显著影响,已经提出了基于VCC调谐的各种对策以及其他防御策略。然而,电池的驱动强度在很大程度上被忽视了,尽管它对功率分布也有直接和重大的影响。这是第一次,我们深入探讨了联合调整驱动程序的强度和VCC的前景,作为PSC攻击对策的新的工作原理。为此,我们采取了以下步骤:1)我们开发了一个简单的电路级调优方案; 2)我们实现了一个CAD流程,用于ASIC的设计时评估,使安全评估的IC流片之前; 3)我们实现了一个相关功率分析(CPA)框架,全面和比较的安全分析; 4)我们进行了广泛的实验研究的常规AES设计,实现在ASIC以及FPGA结构,在各种调整方案; 5)我们总结了安全和有效的联合调整的设计准则。在我们的实验中,我们观察到,运行时调整比静态调整更有效,ASIC和FPGA实现。对于后者,AES核心呈现为>11.8x(即,至少11.8倍)的弹性。布局开销可以被认为是可接受的,例如,对于FPGA中最具弹性的调整场景,关键路径延迟约为+10%。我们将发布我们的方法的源代码,以及来自实验研究的工件,经过同行评审。
2022-11-15 cs.AR cs.CR
A Survey on Hardware Implementations of Elliptic Curve Cryptosystems
在过去的二十年里,椭圆曲线密码学(ECC)得到了越来越多的发展。与其他非对称密码系统相比,ECC具有更小的密钥大小,提供了同等的安全性。在本调查中,提供了ECC的硬件实现的全面概述。我们首先讨论了不同的椭圆曲线,点乘算法和底层的有限域运算在二进制字段F2m和素域Fp,这是在文献中使用的硬件实现。然后给出了ECC实现的方法、步骤和考虑因素。ECC的实现基于实现技术分为两大类,包括基于现场可编程门阵列(FPGA)的实现和专用集成电路(ASIC)实现。因此,在这些类别中,为了更好地展示和比较,基于有限域的类型来展示和区分实现。在文献中最好的和最新的结构进行了更详细的描述,在每组实现的架构和方法的整体介绍。高速实现是网络服务器等ECC应用中的一个重要因素。同样在智能卡中,无线传感器网络(WSN)和射频识别(RFID)标签需要低成本和轻量级的实现。因此,与这些应用程序的实现方法进行了探讨。此外,以前的作品在可扩展性,灵活性,性能和成本效益方面的分类。最后,提出了今后工作中应考虑的一些词语和技巧。
2017-10-19 cs.AR eess.SP
RAMAN: Resource-efficient ApproxiMate Posit Processing for Algorithm-Hardware Co-desigN
Indian Institute of Technology Indore(印度印多尔理工学院)
RAMAN提出基于近似posit(8,2)的MAC架构及算法-硬件协同设计框架,在FPGA和ASIC上实现高达46%的LUT节省和31.28%功耗降低,同时保持98.45%的手写数字识别精度。
2025-10-26 cs.AR cs.NE
Finesse: An Agile Design Framework for Pairing-based Cryptography via Software/Hardware Co-Design
针对配对密码学加速器设计周期长、难兼顾性能与灵活性的问题,提出基于软硬件协同设计的敏捷框架Finesse,通过专用编译器与多粒度模拟器实现协同优化,在吞吐量与面积效率上显著优于现有方案。
2025-09-12 cs.AR
Circuit and System Technologies for Energy-Efficient Edge Robotics
Georgia Institute of Technology(佐治亚理工学院)
当我们迈向泛在智能时代时,我们注意到人工智能和智能正逐步从云端走向边缘。Edge-AI的成功取决于创新的电路和硬件,这些电路和硬件可以在资源受限的边缘自治系统中实现推理和有限学习。本文介绍了一系列超低功耗加速器和系统设计,使边缘机器人平台的智能,包括强化学习神经形态控制,群体智能,同时映射和定位。我们重点关注混合信号电路、神经启发计算系统、基准测试和软件基础设施以及算法-硬件协同设计的影响,以实现下一代智能和自主系统的最节能的Edge-AI ASIC。
2022-02-22 cs.AR cs.RO
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
Lonic: Algorithm-Hardware Co-Design for Energy-Efficient Fully Local Online SNN Training with INT4 Precision
University of Virginia(弗吉尼亚大学)
本文提出Lonic,通过算法-硬件协同设计实现INT4精度的全局部在线SNN训练,在能效、速度等核心指标上显著优于Apple M4、Nvidia V100 GPU及多种专用加速器。
2026-08-14 cs.AR
TPAD: Hardware Trojan Prevention and Detection for Trusted Integrated Circuits
越来越多的人担心关键应用中使用的集成电路(IC)可能被恶意修改。这种攻击通常被称为硬件木马。虽然许多技术都集中在IC测试期间的硬件木马检测上,但攻击仍然有可能未被检测到。使用新的设计技术和新的内存技术相结合,我们提出了一种新的方法,检测各种各样的硬件木马在IC测试过程中,也在现场的系统操作。我们的方法还可以防止各种各样的攻击,在合成,布局和路线,和制造的IC。它可以应用于任何数字系统,并且可以针对传统和分离制造方法进行调整。我们证明了它的ASIC和FPGA的适用性。使用制造的测试芯片与木马仿真功能,并使用模拟,我们证明:1。我们的方法的面积和功耗成本可以分别在7.4-165%和0.07- 60%之间,具体取决于设计和攻击目标; 2.速度影响可以是最小的(接近0%); 3.我们的方法可以检测到99.998%的木马(使用测试芯片模拟),不需要详细的知识被攻击的设计; 4。我们的方法可以防止99.98%的特定攻击(模拟),这些攻击利用了被攻击设计的详细知识(例如,通过反向工程)。5.我们的方法从不产生任何误报,即,当IC正常工作时,它不报告攻击。
2015-08-25 cs.AR cs.CR
SparrowSNN: A Hardware/software Co-design for Energy Efficient ECG Classification
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出SparrowSNN,一种针对边缘设备优化的软硬件协同设计,通过改进的脉冲激活函数、定制化混合ANN-SNN模型和低功耗可重构ASIC架构,在生物医学数据集上实现了20倍至100倍的能耗降低和状态-of-the-art准确率。
2026-04-18 cs.AR cs.LG cs.NE
Operation Merging for Hardware Implementations of Fast Polar Decoders
极化码是一类可证明达到信道容量的线性分组码。它们已经被选择作为用于$5^{\text{th}}$代无线通信网络(5G)的增强型移动宽带(eMBB)场景的控制信道的编码方案,并且正在被考虑用于附加的使用场景。因此,极化码的快速解码技术是必不可少的。针对极化码的连续消除(SC)解码的改进吞吐量的先前工作是利用特殊最大似然(ML)节点的半并行实现。在这项工作中,我们提出了一种新的快速简化SC(Fast-SSC)解码器架构。与基线Fast-SSC解码器相比,我们的解决方案能够降低内存需求。我们通过更有效的内存利用率来实现这一目标,这也使得在单个时钟周期内执行多个操作成为可能。最后,我们提出了新的特殊节点合并技术,进一步提高吞吐量,并详细介绍了一种新的快速SSC为基础的解码器架构,以支持合并操作。所提出的解码器将操作序列要求减少了多达$39\%$,这使得能够减少通过$35\%$解码码字的时间步长的数量。采用65 nm TSMC工艺的ASIC实现结果表明,与以前的Fast-SSC解码器架构相比,所提出的解码器具有高达$31\%$的吞吐量提高。
2020-06-03 cs.AR
Closed-Loop Neural Prostheses with On-Chip Intelligence: A Review and A Low-Latency Machine Learning Model for Brain State Detection
闭环方法在系统神经科学和治疗性刺激中的应用为我们彻底改变对大脑的理解和开发新的神经调节疗法以恢复失去的功能带来了巨大的希望。能够进行多通道神经记录、现场信号处理、快速症状检测和闭环刺激的神经假体对于实现这种新型治疗至关重要。然而,现有的闭环神经调节设备过于简单,缺乏足够的片上处理和智能。在本文中,我们首先讨论了商业和研究闭环神经调节设备的大脑疾病。接下来,我们将回顾具有片上机器学习的最先进的神经假体,重点关注专用集成电路(ASIC)。系统要求,性能和硬件比较,设计权衡,和硬件优化技术进行了讨论。为了便于公平的比较和指导设计选择各种片上分类器,我们提出了一个新的能源面积(E-A)的效率指数的优点,评估硬件的效率和多通道的可扩展性。最后,我们提出了几种技术,以提高基于树的片上分类器的关键设计指标,无论是在集成方法和斜结构的上下文中。
2021-09-13 cs.AR eess.SP
Contrastive Graph Convolutional Networks for Hardware Trojan Detection in Third Party IP Cores
Virginia Tech(弗吉尼亚理工大学);Space Dynamics Laboratory(空间动力学实验室)
广泛的第三方知识产权(3 PIP)内核的可用性使集成电路(IC)设计人员能够专注于设计ASIC/SoC中的高级功能。集成电路的大规模扩散带来了越来越多的不良行为者,他们出于各种邪恶的原因寻求利用这些电路。这并不奇怪,因为集成电路影响着社会的方方面面。因此,恶意逻辑(硬件特洛伊木马,HT)被不受信任的供应商秘密注入到IC设计中使用的3 PIP核心是一个永远存在的威胁。在本文中,我们探讨的方法,识别基于嵌入式HT的设计包含可合成的IP核没有黄金模型。具体来说,我们开发的方法来检测硬件木马检测触发器嵌入在IC纯粹的基础上从供应商获得的网表。我们提出了GATE-Net,这是一种基于图卷积网络(GCN)的深度学习模型,使用监督对比学习进行训练,用于标记仅使用相应网表的包含随机插入触发器的设计。我们提出的架构实现了显着的改进,最先进的学习模型产生的组合触发器的检测性能平均提高46.99%,在各种电路类型的顺序触发器提高21.91%。通过严格的实验,定性和定量的性能评估,我们证明了有效的GATE-Net和监督的对比训练的GATE-Net HT检测。
2022-03-04 cs.AR cs.CR cs.LG