AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);the University of Sydney(悉尼大学)
卷积神经网络(CNN)已被广泛用于提高许多机器智能任务的性能。然而,CNN模型通常是计算密集型和能量消耗型的,因为出于准确性原因,它们通常被设计成具有许多乘法运算和相当大的参数。因此,很难将它们直接应用于资源受限的环境中,例如“物联网”(IoT)设备和智能手机。为了降低计算复杂性和能量负担,提出了一种基于加法器卷积神经网络(AdderNet)的最小硬件架构,将原卷积替换为仅使用加法的加法器核。为了最大限度地挖掘潜在的能量消耗,本文采用共享比例因子的方法对AdderNet的低位量化算法进行了探索,并设计了专用和通用的AdderNet硬件加速器。实验结果表明,采用int 8/int 16量化的加法器内核也具有高性能,同时消耗更少的资源(理论上约81%)。此外,本文还将量化后的AdderNet部署在FPGA(Field Programmable门阵列)平台上。在相同的电路结构下,整个AdderNet与CNN相比,速度提高了16%,逻辑资源利用率降低了67.6%-71.4%,功耗降低了47.85%-77.9%.通过对性能、功耗、硬件资源消耗和网络泛化能力的综合比较,我们得出结论:AdderNet能够超越经典的CNN、新型忆阻网络、XNOR-Net和基于移位核的网络等所有竞争对手,表明其在未来高性能和节能的人工智能应用中具有巨大的潜力。
2021-02-03 cs.AR cs.CV cs.LG
Hardware-Aware Fine-Tuning of Spiking Q-Networks on the SpiNNaker2 Neuromorphic Platform
Centre for Tactile Internet with Human-in-the-Loop (CeTI)(触觉互联网与人环路中心)
本研究针对机器人控制任务,提出量化脉冲Q网络的硬件感知微调方法,在SpiNNaker2神经形态芯片上实现节能强化学习部署,验证其低能耗、实时推理的优势。
2025-07-31 cs.AR cs.LG
The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model
Université Lumière Lyon 2(里昂第二大学);CNRS(法国国家科学研究中心);Ecole Centrale de Lyon(里昂中央理工学院);INSA Lyon(里昂国立应用科学学院);Universite Claude Bernard Lyon 1(克洛德·贝尔纳里昂第一大学);LIRIS, UMR5205(里昂信息图像与科学计算实验室,UMR5205)
提出一个框架建模Transformer在多GPU上训练的能耗,通过BERT架构扫描关联能耗与计算、内存流量和硬件效率,推导出跨异构配置准确预测训练能耗的缩放定律模型。
2026-06-23 cs.AI cs.AR cs.CL
MAD-EN: Microarchitectural Attack Detection through System-wide Energy Consumption
Iowa State University(爱荷华州立大学)
随着Spectre和Meltdown等攻击的多样性,微体系结构攻击对硬件安全的威胁越来越大。厂商补丁无法跟上新威胁的步伐,这使得动态异常检测工具比以前更加明显。不幸的是,以前的研究利用硬件性能计数器,导致高性能开销和配置文件有限数量的微体系结构攻击,由于可以同时配置的计数器的数量很少。这使得这些检测工具在现实世界的场景中效率低下。在本研究中,我们介绍了MAD-EN动态检测工具,该工具利用从通用英特尔RAPL工具收集的系统范围内的能耗跟踪来检测系统中正在发生的异常。在我们的实验中,我们证明了基于CNN的MAD-EN可以检测到10种不同的微架构攻击,共有15种变体,最高F1得分为0.999,这使得我们的工具成为迄今为止最通用的攻击检测工具。此外,在系统中检测到异常后,可以以98%的准确率区分单个攻击。我们证明,MAD-EN引入69.3%的性能开销相比,性能计数器为基础的检测机制。
2022-05-31 cs.CR cs.LG
Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations
Bristol Research and Innovation Laboratory(布里斯托尔研究与创新实验室);Toshiba Europe Ltd.(东芝欧洲有限公司);Digital Catapult(数字弹射实验室)
本研究实证分析了真实 MLOps 流水线中判别式 AI 与 LLMs 的能耗,发现优化架构与硬件可显著降低判别式模型能耗,而 LLMs 能效需平衡模型规模与请求负载,为绿色可持续 AI 运营提供了基准与指南。
2025-03-31 cs.AI cs.LG
A Reinforcement Learning Approach for Performance-aware Reduction in Power Consumption of Data Center Compute Nodes
Vanderbilt University(范德堡大学);Argonne National Laboratory(阿贡国家实验室)
本文提出基于 PPO 的强化学习功耗封顶方法,结合 Argo NRM 与 Intel RAPL,依据实时功耗和应用心跳控制处理器供电,并在 STREAM 基准上验证其可兼顾节能与性能。
2023-08-15 cs.AR cs.DC cs.LG
Measuring the Energy Consumption and Efficiency of Deep Neural Networks: An Empirical Analysis and Design Recommendations
National Renewable Energy Laboratory(国家可再生能源实验室);Carnegie Mellon University(卡内基梅隆大学)
本研究通过BUTTER-E数据集实证分析全连接神经网络的能耗,提出考虑缓存效应的能量模型,并揭示能效与网络设计的非线性关系,倡导综合设计以实现绿色AI。
2024-03-13 cs.AI cs.LG cs.NE
A Transistor Operations Model for Deep Learning Energy Consumption Scaling Law
Digital Aviation Research Technology Centre (DARTeC), Cranfield University(克兰菲尔德大学数字航空研究技术中心);Alan Turing Institute(艾伦·图灵研究所)
深度学习(DL)已经改变了许多行业的自动化,并在社会中越来越普遍。DL模型的高度复杂性及其广泛采用导致全球能源消耗每3-4个月翻一番。目前,DL模型配置与能耗之间的关系尚未建立。在一般计算能量模型级别,存在对硬件架构(例如,具有内部组件(CPU和GPU)的不同配置的通用处理器、可编程集成电路(FPGA))以及不同的交互能量消耗方面(例如,数据移动、计算、控制)。在DL模型级别,我们需要将非线性激活函数及其与数据的交互转换为计算任务。目前的方法主要是线性化非线性DL模型,以近似其理论FLOP和MAC作为能源消耗的代理。这是不正确的()。93\%的准确度),这是由于例如许多卷积神经网络(CNN)的高度非线性性质。在本文中,我们开发了一个底层的晶体管操作(TO)的方法来揭示的非线性激活函数和神经网络结构中的能量消耗的作用。我们将一系列前馈和CNN模型转换为ALU计算任务,然后转换为TO步骤。然后,通过针对不同硬件配置和数据集的回归模型,将其与实际能耗值进行统计关联。我们表明,我们提出的TOs方法可以达到93.61% - 99.51%的精度预测其能源消耗。
2022-08-09 cs.AI cs.AR cs.LG
SparrowSNN: A Hardware/software Co-design for Energy Efficient ECG Classification
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出SparrowSNN,一种针对边缘设备优化的软硬件协同设计,通过改进的脉冲激活函数、定制化混合ANN-SNN模型和低功耗可重构ASIC架构,在生物医学数据集上实现了20倍至100倍的能耗降低和状态-of-the-art准确率。
2026-04-18 cs.AR cs.LG cs.NE
TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference
Princeton University(普林斯顿大学)
机器学习模型和评估硬件的自动协同设计对于大规模有效部署此类模型至关重要。尽管Transformer模型具有最先进的性能,但它们还不能在资源受限的硬件平台上执行。Transformer架构的高存储器要求和低并行性加剧了这个问题。最近提出的加速器试图优化Transformer模型的吞吐量和能耗。然而,这样的工作要么局限于模型架构的片面搜索,要么局限于一组现成的设备。此外,以前的工作只加速模型推理而不是训练,这会导致更高的内存和计算资源,使问题更具挑战性。为了解决这些限制,这项工作提出了一个动态的训练框架,称为DynaProp,加快训练过程,减少内存消耗。DynaProp是一种低开销的修剪方法,可以在运行时修剪激活和梯度。为了有效地执行这种方法的硬件上的一组不同的Transformer架构,我们提出了ELECTOR,一个框架,模拟Transformer推理和训练的设计空间的加速器。我们使用这个模拟器结合拟议的协同设计技术,称为代码转换,以获得最佳性能的模型,在给定的任务上具有高精度,并最大限度地减少延迟,能耗和芯片面积。所获得的变压器-加速器对实现了比最先进的对高0.3%的准确度,同时产生低5.2 $\times$的延迟和低3.0 $\times$的能量消耗。
2023-03-27 cs.AR cs.LG
Sponge Examples: Energy-Latency Attacks on Neural Networks
University of Cambridge(剑桥大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
神经网络训练和推理的高能耗导致了GPU和TPU等加速硬件的使用。虽然这使我们能够在网络中心训练大规模神经网络,并将其部署在边缘设备上,但到目前为止,重点是平均情况下的性能。在这项工作中,我们引入了一种新的威胁向量对神经网络的能量消耗或决策延迟是至关重要的。我们展示了对手如何利用精心制作的$\boldsymbol{sponge}~\boldsymbol{examples}$,这是设计用于最大限度地提高能耗和延迟的输入。我们在已建立的视觉和语言模型上安装了这种攻击的两种变体,将能耗增加了10到200倍。我们的攻击还可以用于延迟网络具有关键实时性能的决策,例如自动驾驶汽车的感知。我们展示了我们的恶意输入跨CPU和各种硬件加速器芯片(包括GPU)和ASIC模拟器的可移植性。最后,我们提出了一种防御策略,通过将硬件中的能耗分析从平均情况转移到最坏情况来减轻我们的攻击。
2021-05-12 cs.CL cs.CR cs.LG
Modelling Energy Consumption based on Resource Utilization
Federal Institute for Education, Science, and Technology of São Paulo(圣保罗联邦教育、科学与技术学院);Aeronautics Institute of Technology(航空技术学院);Federal University of São Carlos(圣卡洛斯联邦大学)
电源管理对于大型计算基础设施(例如,数据中心、大型集群和计算网格)来说是昂贵且重要的问题。然而,由于在大量机器上部署功率计量设备的成本和复杂性,测量可扩展系统的能耗可能是不切实际的。在本文中,我们建议使用的信息资源利用率(如处理器,内存,磁盘操作和网络流量)作为代理估计功耗。我们采用机器学习技术来估计功耗,使用这些信息是由常见的操作系统提供的。使用线性回归、回归树和多层感知器对来自不同硬件的数据进行实验,得到了一个准确率为99.94%的模型,在最好的情况下误差为6.32瓦。
2017-09-15 cs.DC cs.LG
EDCompress: Energy-Aware Model Compression for Dataflows
Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究院)
边缘设备要求低能耗、低成本和小形状因子。为了在边缘设备上有效地部署卷积神经网络(CNN)模型,能量感知模型压缩变得极其重要。然而,现有的工作并没有很好地研究这个问题,因为缺乏考虑的多样性,在硬件架构的低功耗类型。在本文中,我们提出了EDCompress,能量感知的模型压缩方法的各种数据流。它可以有效地降低各种边缘设备的能耗,具有不同的功耗类型。考虑到模型压缩过程的本质,我们将优化过程转化为一个多步问题,并采用强化学习算法进行求解。实验表明,EDCompress可以在VGG-16、MobileNet、LeNet-5网络中分别提高20倍、17倍、37倍的能量效率,而精度损失可以忽略不计。EDCompress还可以在能耗方面为特定神经网络找到最佳的卷积类型,这可以指导CNN模型在硬件系统上的部署。
2020-07-11 cs.LG stat.ML
EnergyVis: Interactively Tracking and Exploring Energy Consumption for ML Models
Georgia Institute of Technology(佐治亚理工学院)
大型机器学习(ML)模型的出现提高了从计算机视觉到自然语言等各种建模任务的最新(SOTA)性能。随着ML模型的规模不断增加,它们各自的能耗和计算需求也在增加。然而,跟踪、报告和比较能源消耗的方法仍然有限。我们介绍了EnergyVis,一个用于ML模型的交互式能耗跟踪器。EnergyVis由多个协调视图组成,使研究人员能够交互式地跟踪,可视化和比较关键能耗和碳足迹指标(千瓦时和二氧化碳)的模型能耗,帮助用户探索可能减少碳足迹的替代部署位置和硬件。EnergyVis旨在通过在模型训练期间交互式地突出过度的能源使用,以及通过提供替代训练选项来减少能源使用,来提高人们对计算可持续性的认识。
2021-03-30 cs.AI cs.HC cs.LG
Performance Analysis and Characterization of Training Deep Learning Models on Mobile Devices
University of California, Merced(加州大学默塞德分校)
最近,由于移动硬件上的计算能力不断提高以及能够实现高用户体验的优势,在移动设备上训练深度学习模型成为可能。移动设备上机器学习的大部分现有工作都集中在深度学习模型(特别是卷积神经网络和递归神经网络)的推理上,而不是训练。在移动设备上训练深度学习模型的性能表征在很大程度上尚未探索,尽管理解性能表征对于在移动设备上设计和实现深度学习模型至关重要。在本文中,我们在一款代表性的移动终端(NVIDIA TX2)上进行了各种实验,以研究训练深度学习模型的性能。我们引入了一个基准套件和工具,从内存消耗、硬件利用率和功耗的角度研究移动设备上训练深度学习模型的性能。这些工具可以将性能结果与深度学习模型中的细粒度操作相关联,从而提供以细粒度捕获性能差异和问题的功能。我们揭示了有趣的性能问题和机会,包括异构硬件的利用率不足,内存的大能耗,以及工作负载特性的高可预测性。基于性能分析,我们提出了有趣的研究方向。
2019-09-07 cs.LG cs.PF stat.ML
Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation
Stanford University(斯坦福大学);AXA AI Research(AXA人工智能研究)
本文提出基于计算复杂度(FLOPs)的扩散模型GPU能耗预测方法,通过分解推理过程中的文本编码、去噪和解码步骤,验证去噪操作主导能耗,并在四种先进模型和三种GPU架构上验证了预测准确性与跨架构泛化能力。
2026-05-12 cs.CV cs.CY cs.LG
AEBNAS: Strengthening Exit Branches in Early-Exit Networks through Hardware-Aware Neural Architecture Search
AEBNAS通过硬件感知的神经架构搜索优化早期退出网络,提升准确率并降低计算量。
2025-12-11 cs.AI cs.LG
Energy Consumption in Parallel Neural Network Training
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究了并行化参数对神经网络训练能耗的影响,通过对ResNet50和FourCastNet进行扩展实验,发现能耗与GPU小时数近似线性相关,且受模型、硬件及每GPU小时样本数和梯度更新次数影响,为可持续AI发展提供参考。
2025-08-11 cs.AI cs.LG
Time-series surrogates from energy consumers generated by machine learning approaches for long-term forecasting scenarios
本研究针对个体能源消费长期预测问题,深入比较了 WGAN、DDPM、HMM 和 MABF 四种数据驱动方法生成高保真合成时间序列数据的能力,为状态估计和电网规划等任务提供了方法选择依据并保护了用户隐私。
2025-06-25 cs.AI cs.LG
Usability and Performance Analysis of Embedded Development Environment for On-device Learning
INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究所);CITI(信息技术与创新中心);Université Claude Bernard Lyon 1(里昂第一大学);Ecole Centrale de Lyon(里昂中央理工学院);CNRS(法国国家科学研究中心);Ampère(安培实验室)
本研究针对端侧TinyML应用需求,实证评估不同抽象层级的嵌入式开发工具在资源受限IoT设备上的性能与可用性,明确了Arduino Framework与RIOT OS的优劣及硬件控制层面的局限。
2024-03-18 cs.AI cs.LG cs.SE
ecoBLE: A Low-Computation Energy Consumption Prediction Framework for Bluetooth Low Energy
KU Leuven(鲁汶大学)
本文提出了一种基于LSTMP的BLE能耗预测框架,通过综合考虑物联网节点各组件的能耗,实现了更准确的能耗预测,且模型规模更小。
2023-08-02 cs.LG cs.NI
Understanding the Energy Consumption of HPC Scale Artificial Intelligence
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
本文有助于更好地理解HPC规模人工智能(AI),更具体地说,深度学习(DL)算法的能耗权衡。对于这项任务,我们开发了基准跟踪器,一个基准测试工具,以评估在HPC环境中的DL算法的速度和能耗。我们利用硬件计数器和Python库通过软件收集能量信息,这使我们能够检测已知的AI基准工具,并评估许多DL算法和模型的能耗。通过一个实验活动,我们展示了一个案例的潜力的基准跟踪器来衡量的计算速度和能量消耗的训练和推理DL算法,也有潜力的基准跟踪器,以帮助更好地了解在HPC平台的DL算法的能量行为。这项工作是更好地了解HPC中深度学习的能耗的一步,它还提供了一个新的工具,帮助HPC DL开发人员更好地平衡HPC基础设施的速度和能耗。
2022-11-14 cs.AI cs.DC cs.LG
Mapping of Local and Global Synapses on Spiking Neuromorphic Hardware
Stichting IMEC Nederland(荷兰IMEC基金会);IMEC Belgium(比利时IMEC);Drexel University(德雷塞尔大学)
尖峰神经网络(SNN)被广泛应用于解决复杂的模式识别、函数逼近和图像分类任务。随着这些网络的规模和复杂性不断增长,硬件实现变得具有挑战性,因为由于严格的能量预算,扩展完全连接的神经元的单个阵列(交叉开关)的大小不再可行。现代神经形态硬件集成了小型交叉开关和时分复用互连。为了将SNN映射到神经形态硬件上,划分SNN变得至关重要,其主要目的是减少全局通信延迟和能量开销。为了实现这一目标,我们提出了我们的粒子群优化,分区SNN到本地突触(映射在交叉)和全局突触(映射在时间复用的互连)的实例,目的是减少尖峰通信的互连。这通过减少尖峰间期失真和尖峰紊乱来改善延迟、功耗以及应用性能。我们的框架是在Python中实现的,接口CARLsim,GPU加速的应用级尖峰神经网络模拟器与扩展版本的Noxim,用于模拟时间复用互连。实验进行了现实和合成SNN为基础的应用程序与不同的计算模型,拓扑结构和尖峰编码方案。使用来自内部神经形态芯片的功率数,我们证明了PACMAN(SpiNNaker上SNN的广泛使用的分区技术)的能耗和尖峰延迟显著降低。
2019-08-13 cs.ET cs.LG cs.NE
A Simple Model for Portable and Fast Prediction of Execution Time and Power Consumption of GPU Kernels
Heidelberg University(海德堡大学)
表征GPU上的计算内核执行行为以实现高效的任务调度是一项重要的任务。我们通过一个简单的模型来解决这个问题,仅使用独立于硬件的功能在不同的GPU之间实现便携式快速预测。该模型基于随机森林构建,使用来自Parboil,Rodinia,Polybench-GPU和SHOC等基准测试的189个独立计算内核。使用交叉验证对模型性能进行评估,得出的平均百分比误差(MAPE)中位数为8.86-52.00%和1.84- 2.94%,分别用于五个不同GPU的时间功率预测,而单个预测的延迟在15到108毫秒之间变化。
2020-09-30 cs.DC cs.LG cs.PF
The Power of Training: How Different Neural Network Setups Influence the Energy Demand
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道大学(RPTU))
本研究评估机器学习训练参数与学习范式对计算能耗的影响,发现相同模型硬件下不当超参数能耗可达最优设置的5倍,并验证了预训练、多任务训练等范式的节能作用。
2024-10-05 cs.AI cs.LG cs.PF