The Case for Learning Application Behavior to Improve Hardware Energy Efficiency
Texas A&M University（德州农工大学）；New York University（纽约大学）
计算机应用在不断发展。然而，重要的知识可以从一组应用程序中收获，并应用于未知应用程序的上下文中。在本文中，我们建议使用收获的知识来调整硬件配置。这种调整的目标是最大化硬件效率（即，最大化应用性能，同时最小化能耗）。我们提出的方法称为FORECASTER，使用深度学习模型来学习硬件资源的配置为应用程序的特定行为提供最佳能效。在一个看不见的应用程序的执行过程中，该模型使用学习到的知识来重新配置硬件资源，以最大限度地提高能源效率。我们已经提供了一个详细的设计和实现的预报器，并比较其性能对以前的国家的最先进的硬件重新配置方法。我们的研究结果表明，FORECASTER可以节省多达18.4%的系统功耗超过基线设置与所有资源。平均而言，FORECASTER比基线设置节省了16%的系统功耗，而牺牲的整体性能不到0.01%。与之前的方案相比，FORECASTER将节能提高了7%。
2020-11-23 cs.AR cs.LG
DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks
Rice University（莱斯大学）；Meta Inc（元公司）
本文提出DepthShrinker框架，通过训练后移除激活函数并将不规则紧凑算子收缩为密集算子，在保持精度的同时显著提升紧凑DNN的真实硬件效率与吞吐量。
2025-01-04 cs.CV cs.LG
Transformer Redesign for Late Fusion of Audio-Text Features on Ultra-Low-Power Edge Hardware
Nottingham Trent University（诺丁汉特伦特大学）
针对超低功耗边缘设备部署多模态情绪识别的难题，提出硬件感知的后融合系统，结合量化Transformer声学模型与冻结关键词嵌入，在微控制器级平台实现实时高精度推理。
2025-10-20 cs.LG cs.SD eess.AS
Automated design of error-resilient and hardware-efficient deep neural networks
Bosch Corporate Research（博世企业研究院）；RWTH Aachen University（亚琛工业大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
将深度神经网络（DNN）应用于移动和安全关键型系统（如自动驾驶汽车），需要在硬件上实现可靠、高效的执行。正在开发优化的专用硬件加速器来实现这一目标。然而，由于现代集成电路技术的增加的复杂性及其对硬件故障（诸如随机位翻转）的敏感性，高效且可靠的硬件的设计已经变得越来越困难。因此，期望也在算法侧利用用于错误恢复和效率的优化潜力，例如，通过优化DNN的架构。由于DNN的架构有许多设计选择，对优选特性（例如低延迟下的小出错率）具有部分相反的影响，因此多目标优化策略是必要的。在本文中，我们开发了一种进化优化技术，用于自动设计硬件优化的DNN架构。为此，我们推导出一组易于计算的目标函数，使DNN架构的硬件效率和错误恢复能力的快速评估仅基于网络拓扑结构。我们观察到预测的错误恢复能力和故障注入模拟获得的实际测量之间的强相关性。此外，我们分析了两种不同的量化方案，以实现高效的DNN计算，并发现它们对错误恢复的影响存在显着差异。
2019-09-30 cs.LG stat.ML
Efficiera Residual Networks: Hardware-Friendly Fully Binary Weight with 2-bit Activation Model Achieves Practical ImageNet Accuracy
LeapMind Inc.（LeapMind公司）；M3, Inc.（M3公司）
提出Efficiera Residual Networks（ERNs），通过全二进制权重和2-bit激活实现全超低位量化，引入共享常数缩放因子技术支持整数残差计算，在边缘设备上以极小模型尺寸实现高ImageNet准确率与快速推理。
2024-10-15 cs.CV cs.LG
Hardware Aware Training for Efficient Keyword Spotting on General Purpose and Specialized Hardware
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
关键字识别（KWS）为许多移动和边缘应用程序（包括手机、可穿戴设备和汽车）提供了关键的用户界面。由于KWS系统通常是“始终开启”的，因此最大限度地提高精度和功率效率是其实用性的核心。在这项工作中，我们使用硬件感知训练（HAT）来构建基于Legendre Memory Unit（LMU）的新KWS神经网络，以实现最先进的（SotA）精度和低参数计数。这允许神经网络在标准硬件（212 $μ$ W）上高效地运行。我们还对定制设计的加速器硬件的功耗要求进行了表征，该硬件实现了8.79 $μ$ W的SotA功耗效率，比通用低功耗硬件（微控制器）高24倍，比专用ASIC高16倍。
2021-03-10 cs.LG cs.SD eess.AS
PolyLUT: Ultra-low Latency Polynomial Inference with Hardware-Aware Structured Pruning
Imperial College London（伦敦帝国学院）
该研究提出面向FPGA的PolyLUT方法，以多元多项式为构建模块结合硬件感知结构化剪枝，解决LUT规模随输入指数增长问题，在三类任务中实现更低延迟与面积开销。
2025-01-14 cs.AR cs.LG
Boosting Throughput and Efficiency of Hardware Spiking Neural Accelerators using Time Compression Supporting Multiple Spike Codes
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Texas A&M University（得克萨斯农工大学）
脉冲神经网络（SNN）是第三代神经网络，可以探索速率和时间编码，以实现能量高效的事件驱动计算。然而，现有SNN设计的决策精度取决于在长时间内处理大量尖峰。然而，SNN硬件加速器的切换功率与所处理的尖峰的数量成比例，而尖峰序列的长度限制了吞吐量和静态功率效率。本文提出了第一个研究开发时间压缩显着提高吞吐量和减少数字硬件SNN加速器的能量消耗，同时适用于多个尖峰码。所提出的压缩架构包括低成本的输入尖峰压缩单元，新颖的输入和输出加权尖峰神经元，和可重构的时间常数缩放，以支持大而灵活的时间压缩比。我们的压缩架构可以透明地应用于任何给定的预先设计的SNN采用速率或时间代码，同时引起神经模型，学习算法和硬件设计的最小修改。使用尖峰语音和图像识别数据集，我们证明了支持高达16倍的大时间压缩比的可行性，在吞吐量，能耗，硬件面积，运行时间，能量和分类精度之间的权衡，分别基于Xilinx Zynq-7000 FPGA上的不同尖峰代码，提供高达15.93倍，13.88倍和86.21倍的改进。这些结果是实现的，而招致很少的额外硬件开销。
2019-09-10 cs.LG cs.NE
AxTrain: Hardware-Oriented Neural Network Training for Approximate Inference
Washington University in St. Louis（圣路易斯华盛顿大学）；SKLCA, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所SKLCA）
神经网络内在的容错性使得近似计算成为提高神经网络推理能量效率的一种很有前途的技术。传统的近似计算侧重于平衡现有预训练网络的效率-准确性权衡，这可能导致次优解决方案。在本文中，我们提出了AxTrain，一个面向硬件的训练框架，以方便近似计算NN推理。具体来说，AxTrain利用了两种正交方法之间的协同作用-一种是主动搜索具有高容错性的网络参数分布，另一种是通过在训练阶段将近似硬件的噪声分布数值化来被动学习弹性权重。在不同数据集上采用近阈值计算和近似乘法策略的实验结果表明，AxTrain能够获得有弹性的神经网络参数，提高系统能效。
2018-05-21 cs.DC cs.LG eess.IV
Efficiency vs. Fidelity: A Comparative Analysis of Diffusion Probabilistic Models and Flow Matching on Low-Resource Hardware
本研究通过比较流匹配与扩散模型在低资源硬件上的性能，发现流匹配在效率和保真度上更优，适合实时生成任务。
2025-11-24 cs.LG
Efficiency-driven Hardware Optimization for Adversarially Robust Neural Networks
Yale University（耶鲁大学）
随着物联网（IoT）时代对嵌入式设备智能化需求的不断增长，深度神经网络（DNN）的安全硬件实现已变得势在必行。我们将专注于如何通过效率驱动的硬件优化来解决DNN的对抗鲁棒性。由于内存（特别是点积运算）是DNN的关键能耗组件，因此过去的硬件方法都集中在优化内存上。一种这样的方法是具有混合6 T-8 T SRAM单元的近似数字CMOS存储器，该混合6 T-8 T SRAM单元使得能够实现电源电压（VDD）缩放，从而产生低功率操作，而不会由于在6 T单元中引起的读/写故障而显著影响性能。在本文中，我们展示了混合6 T-8 T存储器的6 T单元中的比特错误如何最小化DNN中的对抗性扰动。从本质上讲，我们发现，对于不同的配置的8 T-6 T的比率和scaledpronunciation操作，在混合存储器架构中产生的噪声是在特定的限制范围内绑定。这种硬件噪声可能会干扰DNN中对抗攻击的创建，从而产生鲁棒性。另一种存储器优化方法涉及使用模拟忆阻交叉开关，其以低能量和面积要求高效地执行矩阵向量乘法（MVMs）。然而，交叉开关通常存在固有的非理想性，这会导致执行MVMs时出现错误，从而导致DNN的准确性下降。我们将展示通过交叉开关非理想性表现出来的固有硬件变化如何在没有任何额外优化的情况下对映射的DNN产生对抗性鲁棒性。
2021-05-09 cs.AR cs.LG
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks
The University of Hong Kong（香港大学）；ETH Zürich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）
本文提出片上硬件感知量化框架OHQ，在边缘设备上直接进行混合精度量化，通过片上感知流水线和掩码引导估计技术，实现精度与效率的优化，在ResNet-18和MobileNetV3上分别达到70%和73%精度，延迟降低15%-30%。
2024-05-23 cs.AI cs.AR cs.LG
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）；Rice University（莱斯大学）
乘法可以说是现代深度神经网络（DNN）中成本最占主导地位的操作，限制了它们可实现的效率，从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制，开创性的工作已经开发了手工制作的免乘法DNN，这需要专业知识和耗时的手动迭代，需要快速开发工具。为此，我们提出了一个名为NASA的神经架构搜索和加速框架，它可以实现自动化的乘法减少DNN开发，并集成了一个专用的乘法减少加速器，以提高DNN的可实现效率。具体来说，NASA采用了神经架构搜索（NAS）空间，该空间使用硬件启发的无乘法运算符（如移位和加法器）来增强最先进的空间，并配备了新颖的渐进式预训练策略（PGP）以及定制的训练配方，以自动搜索最佳的乘法减少DNN;最重要的是，NASA进一步开发了一个专用的加速器，该加速器提倡基于块的模板和自动映射器，专门用于NASA-NAS生成的DNN，以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
Benchmarking Ultra-Low-Power $μ$NPUs
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
该研究对多款商用超低功耗神经处理单元（μNPUs）进行了首次独立基准测试，开源了统一的量化模型编译流水线，揭示了硬件规格与实际性能间的差异，为软硬件开发者提供了实用见解。
2025-10-31 cs.AR cs.LG
Co-Design of Approximate Multilayer Perceptron for Ultra-Resource Constrained Printed Circuits
National Technical University of Athens（雅典国立技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Patras（帕特雷大学）
印刷电子（PE）因其增材制造工艺而展示出按需、极低成本的硬件，使机器学习（ML）应用能够应用于硅基系统无法满足的超低成本、一致性和无毒要求的领域。然而，PE中的大特征尺寸禁止实现复杂的印刷ML电路。在这项工作中，我们提出，第一次，一个自动化的印刷感知的软件/硬件协同设计框架，利用近似计算原理，使超资源约束的印刷多层感知器（MLP）。我们的评估表明，与最先进的基线相比，我们的电路的面积（功耗）平均降低了6倍（5.7倍），精度损失不到1%。
2023-02-28 cs.AR cs.LG
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA（英伟达）；Caltech（加州理工学院）
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的，限制了推理速度和能量效率。张量分解是一种很有前途的技术，通过利用张量代数性质来表示因子分解形式的参数，以减少参数冗余。先前的努力使用手动或启发式因子分解设置，而没有硬件感知的定制，导致硬件效率低下和性能大幅下降。在这项工作中，我们提出了一个硬件感知的张量分解框架，称为HEAT，它可以有效地探索可能的分解的指数空间，并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略，以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈，从而显著提高了因子化Transformers的最终准确性。总的来说，我们的实验表明，我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍，准确性损失小于1.1%，并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
Bag of Tricks for Optimizing Transformer Efficiency
Northeastern University（东北大学）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
近来，提高Transformer效率变得越来越有吸引力。已经提出了广泛的方法，例如，修剪、量化、新的体系结构等。但是这些方法要么在实现上是复杂的，要么依赖于硬件。在本文中，我们表明，Transformer的效率可以通过结合一些简单的和硬件无关的方法，包括调整超参数，更好的设计选择和训练策略来提高。在WMT新闻翻译任务中，我们将一个强大的Transformer系统的推理效率在CPU上提高了3.80倍，在GPU上提高了2.52倍。该代码可在https://github.com/Lollipop321/mini-decoder-network上公开获取。
2021-09-09 cs.LG
Understanding Reuse, Performance, and Hardware Cost of DNN Dataflows: A Data-Centric Approach Using MAESTRO
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
DNN加速器用于利用重用和执行分段的数据分区和调度策略被称为低功耗，它们直接影响DNN加速器设计的性能和能效。加速器微架构规定了可用于执行层或网络的一个或多个线程。为层形状选择最佳的波纹可以对利用率和能源效率产生很大的影响，但是对波纹的选择和后果以及帮助建筑师探索协同优化设计空间的工具和方法缺乏了解。在这项工作中，我们首先引入了一组以数据为中心的指令，以编译器友好的形式简洁地指定DNN队列的空间。然后，我们将展示如何分析这些指令，以推断各种形式的重用，并利用它们使用硬件功能。我们将此分析编入分析成本模型MAESTRO（通过时空重用和占用建模加速器效率），该模型估计了DNN模型和硬件配置的执行时间和能源效率等各种成本效益权衡。我们演示了使用MAESTRO来驱动硬件设计空间探索（DSE）实验，该实验在4.8亿个设计中搜索，以每秒0.17万个设计的平均速度识别250万个有效设计，包括帕累托最优吞吐量和能量优化设计点。
2020-05-11 cs.DC cs.LG
Beyond Efficiency: Scaling AI Sustainably
FAIR at Meta（Meta FAIR实验室）
本文针对AI计算需求增长带来的碳排放问题，刻画了AI全周期碳影响，指出前沿AI技术的效率优化方向，提出需从计算基础设施全生命周期优化以实现AI可持续扩展。
2024-06-22 cs.DC cs.LG
RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks
Embedded Computing Systems Group, Institute of Computer Engineering, Technische Universität Wien (TU Wien), Vienna, Austria（嵌入式计算系统组，计算机工程学院，维也纳技术大学）；Evolvable Hardware Research Group, Faculty of Information Technology, Brno University of Technology, Brno, Czechia（可进化硬件研究组，信息技术学院，布拉格技术大学）；VLSI Lab, Department of Electronics and Telecommunications, Politecnico di Torino, Turin, Italy（非常规集成电路实验室，电子与电信系，托里尼 Politecnico）；eBrain Lab, Division of Engineering, New York University Abu Dhabi, UAE（eBrain 实验室，工程系，纽约大学阿布扎克分校）
针对DNN计算复杂、易受对抗攻击的问题，提出可联合优化对抗鲁棒性与硬件效率的NAS框架RoHNAS，支持卷积与胶囊网络，通过适配数据集的扰动值提速，经多GPU HPC评估得到多目标权衡的帕累托最优架构。
2022-10-11 cs.LG
Mobile Machine Learning Hardware at ARM: A Systems-on-Chip (SoC) Perspective
University of Rochester（罗切斯特大学）；ARM Research（ARM研究院）
机器学习在AR/VR、ADAS等新兴移动应用领域中发挥着越来越重要的作用。因此，硬件架构师已经为机器学习算法（特别是神经网络）设计了定制硬件，以提高计算效率。然而，机器学习通常只是复杂端到端应用中的一个处理阶段，涉及移动片上系统（SoC）中的多个组件。只关注机器学习加速器会在系统（SoC）层面失去更大的优化机会。本文认为，硬件架构师应该扩大优化范围到整个SoC。我们展示了一个特定的案例研究在连续计算机视觉领域的摄像头传感器，图像信号处理器（ISP），存储器和NN加速器协同协同设计，以实现最佳的系统级效率。
2018-02-01 cs.AR cs.LG cs.NE
The Framework Tax: Disparities Between Inference Efficiency in NLP Research and Deployment
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；FAIR（FAIR（人工智能基础研究团队））；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本研究揭示“框架税”现象，即深度学习框架瓶颈导致NLP模型计算效率提升未转化为实际推理延迟改善，并通过案例研究分析其成因。
2023-12-22 cs.LG
HADAS: Hardware-Aware Dynamic Neural Architecture Search for Edge Performance Scaling
LAMIH/UMR CNRS, Université Polytechnique Hauts-de-France（法国上法兰西综合理工大学 LAMIH/法国国家科学研究中心联合研究单位）；University of California, Irvine（加州大学欧文分校）
动态神经网络（DyNN）已经成为在资源受限的边缘设备上实现智能同时保持计算效率的可行技术。在许多情况下，DyNN的实现可能是次优的，因为其底层骨干架构在设计阶段独立于以下两者而被开发：（i）动态计算特征，例如提前退出，以及（ii）底层硬件的资源效率特征，例如，动态电压和频率缩放（DVFS）。为了解决这个问题，我们提出了HADAS，这是一种新型的硬件感知动态神经架构搜索框架，它实现了DyNN架构，其骨干，早期退出功能和DVFS设置已经过联合优化，以最大限度地提高性能和资源效率。我们使用CIFAR-100数据集和一组不同的边缘计算平台进行的实验表明，与传统的动态模型相比，HADAS动态模型实现了高达57%的能效提升，同时保持了所需的准确度得分水平。我们的代码可在https://github.com/HalimaBouzidi/HADAS上获得
2022-12-06 cs.AR cs.LG cs.NE
Real-time Multi-Task Diffractive Deep Neural Networks via Hardware-Software Co-design
University of Utah（犹他大学）
深度神经网络（DNN）具有大量的计算需求，这极大地限制了它们在资源受限环境中的性能。最近，在基于光学神经网络和光计算的DNN硬件上有越来越多的努力，其在功率效率、并行性和计算速度方面为深度学习系统带来显著的优势。其中，自由空间衍射深度神经网络（D $^2$ NNs）基于光的衍射，每层神经元与相邻层的神经元相互连接，每层神经元的数量达到数百万。然而，由于实现可重构性的挑战，部署不同的DNN算法需要重新构建和复制物理衍射系统，这显著降低了实际应用场景中的硬件效率。因此，这项工作提出了一种新的软硬件协同设计方法，使强大的和噪声弹性的多任务学习D $^2$神经网络。我们的实验结果表明，在通用性和硬件效率的显着改善，也证明了所提出的多任务D $^2$ NN架构的鲁棒性下的所有系统组件的宽噪声范围。此外，我们提出了一个特定于域的正则化算法来训练所提出的多任务架构，它可以用来灵活地调整每个任务的期望性能。
2021-04-01 cs.AI cs.LG physics.optics
HBQ: Hierarchical Scaling Block Quantization with Hardware-Efficiency-Aware Design for Accurate LLM Inference
Cornell University（康奈尔大学）；Intel Corporation（英特尔公司）
该研究针对大语言模型推理的块量化设计空间不足问题，提出分层块量化HBQ，通过二级尾数缩放补偿大块误差，实现了比现有权重量化和块量化更高的面积、能量效率与推理速度，达到最优精度。
2026-09-23 cs.AI cs.AR cs.LG
HASS: Hardware-Aware Sparsity Search for Dataflow DNN Accelerator
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
本文提出硬件感知稀疏性搜索（HASS），通过软硬件协同优化为数据流加速器利用非结构化权重和激活稀疏性，相比现有设计实现1.3至4.2倍效率提升。
2024-06-05 cs.AR cs.LG
DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables
Deeplite Inc.（Deeplite公司）；IMT Atlantique（大西洋国立高等矿业电信学校）；CNRS（法国国家科学研究中心）
DeepGEMM通过查找表预计算权重与激活的乘积，在仅支持8位及以上精度的SIMD CPU硬件上高效执行超低精度卷积网络，2位实现相比QNNPACK 8位内核在x86平台最高加速1.74倍。
2023-04-18 cs.LG
LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting
Meta AI
本文提出了一种硬件高效的架构，线性卷积网络（LiCo-Net）的关键字定位。它专门针对微控制器等低功耗处理器单元进行了优化。ML运算符在节能硬件上表现出异构的效率配置文件。给定精确的理论计算成本，int 8运算符比浮点运算符更有效，线性层通常比其他层更有效。所提出的LiCo-Net是一个双阶段系统，在推理阶段使用高效的int 8线性算子，并在训练阶段应用流式卷积以保持高模型容量。实验结果表明，LiCo-Net在硬件效率上优于单值分解滤波器（SVDF），同时具有同等的检测性能。与SVDF相比，LiCo-Net在HiFi 4 DSP上的周期减少了40%。
2022-11-09 cs.AI cs.LG eess.AS
Full-stack Optimization for Accelerating CNNs with FPGA Validation
Harvard University（哈佛大学）
我们提出了一个全栈优化框架，用于加速CNN（卷积神经网络）的推理，并验证了现场可编程门阵列（FPGA）实现的方法。通过联合优化CNN模型、计算架构和硬件实现，我们的全栈方法在以推理延迟、能效、硬件利用率和推理准确性为特征的权衡空间中实现了前所未有的性能。作为验证工具，我们实现了一个170 MHz的FPGA推理芯片，实现了ImageNet基准测试的2.28ms延迟。实现的延迟是文献中报告的最低延迟之一，同时实现了相当的准确性。然而，我们的芯片的亮点在于，与其他实现类似延迟的实现相比，它的能效高出9倍。我们的全栈方法的一个亮点是实现了高能效，这是一个有效的选择器-累加器（SAC）架构，用于实现任何数字CNN硬件中存在的乘法器-累加器（MAC）操作。例如，与传统8位MAC的FPGA实现相比，SAC大幅减少了所需的硬件资源（查找表减少了4.85倍）和功耗（2.48倍）。
2019-05-01 cs.LG
NeuroNAS: Enhancing Efficiency of Neuromorphic In-Memory Computing for Intelligent Mobile Agents through Hardware-Aware Spiking Neural Architecture Search
New York University (NYU) Abu Dhabi（纽约大学阿布扎比分校）
针对智能移动代理低功耗需求，提出NeuroNAS框架，通过硬件感知脉冲神经架构搜索找到满足内存、面积等约束的高精度SNN架构，在多数据集上实现搜索加速与能效提升。
2025-04-18 cs.AI cs.AR cs.LG
Comprehensive Efficiency Analysis of Machine Learning Algorithms for Developing Hardware-Based Cybersecurity Countermeasures
California State University, Long Beach（加州州立大学长滩分校）
现代计算系统已经导致网络对手创建比技术早期更复杂的恶意软件。过时的检测技术，如基于签名方法的反病毒软件（AVS），已经不能满足计算机系统对它们的要求。现代恶意软件的复杂性导致了当代检测技术的发展，这些技术使用机器学习领域和硬件来提高恶意软件的检测率。这些新技术使用硬件性能计数器（HPC），形成各种数字签名。在向模型提供训练数据之后，它们可以参考这些HPC来对零日恶意软件样本进行分类。当没有可比HPC值的恶意软件与这些新技术接触时，就会出现问题。我们提供了几个机器学习和深度学习模型的分析，这些模型运行零日样本，并评估从C++算法到用于开始硬件实现的硬件描述语言（HDL）的转换结果。我们的结果显示，当运行零日恶意软件数据时，模型缺乏准确性，因为我们的最高检测器决策树只能达到91.2%的准确率，并且以决策树的形式具有91.5%的F1分数。接下来，通过受试者工作曲线（ROC）和曲线下面积（AUC），我们还可以确定算法没有表现出显著的鲁棒性，因为最大AUC仅为0.819。此外，我们看到集成学习算法的开销相对较高，同时也只有86.3%的准确率和86%的F1分数。最后，作为一项额外的任务，我们调整了一个规则算法，以适应许多规则，使恶意软件分类可以理解的日常用户，让他们查看的法规，同时保持相对较高的准确性。
2022-01-05 cs.CR cs.LG
Memory and Bandwidth are All You Need for Fully Sharded Data Parallel
Jülich Supercomputing Centre, Forschungszentrum Jülich（于利希超级计算中心，于利希研究中心）
本文使用Fully Sharded Data Parallel策略研究大型transformer训练的计算、内存和网络需求，发现集群连接带宽和GPU内存大小是限制训练效率的关键瓶颈，并据此指导用户寻找硬件最优配置以提升训练效率。
2025-03-04 cs.DC cs.LG
Hardware Aware Ensemble Selection for Balancing Predictive Accuracy and Cost
Helmholtz-Zentrum Berlin（柏林亥姆霍兹中心）；Humboldt University Berlin（柏林洪堡大学）；University of Freiburg（弗莱堡大学）
针对表格 AutoML 事后集成推理成本高的问题，本文提出硬件感知集成选择方法，在质量多样性优化中同时评估精度与推理效率，并在 83 个分类数据集上验证其可保持竞争力并提升运行效率。
2024-08-05 cs.AI cs.LG
QuadraNet: Improving High-Order Neural Interaction Efficiency with Hardware-Aware Quadratic Neural Networks
George Mason University（乔治梅森大学）；University of Maryland（马里兰大学）；University at Buffalo（布法罗大学）；Peking University（北京大学）
本文提出QuadraNet，一种基于二次神经元和硬件感知神经架构搜索的高阶交互网络设计方法，在保持认知性能的同时实现最高1.5倍吞吐量和减少30%内存占用。
2023-11-29 cs.CV cs.LG cs.NE
SONIQ: System-Optimized Noise-Injected Ultra-Low-Precision Quantization with Full-Precision Parity
SONIQ框架通过训练时注入硬件校准噪声学习每通道混合精度，在超低比特下达到或超过全精度精度，并在CPU/GPU上实现显著加速，且可部署于通用硬件。
2025-11-09 cs.AR cs.LG cs.PF
To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration
Politecnico di Torino（都灵理工大学）；Delft University of Technology（代尔夫特理工大学）；University of Zürich and ETH Zürich（苏黎世大学和苏黎世联邦理工学院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
该研究从数字硬件视角定量对比ANN与SNN的加速技术及平台，明确二者适用场景，提出混合二者的方法或能实现最优效果，为深度学习硬件设计提供参考。
2024-01-28 cs.AI cs.AR cs.LG
