Energy Efficient Software Hardware CoDesign for Machine Learning: From TinyML to Large Language Models
Department of Computer Science（计算机科学系）
本文探讨了从TinyML到大语言模型的能效协同设计方法，涵盖边缘推理、训练和数据中心规模的LLM服务，分析了加速器架构和系统级技术，并提出分层分解视角以指导构建能效和碳感知的机器学习系统。
2026-03-24 cs.AR cs.LG
CFU Playground: Full-Stack Open-Source Framework for Tiny Machine Learning (tinyML) Acceleration on FPGAs
Harvard University（哈佛大学）；Google（谷歌）；Purdue University（普渡大学）；Stanford University（斯坦福大学）
本文提出全栈开源框架CFU Playground，支持FPGA上嵌入式机器学习加速器的快速软硬件协同设计与评估，结合自动化黑盒优化探索设计空间，实现了55至75倍的显著加速。
2023-04-05 cs.AR cs.DC cs.LG
TinyFedTL: Federated Transfer Learning on Tiny Devices
Harvard University（哈佛大学）
TinyML在一个数据无处不在的时代变得越来越受欢迎。然而，需求最大的数据受到严格的隐私和安全保证。此外，TinyML硬件在现实世界中的部署具有传统ML无法解决的显著内存和通信限制。鉴于这些挑战，我们提出了TinyFedTL，这是在资源受限的微控制器上首次实现联邦迁移学习。
2021-10-03 cs.DC cs.LG
Edge Impulse: An MLOps Platform for Tiny Machine Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Edge Impulse（Edge Impulse（边缘脉冲公司））
针对TinyML工作流软件栈碎片化、硬件异构导致模型优化难、移植性差的问题，本文提出基于云的MLOps平台Edge Impulse，通过多软硬件优化构建可扩展可移植软件栈以简化设计周期，截至2022年10月已承载超11万项目。
2023-04-28 cs.DC cs.LG cs.SE
An affordable hardware-aware neural architecture search for deploying convolutional neural networks on ultra-low-power computing platforms
University of Genoa（热那亚大学）；Scuola Superiore Sant’Anna（圣安娜高等研究学院）
提出一种轻量级硬件感知神经架构搜索方法，生成可在超低功耗微控制器上运行的微型CNN，在保持分类精度的同时降低搜索成本。
2026-06-16 cs.AI cs.LG
TinyDéjàVu: Smaller RAM and Faster Inference with Neural Networks on MCUs for Sensor Data Streams
Inria Saclay, France（法国萨克利研究所）；Inria, France（法国研究所）
提出TinyDéjàVu框架，通过优化神经网络推理中的数据流，在微控制器上实现高达90%的RAM节省和相同计算延迟，用于传感器数据时间序列的推理。
2026-05-27 cs.LG cs.PF cs.SD
Simulating Battery-Powered TinyML Systems Optimised using Reinforcement Learning in Image-Based Anomaly Detection
School of Electrical and Information Engineering, University of the Witwatersrand（威特沃特斯兰德大学电气与信息工程学院）；Digital Matter（数字物质公司）
本研究针对电池供电的TinyML图像异常检测IoT系统，提出用强化学习优化系统运行的方案，经仿真验证其电池续航较静态、动态优化方法分别提升22.86%和10.86%，且内存仅800B，适合资源受限硬件部署。
2024-04-10 cs.LG
PolyChirp: Multi-Species Birdsong Classification Using TinyML on Low-Power Acoustic Sensors
École Polytechnique（巴黎综合理工学院）；Freie Universität Berlin（柏林自由大学）；Berlin University of Applied Sciences (BHT)（柏林应用科技大学）；HES-SO Valais-Wallis（瓦莱州瓦利斯高等专业学院）；Inria（法国国家信息与自动化研究所）
该研究开发了PolyChirp方法，结合多技术实现低功耗传感器的多物种鸟鸣分类，性能优于现有技术，可同时分类10种鸟类，满足野外长期运行的资源要求。
2026-09-28 cs.AI cs.LG
The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression
University College London（伦敦大学学院）；Université Paris-Saclay（巴黎萨克雷大学）；The Alan Turing Institute（艾伦·图灵研究所）
天文学的一个新的黄金时代即将到来，由数据主导。大型天文调查正在以前所未有的速度传播信息，这要求机器学习作为现代科学管道中的关键组成部分来处理大量数据。即将到来的空间和时间遗产调查（LSST）的维拉C。鲁宾天文台将提高时域天文学的大数据标准，预计每晚将发出1000万次警报，并在调查的整个生命周期内生成许多PB的数据。对于时间紧迫的事件，需要快速有效的分类算法，这些算法可以实时操作，但又可靠和准确，因为在这些事件中，可以寻求额外的资源进行后续分析。为了处理这些数据，最先进的深度学习架构以及利用现代硬件加速器的工具是必不可少的。我们展示了如何使用现代深度压缩方法可以实现模型大小的$18\times$减少，同时保持分类性能。我们还表明，除了深度压缩技术，仔细选择文件格式可以提高推理延迟，从而提高警报的吞吐量，在本地处理的顺序为$8\times$，并在现场生产环境中的$5\times$。为了在现场环境中测试这一点，我们将原始时间序列Transformer的优化版本t2部署到FINK的社区警报经纪系统中，对真实的Zwicky Transient Facility（ZTF）警报数据进行分析，并将吞吐量性能与FINK中存在的其他科学模块进行比较。本文所示的结果强调了时间序列Transformer在LSST规模及以上的实时分类中的适用性，并引入了深度模型压缩作为改进深度学习模型的部署能力和可扩展推理…
2023-03-15 astro-ph.IM cs.LG
Boosting Throughput and Efficiency of Hardware Spiking Neural Accelerators using Time Compression Supporting Multiple Spike Codes
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Texas A&M University（得克萨斯农工大学）
脉冲神经网络（SNN）是第三代神经网络，可以探索速率和时间编码，以实现能量高效的事件驱动计算。然而，现有SNN设计的决策精度取决于在长时间内处理大量尖峰。然而，SNN硬件加速器的切换功率与所处理的尖峰的数量成比例，而尖峰序列的长度限制了吞吐量和静态功率效率。本文提出了第一个研究开发时间压缩显着提高吞吐量和减少数字硬件SNN加速器的能量消耗，同时适用于多个尖峰码。所提出的压缩架构包括低成本的输入尖峰压缩单元，新颖的输入和输出加权尖峰神经元，和可重构的时间常数缩放，以支持大而灵活的时间压缩比。我们的压缩架构可以透明地应用于任何给定的预先设计的SNN采用速率或时间代码，同时引起神经模型，学习算法和硬件设计的最小修改。使用尖峰语音和图像识别数据集，我们证明了支持高达16倍的大时间压缩比的可行性，在吞吐量，能耗，硬件面积，运行时间，能量和分类精度之间的权衡，分别基于Xilinx Zynq-7000 FPGA上的不同尖峰代码，提供高达15.93倍，13.88倍和86.21倍的改进。这些结果是实现的，而招致很少的额外硬件开销。
2019-09-10 cs.LG cs.NE
A Machine Learning-oriented Survey on Tiny Machine Learning
University of Verona（维罗纳大学）
本文是一篇遵循PRISMA流程的TinyML综述，梳理三类实现工作流、学习算法与优化设计分类、硬件软件工具，并讨论挑战和未来方向。
2023-09-26 cs.LG
Virtualization of Tiny Embedded Systems with a robust real-time capable and extensible Stack Virtual Machine REXAVM supporting Material-integrated Intelligent Systems and Tiny Machine Learning
University of Bremen（不来梅大学）；University of Siegen（锡根大学）；Institute for Microsensors, -actuators and -systems（微传感器、微执行器与微系统研究所）
在过去的几十年中，传感器密度和传感器部署显著增加，这是由显著的小型化和尺寸减小到芯片级驱动的，解决了无处不在的计算，边缘计算以及分布式传感器网络。材料集成和智能系统（MIIS）提供了下一个集成和应用级别，但它们带来了新的挑战并引入了硬约束（资源，能源供应，通信，弹性和安全）。通常，低资源系统是具有专用软件或专用硬件（FPGA）的静态编程处理器。这项工作表明，需要和解决方案，虚拟化在这种低资源和约束系统的弹性分布式传感器和网络物理网络使用一个统一的低资源，可定制的，和实时的【形】能力嵌入式和可扩展堆栈虚拟机（REXAVM），可以实现和合作的软件和硬件。在整体架构方法中，VM专门针对数字信号处理和微型机器学习。通过在编译时使用VM程序代码生成器和在运行时间使用增量代码处理，REXAVM是高度可定制的。虚拟机使用集成的、高效的实时编译器从文本代码创建字节码。本文显示和评估的适用性，建议的VM架构操作等效的软件和硬件（FPGA）实现。讨论了支持微型ML和使用定点运算的DSP的特定组件的效率和精度。扩展的用例部分演示了所引入的VM体系结构在广泛应用程序中的可用性。
2023-02-17 cs.AR cs.LG cs.OS
Neural Signal Compression using RAMAN tinyML Accelerator for BCI Applications
Indian Institute of Science（印度科学理工学院）；Western Sydney University（西悉尼大学）
针对脑机接口中原始神经数据传输带宽受限与发热问题，提出基于卷积自编码器的神经信号压缩方案，在RAMAN tinyML加速器上实现并经软硬件协同优化，在低功耗小面积下实现高压缩比与较好的重建效果。
2025-09-01 cs.AR cs.HC cs.LG
Towards Hardware-Specific Automatic Compression of Neural Networks
Heidelberg University（海德堡大学）
压缩神经网络架构对于允许将模型部署到嵌入式或移动设备是重要的，并且修剪和量化是当今压缩神经网络的主要方法。当为每个层专门选择压缩参数时，这两种方法都有好处。找到压缩参数的良好组合（所谓的压缩策略）是困难的，因为问题跨越指数级大的搜索空间。有效的压缩策略会考虑特定硬件架构对所用压缩方法的影响。我们提出了一个算法框架，称为Galen使用强化学习利用修剪和量化搜索这样的政策，从而为神经网络提供自动压缩。与其他方法相反，我们使用在目标硬件设备上测量的推理延迟作为优化目标。这样，框架就支持特定于给定硬件目标的模型的压缩。我们使用三种不同的强化学习代理进行修剪、量化和联合修剪和量化来验证我们的方法。除了证明我们方法的功能外，我们还能够在嵌入式ARM处理器上将CIFAR-10的ResNet 18压缩到原始推理延迟的20%，而不会显著损失准确性。此外，我们可以证明，使用修剪和量化的联合搜索和压缩优于使用单一压缩方法的单独搜索策略。
2022-12-15 cs.LG cs.PF stat.ML
Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation
Technical University of Denmark（丹麦技术大学）；Microsoft（微软公司）
针对 TinyML 中架构与输入数据需联合优化的问题，提出基于超网加速评估的数据感知神经架构搜索方法，并在 Wake Vision 上验证其优于纯架构搜索。
2025-02-18 cs.AI cs.CV cs.LG
Approximate Decision Trees For Machine Learning Classification on Tiny Printed Circuits
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
虽然印刷电子（PE）在传统的评估指标上无法与硅基系统竞争，例如，由于集成密度、面积和性能的优势，PE提供了有吸引力的特性，如按需超低成本制造、灵活性和无毒。因此，它的目标是那些基于光刻的硅电子技术无法触及的应用领域，因此还没有看到太多的计算扩散。然而，尽管PE具有吸引人的特性，但PE中的大特征尺寸禁止实现复杂的印刷电路，例如机器学习（ML）分类器。在这项工作中，我们利用决策树的硬件友好性质进行机器学习分类，并利用近似设计的硬件效率，以生成适合于微小，超资源受限和电池供电的印刷应用的近似ML分类器。
2022-03-15 cs.AR cs.LG
UltraSketchLLM: Sub-1-Bit LLM Compression via Sketch and Hardware-Friendly Operators
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机科学学院，北京大学）；School of Electronic Engineering and Computer Science, Peking University（电子工程与计算机科学学院，北京大学）；Center for Energy-efficient Computing and Applications, Peking University（能效计算与应用中心，北京大学）
提出UltraSketchLLM，利用数据草图将LLM权重压缩至0.5比特，结合硬件友好实现，在保持可接受性能下降的同时实现14.9倍加速。
2026-06-15 cs.AI cs.LG
Tiny Classifier Circuits: Evolving Accelerators for Tabular Data
University of Manchester（曼彻斯特大学）；NNAISENSE（NNAISENSE公司）；Pragmatic Semiconductor（普拉格马特半导体公司）
本文提出 Auto Tiny Classifiers，用进化算法搜索不超过300个逻辑门的表格分类电路，在准确率不显著降低的同时大幅削减芯片面积、功耗与FPGA资源。
2023-09-28 cs.AR cs.LG
DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks
Rice University（莱斯大学）；Meta Inc（元公司）
本文提出DepthShrinker框架，通过训练后移除激活函数并将不规则紧凑算子收缩为密集算子，在保持精度的同时显著提升紧凑DNN的真实硬件效率与吞吐量。
2025-01-04 cs.CV cs.LG
TinyVQA: Compact Multimodal Deep Neural Network for Visual Question Answering on Resource-Constrained Devices
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Lehigh University（利哈伊大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出紧凑型多模态网络 TinyVQA，通过监督注意力、知识蒸馏与低位宽量化实现可在微型无人机上部署的视觉问答，并在 FloodNet 上验证其准确率、低延迟与低功耗。
2024-04-04 cs.AI cs.CV cs.LG
Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
深度图是各种图形渲染和处理操作所需要的。当在分布式系统中执行这样的操作时，深度图流式传输通常是必要的，并且在大多数情况下，它需要快速执行压缩，这就是为什么经常使用视频编解码器。标准视频编解码器的硬件实现即使在资源受限的设备上也能够实现相对高的分辨率和帧速率组合，但不幸的是，这些实现目前不支持RGB+深度扩展。然而，它们可以通过首先将深度图打包到RGB或YUV帧中来用于深度压缩。我们调查深度图压缩使用深度图包装的组合，然后用标准的视频编解码器编码。我们表明，深度图被包装的精度有一个大的和不平凡的影响，所产生的错误所造成的组合的包装方案和有损压缩时，比特率受到约束。因此，我们提出了一个可变精度的包装方案的神经网络模型，预测每个深度图的最佳精度给定的比特率约束。我们证明，该模型产生接近最佳的预测，它可以集成到一个游戏引擎，使用现代硬件的开销非常低。
2022-06-30 cs.GR cs.LG cs.MM
DRCAS: Deep Restoration Network for Hardware Based Compressive Acquisition Scheme
Texas A&M University（德州农工大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
我们通过使用CAS（压缩采集方案）和DNN（深度神经网络）来研究图像采集设备的功率和性能改进。为此，我们提出了一种新的图像采集方案HCAS（基于硬件的压缩采集方案），使用基于硬件的分箱（下采样），位截断和JPEG压缩，并开发了一个基于深度学习的重建网络，用于使用相同的图像采集。HCAS的动机是这样的事实，即使用装仓和位截断的原始数据的原位压缩导致整个下游图像处理流水线中的数据流量和功率的减少，并且使用JPEG的处理数据的附加压缩将有助于图像的存储/传输。原位压缩与JPEG的组合导致高压缩比、显著的功率节省以及图像采集简化的进一步优点。考虑到这些问题，我们提出了DRCAS（基于硬件的压缩采集方案的深度恢复网络），据我们所知，这是文献中提出的第一项工作，用于恢复使用HCAS等采集方案采集的图像。与文献中用于超分辨率任务的CAS方法（双三次下采样）相比，本文提出的HCAS在压缩比和硬件友好性方面都具有优势。恢复网络DRCAS的性能也优于最先进的超分辨率网络，同时要小得多。因此，HCAS和DRCAS技术将使我们能够设计更简单，更节能的图像采集管道。
2019-11-15 cs.LG eess.IV
xYOLO: A Model For Real-Time Object Detection In Humanoid Soccer On Low-End Hardware
University of Canterbury（坎特伯雷大学）；HIT Lab NZ（新西兰HIT实验室）
随着物联网（IoT）、边缘计算和自主机器人等领域的机载视觉处理的出现，对计算效率高的卷积神经网络（CNN）模型的需求日益增加，以在资源受限的硬件设备上执行实时的【形】目标检测。Tiny-YOLO通常被认为是低端设备中速度更快的物体探测器之一，也是我们工作的基础。我们在这个网络上的实验表明，Tiny-YOLO可以在Raspberry Pi 3 B上实现0.14帧每秒（FPS），这对于踢足球的自主人形机器人检测目标和球物体来说太慢了。在本文中，我们提出了一种名为xYOLO的YOLO CNN模型的自适应方法，可以在Raspberry Pi 3 B上以9.66 FPS的速度实现目标检测。这是通过交易可接受的准确度来实现的，使网络比Tiny-YOLO快大约70倍。在台式机CPU和GPU上也实现了更大的推理速度。此外，我们还贡献了一个带注释的Darknet数据集，用于目标和球检测。
2019-10-08 cs.CV cs.LG cs.RO
Practical Network Acceleration with Tiny Sets: Hypothesis, Theory, and Algorithm
Nanjing University（南京大学）
由于数据隐私问题，使用小型训练集加速网络已成为实践中的关键需求。以前的方法取得了可喜的成果经验过滤器级修剪。在本文中，我们都研究了这个问题的理论，并提出了一个有效的算法与我们的理论结果一致。首先，我们提出微调凸性假设来解释为什么最近的Few-Shot压缩算法不遭受过拟合问题。在此基础上，首次建立了解释这些方法的理论。与单纯地微调修剪后的网络相比，特征模仿被证明可以实现更低的参数方差，因此更容易优化。根据我们的理论结论，我们声称丢弃块在更凸的优化和更高的加速比方面是一种从根本上优越的Few-Shot压缩方案。为了选择丢弃哪些块，我们提出了一个新的度量标准，可恢复性，以有效地衡量恢复压缩网络的难度。最后，我们提出了一个名为PRACTISE的算法，仅使用微小的训练集来加速网络。PRACTISE的性能明显优于以前的方法。对于22%的延迟减少，它在ImageNet-1 k上平均超过了以前的方法7个百分点。它在无数据或域外数据设置下也能很好地工作。我们的代码在https://github.com/DoctorKey/Practise
2023-03-02 cs.AI cs.CV cs.LG
HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
Rutgers University（罗格斯大学）；Indiana University（印第安纳大学）；Washington State University（华盛顿州立大学）
本文提出HALOC框架，通过可微分的硬件感知架构搜索自动确定逐层低秩压缩秩值，在显著减少FLOPs的同时提升模型精度，并在多种硬件平台上实现实际加速。
2023-02-02 cs.AI cs.CV cs.LG
Open-source FPGA-ML codesign for the MLPerf Tiny Benchmark
Heidelberg University（海德堡大学）；Columbia University（哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）；European Organization for Nuclear Research (CERN)（欧洲核子研究组织（CERN））；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）；AMD Adaptive and Embedded Computing Group (AECG) Labs（AMD自适应与嵌入式计算集团（AECG）实验室）
我们提出了我们的开发经验和最近的结果MLPerf微小的推理基准现场可编程门阵列（FPGA）平台。我们使用开源的hls 4 ml和FINN工作流程，旨在使FPGA上优化的神经网络的AI硬件协同设计民主化。我们提出的设计和实现过程中的关键字定位，异常检测，和图像分类基准任务。由此产生的硬件实现是为速度和效率量身定制的量化的、可配置的、空间可重构的架构，并引入了作为这项工作的一部分而开发的新的通用优化和通用工作流程。完整的工作流程，从量化意识的训练，FPGA实现。这些解决方案部署在片上系统（Pynq-Z2）和纯FPGA（Arty A7- 100 T）平台上。所得到的提交实现了每个推断低至20 $μ$ s的延迟和低至30 $μ$ J的能量消耗。我们展示了异构硬件平台上的新兴ML基准如何促进协作以及新技术和更易访问工具的开发。
2022-06-23 cs.AR cs.LG
Coding for Computation: Efficient Compression of Neural Networks for Reconfigurable Hardware
Institute for Digital Communications, Friedrich-Alexander-Universität (FAU), Erlangen, Germany（弗里德里希-亚历山大-埃朗根-纽伦堡大学数字通信研究所）；Communications Engineering Lab, Karlsruhe Institute of Technology (KIT), Karlsruhe, Germany（卡尔斯鲁厄理工学院通信工程实验室）；Electrical and Computer Engineering Department, University of Toronto, Canada（多伦多大学电气与计算机工程系）
针对神经网络规模增长带来的资源消耗问题，提出结合剪枝、权重共享与线性计算编码的压缩方案，以减少FPGA等可重构硬件上推理所需加法次数，并在MLP和ResNet-34上取得有竞争力性能。
2025-04-24 cs.IT cs.LG eess.SP
PQuantML: A Tool for End-to-End Hardware-aware Model Compression
European Center for Nuclear Research (CERN)（欧洲核子研究中心）；Purdue University（普渡大学）；California Institute of Technology（加州理工学院）；University of Padova（帕多瓦大学）；Physikalisches Institut, Heidelberg University（海德堡大学物理研究所）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Institute of Physics Belgrade（贝尔格莱德物理研究所）
PQuantML通过提供统一接口实现剪枝与量化，支持端到端工作流中的模型压缩，通过多种剪枝方法和固定点量化实现参数和位宽显著减少，同时保持精度。
2026-03-27 cs.LG hep-ex
AQUATIC-Diff: Additive Quantization for Truly Tiny Compressed Diffusion Models
Nanyang Technological University（南洋理工大学）
本文提出 AQUATIC-Diff，将基于码本的加性向量量化用于扩散模型压缩，在 LDM-4/ImageNet 极低位宽设置下刷新 Pareto 前沿，并通过通用高效内核实现 FLOPs 节省。
2025-06-09 cs.LG
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA（英伟达）；Caltech（加州理工学院）
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的，限制了推理速度和能量效率。张量分解是一种很有前途的技术，通过利用张量代数性质来表示因子分解形式的参数，以减少参数冗余。先前的努力使用手动或启发式因子分解设置，而没有硬件感知的定制，导致硬件效率低下和性能大幅下降。在这项工作中，我们提出了一个硬件感知的张量分解框架，称为HEAT，它可以有效地探索可能的分解的指数空间，并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略，以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈，从而显著提高了因子化Transformers的最终准确性。总的来说，我们的实验表明，我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍，准确性损失小于1.1%，并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction
Fraunhofer Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹研究所）；Deutsche Telekom AG（德国电信股份公司）
研究提出集成微型语言模型的联邦学习框架，结合NNCodec压缩策略，在Berlin V2X数据集上实现透明压缩并将通信开销降至1%以下，有效支持自治移动网络协作训练。
2025-04-02 cs.AI cs.DC cs.LG
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University（康奈尔大学）
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题，本文提出开源可定制的Torch2Chip工具包，支持用户自定义压缩并自动完成模型融合与参数提取，直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
Hardware-Aware DNN Compression for Homogeneous Edge Devices
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Pengcheng Laboratory（鹏城实验室）
HDAP通过硬件感知方法优化同质边缘设备的DNN压缩，实现更高效的模型部署和更低的推理延迟。
2025-12-21 cs.AI cs.LG
OneComp: One-Line Revolution for Generative AI Model Compression
OneComp通过自动化流程实现生成AI模型压缩，结合混合精度分配和逐步量化阶段，提升模型部署效率与性能。
2026-03-30 cs.AI cs.CE cs.CL
From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））；Nanyang Technological University（南洋理工大学）
本文综述 DNN 从压缩算法、适配硬件加速器到同态加密安全部署的研究进展，并讨论评估、泛化与多方法集成等开放问题。
2024-05-09 cs.AI cs.LG
H3DNAS: Hardware-Aware ONNX-Native 3D Point Cloud Model Compression
Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
H3DNAS是一种无需源代码的ONNX原生3D点云模型压缩框架，通过三方面贡献在ModelNet40上实现多款3D点云模型参数减少与推理加速，精度损失极小。
2026-09-03 cs.AR cs.LG cs.NE
TinyMetaFed: Efficient Federated Meta-Learning for TinyML
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；The University of Queensland（昆士兰大学）
针对 TinyML 设备资源受限、数据稀缺且分布异构的问题，本文提出模型无关的联邦元学习框架 TinyMetaFed，通过选择性通信、在线学习和少样本学习降低能耗与开销并提升稳定性。
2023-09-28 cs.AI cs.DC cs.LG
On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出在Xilinx Kria KV260上部署Qwen2.5-0.5B的框架，结合AWQ压缩和FPGA加速，实现55.08%压缩率及5.1 tokens/s吞吐，优于基线。
2025-04-24 cs.AR cs.LG
Hardware-Efficient Photonic Tensor Core: Accelerating Deep Neural Networks with Structured Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）
本文提出块循环光子张量核与硬件感知训练框架，通过结构化压缩构建StrC-ONN，在保持精度的同时减少参数与硬件开销并提升能效。
2025-07-23 cs.AR cs.ET cs.LG
Tiny Robot Learning: Challenges and Directions for Machine Learning in Resource-Constrained Robots
Harvard University（哈佛大学）；CMU（卡内基梅隆大学）；University of Virginia（弗吉尼亚大学）；Google Brain（谷歌大脑）；Delft University of Technology（代尔夫特理工大学）
机器学习（ML）已经成为跨计算系统的普遍工具。对ML系统设计挑战进行压力测试的一个新兴应用是微型机器人学习，即在资源受限的低成本自主机器人上部署ML。微型机器人学习位于嵌入式系统、机器人技术和机器学习的交叉点，加剧了这些领域的挑战。微型机器人学习面临着来自尺寸、重量、面积和功耗（SWAP）约束、传感器、执行器和计算硬件限制、端到端系统权衡以及各种可能部署场景的挑战。微小的机器人学习需要在设计ML模型时考虑到这些挑战，从而提供了一个坩埚，揭示了整体ML系统设计和自动化端到端设计工具的必要性，以实现敏捷开发。本文简要介绍了微小的机器人学习空间，阐述了关键的挑战，并提出了有前途的机会，为未来的工作在ML系统设计。
2022-05-11 cs.LG cs.RO
DEX: Data Channel Extension for Efficient CNN Inference on Tiny AI Accelerators
Nokia Bell Labs（诺基亚贝尔实验室）；UNIST（蔚山国家科学技术研究院）；University of Glasgow（格拉斯哥大学）
针对微型AI加速器数据内存有限需下采样输入导致CNN精度下降的问题，提出数据通道扩展方法DEX，利用闲置资源将原始图像空间信息扩展到输入通道，在不增加推理延迟的前提下平均提升精度3.5个百分点。
2024-12-09 cs.LG
PoET-BiN: Power Efficient Tiny Binary Neurons
Polytechnique Montreal（蒙特利尔综合理工学院）
神经网络在图像分类中的成功激发了嵌入式平台上的各种硬件实现，例如现场可编程门阵列、嵌入式处理器和图形处理单元。这些嵌入式平台在功率方面受到限制，其主要由乘法累加操作和用于权重提取的存储器访问消耗。已经提出了量化和修剪来解决这个问题。虽然有效，这些技术没有考虑到嵌入式硬件的底层架构。在这项工作中，我们提出了PoET-BiN，一个基于查找表的资源受限的嵌入式设备的电源效率的实现。一个修改后的决策树的方法形成的骨干提出的实施在二进制域。LUT访问比它所取代的等效乘法累加操作消耗的功率少得多，并且修改的决策树算法消除了对存储器访问的需要。我们应用PoET-BiN架构来实现在MNIST，SVHN和CIFAR-10数据集上训练的网络的分类层，并获得了接近最先进的结果。与浮点实现相比，分类器部分的能量减少达到六个数量级，与最近的二进制量化神经网络相比，达到三个数量级。
2020-02-23 cs.LG stat.ML
TinyReptile: TinyML with Federated Meta-Learning
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
本文提出TinyReptile算法，结合联邦元学习与在线学习，在资源受限的微型设备上协作学习神经网络初始化，实现快速适配新设备，并在Raspberry Pi 4和Cortex-M4 MCU上验证了资源与训练时间至少减少两倍的效果。
2023-04-11 cs.AI cs.DC cs.LG
Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs
University of Virginia（弗吉尼亚大学）；Sony AI（索尼人工智能）
本研究提出MoEXBench基准，系统评估混合专家LLM的可组合压缩技术，发现压缩方法间存在非平凡相互作用，为MoE模型部署提供实用的准确率-内存-延迟比较方案。
2026-08-25 cs.LG
CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way
Perceptin Inc.（Perceptin公司）；William & Mary（威廉与玛丽学院）；North Carolina State University（北卡罗来纳州立大学）；Northeastern University（东北大学）
假设硬件是实现实时移动智能的主要限制，业界主要致力于开发用于机器学习和推理的专用硬件加速器。本文对这一假设提出了质疑。通过借鉴最近的实时AI优化框架CoCoPIE，它认为通过有效的压缩编译器协同设计，可以在主流终端设备上实现实时人工智能，而无需特殊硬件。CoCoPIE是一个软件框架，在移动AI方面拥有众多记录：第一个支持所有主要DNN类型的框架，从CNN到RNN，Transformer，语言模型等;最快的DNN修剪和加速框架，与TensorFlow-Lite等其他框架上的DNN修剪相比，速度高达180倍;使许多代表性的人工智能应用程序能够在现成的移动设备上实时运行，而这些移动设备以前被认为只有在特殊的硬件支持下才有可能实现;使得现成的移动设备在能量效率和/或性能方面优于许多代表性的ASIC和FPGA解决方案。
2020-05-14 cs.LG cs.PF stat.ML
Hardware-Aware Deployment of Joint SAR Compression and Despeckling on FPGA
Technical University of Munich（慕尼黑工业大学）；Remote Sensing Technology Institute, German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）；University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
本研究在ZCU102 FPGA平台部署联合SAR去噪与数据压缩框架，发现ReLU比GDN更适配SAR图像、残差块增益低且FPGA能效最高，为星载SAR压缩提供部署方案。
2026-08-13 cs.LG eess.IV
Tiny Machine Learning: Progress and Futures
Massachusetts Institute of Technology（麻省理工学院）
本文综述了微型机器学习（TinyML）在物联网和微控制器上的进展与挑战，重点介绍 MCUNet 的系统-算法协同设计方法及设备端训练技术，并展望其未来发展方向。
2024-03-29 cs.AI cs.CV cs.LG
Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition
Huawei Technologies（华为技术有限公司）
本文提出一种面向硬件的低秩分解压缩方法，通过选择性地压缩ResNet50网络层，在Ascend硬件上实现训练加速5.36%、推理加速15.79%，而准确率仅下降1%。
2023-09-21 cs.CV cs.LG
Efficient Neural Networks for Tiny Machine Learning: A Comprehensive Review
Centre Inria de l’Université Grenoble Alpes（格勒诺布尔大学法国国家信息与自动化研究所中心）
本文全面综述了面向微型机器学习的高效神经网络架构及在超低功耗微控制器上的部署策略，涵盖模型压缩、量化、剪枝与硬件协同设计等核心技术，并指出了未来研究方向。
2023-11-20 cs.LG stat.CO stat.ML
Powerful Design of Small Vision Transformer on CIFAR10
Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）
针对视觉Transformer在小型数据集上性能弱于CNN的问题，本文以CIFAR-10为基准探索微型ViT的优化，验证了低秩压缩等策略的效果，为高效ViT设计提供了实用框架。
2025-01-07 cs.CV cs.LG
How to Manage Tiny Machine Learning at Scale: An Industrial Perspective
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
微型机器学习（TinyML）已经获得了广泛的普及，其中机器学习（ML）在无处不在的微控制器上普及，实时处理无处不在的传感器数据。为了在大规模部署的行业中管理TinyML，我们考虑了硬件和软件限制，从可用的板载传感器和内存大小到ML模型架构和运行时平台。然而，物联网（IoT）设备通常是针对特定任务定制的，并且受到异构性和有限资源的影响。此外，TinyML模型的开发具有不同的结构，并且通常在没有对其工作原理有清晰理解的情况下发布，导致生态系统碎片化。考虑到这些挑战，我们提出了一个框架，使用语义Web技术，使TinyML模型和物联网设备的联合管理规模，从建模信息，发现可能的组合和基准，并最终促进TinyML组件交换和重用。我们提出了一个本体（语义模式）的神经网络模型与万维网联盟（W3C）的东西描述，语义描述物联网设备。此外，我们还使用了一个由23个公开可用的机器学习模型和6个物联网设备组成的知识图谱，在三个案例研究中展示了我们的概念，并分享了代码和示例，以提高可重复性：https://github.com/Haoyu-R/How-to-Manage-TinyML-at-Scale
2022-02-18 cs.AI cs.DB cs.DC
MPDCompress - Matrix Permutation Decomposition Algorithm for Deep Neural Network Compression
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Brain（谷歌大脑）
深度神经网络（DNN）已经成为各种应用中用于机器学习任务的最先进技术。然而，由于其大小和计算复杂性，大型DNN不容易实时部署在边缘设备上。为了管理复杂性和加速计算，已经提出了基于修剪和量化的网络压缩技术，并且被证明在减小网络大小方面是有效的。然而，这种网络压缩可能导致不规则的矩阵结构，这些矩阵结构与现代硬件加速平台不匹配，例如设计用于以结构化（基于块）方式执行DNN矩阵乘法的图形处理单元（GPU）。我们提出了MPDCompress，一种基于矩阵置换分解的DNN压缩算法，通过随机掩码生成。掩码的训练中应用将突触权重连接矩阵塑造成子图分离格式。借助于随机排列，生成硬件期望的块矩阵，从而允许更有效地实现和压缩网络。为了展示多功能性，我们在几个网络模型，压缩率和图像数据集上实证验证了MPDCompress。在LeNet 300-100模型（MNIST数据集）、Deep MNIST和CIFAR 10上，我们实现了10倍的网络压缩，与非压缩精度性能相比，精度损失不到1%。在完整ImageNet ILSVRC-2012数据集的AlexNet上，我们实现了8倍的网络压缩，准确率损失小于1%，前5名和前1名的准确率分别为79.6%和56.4%。最后，我们观察到该算法可以在各种硬件平台上提供推理加速，在几个移动GPU上实现4倍的运算速度。
2018-05-30 cs.AI cs.LG stat.ML
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science（香港科学与技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
ZipServ通过硬件感知的无损压缩技术，提升LLM推理效率，减少内存占用，实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后，现在，对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制，并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的，硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明，ResNet-34的平均压缩比相对于未压缩数据为4.4倍，比现有方法的增益为60%，压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
