MicroNets: Neural Network Architectures for Deploying TinyML Applications on Commodity Microcontrollers
Arm ML Research（Arm机器学习研究院）；Harvard University（哈佛大学）；SambaNova Systems
在资源受限的微控制器（MCU）上本地执行机器学习工作负载有望大幅扩展物联网的应用空间。然而，所谓的TinyML提出了严峻的技术挑战，因为深度神经网络推理需要大量的计算和内存预算。为了应对这一挑战，神经架构搜索（NAS）有望帮助设计出精确的ML模型，以满足MCU内存、延迟和能量的严格限制。NAS算法的一个关键组成部分是它们的延迟/能量模型，即，从给定的神经网络架构到其在MCU上的推理延迟/能量的映射。在本文中，我们观察到一个有趣的性质NAS搜索空间的MCU模型设计：平均而言，模型延迟与模型操作（op）计数线性变化下，一个统一的先验模型在搜索空间。利用这一洞察力，我们采用可区分NAS（DNAS）来搜索具有低内存使用和低操作数的模型，其中操作数被视为延迟的可行代理。实验结果验证了我们的方法，产生了我们的MicroNet模型，我们使用Tensorflow Lite Micro（TinyML社区中广泛使用的标准开源NN推理运行时）将其部署在MCU上。MicroNets展示了所有三个TinyMLperf行业标准基准任务的最新结果：视觉唤醒词，音频关键字定位和异常检测。模型和培训脚本可以在github.com/ARM-software/ML-zoo上找到。
2021-04-12 cs.LG
MLonMCU: TinyML Benchmarking with Fast Retargeting
Technical University of Munich（慕尼黑工业大学）
本文提出MLonMCU工具，用于自动化端到端TinyML基准测试，支持快速重定向，并通过对TFLite for Microcontrollers和TVM的大量配置测试验证其高效性。
2023-06-15 cs.LG
TinyML Platforms Benchmarking
University of Trento（特伦托大学）
用于机器学习（ML）的最先进超低功耗嵌入式设备的最新进展已经允许一类新的产品，其关键特性使微控制器上的ML功能具有小于1 mW的功耗（TinyML）。TinyML通过在低功耗嵌入式设备的边缘聚合和分析数据提供了一个独特的解决方案。然而，我们直到最近才能够在微控制器上运行ML，而且该领域仍处于起步阶段，这意味着硬件、软件和研究都在迅速变化。因此，已经为不同的平台开发了许多TinyML框架，以促进ML模型的部署和标准化过程。因此，在本文中，我们专注于对两种流行的框架进行基准测试：Arduino Nano BLE上的Tensorflow Lite Micro（TFLM）和STM32-NucleoF 401 RE上的CUBE AI，为特定应用提供标准化的框架选择标准。
2021-11-30 cs.LG cs.NE
ENAS: An Efficient Hardware-Aware Neural Architecture Search Framework for TinyML on Resource-Constrained Microcontrollers
Indian Institute of Science (IISc)（印度科学研究所）
ENAS提出一种无需GPU的硬件感知NAS框架，通过静态检查、细胞搜索空间和三阶段混合搜索，在TinyML基准上实现搜索加速并降低峰值激活RAM，同时保持高准确率。
2026-09-28 cs.AI cs.LG
Ariel-ML: Computing Parallelization with Embedded Rust for Neural Networks on Heterogeneous Multi-core Microcontrollers
KAIST, South Korea（韩国科学技术院）；Inria, France（法国国家信息与自动化技术研究院）
针对多核MCU上TinyML推理的并行化需求，提出基于嵌入式Rust的Ariel-ML工具包，通过通用TinyML流水线和多核支持，在多种32位MCU上实现低延迟推理，并保持与C/C++相当的内存占用。
2026-05-27 cs.DC cs.LG cs.PF
TinyML Towards Industry 4.0: Resource-Efficient Process Monitoring of a Milling Machine
Tim Langer Chair of Highly-Parallel VLSI Systems and Neuro-Microelectronics TU Dresden（高等并行非常规集成电路系统与神经微电子学教授，德累斯顿技术大学）；Fraunhofer Institute for Machine Tools and Forming Technology IWU Dresden（机械加工与成形技术弗劳恩霍夫研究所，德累斯顿）；Fraunhofer Institute for Integrated Circuits IIS Division Engineering of Adaptive Systems EAS Dresden（集成电路弗劳恩霍夫研究所，适应性系统工程部门，德累斯顿）
本文提出面向工业4.0铣床过程监控的完整TinyML流程，构建MillingVibes数据集并开发8位量化CNN模型，在ARM Cortex M4F上实现100.0%准确率、15.4ms推理时间和1.462mJ能耗，验证了资源高效过程监控的可行性。
2025-08-22 cs.CV cs.ET cs.LG
PolyChirp: Multi-Species Birdsong Classification Using TinyML on Low-Power Acoustic Sensors
École Polytechnique（巴黎综合理工学院）；Freie Universität Berlin（柏林自由大学）；Berlin University of Applied Sciences (BHT)（柏林应用科技大学）；HES-SO Valais-Wallis（瓦莱州瓦利斯高等专业学院）；Inria（法国国家信息与自动化研究所）
该研究开发了PolyChirp方法，结合多技术实现低功耗传感器的多物种鸟鸣分类，性能优于现有技术，可同时分类10种鸟类，满足野外长期运行的资源要求。
2026-09-28 cs.AI cs.LG
Fully Autonomous Z-Score-Based TinyML Anomaly Detection on Resource-Constrained MCUs Using Power Side-Channel Data
Wright State University（怀特州立大学）
本文提出一种在低功耗微控制器上实现的全自主TinyML Z分数异常检测系统，利用功率侧信道数据实时监控设备行为，无需外部计算或连接，实现高效嵌入式部署。
2026-03-28 cs.LG
Intelligence at the Extreme Edge: A Survey on Reformable TinyML
University of Westminster（威斯敏斯特大学）；University of New South Wales（新南威尔士大学）
Tiny机器学习（TinyML）是一个新兴的研究领域，旨在将机器学习和深度学习在高能效的节俭微控制器单元上的使用民主化。考虑到TinyML只能运行推理的一般假设，对该领域的兴趣日益增长，导致了使它们可改造的工作，即，允许模型在部署后进行改进的解决方案。这项工作提出了一个新的分类法的建议，可改造TinyML解决方案的调查。在这里，每个层次层的可改造性的适用性进行了讨论。此外，我们探讨了TinyML的工作流程，并分析了确定的部署方案，可用的工具和几乎没有可用的基准测试工具。最后，我们讨论了可改造的TinyML如何影响一些选定的工业领域，并讨论了挑战和未来的方向。
2023-01-09 cs.LG eess.SP
TinyFedTL: Federated Transfer Learning on Tiny Devices
Harvard University（哈佛大学）
TinyML在一个数据无处不在的时代变得越来越受欢迎。然而，需求最大的数据受到严格的隐私和安全保证。此外，TinyML硬件在现实世界中的部署具有传统ML无法解决的显著内存和通信限制。鉴于这些挑战，我们提出了TinyFedTL，这是在资源受限的微控制器上首次实现联邦迁移学习。
2021-10-03 cs.DC cs.LG
Power-Performance Characterization of TinyML Systems
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
本文针对微控制器上的TinyML系统开展性能与功耗表征，提出估算抽象层成本的模型，其结果可辅助边缘设备的NAS与CNN推理优化。
2026-08-25 cs.AI cs.LG
U-TOE: Universal TinyML On-board Evaluation Toolkit for Low-Power IoT
Freie Universität Berlin（柏林自由大学）；Inria（法国国家信息与自动化研究所）
本文提出U-TOE，一个集成嵌入式OS、模型转译编译、性能测量和远程测试平台的通用工具包，用于在低功耗物联网硬件上评估任意机器学习模型的可行性，并提供开源实现以支持可复现的比较实验。
2023-08-22 cs.LG cs.PF
TinyMetaFed: Efficient Federated Meta-Learning for TinyML
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；The University of Queensland（昆士兰大学）
针对 TinyML 设备资源受限、数据稀缺且分布异构的问题，本文提出模型无关的联邦元学习框架 TinyMetaFed，通过选择性通信、在线学习和少样本学习降低能耗与开销并提升稳定性。
2023-09-28 cs.AI cs.DC cs.LG
Characterization of Neural Networks Automatically Mapped on Automotive-grade Microcontrollers
Politecnico di Milano（米兰理工大学）；STMicroelectronics（意法半导体）
如今，神经网络代表了实现强大的深度学习算法的主要期望，该算法可以确定多个物理系统的行为和操作。建模、训练和运行所需的计算资源很大，特别是当涉及到神经网络通常需要泛化的数据量时。最新的TinyML技术允许在嵌入式系统上集成预先训练的模型，从而使边缘计算更快，更便宜，更安全。虽然这些技术起源于消费和工业领域，但许多行业都可以从中受益，例如汽车行业。在本文中，我们提出了一个框架，实现神经网络为基础的模型上的一个家庭的汽车微控制器，显示其效率在两个案例研究中应用于车辆：入侵检测控制器局域网总线和剩余容量估计锂离子电池，广泛应用于电动汽车。
2021-02-27 cs.LG cs.NE cs.PL
A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays
University of Bologna（博洛尼亚大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；ETH Zürich（苏黎世联邦理工学院）
在过去的几年里，TinyML对超低功耗设备的深度学习模型和技术的研究和开发主要集中在训练然后部署的假设上，静态模型在没有基于云的数据汇集和微调的情况下无法适应新收集的数据。基于潜在重放的持续学习（CL）技术[1]原则上支持在线、无服务器的适应，但到目前为止，它们对于通常基于微控制器的超低功耗TinyML设备来说仍然过于计算和内存消耗。在这项工作中，我们介绍了一个硬件/软件平台的端到端CL的基础上，10核FP 32启用并行超低功耗（PULP）处理器。我们重新考虑了基线Latent Replay CL算法，利用模型冻结阶段的量化和Latent Replays（LR）来降低其内存成本，同时对精度的影响最小。特别是，与全精度基线实现相比，LR存储器的8位压缩被证明几乎是无损的（3000 LR时为-0.26%），但所需的存储器减少了4倍，而7位也可以在额外的最小精度降低（高达5%）的情况下使用。我们还介绍了优化原语的前向和后向传播的纸浆处理器。我们的研究结果表明，通过结合这些技术，持续学习可以在实践中使用不到64 MB的内存实现，这与TinyML设备中的嵌入兼容。在我们平台的先进22纳米原型VEGA上，该解决方案的性能平均比低功耗STM 32 L4微控制器快65倍，在每分钟学习一次新的小批量数据时，能效高37倍，寿命为535小时。
2021-10-20 cs.AI cs.LG
msf-CNN: Patch-based Multi-Stage Fusion with Convolutional Neural Networks for TinyML
Freie Universität Berlin（柏林自由大学）；Einstein Center Digital Future Inria, France（数字未来埃因斯坦中心，Inria，法国）
msf-CNN通过遍历有向无环图形式的融合解空间，为微控制器上的卷积神经网络高效寻找最优融合设置，相比现有技术减少50%的RAM使用，并已在多种MCU上实现。
2025-10-17 cs.LG cs.PF
TinyReptile: TinyML with Federated Meta-Learning
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
本文提出TinyReptile算法，结合联邦元学习与在线学习，在资源受限的微型设备上协作学习神经网络初始化，实现快速适配新设备，并在Raspberry Pi 4和Cortex-M4 MCU上验证了资源与训练时间至少减少两倍的效果。
2023-04-11 cs.AI cs.DC cs.LG
TinyML: Analysis of Xtensa LX6 microprocessor for Neural Network Applications by ESP32 SoC
Daffodil International University（达卡国际大学）；Saint Petersburg Electrotechnical University “LETI”（圣彼得堡电工大学 “LETI”）
近几十年来，机器学习（ML）对于许多计算应用已经变得非常重要。超低功耗嵌入式设备的普及，如ESP 32或ESP 32 Cam与微型机器学习（tinyML）应用程序，将使人工智能驱动的嵌入式物联网设备的大规模扩散。在过去的几年里，微控制器器件（Espressif ESP 32）变得足够强大，可以用于小型/微型机器学习（tinyML）任务。Arduino IDE、MicroPython和TensorFlow Lite（TF）等平台的易用性以及tinyML应用程序使其成为移动机器人、现代计算机科学和电气工程不可或缺的研究课题。本文的目标是通过运行一个神经网络应用程序来分析Xtensa双核32位LX 6微处理器的速度。通过具有一个和两个隐藏层的神经网络中的不同数量的神经元输入的不同数量的输入（9、36、144和576）。Xtensa LX 6微处理器已被分析，因为它内置Espressif ESP 32和ESP 32 Cam，非常易于使用，即插即用物联网设备。本文对Xtensa LX 6微处理器在前馈模式下的速度进行了分析。
2021-06-20 cs.AR cs.LG
How to Manage Tiny Machine Learning at Scale: An Industrial Perspective
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
微型机器学习（TinyML）已经获得了广泛的普及，其中机器学习（ML）在无处不在的微控制器上普及，实时处理无处不在的传感器数据。为了在大规模部署的行业中管理TinyML，我们考虑了硬件和软件限制，从可用的板载传感器和内存大小到ML模型架构和运行时平台。然而，物联网（IoT）设备通常是针对特定任务定制的，并且受到异构性和有限资源的影响。此外，TinyML模型的开发具有不同的结构，并且通常在没有对其工作原理有清晰理解的情况下发布，导致生态系统碎片化。考虑到这些挑战，我们提出了一个框架，使用语义Web技术，使TinyML模型和物联网设备的联合管理规模，从建模信息，发现可能的组合和基准，并最终促进TinyML组件交换和重用。我们提出了一个本体（语义模式）的神经网络模型与万维网联盟（W3C）的东西描述，语义描述物联网设备。此外，我们还使用了一个由23个公开可用的机器学习模型和6个物联网设备组成的知识图谱，在三个案例研究中展示了我们的概念，并分享了代码和示例，以提高可重复性：https://github.com/Haoyu-R/How-to-Manage-TinyML-at-Scale
2022-02-18 cs.AI cs.DB cs.DC
On TinyML and Cybersecurity: Electric Vehicle Charging Infrastructure Use Case
University of Western Ontario（西安大略大学）；Ontario Tech University（安大略理工大学）
本文综述了TinyML在资源受限环境下的网络安全挑战与解决方案，并以电动汽车充电基础设施为用例，通过ESP32微控制器实验验证了TinyML在降低延迟和内存使用方面的优势。
2024-07-26 cs.AI cs.CR cs.LG
Depth Pruning with Auxiliary Networks for TinyML
University of the Philippines（菲律宾大学）；Samsung Research Philippines（三星研究院菲律宾分院）
剪枝是一种神经网络优化技术，它牺牲准确性以换取较低的计算要求。修剪在tinyML中处理极端受限的环境时非常有用。不幸的是，特殊的硬件要求和有限的研究，其有效性已经紧凑的模型，防止其更广泛的采用。深度修剪是一种不需要专门硬件但遭受大精度下降的修剪形式。为了改善这一点，我们提出了一种修改，利用一个高效的辅助网络作为中间特征图的有效解释器。我们的研究结果表明，MLPerfTiny视觉唤醒词（VWW）任务的参数减少了93%，关键字定位（KWS）任务的参数减少了28%，准确性成本分别为0.65%和1.06%。在Cortex-M0微控制器上进行评估时，我们提出的方法将VWW模型大小减少了4.7倍，延迟减少了1.6倍，同时获得了1%的准确度。Cortex-M0上的KWS模型大小也减少了1.2倍，延迟减少了1.2倍，但准确率降低了2.21%。
2022-04-22 cs.CV cs.LG
TinyML for Acoustic Anomaly Detection in IoT Sensor Networks
Deggendorf Institute of Technology（代根多夫应用技术大学）；University of West Bohemia（西波希米亚大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
本文提出了一种紧凑的TinyML流程，用于在物联网传感器网络中检测环境声音异常，通过提取梅尔频率倒谱系数并训练轻量级神经网络分类器，实现了91%的测试准确率和平衡的F1分数。
2026-03-27 cs.LG
Widening Access to Applied Machine Learning with TinyML
Harvard University（哈佛大学）；Google（谷歌）
扩大对计算和教育资源的访问对于传播机器学习（ML）创新至关重要。然而，今天，大多数ML资源和专家都集中在少数国家和组织中。在本文中，我们描述了我们的教学方法，通过一个关于Tiny机器学习（TinyML）的大规模开放式在线课程（MOOC）来增加对应用ML的访问。我们认为，TinyML，ML资源受限的嵌入式设备，是一个有吸引力的手段，以扩大访问，因为TinyML既利用低成本和全球可访问的硬件，并鼓励开发完整的，自包含的应用程序，从数据汇集的部署。为此，学术界（哈佛大学）和工业界（谷歌）之间的合作产生了一个由四部分组成的MOOC，提供了如何使用TinyML开发解决方案的面向应用的指导。该系列在edX MOOC平台上开放，除了基本编程之外没有先决条件，专为来自全球各种背景的学习者设计。它向学生介绍了现实世界的应用程序，ML算法，数据集工程，以及通过在云中和自己的微控制器中动手编程和部署TinyML应用程序来考虑这些技术的道德问题。为了促进继续学习，社区建设和课程之外的合作，我们推出了一个独立的网站，一个论坛，一个聊天，和一个可选的课程项目竞争。我们还公开发布了课程材料，希望它们能够激励下一代ML从业者和教育工作者，并进一步拓宽对尖端ML技术的访问。
2021-06-09 cs.LG
Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
本文提出一种结合多目标贝叶斯优化与强化学习的NAS策略，高效权衡准确率、内存和计算复杂度，优于现有方法。
2025-01-23 cs.AI cs.LG
Supporting AI Engineering on the IoT Edge through Model-Driven TinyML
Technical University of Munich（慕尼黑工业大学）；Univ. of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）；Univ. of Reading（雷丁大学）
以网络为中心的人工智能（AI）和物联网（IoT）支持的网络物理系统（CPS）和服务的软件工程涉及复杂的设计和验证挑战。在本文中，我们提出了一种新的方法，基于模型驱动的软件工程范式，特别是特定领域的建模方法。我们专注于人工智能的一个子学科，即机器学习（ML），并建议将数据分析和ML委托给物联网边缘。通过这种方式，我们可以提高机器学习的服务质量，例如其可用性和性能，无论网络条件如何，以及维护隐私，安全性和可持续性。我们让从业者将机器学习任务分配给异构边缘设备，包括高度资源受限的嵌入式微控制器，其主存储器数量级为千字节，能耗数量级为毫瓦。它被称为TinyML。此外，我们展示了如何在软件开发过程中使用不同层次的抽象，即平台无关和平台特定的模型的软件模型。最后，我们验证了所提出的方法，使用案例研究解决预测维护的液压系统与各种网络传感器和执行器。
2022-04-03 cs.AI cs.LG cs.SE
Tiny Machine Learning: Progress and Futures
Massachusetts Institute of Technology（麻省理工学院）
本文综述了微型机器学习（TinyML）在物联网和微控制器上的进展与挑战，重点介绍 MCUNet 的系统-算法协同设计方法及设备端训练技术，并展望其未来发展方向。
2024-03-29 cs.AI cs.CV cs.LG
Efficient Neural Networks for Tiny Machine Learning: A Comprehensive Review
Centre Inria de l’Université Grenoble Alpes（格勒诺布尔大学法国国家信息与自动化研究所中心）
本文全面综述了面向微型机器学习的高效神经网络架构及在超低功耗微控制器上的部署策略，涵盖模型压缩、量化、剪枝与硬件协同设计等核心技术，并指出了未来研究方向。
2023-11-20 cs.LG stat.CO stat.ML
A Continual and Incremental Learning Approach for TinyML On-device Training Using Dataset Distillation and Model Size Adaption
Hahn-Schickard（哈恩-席卡德研究所）；Offenburg University of Applied Sciences（奥芬堡应用科学大学）；Technical University of Munich（慕尼黑工业大学）
针对资源受限嵌入式设备的TinyML增量学习需求，提出一种结合数据集蒸馏与动态模型规模自适应的算法，在仅用43% FLOPs和1%原始数据的情况下，准确率损失仅1%，高效解决灾难性遗忘问题。
2024-09-11 cs.AI cs.LG
Split CNN Inference on Networked Microcontrollers
Delft University of Technology（代尔夫特理工大学）
本文提出一种细粒度分割推理系统，通过在子层级别分割实现CNN模型在多个设备上的协同推理，降低MCU内存瓶颈并保持端到端延迟。
2026-05-10 cs.DC cs.LG
DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning
City University of Hong Kong（香港城市大学）
针对 MCU 等极弱 IoT 设备难以同时实现深度剪枝、保持精度与高效执行的问题，提出含剪枝单元选择、优化、加速和低成本存储的 DTMM 库并验证其收益。
2024-01-17 cs.AI cs.LG
Can LLMs Revolutionize the Design of Explainable and Efficient TinyML Models?
Univ. Rennes, INSA Rennes, CNRS（雷恩大学、雷恩国立应用科学学院、法国国家科学研究中心）；Khalifa University（哈利法大学）
本文提出一种结合LLM引导神经架构搜索、ViT知识蒸馏和可解释性模块的框架，在TinyML平台上实现准确率、效率与内存的平衡，所提模型在CIFAR-100上超越SOTA且满足硬件约束。
2025-04-13 cs.AI cs.LG
Fused Depthwise Tiling for Memory Optimization in TinyML Deep Neural Network Inference
Technical University of Munich（慕尼黑工业大学）
针对TinyML设备上DNN推理内存受限问题，提出融合深度平铺（FDT）方法，在无运行时开销下减少内存使用，适用更多网络层，并通过端到端流程自动配置，在多个模型上实现显著内存优化。
2023-03-31 cs.LG
Neural Network Quantization for Microcontrollers: A Comprehensive Survey of Methods, Platforms, and Applications
本文综述了神经网络量化在微控制器上的方法、平台和应用，探讨了模型性能与硬件能力的权衡及未来发展方向。
2026-01-07 cs.AI cs.AR cs.LG
AI-ANNE: (A) (N)eural (N)et for (E)xploration: Transferring Deep Learning Models onto Microcontrollers and Embedded Systems
本文提出 AI-ANNE 框架，借助 MicroPython 将 TensorFlow/Keras 预训练神经网络部署到 Raspberry Pi Pico 系列微控制器，并通过分类与状态监测示例验证其低延迟、高能效和教学价值。
2025-01-01 cs.AI cs.LG
On-Device Crack Segmentation for Edge Structural Health Monitoring
Department of Computer and Electrical Engineering, Mid Sweden University, Sundsvall, Sweden（计算机与电气工程系，Mid Sweden大学，Sundsvall，瑞典）
本研究针对资源受限微控制器上的裂缝分割挑战，提出基于TinyML的轻量级U-Net架构，通过减少滤波器数量、降低网络深度和使用深度可分离卷积三种策略，在分割性能与资源消耗间实现良好折衷，推进了能源自主的边缘结构健康监测系统。
2025-05-12 cs.LG
From Tiny Machine Learning to Tiny Deep Learning: A Survey
Texas State University（德克萨斯州立大学）
本综述概述从TinyML到TinyDL的过渡，涵盖架构、硬件、模型优化、软件工具链，分析量化等技术与硬件趋势，分类软件工具，回顾多领域应用并指出新兴方向，为边缘AI研究提供基础资源。
2025-06-25 cs.LG
The Case for Hierarchical Deep Learning Inference at the Network Edge
IMDEA Networks Institute（IMDEA网络研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究边缘分布式深度学习推理，提出对每个样本先用本地 tinyML 推理、仅在需要时卸载的分层推理（HI），并通过机器故障检测与图像分类验证其可降低延迟、带宽和能耗。
2023-04-23 cs.DC cs.LG
TrashDet: Iterative Neural Architecture Search for Efficient Waste Detection
Department of Research Computing（研究计算系）；University of Houston（休斯敦大学）；Department of Engineering Technology（工程技术系）
TrashDet通过迭代神经架构搜索在资源受限设备上实现高效垃圾检测，提供多种参数规模的检测器，显著提升精度与能效。
2025-12-23 cs.CV cs.LG
Reduced Precision Floating-Point Optimization for Deep Neural Network On-Device Learning on MicroControllers
University of Bologna（博洛尼亚大学）；Politecnico di Torino（都灵理工大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出面向MCU设备端学习的降低精度FP16 SIMD优化方法，通过形状变换与矩阵乘法内核加速反向传播，在RISC-V多核MCU上比FP32基线快1.72倍，并显著超越现有ODL框架。
2023-05-30 cs.AI cs.DC cs.LG
On-Sensor Convolutional Neural Networks with Early-Exits
Politecnico di Milano（米兰理工大学）；EssilorLuxottica Smart Eyewear Lab（EssilorLuxottica智能眼镜实验室）
本文首次提出在STMicroelectronics IMU的ISPU上优化实现深度优先CNN，并通过ISPU与MCU分区及提前退出机制降低功耗，在NUCLEO-F411RE上实现4.8 mA平均电流，较MCU常规推理降低11%且准确率不变。
2025-03-21 cs.AI cs.AR cs.LG
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而，用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战，特别是在存储器和计算资源高度受限的边缘场景中（例如，低功耗嵌入式设备）或专用于语音识别的存储器和计算预算较低的情况（例如，执行除语音识别之外的许多任务的移动设备）。在这项研究中，我们引入了注意力凝聚器的概念，用于构建低占用空间，高效的深度神经网络，用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制，它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入，并相应地执行选择性注意。为了说明其有效性，我们介绍了TinySpeech，低精度深度神经网络，主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器，其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明，与以前的工作相比，TinySpeech网络实现了显着降低的架构复杂性（$507\times$更少的参数），更低的计算复杂性（$48\times$更少的乘加运算）和更低的存储要求（$2028\times$更低的权重内存要求）。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性，还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
