Similarity-Quantized Relative Difference Learning for Improved Molecular Activity Prediction
Prescient Design, Genentech(普雷赛特设计公司,基因泰克)
针对药物研发中分子活性预测受限于小样本含噪数据的问题,提出SQRL框架,将任务重构为相似化合物对的相对差异学习,利用预计算分子相似性增强模型训练,在低数据场景下显著提升精度与泛化性,经公开及专有数据验证具备广泛应用潜力。
2025-01-15 cs.LG
Energy-Efficient Deep Learning for Traffic Classification on Microcontrollers
DITEN, University of Genoa(DITEN,热那亚大学)
本研究针对资源受限微控制器的流量分类需求,提出经硬件感知架构搜索优化的轻量级1D-CNN,经INT8量化后部署于两款微控制器,实现高准确率与低能耗,验证了端侧加密流量分析的可行性。
2025-06-12 cs.LG cs.NI
DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
DiTMoS提出一种选择器-分类器架构的DNN训练推理框架,通过多样数据划分、对抗训练和特征聚合提升弱模型组合准确率,在微控制器上实现高达13.4%的精度提升。
2024-03-14 cs.LG
Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers
Università di Bologna(博洛尼亚大学);Greenwaves Technologies;Università di Modena e Reggio Emilia(摩德纳雷焦艾米利亚大学);IIS ETH Zurich(苏黎世联邦理工学院集成系统研究所)
严重的片上存储器限制目前阻碍了在微型微控制器单元(MCU)上部署最精确的深度神经网络(DNN)模型,即使利用有效的8位量化方案也是如此。为了解决这个问题,在本文中,我们提出了一个自动化的混合精度量化流程的基础上的HAQ框架,但量身定制的MCU设备的内存和计算特性。具体而言,强化学习代理在RAM和FLASH嵌入式存储器大小的严格约束下,在2、4、8位中搜索个体权重和激活张量的最佳均匀量化水平。我们对用于Imagenet分类的MobileNetV 1、MobileNetV 2和MNasNet模型进行了实验分析。关于量化策略搜索,RL代理选择使存储器利用率最大化的量化策略。对于仅加权量化,给定2MB的MCU级内存限制,混合精度引擎产生的压缩模型与使用非均匀函数量化的最新解决方案一样准确,这不是针对仅具有整数运算的CPU量身定制的。这表示MCU部署所需的均匀量化对于深度权重压缩的可行性。当将激活内存预算限制为512kB时,由于找到的量化策略,最佳MobileNetV1模型在Imagenet上的得分高达68.4%,比其他8位网络更准确4%。
2020-08-12 cs.LG stat.ML
YONO: Modeling Multiple Heterogeneous Neural Networks on Microcontrollers
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
随着深度神经网络(DNN)的发展和物联网(IoT)系统的大量传感器数据,研究界一直致力于降低DNN的计算和资源需求,以便在低资源微控制器(MCU)上进行计算。然而,目前嵌入式深度学习的大部分工作都集中在有效地解决单个任务上,而物联网设备的多任务性质和应用要求系统能够同时处理来自各种传感器的输入的各种任务(活动,语音和上下文识别)。在本文中,我们提出了YONO,一种基于乘积量化(PQ)的方法,它压缩了多个异构模型,并支持内存中的模型执行和切换,以实现MCU上的不同多任务学习。我们首先采用PQ来学习存储不同模型的权重的码本。此外,我们提出了一种新的网络优化和算法,以最大限度地提高压缩率和减少准确性损失。然后,我们开发了一个在线组件的YONO有效的模型执行和多个任务之间的切换在MCU上的运行时间,而不依赖于外部存储设备。YONO表现出卓越的性能,因为它可以压缩多个异构模型,精度损失可忽略不计或没有高达12.37 $\times$。此外,与外部存储访问相比,YONO的在线组件可以实现高效执行(每次操作的延迟为16-159 ms),并将模型加载/切换延迟和能耗分别降低93.3-94.5%和93.9- 95.0%。有趣的是,YONO可以压缩使用数据集训练的各种架构,这些数据集在YONO的离线码本学习阶段没有显示,这表明了我们方法的普遍性。总之,YONO显示出巨大的潜力,并为在资源极其有限的设备…
2022-03-08 cs.LG
Quantization and Deployment of Deep Neural Networks on Microcontrollers
Université Côte d'Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);IMT Atlantique(大西洋国立高等工业技术与矿业学校);MILA(蒙特利尔学习算法研究所)
将人工智能嵌入到低功耗设备上是一项具有挑战性的任务,随着机器学习和硬件设计的最新进展,这项任务已经部分得到了解决。目前,深度神经网络可以部署在嵌入式目标上以执行不同的任务,例如语音识别、目标检测或人类活动识别。然而,深度神经网络在嵌入式设备上的优化仍有空间。这些优化主要解决了功耗、内存和实时限制,同时也简化了边缘部署。此外,仍然需要更好地了解不同用例可以实现什么。这项工作的重点是量化和部署深度神经网络到低功耗32位微控制器。首先概述了在微控制器上嵌入式执行的上下文中相关的量化方法。然后,提出了一种用于端到端深度神经网络训练、量化和部署的新框架。这个框架被称为MicroAI,旨在替代现有的推理引擎(用于微控制器的TensorFlow Lite和STM32 CubeAI)。我们的框架确实可以很容易地调整和/或扩展特定的用例。支持使用单精度的32位浮点以及8位和16位整数上的定点执行。建议的量化方法进行评估与三个不同的数据集(UCI-HAR,口语MNIST和GTSRB)。最后,MicroAI和现有的嵌入式推理引擎之间的比较研究提供了内存和电源效率。使用基于ARM Cortex-M4 F的微控制器(Ambiq Apollo 3和STM32 L452 RE)进行设备上评估。
2021-09-23 cs.LG eess.SP
Free Bits: Latency Optimization of Mixed-Precision Quantized Neural Networks on the Edge
ETH Zürich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
本文提出混合搜索方法,结合硬件无关的可微搜索与硬件感知启发式优化,为边缘端多核 RISC-V 平台寻找延迟最优的混合精度量化配置,在 MobileNet 上实现最高 28.6% 延迟降低且精度损失可忽略。
2023-07-06 cs.LG
A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays
University of Bologna(博洛尼亚大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);ETH Zürich(苏黎世联邦理工学院)
在过去的几年里,TinyML对超低功耗设备的深度学习模型和技术的研究和开发主要集中在训练然后部署的假设上,静态模型在没有基于云的数据汇集和微调的情况下无法适应新收集的数据。基于潜在重放的持续学习(CL)技术[1]原则上支持在线、无服务器的适应,但到目前为止,它们对于通常基于微控制器的超低功耗TinyML设备来说仍然过于计算和内存消耗。在这项工作中,我们介绍了一个硬件/软件平台的端到端CL的基础上,10核FP 32启用并行超低功耗(PULP)处理器。我们重新考虑了基线Latent Replay CL算法,利用模型冻结阶段的量化和Latent Replays(LR)来降低其内存成本,同时对精度的影响最小。特别是,与全精度基线实现相比,LR存储器的8位压缩被证明几乎是无损的(3000 LR时为-0.26%),但所需的存储器减少了4倍,而7位也可以在额外的最小精度降低(高达5%)的情况下使用。我们还介绍了优化原语的前向和后向传播的纸浆处理器。我们的研究结果表明,通过结合这些技术,持续学习可以在实践中使用不到64 MB的内存实现,这与TinyML设备中的嵌入兼容。在我们平台的先进22纳米原型VEGA上,该解决方案的性能平均比低功耗STM 32 L4微控制器快65倍,在每分钟学习一次新的小批量数据时,能效高37倍,寿命为535小时。
2021-10-20 cs.AI cs.LG
SPECTRA: An Efficient Spectral-Informed Neural Network for Sensor-Based Activity Recognition
BMBF(德国联邦教育与研究部)
SPECTRA通过整合STFT特征提取、深度可分离卷积和通道自注意力机制,有效捕捉频谱时间依赖性,在边缘设备上实现低延迟、高隐私和高效的活动识别。
2026-03-27 cs.LG
NeuroEdge: Real-Time Hand Gesture Recognition with High-Density EMG Using Deep Learning at the Edge
San Francisco State University(旧金山州立大学);Department of Biology(生物系);School of Engineering in Computer Engineering(计算机工程学院);College of San Mateo(圣马特奥学院);Contra Costa College(康特拉科斯塔学院)
提出NeuroEdge系统,通过HD-EMG无线传输和轻量级CNN推理引擎,在微控制器上实现实时手势识别,准确率90%,延迟83ms。
2026-05-28 cs.LG
MicroNAS: An Automated Framework for Developing a Fall Detection System
Montana State University(蒙大拿州立大学);Walker Department of Mechanical Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校沃克机械工程学院);Hanger Clinic(汉格诊所)
MicroNAS以微控制器内存大小为导向自动搜索卷积神经网络和门控循环单元架构,在ESP32上实现面向下肢截肢者的跌倒检测,并解决了类别不平衡问题,F1分数优于集成方法和H2O AutoML。
2025-04-10 cs.AI cs.LG
FORGE: Forward-Only Test-Time Adaptation for Integer-Only Vision Models on Microcontrollers
SEECS, NUST(国家科技大学SEECS学院);FAST-NUCES(FAST-NUCES大学)
FORGE是一种可在微控制器纯整数视觉模型上运行的仅前向测试时自适应方法,通过重新归一化融合卷积的输出恢复自适应能力,能耗低且泛化性好。
2026-09-03 cs.AR cs.CV cs.LG
Benchmarking Ultra-Low-Power $μ$NPUs
Imperial College London(伦敦帝国学院);University of Cambridge(剑桥大学)
该研究对多款商用超低功耗神经处理单元(μNPUs)进行了首次独立基准测试,开源了统一的量化模型编译流水线,揭示了硬件规格与实际性能间的差异,为软硬件开发者提供了实用见解。
2025-10-31 cs.AR cs.LG
Energy-efficient and Privacy-aware Social Distance Monitoring with Low-resolution Infrared Sensors and Adaptive Inference
Politecnico di Torino(都灵理工大学)
结合机器学习(ML)的低分辨率红外(IR)传感器可用于在室内空间中实施隐私保护社交距离监控解决方案。然而,在物联网(IoT)边缘节点上执行这些应用程序的需求使得能耗变得至关重要。在这项工作中,我们提出了一个节能的自适应推理解决方案,包括一个简单的唤醒触发器和一个8位量化的卷积神经网络(CNN),这是只调用难以分类的帧的级联。在物联网微控制器上部署这样的自适应系统,我们表明,当处理8x8低分辨率红外传感器的输出时,我们能够将基于静态CNN的方法的能耗降低37-57%,精度下降不到2%(83%平衡精度)。
2022-04-22 cs.LG
Poor Man's Training on MCUs: A Memory-Efficient Quantized Back-Propagation-Free Approach
Intel Corporation(英特尔公司)
提出一种MCU上的无反向传播量化训练方案,利用零阶方法与降维技术克服低精度误差,在资源受限边缘设备上实现与BP训练相当的性能。
2024-11-07 cs.CV cs.DC cs.LG
QScheduler: Adaptive Gradient Sampling for Zeroth-Order On-Device Training on INT8 NPUs
研究在INT8 NPU上零阶设备端训练中梯度样本数量q的影响及优化难题,提出自适应算法QScheduler,可依训练进度调整q,实验表明该算法在EuroSAT和STL-10数据集上,与固定q配置效果相当且无需事先优化超参数。
2026-07-22 cs.LG
Gait Recognition Based on Tiny ML and IMU Sensors
The Hong Kong University of Science and Technology(香港科技大学)
本文提出基于 Tiny ML 与 IMU 的边缘步态识别系统,利用 Edge Impulse 训练 DNN 并部署于微控制器,实现四类活动实时分类,测试准确率超过 80%。
2025-07-24 cs.LG cs.SY eess.SY
Transformer-Based Approaches for Sensor-Based Human Activity Recognition: Opportunities and Challenges
Aalto University(阿尔托大学)
本文通过500余次实验系统比较了Transformer与非Transformer方法在传感器人体活动识别中的表现,发现Transformer计算成本更高、性能更差、量化后退化明显且抗对抗攻击能力更弱,揭示了其在资源受限HAR场景中的主要挑战。
2024-10-17 cs.LG
Hadamard Domain Training with Integers for Class Incremental Quantized Learning
University of St Andrews(圣安德鲁斯大学);University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
针对边缘平台持续学习的资源约束问题,提出基于哈达玛变换的整数全量化训练方法,搭配随机舍入与分块矩阵乘法,在4位量化下实现了极小的精度损失。
2023-10-05 cs.LG
Bridging Generalization and Personalization in Human Activity Recognition via On-Device Few-Shot Learning
Tsinghua University, Sanechips Technology Co.,Ltd.(清华大学,善能芯片技术有限公司);ETH Zürich(苏黎世联邦理工学院);DFKI Kaiserslautern(达姆施塔特人工智能研究所);DFKI and RPTU Kaiserslautern(达姆施塔特人工智能研究所和鲁尔大学)
提出设备端少样本学习框架,在RISC-V微控制器上实现HAR的泛化与个性化统一,仅需少量样本即可适应新用户,在三个基准数据集上分别提升准确率3.73%、17.38%和3.70%。
2025-09-07 cs.AI cs.LG
Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware
Aarhus University(奥胡斯大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Harvard University(哈佛大学);University of Southern Denmark(南丹麦大学)
该研究针对Transformer大语言模型推理的内存与计算瓶颈,提出在重度量化线性注意力模型中引入稀疏神经活动的方法,可提升神经形态平台的LLM部署性能,实现吞吐量与功耗的显著优化。
2026-09-01 cs.LG cs.NE
MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor
Politecnico di Torino(都灵理工大学);STMicroelectronics(意法半导体)
MAUPITI传感器集成16×16 TMOS阵列与RISC-V微控制器,采用原型NCM分类器,在低内存功耗约束下实现红外传感器设备端学习,准确率与传统分类器相当,延迟开销可忽略,支持在线自适应。
2026-08-10 cs.LG
MambaLite-Micro: Memory-Optimized Mamba Inference on MCUs
Northwestern University(西北大学)
针对MCU内存受限问题,提出基于C语言无运行时的MambaLite-Micro推理引擎,通过权重导出、算子融合和内存优化降低83%峰值内存,保持精度一致,并验证跨平台可移植性。
2025-09-05 cs.AI cs.LG cs.OS
STAR: A Privacy-Preserving, Energy-Efficient Edge AI Framework for Human Activity Recognition via Wi-Fi CSI in Mobile and Pervasive Computing Environments
本文提出STAR边缘AI框架,通过轻量级GRU网络、多阶段信号预处理和硬件协同优化,在低功耗设备上实现实时、节能且隐私保护的人体活动识别,模型参数减少33%,准确率达93.52%。
2025-10-30 cs.LG
ArrythML: An Autoencoder-Based TinyML Approach for On-Device Arrhythmia Detection on Resource-Constrained Embedded Systems
International Institute of Information Technology, Bangalore, India(国际信息科技研究所,班加罗尔,印度)
提出一种基于INT8量化自动编码器的TinyML模型,在ESP32-S3微控制器上实现实时、低功耗的ECG分割与心律失常检测,达到84%召回率和79% F1分数。
2026-06-01 cs.LG
A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions
Applied Brain Research Inc.(应用脑研究公司);University of Waterloo(滑铁卢大学)
机器学习社区对神经网络的能量效率越来越感兴趣。脉冲神经网络(SNN)是一种有前途的节能计算方法,因为其激活水平被量化为时间稀疏的一位值(即,“尖峰”事件),其另外将重量-活动乘积的总和转换成重量的简单相加(每个尖峰一个重量)。然而,在将非尖峰网络转换为SNN时保持最先进(SotA)精度的目标仍然是一个难以捉摸的挑战,主要是由于尖峰只有一位精度。采用信号处理的工具,我们铸造的神经激活函数的量化器与时间扩散的误差,然后训练网络,同时顺利地插入之间的非尖峰和尖峰制度。我们将这种技术应用于Legendre Memory Unit(LMU),以获得混合SNN在准确性方面优于SotA递归架构(包括LSTM,GRU和NRU)的第一个已知示例,同时将活动平均减少到最多3.74位,每个权重乘以1.26个有效位。我们将讨论这些方法如何显著提高神经网络的能量效率。
2021-03-01 cs.LG q-bio.NC stat.ML
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino(都灵理工大学)
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络(ConvNets)需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略,从那些利用模型的拓扑或算术精度的策略(例如,修剪和量化)到那些操作模型不可知压缩的策略(例如,权重编码)。内存约束越严格,这些技术单独无法满足要求的可能性就越高,因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST(编码感知稀疏训练)来解决这个问题,EAST是一种新型的内存约束训练过程,可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪,旨在最大限度地提高权重编码方案(本工作中的LZ 4算法)的压缩率。如果与现有的方法相比,EAST满足较低的稀疏性的内存约束,从而确保更高的精度。在部署在低功耗微控制器(ARM Cortex-M4)上的最先进的ConvNet(ResNet-9)上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
A discrete generative model of neuronal spiking activity on microelectrode arrays
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California Santa Cruz(加州大学圣克鲁兹分校)
针对高密度微电极阵列的稀疏放电数据,提出基于时空基元词汇表的离散生成模型,在31项人脑类器官与海马组织实验中实现5.2倍重建精度提升,并建立可复用的阵列级表示。
2026-09-22 cs.LG eess.SP q-bio.NC
MC-QDSNN: Quantized Deep evolutionary SNN with Multi-Dendritic Compartment Neurons for Stress Detection using Physiological Signals
International Institute of Information Technology Bangalore(国际信息技术研究所班加罗尔分校)
本文提出MCLeaky多区室神经元及其量化深度进化SNN,用于多模态生理信号压力检测,以更少参数达到98.8%准确率,并显著降低能耗与EDP。
2024-10-25 cs.LG cs.NE
Quantization of Spiking Neural Networks Beyond Accuracy
Worcester Polytechnic Institute(沃斯特理工大学)
研究探讨了脉冲神经网络量化中行为保持与精度的关系,提出EMD作为评估指标,发现统一量化会导致分布偏移,而学习量化能保持行为。
2026-04-15 cs.LG
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi(德里印度理工学院);University of California Berkeley(加州大学伯克利分校);Microsoft Research India(微软印度研究院)
本文开发了FastRNN和FastGRNN算法,以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度,但代价是预测成本,使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围,在一定程度上提高了准确性,但也增加了模型的大小,因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度,从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制,该残差连接不明确限制奇异值的范围,并且只有两个额外的标量参数。然后,FastGRNN通过重用RNN矩阵将剩余连接扩展到门,以匹配最先进的门控RNN精度,但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化,导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词,并部署在资源严重受限的物联网微控制器上,这些微控制器太小,无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
RBNN: Memory-Efficient Reconfigurable Deep Binary Neural Network with IP Protection for Internet of Things
Nanjing University of Science and Technology(南京理工大学);The University of Adelaide(阿德莱德大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Harbin Institute of Technology(哈尔滨工业大学);Huazhong University of Science and Technology(华中科技大学)
尽管深度神经网络模型在各种应用中表现出出色的性能,但其大的模型大小和广泛的浮点运算使得在移动计算平台上的部署成为一个主要挑战,特别是在物联网设备上。一个吸引人的解决方案是模型量化,它减少了模型的大小,并使用微控制器通常支持的整数运算。为此,1位量化DNN模型或深度二进制神经网络最大化存储器效率,其中BNN模型中的每个参数仅具有1位。在本文中,我们提出了一种可重新配置的BNN(RBNN),以进一步提高资源受限的物联网设备的内存效率。通常,RBNN可以按需重新配置,以实现具有相同参数集的M(M>1)个不同任务中的任何一个,因此只有单个任务确定内存需求。换句话说,存储器利用率提高了M倍。我们广泛的实验证实,多达七个常用的任务可以共存(M的值可以更大)。这些具有不同数量类的任务在三种二进制化流行DNN架构(包括VGG,ResNet和ReActNet)上没有或可忽略不计的准确性下降。这些任务跨越不同的域,例如,计算机视觉和音频领域,前提是模型架构可以服务于这些跨领域任务。为了保护RBNN模型的知识产权,可以通过用户密钥和由固有硬件指纹生成的设备唯一根密钥来控制重新配置。通过这样做,RBNN模型只能用于每个授权设备的每个付费用户,从而使用户和模型提供商都受益。
2022-08-03 cs.CR cs.LG
Bandit Algorithms for Deep Brain Stimulation
Department of Computer Science, UNC Chapel Hill(UNC夏洛茨维尔大学计算机科学系);Hochschule München(慕尼黑应用科学大学);Department of Neurosurgery, UNC Chapel Hill(UNC夏洛茨维尔大学神经外科系);TU Munich Institute for Advanced Study(慕尼黑技术大学高级研究学院)
提出基于时间与阈值触发的剪枝多臂赌博机算法,无需离线训练,在抑制病理性β波段活动和降低刺激能耗方面优于深度强化学习方法,并验证了其在资源受限植入式系统上的可行性。
2026-05-27 cs.LG cs.SY eess.SY
Q-PPG: Energy-Efficient PPG-based Heart Rate Monitoring on Wearable Devices
University of Bologna(博洛尼亚大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);ETH Zurich(苏黎世联邦理工学院);Politecnico di Torino(都灵理工大学)
心率(HR)监测越来越多地在使用低成本光电体积描记(PPG)传感器的腕戴式设备中执行。然而,由受试者手臂的运动引起的运动伪影(MA)影响基于PPG的HR跟踪的性能。这通常通过将PPG信号与来自惯性传感器的加速度测量值耦合来解决。不幸的是,这种类型的大多数标准方法依赖于手动调整的参数,这损害了它们的泛化能力和它们对该领域中的真实数据的适用性。相比之下,基于深度学习的方法尽管具有更好的泛化能力,但被认为过于复杂,无法部署在可穿戴设备上。在这项工作中,我们解决了这些限制,提出了一种设计空间探索方法,以自动生成一个丰富的深度时间卷积网络(TCN)系列,用于HR监测,所有这些都来自一个单一的“种子”模型。我们的流程涉及两个神经架构搜索(NAS)工具和一个硬件友好的量化器的级联,其组合产生高度准确和非常轻量级的模型。当在PPG-Dalia数据集上进行测试时,我们最准确的模型在平均绝对误差方面达到了新的水平。此外,我们还将TCN部署在一个采用STM32 WB 55微控制器的嵌入式平台上,证明了其适用于实时执行。我们最精确的量化网络实现了平均绝对误差(MAE)的每分钟4.41次(BPM),能耗为47.65 mJ,内存占用为412 kB。同时,在我们的流生成的网络中,获得MAE < 8 BPM的最小网络的内存占用量为1.9 kB,每个推理仅消耗1.79 mJ。
2022-03-24 cs.AI cs.LG eess.SP
Shifting Capsule Networks from the Cloud to the Deep Edge
Centro ALGORITMI;Universidade do Minho(米尼奥大学)
本文提出面向Arm Cortex-M与RISC-V MCU的量化CapsNets执行API及训练后量化框架,在显著降低内存占用的同时保持低延迟和极小精度损失。
2022-06-15 cs.CV cs.LG
Hardware-Aware Neural Architecture Search for Encrypted Traffic Classification on Resource-Constrained Devices
Department of Naval, Electrical, Electronic and Telecommunications Engineering (DITEN), University of Genoa(海军、电气、电子与电信工程系(DITEN),热那亚大学)
本文提出一种硬件高效的深度神经网络,通过硬件感知神经架构搜索优化,实现了在资源受限物联网设备上的加密流量分类。模型在ISCX VPN-nonVPN数据集上达到96.60%的准确率,同时显著降低内存和计算需求。
2026-03-18 cs.LG cs.NI
Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
本文提出将LoRA和QLoRA集成到Transformer模型中,以实现参数高效的人类活动识别微调,显著降低计算资源需求的同时保持性能。
2025-12-19 cs.AI cs.LG
DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference
Faculty of Informatics and Data Science, University of Regensburg(雷根斯堡大学信息科学与数据科学学院)
本文提出一种带两级分组处理单元的MSDF加速器,通过四种运行时机制减少U-Net推理的计算量,在保持分割精度的同时降低了数字周期与功耗。
2026-11-02 cs.AI cs.AR cs.LG
EdgeSpike: Spiking Neural Networks for Low-Power Autonomous Sensing in Edge IoT Architectures
Department of Economics, Stockholm University(经济系,斯德哥尔摩大学);Department of Computer Engineering, Afyon Kocatepe University(计算机工程系,阿菲扬·科卡特佩大学)
EdgeSpike提出了一种统一的脉冲神经网络框架,结合了混合梯度替代训练、硬件感知神经架构搜索、事件驱动运行时和轻量级局部塑性规则,实现了低功耗自主传感。
2026-04-29 cs.LG cs.NE eess.SP
Efficient EEG Seizure Detection Using INT8 Quantization, Channel Pruning, and Spiking Neural Networks
Leiden Institute of Advanced Computer Science(莱顿先进计算机科学研究所);Leiden University(莱顿大学)
研究针对可穿戴和植入设备检测癫痫的难题,以一维卷积神经网络为基线,采用参数转移、通道剪枝、INT8 量化三种策略,实现减少模型大小、降低能耗、加快速度,为癫痫检测提供互补效率方向。
2026-07-21 cs.AI cs.LG eess.SP