Prototype-based Personalized Pruning
Qualcomm AI Research(高通AI研究院);Qualcomm Technologies, Inc.(高通技术公司)
如今,随着智能手机等边缘设备的普及,对个性化服务的需求越来越大。然而,传统的个性化方法不适合边缘设备,因为需要对有限的个人数据进行重新训练或微调。此外,对于资源有限的边缘设备来说,完整模型可能过于沉重。不幸的是,可以处理模型复杂性问题的模型压缩方法也需要再训练阶段。这些多个训练阶段通常在设备上学习期间需要巨大的计算成本,这可能是边缘设备的负担。在这项工作中,我们提出了一个动态的个性化方法,称为基于原型的个性化修剪(PPP)。PPP考虑了个性化和模型效率的两端。在训练网络之后,PPP可以很容易地用代表个人数据特征的原型来修剪网络,并且它在没有重新训练或微调的情况下表现良好。我们在计算机视觉和关键词定位的几个任务上验证了PPP的有用性。
2021-03-25 cs.LG
Optimising TinyML with Quantization and Distillation of Transformer and Mamba Models for Indoor Localisation on Edge Devices
School of Engineering Mathematics and Technology, University of Bristol(布里斯托大学工程数学与技术学院);School of Natural and Computing Sciences, University of Aberdeen(阿伯丁大学自然与计算科学学院)
本文针对边缘设备室内定位需求,结合量化、知识蒸馏技术压缩Transformer模型,同时提出基于Mamba的紧凑状态空间架构,实现了在低功耗MCU受限内存下的高精度定位,为医疗等场景的低功耗隐私定位提供可行方案。
2024-12-12 cs.LG cs.SE
Towards Machine Learning and Inference for Resource-constrained MCUs
Imperial College London(帝国理工学院)
本文提出面向MCU的无电池ML推理与模型个性化流水线,通过海洋鱼类图像识别验证,在保持97.78%准确率的同时大幅降低存储、运行时间、功耗和能耗,证明资源受限环境下无电池ML推理的可行性。
2023-05-30 cs.AI cs.CV cs.LG
TinyFormer: Efficient Transformer Design and Deployment on Tiny Devices
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Qingdao Research Institute, Beihang University(北京航空航天大学青岛研究所);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学(深圳)计算机科学与工程系);Fert Beijing Research Institute, School of Integrated Circuit Science and Engineering, Beihang University(北京航空航天大学集成电路科学与工程学院)
TinyFormer是一种专为微型设备设计的高效变换器框架,通过SuperNAS、SparseNAS和SparseEngine实现资源高效的模型设计与部署,显著提升推理速度。
2025-11-26 cs.AR cs.LG
Reduced Precision Floating-Point Optimization for Deep Neural Network On-Device Learning on MicroControllers
University of Bologna(博洛尼亚大学);Politecnico di Torino(都灵理工大学);Katholieke Universiteit Leuven(鲁汶天主教大学);ETH Zurich(苏黎世联邦理工学院)
本文提出面向MCU设备端学习的降低精度FP16 SIMD优化方法,通过形状变换与矩阵乘法内核加速反向传播,在RISC-V多核MCU上比FP32基线快1.72倍,并显著超越现有ODL框架。
2023-05-30 cs.AI cs.DC cs.LG
Decentor-V: Lightweight ML Training on Low-Power RISC-V Edge Devices
Centro ALGORITMI / LASI, Universidade do Minho(ALGORITMI/LASI中心,Minho大学)
本文针对低功耗 RISC-V 边缘设备上缺乏高效设备端训练支持的问题,将轻量级优化算法 L-SGD 扩展到 RISC-V MCU,并提出 8 位量化版本,在几乎不损失精度的情况下显著降低内存占用并加快训练速度。
2025-09-10 cs.AR cs.LG
Neural Network Quantization for Microcontrollers: A Comprehensive Survey of Methods, Platforms, and Applications
本文综述了神经网络量化在微控制器上的方法、平台和应用,探讨了模型性能与硬件能力的权衡及未来发展方向。
2026-01-07 cs.AI cs.AR cs.LG
Efficient Personalized Learning for Wearable Health Applications using HyperDimensional Computing
University of California Irvine(加州大学欧文分校)
健康监测应用越来越依赖于机器学习技术来学习日常环境中的终端用户生理和行为模式。考虑到可穿戴设备在监测人体参数方面的重要作用,可以利用设备上学习来建立行为和生理模式的个性化模型,同时为用户提供数据隐私。然而,这些可穿戴设备中的大多数上的资源约束阻止了在它们上执行在线学习的能力。为了解决这个问题,需要从算法的角度重新思考机器学习模型,以适合在可穿戴设备上运行。超维计算(HDC)为资源受限的设备提供了非常适合的设备上学习解决方案,并为隐私保护个性化提供了支持。我们基于HDLC的方法提供了灵活性、高效率、弹性和性能,同时实现了设备上的个性化和隐私保护。我们使用三个案例研究来评估我们的方法的有效性,并表明与最先进的深度神经网络(DNN)算法相比,我们的系统将训练的能量效率提高了$45.8\times$,同时提供了相当的准确性。
2022-08-01 cs.AI cs.HC cs.LG
Differentiable Network Pruning for Microcontrollers
University of Cambridge(剑桥大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
嵌入式和个人物联网设备由微控制器单元(MCU)驱动,其资源的极度稀缺是依赖于设备上深度学习推理的应用的主要障碍。与执行神经网络通常所需的存储、存储器和计算能力相比,数量级更少的存储、存储器和计算能力对网络架构施加了严格的结构约束,并需要专业的模型压缩方法。在这项工作中,我们提出了一个可区分的结构化网络修剪方法的卷积神经网络,它集成了一个模型的MCU特定的资源使用和参数的重要性反馈,以获得高度压缩,但准确的分类模型。我们的方法(a)将模型的关键资源使用率提高了80倍;(b)在训练模型的同时迭代修剪,导致很少或没有开销,甚至改善了训练时间;(c)与之前的MCU特定方法相比,在更短的时间内产生具有匹配或改进资源使用率的压缩模型,最高可达1.4倍。压缩模型可供下载。
2022-12-08 cs.LG cs.SY eess.SY
Tin-Tin: Towards Tiny Learning on Tiny Devices with Integer-based Neural Network Training
Carnegie Mellon University(卡内基梅隆大学);City University of Hong Kong(香港城市大学)
针对微控制器(MCU)内存、计算能力有限且缺乏浮点单元(FPU)导致复杂机器学习模型部署难的问题,提出整数型端侧训练框架Tin-Tin,通过整数重缩放技术实现高效权重更新,验证其在真实微型设备上的有效性,支持节能可持续的边缘机器学习应用。
2025-04-13 cs.LG
On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU));Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(Fraunhofer IIS))
本文研究在 Cortex-M 微控制器上进行 DNN 设备端训练,提出结合全量化训练与动态部分梯度更新的方法,并在视觉和时间序列数据集上验证了精度、内存、能耗与延迟之间的权衡。
2024-08-28 cs.AI cs.LG
Poor Man's Training on MCUs: A Memory-Efficient Quantized Back-Propagation-Free Approach
Intel Corporation(英特尔公司)
提出一种MCU上的无反向传播量化训练方案,利用零阶方法与降维技术克服低精度误差,在资源受限边缘设备上实现与BP训练相当的性能。
2024-11-07 cs.CV cs.DC cs.LG
DTMM: Deploying TinyML Models on Extremely Weak IoT Devices with Pruning
City University of Hong Kong(香港城市大学)
针对 MCU 等极弱 IoT 设备难以同时实现深度剪枝、保持精度与高效执行的问题,提出含剪枝单元选择、优化、加速和低成本存储的 DTMM 库并验证其收益。
2024-01-17 cs.AI cs.LG
Federated Evaluation of On-device Personalization
Google(谷歌)
联邦学习是一种分布式的设备上计算框架,能够在不将敏感的用户数据导出到服务器的情况下训练全局模型。在这项工作中,我们描述的方法来扩展联邦框架,以评估全球模型的个性化策略。我们提出的工具来分析个性化的影响,并评估条件下,个性化产生理想的模型。我们报告我们的实验个性化的语言模型的虚拟键盘的智能手机与人口的数千万用户。我们发现,很大一部分用户受益于个性化。
2019-10-22 cs.LG stat.ML
Federated Evaluation and Tuning for On-Device Personalization: System Design & Applications
Apple(苹果公司)
我们描述了我们的联邦任务处理系统的设计。最初,该系统是为了支持两个特定的联邦任务而创建的:评估和调优设备上的ML系统,主要是为了个性化这些系统。近年来,增加了对额外联邦任务的支持:深度神经网络的联邦学习(FL)。据我们所知,只有一个其他系统已被描述在文献中,支持FL的规模。我们包括该系统的比较,以帮助讨论设计决策和附加的权衡。最后,我们详细描述了两个特定的大规模个性化用例,以展示联合调优对设备上个性化的适用性,并强调特定于应用程序的解决方案。
2021-02-16 cs.LG
Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection
University of Pittsburgh(匹兹堡大学)
针对端侧 LLM 个性化受限于算力和个人数据的问题,提出 XPerT,通过可解释性选择已个性化模型再微调,显著降低计算成本并提升数据效率。
2025-04-15 cs.AI cs.CL cs.HC
LoRA-generating hypernetworks for efficient on-device LLM generative personalization
Google(谷歌);Google Inc.(谷歌公司)
本文提出训练超网络将用户上下文映射为个性化LoRA,在设备端仅需前向传播即可合成适配,兼顾ICL的计算可行性与PEFT的权重修改优势,在长文本生成任务上验证了有效性。
2026-09-22 cs.LG
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google(谷歌)
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的,并且对于大量说话者工作良好。然而,这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中,我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法,这样用户数据和模型就不会离开设备,也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明,个性化实现了63.7%的相对字错误率降低时,在服务器环境和58.1%,在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%,以换取更好的可扩展性和数据隐私。为了在设备上训练模型,我们将梯度计算分为两部分,并以增加42%的训练时间为代价,实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google(谷歌)
虽然当前最先进的自动语音识别(ASR)系统在典型语音上实现了高准确度,但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化(对该问题的常用解决方案)通常在基于服务器的训练环境中执行,从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中,我们提出了一种基于设备的ASR个性化的方法,具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话,并发现中位数相对字错误率提高了71%,只有50个短的话语,每个发言者。当在语音控制的家庭自动化平台上进行测试时,设备上的个性化模型显示出81%的任务成功率中位数,而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Neural networks on microcontrollers: saving memory at inference via operator reordering
University of Oxford(牛津大学);Samsung AI Center Cambridge(三星人工智能中心剑桥)
为高度受限的硬件设计深度学习模型将允许为许多边缘设备注入智能。微控制器(MCU)是构建智能设备的有吸引力的平台,因为它们的成本低,可用性广,功耗适中。然而,它们缺乏像移动或服务器平台那样直接运行神经网络的计算资源,这需要改变网络架构和推理软件。在这项工作中,我们讨论了部署和内存的神经网络的MCU关注,并提出了一种节省内存的方式,通过改变网络的运营商,这是正交于其他压缩方法的执行顺序。我们发布了一个用于重新排序TensorFlow Lite模型运算符的工具,并通过充分减少CNN的内存占用来将其部署在具有512 KB SRAM的MCU上来展示其实用性。
2020-03-03 cs.LG eess.SP stat.ML
Enabling On-Device LLMs Personalization with Smartphone Sensing
The University of Melbourne(墨尔本大学)
提出首个结合设备端LLMs与智能手机传感的端到端个性化框架,通过上下文感知与定制提示工程在保护隐私的同时实现低延迟、低成本的个性化服务,并在多维度指标上达到最佳权衡。
2024-07-24 cs.AI cs.HC cs.LG
A New Frontier of AI: On-Device AI Training and Personalization
Samsung Research, Samsung Electronics(三星电子三星研究院)
本文提出轻量级端侧训练框架NNTrainer,通过内存高效技术和主动交换机制解决设备资源受限问题,实现智能服务个性化且不牺牲准确性,内存消耗降至1/20,已部署于数百万移动设备。
2024-01-04 cs.LG
Bridging Generalization and Personalization in Human Activity Recognition via On-Device Few-Shot Learning
Tsinghua University, Sanechips Technology Co.,Ltd.(清华大学,善能芯片技术有限公司);ETH Zürich(苏黎世联邦理工学院);DFKI Kaiserslautern(达姆施塔特人工智能研究所);DFKI and RPTU Kaiserslautern(达姆施塔特人工智能研究所和鲁尔大学)
提出设备端少样本学习框架,在RISC-V微控制器上实现HAR的泛化与个性化统一,仅需少量样本即可适应新用户,在三个基准数据集上分别提升准确率3.73%、17.38%和3.70%。
2025-09-07 cs.AI cs.LG
Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究部);Seoul National University(首尔大学)
该研究提出基于LoRA的Hollowed Net方法,通过临时移除扩散U-Net部分深层形成中空结构,实现端侧文本到图像扩散模型的高效个性化,既降低训练内存至推理级,又保持或提升性能。
2024-11-02 cs.AI cs.CV cs.GR
EF-Train: Enable Efficient On-device CNN Training on FPGA Through Data Reshaping for Online Adaptation or Personalization
University of Pittsburgh(匹兹堡大学)
传统上,DNN模型在云中训练一次,然后部署在边缘设备(如汽车、机器人或无人机)中进行实时推理。然而,在许多情况下,需要模型适应新的环境、领域或新用户。为了实现这种领域自适应或个性化,设备上的模型需要在设备上不断训练。在这项工作中,我们设计了EF-Train,这是一种高效的DNN训练加速器,具有统一的基于通道级并行的卷积内核,可以在资源有限的低功耗边缘级FPGA上实现端到端训练。在资源有限的FPGA上实现设备上的训练是具有挑战性的,这是由于前向、后向传播和权重更新之间的不同存储器访问模式导致的低效率。因此,我们开发了一种数据整形方法,内部瓦片连续内存分配和权重重用。建立了一个分析模型,以自动调度计算和内存资源,以实现边缘FPGA的高能效。实验结果表明,我们的设计达到46.99 GFLOPS和6.09GFLOPS/W的吞吐量和能源效率,分别。
2022-02-18 cs.AI cs.LG
Adaptive Self-Supervised Learning Strategies for Dynamic On-Device LLM Personalization
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学);University of Pennsylvania(宾夕法尼亚大学);University of Oxford(牛津大学)
针对端侧 LLM 个性化挑战,提出自适应自监督学习策略 ASLS,通过用户画像层与神经适应层实现实时微调与持续学习,有效降低计算需求并提升个性化效率及用户满意度。
2024-09-25 cs.AI cs.CL cs.LG
Cluster-Aware Over-the-Air Federated Learning with Energy-Harvesting Devices: From Global Training to Model Personalization
Bilkent University(比尔肯特大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);CentraleSupélec(中央理工学院);Imperial College London(帝国理工学院)
本研究针对带能量收集设备的异质性数据分布场景,提出统一集群感知空中联邦学习框架,可分别实现全局训练的公平性优化与模型个性化,同时降低通信开销。
2026-08-04 cs.DC cs.LG
UserLibri: A Dataset for ASR Personalization Using Only Text
Google Inc.(谷歌公司)
移动设备上语音模型的个性化(设备上个性化)是一个活跃的研究领域,但通常情况下,移动设备的纯文本数据比配对的音频文本数据更多。我们探索在纯文本数据上训练个性化的语言模型,在推理过程中使用该模型来提高该用户的语音识别性能。我们实验的用户集群LibriSpeech语料库,补充个性化的纯文本数据为每个用户从古腾堡项目。我们发布了这个用户特定的LibriSpeech(UserLibri)数据集,以帮助未来的个性化研究。LibriSpeech音频转录对被分组为来自测试干净数据集的55个用户和来自测试其他数据集的52个用户。我们能够在流和非流模型中降低每个用户的平均单词错误率,包括在流时更难测试其他用户的2.5的改进。
2022-07-02 cs.CL cs.LG eess.AS
MAGNETO: Edge AI for Human Activity Recognition -- Privacy and Personalization
Technology Innovation Institute(技术创新研究院)
本文提出边缘AI平台MAGNETO,通过在边缘设备上直接进行增量人类活动学习,无需与云端交换数据,在保障隐私、降低延迟的同时实现高度个性化。
2024-02-14 cs.AI cs.CR cs.LG
Towards Low-Energy Adaptive Personalization for Resource-Constrained Devices
Imperial College London(伦敦帝国学院);University of York(约克大学)
本文提出目标块微调(TBFT)框架,将数据漂移分为输入、特征和输出三级并分别微调模型前、中、后块,在资源受限设备上以更低能耗实现更优个性化性能。
2024-03-29 cs.CV cs.LG
Fed-Meta-Align: A Similarity-Aware Aggregation and Personalization Pipeline for Federated TinyML on Heterogeneous Data
本文提出Fed-Meta-Align四阶段联邦学习框架,通过公共数据预训练、串行元初始化、双准则聚合和端侧个性化,在异构IoT故障分类中实现91.27%平均准确率,优于FedAvg和FedProx。
2025-08-15 cs.LG
Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural Network for Energy Harvesting Powered Devices
University of Pittsburgh(匹兹堡大学);University of Notre Dame(圣母大学)
这项工作的目的是通过将轻量级DNN部署到能量收集(EH)供电的设备上,为EH供电的设备实现持久的、事件驱动的感知和决策能力。然而,收集的能量通常很弱且不可预测,即使是轻量级DNN也需要多个电源周期才能完成一个推理。为了消除为一个推理积累能量的无限期长时间等待并优化准确性,我们开发了一种功率跟踪感知和出口引导的网络压缩算法,以压缩和部署多出口神经网络到EH供电的微控制器(MCU),并在执行期间根据可用能量选择出口。实验结果表明,优越的准确性和延迟相比,国家的最先进的技术。
2020-07-23 cs.LG stat.ML
Personalization of End-to-end Speech Recognition On Mobile Devices For Named Entities
Google(谷歌)
我们研究了几种技术的有效性,个性化的端到端的语音模型,并提高识别相关的用户专有名称。这些技术在提供监督所需的用户工作量方面有所不同,并根据它们如何影响语音识别性能进行评估。我们建议使用依赖于关键词的精确度和召回率指标来衡量词汇习得性能。我们评估了一个数据集上的算法,我们设计包含的名字的人是很难识别的。因此,该数据集中专有名称的基线召回率非常低:2.4%。我们开发的数据合成方法使其达到48.6%,无需用户的语音输入。在语音输入的情况下,如果用户仅纠正姓名,则姓名回忆率提高到64.4%。如果用户纠正了所有的识别错误,我们实现了73.5%的最佳召回率。为了消除在服务器上上传用户数据和存储个性化模型的需要,我们专注于在移动终端上执行整个个性化工作流。
2019-12-14 cs.LG cs.SD eess.AS
Tiny Machine Learning: Progress and Futures
Massachusetts Institute of Technology(麻省理工学院)
本文综述了微型机器学习(TinyML)在物联网和微控制器上的进展与挑战,重点介绍 MCUNet 的系统-算法协同设计方法及设备端训练技术,并展望其未来发展方向。
2024-03-29 cs.AI cs.CV cs.LG
Few-Shot Prototype Head Adaptation for On-Device ECG Personalization on PSoC~6
Universidade Federal de São João del-Rei(圣若昂德尔雷伊联邦大学);Federal University of Ouro Preto(欧鲁普雷图联邦大学)
针对设备端ECG个性化,提出仅原型头自适应方法,在PSoC 6上实现少样本学习,无需反向传播,显著提升心律失常检测的宏F1,并降低注释负担。
2026-10-06 cs.AI cs.LG
FedKPer: Tackling Generalization and Personalization in Medical Federated Learning via Knowledge Personalization
Georgia Institute of Technology(佐治亚理工学院)
FedKPer通过选择性对齐全局模型和改进的聚合方案,缓解统计异质性影响,提升泛化与个性化平衡,无需牺牲保留性能。
2026-05-01 cs.LG eess.IV
Lightweight Software Kernels and Hardware Extensions for Efficient Sparse Deep Neural Networks on Microcontrollers
Politecnico di Torino(都灵理工大学);University of Bologna(博洛尼亚大学);ETH Zurich(苏黎世联邦理工学院)
针对微控制器等边缘设备的面积与功耗约束,本文提出优化N:M剪枝层软件内核、轻量级ISA扩展及适配开源DNN编译器的方案,在ResNet18、ViT等模型上实现显著加速且精度损失极小。
2025-03-19 cs.AI cs.DC cs.LG
Adaptive Client Selection with Personalization for Communication Efficient Federated Learning
Universidade Estadual de Campinas(坎皮纳斯州立大学);Federal University of Pará(帕拉联邦大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Ceará(塞阿拉联邦大学)
针对联邦学习的通信瓶颈与可扩展性挑战,提出ACSP-FL方案,通过自适应客户端选择动态调整参与设备数与收敛轮数,支持模型个性化,实验显示其可减少高达95%的通信量并高效收敛。
2024-11-26 cs.DC cs.LG
DAPPER: Label-Free Performance Estimation after Personalization for Heterogeneous Mobile Sensing
KAIST(韩国科学技术院);Nokia Bell Labs(诺基亚贝尔实验室);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对移动感知中域偏移导致性能不稳、又难获取标注数据验证性能的问题,提出基于互信息的无标签性能估计方法DAPPER,在精度和计算开销上均显著优于现有基线。
2023-06-13 cs.LG
Mix-Opt: Mixed Optimization for Memory-Efficient Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究)
针对文本到图像扩散模型的内存高效个性化需求,提出结合低分辨率反向传播与高分辨率零阶优化的选择性框架,辅以时间步感知策略,在降内存的同时实现有竞争力的设备端个性化性能。
2026-11-18 cs.CV cs.LG
Federated Two Stage Decoupling With Adaptive Personalization Layers
Jiangnan University(江南大学)
提出两阶段解耦联邦学习算法FedTSDP,通过双重客户端聚类、Hopkins修正抽样确定聚类时机及自适应个性化层调整,有效应对数据异构性,在IID和非IID场景下表现可靠。
2023-12-31 cs.AI cs.LG
FedOBP: Federated Optimal Brain Personalization through Cloud-Edge Element-wise Decoupling
Beijing Key Laboratory of MEMS Technology and Device Reliability for Industrial Internet, the School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(北京工业互联网MEMS技术与器件可靠性重点实验室,智能工程与自动化学院,北京邮电大学);School of Business Administration, Southwestern University of Finance and Economics(西南财经大学商学院);Institute of Artificial Intelligence and the School of Computer Science, Beihang University(北京航空航天大学人工智能研究院和计算机学院);School of Electronic Engineering, Dublin City University(都柏林城市大学电子工程学院);DreamSoul
本文提出FedOBP算法,通过量化阈值机制和元素重要性评分,结合最优脑损伤理论,解决联邦学习中个性化参数选择问题,实验表明其在多种数据集和异构场景中表现优异。
2026-04-17 cs.AI cs.LG
Fair Federated Data Clustering through Personalization: Bridging the Gap between Diverse Data Distributions
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
针对联邦场景下无标注数据聚类的分布偏态、成本不均等问题,首次将个性化引入联邦聚类,提出单轮通信的p-FClus算法,实现低聚类成本与客户端成本均衡,适用于任意有限ℓ-范数且数据无关。
2024-07-12 cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Model enhancement and personalization using weakly supervised learning for multi-modal mobile sensing
Qualcomm Techonologies Inc.(高通技术公司)
对移动终端用户的上下文信息的始终在线感测对于如今的许多智能用例(诸如医疗保健、驾驶辅助、语音UI)是至关重要的。用于预测用户上下文的最先进的方法已经证明了利用多个感测模态以获得更好的准确性的价值。然而,目前运行在应用处理器上的上下文推理算法往往会消耗大量的功率,使得它们不适合始终在线的实现。我们声称,并不是每一个传感模态都适合被激活的所有时间,它仍然具有挑战性,以建立一个推理引擎使用电源友好的传感模态。同时,由于人口的多样性,我们发现学习一个具有良好概括性的上下文推理模型是具有挑战性的,训练数据有限,特别是当只使用始终在线的低功耗传感器时。在这项工作中,我们提出了一种方法来利用设备中的机会性对应物来改进始终在线的预测模型,从而获得个性化的解决方案。我们使用弱监督学习框架来建模这个问题,并提供理论和实验结果来验证我们的设计。该框架在基于IMU的活动识别应用中取得了令人满意的结果。
2019-10-29 cs.LG eess.SP stat.ML
Measuring what Really Matters: Optimizing Neural Networks for TinyML
ETH Zürich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学)
随着廉价的计算和存储资源的激增,神经网络(NN)在架构和计算复杂性方面经历了前所未有的增长。将NN引入资源受限的设备可以实现经济高效的部署、广泛的可用性和敏感数据的保存。这项工作解决了将机器学习引入MCU的挑战,我们专注于无处不在的ARM Cortex-M架构。优化方法、软件框架和MCU硬件架构对推理延迟和能耗等关键性能指标的详细影响和权衡,以前尚未针对TensorFlow Lite Micro等最先进的框架进行深入研究。我们发现,经验调查,衡量可感知的指标-性能体验的用户-是必不可少的,因为专门的指令和层类型的影响可能是微妙的。为此,我们提出了一个实现感知的设计作为一个具有成本效益的方法进行验证和基准测试。利用我们开发的工具链,我们演示了如何通过系统地优化NN以适应其目标应用场景来改进资源受限设备上的现有NN部署。
2021-04-21 cs.LG
Federated Learning with Unlabeled Clients: Personalization Can Happen in Low Dimensions
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文提出FLowDUP方法,利用无标签客户端数据通过前向传播生成个性化模型,基于新的转导式多任务PAC-贝叶斯界,实现高效通信与计算,并在多种异构数据集上验证了其性能。
2025-05-21 cs.LG stat.ML
Evidential Trust-Aware Model Personalization in Decentralized Federated Learning for Wearable IoT
Quantum Cloud Computing and Distributed Systems (qCLOUDS) Lab(量子云计算与分布式系统实验室);School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne, Australia(墨尔本大学)
本文提出Murmura框架,利用证据深度学习实现去中心化联邦学习中的信任感知模型个性化,通过Dirichlet基于的证据模型中的epistemic不确定性直接指示节点兼容性,从而减少非IID条件下的性能下降并加快收敛速度。
2026-02-16 cs.DC cs.LG
Low-rank Gradient Approximation For Memory-Efficient On-device Training of Deep Neural Network
Google(谷歌)
在移动设备上训练机器学习模型有可能提高模型的隐私性和准确性。然而,实现这一目标的主要障碍之一是移动设备的内存限制。减少训练内存使具有高维权重矩阵的模型(如自动语音识别(ASR)模型)能够在设备上进行训练。在本文中,我们提出使用低秩参数化来近似深度神经网络的梯度矩阵,作为节省训练内存的一种途径。低秩梯度近似使更高级的内存密集型优化技术能够在设备上运行。我们的实验结果表明,我们可以减少约33.0%的亚当优化的训练记忆。它使用了与动量优化相当的内存,并在ASR个性化任务中实现了4.5%的相对较低的字错误率。
2020-01-24 cs.LG cs.SD eess.AS
FedRIR: Rethinking Information Representation in Federated Learning
Institute for Clarity in Documentation(文献清晰研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克伦古中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
针对联邦学习中客户端统计异质性导致的全局泛化与局部个性化权衡问题,提出FedRIR框架,通过掩码客户端特定学习提取个性化特征、信息蒸馏模块优化全局特征并融合两者,同时提升全局泛化与局部个性化性能。
2025-04-14 cs.DC cs.LG
POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging
University of California Berkeley(加州大学伯克利分校)
在手机等边缘设备上微调模型,可以实现对敏感数据的隐私保护个性化。然而,边缘训练在历史上仅限于具有简单架构的相对较小的模型,因为训练是内存和能量密集型的。我们提出了POET,这是一种能够在内存不足的电池供电边缘设备上训练大型神经网络的算法。POET联合优化了重物化和分页两种算法的综合搜索搜索空间,以减少反向传播算法的内存消耗。给定内存预算和运行时间约束,我们制定了一个混合整数线性规划(MILP)的能量最优训练。我们的方法可以在嵌入式设备上训练更大的模型,同时降低能耗,同时不修改反向传播的数学正确性。我们证明了在Cortex-M类嵌入式设备的内存限制内微调ResNet-18和BERT是可能的,同时在能源效率方面优于当前的边缘训练方法。POET是一个开源项目,可在https://github.com/ShishirPatil/poet上获取
2022-07-15 cs.CV cs.DC cs.LG