Hardware-Aware Federated Learning for Speech Emotion Recognition
Computer Engineering(计算机工程);Istanbul Technical University(伊斯坦布尔技术大学);Department of Computer Technologies(计算机技术系);Istanbul University-Cerrahpaşa(伊斯坦布尔大学-塞拉赫帕沙)
提出一种硬件感知联邦学习框架,通过硬件性能分析、Top-K客户端选择和自适应本地轮数,在IEMOCAP数据集上实现情感识别,相比FedAvg减少约36.5%训练时间和40%通信成本。
2026-05-23 cs.HC cs.LG
$z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning
The Chinese University of Hong Kong Shenzhen(香港中文大学(深圳))
联邦学习(Federated Learning,FL)是一种很有前途的隐私保护分布式学习范式,但在训练大规模机器学习模型时存在通信代价高的问题。基于符号的方法,例如SignSGD \cite{bernstein2018signsgd},已经被提出作为用于降低通信成本的偏置梯度压缩技术。然而,基于符号的算法在异构数据下可能会出现分歧,这促使了高级技术的发展,例如错误反馈方法和基于符号的随机压缩,以解决这个问题。然而,这些方法仍然遭受较慢的收敛速度。此外,它们都不像FedAvg \cite{mcmahan2017communication}那样允许多个本地SGD更新。在本文中,我们提出了一种新的噪声扰动计划与一般对称噪声分布的符号为基础的压缩,它不仅允许一个灵活地控制梯度偏置和收敛性能之间的权衡,但也提供了一个统一的观点,现有的随机符号为基础的方法。更重要的是,统一的噪声扰动计划,使第一个基于符号的FedAvg算法($z$ -SignFedAvg)的发展,以加速收敛。理论上,我们表明,$z$ -SignFedAvg实现了更快的收敛速度比现有的基于符号的方法,均匀分布的噪声下,可以享受相同的收敛速度,其未压缩的对应。大量的实验表明,$z$ -SignFedAvg可以在真实数据集上实现有竞争力的经验性能,并优于现有的计划。
2023-02-06 cs.LG stat.ML
Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing
University of Exeter(埃克塞特大学)
联邦学习(FL)是一种新兴的方法,用于在移动设备上协作训练深度神经网络(DNN),而无需私人用户数据离开设备。以前的工作表明,非独立和相同分布(非IID)的用户数据损害FL算法的收敛速度。此外,大多数关于FL的现有工作测量全局模型准确性,但在许多情况下,例如用户内容推荐,提高个体用户模型准确性(UA)才是真正的目标。为了解决这些问题,我们提出了一种多任务FL(MTFL)算法,该算法将非联邦批量归一化(BN)层引入联邦DNN。MTFL允许用户根据自己的数据对模型进行个性化训练,从而提高了UA和收敛速度。MTFL与流行的迭代FL优化算法(如联邦平均(FedAvg))兼容,我们根据经验表明,分布式形式的亚当优化(FedAvg-Adam)在MTFL中用作优化策略时,更有利于收敛速度。使用MNIST和CIFAR 10的实验表明,MTFL能够显着减少达到目标UA所需的轮数,当使用现有FL优化策略时,最多可减少$5\times$,当使用FedAvg-Adam时,可进一步减少$3\times$。我们将MTFL与竞争的个性化FL算法进行比较,表明它能够在所有考虑的场景中实现MNIST和CIFAR 10的最佳UA。最后,我们在边缘计算测试平台上使用FedAvg-Adam评估了MTFL,表明其收敛性和UA优势超过了其开销。
2021-07-22 cs.LG stat.ML
Q-ANCHOR: Federated Quantum Learning with ZNE-guided Correction
Department of Computer & Information Science & Engineering(计算机与信息科学与工程系);University of Florida(佛罗里达大学);Frost Institute for Data Science and Computing(数据科学与计算弗罗斯特研究所);University of Miami(迈阿密大学)
针对量子联邦学习中非独立同分布数据导致的客户端漂移和量子硬件噪声导致的硬件偏差,提出Q-ANCHOR聚合架构,通过零噪声外推锚定服务器更新并应用有状态客户端校正,理论证明可同时减轻两类漂移,实验显示训练更稳定。
2026-05-28 cs.DC cs.LG
Faster Federated Learning with Decaying Number of Local SGD Steps
University of Exeter(埃克塞特大学)
针对联邦学习中数据异构导致多步本地SGD训练收敛慢且性能受损的问题,提出随训练衰减本地SGD步数K的方法,并从理论和四个基准数据集实验上证明其能提升模型性能并降低时间与计算成本。
2023-05-16 cs.LG
An Expectation-Maximization Perspective on Federated Learning
Qualcomm AI Research(高通AI研究院);Qualcomm Technologies, Inc.(高通技术公司);University of Amsterdam(阿姆斯特丹大学)
联邦学习描述了跨多个客户端的分布式模型训练,同时保持设备上的数据私密。在这项工作中,我们认为服务器编排的联邦学习过程作为一个分层的潜变量模型,其中服务器提供的参数先验分布在客户端特定的模型参数。我们表明,与简单的高斯先验和硬版本的著名的期望最大化(EM)算法,在这样的模型中学习对应于FedAvg,最流行的算法的联邦学习设置。这种对FedAvg的看法统一了该领域最近的几项工作,并通过对分层模型的不同选择开辟了扩展的可能性。基于这一观点,我们进一步提出了一个变体的分层模型,采用先验分布,以促进稀疏性。通过类似地使用硬EM算法进行学习,我们获得了FedSparse,这是一个可以在联邦学习设置中学习稀疏神经网络的过程。FedSparse降低了从客户端到服务器(反之亦然)的通信成本,以及使用稀疏网络进行推理的计算成本-这两者在联邦学习中具有非常重要的实际意义。
2021-11-19 cs.LG stat.ML
ChainLearn: A Blockchain-Based Capacity-Aware Framework for Federated Ensemble Learning
EdddTri
针对医院计算资源异构导致标准联邦学习失效的问题,提出容量感知协调方法,通过区块链分离链上策略与链下学习,为各医院分配适当架构并加权集成,在降低通信开销的同时保持竞争性精度与校准误差。
2026-05-23 cs.LG
Federated Accelerated Stochastic Gradient Descent
Stanford University(斯坦福大学)
我们提出了联邦加速随机梯度下降(FedAc),联邦平均(FedAvg,也称为本地SGD)的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速,它提高了各种凸函数的收敛速度和通信效率。例如,对于强凸和光滑函数,当使用$M$工作器时,如果给定$M$同步轮,则先前最先进的FedAvg分析可以在$M$中实现线性加速,而FedAc仅需要$M^{\frac{1}{3}}$轮。此外,我们证明了更强的保证FedAc时,目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析,一种新的稳定性分析广义加速SGD,加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
DG-FedReuse: Proxy-Gradient-Gated Cached-Update Reuse with Matched Sparse Uplink Accounting
Jamia Hamdard(贾米亚·哈姆达德大学);Homi Bhabha National Institute(霍米·巴伯国家研究所);Variable Energy Cyclotron Centre(可变能量回旋加速器中心);Gargi Memorial Institute of Technology(加尔吉纪念技术学院);Maulana Abul Kalam Azad University of Technology(毛拉纳·阿布尔·卡拉姆·阿扎德技术大学)
本研究提出DG-FedReuse机制,通过代理梯度门控缓存更新复用结合匹配稀疏上行链路核算,在联邦学习中实现更高上行链路节省,但需注意其未确立无偏泛化等优势。
2026-08-07 cs.DC cs.LG
Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information
Politecnico di Torino(都灵理工大学)
该研究针对联邦学习中缺乏利用客户端统计相似性优化方法的问题,提出基于相似图的带扰动局部梯度步框架,理论和实验均证明其相比FedAvg、FedProx能加速收敛并提升泛化性。
2024-10-07 cs.LG math.OC
Towards Family-Grouped Hierarchical Federated Learning on Sub-5KB Models: A Feasibility Study of Privacy-Preserving ECG Monitoring for Ultra-Resource-Constrained Wearables
Shenzhen Coddie Technology co.,ltd(深圳科迪科技有限公司)
本文提出家庭分组分层联邦学习(Family-FL)和轻量级Tiny CNN-LSTM架构,通过模拟评估在超低资源约束微控制器上实现隐私保护的联邦学习的可行性,展示了在MIT-BIH数据库上达到91.9%的准确率和76.7%的通信量减少。
2026-05-15 cs.AI cs.CR cs.LG
FRAIN to Train: A Fast-and-Reliable Solution for Decentralized Federated Learning
Seoul National University(首尔国立大学);Theori Inc.(Theori公司)
FRAIN提出一种异步去中心化联邦学习方法,通过FastSync快速同步策略和SLERP参数合并,在非IID数据、网络延迟及恶意节点等恶劣环境下实现比FedAvg、FedAsync和BRAIN更稳定鲁棒的收敛。
2025-05-07 cs.AI cs.DC cs.LG
Federated generative event models for tokenized electronic health records
University of Chicago(芝加哥大学);Northwestern University Feinberg School of Medicine(西北大学费恩伯格医学院)
本研究评估了面向分词电子健康记录的联邦生成事件模型(GEMs),其跨站点性能优于LightGBM,联邦学习(FedAvg、FedAvgM)表现接近集中式训练,为解决电子健康记录模型的数据孤岛问题提供了可行方案。
2026-08-05 cs.CY cs.LG
Federated Learning in the Presence of Adversarial Client Unavailability
Northeastern University(东北大学);Duke University(杜克大学);Tsinghua University(清华大学)
本文研究对抗性客户端不可用下的联邦学习,利用ε-对手丢弃比例量化不可用程度,证明FedAvg/FedProx变体在非凸和强凸目标下均达到最优估计误差与收敛速度。
2024-02-20 cs.DC cs.LG
Design and Analysis of Uplink and Downlink Communications for Federated Learning
Sun Yat-sen University(中山大学);University of Virginia(弗吉尼亚大学)
通信是联邦学习(FL)的主要瓶颈之一,但现有的研究还没有解决有效的通信设计问题,特别是在需要同时考虑上行链路和下行链路通信的无线FL中。本文重点研究无线FL物理层量化和传输方法的设计和分析,回答客户端和参数服务器之间进行什么以及如何通信的问题,并评估更新模型的各种量化和传输选项对学习性能的影响。我们提供了新的收敛性分析著名的FedAvg下非独立同分布。数据集分布、部分客户端参与以及上行链路和下行链路通信中的有限精度量化。这些分析表明,为了实现O(1/T)的收敛率与量化,传输的权重需要增加的量化水平在对数率,而传输的权重差分可以保持一个恒定的量化水平。对各种真实世界数据集的综合数值评估表明,FL定制的上行链路和下行链路通信设计的好处是巨大的-对于i.i.d.和i.i.d.的大多数实验,精心设计的量化和传输以不到10%的基线带宽实现了超过98%的浮点基线精度。和非I.I.D.数据集。特别是,1位量化(浮点基线带宽的3.1%)在MNIST上以几乎相同的收敛速率实现了99.8%的浮点基线精度,这是作者所知的最佳带宽-精度权衡。
2020-12-07 cs.IT cs.LG eess.SP
Exploring Energy-Accuracy Tradeoffs in AI Hardware
Rochester Institute of Technology(罗切斯特理工学院)
人工智能(AI)在我们的日常生活中发挥着越来越重要的作用。预计这一趋势将持续下去,特别是最近推动更多人工智能走向边缘。然而,与边缘设备(手机,无人驾驶汽车,传感器等)上的AI相关的最大挑战之一。是其相关的尺寸、重量和功率限制。在这项工作中,我们考虑了人工智能系统可能需要以低于最大精度的方式运行以满足依赖于应用的能源需求的情况。我们提出了一个简单的函数,将使用AI系统的成本分为决策过程的成本和决策执行的成本。对于简单的二元决策问题与卷积神经网络,它表明,最小化成本对应于使用少于最大数量的资源(例如,卷积神经网络层和过滤器)。最后,它表明,与能源相关的成本可以显着降低,利用高置信度的预测在较低级别的网络层。
2020-11-17 cs.AI cs.LG
Beyond One-Way Pruning: Bidirectional Pruning-Regrowth for Extreme Accuracy-Sparsity Tradeoff
University of South Florida(佛罗里达州立大学)
针对高稀疏度下现有剪枝方法导致模型性能骤降、难以满足硬件尺寸约束的问题,提出双向剪枝-再生策略,从极致压缩网络出发选择性再生关键连接,缓解高稀疏度下的精度骤降,实现更优的精度-稀疏度权衡。
2025-11-11 cs.AI cs.LG
FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA
针对联邦设置下LLM微调的跨客户端干扰问题,提出FedALT算法,通过独立LoRA训练+RoW LoRA共享知识+MoE自适应混合器,在NLP基准上优于现有方法,实现高效本地适配。
2025-11-14 cs.AI cs.CL cs.LG
Optimizing Privacy and Utility Tradeoffs for Group Interests Through Harmonization
Kansas State University(堪萨斯州立大学);Louisiana State University(路易斯安那州立大学)
针对两类属性不同的用户群体的隐私-效用权衡问题,提出基于可信第三方的协作数据共享机制,结合对抗隐私技术实现数据脱敏,无需辅助数据与人工标注,兼容多种现有技术,实验验证了其平衡隐私与效用的有效性。
2024-04-07 cs.CR cs.LG
Hardware-Aware Data and Instruction Mapping for AI Tasks: Balancing Parallelism, I/O and Memory Tradeoffs
University of Missouri-Kansas City(密苏里大学堪萨斯城分校)
本研究提出一种深度学习推理映射框架,通过提前规划计算与通信、生成统一指令数据流,结合细粒度消息传递等技术,在VGG-19上实现高利用率与低片外依赖,验证了流计算的有效性。
2025-09-04 cs.AR cs.LG
Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning
IIIS, Tsinghua University(清华大学人工智能学院);College of AI, Tsinghua University(清华大学人工智能学院);Shanghai Qi Zhi Institute(上海启智研究院);Amazon AGI SF Lab(亚马逊AGI旧金山实验室)
本文通过实证和理论分析,研究了监督微调中数据难度对模型行为的影响,发现数据难度与数据量共同决定泛化与外推之间的权衡,并存在最优难度随数据量增加而向更难数据偏移的规律。
2026-05-25 cs.AI cs.LG
A Lightweight Method for Tackling Unknown Participation Statistics in Federated Averaging
IBM T. J. Watson Research Center(IBM TJ沃森研究中心);University of Utah(犹他大学)
针对联邦学习中客户端参与统计特性未知且现有方法内存开销大的问题,提出基于参与历史自适应加权的轻量算法FedAU,经理论与实验验证其收敛性与性能优势。
2024-04-15 cs.DC cs.IT cs.LG
Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑当根据球形高斯分布(标签可以是任意的)绘制示例时,计算训练集上平方损失的最佳拟合ReLU的问题。令$\mathsf{opt} < 1$为最佳拟合ReLU的群体损失。我们证明:1.寻找具有平方损失$\mathsf{opt} + ε$的ReLU与学习具有噪声的稀疏奇偶校验的问题一样困难,广泛认为这是计算上难以解决的。这是关于高斯边缘学习ReLU的第一个困难结果,我们的结果意味着-{ \emph无条件}-梯度下降无法在多项式时间内收敛到全局最小值。2.存在一种有效的近似算法,用于找到实现误差$O(\mathsf{opt}^{2/3})$的最佳拟合ReLU。该算法使用了一种新的减少噪音半空间学习方面的$0/1$损失。Soltanolkotabi [Sol 17]之前的工作表明,如果训练集被ReLU精确标记,则梯度下降可以找到关于高斯边缘的最佳拟合ReLU。
2019-11-04 cs.DS cs.LG stat.ML
Parameter-Efficient and Personalized Federated Training of Generative Models at the Edge
Department of Computer Science, San Francisco State University(计算机科学系,圣弗朗西斯科州立大学);Department of Communication Systems, University of Lakhimpur(通信系统系,拉贾斯坦邦大学);Department of Embedded Systems, Manipur University(嵌入式系统系,曼尼普尔大学);Department of Chemical Engineering, Lakshadweep University(化学工程系,拉克沙德韦普大学)
FedGen-Edge通过解耦预训练骨干和轻量级适配器,在边缘设备上实现参数高效和个性化生成模型的联邦训练,降低通信开销并提升收敛速度。
2025-12-29 cs.DC cs.LG
On the Effects of Adversarial Perturbations on Distribution Robustness
Yipei Wang Equal Contribution(王毅沛等贡献);Zhaoying Pan(潘朝英);Xiaoqian Wang(王小谦)
本文探讨了对抗扰动对分布鲁棒性的影响,揭示了对抗训练与分布鲁棒性之间的权衡关系,并发现适度偏见数据上的ℓ∞扰动可提升分布鲁棒性。
2026-01-23 cs.LG
The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models
ACM(美国计算机协会)
本文提出“约束税”测量协议,通过实验证明硬输出约束会显著降低小语言模型的答案准确性和可执行准确性,并建议生产系统应分别报告模式有效性、答案准确性、可执行准确性和错误有效模式率。
2026-05-20 cs.LG cs.SE
Federated Few-Shot Learning on Neuromorphic Hardware: An Empirical Study Across Physical Edge Nodes
本文研究了在神经形态硬件上进行联邦少样本学习,发现神经元级拼接(FedUnion)在保持准确性方面优于元素级权重平均(FedAvg)。通过扩展特征维度,最佳策略的联邦准确率提升至77.0%。
2026-03-13 cs.DC cs.LG cs.NE
Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations
Stanford University(斯坦福大学);University of Bremen(不来梅大学);Google Brain(谷歌大脑);Vector Institute(向量研究所);University of Toronto(多伦多大学)
对抗性示例是恶意输入,旨在诱导错误分类。通常研究的基于敏感性的对抗性示例会对输入引入语义上的微小变化,从而导致不同的模型预测。本文研究了一种互补的失败模式,基于不变性的对抗性示例,它引入了最小的语义变化,修改了输入的真实标签,但保留了模型的预测。我们展示了这两种类型的对抗性例子之间的基本权衡。我们发现,防御基于敏感性的攻击,积极损害模型的准确性不变性为基础的攻击,并需要新的方法来抵御这两种攻击类型。特别是,我们通过生成模型(可证明)鲁棒的小扰动来打破最先进的对抗训练和证明鲁棒的模型,但根据人类标签改变输入的类别。最后,我们正式表明,过度不变的分类器的存在产生于标准数据集中过度强大的预测功能的存在。
2020-08-04 cs.CR cs.CV cs.LG
Disparity, Inequality, and Accuracy Tradeoffs in Graph Neural Networks for Node Classification
University of Helsinki(赫尔辛基大学);ICREA(加泰罗尼亚研究与高级研究学院);Universitat Pompeu Fabra(庞培法布拉大学)
针对GNN节点分类中的群体偏见问题,提出PFR-AX与PostProcess两种模型无关干预,并通过多数据集实验评估公平性与准确率权衡。
2023-08-18 cs.CY cs.LG cs.SI
Accuracy vs. Accuracy: Computational Tradeoffs Between Classification Rates and Utility
UC Berkeley(伯克利大学);Stanford(斯坦福大学);Apple(苹果公司)
本文研究公平性与效用间的计算权衡,提出实现更强公平性的算法,并证明同时达到准确分类率与最优损失在计算上不可行,凸显公平驱动的准确率选择困境。
2026-10-28 cs.LG
Wirelessly Powered Federated Edge Learning: Optimal Tradeoffs Between Convergence and Power Transfer
The University of Hong Kong(香港大学)
联邦边缘学习(FEEL)是一种广泛采用的框架,用于在边缘设备上分布式训练人工智能(AI)模型,以利用其数据,同时保护其数据隐私。在能量受限的设备上执行耗电的学习任务是FEEL实施面临的一个关键挑战。为了应对这一挑战,我们提出了使用无线功率传输(WPT)为设备供电的解决方案。为了获得部署所得到的无线供电FEEL(WP-FEEL)系统的指导方针,这项工作的目的是在两种情况下导出模型收敛和电源设置之间的权衡:1)如果部署了功率信标(专用充电站),则功率信标(专用充电站)的传输功率和密度,或者2)服务器(接入点)的传输功率。所提出的分析框架的发展涉及分布式随机梯度估计的WPT设置的准确性,在通信和WPT链路的随机性,和设备的计算能力。此外,设备处的本地计算(即,最小批量大小和处理器时钟频率)被优化以有效地使用所收集的能量用于梯度估计。由此产生的学习WPT的权衡揭示了简单的缩放定律的模型收敛速率相对于传输的能量以及设备的计算能量效率。结果提供了有用的指导WPT供应提供一个学习性能的评价。它们被使用真实数据集的实验结果所证实。
2021-02-24 cs.IT cs.LG cs.NI
Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers
Joint Graduate School of Mathematics for Innovation(联合创新数学研究生院);Kyushu University(九州大学);Faculty of Information Science and Electrical Engineering(信息科学与电气工程学院);Université Savoie Mont Blanc(萨瓦大学)
本研究通过引入干净教师扩展信息瓶颈蒸馏框架,在CIFAR-10/100数据集上提升了干净样本分类准确率,保持对抗样本准确率,与现有双教师蒸馏方法竞争力相当。
2026-07-31 cs.LG
Model-free optimization of power/efficiency tradeoffs in quantum thermal machines using reinforcement learning
Freie Universität Berlin(柏林自由大学);Microsoft Research AI4Science(微软研究院AI4Science);Rice University(莱斯大学)
本研究提出基于强化学习的无模型框架,仅通过观测热通量即可识别量子热机与制冷机的功率-效率帕累托最优循环,在超导量子比特制冷机和谐振子热机模型上效果优于传统优化奥托循环,可减少量子摩擦。
2023-11-06 cond-mat.mes-hall cs.LG physics.chem-ph
PQA: Exploring the Potential of Product Quantization in DNN Hardware Acceleration
Cornell University(康奈尔大学);Flower Labs(Flower实验室);University of Cambridge(剑桥大学)
本文提出PQA硬件加速器,通过乘积量化将MAC替换为内存查找,并实证研究PQ参数化与训练方法,在紧凑型DNN上实现单位面积性能最高提升3.1倍且准确率损失极小。
2024-03-28 cs.AR cs.LG