A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University(康奈尔大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对中央服务器连接 M 个客户端的分布式在线随机优化问题,本文提出一种通信高效的自适应联邦学习算法,以总传输比特数为统一成本,实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
Federated Fine-Tuning of Foundation Models via Probabilistic Masking
Eindhoven University of Technology(埃因霍温理工大学);University of Amsterdam(阿姆斯特丹大学)
本文提出DeltaMask方法,通过概率掩码和随机稀疏子网络检测,将联邦学习中基础模型微调的通信比特率降至0.09 bpp,在保持性能的同时显著提升通信效率。
2023-11-29 cs.CV cs.DC cs.LG
Free Privacy Protection for Wireless Federated Learning: Enjoy It or Suffer from It?
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(信息与通信工程学院,北京邮电大学);University of Technology Sydney(悉尼大学);Macquarie University(麦考瑞大学);Tongji University(同济大学)
针对无线联邦学习,提出利用通信噪声的比特翻转差分隐私机制,通过仅传输参数小数部分比特实现隐私保护,满足Rényi DP且不损害收敛,优于高斯机制。
2025-06-18 cs.LG
1-Bit Compressive Sensing for Efficient Federated Learning Over the Air
Beijing Jiaotong University(北京交通大学);George Mason University(乔治梅森大学)
对于协作用户之间的分布式学习,本文开发和分析了一种通信高效的方案,联邦学习(FL)在空中,它将1位压缩感知(CS)到模拟聚合传输。为了便于设计参数的优化,我们从理论上分析了所提出的方案的功效,推导出一个封闭的形式表达的预期收敛速度的FL在空中。我们的理论结果揭示了收敛性能和通信效率之间的权衡,由于稀疏化,降维,量化,信号重构和噪声引起的聚合误差。然后,我们制定了1位CS为基础的FL在空中作为一个联合优化问题,以减轻这些聚合错误的影响,通过联合优化设计的工人调度和功率缩放政策。提出了一种基于枚举的方法来解决这个非凸问题,这是最佳的,但成为计算上不可行的设备数量的增加。对于可扩展的计算,我们诉诸交替方向乘法器(ADMM)技术开发一个有效的实现,是适合于大规模的网络。仿真结果表明,我们提出的1位CS为基础的FL在空中实现了相当的性能,在理想的情况下,传统的FL没有压缩和量化应用于无差错的聚合,在大大减少通信开销和传输延迟。
2021-03-30 cs.LG
Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 FedMPQ 算法,首次将混合精度量化引入资源异构联邦学习,通过正则化优化和服务器端自适应位宽分配,在多种模型与数据集上超越固定精度量化基线,且仅带来较小计算开销。
2023-11-29 cs.DC cs.LG
Design and Analysis of Uplink and Downlink Communications for Federated Learning
Sun Yat-sen University(中山大学);University of Virginia(弗吉尼亚大学)
通信是联邦学习(FL)的主要瓶颈之一,但现有的研究还没有解决有效的通信设计问题,特别是在需要同时考虑上行链路和下行链路通信的无线FL中。本文重点研究无线FL物理层量化和传输方法的设计和分析,回答客户端和参数服务器之间进行什么以及如何通信的问题,并评估更新模型的各种量化和传输选项对学习性能的影响。我们提供了新的收敛性分析著名的FedAvg下非独立同分布。数据集分布、部分客户端参与以及上行链路和下行链路通信中的有限精度量化。这些分析表明,为了实现O(1/T)的收敛率与量化,传输的权重需要增加的量化水平在对数率,而传输的权重差分可以保持一个恒定的量化水平。对各种真实世界数据集的综合数值评估表明,FL定制的上行链路和下行链路通信设计的好处是巨大的-对于i.i.d.和i.i.d.的大多数实验,精心设计的量化和传输以不到10%的基线带宽实现了超过98%的浮点基线精度。和非I.I.D.数据集。特别是,1位量化(浮点基线带宽的3.1%)在MNIST上以几乎相同的收敛速率实现了99.8%的浮点基线精度,这是作者所知的最佳带宽-精度权衡。
2020-12-07 cs.IT cs.LG eess.SP
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Weizmann Institute of Science(魏茨曼科学研究所)
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈,特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式,尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中,我们提出了一种自适应量化策略,称为AdaQuantFL,旨在实现通信效率,以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明,与固定量化级别设置相比,我们的方法可以在更少的通信比特中收敛,对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota InfoTech Lab USA(美国丰田信息技术实验室)
针对联邦学习中的系统与数据异构性,提出基于量化与自监督学习的Fed-QSSL框架,通过客户端低位量化与服务器端聚合机制实现个性化模型,并在真实数据集上验证有效性。
2023-12-20 cs.LG cs.SY eess.SY
FedBit: Accelerating Privacy-Preserving Federated Learning via Bit-Interleaved Packing and Cross-Layer Co-Design
Microelectronics Thrust The Hong Kong University of Science
针对 FHE 联邦学习的高计算与通信开销,提出软硬件协同框架 FedBit,通过位交错打包、FPGA 加速和数据流优化实现显著提速并降低通信成本。
2025-09-27 cs.AR cs.CR cs.LG
Communication-Efficient Personalized Federated Learning via Layer-Wise Multi-Threshold Random Sketching
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);Faculty of Infor-X, Xidian University(西安电子科技大学Infor-X学院);College of Artificial Intelligence, Inner Mongolia Normal University(内蒙古师范大学人工智能学院)
针对现有1比特联邦学习压缩方法忽略分层差异、无法捕捉细粒度参数变化的问题,提出分层多阈值随机Sketching方法,提升通信效率与通信-精度权衡性能。
2026-09-07 cs.LG
DRIVE: One-bit Distributed Mean Estimation
VMware Research(VMware研究院);University College London(伦敦大学学院);Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
我们考虑的问题,其中$n$客户端发送$d$维的实值向量使用$d(1+o(1))$位,每个,在一种方式,允许接收器近似重建其平均值。这种压缩问题自然会出现在分布式和联邦学习中。我们提供了新的数学结果,并得出计算效率高的算法,比以前的压缩技术更准确。我们使用各种数据集在分布式和联邦学习任务的集合上评估我们的方法,并显示出对最先进技术的一致改进。
2021-12-16 cs.DS cs.LG
Mixed-Precision Federated Learning via Multi-Precision Over-The-Air Aggregation
Faculty of Engineering & Applied Sciences(工程与应用科学学院);Department of Engineering(工程系);Cranfield University(克兰菲尔德大学);Durham University(达勒姆大学)
针对异构客户端不同比特精度导致的空中聚合不兼容问题,提出多精度梯度调制的混合精度 OTA-FL 框架,在真实数据上验证其精度与能耗优势。
2025-02-26 cs.AI cs.LG
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks
Beijing University of Posts and Telecommunications(北京邮电大学);University of Miami(迈阿密大学);Purdue University(普渡大学);Virginia Tech(弗吉尼亚理工大学);The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);Peng Cheng Laboratory(鹏城实验室)
本文针对无线网络中联邦学习的通信与计算效率问题,提出可变位宽量化方案,并将其建模为优化问题,通过基于模型的强化学习方法联合优化设备选择与量化位宽,从而在不增加通信开销的情况下缩短收敛时间。
2023-07-11 cs.LG
FedDQ: Communication-Efficient Federated Learning with Descending Quantization
The Hong Kong University of Science and Technology(香港科技大学)
联邦学习(FL)是一种新兴的不侵犯用户隐私的学习范式。然而,大的模型规模和频繁的模型聚合给FL带来了严重的通信瓶颈。为了减少通信量,人们提出了模型压缩和量化等技术。除了固定比特量化之外,现有的自适应量化方案使用上升趋势量化,其中量化水平随着训练阶段而增加。在本文中,我们首先研究了量化对模型收敛的影响,并表明最佳量化水平与模型更新的范围直接相关。假设模型应该随着训练的进展而收敛,则模型更新的范围将逐渐缩小,这表明量化级别应该随着训练阶段而降低。在理论分析的基础上,提出了一种降量化方案FedDQ。实验结果表明,与现有的量化方案相比,该方案可节省65.2%的通信比特量和68%的通信轮数。
2022-11-10 cs.LG
Sparse Decentralized Federated Learning
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);Department of Electrical and Electronic Engineering, Faculty of Engineering, Imperial College London(帝国理工学院工程学院电气与电子工程系)
针对去中心化联邦学习的通信、计算与可信挑战,提出带稀疏约束和差分隐私的 CEPS 算法,利用一比特压缩感知提升效率并给出收敛与隐私保证。
2025-03-15 cs.LG
Federated Learning with Multi-resolution Model Broadcast
Ericsson AB(爱立信公司);Linköping University(林雪平大学)
本文提出在联邦学习的模型广播中使用多分辨率编码与调制,使高信噪比智能体获得更准确模型而低信噪比智能体仍能基本参与,并通过MNIST数据集实验验证了方案有效性。
2024-05-30 cs.LG cs.NI
The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们考虑训练一个具有分布式差分隐私(DP)的$d$维模型的问题,其中使用安全聚合(SecAgg)来确保服务器在每个训练轮中只看到$n$模型更新的噪声和。考虑到SecAgg施加的约束,我们表征了在$\varepsilon$中央DP下(即在完全信任的服务器和无通信约束下)获得最佳精度所需的基本通信成本。我们的研究结果表明,每个客户端的$\tilde{O}\left( \min(n^2\varepsilon^2, d) \right)$位是充分的和必要的,这个基本的限制,可以通过基于稀疏随机投影的线性计划。这相对于每客户端使用$\tilde{O}(d\log(d/\varepsilon^2))$位的现有技术SecAgg分布式DP方案提供了显著的改进。从经验上讲,我们评估我们提出的计划在现实世界的联邦学习任务。我们发现,我们的理论分析是很好地匹配在实践中。特别是,我们表明,我们可以降低通信成本显着下$1.2$位每个参数在现实的隐私设置,而不降低测试时的性能。因此,我们的工作从理论上和经验上详细说明了使用SecAgg的基本价格。
2022-03-07 cs.LG stat.ML
Federated Learning of Binary Neural Networks: Enabling Low-Cost Inference
Department of Electrical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校电子工程系);Department of Computer Science and Engineering, Jadavpur University(贾达布尔大学计算机科学与工程系)
本文提出FedBNN框架,通过在本地训练中直接学习二进制表示,优化边缘设备的内存和计算效率,减少资源消耗同时保持与传统联邦方法相当的性能。
2026-11-11 cs.CV cs.LG
Secure Neuroimaging Analysis using Federated Learning with Homomorphic Encryption
University of Southern California(南加州大学)
联邦学习(FL)支持在各种不同的远程数据源上分布式计算机器学习模型,而无需将任何单独的数据传输到集中位置。随着更多的源和更大的数据集被添加到联邦中,这导致模型的通用性和计算的有效扩展。然而,最近的成员攻击表明,当模型参数或汇总统计数据与中央站点共享时,私人或敏感的个人数据有时会泄露或推断,需要改进的安全解决方案。在这项工作中,我们提出了一个框架,安全FL使用全同态加密(FHE)。具体来说,我们使用CKKS建设,一个近似的,浮点兼容的计划,受益于密文包装和重新缩放。在我们对大规模脑MRI数据集的评估中,我们使用我们提出的安全FL框架来训练一个深度学习模型,以从分布式MRI扫描(一个常见的基准测试任务)预测一个人的年龄,并证明加密和非加密联邦模型之间的学习性能没有下降。
2021-11-09 cs.CR cs.LG
Sparse Random Networks for Communication-Efficient Federated Learning
Stanford University(斯坦福大学);University of Padova(帕多瓦大学);Imperial College London(帝国理工学院)
联邦学习的一个主要挑战是在每一轮从客户端到服务器交换权重更新的巨大通信成本。虽然先前的工作已经取得了很大的进展,通过梯度压缩方法压缩的权重更新,我们提出了一个根本不同的方法,不更新的权重。相反,我们的方法将权重冻结在其初始\emph{random}值,并学习如何稀疏随机网络以获得最佳性能。为此,客户端协作训练\emph{stochastic}二进制掩码,以在原始网络内找到最佳稀疏随机网络。在训练结束时,最终的模型是一个具有随机权重的稀疏网络,或者是密集随机网络中的一个子网络。我们在MNIST,EMNIST,CIFAR-10和CIFAR-100数据集的相关基线上,在各种系统配置下的低比特率制度中,显示了准确性,通信(小于$1$每参数位数(bpp)),收敛速度和最终模型大小(小于$1$ bpp)的改进。
2023-02-09 cs.LG stat.AP stat.ML
MGS: Markov Greedy Sums for Accurate Low-Bitwidth Floating-Point Accumulation
Harvard University(哈佛大学)
针对低比特浮点累加的数值误差问题,提出MGS算法,通过指数排序与尾数无溢出求和减少淹没误差,在8位浮点推理中实现与高精度基线相当的分类精度,其dMAC硬件单元功耗降低达34.1%。
2025-04-12 cs.AR cs.LG
Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks
Stanford University(斯坦福大学);Intel AI Lab(英特尔人工智能实验室)
在保持快速迭代的同时使用更大数量的参数进行训练是开发性能更好的深度神经网络(DNN)模型越来越多地采用的策略和趋势。这需要增加用于训练的内存占用和计算要求。在这里,我们介绍了一种使用8位浮点数(FP 8)训练深度神经网络的新方法。降低的位精度允许更大的有效存储器和增加的计算速度。我们将这种方法命名为移位和挤压FP 8(S2 FP 8)。我们表明,与以前的8位精度训练方法不同,所提出的方法适用于代表性模型:ResNet-50,Transformer和NCF。该方法可以保持模型的准确性,而不需要微调损耗缩放参数或保持某些层在单精度的。我们引入了DNN张量的两个可学习的统计数据-移位和压缩因子,用于最佳地调整8位张量的范围,从而最大限度地减少量化造成的信息损失。
2020-01-16 cs.LG
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
用于训练深度神经网络(DNN)的最先进的硬件平台正在从传统的单精度的(32位)计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而,与推理不同,由于需要在反向传播期间保持梯度计算的保真度,用小于16位表示的数字进行训练一直具有挑战性。在这里,我们首次展示了使用8位浮点数成功训练DNN,同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外,我们还通过引入一些关键思想,包括基于块的累加和浮点随机舍入,成功地将加法的算术精度(用于部分乘积累加和权重更新)从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础,其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
EFloat: Entropy-coded Floating Point Format for Compressing Vector Embedding Models
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
在一大类深度学习模型中,包括矢量嵌入模型,如单词和数据库嵌入,我们观察到浮点指数值聚集在一些唯一值周围,允许基于熵的数据压缩。熵编码用可变长度代码压缩固定长度的值,用更少的比特编码最可能的值。我们提出了EFloat压缩的浮点数格式,它在指数和有效位字段之间使用可变字段边界。EFloat对指数值和符号使用熵编码来最小化指数和符号字段的平均宽度,同时保持原始FP32指数范围不变。保存的位成为有效位字段的一部分,与其他精度降低的浮点格式相比,EFloat的数值精度平均提高了4.3位。EFloat使8位甚至更小的浮点数变得实用,而不会牺牲32位浮点表示的指数范围。我们目前使用EFloat格式来节省大型向量嵌入模型(如用于数据库嵌入的模型)的内存容量和带宽消耗。使用RMS误差作为度量,我们证明了EFloat比其他浮点格式具有更高的精度。具有12位预算的EF12格式比16位BFloat16具有更少的端到端应用程序错误。对于不同的嵌入模型集,具有16位预算的EF16的RMS误差比BF 16的RMS误差小17到35倍。当进行相似性和不相似性查询时,使用NDCG排名指标,EFloat将先前浮点表示的结果质量与更大的位预算相匹配。
2022-02-03 cs.AI cs.DB cs.LG
All-You-Can-Fit 8-Bit Flexible Floating-Point Format for Accurate and Memory-Efficient Inference of Deep Neural Networks
National Yang Ming Chiao Tung University(阳明交通大学)
现代深度神经网络(DNN)模型通常需要大量的权重和激活值来实现良好的推理结果。这些数据不可避免地需要大量的片外存储器容量/带宽,如果它们以高精度浮点格式表示,情况会变得更糟。尽管已经努力以不同的8位浮点格式表示这些数据,但仍然不可避免地存在显著的精度损失。在本文中,我们介绍了一种非常灵活的8位浮点(FFP 8)格式,其定义因素-指数/分数字段的位宽,指数偏置,甚至符号位的存在-都是可配置的。我们还提出了一种方法来适当地确定这些因素,使模型推理的准确性可以最大化。这种方法的基础是基于一个关键的观察-在大多数DNN模型中,权重和激活之间的最大幅度和值分布都非常不同。实验结果表明,所提出的FFP 8格式实现了极低的准确率损失的$0.1\%\sim 0.3\%$的几个代表性的图像分类模型,即使不需要模型再训练。此外,它很容易把一个经典的浮点处理单元变成一个FFP 8兼容的,和额外的硬件成本很小。
2021-04-24 cs.AI cs.LG
Mixed Precision Training With 8-bit Floating Point
Intel Labs(英特尔研究院)
深度神经网络的降低精度计算是解决模型大小指数增长导致的计算差距扩大的关键领域之一。近年来,深度学习训练已基本迁移到16位精度,在性能和能效方面取得了显着进步。然而,由于反向传播的更高精度和动态范围要求,以8位精度训练DNN的尝试遇到了重大挑战。在本文中,我们提出了一种使用8位浮点表示权值、激活、错误和梯度来训练深度神经网络的方法。除了降低计算精度外,我们还将权重主副本的精度要求从32位降低到16位。我们在多个数据集(imagenet-1K,WMT 16)和更广泛的工作负载(Resnet-18/34/50,GNMT,Transformer)上展示了最先进的准确性。我们提出了一种增强的损失缩放方法,以增加减少低于正常范围的8位浮点改善错误传播。我们还研究了量化噪声对泛化的影响,并提出了一种随机舍入技术来解决梯度噪声。作为应用所有这些技术的结果,我们报告的验证精度略高于全精度基线。
2019-05-29 cs.LG stat.ML
The Hidden Power of Pure 16-bit Floating-Point Neural Networks
Stony Brook University(石溪大学);State University of New York Korea(韩国全州大学(韩国分校))
本文研究了纯16位浮点神经网络在分类任务中相比32位网络出人意料的性能提升,通过大量实验和理论分析验证了其效率优势,并指出了低精度训练有害的情形。
2024-05-03 cs.AI cs.LG cs.PF
Deep Positron: A Deep Neural Network Using the Posit Number System
Rochester Institute of Technology(罗切斯特理工学院);National University of Singapore(新加坡国立大学)
最近对深度神经网络(DNN)的兴趣激增,导致网络越来越复杂,对计算和内存资源造成了负担。许多DNN目前使用16位或32位浮点运算。当DNN加速器支持低精度数值格式时,可以获得显着的性能和功耗提升。尽管有大量的研究,但对于DNN训练和推理如何实现低精度操作仍然存在知识差距。在这项工作中,我们提出了一个DNN架构,深正电子,成功地在$\leq$ 8位的推理操作的数字格式。我们提出了一个精确自适应FPGA软核,用于精确的乘法和累加,以实现固定、浮点和浮点三种数值格式的统一比较。初步的结果表明,8位浮点数比8位固定或浮点数有更好的精度为三个不同的低维数据集。此外,精度可与Xilinx Virtex-7 FPGA器件上的32位浮点数相媲美。DNN性能和硬件资源(即延迟、功耗和资源利用率)之间的权衡表明,DNN在8位及以下的精度和延迟方面表现出色。
2019-01-19 cs.DC cs.LG cs.NE
Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices
Australian National University(澳大利亚国立大学);Qualcomm AI Research(高通人工智能研究院)
联邦学习(FL)是一种机器学习范式,用于从设备上的分散数据中分布式学习机器学习模型。尽管标准的联邦优化方法取得了成功,例如FL中的联邦平均(Federated Averaging,FedAvg),但文献中并未充分考虑设备上学习的能量需求和硬件引起的约束。具体来说,设备上学习的一个基本要求是,根据联邦中的能源需求和异构硬件设计,将训练模型量化为各种位宽。在这项工作中,我们介绍了联邦平均算法的多种变体,训练神经网络对量化具有鲁棒性。这样的网络可以被量化为各种位宽,仅在全精度模型精度上有有限的降低。我们对标准FL基准进行了广泛的实验,以评估我们提出的FedAvg变体的量化鲁棒性,并为我们的量化感知变体FL提供收敛性分析。我们的结果表明,整合量化鲁棒性导致FL模型在量化设备上的推断过程中对不同的位宽具有更强的鲁棒性。
2022-06-22 cs.DC cs.LG
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance(字节跳动)
本文提出decoupleQ,通过将模型参数解耦为整数和浮点数,将量化转化为约束优化问题,实现2比特均匀量化,在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
Low-Precision Floating-Point Schemes for Neural Network Training
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politécnica de Catalunya(加泰罗尼亚理工大学)
低精度定点运算与随机舍入的使用已经被提出作为常用的32位浮点运算的有前途的替代方案,以在性能和能量效率方面增强训练神经网络训练。在本文的第一部分中,12位定点运算的行为时,训练卷积神经网络与CIFAR-10数据集进行了分析,表明这种算法是不是最适合的训练阶段。在此之后,本文提出和评估,在相同的条件下,替代低精度算法,开始与12位浮点运算。然后使用局部缩放来利用这两种表示,以提高精度并更接近基线32位浮点运算。最后,本文介绍了一个简化的模型,其中的输出和神经网络的梯度都被限制为2的幂值,只是使用7位的表示。评估表明,所提出的二次幂神经网络的准确性损失最小,避免了乘法和除法的使用,从而显着减少了训练时间以及在训练和推理阶段的能量消耗和内存需求。
2018-04-14 cs.LG cs.NE stat.ML
Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本研究比较了大型语言模型中低位INT与FP量化格式,发现最佳格式因层而异,提出混合格式量化(MoFQ)逐层选择最优格式,在W-only和WA场景下均达SOTA且无硬件开销。
2023-05-21 cs.AI cs.LG
RepDL: Bit-level Reproducible Deep Learning Training and Inference
Microsoft Research(微软研究院)
针对深度学习训练与推理中的非确定性和不可复现性问题,本文提出开源库RepDL,通过强制浮点计算中的正确舍入和顺序不变性,实现跨环境的位级可复现,并公开源代码。
2025-10-10 cs.LG cs.SE
Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators
Samsung Semiconductor, Inc.(三星半导体公司)
在本文中,我们提出了一种混合精度卷积单元架构,支持不同的整数和浮点(FP)精度。该结构基于低比特内积单元,并通过时间分解实现了更高的精度。我们说明了如何整合FP计算整数为基础的架构和评估FP算法支持所产生的开销。我们认为,FP内积的对齐和加法开销可能很大,因为最大指数差可能高达58位,这会导致大型对齐逻辑。为了解决这个问题,我们说明经验,不超过26位的产品位是必需的,最多8位的对齐是足够的,在大多数推理情况下。我们提出了新的优化基于上述意见,以减少FP算法的硬件开销。我们的实证结果,基于仿真和硬件实现,FP 16开销显着减少。在典型的混合精度实现中,所提出的架构实现了高达25%的面积改善在TFLOPS/mm 2和高达46%的TOPS/mm 2与功率效率的提高高达40%在TFLOPS/W和高达63%在TOPS/W。
2021-01-27 cs.AR cs.LG
dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats
AMD
提出可微分混合精度量化框架 dMX,通过连续优化每层浮点格式参数并配合退火调度和正则化项,实现硬件兼容的 MXFP 格式分配,在 LLM 上取得帕累托最优效果。
2026-07-15 cs.AI cs.LG
Mokey: Enabling Narrow Fixed-Point Inference for Out-of-the-Box Floating-Point Transformer Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
越来越大和更好的Transformer模型不断提高自然语言处理应用程序的最新精度和功能。这些模型需要更多的计算能力、存储和能源。Mokey通过将所有值量化为4位索引并放入代表性16位定点质心的字典中,减少了最先进的32位或16位浮点Transformer模型的占用空间。Mokey不需要微调,这是一个基本功能,因为许多人通常无法获得训练资源或数据集。利用Transformer模型中自然出现的值范围,Mokey选择质心值来拟合指数曲线。这一独特的功能使Mokey能够用窄3b定点加法取代大量原始乘法-累加运算,从而实现面积和能效的硬件加速器设计。在一组最先进的Transformer模型上,Mokey加速器的能效比基于Tensor Core的加速器提高了一个数量级,同时根据模型和片上缓冲容量,将性能提高了至少$4\times$和$15\times$。可选地,Mokey可以用作任何其他加速器的内存压缩辅助,透明地将宽浮点或定点激活或权重存储到窄的4位索引中。Mokey证明优于现有技术的Transformers的量化方法。
2022-03-23 cs.AR cs.LG
AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference
Harvard University(哈佛大学);Cornell Tech(康奈尔理工学院)
传统的硬件友好的量化方法,如定点或整数,往往在非常低的字长表现不佳,因为它们缩小的动态范围不能充分捕获序列转导模型中常见的宽数据分布。我们提出了AdaptivFloat,这是一种用于深度学习的浮点启发数字表示格式,可以在层粒度上动态地最大化和最佳地裁剪其可用动态范围,以便创建神经网络参数的忠实编码。与块浮点、均匀、类似IEEE的浮点或浮点编码相比,AdaptivFloat在各种最先进的神经网络拓扑结构中以极低的精度($\leq$ 8位)始终产生更高的推理精度。值得注意的是,在$\leq$ 8位的权重位宽下,AdaptivFloat的BLEU得分高达+0.3,字出错率为-0.75,超过了基准FP 32性能。在深度神经网络(DNN)硬件加速器上的实验结果,在其计算数据路径中利用AdaptivFloat逻辑,证明了每操作能量和面积分别为0.9 $\times$和1.14 $\times$,即基于等效位宽整数的加速器变体的能量和面积。
2020-02-11 cs.AR cs.LG stat.ML
Rethinking floating point for deep learning
Facebook AI Research(脸书人工智能研究)
本文提出了一种新的混合对数乘/线性加、Kulisch累加和渐缩编码的8位对数浮点格式,以提高能效并保持精度,同时在不重新训练网络的情况下,实现了与原始float32 ResNet-50模型在ImageNet上的高精度性能。
2018-11-01 cs.LG cs.NA math.NA
Reward-Based 1-bit Compressed Federated Distillation on Blockchain
Tsinghua University(清华大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
最近出现的各种形式的联邦知识蒸馏(FD)为新一代鲁棒且通信高效的联邦学习(FL)铺平了道路,其中仅仅聚合软标签,而不是像以前的FL方案中所做的深度神经网络(DNN)的整个梯度。这种基于设计的安全方法与性能日益提高的物联网(IoT)和移动设备相结合,开辟了一个新的可能性领域,可以利用来自行业和个人的私人数据作为人工智能模型训练的输入。然而,在以前的FL系统中,由于工人和中央权威机构之间的权力不平衡而缺乏信任,利他主义工人参与的假设以及无法正确衡量和比较工人的贡献,阻碍了这项技术从已经委托实体的小团体扩展到大规模采用。这项工作旨在通过引入一种新型的分散式联邦学习框架来缓解上述问题,在该框架中,高度压缩的1位软标签(类似于1-hot label预测)被聚合在智能合约上。在一个上下文中,工人的贡献,现在很容易比较,我们修改了同行的真相血清众包机制(PTSC)FD奖励诚实的参与的基础上同行一致性的激励兼容的方式。由于计算复杂性和存储的大幅降低,我们的框架是一个完全基于区块链的FL系统,在简单的智能合约上是可行的,因此与区块链无关。我们实验测试我们的新框架,并验证其理论特性。
2021-06-27 cs.CR cs.DC cs.LG
8-bit Numerical Formats for Deep Neural Networks
Graphcore Research(Graphcore研究院)
鉴于当前机器学习架构的规模和复杂性不断增加的趋势,识别新的方法来提高模型训练的计算效率变得至关重要。在这种情况下,我们解决了浮点表示优于定点表示的优点,并对使用8位浮点数格式进行训练和推理的激活,权重和梯度进行了深入研究。我们探讨了不同的指数和有效位宽度和不同的指数偏差的影响。实验结果表明,适当选择这些低精度格式可以加快训练速度并降低功耗,而不会降低用于图像分类和语言处理的一系列深度学习模型的准确性。
2022-06-06 cs.LG
Computation Error Analysis of Block Floating Point Arithmetic Oriented Convolution Neural Network Accelerator Design
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
大规模卷积神经网络在嵌入式平台上的部署面临着计算量和片外通信量的巨大负担。由于CNN对计算误差有很强的耐受性,在CNN加速器中采用块浮点(BFP)算法可以有效地节省硬件成本和数据流量,同时保持分类精度。在本文中,我们验证了BFP中的字宽定义对CNN性能的影响,而无需重新训练。本文测试了几种典型的CNN模型,包括VGG 16、ResNet-18、ResNet-50和GoogLeNet。实验结果表明,8位尾数,包括符号位,在BFP表示仅引起小于0.3%的准确性损失。此外,我们还从理论上分析了计算误差,给出了信噪比(NSR)的上界,为基于BFP的CNN引擎设计提供了有希望的指导。
2017-11-24 cs.LG
Deep Learning Training on the Edge with Low-Precision Posits
Rochester Institute of Technology(罗切斯特理工学院)
最近,DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺([5. 8]-位)。然而,大多数研究只关注DNN推理。在这项工作中,我们提出了使用posits的DNN训练,并与浮点训练进行了比较。我们在MNIST和Fashion MNIST语料库上进行了评估,其中16位定位优于端到端DNN训练的16位浮点。
2019-07-30 cs.LG stat.ML
FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic
Department of Electrical and Computer Engineering(电气与计算机工程系);Seoul National University(首尔国立大学)
针对FP8量化在LoRA微调中因小矩阵计算开销大导致加速受限的问题,提出FALQON框架,通过合并LoRA适配器到FP8主干、重构计算与逐行更新机制,实现约3倍训练提速且精度相当,还支持端到端FP8部署。
2025-10-28 cs.AI cs.LG
AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization
Huawei Inc.(华为公司)
本文提出 AMS-Quant,通过尾数比特共享和自适应搜索实现非整数位宽浮点量化,并以 CUDA 内核在可忽略精度损失下获得最高 3.2 倍解码加速。
2025-10-16 cs.AI cs.LG
Scaling Laws for Floating Point Quantization Training
Tencent Hunyuan(腾讯混元);University of Macau(澳门大学);The Chinese University of Hong Kong(香港中文大学);Institute of Science Tokyo(东京科学大学)
本文系统研究浮点量化训练中指数位、尾数位和缩放因子粒度对LLM性能的影响,提出统一缩放定律,并给出最优比特分配、临界数据规模及4-8比特最佳性价比精度等实践建议。
2025-06-04 cs.AR cs.CL cs.LG
Expressive Power of ReLU and Step Networks under Floating-Point Operations
本文在浮点运算条件下研究ReLU和阶跃网络的表达能力,证明其可记忆任意有限数据并逼近连续函数,参数数量与精确运算下经典结果一致,且适用于IEEE 754和bfloat16格式。
2024-07-16 cs.AI cs.LG
Training with Mixed-Precision Floating-Point Assignments
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
提出一种为卷积神经网络生成混合精度浮点分配的技术,在保持训练精度的同时实现超过2倍的内存减少,并避免训练发散,优于先前方法。
2023-06-23 cs.LG
Schrödinger's FP: Dynamic Adaptation of Floating-Point Containers for Deep Learning Training
University of Toronto(多伦多大学);Qualcomm(高通公司);QBit(1QBit公司);AMD(超威半导体公司);McMaster University(麦克马斯特大学)
针对深度学习训练中张量传输能耗高、现有窄数据表示需人工试错的问题,提出动态适配浮点格式的多类方法,结合有损压缩与可选无损压缩显著降低内存占用。
2024-05-17 cs.AR cs.LG
ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training
Hanyang University(汉阳大学);Samsung Advanced Institute of Technology(三星综合技术院)
针对大推理模型在低比特量化(W4A4KV4)下推理精度严重下降的问题,提出ReQAT框架,通过迹对齐QAT、选择性熵最小化和量化友好初始化,恢复并超越BF16微调精度,实现最高3.9倍吞吐加速。
2026-06-16 cs.LG
Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing
Univ. Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);CNES(法国国家空间研究中心)
针对高分辨率对地观测空间系统的下行链路数据传输瓶颈,提出将低精度minifloat运算与量化感知训练相结合的星载深度学习方法,在Airbus Ship数据集上实现6位量化且精度仅降0.3%。
2023-11-18 cs.LG eess.SP
Nanoscaling Floating-Point (NxFP): NanoMantissa, Adaptive Microexponents, and Code Recycling for Direct-Cast Compression of Large Language Models
Harvard University(哈佛大学)
随着尖端的大语言模型(LLM)不断改变各个行业,其快速增长的模型大小和序列长度导致了内存流量和容量挑战。最近,AMD、Arm、Intel、Meta、Microsoft、NVIDIA和Qualcomm提出了一个微尺度标准(Mx),该标准通过微指数增强块浮点运算,以实现有希望的困惑与足迹权衡。然而,微尺度在具有小于六位的现代LLM上遭受显著的困惑退化。本文概述了现代LLM,并确定了低比特微尺度格式的三个主要挑战,即,异常值的不准确跟踪、空的量化级别和浪费的二进制代码。作为响应,纳米尺度(NxFP)提出了三种技术,即,NanoMantissa、Adaptive Microexponent和Code Recycling,与最先进的MxFP相比,可实现更高的精度和更小的内存占用。在各种现代LLM上的直接投射推理的实验结果表明,我们提出的方法在MMLU基准测试中的困惑度和准确度方面均优于最先进的MxFP,最高可达0.64,最高可达30%。此外,NxFP将内存占用减少了16%,同时实现了与MxFP相当的复杂度。
2024-12-15 cs.AI cs.AR cs.DC
The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators
Keita Morisaki(独立研究者)
AetherFloat家族是一种面向AI加速器的无块缩放四进制浮点架构,通过显式尾数和四进制缩放实现更高的动态范围和更低的功耗,同时支持量化感知训练。
2026-02-26 cs.AR cs.LG
Revisiting BFloat16 Training
University of Michigan(密歇根大学);SambaNova Systems(SambaNova系统公司);Cornell University(康奈尔大学)
最先进的通用低精度训练算法使用16位和32位精度的混合,造成了16位硬件计算单元本身不足以最大限度地提高模型精度的民间传说。因此,深度学习加速器被迫同时支持16位和32位浮点单元(FPU),这比仅使用16位FPU进行硬件设计成本更高。我们问:我们是否可以仅使用16位浮点单元来训练深度学习模型,同时仍然匹配32位训练所达到的模型精度?为此,我们研究了广泛采用的BFloat16单元上的16位FPU训练。虽然这些单元通常使用最近的舍入来将输出转换为16位精度,但我们表明,模型权重更新的最近舍入通常会取消小的更新,这会降低收敛性和模型精度。受此启发,我们研究了两个简单的技术,以及建立在数值分析,随机舍入和Kahan求和,以弥补模型精度下降,在16位FPU训练。我们证明了这两种技术可以在16位FPU训练中实现高达7%的绝对验证精度增益。这导致在七个深度学习应用程序中,与32位训练相比,验证准确率降低0.1%至提高0.2%。
2021-03-07 cs.LG stat.ML