Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?
UC San Diego（加州大学圣地亚哥分校）；Harvard University（哈佛大学）
二进制神经网络（BNN）已经被广泛研究，因为它们在较低的内存和功耗下比浮点网络运行得更快，这要归功于位操作的效率。然而，当代BNN的权重和激活都是单比特的，遭受严重的精度下降。为了理解为什么，我们通过大量的实验研究了BNN的表示能力，速度和偏差/方差。我们的结论是，BNN的错误主要是由固有的不稳定性（训练时间）和非鲁棒性（训练和测试时间）。受此研究的启发，我们提出了二进制嵌入式神经网络（BENN），它利用集成方法来提高BNN的性能与有限的效率成本。虽然集成技术被广泛认为对深度神经网络等强分类器只有很小的帮助，但我们的分析和实验表明，它们自然非常适合提升BNN。我们发现，我们的BENN比最先进的二进制网络更快，更强大，甚至可以超过具有相同架构的全精度浮点数网络的准确性。
2018-12-03 cs.AI cs.CV cs.LG
Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；CNES（法国国家空间研究中心）
针对高分辨率对地观测空间系统的下行链路数据传输瓶颈，提出将低精度minifloat运算与量化感知训练相结合的星载深度学习方法，在Airbus Ship数据集上实现6位量化且精度仅降0.3%。
2023-11-18 cs.LG eess.SP
ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training
Hanyang University（汉阳大学）；Samsung Advanced Institute of Technology（三星综合技术院）
针对大推理模型在低比特量化（W4A4KV4）下推理精度严重下降的问题，提出ReQAT框架，通过迹对齐QAT、选择性熵最小化和量化友好初始化，恢复并超越BF16微调精度，实现最高3.9倍吞吐加速。
2026-06-16 cs.LG
Revisiting BFloat16 Training
University of Michigan（密歇根大学）；SambaNova Systems（SambaNova系统公司）；Cornell University（康奈尔大学）
最先进的通用低精度训练算法使用16位和32位精度的混合，造成了16位硬件计算单元本身不足以最大限度地提高模型精度的民间传说。因此，深度学习加速器被迫同时支持16位和32位浮点单元（FPU），这比仅使用16位FPU进行硬件设计成本更高。我们问：我们是否可以仅使用16位浮点单元来训练深度学习模型，同时仍然匹配32位训练所达到的模型精度？为此，我们研究了广泛采用的BFloat16单元上的16位FPU训练。虽然这些单元通常使用最近的舍入来将输出转换为16位精度，但我们表明，模型权重更新的最近舍入通常会取消小的更新，这会降低收敛性和模型精度。受此启发，我们研究了两个简单的技术，以及建立在数值分析，随机舍入和Kahan求和，以弥补模型精度下降，在16位FPU训练。我们证明了这两种技术可以在16位FPU训练中实现高达7%的绝对验证精度增益。这导致在七个深度学习应用程序中，与32位训练相比，验证准确率降低0.1%至提高0.2%。
2021-03-07 cs.LG stat.ML
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google（谷歌）
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构，权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位，即使不支持8位算法，也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试，并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上，如采用HVX的Qualcomm QDSP，可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进，在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位，精度损失范围从2%到10%，对于较小的网络，精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具，并回顾了量化感知训练的最佳实践，以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议，未来的处理器和硬件加速器优化推理支持精度为4，8和16位。
2018-06-21 cs.CV cs.LG stat.ML
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance
AMD（超威半导体）
我们引入了一个量化感知的训练算法，保证避免数值溢出时，减少推理过程中的精度的迭代。我们利用权重归一化作为在训练过程中使用我们推导出的累加器位宽界限来约束参数的一种手段。我们评估我们的算法在多个量化的模型，我们训练不同的任务，表明我们的方法可以降低精度的预测，同时保持模型的精度相对于浮点基线。然后，我们表明，这种减少转化为定制的基于FPGA的加速器的设计效率提高。最后，我们表明，我们的算法不仅限制权重，以适应用户定义的位宽的累加器，但也增加了稀疏性和压缩性的权重。在我们所有使用8位权重和激活训练的基准模型中，我们观察到，将量化神经网络的隐藏层限制为适合16位卷积，平均稀疏度为98.2%，估计压缩率为46.5倍，同时保持99.2%的浮点性能。
2023-01-31 cs.AI cs.AR cs.CV
Harden Deep Neural Networks Against Fault Injections Through Weight Scaling
Kyushu Institute of Technology（九州工业大学）；Graduate School of Life Science and Systems（生命科学与系统研究生院）；Research Center for Neuromorphic AI Hardware（神经形态人工智能硬件研究中心）
针对硬件故障导致DNN权重位翻转性能下降问题，提出权重存储前乘常数、使用时还原的方法，实验显示该方法能提升8位定点ResNet50在0.0001位错误率下的Top-1准确率54.418，且开销低。
2024-11-28 cs.AI cs.CV cs.LG
SeVeDo: A Heterogeneous Transformer Accelerator for Low-Bit Inference via Hierarchical Group Quantization and SVD-Guided Mixed Precision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
SeVeDo通过分层分组量化和SVD引导混合精度，提高低比特推理的能效，实现13.8TOPS/W的峰值能效，优于传统设计。
2026-01-22 cs.AR cs.LG
Binarized Convolutional Neural Networks for Efficient Inference on GPUs
Tampere University of Technology（坦佩雷理工大学）
卷积神经网络最近在各种图像分类任务中取得了重大突破。然而，它们在计算上是昂贵的，这使得它们在嵌入式和低功耗设备上的可行实现变得困难。在本文中，卷积神经网络二值化实现基于GPU的平台上的实时推理资源受限的设备。在二进制化网络中，层之间的所有权重和中间计算都被量化为+1和-1，允许乘法和加法被32位字之间的逐位操作取代。这种表示完全消除了对浮点乘法和加法的需要，与浮点实现的全精度网络相比，减少了计算负载和内存占用，使其非常适合资源受限的环境。我们比较我们的实现与一个桌面和两个嵌入式GPU平台上的等效浮点实现的性能。我们的实现达到了最高速度7. 4倍，与参考实现相比，准确度仅损失4.4%。
2018-08-01 cs.LG stat.ML
FP8 Quantization: The Power of the Exponent
Qualcomm AI Research（高通人工智能研究中心）；Qualcomm Technologies, Inc.（高通技术公司）
本文系统研究了FP8浮点量化在神经网络推理中的优势，分析了尾数与指数比特数选择的影响，提出可学习尺度参数和指数比特数的新算法，并证明训练后量化中FP8在精度上优于INT8。
2024-02-23 cs.LG
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.（LeapMind公司）；Woven by Toyota, Inc.（丰田旗下Woven公司）；Mirai Hoshu K.K.（Mirai Hoshu株式会社）
提出像素嵌入方法，通过可微查找表将输入像素替换为低比特向量，实现完全量化神经网络，在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
The Weight of a Bit: EMFI Sensitivity Analysis of Embedded Deep Learning Models
TTControl GmbH（TTControl公司）；Faculty of Informatics and Information Technologies, Slovak University of Technology（斯洛伐克理工大学信息学与信息技术学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室）
本文研究四种数表示对EMFI攻击成功的影响，发现整数表示比浮点表示更抗攻击，尤其8位整数在较大网络中保持较高精度。
2026-04-11 cs.AI cs.CR
Adaptive Block Floating-Point for Analog Deep Learning Hardware
Lightmatter, Inc.（Lightmatter公司）
模拟混合信号（AMS）设备承诺比数字设备更快、更节能的深度神经网络（DNN）推理。然而，最近的研究表明，AMS设备上具有定点数的DNN可能会因为精度损失而导致精度损失。为了减轻这种惩罚，我们提出了一种新的AMS兼容的自适应块浮点（ABFP）数表示。我们还介绍了放大（或增益）作为一种方法，用于提高数字表示的准确性，而不增加输出的位精度。我们在MLPerf数据中心推理基准测试中评估了ABFP在DNN上的有效性-与FLOAT 32相比，实现了低于$1\%$的准确性损失。我们还提出了一种新的AMS设备微调方法，差分噪声微调（DNF），与传统的量化感知训练相比，该方法对设备噪声进行采样以加快微调。
2022-05-12 cs.AR cs.LG
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究，第一次，研究了性能的语音增强（语音处理中的回归任务）使用一种新的指数只有浮点量化神经网络（EOFP-QNN）。EOFP-QNN由两个阶段组成：尾数量化和指数量化。在尾数量化阶段，EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段，参数的指数部分被进一步量化，而不会导致任何额外的性能下降。我们评估了两种类型的神经网络，即双向长短期记忆（BLSTM）和全卷积神经网络（FCN），在语音增强任务的建议EOFP量化技术。实验结果表明，在保持语音增强效果的同时，量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%，大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
EFloat: Entropy-coded Floating Point Format for Compressing Vector Embedding Models
IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
在一大类深度学习模型中，包括矢量嵌入模型，如单词和数据库嵌入，我们观察到浮点指数值聚集在一些唯一值周围，允许基于熵的数据压缩。熵编码用可变长度代码压缩固定长度的值，用更少的比特编码最可能的值。我们提出了EFloat压缩的浮点数格式，它在指数和有效位字段之间使用可变字段边界。EFloat对指数值和符号使用熵编码来最小化指数和符号字段的平均宽度，同时保持原始FP32指数范围不变。保存的位成为有效位字段的一部分，与其他精度降低的浮点格式相比，EFloat的数值精度平均提高了4.3位。EFloat使8位甚至更小的浮点数变得实用，而不会牺牲32位浮点表示的指数范围。我们目前使用EFloat格式来节省大型向量嵌入模型（如用于数据库嵌入的模型）的内存容量和带宽消耗。使用RMS误差作为度量，我们证明了EFloat比其他浮点格式具有更高的精度。具有12位预算的EF12格式比16位BFloat16具有更少的端到端应用程序错误。对于不同的嵌入模型集，具有16位预算的EF16的RMS误差比BF 16的RMS误差小17到35倍。当进行相似性和不相似性查询时，使用NDCG排名指标，EFloat将先前浮点表示的结果质量与更大的位预算相匹配。
2022-02-03 cs.AI cs.DB cs.LG
MGS: Markov Greedy Sums for Accurate Low-Bitwidth Floating-Point Accumulation
Harvard University（哈佛大学）
针对低比特浮点累加的数值误差问题，提出MGS算法，通过指数排序与尾数无溢出求和减少淹没误差，在8位浮点推理中实现与高精度基线相当的分类精度，其dMAC硬件单元功耗降低达34.1%。
2025-04-12 cs.AR cs.LG
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
用于训练深度神经网络（DNN）的最先进的硬件平台正在从传统的单精度的（32位）计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而，与推理不同，由于需要在反向传播期间保持梯度计算的保真度，用小于16位表示的数字进行训练一直具有挑战性。在这里，我们首次展示了使用8位浮点数成功训练DNN，同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外，我们还通过引入一些关键思想，包括基于块的累加和浮点随机舍入，成功地将加法的算术精度（用于部分乘积累加和权重更新）从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础，其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin（都柏林大学圣三一学院）；The School of Computer Science and Statistics（计算机科学与统计学院）；Institute of Technology Carlow（卡洛理工学院）
卷积神经网络（CNN）通常使用16位或32位浮点（FP）进行训练，研究人员表明，低精度浮点（FP）可以非常有效地进行推理。低精度FP可以在现场可编程门阵列（FPGA）和专用集成电路（ASIC）加速器中实现，但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符（HOBFLOPS），生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程，使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作，和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽（32-512个元素）的矢量化卷积神经网络（CNN）卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符（HOBFLOPS）乘法累加（MAC）性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP，例如，HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外，HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究比较了大型语言模型中低位INT与FP量化格式，发现最佳格式因层而异，提出混合格式量化（MoFQ）逐层选择最优格式，在W-only和WA场景下均达SOTA且无硬件开销。
2023-05-21 cs.AI cs.LG
Mixed Precision Training With 8-bit Floating Point
Intel Labs（英特尔研究院）
深度神经网络的降低精度计算是解决模型大小指数增长导致的计算差距扩大的关键领域之一。近年来，深度学习训练已基本迁移到16位精度，在性能和能效方面取得了显着进步。然而，由于反向传播的更高精度和动态范围要求，以8位精度训练DNN的尝试遇到了重大挑战。在本文中，我们提出了一种使用8位浮点表示权值、激活、错误和梯度来训练深度神经网络的方法。除了降低计算精度外，我们还将权重主副本的精度要求从32位降低到16位。我们在多个数据集（imagenet-1K，WMT 16）和更广泛的工作负载（Resnet-18/34/50，GNMT，Transformer）上展示了最先进的准确性。我们提出了一种增强的损失缩放方法，以增加减少低于正常范围的8位浮点改善错误传播。我们还研究了量化噪声对泛化的影响，并提出了一种随机舍入技术来解决梯度噪声。作为应用所有这些技术的结果，我们报告的验证精度略高于全精度基线。
2019-05-29 cs.LG stat.ML
dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats
AMD
提出可微分混合精度量化框架 dMX，通过连续优化每层浮点格式参数并配合退火调度和正则化项，实现硬件兼容的 MXFP 格式分配，在 LLM 上取得帕累托最优效果。
2026-07-15 cs.AI cs.LG
FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic
Department of Electrical and Computer Engineering（电气与计算机工程系）；Seoul National University（首尔国立大学）
针对FP8量化在LoRA微调中因小矩阵计算开销大导致加速受限的问题，提出FALQON框架，通过合并LoRA适配器到FP8主干、重构计算与逐行更新机制，实现约3倍训练提速且精度相当，还支持端到端FP8部署。
2025-10-28 cs.AI cs.LG
AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization
Huawei Inc.（华为公司）
本文提出 AMS-Quant，通过尾数比特共享和自适应搜索实现非整数位宽浮点量化，并以 CUDA 内核在可忽略精度损失下获得最高 3.2 倍解码加速。
2025-10-16 cs.AI cs.LG
Floating-floating point: a highly accurate number representation with flexible Counting ranges
Ariel University（阿里尔大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对窄位宽数制下计数范围与精度的权衡问题，提出可动态调整尾数指数划分的F2P数表示法，可提升网络测量与联邦学习效果。
2024-09-22 cs.LG cs.NI
Expressive Power of ReLU and Step Networks under Floating-Point Operations
本文在浮点运算条件下研究ReLU和阶跃网络的表达能力，证明其可记忆任意有限数据并逼近连续函数，参数数量与精确运算下经典结果一致，且适用于IEEE 754和bfloat16格式。
2024-07-16 cs.AI cs.LG
Towards Federated Learning with On-device Training and Communication in 8-bit Floating Point
Texas A&M University（德克萨斯大学）；Arm（恩智浦）；Lund University（隆德大学）
本研究针对联邦学习场景，提出结合客户端FP8训练与服务器端FP32全局模型的新方法，在保证模型精度的同时实现至少2.9倍的通信量降低，并提供了收敛性分析。
2025-07-30 cs.DC cs.LG
Low-Precision Floating-Point Schemes for Neural Network Training
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politécnica de Catalunya（加泰罗尼亚理工大学）
低精度定点运算与随机舍入的使用已经被提出作为常用的32位浮点运算的有前途的替代方案，以在性能和能量效率方面增强训练神经网络训练。在本文的第一部分中，12位定点运算的行为时，训练卷积神经网络与CIFAR-10数据集进行了分析，表明这种算法是不是最适合的训练阶段。在此之后，本文提出和评估，在相同的条件下，替代低精度算法，开始与12位浮点运算。然后使用局部缩放来利用这两种表示，以提高精度并更接近基线32位浮点运算。最后，本文介绍了一个简化的模型，其中的输出和神经网络的梯度都被限制为2的幂值，只是使用7位的表示。评估表明，所提出的二次幂神经网络的准确性损失最小，避免了乘法和除法的使用，从而显着减少了训练时间以及在训练和推理阶段的能量消耗和内存需求。
2018-04-14 cs.LG cs.NE stat.ML
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance（字节跳动）
本文提出decoupleQ，通过将模型参数解耦为整数和浮点数，将量化转化为约束优化问题，实现2比特均匀量化，在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
RepDL: Bit-level Reproducible Deep Learning Training and Inference
Microsoft Research（微软研究院）
针对深度学习训练与推理中的非确定性和不可复现性问题，本文提出开源库RepDL，通过强制浮点计算中的正确舍入和顺序不变性，实现跨环境的位级可复现，并公开源代码。
2025-10-10 cs.LG cs.SE
Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators
Samsung Semiconductor, Inc.（三星半导体公司）
在本文中，我们提出了一种混合精度卷积单元架构，支持不同的整数和浮点（FP）精度。该结构基于低比特内积单元，并通过时间分解实现了更高的精度。我们说明了如何整合FP计算整数为基础的架构和评估FP算法支持所产生的开销。我们认为，FP内积的对齐和加法开销可能很大，因为最大指数差可能高达58位，这会导致大型对齐逻辑。为了解决这个问题，我们说明经验，不超过26位的产品位是必需的，最多8位的对齐是足够的，在大多数推理情况下。我们提出了新的优化基于上述意见，以减少FP算法的硬件开销。我们的实证结果，基于仿真和硬件实现，FP 16开销显着减少。在典型的混合精度实现中，所提出的架构实现了高达25%的面积改善在TFLOPS/mm 2和高达46%的TOPS/mm 2与功率效率的提高高达40%在TFLOPS/W和高达63%在TOPS/W。
2021-01-27 cs.AR cs.LG
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；AMD Research and Advanced Development（AMD研究与高级开发部）；Tampere University（坦佩雷大学）；AMD（AMD公司）
本文提出minifloats低精度浮点格式，并在FPGA上系统比较其与整数表示在3至8位下的精度与硬件成本，证明其对视觉Transformer等负载具有优势。
2024-07-05 cs.AI cs.AR cs.CV
AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference
Harvard University（哈佛大学）；Cornell Tech（康奈尔理工学院）
传统的硬件友好的量化方法，如定点或整数，往往在非常低的字长表现不佳，因为它们缩小的动态范围不能充分捕获序列转导模型中常见的宽数据分布。我们提出了AdaptivFloat，这是一种用于深度学习的浮点启发数字表示格式，可以在层粒度上动态地最大化和最佳地裁剪其可用动态范围，以便创建神经网络参数的忠实编码。与块浮点、均匀、类似IEEE的浮点或浮点编码相比，AdaptivFloat在各种最先进的神经网络拓扑结构中以极低的精度（$\leq$ 8位）始终产生更高的推理精度。值得注意的是，在$\leq$ 8位的权重位宽下，AdaptivFloat的BLEU得分高达+0.3，字出错率为-0.75，超过了基准FP 32性能。在深度神经网络（DNN）硬件加速器上的实验结果，在其计算数据路径中利用AdaptivFloat逻辑，证明了每操作能量和面积分别为0.9 $\times$和1.14 $\times$，即基于等效位宽整数的加速器变体的能量和面积。
2020-02-11 cs.AR cs.LG stat.ML
Rethinking floating point for deep learning
Facebook AI Research（脸书人工智能研究）
本文提出了一种新的混合对数乘/线性加、Kulisch累加和渐缩编码的8位对数浮点格式，以提高能效并保持精度，同时在不重新训练网络的情况下，实现了与原始float32 ResNet-50模型在ImageNet上的高精度性能。
2018-11-01 cs.LG cs.NA math.NA
Mokey: Enabling Narrow Fixed-Point Inference for Out-of-the-Box Floating-Point Transformer Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
越来越大和更好的Transformer模型不断提高自然语言处理应用程序的最新精度和功能。这些模型需要更多的计算能力、存储和能源。Mokey通过将所有值量化为4位索引并放入代表性16位定点质心的字典中，减少了最先进的32位或16位浮点Transformer模型的占用空间。Mokey不需要微调，这是一个基本功能，因为许多人通常无法获得训练资源或数据集。利用Transformer模型中自然出现的值范围，Mokey选择质心值来拟合指数曲线。这一独特的功能使Mokey能够用窄3b定点加法取代大量原始乘法-累加运算，从而实现面积和能效的硬件加速器设计。在一组最先进的Transformer模型上，Mokey加速器的能效比基于Tensor Core的加速器提高了一个数量级，同时根据模型和片上缓冲容量，将性能提高了至少$4\times$和$15\times$。可选地，Mokey可以用作任何其他加速器的内存压缩辅助，透明地将宽浮点或定点激活或权重存储到窄的4位索引中。Mokey证明优于现有技术的Transformers的量化方法。
2022-03-23 cs.AR cs.LG
Deep Positron: A Deep Neural Network Using the Posit Number System
Rochester Institute of Technology（罗切斯特理工学院）；National University of Singapore（新加坡国立大学）
最近对深度神经网络（DNN）的兴趣激增，导致网络越来越复杂，对计算和内存资源造成了负担。许多DNN目前使用16位或32位浮点运算。当DNN加速器支持低精度数值格式时，可以获得显着的性能和功耗提升。尽管有大量的研究，但对于DNN训练和推理如何实现低精度操作仍然存在知识差距。在这项工作中，我们提出了一个DNN架构，深正电子，成功地在$\leq$ 8位的推理操作的数字格式。我们提出了一个精确自适应FPGA软核，用于精确的乘法和累加，以实现固定、浮点和浮点三种数值格式的统一比较。初步的结果表明，8位浮点数比8位固定或浮点数有更好的精度为三个不同的低维数据集。此外，精度可与Xilinx Virtex-7 FPGA器件上的32位浮点数相媲美。DNN性能和硬件资源（即延迟、功耗和资源利用率）之间的权衡表明，DNN在8位及以下的精度和延迟方面表现出色。
2019-01-19 cs.DC cs.LG cs.NE
Development of Quantized DNN Library for Exact Hardware Emulation
Kumamoto University（熊本大学）
量化用于在AI芯片等边缘设备上运行深度神经网络（DNN）时加快执行时间并节省功耗。为了研究量化的效果，我们需要在以32位浮点精度量化DNN的权重后执行推理，然后将它们量化回32位浮点精度。这是因为DNN库只能处理浮点数。然而，仿真的准确性并不提供准确的精度。我们需要精确的精度来检测MAC操作中的溢出或验证边缘设备上的操作。我们已经开发了PyParch，这是一个DNN库，它可以执行与硬件完全相同的量化DNN（QNN）。在本文中，我们描述了一个新的PyParch的建议和实现。作为评估的结果，可以针对诸如YOLOv5的大型和复杂DNN估计具有任意位宽的QNN的准确性，并且可以检测溢出。我们评估了仿真时间的开销，发现与正常DNN执行时间相比，QNN慢5.6倍，QNN慢42倍。
2021-06-15 cs.AI cs.LG
Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices
University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Advanced Research Institute, Chinese Academy of Sciences（中国科学院上海高等研究院）；Aston Business School, Aston University（阿斯顿大学阿斯顿商学院）
Bitformer通过用按位运算替代浮点矩阵乘法构建新型注意力机制，在保持长程依赖建模能力的同时将复杂度从O(n²d)降至O(n²T)，为资源受限的低精度边缘设备提供高效Transformer方案。
2023-11-22 cs.AI cs.LG
Deep Learning Training on the Edge with Low-Precision Posits
Rochester Institute of Technology（罗切斯特理工学院）
最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺（[5. 8]-位）。然而，大多数研究只关注DNN推理。在这项工作中，我们提出了使用posits的DNN训练，并与浮点训练进行了比较。我们在MNIST和Fashion MNIST语料库上进行了评估，其中16位定位优于端到端DNN训练的16位浮点。
2019-07-30 cs.LG stat.ML
8-bit Numerical Formats for Deep Neural Networks
Graphcore Research（Graphcore研究院）
鉴于当前机器学习架构的规模和复杂性不断增加的趋势，识别新的方法来提高模型训练的计算效率变得至关重要。在这种情况下，我们解决了浮点表示优于定点表示的优点，并对使用8位浮点数格式进行训练和推理的激活，权重和梯度进行了深入研究。我们探讨了不同的指数和有效位宽度和不同的指数偏差的影响。实验结果表明，适当选择这些低精度格式可以加快训练速度并降低功耗，而不会降低用于图像分类和语言处理的一系列深度学习模型的准确性。
2022-06-06 cs.LG
Computation Error Analysis of Block Floating Point Arithmetic Oriented Convolution Neural Network Accelerator Design
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
大规模卷积神经网络在嵌入式平台上的部署面临着计算量和片外通信量的巨大负担。由于CNN对计算误差有很强的耐受性，在CNN加速器中采用块浮点（BFP）算法可以有效地节省硬件成本和数据流量，同时保持分类精度。在本文中，我们验证了BFP中的字宽定义对CNN性能的影响，而无需重新训练。本文测试了几种典型的CNN模型，包括VGG 16、ResNet-18、ResNet-50和GoogLeNet。实验结果表明，8位尾数，包括符号位，在BFP表示仅引起小于0.3%的准确性损失。此外，我们还从理论上分析了计算误差，给出了信噪比（NSR）的上界，为基于BFP的CNN引擎设计提供了有希望的指导。
2017-11-24 cs.LG
Bitwidth-Specific Logarithmic Arithmetic for Future Hardware-Accelerated Training
Ming Hsieh Department of Electrical and Computer Engineering University of Southern California（明世赫电气与计算机工程系美国南加州大学）
本文提出将位宽纳入对数算术近似设计，用模拟退火优化硬件友好的分段线性对数加法，并在 12 位训练与 LNS 乘累加单元中验证其精度、面积和能耗优势。
2025-10-20 cs.AI cs.LG
Training and inference of large language models using 8-bit floating point
Graphcore（Graphcore公司）
针对 FP8 动态范围有限导致的缩放选择难题，本文提出动态更新权重、梯度和激活值逐张量尺度的方法，并在 111M 至 70B 的 GPT 与 Llama 2 模型上验证 FP8 训练和推理。
2023-09-29 cs.AR cs.CL cs.ET
Schrödinger's FP: Dynamic Adaptation of Floating-Point Containers for Deep Learning Training
University of Toronto（多伦多大学）；Qualcomm（高通公司）；QBit（1QBit公司）；AMD（超威半导体公司）；McMaster University（麦克马斯特大学）
针对深度学习训练中张量传输能耗高、现有窄数据表示需人工试错的问题，提出动态适配浮点格式的多类方法，结合有损压缩与可选无损压缩显著降低内存占用。
2024-05-17 cs.AR cs.LG
Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning
School of Information Science and Technology, Fudan University（信息科学与技术学院，复旦大学）；Academy for Engineering and Technology, Fudan University（工程与技术学院，复旦大学）
本文提出MSFP框架，首次在扩散模型4位量化中引入无符号浮点量化，结合TALoRA和DFA解决非对称分布与微调错位问题，性能超越现有4位整数量化方法。
2025-05-27 cs.AI cs.LG
Training with Mixed-Precision Floating-Point Assignments
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
提出一种为卷积神经网络生成混合精度浮点分配的技术，在保持训练精度的同时实现超过2倍的内存减少，并避免训练发散，优于先前方法。
2023-06-23 cs.LG
Nanoscaling Floating-Point (NxFP): NanoMantissa, Adaptive Microexponents, and Code Recycling for Direct-Cast Compression of Large Language Models
Harvard University（哈佛大学）
随着尖端的大语言模型（LLM）不断改变各个行业，其快速增长的模型大小和序列长度导致了内存流量和容量挑战。最近，AMD、Arm、Intel、Meta、Microsoft、NVIDIA和Qualcomm提出了一个微尺度标准（Mx），该标准通过微指数增强块浮点运算，以实现有希望的困惑与足迹权衡。然而，微尺度在具有小于六位的现代LLM上遭受显著的困惑退化。本文概述了现代LLM，并确定了低比特微尺度格式的三个主要挑战，即，异常值的不准确跟踪、空的量化级别和浪费的二进制代码。作为响应，纳米尺度（NxFP）提出了三种技术，即，NanoMantissa、Adaptive Microexponent和Code Recycling，与最先进的MxFP相比，可实现更高的精度和更小的内存占用。在各种现代LLM上的直接投射推理的实验结果表明，我们提出的方法在MMLU基准测试中的困惑度和准确度方面均优于最先进的MxFP，最高可达0.64，最高可达30%。此外，NxFP将内存占用减少了16%，同时实现了与MxFP相当的复杂度。
2024-12-15 cs.AI cs.AR cs.DC
Free Privacy Protection for Wireless Federated Learning: Enjoy It or Suffer from It?
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学）；University of Technology Sydney（悉尼大学）；Macquarie University（麦考瑞大学）；Tongji University（同济大学）
针对无线联邦学习，提出利用通信噪声的比特翻转差分隐私机制，通过仅传输参数小数部分比特实现隐私保护，满足Rényi DP且不损害收敛，优于高斯机制。
2025-06-18 cs.LG
The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators
Keita Morisaki（独立研究者）
AetherFloat家族是一种面向AI加速器的无块缩放四进制浮点架构，通过显式尾数和四进制缩放实现更高的动态范围和更低的功耗，同时支持量化感知训练。
2026-02-26 cs.AR cs.LG
Customizing Number Representation and Precision
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（雷恩信息与随机系统研究所）；INSA（国立应用科学学院）；IETR（电子与电信研究所）
人们对降低精度算法的使用越来越感兴趣，最近对人工智能的兴趣加剧了这种兴趣，特别是深度学习。大多数架构已经提供了降低精度的能力（例如，8-位整数、16位浮点）。在FPGA中，任何数字格式和位宽都可以考虑。在计算机运算中，实数的表示是一个主要问题。定点（FxP）和浮点（FlP）是表示实数的主要选择，它们都有各自的优点和缺点。本章介绍了FxP和FlP两种数字表示，并对它们的成本、性能和能量以及它们对计算精度的影响进行了公平的比较。结果表明，FxP和FlP之间的选择并不明显，而且在很大程度上取决于所考虑的应用。在某些情况下，低精度浮点运算可能是最有效的，并且在能量受限的应用程序中提供了一些优于经典定点选择的优点。
2022-12-08 cs.AR cs.LG eess.SP
Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge
Rochester Institute of Technology（罗切斯特理工学院）
低精度DNN已被广泛研究，以减少边缘设备的DNN模型的大小。最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺[5]。8]位。然而，以前的研究仅限于DNN推理的研究。在本文中，我们提出了Cheetah框架，它支持DNN训练和使用posits的推理，以及其他常用格式。此外，该框架适用于不同的量化方法，并支持混合精度浮点和定点数值格式。Cheetah在三个数据集上进行评估：MNIST，Fashion MNIST和CIFAR-10。结果表明，在DNN训练中，16位定位优于16位浮点。此外，使用[5. 8]-位假设改善了性能和能量延迟积之间的权衡[5.. 8]-位浮点和定点。
2019-08-06 cs.LG cs.NE stat.ML
On Stochastic Rounding with Few Random Bits
Graphcore Cambridge, UK（Graphcore剑桥）
本文研究了少位随机舍入（FBSR）的多种实现方式，发现部分自然实现会引入显著偏差，并探讨了这些偏差在机器学习中的影响，为低精度浮点计算提供了配置参数参考。
2025-04-29 cs.AI cs.LG cs.MS
Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks
Artificial Intelligence Products Group, Intel Corporation（英特尔人工智能产品部）
Flexpoint是一种适应性数值格式，旨在高效训练深度神经网络，通过动态调整指数来减少溢出并最大化动态范围，实验证明其在训练AlexNet、残差网络和生成对抗网络时性能接近32位浮点数。
2017-12-02 cs.LG cs.NA math.NA
Collage: Light-Weight Low-Precision Strategy for LLM Training
Cornell University（康奈尔大学）；AWS AI Labs（亚马逊云科技AI实验室）；AWS Annapurna Labs（亚马逊云科技Annapurna实验室）；AWS Sagemaker（亚马逊云科技Sagemaker）；AWS AI Research and Education（亚马逊云科技AI研究与教育部门）
Collage通过低精度多分量浮点表示和关键位置误差补偿，在无需32位浮点副本的情况下实现与混合精度相当或更优的LLM训练性能，并显著降低内存和加速训练。
2024-05-06 cs.LG
Ultra-Quantisation: Efficient Embedding Search via 1.58-bit Encodings
School of Computer Science, University of St Andrews（计算机科学学院，圣安德鲁斯大学）
本文提出Ultra-Quantisation方法，将高维浮点嵌入向量替换为元素取自{-1,0,1}的1.58位编码向量，通过凸多面体实现激进量化，在显著节省空间和计算成本的同时保持相似性测量精度。
2025-05-31 cs.DB cs.LG
