Adaptive Block Floating-Point for Analog Deep Learning Hardware
Lightmatter, Inc.（Lightmatter公司）
模拟混合信号（AMS）设备承诺比数字设备更快、更节能的深度神经网络（DNN）推理。然而，最近的研究表明，AMS设备上具有定点数的DNN可能会因为精度损失而导致精度损失。为了减轻这种惩罚，我们提出了一种新的AMS兼容的自适应块浮点（ABFP）数表示。我们还介绍了放大（或增益）作为一种方法，用于提高数字表示的准确性，而不增加输出的位精度。我们在MLPerf数据中心推理基准测试中评估了ABFP在DNN上的有效性-与FLOAT 32相比，实现了低于$1\%$的准确性损失。我们还提出了一种新的AMS设备微调方法，差分噪声微调（DNF），与传统的量化感知训练相比，该方法对设备噪声进行采样以加快微调。
2022-05-12 cs.AR cs.LG
EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；McGill University（麦吉尔大学）；Polytechnique Montreal（蒙特利尔理工学院）
随着边缘设备上深度学习应用的出现，研究人员积极尝试优化其在低功耗和内存受限设备上的部署。有建立的压缩方法，如量化，修剪和架构搜索，利用商品硬件。除了传统的压缩算法之外，可以重新设计深度学习模型的操作，以实现更高效的实现。为此，我们提出了EuclidNet，一种压缩方法，旨在实现硬件，取代乘法，$xw$，与欧几里得距离$(x-w)^2$。我们证明了EuclidNet与矩阵乘法对齐，并且在卷积层的情况下，它可以用作相似性的度量。此外，我们表明，在各种变换和噪声场景下，EuclidNet与使用乘法运算设计的深度学习模型相比表现出相同的性能。
2022-12-22 cs.LG
RSR-core: A High-Performance Engine for Low-Bit Matrix-Vector Multiplication
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出RSR-core，一种基于RSR算法的高性能引擎，实现低比特矩阵向量乘法的优化低层内核，支持CPU和CUDA环境，显著提升推理效率。
2026-03-29 cs.DS cs.LG cs.PF
Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats
Huawei Technologies Co., Ltd（华为技术有限公司）
本文评估了HiFloat格式在Ascend NPUs上的低比特推理性能，揭示了不同格式在精度、效率及兼容性方面的关键差异。
2026-02-28 cs.AI cs.CL cs.LG
On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication
Turilabs
本文实证检验了 GPU 矩阵乘法中浮点误差的 i.i.d. 高斯噪声假设，发现其具有高度相关性和方向性结构，预测翻转率为 0.00%，挑战了传统随机噪声观点。
2025-10-26 cs.LG cs.NA math.NA
Template-Based Posit Multiplication for Training and Inferring in Neural Networks
Complutense University of Madrid（马德里康普顿斯大学）
数字系统可以说是当今算术中最有前途和讨论的话题。最近的突破所声称的格式提出的约翰L。古斯塔夫森把假设放在聚光灯下。在这项工作中，我们首先描述了一个算法乘以两个整数，即使指数位的数量为零。这种配置在文献中很少涉及，特别有趣，因为它允许部署快速S形函数。然后将所提出的乘法算法作为模板集成到众所周知的FloPoCo框架中。综合结果显示，比较与浮点乘法提供的FloPoCo以及。其次，研究了假设在神经网络的训练和推理阶段的性能。据我们所知，这是第一次使用训练格式进行训练，即使使用减少的训练格式配置，也能为二进制分类问题取得令人满意的结果。在推理阶段，处理MNIST数据集时，8位定位与浮点一样好，但在CIFAR-10中失去了一些准确性。
2019-07-09 cs.CV cs.LG
FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels
Peking University（北京大学）
本文提出FairyFuse，通过融合三进制权重的八次实值子GEMV，实现CPU上的无乘法LLM推理，显著提升性能，单CPU达到32.4 tokens/s，质量接近FP16。
2026-04-22 cs.LG
AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference
Harvard University（哈佛大学）；Cornell Tech（康奈尔理工学院）
传统的硬件友好的量化方法，如定点或整数，往往在非常低的字长表现不佳，因为它们缩小的动态范围不能充分捕获序列转导模型中常见的宽数据分布。我们提出了AdaptivFloat，这是一种用于深度学习的浮点启发数字表示格式，可以在层粒度上动态地最大化和最佳地裁剪其可用动态范围，以便创建神经网络参数的忠实编码。与块浮点、均匀、类似IEEE的浮点或浮点编码相比，AdaptivFloat在各种最先进的神经网络拓扑结构中以极低的精度（$\leq$ 8位）始终产生更高的推理精度。值得注意的是，在$\leq$ 8位的权重位宽下，AdaptivFloat的BLEU得分高达+0.3，字出错率为-0.75，超过了基准FP 32性能。在深度神经网络（DNN）硬件加速器上的实验结果，在其计算数据路径中利用AdaptivFloat逻辑，证明了每操作能量和面积分别为0.9 $\times$和1.14 $\times$，即基于等效位宽整数的加速器变体的能量和面积。
2020-02-11 cs.AR cs.LG stat.ML
FLInt: Exploiting Floating Point Enabled Integer Arithmetic for Efficient Random Forest Inference
TU Dortmund University（多特蒙德工业大学）；University of Twente（特温特大学）
在许多机器学习应用中，例如，基于树的集合、浮点数由于它们的表达性而被广泛使用。如今，在嵌入式设备上从动态数据量执行数据分析变得可用，但是这样的系统通常缺乏处理浮点数的硬件能力，从而为它们的处理引入了大量开销。即使这样的硬件存在于一般的计算系统中，使用整数运算而不是浮点运算也有望减少运算开销并提高性能。在本文中，我们提供了\mdname，一个全精度浮点比较的随机森林，仅使用整数和逻辑运算。为了确保相同的功能保留，我们正式证明了这种比较的正确性。由于随机森林在推理过程中只需要比较浮点数，因此我们在低级实现中实现了\mdname ~，从而通过保持模型精度不变，完全消除了对浮点硬件的需求。\mdname ~的用法基本上归结为一个接一个的条件替换：例如，C中的比较语句：if（pX[3]<=（float）10.074347）变成了if（（*（（int*）（pX））+3））<=（（int）（0x 41213087）。在X86和ARMv 8桌面和服务器类系统上的实验结果表明，该方法可以将执行时间减少到$\approx 30\%$.
2022-09-09 cs.AR cs.LG
Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations
ARM Research（ARM研究院）
深度卷积神经网络（CNN）推理需要大量的内存和计算，这限制了其在嵌入式设备上的部署。为了在一定程度上缓解这些问题，先前的研究利用低精度定点数来表示CNN权重和激活。然而，固定点权重的最小所需数据精度在不同网络之间以及在同一网络的不同层之间变化。在这项工作中，我们建议使用浮点数表示的权重和定点数表示的激活。我们表明，对于相同的位宽，使用浮点表示的权重比定点表示更有效，并在流行的大规模CNN（如AlexNet，SqueezeNet，GoogLeNet和VGG-16）上进行了演示。我们还表明，这样的表示方案，使紧凑的硬件乘法和累加（MAC）单元设计。实验结果表明，该方案减少了高达36%的重量存储和功耗的硬件乘法器高达50%。
2017-03-08 cs.CV cs.LG
Low-Precision Floating-Point Schemes for Neural Network Training
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politécnica de Catalunya（加泰罗尼亚理工大学）
低精度定点运算与随机舍入的使用已经被提出作为常用的32位浮点运算的有前途的替代方案，以在性能和能量效率方面增强训练神经网络训练。在本文的第一部分中，12位定点运算的行为时，训练卷积神经网络与CIFAR-10数据集进行了分析，表明这种算法是不是最适合的训练阶段。在此之后，本文提出和评估，在相同的条件下，替代低精度算法，开始与12位浮点运算。然后使用局部缩放来利用这两种表示，以提高精度并更接近基线32位浮点运算。最后，本文介绍了一个简化的模型，其中的输出和神经网络的梯度都被限制为2的幂值，只是使用7位的表示。评估表明，所提出的二次幂神经网络的准确性损失最小，避免了乘法和除法的使用，从而显着减少了训练时间以及在训练和推理阶段的能量消耗和内存需求。
2018-04-14 cs.LG cs.NE stat.ML
Multiplication-Free Transformer Training via Piecewise Affine Operations
EPFL（洛桑联邦理工学院）
本文提出用浮点数位表示相加的廉价分段仿射近似替代乘法，在视觉和语言任务上实现Transformer无乘法训练，并首次在包括前向传播、反向传播和优化器更新的整个训练过程中完全消除乘法运算。
2023-10-25 cs.LG
Neural Networks with Few Multiplications
Université de Montréal（蒙特利尔大学）
对于大多数深度学习算法来说，训练是出了名的耗时。由于训练神经网络的大部分计算通常都花在浮点乘法上，我们研究了一种训练方法，可以消除对大多数浮点乘法的需求。我们的方法包括两个部分：首先，我们随机二进制化的权重转换乘法涉及计算隐藏状态的符号变化。其次，在反向传播误差导数时，除了将权重二进制化之外，我们还将每一层的表示进行二进制化，以将剩余的乘法转换为二进制移位。在3个流行数据集（MNIST，CIFAR10，SVHN）上的实验结果表明，这种方法不仅不会损害分类性能，而且可以产生比标准随机梯度下降训练更好的性能，为快速，硬件友好的神经网络训练铺平了道路。
2016-02-26 cs.LG cs.NE
FAST: DNN Training Under Variable Precision Block Floating Point with Stochastic Rounding
Harvard University（哈佛大学）；Franklin and Marshall College（富兰克林与马歇尔学院）
块浮点（BFP）可以通过经由跨一组值的共享指数提供宽动态范围来有效地支持深度神经网络（DNN）训练的量化。在本文中，我们提出了一种用于DNN的快速第一，准确第二训练（FAST）系统，其中权重，激活和梯度以BFP表示。FAST支持使用可变精度BFP输入操作数的矩阵乘法，从而在整个训练过程中实现DNN精度的增量增加。通过提高训练迭代和DNN层的BFP精度，FAST可以大大缩短训练时间，同时减少整体硬件资源使用。我们的FAST乘法器-累加器（fMAC）支持多个BFP精度下的点积计算。我们在具有不同数据集的多个DNN上验证了我们的FAST系统，在基于\textbf{mixed-precision or block}浮点数系统的先前工作中，在单芯片平台上的训练中展示了2-6个$\times$加速，同时在验证准确性方面实现了类似的性能。
2021-10-28 cs.AR cs.LG
Training deep neural networks with low precision multiplications
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
乘子是深度神经网络数字实现中最消耗空间和功率的算术运算符。我们在三个基准数据集上训练了一组最先进的神经网络（Maxout网络）：MNIST，CIFAR-10和SVHN。它们使用三种不同的格式进行训练：浮点，定点和动态定点。对于每个数据集和每个格式，我们评估乘法精度对训练后最终误差的影响。我们发现，非常低的精度不仅足以运行训练好的网络，而且也足以训练它们。例如，可以用10位乘法训练Maxout网络。
2015-09-23 cs.CV cs.LG cs.NE
RepDL: Bit-level Reproducible Deep Learning Training and Inference
Microsoft Research（微软研究院）
针对深度学习训练与推理中的非确定性和不可复现性问题，本文提出开源库RepDL，通过强制浮点计算中的正确舍入和顺序不变性，实现跨环境的位级可复现，并公开源代码。
2025-10-10 cs.LG cs.SE
A Deep Learning Inference Scheme Based on Pipelined Matrix Multiplication Acceleration Design and Non-uniform Quantization
Tsinghua University（清华大学）
矩阵乘法是深度学习推理应用的基础。当涉及到边缘计算设备上的硬件加速时，矩阵乘法通常会占用大部分时间。为了在边缘计算中实现更好的性能，我们引入了一种基于流水线矩阵乘法方案和非均匀量化方法的低功耗多层感知器（MLP）加速器。该实现在现场可编程门阵列（FPGA）器件上运行，并在手写数字分类和Q学习任务上测试了其性能。结果表明，我们的方法可以实现更好的性能与更少的功耗。
2021-10-10 cs.AI cs.AR cs.LG
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
用于训练深度神经网络（DNN）的最先进的硬件平台正在从传统的单精度的（32位）计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而，与推理不同，由于需要在反向传播期间保持梯度计算的保真度，用小于16位表示的数字进行训练一直具有挑战性。在这里，我们首次展示了使用8位浮点数成功训练DNN，同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外，我们还通过引入一些关键思想，包括基于块的累加和浮点随机舍入，成功地将加法的算术精度（用于部分乘积累加和权重更新）从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础，其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
Exploiting Verified Neural Networks via Floating Point Numerical Error
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
研究人员开发了神经网络验证算法，其动机是需要表征深度神经网络的鲁棒性。验证者希望回答神经网络是否保证空间中所有输入的某些属性。然而，许多验证者不准确地模拟浮点运算，但没有彻底讨论的后果。我们发现，浮点错误的疏忽导致不健全的验证，可以在实践中系统地利用。对于一个预先训练好的神经网络，我们提出了一种方法，有效地搜索输入作为证人的鲁棒性索赔的不正确性由一个完整的验证。我们还提出了一种方法来构建神经网络架构和权重，诱导不完整的验证错误的结果。我们的研究结果强调，要实现实际可靠的神经网络验证，任何验证系统必须准确（或保守）的网络推理或验证系统中的任何浮点计算的影响建模。
2021-10-01 cs.CR cs.LG stat.ML
Deep Learning Training on the Edge with Low-Precision Posits
Rochester Institute of Technology（罗切斯特理工学院）
最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺（[5. 8]-位）。然而，大多数研究只关注DNN推理。在这项工作中，我们提出了使用posits的DNN训练，并与浮点训练进行了比较。我们在MNIST和Fashion MNIST语料库上进行了评估，其中16位定位优于端到端DNN训练的16位浮点。
2019-07-30 cs.LG stat.ML
Rethinking Numerical Representations for Deep Neural Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着深度学习的计算需求不断增加，研究DNN模型权重和激活的数值表示和精度对计算效率的影响至关重要。在这项工作中，我们探索了非传统的窄精度浮点表示，因为它涉及到推理的准确性和效率，以指导未来DNN平台的改进设计。我们表明，在生产级DNN（包括GoogLeNet和VGG）上使用这些自定义数字表示的推理实现了7.6倍的平均加速，相对于使用单精度浮点表示最复杂硬件的最先进基线平台，推理精度下降不到1%。为了方便使用这种定制的精度，我们还提出了一种新的技术，大大减少了所需的时间来获得最佳的精度配置。
2018-08-07 cs.LG stat.ML
Deep Neural Network inference with reduced word length
University of Stuttgart（斯图加特大学）
深度神经网络（DNN）是许多模式识别任务的强大模型，但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中，我们提出了一种新的方法来评估使用32位浮点（float32）精度训练的DNN，仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多，因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中，我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估，或者仅使用3位整数运算结合二进制移位和裁剪，而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
Numerical Stability of DeepGOPlus Inference
Concordia University（康考迪亚大学）；Child Mind Institute（儿童心理研究所）
本文通过Monte Carlo Arithmetic与VPREC评估蛋白质功能预测模型DeepGOPlus推理阶段的浮点扰动稳定性及降精度可行性，证明其数值可靠但低精度部署需选择性进行。
2024-02-28 cs.LG q-bio.QM
GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration
Cornell University（康奈尔大学）
尽管可扩展模型取得了进展，但用于高斯过程（GP）的推理工具尚未充分利用计算硬件的发展。提出了一种基于黑盒矩阵-矩阵乘法（BBMM）的GP推理方法。BBMM推理使用共轭梯度算法的修改后的批处理版本，在单个调用中导出用于训练和推理的所有项。BBMM将精确GP推断的渐近复杂度从$O(n^3)$降低到$O(n^2)$。使该算法适用于可扩展的近似和复杂的GP模型只需要一个例程，用于与内核及其导数进行有效的矩阵-矩阵乘法。此外，BBMM使用专门的预处理器来大大加快收敛速度。在实验中，我们表明，BBMM有效地使用GPU硬件显着加速精确的GP推理和可扩展的近似。此外，我们还提供GPyTorch，这是一个基于PyTorch构建的软件平台，用于通过BBMM进行可扩展的GP推理。
2021-06-29 cs.LG stat.ML
Mokey: Enabling Narrow Fixed-Point Inference for Out-of-the-Box Floating-Point Transformer Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
越来越大和更好的Transformer模型不断提高自然语言处理应用程序的最新精度和功能。这些模型需要更多的计算能力、存储和能源。Mokey通过将所有值量化为4位索引并放入代表性16位定点质心的字典中，减少了最先进的32位或16位浮点Transformer模型的占用空间。Mokey不需要微调，这是一个基本功能，因为许多人通常无法获得训练资源或数据集。利用Transformer模型中自然出现的值范围，Mokey选择质心值来拟合指数曲线。这一独特的功能使Mokey能够用窄3b定点加法取代大量原始乘法-累加运算，从而实现面积和能效的硬件加速器设计。在一组最先进的Transformer模型上，Mokey加速器的能效比基于Tensor Core的加速器提高了一个数量级，同时根据模型和片上缓冲容量，将性能提高了至少$4\times$和$15\times$。可选地，Mokey可以用作任何其他加速器的内存压缩辅助，透明地将宽浮点或定点激活或权重存储到窄的4位索引中。Mokey证明优于现有技术的Transformers的量化方法。
2022-03-23 cs.AR cs.LG
Quantizing Convolutional Neural Networks for Low-Power High-Throughput Inference Engines
Xilinx Inc（赛灵思公司（Xilinx Inc））
深度学习作为一种推理手段，由于其多功能性和接近或超过人类水平准确性的能力，它已经激增。这些计算模型似乎对计算资源有着无法满足的胃口，不仅在训练时如此，而且在从数据中心一直到嵌入式设备的大规模部署时也是如此。因此，在给定有限的硬件和能量资源的情况下，越来越多地考虑使计算效率最大化，并且因此，以降低的精度进行推理已经成为用于浮点运算的IEEE 754标准的可行替代方案。我们提出了一个量化方案，允许使用算术进行推理，这是从根本上更有效的，甚至半精度浮点相比。我们的量化过程是重要的，因为我们通过使用单个推理批而不是（重新）训练来校准其参考浮点模型来确定我们的量化方案参数，并实现与参考模型相当的端到端后量化精度。
2018-05-21 cs.AI cs.CV cs.LG
Look-ups are not (yet) all you need for deep learning inference
Amazon（亚马逊）
矩阵乘法的快速近似具有显著降低神经网络推理成本的潜力。最近的工作近似矩阵乘法提出取代昂贵的乘法与表查找拟合快速哈希函数从训练数据。在这项工作中，我们对以前的工作提出了改进，针对深度学习推理设置，其中可以访问训练数据和固定（已经学习的）模型权重矩阵。我们进一步提出了一个微调过程，加速整个神经网络，同时最大限度地减少损失的准确性。最后，我们分析了一个简单的图像分类任务的方法。虽然我们对以前的工作进行了改进，但与精确矩阵乘法相比，整体分类精度仍然大大降低。我们的工作，尽管这个负面的结果，指出了未来的努力，以加速内积与快速非线性哈希方法。
2022-07-12 cs.CV cs.LG
Toward matrix multiplication for deep learning inference on the Xilinx Versal
Universitat Politècnica de València（瓦伦西亚理工大学）
深度神经网络对许多人工智能（AI）任务的显著积极影响导致了各种高性能算法以及专用处理器和加速器的开发。在本文中，我们通过证明传统处理器架构中通用矩阵乘法（GEMM）的现代实现的基本原理，也可以有效地实现深度学习（DL）中出现的操作类型的高性能，例如Xilinx Versal平台中嵌入的AI Engine（AIE）模块。特别是，我们的实验结果与原型实现的GEMM内核，Xilinx Versal VCK 190，提供性能接近86.7%的理论峰值，可以预期的AIE瓦片，为16位整数操作数。
2023-02-15 cs.DC cs.LG
LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
Northeastern University（东北大学）；Adobe（奥多比公司）
本文提出LUTMUL方法，利用数量远超DSP的查找表执行乘法运算，结合可重构数据流架构突破传统FPGA加速器性能极限，在ImageNet上实现每秒1627张图像的推理吞吐量和70.95%的top-1准确率。
2024-11-01 cs.AI cs.AR cs.LG
SEOFP-NET: Compression and Acceleration of Deep Neural Networks for Speech Enhancement Using Sign-Exponent-Only Floating-Points
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；City University of Hong Kong（香港城市大学）
众多的压缩和加速策略在各个领域的分类任务上取得了出色的效果，例如计算机视觉和语音信号处理。然而，同样的策略在回归任务上产生了令人不满意的表现，因为这些任务和分类任务之间的性质不同。本文提出了一种新的符号指数浮点网络（SEOFP-NET）技术，以压缩模型的大小，加快推理时间的语音增强，语音信号处理的回归任务。该方法通过量化训练过程中单精度浮点参数的小数位来压缩基于深度神经网络（DNN）的语音增强模型的规模。在推理实现之前，训练的SEOFP-NET模型中的所有参数都被稍微调整，通过用整数加法器代替浮点乘法器来加速推理时间。为了推广，SEOFP-NET技术被引入到不同的语音增强任务中的语音信号处理与不同的模型结构下的各种语料库。实验结果表明，SEOFP-NET模型的大小可以显着压缩高达81.249%，而不会显着降低其语音增强性能，推理时间可以加快到1.212倍，与基线模型相比。实验结果也验证了所提出的SEOFP-NET可以与其他效率策略协同工作，达到模型压缩的协同效果。此外，最小可察觉差异（JND）被应用到用户学习实验中，以统计分析语音增强对听力的影响。结果表明，听者不能轻易区分增强的语音信号处理的基线模型和建议的SEOFP-NET。
2021-11-08 cs.LG cs.SD eess.AS
AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization
Huawei Inc.（华为公司）
本文提出 AMS-Quant，通过尾数比特共享和自适应搜索实现非整数位宽浮点量化，并以 CUDA 内核在可忽略精度损失下获得最高 3.2 倍解码加速。
2025-10-16 cs.AI cs.LG
Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference
University of Chicago（芝加哥大学）；Stony Brook University（石溪大学）
本研究针对Transformer语言模型推理开销高的问题，提出无需训练的输入自适应RMM方法，通过选择矩阵乘积信息切片减少计算，在多任务多模型上验证其鲁棒性，可提升长序列推理效率，且适用于多模态场景。
2026-09-01 cs.AI cs.CL cs.LG
Floating-Point Neural Networks Are Provably Robust Universal Approximators
GIST, Gwangju, Republic of Korea（韩国全州科学技术大学）；POSTECH, Pohang, Republic of Korea（韩国釜山科学技术大学）；Sejong University, Seoul, Republic of Korea（首尔世宗大学）；Korea University, Seoul, Republic of Korea（韩国大学）；Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学）
本文证明了浮点神经网络在有限精度下仍能以任意精度近似目标函数，揭示了其在表达能力和计算完备性上的独特性质。
2025-07-30 cs.LG cs.LO cs.PL
Training and inference of large language models using 8-bit floating point
Graphcore（Graphcore公司）
针对 FP8 动态范围有限导致的缩放选择难题，本文提出动态更新权重、梯度和激活值逐张量尺度的方法，并在 111M 至 70B 的 GPT 与 Llama 2 模型上验证 FP8 训练和推理。
2023-09-29 cs.AR cs.CL cs.ET
PLAM: a Posit Logarithm-Approximate Multiplier
Complutense University of Madrid（马德里康普顿斯大学）；NGD Systems（NGD系统公司）；Dankook University（檀国大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
Posit数字系统于2017年推出，作为浮点数的替代品。从那时起，社区已经探索了它在神经网络相关任务中的应用，并产生了一些单元设计，这些设计与浮点运算相比仍然远远没有竞争力。本文提出了一种Posit对数近似乘法（PLAM）方案，以显著降低深度神经网络架构中最耗电的单元--乘法器的复杂度。实验结果表明，与现有的硬件乘法器相比，该方法在不降低乘法精度的前提下，使硬件乘法器的面积、功耗和延迟分别降低了72.86%、81.79%和17.01%.
2021-09-07 cs.CV cs.LG
FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic
Department of Electrical and Computer Engineering（电气与计算机工程系）；Seoul National University（首尔国立大学）
针对FP8量化在LoRA微调中因小矩阵计算开销大导致加速受限的问题，提出FALQON框架，通过合并LoRA适配器到FP8主干、重构计算与逐行更新机制，实现约3倍训练提速且精度相当，还支持端到端FP8部署。
2025-10-28 cs.AI cs.LG
Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge
Rochester Institute of Technology（罗切斯特理工学院）
低精度DNN已被广泛研究，以减少边缘设备的DNN模型的大小。最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺[5]。8]位。然而，以前的研究仅限于DNN推理的研究。在本文中，我们提出了Cheetah框架，它支持DNN训练和使用posits的推理，以及其他常用格式。此外，该框架适用于不同的量化方法，并支持混合精度浮点和定点数值格式。Cheetah在三个数据集上进行评估：MNIST，Fashion MNIST和CIFAR-10。结果表明，在DNN训练中，16位定位优于16位浮点。此外，使用[5. 8]-位假设改善了性能和能量延迟积之间的权衡[5.. 8]-位浮点和定点。
2019-08-06 cs.LG cs.NE stat.ML
DietCNN: Multiplication-free Inference for Quantized CNNs
TCS, Research（塔塔咨询服务公司研究部）；IIT Kharagpur（印度理工学院克勒格布尔分校）；Tata Consultancy Services Ltd.（塔塔咨询服务有限公司）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出 DietCNN，用基于单一激活码本的查表替代量化 CNN 推理中的乘法，在保持标准 CNN 运算语义与可靠性的同时，于 FPGA 上显著降低多个模型的能耗和延迟。
2023-08-17 cs.CV cs.LG cs.PF
Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications
Maxeler Technologies, a Groq Company（马克斯乐技术公司，格罗克旗下公司）；ETH Zurich/Swiss National Supercomputing Centre (CSCS)（苏黎世联邦理工学院/瑞士国家超级计算中心）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文研究浮点非结合性对HPC与深度学习应用可复现性的影响，分析了GPU上确定性原子操作替代方案、PyTorch确定性选项的影响，并验证了基于Groq加速器的硬件确定性策略的优势。
2024-10-30 cs.DC cs.LG
dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats
AMD
提出可微分混合精度量化框架 dMX，通过连续优化每层浮点格式参数并配合退火调度和正则化项，实现硬件兼容的 MXFP 格式分配，在 LLM 上取得帕累托最优效果。
2026-07-15 cs.AI cs.LG
Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks
Artificial Intelligence Products Group, Intel Corporation（英特尔人工智能产品部）
Flexpoint是一种适应性数值格式，旨在高效训练深度神经网络，通过动态调整指数来减少溢出并最大化动态范围，实验证明其在训练AlexNet、残差网络和生成对抗网络时性能接近32位浮点数。
2017-12-02 cs.LG cs.NA math.NA
Microscaling Floating Point Formats for Large Language Models
University of Pisa, Department of Information Engineering（比萨大学信息工程学院）
针对大语言模型的资源消耗问题，提出采用块共享缩放因子的微缩放浮点格式，实现单字节紧凑表示，在GPT-2上验证其训练推理精度可观，为大模型高效部署提供新方案。
2025-10-02 cs.LG cs.NE
Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation
Yale University（耶鲁大学）；IC3
Maverick提出基于矩阵-向量乘法委托的协议，实现信息论可验证且隐私保护的LLM推理，在Qwen3-4B上相比本地推理最高可达157倍加速。
2026-09-10 cs.CR cs.LG
F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization
Snap Inc.（斯纳普公司）；Northeastern University（东北大学）；Rice University（莱斯大学）
神经网络量化是一种很有前途的压缩技术，可以减少内存占用和节省能耗，从而可能导致实时推理。然而，量化模型和全精度模型之间存在性能差距。为了减少它，现有的量化方法需要高精度INT 32或全精度乘法在推理缩放或反量化。这在存储器、速度和所需能量方面引入了显著的成本。为了解决这些问题，我们提出了F8 Net，这是一种仅由定点8位乘法组成的新型量化框架。为了推导出我们的方法，我们首先讨论了不同格式的定点数的定点乘法的优点，并研究了相关的定点数的统计行为。其次，基于统计和算法分析，我们对不同层的权重和激活应用不同的定点格式。我们引入了一种新的算法来自动确定训练过程中每层的正确格式。第三，我们分析了以前的量化算法-参数化限幅激活（PACT）-并重新制定它使用定点运算。最后，我们统一了最近提出的方法进行量化微调和我们的固定点的方法，以显示我们的方法的潜力。我们在MobileNet V1/V2和ResNet 18/50的ImageNet上验证了F8 Net。我们的方法实现了可比的和更好的性能，相比，不仅与现有的量化技术与INT 32乘法或浮点运算，但也到全精度同行，实现最先进的性能。
2022-02-10 cs.AI cs.AR cs.CV
MGS: Markov Greedy Sums for Accurate Low-Bitwidth Floating-Point Accumulation
Harvard University（哈佛大学）
针对低比特浮点累加的数值误差问题，提出MGS算法，通过指数排序与尾数无溢出求和减少淹没误差，在8位浮点推理中实现与高精度基线相当的分类精度，其dMAC硬件单元功耗降低达34.1%。
2025-04-12 cs.AR cs.LG
F-BFQ: Flexible Block Floating-Point Quantization Accelerator for LLMs
School of Computing Science, University of Glasgow（计算科学学院，格拉斯哥大学）
针对BFP量化LLM层间变体需重配置的问题，提出F-BFQ加速器，动态切换两种BFP变体执行MatMul，在AMD Kria板上平均提速1.4倍，达5.2 tokens/s。
2025-10-15 cs.AR cs.DC cs.LG
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Hugging Face（拥抱脸）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
大语言模型已被广泛采用，但需要大量的GPU内存进行推理。我们开发了一个Int 8矩阵乘法的程序，用于Transformers中的前馈和注意力投影层，它将推理所需的内存减少了一半，同时保持了完整的精度性能。使用我们的方法，可以加载175 B参数16/32位检查点，转换为Int 8，并立即使用，而不会降低性能。这是通过理解和解决Transformer语言模型中高度系统化的涌现特征的属性来实现的，这些特征支配着注意力和Transformer预测性能。为了应对这些特性，我们开发了一个两部分量化过程LLM.int8（）。我们首先使用矢量量化，对矩阵乘法中的每个内积使用单独的归一化常数，以消除大多数特征。然而，对于出现的异常值，我们还包括一个新的混合精度分解方案，该方案将异常值特征维度隔离到16位矩阵乘法中，同时仍有超过99.9%的值以8位相乘。使用LLM.int8（），我们根据经验证明，可以在具有多达175 B参数的LLM中执行推理，而不会降低任何性能。这一结果使得这些模型更容易访问，例如，可以在具有消费者GPU的单个服务器上使用OPT-175 B/BLOOM。我们开源我们的软件。
2022-11-10 cs.AI cs.LG
The Effects of Approximate Multiplication on Convolutional Neural Networks
本文分析了在深度卷积神经网络（CNN）上执行推理时近似乘法的影响。近似乘法可以降低底层电路的成本，使得可以在硬件加速器中更有效地执行CNN推断。该研究确定了卷积，全连接和批量归一化层中的关键因素，这些因素允许更准确的CNN预测，尽管近似乘法存在误差。同样的因素也提供了bfloat 16乘法在CNN上表现良好的算术解释。使用公认的网络架构进行实验，以表明近似乘法器可以产生几乎与FP 32参考一样准确的预测，而无需额外的训练。例如，与FP 32参考相比，使用Mitch- $w$ 6乘法的ResNet和Inception-v4模型产生的前5个误差在0.2%以内。Mitch- $w$ 6与bfloat 16的成本比较，其中MAC操作与bfloat 16算法相比节省高达80%的能量。本文最深远的贡献是分析的理由，乘法可以近似，而添加需要精确的CNN MAC操作。
2021-01-09 cs.CV cs.LG eess.SP
Neuro-Channel Networks: A Multiplication-Free Architecture by Biological Signal Transmission
神经通道网络通过生物信号传输机制，提出无乘法的高效AI架构，实现复杂决策边界形成，适用于低成本硬件。
2026-01-05 cs.AR cs.CV cs.LG
Deep Positron: A Deep Neural Network Using the Posit Number System
Rochester Institute of Technology（罗切斯特理工学院）；National University of Singapore（新加坡国立大学）
最近对深度神经网络（DNN）的兴趣激增，导致网络越来越复杂，对计算和内存资源造成了负担。许多DNN目前使用16位或32位浮点运算。当DNN加速器支持低精度数值格式时，可以获得显着的性能和功耗提升。尽管有大量的研究，但对于DNN训练和推理如何实现低精度操作仍然存在知识差距。在这项工作中，我们提出了一个DNN架构，深正电子，成功地在$\leq$ 8位的推理操作的数字格式。我们提出了一个精确自适应FPGA软核，用于精确的乘法和累加，以实现固定、浮点和浮点三种数值格式的统一比较。初步的结果表明，8位浮点数比8位固定或浮点数有更好的精度为三个不同的低维数据集。此外，精度可与Xilinx Virtex-7 FPGA器件上的32位浮点数相媲美。DNN性能和硬件资源（即延迟、功耗和资源利用率）之间的权衡表明，DNN在8位及以下的精度和延迟方面表现出色。
2019-01-19 cs.DC cs.LG cs.NE
Efficient and Mathematically Robust Operations for Certified Neural Networks Inference
Airbus Central R&T（空中客车中央研究与技术部）
本文针对认证神经网络推理的硬件挑战，通过评估求和与点积算法并采用定点运算替代IEEE 754浮点运算，以经验方法确定最佳位宽，在保证可接受精度的同时实现显著硬件效率。
2024-01-16 cs.AR cs.LG
Answer Fast: Accelerating BERT on the Tensor Streaming Processor
Groq Inc.（Groq公司）
Transformers已经成为主要的机器学习工作负载，它们不仅是自然语言处理任务的事实标准，而且还被部署在其他领域，如视觉和语音识别。许多基于transformer的应用程序都是实时系统，如机器翻译和Web搜索。这些实时的系统通常具有严格的端到端推理延迟要求。不幸的是，虽然大部分Transformer计算来自矩阵乘法，但Transformers还包括几个非线性组件，这些组件往往会成为推理过程中的瓶颈。在这项工作中，我们加速BERT模型的张量流处理器上的推理。通过仔细地将所有非线性组件与矩阵乘法组件融合，我们能够有效地利用片上矩阵乘法单元，从而通过BERT-base实现130 $μ$ s的确定性尾延迟，这比当前最先进的方法快6倍。
2022-06-22 cs.CL cs.LG
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin（都柏林大学圣三一学院）；The School of Computer Science and Statistics（计算机科学与统计学院）；Institute of Technology Carlow（卡洛理工学院）
卷积神经网络（CNN）通常使用16位或32位浮点（FP）进行训练，研究人员表明，低精度浮点（FP）可以非常有效地进行推理。低精度FP可以在现场可编程门阵列（FPGA）和专用集成电路（ASIC）加速器中实现，但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符（HOBFLOPS），生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程，使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作，和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽（32-512个元素）的矢量化卷积神经网络（CNN）卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符（HOBFLOPS）乘法累加（MAC）性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP，例如，HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外，HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
LRD-MPC: Efficient MPC Inference through Low-rank Decomposition
University of Southern California（南加州大学）
LRD-MPC通过低秩分解和优化技术，显著提升MPC在深度学习中的推断效率，减少通信开销和计算资源消耗。
2026-02-16 cs.CR cs.LG
