High Throughput Matrix-Matrix Multiplication between Asymmetric Bit-Width Operands
Arm ML Research Lab(Arm机器学习研究实验室)
非对称位宽操作数之间的矩阵乘法,特别是8位和4位操作数之间的矩阵乘法可能成为许多重要工作负载的基本内核,包括神经网络和机器学习。虽然用于对称位宽操作数的现有SIMD矩阵乘法指令可以通过零或符号扩展窄操作数以匹配其他操作数的大小来支持混合精度的操作数,但是它们不能利用操作数之一的窄位宽的益处。我们提出了一种新的SIMD矩阵乘法指令,在其输入上使用混合精度(8位和4位操作数),并将乘积值累加为较窄的16位输出乘积,进而允许128位向量宽度处的SIMD操作每指令处理更多数量的数据元素,以提高处理吞吐量和内存带宽利用率,而不增加寄存器读和写,CPU中的端口带宽。与使用现有的非对称操作数大小指令获得的吞吐量相比,所提出的非对称操作数大小SIMD指令在矩阵乘法的吞吐量方面提供了2倍的改进,同时对于代表性的机器学习工作负载引起来自16位乘法的可忽略不计(0.05%)的溢出。非对称操作数大小指令不仅可以提高CPU中的矩阵乘法吞吐量,而且可以有效地支持现有技术的DNN硬件加速器(例如,Google TPU中脉动阵列微架构等)并且在不违反各种实现约束的情况下无缝地提供矩阵乘法性能的类似改进。我们演示了如何脉动阵列架构设计的非对称操作数大小的指令可以修改,以支持一个非对称操作数大小的指令。
2020-08-03 cs.AR cs.CV cs.DC
MGS: Markov Greedy Sums for Accurate Low-Bitwidth Floating-Point Accumulation
Harvard University(哈佛大学)
针对低比特浮点累加的数值误差问题,提出MGS算法,通过指数排序与尾数无溢出求和减少淹没误差,在8位浮点推理中实现与高精度基线相当的分类精度,其dMAC硬件单元功耗降低达34.1%。
2025-04-12 cs.AR cs.LG
WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic
University of Maryland(马里兰大学);Cornell University(康奈尔大学)
低分辨率神经网络用很少的比特来表示权重和激活,大大降低了乘法的复杂性。尽管如此,这些乘积是使用高分辨率(通常为32位)加法来累加的,当使用极端量化(例如,二进制权重)。为了进一步优化推理,我们提出了一种方法,使神经网络适应使用低分辨率(8位)的加法在递归中,实现分类精度与他们的32位同行。我们通过插入一个循环激活层以及一个溢出惩罚正则化器来实现对低分辨率积累的恢复。我们证明了我们的方法在软件和硬件平台上的有效性。
2020-07-26 cs.LG stat.ML
Low-Precision Stochastic Gradient Langevin Dynamics
The University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学);Cornell University(康奈尔大学)
虽然低精度优化已被广泛用于加速深度学习,但低精度采样在很大程度上仍未被探索。因此,采样在许多大规模场景中根本不可行,尽管它为神经网络的泛化和不确定性估计提供了显着的好处。在本文中,我们提供了低精度随机梯度朗之万动力学(SGLD)的第一次研究,表明其成本可以显着降低而不牺牲性能,由于其固有的能力,以处理系统噪声。我们证明了在强凸条件下,低精度SGLD与全精度梯度卷积的收敛性受量化误差的影响比SGD对应的收敛性小。为了进一步实现低精度梯度平滑,我们为SGLD开发了一个新的量化函数,它在每个更新步骤中都保留了方差。我们证明了低精度SGLD在各种深度学习任务中仅使用8位即可实现与全精度SGLD相当的性能。
2022-06-20 cs.LG stat.ML
An Optical XNOR-Bitcount Based Accelerator for Efficient Inference of Binary Neural Networks
University of Kentucky(肯塔基大学)
与全精度卷积神经网络(CNN)相比,二进制神经网络(BNN)越来越受到青睐,以减少推理处理的内存和计算需求,同时降低精度。BNN将CNN模型参数转换为1位精度,允许使用简单的XNOR和位计数操作处理BNN的推断。这使得BNN适合硬件加速。已经提出了几种基于光子集成电路(PIC)的BNN加速器。尽管这些加速器提供比它们的电子对应物显著更高的吞吐量和能量效率,但是这些加速器中所利用的XNOR和位计数电路需要进一步增强以提高它们的面积、能量效率和吞吐量。本文旨在满足这一需求。为此,我们发明了一种基于单MRR的光学XNOR门(OXG)。此外,我们提出了一种新的设计的位计数电路,我们称之为光电荷累加器(PCA)。采用密集波分复用(DWDM)级联多个OXG,并将其连接到PCA,构建了一种基于XNOR比特数的二进制神经网络加速器(OXBNN)。我们对四个现代BNN的推理进行的评估表明,OXBNN在每秒帧数(FPS)和FPS/W(能源效率)方面分别比先前工作中的两个基于PIC的BNN加速器的几何平均值提高了62倍和7.6倍。我们开发了一个事务级、事件驱动的基于Python的模拟器,用于评估加速器(https://github.com/uky-UCAT/B_ONN_SIM)。
2023-03-20 cs.AR cs.CV cs.LG
SWALP : Stochastic Weight Averaging in Low-Precision Training
Cornell University(康奈尔大学)
低精度操作可以提供可扩展性、存储器节省、便携性和能量效率。本文提出了SWALP,一种低精度训练的方法,该方法使用修改的学习率调度对低精度SGD迭代进行平均。SWALP易于实现,即使将所有数字量化到8位(包括梯度位),也可以与全精度SGD的性能相媲美。此外,我们表明,SWALP收敛任意接近二次目标的最优解,并在强凸设置的噪声球渐近小于低精度SGD。
2019-05-20 cs.AI cs.LG stat.ML
Optimizing data-flow in Binary Neural Networks
Datalogic Labs(德逻捷实验室);University of Bologna(博洛尼亚大学)
提出一种新颖的BNN训练方案,通过引入裁剪块、减小累加器大小、优化Batch Normalization层及实现Binary Direct Convolution,显著提升了推理速度且不损失精度。
2023-04-03 cs.AI cs.LG
Accelerating Neural Network Inference by Overflow Aware Quantization
Alibaba Group(阿里巴巴集团)
深度神经网络固有的繁重计算阻碍了其广泛应用。一种广泛使用的加速模型推理的方法是量化,通过使用定点值替换网络的输入操作数。然后,大部分的计算成本集中在整数矩阵乘法累加。事实上,高位累加器会导致部分计算浪费,而低位累加器通常会发生数值溢出。为了解决这个问题,我们提出了一种溢出感知量化方法,通过设计可训练的自适应定点表示,以优化每个输入张量的位数,同时在计算过程中禁止数值溢出。利用该方法,我们能够充分利用计算能力,以最大限度地减少量化损失,并获得优化的推理性能。为了验证我们的方法的有效性,我们分别在ImageNet,Pascal VOC和COCO数据集上进行图像分类,目标检测和语义分割任务。实验结果表明,该方法可以实现与国家的最先进的量化方法相当的性能,同时加快约2倍的推理过程。
2020-05-27 cs.CV cs.LG
The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference
Krixvon(克里克斯冯公司)
该研究验证了vLLM中INT8线性内核(CUTLASS与Triton)的可互换性,定位到差异源于累加器后的缩放应用与输出舍入,提出的干预措施可恢复端到端逐位一致,还揭示了FP8 GEMM差异的不同特征并发布相关一致性检查流程。
2026-08-19 cs.LG
Accumulation Bit-Width Scaling For Ultra-Low Precision Training Of Deep Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在深度学习训练中降低计算的数值精度的努力已经产生了这样的系统,该系统积极地对权重和激活进行优化,但在内积运算中对部分和采用广泛的高精度优化,以保持收敛的质量。由于没有任何框架来分析部分和累积的精度要求,导致保守的设计选择。这对乘法-累加单元的复杂度的降低施加了上限。我们提出了一种统计方法来分析累积精度降低对深度学习训练的影响。观察到,一个坏的选择积累精度的结果在信息的损失,表现为减少方差的部分和合奏,我们推导出一组方程,该方差的积累和积累所需的最小位数的长度。我们将分析应用于三个基准网络:CIFAR-10 ResNet 32,ImageNet ResNet 18和ImageNet AlexNet。在每种情况下,根据我们提出的方程设置累积精度,网络成功地收敛到单精度的浮点基线。我们还表明,降低累积精度会进一步降低训练网络的质量,证明我们的方程会产生严格的边界。总的来说,这种分析可以精确地定制计算硬件的应用程序,产生面积和功率最佳的系统。
2019-01-19 cs.LG stat.ML
Low-Precision Mixed-Computation Models for Inference on Edge
University of Southern California(南加州大学)
本文提出面向边缘推理的Posit4/FixP4混合低精度计算方法,通过权重敏感度分配数制、Posit梯度近似及高效MAC硬件,在视觉和语言模型上以0.19%能耗实现平均1.5%准确率提升。
2023-12-03 cs.AI cs.LG
Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation
研究在图像退化下视觉语言模型中尺度和量化对不确定性信号的影响,通过对Qwen2-VL系列模型的实验发现,尺度提升内部不确定性信号,4位量化对准确性影响小但对置信信号影响大,建议固定内存预算下选更大量化模型,如7B-4bit。
2026-07-28 cs.CL cs.CV cs.LG
Deep learning for enhanced free-space optical communications
Tulane University(杜兰大学);Louisiana State University(路易斯安那州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校);NASA Goddard Space Flight Center(美国国家航空航天局戈达德太空飞行中心);University of Illinois Chicago(伊利诺伊大学芝加哥分校);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
大气效应,如湍流和背景热噪声,抑制了用于ON-OFF键控自由空间光通信的相干光的传播。在这里,我们提出并实验验证了一个卷积神经网络,以减少在后处理中的自由空间光通信的比特出错率,这是显着更简单,更便宜的比现有的解决方案的基础上先进的光学。我们的方法包括两个神经网络,第一个确定的存在下,在热噪声和湍流的相干比特序列和第二解调的相干比特序列。用于训练和测试我们的网络的所有数据都是通过实验获得的,通过生成相干光的开-关键控比特流,将这些与热光相结合,并将所得光通过湍流水箱,我们已经验证了该水箱能够高度准确地模拟空气中的湍流。我们的卷积神经网络提高了阈值分类方案的检测精度,并有能力与当前的解调和纠错方案相结合。
2022-08-15 cs.LG physics.optics
FERMI-ML: A Flexible and Resource-Efficient Memory-In-Situ SRAM Macro for TinyML acceleration
Indian Institute of Technology Indore-453552, India(印度理工学院印度分校)
FERMI-ML是一种灵活高效的内存内SRAM宏,用于支持TinyML的混合精度计算和查找操作,实现高能效和低功耗的AIoT推理。
2025-11-16 cs.AR cs.ET cs.LG
Hybrid In-memory Computing Architecture for the Training of Deep Neural Networks
King’s College London(伦敦国王学院);Arizona State University(亚利桑那州立大学)
在冯-诺依曼架构上训练深度神经网络(DNN)所涉及的成本促使开发用于高效DNN训练加速器的新解决方案。我们提出了一种混合存内计算(HIC)架构,用于在硬件加速器上训练DNN,从而实现内存高效推理,并在基准任务中优于基线软件准确性。我们引入了一个权重表示技术,利用二进制和多级相变存储器(PCM)设备,这导致了一个内存高效的推理加速器。与以前的基于存内计算的实现不同,我们使用了一个低精度的权重更新累加器,从而节省了更多的内存。我们训练ResNet-32网络使用HIC对CIFAR-10图像进行分类。对于可比较的模型大小,通过利用适当的网络宽度乘数,基于FPGA的训练优于以浮点32位(FP 32)精度训练的基线网络。此外,我们观察到,基于神经网络的训练导致推理模型大小减少约50%,以实现基线可比的准确性。我们还表明,PCM设备中的时间漂移对长时间(年)的训练后推理准确性的影响可以忽略不计。最后,我们的模拟表明,基于FPGA的训练自然确保了设备所看到的写擦除周期数是PCM耐久性极限的一小部分,证明了这种架构实现可以在现场学习的硬件平台的可行性。
2021-02-10 cs.AI cs.AR cs.ET
ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation
深度神经网络(DNN)和卷积神经网络(CNN)对于机器学习中的许多实际任务都很有用。深度网络内的突触权重以及神经元激活函数通常以高精度格式(例如,32位浮点)存储。然而,由于存储容量是有限的,并且每次存储器访问都消耗功率,因此存储容量和存储器访问是这些网络中的两个关键因素。在这里,我们提出了一种方法,并提出了ADaPTION工具箱来扩展流行的深度学习库Caffe,以支持使用固定点表示法降低权重和激活的数值精度的深度CNN的训练。ADaPTION包括用于测量权重和激活的动态范围的工具。使用ADaPTION工具,我们将几个CNN(包括VGG 16)量化为16位权重和激活,Top-1准确度仅下降0.8%。量化,特别是激活,导致增加高达50%的稀疏性,特别是在早期和中间层,我们利用它来跳过与零的乘法,从而执行更快和计算更便宜的推理。
2017-11-13 cs.LG
PoGO: A Scalable Proof of Useful Work via Quantized Gradient Descent and Merkle Proofs
institutetext(机构文本)
本文提出PoGO共识协议,利用量化梯度下降和Merkle证明使矿工可验证地训练大模型,实现比训练更便宜的链上验证,支持GPT-3等大规模模型。
2025-04-23 cs.AI cs.LG
SHE: A Fast and Accurate Deep Neural Network for Encrypted Data
Indiana University Bloomington(印第安纳大学伯明顿分校)
同态加密(HE)是新兴的机器学习即服务(MLaaS)的最有前途的安全解决方案之一。提出了支持分层HE(LHE)的卷积神经网络(LHECNN)来实现MLaaS以避免大的自举开销。然而,由于其多项式近似激活和池化,先前的LHECNN必须支付显著的计算开销,但仅实现低推理精度。在网络中堆叠许多多项式近似激活层大大降低了推理精度,因为多项式近似激活误差导致下一个批量归一化层的输出分布的低失真。因此,多项式逼近的激活和池化问题成为LHECNN快速、准确建模的障碍。在本文中,我们提出了一种基于移位累积的LHE支持的深度神经网络(SHE),用于对加密数据进行快速准确的推断。我们使用二进制操作友好的环形分层快速同态加密(LTFHE)加密方案来实现ReLU激活和最大池化。我们还采用对数量化来加速推理,用廉价的LTFHE移位代替昂贵的LTFHE乘法。我们提出了一种混合位宽累加器来加速累加。由于LTFHE ReLU激活、最大池化、移位和累加具有较小的乘法深度开销,因此SHE可以实现具有更多卷积和激活层的更深的网络架构。实验结果表明,SHE在MNIST和CIFAR-10上取得了最佳的推理精度,并将推理延迟降低了76.21% ~ 94.23%。SHE的源代码可在https://github.com/qianlou/SHE上获得。
2019-11-16 cs.CR cs.LG
EI-DDLGN: Efficient Encrypted Inference with Deep Differentiable Logic Gate Networks under TFHE
Carleton University(卡尔顿大学)
提出EI-DDLGN,首次深入研究TFHE下DDLGN加密推理,通过MFW-PBS旁路减少PBS操作,在MNIST等数据集上实现比算术TFHE推理更优的精度-延迟权衡,延迟降低13.4倍。
2026-09-15 cs.CR cs.LG