CodeX: Bit-Flexible Encoding for Streaming-based FPGA Acceleration of DNNs
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文提出了CodeX,一个端到端的框架,有利于编码,位宽定制,微调,并在FPGA平台上实现神经网络。CodeX将非线性编码结合到神经网络的计算流中以节省内存。与原始全精度激活值相比,编码功能需要的存储量明显更低;因此,CodeX硬件引擎的执行流程完全在FPGA内使用片内流缓冲区执行,无需访问片外DRAM。我们进一步提出了一种受强化学习启发的全自动算法,该算法确定了跨网络层的自定义编码位宽。CodeX全栈框架包括一个编译器,它采用任意神经网络架构的高级Python描述。然后,编译器从CodeX硬件库中实例化相应的元素以用于FPGA实现。在MNIST、SVHN和CIFAR-10数据集上进行的概念验证评估表明,与独立权重编码相比,吞吐量平均提高了4.65倍。我们进一步将CodeX与ImageNet上现有的六个全精度DNN加速器进行了比较,结果显示吞吐量和性能功耗比分别平均提高了3.6倍和2.54倍。
2019-01-17 cs.LG stat.ML
EXAQ: Exponent Aware Quantization For LLMs Acceleration
Habana Labs – An Intel company(Habana Labs(英特尔旗下公司));Technion(以色列理工学院)
针对大语言模型推理中softmax层的性能瓶颈,提出指数感知量化方法EXAQ,通过确定softmax输入最优截断值实现亚4位量化,在极小精度损失下显著提升softmax运算速度。
2024-10-04 cs.AI cs.LG cs.PF
Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics
Tsinghua University(清华大学)
数据量化是加速神经网络训练和降低功耗的有效方法。然而,它是具有挑战性的执行低比特量化训练:传统的等精度量化将导致高精度损失或有限的位宽减少,而现有的混合精度方法提供了高压缩潜力,但无法执行准确和有效的位宽分配。在这项工作中,我们提出了DYNASTY,逐块动态精度神经网络训练框架。DYNASTY通过快速在线分析提供准确的数据敏感度信息,并通过自适应位宽映射生成器保持稳定的训练收敛。在CIFAR-100和ImageNet数据集上进行了网络训练实验,与8位量化基线相比,DYNASTY在不降低精度和硬件开销的情况下,提高了$5.1\times$的速度,降低了$4.7\times$的能耗。
2022-10-31 cs.AI cs.LG eess.IV
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles(加州大学洛杉矶分校)
近年来,神经网络在边缘系统上的应用激增,但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池,一个端到端的框架,包括网络压缩和任意子字节精度的加速。与8位网络相比,该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现,允许运行时位宽权衡,并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比,8位权重池网络,精度下降不到1%。
2022-01-25 cs.LG cs.PF
Processing-In-Memory Acceleration of Convolutional Neural Networks for Energy-Efficiency, and Power-Intermittency Resilience
University of Central Florida(中佛罗里达大学)
在此,使用自旋轨道扭矩磁随机存取存储器(SOT-MRAM)计算子阵列来实现逐位卷积神经网络(CNN)存储器内加速器。它采用了一种新的AND-累加方法,能够显著降低卷积层内的能耗,并完全在MRAM内执行各种低位宽的CNN推理操作。通过保留维持计算前向进展所需的部分状态信息,还增强了电力弹性,这对于无电池IoT节点是有利的。仿真结果表明,与基于ReRAM的加速相比,$\sim$ 5.4 $\times$更高的能效和9 $\times$加速,或者与最近的仅CMOS方法相比,大约$\sim$ 9.7 $\times$更高的能效和13.5 $\times$加速,同时保持与基线设计相当的推理准确性。
2019-04-16 cs.AR cs.ET cs.LG
SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration
Dept. of Comp. Sci. & Tech.(计算机科学与技术系);Institute for AI(人工智能研究院);BNRist Center(BNRist中心);Tsinghua-Bosch Joint ML Center(清华大学-博世联合机器学习中心);THBI Lab(THBI实验室);Tsinghua University(清华大学)
针对现有量化方法多聚焦线性层、长序列下注意力推理耗时高的问题,提出SageAttention 8位注意力量化方法,推理速度优于FlashAttention2、xformers且精度超FlashAttention3,在多类模型上几乎无指标损失。
2025-10-01 cs.LG
Ax-BxP: Approximate Blocked Computation for Precision-Reconfigurable Deep Neural Network Acceleration
Purdue University(普渡大学);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
精确缩放已经成为优化深度神经网络(DNN)的计算和存储需求的流行技术。创建超低精度(低于8位)DNN的努力表明,实现给定网络级精度所需的最低精度在网络之间存在很大差异,甚至在网络内的各个层之间也存在很大差异,需要在DNN硬件中支持可变精度。之前的提议(例如位串行硬件)会产生很高的管理费用,从而显着削弱了较低精度的好处。为了有效地支持DNN加速器中的精度可重新配置性,我们引入了一种近似计算方法,其中DNN计算是逐块执行的(块是一组比特),并且以块的粒度支持可重新配置性。块式计算的结果以近似的方式组成,以实现有效的可重新配置性。我们设计了一个DNN加速器,体现了近似分块计算,并提出了一种方法来确定一个合适的近似配置为给定的DNN。通过改变DNN之间的近似配置,我们在8位定点(FxP 8)基线上分别实现了系统能量和性能的1.17倍-1.73倍和1.02倍-2.04倍改进,分类精度的损失可以忽略不计。此外,通过改变DNN中各层和数据结构的近似配置,我们分别在系统能量和性能方面实现了1.25倍-2.42倍和1.07倍-2.95倍的改进,而精度损失可以忽略不计。
2021-10-28 cs.AR cs.CV cs.LG
On the Expressive Power of Weight Quantization in Large Language Models
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Intelligent Science and Technology(智能科学与技术学院)
本文通过理论分析,证明1.58比特是权重量化的极限精度,并揭示量化比特数减少会导致表达能力多项式级退化。
2026-06-23 cs.AI cs.LG
Alternating Multi-bit Quantization for Recurrent Neural Networks
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
循环神经网络在许多应用中取得了优异的性能。然而,在资源有限的便携式设备上,模型通常太大而无法部署。对于服务器上具有大规模并发请求的应用程序,推理期间的延迟对于昂贵的计算资源也可能非常关键。在这项工作中,我们通过将网络(包括权重和激活)量化为多个二进制代码{-1,+1}来解决这些问题。我们制定的量化作为一个优化问题。在关键的观察,一旦量化系数是固定的二进制码可以得到有效的二叉搜索树,交替最小化,然后应用。我们测试了两个众所周知的RNN的量化,即,长短期记忆(LSTM)和门控递归单元(GRU),在语言模型上。与全精度计数器部分相比,通过2位量化,我们可以在CPU上实现约16倍的内存节省和约6倍的实推理加速,而精度只有合理的损失。通过3位量化,我们可以实现几乎没有损失的准确性,甚至超过原始模型,节省约10.5倍的内存和约3倍的实际推理加速。这两个结果都比现有的量化作品有很大的差距。我们扩展我们的交替量化图像分类任务。在RNN和前馈神经网络中,该方法也取得了优异的性能。
2018-02-01 cs.LG stat.ML
BWLA: Breaking the Barrier of W1AX Post-Training Quantization for LLMs
Houmo AI
本文提出 BWLA 框架,通过 1 位权重量化和 6 位低精度激活实现 LLMs 的高效压缩与加速,显著提升性能并降低计算成本。
2026-05-01 cs.AI cs.LG
FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy
The University of Hong Kong(香港大学);Harbin Institute of Technology(哈尔滨工业大学)
本研究针对二值量化LLM推理的硬件内核缺失问题,提出FluxBin算法-内核协同设计,实现超低位推理的加速、能效提升与内存压缩,可高效部署70B规模模型。
2026-08-18 cs.AI cs.LG
PQA: Exploring the Potential of Product Quantization in DNN Hardware Acceleration
Cornell University(康奈尔大学);Flower Labs(Flower实验室);University of Cambridge(剑桥大学)
本文提出PQA硬件加速器,通过乘积量化将MAC替换为内存查找,并实证研究PQ参数化与训练方法,在紧凑型DNN上实现单位面积性能最高提升3.1倍且准确率损失极小。
2024-03-28 cs.AR cs.LG
ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency Transformation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Intel(英特尔)
本文提出一种基于频域变换的模拟加速方法,通过无ADC/DAC计算和自适应阵列微架构,在16×16交叉阵列上实现高达5311 TOPS/W的能效,显著提升深度神经网络边缘处理的效率。
2023-09-04 cs.AR cs.LG
ODIN: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-Situ Neural Network Processing in Phase Change RAM
University of Kentucky(肯塔基大学)
由于人工神经网络(ANN)在与机器学习和人工智能(AI)相关的实际应用中的使用非常迅速地增长,最近已经提出了用于ANN的几种硬件加速器设计。在本文中,我们提出了一种新的处理在内存(PIM)引擎,称为ODIN,采用混合二进制随机位并行算法在侧相变RAM(PCRAM),使所有基本的人工神经网络功能,如乘法累加(MAC),非线性激活,并汇集一个低开销的原位加速。我们映射了ODIN上的四个ANN基准应用程序,将其性能与传统的以处理器为中心的设计和基于交叉杆的原位ANN加速器进行比较。我们对所考虑的ANN拓扑结构的分析结果表明,与先前工作中基于交叉杆的原位ANN加速器相比,我们的ODIN加速器的速度至少快5.8倍,能效高23.2倍,最高可达90.8倍,能效高1554倍。
2021-03-05 cs.AI cs.AR cs.LG
ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-DRAM CNN Processing
University of Kentucky(肯塔基大学)
随着卷积神经网络(CNN)在与机器学习和人工智能(AI)相关的现实世界应用中的快速增长,最近已经提出了用于CNN推理和训练的几种硬件加速器设计。在本文中,我们提出了ATRIA,一种新的基于比特位的随机算法的In-DRAM加速器,用于CNN的节能和高速推理。ATRIA在DRAM单元阵列中采用轻量级修改来实现基于位并行随机算术的DRAM内部乘法累加(MAC)操作的加速。ATRIA通过仅在五个连续的存储器操作周期中执行16个MAC操作,显著改善了处理CNN推断的延迟、吞吐量和效率。我们在ATRIA上映射了四个基准CNN的推理任务,以将其性能与之前工作中的五个最先进的DRAM内CNN加速器进行比较。我们的分析结果表明,ATRIA在CNN推理准确性方面仅下降了3.5%,并且与先前工作中性能最好的DRAM内加速器相比,每秒帧数(FPS)和效率(FPS/W/mm 2)仍然提高了3.2倍。
2021-05-26 cs.AI cs.AR cs.LG
Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation
AGH University of Science and Technology(AGH科技大学)
本文提出基于二次幂量化的硬件加速器,用移位累加替代乘累加,在ZCU104 FPGA上实现比均匀量化高1.4倍能效,并引入适配对数量化的剪枝方法。
2022-09-30 cs.AR cs.CV cs.LG
AccEPT: An Acceleration Scheme for Speeding Up Edge Pipeline-parallel Training
Zhejiang University(浙江大学)
AccEPT通过轻量级自适应延迟预测器优化模型划分,并采用位级数据压缩,加速边缘设备上的流水线并行训练,最高提速3倍。
2023-11-10 cs.LG
PhotoGAN: Generative Adversarial Neural Network Acceleration with Silicon Photonics
Colorado State University(科罗拉多州立大学)
针对GAN在传统电子加速器上因转置卷积和实例归一化导致的高能耗与低效问题,提出首个硅光子加速器PhotoGAN,利用高吞吐量和稀疏优化,实现至少4.4倍GOPS提升和2.18倍EPB降低。
2025-01-23 cs.AR cs.LG
A Data-Center FPGA Acceleration Platform for Convolutional Neural Networks
Xilinx, Inc.(赛灵思公司);Tencent(腾讯)
密集型计算正在进入具有多个深度学习工作负载的数据中心。为了平衡计算效率、性能和总拥有成本(TCO),使用具有可重新配置逻辑的现场可编程门阵列(FPGA)提供了可接受的加速能力,并与云中的各种计算敏感任务兼容。在本文中,我们开发了一个FPGA加速平台,该平台利用统一的框架架构在数据中心进行通用卷积神经网络(CNN)推理加速。为了克服计算限制,4,096个DSP被组装并成形为用于不同类型卷积的超级瓦片单元(SU),其在500 MHz下提供高达4.2 TOP/s的16位定点性能。提出了基于任务调度的计算映射方法,并通过调度-组装缓冲模型和广播缓存解决了内存约束问题。对于各种非卷积算子,滤波器处理单元被设计用于通用滤波器类/逐点算子。在实验中,CNN模型在服务器级CPU、GPU和FPGA上运行的性能进行了比较。结果表明,我们的设计实现了最佳的FPGA峰值性能和与数据中心中最先进的GPU相同的吞吐量,延迟降低了50倍以上。
2019-09-17 cs.AR cs.CV cs.LG
Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks
Zhejiang University(浙江大学);China Research and Development Academy of Machinery Equipment(中国机械科学研究总院集团有限公司)
量化神经网络(QNN)可以用于神经网络的加速和压缩,但在训练过程中,它们提出了一个挑战:如何通过图流传播损失函数的梯度,几乎处处导数为0。针对这种不可微的情况,我们提出了一种新的渐近量化估计(AQE)来估计梯度。特别地,在反向传播期间,将输入与输出相关联的图保持平滑性和可微性。在训练结束时,由于AQE的渐近行为,权重和激活已被量化为低精度。同时,我们提出了一个M-bit输入和N-bit权重网络(MINW-Net),该网络由AQE训练,AQE是一个具有1-3位权重和激活的量化神经网络。在推理阶段,我们可以使用XNOR或XNOR操作来代替卷积操作来加速MINW-Net。我们在CIFAR数据集上的实验表明,我们的AQE是定义良好的,与AQE的QNN性能优于直通估计(STE)。例如,在具有1位权重和激活的相同ConvNet的情况下,我们具有AQE的MINW-Net可以实现比具有STE的二进制神经网络(BNN)高1.5%的预测精度。MINW-Net是由AQE从头开始训练的,可以在CIFAR测试集上实现与32位对等体相当的分类精度。在ImageNet数据集上的大量实验结果表明,所提出的AQE具有很大的优越性,我们的MINW-Net与其他最先进的QNN取得了相当的结果。
2020-03-04 cs.CV cs.LG
EncodingNet: A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration
Technical University of Munich(慕尼黑工业大学);University of Siegen(锡根大学);Zhejiang University(浙江大学)
提出基于编码的新型数字MAC设计,用逻辑门替代乘法器,缩短关键路径,减少流水线和寄存器,在保持精度的同时显著降低面积和功耗,经多个模型验证。
2024-11-06 cs.AR cs.CE cs.LG
Marsellus: A Heterogeneous RISC-V AI-IoT End-Node SoC with 2-to-8b DNN Acceleration and 30%-Boost Adaptive Body Biasing
University of Bologna(博洛尼亚大学);ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学)
本文提出异构 RISC-V AI-IoT 端节点 SoC Marsellus,通过 16 核 DSP 集群、2-8 位可重构二进制引擎和自适应体偏置控制,在 22nm 工艺下实现高效 DNN 加速与功耗优化。
2023-11-28 cs.AI cs.AR cs.LG
VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
NVIDIA(英伟达)
量化通过减少模型内存占用和利用低成本整数数学硬件单元来实现深度神经网络的高效加速。量化使用比例因子将训练模型中的浮点权重和激活映射到低位宽整数值。过度量化,过于激进地降低精度,导致精度下降。当比例因子在每个张量的许多维度上以粗粒度共享时,张量内的各个元素的有效精度受到限制。为了减少量化相关的准确性损失,我们建议使用一个单独的比例因子为每个小向量($\approx$ 16-64)元素在一个单一的维度的张量。为了实现有效的硬件实现,当使用两级量化方案校准时,可以用低位宽整数来实现每矢量比例因子。我们发现,每向量缩放一致地实现更好的推理精度在低精度相比,传统的缩放技术,流行的神经网络,而不需要再训练。我们还修改了一个深度学习加速器硬件设计,以研究每个向量缩放支持的面积和能量开销。我们的评估表明,具有4位权重和激活的每个矢量缩放量化实现了37%的面积节省和24%的节能,同时保持了ImageNet上ResNet 50的75%以上的准确度。4-位权重和8位激活可在SQuAD上实现BERT-base和BERT-large的近全精度,同时与8位基线相比减少了26%的面积。
2021-02-08 cs.AR cs.LG
Training High-Performance and Large-Scale Deep Neural Networks with Full 8-bit Integers
Beijing Institute of Technology(北京理工大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Tsinghua University(清华大学)
深度神经网络(DNN)量化将网络中的浮点(FP)数据转换为整数(INT)是缩小模型大小以节省内存并简化计算加速操作的有效方法。近年来,DNN量化研究从推理发展到训练,为加速器的在线训练奠定了基础。然而,现有的方案在训练期间保持批量归一化(BN)不变,大多是不完全量化,其在数据路径的某些部分中仍然采用高精度FP。目前,还没有解决方案可以在大规模DNN的整个训练过程中仅使用低位宽INT数据,并且具有可接受的精度。在这项工作中,通过分解DNN中的所有计算步骤并融合三个特殊的量化函数以满足不同的精度要求,我们提出了一个统一的完整量化框架,称为“WAGEUBN”,以将DNN包括所有数据路径,包括W(权重),A(激活),G(梯度),E(错误),U(更新)和BN。此外,动量优化器也被量化,以实现完全量化的框架。在ResNet 18/34/50模型上的实验表明,WAGEUBN可以在ImageNet数据集上实现具有竞争力的准确性。这是第一次,大规模DNN中的量化研究被推进到全8位INT级别。通过这种方式,训练和推理中的所有操作都可以是逐位操作,从而推动更快的处理速度,降低内存成本和更高的能源效率。我们的整个量化框架具有很大的潜力,未来高效的便携式设备与在线学习能力。
2019-12-31 cs.LG stat.ML
High Performance Scalable FPGA Accelerator for Deep Neural Networks
Intel Corporation(英特尔公司)
低精度是实现更高人工智能操作(AI-TOPS)的第一步。然而,子8位精度计算的算法空间是多种多样的,经常发生破坏性的变化,使FPGA成为深度神经网络推理的自然选择,在这项工作中,我们提出了一个基于FPGA的加速器,用于CNN推理加速。我们使用{ \it INT-8-2}计算(具有{ \it 8 bit}激活和{2 bit}权重),该计算最近在文献中显示出前景,并且目前没有已知的ASIC、CPU或GPU原生支持。使用基于自适应逻辑模块(ALM)的新型设计,与传统的基于DSP的设计不同,我们能够为{ \it Arria 10}实现5个AI-TOPS的高性能测量,并为{ \it Stratix 10}在0.7 TOPS/W下预测76个AI-TOPS的性能。这超过了已知的CPU,GPU性能,接近最知名的ASIC(TPU)数字,同时保留了FPGA平台对其他应用的多功能性。
2019-08-29 cs.DC cs.LG
VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer
Northeastern University(东北大学);University of California, Irvine(加州大学欧文分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
具有注意力机制的Transformer架构在自然语言处理(NLP)中获得了成功,并且视觉Transformer(ViTs)最近将应用领域扩展到各种视觉任务。在实现高性能的同时,ViT具有较大的模型大小和较高的计算复杂度,这阻碍了它们在边缘设备上的部署。为了在硬件上实现高吞吐量并同时保持模型精度,我们提出了VAQF,这是一个在FPGA平台上构建推理加速器的框架,用于具有二进制权重和低精度激活的量化ViT。给定模型结构和所需的帧速率,VAQF将自动输出激活所需的量化精度以及满足硬件要求的加速器的优化参数设置。在Xilinx ZCU 102 FPGA板上采用Vivado高级合成(HLS)实现,DeiT-base模型的评估结果表明,8位激活量化满足24帧/秒(FPS)的帧速率要求,6位激活量化满足30 FPS的目标。据我们所知,这是首次在全自动框架的帮助下将量化纳入FPGA上的ViT加速,以指导软件端的量化策略和硬件端的加速器实现,给定目标帧速率。与量化训练相比,编译时间成本非常小,生成的加速器显示出在FPGA上实现最先进的ViT模型实时执行的能力。
2022-02-18 cs.CV cs.LG
Layer-wise Weight Selection for Power-Efficient Neural Network Acceleration
Shanghai Jiao Tong University(上海交通大学);Technical University of Darmstadt(达姆斯塔特技术大学);Stevens Institute of Technology(斯蒂文斯理工学院)
本文提出了一种分层权重选择框架,通过优化能耗准确度和分层调度,实现CNN加速器的高效能压缩,实验显示能耗降低达58.6%且准确率仅下降2-3%。
2025-12-16 cs.AR cs.LG
An Application-Specific VLIW Processor with Vector Instruction Set for CNN Acceleration
RWTH Aachen University(亚琛工业大学)
近年来,神经网络在对象识别等领域已经超越了经典算法,例如在著名的ImageNet挑战中。因此,人们正在努力开发快速有效的加速器,特别是卷积神经网络(CNN)。在这项工作中,我们提出了ConvAix,一个完全C可编程的处理器,它-与许多现有的架构相反-不依赖于一个硬连线的乘法和累加(MAC)单元阵列。相反,它利用精心设计的向量指令集将计算映射到独立的向量通道上。所提出的处理器是针对延迟敏感的应用程序,并能够执行多达192个MAC操作每周期。ConvAix在28 nm CMOS中以400 MHz的目标时钟频率工作,从而在其目标域内提供最先进的性能和适当的灵活性。来自众所周知的CNN(AlexNet,VGG-16)的几个2D卷积层的仿真结果显示,使用具有16位定点运算的向量指令,平均ALU利用率为72.5%。与其他知名设计相比,ConvAix的灵活性较低,具有竞争力的能源效率高达497 GOP/s/W,同时在面积效率和处理速度方面甚至超过了它们。
2019-04-10 cs.AR cs.LG
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research(IBM研究院)
我们报告了积极的量化策略,大大加快了循环神经网络传感器(RNN-T)的推理。我们使用4位整数表示权值和激活,并应用量化感知训练(QAT)来重新训练完整模型(声学编码器和语言模型),并实现近等精度。我们表明,定制的量化方案,是针对网络的本地属性是必不可少的,以实现良好的性能,同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益,但它严重增加了推理的计算成本。我们表明,我们的量化策略,使使用大波束宽度的假设搜索,同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比,全精度模型。通过硬件模拟,我们估计从FP 16到INT 4的端到端量化RNN-T(包括LM融合)的$\times$加速为3.4,导致实时的因子(RTF)为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上,我们保留了与LM融合相关的大部分增益,将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD
Towards Unified INT8 Training for Convolutional Neural Network
SenseTime Research(商汤科技研究院);Beihang University(北京航空航天大学)
最近低位(例如,8位)网络量化已经被广泛研究以加速推理。除了推理之外,使用量化梯度的低比特训练可以进一步带来更大的加速,因为向后过程通常是计算密集型的。不幸的是,反向传播的不适当量化通常会使训练不稳定甚至崩溃。缺乏一个成功的统一的低比特训练框架,可以支持不同的网络在不同的任务。本文从准确性和速度两个方面尝试为常见的卷积神经网络建立一个统一的8位(INT 8)训练框架。首先,我们从经验上找到梯度的四个显著特征,这为梯度量化提供了有见地的线索。然后,我们从理论上对收敛界进行了深入的分析,并得出了稳定的INT 8训练的两个原则。最后,我们提出了两个通用的技术,包括方向敏感的梯度裁剪,减少梯度的方向偏差和偏差抵消学习率缩放,避免非法的梯度更新沿错误的方向。实验表明,我们的统一解决方案可以为各种网络和任务提供准确有效的INT 8训练,包括MobileNetV2,InceptionV3和目标检测,这些都是以前的研究从未成功过的。此外,它具有很强的灵活性,可以在现成的硬件上运行,并在Pascal GPU上减少22%的训练时间,而无需过多的优化工作。我们相信,这项开创性的研究将有助于引导社区为卷积神经网络提供完全统一的INT 8训练。
2019-12-29 cs.CV cs.LG
MaRVIn: A Cross-Layer Mixed-Precision RISC-V Framework for DNN Inference, from ISA Extension to Hardware Acceleration
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典)
MaRVIn提出跨层软硬件协同的RISC-V混合精度推理框架,通过新型ISA扩展、可配置混合精度ALU、软SIMD、剪枝感知微调和贪心DSE,在精度损失低于1%时实现平均17.6倍加速和最高1.8 TOPS/W能效。
2025-09-18 cs.AR cs.LG
PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院);ShanghaiTech University(上海科技大学);Meituan(美团)
提出PolarQuant方法,通过将键向量分组为二维子向量并编码为量化半径和极角,解决键缓存量化中的异常值问题,同时通过查表加速解码,保持全精度模型性能。
2026-06-05 cs.CL cs.LG