Deep Learning Based Residuals in Non-linear Factor Models: Precision Matrix Estimation of Returns with Low Signal-to-Noise Ratio
North Carolina State University（北卡罗来纳州立大学）；ETH Zürich（苏黎世联邦理工学院）；KOF Swiss Economic Institute（KOF瑞士经济研究所）
本文提出一种基于深度学习非线性因子模型的资产收益精度矩阵一致估计方法，在低信噪比和弱因子环境下依然有效，并通过理论界限与模拟实证验证其优越准确性。
2023-08-29 cs.LG stat.ML
Accumulation Bit-Width Scaling For Ultra-Low Precision Training Of Deep Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在深度学习训练中降低计算的数值精度的努力已经产生了这样的系统，该系统积极地对权重和激活进行优化，但在内积运算中对部分和采用广泛的高精度优化，以保持收敛的质量。由于没有任何框架来分析部分和累积的精度要求，导致保守的设计选择。这对乘法-累加单元的复杂度的降低施加了上限。我们提出了一种统计方法来分析累积精度降低对深度学习训练的影响。观察到，一个坏的选择积累精度的结果在信息的损失，表现为减少方差的部分和合奏，我们推导出一组方程，该方差的积累和积累所需的最小位数的长度。我们将分析应用于三个基准网络：CIFAR-10 ResNet 32，ImageNet ResNet 18和ImageNet AlexNet。在每种情况下，根据我们提出的方程设置累积精度，网络成功地收敛到单精度的浮点基线。我们还表明，降低累积精度会进一步降低训练网络的质量，证明我们的方程会产生严格的边界。总的来说，这种分析可以精确地定制计算硬件的应用程序，产生面积和功率最佳的系统。
2019-01-19 cs.LG stat.ML
Exploration of Numerical Precision in Deep Neural Networks
降低数值精度是许多深度神经网络（DNN）中降低计算成本的常用技术。虽然已经观察到DNN对小错误和噪声有弹性，但是不存在能够预测给定DNN系统架构对降低的精度的敏感性的一般结果。在这个项目中，我们模拟任意位宽使用指定的浮点表示与截断方法，这是适用于神经网络后，每批。我们探讨了几个模型参数对网络训练精度的影响，并在MNIST数据集上显示了结果。然后，我们提出了一个初步的理论研究的误差缩放在向前和向后传播。最后，我们讨论这些结果的影响，以及推广到其他网络架构的潜力。
2018-05-03 cs.LG stat.ML
Dual Precision Deep Neural Network
Sungkyunkwan University（成均馆大学）
针对深度神经网络推理时精度与复杂度需在线权衡的问题，提出单模型含双精度模式、支持免重训练在线切换的双精度DNN，通过两阶段训练同时优化高低精度模式。
2020-09-02 cs.CV cs.LG
PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit
INESC-ID；Universidade de Lisboa（里斯本大学）
低精度格式已被证明是一种有效的方法，不仅可以减少内存占用，还可以减少深度学习计算的硬件资源和功耗。在此前提下，IEEE的浮点数格式似乎是一个非常可行的替代品，但其应用到神经网络训练仍需要进一步的研究。一些初步结果表明，8位（甚至更小）的假设可以用于推理，16位用于训练，同时保持模型的准确性。本研究的目的是评估的可行性，训练深度卷积神经网络使用假设。为此，开发了一个软件框架，在端到端的训练和推理中使用模拟的假设和询问。这种实现方式允许使用任何位大小、配置甚至混合精度，适用于各个阶段的不同精度要求。所获得的结果表明，8位的位置可以在训练过程中替代32位的浮点数，而不会对所产生的损失和准确性产生负面影响。
2021-05-14 cs.LG cs.NE
Stochastic Precision Ensemble: Self-Knowledge Distillation for Quantized Deep Neural Networks
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
深度神经网络（QDNN）的量化已经被积极研究以用于在边缘设备中的部署。最近的研究采用知识蒸馏（KD）方法来提高量化网络的性能。在这项研究中，我们提出了QDNNs（SPEQ）的随机精度集成训练。SPEQ是一种知识蒸馏训练方案;然而，教师是通过共享学生网络的模型参数而形成的。我们通过改变前向传递计算的每一层的激活随机数的位精度来获得教师的软标签。学生模型使用这些软标签进行训练，以减少激活量化噪声。采用余弦相似性损失，而不是KL发散，用于KD训练。由于教师模型通过随机位精度分配连续变化，因此它利用了随机集成KD的效果。SPEQ在各种任务中优于现有的量化训练方法，例如图像分类，问答和迁移学习，而不需要繁琐的教师网络。
2020-09-30 cs.LG stat.ML
Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets
University of Toronto（多伦多大学）；University of British Columbia（不列颠哥伦比亚大学）
这项工作研究了在卷积神经网络（CNN）中使用精度降低的数据如何影响分类过程中的网络精度。更具体地说，本研究考虑了每层可能使用不同精度数据的网络。我们的关键结果是观察到CNN对精度降低的数据的容忍度不仅在网络之间存在差异，而且在网络内部也存在差异。调整每层的精度是有吸引力的，因为它可以实现能源和性能的改善。在本文中，我们研究如何跨层的容错变化，并提出了一种方法，找到一个低精度的网络配置，同时保持高精度。分析了一组不同的CNN，结果表明，与所有层使用32位浮点表示的传统实现相比，相对准确度损失不到1%，这些网络所需的数据足迹平均可以减少74%，最高可达92%。
2016-01-08 cs.LG cs.NE
Training deep neural networks with low precision multiplications
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
乘子是深度神经网络数字实现中最消耗空间和功率的算术运算符。我们在三个基准数据集上训练了一组最先进的神经网络（Maxout网络）：MNIST，CIFAR-10和SVHN。它们使用三种不同的格式进行训练：浮点，定点和动态定点。对于每个数据集和每个格式，我们评估乘法精度对训练后最终误差的影响。我们发现，非常低的精度不仅足以运行训练好的网络，而且也足以训练它们。例如，可以用10位乘法训练Maxout网络。
2015-09-23 cs.CV cs.LG cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长，使研究人员能够大大增加深度神经网络的大小和深度，从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景，但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生，其中引入了概率生成建模策略，以随机合成越来越高效且有效的后代深度神经网络，以概率的方式模仿遗传，随机突变和自然选择等进化过程。在这项研究中，我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更有效的网络架构，为资源匮乏的情况下量身定制。实验结果表明，突触效率（基于GoogLeNet的DetectNet降低了约10倍）和推理速度（基于GoogLeNet的DetectNet增加了> 5倍）得到了显着改善，同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Rethinking Numerical Representations for Deep Neural Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着深度学习的计算需求不断增加，研究DNN模型权重和激活的数值表示和精度对计算效率的影响至关重要。在这项工作中，我们探索了非传统的窄精度浮点表示，因为它涉及到推理的准确性和效率，以指导未来DNN平台的改进设计。我们表明，在生产级DNN（包括GoogLeNet和VGG）上使用这些自定义数字表示的推理实现了7.6倍的平均加速，相对于使用单精度浮点表示最复杂硬件的最先进基线平台，推理精度下降不到1%。为了方便使用这种定制的精度，我们还提出了一种新的技术，大大减少了所需的时间来获得最佳的精度配置。
2018-08-07 cs.LG stat.ML
Any-Precision Deep Neural Networks
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Wormpex AI Research；University of Oregon（俄勒冈大学）
我们提出了任何精度的深度神经网络（DNN），它是用一种新的方法训练的，这种方法允许学习的DNN在推理过程中在数值精度上是灵活的。通过截断最低有效位，可以灵活地直接将运行时的相同模型设置为不同的位宽，以支持动态速度和精度权衡。当所有层都设置为低位时，我们表明该模型的精度与以相同精度训练的专用模型相当。这个良好的属性有助于在现实世界的应用程序中灵活部署深度学习模型，在实践中，模型准确性和运行时效率之间的权衡往往是寻求的。以前的文献提出了解决方案，训练模型在每个单独的固定效率/精度权衡点。但是，如何产生一个在运行时精度灵活的模型在很大程度上是未探索的。当效率/准确性权衡的需求随时间变化甚至在运行时动态变化时，相应地重新训练模型是不可行的，并且存储预算可能禁止保持多个模型。我们提出的框架实现了这种灵活性，而不会降低性能。更重要的是，我们证明了这一成就是不可知的模型架构和适用于多个视觉任务。我们的代码发布在https://github.com/SHI-Labs/Any-Precision-DNNs。
2021-01-15 cs.CV cs.LG stat.ML
Revisiting 16-bit Neural Network Training: A Practical Approach for Resource-Limited Learning
Stony Brook University（石溪大学）；State University of New York, Korea（纽约州立大学，韩国）；Virginia Tech（弗吉尼亚理工大学）
本文通过理论分析和实验证明16位精度神经网络在准确率上可与32位匹配并提升计算速度，为资源受限的学习者提供实用指导。
2026-04-17 cs.AI cs.CV cs.LG
Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point
Intel Labs（英特尔实验室）
我们提出了一种基于聚类的量化方法，将预训练的全精度权重转换为三进制权重，对精度的影响最小。此外，我们还将激活限制为8位，从而实现子8位全整数推理流水线。我们的方法使用较小的N个滤波器的集群与一个共同的缩放因子，以最大限度地减少量化损失，同时也最大限度地提高了三进制操作的数量。我们表明，在Resnet-101上，当集群大小为N=4时，可以实现71.8%的TOP-1精度，在最佳全精度结果的6%以内，同时用8位累加替换约85%的乘法。使用相同的方法，4位权重达到76.3%的TOP-1精度，在2%的全精度结果。我们还研究了集群大小对性能和精度的影响，较大的集群大小N=64可以用三元运算代替~98%的乘法，但精度会显著下降，这需要对参数进行微调，并以较低的精度重新训练网络。为了解决这个问题，我们还通过使用全精度权重预初始化网络，训练了具有8位激活和三进制权重的低精度Resnet-50，并在4个额外的epoch内实现了68.9%的TOP-1精度。我们最终的量化模型可以在完整的8位计算管道上运行，与基线全精度模型相比，性能可能提高16倍。
2017-02-01 cs.LG cs.NE
A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning
University of Alaska Anchorage（阿拉斯加安克雷奇大学）；Université de Nantes（南特大学）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
深度神经网络（DNN）是一种性能要求极高的应用。浮点（FP）和自定义类浮点运算满足了这种需求。虽然需要速度，但DNN中的推理似乎不需要精度。许多论文通过实验观察到DNN可以在几乎低得可笑的精度下成功运行。本文的目的是双重的：首先，从理论上阐明为什么DNN的FP精度在低FP精度的情况下仍然很高。我们观察到，卷积步骤中相对准确性的损失被激活层恢复，这些激活层是非常良好的。我们给出了DNN中精度和准确性之间的联系的解释。其次，本文提出了一个用于深度学习推理阶段的半自动FP错误分析的软件框架。与常见的Tensorflow/Keras模型兼容，它利用简单的Python/C++库将神经网络转换为C++代码，以分析网络对精度的需求。这种严格的分析基于区间和仿射算法来计算DNN的绝对和相对误差范围。我们用几个例子来展示我们的工具。
2020-02-10 cs.LG
The ZipML Framework for Training Models with End-to-End Low Precision: The Cans, the Cannots, and a Little Bit of Deep Learning
ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；University of Rochester（罗切斯特大学）
最近，在低精度下训练机器学习模型引起了极大的兴趣：通过降低精度，可以将计算和通信减少一个数量级。我们从理论和实践的角度研究了降低精度的训练，并提出了这样一个问题：是否有可能在端到端的低精度下训练模型，并提供可证明的保证？这会导致一致的数量级加速吗？我们提出了一个名为ZipML的框架来回答这些问题。对于线性模型，答案是肯定的。我们开发了一个简单的框架，基于一个简单但新颖的策略，称为双采样。我们的框架能够以低精度执行训练，没有偏差，保证收敛，而朴素量化会引入显著的偏差。我们在一系列应用中验证了我们的框架，并表明它使FPGA原型比使用全32位精度的实现快6.5倍。我们进一步开发了方差最优随机量化策略，并表明它可以在各种设置中产生显着差异。当与双采样一起应用于线性模型时，与均匀量化相比，我们在数据移动方面又节省了1.7倍。当使用量化模型训练深度网络时，我们实现了比最先进的XNOR-Net更高的准确性。最后，我们通过近似扩展我们的框架到非线性模型，如SVM。我们表明，虽然使用低精度数据会导致偏差，但我们可以适当地约束和控制偏差。我们发现，在实践中，8位精度往往足以收敛到正确的解决方案。然而，有趣的是，在实践中，我们注意到我们的框架并不总是优于朴素的舍入方法。我们详细讨论了这个负结果。
2017-06-19 cs.LG stat.ML
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks
Seoul National University（首尔国立大学）
设计具有良好泛化能力的深度神经网络（DNN）是一个复杂的过程，特别是当权重严重量化时。模型平均是实现DNN良好泛化能力的一种很有前途的方法，特别是当用于训练的损失表面包含许多尖锐的极小值时。我们提出了一种新的量化神经网络优化方法，随机量化加权平均（SQWA），设计低精度DNN具有良好的泛化能力，使用模型平均。所提出的方法包括（1）浮点模型训练，（2）权重的直接量化，（3）在具有循环学习率的再训练期间捕获多个低精度模型，（4）平均捕获的模型，以及（5）重新量化平均模型并以低学习率对其进行微调。此外，我们提出了一个损失可视化技术的量化权重域，以清楚地阐明所提出的方法的行为。可视化结果表明，一个量化DNN（QDNN）与所提出的方法优化位于中心附近的平坦的最小值的损失表面。通过SQWA训练，我们在CIFAR-100和ImageNet数据集上获得了2位QDNN的最新结果。虽然我们只采用了一个统一的量化方案，在VLSI或低精度神经处理单元的实现，实现的性能超过了以前的研究采用非均匀量化。
2020-02-02 cs.LG stat.ML
Auto-Precision Scaling for Distributed Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
据报道，同步梯度的通信成本可能是一个瓶颈，这限制了分布式深度学习的可扩展性。使用低精度梯度是降低带宽要求的一种有前途的技术。在这项工作中，我们提出了自动精度缩放（APS），一种算法，可以提高精度时，我们通过低精度浮点值的梯度通信。APS可以提高精度的所有精度与微不足道的通信成本。我们的实验结果表明，对于许多应用程序，APS可以训练国家的最先进的模型，8位梯度没有或只有很小的准确性损失（<0.05%）。此外，我们可以通过设计混合精度技术来避免任何精度损失。最后，我们提出了一个性能模型来评估所提出的方法。我们的实验结果表明，APS可以得到一个显着的加速比国家的最先进的方法。为了方便研究人员和开发人员使用，我们设计并实现了CPD（Customized-Precision深度学习）系统，该系统可以使用任意低精度自定义浮点格式来模拟训练过程。我们将CPD集成到PyTorch中并使其开源。
2021-05-16 cs.DC cs.LG
EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks
Purdue University（普渡大学）；Indian Institute of Technology (IIT) Madras（印度理工学院马德拉斯分校）
确保深度神经网络（DNN）的鲁棒性对于它们在自动驾驶汽车、无人机和医疗保健等安全关键型应用中的采用至关重要。值得注意的是，DNN容易受到对抗攻击的攻击，其中小的输入扰动可能会产生灾难性的错误分类。在这项工作中，我们提出了EMPIR，具有不同数值精度的量化DNN模型的集合，作为一种新的方法来提高对对抗攻击的鲁棒性。EMPIR是基于这样的观察，即量化神经网络通常比全精度网络对对抗攻击表现出更高的鲁棒性，但代价是原始（未扰动）输入的准确性大幅下降。EMPIR克服了这一限制，实现了“两全其美”，即，全精度模型的更高的无扰动精度与低精度模型的更高的鲁棒性相结合，通过将它们组成一个集合。此外，由于低精度DNN模型的计算和存储需求比全精度模型低得多，因此与单个全精度模型相比，EMPIR模型只会产生适度的计算和内存开销（在我们的评估中<25%）。我们在一套DNN上评估EMPIR，用于3种不同的图像识别任务（MNIST，CIFAR-10和ImageNet）和4种不同的对抗攻击。我们的研究结果表明，与单个全精度模型相比，EMPIR分别将MNIST，CIFAR-10和ImageNet数据集上训练的DNN模型的平均对抗准确率提高了42.6%，15.2%和10.5%，而不会牺牲未扰动输入的准确性。
2020-04-21 cs.CV cs.LG stat.ML
Mixed Precision Training With 8-bit Floating Point
Intel Labs（英特尔研究院）
深度神经网络的降低精度计算是解决模型大小指数增长导致的计算差距扩大的关键领域之一。近年来，深度学习训练已基本迁移到16位精度，在性能和能效方面取得了显着进步。然而，由于反向传播的更高精度和动态范围要求，以8位精度训练DNN的尝试遇到了重大挑战。在本文中，我们提出了一种使用8位浮点表示权值、激活、错误和梯度来训练深度神经网络的方法。除了降低计算精度外，我们还将权重主副本的精度要求从32位降低到16位。我们在多个数据集（imagenet-1K，WMT 16）和更广泛的工作负载（Resnet-18/34/50，GNMT，Transformer）上展示了最先进的准确性。我们提出了一种增强的损失缩放方法，以增加减少低于正常范围的8位浮点改善错误传播。我们还研究了量化噪声对泛化的影响，并提出了一种随机舍入技术来解决梯度噪声。作为应用所有这些技术的结果，我们报告的验证精度略高于全精度基线。
2019-05-29 cs.LG stat.ML
MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
Cornell University（康奈尔大学）
在本文中，我们介绍了MCTensor，一个基于PyTorch的库，为DL训练提供通用和高精度的算法。MCTensor的使用方式与PyTorch Tensor相同：我们使用相同的PyTorch接口为MCTensor实现多个基本的矩阵级计算运算符和NN模块。我们的算法实现了高精度计算，并且还受益于经过高度优化的PyTorch浮点算法。我们针对一系列任务评估了MCTensor算法与PyTorch本地算法的对比，其中使用float16的MCTensor模型将匹配或优于具有float32或float64精度的PyTorch模型。
2022-08-29 cs.LG cs.MS
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
用于训练深度神经网络（DNN）的最先进的硬件平台正在从传统的单精度的（32位）计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而，与推理不同，由于需要在反向传播期间保持梯度计算的保真度，用小于16位表示的数字进行训练一直具有挑战性。在这里，我们首次展示了使用8位浮点数成功训练DNN，同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外，我们还通过引入一些关键思想，包括基于块的累加和浮点随机舍入，成功地将加法的算术精度（用于部分乘积累加和权重更新）从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础，其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators
Boston University（波士顿大学）；Harvard University（哈佛大学）；Lightmatter
针对模拟DNN加速器中高精度数据转换器成本高的问题，提出利用剩余数系（RNS）组合低精度运算实现高精度，还采用冗余RNS实现容错，可大幅降低数据转换器能耗。
2023-06-15 cs.AR cs.ET cs.LG
Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks
Stanford University（斯坦福大学）；Intel AI Lab（英特尔人工智能实验室）
在保持快速迭代的同时使用更大数量的参数进行训练是开发性能更好的深度神经网络（DNN）模型越来越多地采用的策略和趋势。这需要增加用于训练的内存占用和计算要求。在这里，我们介绍了一种使用8位浮点数（FP 8）训练深度神经网络的新方法。降低的位精度允许更大的有效存储器和增加的计算速度。我们将这种方法命名为移位和挤压FP 8（S2 FP 8）。我们表明，与以前的8位精度训练方法不同，所提出的方法适用于代表性模型：ResNet-50，Transformer和NCF。该方法可以保持模型的准确性，而不需要微调损耗缩放参数或保持某些层在单精度的。我们引入了DNN张量的两个可学习的统计数据-移位和压缩因子，用于最佳地调整8位张量的范围，从而最大限度地减少量化造成的信息损失。
2020-01-16 cs.LG
Memory-Driven Mixed Low Precision Quantization For Enabling Deep Network Inference On Microcontrollers
Universita’ di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种新的端到端方法，用于在微控制器上部署低错误深度网络。为了适应资源受限的边缘设备的内存和计算限制，我们利用混合低位宽压缩，具有8，4或2位均匀量化，我们建模的推理图与整数运算。我们的方法的目的是确定每个激活和权重张量给定的设备的内存约束的最小位精度。这是通过基于规则的迭代过程来实现的，该过程削减了最需要内存的层的位数，旨在满足内存约束。在量化感知的再训练步骤之后，通过插入嵌入式归一化（ICN）层，将伪量化图转换为仅推理整数模型，这引入了可忽略的损失，如INT4 MobilenetV1模型所示。我们报告了在STM32H7微控制器上对混合精度MobilenetV1系列网络进行的延迟精度评估。我们的实验结果表明，端到端部署的一个只有整数的Mobilenet网络的Top1的准确性为68%的设备上只有2 MB的闪存和512 KB的RAM，提高了8%的Top1的准确性相对于以前公布的8位实现微控制器。
2019-05-30 cs.LG stat.ML
Training Distributed Deep Recurrent Neural Networks with Mixed Precision on GPU Clusters
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
在本文中，我们评估了具有半精度浮点数的深度循环神经网络的训练。我们通过集成TensorFlow和CUDA感知MPI来实现分布式、数据并行、同步训练算法，以实现跨多个GPU节点的执行，并利用高速互连。我们引入了一个学习率调度促进神经网络收敛到$O(100)$工人。在NVIDIA Pascal P100 GPU集群上进行的强缩放测试显示，单精度和混合精度训练模式下的运行时间和通信时间都呈线性缩放。性能进行评估的科学数据集从联合欧洲环（JET）托卡马克，包含多模态的时间序列的感官测量导致有害的事件，称为等离子体中断，和基准大电影评论数据集~ \cite{imdb}。半精度显著降低了内存和网络带宽，允许训练具有超过7000万个可训练参数的最先进模型，同时实现与单精度的相当的测试集性能。
2019-11-30 cs.LG
Performance-Efficiency Trade-off of Low-Precision Numerical Formats in Deep Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）；National University of Singapore（新加坡国立大学）
深度神经网络（DNN）已被证明是跨各个领域（例如，自然语言处理、计算机视觉和基因组学）的有效预后模型。然而，现代DNN需要高计算和内存存储来执行任何合理复杂的任务。为了优化推理时间并减轻这些网络的功耗，正在积极研究具有低精度数据和DNN参数表示的DNN加速器。一个有趣的研究问题是如何将低精度网络移植到具有与高精度网络相似性能的边缘设备上。在这项工作中，我们采用固定点，浮点，并在$\leq$ 8位精度的DNN加速器，深正电子，与精确的乘法和累加（EMAC）的推理单位的数字格式。统一的分析量化了五个分类任务的整体网络效率和性能之间的权衡。我们的研究结果表明，位置是DNN推理的天然选择，在$\leq$ 8位精度下表现优异，并且可以以相对于浮点的竞争性资源需求来实现。
2019-03-25 cs.DC cs.LG
Low-Precision Stochastic Gradient Langevin Dynamics
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Cornell University（康奈尔大学）
虽然低精度优化已被广泛用于加速深度学习，但低精度采样在很大程度上仍未被探索。因此，采样在许多大规模场景中根本不可行，尽管它为神经网络的泛化和不确定性估计提供了显着的好处。在本文中，我们提供了低精度随机梯度朗之万动力学（SGLD）的第一次研究，表明其成本可以显着降低而不牺牲性能，由于其固有的能力，以处理系统噪声。我们证明了在强凸条件下，低精度SGLD与全精度梯度卷积的收敛性受量化误差的影响比SGD对应的收敛性小。为了进一步实现低精度梯度平滑，我们为SGLD开发了一个新的量化函数，它在每个更新步骤中都保留了方差。我们证明了低精度SGLD在各种深度学习任务中仅使用8位即可实现与全精度SGLD相当的性能。
2022-06-20 cs.LG stat.ML
Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa（莫拉图瓦大学）
卷积神经网络（CNN）广泛用于深度学习应用，例如视觉系统、机器人等。然而，现有的软件解决方案效率不高。因此，已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中，基于现场可编程门阵列（FPGA）的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中，我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加（MAC）单元与高速缓存技术和互连网络，以利用最大的数据并行。与现有的解决方案相比，我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此，我们的架构实现了显著降低资源利用率与竞争力的准确性。此外，我们开发了一个汇编类型的微指令来访问协处理结构，以管理逐层并行，从而使有限的资源重用。最后，我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构，在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference
Facebook, Inc.（脸书公司）
深度学习模型通常使用单精度（FP 32）浮点数据类型来表示激活和权重，但最近的一系列研究工作表明，使用降低精度的数据类型（FP 16，16位整数，8位整数甚至4位或2位整数）进行计算足以达到与FP 32相同的精度，并且效率更高。因此，我们设计了fbgemm，一个高性能的内核库，从头开始在当前一代CPU上执行高性能的量化推理。FBGEMM通过将公共量化操作与高性能GEMM实现融合以及通过在运行时的形状和大小特定的内核代码生成来实现效率。该库已在Facebook部署，相对于我们当前的生产基线，它提供了超过2倍的性能增益。
2021-01-13 cs.LG cs.PF
LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference
Rice University（莱斯大学）
低精度深度神经网络（DNN）训练是提高DNN训练效率的最有效技术之一，因为它从最精细的比特级别削减了训练成本。虽然现有的工作大多在整个训练过程中固定模型精度，但一些开创性的工作表明，动态精度调度有助于DNN收敛到更好的精度，同时导致比静态精度训练更低的训练成本。然而，现有的动态低精度训练方法依赖于手动设计的精度时间表来实现有利的效率和精度权衡，限制了它们更全面的实际应用和可实现的性能。为此，我们提出了LDP，这是一个可学习的动态精度DNN训练框架，可以在训练过程中自动学习时间和空间动态精度计划，以实现最佳精度和效率权衡。值得注意的是，LDP训练的DNN在推理过程中本质上是高效的。此外，我们可视化了LDP训练的DNN在不同任务上的时间和空间精度调度和分布，以更好地了解相应的DNN在不同训练阶段和DNN层的特性，在训练期间和训练之后，为促进进一步的创新提供见解。广泛的实验和消融研究（七个网络，五个数据集和三个任务）表明，所提出的LDP在训练效率和实现的准确性权衡方面始终优于最先进的（SOTA）低精度DNN训练技术。例如，除了具有自动化的优势外，与最好的SOTA方法相比，我们的LDP在CIFAR-10上训练ResNet-20时，准确率提高了0.31%，计算成本降低了39.1%。
2022-03-15 cs.LG
Mixed Precision Training
Baidu Research（百度研究院）；NVIDIA（英伟达）
深度神经网络已经在各种各样的应用中取得了进展。增加神经网络的大小通常会提高准确性。随着模型大小的增长，训练这些模型的内存和计算需求也会增加。我们介绍了一种使用半精度浮点数来训练深度神经网络的技术。在我们的技术中，权重，激活和梯度存储在IEEE半精度格式。与单精度数字相比，半精度浮点数的数值范围有限。我们提出了两种技术来处理这种信息丢失。首先，我们建议在每个优化器步骤之后维护一个单精度的权重副本，以累积梯度。在训练过程中，此单精度副本四舍五入为半精度格式。其次，我们建议适当地缩放损失，以处理具有半精度梯度的信息损失。我们证明了这种方法适用于各种各样的模型，包括卷积神经网络，递归神经网络和生成对抗网络。这种技术适用于在大型数据集上训练超过1亿个参数的大规模模型。使用这种方法，我们可以将深度学习模型的内存消耗减少近2倍。在未来的处理器中，我们还可以期待使用半精度硬件单元的显着计算加速。
2018-02-15 cs.AI cs.LG stat.ML
CPT: Efficient Deep Neural Network Training via Cyclic Precision
Rice University（莱斯大学）；Facebook Inc（脸书公司）
本文提出循环精度训练（CPT），在训练过程中周期性地在两个边界精度之间切换，以类似动态学习率的方式提升深度神经网络训练的时间与能效，并通过实验验证其可改善泛化性能并降低训练方差。
2025-01-04 cs.LG
RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions
George Mason University（乔治梅森大学）；Michigan State University（密歇根州立大学）；Northeastern University（东北大学）
本文提出了一种新的深度神经网络（DNN）量化框架，即RMSMP，采用了行混合方案和多精度方法。具体来说，这是第一次在层内分配混合量化方案和多个精度-在DNN权重矩阵的行之间，以简化硬件推理中的操作，同时保持准确性。此外，本文提出了一个不同的观察，从以前的工作，量化误差不一定表现出逐层的敏感性，实际上可以减轻，只要在每一层的权重的某一部分是在较高的精度。这种观察使硬件实现中的逐层均匀性能够保证推理加速，同时仍然享受混合方案的逐行灵活性和多个精度以提高准确性。该方法采用高度硬件信息化的策略，有效地减少了问题的搜索空间，从而得到了实用有效的方案和精度候选。通过离线确定所有层的不同量化方案和精度的比率，RMSMP量化算法使用Hessian和基于方差的方法来有效地为每行分配方案和精度。建议RMSMP测试的图像分类和自然语言处理（BERT）的应用程序，并达到最佳的准确性性能之间的国家的最先进的同等精度下。RMSMP在FPGA设备上实现，与4位固定点基线相比，在ImageNet上实现了ResNet-18端到端推理时间的3.65倍加速。
2021-10-30 cs.LG
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
本文研究GHN预测低精度CNN参数时的量化鲁棒性，提出在GHN训练中引入量化感知训练等策略，显著提升4位表现并使2位准确率高于随机水平。
2023-09-24 cs.AI cs.CV cs.LG
Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks
Qualcomm Research（高通研究院）
众所周知，训练深度神经网络，特别是深度卷积网络，具有急剧降低的数值精度是具有挑战性的。随机梯度下降算法在存在由具有有限数值精度的算术产生的噪声梯度更新的情况下变得不稳定。随机舍入是一种被广泛接受的促进低精度定点网络训练的解决方案。然而，据我们所知，噪声梯度更新训练神经网络的不稳定性的来源还没有得到很好的研究。这项工作是试图在低数值精度和训练算法稳定性之间建立理论联系。在此过程中，我们还将提出并通过实验验证能够提高定点深度卷积网络训练性能的方法。
2016-07-08 cs.CV cs.LG
Training Quantized Nets: A Deeper Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Cornell University（康奈尔大学）
目前，深度神经网络部署在低功耗便携式设备上，首先使用强大的硬件训练全精度模型，然后导出相应的低精度模型，用于在这种系统上进行有效推理。然而，直接使用粗略量化的权重训练模型是在计算资源、内存容量和功耗有限的嵌入式平台上学习的关键一步。最近有许多出版物研究了训练量化网络的方法，但这些研究大多是经验性的。在这项工作中，我们调查的量化神经网络的训练方法从理论的观点。我们首先探讨了凸性假设下训练方法的精度保证。然后，我们研究了这些算法在非凸问题上的行为，并表明利用高精度表示的训练算法具有纯粹量化训练方法所缺乏的重要贪婪搜索阶段，这解释了使用低精度算法进行训练的困难。
2017-11-13 cs.CV cs.LG stat.ML
Deep Neural Networks to Correct Sub-Precision Errors in CFD
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
在求解离散偏微分方程时，数值物理模拟中的信息丢失可能来自各种来源。特别地，与等效的64位模拟相比，当使用低精度16位浮点运算执行模拟时，与数值精度相关的误差（“亚精度误差”）可以在感兴趣的量中累积。另一方面，低精度计算比高精度计算更少占用资源。最近提出的几种机器学习技术已经成功地纠正了由于粗糙的空间离散化引起的错误。在这项工作中，我们扩展这些技术，以提高CFD模拟进行低数值精度。我们量化的精度相关的误差累积在Kolmogorov强迫湍流测试情况下。随后，我们采用卷积神经网络与执行16位算法的完全可微数值求解器一起学习紧密耦合的ML-CFD混合求解器。与16位求解器相比，我们证明了混合求解器对提高模拟的统计和逐点精度的各种指标的有效性。
2022-09-25 cs.LG cs.NA math.NA
Best Arm Identification in Bandits with Limited Precision Sampling
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；National University of Singapore（新加坡国立大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对有限精度采样下的多臂老虎机最佳臂识别问题，提出渐近最优的跟踪算法，并给出停止时间的下界与上界。
2023-05-10 cs.AI cs.IT cs.LG
Ax-BxP: Approximate Blocked Computation for Precision-Reconfigurable Deep Neural Network Acceleration
Purdue University（普渡大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
精确缩放已经成为优化深度神经网络（DNN）的计算和存储需求的流行技术。创建超低精度（低于8位）DNN的努力表明，实现给定网络级精度所需的最低精度在网络之间存在很大差异，甚至在网络内的各个层之间也存在很大差异，需要在DNN硬件中支持可变精度。之前的提议（例如位串行硬件）会产生很高的管理费用，从而显着削弱了较低精度的好处。为了有效地支持DNN加速器中的精度可重新配置性，我们引入了一种近似计算方法，其中DNN计算是逐块执行的（块是一组比特），并且以块的粒度支持可重新配置性。块式计算的结果以近似的方式组成，以实现有效的可重新配置性。我们设计了一个DNN加速器，体现了近似分块计算，并提出了一种方法来确定一个合适的近似配置为给定的DNN。通过改变DNN之间的近似配置，我们在8位定点（FxP 8）基线上分别实现了系统能量和性能的1.17倍-1.73倍和1.02倍-2.04倍改进，分类精度的损失可以忽略不计。此外，通过改变DNN中各层和数据结构的近似配置，我们分别在系统能量和性能方面实现了1.25倍-2.42倍和1.07倍-2.95倍的改进，而精度损失可以忽略不计。
2021-10-28 cs.AR cs.CV cs.LG
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
Northeastern University（东北大学）；University of Notre Dame（圣母大学）；University of Hong Kong（香港大学）；University of Southern California（南加州大学）
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
2020-10-17 cs.CV cs.LG
Dynamic Precision Analog Computing for Neural Networks
Luminous Computing（卢米诺斯计算公司）
模拟电子和光计算在以低精度执行操作时，在加速深度学习方面表现出了优于数字计算的巨大优势。在这项工作中，我们推导出模拟精度，这是有限的噪声，和数字位精度之间的关系。我们建议扩展模拟计算架构，通过重复操作和平均结果来支持不同级别的精度，从而降低噪声的影响。这样的架构使得能够在精度和其他期望的性能度量（诸如能量效率或吞吐量）之间进行可编程的权衡。为了利用动态精度，我们提出了一种方法，用于学习预训练模型的每一层的精度，而无需重新训练网络权重。我们在模拟架构上对这种方法进行了评估，这些模拟架构受到各种噪声源（如散粒噪声、热噪声和权重噪声）的影响，发现采用动态精度可以将计算机视觉模型（如Resnet 50）的能耗降低89%，将自然语言处理模型（如BERT）的能耗降低24%。在一个示例中，我们将动态精度应用于散粒噪声限制的零差光学神经网络，并在Resnet 50的2.7 aJ/MAC和BERT的1.6 aJ/MAC的光能量消耗下模拟推理，精度下降<2%。
2021-02-12 cs.ET cs.LG
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research Redmond（微软雷德蒙德研究院）；Megvii Inc.（旷视科技）
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明，这包括近似一个经典的非线性，双曲正切，由两个函数：一个分段常数符号函数，用于前馈网络计算，和一个分段线性硬双曲正切函数，用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器（HWGQ）的前向近似和高效的实现，利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题，由于使用不同的前向和后向近似，几个分段向后逼近器，然后研究。所得到的量化网络（表示为HWGQ-Net）的实现被证明比以前可用的低精度网络（具有1位二进制权重和2位量化激活）实现更接近全精度网络（如AlexNet，ResNet，GoogLeNet和VGG-Net）的性能。
2017-02-03 cs.AI cs.CV cs.LG
Better Schedules for Low Precision Training of Deep Neural Networks
Rice University（莱斯大学）
针对循环精度训练缺乏调度比较的问题，本文构建多样化CPT调度并在多种DNN任务上评估，发现更优调度及性能—成本权衡规律。
2024-03-04 cs.AI cs.LG
A Deep Active Survival Analysis Approach for Precision Treatment Recommendations: Application of Prostate Cancer
Wayne State University（韦恩州立大学）
生存分析已被开发并应用于许多领域，包括制造业，金融，经济和医疗保健。在医疗领域，通常临床数据是高维的，稀疏的和复杂的，有时存在少量的时间到事件（标记）的实例。因此，从电子健康记录中构建准确的生存模型是具有挑战性的。有了这个动机，我们解决了这个问题，并提供了一个新的生存分析框架，使用深度学习和主动学习与一个新的采样策略。首先，我们的方法使用标记（事件发生时间）和未标记（删失）实例从临床特征中提供更低维度的更好表示，然后通过使用Oracle标记删失数据来主动训练生存模型。作为一个临床辅助工具，我们介绍了一个简单有效的治疗推荐方法的基础上，我们的生存模型。在实验研究中，我们将我们的方法应用于非裔美国人和白人患者中与前列腺癌相关的SEER医疗保险数据。结果表明，我们的方法优于基线模型显着。
2018-04-10 cs.CY cs.LG stat.ML
Self-explaining deep models with logic rule reasoning
KAIST（韩国科学技术院）；IBS（基础科学研究院）；Microsoft Research Asia（微软亚洲研究院）
我们提出了SELOR，这是一个框架，用于将自我解释能力集成到给定的深度模型中，以实现高预测性能和人类精度。所谓“人类精度”，我们指的是人类同意模型为其预测提供的原因的程度。人为精度影响用户信任，并允许用户与模型密切合作。我们证明，逻辑规则的解释自然满足人类的精度与良好的预测性能所需的表达能力。然后，我们说明了如何使一个深模型预测和解释的逻辑规则。我们的方法不需要预定义的逻辑规则集或人工注释，并且可以以可区分的方式使用广泛使用的深度学习模块有效且容易地学习。大量的实验表明，我们的方法给出的解释更接近人类的决策逻辑比其他方法，同时保持深度学习模型的性能。
2022-10-18 cs.AI cs.LG cs.LO
Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML
European Organization for Nuclear Research (CERN)（欧洲核子研究组织（CERN））；Institute of Physics Belgrade（贝尔格莱德物理研究所）；Columbia University（哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）；Massachusetts Institute of Technology（麻省理工学院）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；HawkEye360；Boston University（波士顿大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Rhodes College（罗德学院）
我们在hls 4 ml库中实现了二进制和三进制神经网络，旨在通过FPGA固件自动将深度神经网络模型转换为数字电路。从用浮点精度训练的基准模型开始，我们研究了通过将网络参数的数值精度降低到二进制或三进制来减少网络资源消耗的不同策略。我们讨论了模型精度和资源消耗之间的权衡。此外，我们展示了如何通过在选定的网络组件子集上保持完全精度来平衡延迟和准确性。作为一个例子，我们考虑两个多类分类任务：手写数字识别与MNIST数据集和喷流识别与模拟质子-质子碰撞在欧洲核子研究中心大型强子对撞机。二进制和三进制实现具有与更高精度实现相似的性能，同时使用的FPGA资源大大减少。
2020-06-29 cs.LG eess.SP hep-ex
ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation
深度神经网络（DNN）和卷积神经网络（CNN）对于机器学习中的许多实际任务都很有用。深度网络内的突触权重以及神经元激活函数通常以高精度格式（例如，32位浮点）存储。然而，由于存储容量是有限的，并且每次存储器访问都消耗功率，因此存储容量和存储器访问是这些网络中的两个关键因素。在这里，我们提出了一种方法，并提出了ADaPTION工具箱来扩展流行的深度学习库Caffe，以支持使用固定点表示法降低权重和激活的数值精度的深度CNN的训练。ADaPTION包括用于测量权重和激活的动态范围的工具。使用ADaPTION工具，我们将几个CNN（包括VGG 16）量化为16位权重和激活，Top-1准确度仅下降0.8%。量化，特别是激活，导致增加高达50%的稀疏性，特别是在早期和中间层，我们利用它来跳过与零的乘法，从而执行更快和计算更便宜的推理。
2017-11-13 cs.LG
Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
Accelerator Architecture Lab（加速器架构实验室）；Intel Labs（英特尔实验室）
深度学习网络已经在计算机视觉工作负载（如图像分类和目标检测）上实现了最先进的精度。然而，高性能系统通常涉及具有众多参数的大型模型。一旦经过训练，这种表现最好的模型的一个挑战性方面是部署在资源受限的推理系统上-模型（通常是深度网络或广域网或两者）是计算和内存密集型的。使用知识蒸馏的低精度数值和模型压缩是降低这些部署模型的计算要求和内存占用的流行技术。在本文中，我们研究了这两种技术的结合，并表明，低精度网络的性能可以显着提高使用知识蒸馏技术。我们的方法Apprentice使用ImageNet数据集上ResNet架构变体的三进制精度和4位精度实现了最先进的精度。我们提出了三种方案，使用它可以将知识蒸馏技术应用到训练和部署管道的各个阶段。
2017-11-15 cs.CV cs.LG cs.NE
Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference
Intel, Israel（英特尔（以色列））
针对深度神经网络规模增长带来的延迟与内存效率问题，提出基于W4A8架构的双精度量化（DPQ）方案，在现代加速器上实现推理加速与内存优化，同时将精度损失控制在可接受范围内。
2025-05-20 cs.CL cs.CV cs.LG
High performance ultra-low-precision convolutions on mobile devices
Facebook
移动深度学习的许多应用，特别是实时计算机视觉工作负载，都受到计算能力的限制。对于在较旧的消费类手机上运行的工作负载来说尤其如此，其中典型的设备可能由单核或双核ARMv7 CPU供电。我们提供了一个开源实现和对ARMv7设备上现代深度学习工作负载所需的核心原语的最先进的超低精度（<4位精度）实现的全面分析，并展示了比我们额外的最先进的float 32和int 8基线提高4倍-20倍的加速比。
2017-12-06 cs.LG
Adaptive Image Registration: A Hybrid Approach Integrating Deep Learning and Optimization Functions for Enhanced Precision
University of California, Irvine（加州大学尔湾分校）
本文提出一种混合图像配准框架，将深度学习输出作为优化初始参数并优先处理高损失图像对，在保持推理时间不变的同时提升配准精度和变形场平滑度。
2024-01-19 cs.AI cs.CV cs.LG
Ultra-low Precision Multiplication-free Training for Deep Neural Networks
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Institute of Software, CAS（中国科学院软件研究所）
深度神经网络（DNN）的训练需要巨大的能量消耗，这限制了深度学习的发展，也增加了碳排放。因此，研究DNN的节能训练是必要的。在训练中，线性层消耗最多的能量，因为在乘法累加（MAC）中大量使用了耗能的全精度（FP 32）乘法。节能工作试图降低乘法的精度或用节能操作（如加法或按位移位）取代乘法，以减少FP 32乘法的能耗。然而，现有的能量有效的作品不能取代所有的FP 32乘法在前向和后向传播与低精度的能量有效的操作。在这项工作中，我们提出了一种自适应逐层缩放PoT量化（ALS-POTQ）方法和一种免乘法MAC（MF-MAC），以取代所有的FP 32乘法与INT 4加法和1位XOR运算。此外，我们还提出了权重偏差校正和参数化比率裁剪技术，以实现稳定的训练和提高准确性。在我们的训练方案中，所有上述方法都不会引入额外的乘法，因此我们在训练过程中减少了线性层高达95.8%的能耗。在实验中，我们在ImageNet上的CNN模型和WMT En-De任务上的Transformer模型的准确性下降不到1%。总之，我们在能源效率和准确性方面都明显优于现有方法。
2023-02-28 cs.AI cs.LG
Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；CNES（法国国家空间研究中心）
针对高分辨率对地观测空间系统的下行链路数据传输瓶颈，提出将低精度minifloat运算与量化感知训练相结合的星载深度学习方法，在Airbus Ship数据集上实现6位量化且精度仅降0.3%。
2023-11-18 cs.LG eess.SP
