Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
The University of Hong Kong（香港大学）；Peking University（北京大学）；Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Tencent（腾讯）
本文提出NSDS方法，通过数值和结构双敏感性驱动分层混合精度量化，无需校准数据，在不同模型和任务中均优于基线方法。
2026-03-18 cs.CL cs.LG
MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework
Northeastern University（东北大学）；University of Notre Dame（圣母大学）；University of Hong Kong（香港大学）；University of Southern California（南加州大学）
随着深度学习的巨大成功，迫切需要将深度学习模型部署到边缘设备上。为了解决边缘设备中有限的计算和存储资源，模型压缩技术已被广泛用于修剪深度神经网络（DNN）模型以用于设备上的推理执行。本文针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。由于DNN量化对于DNN模型在硬件平台上的实现具有重要意义，因此我们将DNN量化作为主要的模型压缩技术。这项工作的新颖性来自两个方面：（i）我们提出了一种混合方案DNN量化方法，该方法结合了线性和非线性数字系统进行量化，目的是提高异构计算资源的利用率，即，LUT（查找表）和DSP（数字信号处理器）在FPGA上。注意，所有现有的（单方案）量化方法只能利用一种类型的资源（LUT或DSP）用于深度学习计算中的MAC（乘法-累加）运算。(ii)我们使用的量化方法，支持沿层内维度的多个精度，而现有的量化方法应用沿层间维度的多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。
2020-10-17 cs.CV cs.LG
Training deep neural networks with low precision multiplications
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
乘子是深度神经网络数字实现中最消耗空间和功率的算术运算符。我们在三个基准数据集上训练了一组最先进的神经网络（Maxout网络）：MNIST，CIFAR-10和SVHN。它们使用三种不同的格式进行训练：浮点，定点和动态定点。对于每个数据集和每个格式，我们评估乘法精度对训练后最终误差的影响。我们发现，非常低的精度不仅足以运行训练好的网络，而且也足以训练它们。例如，可以用10位乘法训练Maxout网络。
2015-09-23 cs.CV cs.LG cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长，使研究人员能够大大增加深度神经网络的大小和深度，从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景，但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生，其中引入了概率生成建模策略，以随机合成越来越高效且有效的后代深度神经网络，以概率的方式模仿遗传，随机突变和自然选择等进化过程。在这项研究中，我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更有效的网络架构，为资源匮乏的情况下量身定制。实验结果表明，突触效率（基于GoogLeNet的DetectNet降低了约10倍）和推理速度（基于GoogLeNet的DetectNet增加了> 5倍）得到了显着改善，同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Any-Precision Deep Neural Networks
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Wormpex AI Research；University of Oregon（俄勒冈大学）
我们提出了任何精度的深度神经网络（DNN），它是用一种新的方法训练的，这种方法允许学习的DNN在推理过程中在数值精度上是灵活的。通过截断最低有效位，可以灵活地直接将运行时的相同模型设置为不同的位宽，以支持动态速度和精度权衡。当所有层都设置为低位时，我们表明该模型的精度与以相同精度训练的专用模型相当。这个良好的属性有助于在现实世界的应用程序中灵活部署深度学习模型，在实践中，模型准确性和运行时效率之间的权衡往往是寻求的。以前的文献提出了解决方案，训练模型在每个单独的固定效率/精度权衡点。但是，如何产生一个在运行时精度灵活的模型在很大程度上是未探索的。当效率/准确性权衡的需求随时间变化甚至在运行时动态变化时，相应地重新训练模型是不可行的，并且存储预算可能禁止保持多个模型。我们提出的框架实现了这种灵活性，而不会降低性能。更重要的是，我们证明了这一成就是不可知的模型架构和适用于多个视觉任务。我们的代码发布在https://github.com/SHI-Labs/Any-Precision-DNNs。
2021-01-15 cs.CV cs.LG stat.ML
Accelerating Deep Convolutional Networks using low-precision and sparsity
Intel Labs（英特尔实验室）
我们探索技术，以显着提高深度卷积网络的计算效率和性能，而不影响其准确性。为了提高计算效率，我们专注于用极低精度（2位）权重网络实现高精度，为了加快执行时间，我们积极跳过对零值的操作。在Imagenet对象分类挑战中，我们使用低精度网络\footnote{github release of the source code coming soon}实现了76.6% Top-1/93% Top-5的最高报告准确率，同时与实现类似准确率的全精度网络相比，将计算要求降低了约3倍。此外，为了充分利用我们的低精度网络的优势，我们构建了一个深度学习加速器核心dLAC，它可以实现高达1 TFLOP/mm^2的单精度浮点运算（约2 TFLOP/mm^2的半精度）。
2016-10-02 cs.LG cs.NE
A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning
University of Alaska Anchorage（阿拉斯加安克雷奇大学）；Université de Nantes（南特大学）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
深度神经网络（DNN）是一种性能要求极高的应用。浮点（FP）和自定义类浮点运算满足了这种需求。虽然需要速度，但DNN中的推理似乎不需要精度。许多论文通过实验观察到DNN可以在几乎低得可笑的精度下成功运行。本文的目的是双重的：首先，从理论上阐明为什么DNN的FP精度在低FP精度的情况下仍然很高。我们观察到，卷积步骤中相对准确性的损失被激活层恢复，这些激活层是非常良好的。我们给出了DNN中精度和准确性之间的联系的解释。其次，本文提出了一个用于深度学习推理阶段的半自动FP错误分析的软件框架。与常见的Tensorflow/Keras模型兼容，它利用简单的Python/C++库将神经网络转换为C++代码，以分析网络对精度的需求。这种严格的分析基于区间和仿射算法来计算DNN的绝对和相对误差范围。我们用几个例子来展示我们的工具。
2020-02-10 cs.LG
DPASyn: Mechanism-Aware Drug Synergy Prediction via Dual Attention and Precision-Aware Quantization
School of Software, Yunnan University（云南大学软件学院）
本文提出DPASyn框架，通过双注意力机制和精度感知量化方法，有效建模药物间相互作用，提升药物协同预测的表达能力与效率，优于现有方法。
2025-09-20 cs.LG q-bio.QM
Stochastic Layer-Wise Precision in Deep Neural Networks
NVIDIA（英伟达）；University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
已经提出了低精度权重、激活和梯度作为提高深度神经网络的计算效率和存储器占用的方式。最近，低精度网络甚至显示出对对抗攻击更强大。然而，低精度DNN的典型实现在网络的所有层上使用统一的精度。在这项工作中，我们探讨了在网络中异构分配精度是否会提高性能，并介绍了一种学习方案，其中DNN随机数通过学习探索多个精度配置。这允许网络学习最佳精度配置。我们在MNIST和ILSVRC 12上训练的卷积神经网络上表明，即使这些网络分别学习均匀或接近均匀的分配策略，随机精度也会导致良好的正则化效果，从而提高泛化能力。
2018-07-03 cs.LG stat.ML
EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks
Purdue University（普渡大学）；Indian Institute of Technology (IIT) Madras（印度理工学院马德拉斯分校）
确保深度神经网络（DNN）的鲁棒性对于它们在自动驾驶汽车、无人机和医疗保健等安全关键型应用中的采用至关重要。值得注意的是，DNN容易受到对抗攻击的攻击，其中小的输入扰动可能会产生灾难性的错误分类。在这项工作中，我们提出了EMPIR，具有不同数值精度的量化DNN模型的集合，作为一种新的方法来提高对对抗攻击的鲁棒性。EMPIR是基于这样的观察，即量化神经网络通常比全精度网络对对抗攻击表现出更高的鲁棒性，但代价是原始（未扰动）输入的准确性大幅下降。EMPIR克服了这一限制，实现了“两全其美”，即，全精度模型的更高的无扰动精度与低精度模型的更高的鲁棒性相结合，通过将它们组成一个集合。此外，由于低精度DNN模型的计算和存储需求比全精度模型低得多，因此与单个全精度模型相比，EMPIR模型只会产生适度的计算和内存开销（在我们的评估中<25%）。我们在一套DNN上评估EMPIR，用于3种不同的图像识别任务（MNIST，CIFAR-10和ImageNet）和4种不同的对抗攻击。我们的研究结果表明，与单个全精度模型相比，EMPIR分别将MNIST，CIFAR-10和ImageNet数据集上训练的DNN模型的平均对抗准确率提高了42.6%，15.2%和10.5%，而不会牺牲未扰动输入的准确性。
2020-04-21 cs.CV cs.LG stat.ML
DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine（加州大学欧文分校）；Baidu Research（百度研究院）；Tencent Medical AI Lab（腾讯医疗人工智能实验室）
在这项工作中，我们提出了一个全自动的肺部计算机断层扫描（CT）癌症诊断系统，DeepLung。DeepLung由两个部分组成，结节检测（识别候选结节的位置）和分类（将候选结节分类为良性或恶性）。考虑到肺部CT数据的三维特性和双路径网络（DPN）的紧凑性，设计了两个深度三维DPN分别用于结节检测和分类。具体而言，具有卷积神经网络的3D快速区域（R-CNN）被设计用于具有3D双路径块和类似U网的编码器-解码器结构的结节检测，以有效地学习结节特征。对于结节分类，提出了具有三维双路径网络特征的梯度提升机（GBM）。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证，其性能优于最先进的方法，并超过了基于图像模态的经验丰富的医生的性能。在DeepLung系统中，首先通过结节检测子网络检测候选结节，然后通过分类子网络进行结节诊断。大量的实验结果表明，DeepLung在LIDC-IDRI数据集上的结节级和患者级诊断方面的性能与经验丰富的医生相当。\footnote{https://github.com/uci-cbcl/DeepLung.git}
2018-01-25 cs.CV cs.LG cs.NE
Ax-BxP: Approximate Blocked Computation for Precision-Reconfigurable Deep Neural Network Acceleration
Purdue University（普渡大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
精确缩放已经成为优化深度神经网络（DNN）的计算和存储需求的流行技术。创建超低精度（低于8位）DNN的努力表明，实现给定网络级精度所需的最低精度在网络之间存在很大差异，甚至在网络内的各个层之间也存在很大差异，需要在DNN硬件中支持可变精度。之前的提议（例如位串行硬件）会产生很高的管理费用，从而显着削弱了较低精度的好处。为了有效地支持DNN加速器中的精度可重新配置性，我们引入了一种近似计算方法，其中DNN计算是逐块执行的（块是一组比特），并且以块的粒度支持可重新配置性。块式计算的结果以近似的方式组成，以实现有效的可重新配置性。我们设计了一个DNN加速器，体现了近似分块计算，并提出了一种方法来确定一个合适的近似配置为给定的DNN。通过改变DNN之间的近似配置，我们在8位定点（FxP 8）基线上分别实现了系统能量和性能的1.17倍-1.73倍和1.02倍-2.04倍改进，分类精度的损失可以忽略不计。此外，通过改变DNN中各层和数据结构的近似配置，我们分别在系统能量和性能方面实现了1.25倍-2.42倍和1.07倍-2.95倍的改进，而精度损失可以忽略不计。
2021-10-28 cs.AR cs.CV cs.LG
$\mathbf{D^3}$: Deep Dual-Domain Based Fast Restoration of JPEG-Compressed Images
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种基于深度双域（$\mathbf{D^3}$）的JPEG压缩图像伪影快速恢复模型。它利用了深度网络的巨大学习能力，以及过去深度架构设计中几乎没有的特定问题的专业知识。对于后者，我们既考虑了JPEG压缩方案的先验知识，又考虑了基于稀疏性的双域方法的成功实践。我们进一步设计了一步稀疏推理（1-SI）模块，作为一个有效的和轻量级的前馈近似稀疏编码。大量的实验验证了所提出的$D^3$模型优于几个国家的最先进的方法。具体来说，我们的最佳模型能够在PSNR方面超过最新的深度模型约1 dB，并且速度快30倍。
2016-04-09 cs.AI cs.CV cs.LG
Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks
Stanford University（斯坦福大学）；Intel AI Lab（英特尔人工智能实验室）
在保持快速迭代的同时使用更大数量的参数进行训练是开发性能更好的深度神经网络（DNN）模型越来越多地采用的策略和趋势。这需要增加用于训练的内存占用和计算要求。在这里，我们介绍了一种使用8位浮点数（FP 8）训练深度神经网络的新方法。降低的位精度允许更大的有效存储器和增加的计算速度。我们将这种方法命名为移位和挤压FP 8（S2 FP 8）。我们表明，与以前的8位精度训练方法不同，所提出的方法适用于代表性模型：ResNet-50，Transformer和NCF。该方法可以保持模型的准确性，而不需要微调损耗缩放参数或保持某些层在单精度的。我们引入了DNN张量的两个可学习的统计数据-移位和压缩因子，用于最佳地调整8位张量的范围，从而最大限度地减少量化造成的信息损失。
2020-01-16 cs.LG
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research Redmond（微软雷德蒙德研究院）；Megvii Inc.（旷视科技）
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明，这包括近似一个经典的非线性，双曲正切，由两个函数：一个分段常数符号函数，用于前馈网络计算，和一个分段线性硬双曲正切函数，用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器（HWGQ）的前向近似和高效的实现，利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题，由于使用不同的前向和后向近似，几个分段向后逼近器，然后研究。所得到的量化网络（表示为HWGQ-Net）的实现被证明比以前可用的低精度网络（具有1位二进制权重和2位量化激活）实现更接近全精度网络（如AlexNet，ResNet，GoogLeNet和VGG-Net）的性能。
2017-02-03 cs.AI cs.CV cs.LG
Auto-Precision Scaling for Distributed Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
据报道，同步梯度的通信成本可能是一个瓶颈，这限制了分布式深度学习的可扩展性。使用低精度梯度是降低带宽要求的一种有前途的技术。在这项工作中，我们提出了自动精度缩放（APS），一种算法，可以提高精度时，我们通过低精度浮点值的梯度通信。APS可以提高精度的所有精度与微不足道的通信成本。我们的实验结果表明，对于许多应用程序，APS可以训练国家的最先进的模型，8位梯度没有或只有很小的准确性损失（<0.05%）。此外，我们可以通过设计混合精度技术来避免任何精度损失。最后，我们提出了一个性能模型来评估所提出的方法。我们的实验结果表明，APS可以得到一个显着的加速比国家的最先进的方法。为了方便研究人员和开发人员使用，我们设计并实现了CPD（Customized-Precision深度学习）系统，该系统可以使用任意低精度自定义浮点格式来模拟训练过程。我们将CPD集成到PyTorch中并使其开源。
2021-05-16 cs.DC cs.LG
Training Distributed Deep Recurrent Neural Networks with Mixed Precision on GPU Clusters
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
在本文中，我们评估了具有半精度浮点数的深度循环神经网络的训练。我们通过集成TensorFlow和CUDA感知MPI来实现分布式、数据并行、同步训练算法，以实现跨多个GPU节点的执行，并利用高速互连。我们引入了一个学习率调度促进神经网络收敛到$O(100)$工人。在NVIDIA Pascal P100 GPU集群上进行的强缩放测试显示，单精度和混合精度训练模式下的运行时间和通信时间都呈线性缩放。性能进行评估的科学数据集从联合欧洲环（JET）托卡马克，包含多模态的时间序列的感官测量导致有害的事件，称为等离子体中断，和基准大电影评论数据集~ \cite{imdb}。半精度显著降低了内存和网络带宽，允许训练具有超过7000万个可训练参数的最先进模型，同时实现与单精度的相当的测试集性能。
2019-11-30 cs.LG
Snowball: A Scalable All-to-All Ising Machine with Dual-Mode Markov Chain Monte Carlo Spin Selection and Asynchronous Spin Updates for Fast Combinatorial Optimization
ETH Zurich（苏黎世联邦理工学院）
Snowball通过双模式马尔可夫链蒙特卡洛自旋选择和异步自旋更新，实现快速组合优化的可扩展Ising机器。
2026-01-28 cs.LG
SAFS: A Deep Feature Selection Approach for Precision Medicine
Wayne State University（韦恩州立大学）
本文提出了一种新的基于深度体系结构的深度特征选择方法。我们的方法使用堆叠的自动编码器在更高级别的抽象中进行特征表示。我们开发并应用了一种新的特征学习方法来解决特定的精准医学问题，该方法侧重于评估和优先考虑弱势人口亚组（非洲裔美国人）中高血压（HTN）的风险因素。我们的方法是使用深度学习来识别影响以体表面积（LVMI）为指标的左心室质量的重要风险因素，作为心脏损伤风险的指标。结果表明，与其他方法相比，我们的特征学习和表示方法导致更好的结果。
2017-04-20 cs.LG stat.ML
Deep Learning Training on the Edge with Low-Precision Posits
Rochester Institute of Technology（罗切斯特理工学院）
最近，DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺（[5. 8]-位）。然而，大多数研究只关注DNN推理。在这项工作中，我们提出了使用posits的DNN训练，并与浮点训练进行了比较。我们在MNIST和Fashion MNIST语料库上进行了评估，其中16位定位优于端到端DNN训练的16位浮点。
2019-07-30 cs.LG stat.ML
Deep Learning with Limited Numerical Precision
IBM T. J. Watson Research Center（IBM T·J·沃森研究中心）；IBM Almaden Research Center（IBM阿尔马登研究中心）
大规模深度神经网络的训练通常受到可用计算资源的约束。研究了有限精度的数据表示和计算对神经网络训练的影响。在低精度定点计算的背景下，我们观察到舍入方案在确定网络在训练过程中的行为方面起着至关重要的作用。我们的研究结果表明，当使用随机舍入时，深度网络可以仅使用16位宽的固定点数表示进行训练，并且分类精度几乎没有下降。我们还展示了一个节能的硬件加速器，实现低精度定点运算随机舍入。
2015-02-09 cs.LG cs.NE stat.ML
Parallel Deep Neural Networks Have Zero Duality Gap
Stanford University（斯坦福大学）
训练深度神经网络是一个具有挑战性的非凸优化问题。最近的工作证明了正则化有限宽度双层ReLU网络的强对偶性（这意味着零对偶间隙），因此提供了一个等价的凸训练问题。然而，将这一结果扩展到更深的网络仍然是一个悬而未决的问题。在本文中，我们证明了具有向量输出的深度线性网络的对偶间隙是非零的。相比之下，我们证明了零对偶间隙可以通过并行堆叠标准深度网络（我们称之为并行架构）并修改正则化来获得。因此，我们证明了强对偶性和等价凸问题的存在性，这些问题使深度网络的全局最优训练成为可能。作为我们分析的副产品，我们证明了网络参数的权重衰减正则化通过封闭形式的表达式明确鼓励低秩解决方案。此外，我们还证明了强对偶性适用于给定秩为1的数据矩阵的三层标准ReLU网络。
2023-03-07 cs.LG math.OC
MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
Cornell University（康奈尔大学）
在本文中，我们介绍了MCTensor，一个基于PyTorch的库，为DL训练提供通用和高精度的算法。MCTensor的使用方式与PyTorch Tensor相同：我们使用相同的PyTorch接口为MCTensor实现多个基本的矩阵级计算运算符和NN模块。我们的算法实现了高精度计算，并且还受益于经过高度优化的PyTorch浮点算法。我们针对一系列任务评估了MCTensor算法与PyTorch本地算法的对比，其中使用float16的MCTensor模型将匹配或优于具有float32或float64精度的PyTorch模型。
2022-08-29 cs.LG cs.MS
Automating Generation of Low Precision Deep Learning Operators
University of Washington（华盛顿大学）
最先进的深度学习模型在计算机视觉和自然语言处理领域取得了稳步进展，但代价是模型大小和计算复杂性不断增加。在低功耗和移动设备上部署这些模型是一个挑战，因为它们的计算能力有限，能源预算严格。一个引起了重大研究兴趣的解决方案是部署高度量化的模型，这些模型在低精度输入和小于8位的权重上运行，从而权衡性能的准确性。这些模型具有显著减少的内存占用（高达32倍减少），并且可以在计算密集型卷积和全连接层期间用逐位操作取代乘法累加。大多数深度学习框架依赖于高度工程化的线性代数库（如ATLAS或英特尔的MKL）来实现高效的深度学习运算符。到目前为止，没有一个流行的深度学习直接支持低精度运算符，部分原因是缺乏优化的低精度库。在本文中，我们介绍了一个工作流程，可以快速生成针对任意精度的高性能低精度深度学习运算符，这些运算符针对多个CPU架构，并包括内存分片和向量化等优化。我们在低功耗ARM Cortex-A53 CPU上进行了广泛的案例研究，并展示了我们如何生成1位、2位卷积，在优化的16位整数基线上加速高达16倍，比手写实现好2.3倍。
2018-10-25 cs.LG stat.ML
Adaptive Image Registration: A Hybrid Approach Integrating Deep Learning and Optimization Functions for Enhanced Precision
University of California, Irvine（加州大学尔湾分校）
本文提出一种混合图像配准框架，将深度学习输出作为优化初始参数并优先处理高损失图像对，在保持推理时间不变的同时提升配准精度和变形场平滑度。
2024-01-19 cs.AI cs.CV cs.LG
LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference
Rice University（莱斯大学）
低精度深度神经网络（DNN）训练是提高DNN训练效率的最有效技术之一，因为它从最精细的比特级别削减了训练成本。虽然现有的工作大多在整个训练过程中固定模型精度，但一些开创性的工作表明，动态精度调度有助于DNN收敛到更好的精度，同时导致比静态精度训练更低的训练成本。然而，现有的动态低精度训练方法依赖于手动设计的精度时间表来实现有利的效率和精度权衡，限制了它们更全面的实际应用和可实现的性能。为此，我们提出了LDP，这是一个可学习的动态精度DNN训练框架，可以在训练过程中自动学习时间和空间动态精度计划，以实现最佳精度和效率权衡。值得注意的是，LDP训练的DNN在推理过程中本质上是高效的。此外，我们可视化了LDP训练的DNN在不同任务上的时间和空间精度调度和分布，以更好地了解相应的DNN在不同训练阶段和DNN层的特性，在训练期间和训练之后，为促进进一步的创新提供见解。广泛的实验和消融研究（七个网络，五个数据集和三个任务）表明，所提出的LDP在训练效率和实现的准确性权衡方面始终优于最先进的（SOTA）低精度DNN训练技术。例如，除了具有自动化的优势外，与最好的SOTA方法相比，我们的LDP在CIFAR-10上训练ResNet-20时，准确率提高了0.31%，计算成本降低了39.1%。
2022-03-15 cs.LG
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University（普林斯顿大学）
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法，用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比，我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战：（1）每次更新都需要计算状态空间上的概率分布，并且是难以处理的;（2）迭代是不稳定的，因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战，提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明，在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下，而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起，因此信息量更大。一个简单的推车极点问题的实验表明，该算法显着优于一步的时间差actor-critic方法，这是最相关的基准方法进行比较。我们相信，对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
Deep Learning Based Residuals in Non-linear Factor Models: Precision Matrix Estimation of Returns with Low Signal-to-Noise Ratio
North Carolina State University（北卡罗来纳州立大学）；ETH Zürich（苏黎世联邦理工学院）；KOF Swiss Economic Institute（KOF瑞士经济研究所）
本文提出一种基于深度学习非线性因子模型的资产收益精度矩阵一致估计方法，在低信噪比和弱因子环境下依然有效，并通过理论界限与模拟实证验证其优越准确性。
2023-08-29 cs.LG stat.ML
Performance-Efficiency Trade-off of Low-Precision Numerical Formats in Deep Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）；National University of Singapore（新加坡国立大学）
深度神经网络（DNN）已被证明是跨各个领域（例如，自然语言处理、计算机视觉和基因组学）的有效预后模型。然而，现代DNN需要高计算和内存存储来执行任何合理复杂的任务。为了优化推理时间并减轻这些网络的功耗，正在积极研究具有低精度数据和DNN参数表示的DNN加速器。一个有趣的研究问题是如何将低精度网络移植到具有与高精度网络相似性能的边缘设备上。在这项工作中，我们采用固定点，浮点，并在$\leq$ 8位精度的DNN加速器，深正电子，与精确的乘法和累加（EMAC）的推理单位的数字格式。统一的分析量化了五个分类任务的整体网络效率和性能之间的权衡。我们的研究结果表明，位置是DNN推理的天然选择，在$\leq$ 8位精度下表现优异，并且可以以相对于浮点的竞争性资源需求来实现。
2019-03-25 cs.DC cs.LG
DualSpec: Accelerating Deep Research Agents via Dual-Process Action Speculation
pku（北京大学）；msr（微软研究院）
DualSpec通过双过程动作推测机制，在保持准确性的同时显著提升深度研究代理的端到端速度
2026-03-08 cs.LG
CPT: Efficient Deep Neural Network Training via Cyclic Precision
Rice University（莱斯大学）；Facebook Inc（脸书公司）
本文提出循环精度训练（CPT），在训练过程中周期性地在两个边界精度之间切换，以类似动态学习率的方式提升深度神经网络训练的时间与能效，并通过实验验证其可改善泛化性能并降低训练方差。
2025-01-04 cs.LG
RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions
George Mason University（乔治梅森大学）；Michigan State University（密歇根州立大学）；Northeastern University（东北大学）
本文提出了一种新的深度神经网络（DNN）量化框架，即RMSMP，采用了行混合方案和多精度方法。具体来说，这是第一次在层内分配混合量化方案和多个精度-在DNN权重矩阵的行之间，以简化硬件推理中的操作，同时保持准确性。此外，本文提出了一个不同的观察，从以前的工作，量化误差不一定表现出逐层的敏感性，实际上可以减轻，只要在每一层的权重的某一部分是在较高的精度。这种观察使硬件实现中的逐层均匀性能够保证推理加速，同时仍然享受混合方案的逐行灵活性和多个精度以提高准确性。该方法采用高度硬件信息化的策略，有效地减少了问题的搜索空间，从而得到了实用有效的方案和精度候选。通过离线确定所有层的不同量化方案和精度的比率，RMSMP量化算法使用Hessian和基于方差的方法来有效地为每行分配方案和精度。建议RMSMP测试的图像分类和自然语言处理（BERT）的应用程序，并达到最佳的准确性性能之间的国家的最先进的同等精度下。RMSMP在FPGA设备上实现，与4位固定点基线相比，在ImageNet上实现了ResNet-18端到端推理时间的3.65倍加速。
2021-10-30 cs.LG
Accumulation Bit-Width Scaling For Ultra-Low Precision Training Of Deep Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在深度学习训练中降低计算的数值精度的努力已经产生了这样的系统，该系统积极地对权重和激活进行优化，但在内积运算中对部分和采用广泛的高精度优化，以保持收敛的质量。由于没有任何框架来分析部分和累积的精度要求，导致保守的设计选择。这对乘法-累加单元的复杂度的降低施加了上限。我们提出了一种统计方法来分析累积精度降低对深度学习训练的影响。观察到，一个坏的选择积累精度的结果在信息的损失，表现为减少方差的部分和合奏，我们推导出一组方程，该方差的积累和积累所需的最小位数的长度。我们将分析应用于三个基准网络：CIFAR-10 ResNet 32，ImageNet ResNet 18和ImageNet AlexNet。在每种情况下，根据我们提出的方程设置累积精度，网络成功地收敛到单精度的浮点基线。我们还表明，降低累积精度会进一步降低训练网络的质量，证明我们的方程会产生严格的边界。总的来说，这种分析可以精确地定制计算硬件的应用程序，产生面积和功率最佳的系统。
2019-01-19 cs.LG stat.ML
Exploration of Numerical Precision in Deep Neural Networks
降低数值精度是许多深度神经网络（DNN）中降低计算成本的常用技术。虽然已经观察到DNN对小错误和噪声有弹性，但是不存在能够预测给定DNN系统架构对降低的精度的敏感性的一般结果。在这个项目中，我们模拟任意位宽使用指定的浮点表示与截断方法，这是适用于神经网络后，每批。我们探讨了几个模型参数对网络训练精度的影响，并在MNIST数据集上显示了结果。然后，我们提出了一个初步的理论研究的误差缩放在向前和向后传播。最后，我们讨论这些结果的影响，以及推广到其他网络架构的潜力。
2018-05-03 cs.LG stat.ML
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference
Facebook, Inc.（脸书公司）
深度学习模型通常使用单精度（FP 32）浮点数据类型来表示激活和权重，但最近的一系列研究工作表明，使用降低精度的数据类型（FP 16，16位整数，8位整数甚至4位或2位整数）进行计算足以达到与FP 32相同的精度，并且效率更高。因此，我们设计了fbgemm，一个高性能的内核库，从头开始在当前一代CPU上执行高性能的量化推理。FBGEMM通过将公共量化操作与高性能GEMM实现融合以及通过在运行时的形状和大小特定的内核代码生成来实现效率。该库已在Facebook部署，相对于我们当前的生产基线，它提供了超过2倍的性能增益。
2021-01-13 cs.LG cs.PF
A Dual Memory Structure for Efficient Use of Replay Memory in Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个双重记忆结构的强化学习算法与重放记忆。双存储器由存储各种数据的主存储器和管理数据并有效训练强化学习代理的高速缓存存储器组成。实验结果表明，在OpenAI Gym的三个选定环境中，双记忆结构比传统的单记忆结构获得了更高的训练和测试成绩。这意味着双记忆结构比单记忆结构能够实现更好和更有效的训练。
2019-07-15 cs.LG stat.ML
PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit
INESC-ID；Universidade de Lisboa（里斯本大学）
低精度格式已被证明是一种有效的方法，不仅可以减少内存占用，还可以减少深度学习计算的硬件资源和功耗。在此前提下，IEEE的浮点数格式似乎是一个非常可行的替代品，但其应用到神经网络训练仍需要进一步的研究。一些初步结果表明，8位（甚至更小）的假设可以用于推理，16位用于训练，同时保持模型的准确性。本研究的目的是评估的可行性，训练深度卷积神经网络使用假设。为此，开发了一个软件框架，在端到端的训练和推理中使用模拟的假设和询问。这种实现方式允许使用任何位大小、配置甚至混合精度，适用于各个阶段的不同精度要求。所获得的结果表明，8位的位置可以在训练过程中替代32位的浮点数，而不会对所产生的损失和准确性产生负面影响。
2021-05-14 cs.LG cs.NE
Neural Networks with Quantization Constraints
University of Pennsylvania（宾夕法尼亚大学）
在资源和延迟受限的设置中，有必要在不显著降低性能的情况下实现深度学习模型的低精度实现。此外，利用对跨层量化的敏感性的差异可以允许混合精度实现来实现相当好的计算性能权衡。然而，通过量化操作的反向传播需要引入梯度近似，并且由于大的搜索空间，对于现代架构来说，选择哪些层进行迭代是具有挑战性的。在这项工作中，我们提出了一种约束学习方法，量化意识的培训。我们制定低精度监督学习作为一个约束优化问题，并表明，尽管它的非凸性，所产生的问题是强对偶，并取消梯度估计。此外，我们表明，对偶变量表示的敏感性的约束扰动的目标。我们证明了所提出的方法在图像分类任务中表现出有竞争力的性能，并利用灵敏度结果来应用基于对偶变量值的层选择性量化，从而导致相当大的性能改进。
2022-10-27 cs.LG
Stochastic Precision Ensemble: Self-Knowledge Distillation for Quantized Deep Neural Networks
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
深度神经网络（QDNN）的量化已经被积极研究以用于在边缘设备中的部署。最近的研究采用知识蒸馏（KD）方法来提高量化网络的性能。在这项研究中，我们提出了QDNNs（SPEQ）的随机精度集成训练。SPEQ是一种知识蒸馏训练方案;然而，教师是通过共享学生网络的模型参数而形成的。我们通过改变前向传递计算的每一层的激活随机数的位精度来获得教师的软标签。学生模型使用这些软标签进行训练，以减少激活量化噪声。采用余弦相似性损失，而不是KL发散，用于KD训练。由于教师模型通过随机位精度分配连续变化，因此它利用了随机集成KD的效果。SPEQ在各种任务中优于现有的量化训练方法，例如图像分类，问答和迁移学习，而不需要繁琐的教师网络。
2020-09-30 cs.LG stat.ML
Dual Memory Architectures for Fast Deep Learning of Stream Data via an Online-Incremental-Transfer Strategy
Seoul National University（首尔大学）；Naver Labs
深度神经网络的在线学习是机器学习的一个有趣问题，因为例如，主要的IT公司希望管理每天上传到网络上的海量数据的信息，而这项技术可以为下一代终身学习做出贡献。我们的目标是以最小的计算成本从新数据中训练深度模型，这些数据由新的类、分布和任务组成，我们称之为在线深度学习。不幸的是，通过经典的在线和增量方法进行的深度神经网络学习在理论和实践上都不能很好地工作。在本文中，我们介绍了在线增量式深度学习的双内存架构。所提出的架构由深度表示学习器和快速学习的浅核网络组成，两者协同跟踪新数据的信息。在训练阶段，我们使用各种在线，增量集成，和迁移学习技术，以实现较低的错误的架构。在MNIST，CIFAR-10和ImageNet图像识别任务上，所提出的双存储器架构的性能远远优于经典的在线和增量集成算法，其精度与批处理学习器相似。
2015-06-15 cs.LG
Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets
University of Toronto（多伦多大学）；University of British Columbia（不列颠哥伦比亚大学）
这项工作研究了在卷积神经网络（CNN）中使用精度降低的数据如何影响分类过程中的网络精度。更具体地说，本研究考虑了每层可能使用不同精度数据的网络。我们的关键结果是观察到CNN对精度降低的数据的容忍度不仅在网络之间存在差异，而且在网络内部也存在差异。调整每层的精度是有吸引力的，因为它可以实现能源和性能的改善。在本文中，我们研究如何跨层的容错变化，并提出了一种方法，找到一个低精度的网络配置，同时保持高精度。分析了一组不同的CNN，结果表明，与所有层使用32位浮点表示的传统实现相比，相对准确度损失不到1%，这些网络所需的数据足迹平均可以减少74%，最高可达92%。
2016-01-08 cs.LG cs.NE
DADU: Dual Attention-based Deep Supervised UNet for Automated Semantic Segmentation of Cardiac Images
Kent State University（肯特州立大学）
针对心脏磁共振图像分割任务，提出DADU模型，通过集成UNet、双注意力机制、边缘检测跳跃连接与深度监督，实现左右心室及心肌瘢痕组织的自动分割，Dice系数达98%且性能优于现有技术。
2025-04-18 cs.AI cs.CV cs.LG
Deep Generative Dual Memory Network for Continual Learning
University of Southern California（南加利福尼亚大学）
尽管深度学习取得了进展，但神经网络只能在联合训练时学习多个任务。当任务按顺序到达时，他们会在之前学习的任务上失去表现。这种被称为灾难性遗忘的现象是神经网络从输入数据中不断学习之前需要克服的一个基本挑战。在这项工作中，我们从人类记忆中获得灵感，开发一种能够从连续传入的任务中不断学习的架构，同时避免灾难性遗忘。具体来说，我们的贡献是：（i）模拟人类大脑中的互补学习系统（海马和新皮层）的双重记忆架构，（ii）通过生成重放过去的经验来巩固记忆，（iii）通过实验证明生成重放和双重记忆的优势，以及（iv）即使对于低容量模型，也能提高对挑战性任务的性能保持。我们的架构显示了哺乳动物记忆的许多特征，并提供了关于睡眠和学习之间联系的见解。
2018-05-25 cs.LG
Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity
Google（谷歌）
我们开发了神经网络和组合内核之间的一般二元性，努力更好地理解深度学习。我们表明，初始表示所产生的共同随机初始化是足够丰富的，以表达所有功能的对偶核空间。因此，尽管训练目标在最坏的情况下很难优化，但初始权重是优化的良好起点。我们的双重观点也揭示了神经网络的实用和美学观点，并强调了它们的表达能力。
2017-05-19 cs.AI cs.CC cs.DS
Deep Learning Reconstruction for 9-View Dual Energy CT Baggage Scanner
KAIST（韩国科学技术院）；GEMSS Medical Co.（GEMSS医疗公司）
在国土安全和交通安全领域，二维X射线爆炸物探测系统（EDS）得到了广泛的应用，但在识别隐藏物体的三维形状方面存在局限性。在各种类型的三维计算机断层扫描（CT）系统，以解决这个问题，本文感兴趣的是一个固定的CT使用固定的X射线源和探测器。然而，由于投影视图的数量有限，解析重建算法产生严重的条纹伪影。受最近用于稀疏视图CT重建的深度学习方法的成功的启发，在这里，我们提出了一种新的图像和正弦图域深度学习架构，用于从非常稀疏的视图测量进行3D重建。该算法已被测试的实际数据从原型9-视图双能量固定CT EDS随身行李扫描仪开发的GEMSS医疗系统，韩国，这证实了优越的重建性能比现有的方法。
2018-01-04 cs.AI cs.CV cs.LG
Rethinking Numerical Representations for Deep Neural Networks
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着深度学习的计算需求不断增加，研究DNN模型权重和激活的数值表示和精度对计算效率的影响至关重要。在这项工作中，我们探索了非传统的窄精度浮点表示，因为它涉及到推理的准确性和效率，以指导未来DNN平台的改进设计。我们表明，在生产级DNN（包括GoogLeNet和VGG）上使用这些自定义数字表示的推理实现了7.6倍的平均加速，相对于使用单精度浮点表示最复杂硬件的最先进基线平台，推理精度下降不到1%。为了方便使用这种定制的精度，我们还提出了一种新的技术，大大减少了所需的时间来获得最佳的精度配置。
2018-08-07 cs.LG stat.ML
Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators
Boston University（波士顿大学）；Harvard University（哈佛大学）；Lightmatter
针对模拟DNN加速器中高精度数据转换器成本高的问题，提出利用剩余数系（RNS）组合低精度运算实现高精度，还采用冗余RNS实现容错，可大幅降低数据转换器能耗。
2023-06-15 cs.AR cs.ET cs.LG
A Dual-Hormone Closed-Loop Delivery System for Type 1 Diabetes Using Deep Reinforcement Learning
Imperial College London（帝国理工学院）
我们提出了一种通过利用深度强化学习（RL）为1型糖尿病（T1 D）患者提供双激素的策略。具体而言，双扩张递归神经网络（RNN）用于学习激素递送策略，通过Q学习的变体进行训练，其输入是葡萄糖和膳食碳水化合物的原始数据，输出是双激素（胰岛素和胰高血糖素）递送。在没有葡萄糖-胰岛素代谢的先验知识的情况下，我们在UVA/Padova模拟器上运行该方法。通过数百天的自我游戏，得到一个广义模型，然后采用重要性抽样来定制模型以供个人使用。在\emph{In-silico}中，所提出的策略在给予标准推注的情况下实现了针对成人的目标范围内的葡萄糖时间（TIR）$93\%$和针对青少年的$83\%$，显著优于先前的方法。结果表明，深度RL在为T1 D患者建立个性化激素递送策略方面是有效的。
2019-10-09 cs.LG q-bio.QM
Better Schedules for Low Precision Training of Deep Neural Networks
Rice University（莱斯大学）
针对循环精度训练缺乏调度比较的问题，本文构建多样化CPT调度并在多种DNN任务上评估，发现更优调度及性能—成本权衡规律。
2024-03-04 cs.AI cs.LG
Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point
Intel Labs（英特尔实验室）
我们提出了一种基于聚类的量化方法，将预训练的全精度权重转换为三进制权重，对精度的影响最小。此外，我们还将激活限制为8位，从而实现子8位全整数推理流水线。我们的方法使用较小的N个滤波器的集群与一个共同的缩放因子，以最大限度地减少量化损失，同时也最大限度地提高了三进制操作的数量。我们表明，在Resnet-101上，当集群大小为N=4时，可以实现71.8%的TOP-1精度，在最佳全精度结果的6%以内，同时用8位累加替换约85%的乘法。使用相同的方法，4位权重达到76.3%的TOP-1精度，在2%的全精度结果。我们还研究了集群大小对性能和精度的影响，较大的集群大小N=64可以用三元运算代替~98%的乘法，但精度会显著下降，这需要对参数进行微调，并以较低的精度重新训练网络。为了解决这个问题，我们还通过使用全精度权重预初始化网络，训练了具有8位激活和三进制权重的低精度Resnet-50，并在4个额外的epoch内实现了68.9%的TOP-1精度。我们最终的量化模型可以在完整的8位计算管道上运行，与基线全精度模型相比，性能可能提高16倍。
2017-02-01 cs.LG cs.NE
Deep Neural Networks to Correct Sub-Precision Errors in CFD
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
在求解离散偏微分方程时，数值物理模拟中的信息丢失可能来自各种来源。特别地，与等效的64位模拟相比，当使用低精度16位浮点运算执行模拟时，与数值精度相关的误差（“亚精度误差”）可以在感兴趣的量中累积。另一方面，低精度计算比高精度计算更少占用资源。最近提出的几种机器学习技术已经成功地纠正了由于粗糙的空间离散化引起的错误。在这项工作中，我们扩展这些技术，以提高CFD模拟进行低数值精度。我们量化的精度相关的误差累积在Kolmogorov强迫湍流测试情况下。随后，我们采用卷积神经网络与执行16位算法的完全可微数值求解器一起学习紧密耦合的ML-CFD混合求解器。与16位求解器相比，我们证明了混合求解器对提高模拟的统计和逐点精度的各种指标的有效性。
2022-09-25 cs.LG cs.NA math.NA
Dual Embodied-Symbolic Concept Representations for Deep Learning
IBM（IBM（国际商业机器公司））
基于认知神经科学的最新研究结果，我们主张使用双层次模型进行概念表征：具体层次由面向概念的特征表征组成，符号层次由概念图组成。概念表示是模态特定的，并且在特征空间中以特征向量的形式存在。另一方面，符号概念表示是非模态的和语言特定的，并且以词/知识图嵌入概念/知识空间的形式存在。人类的概念系统包括具体的表征和符号表征，它们通常相互作用以驱动概念处理。因此，我们进一步提倡使用双重符号化概念表示进行深度学习。为了证明它们的使用和价值，我们讨论了两个重要的用例：用于Few-Shot类增量学习的符号化知识蒸馏，以及用于图像-文本匹配的符号化融合表示。双符号概念表示是深度学习和符号AI集成的基础。我们讨论了两个重要的例子，这种集成：场景图生成与知识图桥接，和多模态知识图谱。
2022-03-01 cs.AI cs.LG
Self-supervised Equality Embedded Deep Lagrange Dual for Approximate Constrained Optimization
本文提出无标签框架DeepLDE，通过将等式约束嵌入神经网络并用原始-对偶方法施加不等式约束，实现快速且确保可行性的近似约束优化，计算速度比传统求解器快5至250倍。
2024-09-23 cs.LG math.OC
