Constraint Guided Model Quantization of Neural Networks
KU Leuven, Geel Campus, Dept. of Computer Science（KU莱文大学，Geel校区，计算机科学系）
本文提出量化感知训练算法 CGMQ，通过计算资源上限引导降低参数位宽，无需调参即可生成满足计算成本约束的混合精度网络，在 MNIST 和 CIFAR10 上性能具竞争力且保证复杂度上限。
2025-09-12 cs.LG
Mean Spectral Normalization of Deep Neural Networks for Embedded Automation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
深度神经网络（DNN）已经开始在自动化系统领域蓬勃发展，这是由于最近在标准化各个方面（如架构，优化技术和正则化）方面取得的进展。在本文中，我们采取了一种更好地理解谱归一化（SN）及其对更广泛的深度学习模型的标准化正则化的潜力的方法。我们进行了几个实验来研究它们的训练动态，与无处不在的批量归一化（BN）相比，SN增加了梯度稀疏性并控制了梯度方差。此外，我们表明，SN遭受的现象，我们称之为均值漂移效应，这减轻了它的性能。然后，我们提出了一种称为平均谱归一化（MSN）的权重重新参数化来解决平均漂移，从而显着提高网络的性能。我们的模型在实践中比BN快16%，并且可训练的参数更少。我们还展示了我们的MSN对于小型，中型和大型CNN的性能-分别为3层CNN，VGG 7和DenseNet-BC-以及使用生成对抗网络（GANs）的无监督图像生成任务，以评估其适用于广泛的嵌入式自动化任务。
2019-07-09 cs.LG stat.ML
Design Automation for Efficient Deep Learning Computing
Massachusetts Institute of Technology（麻省理工学院）
高效的深度学习计算需要算法和硬件协同设计，以实现专业化：我们通常需要改变算法，以减少内存占用并提高能效。然而，算法的额外自由度使得设计空间更大：它不仅涉及硬件设计，还涉及如何调整算法以最佳地适应硬件。人类工程师很难通过设计来耗尽设计空间。这是一种耗费人力的次优方法。我们提出了有效的神经网络的设计自动化技术。我们研究了自动设计专门的快速模型，自动通道修剪和自动混合精度量化。我们证明了这种基于学习的自动化设计比基于规则的人类设计具有更高的性能和效率。此外，我们缩短了200倍的设计周期比以前的工作，使我们能够设计专门的神经网络模型，为不同的硬件平台。
2019-04-24 cs.LG stat.ML
Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification
本文提出一种多级量化框架，用于基于SVI的贝叶斯神经网络，实现4位精度下的高精度不确定性估计和高效部署。
2025-12-11 cs.LG
Class-based Quantization for Neural Networks
Technical University of Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；Xidian University（西安电子科技大学）
在深度神经网络（DNN）中，有大量的权重和乘法累加（MAC）运算。因此，在资源受限的平台上应用DNN是具有挑战性的，例如，手机量化是减少DNN的大小和计算复杂性的方法。现有的量化方法要么需要硬件开销来实现非均匀量化，要么专注于模型式和层式均匀量化，其不如滤波器式量化那样细粒度。在本文中，我们提出了一种基于类的量化方法来确定DNN中每个滤波器或神经元的最小量化比特数。在所提出的方法中，每个过滤器或神经元相对于数据集中的类的数量的重要性得分首先进行评估。分数越大，滤波器或神经元越重要，因此量化比特的数量应该越大。然后，采用搜索算法来利用滤波器和神经元的不同重要性来确定每个滤波器或神经元的量化比特数。实验结果表明，该方法可以在低量化比特宽度的情况下保持推理精度。在相同量化比特数的情况下，该方法也可以比现有方法获得更好的推理精度。
2022-11-27 cs.LG
Pruning and Quantization Impact on Graph Neural Networks
本研究实证评估了三种剪枝和三种量化方法对多种GNN模型及任务的影响，发现非结构化细粒度全局剪枝可显著减小模型规模（50%）并保持或提升精度，而量化影响因数据集而异。
2025-10-24 cs.LG
ILMPQ : An Intra-Layer Multi-Precision Deep Neural Network Quantization framework for FPGA
Northeastern University（东北大学）
本工作针对常用的FPGA（现场可编程门阵列）器件作为DNN边缘计算的硬件平台。我们专注于DNN量化作为主要的模型压缩技术。这项工作的新颖之处在于：我们使用了一种沿着层内维度支持多精度的量化方法，而现有的量化方法沿着层间维度应用多精度量化。层内多精度方法可以统一不同层的硬件配置以减少计算开销，同时保持层间方法的模型精度。我们提出的ILMPQ DNN量化框架在ImageNet数据集上的ResNet-18中达到了70.73 Top1的准确度。我们还在两个FPGA器件上验证了所提出的MSP框架，Xilinx XC 7Z 020和XC 7Z 045。与定点量化方法相比，我们在ImageNet上实现了3.65倍的端到端推理时间加速。
2021-10-30 cs.LG
Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks
Meta Reality Lab Research（Meta现实实验室研究部门）；AGH UST（AGH科技大学）
在低功耗嵌入式设备中部署深度神经网络以用于实时的约束应用需要优化网络的存储器和计算复杂性，通常通过量化权重。大多数现有的作品采用线性量化，这会导致相当大的下降，在精度的权重位宽低于8。由于权重的分布通常是不均匀的（大多数权重集中在零附近），因此其他方法（如对数量化）更适合，因为它们能够更精确地保持权重分布的形状。此外，使用以2为底的对数表示允许通过用位移位替换乘法来优化乘法。在本文中，我们探讨利用较低的位精度的非线性量化技术，并确定有利的硬件实现选项。我们开发了量化感知训练（QAT）算法，该算法允许训练低位宽的二次幂（PoT）网络，并在不同任务中实现了与最先进的浮点模型相当的精度。我们探讨了PoT权重编码技术，并研究了三种不同量化方案（均匀，PoT和附加PoT（APoT））的MAC单元的硬件设计，以显示使用所提出的方法时提高的效率。实验结果表明，对于低位宽精度，非均匀量化的性能优于均匀量化，同时PoT量化大大降低了神经网络的计算复杂性。
2022-03-09 cs.LG
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks
University of Notre Dame（圣母大学）
脉冲神经网络（SNN）的能量高效实现和部署已经引起了极大的兴趣，这是由于开发能够实现生物大脑的计算能力和能量效率的人工系统的可能性。SNN在现代数字硬件上的高效实现也受到机器学习和深度神经网络（DNN）的进步的启发。在DNN的有效部署中广泛采用的两种技术-参数的量化和修剪，可以压缩模型大小，减少内存占用，并促进低延迟执行。量化和修剪之间的相互作用以及它们如何影响SNN加速器上的模型性能目前尚不清楚。我们研究了各种组合的修剪和量化的隔离，累积，并同时（联合）到一个国家的最先进的SNN目标的动态视觉传感器相机（DVS）的手势识别。我们表明，这种国家的最先进的模型是服从积极的参数量化，没有遭受任何损失的准确性下降到三元权重。然而，修剪仅保持高达80%稀疏度的等精度，这导致比我们的建筑模型上的最佳量化多45%的能量。应用修剪和量化两者可能导致准确度损失，以针对给定硬件配置在能量准确度帕累托边界上提供有利的折衷。
2023-02-08 cs.LG
Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks
AMD（超威半导体公司）
本文提出一种无需超参数且不依赖反向传播的后训练量化方法error diffusion（ED），通过将神经网络视为复合函数扩散各层量化误差，并配合基于PyTorch的TensorCast库支持块缩放数字格式，有效提升了视觉模型和LLMs的量化效果与部署。
2024-10-15 cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出一种量化感知的张量分解算法，利用ADMM直接获得CP分解的量化因子，在压缩神经网络的同时保持预测质量，并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
Pruning vs Quantization: Which is Better?
Qualcomm AI Research（高通人工智能研究）
本文系统比较了神经网络剪枝与量化两种压缩技术，通过理论分析误差下界及在3个任务上训练8个大规模模型的实验，发现量化在大多数情况下优于剪枝，仅在极高压缩率时剪枝才可能具有准确率优势。
2024-02-16 cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Toronto（多伦多大学）；Toronto, ON, Canada（加拿大安大略省多伦多市）
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度，作为降低训练计算成本的一种方式（Na & Mukhopadhyay，2016）（Courbariaux et al.，2014年）。我们提出了一种新的动态精度缩放（DPS）计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽，我们在MNIST数据集上实现了98.8%的测试准确度，与深度学习框架中使用的标准32位浮点值相比，权重的平均位宽仅为16位，激活的平均位宽为14位。
2019-01-24 cs.LG
Quantization of Spiking Neural Networks Beyond Accuracy
Worcester Polytechnic Institute（沃斯特理工大学）
研究探讨了脉冲神经网络量化中行为保持与精度的关系，提出EMD作为评估指标，发现统一量化会导致分布偏移，而学习量化能保持行为。
2026-04-15 cs.LG
Tango: rethinking quantization for graph neural network training on GPUs
Rutgers, The State University of New Jersey（罗格斯，新泽西州立大学）；Amazon（亚马逊）；University of Connecticut（康涅狄格大学）；Institution of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
Tango通过高效精度保持规则、量化感知原语及与DGL集成，在GPU上加速量化GNN训练，优于现有方法。
2023-09-01 cs.LG
Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project（意大利MUR PRIN项目）；National Plan for NRRP Complementary Investments（国家NRRP补充投资计划）
本文提出了一种深度神经网络压缩方法，通过在训练过程中引入每层正则化项，使权重自然形成聚类，从而减少量化带来的精度损失，同时保持压缩潜力，并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
Neural Networks with Quantization Constraints
University of Pennsylvania（宾夕法尼亚大学）
在资源和延迟受限的设置中，有必要在不显著降低性能的情况下实现深度学习模型的低精度实现。此外，利用对跨层量化的敏感性的差异可以允许混合精度实现来实现相当好的计算性能权衡。然而，通过量化操作的反向传播需要引入梯度近似，并且由于大的搜索空间，对于现代架构来说，选择哪些层进行迭代是具有挑战性的。在这项工作中，我们提出了一种约束学习方法，量化意识的培训。我们制定低精度监督学习作为一个约束优化问题，并表明，尽管它的非凸性，所产生的问题是强对偶，并取消梯度估计。此外，我们表明，对偶变量表示的敏感性的约束扰动的目标。我们证明了所提出的方法在图像分类任务中表现出有竞争力的性能，并利用灵敏度结果来应用基于对偶变量值的层选择性量化，从而导致相当大的性能改进。
2022-10-27 cs.LG
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外，有民间传说，量化作为一个隐式正则化，从而可以提高神经网络的泛化能力，但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量，研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播，它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核（NTK），并证明了NTK的特征值近似以指数速率衰减，这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明，再生核希尔伯特空间（RKHS）的二进制权重神经网络覆盖一个严格的子集的功能相比，一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外，二值权值神经网络与实值权值神经网络相比，给出了更小的泛化间隙，这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
Oscillations Make Neural Networks Robust to Quantization
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）
本研究通过引入振荡正则化器，证明在QAT中振荡有助于提升模型在量化后的性能。
2025-12-09 cs.LG
Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Irvine（加州大学尔湾分校）
提出了一种基于优化的低位宽卷积神经网络（CNN）量化和训练方法LBW-Net。具体来说，我们通过在反向传播过程中最小化全精度权重和量化权重之间的欧几里得距离，将权重转换为零或2的幂。我们的特征的低位宽量化问题的组合性质。对于2位（三进制）CNN，$N$权重的量化可以通过$O(N\log N)$复杂度的精确公式来完成。当位宽为3及以上时，我们进一步提出了一种半解析阈值方案，该方案具有单个用于量化的自由参数，在计算上是廉价的。通过网络再训练和目标检测测试进一步确定自由参数。LBW-Net与全精度CNN相比具有几个理想的优势，包括节省大量内存，能源效率和更快的部署。我们在PASCAL VOC数据集上的实验表明，与32位浮点算法相比，6位LBW-Net在目标检测任务中的性能几乎是无损的，在某些真实世界的视觉场景中甚至可以做得更好，同时经验上享受超过4个$\times$更快的部署。
2017-08-17 cs.LG
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术，因此在工业中通常采用。最近的工作表明，已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击，并且量化表示的认证是保证鲁棒性所必需的。在这项工作中，我们提出了量化感知区间界限传播（QA-IBP），一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发，我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同，我们的方法可以处理QNN的离散语义。基于QA-IBP，我们还开发了一个完整的验证过程，用于验证QNN的对抗鲁棒性，保证终止并产生正确的答案。与现有的方法相比，我们的验证过程的关键优势是，它完全运行在GPU或其他加速器设备上。我们通过实验证明，我们的方法显着优于现有的方法，并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
Efficient Automation of Neural Network Design: A Survey on Differentiable Neural Architecture Search
IBISC（IBISC实验室）；Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）；Massachusetts Institute of Technology（麻省理工学院）
本文是聚焦可微神经网络架构搜索（DNAS）的综述，梳理该领域最新进展，提出基于挑战的新分类法，分析其成果与对NAS领域的影响，并给出未来研究方向。
2023-05-01 cs.AI cs.CV cs.LG
Residual Quantization with Implicit Neural Codebooks
FAIR at Meta（Meta FAIR实验室）；Eindhoven University of Technology（埃因霍温理工大学）
针对传统残差量化未考虑误差与已选码字依赖的问题，提出基于前序近似构建步骤专用码本的神经残差量化方法QINCo，在多个数据集上以更小码长实现更优的最近邻搜索精度。
2024-05-21 cs.LG
Quantune: Post-training Quantization of Convolutional Neural Networks using Extreme Gradient Boosting for Fast Deployment
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）
为了对一系列资源受限的目标采用卷积神经网络（CNN），有必要通过执行量化来压缩CNN模型，由此将精度表示转换为较低比特表示。为了克服诸如训练数据集的敏感性、高计算要求和大时间消耗之类的问题，已经提出了不需要再训练的后训练量化方法。此外，为了在不进行再训练的情况下补偿精度下降，以前关于后训练量化的研究提出了几种补充方法：校准、方案、裁剪、粒度和混合精度。为了生成具有最小误差的量化模型，有必要研究这些方法的所有可能组合，因为它们中的每一个都是互补的，并且CNN模型具有不同的特性。然而，穷举或启发式搜索要么太耗时，要么是次优的。为了克服这一挑战，我们提出了一种称为Quantune的自动调谐器，它构建了一个梯度树提升模型，以加速搜索量化配置并减少量化误差。我们评估和比较Quantune与随机，网格，和遗传算法。实验结果表明，Quantune将量化的搜索时间减少了约36.5倍，在六个CNN模型中的准确性损失为0.07~0.65%，包括脆弱的模型（MobileNet，SqueezeNet和ShuffleNet）。为了支持多个目标并采用不断发展的量化工作，Quantune作为一个开源项目在一个成熟的深度学习编译器上实现。
2022-02-21 cs.LG
Unsupervised Graph Neural Network Framework for Balanced Multipatterning in Advanced Electronic Design Automation Layouts
The American University in Cairo（埃及亚历山大大学）
本文提出了一种基于无监督图神经网络的框架，用于解决电子设计自动化中的多图案化问题，通过图着色方法优化布局分解，实现特征违规最小化和掩模平衡。
2025-11-20 cs.AR cs.LG
Machine learning in problems of automation of ultrasound diagnostics of railway tracks
Ulyanovsk State Technical University（乌里扬诺夫斯克国立技术大学）；Russian IT Group（俄罗斯IT集团）
介绍了一种铁路轨道缺陷图实时自动解码系统的结构。该系统包括超声数据预处理模块、一组神经网络分类器、决策模块。数据的预处理包括将测量信息仿射变换为适合于神经网络操作的格式，以及测量通道上的信息的组合，这取决于所定义的缺陷类型。分类器建立在卷积神经网络上。所提出的解决方案可以有效地实现现代元素的基础上进行并行计算，包括张量处理器和GPU。
2020-06-29 cs.LG eess.SP
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Post-Training Piecewise Linear Quantization for Deep Neural Networks
Samsung Semiconductor, Inc.（三星半导体有限公司）；Microsoft（微软）
量化在资源有限的设备上深度神经网络的节能部署中起着重要作用。训练后量化是非常可取的，因为它不需要重新训练或访问完整的训练数据集。通过将神经网络从全精度转换为8位定点整数，建立了一种统一的后训练量化方案，取得了令人满意的结果。然而，当量化到较低的比特宽度时，它遭受显著的性能下降。在本文中，我们提出了一个分段线性量化（PWLQ）计划，使张量值，具有长尾巴的钟形分布的准确近似。我们的方法将整个量化范围分解为每个张量的非重叠区域，每个区域被分配相同数量的量化级别。通过最小化量化误差找到划分整个范围的最佳断点。实验结果表明，与现有的训练后量化方法相比，该方法在图像分类、语义分割和目标检测等方面具有更好的性能，且开销较小.
2020-03-18 cs.CV cs.LG
Confounding Tradeoffs for Neural Network Quantization
Luminous Computing（卢米诺斯计算公司）；Facebook（脸书）
已经开发了许多神经网络量化技术来减少深度学习的计算和存储器占用。然而，这些方法的评估受到混杂的权衡，这可能会影响推理加速或资源复杂性，以换取更高的准确性。在这项工作中，我们阐述了各种权衡，其影响往往被忽视，并实证分析了它们对统一和混合精度训练后量化的影响，发现这些混淆的权衡可能对量化网络精度的影响比实际量化方法本身更大。由于这些权衡限制了不同用例可达到的硬件加速，我们鼓励研究人员通过“量化卡”结构明确报告这些设计选择。“我们希望量化卡能够帮助研究人员更有效地比较方法，并帮助工程师确定量化技术对硬件的适用性。
2021-02-12 cs.CV cs.LG
Least squares binary quantization of neural networks
Apple Inc.（苹果公司）
量化深度神经网络的权重和激活导致以较低的准确性为代价的推理效率的显著提高。全精度模型和量化模型之间的精度差距的来源是量化误差。在这项工作中，我们专注于二进制量化，其中值被映射到-1和1。我们提供了一个统一的框架来分析不同的扩展策略。受2位与1位量化的帕累托最优性的启发，我们引入了一种新的2位量化与可证明的最小平方误差。我们的量化算法可以有效地实现在硬件上使用逐位操作。我们提出的证据表明，我们提出的方法是最佳的，也提供了经验误差分析。我们在ImageNet数据集上进行了实验，并在使用所提出的最小二乘量化算法时显示出降低的准确性差距。
2020-06-13 cs.LG cs.NE
Fast Adjustable Threshold For Uniform Neural Network Quantization (Winning solution of LPIRC-II)
Expasoft LLC（Expasoft有限责任公司）；Novosibirsk State University（新西伯利亚国立大学）；Microtech（微科）
神经网络量化过程是将神经网络移植到移动设备上的必要步骤。量化允许加速推理，减少内存消耗和模型大小。它可以在不使用校准过程（量化所需的参数的计算）进行微调的情况下执行，或者可以从头开始用量化来训练网络。在标记数据上从头开始量化训练是相当长且消耗资源的过程。由于标定过程中出现的野值，网络未经微调的量化会导致精度下降。在本文中，我们建议通过引入用于量化阈值的训练比例因子来显著简化量化过程。它允许加速量化过程，微调多达8个时期，以及减少对训练图像集的要求。据我们所知，所提出的方法使我们能够获得第一个公开可用的MNAS量化版本，而不会显着降低准确性- 74.8%对原始全精度网络的75.3%。模型和代码已准备就绪，可在https://github.com/agoncharenko1992/FAT-fast_adjustable_threshold上获得。
2019-06-18 cs.LG stat.ML
A Silicon Photonic Accelerator for Convolutional Neural Networks with Heterogeneous Quantization
Colorado State University（科罗拉多州立大学）
卷积神经网络（CNN）中的参数量化可以帮助生成具有较低内存占用和计算复杂性的高效模型。但是，均匀量化可能导致CNN模型精度的显著降低。相比之下，异构量化是一种很有前途的方法来实现紧凑的，量化的模型具有更高的推理精度。在本文中，我们提出了HQNNA，一个CNN加速器的基础上非相干硅光子，可以加速均匀量化和非均匀量化的CNN模型。我们的分析表明，HQNNA实现了比最先进的光子CNN加速器高出73.8倍的每比特能量和高出159.5倍的吞吐量能量效率。
2022-05-17 cs.AR cs.LG
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Electron energy loss spectroscopy database synthesis and automation of core-loss edge recognition by deep-learning neural networks
University of California, Irvine（加州大学欧文分校）
电子能量损失谱（EELS）谱中编码的电离边缘使得能够进行包括成分分析和元素定量的新材料分析。并行EELS仪器和快速、灵敏的探测器的发展大大提高了EELS光谱的采集速度。然而，传统的去芯边缘识别方法是基于经验和人工劳动的，这限制了处理速度。到目前为止，低信噪比和低跳变率的原始EELS光谱的核心损失的边缘一直是具有挑战性的自动边缘识别。在这项工作中，提出了一种卷积双向长短期记忆神经网络（CNN-BiLSTM），以自动检测和元素识别的核心损失边缘从原始光谱。EELS光谱数据库合成使用我们的前向模型，以协助训练和验证的神经网络。为了使合成的光谱类似于真实的光谱，我们收集了大量的实验获得的EELS核心边缘库。在训练库的合成中，采用多高斯模型拟合实验得到的真实边缘，并模拟和加入噪声和仪器不稳定性。训练良好的CNN-BiLSTM网络针对模拟光谱和从实验中收集的真实光谱进行测试。该网络的高准确率为94.9%，证明了在不对原始光谱进行复杂预处理的情况下，所提出的CNN-BiLSTM网络以高准确度实现了EELS光谱的核心丢失边缘识别的自动化。
2022-09-26 cond-mat.mtrl-sci cs.LG eess.SP
Exploration of Convolutional Neural Network Architectures for Large Region Map Automation
University of Winnipeg（温尼伯大学）
深度学习语义分割算法为土地利用和土地覆盖（LULC）地图的自动化生产提供了改进的框架，这显著提高了地图生成的频率以及生产质量的一致性。在这项研究中，共28个不同的模型变化进行了检查，以提高LULC地图的准确性。实验是使用带有北美土地变化监测系统标签的大地卫星5/7或大地卫星8号卫星图像进行的。评估了各种CNN和扩展组合的性能，其中输出步幅为4的VGGNet和修改后的U-Net架构提供了最佳结果。还提供了对生成的LULC图的额外扩展分析。使用深度神经网络，这项工作实现了92.4%的准确度为13 LULC类在马尼托巴省南部的NALCMS发表的结果比15.8%的改善。基于感兴趣的大区域，Landsat 8数据的更高辐射分辨率导致16个LULC类的总体准确度（88.04%）优于Landsat 5/7（80.66%）。与先前公布的NALCMS结果相比，这表示整体准确性提高了11.44%和4.06%，包括与其他已公布的LULC地图自动化方法相比，更大的土地面积和更多的LULC类别纳入模型。
2022-11-07 cs.CV cs.LG eess.IV
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University（奥古斯塔大学）
本文针对量化神经网络压缩，通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差，且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's Algorithm
Department of Mathematics University of California San Diego（数学系 加州大学圣迭戈分校）
本文通过几何方法证明了GPTQ算法与Babai算法的等价性，并探讨了晶格基底约简在量化中的潜在应用。
2026-03-02 cs.AI cs.LG
Practical Layout-Aware Analog/Mixed-Signal Design Automation with Bayesian Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于贝叶斯神经网络的少量数据学习算法，利用多保真度优化处理版图感知的模拟/混合信号电路设计自动化问题，在版图后性能优化和原理图级尺寸设计中均比现有方法更高效。
2023-11-27 cs.CE cs.LG cs.SY
Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design（新加坡科技设计大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization
Hailo Technologies（海洛科技）
由于需要在嵌入式设备上高效实现深度神经网络，神经网络的量化已成为常见做法。在本文中，我们利用了大多数网络中经常被忽视的自由度-对于给定的层，单个输出通道可以通过任何因子进行缩放，前提是下一层的相应权重被逆缩放。因此，一个给定的网络有许多因子分解，这些因子分解改变了网络的权重，而不改变其功能。我们提出了一个概念上简单，易于实现的方法，使用此属性，并表明适当的因式分解显着降低量化所造成的退化。我们在各种各样的网络上表现出改进，并为MobileNets实现了最先进的降级结果。虽然我们的重点是量化，但这种类型的因式分解也适用于其他领域，如网络修剪，神经网络正则化和网络可解释性。
2019-02-05 cs.LG stat.ML
Relaxed Quantization for Discretized Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（TNO智能成像）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm（高通）
神经网络量化由于其对在资源受限的设备上部署大型模型的巨大影响而成为一个重要的研究领域。为了训练网络，可以有效地离散化而不损失性能，我们引入了可微量化过程。可微性可以通过将网络的权重和激活上的连续分布转换为量化网格上的分类分布来实现。这些随后被放松到连续的替代，可以允许有效的基于梯度的优化。我们进一步表明，随机舍入可以被看作是一个特殊的情况下，所提出的方法，根据这种提法的量化网格本身也可以优化与梯度下降。我们通过实验验证了我们的方法在MNIST，CIFAR 10和Imagenet分类上的性能。
2018-10-03 cs.LG stat.ML
Verifying Low-dimensional Input Neural Networks via Input Quantization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
深度神经网络是一个有吸引力的工具，用于压缩系统中的控制策略查找表，如机载防撞系统（ACAS）。通过验证技术确保这种神经控制器的安全性至关重要。分析ACAS Xu网络的问题已经激发了许多成功的神经网络验证器。这些验证器通常分析神经网络的内部计算，以决定关于输入/输出的属性是否成立。神经网络计算的内在复杂性使得这种验证器运行缓慢并且容易受到浮点错误的影响。本文重新讨论了ACAS Xu网的原问题。该网络采用低维传感器输入和由预先计算的查找表提供的训练数据。我们建议将输入量化层前置到网络。量化允许通过输入状态枚举进行有效的验证，其复杂性受量化空间的大小限制。量化相当于在运行时间的最近邻插值，这已被证明在模拟中为ACAS提供可接受的精度。此外，我们的技术可以提供精确的验证结果免疫浮点错误，如果我们直接枚举的目标推理实现或对目标实现的准确模拟的网络输出。
2021-08-18 cs.LG cs.LO
Deep Neural Network Compression with Single and Multiple Level Quantization
Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
网络量化是压缩深度神经网络以供实际使用的有效解决方案。现有的网络量化方法不能充分利用深度信息来生成低比特压缩网络。本文提出了两种新的网络量化方法，即用于高比特量化的单级网络量化（SLQ）和用于极低比特量化（三进制）的多级网络量化（MLQ），首次从宽度和深度两个层次考虑网络量化。在宽度级，将参数分为两部分：一部分用于量化，另一部分用于重新训练以消除量化损失。SLQ利用参数的分布来提高宽度级别。在深度层中，我们迭代地将增量层补偿引入到分层中，从而减少每次迭代中的量化损失。基于AlexNet、VGG-16、GoogleNet和ResNet-18等最先进的神经网络，对所提出的方法进行了大量实验验证。SLQ和MLQ都取得了令人印象深刻的结果。
2018-12-15 cs.AI cs.LG stat.ML
CEG4N: Counter-Example Guided Neural Network Quantization Refinement
Federal University of Amazonas（亚马逊联邦大学）
神经网络是基于学习的软件系统的重要组成部分。然而，它们的高计算、内存和功耗要求使得在低资源域中使用它们具有挑战性。出于这个原因，神经网络通常在部署之前被量化。现有的量化技术往往会降低网络的精度。我们提出了反例引导的神经网络量化细化（CEG 4 N）。这种技术结合了基于搜索的量化和等价性验证：前者最大限度地减少了计算需求，而后者保证了网络的输出在量化后不会改变。我们在一组不同的基准上评估CEG 4 N ~，包括大型和小型网络。我们的技术成功地量化了评估中的网络，同时生成的模型比最先进的技术准确率高出72%。
2022-07-09 cs.AI cs.LG cs.SE
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego（加州大学圣地亚哥分校）
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而，修剪通常仅应用于网络的权重。在这项工作中，我们联合应用新的均匀量化和非结构化修剪方法，在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法，我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例，并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察，我们提出了非交换性假设：对于一个为特定任务训练的给定深度神经网络，存在一个精确的训练时间表，其中可以引入量化和修剪来优化网络性能。我们确定，这种最佳顺序不仅存在，而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划，我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech（法国原子能与替代能源委员会技术中心）；Mines Saint-Etienne（圣埃蒂安矿业学院）
随着将神经网络模型部署在嵌入式系统上的意愿的增长，并且考虑到相关的存储器占用和能量消耗问题，寻找更轻的解决方案来存储神经网络，例如权重量化和更有效的推理方法成为主要的研究主题。与此同时，对抗性机器学习最近兴起，引起了令人印象深刻的关注，揭示了机器学习模型的一些关键缺陷，特别是神经网络。特别是，被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中，我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现，量化不提供任何强大的保护，在严重的形式的梯度掩蔽的结果，并提出一些假设来解释它。然而，我们实验观察到穷人的可转移能力，我们解释的量化值移位现象和梯度错位，并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Histogram-Equalized Quantization for logic-gated Residual Neural Networks
CEA-LETI
本文提出自适应线性对称量化框架HEQ，通过步长优化自动调整阈值，在CIFAR-10达到先进性能，并支持低硬件复杂度、高精度的逻辑门控残差网络训练。
2025-01-09 cs.AR cs.LG
Quantized Neural Networks: Characterization and Holistic Optimization
Seoul National University（首尔国立大学）
量化深度神经网络（QDNN）对于低功耗、高吞吐量和嵌入式应用是必要的。以往的研究主要集中在开发优化方法的量化给定的模型。然而，量化灵敏度取决于模型架构。因此，模型选择需要成为QDNN设计过程的一部分。此外，权重和激活量化的特性也有很大的不同。该研究提出了一种优化QDNN的整体方法，其中包含QDNN训练方法以及量化友好的架构设计。合成数据用于可视化权重和激活量化的效果。结果表明，更深的模型更容易激活量化，而更广泛的模型提高弹性的重量和激活量化。这项研究可以为更好地优化QDNN提供见解。
2020-05-31 cs.LG stat.ML
Progressive Neural Image Compression with Nested Quantization and Latent Ordering
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通技术公司高通人工智能研究院）；University of California Irvine（加州大学欧文分校）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司高通人工智能研究院）
我们提出了PLONQ，一种渐进式神经图像压缩方案，它通过允许使用单个比特流进行质量可伸缩编码来推动可变比特率压缩的边界。与现有的学习可变比特率解决方案（为每种质量产生单独的比特流）相比，它能够更容易地进行速率控制，并且需要更少的存储。利用基于潜在缩放的可变比特率解决方案，我们引入嵌套量化，一种用嵌套量化网格定义多个量化级别的方法，并从粗量化到最细量化级别逐步细化所有潜在值。为了在任何两个量化级别之间实现更精细的渐进性，潜在元素以速率失真意义上定义的重要性排序递增地细化。据我们所知，PLONQ是第一个基于学习的渐进图像编码方案，它优于SPIHT，一个著名的基于小波的渐进图像编解码器。
2021-02-04 cs.CV cs.LG
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization
Duke University（杜克大学）
混合精度量化可以潜在地实现深度神经网络的性能和压缩率之间的最佳折衷，因此已经被广泛研究。然而，它缺乏一个系统的方法来确定确切的量化方案。以前的方法要么只检查小的手动设计的搜索空间，要么利用繁琐的神经架构搜索来探索广阔的搜索空间。这些方法不能有效地导致最佳量化方案。本文从引入比特级稀疏性的角度提出了比特级稀疏量化（BSQ）来解决混合精度量化问题。我们考虑量化权重的每一位作为一个独立的可训练变量，并引入了一个可微的位稀疏正则化。BSQ可以在一组权值元素上引入全零位，实现动态精度降低，从而得到原模型的混合精度量化方案。我们的方法可以通过一个基于梯度的优化过程来探索完整的混合精度空间，只有一个超参数来权衡性能和压缩。与以前的方法相比，BSQ在CIFAR-10和ImageNet数据集上的各种模型架构上实现了更高的准确性和更高的比特减少。
2021-02-20 cs.CV cs.LG
Standard Deviation-Based Quantization for Deep Neural Networks
McGill University（麦吉尔大学）
深度神经网络的量化是一种很有前途的方法，可以降低推理成本，使在资源受限的设备上运行深度网络变得可行。受现有方法的启发，我们提出了一个新的框架，使用网络的权重和激活分布的知识来学习量化区间（离散值），即，标准偏差此外，我们提出了一种新的基2对数量化方案，将权重转换为2的幂次离散值。我们提出的方案，使我们能够取代资源饥饿的高精度乘法器与简单的移位加操作。根据我们的评估，与全精度模型相比，我们的方法优于CIFAR 10和ImageNet数据集上的现有工作，甚至在3位权重和激活下实现了更好的准确性性能。此外，我们的方案同时修剪网络的参数，并允许我们灵活地调整修剪率在量化过程中。
2022-02-24 cs.AI cs.LG
Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
针对神经网络中权重和激活的钟形和长尾分布，提出了一种有效的非均匀量化方案--加性二次幂（APoT）量化。通过将所有量化水平约束为2的幂项之和，APoT量化享有高计算效率和与权重分布的良好匹配。一个简单的重新参数化的裁剪功能，以产生一个更好的定义梯度学习裁剪阈值。此外，提出了权重归一化来细化权重分布，使训练更加稳定和一致。实验结果表明，我们提出的方法优于国家的最先进的方法，甚至是竞争力的全精度模型，证明了我们提出的APoT量化的有效性。例如，我们在ImageNet上的4位量化ResNet-50实现了76.6%的top-1准确率，没有花哨的装饰;同时，与均匀量化的模型相比，我们的模型减少了22%的计算成本。该代码可在https://github.com/yhhhli/APoT_Quantization上获得。
2020-02-02 cs.LG stat.ML
Effective Quantization Methods for Recurrent Neural Networks
Megvii Inc.（旷视科技有限公司）
减小神经网络的权重、激活和梯度的位宽可以缩小其存储大小和内存使用，并且还允许通过利用逐位操作来更快地训练和推理。然而，以前的RNN量化尝试在使用低位宽权重和激活时表现出相当大的性能下降。在本文中，我们提出了在LSTM和GRU单元中描述门和互连结构的方法。此外，我们提出了平衡量化方法的权重，以进一步减少性能下降。在PTB和IMDB数据集上的实验证实了我们方法的有效性，因为我们模型的性能匹配或超过了先前最先进的量化RNN。
2016-11-30 cs.CV cs.LG
