arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2209.03487cs.LGcs.ITcs.NAmath.ITmath.NA
收藏

一种简单的神经网络量化方法

A simple approach for quantizing neural networks

LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of California San Diego(加州大学圣地亚哥分校)

Johannes Maly, Rayan Saab

AI总结:

提出一种简单的神经网络权重量化方法,通过确定性预处理实现无记忆标量量化并保持性能,无需超参数调优且具备严格理论保证,适用于深度网络。

摘要:

在这篇短文中,我们提出了一种对完全训练好的神经网络权重进行量化的新方法。一个简单的确定性预处理步骤使我们能够通过无记忆标量量化对网络层进行量化,同时保持网络在给定训练数据上的性能。一方面,这种预处理的计算复杂度略高于文献中最先进的算法。另一方面,我们的方法不需要任何超参数调优,并且与以前的方法相比,允许进行简单的分析。我们在量化单个网络层的情况下提供了严格的理论保证,并表明如果训练数据表现良好(例如,如果它是从合适的随机分布中采样的),则相对误差随着网络中参数数量的增加而衰减。所开发的方法还通过连续应用于单个层,轻松允许对深度网络进行量化。

英文摘要:

In this short note, we propose a new method for quantizing the weights of a fully trained neural network. A simple deterministic pre-processing step allows us to quantize network layers via memoryless scalar quantization while preserving the network performance on given training data. On one hand, the computational complexity of this pre-processing slightly exceeds that of state-of-the-art algorithms in the literature. On the other hand, our approach does not require any hyper-parameter tuning and, in contrast to previous methods, allows a plain analysis. We provide rigorous theoretical guarantees in the case of quantizing single network layers and show that the relative error decays with the number of parameters in the network if the training data behaves well, e.g., if it is sampled from suitable random distributions. The developed method also readily allows the quantization of deep networks by consecutive application to single layers.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑