arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 1901.04969cs.DCcs.AI
收藏

FPGA上的低精度常参数CNN

Low Precision Constant Parameter CNN on FPGA

Intel PSG(英特尔产品安全组(注:PSG 通常指 Product Security Group,此处按常见译法)或英特尔(Intel)的产品安全部门,更准确的是 Intel PSG 作为机构名保留英文并直译,因 Intel 是公司,PSG 可能是 Product Security Group,但按要求提取到公司级别即可,所以直接译 Intel(英特尔)作为机构名,因 Intel 本身是公司,PSG 可能是其内部部门,但按要求提取到公司/研究院级别,所以机构名是 Intel,即英特尔公司。)

Thiam Khean Hah, Yeong Tat Liew, Jason Ong

摘要:

我们报告了针对稀疏和恒定参数优化的低精度CNN卷积层的FPGA实现结果。我们描述的技术,分摊成本的公因子乘法和自动利用密集的手调LUT结构。我们将此方法应用于稀疏Resnet 50模型上的Resnet的角情况残差块,以评估可实现的利用率和频率,并证明角情况块的有效性能为131和23 TOP/芯片。所有Resnet 50卷积层的多芯片持久实现的预计性能在批量大小为2时为10 k im/s/chip。在稀疏性标准化后,这比V100 GPU上限高1.37倍。

英文摘要:

We report FPGA implementation results of low precision CNN convolution layers optimized for sparse and constant parameters. We describe techniques that amortizes the cost of common factor multiplication and automatically leverage dense hand tuned LUT structures. We apply this method to corner case residual blocks of Resnet on a sparse Resnet50 model to assess achievable utilization and frequency and demonstrate an effective performance of 131 and 23 TOP/chip for the corner case blocks. The projected performance on a multichip persistent implementation of all Resnet50 convolution layers is 10k im/s/chip at batch size 2. This is 1.37x higher than V100 GPU upper bound at the same batch size after normalizing for sparsity.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑