Meta-Aggregator: Learning to Aggregate for 1-bit Graph Neural Networks
The University of Sydney(悉尼大学);Stevens Institute of Technology(斯蒂文斯理工学院);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);JD Explore Academy(京东探索学院)
在本文中,我们研究了一种新的Meta聚集方案,二值化图神经网络(GNNs)。我们首先开发一个普通的1位GNN框架,将GNN参数和图形特征二进制化。尽管轻量级架构,我们观察到,这个香草框架在区分图拓扑方面的区分能力不足,导致性能急剧下降。这一发现促使我们设计Meta聚合器来提高香草二进制GNN的表达能力,其中聚合方案可以基于二进制特征以可学习的方式自适应地改变。为此,我们提出了两种专用形式的Meta邻域聚合器,一个专用的Meta聚合器称为贪婪Gumbel邻域聚合器(GNA),和一个扩散的Meta聚合器称为自适应混合邻域聚合器(ANA)。GNA学习从候选池中专门挑选一个最佳聚合器,而ANA学习混合聚合行为,以同时保留多个聚合器的优点。此外,所提出的Meta聚合器可以很容易地用作现有全精度GNN的通用插件模块。在不同领域的实验表明,所提出的方法产生的结果优于最先进的。
2021-09-27 cs.CV cs.LG
Binarized Canonical Polyadic Decomposition for Knowledge Graph Completion
Osaka University(大阪大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
基于知识图的向量嵌入方法是知识图谱完备化的一种有效方法,但嵌入模型的存储效率较低,特别是当实体和关系的数量以及实值嵌入向量的维数较大时。我们提出了一个二进制化的CANDECOMP/PARAFAC(CP)分解算法,我们称之为B-CP,其中实值参数被替换为二进制值,以减少模型的大小。此外,我们表明,一个快速的分数计算技术可以开发与逐位操作。我们证明了B-CP是充分表达的,通过推导其嵌入的大小上的界。在多个基准数据集上的实验结果表明,该方法成功地将模型大小降低了一个数量级以上,同时保持与实值CP模型相同的任务性能。
2019-12-04 cs.LG stat.ML
Taming Binarized Neural Networks and Mixed-Integer Programs
Czech Technical University(捷克技术大学);HSBC Holdings(汇丰控股)
本文将二值化神经网络训练重构为混合整数规划的次可加对偶,证明其具有驯服表示,从而借助隐式微分框架实现反向传播,并推广至更广泛的混合整数规划。
2023-12-20 cs.AI cs.LG math.OC
An SMT-Based Approach for Verifying Binarized Neural Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Stanford University(斯坦福大学)
深度学习已经成为创建现代软件系统的有效方法,神经网络通常超过手工制作的系统。不幸的是,已知神经网络遭受各种安全和保密问题。形式化验证通过正式证明网络是正确的,是解决这一困难的一个有希望的途径。我们提出了一种基于SMT的技术,用于验证二进制神经网络-一种流行的神经网络,其中一些权重已被二进制化,以使神经网络更具内存和能源效率,更快地评估。我们的技术的一个新颖之处在于,它允许验证包括二进制化和非二进制化组件的神经网络。神经网络验证在计算上是非常困难的,所以我们在这里提出了各种优化,集成到我们的SMT过程中的演绎步骤,以及并行验证查询的方法。我们实现我们的技术作为一个扩展的Marabou框架,并使用它来评估流行的二进制神经网络架构的方法。
2021-01-17 cs.LG math.OC
Attacking Binarized Neural Networks
University of Guelph(圭尔夫大学);Canadian Institute for Advanced Research(加拿大高级研究所);Vector Institute for Artificial Intelligence(向量人工智能研究所)
具有低精度权重和激活的神经网络与其全精度等效物相比具有令人信服的效率优势。量化的两个最常讨论的好处是减少内存消耗,以及在使用有效的逐位操作实现时更快的前向传递。我们提出了极低精度神经网络的第三个好处:提高了对某些对抗攻击的鲁棒性,在最坏的情况下,性能与全精度模型相当。我们专注于非常低精度的情况下,权重和激活都被量化为$\pm$ 1,并注意到,随机量化权重在一个层可以大大减少迭代攻击的影响。我们观察到,未缩放的二进制神经网络表现出类似的效果,原来的防御蒸馏过程,导致梯度掩蔽,和一个错误的安全概念。我们通过使用不人为掩盖梯度的二进制模型进行黑盒和白盒实验来解决这个问题。
2018-01-31 cs.LG stat.ML
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
Binarized Neural Networks for Resource-Constrained On-Device Gait Identification
Stanford Computer Science(斯坦福大学计算机科学系);Stanford Electrical Engineering(斯坦福大学电气工程系);UnifyID Co.(UnifyID公司)
通过步态分析的用户认证是判别神经网络的一个有前途的应用-特别是由于步态加速度计的主要来源,口袋里的手机的无处不在。然而,传统的机器学习模型通常太大并且计算昂贵,以至于不能在低资源移动设备上进行推理。我们提出,二值化的神经网络可以作为强大的鉴别器,保持可接受的准确度水平,同时也大大降低了内存需求,从而实现设备上的推理。为此,我们提出了BiPedalNet,这是一种紧凑的CNN,几乎与Padova步态数据集的最新技术相匹配,内存开销仅为1/32。
2021-03-30 cs.LG
Binarized Neural Networks on the ImageNet Classification Task
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Peking University, Shenzhen(北京大学深圳研究生院)
我们在高分辨率ImageNet ILSVRC-2102数据集分类任务上训练了二值化神经网络(BNN),并取得了良好的性能。使用13层的中等规模网络,我们通过网络蒸馏在验证集上获得了84.1%的前5名分类准确率,远远优于XNOR网络上的73.2%和二进制化GoogleNET上的69.1%。我们希望通过我们目前的策略可以获得更好的性能的网络。我们提供了一个详细的讨论和初步的分析,在网络培训中使用的策略。
2016-11-19 cs.CV cs.LG cs.NE
Pruning Binarized Neural Networks: A Dedicated Framework and Globally Weighted Algorithms
Polytechnique Montreal(蒙特利尔理工学院)
本文针对二值化神经网络剪枝适配问题,提出基于PyTorch的专用框架及全局加权剪枝算法,在VGG11二值化模型上实现70%剪枝率且准确率不变,优于现有最优结果。
2026-08-28 cs.LG
Synaptic Metaplasticity in Binarized Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Thales(泰雷兹集团)
虽然深度神经网络在许多情况下都超过了人类的表现,但它们很容易出现灾难性遗忘:在训练新任务时,它们会迅速忘记以前学习过的任务。基于理想化任务的神经科学研究表明,在大脑中,突触通过根据其过去的历史调整其可塑性来克服这个问题。然而,这种“化生”行为不会直接转移到深层神经网络中以减轻灾难性遗忘。在这项工作中,我们将二值化神经网络(深度神经网络的低精度版本)使用的隐藏权重解释为化生变量,并修改其训练技术以减轻遗忘。基于这一想法,我们提出并通过实验证明,在多任务和流学习的情况下,一种训练技术,可以减少灾难性遗忘,而不需要以前提供的数据,也不需要数据集之间的正式边界,并且性能接近更主流的技术与任务边界。我们支持我们的方法与理论分析一个易于处理的任务。这项工作连接了计算神经科学和深度学习,为未来的嵌入式和神经形态系统提供了重要的资产,特别是当使用具有类似于超塑性物理学的新型纳米器件时。
2021-03-23 cs.LG cs.NE stat.ML
Neural Models for Output-Space Invariance in Combinatorial Problems
Indian Institute of Technology Delhi(印度理工学院德里分校)
最近,许多神经模型已经被提出来解决组合谜题,通过使用它们的解决实例隐式地学习底层约束,例如数独或图着色(GCP)。通常基于图神经网络(GNN)的所提出的架构的一个缺点是,它们不能在输出空间的大小上进行泛化,从输出空间中为变量分配值,例如,GCP中的颜色集,或数独中的板大小。我们将变量的输出空间称为“value-set”。虽然许多工作已经证明了GNN在图大小上的泛化,但还没有研究如何设计GNN来实现来自同一域的问题的值集不变性。例如,学习解决16 x 16的数独后,只有9 x 9的数独训练。在这项工作中,我们提出了新的方法来扩展基于GNN的架构,以实现值集不变性。具体来说,我们的模型建立在最近提出的循环关系网络。我们的第一种方法通过将多类节点分类问题转换为二进制节点分类问题来利用GNN的图大小不变性。我们的第二种方法通过添加多个与值集中的值对应的节点,然后根据问题的初始化将变量节点连接到值节点来直接处理多个类。我们对三个不同的组合问题的实验评估表明,我们的模型在我们的新问题上表现良好,与通用神经推理机相比。在我们的两个模型之间,我们观察到一个内在的权衡:虽然二值化模型在较小的值集上训练时提供了更好的性能,但多值模型的内存效率要高得多,从而在较大的值集上训练时提高了性能,而二值化模型无法训练。
2022-02-07 cs.AI cs.LG
Accelerating Deterministic and Stochastic Binarized Neural Networks on FPGAs Using OpenCL
James Cook University(詹姆斯库克大学);College of Science and Engineering(科学与工程学院)
最近的技术进步已经使现代中央处理单元(CPU)、图形处理单元(GPU)和现场可编程门阵列(FPGA)的可用计算能力、存储器和速度激增。因此,人工神经网络(ANN)的性能和复杂性正在迅速发展。虽然GPU加速的深度神经网络(DNN)目前提供最先进的性能,但它们消耗大量的功率。在CPU上训练这样的网络是低效的,因为数据吞吐量和并行计算是有限的。FPGA被认为是性能关键的低功耗系统的合适候选者,例如物联网(IOT)边缘设备。使用Xilinx SDAccel或英特尔FPGA SDK for OpenCL开发环境,可以在异构平台上加速使用高级OpenCL框架描述的网络。此外,DNN的资源利用率和功耗可以通过利用二值化网络权重的正则化技术来进一步增强。在本文中,我们介绍,据我们所知,第一个FPGA加速的随机二进制DNN实现,并将它们与使用GPU和FPGA加速的实现进行比较。我们开发的网络使用流行的MNIST和CIFAR-10数据集进行训练和基准测试,并实现了接近最先进的性能,同时与传统的GPU加速网络相比,功耗提高了16倍以上。我们的FPGA加速的确定性和随机BNN分别将MNIST和CIFAR-10上的推理时间减少了> 9.89倍和> 9.91倍。
2019-05-15 cs.LG stat.ML
Searching Similarity Measure for Binarized Neural Networks
Zhejiang University(浙江大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
二值化神经网络(BNN)作为一种应用于资源受限设备的模型,引起了学术界和工业界的广泛关注。然而,与全精度深度神经网络(DNN)相比,BNN遭受非平凡的精度下降,限制了其在各个领域的适用性。这部分是因为现有的网络组件,如相似性度量,是专门为DNN设计的,并且可能对BNN来说是次优的。在这项工作中,我们专注于BNN的关键组成部分--相似性度量,它量化了输入特征图和过滤器之间的距离,并提出了一种自动搜索方法,基于遗传算法,为BNN定制的相似性度量。使用ResNet、NIN和VGG对Cifar 10和Cifar 100进行的评估结果表明,大多数识别出的相似性度量比常用的互相关方法的精度提高了3.39%。
2022-06-05 cs.LG
Universal Approximation Theorems of Fully Connected Binarized Neural Networks
TU Dortmund University(多特蒙德工业大学)
神经网络(NN)以其在复杂学习问题中的高预测精度而闻名。除了实际的优点,神经网络也表明有利的理论性质,如普遍逼近(UA)定理。二进制神经网络(BNN)通过将权重和激活域限制为两个值来显著减少时间和内存需求。尽管有实际的优势,理论保证的基础上UA定理的BNN是相当稀疏的文献。我们通过在以下情况下提供全连接BNN的UA定理来缩小这一差距:(1)对于二进制输入,UA可以在一个隐藏层下构造性地实现;(2)对于实数输入,UA不能在一个隐藏层下实现,但可以在Lipschitz连续函数的两个隐藏层下构造性地实现。我们的研究结果表明,全连接的BNN可以近似函数普遍,在一定的条件下。
2021-02-04 cs.AI cs.LG
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
Université de Montréal(蒙特利尔大学);Technion - Israel Institute of Technology(以色列理工学院);Columbia University(哥伦比亚大学)
介绍了一种训练二值化神经网络(BNN)的方法--在运行时具有二值权值和激活的神经网络。在训练时,二进制权重和激活用于计算参数梯度。在前向过程中,BNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算,预计这将大大提高功率效率。为了验证BNN的有效性,我们在Torch 7和Theano框架上进行了两组实验。在这两个数据集上,BNN在MNIST、CIFAR-10和SVHN数据集上都取得了接近最先进的结果。最后但并非最不重要的是,我们编写了一个二进制矩阵乘法GPU内核,使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍,而不会损失任何分类精度。用于训练和运行我们的BNN的代码可以在线获得。
2016-03-17 cs.LG
Combinatorial Attacks on Binarized Neural Networks
College of Computing(计算学院);Georgia Tech(佐治亚理工学院);Department of Computer Science(计算机科学系);University of Southern California(南加州大学)
二值化神经网络(BNN)由于其计算效率近年来引起了人们极大的兴趣。同时,已经表明神经网络可能对“攻击”(输入中的微小对抗性变化)过于敏感,这可能不利于它们在安全关键领域的使用。设计有效欺骗训练模型的攻击算法是学习鲁棒神经网络的关键一步。BNN的离散性、不可微性使其与全精度的BNN区别开来,这对基于梯度的攻击提出了挑战。在这项工作中,我们研究了通过组合和整数优化的镜头攻击BNN的问题。我们提出了一个混合线性规划(MILP)制定的问题。MILP虽然精确而灵活,但随着网络和扰动空间的增长,它很快变得难以处理。为了解决这个问题,我们提出了IProp,一个基于分解的算法,解决了一系列小得多的MILP问题。实验上,我们评估了这两种方法对标准的基于梯度的攻击(FGSM)的MNIST和时尚MNIST,并表明,IProp表现良好相比,FGSM,而扩展超出了MILP的限制。
2018-10-08 cs.AI cs.LG stat.ML
Some Complexity Results for Robustness Verification for Binarized Neural Networks
Indian Institute of Technology Goa(印度理工学院Goa)
本文通过从布尔可满足性问题归约证明二值化神经网络的可满足性是NP完全的,并利用均匀遮挡导致的网络输出分段常数结构,提出多项式时间鲁棒性检查算法。
2026-07-17 cs.CC cs.LG
A Sugeno Integral View of Binarized Neural Network Inference
LEMMA, Paris-Panthéon-Assas University Paris, France(巴黎-panthéon-assas大学LEMMA,法国巴黎);IRIT - Toulouse University(图卢兹大学IRIT)
本文通过Sugeno积分框架,将二值神经网络的激活阈值测试与输入重要性及交互表示联系起来,提出神经元决策的显式集函数表示及规则表示,并扩展至更复杂的输入交互场景。
2026-04-20 cs.AI cs.LG
On Study of the Binarized Deep Neural Network for Image Classification
Fujitsu Research & Development Center(富士通研发中心)
近年来,深度神经网络(源于人工神经网络)以其优异的性能引起了众多研究者的关注。然而,由于该网络需要高性能GPU和大存储,因此很难在单个设备上使用它。为了改进深度神经网络,已经通过细化网络结构或训练策略进行了许多尝试。与这些尝试不同,在本文中,我们专注于人工神经网络的基本传播函数,并提出了二值化深度神经网络。该网络是一个纯二进制系统,其中所有的值和计算都是二进制的。因此,我们的网络可以节省大量的计算资源和存储。因此,可以在各种设备上使用它。实验结果证明了该网络的可行性。
2016-02-24 cs.CV cs.LG cs.NE
Gradient-Based Interpretability Methods and Binarized Neural Networks
University College London(伦敦大学学院)
二进制神经网络(BNN)有可能彻底改变边缘计算平台中进行深度学习的方式。然而,这些网络上的可解释性方法的有效性尚未得到评估。在本文中,我们比较了几个广泛使用的显着性映射为基础的可解释性技术(梯度,SmoothGrad和GradCAM),当应用于二值化或全精度神经网络(FPNNs)的性能。我们发现,基本的梯度方法为这两种类型的网络生成非常相似的映射。然而,SmoothGrad为BNN生成的贴图明显更嘈杂。GradCAM还生成不同网络类型的显着性图,其中一些BNN具有看似无意义的解释。我们评论这些差异的解释可能的原因,并提出它作为一个例子,为什么解释性技术应在更广泛的网络类型进行测试。
2021-06-23 cs.AI cs.CV cs.LG
The fine line between dead neurons and sparsity in binarized spiking neural networks
University of Michigan(密歇根大学);University of Western Australia(西澳大利亚大学)
脉冲神经网络可以通过在时域中对信息进行编码,或者通过处理更高精度的隐藏状态中的离散量来补偿量化误差。理论上,宽动态范围的状态空间使得多个二值化输入能够累积在一起,从而提高单个神经元的表示能力。这可以通过增加发射阈值来实现,但是使其太高并且稀疏尖峰活动变成无尖峰发射。在本文中,我们提出了使用“阈值退火”作为一种热身方法射击阈值。我们表明,它能够在神经元停止放电的多个层中传播尖峰,并且在这样做的过程中,尽管使用了二进制化的权重,但在四个不同的数据集上实现了高度竞争的结果。源代码可在https://github.com/jeshraghian/snn-tha/上获得
2022-01-28 cs.LG cs.NE q-bio.NC
End to End Binarized Neural Networks for Text Classification
IIT Gandhinagar(甘地纳格尔印度理工学院);Delhi Technological University(德里技术大学);NeuralSpace;University of California, Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究机构)
深度神经网络在几乎所有自然语言处理任务中都表现出了卓越的性能,然而,它们日益增加的复杂性引起了人们的担忧。特别是,这些网络需要在计算硬件上花费很高的费用,并且训练预算是许多人关心的问题。即使对于经过训练的网络,推理阶段对于资源受限的设备也可能过于苛刻,从而限制了其适用性。最先进的Transformer模型就是一个生动的例子。简化网络执行的计算是放松复杂性要求的一种方式。在本文中,我们提出了一个端到端的二进制神经网络架构的意图分类任务。为了充分利用端到端二进制化的潜力,输入表示(令牌统计的向量嵌入)和分类器都被二进制化。我们证明了这种架构在三个数据集上的短文本的意图分类和较大数据集的文本分类上的效率。所提出的架构在标准意图分类数据集上实现了与最先进的结果相当的结果,同时利用了约20-40%的内存和训练时间。此外,架构的各个组件,例如文档的二进制化向量嵌入或二进制化分类器,可以单独使用,不一定是完全二进制的架构。
2020-10-11 cs.CL cs.LG
Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference
Florida Polytechnic University(佛罗里达理工大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Rhode Island(罗德岛大学)
在过去的几年里,大规模数据集的易访问性显著改变了开发由神经网络(NN)驱动的高精度预测模型的范式。这些模型可能会受到辐射引起的瞬态故障的影响,这可能会导致长期运行的预期NN推理加速器逐渐降级。我们对NN推理加速器进行严格的脆弱性评估的关键观察结果表明,权重和激活函数对单事件翻转(SEU)和多位翻转(MBU)的敏感性不均匀,特别是在我们选择的卷积神经网络的前五层中。在本文中,我们提出了相对准确的统计模型,以描绘所进行的SEU和MBU跨层和每一层的选定NN的影响。这些模型可用于评估错误的弹性大小的NN拓扑结构,然后才采用它们在安全关键的应用。
2020-04-21 cs.CR cs.LG stat.ML
A Mixed Integer Programming Approach for Verifying Properties of Binarized Neural Networks
Stanford University(斯坦福大学)
近年来,人们提出了许多验证神经网络输入输出特性的方法。然而,现有的算法不能很好地扩展到大型网络。模型压缩领域的最新工作研究了二进制神经网络(BNN),其参数和激活是二进制的。与全精度对应物相比,BNN的性能往往会略有下降,但它们更容易验证。本文提出了一个简单的混合整数规划公式的BNN验证,利用网络结构。我们通过验证MNIST数据集和飞机防撞控制器上训练的BNN的属性来证明我们的方法。我们比较我们的方法对国家的最先进的验证算法的全精度神经网络的运行时间。结果表明,训练BNN的难度可能值得我们的验证算法实现的运行时间减少。
2022-03-11 cs.AI cs.LG
Binarized Neural Networks
介绍了一种训练二值化神经网络(BNN)的方法--在运行时和在训练时计算参数梯度时使用二值权值和激活值的神经网络。我们进行了两组实验,每组基于不同的框架,即Torch 7和Theano,我们在MNIST,CIFAR-10和SVHN上训练BNN,并取得了接近最先进的结果。在前向过程中,BNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算,这可能会大大提高功耗效率。最后但并非最不重要的是,我们编写了一个二进制矩阵乘法GPU内核,使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍,而不会损失任何分类精度。用于训练和运行我们的BNN的代码是可用的。
2016-03-10 cs.LG cs.NE
MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院);Division of Intelligent Future Technologies, Malardalen University(马拉达伦大学智能未来技术系)
递归神经网络(RNN)广泛用于在诸如EEG分类的应用中学习序列。由于复杂的RNN的计算和内存密集型处理模式,它们很难部署在可穿戴设备上。一般来说,精度的降低会带来更高的效率,二值化RNN被引入作为节能解决方案。然而,朴素的二值化方法导致EEG分类的准确性显著损失。在本文中,我们提出了一种多级二值化的LSTM,它大大减少了计算,同时确保了非常接近全精度LSTM的精度。我们的方法减少了3位LSTM单元操作47* 的延迟,精度损失小于0.01%。
2020-04-19 cs.LG cs.NE eess.SP
Verification of Binarized Neural Networks via Inter-Neuron Factoring
fortiss - Landesforschungsinstitut des Freistaats Bayern(巴伐利亚州fortiss研究机构)
我们研究了二值化神经网络(BNN)的形式化验证问题,BNN最近被提出作为传统学习网络的节能替代方案。BNN的验证,使用硬件验证的简化,可以通过在同一层内的神经元之间分解计算来实现更大的可扩展性。通过证明寻找最优因子分解的NP-困难性和PTAS逼近的困难性,我们设计了多项式时间搜索算法来生成因子分解解。整个框架允许将验证技术应用于具有数千个神经元和输入的嵌入式设备的中等大小的BNN。
2018-01-19 cs.LG cs.LO cs.SE
Architecturing Binarized Neural Networks for Traffic Sign Recognition
West University of Timisoara(蒂米什瓦拉西部大学)
交通标志支持道路安全和管理交通流量,因此是任何自动驾驶视觉系统不可或缺的一部分。虽然由于使用卷积神经网络(CNN)获得的高准确度结果(现有技术为99.46%),深度学习在交通标志分类中的使用是众所周知的,但对二值化神经网络(BNN)知之甚少。与CNN相比,BNN减小了模型大小并简化了卷积运算,并且在自动驾驶背景下出现的计算受限和能量受限的设备中显示出了有希望的结果。这项工作提出了一个自下而上的方法架构BNN的组成层的特点进行研究。这些组成层(二值化卷积层,最大池,批量归一化,全连接层)进行了研究,在各种组合和不同的值的内核大小,过滤器和神经元的数量,通过使用德国交通标志识别基准(GTSRB)的训练。因此,我们提出的BNN架构,实现超过$90\%$ GTSRB(最大值是$96.45\%$)和平均大于$80\%$(最大值是$88.99\%$),也考虑到比利时和中国的数据集进行测试。这些架构的参数数量从100k到小于2M不等。本文的随附材料可在https://github.com/apostovan21/BinarizedNeuralNetwork上公开查阅。
2023-03-27 cs.AI cs.CV cs.LG
BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized Neural Networks
ShanghaiTech University(上海科技大学);University of Surrey(萨里大学)
解释和解释神经网络的行为变得越来越重要,特别是当它们被部署在安全关键型应用中时。本文研究了二值化神经网络(BNN)的验证问题,BNN是一般实数神经网络的1位量化。我们的方法是将BNN编码成二元决策图(BDD),这是通过利用BNN的内部结构来完成的。特别地,我们将BNN中块的输入输出关系转换为基数约束,然后由BDD编码。基于编码,我们开发了一个BNN的定量验证框架,可以对BNN进行精确和全面的分析。我们展示了我们的框架的应用,提供定量的鲁棒性分析和BNN的可解释性。我们实现了一个原型工具BDD4BNN,并进行了广泛的实验,证实了我们的方法的有效性和效率。
2021-03-12 cs.AI cs.LG cs.LO
Larq Compute Engine: Design, Benchmark, and Deploy State-of-the-Art Binarized Neural Networks
Plumerai Research(Plumerai研究院)
我们介绍了Larq计算引擎,世界上最快的二进制神经网络(BNN)推理引擎,并使用这个框架来研究有关BNN效率的几个重要问题,并设计了一个新的国家的最先进的BNN架构。LCE提供了高度优化的二进制运算实现,与Pixel 1手机上的全精度卷积相比,将二进制卷积加速了8.5 - 18.5倍。LCE与Larq的集成以及一个复杂的基于MLIR的转换器使用户能够从培训顺利过渡到部署。通过扩展TensorFlow和TensorFlow Lite,LCE支持结合二进制和全精度层的模型,并且可以轻松集成到现有应用程序中。使用LCE,我们分析了现有BNN计算机视觉架构的性能,并开发了QuickNet,这是一种简单,易于重现的BNN,在ImageNet上的延迟和准确性方面优于现有的二进制网络。此外,我们还研究了全精度快捷方式的影响以及MAC数量与模型延迟之间的关系。我们相信,经验性能应该驱动BNN架构设计,并希望这项工作将有助于其他人设计,基准测试和部署二进制模型。
2021-02-19 cs.LG
Embedded Binarized Neural Networks
Harvard University(哈佛大学)
我们研究嵌入式二进制神经网络(eBNNs)的目的是让目前的二进制神经网络(BNNs)在文献中执行前馈推理有效地小型嵌入式设备。考虑到这些设备的内存通常只有几十KB,我们将重点放在最小化所需的内存占用上。除了最小化存储权重所需的内存,如在BNN中,我们表明,它是必要的,以尽量减少用于临时持有层之间的中间结果在前馈推理的内存。为了实现这一点,eBNN在保留原始BNN结构的同时重新排序推理的计算,并且仅对整个神经网络使用单个浮点临时。层的所有中间结果都存储为二进制值,而不是当前BNN实现中使用的浮点数,从而将所需的临时空间减少了32倍。我们提供的经验证据表明,我们提出的eBNN方法允许在内存严重有限(10s KB)的设备上进行有效的推理(10s ms)。例如,eBNN在只有15 KB可用内存的Intel Curie上运行的MNIST数据集上实现了95%的准确性,每个样本的推理运行时间低于50 ms。为了简化在嵌入式环境中的应用程序的开发,我们使我们的源代码,允许用户训练和发现eBNN模型的学习任务在手,适合目标设备的内存约束。
2017-09-06 cs.CV cs.LG
Towards adversarial robustness with 01 loss neural networks
New Jersey Institute of Technology(新泽西理工学院)
出于对01损失的一般鲁棒性的考虑,我们提出了一种使用随机坐标下降训练的单隐藏层01损失神经网络,作为机器学习中对对抗攻击的防御。模型鲁棒性的一个衡量标准是使输入具有对抗性所需的最小失真。这可以近似为边界攻击(Brendel et. 2018)和HopSkipJump(Chen et. 2019)方法。我们将01损失网络的最小失真与二值化神经网络和具有交叉熵损失的标准S形激活网络进行了比较,所有这些网络都在CIFAR10基准分类0和1之间进行了高斯噪声训练。无论有无噪声训练,我们都发现我们的01损失网络在三个模型中具有最大的对抗性失真。为了进一步验证这些结果,我们在不同的失真阈值下对所有模型进行替代模型黑盒攻击,发现01损失网络在所有失真下都是最难攻击的。在失真为0.125时,sigmoid激活的交叉熵损失和二值化网络在对抗性示例中的准确率几乎为0%,而01损失网络的准确率为40%。即使01损失和二值化网络都使用符号激活,它们的训练算法也不同,这反过来又给出了不同的鲁棒性解决方案。最后,我们将我们的网络与替代模型黑盒攻击下的简单卷积模型进行了比较,发现它们的准确性相当。我们的工作表明,01损失网络有可能抵御黑盒对抗攻击比凸损失和二值化网络。
2020-08-20 cs.LG stat.ML
On Integer Programming for the Binarized Neural Network Verification Problem
针对二值化神经网络验证的整数规划因大M约束整数间隙难求解的问题,提出多分类线性目标构造与利用网络递归结构生成有效不等式两种技术,可在有限时间内验证更大范围输入扰动下的BNN鲁棒性。
2025-10-01 cs.LG math.OC
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University(北卡罗来纳州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出 BitGNN,面向 GPU 位操作特性重构二元 GNN 推理后端,在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
FINN: A Framework for Fast, Scalable Binarized Neural Network Inference
Xilinx Research Labs(赛灵思研究院);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
研究表明,卷积神经网络包含显著的冗余,并且即使当权重和激活从浮点减少到二进制值时,也可以获得高的分类精度。在本文中,我们提出了FINN,一个框架,用于建立快速,灵活的FPGA加速器使用灵活的异构流架构。通过利用一组新的优化,使二进制神经网络到硬件的有效映射,我们实现了完全连接,卷积和池化层,每层计算资源被定制为用户提供的吞吐量要求。在系统总功耗低于25 W的ZC 706嵌入式FPGA平台上,我们在MNIST数据集上展示了每秒高达1230万个图像分类,延迟0.31 μs,准确率为95.8%,在CIFAR-10和SVHN数据集上展示了每秒21906个图像分类,延迟283 μs,准确率分别为80.1%和94.9%。据我们所知,我们是迄今为止在这些基准上报告的最快分类率。
2016-12-01 cs.AR cs.CV cs.LG
Efficient Exact Verification of Binarized Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
关注神经网络的可靠性,研究人员开发了验证技术来证明其鲁棒性。大多数验证器使用实值网络。不幸的是,确切的(完整的和健全的)验证器面临着可扩展性的挑战,并提供没有正确性保证,由于浮点错误。我们认为,二进制神经网络(BNN)提供了相当的鲁棒性,并允许准确和更有效的验证。我们提出了一个新的系统,EEV,有效和准确的验证BNN。EEV由两部分组成:(i)一种新的SAT求解器,通过本机处理BNN编码中产生的具体基数约束来加速BNN验证;以及(ii)通过诱导平衡的逐层稀疏性和低基数边界以及自适应地取消梯度来训练求解器友好的鲁棒BNN的策略。我们通过在MNIST和CIFAR 10数据集上对非平凡卷积BNN的L-inf有界对抗鲁棒性进行首次精确验证,证明了EEV的有效性。与在相同任务上对相同架构的实值网络进行精确验证相比,EEV验证BNN的速度要快数百到数千倍,同时在大多数情况下提供相当的可验证精度。
2020-10-27 cs.AI cs.CV cs.LG
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory(西北太平洋国家实验室);U.S. Army Research Laboratory(美国陆军研究实验室)
尽管与传统的深度神经网络相比,二值化神经网络(BNN)的性能优势得到了巨大的提升,但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上,由于无法利用基于字的架构的位级并行性,GPU在执行BNN时的利用率极低(1%)。因此,NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中,我们将研究这种全新的位计算能力,并描述其独特的功能。我们表明,内存访问的步幅可以显着影响性能交付,并且非常需要数据格式协同设计来支持tensorcore,以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计,特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明,使用ResNet-18,我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet,比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
DBNN: Neural Spike Classification Using a Deep Binarized Neural Network
The School of Electronics and Computer Science (ECS), University of Southampton(电子与计算机科学学院(ECS),南安普顿大学)
研究针对可植入脑机接口的神经尖峰分类问题,提出基于深度二值化神经网络(DBNN)的尖峰排序系统,该系统含特定结构层,处理紧凑波形,降低成本,在合成和体内数据集上准确率达98.7%,硬件成本低且无乘法器操作,适用于低功耗可植入神经接口。
2026-07-08 cs.LG eess.SP
Bimodal Distributed Binarized Neural Networks
Technion – Israel Institute of Technology(以色列理工学院);Habana Labs – An Intel company(Habana实验室——英特尔旗下公司)
二进制神经网络(BNN)是一种非常有前途的方法,可以大大降低深度神经网络的复杂度和功耗。然而,二值化技术,遭受不合格的性能下降相比,他们的全精度同行。以前的工作主要集中在符号函数近似的策略,在向前和向后阶段,以减少量化误差在二值化过程中。在这项工作中,我们提出了一个双模态分布式二值化方法(\methodname{})。这通过峰度正则化来强加网络权重的双峰分布。所提出的方法包括一个训练方案,我们称之为权重分布模拟(WDM),它有效地模仿全精度网络的权重分布,他们的二进制对应。在二值化感知训练期间保持这种分布可以创建鲁棒且信息丰富的二值特征图,并显著降低BNN的泛化误差。在CIFAR-10和ImageNet上的广泛评估证明了我们的方法优于当前最先进的方案。我们的源代码、实验设置、训练日志和二进制模型可在\url{https://github.com/BlueAnon/BD-BNN}上获得。
2022-04-05 cs.CV cs.LG
Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks
University of Siegen(锡根大学);African Institute for Mathematical Sciences(非洲数学科学研究所)
与经典的深度神经网络相比,由于其减少了内存消耗和计算需求,其二进制化版本对于资源有限设备上的应用程序非常有用。在这项工作中,我们研究了具有二进制激活函数和连续或整数权重的深度神经网络(BDNN)。我们表明,BDNN可以重新制定为一个混合整数线性规划与有界的权空间,可以解决的经典混合整数规划求解器的全局最优性。此外,局部搜索启发式计算局部最优网络。此外,为了提高效率,我们提出了一个迭代的数据分裂启发式迭代分裂训练集成更小的子集,通过使用k-均值方法。之后,在一个给定的子集中的所有数据点被迫遵循相同的激活模式,这导致了一个更小的整数变量的数量在混合整数规划制定,因此计算的改进。最后,第一次提出了一个强大的模型,它在训练过程中加强了BDNN的鲁棒性。所有方法都在随机和真实数据集上进行了测试,我们的结果表明,所有模型通常都可以在小型网络架构上与经典DNN竞争,甚至优于经典DNN,这证实了内存或计算能力有限的应用程序的可行性。
2021-10-25 cs.LG math.OC
A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University(博伊西州立大学);University of Delaware(特拉华大学)
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长,需要能够以节能方式(在边缘)实现的深度学习方法。在这项工作中,我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性(STDP)的无监督学习技术,从尖峰输入数据中提取特征。梯度下降(反向传播)仅用于输出层,以执行分类训练。与其他方法相比,平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降(SGD)近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks
TU Dortmund University(多特蒙德工业大学)
非易失性存储器,如电阻式RAM(RRAM),是一种新兴的节能存储,尤其适用于边缘的低功耗机器学习模型。然而,据报道,RRAM的位出错率在超低功率设置中可以高达3.3%,这对于许多用例来说可能是至关重要的。二进制神经网络(BNN)是神经网络(NN)的一种资源有效的变体,它可以容忍一定比例的错误而不损失准确性,并且在计算和存储方面需要更少的资源。BNN中的比特差错容限(BET)可以通过在训练期间翻转权重符号来实现,如Hirtzlin等人所提出的,但是他们的方法有一个明显的缺点,特别是对于全连接神经网络(FCNN):FCNN过拟合训练中使用的错误率,这导致在较低出错率下的低准确度。此外,没有研究BET的基本原理。在这项工作中,我们改进了BNN的BET训练,旨在解释这一属性。我们提出了直通梯度近似,以改善权重符号翻转训练,通过该BNN适应比特出错率。为了解释所实现的鲁棒性,我们定义了一个度量,其目的是在没有故障注入的情况下测量BET。我们评估的度量,并发现它与准确度超过出错率的所有FCNN测试。最后,我们探讨了一种新的正则化优化相对于这个指标的影响,其目的是提供一个可配置的权衡精度和BET。
2020-02-03 cs.ET cs.LG stat.ML
BiDet: An Efficient Binarized Object Detector
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们提出了一个二值化的神经网络学习方法称为BiDet有效的目标检测。传统的网络二值化方法直接对表示能力受限的一级或两级检测器的权值和激活值进行二值化,使得网络中的信息冗余导致大量的误报,使网络性能显著下降。相反,我们的BiDet充分利用二进制神经网络的表示能力,通过冗余去除目标检测,通过减少误报,提高检测精度。具体来说,我们推广的信息瓶颈(IB)原则的对象检测,在高层次的特征图的信息量受到限制和互信息之间的特征图和目标检测最大化。同时,我们学习稀疏的对象先验,使后验集中在信息检测预测与假阳性消除。在PASCAL VOC和COCO数据集上的大量实验表明,我们的方法比最先进的二进制神经网络有相当大的优势。
2020-03-09 cs.CV cs.LG
SGHormer: An Energy-Saving Graph Transformer Driven by Spikes
Sun Yat-sen University(中山大学)
针对图Transformer高能耗与计算开销问题,提出基于脉冲的图Transformer模型SGHormer,通过将全精度嵌入转化为稀疏二值化脉冲并设计脉冲自注意力与校正模块,在保持性能的同时大幅降低计算能耗。
2024-03-26 cs.AI cs.LG cs.NE
ReBNet: Residual Binarized Neural Network
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文提出了ReBNet,这是一个端到端的框架,用于在软件上训练可重构二进制神经网络,并开发在FPGA上执行的高效加速器。二进制神经网络为在资源受限的设备上部署大规模深度学习模型提供了一个有趣的机会。二值化减少了内存占用,并用轻量级的XnorPopcount操作取代了耗电的矩阵乘法。然而,二进制网络与其固定点对应物相比具有降低的准确性。我们发现,优化二进制网络准确性的最先进方法显着增加了实现成本和复杂性。为了补偿降低的准确性,同时坚持二进制网络的简单性,我们设计了第一个可重构的方案,可以根据应用程序来调整分类精度。我们的建议提高了分类精度表示功能与多层次的残留二进制化。与以前的方法不同,我们的方法不会加剧硬件加速器的面积成本。相反,它提供了吞吐量和精度之间的折衷,而多级二值化的面积开销可以忽略不计。
2018-03-27 cs.CV cs.LG cs.NE
Towards Fast and Energy-Efficient Binarized Neural Network Inference on FPGA
Iluvatar CoreX(天数智芯);University of California San Diego(加州大学圣地亚哥分校)
二值化神经网络(Binarized Neural Network,BNN)通过使用单个比特(-1/+1)作为网络参数和中间表示,消除了传统CNN中的位宽冗余,大大降低了片外数据传输和存储开销。然而,BNN推理仍然存在大量的计算冗余。通过分析图像的局部属性和学习的BNN内核权重,我们观察到平均$\sim$ 78%的输入相似性和$\sim$ 59%的权重内核之间的权重相似性,我们提出的度量在常见的网络架构。因此,确实存在冗余,可以利用这些冗余来进一步减少片上计算量。受观察的启发,在本文中,我们提出了两种类型的快速和节能的BNN推理架构。我们还提供了分析和见解,以便为不同的数据集和网络模型选择更好的策略。通过重用先前计算的结果,可以跳过用于数据缓冲器访问和计算的许多周期。通过实验,我们证明了80%的计算和40%的缓冲区访问可以跳过利用BNN相似性。因此,我们的设计可以实现减少17%的总功耗,减少54%的片上功耗和2.4 $\times$的最大加速比,与基线相比,没有应用我们的重用技术。我们的设计还显示了1.9 $\times$更多的面积效率相比,国家的最先进的BNN推理设计。我们相信,我们在FPGA上部署BNN将为在移动设备上运行深度学习模型带来光明的未来。
2018-10-04 cs.AI cs.AR cs.CV
A foundation for exact binarized morphological neural networks
Universite Paris-Saclay(巴黎萨克雷大学);CentraleSupelec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);CVN(视觉与数值中心)
针对二值权重神经网络因符号函数非平滑梯度难以训练的问题,提出基于数学形态学的模型,通过两种新近似方法和正则化损失构建鲁棒二值化理论框架,并在分类任务上验证其有效性。
2024-01-08 cs.AI cs.CV cs.LG
Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis
本文以二值化神经网络为代理,利用算法概率和块分解方法度量训练中的算法复杂度变化,证明其比熵更能跟踪结构变化并与训练损失相关,从而为“学习即算法压缩”假设提供经验支持。
2025-09-18 cs.AI cs.IT cs.LG
Binarized Neural Machine Translation
Cornell University(康奈尔大学);Google Research(谷歌研究院)
本文提出首个面向机器翻译 Transformer 的二值化方法 BMT,通过额外 LayerNorm 与残差连接缓解一比特点积方差问题,实现16倍压缩且保持翻译质量,并验证其良好缩放与泛化能力。
2023-02-09 cs.CL cs.LG
An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks
National University of Defense Technology(国防科技大学);ShanghaiTech University(上海科技大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Automotive Software Innovation Center(汽车软件创新中心)
本文提出一种基于自动机理论的二值化神经网络合成方法,利用BLTL时序逻辑规约和SMT求解器,在训练前确定网络超参数,有效提升了网络的个体公平性和局部鲁棒性并保持精度。
2023-07-29 cs.FL cs.LG
Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face Alignment with Limited Resources
The University of Nottingham(诺丁汉大学)
我们的目标是设计出既能保持CNN在地标定位方面的突破性性能,同时又轻便、紧凑、适用于计算资源有限的应用的架构。为此,我们做出了以下贡献:(a)我们是第一个研究神经网络二值化对定位任务,即人体姿态估计和人脸对齐的影响。我们详尽地评估各种设计选择,确定性能瓶颈,更重要的是提出多种正交方法来提高性能。(b)基于我们的分析,我们提出了一种新的层次化,并行和多尺度的残差架构,在具有相同数量的参数的同时,比标准瓶颈块产生大的性能改善,从而弥合了原始网络与其二进制化对应物之间的差距。(c)我们进行了大量的消融研究,阐明了拟议的块的属性和性能。(d)我们目前的实验结果对最具挑战性的数据集的人体姿态估计和人脸对齐,在许多情况下,最先进的性能报告。代码可从https://www.adrianbulat.com/binary-cnn-landmarks下载
2017-08-07 cs.CV cs.LG stat.ML
Bit Error Tolerance Metrics for Binarized Neural Networks
Technical University of Dortmund(多特蒙德工业大学)
为了减少神经网络(NN)推理系统的资源需求,提出了使用近似存储器,其中电源电压和时序参数被调整为交易精度与能耗和性能。积极地调整这些参数会导致比特错误,当在训练期间注入比特翻转时,NN可以容忍比特错误。然而,作为用于实现比特差错容限的现有技术的比特翻转训练不能很好地扩展;它导致大量开销并且不能应用于高比特出错率(BER)。需要替代方法来实现NN中的比特错误容限,但是NN的比特错误容限背后的基本原理尚未被报道。这种认识的缺乏,将制约神经网络比特容错性研究的进一步发展。在这项研究中,我们的目标是研究位翻转训练引起的NN的内部变化,重点是二值化NN(BNN)。为此,我们量化的比特错误容忍BNN的属性与两个指标。首先,我们提出了一个神经元级的位错误容忍度度量,它计算预激活值和批量归一化阈值之间的裕度。其次,为了捕捉比特差错容忍度对神经元之间相互作用的影响,我们提出了一种神经元间比特差错容忍度度量,该度量度量每个神经元的重要性并计算所有重要性值的方差。我们的实验结果支持,这两个指标是密切相关的比特错误容忍度。
2021-02-02 cs.LG cs.NE
Scaling Binarized Neural Networks on Reconfigurable Logic
Xilinx Research Labs(赛灵思研究实验室);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
二进制神经网络(BNN)由于其显著降低的计算和内存成本而在深度学习社区中引起了兴趣。它们特别适合于可重新配置的逻辑器件,这些器件包含大量细粒度的计算资源,可以实现更小、更低的功耗,或者相反地实现更高的分类率。为此,芬兰人的框架,最近提出了建立快速和灵活的现场可编程门阵列(FPGA)的BNN加速器。Finn使用了一组新颖的优化,可以将BNN有效映射到硬件,并实现了完全连接的非填充卷积层和池化层,每层计算资源都是根据用户提供的吞吐量要求定制的。然而,由于所选FPGA的大小,FINN没有在较大的拓扑结构上进行评估,并且由于缺乏填充而显示出降低的准确性。在本文中,我们改进了Finn,展示了如何在BNN上使用填充,同时仍然保持1位数据路径和高精度。基于这种技术,我们展示了大量的实验来说明该方法的灵活性和可扩展性。特别是,我们表明,在ADM-PCIE-8 K5平台上运行的每帧需要12亿次操作的大型BNN可以以12 kFPS的速度对图像进行分类,延迟为671 us,同时功耗小于41 W,并以88.7%的准确率对CIFAR-10图像进行分类。我们对该网络的实施实现了每秒14.8万亿次操作。我们相信这是迄今为止在该基准上报告的最快分类率。
2017-01-27 cs.CV cs.LG