Binarized Neural Networks for Resource-Constrained On-Device Gait Identification
Stanford Computer Science(斯坦福大学计算机科学系);Stanford Electrical Engineering(斯坦福大学电气工程系);UnifyID Co.(UnifyID公司)
通过步态分析的用户认证是判别神经网络的一个有前途的应用-特别是由于步态加速度计的主要来源,口袋里的手机的无处不在。然而,传统的机器学习模型通常太大并且计算昂贵,以至于不能在低资源移动设备上进行推理。我们提出,二值化的神经网络可以作为强大的鉴别器,保持可接受的准确度水平,同时也大大降低了内存需求,从而实现设备上的推理。为此,我们提出了BiPedalNet,这是一种紧凑的CNN,几乎与Padova步态数据集的最新技术相匹配,内存开销仅为1/32。
2021-03-30 cs.LG
Pruning Binarized Neural Networks: A Dedicated Framework and Globally Weighted Algorithms
Polytechnique Montreal(蒙特利尔理工学院)
本文针对二值化神经网络剪枝适配问题,提出基于PyTorch的专用框架及全局加权剪枝算法,在VGG11二值化模型上实现70%剪枝率且准确率不变,优于现有最优结果。
2026-08-28 cs.LG
Synaptic Metaplasticity in Binarized Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Thales(泰雷兹集团)
虽然深度神经网络在许多情况下都超过了人类的表现,但它们很容易出现灾难性遗忘:在训练新任务时,它们会迅速忘记以前学习过的任务。基于理想化任务的神经科学研究表明,在大脑中,突触通过根据其过去的历史调整其可塑性来克服这个问题。然而,这种“化生”行为不会直接转移到深层神经网络中以减轻灾难性遗忘。在这项工作中,我们将二值化神经网络(深度神经网络的低精度版本)使用的隐藏权重解释为化生变量,并修改其训练技术以减轻遗忘。基于这一想法,我们提出并通过实验证明,在多任务和流学习的情况下,一种训练技术,可以减少灾难性遗忘,而不需要以前提供的数据,也不需要数据集之间的正式边界,并且性能接近更主流的技术与任务边界。我们支持我们的方法与理论分析一个易于处理的任务。这项工作连接了计算神经科学和深度学习,为未来的嵌入式和神经形态系统提供了重要的资产,特别是当使用具有类似于超塑性物理学的新型纳米器件时。
2021-03-23 cs.LG cs.NE stat.ML
Searching Similarity Measure for Binarized Neural Networks
Zhejiang University(浙江大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
二值化神经网络(BNN)作为一种应用于资源受限设备的模型,引起了学术界和工业界的广泛关注。然而,与全精度深度神经网络(DNN)相比,BNN遭受非平凡的精度下降,限制了其在各个领域的适用性。这部分是因为现有的网络组件,如相似性度量,是专门为DNN设计的,并且可能对BNN来说是次优的。在这项工作中,我们专注于BNN的关键组成部分--相似性度量,它量化了输入特征图和过滤器之间的距离,并提出了一种自动搜索方法,基于遗传算法,为BNN定制的相似性度量。使用ResNet、NIN和VGG对Cifar 10和Cifar 100进行的评估结果表明,大多数识别出的相似性度量比常用的互相关方法的精度提高了3.39%。
2022-06-05 cs.LG
Universal Approximation Theorems of Fully Connected Binarized Neural Networks
TU Dortmund University(多特蒙德工业大学)
神经网络(NN)以其在复杂学习问题中的高预测精度而闻名。除了实际的优点,神经网络也表明有利的理论性质,如普遍逼近(UA)定理。二进制神经网络(BNN)通过将权重和激活域限制为两个值来显著减少时间和内存需求。尽管有实际的优势,理论保证的基础上UA定理的BNN是相当稀疏的文献。我们通过在以下情况下提供全连接BNN的UA定理来缩小这一差距:(1)对于二进制输入,UA可以在一个隐藏层下构造性地实现;(2)对于实数输入,UA不能在一个隐藏层下实现,但可以在Lipschitz连续函数的两个隐藏层下构造性地实现。我们的研究结果表明,全连接的BNN可以近似函数普遍,在一定的条件下。
2021-02-04 cs.AI cs.LG
A Channel-Pruned and Weight-Binarized Convolutional Neural Network for Keyword Spotting
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣地亚哥分校)
我们研究了结合权重二值化(1位权重精度)的通道数减少,以修剪用于关键字定位(分类)任务的卷积神经网络。我们采用了基于组Lasso惩罚的组分裂方法,以实现超过50%的信道稀疏性,同时保持网络性能在0.25%的准确性损失。我们展示了一个有效的三阶段过程来平衡网络训练的准确性和稀疏性。
2019-09-12 cs.LG stat.ML
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
Université de Montréal(蒙特利尔大学);Technion - Israel Institute of Technology(以色列理工学院);Columbia University(哥伦比亚大学)
介绍了一种训练二值化神经网络(BNN)的方法--在运行时具有二值权值和激活的神经网络。在训练时,二进制权重和激活用于计算参数梯度。在前向过程中,BNN大大减少了内存大小和访问,并将大多数算术运算替换为逐位运算,预计这将大大提高功率效率。为了验证BNN的有效性,我们在Torch 7和Theano框架上进行了两组实验。在这两个数据集上,BNN在MNIST、CIFAR-10和SVHN数据集上都取得了接近最先进的结果。最后但并非最不重要的是,我们编写了一个二进制矩阵乘法GPU内核,使用它可以运行我们的MNIST BNN比使用未优化的GPU内核快7倍,而不会损失任何分类精度。用于训练和运行我们的BNN的代码可以在线获得。
2016-03-17 cs.LG
Some Complexity Results for Robustness Verification for Binarized Neural Networks
Indian Institute of Technology Goa(印度理工学院Goa)
本文通过从布尔可满足性问题归约证明二值化神经网络的可满足性是NP完全的,并利用均匀遮挡导致的网络输出分段常数结构,提出多项式时间鲁棒性检查算法。
2026-07-17 cs.CC cs.LG
A Sugeno Integral View of Binarized Neural Network Inference
LEMMA, Paris-Panthéon-Assas University Paris, France(巴黎-panthéon-assas大学LEMMA,法国巴黎);IRIT - Toulouse University(图卢兹大学IRIT)
本文通过Sugeno积分框架,将二值神经网络的激活阈值测试与输入重要性及交互表示联系起来,提出神经元决策的显式集函数表示及规则表示,并扩展至更复杂的输入交互场景。
2026-04-20 cs.AI cs.LG
Gradient-Based Interpretability Methods and Binarized Neural Networks
University College London(伦敦大学学院)
二进制神经网络(BNN)有可能彻底改变边缘计算平台中进行深度学习的方式。然而,这些网络上的可解释性方法的有效性尚未得到评估。在本文中,我们比较了几个广泛使用的显着性映射为基础的可解释性技术(梯度,SmoothGrad和GradCAM),当应用于二值化或全精度神经网络(FPNNs)的性能。我们发现,基本的梯度方法为这两种类型的网络生成非常相似的映射。然而,SmoothGrad为BNN生成的贴图明显更嘈杂。GradCAM还生成不同网络类型的显着性图,其中一些BNN具有看似无意义的解释。我们评论这些差异的解释可能的原因,并提出它作为一个例子,为什么解释性技术应在更广泛的网络类型进行测试。
2021-06-23 cs.AI cs.CV cs.LG
Bit Error Tolerance Metrics for Binarized Neural Networks
Technical University of Dortmund(多特蒙德工业大学)
为了减少神经网络(NN)推理系统的资源需求,提出了使用近似存储器,其中电源电压和时序参数被调整为交易精度与能耗和性能。积极地调整这些参数会导致比特错误,当在训练期间注入比特翻转时,NN可以容忍比特错误。然而,作为用于实现比特差错容限的现有技术的比特翻转训练不能很好地扩展;它导致大量开销并且不能应用于高比特出错率(BER)。需要替代方法来实现NN中的比特错误容限,但是NN的比特错误容限背后的基本原理尚未被报道。这种认识的缺乏,将制约神经网络比特容错性研究的进一步发展。在这项研究中,我们的目标是研究位翻转训练引起的NN的内部变化,重点是二值化NN(BNN)。为此,我们量化的比特错误容忍BNN的属性与两个指标。首先,我们提出了一个神经元级的位错误容忍度度量,它计算预激活值和批量归一化阈值之间的裕度。其次,为了捕捉比特差错容忍度对神经元之间相互作用的影响,我们提出了一种神经元间比特差错容忍度度量,该度量度量每个神经元的重要性并计算所有重要性值的方差。我们的实验结果支持,这两个指标是密切相关的比特错误容忍度。
2021-02-02 cs.LG cs.NE
End to End Binarized Neural Networks for Text Classification
IIT Gandhinagar(甘地纳格尔印度理工学院);Delhi Technological University(德里技术大学);NeuralSpace;University of California, Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究机构)
深度神经网络在几乎所有自然语言处理任务中都表现出了卓越的性能,然而,它们日益增加的复杂性引起了人们的担忧。特别是,这些网络需要在计算硬件上花费很高的费用,并且训练预算是许多人关心的问题。即使对于经过训练的网络,推理阶段对于资源受限的设备也可能过于苛刻,从而限制了其适用性。最先进的Transformer模型就是一个生动的例子。简化网络执行的计算是放松复杂性要求的一种方式。在本文中,我们提出了一个端到端的二进制神经网络架构的意图分类任务。为了充分利用端到端二进制化的潜力,输入表示(令牌统计的向量嵌入)和分类器都被二进制化。我们证明了这种架构在三个数据集上的短文本的意图分类和较大数据集的文本分类上的效率。所提出的架构在标准意图分类数据集上实现了与最先进的结果相当的结果,同时利用了约20-40%的内存和训练时间。此外,架构的各个组件,例如文档的二进制化向量嵌入或二进制化分类器,可以单独使用,不一定是完全二进制的架构。
2020-10-11 cs.CL cs.LG
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
A Mixed Integer Programming Approach for Verifying Properties of Binarized Neural Networks
Stanford University(斯坦福大学)
近年来,人们提出了许多验证神经网络输入输出特性的方法。然而,现有的算法不能很好地扩展到大型网络。模型压缩领域的最新工作研究了二进制神经网络(BNN),其参数和激活是二进制的。与全精度对应物相比,BNN的性能往往会略有下降,但它们更容易验证。本文提出了一个简单的混合整数规划公式的BNN验证,利用网络结构。我们通过验证MNIST数据集和飞机防撞控制器上训练的BNN的属性来证明我们的方法。我们比较我们的方法对国家的最先进的验证算法的全精度神经网络的运行时间。结果表明,训练BNN的难度可能值得我们的验证算法实现的运行时间减少。
2022-03-11 cs.AI cs.LG
Binarized Graph Neural Network
CAI, University of Technology, Sydney(悉尼科技大学CAI);University of Science and Technology of China(中国科学技术大学);University of Technology, Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学)
最近,通过应用遵循邻域聚合方案的图神经网络(GNNs),在图分析中已经有了一些突破,其在许多任务中表现出出色的性能。然而,我们观察到,在现有的基于GNN的图嵌入方法中,网络的参数和节点的嵌入是用实值矩阵表示的,这可能会限制这些模型的效率和可扩展性。众所周知,二进制向量通常比实值向量具有更高的空间和时间效率。这促使我们开发一个二进制化的图神经网络,学习二进制网络参数的节点的二进制表示遵循基于GNN的范式。我们提出的方法可以无缝集成到现有的基于GNN的嵌入方法中,以二进制化模型参数并学习紧凑嵌入。大量的实验表明,所提出的二值化图神经网络,即BGN,是数量级更有效的时间和空间方面,同时匹配的最先进的性能。
2020-04-19 cs.LG stat.ML
Verification of Binarized Neural Networks via Inter-Neuron Factoring
fortiss - Landesforschungsinstitut des Freistaats Bayern(巴伐利亚州fortiss研究机构)
我们研究了二值化神经网络(BNN)的形式化验证问题,BNN最近被提出作为传统学习网络的节能替代方案。BNN的验证,使用硬件验证的简化,可以通过在同一层内的神经元之间分解计算来实现更大的可扩展性。通过证明寻找最优因子分解的NP-困难性和PTAS逼近的困难性,我们设计了多项式时间搜索算法来生成因子分解解。整个框架允许将验证技术应用于具有数千个神经元和输入的嵌入式设备的中等大小的BNN。
2018-01-19 cs.LG cs.LO cs.SE
ReBNet: Residual Binarized Neural Network
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文提出了ReBNet,这是一个端到端的框架,用于在软件上训练可重构二进制神经网络,并开发在FPGA上执行的高效加速器。二进制神经网络为在资源受限的设备上部署大规模深度学习模型提供了一个有趣的机会。二值化减少了内存占用,并用轻量级的XnorPopcount操作取代了耗电的矩阵乘法。然而,二进制网络与其固定点对应物相比具有降低的准确性。我们发现,优化二进制网络准确性的最先进方法显着增加了实现成本和复杂性。为了补偿降低的准确性,同时坚持二进制网络的简单性,我们设计了第一个可重构的方案,可以根据应用程序来调整分类精度。我们的建议提高了分类精度表示功能与多层次的残留二进制化。与以前的方法不同,我们的方法不会加剧硬件加速器的面积成本。相反,它提供了吞吐量和精度之间的折衷,而多级二值化的面积开销可以忽略不计。
2018-03-27 cs.CV cs.LG cs.NE
A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University(博伊西州立大学);University of Delaware(特拉华大学)
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长,需要能够以节能方式(在边缘)实现的深度学习方法。在这项工作中,我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性(STDP)的无监督学习技术,从尖峰输入数据中提取特征。梯度下降(反向传播)仅用于输出层,以执行分类训练。与其他方法相比,平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降(SGD)近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
Binarized Convolutional Neural Networks for Efficient Inference on GPUs
Tampere University of Technology(坦佩雷理工大学)
卷积神经网络最近在各种图像分类任务中取得了重大突破。然而,它们在计算上是昂贵的,这使得它们在嵌入式和低功耗设备上的可行实现变得困难。在本文中,卷积神经网络二值化实现基于GPU的平台上的实时推理资源受限的设备。在二进制化网络中,层之间的所有权重和中间计算都被量化为+1和-1,允许乘法和加法被32位字之间的逐位操作取代。这种表示完全消除了对浮点乘法和加法的需要,与浮点实现的全精度网络相比,减少了计算负载和内存占用,使其非常适合资源受限的环境。我们比较我们的实现与一个桌面和两个嵌入式GPU平台上的等效浮点实现的性能。我们的实现达到了最高速度7. 4倍,与参考实现相比,准确度仅损失4.4%。
2018-08-01 cs.LG stat.ML
Architecturing Binarized Neural Networks for Traffic Sign Recognition
West University of Timisoara(蒂米什瓦拉西部大学)
交通标志支持道路安全和管理交通流量,因此是任何自动驾驶视觉系统不可或缺的一部分。虽然由于使用卷积神经网络(CNN)获得的高准确度结果(现有技术为99.46%),深度学习在交通标志分类中的使用是众所周知的,但对二值化神经网络(BNN)知之甚少。与CNN相比,BNN减小了模型大小并简化了卷积运算,并且在自动驾驶背景下出现的计算受限和能量受限的设备中显示出了有希望的结果。这项工作提出了一个自下而上的方法架构BNN的组成层的特点进行研究。这些组成层(二值化卷积层,最大池,批量归一化,全连接层)进行了研究,在各种组合和不同的值的内核大小,过滤器和神经元的数量,通过使用德国交通标志识别基准(GTSRB)的训练。因此,我们提出的BNN架构,实现超过$90\%$ GTSRB(最大值是$96.45\%$)和平均大于$80\%$(最大值是$88.99\%$),也考虑到比利时和中国的数据集进行测试。这些架构的参数数量从100k到小于2M不等。本文的随附材料可在https://github.com/apostovan21/BinarizedNeuralNetwork上公开查阅。
2023-03-27 cs.AI cs.CV cs.LG
Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization
Plumerai Research(Plumerai研究院);Hong Kong University of Science and Technology(香港科技大学)
二值化神经网络(BNN)的优化目前依赖于实值潜在权重来累积小的更新步骤。在本文中,我们认为这些潜在权重不能与实值网络中的权重类似地对待。相反,它们的主要作用是在训练期间提供惯性。我们解释目前的方法的惯性,并提供新的见解BNN的优化。随后,我们介绍了第一个专门为BNN设计的优化器,二进制优化器(Bop),并在CIFAR-10和ImageNet上展示了它的性能。总之,将潜在权重重新定义为惯性和引入Bop使人们能够更好地理解BNN优化,并为进一步改进BNN的训练方法开辟了道路。代码可在:https://github.com/plumerai/rethinking-bnn-optimization
2019-11-06 cs.LG stat.ML
BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized Neural Networks
ShanghaiTech University(上海科技大学);University of Surrey(萨里大学)
解释和解释神经网络的行为变得越来越重要,特别是当它们被部署在安全关键型应用中时。本文研究了二值化神经网络(BNN)的验证问题,BNN是一般实数神经网络的1位量化。我们的方法是将BNN编码成二元决策图(BDD),这是通过利用BNN的内部结构来完成的。特别地,我们将BNN中块的输入输出关系转换为基数约束,然后由BDD编码。基于编码,我们开发了一个BNN的定量验证框架,可以对BNN进行精确和全面的分析。我们展示了我们的框架的应用,提供定量的鲁棒性分析和BNN的可解释性。我们实现了一个原型工具BDD4BNN,并进行了广泛的实验,证实了我们的方法的有效性和效率。
2021-03-12 cs.AI cs.LG cs.LO
Larq Compute Engine: Design, Benchmark, and Deploy State-of-the-Art Binarized Neural Networks
Plumerai Research(Plumerai研究院)
我们介绍了Larq计算引擎,世界上最快的二进制神经网络(BNN)推理引擎,并使用这个框架来研究有关BNN效率的几个重要问题,并设计了一个新的国家的最先进的BNN架构。LCE提供了高度优化的二进制运算实现,与Pixel 1手机上的全精度卷积相比,将二进制卷积加速了8.5 - 18.5倍。LCE与Larq的集成以及一个复杂的基于MLIR的转换器使用户能够从培训顺利过渡到部署。通过扩展TensorFlow和TensorFlow Lite,LCE支持结合二进制和全精度层的模型,并且可以轻松集成到现有应用程序中。使用LCE,我们分析了现有BNN计算机视觉架构的性能,并开发了QuickNet,这是一种简单,易于重现的BNN,在ImageNet上的延迟和准确性方面优于现有的二进制网络。此外,我们还研究了全精度快捷方式的影响以及MAC数量与模型延迟之间的关系。我们相信,经验性能应该驱动BNN架构设计,并希望这项工作将有助于其他人设计,基准测试和部署二进制模型。
2021-02-19 cs.LG
Binarized Simplicial Convolutional Neural Networks
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对 SCNN 时间效率不足的问题,本文提出结合单纯卷积与二值符号前向传播的 Bi-SCNN,在保持预测精度、缓解过度平滑的同时降低复杂度并缩短运行时间。
2024-10-23 cs.LG eess.SP
Embedded Binarized Neural Networks
Harvard University(哈佛大学)
我们研究嵌入式二进制神经网络(eBNNs)的目的是让目前的二进制神经网络(BNNs)在文献中执行前馈推理有效地小型嵌入式设备。考虑到这些设备的内存通常只有几十KB,我们将重点放在最小化所需的内存占用上。除了最小化存储权重所需的内存,如在BNN中,我们表明,它是必要的,以尽量减少用于临时持有层之间的中间结果在前馈推理的内存。为了实现这一点,eBNN在保留原始BNN结构的同时重新排序推理的计算,并且仅对整个神经网络使用单个浮点临时。层的所有中间结果都存储为二进制值,而不是当前BNN实现中使用的浮点数,从而将所需的临时空间减少了32倍。我们提供的经验证据表明,我们提出的eBNN方法允许在内存严重有限(10s KB)的设备上进行有效的推理(10s ms)。例如,eBNN在只有15 KB可用内存的Intel Curie上运行的MNIST数据集上实现了95%的准确性,每个样本的推理运行时间低于50 ms。为了简化在嵌入式环境中的应用程序的开发,我们使我们的源代码,允许用户训练和发现eBNN模型的学习任务在手,适合目标设备的内存约束。
2017-09-06 cs.CV cs.LG
On Integer Programming for the Binarized Neural Network Verification Problem
针对二值化神经网络验证的整数规划因大M约束整数间隙难求解的问题,提出多分类线性目标构造与利用网络递归结构生成有效不等式两种技术,可在有限时间内验证更大范围输入扰动下的BNN鲁棒性。
2025-10-01 cs.LG math.OC
Combinatorial Attacks on Binarized Neural Networks
College of Computing(计算学院);Georgia Tech(佐治亚理工学院);Department of Computer Science(计算机科学系);University of Southern California(南加州大学)
二值化神经网络(BNN)由于其计算效率近年来引起了人们极大的兴趣。同时,已经表明神经网络可能对“攻击”(输入中的微小对抗性变化)过于敏感,这可能不利于它们在安全关键领域的使用。设计有效欺骗训练模型的攻击算法是学习鲁棒神经网络的关键一步。BNN的离散性、不可微性使其与全精度的BNN区别开来,这对基于梯度的攻击提出了挑战。在这项工作中,我们研究了通过组合和整数优化的镜头攻击BNN的问题。我们提出了一个混合线性规划(MILP)制定的问题。MILP虽然精确而灵活,但随着网络和扰动空间的增长,它很快变得难以处理。为了解决这个问题,我们提出了IProp,一个基于分解的算法,解决了一系列小得多的MILP问题。实验上,我们评估了这两种方法对标准的基于梯度的攻击(FGSM)的MNIST和时尚MNIST,并表明,IProp表现良好相比,FGSM,而扩展超出了MILP的限制。
2018-10-08 cs.AI cs.LG stat.ML
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
Attacking Binarized Neural Networks
University of Guelph(圭尔夫大学);Canadian Institute for Advanced Research(加拿大高级研究所);Vector Institute for Artificial Intelligence(向量人工智能研究所)
具有低精度权重和激活的神经网络与其全精度等效物相比具有令人信服的效率优势。量化的两个最常讨论的好处是减少内存消耗,以及在使用有效的逐位操作实现时更快的前向传递。我们提出了极低精度神经网络的第三个好处:提高了对某些对抗攻击的鲁棒性,在最坏的情况下,性能与全精度模型相当。我们专注于非常低精度的情况下,权重和激活都被量化为$\pm$ 1,并注意到,随机量化权重在一个层可以大大减少迭代攻击的影响。我们观察到,未缩放的二进制神经网络表现出类似的效果,原来的防御蒸馏过程,导致梯度掩蔽,和一个错误的安全概念。我们通过使用不人为掩盖梯度的二进制模型进行黑盒和白盒实验来解决这个问题。
2018-01-31 cs.LG stat.ML
FINN: A Framework for Fast, Scalable Binarized Neural Network Inference
Xilinx Research Labs(赛灵思研究院);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
研究表明,卷积神经网络包含显著的冗余,并且即使当权重和激活从浮点减少到二进制值时,也可以获得高的分类精度。在本文中,我们提出了FINN,一个框架,用于建立快速,灵活的FPGA加速器使用灵活的异构流架构。通过利用一组新的优化,使二进制神经网络到硬件的有效映射,我们实现了完全连接,卷积和池化层,每层计算资源被定制为用户提供的吞吐量要求。在系统总功耗低于25 W的ZC 706嵌入式FPGA平台上,我们在MNIST数据集上展示了每秒高达1230万个图像分类,延迟0.31 μs,准确率为95.8%,在CIFAR-10和SVHN数据集上展示了每秒21906个图像分类,延迟283 μs,准确率分别为80.1%和94.9%。据我们所知,我们是迄今为止在这些基准上报告的最快分类率。
2016-12-01 cs.AR cs.CV cs.LG
Efficient Exact Verification of Binarized Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
关注神经网络的可靠性,研究人员开发了验证技术来证明其鲁棒性。大多数验证器使用实值网络。不幸的是,确切的(完整的和健全的)验证器面临着可扩展性的挑战,并提供没有正确性保证,由于浮点错误。我们认为,二进制神经网络(BNN)提供了相当的鲁棒性,并允许准确和更有效的验证。我们提出了一个新的系统,EEV,有效和准确的验证BNN。EEV由两部分组成:(i)一种新的SAT求解器,通过本机处理BNN编码中产生的具体基数约束来加速BNN验证;以及(ii)通过诱导平衡的逐层稀疏性和低基数边界以及自适应地取消梯度来训练求解器友好的鲁棒BNN的策略。我们通过在MNIST和CIFAR 10数据集上对非平凡卷积BNN的L-inf有界对抗鲁棒性进行首次精确验证,证明了EEV的有效性。与在相同任务上对相同架构的实值网络进行精确验证相比,EEV验证BNN的速度要快数百到数千倍,同时在大多数情况下提供相当的可验证精度。
2020-10-27 cs.AI cs.CV cs.LG
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory(西北太平洋国家实验室);U.S. Army Research Laboratory(美国陆军研究实验室)
尽管与传统的深度神经网络相比,二值化神经网络(BNN)的性能优势得到了巨大的提升,但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上,由于无法利用基于字的架构的位级并行性,GPU在执行BNN时的利用率极低(1%)。因此,NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中,我们将研究这种全新的位计算能力,并描述其独特的功能。我们表明,内存访问的步幅可以显着影响性能交付,并且非常需要数据格式协同设计来支持tensorcore,以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计,特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明,使用ResNet-18,我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet,比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
DBNN: Neural Spike Classification Using a Deep Binarized Neural Network
The School of Electronics and Computer Science (ECS), University of Southampton(电子与计算机科学学院(ECS),南安普顿大学)
研究针对可植入脑机接口的神经尖峰分类问题,提出基于深度二值化神经网络(DBNN)的尖峰排序系统,该系统含特定结构层,处理紧凑波形,降低成本,在合成和体内数据集上准确率达98.7%,硬件成本低且无乘法器操作,适用于低功耗可植入神经接口。
2026-07-08 cs.LG eess.SP
Bimodal Distributed Binarized Neural Networks
Technion – Israel Institute of Technology(以色列理工学院);Habana Labs – An Intel company(Habana实验室——英特尔旗下公司)
二进制神经网络(BNN)是一种非常有前途的方法,可以大大降低深度神经网络的复杂度和功耗。然而,二值化技术,遭受不合格的性能下降相比,他们的全精度同行。以前的工作主要集中在符号函数近似的策略,在向前和向后阶段,以减少量化误差在二值化过程中。在这项工作中,我们提出了一个双模态分布式二值化方法(\methodname{})。这通过峰度正则化来强加网络权重的双峰分布。所提出的方法包括一个训练方案,我们称之为权重分布模拟(WDM),它有效地模仿全精度网络的权重分布,他们的二进制对应。在二值化感知训练期间保持这种分布可以创建鲁棒且信息丰富的二值特征图,并显著降低BNN的泛化误差。在CIFAR-10和ImageNet上的广泛评估证明了我们的方法优于当前最先进的方案。我们的源代码、实验设置、训练日志和二进制模型可在\url{https://github.com/BlueAnon/BD-BNN}上获得。
2022-04-05 cs.CV cs.LG
Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks
University of Siegen(锡根大学);African Institute for Mathematical Sciences(非洲数学科学研究所)
与经典的深度神经网络相比,由于其减少了内存消耗和计算需求,其二进制化版本对于资源有限设备上的应用程序非常有用。在这项工作中,我们研究了具有二进制激活函数和连续或整数权重的深度神经网络(BDNN)。我们表明,BDNN可以重新制定为一个混合整数线性规划与有界的权空间,可以解决的经典混合整数规划求解器的全局最优性。此外,局部搜索启发式计算局部最优网络。此外,为了提高效率,我们提出了一个迭代的数据分裂启发式迭代分裂训练集成更小的子集,通过使用k-均值方法。之后,在一个给定的子集中的所有数据点被迫遵循相同的激活模式,这导致了一个更小的整数变量的数量在混合整数规划制定,因此计算的改进。最后,第一次提出了一个强大的模型,它在训练过程中加强了BDNN的鲁棒性。所有方法都在随机和真实数据集上进行了测试,我们的结果表明,所有模型通常都可以在小型网络架构上与经典DNN竞争,甚至优于经典DNN,这证实了内存或计算能力有限的应用程序的可行性。
2021-10-25 cs.LG math.OC
Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference
Florida Polytechnic University(佛罗里达理工大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Rhode Island(罗德岛大学)
在过去的几年里,大规模数据集的易访问性显著改变了开发由神经网络(NN)驱动的高精度预测模型的范式。这些模型可能会受到辐射引起的瞬态故障的影响,这可能会导致长期运行的预期NN推理加速器逐渐降级。我们对NN推理加速器进行严格的脆弱性评估的关键观察结果表明,权重和激活函数对单事件翻转(SEU)和多位翻转(MBU)的敏感性不均匀,特别是在我们选择的卷积神经网络的前五层中。在本文中,我们提出了相对准确的统计模型,以描绘所进行的SEU和MBU跨层和每一层的选定NN的影响。这些模型可用于评估错误的弹性大小的NN拓扑结构,然后才采用它们在安全关键的应用。
2020-04-21 cs.CR cs.LG stat.ML
BiDet: An Efficient Binarized Object Detector
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们提出了一个二值化的神经网络学习方法称为BiDet有效的目标检测。传统的网络二值化方法直接对表示能力受限的一级或两级检测器的权值和激活值进行二值化,使得网络中的信息冗余导致大量的误报,使网络性能显著下降。相反,我们的BiDet充分利用二进制神经网络的表示能力,通过冗余去除目标检测,通过减少误报,提高检测精度。具体来说,我们推广的信息瓶颈(IB)原则的对象检测,在高层次的特征图的信息量受到限制和互信息之间的特征图和目标检测最大化。同时,我们学习稀疏的对象先验,使后验集中在信息检测预测与假阳性消除。在PASCAL VOC和COCO数据集上的大量实验表明,我们的方法比最先进的二进制神经网络有相当大的优势。
2020-03-09 cs.CV cs.LG
Accelerating Deterministic and Stochastic Binarized Neural Networks on FPGAs Using OpenCL
James Cook University(詹姆斯库克大学);College of Science and Engineering(科学与工程学院)
最近的技术进步已经使现代中央处理单元(CPU)、图形处理单元(GPU)和现场可编程门阵列(FPGA)的可用计算能力、存储器和速度激增。因此,人工神经网络(ANN)的性能和复杂性正在迅速发展。虽然GPU加速的深度神经网络(DNN)目前提供最先进的性能,但它们消耗大量的功率。在CPU上训练这样的网络是低效的,因为数据吞吐量和并行计算是有限的。FPGA被认为是性能关键的低功耗系统的合适候选者,例如物联网(IOT)边缘设备。使用Xilinx SDAccel或英特尔FPGA SDK for OpenCL开发环境,可以在异构平台上加速使用高级OpenCL框架描述的网络。此外,DNN的资源利用率和功耗可以通过利用二值化网络权重的正则化技术来进一步增强。在本文中,我们介绍,据我们所知,第一个FPGA加速的随机二进制DNN实现,并将它们与使用GPU和FPGA加速的实现进行比较。我们开发的网络使用流行的MNIST和CIFAR-10数据集进行训练和基准测试,并实现了接近最先进的性能,同时与传统的GPU加速网络相比,功耗提高了16倍以上。我们的FPGA加速的确定性和随机BNN分别将MNIST和CIFAR-10上的推理时间减少了> 9.89倍和> 9.91倍。
2019-05-15 cs.LG stat.ML
A foundation for exact binarized morphological neural networks
Universite Paris-Saclay(巴黎萨克雷大学);CentraleSupelec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);CVN(视觉与数值中心)
针对二值权重神经网络因符号函数非平滑梯度难以训练的问题,提出基于数学形态学的模型,通过两种新近似方法和正则化损失构建鲁棒二值化理论框架,并在分类任务上验证其有效性。
2024-01-08 cs.AI cs.CV cs.LG
Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis
本文以二值化神经网络为代理,利用算法概率和块分解方法度量训练中的算法复杂度变化,证明其比熵更能跟踪结构变化并与训练损失相关,从而为“学习即算法压缩”假设提供经验支持。
2025-09-18 cs.AI cs.IT cs.LG
Binarized Neural Machine Translation
Cornell University(康奈尔大学);Google Research(谷歌研究院)
本文提出首个面向机器翻译 Transformer 的二值化方法 BMT,通过额外 LayerNorm 与残差连接缓解一比特点积方差问题,实现16倍压缩且保持翻译质量,并验证其良好缩放与泛化能力。
2023-02-09 cs.CL cs.LG
An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks
National University of Defense Technology(国防科技大学);ShanghaiTech University(上海科技大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Automotive Software Innovation Center(汽车软件创新中心)
本文提出一种基于自动机理论的二值化神经网络合成方法,利用BLTL时序逻辑规约和SMT求解器,在训练前确定网络超参数,有效提升了网络的个体公平性和局部鲁棒性并保持精度。
2023-07-29 cs.FL cs.LG
GNisi: A graph network for reconstructing Ising models from multivariate binarized data
Georgia Institute of Technology(佐治亚理工学院)
伊辛模型是描述相互作用的二元变量的一种简单的生成方法。它们已经被证明在许多生物环境中是有用的,因为它们使人们能够将观察到的多体相关性表示为许多直接的成对统计相互作用的可分离结果。从数据中推断伊辛模型在计算上可能非常具有挑战性,并且通常必须满足于数值近似或有限的精度。在本文中,我们提出了一种新的方法来确定伊辛参数的数据,称为GNisi,它使用一个图神经网络已知的伊辛模型训练,以构建参数看不见的数据。我们表明GNisi比现有的最先进的软件更准确,我们通过将GNisi应用于基因表达数据来说明我们的方法。
2021-09-09 cs.LG physics.comp-ph
Scaling Binarized Neural Networks on Reconfigurable Logic
Xilinx Research Labs(赛灵思研究实验室);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
二进制神经网络(BNN)由于其显著降低的计算和内存成本而在深度学习社区中引起了兴趣。它们特别适合于可重新配置的逻辑器件,这些器件包含大量细粒度的计算资源,可以实现更小、更低的功耗,或者相反地实现更高的分类率。为此,芬兰人的框架,最近提出了建立快速和灵活的现场可编程门阵列(FPGA)的BNN加速器。Finn使用了一组新颖的优化,可以将BNN有效映射到硬件,并实现了完全连接的非填充卷积层和池化层,每层计算资源都是根据用户提供的吞吐量要求定制的。然而,由于所选FPGA的大小,FINN没有在较大的拓扑结构上进行评估,并且由于缺乏填充而显示出降低的准确性。在本文中,我们改进了Finn,展示了如何在BNN上使用填充,同时仍然保持1位数据路径和高精度。基于这种技术,我们展示了大量的实验来说明该方法的灵活性和可扩展性。特别是,我们表明,在ADM-PCIE-8 K5平台上运行的每帧需要12亿次操作的大型BNN可以以12 kFPS的速度对图像进行分类,延迟为671 us,同时功耗小于41 W,并以88.7%的准确率对CIFAR-10图像进行分类。我们对该网络的实施实现了每秒14.8万亿次操作。我们相信这是迄今为止在该基准上报告的最快分类率。
2017-01-27 cs.CV cs.LG
Towards Fast and Energy-Efficient Binarized Neural Network Inference on FPGA
Iluvatar CoreX(天数智芯);University of California San Diego(加州大学圣地亚哥分校)
二值化神经网络(Binarized Neural Network,BNN)通过使用单个比特(-1/+1)作为网络参数和中间表示,消除了传统CNN中的位宽冗余,大大降低了片外数据传输和存储开销。然而,BNN推理仍然存在大量的计算冗余。通过分析图像的局部属性和学习的BNN内核权重,我们观察到平均$\sim$ 78%的输入相似性和$\sim$ 59%的权重内核之间的权重相似性,我们提出的度量在常见的网络架构。因此,确实存在冗余,可以利用这些冗余来进一步减少片上计算量。受观察的启发,在本文中,我们提出了两种类型的快速和节能的BNN推理架构。我们还提供了分析和见解,以便为不同的数据集和网络模型选择更好的策略。通过重用先前计算的结果,可以跳过用于数据缓冲器访问和计算的许多周期。通过实验,我们证明了80%的计算和40%的缓冲区访问可以跳过利用BNN相似性。因此,我们的设计可以实现减少17%的总功耗,减少54%的片上功耗和2.4 $\times$的最大加速比,与基线相比,没有应用我们的重用技术。我们的设计还显示了1.9 $\times$更多的面积效率相比,国家的最先进的BNN推理设计。我们相信,我们在FPGA上部署BNN将为在移动设备上运行深度学习模型带来光明的未来。
2018-10-04 cs.AI cs.AR cs.CV
Polariton lattices as binarized neuromorphic networks
St. Petersburg State University(圣彼得堡国立大学)
本研究提出基于激子-极化激元凝聚体晶格的二值化神经形态网络,利用极化激元的相干性与非线性实现高效并行二值运算,在图像与语音识别任务中性能优于现有极化激元系统及传统基准模型。
2024-11-09 cond-mat.dis-nn cs.LG cs.NE
Towards adversarial robustness with 01 loss neural networks
New Jersey Institute of Technology(新泽西理工学院)
出于对01损失的一般鲁棒性的考虑,我们提出了一种使用随机坐标下降训练的单隐藏层01损失神经网络,作为机器学习中对对抗攻击的防御。模型鲁棒性的一个衡量标准是使输入具有对抗性所需的最小失真。这可以近似为边界攻击(Brendel et. 2018)和HopSkipJump(Chen et. 2019)方法。我们将01损失网络的最小失真与二值化神经网络和具有交叉熵损失的标准S形激活网络进行了比较,所有这些网络都在CIFAR10基准分类0和1之间进行了高斯噪声训练。无论有无噪声训练,我们都发现我们的01损失网络在三个模型中具有最大的对抗性失真。为了进一步验证这些结果,我们在不同的失真阈值下对所有模型进行替代模型黑盒攻击,发现01损失网络在所有失真下都是最难攻击的。在失真为0.125时,sigmoid激活的交叉熵损失和二值化网络在对抗性示例中的准确率几乎为0%,而01损失网络的准确率为40%。即使01损失和二值化网络都使用符号激活,它们的训练算法也不同,这反过来又给出了不同的鲁棒性解决方案。最后,我们将我们的网络与替代模型黑盒攻击下的简单卷积模型进行了比较,发现它们的准确性相当。我们的工作表明,01损失网络有可能抵御黑盒对抗攻击比凸损失和二值化网络。
2020-08-20 cs.LG stat.ML
Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks
TU Dortmund University(多特蒙德工业大学)
非易失性存储器,如电阻式RAM(RRAM),是一种新兴的节能存储,尤其适用于边缘的低功耗机器学习模型。然而,据报道,RRAM的位出错率在超低功率设置中可以高达3.3%,这对于许多用例来说可能是至关重要的。二进制神经网络(BNN)是神经网络(NN)的一种资源有效的变体,它可以容忍一定比例的错误而不损失准确性,并且在计算和存储方面需要更少的资源。BNN中的比特差错容限(BET)可以通过在训练期间翻转权重符号来实现,如Hirtzlin等人所提出的,但是他们的方法有一个明显的缺点,特别是对于全连接神经网络(FCNN):FCNN过拟合训练中使用的错误率,这导致在较低出错率下的低准确度。此外,没有研究BET的基本原理。在这项工作中,我们改进了BNN的BET训练,旨在解释这一属性。我们提出了直通梯度近似,以改善权重符号翻转训练,通过该BNN适应比特出错率。为了解释所实现的鲁棒性,我们定义了一个度量,其目的是在没有故障注入的情况下测量BET。我们评估的度量,并发现它与准确度超过出错率的所有FCNN测试。最后,我们探讨了一种新的正则化优化相对于这个指标的影响,其目的是提供一个可配置的权衡精度和BET。
2020-02-03 cs.ET cs.LG stat.ML
BiT: Robustly Binarized Multi-distilled Transformer
Reality Labs, Meta Inc.(Meta公司现实实验室);Meta AI;Peking University(北京大学)
现代预训练的Transformers已经迅速推进了机器学习的最新技术,但参数和计算复杂性也在增长,使得它们越来越难以在资源受限的环境中部署。网络的权重和激活的二进制化可以显着缓解这些问题,然而,从优化的角度来看,这在技术上是具有挑战性的。在这项工作中,我们确定了一系列的改进,使二进制Transformers在一个更高的精度比以前可能。其中包括两组二进制化方案,一种新的弹性二进制激活函数与学习参数,和一种方法,通过连续提取高精度模型到低精度的学生,将网络扩展到其极限。这些方法首次允许完全二进制化的Transformer模型达到实用的精度水平,在GLUE语言理解基准测试中接近全精度BERT基线,误差仅为5.9%。代码和模型可在https://github.com/facebookresearch/bit上获得。
2022-10-02 cs.CL cs.LG
Efficient Certified Reasoning for Binarized Neural Networks
Georgia Institute of Technology(佐治亚理工学院);United States Institute for Infocomm Research (I 2 R)(美国信息与通信研究所);Nanyang Technological University(南洋理工大学);University of Toronto(多伦多大学);Chalmers University of Technology(楚克大学);University of Gothenburg(哥德堡大学)
本文针对二值化神经网络验证中可扩展性与可靠性不足的问题,提出原生支持 BNN 约束的可认证求解与计数方法,并配套证明生成与检查流水线,在定性和定量推理上分别实现 9 倍和 218 倍加速,且认证覆盖率显著优于现有基线。
2025-06-25 cs.AI cs.LG cs.LO
Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks
University College London(伦敦大学学院)
深度生成模型提供了一套强大的工具来理解真实世界的数据。但随着这些模型的改进,它们的大小和复杂性也会增加,因此它们在内存和执行时间上的计算成本也会增加。在神经网络中使用二进制权重是一种有望降低这种成本的方法。然而,二进制神经网络是否可以用于生成模型是一个悬而未决的问题。在这项工作中,我们表明,第一次,我们可以成功地训练生成模型,利用二进制神经网络。这大大降低了模型的计算成本。我们开发了一类新的二进制权重归一化,并为这些二进制生成模型的架构设计提供了见解。我们证明了两个最先进的深度生成模型,ResNet VAE和Flow++模型,可以使用这些技术有效地二进制化。我们训练二进制模型,使其损失值接近常规模型的损失值,但大小要小90%-94%,并且还允许显著加快执行时间。
2021-05-03 cs.LG
End-to-end fully-binarized network design: from Generic Learned Thermometer to Block Pruning
Smart Integrated Circuits for Imaging Laboratory, CEA-LETI(智能成像实验室,CEA-LETI)
针对现有二值神经网络忽略输入原始数据的问题,提出通用学习温度计编码技术与结合块剪枝、知识蒸馏的紧凑拓扑,实现了精度提升且尺寸不足1Mb的轻量全二值化模型,适用于传感器内始终开启的推理场景。
2025-05-05 cs.AR cs.CV cs.LG
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong(香港中文大学);Microsoft AI and Research(微软人工智能研究院)
循环神经网络语言模型(RNNLM)的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来,能够产生极低比特压缩的神经网络量化技术(例如,二值化RNNLM)正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题,提出了一种利用交替方向乘法器(ADMM)从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验:Penn Treebank(PTB)和Switchboard(SWBD)建议,所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语:语言模型,递归神经网络,量化,交替方向乘法器方法。
2021-11-29 cs.LG
Incremental Binarization On Recurrent Neural Networks For Single-Channel Source Separation
Indiana University(印第安纳大学)
提出了一种用于单通道信号源分离的位选通递归单元(BGRU)网络。递归神经网络(RNN)需要在其单元内设置多组权重,与全连接网络相比,这显著增加了计算成本。为了减轻这种增加的计算,我们专注于GRU单元,并使用二进制值和按位操作来简化前馈过程。BGRU网络分为两个阶段进行训练。实值权重被预先训练并转移到按位网络,然后被增量二进制化,以最大限度地减少突然引入量化可能造成的潜在损失。由于所提出的二进制化技术仅将一些随机选择的参数转换为它们的二进制版本,因此它使网络训练过程有机会轻轻地适应网络的部分量化版本。它最终通过在迭代过程中逐步增加二值化的量来实现完全二值化。我们的实验表明,所提出的BGRU方法产生的源分离结果大于实值全连接网络,具有11-12 dB的平均信号失真比(SDR)。完全二进制化的BGRU仍然比逐位神经网络(BNN)好1-2 dB,即使层数较少。
2019-08-23 cs.LG cs.SD eess.AS