Hyperbolic Binary Neural Network
National Special Education Resource Center for Children with Autism, Zhejiang Normal University（浙江师范大学国家孤独症儿童特殊教育资源中心）；Institute of Cyber-Systems and Control, Zhejiang University（浙江大学 cyber 系统与控制研究所）；School of Computer Science and Technology, Zhejiang Normal University（浙江师范大学计算机科学与技术学院）
本文提出双曲二值神经网络HBNN，利用黎曼指数映射将约束优化转为无约束优化，并通过EPC提高权重翻转概率与信息增益，在多个图像分类基准上取得优于现有方法的性能。
2025-01-07 cs.CV cs.LG
Training Multi-Layer Binary Neural Networks With Local Binary Error Signals
Politecnico di Milano（米兰理工大学）
本研究提出了一种完全二进制且无梯度的训练算法，用于多层二进制神经网络，通过局部二进制误差信号和二进制权重更新，显著提升测试准确率并降低计算成本。
2025-08-05 cond-mat.dis-nn cs.CV cs.LG
Binarizing MobileNet via Evolution-based Searching
Carnegie Mellon University（卡内基梅隆大学）；Hong Kong University of Science and Technology（香港科技大学）；Axon Enterprise（Axon企业公司）
二进制神经网络（Binary Neural Networks，BNN）是一种高效的紧凑网络结构，在视觉任务中取得了很好的效果。由于网络的二进制性质，设计有效的二进制架构并不简单。在本文中，我们提出了一种使用进化搜索，以促进建设和训练计划时，二进制MobileNet，一个紧凑的网络与可分离的深度卷积。受一次性架构搜索框架的启发，我们利用组卷积的思想来设计高效的1位卷积神经网络（CNN），假设计算成本和模型精度之间的近似最佳权衡。我们的目标是通过探索组卷积的最佳候选者，同时在复杂性和延迟方面优化模型性能，从而提出一种微小而有效的二进制神经架构。这一办法有三个方面。首先，我们训练强基线二进制网络，在每个卷积层上使用各种随机组组合。这种设置使二进制神经网络具有通过层保存基本信息的能力。其次，为了找到一组好的群卷积超参数，我们使用进化搜索，它利用了有效的1位模型的探索。最后，这些二进制模型以通常的方式从头开始训练，以实现最终的二进制模型。在ImageNet上进行的各种实验表明，按照我们的构建指南，最终模型达到了60.09%的Top-1准确率，并且在相同的计算成本下优于最先进的CI-BCNN。
2020-05-15 cs.CV cs.LG cs.NE
Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于一阶LIF神经元模型的SNN架构及硬件友好设计，在FPGA上实现，用于TinyML视觉任务，相比BCNN基线能效提升86%。
2024-11-03 cs.AR cs.LG cs.NE
Least squares binary quantization of neural networks
Apple Inc.（苹果公司）
量化深度神经网络的权重和激活导致以较低的准确性为代价的推理效率的显著提高。全精度模型和量化模型之间的精度差距的来源是量化误差。在这项工作中，我们专注于二进制量化，其中值被映射到-1和1。我们提供了一个统一的框架来分析不同的扩展策略。受2位与1位量化的帕累托最优性的启发，我们引入了一种新的2位量化与可证明的最小平方误差。我们的量化算法可以有效地实现在硬件上使用逐位操作。我们提出的证据表明，我们提出的方法是最佳的，也提供了经验误差分析。我们在ImageNet数据集上进行了实验，并在使用所提出的最小二乘量化算法时显示出降低的准确性差距。
2020-06-13 cs.LG cs.NE
Probabilistic Binary-Mask Cocktail-Party Source Separation in a Convolutional Deep Neural Network
University of Surrey（萨里大学）
竞争语音的分离是信号处理中的一个关键挑战，也是人类听觉大脑经常执行的一项壮举。声源分离的频谱图方法的一个长期存在的基准被称为理想二进制掩模。在这里，我们训练一个卷积深度神经网络，在两个扬声器的鸡尾酒会问题上，对二进制掩码进行概率预测。我们的结果接近理想的二进制掩码性能，说明相对简单的深度神经网络能够进行鲁棒的二进制掩码预测。我们还说明了预测统计和分离质量之间的权衡。
2015-03-24 cs.LG cs.NE cs.SD
Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation
Singapore Management University（新加坡管理大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
与实权多层神经网络相比，二进制多层神经网络（BMNN）可以在专用硬件上更有效地实现。BMNN已被证明是有效的二进制分类任务的期望反向传播（EBP）算法在高维文本数据集。在本文中，我们研究的能力，BMNN使用EBP算法对多类图像分类任务。在MNIST上研究了具有多隐层和不同隐层单元数的二进制神经网络的性能。我们还探讨了图像空间滤波器的有效性和BMNN的辍学技术。在MNIST数据集上的实验结果表明，EBP在二进制权值下的测试误差为2.12%，在实权值下的测试误差为1.66%，与标准的BP算法在全连接MNN上的测试误差相当.
2015-03-22 cs.CV cs.LG cs.NE
BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning
King's College London（伦敦国王学院）
通过将突触权重限制为二进制，可以使对电池供电设备的基于人工神经网络（ANN）的推断更加节能，从而消除了执行乘法的需要。另一种新兴的方法依赖于使用脉冲神经网络（SNN），这种生物启发的动态事件驱动模型通过使用二进制稀疏激活来提高能效。在本文中，SNN模型的介绍，结合时间稀疏的二进制激活和二进制权重的好处。两个学习规则的基础上，第一个组合的直通和代理梯度技术，第二个基于贝叶斯范式。实验验证了性能损失方面的全精度实现，并证明了贝叶斯范式的准确性和校准方面的优势。
2020-12-15 cs.LG cs.NE eess.SP
BinaryConnect: Training Deep Neural Networks with binary weights during propagations
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
深度神经网络（DNN）在广泛的任务中取得了最先进的结果，在大型训练集和大型模型中获得了最佳结果。在过去，GPU实现了这些突破，因为它们具有更高的计算速度。在未来，在训练和测试时更快的计算可能对进一步的进展和低功耗设备上的消费者应用至关重要。因此，人们对深度学习（DL）专用硬件的研究和开发非常感兴趣。二进制权重，即，由于乘法器是神经网络的数字实现中最需要空间和功率的组件，因此通过用简单的累加来代替许多乘法-累加操作，仅被约束为两个可能值（例如，-1或1）的权重将给专用DL硬件带来很大的好处。我们引入了BinaryConnect，这是一种在前向和后向传播过程中使用二进制权重训练DNN的方法，同时保留了累积梯度的存储权重的精度。像其他dropout方案一样，我们证明了BinaryConnect作为正则化器，并且我们使用BinaryConnect在置换不变的MNIST，CIFAR-10和SVHN上获得了接近最先进的结果。
2016-04-18 cs.CV cs.LG cs.NE
Training binary neural networks without floating point precision
Facoltà di Ingegneria dell’Informazione, Informatica e Statistica（工程、信息学与统计学学院）
本文针对二值神经网络训练效率问题，提出拓扑修改与策略训练两种方案，在接近最优性能的同时降低训练时间和内存需求。
2023-10-19 cs.AI cs.LG cs.NE
Controlling Information Capacity of Binary Neural Network
Russian Research Center Huawei Technologies, Russia（华为技术有限公司俄罗斯研究中心）；Department of Computer Science ETH Zurich, Switzerland（苏黎世联邦理工学院计算机科学系）
尽管深度学习技术越来越受欢迎，但高内存要求和功耗本质上限制了其在移动和物联网领域的应用。虽然二进制卷积网络可以缓解这些问题，但权重的有限位宽通常会导致预测精度的显着下降。在本文中，我们提出了一种训练二进制网络的方法，通过将基于香农熵的惩罚应用于卷积滤波器，在整个训练过程中保持其信息容量的稳定预定义水平。在SVHN、CIFAR和ImageNet数据集上进行的实验结果表明，该方法可以显著提高二进制网络的准确性。
2020-08-04 cs.CV cs.LG cs.NE
XNOR Neural Engine: a Hardware Accelerator IP for 21.6 fJ/op Binary Neural Network Inference
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
二进制神经网络（BNN）有望以内存和能量成本的一小部分提供与传统深度神经网络相当的准确性。在本文中，我们介绍了XNOR神经引擎（XNE），一个全数字可配置的硬件加速器IP的BNN，集成在一个微控制器单元（MCU）配备了一个自主的I/O子系统和混合SRAM /标准单元存储器。XNE能够自主或与MCU中的核心合作完全计算卷积层和密集层，以实现更复杂的行为。我们展示了XNE IP在65 nm和22 nm技术下的后合成结果以及完整MCU在22 nm下的后布局结果，表明该系统可以在0.4V下将每次二进制操作的能量成本降低到每次操作21.6fJ，同时具有足够的灵活性和性能，可以执行最先进的BNN拓扑，如ResNet，在8.9 fps时，每帧不到2.2mJ。
2018-07-09 cs.AR cs.LG cs.NE
An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
RWTH Aachen University（亚琛工业大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（斯泰伦博斯大学）
我们研究了具有二元激活函数（BDNN）的深度神经网络，即激活函数只有两个状态。我们表明，BDNN可以重新制定为一个混合整数线性规划，可以解决经典的整数规划求解器的全局最优性。此外，一个启发式求解算法，我们研究了数据不确定性下的模型，采用两阶段的鲁棒优化方法。我们在随机和真实数据集上实现了我们的方法，并表明BDNN的启发式版本在乳腺癌威斯康星数据集上的表现优于经典的深度神经网络，而在随机数据上的表现更差。
2020-08-07 cs.LG cs.NE math.OC
Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
将计算嵌入到与传统电子学不兼容的分子环境中，有望在合成生物学、医学、纳米纤维等领域产生广泛的影响。一个关键的挑战在于开发分子计算的编程范式，这些范式与底层的化学硬件保持一致，并且不试图硬塞不合适的电子学范式。我们发现了一类流行的神经网络（二进制权重ReLU，又名BinaryConnect）和一类对反应速率绝对鲁棒的耦合化学反应之间惊人的紧密联系。速率无关化学计算的鲁棒性使其成为生物工程实现的一个有前途的目标。我们展示了如何使用有根据的深度学习优化技术在计算机中训练的BinaryConnect神经网络，可以编译为等效的化学反应网络，提供一种新的分子编程范式。我们说明了这样的翻译上的范式IRIS和MNIST数据集。对于化学计算的预期应用，我们进一步使用我们的方法来生成一个化学反应网络，该网络可以根据基因表达水平区分不同的病毒类型。我们的工作为神经网络和分子编程社区之间的丰富知识转移奠定了基础。
2020-06-30 cs.ET cs.LG cs.NE
BMXNet: An Open-Source Binary Neural Network Implementation Based on MXNet
Hasso Plattner Institute (HPI), University of Potsdam（哈索·普拉特纳研究所（HPI），波茨坦大学）
二进制神经网络（BNN）可以通过应用逐位操作而不是标准算术操作来大幅减少存储器大小和访问。因此，它可以显着提高效率并降低运行时的能耗，这使得最先进的深度学习模型能够在低功耗设备上应用。BMXNet是一个基于MXNet的开源BNN库，它支持XNOR网络和量化神经网络。开发的BNN层可以与其他标准库组件无缝应用，并在GPU和CPU模式下工作。BMXNet由Hasso Plattner Institute的多媒体研究小组维护和开发，并在Apache许可下发布。大量的实验验证了我们的实现的效率和有效性。BMXNet库、几个示例项目和一系列预训练的二进制深度模型可在https://github.com/hpi-xnor下载
2017-05-27 cs.CV cs.LG cs.NE
Binary Neural Networks: A Survey
Beihang University（北京航空航天大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Trento（特伦托大学）
二进制神经网络在很大程度上节省了存储和计算，是在资源有限的设备上部署深度模型的一种有前途的技术。然而，二值化不可避免地造成严重的信息丢失，更糟糕的是，其不连续性给深度网络的优化带来困难。为了解决这些问题，近年来人们提出了各种算法，并取得了令人满意的进展。在本文中，我们提出了一个全面的调查，这些算法，主要分为本地解决方案直接进行二值化，和优化的技术，如最小化量化误差，改善网络损失函数，并减少梯度误差。我们还研究了二进制神经网络的其他实用方面，如硬件友好的设计和训练技巧。然后，对图像分类、目标检测和语义分割等不同任务进行了评价和讨论。最后，对未来研究中可能面临的挑战进行了展望。
2020-03-31 cs.CV cs.LG cs.NE
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
Chongqing University（重庆大学）
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而，在嵌入式系统中实现深度神经网络是一项具有挑战性的任务，因为典型的深度神经网络，例如使用128 × 128图像作为输入的深度信念网络，可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战，本文提出了一种面向硬件的深度学习算法，称为深度自适应网络，它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零，从而形成稀疏前馈网络结构。此外，由于重要权重的小部分显著大于零，因此可以使用单比特整数（-1和+1）对它们进行鲁棒阈值化和表示，从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明，对于识别MNIST手写数字的应用，通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率，与标准深度信念网络（97.3%）几乎相同。此外，对于高效的硬件实现，稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元，而不会显着损失模式识别应用的分类准确性。
2016-04-21 cs.CV cs.LG cs.NE
Recursive Binary Neural Network Learning Model with 2.28b/Weight Storage Requirement
本文提出了一种存储高效的学习模型，称为递归二进制神经网络的传感设备具有有限的芯片上的数据存储量，如< 100的千字节。该模型的主要思想是在训练过程中递归地回收突触权重（参数）的数据存储。这使得具有给定存储约束的设备能够训练和实例化在芯片上具有较大数量的权重并且具有较少数量的芯片外存储访问的神经网络分类器。这实现了更高的分类精度、更短的训练时间、更少的能量耗散和更少的片上存储要求。我们使用深度神经网络分类器和置换不变MNIST基准测试验证了训练模型。我们的模型仅使用2.28位/权重，而对于相同的数据存储约束，与传统的二进制权重学习模型相比，分类误差降低了约1%，而传统的二进制权重学习模型还必须使用8到16位存储/权重。为了实现类似的分类错误，传统的二进制模型需要比所提出的模型多约4倍的数据存储用于权重。
2017-09-15 cs.NE
Storing sequences in binary tournament-based neural networks
对最近提出的一种基于神经网络的神经网络结构进行了扩展。该扩展使得可以以高效率存储序列。为了获得这一属性，网络连接提供了方向和灵活的冗余进行的空间和时间冗余，预测机制被引入模型。该方案除了具有高效率的序列存储外，还具有生物相容性。为了实现准确的序列检索，还提出了一种结合异联想和自联想的双层结构。
2014-09-01 cs.NE
Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations
提出了一种新的基于反向传播的离散脉冲神经网络（SNN）训练算法。受二值化神经网络的最新深度学习算法的启发，使用具有直通梯度估计器的二进制激活来对泄漏积分放电尖峰神经元进行建模，克服了使用反向传播训练SNN的困难。提出了两种SNN训练算法：（1）不连续积分的SNN，适用于速率编码的输入尖峰信号;（2）连续积分的SNN，具有更好的通用性，可以处理具有时间信息的输入尖峰信号。在40 nm CMOS中设计的神经形态硬件利用了尖峰稀疏性，并表现出高分类准确性（MNIST上>98%）和低能量（48.4-773 nJ/图像）。
2017-09-19 cs.NE
Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?
UC San Diego（加州大学圣地亚哥分校）；Harvard University（哈佛大学）
二进制神经网络（BNN）已经被广泛研究，因为它们在较低的内存和功耗下比浮点网络运行得更快，这要归功于位操作的效率。然而，当代BNN的权重和激活都是单比特的，遭受严重的精度下降。为了理解为什么，我们通过大量的实验研究了BNN的表示能力，速度和偏差/方差。我们的结论是，BNN的错误主要是由固有的不稳定性（训练时间）和非鲁棒性（训练和测试时间）。受此研究的启发，我们提出了二进制嵌入式神经网络（BENN），它利用集成方法来提高BNN的性能与有限的效率成本。虽然集成技术被广泛认为对深度神经网络等强分类器只有很小的帮助，但我们的分析和实验表明，它们自然非常适合提升BNN。我们发现，我们的BENN比最先进的二进制网络更快，更强大，甚至可以超过具有相同架构的全精度浮点数网络的准确性。
2018-12-03 cs.AI cs.CV cs.LG
Transfer Learning with Binary Neural Networks
Ghent University - imec, IDLab, Department of Information Technology（根特大学 - imec，IDLab，信息技术系）；Ghent University（根特大学）
以前的工作表明，可以用低精度权重和激活来训练深度神经网络。在极端情况下，甚至可以将网络限制为二进制值。然后，昂贵的浮点乘法被减少为快速逻辑运算。高端的智能手机，如谷歌的Pixel 2和苹果的iPhone X，已经配备了专门的图像处理硬件，其他未来的消费硬件很可能也会有专门的深度神经网络加速器。二进制神经网络在这种情况下是有吸引力的，因为逻辑运算在硬件中实现时非常快速和有效。我们提出了一种基于迁移学习的体系结构，我们首先在Imagenet上训练一个二进制网络，然后重新训练部分网络用于不同的任务，同时保持大部分网络固定。固定的二进制部分可以在硬件加速器中实现，而网络的最后几层则在软件中进行评估。我们证明了在Imagenet数据集上训练的单个二进制神经网络确实可以用作其他数据集的特征提取器。
2017-11-29 cs.CV cs.NE
Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing
Nazarbayev University（纳扎尔巴耶夫大学）
忆阻交叉开关旨在实现模拟加权神经网络，然而，由于忆阻器件的有限切换状态，这种交叉开关阵列的现实实现是不可能的。在这项工作中，我们提出了一个模拟深度神经网络的设计与二进制权重更新通过反向传播算法使用二进制状态忆阻器件。我们表明，这样的网络可以成功地用于图像处理任务，并具有较低的功耗和小的片上面积与数字同行相比的优势。建议的网络基准MNIST手写数字识别达到约90%的准确率。
2018-08-02 cs.AI cs.ET cs.NE
Analysis and FPGA based Implementation of Permutation Binary Neural Networks
本文研究兼具局部二值连接、全局置换连接与 signum 激活的 PBNN，提出进化算法探索全局稳定周期轨道，并通过 FPGA 原型实验验证，面向开关控制与时序逼近应用。
2023-06-02 cs.NE math.DS
Quadratic Unconstrained Binary Optimisation for Training and Regularisation of Binary Neural Networks
Hitachi Europe Ltd.（日立欧洲有限公司）；Hitachi Ltd.（日立有限公司）
本文提出基于二次无约束二进制优化的二进制神经网络训练与正则化方法，通过改进网络拓扑和引入两种新型正则化技术提升分类性能。
2026-01-01 cs.NE math.OC
Spiking Neural Streaming Binary Arithmetic
布尔函数和二进制算术运算是标准计算范例的核心。因此，计算领域的许多进展都集中在如何使这些运算更有效以及探索它们可以计算什么。为了最好地利用新的计算范例的优势，重要的是要考虑它们提供了什么独特的计算方法。然而，对于任何专用协处理器，布尔函数和二进制算术运算对于通过在设备上预处理和后处理数据来避免在协处理器上和从协处理器上进行不必要的I/O等是有用的。这对于尖峰神经形态架构尤其如此，其中这些基本操作不是基本的低级操作。相反，这些功能需要具体实现。在这里，我们讨论了一个有利的流二进制编码方法的影响，以及设计的电路，以精确计算基本布尔和二进制运算的少数。
2022-03-23 cs.DC cs.NE
Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
University of Electronic Science and Technology of China（电子科技大学）
本文从二值激活RNN视角重新审视SNN序列建模中的重置机制，系统分析其必要性，并提出固定不应期SNN架构以解决长程建模与并行训练挑战。
2025-05-25 cs.AI cs.NE
A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification
National Tsing Hua University（国立清华大学）；National Cheng Kung University（国立成功大学）；Industrial Technology Research Institute（工业技术研究院）
神经网络硬件被认为是未来边缘设备的重要组成部分。在本文中，我们提出了一种二进制权重尖峰神经网络（BW-SNN）硬件架构，用于边缘平台上的低功耗实时对象分类。这种设计在片上存储了完整的神经网络，因此不需要片外带宽。所提出的脉动阵列最大限度地提高了典型卷积层的数据重用。在90 nm CMOS上实现了一个5层卷积BW-SNN硬件。与最先进的设计相比，每分类的面积成本和能量分别减少了7个$\times$和23个$\times$，同时在MNIST基准上也实现了更高的准确性。这也是一个开创性的SNN硬件架构，支持先进的CNN架构。
2020-03-12 cs.AR cs.CV cs.NE
XNORBIN: A 95 TOp/s/W Hardware Accelerator for Binary Convolutional Neural Networks
ETH Zurich（苏黎世联邦理工学院）
部署最先进的CNN需要耗电的处理器和片外存储器。这排除了在低功耗嵌入式系统中实现CNN。最近的研究表明，CNN维持极端量化，将其权重和中间特征映射二值化，从而节省8-32 \x内存，并将能量密集型产品总和压缩为XNOR和popcount操作。我们提出了XNORBIN，一个二进制CNN的加速器，计算与内存紧密耦合，以实现积极的数据重用。XNORBIN采用UMC 65 nm技术实现，在0.8 V时的能效为95 TOp/s/W，面积效率为2.0 TOp/s/MGE。
2018-03-05 cs.AI cs.AR cs.CV
