Graph Neural Networks and Arithmetic Circuits
Institute for Theoretical Computer Science(理论计算机科学研究所);Leibniz University Hanover(汉诺威莱布尼茨大学);School of Computer Science(计算机科学学院);University of Sheffield(谢菲尔德大学)
本文建立了图神经网络表达能力与实数算术电路之间的精确对应关系,将激活函数映射为电路门类型,并证明该对应在常数深度及均匀与非均匀情形下对所有常见激活函数成立。
2024-11-21 cs.AI cs.CC cs.LG
Sequential Coordination of Deep Models for Learning Visual Arithmetic
Mila(米拉研究所);McGill University(麦吉尔大学)
实现机器智能需要感知和推理的顺利整合,但迄今为止开发的模型往往专注于其中一个;迄今为止,从丰富的感知空间中获得的符号的复杂操作被证明是难以捉摸的。考虑一个视觉算术任务,目标是对自然条件下(例如手写的,随机放置的)呈现的数字进行简单的算术算法。我们提出了一个两层架构来解决这个问题。下层由信息处理模块的异构集合组成,其可以包括用于从图像中定位和提取字符的预训练的深度神经网络,以及对通过感知提取的表示执行符号变换的模块。更高层由一个使用强化学习训练的控制器组成,它协调模块以解决高级任务。例如,控制器可以学习在什么上下文中执行感知网络以及将什么符号变换应用于它们的输出。由此产生的模型是能够解决各种任务的视觉算术域,并具有几个优点,标准的,结构上均匀的前馈网络,包括提高样本效率。
2018-09-13 cs.AI cs.LG stat.ML
POLAR: A Polynomial Arithmetic Framework for Verifying Neural-Network Controlled Systems
University of Liverpool(利物浦大学);Boston University(波士顿大学);Northwestern University(西北大学);University of Dayton(代顿大学)
我们提出了POLAR,一个多项式算法为基础的框架,有效的有界时间可达性分析的神经网络控制系统(NNCS)。现有的方法,利用标准的泰勒模型(TM)算法近似的神经网络控制器不能处理不可微的激活功能,并遭受快速爆炸的其余部分时,传播TM。POLAR通过将TM算法与\textbf{Bernstein B{é}zier Form}和\textbf{symbolic remainder}相结合克服了这些缺点。前者使TM传播通过不可微的激活函数和本地细化的TM,和后者减少了误差积累的TM剩余的线性映射在网络中。实验结果表明,POLAR显着优于目前国家的最先进的工具,在效率和可达集过近似的紧密性。源代码可以在https://github.com/ChaoHuang2018/POLAR_Tool中找到
2022-12-24 cs.LG cs.SY eess.SY
Neural Power Units
Artificial Intelligence Center(人工智能中心);Czech Technical University(捷克技术大学)
传统的神经网络可以近似简单的算术运算,但无法推广到训练过程中看到的数字范围之外。神经算术单元旨在克服这一困难,但目前的算术单元要么仅限于对正数进行运算,要么只能表示算术运算的子集。我们介绍了神经功率单元(NPU),它在实数的整个域上运行,并且能够在单层中学习任意的幂函数。因此,NPU修复了现有算术单元的缺点,并扩展了它们的表达能力。我们通过使用复数运算来实现这一点,而不需要将网络转换为复数。将单元简化为RealNPU会产生高度透明的模型。我们表明,NPU在人工算术数据集的准确性和稀疏性方面优于竞争对手,并且RealNPU只能从数据中发现动力系统的控制方程。
2020-12-17 cs.LG cs.NE stat.ML
Recurrent Graph Neural Networks and Arithmetic Circuits
Institut für Theoretische Informatik, Leibniz Universität Hannover, Germany(汉诺威莱布尼茨大学理论计算机研究所);School of Computing Science, University of Glasgow, UK(格拉斯哥大学计算机科学学院)
本文提出递归算术电路模型,通过建立递归GNN与算术电路之间的精确对应关系,揭示了递归GNN在处理标记图时的计算能力。
2026-03-05 cs.AI cs.CC cs.LG
Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs
Fuzhou University(福州大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);University of Southern California(南加州大学)
本文以多输入模加法为案例,从理论上刻画了单隐藏层神经网络和单层Transformer学习到的傅里叶特征,并证明在足够宽度下网络通过间隔最大化获得最大L2,k+1间隔,从而揭示其采用特定计算策略的内在机制。
2025-03-09 cs.LG stat.ML
An Overview of Arithmetic Adaptations for Inference of Convolutional Neural Networks on Re-configurable Hardware
AVI Systems(AVI系统)
本文针对卷积神经网络在FPGA等可重构嵌入式硬件部署的难点,介绍了算术适配相关策略,并展示了基于TinyYOLOv3在XILINX Artix-7 FPGA上结合批归一化融合等技术的最佳实践。
2025-05-19 cs.LG
Computation Error Analysis of Block Floating Point Arithmetic Oriented Convolution Neural Network Accelerator Design
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
大规模卷积神经网络在嵌入式平台上的部署面临着计算量和片外通信量的巨大负担。由于CNN对计算误差有很强的耐受性,在CNN加速器中采用块浮点(BFP)算法可以有效地节省硬件成本和数据流量,同时保持分类精度。在本文中,我们验证了BFP中的字宽定义对CNN性能的影响,而无需重新训练。本文测试了几种典型的CNN模型,包括VGG 16、ResNet-18、ResNet-50和GoogLeNet。实验结果表明,8位尾数,包括符号位,在BFP表示仅引起小于0.3%的准确性损失。此外,我们还从理论上分析了计算误差,给出了信噪比(NSR)的上界,为基于BFP的CNN引擎设计提供了有希望的指导。
2017-11-24 cs.LG
Rethinking Arithmetic for Deep Neural Networks
我们考虑深度神经网络实现的效率。随着机器学习成为高性能计算的驱动力之一,硬件加速器越来越受到关注。在这些加速器中,描述神经网络的有向图可以被实现为描述布尔电路的有向图。我们使这一观察精确,自然导致实际的神经网络的离散函数的理解,并表明,所谓的二进制神经网络功能完整。一般来说,我们的研究结果表明,它是有价值的考虑布尔电路作为神经网络,导致的问题,电路拓扑结构是有前途的。我们认为,连续性是中央的学习概括,探索数据编码,网络拓扑结构和节点功能的连续性之间的相互作用,并提出了一些开放的问题,为今后的研究。作为第一步,弥合连续和布尔视图之间的差距的神经网络加速器,我们提出了一些最近的结果,我们的工作LUTNet,一种新的现场可编程门阵列推理方法。最后,我们得出结论与其他可能的富有成效的途径,研究桥梁连续和离散的神经网络的意见。
2019-09-17 cs.AR cs.LG cs.NE
Convolutional Rectifier Networks as Generalized Tensor Decompositions
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
卷积整流器网络,即具有整流线性激活和最大或平均池化的卷积神经网络,是现代深度学习的基石。然而,尽管它们被广泛使用并取得了成功,但我们对驱动这些网络的表达特性的理论理解充其量只是部分的。另一方面,在算术电路的世界里,我们对这些问题有更坚定的把握。具体地,已知卷积算术电路具有“完全深度效率”的性质,这意味着除了可忽略的集合之外,可以由多项式大小的深度网络实现的所有函数都需要指数大小,以便由浅网络实现(或甚至近似)。在本文中,我们描述了一种基于广义张量分解的结构,将卷积算术电路转换为卷积整流器网络。然后,我们使用数学工具,可从世界上的算术电路,以证明新的结果。首先,我们证明了卷积整流器网络对最大池化是通用的,但对平均池化不是通用的。其次,更重要的是,我们证明了卷积整流器网络的深度效率比卷积算术电路弱。这让我们相信,开发训练卷积算术电路的有效方法,从而实现其表达潜力,可能会产生一种深度学习架构,这种架构可以证明优于卷积整流器网络,但迄今为止一直被从业者忽视。
2016-05-23 cs.LG cs.NE
Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets
Fudan University(复旦大学);New York University(纽约大学)
本文提出算术平均μP,通过统一学习率缩放方法,为CNN和ResNets提供稳健的深度定律,实现零样本学习率转移。
2025-11-27 cs.LG stat.ML
DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression
Fraunhofer Heinrich-Hertz Institut(弗劳恩霍夫海因里希·赫兹研究所)
我们提出了DeepCABAC,一种用于压缩深度神经网络的新型上下文自适应二进制算术编码器。它通过最小化加权率失真函数来量化每个权重参数,这隐含地考虑了量化对网络精度的影响。随后,它将量化值压缩成具有最小冗余的比特流表示。我们表明,DeepCABAC能够在各种不同的网络架构和数据集上达到非常高的压缩比。例如,我们能够将VGG16 ImageNet模型压缩到x63.6,而不会损失准确性,因此能够仅用8.7MB来表示整个网络。
2019-05-15 cs.AI cs.IT cs.LG
Solving Arithmetic Word Problems Automatically Using Transformer and Unambiguous Representations
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
构建精确和自动的数学应用题求解器已被证明是相当具有挑战性的。使用机器学习的先前尝试已经在特定于数学单词问题的语料库上进行了训练,以在答案计算之前产生中缀符号的算术表达式。我们发现定制的神经网络很难很好地推广。本文概述了Transformer网络的使用,该网络经过训练,可以将数学应用题转换为中缀、前缀和后缀表示法中的等效算术表达式。除了直接在特定领域的语料库上进行训练外,我们还使用了一种在一般文本语料库上进行预训练的方法,以提供基本的语言能力来探索它是否能提高性能。我们比较了大量神经配置产生的结果,发现大多数配置在四个数据集中的三个数据集上的性能优于先前报道的方法,准确性显著提高了20个百分点以上。与以前的技术水平相比,最好的神经方法平均将准确率提高了近10%。
2019-12-02 cs.CL cs.LG stat.ML
Integer-arithmetic-only Certified Robustness for Quantized Neural Networks
University of Southern California(南加州大学);Emory University(埃默里大学);Xidian University(西安电子科技大学)
对抗性数据示例引起了机器学习和安全社区的极大关注。处理对抗性示例的一系列工作是通过随机平滑来证明鲁棒性,这可以提供理论上的鲁棒性保证。然而,这样的机制通常使用浮点算法进行推理计算,并且需要大量的内存占用和令人生畏的计算成本。这些防御模型无法在边缘设备上有效运行,也无法部署在纯整数逻辑单元(如图灵张量核或纯整数ARM处理器)上。为了克服这些挑战,我们提出了一个整数随机平滑方法与量化转换任何分类器到一个新的平滑分类器,它使用整数只算术认证的鲁棒性对抗对抗扰动。我们证明了一个紧鲁棒性保证下L2-范数所提出的方法。在两个不同的数据集(CIFAR-10和Caltech-101)上,我们在通用CPU和移动设备上证明了我们的方法可以获得与浮点算法认证的鲁棒方法相当的精度和4倍~ 5倍的加速比。
2021-08-21 cs.CR cs.CV cs.LG
Performing Arithmetic Using a Neural Network Trained on Digit Permutation Pairs
Graz University of Technology(格拉茨技术大学)
在本文中,一个神经网络进行训练,以执行简单的算法,使用图像的级联手写数字对。用由两个并排的手写数字组成的图像训练卷积神经网络,其中图像的标签是组合图像中包含的两个数字的总和。至关重要的是,该网络在训练过程中不存在的排列对上进行了测试,以观察网络是否可以学习加法任务,而不是简单地将图像映射到标签。使用MNIST作为图像的基础,针对数字0-9的长度为2的所有可能的置换对生成数据集,其中针对每个置换对生成一千个样本。为了测试网络,从以前看不见的排列对生成的样本被输入到训练好的网络中,并测量其预测。结果是令人鼓舞的,与网络实现了超过90%的准确性,对一些排列训练/测试分裂。这表明网络首先学习数字识别,然后根据识别的两个数字进行进一步的加法任务。据作者所知,以前的工作没有集中在学习数学运算以这种方式。
2019-12-06 cs.CV cs.LG
Arithmetic-Intensity-Guided Fault Tolerance for Neural Network Inference on GPUs
Carnegie Mellon University(卡内基梅隆大学)
神经网络(NN)越来越多地用于安全关键域和倾向于不可靠的环境(例如,软错误),例如在航天器上。因此,赋予神经网络推理容错能力是至关重要的。基于神经网络的容错(ABFT)是一种新兴的容错方法。我们提出了一种自适应的方法,利用新兴的部署方案中未开发的机会,神经网络推理ABFT。GPU具有很高的计算-内存带宽比,而NN层具有广泛的算术强度。这使得一些层的计算限制和其他内存带宽限制,但目前的方法ABFT不考虑这些差异。我们首先调查ABFT计划最适合这些情况下。然后,我们提出了强度指导的ABFT,一个自适应的,算术强度指导的方法,选择最有效的ABFT方案为每个NN层。与传统的ABFT方法相比,强度引导的ABFT在许多NN上减少了1.09- 5.3 $\times$的执行时间开销。
2021-12-07 cs.DC cs.LG
Deep Neural Network inference with reduced word length
University of Stuttgart(斯图加特大学)
深度神经网络(DNN)是许多模式识别任务的强大模型,但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中,我们提出了一种新的方法来评估使用32位浮点(float32)精度训练的DNN,仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多,因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中,我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估,或者仅使用3位整数运算结合二进制移位和裁剪,而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
Efficient Integer-Arithmetic-Only Convolutional Neural Networks
University of Science and Technology of China(中国科学技术大学)
仅整数算术网络已被证明可以有效降低计算成本并确保跨平台一致性。然而,以前的作品通常报告的推理精度下降时,转换训练良好的浮点数(FPN)网络到整数网络。我们分析了这一现象,发现下降是由于激活量子化。具体来说,当我们用Bounded ReLU替换传统ReLU时,如何为每个神经元设置边界是一个关键问题。考虑到激活量化误差和网络学习能力之间的权衡,我们设置了一个经验规则来调整每个Bounded ReLU的边界。我们还设计了一个机制来处理的情况下,功能地图添加和功能地图连接。基于所提出的方法,我们训练的8位整数ResNet在图像识别方面优于Google的TensorFlow和NVIDIA的TensorRT的8位网络。我们还在VDSR上进行了图像超分辨率的实验,在VRCNN上进行了压缩伪影减少的实验,这两种方法都适用于本来就需要高推理精度的回归任务。我们的整数网络实现了与相应的FPN网络相当的性能,但只有1/4的内存成本,并且在现代GPU上运行速度快2倍。我们的代码和模型可以在github.com/HengRuiZ/brelu上找到。
2020-06-21 cs.CV cs.LG
Improving Set Function Approximation with Quasi-Arithmetic Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出准算术神经网络(QUANNs),通过引入神经化的柯尔莫戈罗夫均值(NKM)作为可学习的聚合函数,改进集合函数近似,提升模型的表达能力和迁移能力。
2026-02-04 cs.LG
Can neural networks do arithmetic? A survey on the elementary numerical skills of state-of-the-art deep learning models
University of Padova(帕多瓦大学)
本文综述近期数学能力相关研究,指出尽管深度学习在定理证明、数值积分等领域成果显著,但最先进模型在简单数值与算术任务上仍缺乏基础理解。
2023-03-14 cs.AI cs.LG
KLay: Accelerating Arithmetic Circuits for Neurosymbolic AI
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
针对神经符号AI中算术电路因不规则稀疏性难以在AI加速器运行的问题,提出新型数据结构KLay及配套转换、求值算法,在GPU上实现多数量级加速,助力神经符号AI规模化应用。
2025-02-20 cs.LG
A Toolbox for Fast Interval Arithmetic in numpy with an Application to Formal Verification of Neural Network Controlled Systems
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一个基于numpy的快速区间分析工具箱,利用自然包含函数高效计算区间界限,并将其成功应用于神经网络控制系统的形式化验证。
2023-06-27 cs.LG cs.SY eess.SY
Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits
University of Luebeck(吕贝克大学);Technische Hochschule Luebeck(吕贝克应用科技大学)
本文提出 Dash,一种基于算术混淆电路的分布式私有卷积神经网络推理方案,通过引入 LabelTensors 利用 GPU 并行性,并结合中国剩余定理余数缩放操作,将性能提升约 100 倍,实现更高精度,且每步推理仅需一轮通信。
2024-10-15 cs.CR cs.LG
da4ml: Distributed Arithmetic for Real-time Neural Networks on FPGAs
California Institute of Technology(加利福尼亚技术研究所);Imperial College London(伦敦帝国理工学院);CERN(欧洲核子研究中心);Institute of Physics Belgrade(贝尔格莱德物理研究所)
本文提出一种高效算法,用于在FPGA上实现常数矩阵向量乘法,同时优化面积和延迟,减少芯片资源并降低延迟,使之前不可行的网络得以实现。
2026-04-24 cs.AR cs.LG hep-ex
Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques
University of Cambridge(剑桥大学);Chung-Ang University(中央大学)
本文综述了资源高效的深度学习技术,涵盖模型级、算术级和实现级优化,并基于资源效率指标分析了跨层级影响与研究空白,指出了未来趋势。
2021-12-30 cs.LG
Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise
Taylor Lab, Huawei Technologies Co., Ltd.(华为技术有限公司泰勒实验室);Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics(上海财经大学计算与经济交叉研究重点实验室)
本文研究了在高过参数化模型中如何同时记忆噪声标签和泛化,通过模运算任务中的实验发现,适当优化和模型配置下大模型泛化能力更强,噪声标签被更快记忆,而过参数化模型内部形成泛化结构,但输出被拟合噪声标签的需求所抑制。通过频率方法提取内部结构可实现高准确率,提出任务无关方法将网络分为泛化和记忆组件,尽管该子网络提升泛化能力,但相比频率提取方法仍有局限,表明泛化结构分布于神经元中,需要新工具来检索过参数化网络中的可泛化知识。
2026-05-18 cs.AI cs.LG stat.ML
ODIN: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-Situ Neural Network Processing in Phase Change RAM
University of Kentucky(肯塔基大学)
由于人工神经网络(ANN)在与机器学习和人工智能(AI)相关的实际应用中的使用非常迅速地增长,最近已经提出了用于ANN的几种硬件加速器设计。在本文中,我们提出了一种新的处理在内存(PIM)引擎,称为ODIN,采用混合二进制随机位并行算法在侧相变RAM(PCRAM),使所有基本的人工神经网络功能,如乘法累加(MAC),非线性激活,并汇集一个低开销的原位加速。我们映射了ODIN上的四个ANN基准应用程序,将其性能与传统的以处理器为中心的设计和基于交叉杆的原位ANN加速器进行比较。我们对所考虑的ANN拓扑结构的分析结果表明,与先前工作中基于交叉杆的原位ANN加速器相比,我们的ODIN加速器的速度至少快5.8倍,能效高23.2倍,最高可达90.8倍,能效高1554倍。
2021-03-05 cs.AI cs.AR cs.LG
BERN-NN: Tight Bound Propagation For Neural Networks Using Bernstein Polynomial Interval Arithmetic
University of California, Irvine(加州大学欧文分校)
在本文中,我们提出了BERN-NN作为一个有效的工具来执行神经网络(NN)的边界传播。边界传播是广泛的NN模型检查器和可达性分析工具中的关键步骤。给定有界输入集,界传播算法的目标是计算NN输出的严格界。到目前为止,线性和凸优化已被用于执行边界传播。由于神经网络是高度非凸的,现有技术的边界传播技术遭受引入大的误差。为了避免这种缺点,BERN-NN使用一类称为伯恩斯坦多项式的多项式来近似每个神经元的边界。伯恩斯坦多项式具有几个有趣的特性,与依赖线性和凸近似的那些相比,这些特性允许BERN-NN获得更严格的边界。BERN-NN在图形处理单元(GPU)上高效并行化。大量的数值结果表明,由BERN-NN得到的界限是数量级更紧比那些由最先进的验证器,如线性规划和线性区间算术。更重要的是,与alpha-CROWN等凸规划方法相比,BERN-NN既更快,又能产生更紧密的输出。
2022-11-22 cs.LG cs.SY eess.SY
Systematically designing better instance counting models on cell images with Neural Arithmetic Logic Units
TIET(塔帕尔工程技术学院)
训练用于计数实例的神经网络模型的大问题是,每当测试范围变高时,训练范围泛化误差增加,即它们在训练范围之外不是好的泛化器。考虑自动化细胞计数过程的情况,其中与训练数据中使用的图像相比,通常遇到具有更高细胞计数的更密集图像。通过对更高范围的细胞计数进行更好的预测,我们的目标是为细胞计数创建更好的泛化系统。随着神经算术逻辑单元(NALU)结构的提出,对于训练数据中未包含的更高数值范围的计数任务变得可行,并具有更好的精度。作为我们研究的一部分,我们使用这些单元和不同的其他激活函数来学习细胞计数任务,具有两种不同的架构,即全卷积回归网络和U-网络。这些数值偏置的单元被添加到原始架构的残余级联层的形式,并与这些新提出的变化进行了比较实验研究。这种比较研究是在优化回归损失问题,从这些模型训练广泛的数据增强技术。我们能够在细胞计数任务的实验中取得更好的结果,将这些数值偏置单元以剩余层级联连接的形式引入到现有的架构中。我们的研究结果证实,上述数值偏差单位确实有助于模型学习数值量,以获得更好的泛化结果。
2020-06-15 cs.LG cs.NE stat.ML
Convolutional Feature Extraction and Neural Arithmetic Logic Units for Stock Prediction
BITS Pilani Goa Campus(贝拉理工学院皮拉尼果阿校区)
股票预测是一个多年来一直在深入研究的课题。金融专家和数学家一直在研究一种方法来预测未来的股票价格,以便决定购买或出售股票以获利。股票专家或经济学家,通常会对以前的股票价值进行分析,利用技术指标、情感分析等来预测未来的股票价格。近年来,许多研究已经广泛地使用机器学习来预测股票行为。在本文中,我们提出了数据驱动的深度学习方法,利用卷积神经网络的特征提取特性,并使用神经算术逻辑单元来预测未来的股票价值。
2019-05-18 cs.LG q-fin.ST stat.ML
Mental arithmetic task classification with convolutional neural network based on spectral-temporal features from EEG
EuroMov Digital Health in Motion(EuroMov运动数字健康机构);Univ. Montpellier(蒙彼利埃大学);IMT Mines Ales(法国国立高等矿业电信学校联盟阿莱斯矿业学院)
近年来,脑-机接口(BCI)设备的发展引起了神经科学家的极大兴趣。运动障碍患者可能受益于脑机接口作为一种沟通手段和恢复运动功能。脑电描记术(EEG)是目前最常用的神经元活动监测方法之一。在许多计算机视觉应用中,深度神经网络(DNN)显示出显著的优势。为了最终使用DNN,我们在这里提出了一个浅层神经网络,它主要使用两个卷积神经网络(CNN)层,参数相对较少,可以快速从EEG中学习频谱-时间特征。我们将此模型与其他三个具有不同深度的神经网络模型进行了比较,这些模型适用于心算任务,该任务使用适合于患有运动障碍和视觉功能下降的患者的闭眼状态。实验结果表明,浅层CNN模型优于所有其他模型,取得了最高的分类准确率为90.68%。它在处理跨主题分类问题时也更稳健:准确率的标准差只有3%,而传统方法的标准差为15.6%。
2022-11-22 cs.AI cs.CV cs.LG
Automatic Generation of Multi-precision Multi-arithmetic CNN Accelerators for FPGAs
University of Cambridge(剑桥大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院);Microsoft Research Cambridge(微软剑桥研究院);Imperial College London(帝国理工学院);University of Macau(澳门大学)
现代深度卷积神经网络(CNN)对计算要求很高,但实际应用通常需要高吞吐量和低延迟。为了帮助解决这些问题,我们提出了Tomato,这是一个旨在自动生成高效CNN加速器的框架。生成的设计是流水线的,每个卷积层使用不同的算法在不同的精度。使用Tomato,我们展示了最先进的多精度多算法网络,包括在FPGA上运行的MobileNet-V1。据我们所知,这是CNN的第一个多精度多算法自动生成框架。在软件中,Tomato对预训练的网络进行微调,以使用短的2的幂和固定点权重的混合,同时将分类准确性的损失降到最低。微调的参数与模板化的硬件设计相结合,在FPGA中自动生成高效的推理电路。我们展示了我们的方法如何显着降低模型大小和计算复杂性,并允许我们将完整的ImageNet网络打包到单个FPGA上,而无需首次访问片外存储器。此外,我们还展示了Tomato如何在单个或多个FPGA上运行各种大小的网络。据我们所知,我们自动生成的加速器在延迟和吞吐量方面至少比最接近的基于FPGA的竞争对手高出2- 4倍;生成的加速器以每秒3000帧以上的速度运行ImageNet分类。
2019-10-21 cs.AR cs.LG eess.SP
Hey Pentti, We Did (More of) It!: A Vector-Symbolic Lisp With Residue Arithmetic
ANIMUS Lab, Carleton University(ANIMUS实验室,卡尔顿大学)
该研究使用频域全息简化表示(FHRRs)和剩余超维计算(RHC)扩展了Lisp 1.5的向量符号架构(VSA)编码,提升神经网络状态表达能力并支持可解释的结构化表示,为更通用智能体的开发提供了新思路。
2025-11-11 cs.AI cs.LG cs.PL
Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic
The School of Engineering & Physical Sciences(工程与物理科学学院);SDAIA-KFUPM Joint Research Centre for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心);Heriot-Watt University(赫瑞-沃森大学);King Fahd University of Petroleum and Minerals(国王法赫德石油大学)
针对定点运算中低精度神经网络的问题,提出李雅普诺夫稳定量化框架,通过层状李雅普诺夫函数监测隐藏状态能量,应用单调投影确保状态稳定,实验表明该方法可抑制激活溢出并恢复稳定学习。
2026-07-07 cs.AI cs.LG cs.NA
Data Augmentation Through Monte Carlo Arithmetic Leads to More Generalizable Classification in Connectomics
Child Mind Institute(儿童心理研究所);Concordia University(康考迪亚大学);McGill University(麦吉尔大学)
机器学习模型通常应用于人脑成像数据集,以将功能或结构与行为、健康或其他个体表型相关联。这种模型通常依赖于由复杂处理管道生成的低维映射。然而,管道固有的数值不稳定性限制了这些地图的保真度,并引入计算偏差。蒙特卡洛算法是一种引入受控数量的数值噪声的技术,用于干扰结构连接体估计管道,最终为每个样本产生一系列合理的网络。扰动网络的可变性被捕获在一个增强的数据集中,然后用于年龄分类任务。我们发现,在一系列这样的数值扰动的结果,导致所有测试的分类器,预处理策略和降维技术的性能提高reserved大脑网络。重要的是,我们发现这种好处并不取决于大量的扰动,这表明即使对数据集进行最小的扰动也会增加有意义的方差,这些方差可以在随后设计的模型中捕获。
2021-09-20 cs.LG q-bio.QM
Low-Precision Arithmetic for Fast Gaussian Processes
New York University(纽约大学)
低精度算法对神经网络的训练产生了变革性的影响,减少了计算、内存和能量需求。然而,尽管它的承诺,低精度算法很少受到关注的高斯过程(GP),主要是因为GP需要复杂的线性代数例程是不稳定的低精度。我们研究了在半精度训练GP时可能发生的不同故障模式。为了规避这些故障模式,我们提出了一个多方面的方法,涉及共轭梯度与重新正交化,混合精度,和预处理。我们的方法显着提高了数值稳定性和实际性能的共轭梯度在低精度在广泛的设置,使全球定位系统训练$1.8$百万数据点在$10$小时在一个单一的GPU上,没有任何稀疏近似。
2022-07-14 cs.LG
Learning Numeracy: Binary Arithmetic with Neural Turing Machines
University of Perugia(佩鲁贾大学);University of Liverpool(利物浦大学)
本文使用神经图灵机(NTMs)学习并泛化二进制加法和乘法任务,以探究该模型在更具挑战性的算法上的真实能力并缓解长期信息依赖问题。
2019-09-06 cs.LG cs.NE
Efficient Winograd Convolution via Integer Arithmetic
Arm Inc.(安谋公司)
卷积是许多深度神经网络的核心运算。Winograd卷积算法已被证明可以加速广泛使用的小卷积大小。量化的神经网络可以有效地减少模型大小并提高推理速度,这导致了各种各样的内核和硬件加速器可以处理整数数据。最先进的Winograd算法对整数内核和加速器的有效实现和执行提出了挑战。我们引入了一类新的Winograd算法,通过扩展建设领域的复杂性,并提出优化,减少一般乘法的数量。新算法的算法复杂度比直接法降低了$3.13$ x,效率比有理算法提高了$17.37\%$.此外,我们设计和实现了一个整数为基础的滤波器缩放方案,有效地减少滤波器的位宽$30.77\%$没有任何显着的精度损失。
2019-01-07 cs.LG cs.NE
Neural Arithmetic Expression Calculator
Fudan University(复旦大学)
提出了一种求解算术表达式计算(AEC)问题的纯神经元求解器。以前的工作利用了深度神经网络的强大功能,并试图建立一个端到端的模型来解决这个问题。然而,这些方法大多只能处理加法运算。复杂的表达式计算问题,包括加、减、乘、除、括号运算,仍然是一个具有挑战性的问题。在这项工作中,我们把算术表达式计算作为一个分层的强化学习问题。算法将算术运算分解为一系列子任务,每个子任务由一个技能模块处理。技能模块可以是执行基本操作的基本模块,也可以是通过调用其他技能模型执行复杂操作的交互模块。通过课程学习,我们的模型可以处理一个复杂的算术表达式计算与技能模型的深层层次结构。实验表明,我们的模型显着优于以往的模型算术表达式计算。
2018-09-23 cs.AI cs.LG
Improving Efficiency in Neural Network Accelerator Using Operands Hamming Distance optimization
Facebook(脸书)
神经网络加速器是设备上人工智能推理的关键推动者,能源效率是其重要指标。数据路径能量,包括运算单元之间的计算能量和数据移动能量,占总加速器能量的很大一部分。通过重新访问的算术逻辑电路的基本物理,我们表明,数据路径的能量是高度相关的位翻转时,输入操作数流到算术单元,定义为汉明距离的输入操作数矩阵。基于这种认识,我们提出了一种后训练优化算法和一种汉明距离感知训练算法,以协同设计和协同优化加速器和网络。基于MobileNetV2的布局后仿真的实验结果表明,平均数据路径能量减少了2.85倍,某些层的数据路径能量减少了8.51倍。
2020-02-13 cs.CV cs.LG
From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Federal University of Rio de Janeiro(里约热内卢联邦大学);Instituto de Telecomunicações, Porto, Portugal(葡萄牙波尔图电信研究所);Google LLC(谷歌公司)
研究探讨了神经网络在硬件位翻转误差下的韧性,发现低精度、高稀疏性、受限激活和浅层深度等特性在理论模型下更优,逻辑和查找型网络实现了这些设计趋势的联合极限,实验验证了其在故障容忍中的稳定性。
2026-07-07 cs.AI cs.LG
Arithmetic Circuits, Structured Matrices and (not so) Deep Learning
University at Buffalo(布法罗大学)
本调查对算术电路复杂性、结构化矩阵和深度学习交叉点的结果进行了不完整(且有偏见)的概述。最近有一些研究活动在用结构化权重矩阵替换神经网络中的非结构化权重矩阵(目的是减少相应的深度学习模型的大小)。这项工作大部分都是实验性的,在这项调查中,我们将研究问题形式化,并展示了最近结合算术电路复杂性,结构化矩阵和深度学习的工作如何从根本上回答这个问题。本调查针对的是复杂性理论家,他们可能会喜欢阅读关于在算术电路复杂性方面开发的工具如何帮助设计(据我们所知)一个新的结构化矩阵家族,这反过来又非常适合深度学习的应用。然而,我们希望那些对深度学习感兴趣的人也能欣赏与复杂性理论的联系。
2022-10-31 cs.CC cs.LG
Measuring Arithmetic Extrapolation Performance
Technical University of Denmark(丹麦技术大学)
神经算术逻辑单元(NALU)是一个神经网络层,可以学习隐藏状态元素之间的精确算术运算。NALU的目标是学习完美的外推,这需要学习未知算术问题的确切底层逻辑。评估NALU的性能是不平凡的,因为一个算术问题可能有许多解决方案。因此,单实例MSE已被用于评估和比较模型之间的性能。然而,很难解释MSE的大小代表正确的解决方案和模型对初始化的敏感性。我们建议使用成功标准来衡量模型是否收敛以及何时收敛。使用一个成功准则,我们可以总结成功率在许多初始化种子和计算置信区间。我们贡献了一个广义的版本,以前的算术基准来衡量模型的灵敏度在不同的条件下。据我们所知,这是第一次对NALU及其下属单位的趋同进行广泛评价。使用成功标准总结4800个实验,我们发现,一致学习算术外推是具有挑战性的,特别是乘法。
2019-11-07 cs.LG cs.NE
Algorithmic Complexities in Backpropagation and Tropical Neural Networks
本文提出了一种新的技术,通过使用热带实数矩阵代替实数矩阵来降低神经网络训练的算法复杂度。由于热带算法用加法代替乘法,用最大值代替加法,理论上我们在训练阶段的时间复杂度上实现了几个数量级的更好的常数因子。事实上,我们用实数的热带半环代替实数域,但通过神经网络获得相同的分类结果,这来自于拓扑和分析中的深入结果,我们在我们的笔记中验证了这一点。然后,我们探讨人工神经网络的热带算术和热带代数几何,并介绍了多层热带神经网络的通用逼近。在给出反向传播算法的热带重构后,我们验证了算法的复杂性大大低于通常的反向传播,因为热带算法没有通常乘法的复杂性。
2021-01-03 cs.CC cs.LG math.AG
pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks
Department of Numerical Mathematics, Charles University(数值数学系,查尔斯大学);LIP6, Sorbonne Université, CNRS(LIP6,索邦大学,CNRS)
Pychop通过提供低精度算术模拟工具,支持神经网络和数值方法中的高效混合精度算法研究与应用。
2026-08-26 cs.LG cs.NA math.NA
Arithmetic Actor Heads and Training Stabilization for Out-of-Distribution Reinforcement Learning
Central South University(中南大学)
针对分布外幅度变化导致RL策略退化问题,基于SAC和BAPR提出CS-BAPR家族,结合六种训练稳定化设置与多种算术Actor头(NAU、KAN、MLP)以提升鲁棒性。
2026-10-20 cs.LG
The Complexity of Verifying Feedforward Neural Networks in Quantised Settings
University of Kassel(卡塞尔大学);RPTU University Kaiserslautern-Landau(科布伦茨-劳埃希斯大学)
研究量化设置下前馈神经网络验证的计算复杂性,区分三类网络并分析线性规划和位向量规范下的复杂性,证明量化网络验证仍为NP完全,并为动态量化网络建立上界。
2026-05-28 cs.CC cs.LG cs.LO
Arithmetic Circuits and Neural Networks for Regular Matroids
University of Technology Nuremberg(图恩堡技术大学);Université Libre de Bruxelles(布鲁塞尔自由大学);Freie Universität Berlin(柏林自由大学);University of Twente(埃因霍温大学)
本文证明了存在大小为 $O(n^3)$ 的电路和 ReLU 神经网络,用于计算正则拟阵的基生成多项式并解决加权基最大化问题,并首次展示了虚拟扩展构形比已知最佳单个扩展构形更高效。
2026-10-16 cs.CC cs.DM cs.LG
FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy
The University of Hong Kong(香港大学);Harbin Institute of Technology(哈尔滨工业大学)
本研究针对二值量化LLM推理的硬件内核缺失问题,提出FluxBin算法-内核协同设计,实现超低位推理的加速、能效提升与内存压缩,可高效部署70B规模模型。
2026-08-18 cs.AI cs.LG
Privacy-Preserving Machine Learning with Fully Homomorphic Encryption for Deep Neural Network
Seoul National University(首尔国立大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
全同态加密(FHE)是保护隐私的机器学习(PPML)的一种很有前途的工具,基于不同的FHE方案和方法已经提出了多种PPML模型。虽然FHE方案被认为是实现PPML模型的合适工具,但是先前关于FHE加密数据的PPML模型仅限于简单和非标准类型的机器学习模型。这些非标准的机器学习模型在更实用和更先进的数据集上并没有被证明是有效和准确的。以前的PPML方案用简单的算术函数代替非算术激活函数,而不是采用近似方法,并且不使用自举,这使得连续的同态评估成为可能。因此,它们不能使用标准的激活函数,也不能使用大量的层。到目前为止,CIFAR-10数据集的FHE现有PPML模型的最大分类准确率仅为77%。在这项工作中,我们首先使用RNS-CKKS FHE实现了标准的ResNet-20模型,并使用CIFAR-10数据集和明文模型参数验证了所实现的模型。我们没有用简单的算术函数替换非算术函数,而是使用最先进的近似方法来评估这些非算术函数,例如ReLU,具有足够的精度[1]。此外,我们第一次在所提出的模型中使用RNS-CKKS方案的自举技术,这使我们能够在加密数据上评估深度学习模型。我们在数值上验证了所提出的模型与CIFAR-10数据集的结果与原始ResNet-20模型的结果有98.67%相同。该模型的分类准确率为90.67%,与原始ResNet-20 CNN模型的分类准确率非常接近。
2021-06-14 cs.CR cs.LG
\texttt{Range-Arithmetic}: Verifiable Deep Learning Inference on an Untrusted Party
University of California, Berkeley(加州大学伯克利分校)
提出Range-Arithmetic框架,通过将非算术运算转化为可验证的算术步骤,实现高效的深度神经网络推理验证,降低了计算和通信开销。
2026-06-11 cs.AI cs.CR cs.ET
Towards Efficient Verification of Quantized Neural Networks
Stanford University(斯坦福大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);IT University of Copenhagen(哥本哈根信息技术大学);National University of Singapore(新加坡国立大学)
针对量化神经网络,提出基于整数线性规划并融合梯度启发式搜索与边界传播的验证框架,在PyTorch量化网络上实现更高可扩展性与效率。
2023-12-27 cs.AI cs.LG cs.LO
Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks
Bern University of Applied Sciences(伯尔尼应用科学大学);University of California Davis(加州大学戴维斯分校)
卷积神经网络(CNN)近年来取得了重大突破。他们在计算机视觉方面的表现已经达到甚至超过了人类的能力。深度神经网络可以捕获复杂的非线性特征;然而,这种能力是以高计算和内存需求为代价的。最先进的网络需要数十亿次算术运算和数百万个参数。为了使智能手机、谷歌眼镜和监控摄像头等嵌入式设备具备深度学习的惊人功能,可以使用专用硬件加速器来减少执行时间和功耗。在无法保证快速连接到云或隐私很重要的应用程序中,计算需要在本地完成。最近提出了许多用于深度神经网络的硬件加速器。加速器设计的第一个重要步骤是深度网络的面向硬件的近似,这可以实现节能推理。我们提出了Ristretto,一个快速和自动化的框架CNN近似。Ristretto模拟自定义硬件加速器的硬件算法。该框架减少了网络参数的位宽和资源密集型层的输出,从而显著减少了乘法单元的芯片面积。或者,Ristretto可以完全消除对乘法器的需求,从而产生仅加法器的算术。该工具微调修剪网络,以实现高分类精度。由于深度神经网络的训练可能非常耗时,Ristretto使用在GPU上运行的高度优化的例程。这可以快速压缩任何给定的网络。给定1%的最大容差,Ristretto可以成功地将CaffeNet和SqueezeNet压缩到8位。Ristretto的代码可用。
2016-05-20 cs.CV cs.LG cs.NE
On the Efficiency of Convolutional Neural Networks
Phantom AI(幻影人工智能公司)
针对卷积神经网络算术复杂度与延迟不匹配的问题,提出通过计算效率关联二者的思路,设计块融合算法优化残差块实现,推出的ConvFirst模型兼具低复杂度、高效率,速度达ConvNeXt的四倍,还配套了新分析工具。
2024-05-21 cs.CV cs.LG