Distilled Neural Networks for Efficient Learning to Rank
University of Pisa（比萨大学）；ISTI–CNR（ISTI-CNR研究所）
本文结合知识蒸馏、结构化剪枝与快速稀疏矩阵乘法，从回归树集成中获得高效浅层排序神经网络，并通过评分时间预测模型设计满足效率约束的架构，在两个公开数据集上实现最高4倍加速且不损失排序质量。
2022-02-22 cs.AI cs.IR cs.LG
RSR-core: A High-Performance Engine for Low-Bit Matrix-Vector Multiplication
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出RSR-core，一种基于RSR算法的高性能引擎，实现低比特矩阵向量乘法的优化低层内核，支持CPU和CUDA环境，显著提升推理效率。
2026-03-29 cs.DS cs.LG cs.PF
Neural Networks with Few Multiplications
Université de Montréal（蒙特利尔大学）
对于大多数深度学习算法来说，训练是出了名的耗时。由于训练神经网络的大部分计算通常都花在浮点乘法上，我们研究了一种训练方法，可以消除对大多数浮点乘法的需求。我们的方法包括两个部分：首先，我们随机二进制化的权重转换乘法涉及计算隐藏状态的符号变化。其次，在反向传播误差导数时，除了将权重二进制化之外，我们还将每一层的表示进行二进制化，以将剩余的乘法转换为二进制移位。在3个流行数据集（MNIST，CIFAR10，SVHN）上的实验结果表明，这种方法不仅不会损害分类性能，而且可以产生比标准随机梯度下降训练更好的性能，为快速，硬件友好的神经网络训练铺平了道路。
2016-02-26 cs.LG cs.NE
Neural Learning of Fast Matrix Multiplication Algorithms: A StrassenNet Approach
Italian Institute of Technology, Genoa, Italy（意大利理工学院）
StrassenNet通过神经学习重现Strassen算法，并发现3×3矩阵乘法张量的有效最小秩为23。
2026-02-25 cs.LG math.AG
Multiplication-Free Transformer Training via Piecewise Affine Operations
EPFL（洛桑联邦理工学院）
本文提出用浮点数位表示相加的廉价分段仿射近似替代乘法，在视觉和语言任务上实现Transformer无乘法训练，并首次在包括前向传播、反向传播和优化器更新的整个训练过程中完全消除乘法运算。
2023-10-25 cs.LG
Optimizing Sparse Matrix Multiplications for Graph Neural Networks
University of Leeds（利兹大学）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）正在成为一种强大的图结构建模技术。由于真实世界图数据的稀疏性，GNN的性能受到计算中涉及的大量稀疏矩阵乘法（SpMM）操作的限制。虽然正确的稀疏矩阵存储格式因输入数据而异，但现有的深度学习框架采用单一的静态存储格式，这留下了很大的改进空间。本文研究了稀疏矩阵存储格式的选择如何影响GNN的性能。我们观察到，选择合适的稀疏矩阵存储格式可以显着提高GNN的训练性能，但正确的格式取决于输入工作负载，并且可以随着GNN在输入图上的迭代而变化。然后，我们开发了一个预测模型，根据输入矩阵动态选择GNN层使用的稀疏矩阵存储格式。我们的模型首先使用训练矩阵样本进行离线训练，经过训练的模型可以应用于任何输入矩阵和具有SpMM计算的GNN内核。我们在PyTorch之上实现了我们的方法，并将其应用于使用真实和合成数据集在多核CPU上运行的5个代表性GNN模型。实验结果表明，我们的方法为GNN运行时间提供了1.17倍（高达3倍）的平均加速比。
2021-10-30 cs.LG
Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
University of Southampton（南安普顿大学）
多层感知器很难学习某些简单的算术任务。用于算术的专家神经模块可以在外推、可解释性和收敛速度方面优于经典架构，但对训练范围高度敏感。在本文中，我们证明了神经乘法单元（NMU）在给定不同的训练范围时，无法可靠地学习像将两个输入相乘这样简单的任务。失败的原因与诱导和输入偏置有关，这些偏置鼓励收敛到不期望的最优解。一个解决方案，随机NMU（sNMU），提出了应用可逆的随机性，鼓励避免这样的最优，同时收敛到真正的解决方案。从经验上讲，我们表明，随机性提供了改进的鲁棒性，有可能提高上游网络的数值和图像任务的学习表示。
2022-11-10 cs.LG cs.NE
Ultra-low Precision Multiplication-free Training for Deep Neural Networks
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Institute of Software, CAS（中国科学院软件研究所）
深度神经网络（DNN）的训练需要巨大的能量消耗，这限制了深度学习的发展，也增加了碳排放。因此，研究DNN的节能训练是必要的。在训练中，线性层消耗最多的能量，因为在乘法累加（MAC）中大量使用了耗能的全精度（FP 32）乘法。节能工作试图降低乘法的精度或用节能操作（如加法或按位移位）取代乘法，以减少FP 32乘法的能耗。然而，现有的能量有效的作品不能取代所有的FP 32乘法在前向和后向传播与低精度的能量有效的操作。在这项工作中，我们提出了一种自适应逐层缩放PoT量化（ALS-POTQ）方法和一种免乘法MAC（MF-MAC），以取代所有的FP 32乘法与INT 4加法和1位XOR运算。此外，我们还提出了权重偏差校正和参数化比率裁剪技术，以实现稳定的训练和提高准确性。在我们的训练方案中，所有上述方法都不会引入额外的乘法，因此我们在训练过程中减少了线性层高达95.8%的能耗。在实验中，我们在ImageNet上的CNN模型和WMT En-De任务上的Transformer模型的准确性下降不到1%。总之，我们在能源效率和准确性方面都明显优于现有方法。
2023-02-28 cs.AI cs.LG
Training deep neural networks with low precision multiplications
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université de Montréal（蒙特利尔大学）
乘子是深度神经网络数字实现中最消耗空间和功率的算术运算符。我们在三个基准数据集上训练了一组最先进的神经网络（Maxout网络）：MNIST，CIFAR-10和SVHN。它们使用三种不同的格式进行训练：浮点，定点和动态定点。对于每个数据集和每个格式，我们评估乘法精度对训练后最终误差的影响。我们发现，非常低的精度不仅足以运行训练好的网络，而且也足以训练它们。例如，可以用10位乘法训练Maxout网络。
2015-09-23 cs.CV cs.LG cs.NE
A Deep Learning Inference Scheme Based on Pipelined Matrix Multiplication Acceleration Design and Non-uniform Quantization
Tsinghua University（清华大学）
矩阵乘法是深度学习推理应用的基础。当涉及到边缘计算设备上的硬件加速时，矩阵乘法通常会占用大部分时间。为了在边缘计算中实现更好的性能，我们引入了一种基于流水线矩阵乘法方案和非均匀量化方法的低功耗多层感知器（MLP）加速器。该实现在现场可编程门阵列（FPGA）器件上运行，并在手写数字分类和Q学习任务上测试了其性能。结果表明，我们的方法可以实现更好的性能与更少的功耗。
2021-10-10 cs.AI cs.AR cs.LG
The Effects of Approximate Multiplication on Convolutional Neural Networks
本文分析了在深度卷积神经网络（CNN）上执行推理时近似乘法的影响。近似乘法可以降低底层电路的成本，使得可以在硬件加速器中更有效地执行CNN推断。该研究确定了卷积，全连接和批量归一化层中的关键因素，这些因素允许更准确的CNN预测，尽管近似乘法存在误差。同样的因素也提供了bfloat 16乘法在CNN上表现良好的算术解释。使用公认的网络架构进行实验，以表明近似乘法器可以产生几乎与FP 32参考一样准确的预测，而无需额外的训练。例如，与FP 32参考相比，使用Mitch- $w$ 6乘法的ResNet和Inception-v4模型产生的前5个误差在0.2%以内。Mitch- $w$ 6与bfloat 16的成本比较，其中MAC操作与bfloat 16算法相比节省高达80%的能量。本文最深远的贡献是分析的理由，乘法可以近似，而添加需要精确的CNN MAC操作。
2021-01-09 cs.CV cs.LG eess.SP
Generalized Ternary Connect: End-to-End Learning and Compression of Multiplication-Free Deep Neural Networks
SRI International（SRI国际）
在边缘计算设备中使用深度神经网络取决于计算的准确性和复杂性之间的平衡。三元连接（TC）\cite{lin2015neural}通过将参数限制为三个级别（$-1, 0$和$+1$）来解决这个问题，从而消除了预测期间网络的前向传递中的乘法。我们提出了广义三元连接（GTC），它允许任意数量的水平，而在同一时间消除乘法限制的参数为2的整数幂。GTC的主要贡献是学习每层的层数及其值，以及端到端的网络权重。MNIST和CIFAR-10上的实验表明，GTC自然收敛到深度分类网络（例如VGG-16）和深度变分自动编码器的“几乎二进制”网络，分别具有可忽略的分类精度损失和生成样本的可比视觉质量。我们证明了优越的压缩和类似的精度GTC相比，几个国家的最先进的方法神经网络压缩。最后，我们的模拟显示GTC在硬件的潜在好处。
2018-11-12 cs.LG stat.ML
ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
ShiftAddAug 通过将无乘法微型网络嵌入大型乘法模型进行子模型训练，并结合权重共享与两阶段神经架构搜索，在不增加推理开销的情况下显著提升无乘法网络的准确率。
2024-07-03 cs.AI cs.CV cs.LG
Tropical Circuits with Scalar Multiplication Gates
University of Technology Nuremberg（图恩堡技术大学）
研究带标量乘法门的热带电路，证明其计算最大权重有向生成树和最大权重二分完美匹配时的指数规模下界，得出单调和非单调最大输出神经网络的指数规模分离，揭示有强制凸性约束的神经网络模型有时需指数级更大才能表达相同函数。
2026-10-20 cs.CC cs.LG math.CO
Joint Initialization of Flux Networks and Effective Multiplication Factor for Physics-Informed Neural Networks Solving Neutron Diffusion Problems
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；Center for Scientific Intelligence Innovation, University of Science and Technology of China（中国科学技术大学科学智能创新中心）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）
针对PINNs求解中子扩散K本征值问题效率不足的问题，提出JI-PINN方法，通过联合初始化通量网络参数与keff，在多测试案例上实现计算时间显著减少且精度相当。
2026-08-27 cs.LG
Element-wise Multiplication Based Deeper Physics-Informed Neural Networks
Lancaster University（兰卡斯特大学）；University of Western Ontario（西安大略大学）
针对物理信息神经网络（PINNs）存在的表达能力不足与初始化病态问题，提出采用逐元素乘法运算的更深层PINN（Deeper-PINN），经多基准验证可有效缓解上述问题并增强表达能力。
2024-09-11 cs.AI cs.LG cs.NE
MinConvNets: A new class of multiplication-less Neural Networks
LTCI - Télécom Paris（LTCI - 巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
卷积神经网络在图像分类、识别或检测应用中取得了前所未有的成功。然而，它们在嵌入式设备中的大规模部署仍然受到巨大计算需求的限制，即，每层数百万次MAC操作。在这篇文章中，MinConvNets的乘法在向前传播的最小比较器操作近似介绍。最小运算的硬件实现比乘法器简单得多。首先，提出了一种基于统计相关性的近似运算方法。我们表明，它是可能的，以取代乘法器的最小操作在一定的约束下，即给定类似的均值和方差的功能和权重向量的前向传播。提出了一种改进的训练方法，保证上述约束。结果表明，通过使用来自训练良好的精确CNN的迁移学习，可以在MinConvNets的推理过程中实现等效精度。
2021-01-23 cs.LG cs.NE
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）；Rice University（莱斯大学）
乘法可以说是现代深度神经网络（DNN）中成本最占主导地位的操作，限制了它们可实现的效率，从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制，开创性的工作已经开发了手工制作的免乘法DNN，这需要专业知识和耗时的手动迭代，需要快速开发工具。为此，我们提出了一个名为NASA的神经架构搜索和加速框架，它可以实现自动化的乘法减少DNN开发，并集成了一个专用的乘法减少加速器，以提高DNN的可实现效率。具体来说，NASA采用了神经架构搜索（NAS）空间，该空间使用硬件启发的无乘法运算符（如移位和加法器）来增强最先进的空间，并配备了新颖的渐进式预训练策略（PGP）以及定制的训练配方，以自动搜索最佳的乘法减少DNN;最重要的是，NASA进一步开发了一个专用的加速器，该加速器提倡基于块的模板和自动映射器，专门用于NASA-NAS生成的DNN，以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
Toward matrix multiplication for deep learning inference on the Xilinx Versal
Universitat Politècnica de València（瓦伦西亚理工大学）
深度神经网络对许多人工智能（AI）任务的显著积极影响导致了各种高性能算法以及专用处理器和加速器的开发。在本文中，我们通过证明传统处理器架构中通用矩阵乘法（GEMM）的现代实现的基本原理，也可以有效地实现深度学习（DL）中出现的操作类型的高性能，例如Xilinx Versal平台中嵌入的AI Engine（AIE）模块。特别是，我们的实验结果与原型实现的GEMM内核，Xilinx Versal VCK 190，提供性能接近86.7%的理论峰值，可以预期的AIE瓦片，为16位整数操作数。
2023-02-15 cs.DC cs.LG
Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats
Habana Labs（哈巴纳实验室）；Technion（以色列理工学院）
本文提出对数无偏量化（LUQ）方法，将神经网络训练的前向与后向阶段均量化至4位，在标准格式下以无额外开销实现最先进的4位训练精度。
2024-06-09 cs.LG
Template-Based Posit Multiplication for Training and Inferring in Neural Networks
Complutense University of Madrid（马德里康普顿斯大学）
数字系统可以说是当今算术中最有前途和讨论的话题。最近的突破所声称的格式提出的约翰L。古斯塔夫森把假设放在聚光灯下。在这项工作中，我们首先描述了一个算法乘以两个整数，即使指数位的数量为零。这种配置在文献中很少涉及，特别有趣，因为它允许部署快速S形函数。然后将所提出的乘法算法作为模板集成到众所周知的FloPoCo框架中。综合结果显示，比较与浮点乘法提供的FloPoCo以及。其次，研究了假设在神经网络的训练和推理阶段的性能。据我们所知，这是第一次使用训练格式进行训练，即使使用减少的训练格式配置，也能为二进制分类问题取得令人满意的结果。在推理阶段，处理MNIST数据集时，8位定位与浮点一样好，但在CIFAR-10中失去了一些准确性。
2019-07-09 cs.CV cs.LG
LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
Northeastern University（东北大学）；Adobe（奥多比公司）
本文提出LUTMUL方法，利用数量远超DSP的查找表执行乘法运算，结合可重构数据流架构突破传统FPGA加速器性能极限，在ImageNet上实现每秒1627张图像的推理吞吐量和70.95%的top-1准确率。
2024-11-01 cs.AI cs.AR cs.LG
An optical neural network using less than 1 photon per multiplication
Cornell University（康奈尔大学）；NTT Research, Inc.（NTT 研究公司）
深度学习已迅速成为科学和商业领域的广泛工具。在过去的几年里，越来越多的任务已经实现了超过人类表现的数百万次深度学习，涉及游戏、自然语言翻译和医学图像分析等不同领域。然而，持续的进展越来越受到与在电子处理器上训练和运行深度神经网络相关的高能源成本的阻碍。光学神经网络作为深度学习的替代物理平台已经引起了人们的关注，因为理论上预测它们可以从根本上实现比部署在传统数字计算机上的神经网络更高的能效。在这里，我们实验证明了一个光学神经网络实现99%的准确度手写数字分类使用〜 3.2检测到的光子每个重量乘法和〜 90%的准确度使用〜 0.64光子（〜 $2.4 \times 10^{-19}$ J的光能）每个重量乘法。这种性能是使用定制的自由空间光学处理器实现的，该处理器以大规模并行方式执行矩阵-向量乘法，同时执行多达50万个标量（权重）乘法。使用商用光学元件和标准神经网络训练方法，我们证明了光学神经网络可以在标准量子极限附近以极低的光功率运行，并且仍然实现高精度。我们的研究结果提供了一个低光功率操作的原理证明，并通过仔细的系统设计，包括用于数据存储和控制的周围电子设备，开辟了一条实现光处理器的道路，这种光处理器只需要$10^{-16}$ J总能量/标量乘法-这比当前的数字处理器效率高出几个数量级。
2021-04-27 cs.ET cs.LG cs.NE
Neural networks with trainable matrix activation functions
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Missouri-Kansas City（密苏里大学堪萨斯分校）；Zhejiang University（浙江大学）
针对传统激活函数固定的问题，本文提出由 ReLU 推广、参数可与权重和偏置共同训练的矩阵值激活函数，并通过数值实验验证其简洁高效与稳健性。
2024-10-28 cs.LG
NASH: Neural Architecture and Accelerator Search for Multiplication-Reduced Hybrid Models
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；School of Integrated Circuits, Sun Yat-sen University（中山大学集成电路学院）
本文提出 NASH 框架，通过零样本 NAS 指标与由粗到细的加速器搜索联合优化乘法缩减混合模型及其硬件配对，显著提升边缘部署的吞吐量、FPS 和准确率。
2024-09-07 cs.AI cs.LG
Look-ups are not (yet) all you need for deep learning inference
Amazon（亚马逊）
矩阵乘法的快速近似具有显著降低神经网络推理成本的潜力。最近的工作近似矩阵乘法提出取代昂贵的乘法与表查找拟合快速哈希函数从训练数据。在这项工作中，我们对以前的工作提出了改进，针对深度学习推理设置，其中可以访问训练数据和固定（已经学习的）模型权重矩阵。我们进一步提出了一个微调过程，加速整个神经网络，同时最大限度地减少损失的准确性。最后，我们分析了一个简单的图像分类任务的方法。虽然我们对以前的工作进行了改进，但与精确矩阵乘法相比，整体分类精度仍然大大降低。我们的工作，尽管这个负面的结果，指出了未来的努力，以加速内积与快速非线性哈希方法。
2022-07-12 cs.CV cs.LG
DeepShift: Towards Multiplication-Less Neural Networks
Huawei Technologies（华为技术有限公司）
推断卷积神经网络（CNN）的高计算、存储器和功率预算是模型部署到边缘计算平台的主要瓶颈，例如，移动设备和IoT。此外，即使在高级服务器上，训练CNN也是时间和精力密集型的。卷积层和全连接层，因为它们大量使用乘法，是这个计算预算的主要贡献者。我们建议通过引入两种新的操作来缓解这个问题：卷积移位和全连接移位，它们在训练和推理过程中用逐位移位和符号翻转取代乘法。在推理过程中，这两种方法都只需要5位（或更少）来表示权重。这一系列神经网络架构（使用卷积移位和全连接移位）被称为DeepShift模型。我们提出了两种训练DeepShift模型的方法：DeepShift-Q，它训练约束为2的幂的规则权重; DeepShift-PS，它直接训练移位和符号翻转的值。达到了非常接近基线的精度，在某些情况下精度更高。将ResNet 18、ResNet 50、VGG 16和GoogleNet的预训练32位浮点基线模型转换为DeepShift，并对它们进行15到30个epoch的训练，结果是Top-1/Top-5的准确率高于原始模型。最后但并非最不重要的是，我们实现了卷积移位和全连接移位GPU内核，与未优化的基于乘法的GPU内核相比，在推断ResNet 18时，延迟时间减少了25%。代码可以在https://github.com/mostafaelhoushi/DeepShift上找到。
2021-07-08 cs.LG cs.NE
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Chuvash State University（楚瓦什国立大学）
本文提出了一种基于稀疏计算的方法，用于优化强化学习（RL）任务的神经网络。这种方法结合了两种思想：神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务，并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Compiler-Level Matrix Multiplication Optimization for Deep Learning
Petuum（佩图姆）；Huawei（华为）；Amazon（亚马逊）
一个重要的线性代数例程，通用矩阵乘法（GEMM），是深度学习中的基本运算符。开发人员需要将这些例程转换为针对特定硬件优化的低级代码。GEMM的机器人级优化对训练和执行深度学习模型具有显著的性能影响。然而，大多数深度学习框架依赖于硬件特定的运算符库，其中GEMM优化主要通过手动调整来实现，这限制了不同目标硬件上的性能。在本文中，我们提出了两个新的算法GEMM优化的TVM框架的基础上，一个轻量级的贪婪最佳优先搜索（G-BFS）方法的启发式搜索，和邻域演员优势批判（N-A2 C）方法的基础上强化学习。实验结果表明，所提出的方法的性能显着改善，在最优的解决方案和搜索成本的时间和分数的搜索空间探索。具体来说，所提出的方法分别比最先进的XGBoost和RNN方法节省了24%和40%的GEMM计算时间，同时只探索了0.1%的搜索空间。所提出的方法有可能被应用到其他运营商级的优化。
2019-09-23 cs.LG cs.NE stat.ML
ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks
Nanyang Technological University（南洋理工大学）
无乘法神经网络显著降低了硬件平台上的时间和能量成本，因为计算密集型乘法被轻量级移位运算取代。然而，现有的位移网络都是直接从最先进的卷积神经网络（CNN），这导致不可忽视的精度下降，甚至失败的模型收敛。为了解决这个问题，我们提出了ShiftNAS，这是第一个定制神经架构搜索（NAS）的框架，可以大大减少位移神经网络与其实值对应网络之间的准确性差距。具体而言，我们率先将NAS拖到一个面向移位的搜索空间，并赋予它强大的拓扑相关的搜索策略和自定义的正则化和稳定化。因此，我们的ShiftNAS突破了传统NAS方法对比特移位神经网络的不兼容性，并在准确性和收敛性方面实现了更理想的性能。大量的实验表明，ShiftNAS为位移神经网络设置了一个新的最先进的技术，其中CIFAR 10的准确性增加了（1.69-8.07）%，CIFAR 100增加了（5.71-18.09）%，ImageNet增加了（4.36-67.07）%，特别是当许多传统的CNN无法收敛到具有位移权重的ImageNet时。
2022-04-07 cs.LG
SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University（上海交通大学电子信息与电气工程学院）
电阻式随机存取存储器（ReRAM）交叉开关是一种用于深度神经网络（DNN）加速器的很有前途的技术，这得益于其用于向量矩阵乘法和累加（VMM）的存储器内和原位模拟计算能力。然而，利用DNN中的稀疏性对于交叉开关架构是具有挑战性的。由于紧耦合交叉结构的限制，利用细粒度稀疏性不可避免地会导致复杂和昂贵的控制。作为对策，我们开发了一种新的基于ReRAM的DNN加速器，命名为稀疏乘法引擎（SME），基于硬件和软件协同设计框架。首先，我们编排的比特稀疏模式，以增加密度的比特稀疏的基础上现有的量化方法。其次，我们提出了一种新的权重映射机制，将权重的位跨横杆进行切片，并将激活结果拼接到外围电路中。该机制可以解耦紧耦合的交叉结构，并在交叉结构中累积稀疏性。最后，一个更好的挤出方案清空了前两个步骤中映射有高度稀疏非零的交叉杆。我们设计了SME架构，并讨论了它在其他量化方法和不同ReRAM单元技术中的用途。与现有的最先进的设计相比，SME使用Resent-50和MobileNet-v2分别将交叉杆的使用缩小到8.7倍和2.1倍，ImageNet的准确率下降不到0.3%。
2021-03-02 cs.AR cs.CV cs.LG
Mitigating scalability challenges in LUT-based neural networks via pruning optimisations
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
针对LUT矩阵乘法可扩展性差的问题，提出集成剪枝策略的LUT-MU架构，在FPGA上实现最高1.6倍吞吐量和4.2倍能效提升。
2026-06-16 cs.AI cs.AR cs.LG
On the Mirage of Long-Range Dependency, with an Application to Integer Multiplication
Saarland University（萨尔大学）
本文指出整数乘法的困难并非源于长距离依赖，而是由计算时空的选择产生。通过2D外积网格表示，证明长乘法可局部化，且神经元细胞自动机在仅321个参数下实现长度泛化。
2026-04-05 cs.AI cs.LG
ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks
Rice University（莱斯大学）
本文提出ShiftAddNAS，通过首个包含乘法与无乘法算子的混合搜索空间及支持异构分布的新颖权重共享策略，自动搜索构建更准确高效的混合神经网络，在提升精度的同时大幅节省能耗与延迟。
2025-03-03 cs.AI cs.LG
FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks
Indiana University（印第安纳大学）
我们开发了一个融合矩阵乘法内核，统一采样稠密矩阵乘法和稀疏稠密矩阵乘法下一个单一的操作称为FusedMM。通过使用用户定义的函数，FusedMM可以捕获流行的图嵌入和GNN方法所需的几乎所有计算模式。FusedMM比Deep Graph Library中的等效内核快一个数量级。FusedMM的优越性能来自于底层的向量化内核、合适的负载均衡方案和内存带宽的有效利用。FusedMM可以使用代码生成器调整其性能，并在Intel、AMD和ARM处理器上表现同样出色。FusedMM在不同的处理器上将端到端图嵌入算法的速度提高了28倍。
2021-10-27 cs.DC cs.LG cs.SI
Bipolar Morphological Neural Networks: Convolution Without Multiplication
Institute for Systems Analysis FRC CSC RAS（俄罗斯科学院计算机科学与控制联邦研究中心系统分析研究所）；Smart Engines Service LLC（Smart Engines Service有限责任公司）；Moscow State University（莫斯科国立大学）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文介绍了一种新的双极形态神经元和双极形态层模型。该模型仅使用神经元内部的加、减、最大值等运算，并使用指数、对数作为层的激活函数。与以前介绍的形态神经网络不同，所提出的模型近似于经典计算，并显示出更好的识别结果。我们还提出了逐层的方法来训练双极形态网络，它可以进一步发展为一个增量的方法，为单独的神经元，以获得更高的精度。这两种方法都不需要特殊的训练算法，并且可以使用各种梯度下降方法。为了证明所提出的模型的效率，我们考虑经典的卷积神经网络，并将预先训练的卷积层转换为双极形态层。鉴于MNIST和MRZ符号识别的实验显示，在转换和训练后，准确率只有适度的下降，双极神经元模型可以提供更快的推理，在移动和嵌入式系统中非常有用。
2019-11-05 cs.CV cs.LG cs.NE
Data-driven Modeling of Mach-Zehnder Interferometer-based Optical Matrix Multipliers
Technical University of Denmark（丹麦技术大学）；Huazhong University of Science and Technology（华中科技大学）
光子集成电路正在促进光学神经网络的发展，由于光学信号特别适合于实现矩阵乘法，因此光学神经网络具有比其电子对应物更快和更节能的潜力。然而，用于光学矩阵乘法的光子芯片的精确编程仍然是一个困难的挑战。在这里，我们描述了简单的分析模型和数据驱动模型离线训练的光学矩阵乘法器。我们训练和评估的模型使用实验数据从一个制造的芯片具有马赫-曾德尔干涉仪网格实现3乘3矩阵乘法。基于神经网络的模型在预测误差方面优于简单的基于物理的模型。此外，神经网络模型还能够预测覆盖C波段的多达100个频率信道的矩阵权重中的频谱变化。使用神经网络模型对芯片进行编程以实现光学矩阵乘法，提高了多个机器学习任务的性能。
2023-03-06 cs.LG cs.NE physics.optics
VersaGNN: a Versatile accelerator for Graph neural networks
University of California Los Angeles（加州大学洛杉矶分校）
\textit{Graph Neural Network}（GNN）是一种很有前途的分析图结构数据的方法，它通过节点级消息传递巧妙地捕获它们的依赖信息。它在节点分类、图匹配、聚类和图生成等许多任务中都取得了最先进的性能。由于GNN在非欧几里德数据上操作，它们不规则的数据访问模式会在传统架构（如GPU和CPU）上造成相当大的计算成本和开销。我们的分析表明，GNN采用混合计算模型。\textit{Aggregation}（或\textit{Message Passing}）阶段执行向量加法，其中以不规则步幅获取向量。\textit{Transformation}（或\textit{Node Embedding}）阶段可以是密集矩阵乘法或稀疏-密集矩阵乘法。在这项工作中，我们提出了\textit{VersaGNN}，一个超高效的，基于systolic-array的通用硬件加速器，统一了密集和稀疏矩阵乘法。通过将这种单一优化的脉动阵列应用于聚合和转换阶段，我们显着降低了芯片尺寸和能耗。然后，我们将计算引擎划分为分块脉动阵列，以支持\textit{Strassen}的密集矩阵乘法算法，从而大大减少乘法的数量，并实现GNN的高吞吐量计算。为了平衡稀疏-密集矩阵乘法的工作量，我们还引入了一种贪婪算法，将压缩格式的稀疏子矩阵合并为压缩子矩阵，以减少计算周期。与当前最先进的GNN软件框架相比，\te…
2021-05-04 cs.AI cs.AR cs.LG
A Unified Coded Deep Neural Network Training Strategy Based on Generalized PolyDot Codes for Matrix Multiplication
Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）
本文有两个贡献。首先，我们提出了一种新的编码矩阵乘法技术，称为广义PolyDot码，现有的方法编码矩阵乘法存储和通信的限制下的进步。该技术使用“垃圾对齐”，即，对齐编码计算中不是期望输出的一部分的计算。广义PolyDot码是Polynomial码和MatDot码之间的桥梁，在恢复阈值和通信成本之间进行权衡。其次，我们证明了广义PolyDot可用于在易出现软错误的不可靠节点上训练大型深度神经网络（DNN）。这需要我们解决三个额外的挑战：（i）在每次迭代时对DNN的每一层中的权重矩阵进行编码的开销过大;（ii）训练期间的非线性操作，这与线性编码不兼容;以及（iii）不假设存在无错误的主节点，要求我们构建一个完全分散的实现，而没有任何“单点故障”。“我们允许所有主要的DNN训练步骤，即矩阵乘法，非线性激活，Hadamard乘积和更新步骤以及编码/解码都是容易出错的。我们考虑的情况下，小批量大小$B=1$，以及$B>1$，分别利用编码矩阵向量产品，矩阵矩阵产品。在软错误下的DNN训练问题也激发了一个有趣的概率错误模型，在该模型下，实数$(P,Q)$ MDS码被示出以概率$1$校正$P-Q-1$错误，与更传统的对抗性错误模型的$\lfloor \frac{P-Q}{2} \rfloor$相比。我们还表明，我们提出的策略可以提供无限的增益在容错竞争的复制策略和初步的MDS代码为基础的策略，这些…
2018-11-27 cs.DC cs.IT cs.LG
Grokking Group Multiplication with Cosets
EleutherAI；Brown University（布朗大学）；University of Geneva（日内瓦大学）
本文完全逆向工程了在 $S_5$ 和 $S_6$ 群乘法上发生 grokking 的单隐藏层网络，揭示其利用子群与陪集分解算术的神经回路，并讨论可解释性研究中的算法识别分歧。
2024-06-17 cs.AI cs.LG math.RT
A Neural Transfer Function for a Smooth and Differentiable Transition Between Additive and Multiplicative Interactions
Technische Universität München（慕尼黑工业大学）；fortiss（Fortiss研究所）
结合加法和乘法神经单元的现有方法要么使用固定的操作分配，要么需要离散优化来确定神经元应该执行什么功能。这导致计算资源的低效分配或训练过程的计算复杂性的大幅增加。我们提出了一种新的，可参数化的传递函数的基础上的数学概念的非整数函数迭代，使每个神经元执行的操作是顺利的，最重要的是，微分之间的加法和乘法调整。这允许将加法和乘法之间的决策集成到标准反向传播训练过程中。
2016-03-29 cs.LG cs.NE stat.ML
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions
Tel-Aviv University（特拉维夫大学）；eBay Research（eBay研究院）；Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
乘法层是各种有影响力的神经网络模块中的关键组件，包括自注意和超网络层。在本文中，我们研究了具有通过简单乘法运算连接的中间神经元的深度神经网络的逼近能力。我们考虑两类目标函数：广义带限函数，这是经常用来模拟现实世界中的信号与有限的带宽，和Sobolev型球，这是嵌入在Sobolev空间$\mathcal{W}^{r,2}$。我们的研究结果表明，与标准ReLU神经网络相比，乘法神经网络可以用更少的层和神经元来近似这些函数，无论是输入维数还是近似误差。这些发现表明，乘法门可以优于标准的前馈层，并有潜力改善神经网络设计。
2023-01-11 cs.LG cs.NE math.FA
Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出一种兼容无乘法推理的高效多阶段脉冲MLP架构，融合全局感受野与局部特征提取，在ImageNet-1K上以更小模型容量超越了spiking ResNet-34与VGG-16。
2024-04-26 cs.LG cs.NE
Expressive Power and Loss Surfaces of Deep Learning Models
本文件的目标有两个方面。第一个目标是作为深度学习模型工作的临时教程，强调关于深度学习成功原因的几何直觉。第二个目标是用新的见解和结果来补充当前关于深度学习模型的表达能力及其损失表面的结果。特别是，我们描述了如何深神经网络雕刻出流形，特别是当乘法神经元的介绍。乘法用于点积和注意力机制，并且它用于胶囊网络和基于自注意力的Transformers。我们还描述了如何随机多项式，随机矩阵，自旋玻璃和计算复杂性的损失表面的观点是相互关联的。
2021-11-20 cs.AI cs.CV cs.LG
Universal Matrix Multiplication on Quantum Computer
School of Computer Science and Technology, Tiangong University（天津工业大学计算机科学与技术学院）
本文提出一种通用量子矩阵乘法框架，通过优化量子算术逻辑单元（利用量子傅里叶变换编码数据，将加法器门复杂度降至O(n)，乘法器门复杂度降至O(n^2)）并扩展至量子Strassen算法，实现计算加速。
2026-05-22 cs.LG quant-ph
Algorithmic Complexities in Backpropagation and Tropical Neural Networks
本文提出了一种新的技术，通过使用热带实数矩阵代替实数矩阵来降低神经网络训练的算法复杂度。由于热带算法用加法代替乘法，用最大值代替加法，理论上我们在训练阶段的时间复杂度上实现了几个数量级的更好的常数因子。事实上，我们用实数的热带半环代替实数域，但通过神经网络获得相同的分类结果，这来自于拓扑和分析中的深入结果，我们在我们的笔记中验证了这一点。然后，我们探讨人工神经网络的热带算术和热带代数几何，并介绍了多层热带神经网络的通用逼近。在给出反向传播算法的热带重构后，我们验证了算法的复杂性大大低于通常的反向传播，因为热带算法没有通常乘法的复杂性。
2021-01-03 cs.CC cs.LG math.AG
Demystifying MPNNs: Message Passing as Merely Efficient Matrix Multiplication
University of Heriot-Watt（赫瑞瓦特大学）
本文全面分析了图神经网络行为，证明 k 层消息传递网络通过迭代计算高效聚合 k 跳邻域信息，并探讨了循环结构、梯度问题、归一化方案及均匀特征对性能的影响，构建了连接经验直觉与理论理解的框架。
2025-01-31 cs.AI cs.LG cs.NE
High-level Modeling of Manufacturing Faults in Deep Neural Network Accelerators
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Missouri（密苏里大学）
数据驱动的实时应用的出现需要在机器学习加速器上实现深度神经网络（DNN）。谷歌的张量处理单元（TPU）就是这样一个神经网络加速器，它使用基于脉动阵列的矩阵乘法硬件进行计算。矩阵乘法单元的任何状态元素处的制造故障都可能在这些推理网络中引起意外错误。在本文中，我们提出了一个正式的模型，永久性故障及其传播的TPU使用离散时间马尔可夫链（DTMC）的形式主义。所提出的模型进行了分析，使用概率模型检验技术的原因故障输出的可能性。定量结果表明，永久性故障的分类精度与永久性故障的类型、位置、位数以及神经网络的层数有关。从我们的理论模型的结论已经验证了使用实验的数字识别为基础的DNN。
2020-10-26 cs.LG cs.PF stat.ML
Energy Saving Additive Neural Network
Middle East Technical University（中东技术大学）；Bilkent University（比尔肯大学）
近年来，基于神经网络的机器学习技术在移动计算中的应用越来越广泛。经典的多层神经网络在每一阶段都需要矩阵乘法。乘法操作不是能量有效的操作，因此它耗尽了移动终端的电池。本文提出了一种新的能量有效的神经网络，它具有Lebesgue可积函数空间上的普适逼近性质。这种网络称为加性神经网络，非常适合于移动计算。神经结构是基于一种新的向量积定义，称为EF-运算符，允许无乘法器的实现。在ef运算中，两个实数的乘积定义为它们的绝对值之和，其符号由这两个数的乘积的符号决定。该“产物”用于在$R^N$中构建载体产物。向量积导出$l_1$范数。所提出的加性神经网络成功地解决了异或问题。在MNIST数据集上的实验表明，所提出的加性神经网络的分类性能与相应的多层感知器和卷积神经网络（LeNet）非常相似.
2017-02-09 cs.AI cs.LG cs.NE
On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication
Turilabs
本文实证检验了 GPU 矩阵乘法中浮点误差的 i.i.d. 高斯噪声假设，发现其具有高度相关性和方向性结构，预测翻转率为 0.00%，挑战了传统随机噪声观点。
2025-10-26 cs.LG cs.NA math.NA
A&B BNN: Add&Bit-Operation-Only Hardware-Friendly Binary Neural Network
University of Electronic Science and Technology of China（电子科技大学）
本文提出A&B BNN，通过移除传统二进制神经网络中的乘法操作并替换为位运算，引入mask层和量化RPReLU结构，提升了硬件友好性，在CIFAR-10、CIFAR-100和ImageNet数据集上达到92.30%、69.35%和66.89%的准确率。
2024-03-06 cs.AI cs.LG
V-ABFT: Variance-Based Adaptive Threshold for Fault-Tolerant Matrix Multiplication in Mixed-Precision Deep Learning
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
V-ABFT通过基于方差的自适应阈值算法，提升了混合精度深度学习中矩阵乘法的容错性能，实现更精确的误差检测和更低的阈值与误差比。
2026-02-08 cs.AI cs.LG cs.NA
Training Sparse Neural Networks
Indian Institute of Science（印度科学院）
具有大量参数的深度神经网络通常用于大规模计算机视觉任务，例如图像分类。这是使用密集矩阵乘法和卷积的结果。然而，已知稀疏计算效率更高。在这项工作中，我们训练和建立神经网络，隐含地使用稀疏计算。我们引入额外的门变量进行参数选择，并表明，这是相当于使用一个尖峰和平板前。我们在小型和大型网络上实验验证了我们的方法，并在稀疏神经网络模型上实现了最先进的压缩结果。
2016-11-21 cs.CV cs.LG
No Routing Needed Between Capsules
Brunel University London（伦敦布鲁内尔大学）；Bradley University（布拉德利大学）
大多数胶囊网络设计依赖于胶囊层之间的传统矩阵乘法和计算昂贵的路由机制来处理矩阵乘法引入的胶囊维度纠缠。通过使用齐次向量胶囊（HVC），它使用逐元素乘法而不是矩阵乘法，胶囊的维度保持不纠缠。在这项工作中，我们研究了应用于高度结构化的MNIST数据集的HVC，以便与Geoffrey Hinton等人的胶囊研究方向进行直接比较。在我们的研究中，我们表明，使用HVC的简单卷积神经网络在MNIST上使用5.5倍的参数，4倍的训练时期，没有重建子网络，并且不需要路由机制。向网络中添加多个分类分支为MNIST数据集建立了一个新的最新技术水平，这些模型的整体准确率为99.87%，并为单个模型建立了一个新的最新技术水平（准确率为99.83%）。
2021-06-17 cs.CV cs.LG
