IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
针对Transformer在边缘设备上部署时softmax路径导致的数据类型转换瓶颈，提出IntAttention全整数注意力流水线，通过IndexSoftmax算子、稀疏感知裁剪、32项查找表近似和直接整数归一化，消除数据类型转换开销，在Armv8 CPU上实现高达3.7倍加速和61%能耗降低。
2026-05-29 cs.LG
Integer-Only Neural Network Quantization Scheme Based on Shift-Batch-Normalization
Peking University（北京大学）
神经网络在许多领域都非常流行，但是巨大的计算复杂度使得神经网络难以在资源有限的设备上运行。为了解决这个问题，量化方法被用来减少模型的大小和计算成本，使得神经网络在嵌入式平台或移动设备上的使用成为可能。本文介绍了一种仅限整数的量化方案。该方案使用一个层，该层结合了基于移位的批量归一化和均匀量化来实现4位仅整数的推断。该方案不需要大整数乘法（在以前的仅整数量化方法中使用），可以实现良好的功率和延迟效率，并且特别适合于部署在协同设计的硬件平台上。测试证明，该方案对于简单的任务非常有效。对于困难的任务，其推理效率可以容忍性能损失。我们的工作可以在github上找到：https://github.com/hguq/IntegerNet。
2021-05-28 cs.LG
Rescaling-Aware Training for Efficient Deployment of Deep Learning Models on Full-Integer Hardware
NXP Semiconductors（恩智浦半导体）；University of Bremen（不来梅大学）
针对纯整数AI推理中整数重缩放成本高昂的问题，提出重缩放感知训练方法，通过对重缩放乘数施加强量化并微调，在位宽减少8倍的情况下无损精度，实现更高效的嵌入式推理。
2025-10-13 cs.AR cs.LG
PocketNN: Integer-only Training and Inference of Neural Networks via Direct Feedback Alignment and Pocket Activations in Pure C++
The Hong Kong University of Science and Technology（香港科技大学）
标准的深度学习算法使用浮点实数实现。这对在可能没有专用浮点单元（FPU）的低端设备上实现它们构成了障碍。因此，tinyML的研究人员已经考虑了机器学习算法，可以在低端设备上仅使用整数运算来训练和运行深度神经网络（DNN）。在本文中，我们提出了PocketNN，这是一个纯C++中的轻量级和自包含的概念验证框架，用于仅使用整数进行DNN的训练和推理。与其他方法不同，PocketNN直接对整数进行操作，而不需要任何显式量化算法或定制的定点格式。这是通过口袋激活实现的，口袋激活是为仅整数DNN设计的一系列激活函数，以及一种称为直接反馈对齐（DFA）的新兴DNN训练算法。与标准的反向传播（BP）不同，DFA独立地训练每一层，从而避免了整数溢出，这是使用BP进行整数运算时的一个关键问题。我们使用PocketNN在两个著名的数据集MNIST和Fashion-MNIST上训练一些DNN。我们的实验表明，用我们的PocketNN训练的DNN在MNIST和Fashion-MNIST数据集上分别达到了96.98%和87.7%的准确率。精度非常接近使用BP和浮点实数运算训练的等效DNN，因此精度下降分别仅为1.02%p和2.09%p。最后，我们的PocketNN对于低端设备具有很高的兼容性和可移植性，因为它是开源的，用纯C++实现，没有任何依赖。
2022-05-04 cs.AI cs.LG
FLInt: Exploiting Floating Point Enabled Integer Arithmetic for Efficient Random Forest Inference
TU Dortmund University（多特蒙德工业大学）；University of Twente（特温特大学）
在许多机器学习应用中，例如，基于树的集合、浮点数由于它们的表达性而被广泛使用。如今，在嵌入式设备上从动态数据量执行数据分析变得可用，但是这样的系统通常缺乏处理浮点数的硬件能力，从而为它们的处理引入了大量开销。即使这样的硬件存在于一般的计算系统中，使用整数运算而不是浮点运算也有望减少运算开销并提高性能。在本文中，我们提供了\mdname，一个全精度浮点比较的随机森林，仅使用整数和逻辑运算。为了确保相同的功能保留，我们正式证明了这种比较的正确性。由于随机森林在推理过程中只需要比较浮点数，因此我们在低级实现中实现了\mdname ~，从而通过保持模型精度不变，完全消除了对浮点硬件的需求。\mdname ~的用法基本上归结为一个接一个的条件替换：例如，C中的比较语句：if（pX[3]<=（float）10.074347）变成了if（（*（（int*）（pX））+3））<=（（int）（0x 41213087）。在X86和ARMv 8桌面和服务器类系统上的实验结果表明，该方法可以将执行时间减少到$\approx 30\%$.
2022-09-09 cs.AR cs.LG
FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference
Facebook, Inc.（脸书公司）
深度学习模型通常使用单精度（FP 32）浮点数据类型来表示激活和权重，但最近的一系列研究工作表明，使用降低精度的数据类型（FP 16，16位整数，8位整数甚至4位或2位整数）进行计算足以达到与FP 32相同的精度，并且效率更高。因此，我们设计了fbgemm，一个高性能的内核库，从头开始在当前一代CPU上执行高性能的量化推理。FBGEMM通过将公共量化操作与高性能GEMM实现融合以及通过在运行时的形状和大小特定的内核代码生成来实现效率。该库已在Facebook部署，相对于我们当前的生产基线，它提供了超过2倍的性能增益。
2021-01-13 cs.LG cs.PF
IM-Unpack: Training and Inference with Arbitrarily Low Precision Integers
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对深度学习中低位宽整数GEMM因大数值元素难以提升效率的问题，提出IM-Unpack算法将大整数矩阵解包为低位宽可表示的矩阵，实现等价精确计算且开销小，适配训练与推理阶段。
2024-03-12 cs.CL cs.CV cs.LG
Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
通过将熵编解码器应用于学习的数据分布，神经压缩器在压缩比方面明显优于传统编解码器。然而，神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中，我们提出了整数只离散流（IODF），一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流，其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门，以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF，与现有最快的神经压缩器相比，实现了10倍的推理加速，同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
Is Integer Arithmetic Enough for Deep Learning Training?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；McGill University（麦吉尔大学）
深度学习模型不断增加的计算复杂性使得它们难以在各种云和边缘平台上进行训练和部署。用低位整数运算取代浮点运算是一种很有前途的方法，可以节省深度学习模型的能量、内存占用和延迟。因此，近年来量子化引起了研究人员的注意。然而，没有详细研究使用整数来形成包括前向传递、反向传播和随机梯度下降的全功能整数训练流水线。我们的经验和数学结果表明，整数运算似乎足以训练深度学习模型。与最近的提议不同，我们直接切换计算的数字表示，而不是量化。我们的新训练方法形成了一个完整的整数训练管道，与浮点相比，它不会改变损失和准确性的轨迹，也不需要任何特殊的超参数调整，分布调整或梯度裁剪。我们的实验结果表明，我们提出的方法是有效的，在各种各样的任务，如分类（包括视觉Transformer），目标检测，和语义分割。
2023-01-04 cs.CC cs.LG
Batch Normalization-Free Fully Integer Quantized Neural Networks via Progressive Tandem Learning
Department of Information Technology, WAVES Research Group, Ghent University（信息科技系、WAVES研究组、根特大学）；Institute for Infocomm Research (I 2 R), Agency for Science, Technology and Research (A*STAR)（信息与通信研究所（I2R）、科技研究局（A*STAR））
本文提出一种无BN的全整数量化神经网络，通过渐进式逐层知识蒸馏实现端到端整数运算推理，适用于边缘和嵌入式设备。
2025-12-18 cs.LG eess.SP
Memory-Driven Mixed Low Precision Quantization For Enabling Deep Network Inference On Microcontrollers
Universita’ di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种新的端到端方法，用于在微控制器上部署低错误深度网络。为了适应资源受限的边缘设备的内存和计算限制，我们利用混合低位宽压缩，具有8，4或2位均匀量化，我们建模的推理图与整数运算。我们的方法的目的是确定每个激活和权重张量给定的设备的内存约束的最小位精度。这是通过基于规则的迭代过程来实现的，该过程削减了最需要内存的层的位数，旨在满足内存约束。在量化感知的再训练步骤之后，通过插入嵌入式归一化（ICN）层，将伪量化图转换为仅推理整数模型，这引入了可忽略的损失，如INT4 MobilenetV1模型所示。我们报告了在STM32H7微控制器上对混合精度MobilenetV1系列网络进行的延迟精度评估。我们的实验结果表明，端到端部署的一个只有整数的Mobilenet网络的Top1的准确性为68%的设备上只有2 MB的闪存和512 KB的RAM，提高了8%的Top1的准确性相对于以前公布的8位实现微控制器。
2019-05-30 cs.LG stat.ML
SparseDNN: Fast Sparse Deep Learning Inference on CPUs
Stanford University（斯坦福大学）
在过去的几年里，算法和系统在支持有效的深度学习推理方面取得了巨大的飞跃。修剪和量化算法现在可以一致地将神经网络压缩一个数量级。对于压缩的神经网络，已经设计了大量的推理框架来最大化目标硬件的性能。虽然我们在OpenVINO和MNN等生产框架中找到了对量化神经网络的成熟支持，但仍然缺乏对修剪稀疏神经网络的支持。为了应对这一挑战，我们提出了SparseDNN，这是一个针对CPU的稀疏深度学习推理引擎。我们提出了一个稀疏代码生成器的内核级优化，以加速稀疏运算符和新的网络级优化迎合稀疏网络。我们表明，我们的稀疏代码生成器可以实现显着的速度比国家的最先进的稀疏和密集的图书馆。在Huggingface pruneBERT等端到端基准测试中，SparseDNN使用最先进的OpenVINO实现了高达5倍的吞吐量提升。开放源代码库：https://github.com/marsupialtail/sparsednn。
2021-07-21 cs.LG
Analytically Tractable Inference in Deep Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
自诞生以来，深度学习一直非常依赖于反向传播和基于梯度的优化算法，以学习权重和偏置参数值。可处理近似高斯推理（TAGI）算法被证明是一种可行的和可扩展的替代反向传播的浅全连接神经网络。在本文中，我们演示了TAGI如何匹配或超过反向传播的性能，用于训练经典的深度神经网络架构。虽然TAGI的计算效率仍然低于依赖于反向传播的确定性方法，但它在分类任务上优于它们，并且在使用较少时期训练的较小架构的同时，与信息最大化生成对抗网络的性能相匹配。
2021-03-09 cs.LG
I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models
Houmo AI（鸿谋科技）；Nanjing University（南京大学）；Southeast University（东南大学）
针对大语言模型纯整数量化推理中激活值波动问题，提出I-LLM框架，通过FSBR平滑通道差异、DI-MatMul缓解token差异及位移非线性算子，实现W4A4下近乎无损的高效纯整数推理。
2024-06-05 cs.AI cs.CL cs.LG
Deep Neural Network inference with reduced word length
University of Stuttgart（斯图加特大学）
深度神经网络（DNN）是许多模式识别任务的强大模型，但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中，我们提出了一种新的方法来评估使用32位浮点（float32）精度训练的DNN，仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多，因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中，我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估，或者仅使用3位整数运算结合二进制移位和裁剪，而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
ptype-cat: Inferring the Type and Values of Categorical Variables
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦图灵研究所）
类型推断是识别数据列中的值的类型的任务，并且在文献中已经被广泛地研究。大多数现有的类型推断方法支持诸如布尔、日期、浮点、整数和字符串等数据类型。然而，这些方法不考虑非布尔分类变量，其中存在两个以上由整数或字符串编码的可能值。因此，这些列被注释为整数或字符串而不是分类的，并且需要由用户手动转换为分类的。本文提出了一种概率类型推断方法，可以识别一般的分类数据类型（包括非布尔变量）。此外，我们通过调整现有的类型推断方法ptype来确定每个分类变量的可能值。结合这些方法，我们提出了ptype-cat，取得了更好的效果比现有的适用的解决方案。
2021-11-23 cs.DB cs.LG
Neural Likelihood Approximation for Integer Valued Time Series Data
University of Adelaide（阿德莱德大学）
针对整数值时间序列模型似然难解、现有基于仿真的推断方法实现难且计算成本高的问题，提出可通过底层模型无条件仿真训练的神经似然近似方法，在多类模型上验证了其准确性与计算效率优势。
2024-04-12 cs.LG stat.ML
DIG-MILP: a Deep Instance Generator for Mixed-Integer Linear Programming with Feasibility Guarantee
Georgia Tech（佐治亚理工学院）；Damo Academy, Alibaba US（阿里巴巴美国达摩院）
针对MILP数据匮乏问题，提出基于VAE的深度生成框架DIG-MILP，利用对偶性保证生成实例的有界性与可行性，支持数据共享与增强以提升求解器调优和模型泛化。
2023-10-20 cs.LG
Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks
University of Siegen（锡根大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）
与经典的深度神经网络相比，由于其减少了内存消耗和计算需求，其二进制化版本对于资源有限设备上的应用程序非常有用。在这项工作中，我们研究了具有二进制激活函数和连续或整数权重的深度神经网络（BDNN）。我们表明，BDNN可以重新制定为一个混合整数线性规划与有界的权空间，可以解决的经典混合整数规划求解器的全局最优性。此外，局部搜索启发式计算局部最优网络。此外，为了提高效率，我们提出了一个迭代的数据分裂启发式迭代分裂训练集成更小的子集，通过使用k-均值方法。之后，在一个给定的子集中的所有数据点被迫遵循相同的激活模式，这导致了一个更小的整数变量的数量在混合整数规划制定，因此计算的改进。最后，第一次提出了一个强大的模型，它在训练过程中加强了BDNN的鲁棒性。所有方法都在随机和真实数据集上进行了测试，我们的结果表明，所有模型通常都可以在小型网络架构上与经典DNN竞争，甚至优于经典DNN，这证实了内存或计算能力有限的应用程序的可行性。
2021-10-25 cs.LG math.OC
An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
RWTH Aachen University（亚琛工业大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（斯泰伦博斯大学）
我们研究了具有二元激活函数（BDNN）的深度神经网络，即激活函数只有两个状态。我们表明，BDNN可以重新制定为一个混合整数线性规划，可以解决经典的整数规划求解器的全局最优性。此外，一个启发式求解算法，我们研究了数据不确定性下的模型，采用两阶段的鲁棒优化方法。我们在随机和真实数据集上实现了我们的方法，并表明BDNN的启发式版本在乳腺癌威斯康星数据集上的表现优于经典的深度神经网络，而在随机数据上的表现更差。
2020-08-07 cs.LG cs.NE math.OC
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
Seoul National University（首尔大学）；LG Electronics（LG电子）
针对LLM推理中PoT量化精度低的问题，提出FPoT量化方法，结合√2底网格等技术，在Llama-3-8B上提升零样本常识推理性能8.72%，可与现有PTQ方法集成。
2026-11-05 cs.AI cs.LG
Taming the Exponential: A Fast Softmax Surrogate for Integer-Native Edge Inference
SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
本文提出HCCS替代方案，通过截断线性映射稳定概率分布，提升小模型低精度推理效率，优化AMD Versal AI引擎的整数运算性能。
2026-04-02 cs.AR cs.LG
A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap 研究所）
本文提出 Diff-Comb Explainer，利用可微黑盒组合求解器在不松弛语义约束的情况下融合 ILP 与神经表示，提升 NLI 性能及解释质量。
2024-04-03 cs.AI cs.CL cs.LG
DeepFreight: Integrating Deep Reinforcement Learning and Mixed Integer Programming for Multi-transfer Truck Freight Delivery
Purdue University（普渡大学）；George Washington University（乔治华盛顿大学）
本文提出DeepFreight，结合QMIX深度多智能体强化学习、多转运匹配算法和混合整数线性规划优化器，实现多转运卡车货运配送的高效调度，确保100%配送成功率并降低配送时间和燃油消耗。
2023-05-25 cs.LG cs.MA
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University（奥胡斯大学）
本文介绍了Continual Inference，一个在PyTorch中实现CINs的Python库，专为在线和批处理场景的高效推理设计，并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
Classification of integers based on residue classes via modern deep learning algorithms
University of Pennsylvania（宾夕法尼亚大学）
本文研究了利用现代深度学习算法对整数基于小素数除余类进行分类，发现特征工程对模型性能至关重要，展示了线性回归在傅里叶级数基向量上的应用，并指出AutoML和LLM在未适当工程化特征时的不足。
2023-09-08 cs.LG math.NT
Efficient Integer-Arithmetic-Only Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）
仅整数算术网络已被证明可以有效降低计算成本并确保跨平台一致性。然而，以前的作品通常报告的推理精度下降时，转换训练良好的浮点数（FPN）网络到整数网络。我们分析了这一现象，发现下降是由于激活量子化。具体来说，当我们用Bounded ReLU替换传统ReLU时，如何为每个神经元设置边界是一个关键问题。考虑到激活量化误差和网络学习能力之间的权衡，我们设置了一个经验规则来调整每个Bounded ReLU的边界。我们还设计了一个机制来处理的情况下，功能地图添加和功能地图连接。基于所提出的方法，我们训练的8位整数ResNet在图像识别方面优于Google的TensorFlow和NVIDIA的TensorRT的8位网络。我们还在VDSR上进行了图像超分辨率的实验，在VRCNN上进行了压缩伪影减少的实验，这两种方法都适用于本来就需要高推理精度的回归任务。我们的整数网络实现了与相应的FPN网络相当的性能，但只有1/4的内存成本，并且在现代GPU上运行速度快2倍。我们的代码和模型可以在github.com/HengRuiZ/brelu上找到。
2020-06-21 cs.CV cs.LG
A Sequential Deep Learning Algorithm for Sampled Mixed-integer Optimisation Problems
University of Sydney（悉尼大学）；University of Ottawa（渥太华大学）
混合整数优化问题可能在计算上具有挑战性。在这里，我们介绍和分析了两个有效的算法，一个特定的序贯设计，旨在处理这一类内的采样问题。在这两种算法的每个迭代步骤中，我们首先测试给定测试解决方案的可行性，同时确定违反的约束条件。随后，一个优化问题被构造与约束集组成的当前的基础-即，最小的一组约束，充分规定了当前的测试解决方案-以及与有限数量的识别违反样本的约束。我们表明，这两种算法表现出有限时间收敛到最优解。算法2的特征在于神经网络分类器，与算法1相比，其显著提高了计算性能。通过鲁棒最优潮流、鲁棒机组组合和鲁棒随机混合整数线性规划三个数值试验，定量地验证了这些算法的有效性。
2023-03-05 cs.LG math.OC
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky（肯塔基大学）
CNN推理任务的加速使用通常被转换为矢量点积（VDP）运算的卷积运算。已经提出了几种基于光子微谐振器（MRR）的硬件架构来加速整数量化的CNN，与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而，现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡，这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量，从而严重降低了可实现的性能优势。为了解决这个缺点，我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性，我们发明了一种基于MRR的光学随机乘法器（OSM）。我们采用多个OSM的级联方式使用密集波分复用，打造一种新的基于随机计算的光学神经网络加速器（SCONNA）。SCONNA实现了显着的高吞吐量和能源效率，以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明，SCONNA在每秒帧数（FPS）、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进，平均比先前工作中的两个基于光子MRR的模拟CNN加速器高，对于大型CNN，Top-1精度下降仅高达0.4%，对于小型CNN，则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器，用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
Towards Environment-Sensitive Molecular Inference via Mixed Integer Linear Programming
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Quaid-i-Azam University（卡伊德-阿扎姆大学）；Graduate School of Advanced Integrated Studies in Human Survivability (Shishu-Kan), Kyoto University（京都大学人类生存高级综合研究研究生院（Shishu-Kan））；Bioinformatics Center, Institute for Chemical Research, Kyoto University（京都大学化学研究所生物信息学中心）
针对传统QSAR/QSPR忽略分子相互作用与环境因素的问题，本文提出一种新颖的QSAR/QSPR框架，通过设计特征函数整合多分子与环境信息，利用混合整数线性规划方法在预测Flory-Huggins $χ$-参数并推断高质量溶质聚合物方面取得优异性能。
2025-02-17 cs.LG physics.chem-ph
Deep Active Inference as Variational Policy Gradients
University of Edinburgh（爱丁堡大学）
主动推理是一种源自神经科学的行动理论，它将行动和规划视为一个贝叶斯推理问题，通过最小化单个量（变分自由能）来解决。主动推理承诺一个统一的行动和感知的帐户，加上生物学上合理的过程理论。尽管有这些潜在的优势，当前的主动推理实现只能处理小的、离散的策略和状态空间，并且通常需要知道环境动态。在本文中，我们提出了一种新的深度主动推理算法，该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度，这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法，并获得了与常见强化学习基线相当的性能。此外，我们的算法显示出与最大熵强化学习和策略梯度算法的相似性，这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
Efficient Memory Management for Deep Neural Net Inference
Google Research（谷歌研究院）
虽然深度神经网络推理被认为是仅用于服务器的任务，但最新的技术进步允许将推理任务转移到移动和嵌入式设备上，这是出于从延迟到隐私等各种原因而需要的。这些设备不仅受到其计算能力和电池的限制，而且还受到其劣质物理内存和缓存的限制，因此，高效的内存管理器成为边缘深度神经网络推理的关键组件。我们探索了各种策略，以便在深度神经网络中的中间张量之间智能地共享内存缓冲区。采用这些技术可以使内存占用比现有技术减少11%。
2020-02-16 cs.CV cs.LG
DeepReDuce: ReLU Reduction for Fast Private Inference
New York University（纽约大学）
最近对隐私问题的担忧导致研究人员设计出私人神经推理的方法-直接在加密数据上进行推理，而不会看到输入。私有推理面临的主要挑战是，对加密数据进行计算会带来不切实际的高延迟惩罚，主要来自ReLU等非线性运算符。实现实用和私有的推理需要新的优化方法，以最大限度地减少网络ReLU计数，同时保持准确性。本文提出了DeepReduce：一组明智地删除ReLU以减少私有推理延迟的优化。关键的见解是，并非所有的ReLU对准确性的贡献都是一样的。我们利用这一洞察力从经典网络中删除或删除ReLU，以显著降低推理延迟并保持高准确性。给定一个目标网络，DeepReduce输出一个网络的帕累托边界，权衡ReLU的数量和准确性。与最先进的私有推理相比，DeepReduce提高了准确性，并将ReLU计数分别减少了3.5%（iso-ReLU计数）和3.5 $\times$（iso-accuracy）。
2021-06-22 cs.CR cs.LG
Deep Structural Causal Models for Tractable Counterfactual Inference
Imperial College London（伦敦帝国理工学院）
我们制定了一个通用框架，用于构建具有深度学习组件的结构因果模型（SCM）。所提出的方法采用规范化流和变分推断来实现对外源噪声变量的易处理的推理-这是现有深度因果学习方法中缺少的反事实推理的关键步骤。我们的框架在MNIST上构建的合成数据集以及真实世界的大脑MRI扫描医学数据集上进行了验证。我们的实验结果表明，我们可以成功地训练深SCM，能够所有三个层次的珍珠的阶梯的因果关系：关联，干预和反事实，从而产生一个强大的新方法来回答因果问题的成像应用和超越。我们所有实验的代码都可以在https://github.com/biomedia-mira/deepscm上找到。
2020-10-22 cs.LG stat.ML
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University（东北大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON，一种新型的深度学习推理服务系统，它满足两个相互竞争的目标：服务质量（QoS）目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例（异构实例）来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略，帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且，RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本，包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
在本文中，我们介绍了深度概率集成（DPEs），这是一种可扩展的技术，它使用正则化集成来近似深度贝叶斯神经网络（BNN）。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标，来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计，用于视觉分类的主动学习。随着注释预算的增加，我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Guardians of the Deep Fog: Failure-Resilient DNN Inference from Edge to Cloud
UT Dallas（德克萨斯大学达拉斯分校）；UC Berkeley（加州大学伯克利分校）
将深度神经网络（DNN）划分和分布在边缘、雾或云节点等物理节点上，可以增强传感器融合，并降低带宽和推理延迟。然而，当DNN分布在物理节点上时，物理节点的故障导致放置在这些节点上的DNN单元的故障。如果分布式DNN没有针对故障进行专门设计和适当训练，那么推理任务的性能将是不可预测的，并且很可能很差。受此启发，我们引入了deepFogGuard，这是一种DNN架构增强方案，用于使分布式DNN推理任务具有故障弹性。为了阐明deepFogGuard，我们介绍了分布式DNN推理的弹性的元素和模型。受DNN中剩余连接概念的启发，我们在分布式DNN中引入了跳过超连接，这是deepFogGuard提供弹性设计的基础。接下来，我们使用两个现有的传感和视觉应用数据集进行了广泛的实验，证实了deepFogGuard为边缘云网络中的分布式DNN提供弹性的能力。
2019-09-21 cs.LG cs.NI
Deep Active Inference for Autonomous Robot Navigation
IDLab, Department of Information Technology（信息技术系IDLab）
主动推理是一种支持生物主体在现实世界中感知和行动的理论。主动推理的核心是基于大脑是一个近似贝叶斯推理引擎的原则，建立一个内部生成模型，以驱动代理实现最小的惊喜。虽然这一理论已经在认知神经科学的基础上显示出有趣的结果，但它的应用仍然局限于小的、预定义的传感器和状态空间的模拟。在本文中，我们利用深度学习的最新进展来构建更复杂的生成模型，这些模型可以在没有预定义状态空间的情况下工作。状态表示是从真实世界的高维感知数据（如摄像机帧）中端到端学习的。我们还表明，这些生成模型可以用来从事积极的推理。据我们所知，这是深度主动推理在现实世界机器人导航任务中的首次应用。
2020-03-06 cs.AI cs.LG
Comparison of LSTM autoencoder based deep learning enabled Bayesian inference using two time series reconstruction approaches
University of Southern California（南加州大学）
在这项工作中，我们使用贝叶斯推理，马尔可夫链蒙特卡罗和深度学习的LSTM自动编码器的形式相结合，以建立和测试一个框架，提供强大的估计注入率从地面数据耦合流和地质力学问题。我们使用LSTM自动编码器来重建由于注水问题而导致的断层顶部表面上的网格点的位移时间序列。然后，我们部署这个基于LSTM自动编码器的模型，而不是贝叶斯推理框架中的高保真模型，以根据位移输入估计注射速率。
2022-03-03 cs.CE cs.LG
Causal inference using deep neural networks
Carnegie Mellon University（卡内基梅隆大学）
从观测数据中进行因果推断是许多科学领域的核心问题。在这里，我们提出了一个通用的监督深度学习框架，通过将输入向量转换为每对输入的图像表示来推断因果交互。给定一个训练数据集，我们首先构建一个标准化经验概率密度分布（NEPDF）矩阵。然后，我们训练一个卷积神经网络（CNN）的因果关系预测的NEPDF。我们在几个不同的模拟和真实世界的数据上测试了该方法，并将其与先前的因果推理方法进行了比较。正如我们所展示的，该方法是通用的，可以有效地处理非常大的数据集，并改进了以前的方法。
2020-11-25 cs.LG stat.ML
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
提出了一种新的残差卷积神经网络（CNN）结构，用于单幅图像的深度估计。与现有的基于深度CNN的方法相比，我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积，跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明，我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Hidden costs for inference with deep network on embedded system devices
Department of Electronics Engineering Gangneung-Wonju National University（电子工程系，江陵-Wonju国立大学）；Department of Advanced AI LG Electronics（先进人工智能系，LG电子）
本研究揭示了嵌入式系统中深度网络推理的隐性成本，指出乘法-累加操作指标的局限性，并通过实验强调了张量间额外计算在优化实时性能中的重要性。
2026-01-05 cs.CC cs.LG
Deep Gaussian Processes for Air Quality Inference
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
空气污染每年造成约700万人死亡，约24亿人暴露在有害的空气污染中。精确、精细的空气质量（AQ）监测对于控制和减少污染至关重要。然而，空气质量监测站的部署是稀疏的，因此对未监测地点的空气质量推断是至关重要的。传统的插值方法无法学习复杂的AQ现象。这项工作表明，深度高斯过程模型（DGP）是一个很有前途的AQ推理任务的模型。我们实现了双随机变分推理，DGP算法，并表明它执行的最先进的模型。
2022-11-18 cs.LG stat.ML
VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference
NVIDIA（英伟达）
量化通过减少模型内存占用和利用低成本整数数学硬件单元来实现深度神经网络的高效加速。量化使用比例因子将训练模型中的浮点权重和激活映射到低位宽整数值。过度量化，过于激进地降低精度，导致精度下降。当比例因子在每个张量的许多维度上以粗粒度共享时，张量内的各个元素的有效精度受到限制。为了减少量化相关的准确性损失，我们建议使用一个单独的比例因子为每个小向量（$\approx$ 16-64）元素在一个单一的维度的张量。为了实现有效的硬件实现，当使用两级量化方案校准时，可以用低位宽整数来实现每矢量比例因子。我们发现，每向量缩放一致地实现更好的推理精度在低精度相比，传统的缩放技术，流行的神经网络，而不需要再训练。我们还修改了一个深度学习加速器硬件设计，以研究每个向量缩放支持的面积和能量开销。我们的评估表明，具有4位权重和激活的每个矢量缩放量化实现了37%的面积节省和24%的节能，同时保持了ImageNet上ResNet 50的75%以上的准确度。4-位权重和8位激活可在SQuAD上实现BERT-base和BERT-large的近全精度，同时与8位基线相比减少了26%的面积。
2021-02-08 cs.AR cs.LG
Learning Perception and Planning with Deep Active Inference
Ghent University - imec（根特大学-imec）
主动推理是大脑的一种过程理论，它指出所有生物体都推断行动，以最大限度地减少其（预期）自由能。然而，目前的实验仅限于预定义的，往往是离散的，状态空间。在本文中，我们使用深度学习的最新进展来学习状态空间并近似必要的概率分布以进行主动推理。
2020-02-24 cs.AI cs.LG stat.ML
Mixing Vector Model for Copolymer Inference via Mixed Integer Linear Programming
Department of Information Science and Technology, Tokyo University of Science（东京科学大学信息科学与技术系）；Discrete Mathematics and Computational Intelligence Laboratory, Department of Mathematics, Quaid-i-Azam University（夸齐-阿扎姆大学数学系离散数学与计算智能实验室）；Graduate School of Informatics, Kyoto University（京都大学信息研究生院）；Graduate School of Advanced Integrated Studies in Human Survivability (Shishu-Kan), Kyoto University（京都大学人类生存高级综合研究研究生院（Shishu-Kan））；Bioinformatics Center, Institute for Chemical Research, Kyoto University（京都大学化学研究所生物信息中心）
提出混合向量模型，通过混合整数线性规划实现共聚物的逆设计，在多个物化数据集上取得高预测精度并保持可解性。
2026-05-28 cs.LG q-bio.QM
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality
Imperial College London（帝国理工学院）
本文提出深度学习增强的 MIP 降维框架，通过预测复杂二元变量生成简化模型并结合现成求解器，利用合成数据、ANN/CNN 比较与贝叶斯调优提升全局最优求解表现。
2024-05-10 cs.AI cs.LG math.OC
Training Integer-Only Deep Recurrent Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
循环神经网络（RNN）是许多文本和语音应用的基础。这些架构通常由几个计算复杂的组件组成，例如：非线性激活函数，归一化，双向依赖和注意力。为了保持良好的精度，这些组件经常使用全精度浮点计算运行，这使得它们速度缓慢，效率低下，难以在边缘设备上部署。此外，这些操作的复杂性质使得它们具有挑战性，使用标准量化方法进行量化而不会显着降低性能。我们提出了一种量化感知训练方法，用于获得高度准确的仅整数递归神经网络（iRNN）。我们的方法支持层归一化，注意力和激活函数的自适应分段线性（PWL）近似，以服务于各种最先进的RNN。所提出的方法使基于RNN的语言模型能够在边缘设备上运行，在运行时具有$2\times$改进，并在模型大小上减小$4\times$，同时保持与其全精度对应物相似的准确性。
2022-12-22 cs.CL cs.LG
NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks
Department of Electronics, Information and Bioengineering（电子、信息与生物工程系）
NITRO-D提出了一种整数-only训练框架，用于训练深度卷积神经网络，显著提升了模型性能并降低了资源消耗
2025-12-03 cs.AI cs.CV cs.LG
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
虽然深度学习方法在广泛的应用领域中继续提高预测准确性，但其性能的其他方面仍然存在重大问题，包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺，但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中，我们描述了URSABench（不确定性，鲁棒性，可扩展性和准确性基准测试）的开发工作，这是一个开源的基准测试工具套件，用于全面评估近似贝叶斯推理方法，重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Learning for Single-Shot Confidence Calibration in Deep Neural Networks through Stochastic Inferences
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
我们提出了一个通用框架，通过随机推理来校准深度神经网络中预测的准确性和置信度。我们解释随机正则化使用贝叶斯模型，并分析网络的预测不确定性和方差的预测得分的随机推断获得的单个例子之间的关系。我们的实证研究表明，预测的准确性和得分是高度相关的多个随机推断的随机深度或辍学的方差。基于这一观察结果，我们设计了一种新的方差加权置信度集成损失函数，该函数由两个关于地面真值和均匀分布的交叉熵损失项组成，它们由随机预测分数的方差来平衡。提出的损失函数使我们能够学习深度神经网络，这些网络使用单个推理来预测置信度校准分数。该算法在多个模型和数据集上结合两种流行的随机正则化技术--随机深度和dropout--，表现出出色的置信度校准性能，提高了分类精度;通过训练网络，使预测精度与预测置信度成正比，显著改善了深度神经网络中的过度自信问题。
2019-04-24 cs.LG stat.ML
