On Stochastic Rounding with Few Random Bits
Graphcore Cambridge, UK（Graphcore剑桥）
本文研究了少位随机舍入（FBSR）的多种实现方式，发现部分自然实现会引入显著偏差，并探讨了这些偏差在机器学习中的影响，为低精度浮点计算提供了配置参数参考。
2025-04-29 cs.AI cs.LG cs.MS
FAST: DNN Training Under Variable Precision Block Floating Point with Stochastic Rounding
Harvard University（哈佛大学）；Franklin and Marshall College（富兰克林与马歇尔学院）
块浮点（BFP）可以通过经由跨一组值的共享指数提供宽动态范围来有效地支持深度神经网络（DNN）训练的量化。在本文中，我们提出了一种用于DNN的快速第一，准确第二训练（FAST）系统，其中权重，激活和梯度以BFP表示。FAST支持使用可变精度BFP输入操作数的矩阵乘法，从而在整个训练过程中实现DNN精度的增量增加。通过提高训练迭代和DNN层的BFP精度，FAST可以大大缩短训练时间，同时减少整体硬件资源使用。我们的FAST乘法器-累加器（fMAC）支持多个BFP精度下的点积计算。我们在具有不同数据集的多个DNN上验证了我们的FAST系统，在基于\textbf{mixed-precision or block}浮点数系统的先前工作中，在单芯片平台上的训练中展示了2-6个$\times$加速，同时在验证准确性方面实现了类似的性能。
2021-10-28 cs.AR cs.LG
Training with Fewer Bits: Unlocking Edge LLMs Training with Stochastic Rounding
Department of Electrical and Electronic Engineering（电子与电气工程系）
本文理论与实证研究了随机舍入在量化 LLM 训练中的作用，发现增大 batch size 可补偿反向传播中的精度降低，且权重与激活量化对梯度方差影响不同，为边缘 LLMs 训练提供依据。
2025-11-02 cs.LG cs.NA math.NA
On the influence of stochastic roundoff errors and their bias on the convergence of the gradient descent method with low-precision floating-point computation
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
当在低精度下实现梯度下降方法时，采用随机舍入方案有助于防止由消失梯度效应引起的收敛停滞。无偏随机舍入通过保留与其相对大小成比例的概率的小更新来产生零偏差。该研究为梯度下降法在低精度计算中的停滞现象提供了理论解释。此外，我们提出了两个新的随机舍入方案，以更大的概率交易零偏置属性，以保持小梯度。我们的方法产生一个恒定的舍入偏差，平均而言，在于下降的方向。对于凸问题，我们证明了所提出的舍入方法通常对梯度下降的收敛速度有有益的影响。我们验证了我们的理论分析，通过比较性能的各种舍入方案时，优化多项逻辑回归模型和训练一个简单的神经网络与8位浮点格式。
2023-02-25 cs.LG cs.NA math.NA
Stochastic Rounding Increases Small Singular Values
Department of Computer Science, Purdue University（计算机科学系，普渡大学）；Department of Mathematics, University of Alberta（数学系，阿尔伯塔大学）
本文证明随机舍入作为低精度浮点运算的量化方案，不仅对极端长宽比矩阵，而且对恒定长宽比矩阵都能提升尾部奇异值簇，从而更广泛地发挥谱正则化作用。
2026-05-29 cs.LG cs.NA math.NA
Deep Learning with Limited Numerical Precision
IBM T. J. Watson Research Center（IBM T·J·沃森研究中心）；IBM Almaden Research Center（IBM阿尔马登研究中心）
大规模深度神经网络的训练通常受到可用计算资源的约束。研究了有限精度的数据表示和计算对神经网络训练的影响。在低精度定点计算的背景下，我们观察到舍入方案在确定网络在训练过程中的行为方面起着至关重要的作用。我们的研究结果表明，当使用随机舍入时，深度网络可以仅使用16位宽的固定点数表示进行训练，并且分类精度几乎没有下降。我们还展示了一个节能的硬件加速器，实现低精度定点运算随机舍入。
2015-02-09 cs.LG cs.NE stat.ML
Low-Discrepancy Dither for Quantized Recurrent State Caches
本文提出使用确定性黄金比例Weyl抖动替代随机舍入来量化Mamba风格模型的循环状态缓存，在多种模型和长序列生成中始终更接近全精度结果，且无需额外成本。
2026-10-01 cs.LG
Direct Quantized Training of Language Models with Stochastic Rounding
The University of Tokyo（东京大学）；Fujitsu Limited（富士通有限公司）
本文提出直接更新量化低精度权重并采用随机舍入，无需直通估计，在LLaMA模型上实现高效训练，8位性能媲美BitNet b1.58，且支持三值推理。
2025-10-10 cs.CL cs.LG
Dither computing: a hybrid deterministic-stochastic computing framework
IBM Research AI（IBM研究院人工智能）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
随机计算作为在计算机上执行算术的替代方法有着悠久的历史。虽然它可以被认为是实数的无偏估计量，但它的方差和MSE为$Ω(\frac{1}{N})$的量级。另一方面，随机计算的确定性变体去除了随机方面，但不能以任意精度近似任意实数，并且是有偏估计。然而，它们具有$O(\frac{1}{N^2})$数量级的渐近优MSE。最近在随机舍入的深度学习中的结果表明，舍入中的偏差会降低性能。我们提出了一个替代框架，称为抖动计算，结合随机计算和其确定性变量的方面，可以执行类似的效率计算，是无偏的，方差和MSE也对$Θ(\frac{1}{N^2})$的最佳顺序。我们还表明，它可以是有益的随机舍入应用程序以及。我们提供的实施细节，并给出实验结果比较显示所提出的计划的好处。
2021-05-05 cs.AR cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Toronto（多伦多大学）；Toronto, ON, Canada（加拿大安大略省多伦多市）
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度，作为降低训练计算成本的一种方式（Na & Mukhopadhyay，2016）（Courbariaux et al.，2014年）。我们提出了一种新的动态精度缩放（DPS）计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽，我们在MNIST数据集上实现了98.8%的测试准确度，与深度学习框架中使用的标准32位浮点值相比，权重的平均位宽仅为16位，激活的平均位宽为14位。
2019-01-24 cs.LG
Revisiting BFloat16 Training
University of Michigan（密歇根大学）；SambaNova Systems（SambaNova系统公司）；Cornell University（康奈尔大学）
最先进的通用低精度训练算法使用16位和32位精度的混合，造成了16位硬件计算单元本身不足以最大限度地提高模型精度的民间传说。因此，深度学习加速器被迫同时支持16位和32位浮点单元（FPU），这比仅使用16位FPU进行硬件设计成本更高。我们问：我们是否可以仅使用16位浮点单元来训练深度学习模型，同时仍然匹配32位训练所达到的模型精度？为此，我们研究了广泛采用的BFloat16单元上的16位FPU训练。虽然这些单元通常使用最近的舍入来将输出转换为16位精度，但我们表明，模型权重更新的最近舍入通常会取消小的更新，这会降低收敛性和模型精度。受此启发，我们研究了两个简单的技术，以及建立在数值分析，随机舍入和Kahan求和，以弥补模型精度下降，在16位FPU训练。我们证明了这两种技术可以在16位FPU训练中实现高达7%的绝对验证精度增益。这导致在七个深度学习应用程序中，与32位训练相比，验证准确率降低0.1%至提高0.2%。
2021-03-07 cs.LG stat.ML
FAAR: Format-Aware Adaptive Rounding for NVFP4
Li Auto Inc.（李自动公司）
本文提出FAAR方法，通过整合NVFP4非均匀数域特性，改进低精度量化策略，降低取整误差，提升模型性能，实验表明在WikiText-2和Qwen3-1.7B上 perplexity 显著降低。
2026-03-23 cs.AI cs.LG
Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；State Key laboratory of Space Network and Communications（空间网络与通信国家重点实验室）
本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因，揭示了相似低秩表示与有偏舍入误差的恶性循环，并通过最小化修改稳定训练。
2026-06-16 cs.AI cs.LG
Preserving Updates in Low-Bit Recurrent State Quantization
The Chinese University of Hong Kong（香港中文大学）
针对循环状态量化的误差累积问题，提出LRB与BDR方法，在门控DeltaNet等模型上，无训练方法性能优于INT4，内存减5.3倍、解码速提1.9倍。
2026-10-14 cs.CL cs.LG
Backward-State Policy Is Part of the Learning Algorithm
Beijing Tongming Lake Information Technology Application Innovation Center (TLAIC)（北京通明湖信息技术应用创新中心）；Fudan University Institute of Systems for Advanced Computing（复旦大学先进计算系统研究所）；Harbin Institute of Technology（哈尔滨工业大学）；Key Lab of HCST (PKU), MOE（北京大学高可信软件技术教育部重点实验室；北京大学计算机学院）；SCS, Peking University（上海开放计算系统研究所）；Shanghai Institute of Systems for Open Computing
本文论证反向传播中张量读取策略（反向状态策略）是学习算法的一部分，通过理论推导和实验证明复制精度与最终损失无法判断其正确性，需逐次使用检查。
2026-10-01 cs.LG
QPyTorch: A Low-Precision Arithmetic Simulation Framework
Cornell University（康奈尔大学）
低精度训练降低了计算成本，并产生了有效的模型。最近在开发新的低精度训练算法方面的研究通常依赖于模拟来经验性地评估量化的统计效果，同时避免构建特定硬件的大量开销。为了支持这一实证研究，我们引入了QPyTorch，一个低精度的算术模拟框架。QPyTorch在PyTorch中原生构建，提供了一个方便的界面，可以最大限度地减少可靠转换现有代码以研究低精度训练所需的工作。QPyTorch是通用的，并支持各种精度，数字格式和舍入选项的组合。此外，它利用一种有效的融合内核方法来减少模拟器开销，从而能够模拟大规模的现实问题。QPyTorch可在https://github.com/Tiiiger/QPyTorch上公开获取。
2019-10-09 cs.LG stat.ML
FlexRound: Learnable Rounding based on Element-wise Division for Post-Training Quantization
NAVER Cloud（NAVER云）
提出基于逐元素除法的可学习舍入机制FlexRound，用于训练后量化，联合学习量化网格和权重缩放，在图像分类、自然语言理解与生成任务上验证，并首次实现大型语言模型的高效量化。
2024-07-16 cs.AI cs.LG
M+Adam: Low-Precision Training via Additive-Multiplicative Optimization
California Institute of Technology（加利福尼亚理工学院）；University of Copenhagen（哥本哈根大学）；Aarhus University（阿鲁斯大学）
研究低精度训练中标准优化器的问题，提出结合加法和乘法更新的M+Adam方法，经证明在标准假设下单调下降，在多种模型预训练中持续改善低精度训练。
2026-07-16 cs.LG
Mixed-Precision Neural Networks: A Survey
University of California, Irvine（加州大学欧文分校）；Rain Neuromorphics Inc（Rain Neuromorphics公司）
混合精度深度神经网络可实现硬件部署所需的能效和吞吐量，特别是在资源有限的情况下，而不会牺牲准确性。然而，保持准确性的最佳每层位精度并不容易找到，特别是在大量的模型、数据集和量化技术创建了巨大的搜索空间的情况下。为了解决这个困难，最近出现了大量的文献，并提出了几个框架，取得了有希望的精度结果。在本文中，我们首先总结了文献中普遍使用的量化技术。然后，我们对混合精度框架进行了全面的调查，根据其优化技术（如强化学习）和量化技术（如确定性舍入）进行分类。此外，每个框架的优点和缺点进行了讨论，我们提出了一个并列。最后，我们给出了未来混合精度框架的指导方针。
2022-08-11 cs.AI cs.LG
Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks
Qualcomm Research（高通研究院）
众所周知，训练深度神经网络，特别是深度卷积网络，具有急剧降低的数值精度是具有挑战性的。随机梯度下降算法在存在由具有有限数值精度的算术产生的噪声梯度更新的情况下变得不稳定。随机舍入是一种被广泛接受的促进低精度定点网络训练的解决方案。然而，据我们所知，噪声梯度更新训练神经网络的不稳定性的来源还没有得到很好的研究。这项工作是试图在低数值精度和训练算法稳定性之间建立理论联系。在此过程中，我们还将提出并通过实验验证能够提高定点深度卷积网络训练性能的方法。
2016-07-08 cs.CV cs.LG
Scalable Verification of Quantized Neural Networks (Technical Report)
IST Austria（奥地利科学技术研究所）
神经网络的形式化验证是一个活跃的研究课题，并且最近的进展已经显著地增加了验证工具可以处理的网络的大小。然而，大多数方法都是为了验证实际网络的理想化模型而设计的，它适用于实际算法，忽略了舍入的不精确性。这种理想化与网络量化形成鲜明对比，网络量化是一种以数值精度换取计算效率的技术，因此经常应用于实践。忽略这种低位量化神经网络的舍入误差已被证明会导致关于网络正确性的错误结论。因此，用于验证量化神经网络的期望方法将是考虑这些舍入误差的方法。在本文中，我们表明，验证量化神经网络的位精确实现与位向量规范是PSPACE困难的，即使验证理想化的实值网络和满足性的位向量规范单独的每个都在NP。此外，我们探讨了几个实用的算法，以缩小理想化和位精确验证之间的复杂性差距。特别是，我们提出了三种技术，使基于SMT的验证量化神经网络更具可扩展性。我们的实验表明，我们提出的方法允许加速高达三个数量级的现有方法。
2022-04-05 cs.AI cs.LG
Efficient Stochastic Inference of Bitwise Deep Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；RWTH Aachen University（亚琛工业大学）
最近公布的方法使得能够训练逐位神经网络，其允许将表示减少到每权重单个位。我们提出了一种方法，利用集成决策的基础上，多个随机抽样的网络模型，以提高性能数字的逐位神经网络在推理的分类精度。我们对CIFAR-10和GTSRB数据集的实验表明，这种网络集成的性能超过了高精度基础模型的性能。使用这种技术，我们实现了5.81%的最佳分类错误CIFAR-10测试集使用逐位网络。关于嵌入式系统的推理，我们评估这些按位网络使用硬件高效的随机舍入过程。我们的工作有助于有效的嵌入式逐位神经网络。
2016-11-20 cs.LG cs.NE
Mixed Precision Training With 8-bit Floating Point
Intel Labs（英特尔研究院）
深度神经网络的降低精度计算是解决模型大小指数增长导致的计算差距扩大的关键领域之一。近年来，深度学习训练已基本迁移到16位精度，在性能和能效方面取得了显着进步。然而，由于反向传播的更高精度和动态范围要求，以8位精度训练DNN的尝试遇到了重大挑战。在本文中，我们提出了一种使用8位浮点表示权值、激活、错误和梯度来训练深度神经网络的方法。除了降低计算精度外，我们还将权重主副本的精度要求从32位降低到16位。我们在多个数据集（imagenet-1K，WMT 16）和更广泛的工作负载（Resnet-18/34/50，GNMT，Transformer）上展示了最先进的准确性。我们提出了一种增强的损失缩放方法，以增加减少低于正常范围的8位浮点改善错误传播。我们还研究了量化噪声对泛化的影响，并提出了一种随机舍入技术来解决梯度噪声。作为应用所有这些技术的结果，我们报告的验证精度略高于全精度基线。
2019-05-29 cs.LG stat.ML
Stochastic Layer-Wise Precision in Deep Neural Networks
NVIDIA（英伟达）；University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
已经提出了低精度权重、激活和梯度作为提高深度神经网络的计算效率和存储器占用的方式。最近，低精度网络甚至显示出对对抗攻击更强大。然而，低精度DNN的典型实现在网络的所有层上使用统一的精度。在这项工作中，我们探讨了在网络中异构分配精度是否会提高性能，并介绍了一种学习方案，其中DNN随机数通过学习探索多个精度配置。这允许网络学习最佳精度配置。我们在MNIST和ILSVRC 12上训练的卷积神经网络上表明，即使这些网络分别学习均匀或接近均匀的分配策略，随机精度也会导致良好的正则化效果，从而提高泛化能力。
2018-07-03 cs.LG stat.ML
Low-Precision Stochastic Gradient Langevin Dynamics
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Cornell University（康奈尔大学）
虽然低精度优化已被广泛用于加速深度学习，但低精度采样在很大程度上仍未被探索。因此，采样在许多大规模场景中根本不可行，尽管它为神经网络的泛化和不确定性估计提供了显着的好处。在本文中，我们提供了低精度随机梯度朗之万动力学（SGLD）的第一次研究，表明其成本可以显着降低而不牺牲性能，由于其固有的能力，以处理系统噪声。我们证明了在强凸条件下，低精度SGLD与全精度梯度卷积的收敛性受量化误差的影响比SGD对应的收敛性小。为了进一步实现低精度梯度平滑，我们为SGLD开发了一个新的量化函数，它在每个更新步骤中都保留了方差。我们证明了低精度SGLD在各种深度学习任务中仅使用8位即可实现与全精度SGLD相当的性能。
2022-06-20 cs.LG stat.ML
Stochastic Precision Ensemble: Self-Knowledge Distillation for Quantized Deep Neural Networks
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
深度神经网络（QDNN）的量化已经被积极研究以用于在边缘设备中的部署。最近的研究采用知识蒸馏（KD）方法来提高量化网络的性能。在这项研究中，我们提出了QDNNs（SPEQ）的随机精度集成训练。SPEQ是一种知识蒸馏训练方案;然而，教师是通过共享学生网络的模型参数而形成的。我们通过改变前向传递计算的每一层的激活随机数的位精度来获得教师的软标签。学生模型使用这些软标签进行训练，以减少激活量化噪声。采用余弦相似性损失，而不是KL发散，用于KD训练。由于教师模型通过随机位精度分配连续变化，因此它利用了随机集成KD的效果。SPEQ在各种任务中优于现有的量化训练方法，例如图像分类，问答和迁移学习，而不需要繁琐的教师网络。
2020-09-30 cs.LG stat.ML
Stochastic Coordinate Minimization with Progressive Precision for Stochastic Convex Optimization
Cornell University（康奈尔大学）
提出了一种基于迭代坐标极小化（CM）的随机凸优化框架。由于目标函数的未知随机性，精确的坐标最小化是不可能的，所提出的优化算法的关键是在每次迭代中的最小化精度的最优控制。我们建立了强凸可分离非光滑函数的最优精度控制和由此得到的阶最优后悔性能。一个有趣的发现是，跨迭代的精度的最佳进展是独立的低维CM例程，这表明一个一般的框架扩展低维优化例程高维问题。该算法适合在线实现，并继承了CM的可扩展性和并行化性能的大规模优化。只需要一个次线性顺序的消息交换，它也适合于分布式计算相比，坐标梯度下降的替代方法。
2020-03-11 cs.LG math.OC stat.ML
Training Deep Neural Networks with 8-bit Floating Point Numbers
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
用于训练深度神经网络（DNN）的最先进的硬件平台正在从传统的单精度的（32位）计算向16位精度移动-这在很大程度上是由于与使用降低精度表示相关的高能效和更小的位存储。然而，与推理不同，由于需要在反向传播期间保持梯度计算的保真度，用小于16位表示的数字进行训练一直具有挑战性。在这里，我们首次展示了使用8位浮点数成功训练DNN，同时完全保持深度学习模型和数据集的准确性。除了将数据和计算精度降低到8位之外，我们还通过引入一些关键思想，包括基于块的累加和浮点随机舍入，成功地将加法的算术精度（用于部分乘积累加和权重更新）从32位降低到16位。这些新技术的使用为新一代硬件培训平台奠定了基础，其吞吐量可能比当今系统提高2- 4倍。
2018-12-19 cs.LG stat.ML
SWALP : Stochastic Weight Averaging in Low-Precision Training
Cornell University（康奈尔大学）
低精度操作可以提供可扩展性、存储器节省、便携性和能量效率。本文提出了SWALP，一种低精度训练的方法，该方法使用修改的学习率调度对低精度SGD迭代进行平均。SWALP易于实现，即使将所有数字量化到8位（包括梯度位），也可以与全精度SGD的性能相媲美。此外，我们表明，SWALP收敛任意接近二次目标的最优解，并在强凸设置的噪声球渐近小于低精度SGD。
2019-05-20 cs.AI cs.LG stat.ML
On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats
Polytechnique Montreal（蒙特利尔综合理工学院）；University of Pisa（比萨大学）；McGill University（麦吉尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习模型正在主导几乎所有的人工智能任务，如视觉、文本和语音处理。随机梯度下降（SGD）是训练此类模型的主要工具，其中计算通常以单精度浮点数格式执行。单精度SGD的收敛性通常与实数的理论结果一致，因为它们的误差可以忽略不计。然而，当以低精度数字格式执行计算时，数值误差增加。这为研究适用于低精度计算的SGD收敛性提供了令人信服的理由。我们提出了确定性和随机分析的SGD算法，获得的界限，显示的效果的数字格式。这样的界限可以提供指导方针，如何SGD收敛的影响时，约束，使远程执行高精度计算的可能性。
2023-01-09 cs.LG cs.NA math.NA
Enhancing Low-Precision Sampling via Stochastic Gradient Hamiltonian Monte Carlo
Purdue University（普渡大学）
本文研究基于SGHMC的低精度采样方法，理论证明其在非对数凹分布下比SGLD有二次方级效率提升且对量化误差更鲁棒，经多数据集实验验证，为资源受限场景提供高效采样方案。
2024-07-14 cs.LG stat.ML
pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks
Department of Numerical Mathematics, Charles University（数值数学系，查尔斯大学）；LIP6, Sorbonne Université, CNRS（LIP6，索邦大学，CNRS）
Pychop通过提供低精度算术模拟工具，支持神经网络和数值方法中的高效混合精度算法研究与应用。
2026-08-26 cs.LG cs.NA math.NA
The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought
Department of Mathematics, University of Tübingen, Germany（图宾根大学数学系）
本文研究了低精度softmax变换器在链式思维中的表达能力，通过构造三元激活和分离注意力分数的硬max变换器来模拟图灵机，从而将构造转换为等效的softmax变换器，并分析了最近提出的总结链式思维范式在模拟图灵机时的效率。
2026-08-10 cs.CC cs.CL cs.LG
Low-Precision Floating-Point Schemes for Neural Network Training
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politécnica de Catalunya（加泰罗尼亚理工大学）
低精度定点运算与随机舍入的使用已经被提出作为常用的32位浮点运算的有前途的替代方案，以在性能和能量效率方面增强训练神经网络训练。在本文的第一部分中，12位定点运算的行为时，训练卷积神经网络与CIFAR-10数据集进行了分析，表明这种算法是不是最适合的训练阶段。在此之后，本文提出和评估，在相同的条件下，替代低精度算法，开始与12位浮点运算。然后使用局部缩放来利用这两种表示，以提高精度并更接近基线32位浮点运算。最后，本文介绍了一个简化的模型，其中的输出和神经网络的梯度都被限制为2的幂值，只是使用7位的表示。评估表明，所提出的二次幂神经网络的准确性损失最小，避免了乘法和除法的使用，从而显着减少了训练时间以及在训练和推理阶段的能量消耗和内存需求。
2018-04-14 cs.LG cs.NE stat.ML
ELMO: Efficiency via Low-precision and Peak Memory Optimization in Large Output Spaces
Department of Computer Science, Aalto University, Espoo, Finland（艾尔沃斯大学计算机科学系）；Department of Computer Science, University of Bath, Bath, UK（巴斯大学计算机科学系）
针对极限多标签分类中线性分类头导致的内存与计算瓶颈，提出纯低精度训练框架ELMO，利用Float8、Kahan求和及梯度融合分块技术，在保持准确率的同时大幅降低GPU内存占用。
2025-10-13 cs.CL cs.IR cs.LG
PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding
Otto-von-Guericke University（奥托·冯·格里克大学）
提出PredProp方法，通过精度加权优化预测编码网络的权重与状态，实现近似自然梯度下降，在图像基准测试中优于Adam，且可推广至深层PCN结构。
2023-05-05 cs.AI cs.LG cs.NE
Q-SpiNN: A Framework for Quantizing Spiking Neural Networks
Technische Universität Wien (TU Wien)（维也纳工业大学（TU Wien））；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校（NYUAD））
量化是减少脉冲神经网络（SNN）内存占用而不显著降低精度的一种重要技术。然而，现有技术仅集中于直接从特定量化方案（即，训练后量化（PTQ）或训练中量化（ITQ），并且不考虑（1）量化其它SNN参数（例如，神经元膜电位），（2）探索量化方法的不同组合（即，量化方案、精度水平和舍入方案），以及（3）在最后选择具有良好的存储器-精度折衷的SNN模型。因此，由这些现有技术提供的用于满足目标准确度的存储器节省是有限的，从而阻碍了在资源受限的系统（例如，物联网边缘设备）。为此，我们提出了Q-SpiNN，一种新的量化框架的内存效率SNN。Q-SpiNN的关键机制是：（1）基于不同SNN参数对准确度的重要性，对不同SNN参数采用量化，（2）探索量化方案、准确度水平和舍入方案的不同组合，以找到有效的SNN模型候选，以及（3）开发量化由候选获得的存储器-准确度折衷的益处的算法，选择帕累托最优的一个实验结果表明，对于无监督网络，Q-SpiNN减少了约10%的内存占用。4x，同时保持MNIST数据集上基线的准确度在1%以内。对于有监督的网络，Q-SpiNN减少了约10%的内存。2x，同时将精度保持在DVS-Gesture数据集上基线的2%以内。
2021-07-05 cs.AR cs.LG cs.NE
Why Does Stochastic Gradient Descent Slow Down in Low-Precision Training?
University of Southern California（南加州大学）；MODULABS
本文研究了低精度训练中随机梯度下降收敛变慢的原因，揭示了梯度缩放对步长的影响及量化带来的误差增加。
2026-01-08 cs.AI cs.IT cs.LG
Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence
The University of Iowa（爱荷华大学）；Texas A&M University（得克萨斯农工大学）
本文针对高度不平衡数据集的AUPRC优化问题，提出基于平均精确率最大化的随机算法SOAP，首次实现AUPRC的可证明收敛优化，并在图像和图数据集上验证了其优越性。
2023-04-12 cs.AI cs.CV cs.LG
On the role of synaptic stochasticity in training low-precision neural networks
Bocconi Institute for Data Science and Analytics, Bocconi University（博科尼大学博科尼数据科学与分析研究所）；Italian Institute for Genomic Medicine（意大利基因组医学研究所）；Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）；Politecnico di Torino（都灵理工大学）；Radboud University Nijmegen（内梅亨大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；International Centre for Theoretical Physics（国际理论物理中心）
神经网络模型中突触权重的随机性和有限精度是学习过程的生物和硬件建模的关键方面。在这里，我们表明，随机二进制权重的神经网络模型自然突出指数罕见的稠密区域的解决方案具有一些理想的属性，如鲁棒性和良好的泛化性能，而典型的解决方案是孤立的，很难找到。二进制的标准感知器问题的解决方案是从一个简单的梯度下降过程中获得的一组参数化的二进制突触的概率分布的实际值。分析和数值结果。还研究了一种旨在训练离散深度神经网络的算法扩展。
2018-03-20 cond-mat.dis-nn cs.LG cs.NE
Towards Stochastic Fault-tolerant Control using Precision Learning and Active Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）；Delft University of Technology（代尔夫特理工大学）
提出了一种基于主动推理的机器人感知故障容错控制方案。在大多数现有方案中，基于测量数据做出传感器是健康（功能）还是故障的二元判定。决策边界称为阈值，它通常是确定性的。在故障判定之后，通过排除故障传感器来获得故障恢复。我们提出了一种基于主动推理和精确学习的随机容错方案，该方案不需要先验阈值定义来触发故障恢复。相反，代表其健康状态的传感器精度以无模型的方式在线学习，允许系统逐渐而不是突然排除故障单元。机器人上的实验表明，有前途的结果和未来的工作方向进行了讨论。
2021-09-13 cs.LG cs.RO cs.SY
