Bounds on non-linear errors for variance computation with stochastic rounding
研究方差计算算法中使用随机舍入的非线性误差和成对求和，通过方差界限结合不等式及鞅方法证明SR能将前向误差从确定性界限改善为更优的概率界限。
2024-10-16 cs.NA math.NA
Mechanizing Olver's Error Arithmetic
本文机械化基于相对精度的浮点舍入误差模型，证明其构成真度量，建立与相对误差的转换规则，并以内积为例展示其有助于推导认证误差界。
2025-10-15 cs.NA math.NA
Effects of round-to-nearest and stochastic rounding in the numerical solution of the heat equation in low precision
受机器学习出现的推动，过去几年硬件支持的低精度计算已经回归。具有更少数字的计算速度更快，内存和能源效率更高，但极容易出现舍入错误。最近对低精度气候模拟的研究表明，一个可以从低精度计算的优势中获益的应用是偏微分方程的数值解。然而，需要仔细的实施和舍入误差分析，以确保仍然可以获得合理的结果。在本文中，我们研究的热方程，抛物型偏微分方程的代理，通过龙格-库塔有限差分法使用舍入到最近（RtN）和随机舍入（SR）的解决方案的舍入误差的积累。我们演示了如何实施该计划，以减少舍入误差，我们得到\emph{a priori}估计的本地和全球舍入误差。设$u$为单位圆。虽然最坏情况下的局部误差是相对于离散化参数（网格大小和时间步长）的$O(u)$，但RtN和SR误差行为基本不同。事实上，对于足够小的$Δt$，RtN解决方案总是停滞，直到停滞，全局误差像$O(uΔt^{-1})$一样增长。相比之下，我们表明，SR引入的前导阶误差是零均值的，在空间上是独立的，在时间上是均值独立的，使得SR对停滞和舍入误差积累有弹性。事实上，我们证明，SR的全球舍入误差只有$O(uΔt^{-1/4})$在1D和基本上有界（对数因子）在更高的维度。
2022-03-28 cs.NA cs.PF math.NA
Approximate rational arithmetics and arbitrary precision computations
本文提出一种用户可控误差的近似有理算术，基于连分数展开进行舍入，并通过实验比较不同算术与舍入方法的效率与精度。
2001-01-18 cs.NA math.NA
On Stochastic Rounding with Few Random Bits
Graphcore Cambridge, UK（Graphcore剑桥）
本文研究了少位随机舍入（FBSR）的多种实现方式，发现部分自然实现会引入显著偏差，并探讨了这些偏差在机器学习中的影响，为低精度浮点计算提供了配置参数参考。
2025-04-29 cs.AI cs.LG cs.MS
Stochastic Rounding 2.0, with a View towards Complexity Analysis
本文探讨了Stochastic Rounding（SR）作为一种概率舍入模式在大规模计算和低精度算术中的有效性，其通过促进误差抵消减缓误差增长，并主张将其作为算法复杂度分析的基础工具，同时提出了多个研究方向。
2024-10-14 cs.DS cs.NA math.NA
On the influence of stochastic roundoff errors and their bias on the convergence of the gradient descent method with low-precision floating-point computation
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
当在低精度下实现梯度下降方法时，采用随机舍入方案有助于防止由消失梯度效应引起的收敛停滞。无偏随机舍入通过保留与其相对大小成比例的概率的小更新来产生零偏差。该研究为梯度下降法在低精度计算中的停滞现象提供了理论解释。此外，我们提出了两个新的随机舍入方案，以更大的概率交易零偏置属性，以保持小梯度。我们的方法产生一个恒定的舍入偏差，平均而言，在于下降的方向。对于凸问题，我们证明了所提出的舍入方法通常对梯度下降的收敛速度有有益的影响。我们验证了我们的理论分析，通过比较性能的各种舍入方案时，优化多项逻辑回归模型和训练一个简单的神经网络与8位浮点格式。
2023-02-25 cs.LG cs.NA math.NA
What is New in Stochastic Rounding: a Survey on Theory, Hardware, and Applications
Sorbonne University, CNRS, LIP6（索邦大学）；University of Leeds（利兹大学）；Université de Rennes, Inria, CNRS, IRISA（雷恩大学）
本文综述随机舍入（SR），其在长度\(n\)求和中最坏情况误差以\(\sqrt{n}\)增长，优于标准舍入模式。介绍了SR的新研究进展，重点探讨有限精度随机舍入，为其在硬件中更广泛应用提供方向。
2026-07-07 cs.NA math.NA
Mixed-precision finite element kernels and assembly: Rounding error analysis and hardware acceleration
本文提出有限元单元核与组装的首个细粒度舍入误差分析，设计了独立于条件数等因素的硬件加速混合精度实现策略，并在Intel CPU上实现了AMX加速，速度较双精度提升60倍且精度优于全半精度。
2024-10-16 cs.AR cs.MS cs.NA
Improved stochastic rounding
Eindhoven University of Technology（埃因霍温理工大学）
由于浮点或定点运算中的位数有限，舍入是许多计算中的必要步骤。虽然舍入方法可以针对不同的应用进行调整，但舍入误差通常是不可避免的。当执行一系列计算时，可能会放大或累积舍入误差。舍入误差的放大可能导致严重的故障。随机舍入（SR）是一种无偏舍入方法，广泛应用于神经网络（NN）训练等领域，即使在低精度计算中也有良好的训练效果。尽管在训练神经网络中使用随机共振的情况不断增加，但随机共振的误差分析仍有待改进。此外，SR的无偏舍入结果总是伴随着大的方差。在这项研究中，SR的一些一般性质的陈述和证明。此外，引入并验证了舍入方差的上界。通过求解多目标最优化问题，提出了两种新的随机共振的概率分布，研究了方差和偏差之间的权衡。在仿真研究中，研究了在特定舍入精度下，求和、牛顿迭代平方根计算和内积计算等不同操作下SR的舍入方差、偏差和相对误差。
2020-05-31 cs.LG cs.NA math.NA
Algebraic error analysis for mixed-precision multigrid solvers
本文建立了第一个理论框架，分析舍入误差的多重网格方法使用混合精度迭代细化求解器的影响。虽然由离散线性椭圆偏微分方程产生的稀疏对称正定（SPD）矩阵方程激发，但该框架是纯代数的，因此它适用于不一定来自连续统的矩阵。基于所谓的能量或$A$范数，这是自然规范的许多问题，涉及SPD矩阵，我们提供了一个规范的向前误差分析，并介绍了渐进精度的多重网格求解器的概念。多重网格层次结构的每一级都使用三种不同的精度，每一种精度都随着级别的精细度而增加，但以不同的速率增加，从而确保大部分计算使用尽可能低的精度。在这里开发的理论结果的能量规范显着不同，从以前的理论基础上的欧几里德规范的重要方式。特别是，我们表明，简单地四舍五入一个确切的结果，有限的精度会导致错误的能量范数，是成比例的平方根的$κ$，相关的矩阵条件数。(By相反，当以欧几里德范数测量时，该误差为$1$阶。）鉴于这一观察，我们表明，V-周期和完整的多重网格的限制精度是最佳的意义上说，它也是成比例的$κ^{1/2}$的能量。此外，我们表明，由于四舍五入的收敛速度的损失成比例增长的$κ^{1/2}$，但认为这种损失是微不足道的，在实践中。本文的理论是第一次在迭代加密能量范数下的向前误差分析，也是第一次一般意义上的多重网格舍入误差分析。
2020-07-13 cs.NA math.NA
Precision Arithmetic: A New Floating-Point Arithmetic
本文提出一种新的确定性浮点算术——精确算术，通过新颖舍入方案和基于统计的误差跟踪，在正常使用中比区间算术更紧地跟踪和界定不确定性。
2014-04-12 cs.DM cs.DS cs.NA
On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
本文证明在Polyak-Lojasiewicz条件下，有偏随机舍入误差可消除梯度消失并引导下降，且收敛速率上界优于无偏随机舍入，实验验证了理论。
2025-01-18 cs.LG cs.NA math.NA
A mixed precision preconditioned Jacobi method for the symmetric eigenvalue problem
针对对称特征值问题，提出混合精度预条件雅可比方法，结合低精度特征分解与高精度正交化生成初始猜测，完成误差分析并拓展至奇异值问题，实验验证其效率优于原始雅可比方法。
2025-02-24 cs.NA math.NA
The Influence of the Cluster Point on Rounding Errors and Sensitivity in the Spectral Limited-Memory Preconditioner
Eindhoven University of Technology（埃因霍温理工大学）
本文研究谱有限记忆预条件器中簇点选择对舍入误差和敏感性的影响，提出加权中位数和加权算术平均最小化误差界，并强调有限精度下需综合考虑收敛、误差和谱信息不准确性。
2026-09-24 cs.NA math.NA
Rounding-Error Analysis of Multigrid V-Cycles
本文基于浮点运算分析了在粗化前后各执行一次松弛步的两重网格方法的舍入误差，该理论可推广至一般的 $V(μ,ν)$-cycles、full multigrid (FMG) 及混合精度迭代求精 (IR)，且推导方式更简洁透明。
2023-07-01 cs.NA math.NA
Function Approximation in Numerically Rank-Deficient Bases
KU Leuven（荷语鲁汶大学）
本文研究了在有限基下进行线性函数逼近的数值稳定性问题，提出数值跨度的概念并证明了正则化在逼近中的作用，同时探讨了正则化在随机采样中的应用及对函数离散化的影响。
2026-03-16 cs.NA math.NA
Finite-Precision Symmetric Krylov Methods: Exact Rounding Examples, Block Paige Identities,and a Variable-Block Lanczos Model
本文研究有限精度下对称 Krylov 方法的数值分歧，通过精确舍入示例和块 Paige 恒等式，提出变块 Lanczos 模型，并给出精度界和收敛性分析。
2026-09-09 cs.NA math.NA
The limits of quantum circuit simulation with low precision arithmetic
研究了薛定谔公式和低精度算法模拟量子线路的局限性。目标是估计在涉及随机的、最大纠缠的量子态的模拟中可以节省多少内存。为每个量子幅度定义了$B$位的算术极坐标表示，并开发了归一化过程以最小化舍入误差。然后建立了一个模型来量化$Q$量子位和$G$门电路上的累积误差。取决于该制度的电路操作，该模型产生明确的表达式，可以模拟舍入误差之前，占主导地位的计算的最大数量的有效门。结果与随机电路和量子傅里叶变换说明。
2020-07-27 cs.NA math.NA quant-ph
A quantitative investigation into the accumulation of rounding errors in the numerical solution of ODEs
通过理论分析和数值实验，研究了确定性ODE求解器中舍入误差的随机性积累及其对长期解发散行为的影响。
2005-12-15 cs.NA math.NA math.PR
Satire: Computing Rigorous Bounds for Floating-Point Rounding Error in Mixed-Precision Loop-Free Programs
本文提出工具Satire，通过抽象引导优化和全局误差分析，为含条件语句与混合精度算术的无循环程序计算严格浮点舍入误差界限，并展示其在共轭梯度求解器设计中的应用。
2025-03-07 cs.NA cs.PL cs.SC
Training with Fewer Bits: Unlocking Edge LLMs Training with Stochastic Rounding
Department of Electrical and Electronic Engineering（电子与电气工程系）
本文理论与实证研究了随机舍入在量化 LLM 训练中的作用，发现增大 batch size 可补偿反向传播中的精度降低，且权重与激活量化对梯度方差影响不同，为边缘 LLMs 训练提供依据。
2025-11-02 cs.LG cs.NA math.NA
On the robustness of double-word addition algorithms
该研究证明QD库中的双字加法算法在输入适度重叠时仍有稳定误差界，可简化双字乘加运算步骤以近翻倍提升性能且精度损失极小，还验证了其在有向舍入下的特性及与Sterbenz引理的关联，表明算法鲁棒性优于此前认知。
2024-04-10 cs.NA math.NA
Stochastic Rounding Increases Small Singular Values
Department of Computer Science, Purdue University（计算机科学系，普渡大学）；Department of Mathematics, University of Alberta（数学系，阿尔伯塔大学）
本文证明随机舍入作为低精度浮点运算的量化方案，不仅对极端长宽比矩阵，而且对恒定长宽比矩阵都能提升尾部奇异值簇，从而更广泛地发挥谱正则化作用。
2026-05-29 cs.LG cs.NA math.NA
Precision-aware Deterministic and Probabilistic Error Bounds for Floating Point Summation
我们分析了实数的浮点求和中的前向误差，用于低精度或极端规模问题维度中的计算，这些问题维度推动了精度的极限。我们提出了一个系统的计算树上的鞅的递归，这导致明确的和可解释的界限没有渐近大O项。两个概率参数加强了我们的边界的精度意识：一个参数控制求和误差中的一阶项，而第二个参数用于控制低精度或极端规模问题维度中的高阶项。我们的系统方法产生新的确定性和概率误差界三类单精度算法：一般求和，移位一般求和，补偿（顺序）求和。扩展我们的系统误差分析混合精度求和算法，允许任何数量的精度产生的混合精度FABsum算法的第一个概率界。数值实验表明，概率界是准确的，并在三类单精度算法中，补偿求和一般是最准确的。至于混合精度算法，我们的建议是最大限度地减少中间部分和相对于精度，他们计算的幅度。
2022-03-29 cs.NA math.NA
A mixed precision LOBPCG algorithm
本文提出混合精度LOBPCG算法，利用低精度Cholesky分解作为预条件子并结合混合精度正交化，理论分析与实验表明收敛性几乎不受影响，在CPU和GPU上计算时间可减少1.4至2.0倍。
2023-02-24 cs.NA math.NA
Probabilistic Error Analysis For Sequential Summation of Real Floating Point Numbers
通过将舍入表示为独立的、零均值的、有界的随机变量，我们得到了$n$实数浮点求和中相对前向误差的两个概率界。第一个概率界是基于Azuma的浓度不等式，第二个是基于Azuma-Hoeffding鞅。我们的数值实验表明，概率界，与严格的故障概率$10^{-16}$，可以是1-2个数量级比确定性界限紧。我们在Julia中进行了数值实验，将$n=10^7$单精度（二进制32）浮点数和$n=10^4$半精度（二进制16）浮点数相加。我们模拟了双精度的精确计算（binary 64）。当所有的被加数都有相同的符号时，边界趋于更紧。
2021-05-28 cs.NA math.NA
Numerical Calculation With Arbitrary Precision
Universidade do Estado do Rio de Janeiro（里约热内卢州立大学）
针对计算机有限精度导致截断和舍入误差的问题，开发了一个提供任意精度数值和计算的软件包，以最小化此类误差。
2007-07-11 cs.MS cs.NA math.NA
ProbLP: A framework for low-precision probabilistic inference
KU Leuven（鲁汶大学）；MICAS；DTAI
贝叶斯推理是智能边缘设备中概率推理的一种强大机制。在这样的推断期间，低精度算术表示可以实现改进的能量效率。然而，其对推理准确性的影响尚未被理解。此外，通用硬件本身不支持低精度表示。为了解决这个问题，我们提出了ProbLP，这是一个自动分析和设计低精度概率推理硬件的框架。它会根据最坏情况下的误差范围和硬件能量模型自动选择适当的节能表示。它为所产生的推理网络生成定制硬件，利用并行，流水线和低精度操作。该框架在几个嵌入式传感基准上进行了验证。
2021-02-27 cs.AR cs.LG cs.NA
Computing accurate eigenvalues using a mixed-precision Jacobi algorithm
University of Manchester（曼彻斯特大学）
本文提出了一种混合精度Jacobi算法，通过低精度预处理和高精度计算提高特征值计算的精度，并验证了其有效性。
2025-08-18 cs.NA math.NA
Running error bounds in finite element kernels
University of Luxembourg（卢森堡大学）；Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque（伊克拉巴斯科基金会）；University of the Basque Country（巴斯克大学）
本文提出首个基于运行误差分析的有限元内核自动化舍入误差估计框架，并开源实现，可检测灾难性抵消，性能开销仅2-4倍，适用于低精度计算与PDE调试。
2026-09-30 cs.MS cs.NA math.NA
Mixed-Precision Paterson--Stockmeyer Method for Evaluating Polynomials of Matrices
本文提出混合精度 Paterson–Stockmeyer 矩阵多项式求值方法，通过以低精度处理小幅值数据降低高精度计算成本，并验证其在矩阵指数、余弦等逼近中的效率与精度。
2024-12-05 cs.NA math.NA
Easy Accurate Reading and Writing of Floating-Point Numbers
Digilant
本文提出简化转换十进制科学记数法与二进制IEEE 754双精度浮点数的算法，通过舍入整数商操作提升稳定性与效率，减少转换所需 mantissa 位数。
2018-08-07 cs.NA math.NA
Computing Integer Powers in Floating-Point Arithmetic
SDU, Odense, Denmark（欧登塞南丹麦大学）；Laboratoire LIP, CNRS/ENS Lyon/INRIA/Univ. Lyon 1, Lyon, France（里昂第一大学/法国国家科学研究中心/法国高等师范学院/法国国家信息与自动化研究所LIP实验室）
针对浮点算术中正整数幂的精确计算，提出两种利用融合乘加（FMA）指令的算法，实现忠实舍入，并探讨在扩展精度下获得正确舍入结果的可能性。
2007-05-30 cs.MS cs.NA math.NA
Single-pass Nyström approximation in mixed precision
该研究针对半正定矩阵的单遍Nyström低秩逼近问题，开展双精度舍入误差分析，提出低精度选择启发式方法，还可构建共轭梯度法的低成本预处理器，数值实验验证了混合精度方法的实用性。
2023-07-21 cs.NA math.NA
A Rigorous Extension of the Schönhage-Strassen Integer Multiplication Algorithm Using Complex Interval Arithmetic
University of Canterbury（坎特伯雷大学）
针对Schönhage-Strassen算法在浮点硬件上的舍入误差问题，提出使用区间算术保证结果正确性并确定硬件极限，实验表明双精度可处理75000位256进制整数。
2010-06-02 cs.CR cs.DS cs.NA
Mixed-precision algorithms for solving the Sylvester matrix equation
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）；University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）；Max Planck Institute for Dynamics of Complex Technical Systems（马普复杂技术系统动力学研究所）
本文提出混合精度算法求解 Sylvester 方程，通过迭代精化方案和 Schur 分解降低精度，提升计算效率与准确性。
2026-03-26 cs.NA math.NA
Deterministic and Probabilistic Error Bounds for Floating Point Summation Algorithms
我们分析了前向误差的浮点求和的实数，从算法，不需要诉诸更高的精度或更好的硬件。我们推导出翔实的显式表达式，和新的确定性和概率界的错误三类算法：一般求和，移位一般求和，补偿（顺序）求和。我们的概率界一般和移位一般求和举行的所有订单。对于补偿求和，我们还提出了确定性和概率的一阶和二阶界限，与一阶界限，不同于现有的。数值实验表明，边界是信息和三个算法类，补偿求和一般是最准确的方法。
2021-07-04 cs.NA math.NA
FPScan: An Automated Constraint-Based Analyzer for Floating-Point Anomaly Detection
Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（ENAC ISAE-SUPAERO ONERA 联合会，图卢兹大学）
FPScan是一种基于约束的自动化分析工具，通过静态分析和SMT求解，检测浮点程序中的灾难性抵消与吸收异常，并在FPBench基准上验证了有效性。
2026-09-09 cs.NA cs.SE math.NA
Numerical Errors in Quantitative System Analysis With Decision Diagrams
本文研究多终端二元决策图（MTBDD）中矩阵-向量乘法的数值稳定性，证明在特定条件下可数值稳定，并通过量子电路模拟案例展示实际误差差异。
2025-06-20 cs.CE cs.NA math.NA
