On the influence of stochastic roundoff errors and their bias on the convergence of the gradient descent method with low-precision floating-point computation
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
当在低精度下实现梯度下降方法时，采用随机舍入方案有助于防止由消失梯度效应引起的收敛停滞。无偏随机舍入通过保留与其相对大小成比例的概率的小更新来产生零偏差。该研究为梯度下降法在低精度计算中的停滞现象提供了理论解释。此外，我们提出了两个新的随机舍入方案，以更大的概率交易零偏置属性，以保持小梯度。我们的方法产生一个恒定的舍入偏差，平均而言，在于下降的方向。对于凸问题，我们证明了所提出的舍入方法通常对梯度下降的收敛速度有有益的影响。我们验证了我们的理论分析，通过比较性能的各种舍入方案时，优化多项逻辑回归模型和训练一个简单的神经网络与8位浮点格式。
2023-02-25 cs.LG cs.NA math.NA
Stochastic rounding variance and probabilistic bounds: A new approach
本文提出基于方差计算与 Bienaymé-Chebyshev 不等式的随机舍入误差分析框架，可为内积和 Horner 多项式求值等算法提供更紧致的概率误差界。
2023-06-05 cs.NA math.NA
Mechanizing Olver's Error Arithmetic
Cornell University（康奈尔大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文机械化基于相对精度的浮点舍入误差模型，证明其构成真度量，建立与相对误差的转换规则，并以内积为例展示其有助于推导认证误差界。
2025-10-15 cs.NA math.NA
Polynomial approximations for the matrix logarithm with computation graphs
本文针对矩阵对数计算中矩阵乘法与左除法开销大的问题，提出基于计算图的高效多项式求值方案，并结合舍入误差与后向误差分析，实验表明其在时间与精度上均具竞争力。
2024-01-18 cs.NA math.NA
On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
本文证明在Polyak-Lojasiewicz条件下，有偏随机舍入误差可消除梯度消失并引导下降，且收敛速率上界优于无偏随机舍入，实验验证了理论。
2025-01-18 cs.LG cs.NA math.NA
Probabilistic Error Analysis of Limited-Precision Stochastic Rounding: Horner's Algorithm and Pairwise Summation
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；University of Leeds（利兹大学）；Université de Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）
本文研究有限精度随机取整在霍纳算法和成对求和中的误差分析，探讨精度与硬件成本的平衡，提供理论与实验结果。
2026-03-25 cs.NA math.NA
Effects of round-to-nearest and stochastic rounding in the numerical solution of the heat equation in low precision
受机器学习出现的推动，过去几年硬件支持的低精度计算已经回归。具有更少数字的计算速度更快，内存和能源效率更高，但极容易出现舍入错误。最近对低精度气候模拟的研究表明，一个可以从低精度计算的优势中获益的应用是偏微分方程的数值解。然而，需要仔细的实施和舍入误差分析，以确保仍然可以获得合理的结果。在本文中，我们研究的热方程，抛物型偏微分方程的代理，通过龙格-库塔有限差分法使用舍入到最近（RtN）和随机舍入（SR）的解决方案的舍入误差的积累。我们演示了如何实施该计划，以减少舍入误差，我们得到\emph{a priori}估计的本地和全球舍入误差。设$u$为单位圆。虽然最坏情况下的局部误差是相对于离散化参数（网格大小和时间步长）的$O(u)$，但RtN和SR误差行为基本不同。事实上，对于足够小的$Δt$，RtN解决方案总是停滞，直到停滞，全局误差像$O(uΔt^{-1})$一样增长。相比之下，我们表明，SR引入的前导阶误差是零均值的，在空间上是独立的，在时间上是均值独立的，使得SR对停滞和舍入误差积累有弹性。事实上，我们证明，SR的全球舍入误差只有$O(uΔt^{-1/4})$在1D和基本上有界（对数因子）在更高的维度。
2022-03-28 cs.NA cs.PF math.NA
Numerical Fuzz: A Type System for Rounding Error Analysis
本文提出函数式语言 $Λ_{num}$，通过线性类型与分级单子结合的类型系统定量界定浮点舍入误差，并开发原型实现，实现与现有工具相当且更快的自动化误差分析。
2025-04-08 cs.NA cs.PL math.NA
The joint bidiagonalization process with partial reorthogonalization
联合双对角化（JBD）过程是计算矩阵对广义奇异值分解（GSVD）的一种有效算法。然而，它总是遭受舍入误差，这导致Lanczos向量失去它们的相互正交性。为了保持一定程度的正交性，我们提出了一个半正交化策略。舍入误差分析表明，采用半正交化策略的JBD过程可以保证计算量的收敛性不受舍入误差的影响，最终精度足够高。在半正交化策略的基础上，提出了部分再正交化的联合双对角化过程（JBDPRO）。JBDPRO算法只在必要时进行重正交化，与完全重正交化策略相比，节省了大量的重正交化工作。数值实验验证了我们的理论和算法。
2021-01-07 cs.NA math.NA
A Probabilistic Approach to Floating-Point Arithmetic
高精度浮点运算必然会引入舍入误差，传统上使用最坏情况分析来限制舍入误差。然而，最坏情况分析可能过于保守，因为最坏情况错误在实践中可能非常罕见。在这里，我们开发了一个概率模型的舍入误差，它变得有可能估计的可能性，舍入误差的算法位于一个给定的区间内。给定一个输入分布，我们展示了如何计算舍入误差的分布。对于低精度的算术，我们这样做，对于高精度的算术，我们得到一个简单的近似。然后，该模型是完全组合的：给定一个用简单的命令式编程语言编写的数值程序，我们可以递归地计算每一步计算中的舍入误差分布，并将其传播到每个程序指令。这是通过应用最初由Kozen开发的形式主义来形式化概率程序的语义。然后，我们讨论了该模型的实现，并使用它来执行概率范围分析的一些基准。
2019-12-10 cs.NA cs.PL math.NA
Analyzing the effect of local rounding error propagation on the maximal attainable accuracy of the pipelined Conjugate Gradient method
University of Antwerp（安特卫普大学）；Istanbul Kemerburgaz University（伊斯坦布尔凯梅尔巴扎大学）；Inria Bordeaux - Sud-Ouest（法国国家信息与自动化研究所波尔多西南中心）
本文研究了流水线共轭梯度方法中局部舍入误差对最大可实现精度的影响，提出自动残差替换策略以提升精度并保持并行性能。
2017-11-29 cs.NA math.NA
Mixed-precision finite element kernels and assembly: Rounding error analysis and hardware acceleration
本文提出有限元单元核与组装的首个细粒度舍入误差分析，设计了独立于条件数等因素的硬件加速混合精度实现策略，并在Intel CPU上实现了AMX加速，速度较双精度提升60倍且精度优于全半精度。
2024-10-16 cs.AR cs.MS cs.NA
Function Approximation in Numerically Rank-Deficient Bases
KU Leuven（荷语鲁汶大学）
本文研究了在有限基下进行线性函数逼近的数值稳定性问题，提出数值跨度的概念并证明了正则化在逼近中的作用，同时探讨了正则化在随机采样中的应用及对函数离散化的影响。
2026-03-16 cs.NA math.NA
Algebraic error analysis for mixed-precision multigrid solvers
本文建立了第一个理论框架，分析舍入误差的多重网格方法使用混合精度迭代细化求解器的影响。虽然由离散线性椭圆偏微分方程产生的稀疏对称正定（SPD）矩阵方程激发，但该框架是纯代数的，因此它适用于不一定来自连续统的矩阵。基于所谓的能量或$A$范数，这是自然规范的许多问题，涉及SPD矩阵，我们提供了一个规范的向前误差分析，并介绍了渐进精度的多重网格求解器的概念。多重网格层次结构的每一级都使用三种不同的精度，每一种精度都随着级别的精细度而增加，但以不同的速率增加，从而确保大部分计算使用尽可能低的精度。在这里开发的理论结果的能量规范显着不同，从以前的理论基础上的欧几里德规范的重要方式。特别是，我们表明，简单地四舍五入一个确切的结果，有限的精度会导致错误的能量范数，是成比例的平方根的$κ$，相关的矩阵条件数。(By相反，当以欧几里德范数测量时，该误差为$1$阶。）鉴于这一观察，我们表明，V-周期和完整的多重网格的限制精度是最佳的意义上说，它也是成比例的$κ^{1/2}$的能量。此外，我们表明，由于四舍五入的收敛速度的损失成比例增长的$κ^{1/2}$，但认为这种损失是微不足道的，在实践中。本文的理论是第一次在迭代加密能量范数下的向前误差分析，也是第一次一般意义上的多重网格舍入误差分析。
2020-07-13 cs.NA math.NA
The limits of quantum circuit simulation with low precision arithmetic
研究了薛定谔公式和低精度算法模拟量子线路的局限性。目标是估计在涉及随机的、最大纠缠的量子态的模拟中可以节省多少内存。为每个量子幅度定义了$B$位的算术极坐标表示，并开发了归一化过程以最小化舍入误差。然后建立了一个模型来量化$Q$量子位和$G$门电路上的累积误差。取决于该制度的电路操作，该模型产生明确的表达式，可以模拟舍入误差之前，占主导地位的计算的最大数量的有效门。结果与随机电路和量子傅里叶变换说明。
2020-07-27 cs.NA math.NA quant-ph
Running error bounds in finite element kernels
University of Luxembourg（卢森堡大学）；Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque（伊克拉巴斯科基金会）；University of the Basque Country（巴斯克大学）
本文提出首个基于运行误差分析的有限元内核自动化舍入误差估计框架，并开源实现，可检测灾难性抵消，性能开销仅2-4倍，适用于低精度计算与PDE调试。
2026-09-30 cs.MS cs.NA math.NA
Interval Enclosures of Upper Bounds of Roundoff Errors using Semidefinite Programming
CNRS Verimag（法国国家科学研究中心维拉格实验室）
本文提出一种基于半定规划的框架，用于计算特定舍入模型下程序输出误差的最大绝对舍入误差下界，结合上下界框架提供误差包络。
2018-02-10 cs.NA math.NA math.OC
Verified eigenvalue and eigenvector computations using complex moments and the Rayleigh$\unicode{x2013}$Ritz procedure for generalized Hermitian eigenvalue problems
提出了一种计算广义厄米特本征值问题区域内本征值及相应本征向量的方法。该方法利用复数矩从随机矩阵中提取感兴趣的特征分量，并利用Rayleigh $\unicode{x2013}$ Ritz过程将给定的本征值问题投影为约化的本征值问题。复矩由围道积分给出，并使用数值积分进行近似。我们将复矩中的误差分成正交的截断误差和舍入误差，并对每一个进行评估。这种误差评估的思想继承了我们以前的汉克尔矩阵方法，而所提出的方法使验证的特征向量，并需要一半的正交点的数量为以前的方法，以减少相同的顺序的截断误差。此外，Rayleigh $\unicode{x2013}$ Ritz过程方法形成能够验证特征向量的变换矩阵。数值实验表明，该方法是比以前的方法更快，同时保持验证性能和工程几乎奇异矩阵束和存在多个和几乎多个特征值。
2022-10-25 cs.NA math.NA
FPScan: An Automated Constraint-Based Analyzer for Floating-Point Anomaly Detection
Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（ENAC ISAE-SUPAERO ONERA 联合会，图卢兹大学）
FPScan是一种基于约束的自动化分析工具，通过静态分析和SMT求解，检测浮点程序中的灾难性抵消与吸收异常，并在FPBench基准上验证了有效性。
2026-09-09 cs.NA cs.SE math.NA
