Fast exact summation using small and large superaccumulators
University of Toronto(多伦多大学)
本文提出两种新方法,通过精确求和并正确四舍五入,提高浮点数求和精度,适用于数据均值计算。方法利用超累加器概念,通过小和大超累加器组合实现高效精确求和,比简单求和更快且结果一致。
2015-05-21 cs.DC cs.NA math.NA
Optimal Summation and Integration by Deterministic, Randomized, and Quantum Algorithms
本文综述了有限序列求和与Hölder或Sobolev空间函数积分的最优算法,并引入量子计算新视角,比较了确定性、随机化和量子三种设置下的算法性能。
2001-05-23 cs.NA math.NA quant-ph
Automatic Verification of Floating-Point Accumulation Networks
本文提出一种自动验证浮点累加网络(FPAN)正确性的程序,生成紧致误差界证明,并设计出更快更准的双倍双精度加法新FPAN。
2025-05-24 cs.LO cs.NA math.NA
Monotonicity of Multi-Term Floating-Point Adders
本文揭示了多项浮点加法器在不对中间量规格化时可能出现非单调性,并通过形式化证明和MATLAB仿真验证了该现象及其硬件设计成因。
2023-12-04 cs.AR cs.MS cs.NA
Bounds on non-linear errors for variance computation with stochastic rounding
研究方差计算算法中使用随机舍入的非线性误差和成对求和,通过方差界限结合不等式及鞅方法证明SR能将前向误差从确定性界限改善为更优的概率界限。
2024-10-16 cs.NA math.NA
Precision Arithmetic: A New Floating-Point Arithmetic
本文提出一种新的确定性浮点算术——精确算术,通过新颖舍入方案和基于统计的误差跟踪,在正常使用中比区间算术更紧地跟踪和界定不确定性。
2014-04-12 cs.DM cs.DS cs.NA
Revealing Floating-Point Accumulation Orders in Software/Hardware Implementations
针对软硬件浮点累加顺序未记录导致跨系统结果不一致的问题,提出诊断工具 FPRev,通过数值测试非侵入式揭示累加顺序,并在多种库和硬件上验证了其效率与低时间复杂度。
2025-07-01 cs.MS cs.NA cs.SE
Linear-Time Approximation Algorithms for Computing Numerical Summation with Provably Small Errors
本文针对浮点数集合求和问题,证明混合符号情况下达到最优误差是NP困难的,并提出首个线性时间近似算法,误差至多为最优的2倍,全同号时误差至多为对数对数倍。
2000-11-14 cs.DS cs.NA math.NA
On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication
Turilabs
本文实证检验了 GPU 矩阵乘法中浮点误差的 i.i.d. 高斯噪声假设,发现其具有高度相关性和方向性结构,预测翻转率为 0.00%,挑战了传统随机噪声观点。
2025-10-26 cs.LG cs.NA math.NA
Numerical Fuzz: A Type System for Rounding Error Analysis
本文提出函数式语言 $Λ_{num}$,通过线性类型与分级单子结合的类型系统定量界定浮点舍入误差,并开发原型实现,实现与现有工具相当且更快的自动化误差分析。
2025-04-08 cs.NA cs.PL math.NA
Deterministic complexity analysis of Hermitian eigenproblems
本文重新审视了厄米特特征值问题的复杂度,通过详细分析结合快速多极子法的分治三对角特征求解器,在实数RAM和有限精度模型下获得了优于经典算法的确定性算术与位复杂度界限。
2025-04-27 cs.DS cs.NA math.NA
Error attribution in gradient random walk methods for parabolic equations
Texas A&M University(德克萨斯农工大学)
该研究针对三类方程,分离梯度随机游走(GRW)方法精度的影响因素,明确误差来源,验证其收敛速率,并给出精度改进方案。
2026-10-01 cs.NA math.NA
The Positive Effects of Stochastic Rounding in Numerical Algorithms
最近,随机舍入(SR)已在专用硬件中实现,但大多数当前的计算节点还不支持这种舍入模式。一些工程经验说明随机舍入在各个领域,如神经网络和常微分方程的好处。对于求和、内积或矩阵向量乘等算法,SR提供的概率误差界优于传统的确定性误差界。在本文中,我们扩展了这一理论基础,更广泛地采用SR的计算机体系结构。首先,我们分析了两种SR模式的偏差:SR接近和SR向上或向下。我们证明了欧拉的前向方法的IEEE-754默认舍入模式和SR向上或向下的累积舍入误差的迭代和SR接近,是无偏的,没有一个案例研究。其次,我们证明了一个O($\sqrt$ n)概率界的霍纳多项式估计方法与SR的前向误差,改进了已知的确定性O(n)界。
2022-07-08 cs.NA math.NA
Error Analysis and Improving the Accuracy of Winograd Convolution for Deep Neural Networks
School of Computer Science and Statistics(计算机科学与统计学学院);Trinity College Dublin(都柏林三一学院);School of Mathematics(数学学院)
本文分析了Winograd卷积算法的误差,并提出改进方法以提高其精度,通过Huffman编码优化求和误差,实验选择采样点并探索混合精度卷积等方法以减少浮点误差。
2019-05-01 cs.LG cs.NA math.NA
Improved stochastic rounding
Eindhoven University of Technology(埃因霍温理工大学)
由于浮点或定点运算中的位数有限,舍入是许多计算中的必要步骤。虽然舍入方法可以针对不同的应用进行调整,但舍入误差通常是不可避免的。当执行一系列计算时,可能会放大或累积舍入误差。舍入误差的放大可能导致严重的故障。随机舍入(SR)是一种无偏舍入方法,广泛应用于神经网络(NN)训练等领域,即使在低精度计算中也有良好的训练效果。尽管在训练神经网络中使用随机共振的情况不断增加,但随机共振的误差分析仍有待改进。此外,SR的无偏舍入结果总是伴随着大的方差。在这项研究中,SR的一些一般性质的陈述和证明。此外,引入并验证了舍入方差的上界。通过求解多目标最优化问题,提出了两种新的随机共振的概率分布,研究了方差和偏差之间的权衡。在仿真研究中,研究了在特定舍入精度下,求和、牛顿迭代平方根计算和内积计算等不同操作下SR的舍入方差、偏差和相对误差。
2020-05-31 cs.LG cs.NA math.NA
A Second-Moment Theory for Floating-Point Reduction Trees
Oak Ridge National Laboratory(橡树岭国家实验室)
研究浮点归约树求和误差与部分和顺序的关系,推导精确MSE递推公式,用统计量表征最优拓扑和调度,通过扩展核到矩阵乘法进行测试,模型能恢复拓扑排序,但低精度和的问题限制了其适用性。
2026-07-22 cs.DC cs.IT cs.MS
Probabilistic error analysis of limited-precision stochastic rounding
本文针对有限精度随机舍入,提出新舍入模式并分析其概率误差,证明其有偏性随随机比特数变化,最终收敛于理想无偏SR算子,并通过数值实验验证。
2025-02-25 cs.NA math.NA
Stochastic rounding variance and probabilistic bounds: A new approach
本文提出基于方差计算与 Bienaymé-Chebyshev 不等式的随机舍入误差分析框架,可为内积和 Horner 多项式求值等算法提供更紧致的概率误差界。
2023-06-05 cs.NA math.NA
Solving Linear Systems in $\widetilde{O}(mn \log \fracκε)$ Bit Operations
MIT(麻省理工学院)
提出确定性算法,在 $\widetilde{O}(mn\log(\kappa/\epsilon))$ 比特运算内求解线性系统,对稀疏多项式条件系统达到 $\widetilde{O}(n^2)$ 时间,缩小了共轭梯度法理想与有限精度实现的差距。
2026-09-30 cs.CC cs.DS cs.NA