Assessing the Performance of Mixed-Precision ILU(0)-Preconditioned Multiple-Precision Real and Complex Krylov Subspace Methods
本文实现双精度和多精度ILU(0)预条件器,与乘积型Krylov子空间方法兼容,并评估其性能,以解决舍入误差和收敛问题。
2025-04-20 cs.NA math.NA
On Stochastic Rounding with Few Random Bits
Graphcore Cambridge, UK(Graphcore剑桥)
本文研究了少位随机舍入(FBSR)的多种实现方式,发现部分自然实现会引入显著偏差,并探讨了这些偏差在机器学习中的影响,为低精度浮点计算提供了配置参数参考。
2025-04-29 cs.AI cs.LG cs.MS
Stability Analysis and Performance Evaluation of Mixed-Precision Runge-Kutta Methods
在4中提出并分析了用于在混合精度计算中保持高精度解的加性龙格-库塔法。这些专门设计的方法使用隐式计算的降低精度和显式计算的全精度。在这项工作中,我们分析了这些方法的稳定性和它们对低精度舍入误差的敏感性,并证明了它们在精度和效率方面的性能。我们开发了FORTRAN和Julia语言的代码,使用混合精度可加性龙格-库塔(MP-ARK)方法求解常微分方程和偏微分方程的非线性系统。这些方法的收敛性,准确性,运行时,和能源消耗进行了探讨。我们表明,对于一个给定的精度水平,适当选择MP-ARK方法可以提供显着减少运行时。
2022-12-22 cs.NA math.NA
A mixed precision LOBPCG algorithm
本文提出混合精度LOBPCG算法,利用低精度Cholesky分解作为预条件子并结合混合精度正交化,理论分析与实验表明收敛性几乎不受影响,在CPU和GPU上计算时间可减少1.4至2.0倍。
2023-02-24 cs.NA math.NA
Parameter optimization for restarted mixed precision iterative sparse solver
Novosibirsk State University(新西伯利亚国立大学)
本文研究了共轭梯度法在稀疏线性系统中的最优精度切换问题,通过分析矩阵参数预测误差增长,提出基于k近邻分类的优化策略,降低计算复杂度17%以上。
2026-08-30 cs.NA math.NA
Mixed-precision iterative refinement for low-rank Lyapunov equations
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
本文提出一种混合精度迭代精炼框架,用于求解低秩李雅普诺夫矩阵方程,通过误差分析确定不同精度设置下的残差条件,展示如何选择算法参数以提高求解效率。
2026-11-03 cs.NA math.NA
Computing accurate eigenvalues using a mixed-precision Jacobi algorithm
University of Manchester(曼彻斯特大学)
本文提出了一种混合精度Jacobi算法,通过低精度预处理和高精度计算提高特征值计算的精度,并验证了其有效性。
2025-08-18 cs.NA math.NA
Mixed-Precision Paterson--Stockmeyer Method for Evaluating Polynomials of Matrices
本文提出混合精度 Paterson–Stockmeyer 矩阵多项式求值方法,通过以低精度处理小幅值数据降低高精度计算成本,并验证其在矩阵指数、余弦等逼近中的效率与精度。
2024-12-05 cs.NA math.NA
Single-pass Nyström approximation in mixed precision
该研究针对半正定矩阵的单遍Nyström低秩逼近问题,开展双精度舍入误差分析,提出低精度选择启发式方法,还可构建共轭梯度法的低成本预处理器,数值实验验证了混合精度方法的实用性。
2023-07-21 cs.NA math.NA
Newton-Based Mixed Precision Iterative Refinement for Large-Scale Sparse Continuous-Time Algebraic Riccati Equations
Key Laboratory of Intelligent Computing and Information Processing of Ministry of Education, Hunan Key Laboratory for Computation and Simulation in Science and Engineering, School of Mathematics and Computational Science, Xiangtan University(湘潭大学数学与计算科学学院)
针对大规模稀疏连续时间代数黎卡提方程,提出基于牛顿法的混合精度迭代细化框架,通过特定因子分解程序和误差分析,结合ADI实现,减少计算量,数值实验显示其在精度相同情况下比全双精度更快。
2026-07-17 cs.NA math.NA
Mixed-Precision Lloyd's Algorithm for k-means Clustering
Charles University(查理大学);Sorbonne Université, CNRS(索邦大学,法国国家科学研究中心);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
针对现代硬件上低精度和混合精度算术的日益普及,提出混合精度的Lloyd算法变体用于k-means聚类,通过舍入误差分析指导的欧氏距离计算核,在保证精度和收敛性的同时显著提升性能。
2026-11-17 cs.NA math.NA
LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models
Faculty of Mathematics University of Vienna(维也纳大学数学系);Huawei Technologies(华为技术)
本文提出了一种前瞻性混合精度推理方法,通过选择性提高部分组件的计算精度,提升Transformer推理的准确性,实验证明在GPT-2模型上精度提升达两个数量级。
2026-11-06 cs.LG cs.NA math.NA
Running error bounds in finite element kernels
University of Luxembourg(卢森堡大学);Basque Center for Applied Mathematics(巴斯克应用数学中心);Ikerbasque(伊克拉巴斯科基金会);University of the Basque Country(巴斯克大学)
本文提出首个基于运行误差分析的有限元内核自动化舍入误差估计框架,并开源实现,可检测灾难性抵消,性能开销仅2-4倍,适用于低精度计算与PDE调试。
2026-09-30 cs.MS cs.NA math.NA
Mixed-precision algorithms for solving the Sylvester matrix equation
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);University of Leeds(利兹大学);University of Manchester(曼彻斯特大学);Max Planck Institute for Dynamics of Complex Technical Systems(马普复杂技术系统动力学研究所)
本文提出混合精度算法求解 Sylvester 方程,通过迭代精化方案和 Schur 分解降低精度,提升计算效率与准确性。
2026-03-26 cs.NA math.NA
Hybrid hierarchical matrices with adaptive mixed precision storage
Department of Numerical Mathematics, Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院数值数学系)
本文提出混合层次矩阵框架$\mathcal{H}_h$,通过混合适应条件实现自适应混合精度存储,降低存储成本并保持精度。
2026-04-10 cs.NA math.NA
Mixed Precision General Alternating-Direction Implicit Method for Solving Large Sparse Linear Systems
Xiangtan University(湘潭大学);Academy of Mathematics and Systems Science, CAS(中国科学院数学与系统科学研究院)
本文提出了一种混合精度GADI方法,通过低精度求解子系统和高精度计算残差,提高求解大规模稀疏线性系统效率。
2025-12-30 cs.NA math.NA
Simulation of Custom-Precision OCP MX Block Floating-Point Formats and Arithmetic
School of Computer Science, University of Leeds(利兹大学计算机学院)
介绍用于仿真OCP MX块浮点算法和格式 的MATLAB库MXsim v0.1,基于CPFloat构建,能定制指数等精度,通过简单接口供混合精度算法开发社区实验,还可探索不同设置对混合精度数值算法的影响。
2026-07-15 cs.MS cs.NA math.NA
Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs
Department of Computer Science, Wake Forest University(沃杰福大学计算机科学系);Department of Computer Science, Cornell University(康奈尔大学计算机科学系)
提出混合精度通信避免SGD(CA-SGD),通过分析有限精度误差将精度选择分解为九个独立部分,在NVIDIA GPU上实现5.1-6.8倍加速,且损失与FP32 SGD匹配。
2026-06-18 cs.DC cs.LG cs.NA
An SMT Formalization of Mixed-Precision Matrix Multiplication: Modeling Three Generations of Tensor Cores
该研究提出针对Nvidia三代GPU Tensor Core的SMT形式化模型,明确其行为关键特性,自动生成测试输入验证差异,修正此前认知,并分析发现某款半精度加速单精度乘法的新算法在特定输入下精度更低。
2025-02-21 cs.AR cs.NA math.NA
Analysis of RCLUPPr: stability, robustness and acceleration
Huawei Leibniz Research Center(华为莱布尼茨研究中心);The Chinese University of Hong Kong(香港中文大学)
研究提出 RCLUPPr 算法,它是一种新型随机化 CholeskyQR 型算法,先将 LUPP 分解作为预处理步骤,减少误差传播。分析表明其对病态矩阵适用性优,混合精度运算稳定准确,还提出加速策略,数值实验证实了算法的有效性。
2026-09-14 cs.NA math.NA
V-ABFT: Variance-Based Adaptive Threshold for Fault-Tolerant Matrix Multiplication in Mixed-Precision Deep Learning
Peking University(北京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
V-ABFT通过基于方差的自适应阈值算法,提升了混合精度深度学习中矩阵乘法的容错性能,实现更精确的误差检测和更低的阈值与误差比。
2026-02-08 cs.AI cs.LG cs.NA
Numerical stability analysis of large language models
Faculty of Mathematics(数学系);University of Vienna(维也纳大学);Huawei Technologies(华为技术)
本文通过混合精度分析推导Transformer推理的条件数和前向误差界,比较LayerNorm与RMSNorm在极端异常值下的稳定性,并量化注意力汇聚对扰动敏感性的影响,发现数值稳定性由权重幅度与残差流增长共同决定。
2026-06-23 cs.LG cs.NA math.NA
pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks
Department of Numerical Mathematics, Charles University(数值数学系,查尔斯大学);LIP6, Sorbonne Université, CNRS(LIP6,索邦大学,CNRS)
Pychop通过提供低精度算术模拟工具,支持神经网络和数值方法中的高效混合精度算法研究与应用。
2026-08-26 cs.LG cs.NA math.NA