Structure of the polynomials in preconditioned BiCG algorithms and the switching direction of preconditioned systems
我们提出了一个定理,定义了双共轭梯度(BiCG)方法的预处理系统的方向,我们将其扩展到预处理双Lanczos型算法。我们表明,一个预处理系统的方向切换的建设和设置的初始阴影残留向量。我们分析和比较四个预条件的BiCG算法的多项式结构。
2020-01-24 cs.NA math.NA
A novel preconditioned conjugate gradient multigrid method for multi-material topology optimization
近年来,拓扑优化得到了充分的发展,许多研究人员集中在提高计算效率的计算数值算法,这种方法的计算。随着拓扑优化技术的发展,高性能计算(HPC)呈现出强大的动态机制,厂商、系统和架构不断出现和消失。预条件共轭梯度多重网格法(pCGMG)因其在求解大规模问题上的优势而成为高性能计算中最常用的方法。提出了应用高性能计算来减少计算时间负担的多材料拓扑优化问题的运行时间的思想。在多材料拓扑优化过程中,pCGMG用于求解由微分方程离散化而产生的线性方程。pCGMG是基于网格步长的,因此它对更大规模的问题是强大的。对于大型线性静态系统,最小柔度设计是在这项研究中评估。将pCGMG集成到MTO问题中进行高性能计算,并通过数值算例比较了不同网格步长下方壁结构的优化结果。
2023-01-18 cs.NA math.NA
Superiorization of Preconditioned Conjugate Gradient Algorithms for Tomographic Image Reconstruction
Institute of Mathematical Science and Computation, University of São Paulo(圣保罗大学数学科学与计算研究所);Department of Computer Science, The Graduate Center, City University of New York(纽约市立大学研究生院计算机科学系);School of Electrical Engineering, Southwest Jiaotong University(西南交通大学电气工程学院);Program in Electrical and Computer Engineering, Federal University of Technology(联邦技术大学电气与计算机工程项目)
本文研究了用于从投影中重建图像的优越化预条件共轭梯度算法的特性,提出通过优化二次标准(如总变分)来提升图像质量,实验表明该方法在短时间内可获得高质量重建结果。
2018-07-26 cs.NA math.NA math.OC
Sequential Preconditioned Conjugate Gradient Method for Linear Statistical Models
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
该研究针对大规模线性统计模型的普通最小二乘估计问题,提出顺序预条件共轭梯度法(SPCG)。它通过构建子问题、应用PCG并热启动,降低计算成本。建立收敛理论,数值实验显示SPCG比其他方法用更少迭代次数和时间达目标精度。
2026-07-29 cs.NA math.NA stat.ML
Forward and backward error bounds for a mixed precision preconditioned conjugate gradient algorithm
Charles University(查理大学)
研究求解大规模线性系统的混合精度预处理共轭梯度算法,给出能达到的向前和向后误差界,证明低精度应用预处理器不影响结果准确性,引入新分裂PCG变体并通过实验验证理论结果。
2026-07-22 cs.NA math.NA
A Nonlinearly Preconditioned Conjugate Gradient Algorithm for Rank-R Canonical Tensor Approximation
交替最小二乘(ALS)通常被认为是计算秩R正则张量近似的主力算法,但对于某些问题,它的收敛速度可能非常慢。非线性共轭梯度法(NCG)最近被提出作为ALS的替代,但结果表明,NCG通常不快于ALS。为了提高NCG的收敛速度,我们考虑了一种非线性预处理的非线性共轭梯度(PNCG)算法来计算秩R正则张量分解。我们的方法使用ALS作为NCG算法中的非线性预处理器。或者,NCG可以被视为ALS的加速过程。我们数值证明,PNCG的收敛加速机制往往会导致重要的回报困难的张量分解问题,收敛速度显着更快,更强大的比独立的NCG或ALS算法。我们考虑几种方法,将非线性预处理到NCG算法中,已经在文献中描述了以前,并在某些应用领域取得了成功。然而,似乎非线性预处理NCG方法在更广泛的社区中受到的关注相对较少,并且在理论和实验上都没有得到充分的探索。因此,本文提供了几个额外的功能,在一个地方提供了一个简明扼要的概述几个PNCG的变种和它们的属性,只有在几个地方分散在整个文献中描述,通过系统地比较这些PNCG变种的张量分解问题的性能,并提请进一步注意非线性预处理NCG作为一种通用工具的有用性。此外,我们简要讨论了PNCG算法的收敛性。
2014-07-19 cs.NA math.NA math.OC
Solving linear equations with messenger-field and conjugate gradients techniques - an application to CMB data analysis
INRIA Paris, Sorbonne Université, Univ Paris-Diderot SPC, CNRS, Laboratoire Jacques-Louis Lions(巴黎国家信息与自动化研究所,索邦大学,巴黎第七大学,法国国家科学研究中心,雅克-路易·利翁斯实验室);AstroParticule et Cosmologie, Univ Paris Diderot, CNRS/IN2P3, CEA/Irfu, Obs de Paris, Sorbonne Paris Cité(粒子天体物理学与宇宙学,巴黎第七大学,法国国家科学研究中心/法国国家核能与替代能源委员会,巴黎天文台,索邦巴黎城市)
本文比较了信息场方法与预条件共轭梯度方法在求解线性方程中的性能,指出预条件共轭梯度方法在迭代次数和求解时间上通常表现更优,并通过宇宙微波背景数据中的例子验证了这一结论,同时指出预条件共轭梯度方法的性能可能依赖于初始向量。
2018-10-22 astro-ph.CO cs.NA math.NA
Efficient spectral computation of the stationary states of rotating Bose-Einstein condensates by the preconditioned nonlinear conjugate gradient method
Université de Lorraine(洛林大学);Inria Nancy-Grand Est(法国国家信息与自动化研究院南锡-大东部中心);Inria Paris(法国国家信息与自动化研究院巴黎中心);Université Paris-Est, CERMICS (ENPC)(巴黎东大学,CERMICS(国立路桥学校));Laboratoire de Mathématiques Raphaël Salem, Université de Rouen(鲁昂大学拉斐尔·萨莱姆数学实验室)
本文提出一种结合谱空间离散化的预条件非线性共轭梯度法,用于计算旋转玻色-爱因斯坦凝聚体的基态,通过分析不同时间步长方案和预条件器选择,证明该方法在2D和3D快速旋转凝聚体中表现更优。
2016-11-07 cs.NA math.AP math.NA
Scalable s-step Preconditioned Conjugate Gradient with Chebyshev Basis and Gauss-Seidel Gram Solve
Institute for Applied Computing “Mauro Picone”, National Research Council of Italy(意大利国家研究委员会应用计算研究所(马乌罗·皮乔内));Lehigh University(利哈伊大学)
本文提出一种结合切比雪夫稳定Krylov基和前向高斯-塞德尔迭代的s步预条件共轭梯度法,通过分析切比雪夫格拉姆矩阵的结构,提升格拉姆系统的稳定性,减少同步开销,实现高效可扩展的求解方案。
2026-09-11 cs.NA math.NA
Generalized preconditioned conjugate gradients for adaptive FEM with optimal complexity
Sorbonne Université, Université Paris Cité, CNRS, Laboratoire Jacques-Louis Lions(索邦大学,巴黎 Cité 大学,法国国家科学研究中心,雅克-路易·利翁斯实验室);TU Wien, Institute of Analysis and Scientific Computing(维也纳工业大学,分析与科学计算研究所)
本文研究了自适应有限元方法中非精确代数求解器的最优复杂性,提出了一种通用预条件共轭梯度法,具有h-和p-鲁棒性,通过数值实验验证了其在自适应网格细化中的有效性。
2026-04-09 cs.NA math.NA
Preconditioned Conjugate Gradient methods for the estimation of General Linear Models
本文提出用预条件共轭梯度法求解一般线性模型的广义最小二乘估计,通过迭代OLS估计收敛至GLS,结合直接与迭代方法,适用于约束和结构化多元GLM,精度高且耗时少。
2025-10-16 cs.NA math.NA stat.CO
Nonsymmetric multigrid preconditioning for conjugate gradient methods
University of Colorado Denver(科罗拉多大学丹佛分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
研究在共轭梯度法中关闭几何多重网格后平滑(松弛)的可能性,通过数值实验证明在柔性PCG和LOBPCG中可避免后平滑以加速收敛,并提供理论依据。
2013-06-21 cs.NA math.NA
A Projected Preconditioned Conjugate Gradient Algorithm for Computing Many Extreme Eigenpairs of a Hermitian Matrix
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出一种迭代算法,用于计算大稀疏或结构化Hermitian矩阵A的不变子空间,该子空间对应于代数最小特征值。算法通过减少Rayleigh-Ritz计算次数提升效率,适用于高并发计算环境。
2015-02-27 cs.NA math.NA physics.comp-ph
Multiple right hand side multigrid for domain wall fermions with a multigrid preconditioned block conjugate gradient algorithm
提出面向畴壁费米子的多重网格预处理块共轭梯度多右端项算法,利用 batched GEMM 和 GPU 张量硬件降低粗网格代价,在 Frontier 上最高实现二十倍加速。
2024-09-05 cs.DC cs.NA hep-lat
Leveraging Operator Learning to Accelerate Convergence of the Preconditioned Conjugate Gradient Method
Toulouse-INP (ENSEEIHT)/IRIT(图卢兹INP(ENSEEIHT)/IRIT);Artificial and Natural Intelligence Toulouse Institute (ANITI)(人工智能与自然智能图卢兹研究所(ANITI));Division of Applied Mathematics, Brown University(应用数学系,布朗大学)
该研究提出基于DeepONet的新型收缩策略,通过两种互补方法构建收缩子空间并设计稀疏模式,加速参数化大规模线性方程组PCG法的收敛,经多类数值实验验证其有效性与泛化能力。
2025-07-31 cs.LG cs.NA math.NA
Preconditioned TBiCOR and TCORS Algorithms for Solving the Sylvester Tensor Equation
本文提出了求解Sylvester张量方程的预条件TBiCOR和TCORS方法。本文导出了求解Sylvester张量方程的张量Lanczos $\mathcal{L}$ -双正交化算法(TLB)。提出了两种改进的TLB方法。一种是双共轭$\mathcal{L}$ -张量形式的正交残差算法(TBiCOR),它对TLB方法得到的三角系数矩阵进行$LU$分解;另一种是张量形式的共轭$\mathcal{L}$ -正交残差平方算法(TCORS),它在TBiCOR算法的残差中引入了平方算子。采用基于最近Kronecker积的预条件子对TBiCOR和TCORS算法进行加速,得到了预条件TBiCOR算法(PTBiCOR)和预条件TCORS算法(PTCORS).证明了所提出的算法在有限步迭代内是收敛的,且无圆整误差。几个例子表明,预处理TBiCOR和TCORS算法具有良好的收敛性。
2021-11-27 cs.NA math.NA
Hierarchical Interpolative Factorization Preconditioner for Parabolic Equations
本文提出一种求解线性和半线性抛物型方程的有效预条件子。在Crank-Nicholson时间步方法中,采用共轭梯度法求解每一时间步的代数方程组,并采用分层插值因子分解进行预处理。在抛物型方程的离散化中出现的刚度矩阵通常具有大的条件数,因此预处理变得必不可少,特别是对于大的时间步长。我们建议使用分层插值因子分解作为共轭梯度迭代的预条件。分层插值因式分解仅计算一次,提供了线性系的高效且精确的近似逆。结果表明,预条件共轭梯度迭代法在较少的迭代次数内收敛。与其他经典的精确和近似因式分解(例如Cholesky或不完全Cholesky)相比,分层插值因式分解可以在线性时间内计算,并且其逆函数的应用具有线性复杂度。数值实验证明了该方法的性能和共轭梯度迭代的减少。
2021-05-08 cs.NA math.NA
Preconditioning without a preconditioner: faster ridge-regression and Gaussian sampling with randomized block Krylov subspace methods
JPMorganChase(摩根大通);New York University(纽约大学);Graduate Center, CUNY(纽约市立大学研究生中心)
本文提出了一种无需显式构造预处理矩阵的随机块Krylov子空间方法,用于加速岭回归和高维高斯采样,理论证明其优于传统预处理方法。
2026-02-06 cs.NA math.NA
Stable algorithms for general linear systems by preconditioning the normal equations
本文研究基于法方程的预处理Krylov方法求解非对称线性系统,发现预处理LSQR在某些示例中误差较大,提出通过迭代细化或重启大幅提升其精度,并由后向误差分析支持,同时讨论了GMRES与LSQR的优缺点及迭代细化对预处理共轭梯度的改进。
2025-03-04 cs.NA math.NA
Matrix-free GPU implementation of a preconditioned conjugate gradient solver for anisotropic elliptic PDEs
University of Bath(巴斯大学);The University of Edinburgh(爱丁堡大学)
针对数值天气预报中的各向异性椭圆偏微分方程,提出了一种无矩阵GPU实现的预条件共轭梯度算法,通过避免显式存储矩阵并利用循环融合减少全局内存访问,显著提升了性能。
2013-02-28 cs.DC cs.NA math.NA
The conjugate gradient method with various viewpoints
综述了共轭梯度法与计算数学中其它方法的联系,包括与数值优化中的共轭方向法、子空间最优化方法和拟牛顿法BFGS的联系,以及与数值线性代数中的Lanczos方法的联系。讨论了与残差向量和共轭向量有关的两种多项式序列,其中残差多项式在逼近论中类似于正交多项式,多项式的根揭示了系数矩阵的某些信息.从不同于教科书的角度重新考虑了最速下降和CG的收敛速度。通过对一个椭圆型方程的数值解,讨论了无限维CG与有限维预处理CG之间的联系。
2019-12-14 cs.NA math.NA
Integrating Additive Multigrid with Multipreconditioned Conjugate Gradient Method
本研究将加性多重网格与多重预处理共轭梯度法结合,利用MG层级修正作为独立搜索方向,通过能量范数最小化计算最优系数,以提升并行效率并保持收敛性能。
2025-02-26 cs.NA math.NA
Solving Convolution-type Integral Equations using Preconditioned Neural Operators
Lingnan University(岭南大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Hetao Institute of Mathematics and Interdisciplinary Sciences (Shenzhen)(河套数学与交叉科学研究院(深圳))
本文提出一种结合神经算子与经典迭代求解器的混合算法,有效解决卷积型积分方程的高频分量问题,优于传统多网格和预条件共轭梯度方法。
2026-05-08 cs.NA math.NA
A Framework of Conjugate Direction Methods for Symmetric Linear Systems in Optimization
University Ca’Foscari of Venice(威尼斯大学);CNR-INSEAN, National Research Council-Maritime Research Centre(国家研究委员会海事研究中心)
本文提出一种参数依赖的 Krylov 类方法 CD,用于求解对称线性系统,通过生成共轭方向序列扩展标准共轭梯度法的性质,实现共轭性保持,并证明了 CD 算法的有限收敛性及误差分析,同时引入预处理以保持预处理 CG 的误差界。
2014-08-26 cs.NA math.NA math.OC
Primal-dual interior-point multigrid method for topology optimization
University of Birmingham(伯明翰大学);Institute of Information Theory and Automation, Academy of Sciences of the Czech Republic(捷克科学院信息论与自动化研究所);University of Kirkuk(基尔库克大学)
本文提出了一种用于结构拓扑优化的内点方法,采用几何多网格预处理的共轭梯度法求解线性系统,并与优化条件方法进行比较,证明了对于大规模问题,不精确迭代线性求解器的内点方法更优。
2016-06-20 cs.NA math.NA math.OC
Learning Preconditioner for Conjugate Gradient PDE Solvers
本文提出用图神经网络学习预条件子,为共轭梯度求解器引入归纳偏置,并在二维和三维线性二阶PDE上验证了有效性与泛化性。
2023-09-06 cs.NA math.NA
Riemannian preconditioned algorithms for tensor completion via tensor ring decomposition
本文提出基于张量环分解的黎曼预处理梯度下降与共轭梯度算法,通过新度量近似Hessian对角块并利用张量结构降低计算成本,实验证明其在张量补全中更高效且重建能力更优。
2023-11-14 cs.NA math.NA math.OC
Preconditioned Iterative Solves in Model Reduction of Second Order Linear Dynamical Systems
Indian Institute of Technology Indore(印度理工学院印多尔分校);Technische Universität Braunschweig(布伦瑞克工业大学)
本文提出了一种用于二次线性动力系统模型降阶的预条件迭代求解方法,通过SPAI预条件器提升计算效率,并在实验中验证了其在降阶过程中的稳定性与有效性。
2017-02-14 cs.NA math.NA
Steepest descent and conjugate gradient methods with variable preconditioning
研究带可变预处理的共轭梯度法,证明在预处理系统矩阵条件数一致有界时,该方法可能不优于梯度下降法,并给出新几何证明及数值实验揭示两种意外效应。
2007-04-02 cs.NA math.NA
FT-GCR: a fault-tolerant generalized conjugate residual elliptic solver
随着以越来越小的硬件组件为特征的高性能计算系统的稳步发展,用于数值模拟的系统和算法越来越多地与由硬件故障和计算数据的比特级错误表示引起的中断相抗衡。在利用大规模处理能力的数值框架中,线性系的解通常代表计算最密集的部分。由于涉及大量的重复操作,迭代求解器特别容易受到位翻转的影响。提出了一种新的方法FT-GCR,它为预处理的广义共轭残差Krylov求解器提供了软故障的检测和恢复。该算法测试的单调递减的剩余范数,失败时,重新开始迭代的局部Krylov空间内。数值实验所产生的一个椭圆形问题的解决方案,从一个孤立的山丘上的球体上的静止流显示的技能的方法,在解决位翻转的范围内的网格大小和数据丢失的情况下,获得最佳的回报和检测率较大的腐败事件。该方法的简单性使得它很容易扩展到其他求解器和集成模型弹性策略内的算法容错的理想候选者。
2021-03-21 cs.NA math.NA
A Bramble-Pasciak conjugate gradient method for discrete Stokes equations with random viscosity
Department of Mathematics, Technische Universität Darmstadt(达姆施塔特工业大学数学系)
本文研究了随机伽辽金有限元离散化鞍点问题所得到的线性方程组的迭代求解方法,提出了一种基于Bramble-Pasciak共轭梯度方法的线性求解器,并通过特征值估计分析了其在物理和数值参数下的性能。
2018-10-30 cs.NA math.NA
Symbol-based multilevel block $τ$ preconditioners for multilevel block Toeplitz systems: GLT-based analysis and applications
本文针对多层块Toeplitz系统,提出基于生成函数构造的多层τ预条件子通用框架,分别处理非对称与对称情形,证明特征值聚集及最优收敛性,并在分数阶扩散方程等数值实验中验证其优于现有求解器。
2024-09-30 cs.NA math.NA
Communication-reduced Conjugate Gradient Variants for GPU-accelerated Clusters
Institute for Applied Computing (IAC)(应用计算研究所)
本文提出一种高效的预条件s步共轭梯度法实现,用于Nvidia GPU加速集群,通过减少全局同步和数据通信步骤,提升并行计算机的强标量性和弱标量性。
2025-01-07 cs.NA math.NA
A reduced conjugate gradient basis method for fractional diffusion
Zhejiang University(浙江大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种缩减共轭梯度基方法,用于高效求解分数扩散方程,通过有理逼近和正交贪心算法降低计算成本。
2023-05-29 cs.NA math.NA
A Spectral Preconditioner for the Conjugate Gradient Method with Iteration Budget
Polytechnique Montréal(蒙特利尔理工学院);CERFACS / CECI CNRS UMR 5318(法国国家科学研究中心联合研究单位5318)
本文研究了在无矩阵环境下求解大规模对称正定线性系统时,使用谱预条件技术优化共轭梯度法的迭代次数。通过将部分特征值映射到正簇,减少迭代次数以提高收敛效率。
2026-03-30 cs.NA math.NA math.OC
Multi-scale linear solvers for very large systems derived from PDEs
提出一种基于波长分解的预条件共轭梯度线性求解器,通过粗粒化与光滑算子构造近似逆,递归求解大规模PDE离散系统,实现计算量随方程数线性增长。
1998-09-09 cs.NA math.NA math.RA
A Bramble-Pasciak conjugate gradient method for discrete Stokes problems with lognormal random viscosity
Graduate School of Computational Engineering, Technische Universit\"at Darmstadt, Dolivostr. 15, 64293, Darmstadt, Germany , WWW home page: http://www.graduate-school-ce.de/index.php?id=680 Department of Mathematics, Technische Universit\"at Darmstadt, Dolivostr. 15, 64293, Darmstadt, Germany
本文研究了随机伽辽金有限元离散化鞍点问题及其迭代求解所出现的线性方程组,提出了一种基于Bramble-Pasciak共轭梯度方法的预条件技术,以提高求解效率。
2018-11-15 cs.NA math.NA
Impact of correlated observation errors on the convergence of the conjugate gradient algorithm in variational data assimilation
一类重要的非线性加权最小二乘问题产生于大气和海洋模式中观测值的同化。在变分资料同化中,逆误差协方差阵定义了最小二乘问题的加权矩阵。对于观测误差,对角矩阵(即,不相关的误差)通常是为了简化而假设的,即使当观测误差被怀疑是相关的时。虽然考虑观测误差相关性应提高解的质量,但它也影响用于求解的最小化算法的收敛速度。如果在达到完全收敛之前停止最小化过程,这在操作应用中通常是这种情况,则即使正确地考虑了观测误差相关性,解也可能降级。本文研究了观测误差相关阵(R)对一维变分资料同化(1D-Var)问题的预条件共轭梯度(PCG)算法的收敛速度的影响。我们设计理想化的一维无功系统,以包括在更复杂的系统中使用的两个关键特征:我们使用背景误差协方差阵(B)作为预处理器(B-PCG);我们使用扩散算子来模拟B和R中的空间相关性。一维变分系统的分析和数值结果表明,B-PCG的收敛速度对基于扩散的相关模型的参数具有很强的敏感性。根据参数的选择,相关观测误差可以加速或减慢收敛。在实践中,在B和R的参数规范中可能需要在一方面保持接近最佳可用估计和另一方面确保最小化算法的足够收敛速度之间进行折衷。
2022-12-05 cs.NA math.NA
An Empirical Study of Conjugate Gradient Preconditioners for Solving Symmetric Positive Definite Systems of Linear Equations
本文对79个矩阵、10种预条件子(共108种配置)进行实证比较,发现不完全Cholesky分解对对称正定系统最有效,多重网格偶尔表现优异,而经典迭代方法效果不佳,且预条件子构建成本会削弱迭代方法优势。
2025-05-27 cs.NA math.NA
Stochastic Preconditioning for Iterative Linear Equation Solvers
针对对称对角占优M矩阵,提出基于随机游走的不完全LDL分解作为预处理子,证明其比传统不完全分解方法具有更好的精度-规模权衡,从而减少预处理共轭梯度法的计算量。
2006-09-24 cs.NA math.NA math.PR
Tensor-structured PCG for finite difference solver of domain patterns in ferroelectric material
针对铁电材料中 Poisson 方程有限差分离散后的 Kronecker 结构算子,提出张量结构预处理 CG,采用 Moore–Penrose 伪逆预条件子并验证其高效性。
2025-01-06 cs.NA math.NA
Riemannian preconditioning for tensor completion
The university of Electro-Communications(电气通信大学);University of Cambridge(剑桥大学)
本文提出一种新的Riemannian预处理方法用于张量补全问题,利用最小二乘结构和Tucker分解的对称性,开发出高效的非线性共轭梯度算法,实验表明其在不同数据集上表现优异。
2016-05-27 cs.LG cs.NA math.NA