Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上，一些加速技术被用来提高SGM的收敛速度。然而，很少有人探索应用某种加速技术的随机次梯度方法（SsGM）的非光滑非凸问题。此外，很少有人努力分析（加速）SsGM与延迟衍生物。信息延迟自然发生在分布式系统中，其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛，即使在分布式环境中的延迟导数信息。对三类非凸问题：弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类，对于$K$迭代，收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中，所提出的方法的收敛速度将被信息延迟减慢。然而，对于后两个问题类，慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外，我们观察到更高的并行化速度在异步更新同步对应，虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
Halpern-Accelerated Majorized ADMM with Optimal Non-Ergodic Convergence under Degenerate Preconditioning
Dongguan University of Technology（东莞理工学院）；Peking University（北京大学）；Northeastern University（东北大学）
本文提出一种Halpern加速的majorized ADMM，允许不定近端项，在退化预条件下实现最优非遍历收敛，并通过数值实验验证其残差衰减与优势。
2026-10-01 cs.NA math.NA math.OC
A polynomially accelerated fixed-point iteration for vector problems
Technical office, SolarSud T.R.E.（SolarSud T.R.E. 技术办公室）
TPA通过多项式加速技术，无需存储历史或求解密集最小二乘问题，有效解决固定点迭代中雅可比矩阵特征值接近1导致的收敛停滞问题。
2026-01-02 cs.NA math.NA
Accelerated primal-dual dynamical systems for convex optimization with nonlinear inequality constraints
School of Science, Xihua University（西华大学理学院）
针对带非线性不等式约束的凸优化，提出首个Nesterov型原始-对偶乘子框架，构造带Nesterov型消失阻尼的连续时间动力学并导出不精确加速算法，证明其可达𝒪(t⁻²)及𝒪(k⁻²)的收敛速率。
2026-11-10 cs.NA math.NA math.OC
NLTGCR: A class of Nonlinear Acceleration Procedures based on Conjugate Residuals
本文提出NLTGCR，将共轭残差型方法从线性方程扩展到非线性方程，构造一类与Anderson加速和非精确Newton方法相关的非线性加速算法，并通过理论证明与仿真及深度学习实验验证其加速迭代性能。
2024-03-30 cs.NA math.NA
Accelerated Kaczmarz methods via randomized sketch techniques for solving consistent linear systems
School of Mathematics and Statistics, Guangdong University of Technology（广东工业大学数学与统计学院）
针对相容线性系统求解问题，本文采用两种随机草图技术改进两类Kaczmarz方法，完成收敛性分析与解偏差上界推导，实验验证新方法在同等精度下运行效率更优。
2025-11-17 cs.NA math.NA
High Order Residual Distribution Conservative Finite Difference HWENO Scheme for Steady State Problems
在本文中，我们发展了一种高阶残差分布（RD）方法，用于在最近在[24]中发展的一种新的Hermite加权本质不振荡（HWENO）框架中求解稳态守恒律。特别地，我们设计了一个高阶HWENO积分的源项和通量的积分的基础上的点值的解决方案及其空间导数，和残差分布方案的原则，以获得稳态解。新HWENO框架的两个优点已在[24]中显示：首先，与传统的HWENO框架相比，该方法不需要引入额外的辅助方程来更新未知变量的导数，只需从解的当前点值及其旧的空间导数计算它们，节省了计算存储和CPU时间，从而提高了传统HWENO框架的计算效率。第二，与传统WENO方法相比，HWENO方法的重构模板更紧凑，边界处理更简单，在相同网格下的数值误差更小。因此，与Chou和Shu在[11]中提出的格式相比，在设计高阶精度时，它也是一个紧致格式。对一维和二维标量和系统问题的数值实验证实了我们格式的高精度和良好的质量。
2021-11-04 cs.NA math.NA
Residual-based Kaczmarz methods for tensor linear equations with t-product
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）
针对t-积张量线性方程，提出基于残差的张量Kaczmarz方法，证明收敛性并给出收敛率上界，进一步开发带重球动量的加速方法，数值实验验证其高效性。
2026-06-04 cs.NA math.NA
Enhancing multigrid solvers for isogeometric analysis of nonlinear problems using polynomial extrapolation techniques
本文研究用多项式外推技术加速 Picard 迭代并结合等几何分析多重网格求解器，高效求解 Bratu 问题和 Monge-Ampère 方程，并给出二次收敛性理论结果。
2025-01-05 cs.NA math.NA
An a posteriori error estimate of the outer normal derivative using dual weights
本文导出了{变系数扩散问题}外法向通量近似的基于残差的后验误差估计。通过分析伴随问题的解，我们发现，在块的误差指标可以被定义为更高的顺序比那些靠近边界，这导致更经济的网格。最后用数值例子说明了该理论。
2021-10-25 cs.NA math.NA
A Measure-Consistent Operator Learning Method for Infinite-Dimensional Master Equations
School of Science, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区理学院）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）
针对平均场博弈中无限维主方程，提出测度一致算子学习方法（MCOL），利用经验测度与对称池化结构近似值函数及其测度导数，避免额外积分网格，数值实验验证了准确性。
2026-06-06 cs.NA math.NA
Residual-based error correction for neural operator accelerated infinite-dimensional Bayesian inverse problems
Oden Institute for Computational Sciences and Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算科学与工程研究所）
针对神经算子近似误差影响无限维贝叶斯反问题求解精度的问题，提出基于PDE残差的线性变分校正策略，实现误差二次降低并保持后验采样加速，在两个算例中验证了后验表示的显著提升。
2022-10-19 cs.LG cs.NA math.NA
Solving nonlinear systems of equations via spectral residual methods: stepsize selection and applications
谱残量法是求解非线性系统方程组的一种无需导数且每次迭代费用低的方法。它们通常与非单调线性搜索策略相结合，并且对于大型非线性系统和非线性系统序列，它们与基于牛顿的方法相比很好。该算法以残差向量作为搜索方向，步长的选择对算法的性能有着至关重要的影响。在这项工作中，我们从理论上和实验上解决了步长的选择，并提供了一个实际的应用，如滚动接触问题的结果。
2021-09-17 cs.NA math.NA math.OC
MIM: A deep mixed residual method for solving high-order partial differential equations
近年来，通过深度学习求解偏微分方程（PDE）受到了极大的关注。例如，深度Galerkin方法（DGM）使用最小二乘意义上的PDE残差作为损失函数，并使用深度神经网络（DNN）来近似PDE解。在这项工作中，我们提出了一个深度混合残差方法（MIM）解决偏微分方程的高阶导数。在MIM中，我们首先将高阶偏微分方程改写为一阶方程组，这与偏微分方程经典数值方法中的局部间断Galerkin方法和混合有限元法的思想非常相似。然后，我们使用最小二乘意义下的一阶系统的残差作为损失函数，这与最小二乘有限元法密切相关。对于上述经典的数值方法，在许多情况下，试验和检验函数的选择对于稳定性和精度问题是重要的。当DNN被用来近似一阶系统中的未知函数时，MIM也具有这种特性。在一种情况下，我们使用几乎相同的DNN来近似所有未知函数，而在另一种情况下，我们对不同的未知函数使用完全不同的DNN。在大多数情况下，MIM提供了比DGM更好的近似（不仅对于PDE解的高阶导数，而且对于PDE解本身），具有几乎相同的DNN和相同的执行时间，有时超过一个数量级。当使用不同的DNN时，在许多情况下，MIM提供比仅具有一个DNN的MIM更好的近似，有时超过一个数量级。因此，我们期望MIM能够从经典数值分析的角度，为理解和改进深度学习解决偏微分方程开辟一条可能的系统途径。
2020-06-07 cs.NA math.NA
PINN-DG: Residual neural network methods trained with Finite Elements
本文提出PINN-DG，一种使用间断伽辽金有限元方法训练的物理信息神经网络，通过有限元插值和积分计算损失，避免逐点导数计算，提高椭圆型PDE求解的效率与鲁棒性，并给出收敛性分析和数值验证。
2025-07-09 cs.NA math.NA physics.comp-ph
An accelerated staggered scheme for phase-field modeling of brittle fracture
目前有越来越多的兴趣在开发有效的解决方案相场模拟脆性断裂。该问题的控制方程源于非凸能量泛函的约束最小化，最常用的求解器是交错求解方案。与整体牛顿法相比，这是已知的鲁棒性，然而，交错方案通常需要多次迭代才能收敛，当裂纹正在发展时。我们工作的重点是通过一个方案来加速求解器，该方案依次应用安德森加速和超松弛，根据残差演化来回切换，从而确保下降的趋势。所得到的方案利用安德森加速和超松弛的互补优势，使一个强大的和加速的方法来解决这个问题。新方法作为后处理技术应用于求解器的增量，因此，可以通过对现有软件进行微小修改来实现。此外，结合两种加速方案的成本可以忽略不计。数值算例表明了该方法的有效性和鲁棒性。
2020-08-26 cs.NA math.NA
Accelerated solutions of convection-dominated partial differential equations using implicit feature tracking and empirical quadrature
本文提出基于经验求积的超降维方法和贪婪训练算法，通过非线性近似流形克服线性降维的n-宽度限制，构建在线高效的降阶模型，有效降低对流占优问题的计算成本。
2023-09-13 cs.NA math.NA math.OC
Fractional Newton-Raphson Method Accelerated with Aitken's Method
本文提出获取分数阶 Newton-Raphson 方法的收敛阶，简化构造 Riemann-Liouville 分数阶算子，并利用 Aitken 方法加速其收敛，展示了结合两者的实验结果。
2021-02-22 cs.NA math-ph math.CV
An FFT-accelerated direct solver for electromagnetic scattering from penetrable axisymmetric objects
Zhejiang University（浙江大学）；New York University（纽约大学）
本文提出了一种基于FFT的分离变量求解器，用于高效求解Maxwell方程组对轴对称穿透体（电介质体）散射的积分方程形式，通过快速评估模态Green函数及其导数、使用广义高斯求积和自适应网格进行离散化，并适用于包含边界的几何结构，展示了该算法在不同几何结构中的效率和准确性。
2019-04-02 cs.NA math.NA physics.comp-ph
A Dirac-Frenkel-Onsager principle: Instantaneous residual minimization with gauge momentum for nonlinear parametrizations of PDE solutions
EPFL（瑞士洛桑联邦理工学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所）
本文提出基于Dirac-Frenkel原理的Onsager扩展，通过引入规范动量提升非线性参数化PDE解的时间稳定性与鲁棒性。
2026-04-30 cs.LG cs.NA math.NA
