Normalized Wolfe-Powell-type local minimax method for finding multiple unstable solutions of nonlinear elliptic PDEs
本文提出归一化Wolfe-Powell型局部极小极大方法（NWP-LMM），基于一般下降方向和两种归一化Wolfe-Powell步长规则求解非线性椭圆型PDE的多个不稳定解，证明了全局收敛性，并结合共轭梯度方向加速，数值实验表明其优于传统LMM。
2023-01-19 cs.NA math.NA
The Deep Minimizing Movement Scheme
本研究提出基于深度学习的最小化运动方案，无需网格即可通过寻找泛函最速下降方向逼近偏微分方程解，在高维问题上具备高可扩展性与准确性。
2023-09-25 cs.NA math.AP math.NA
A convergence framework for energy minimisation of linear self-adjoint elliptic PDEs in nonlinear approximation spaces
针对线性自伴椭圆型PDEs能量极小化问题，提出通用优化框架，支持线性与非线性参数混合优化策略，建立算法收敛性，可应用于广泛非线性逼近流形，配套论文提供满足假设的具体空间实例。
2025-08-26 cs.NA math.NA
Global Convergence of DGM and PINN Algorithms for Solving Nonlinear PDEs
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics and Statistics, Boston University（波士顿大学数学与统计系）
研究一类半线性偏微分方程，证明用梯度下降训练来最小化PDE残差目标函数的神经网络可收敛到PDE解，为DGM和PINN算法求解此类方程的数学基础提供了依据。
2026-09-25 cs.LG cs.NA math.NA
Learning the random variables in Monte Carlo simulations with stochastic gradient descent: Machine learning for parametric PDEs and financial derivative pricing
Risklab, Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系风险实验室）；Xideas Switzerland AG（2Xideas瑞士有限公司）
本文提出了一种通过机器学习在蒙特卡洛模拟中学习随机变量的方法，用于参数偏微分方程和金融衍生品定价，以克服维度灾难。
2023-06-08 cs.NA math.AP math.NA
Convergence Guarantees for Gradient-Based Training of Neural PDE Solvers: From Linear to Nonlinear PDEs
本文提出统一收敛理论，证明线性PDE下PINNs的全局收敛和非线性PDE下随机特征模型收敛到临界点，并揭示隐式正则化效应，实验验证了理论。
2025-10-08 cs.NA math.NA
A Priori Analysis of Stable Neural Network Solutions to Numerical PDEs
利用神经网络求解偏微分方程的方法近年来已成为一个非常重要的课题。我们提供了一个先验的误差分析，这种方法是基于$\mathcal{K}_1(\mathbb{D})$规范的解决方案。我们表明，由此产生的约束最优化问题可以有效地解决使用贪婪算法，它取代了随机梯度下降。在此之后，我们表明，从离散化的能量积分所产生的误差是有界的确定性的情况下，即使用数值积分时，也在随机的情况下，即采样点近似的积分。在后一种情况下，我们使用Rademacher复杂性分析，在前一种情况下，我们使用标准的数值求积界。这扩展了现有的结果，使用一个通用的字典的功能，学习解决方案的偏微分方程的方法，重要的是给出了一个一致的分析，其中包括优化，近似和泛化方面的问题。此外，Rademacher复杂性分析被简化和推广，这使得应用到广泛的问题。
2022-07-14 cs.NA math.NA
A hybrid MGA-MSGD ANN training approach for approximate solution of linear elliptic PDEs
University of Luxembourg（卢森堡大学）
我们引入了一种混合的“改进的遗传算法-多级随机梯度下降”（MGA-MSGD）训练算法，该算法大大提高了解决强形式的PDE通过ANN（人工神经网络）描述的3D机械问题的精度和效率。该方法允许选择多个感兴趣的位置，在这些位置处，期望状态变量满足与物理问题相关联的控制方程。与诸如有限差分或有限元法的经典PDE近似方法不同，不需要在整个计算域中建立和重建物理场量，以便预测感兴趣的特定位置处的机械响应。MGA-MSGD的基本思想是通过对可学习参数中引起误差爆炸的部分进行控制，从而训练出具有较大学习率的网络，避免陷入局部极小。所提出的训练方法对学习率值、训练点密度和分布以及随机初始参数不太敏感。要最小化的距离函数是我们引入包括任何物理定律和条件的PDE的地方（所谓的物理信息ANN）。遗传算法被修改为适合这种类型的人工神经网络，其中一个粗层次的随机梯度下降（CSGD）是利用决策的后代资格。与经典的SGD和Adam optimiser等标准训练算法相比，使用所提出的方法在准确性和效率方面都有显着提高。通过引入足够细网格下的有限元法计算结果作为参考位移，研究并保证了局部位移精度。一个稍微复杂的问题得到解决，以确保其可行性。
2020-12-18 cs.AI cs.NA math.NA
Gauss Newton method for solving variational problems of PDEs with neural network discretizaitons
针对神经网络离散化偏微分方程的变分优化问题，提出 Gauss–Newton 求解方法，并分析其超线性收敛性与梯度消失的半正则零点，数值算例验证了效率。
2024-01-21 cs.NA math.NA
Parametric Complexity Bounds for Approximating PDEs with Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
最近的实验表明，深度网络可以近似高维偏微分方程的解，似乎逃脱了维数灾难。然而，关于这种近似的理论基础的问题，包括所需的网络规模，仍然悬而未决。本文研究了用神经网络逼近Dirichlet边界条件下线性椭圆型偏微分方程解的表示能力。我们证明了，当一个偏微分方程的系数表示的小神经网络，所需的参数近似其解决方案的规模多项式的输入尺寸$d$和成比例的系数网络的参数计数。为此，我们最终开发了一种证明技术，通过生长一个神经网络架构来模拟梯度下降（在适当的Hilbert空间中），该架构的迭代每个都作为子网络参与其（稍大）的后继者，并收敛到PDE的解。我们绑定的解决方案的大小，显示多项式依赖于$d$和没有依赖于域的体积。
2021-07-06 cs.LG cs.NA math.NA
Global Convergence of Adjoint-Optimized Neural PDEs
University of Oxford, Mathematical Institute（牛津大学数学研究所）；Boston University, Department of Mathematics & Statistics（波士顿大学数学与统计系）
本文研究了在隐藏单元数和训练时间趋于无穷时，神经偏微分方程的共轭梯度下降优化方法的收敛性，证明了训练后的神经网络偏微分方程解能逼近目标数据。
2025-11-19 cs.LG cs.NA math.AP
Deep multi-step mixed algorithm for high dimensional non-linear PDEs and associated BSDEs
本研究提出一种基于深度学习的多步算法，通过迭代时间离散化、深度神经网络逼近与序贯随机梯度下降求解中高维非线性BSDE及对应PDE，提升精度且降低复杂度，并给出低正则条件下的误差分析。
2023-08-28 cs.NA math.NA q-fin.CP
Dual Cone Gradient Descent for Training Physics-Informed Neural Networks
Artificial Intelligence Graduate School（人工智能研究生院）；Department of Industrial Engineering（工业工程系）；UNIST（蔚山科学技术院）
针对物理信息神经网络（PINNs）训练中损失梯度失衡、内积为负导致的求解失效问题，提出对偶锥梯度下降（DCGD）优化框架，通过约束梯度方向至对偶锥区域提升求解精度与训练稳定性，且可结合现有PINNs优化策略进一步增强效果。
2025-01-15 cs.LG cs.NA math.AP
Two-Layer Neural Networks for Partial Differential Equations: Optimization and Generalization Theory
Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
求解偏微分方程（PDE）的问题可以转化为一个最小二乘最小化问题，其中神经网络用于参数化PDE解。一个全局极小对应于一个神经网络，解决了给定的偏微分方程。在本文中，我们证明了梯度下降法可以识别一个全局极小的最小二乘优化求解二阶线性偏微分方程的两层神经网络的假设下，过参数化。我们还分析了二阶线性偏微分方程和两层神经网络的最小二乘优化的推广误差，当偏微分方程的右手侧函数在Barron型空间中，最小二乘优化用Barron型范数正则化，没有过参数化假设。
2020-12-10 cs.LG cs.NA math.NA
A semigroup method for high dimensional elliptic PDEs and eigenvalue problems based on neural networks
Department of Mathematics, Stanford University（斯坦福大学数学系）；Department of Mathematics and ICME, Stanford University（斯坦福大学数学系与计算与数学工程研究所）
本文提出了一种基于神经网络的求解高维椭圆型偏微分方程及其本征值问题的半群方法。对于偏微分方程问题，我们利用半群算子将原方程转化为变分问题，然后用神经网络参数化求解变分问题。其主要优点是在随机梯度下降训练过程中不需要混合二阶导数计算，并且半群算子自动考虑边界条件。不像流行的方法，如PINN \cite{raissi2019physics}和深Ritz \cite{weinan2018deep}的Dirichlet边界条件是通过罚函数，从而改变了真正的解决方案，所提出的方法是能够解决边界条件没有罚函数，它给出了正确的真正的解决方案，即使当罚函数被添加，由于半群运算符。对于本征值问题，提出了一种原始-对偶方法，该方法利用简单的标量对偶变量有效地解决了约束问题，并在某些问题（如与线性薛定谔算子相关的本征值问题）中得到了比Bundle求解器\cite{han2020solving}更快的算法.数值结果证明了所提出的方法的性能。
2022-01-10 cs.LG cs.NA math.NA
Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra
University of Pavia（帕维亚大学）；Department of Mathematics（数学系）；Department of Civil Engineering and Architecture（土木工程与建筑系）；Institut Camille Jordan, Lyon 1 Université（让·乔丹研究所，里昂1大学）
针对物理信息神经网络（PINNs）中自然梯度下降（NGD）因Gram矩阵病态导致计算成本高的问题，提出基于随机数值线性代数（RandNLA）的预条件技术加速共轭梯度求解器，显著提升优化效率。
2026-09-29 cs.LG cs.NA math.NA
A learning scheme by sparse grids and Picard approximations for semilinear parabolic PDEs
基于倒向随机微分方程（BSDEs）与非线性抛物型偏微分方程（PDEs）之间的经典联系，提出了一种求解高维半线性抛物型偏微分方程的新的概率学习方法.该方案受到来自机器学习的方法的启发，并使用Han等人的深度神经网络开发[32]。我们的算法是基于皮卡德迭代计划，其中一系列的线性二次优化问题是通过随机梯度下降（SGD）算法解决。在近似空间的线性规范的框架下，我们设法证明了我们的计划的收敛结果，在一定的小条件。在实践中，为了能够处理高维的例子，我们采用稀疏网格近似空间。在周期系数和使用预小波基函数的情况下，我们得到了我们的方法的全局复杂性的上界。它特别表明，灾难的维数是驯服的意义上，为了实现一个均方根误差的顺序$ε$，对于一个规定的精度$ε$，皮卡德算法的复杂性多项式增长$ε^{-1}$到一些对数因子$ |log(ε)| $，它线性增长的PDE尺寸。给出了各种数值结果来验证我们的方法的性能，并将其与Han等人[20]和Huré等人[37]中提出的一些最近的机器学习方案进行比较。
2021-02-24 cs.NA math.NA math.PR
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent
Stanford University（斯坦福大学）
本文研究了一类广义目标函数下随机采样噪声观测值反问题求解的梯度下降Sobolev范数统计极限。我们的目标函数类包括用于核回归的Sobolev训练、深度里兹方法（DRM）和用于求解椭圆偏微分方程（PDE）的物理信息神经网络（PINN）作为特例。我们考虑一个潜在的无限维参数化我们的模型使用一个合适的再生核希尔伯特空间和一个连续的参数化的问题硬度通过定义的内核积分算子。我们证明了梯度下降在这个目标函数也可以达到统计最优性和最佳的通过数据的数量增加与样本量。基于我们的理论，我们解释了使用Sobolev范数作为训练的目标函数的隐式加速，推断当数据大小和任务难度增加时，DRM的最佳时期数变得大于PINN的数量，尽管DRM和PINN都可以达到统计最优。
2022-09-19 cs.LG cs.NA math.NA
Solving PDEs on Unknown Manifolds with Machine Learning
Purdue University（普渡大学）；ShanghaiTech University（上海科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Maryland（马里兰大学）
本文提出基于扩散映射与深度学习的无网格框架，将未知流形上的椭圆型PDE求解转化为神经网络经验风险最小化问题，并从理论和数值上证明其收敛性与泛化能力。
2024-02-27 cs.LG cs.NA math.NA
Tackling the Curse of Dimensionality with Physics-Informed Neural Networks
National University of Singapore（新加坡国立大学）；Brown University（布朗大学）
针对高维偏微分方程求解的维数灾难难题，提出随机维度梯度下降法扩展物理信息神经网络，理论证明收敛性，实验验证可在单GPU上快速求解十万维级非线性偏微分方程，且可适配各类PINNs变体。
2024-05-17 cs.AI cs.LG cs.NA
Global Convergence of Deep Galerkin and PINNs Methods for Solving Partial Differential Equations
University of Oxford（牛津大学）
本文证明 Deep Galerkin 方法和 PINNs 在宽网络极限下全局收敛于偏微分方程的解，通过分析极限 ODE 中的核函数克服谱间隙挑战。
2023-05-10 cs.LG cs.NA math.NA
Fast training of accurate physics-informed neural networks without gradient descent
Technical University of Munich（慕尼黑技术大学）；TUM Institute for Advanced Study（TUM高级研究学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Wageningen University & Research（瓦赫宁根大学与研究中心）；KTH Royal Institute of Technology（皇家理工学院）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出Frozen-PINN，通过空间时间分离原理和随机特征替代梯度下降，解决PINN在准确性和训练速度上的瓶颈，实现高效且因果的PDE求解。
2026-04-15 cs.CE cs.LG cs.NA
Nesterov-aided Stochastic Gradient Methods using Laplace Approximation for Bayesian Design Optimization
最优试验设计（OED）的首要任务是寻找最佳试验装置。在这里，我们专注于贝叶斯试验设计问题，找到设置，最大限度地提高香农预期的信息增益。我们使用随机梯度下降和它的加速对应，采用Nesterov的方法，解决最优化问题在牛津英语词典。我们采用重新启动技术，最初提出的加速确定性优化，以改善随机最优化方法。我们结合这些最优化方法与三个估计的目标函数：双环蒙特卡洛估计（DLMC），蒙特卡洛估计使用拉普拉斯近似的后验分布（MCLA）和双环蒙特卡罗估计与基于拉普拉斯的重要性抽样（DLMCIS）。同时使用随机梯度法和基于拉普拉斯的估计器允许我们使用昂贵且复杂的模型，例如需要求解偏微分方程（PDE）的模型。从理论的角度，我们推导出一个显式公式来计算蒙特卡罗方法，包括MCLA和DLMCIS的梯度估计。从计算的角度来看，我们研究了四个例子：三个基于解析函数和一个使用有限元法。最后一个例子是基于完整电极模型的电阻抗断层成像实验。在这些示例中，使用MCLA的加速随机梯度下降方法收敛到局部最大值，模型评估比使用DLMC的梯度下降少五个数量级。
2020-02-26 cs.NA math.NA
Consensus-Based Optimization Methods Converge Globally
本文提出平均场分析技术，证明多智能体无导数CBO在智能体数趋于无穷时对非凸、非光滑及局部Lipschitz目标全局收敛，并给出非渐近Laplace原理与概率估计。
2024-08-02 cs.NA math.AP math.NA
BiLO: Bilevel Local Operator Learning for PDE Inverse Problems
Department of Mathematics, University of California, Irvine（加州大学伊文斯分校数学系）；Department of Computer Science, University of California, Irvine（加州大学伊文斯分校计算机科学系）；Department of Biomedical Engineering, University of California, Irvine（加州大学伊文斯分校生物医学工程系）
BiLO通过双层优化方法解决PDE反问题，利用神经网络局部近似解算子，有效处理强约束和噪声数据，无需平衡残差与数据损失。
2026-01-07 cs.LG cs.NA math.NA
Learning Partial Differential Equations by Spectral Approximates of General Sobolev Spaces
CASUS - Center for Advanced System Understanding, Helmholtz-Zentrum Dresden-Rossendorf e.V. (HZDR)（德累斯顿-罗森多夫亥姆霍兹中心（HZDR）高级系统理解中心（CASUS））
利用切比雪夫多项式给出了一般索伯列夫空间的一种新的有限维谱逼近.基于这个多项式代理模型（PSM），我们实现了一个变分公式，解决了大量的线性和非线性偏微分方程（PDE）。PSM与物理信息神经网络（PINN）一样灵活，并为解决逆PDE问题（如PDE参数推断）提供了一种替代方案。与PINN相比，PSM导致大量PDE（包括所有线性PDE）的凸优化问题，在这种情况下，由于潜在的变分梯度下降的指数收敛速度，PSM近似是可有效计算的。作为一个实际的结果，突出的PDE问题解决了PSM没有高性能计算（HPC）在本地机器上。这种效率上的提高得到了近似能力的提高，在精度和运行时间上都优于PINN替代方案。除了我们在这里给出的经验证据之外，经典PDE理论在索伯列夫空间近似下的翻译表明PSM普遍适用于适定的正则正逆PDE问题。
2023-01-12 cs.LG cs.NA math.NA
Enhanced BPINN Training Convergence in Solving General and Multi-scale Elliptic PDEs with Noise
University of California at Berkeley, CA, USA（加州大学伯克利分校）；Ceyear Technologies Co., Ltd, Qingdao 266555, China（青岛凯年科技有限公司）；Shandong University, Qingdao 266237, China（山东大学）；The University of Queensland, St Lucia 4072, Australia（昆士兰大学）；Guangdong University of Finance and Economics, Guangzhou 510320, China（广东财经大学）
本文提出一种融合MscaleDNN与BPINN的MBPINN方法，用SGD替代HMC以提升收敛鲁棒性并降低计算成本，在含噪一般及多尺度椭圆PDE上验证了其参数估计与解恢复的有效性。
2025-05-04 cs.LG cs.NA math.NA
PRISMA: Improving the Accuracy-Latency Frontier of Diffusion-based PDE Solvers Using Physics-Informed Spectral Attention
Department of Computer Science（计算机科学系）
PRISMA通过将PDE残差作为频谱注意力机制整合到扩散神经算子中，实现了无需梯度下降的快速、稳健和准确的PDE求解。
2026-08-05 cs.AI cs.LG cs.NA
Spatiotemporal Monitoring of Epidemics via Solution of a Coefficient Inverse Problem
本文首次针对非线性耦合抛物线偏微分方程组的流行病时空传播SIR模型提出系数反问题，构建基于Carleman权函数的“凸化”数值方法实现全局收敛，数值实验表明可准确重建未知系数与SIR函数，且因所需测量数据极少，有望显著降低流行病监测成本。
2024-01-04 cs.NA math.NA
Energy minimisation using overlapping tensor-product free-knot B-splines
针对含局部特征PDE求解中传统方法的局限性，提出基于重叠张量积自由节点B样条的非线性逼近方案，通过节点位置作为非线性参数优化离散化，在温和条件下确保收敛性，且效率更高、自由度更少。
2025-08-26 cs.NA math.NA
Optimizing a DIscrete Loss (ODIL) to solve forward and inverse problems for partial differential equations using machine learning tools
本文提出ODIL框架，将PDE数值求解转化为离散残差最小化，用梯度下降和牛顿法求解，相比神经网络方法具有更高收敛速度和更低计算成本，适用于正问题、反问题及不适定问题。
2022-05-10 cs.NA math.NA physics.comp-ph
Expansive Natural Neural Gradient Flows for Energy Minimization
本文提出在深度神经网络映射空间中利用希尔伯特空间度量构造扩张自然梯度流，通过逐步扩大网络结构以逼近理想梯度下降方向，并在监督学习、模型降阶和反问题中验证其能量最小化效果。
2025-07-17 cs.NA math.NA math.OC
A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations
Florida State University（佛罗里达州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）
提出一种可扩展的预条件原始-对偶混合梯度算法，通过引入预条件算子实现自然梯度优化，并利用Krylov子空间方法高效求解，适用于多种线性和非线性偏微分方程，数值实验表明该方法比PINNs、DeepRitz和WANs等方法更稳定、更精确。
2026-05-22 cs.LG cs.NA math.NA
Inexact projected preconditioned gradient methods with variable metrics: a Lyapunov convergence theory (extended version)
School of Mathematics, Sichuan University（四川大学数学学院）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
本文针对不精确预条件投影梯度下降（IPPGD）方法的理论空白，提出不精确投影算子构造策略，结合李雅普诺夫分析证明其收敛性，经数值实验验证了方法的鲁棒性与计算效率。
2026-07-31 cs.NA math.NA math.OC
Statistical algorithms for low-frequency diffusion data: A PDE approach
针对低频扩散数据推断难题，提出基于PDE理论的新计算方法，将似然及其梯度计算转化为椭圆特征值问题，实现高效采样与优化，实验验证有效。
2025-01-22 cs.NA math.NA math.ST
