arXiv 2104.096252021-04-16math.NAcs.NA

Finite Difference Nets：一个求解演化偏微分方程的深度递归框架

Finite Difference Nets: A Deep Recurrent Framework for Solving Evolution PDEs

Cheng Chang, Liu Liu, Tieyong Zeng

摘要：

采用深度学习方法来研究偏微分方程（PDE）已经成为一种新兴趋势。在本文中，我们引入了一个深度递归框架，用于在不生成大规模数据集的情况下求解时间依赖的偏微分方程。我们通过探索传统数值方法（例如有限差分格式）与深度神经网络（特别是卷积和全连接神经网络）之间可能的联系，提供了一个新的视角，即不同类型的架构。我们提出的方法将显示其有效性和效率，在求解具有积分形式的偏微分方程模型，特别是，我们测试单程波方程和守恒律组。

英文摘要：

There has been an arising trend of adopting deep learning methods to study partial differential equations (PDEs). In this paper, we introduce a deep recurrent framework for solving time-dependent PDEs without generating large scale data sets. We provide a new perspective, that is, a different type of architecture through exploring the possible connections between traditional numerical methods (such as finite difference schemes) and deep neural networks, particularly convolutional and fully-connected neural networks. Our proposed approach will show its effectiveness and efficiency in solving PDE models with an integral form, in particular, we test on one-way wave equations and system of conservation laws.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

TENG：面向深度神经网络求解偏微分方程至机器精度的时间演化自然梯度方法

TENG: Time-Evolving Natural Gradient for Solving PDEs With Deep Neural Nets Toward Machine Precision

Massachusetts Institute of Technology（麻省理工学院）；NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用AI研究院）；Harvard University（哈佛大学）

本文提出时间演化自然梯度方法TENG及其高阶变体，通过自然梯度优化提升神经网络求解PDE的精度，在热方程、Allen-Cahn方程和Burgers方程等基准上超越现有方法并达到机器精度。

2024-06-04cs.LGcs.NAmath.NA

利用通用边界条件求解偏微分方程的深度神经网络

Solving PDEs With Deep Neural Nets under General Boundary Conditions

Department of Electrical and Computer Engineering, University of California, Los Angeles（电气与计算机工程系，加州大学洛杉矶分校）

本文提出了一种扩展的TENG框架，通过整合自然梯度优化与数值时间推进方案，精确解决狄利克雷边界条件的PDEs问题，并展示了其在热方程中的高精度与高效性。

2026-02-10cs.AIcs.LGcs.NA

使用耦合物理信息神经网络与循环预测求解具有不可测源项偏微分方程的软测量方法

Solving PDEs with Unmeasurable Source Terms Using Coupled Physics-Informed Neural Network with Recurrent Prediction for Soft Sensors

Dalian University of Technology（大连理工大学）

针对具有不可测源项的非齐次偏微分方程，本文提出耦合物理信息神经网络CPINN-RP，通过NetU与NetG协同训练及循环预测补偿采样信息损失，提升软测量预测性能。

2023-07-11cs.LGcs.NAmath.NA

PhyCRNet：求解时空偏微分方程的物理信息卷积递归网络

PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs

Northeastern University（东北大学）；University of Notre Dame（圣母大学）；MIT（麻省理工学院）

偏微分方程（PDE）在建模和模拟各种学科的问题中发挥着重要作用。深度学习的最新进展表明，物理信息神经网络（PINN）在解决偏微分方程方面具有巨大潜力，可作为数据驱动建模和逆分析的基础。然而，大多数现有的PINN方法，基于全连接的神经网络，造成内在的限制，低维时空参数化。此外，由于初始/边界条件（I/BC）是通过惩罚来软施加的，因此解的质量严重依赖于超参数调整。为此，我们提出了新的物理信息卷积递归学习架构（PhyCRNet和PhyCRNet-s），用于在没有任何标记数据的情况下求解偏微分方程。具体地，提出了用于低维空间特征提取和时间演化学习的编码器-解码器卷积长短期记忆网络。损失函数被定义为聚合的离散化PDE残差，而I/BC在网络中被硬编码以确保强制满足（例如，周期性边界填充）。网络通过自回归和残差连接进一步增强，显式模拟时间推进。我们提出的方法的性能已经通过求解三个非线性偏微分方程（例如，2D Burgers方程、$λ$ - $ω$和FitzHugh Nagumo反应扩散方程），并与最新基线算法进行比较。数值结果表明，我们所提出的方法的优越性，在解决方案的精度，外推性和推广。

2021-06-26cs.CLcs.LGcs.NA

从网格到神经网络：求解非线性对流-反应-扩散方程的物理信息神经网络与Galerkin有限元法的多方法评估

From Mesh to Neural Nets: A Multi-Method Evaluation of Physics-Informed Neural Networks and Galerkin Finite Element Method for Solving Nonlinear Convection-Reaction-Diffusion Equations

本研究通过求解四个一维非线性对流-反应-扩散问题，对比了物理信息神经网络（PINN）与Galerkin有限元法（GFEM）的性能，发现PINN在准确性和效率上总体更优且更稳健。

2024-10-29cs.NAmath.NAphysics.comp-ph

物理信息边界积分网络（PIBI-Nets）：一种求解偏微分方程的数据驱动方法

Physics-Informed Boundary Integral Networks (PIBI-Nets): A Data-Driven Approach for Solving Partial Differential Equations

University of Basel（巴塞尔大学）

本文提出物理信息边界积分网络（PIBI-Nets），通过在比原问题空间低一维的边界上布点求解偏微分方程，克服了PINNs在高维场景下需要密集配点的计算瓶颈，并在Laplace和Poisson方程及地下水流动重建中验证了其优于PINNs的性能。

2024-07-03cs.LGcs.NAmath.DS

更多相关论文收起更多论文

循环神经网络作为网格优化策略

Recurrent Neural Networks as Optimal Mesh Refinement Strategies

我们表明，一个最佳的有限元网格细化算法的原型椭圆偏微分方程可以学习的递归神经网络与一个固定数量的可训练参数独立于所需的精度和输入大小，即，网格元素的数量。此外，对于一类具有深度神经网络很好近似的解的一般偏微分方程，我们证明了可以通过循环神经网络学习最佳网格细化策略。这包括尚未知道最佳自适应策略的问题。

2020-08-07cs.NAmath.NA

基于稠密连接RNN的偏微分方程多尺度非局部学习

Multiscale and Nonlocal Learning for PDEs using Densely Connected RNNs

学习控制进化观测的时间依赖的偏微分方程（PDE）是许多领域中数据驱动推理的核心挑战之一。在这项工作中，我们建议捕捉的基本动力学的数值挑战偏微分方程中产生的多尺度建模和模拟-动力学方程。这些方程通常是非局部的，包含的尺度/参数变化了几个数量级。我们引入了一个有效的框架，密集连接的递归神经网络（DC-RNN），通过将多尺度和高阶隐式显式（IMEX）计划纳入RNN结构设计，以识别多尺度和非局部偏微分方程的解析表示从异构实验产生的离散时间观测。如果存在于观测数据中，我们的DC-RNN可以捕获传输算子，非局部投影或碰撞算子，宏观扩散极限和其他动力学。我们提供的数值结果来证明我们提出的框架的优势，并与现有的方法进行比较。

2021-09-04cs.NAmath.NA

将偏微分方程的数值概念转化为神经结构

Translating Numerical Concepts for PDEs into Neural Architectures

Saarland University（萨尔兰大学）

我们研究了将数值算法转化为神经网络可以学到什么。在数值方面，我们考虑了一般高阶非线性扩散方程的显式、加速显式和隐格式，以及线性多重网格方法。在神经网络方面，我们确定了残差网络（ResNets），递归网络和U网的相应概念。这些连接保证了每个块中具有转置卷积层结构的特定ResNet的欧几里得稳定性。我们提出了三个数值的理由跳跃连接：作为显式计划的时间离散，作为外推机制，加速这些方法，并作为经常性的连接在不动点求解器的隐格式计划。最后但并非最不重要的是，我们还激励不寻常的设计选择，如非单调激活函数。我们的研究结果为现代神经网络架构的成功提供了一个数字视角，并为稳定的网络提供了设计标准。

2021-05-17cs.LGcs.NAmath.NA

对偏微分方程神经网络模型中复发损失的观察：对流-扩散方程

Observations on Recurrent Loss in the Neural Network Model of a Partial Differential Equation: the Advection-Diffusion Equation

US Air Force Institute of Technology（美国空军理工学院）

本文研究了利用机器学习方法近似求解偏微分方程时的稳定性问题，提出了一种与多步法结合配方法的递归网络，用于近似对流-扩散方程的空间导数，并展示了在简单线性问题中参数变化的影响以及传统数值方法可能失效的情况下稳定解的发现。

2026-05-18cs.NAmath.NA

偏微分方程数值算法与神经网络的联系

Connections between Numerical Algorithms for PDEs and Neural Networks

Saarland University（萨尔兰大学）

我们研究了偏微分方程（PDE）的数值算法和神经架构之间的许多结构连接。我们的目标是将丰富的数学基础从偏微分方程转移到神经网络。除了结构的见解，我们提供了具体的例子和实验评估所产生的架构。以一维广义非线性扩散为例，我们考虑了显式格式、加速策略、隐格式和多重网格方法。我们将这些概念与残差网络、递归神经网络和U-网架构联系起来。我们的研究结果启发了一个对称的残差网络设计与可证明的稳定性保证，并证明跳跃连接的有效性，从数值的角度来看，在神经网络。此外，我们提出了U-网络架构，实现多重网格技术学习有效解的偏微分方程模型，并激励不寻常的设计选择，如可训练的非单调激活函数。实验结果表明，所提出的架构节省了一半的可训练参数，因此可以在相同的模型复杂度下优于标准的。我们的考虑是解释流行神经架构成功的基础，并为开发新的数学基础良好的神经构建模块提供了蓝图。

2022-03-21cs.LGcs.NAmath.NA

通过界面算子网络求解参数化椭圆界面问题

Solving parametric elliptic interface problems via interfaced operator network

提出界面算子网络（IONet）求解参数化椭圆界面偏微分方程，通过划分子域、多分支与主干网络及定制物理信息损失函数，在无需内部配对数据下实现了优于现有方法的准确性与通用性。

2024-06-27cs.NAmath.NA

数值PDE求解器性能优于神经PDE求解器

Numerical PDE solvers outperform neural PDE solvers

本研究提出可微有限差分框架DeepFDM，将经典前向欧拉离散化嵌入卷积架构，在多类标量PDE基准测试中，误差、训练效率和参数量均显著优于主流神经PDE求解器，为参数化PDE的数据驱动求解与识别提供了稳健高效的透明基线。

2025-07-28cs.LGcs.NAmath.NA

用于偏微分方程及相关参数识别问题的深度学习方法

Deep Learning Methods for Partial Differential Equations and Related Parameter Identification Problems

Centre for Industrial Mathematics (ZeTeM), University of Bremen（不来梅大学工业数学中心（ZeTeM））；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；Robert Bosch GmbH（罗伯特·博世有限公司）

本文综述了利用深度学习方法求解偏微分方程及其参数识别和反问题的最新进展，并展示了其在工业应用中的实际价值。

2023-05-16cs.CEcs.LGcs.NA

基于机器学习的近似算法用于高维非线性偏微分方程和二阶反向随机微分方程

Machine learning approximation algorithms for high-dimensional fully nonlinear partial differential equations and second-order backward stochastic differential equations

ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Big Data Research（北京大数据研究院）；Princeton University（普林斯顿大学）；Peking University（北京大学）

本文提出了一种基于机器学习的高维非线性二阶偏微分方程的求解方法，通过将非线性偏微分方程与二阶反向随机微分方程联系起来，并利用深度神经网络进行空间近似和随机梯度下降优化，展示了该方法在高维Black-Scholes-Barenblatt方程、Hamilton-Jacobi-Bellman方程和非线性期望问题中的高效性和准确性。

2017-09-18cs.LGcs.NAcs.NE

使用神经算子对非线性波动方程进行长时间积分

Long-time Integration of Nonlinear Wave Equations with Neural Operators

Fudan University（复旦大学）；Center for Applied Mathematics, Fudan University（复旦大学应用数学中心）

本文提出以循环自回归方式结合守恒律与适定性等先验信息，改进神经算子对非线性波动方程的长时间积分精度，并在 KdV、sine-Gordon 和不规则区域 Klein-Gordon 方程上验证。

2025-02-17cs.LGcs.NAmath.NA

基于深度学习的降阶模型对非线性参数化动力系统的长时间预测

Long-time prediction of nonlinear parametrized dynamical systems by deep learning-based reduced order models

Politecnico di Milano（米兰理工大学）

最近已经提出了基于深度学习的降阶模型（DL-ROM），以克服传统ROM所共有的共同限制，例如，专门通过适当的正交分解（POD）-当应用于非线性时间相关的参数化偏微分方程。特别是，POD-DL-ROM可以在训练阶段实现极高的效率，并且在测试时比实时性能更快，这要归功于通过POD和基于DL的预测框架进行的先验降维。尽管如此，它们与常规ROM共享关于时间外推任务的差性能。这项工作旨在通过引入$μt$ -POD-LSTM-ROM框架，进一步使用DL算法对参数化偏微分方程进行有效的数值逼近。这种新技术通过利用长短期记忆（LSTM）单元添加双重架构来扩展POD-DL-ROM框架，最终允许对复杂系统的演化进行长期预测，相对于训练窗口，对于看不见的输入参数值。数值结果表明，这种递归架构使外推的时间窗口比训练时域大15倍，并实现了更好的测试时间性能，相对于已经闪电般快速的POD-DL-ROM。

2022-01-25cs.LGcs.NAmath.NA

增强物理信息神经网络（APINNs）：一种基于门控网络的软区域分解方法

Augmented Physics-Informed Neural Networks (APINNs): A gating network-based soft domain decomposition methodology

National University of Singapore（新加坡国立大学）；Brown University（布朗大学）

本文提出APINN，利用可训练门控网络实现软区域分解、全样本训练与参数共享，并通过PDE实验证明其可显著或小幅改进PINN与XPINN。

2023-09-30cs.LGcs.NAmath.DS

BSDES和PINN之间的插值：椭圆和抛物边值问题的深度学习

Interpolating between BSDEs and PINNs: deep learning for elliptic and parabolic boundary value problems

求解高维偏微分方程是经济学、科学和工程学中经常遇到的难题。近年来，已经开发了大量的计算方法，其中大多数依赖于蒙特卡洛采样和基于深度学习的近似的组合。对于椭圆和抛物问题，现有的方法可以大致分为那些依靠在$\textit{backward stochastic differential equations}$（BSDES）和那些旨在最小化回归型$L^2$ -错误（$\textit{physics-informed neural networks}$，PINN）方面的重新制定。在本文中，我们回顾了文献并提出了一种基于新型$\textit{diffusion loss}$的方法，该方法在BSDE和PINN之间进行插值。我们的贡献打开了大门，对高维偏微分方程的数值方法的统一理解，以及结合BSDES和PINN的优势的实现。此外，扩散损失与强化学习中的$\textit{(least squares) temporal difference}$目标非常相似。我们还讨论了本征值问题，并进行了广泛的数值研究，包括计算的基态非线性薛定谔运营商和committor功能相关的分子动力学。

2023-01-29cs.NAmath.NAmath.PR

深度学习的数学导论：方法、实现与理论

Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory

本书以完整的数学细节介绍深度学习算法，涵盖多种ANN架构与优化算法，探讨逼近能力、优化理论及泛化误差等理论方面，并回顾了求解PDE的PINNs和深度Galerkin方法，适合初学者与从业者构建数学基础。

2025-07-15cs.AIcs.LGcs.NA