Automated solving of constant-coefficients second-order linear PDEs using Fourier analysis
Cinvestav Unidad Querétaro(墨西哥国立研究中心克雷塔罗分部);Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
本文基于傅里叶方法,利用计算机代数系统自动求解常系数二阶线性偏微分方程,涵盖热方程、波动方程和拉普拉斯方程在常见有界域上的斯特鲁姆-刘维尔问题,以及常系数二阶线性抛物型方程,包括对流扩散方程。
2026-04-25 cs.NA math.NA
Hierarchical adaptive low-rank format with applications to discretized PDEs
提出了一种新的压缩矩阵格式,它结合了自适应分层划分的矩阵与低秩近似。一个典型的应用是矩形域上离散函数的近似;格式的灵活性使得可以处理在小的局部区域中具有奇异性的函数。为了处理奇异点的时间演化和重新定位,可以基于底层数据的特征动态地调整分区。我们的格式可以被利用来有效地解决线性系的克罗内克产品结构,因为它们产生于离散的偏微分方程(PDE)。为此,这些线性系被改写为线性矩阵方程,并从这些方程的低秩更新推导出递归求解器。我们证明了我们的框架的稳定性和时间依赖性,线性和非线性偏微分方程,包括伯格斯和艾伦-卡恩方程的有效性。
2021-11-04 cs.NA math.NA
Low-rank cross approximation of function-valued tensors for reduced-order modeling of parametric PDEs
University of Vienna(维也纳大学);University of Houston(休斯顿大学)
本文提出了一种基于函数值张量低秩交叉近似的降维方法,用于参数PDE的建模,通过编码器-解码器结构实现高效降维与非线性建模。
2026-11-11 cs.NA math.NA
Solving parametric PDE problems with artificial neural networks
Stanford University(斯坦福大学);Duke University(杜克大学)
本文提出利用神经网络对偏微分方程中的物理量进行参数化建模,以解决高维不确定性下的计算难题,通过工程和物理中的实例验证了该方法的简洁性和准确性。
2018-05-22 cs.NA math.NA
Kernel-based Discretisation for Solving Matrix-Valued PDEs
University of Sussex(萨塞克斯大学);University of Bayreuth(拜罗伊特大学)
本文提出一种基于核的无网格离散方法,用于求解矩阵值偏微分方程,通过扩展再生核希尔伯特空间理论,推导误差估计并给出动力系统示例。
2017-06-28 cs.NA math.NA
Solving PDEs with Incomplete Information
针对信息不足无法确定唯一解的偏微分方程数值求解问题,以边界数据未知、仅有限线性测量的泊松边值问题为例,将其转化为最优恢复问题,借助调和函数希尔伯特空间的Riesz表示元推导与近似,构建相关理论与数值算法。
2023-12-20 cs.NA math.NA
Meta-MgNet: Meta Multigrid Networks for Solving Parameterized Partial Differential Equations
本文研究了基于深度学习(DL)的参数化偏微分方程(P-PDE)的数值解。P-PDE出现在许多重要的应用领域中,使用传统的数值格式的计算成本可能过高,特别是当参数落入特定范围并且底层PDE需要以高精度求解时。最近,用深度学习解决偏微分方程已成为一个新兴领域。已有的工作表明,基于DL的方法在加快偏微分方程数值解方面具有巨大的潜力。然而,仍然有有限的研究DL方法的P-PDE。如果我们直接将现有的监督学习模型应用于P-PDE,当参数改变时,模型需要不断微调或重新训练。这极大地限制了这些模型在实践中的适用性和实用性。为了解决这个问题,我们提出了一种基于元学习的方法,可以有效地解决P-PDE与广泛的参数,而无需重新训练。我们的主要观察是把训练一个求解器的P-PDE与一组给定的参数作为一个学习任务。然后,训练一个求解器的P-PDE与不同的参数可以被看作是一个多任务学习问题,元学习是最有效的方法之一。这种新的视角可以应用于许多现有的PDE求解器。作为一个例子,我们采用多重网格网络(MgNet)作为基本求解器。为了实现多任务学习,我们在MgNet中引入了一个新的超网络,称为Meta-NN,并将整个网络称为Meta-MgNet。Meta-NN将微分算子和底层P-PDE的右侧作为输入,并为MgNet生成适当的平滑器,这可以显着影响收敛速度。最后,大量的数值实验表明,元MgNet是更有效地解决P-PDE比…
2020-11-01 cs.NA math.NA
Kolmogorov widths and low-rank approximations of parametric elliptic PDEs
研究了参数椭圆扩散PDEs的Kolmogorov n-宽度和低秩近似,证明在扩散系数为分段常数时,n-宽度衰减更快,从而为减少基底或POD方法的快速收敛提供理论依据。
2015-02-10 cs.NA math.NA
Positional Embeddings for Solving PDEs with Evolutional Deep Neural Networks
本文提出基于Laplace-Beltrami算子特征函数的位置嵌入,将演化深度神经网络扩展到复杂几何区域上的参数化时变PDE求解,并通过Krylov求解、主动采样和改进Rosenbrock方法提升性能,数值实验验证了其有效性。
2023-08-07 cs.NA math.NA
Solving and Learning Nonlinear PDEs with Gaussian Processes
我们介绍了一个简单的,严格的,统一的框架,解决非线性偏微分方程(PDE),并解决逆问题(IP)涉及的参数识别偏微分方程,使用高斯过程的框架。拟议办法:(1)为非线性偏微分方程和非线性规划问题提供了配置核方法的自然推广;(2)保证了一类非常一般的偏微分方程的收敛性,并配备了计算特定偏微分方程近似的误差界的路径;(3)继承了稠密核矩阵线性求解器的最新计算复杂性。我们的方法的主要思想是近似的解决方案,一个给定的偏微分方程的高斯过程的最大后验(MAP)估计解决偏微分方程在有限数量的配置点的条件。虽然这个最优化问题是无限维的,它可以减少到一个有限维的通过引入额外的变量对应的值的衍生物的解决方案在配置点,这推广了高斯过程回归中出现的表示定理。简化的最优化问题具有受非线性约束的二次目标函数的形式;它用高斯-牛顿法的变体来求解。所得到的算法(a)可以被解释为求解非线性PDE的连续线性化,并且(b)在实践中被发现对于广泛的PDE在少量迭代(2到10)中收敛。大多数传统的IP方法交错参数更新与PDE的数值解,我们的算法解决参数和PDE解决方案同时进行。非线性椭圆偏微分方程,伯格斯方程,正则化Eikonal方程,和IP渗透率识别达西流的实验说明了我们的框架的有效性和范围。
2021-08-10 cs.NA math.NA stat.ML
Ghost Point Diffusion Maps for solving elliptic PDE's on Manifolds with Classical Boundary Conditions
在本文中,我们扩展类的核方法,所谓的扩散映射(DM),及其本地的内核变种,近似二阶微分算子定义在光滑流形自然产生的边界椭圆PDE模型。为了实现这一目标,我们引入了鬼点扩散映射(GPDM)估计的扩展流形上,确定了一组点云上的未知的原始流形连同一组鬼点,指定沿估计的切线方向在边界处的采样点。由此产生的GPDM估计限制标准DM矩阵的一组外推方程,估计在鬼点的函数值。这种调整类似于经典的鬼点方法在有限差分格式求解偏微分方程的平坦区域。相对于经典的DM发散的边界附近,建议的GPDM估计甚至在边界附近逐点收敛。应用相容的GPDM估计求解具有经典边界条件(Dirichlet,Neumann和Robin)的适定椭圆型偏微分方程,在适当的光滑性假设下,我们建立了近似解的收敛性.我们数值验证建议的无网格PDE求解器上定义的各种问题上的简单子流形嵌入在欧几里得空间,以及在一个未知的流形。数值上,我们还发现GPDM在求解有界光滑流形上的椭圆本征值问题时比DM更精确。
2021-03-17 cs.NA math.NA
Locally Subspace-Informed Neural Operators for Efficient Multiscale PDE Solving
AXXX;Institute of Numerical Mathematics(计算数学研究所);North-Eastern Federal University(东北联邦大学)
本文提出一种局部子空间感知神经算子,通过学习子空间而非基函数,有效降低多尺度PDE求解的误差和计算成本。
2026-02-27 cs.NA math.NA
A domain splitting strategy for solving PDEs
在这项工作中,我们开发了一种新的区域分裂策略的解决方案的偏微分方程。针对均匀离散的$d$维对流-扩散方程,我们的建议是一个两级的算法,合并的解决方案,从离散的方程在高度各向异性的子网格计算的初始近似的精细的解决方案。然后,该算法通过利用残差的结构来迭代地细化初始猜测。在各向异性子网格上执行昂贵的计算使我们能够将问题的维度减少一个,并且合并过程(涉及不相交域上的解的计算)允许并行实现。
2023-03-02 cs.NA math.NA
A Novel Galerkin Method for Solving PDEs on the Sphere Using Highly Localized Kernel Bases
Texas A&M University(德克萨斯农工大学)
本文提出了一种新的Galerkin方法,用于在球面上求解偏微分方程,利用高度局部化的基底进行离散化,并探讨了离散刚度矩阵的稳定性与误差估计。
2015-02-16 cs.NA math.NA
A new efficient approximation scheme for solving high-dimensional semilinear PDEs: control variate method for Deep BSDE solver
提出了一种求解高维半线性偏微分方程(PDE)和倒向随机微分方程(BSDEs)的新的逼近格式。首先,我们将一个目标半线性偏微分方程分解为两部分,即“主导”线性偏微分方程和“小”非线性偏微分方程。然后,我们采用了一种新的控制变量的方法来解决这些偏微分方程,其中基于渐近展开技术的近似有效地应用于线性部分,也用作控制变量的非线性部分。此外,我们的理论结果表明,所提出的方法的误差变得小于那些原来的Deep Boundary求解器。最后通过数值实验验证了该方法的有效性,实验结果与本文的理论结果一致。
2021-01-31 cs.NA math.NA q-fin.CP
Sparse and low-rank approximations of parametric elliptic PDEs: the best of both worlds
本文提出一种结合低秩张量逼近与稀疏多项式展开的新格式,用于高效求解参数化椭圆型PDE,并设计了保持准最优秩与最优收敛速度的自适应求解器。
2025-06-24 cs.NA math.NA
MOD-Net: A Machine Learning Approach via Model-Operator-Data Network for Solving PDEs
Shanghai Jiao Tong University(上海交通大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心);Peking University(北京大学);AI for Science Institute(北京科学智能研究院)
在本文中,我们提出了一个机器学习方法,通过模型-算子-数据网络(MOD-Net)求解偏微分方程。一个MOD网络是由一个模型驱动的,用于基于数据正则化的算子表示来求解偏微分方程。对于线性偏微分方程,我们使用DNN来参数化格林函数,并根据格林方法获得近似解的神经算子。为了训练DNN,经验风险由具有最小二乘公式或控制方程和边界条件的变分公式的均方损失组成。对于复杂问题,经验风险还包含少量标签,在粗网格点上计算,计算成本低廉,显著提高了模型精度。直观地说,除了模型约束之外,标记数据集还可以作为正则化。MOD-Net解决了一族偏微分方程,而不是一个特定的偏微分方程,并且比原始的神经算子更有效,因为需要很少的昂贵标签。数值计算表明,MOD-Net在求解泊松方程和一维辐射传输方程方面是非常有效的。对于非线性偏微分方程,非线性MOD-Net可以类似地用作求解非线性偏微分方程的模拟器,例如求解几个非线性偏微分方程问题,如Burgers方程。
2021-12-28 cs.LG cs.NA math.NA
Immersed Boundary Smooth Extension: A high-order method for solving PDE on arbitrary smooth domains using Fourier spectral methods
University of California, Davis(加州大学戴维斯分校)
本文提出一种高阶浸入边界平滑扩展方法,通过将PDE的解从给定光滑域平滑扩展到更大计算域,实现高阶精度,适用于傅里叶谱方法。方法保留了原有浸入边界方法的灵活性和鲁棒性,并应用于求解泊松、热、伯格斯和菲茨霍伊-纳戈莫方程。
2015-10-28 cs.NA math.NA
Annealed adaptive importance sampling method in PINNs for solving high dimensional partial differential equations
本文提出退火自适应重要性采样(AAIS)方法,通过在残差较高区域策略性采样额外点来改进PINNs求解高维偏微分方程的精度与效率,尤其适用于奇异性问题。
2024-05-06 cs.NA math.NA
A PDE-based Adaptive Kernel Method for Solving Optimal Filtering Problems
在本文中,我们介绍了一种自适应核方法来解决最优滤波问题。我们采用的计算框架是贝叶斯滤波器,其中我们递归地生成一个最佳估计的目标随机动力系统的状态的基础上部分噪声观测数据。我们使用的数学模型制定的状态动力学的传播是福克-普朗克方程,我们引入了一个算子分解方法来有效地解决福克-普朗克方程。引入自适应核方法,自适应地构造高斯核函数来逼近目标状态的概率分布。贝叶斯推理被应用于将观测数据纳入状态模型仿真。数值实验已经进行了验证我们的核方法的性能。
2022-03-09 cs.NA math.NA
A Local Deep Learning Method for Solving High Order Partial Differential Equations
目前,基于深度学习的方法正被用于解决高维偏微分方程(PDE)的计算挑战。但是神经网络高阶导数的计算代价很高,而且高阶导数对训练缺乏鲁棒性。我们提出了一种通过同时逼近函数值和导数来求解具有高阶导数的偏微分方程的新方法。与局部间断Galerkin方法一样,我们引入中间变量将偏微分方程改写成一个低阶微分方程。中间变量和偏微分方程的解同时由多输出深度神经网络近似。通过将系统的残差作为损失函数,我们可以优化网络参数以逼近解。整个过程依赖于低阶导数。大量的数值例子表明,我们的局部深度学习是有效的,鲁棒的,灵活的,特别适合于具有高阶导数的高维偏微分方程。
2021-03-16 cs.NA math.NA
Effective Methods for Solving Band SLEs after Parabolic Nonlinear PDEs
Joint Institute for Nuclear Research(俄罗斯联合核研究所)
本文研究了多层域中热传递过程模型,提出了一种非均匀网格的有限差分方案,用于求解非对角占优且非正定的带状线性方程组。
2018-02-10 cs.NA math.NA
Global Convergence of DGM and PINN Algorithms for Solving Nonlinear PDEs
Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Mathematics and Statistics, Boston University(波士顿大学数学与统计系)
研究一类半线性偏微分方程,证明用梯度下降训练来最小化PDE残差目标函数的神经网络可收敛到PDE解,为DGM和PINN算法求解此类方程的数学基础提供了依据。
2026-09-25 cs.LG cs.NA math.NA
Deep collocation method: A framework for solving PDEs using neural networks with error control
提出一种基于单隐层神经网络构建基函数的自适应深度配置法,通过配置最小二乘和渐进误差指示器求解偏微分方程,实现了高精度与鲁棒性。
2025-03-07 cs.NA math.NA
Latent Neural Operator Pretraining for Solving Time-Dependent PDEs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对神经算子求解单个PDE时的数据稀缺问题,提出基于潜在神经算子(LNO)的LNOP预训练框架,通过混合时间依赖PDE数据集预训练提取物理系统表示,单PDE数据集微调求解,在求解精度、迁移能力和数据效率上优于未预训练方法。
2024-11-27 cs.LG cs.NA math.NA
Solving forward and inverse problems in a non-linear 3D PDE via an asymptotic expansion based approach
本文利用渐近展开有效地求解了一类非线性奇摄动含时反应扩散平流方程的正问题和反问题。利用局部坐标在过渡层区域的渐近展开,证明了一类三维偏微分方程具有尖锐过渡层的光滑解的存在唯一性.此外,借助于渐近展开,导出了相应的源反问题的简化模型,该模型在除窄过渡层外的整个区域上都接近于原反问题。我们表明,这样的简化不降低精度的反演结果时,测量数据包含噪声。在此基础上,提出了一种渐近展开正则化算法,有效地解决了三维情况下的源反问题。一个模型问题表明所提出的数值方法的可行性。
2023-02-14 cs.NA math.NA
On iterative methods for solving ill-posed problems modeled by PDE's
研究了由Maz'ya和Kozlov提出的求解偏微分方程不适定反问题的迭代法(见[KM 1],[KM 2]).我们考虑椭圆型,双曲型和抛物型的线性演化问题。所分析的方法的每次迭代包括在一个适定问题(分别为边值问题或初值问题)的解决方案。迭代被描述为仿射算子的幂,如[KM 2]中所述。我们使用谱理论和事实,这些仿射算子的线性部分是非扩张的额外的功能分析性质(见[Le1,2])的算法给出了替代的收敛性证明。噪声数据的问题也被认为是和估计的收敛速度下的先验规则性假设的问题数据。
2020-11-29 cs.NA math.NA
A low-rank tensor method for PDE-constrained optimization with isogeometric analysis
Technische Universität Chemnitz(开姆尼茨工业大学);University of Bath(巴斯大学)
本文提出了一种低秩张量方法,用于解决通过等几何分析离散化的PDE约束优化问题,通过将大规模质量矩阵和刚度矩阵表示为少量Kronecker积之和,从而减少计算时间和存储需求。
2018-11-23 cs.NA math.NA
Analysis of a fully discretized FDM-FEM scheme for solving thermo-elastic-damage coupled nonlinear PDE systems
本文针对热-弹性-损伤耦合非线性偏微分方程组,提出基于低阶Galerkin有限元与隐式有限差分的全离散格式,并严格证明其收敛性及给出收敛阶。
2023-11-15 cs.NA math.NA
Sparse Gaussian processes for solving nonlinear PDEs
本文针对非线性偏微分方程求解中高斯过程计算代价过高的问题,提出基于稀疏高斯过程的方法,在RKHS的压缩子空间上重构优化问题,并证明其能以更少诱导点达到与GP方法相当的精度,显著降低计算成本。
2023-07-01 cs.NA math.NA
Pre-training strategy for solving evolution equations based on physics-informed neural networks
针对标准 PINN 难以求解强非线性或高频时间演化 PDE 的问题,本文提出 PT-PINN 分时间子域预训练策略,以提升收敛性、精度与求解能力。
2022-11-12 cs.NA math.NA
Sparse Spectral Methods for Solving High-Dimensional and Multiscale Elliptic PDEs
在他的专著切比雪夫和傅立叶谱方法,约翰博伊德声称,关于傅立叶谱方法解决微分方程,“[t]他的优点快速傅里叶变换将继续改善无情的游行到越来越大的[带宽]继续”。本文试图进一步发挥快速傅里叶变换(FFT)的优点,因为不仅带宽被推到了极限,而且问题的维数也被推到了极限。然而,我们没有使用传统的FFT,而是进行了一个关键的替代:一个高维的,稀疏的傅里叶变换(SFT)与随机秩1格方法配对。由此产生的稀疏谱方法快速,自动地确定一组傅立叶基函数,其跨度是保证包含一个精确的近似的解决方案,一个给定的椭圆偏微分方程。然后,使用这个小得多、接近最佳的傅里叶基在运行时有效地求解给定的偏微分方程,这仅取决于偏微分方程的数据压缩性和椭圆度属性,同时打破维度灾难并缓解对原始问题中任何多尺度结构的线性依赖。本文建立了该方法的理论性能与Sobolev范数的收敛性分析的一般类的非常数扩散方程,以及指针的技术扩展的收敛性分析更一般的对流扩散反应方程。数值实验表明,良好的经验性能的多尺度和高维的例子问题,进一步展示了所提出的方法在实践中的承诺。
2023-02-01 cs.NA math.NA
FastLSQ: Solving PDEs in One Shot via Fourier Features with Exact Analytical Derivatives
Lawrence Berkeley National Laboratory(伯克利国家实验室)
FastLSQ利用三角随机傅里叶特征和精确解析导数,高效求解偏微分方程及反问题,实现线性问题一次最小二乘调用,非线性问题通过牛顿-拉夫森法重用解析装配,性能显著优于迭代PINNs。
2026-03-22 cs.LG cs.NA math.NA
A low-rank tensor method to reconstruct sparse initial states for PDEs with Isogeometric Analysis
当使用偏微分方程时,重建以前的状态往往是困难的。良好的先验知识和快速的计算方法对于构建工作重建至关重要。我们希望在小的、不同的源的假设下,从以后的测量中识别三维域上的热源,例如来自铣削工具的热切屑。这导致我们需要一个先验来反映这个先验信息。稀疏诱导超先验已被证明可用于稀疏信号或图像重建的类似问题。我们结合的方法,使用分层贝叶斯模型与伽玛超先验,以促进稀疏与低秩计算的PDE系统中的张量训练格式。
2021-09-07 cs.NA math.NA math.OC
Solving forward and inverse PDE problems on unknown manifolds via physics-informed neural operators
本文研究在未知流形上利用物理信息深度算子网络求解偏微分方程正反问题,通过扩散映射、径向基函数和广义移动最小二乘近似微分项,并在贝叶斯MCMC框架中实现扩散系数估计,数值结果表明其精度高且计算成本更低。
2024-07-07 cs.NA math.NA
Neural-PDE: A RNN based neural network for solving time dependent PDEs
University of Notre Dame(圣母大学);Duke Kunshan University(杜克昆山大学)
偏微分方程(PDE)在研究大量科学和工程问题中起着至关重要的作用。数值求解非线性和/或高维偏微分方程通常是一项具有挑战性的任务。受传统有限差分和有限元方法以及机器学习新进展的启发,我们提出了一种称为Neural-PDE的序列深度学习框架,该框架允许通过使用双向LSTM编码器从现有数据中自动学习任何时间相关PDE系统的控制规则,并预测接下来的n个时间步长数据。我们提出的框架的一个关键特征是,神经元PDE是能够同时学习和模拟多尺度变量。我们测试了一系列的例子,从一维偏微分方程的高维和非线性复杂流体模型的神经元PDE。实验结果表明,Neural-PDE能够在不知道PDE系统具体形式的情况下学习系统的初始条件、边界条件和微分算子,在20个epoch的训练时间内就能有效地提取系统的动力学特征,并给出准确的预测结果.此外,与学习PDE的传统机器学习方法(例如CNN和MLP)不同,Neural-PDE在所有时间步长上共享参数,从而大大降低了计算复杂性并导致快速学习算法。
2022-01-09 cs.LG cs.NA math.NA
Optimally weighted loss functions for solving PDEs with Neural Networks
最近的工作表明,深度神经网络可以用来求解偏微分方程,从而产生了物理学通知神经网络的框架。我们介绍了这些方法,表现为一个缩放参数,平衡的相对重要性的偏微分方程所施加的不同的约束的泛化。给出了这些广义方法的数学依据,证明了对于线性适定的偏微分方程,其泛函形式是凸的。然后,我们推导出一个选择的缩放参数是最佳的相对于相对误差的措施。由于这种最优选择依赖于对解析解的充分了解,我们还提出了一种启发式方法来近似这种最优选择。所提出的方法进行了比较,数值上的各种模型偏微分方程的原始方法,与数据点的数量被更新自适应。对于几个问题,包括高维偏微分方程,所提出的方法显着提高精度。
2021-03-24 cs.NA math.NA
A Novel Preconditioning Framework for Solving Nonlinear PDEs based on Fenchel-Rockafellar Duality and Transformed Primal-Dual Techniques
本文提出DualTPD方法求解非线性偏微分方程,利用Fenchel-Rockafellar对偶解耦、变换原始-对偶动力学加速收敛及高效预处理器,实验显示网格无关的全局收敛和显著效率提升。
2025-10-17 cs.NA math.NA
Stochastic methods for solving high-dimensional partial differential equations
Centrale Nantes, LMJL, UMR CNRS 6629(南特中央理工学院);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP*, LJK(格勒诺布尔阿尔卑斯大学)
本文提出了一种结合概率解释(通过Feynman-Kac表示)与稀疏插值的算法,用于求解高维偏微分方程,通过蒙特卡洛方法和时间积分方案估计解的点评估,并利用顺序控制变量子算法进行改进。
2019-05-14 cs.NA math.NA
Implicit bias with Ritz-Galerkin method in understanding deep learning for solving PDEs
本文旨在研究Ritz-Galerkin(R-G)方法和深度神经网络(DNN)方法在求解偏微分方程(PDE)方面的差异,以更好地理解深度学习。为此,我们考虑求解一个特定的泊松问题,其中方程f的右侧信息仅在n个样本点处可用,即f在有限个样本点处是已知的。通过理论和数值研究,我们证明了对于一维问题,R-G方法的解收敛于分段线性函数,对于高维问题,R-G方法的解收敛于正则性较低的函数.然而,在相同的设置下,DNN学习相对平滑的解决方案,而不管维度如何,也就是说,DNN隐含地偏向于在所有函数中具有更多低频分量的函数,这些函数可以在可用数据点处拟合方程。最近对频率原理的研究解释了这种偏差(Xu等人,(2019)[17]和Zhang等人,(2019)[11,19])。除了传统数值方法和DNN在近似角度上的相似性之外,我们的工作表明,不同于传统数值方法的学习过程中的隐式偏差可以帮助更好地理解DNN的特性。
2020-12-09 cs.NA math.NA
MIM: A deep mixed residual method for solving high-order partial differential equations
近年来,通过深度学习求解偏微分方程(PDE)受到了极大的关注。例如,深度Galerkin方法(DGM)使用最小二乘意义上的PDE残差作为损失函数,并使用深度神经网络(DNN)来近似PDE解。在这项工作中,我们提出了一个深度混合残差方法(MIM)解决偏微分方程的高阶导数。在MIM中,我们首先将高阶偏微分方程改写为一阶方程组,这与偏微分方程经典数值方法中的局部间断Galerkin方法和混合有限元法的思想非常相似。然后,我们使用最小二乘意义下的一阶系统的残差作为损失函数,这与最小二乘有限元法密切相关。对于上述经典的数值方法,在许多情况下,试验和检验函数的选择对于稳定性和精度问题是重要的。当DNN被用来近似一阶系统中的未知函数时,MIM也具有这种特性。在一种情况下,我们使用几乎相同的DNN来近似所有未知函数,而在另一种情况下,我们对不同的未知函数使用完全不同的DNN。在大多数情况下,MIM提供了比DGM更好的近似(不仅对于PDE解的高阶导数,而且对于PDE解本身),具有几乎相同的DNN和相同的执行时间,有时超过一个数量级。当使用不同的DNN时,在许多情况下,MIM提供比仅具有一个DNN的MIM更好的近似,有时超过一个数量级。因此,我们期望MIM能够从经典数值分析的角度,为理解和改进深度学习解决偏微分方程开辟一条可能的系统途径。
2020-06-07 cs.NA math.NA
DeltaPhi: Physical States Residual Learning for Neural Operators in Data-Limited PDE Solving
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);The State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室)
针对数据驱动PDE求解中高质量训练数据不足的问题,提出架构无关的DeltaPhi框架,通过学习相似物理状态残差实现隐式数据增强,可适配现有神经算子并在多场景下显著提升性能。
2025-10-28 cs.LG cs.NA math.NA
Physics-informed low-rank neural operators with application to parametric elliptic PDEs
提出物理信息低秩神经算子PILNO,结合低秩核近似与编码器-解码器架构,在点云上高效逼近PDE解算子,通过物理信息惩罚训练确保约束满足,适用于多种参数化椭圆型PDE问题。
2025-09-09 cs.NA math.NA physics.comp-ph
Solving Stochastic PDEs Using FEniCS and UQtk
谱随机有限元法是求解随机偏微分方程的一种强有力的数值方法。然而,它在学术和工业应用中没有被广泛采用,因为它需要在PDE求解器中进行侵入式调整,与非侵入式(采样)SSFEM相比,这需要大量的编码工作。使用随机PDE的一个例子,在这篇文章中,我们证明了使用FEniCS -一个通用的有限元包和UQTk -一个集合的库和工具的量化不确定性,可以减轻实施的挑战,侵入性的方法。此外,算法的细节和代码片段提供,以帮助计算科学家在实现这些方法的应用。本文摘自作者的论文[1]。
2022-09-19 cs.CE cs.DM cs.NA
SHoP: A Deep Learning Framework for Solving High-order Partial Differential Equations
Tsinghua University(清华大学);Institute for Brain and Cognitive Science, Tsinghua University (THUIBCS)(清华大学脑与认知科学研究院)
针对现有神经网络求解高阶偏微分方程时高阶导数计算精度不足且缺乏可解释性的问题,提出深度学习框架SHoP,通过推导高阶导数规则和泰勒级数展开提供显式解,实现高效准确求解。
2023-05-17 cs.LG cs.NA math.NA
DiffusionPDE: Generative PDE-Solving Under Partial Observation
University of Michigan(密歇根大学);Stanford University(斯坦福大学)
针对部分观测下现有偏微分方程求解方法表现不佳的问题,提出DiffusionPDE框架,通过建模解与系数的联合分布,同时补全信息并求解,性能显著优于现有方法。
2024-11-01 cs.AI cs.CV cs.LG
A Primal-dual hybrid gradient method for solving optimal control problems and the corresponding Hamilton-Jacobi PDEs
本文利用 Lagrange 乘子将最优控制与 HJ PDE 重构为鞍点问题,提出基于预条件 PDHG 的一阶、无条件稳定且可并行的求解框架。
2024-03-04 cs.NA math.NA math.OC
A Quantum Spectral Framework for Solving PDEs
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家数字研究院);Università di Pisa(比萨大学);Thales Land & Air Systems(泰雷兹陆地与航空系统)
本文提出利用量子块编码和量子可逆算术求解二阶线性偏微分方程,通过傅里叶空间滤波器结构特性,提供一种替代传统量子矩阵求逆的方法,为扩展至量子群傅里叶变换、小波分析和等变量子神经网络奠定基础。
2026-04-28 cs.NA math.NA quant-ph
A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations
University of California, Irvine(加州大学欧文分校)
针对物理信息机器学习求解非线性偏微分方程时对神经网络架构和损失函数敏感的问题,提出核加权校正残差框架,整合核方法与深度神经网络优势,显著提升性能并降低模型对初始化等因素的敏感性。
2024-09-26 cs.LG cs.NA math.NA
Neural Q-learning for solving PDEs
University of Oxford(牛津大学)
提出基于强化学习 Q-learning 的无网格 Q-PDE 算法求解椭圆型偏微分方程,利用神经正切核方法证明了其神经网络逼近器在宽网络极限下收敛于无穷维 ODE 轨迹,并最终在 $L^2$ 中收敛到 PDE 解。
2023-06-25 cs.LG cs.NA math.AP
PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs
Northeastern University(东北大学);University of Notre Dame(圣母大学);MIT(麻省理工学院)
偏微分方程(PDE)在建模和模拟各种学科的问题中发挥着重要作用。深度学习的最新进展表明,物理信息神经网络(PINN)在解决偏微分方程方面具有巨大潜力,可作为数据驱动建模和逆分析的基础。然而,大多数现有的PINN方法,基于全连接的神经网络,造成内在的限制,低维时空参数化。此外,由于初始/边界条件(I/BC)是通过惩罚来软施加的,因此解的质量严重依赖于超参数调整。为此,我们提出了新的物理信息卷积递归学习架构(PhyCRNet和PhyCRNet-s),用于在没有任何标记数据的情况下求解偏微分方程。具体地,提出了用于低维空间特征提取和时间演化学习的编码器-解码器卷积长短期记忆网络。损失函数被定义为聚合的离散化PDE残差,而I/BC在网络中被硬编码以确保强制满足(例如,周期性边界填充)。网络通过自回归和残差连接进一步增强,显式模拟时间推进。我们提出的方法的性能已经通过求解三个非线性偏微分方程(例如,2D Burgers方程、$λ$ - $ω$和FitzHugh Nagumo反应扩散方程),并与最新基线算法进行比较。数值结果表明,我们所提出的方法的优越性,在解决方案的精度,外推性和推广。
2021-06-26 cs.CL cs.LG cs.NA
Robust SDE-Based Variational Formulations for Solving Linear PDEs via Deep Learning
Freie Universität Berlin(柏林自由大学);Zuse Institute Berlin(柏林祖斯研究所);dida Datenschmiede GmbH(dida数据锻造有限责任公司);University of Vienna(维也纳大学)
蒙特卡罗方法和深度学习的结合最近产生了求解高维偏微分方程(PDE)的有效算法。相关的学习问题通常被描述为基于相关随机微分方程(SDEs)的变分公式,其允许使用基于梯度的优化方法来最小化相应的损失。因此,在相应的数值实现中,依赖于表现出低方差的足够的梯度估计器以准确和快速地达到收敛是至关重要的。在这篇文章中,我们严格调查相应的数值方面出现在线性Kolmogorov偏微分方程的背景下。特别是,我们系统地比较了现有的深度学习方法,并为它们的性能提供了理论解释。随后,我们提出了新的方法,可以被证明是更强大的理论和数值计算,从而大大提高性能。
2022-08-05 cs.LG cs.NA math.NA
VS-PINN: A fast and efficient training of physics-informed neural networks using variable-scaling methods for solving PDEs with stiff behavior
Inha University(仁荷大学)
针对具有刚性或高频特性的偏微分方程求解中PINNs训练困难的问题,提出基于可变缩放技术的VS-PINN方法,经实验验证可提升训练效率与性能,并通过NTK分析给出理论支撑。
2024-07-12 cs.LG cs.NA math.NA
Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations
Osaka University(大阪大学);The Institute of Scientific and Industrial Research, Osaka University(大阪大学科学与工业研究所)
最近,研究人员利用神经网络来精确求解偏微分方程(PDE),使无网格方法的科学计算。不幸的是,当遇到高非线性域时,网络性能下降。为了提高泛化能力,我们引入了新的方法,采用多任务学习技术,不确定性加权损失和梯度手术,在学习PDE解决方案的背景下。多任务方案利用了学习共享表示的好处,由十字绣模块控制,多个相关PDE之间,这是通过改变PDE参数化系数,以更好地概括原始PDE。为了鼓励网络更加关注学习更具挑战性的高非线性域区域,我们还提出了对抗性训练来生成补充的高损失样本,这些样本与原始训练分布类似。在实验中,我们提出的方法被发现是有效的,并减少了错误的看不见的数据点相比,以前的方法在各种PDE的例子,包括高维随机PDE。
2021-05-12 cs.LG cs.NA math.NA