Solver-Integrated Adversarial Attacking and Training of Neural Operators
本文从求解器角度研究神经算子的泛化与鲁棒性,提出求解器集成对抗攻击与训练方法,提升泛化与鲁棒性,实验表明深度集成更有效。
2026-10-30 cs.LG
Flow Learners for PDEs: Toward a Physics-to-Physics Paradigm for Scientific Computing
The University of Alabama(阿拉巴马大学);University of Pittsburgh(匹兹堡大学)
本文提出流学习器(flow learners)范式,通过参数化传输向量场并积分生成轨迹,将PDE求解从状态预测转向物理上允许的未来传输建模,实现连续时间预测、不确定性量化及物理感知求解器设计。
2026-06-02 cs.LG
Experimental Demonstration of an Optical Neural PDE Solver via On-Chip PINN Training
Hewlett Packard Labs, Hewlett Packard Enterprise(慧与企业惠普实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文实验演示了一种光学神经PDE求解器,利用物理信息神经网络在光子芯片上进行免反向传播训练,为解决偏微分方程提供了新方法。
2025-01-01 cs.AR cs.LG physics.optics
Beyond Accuracy: EcoL2 Metric for Sustainable Neural PDE Solvers
Department of Engineering Structures(工程结构系);TU Delft(代尔夫特理工大学);Department of Electrical Engineering(电气工程系);TU Eindhoven(埃因霍温理工大学);Laboratory of Earthquake Engineering(地震工程实验室);National Technical University of Athens(雅典国家技术大学);Machine Learning Research Group(机器学习研究组);University of Oxford(牛津大学)
针对现有神经PDE求解器只重精度、忽视计算碳排放的问题,提出平衡精度与全流程碳排放的EcoL2度量,经两类架构实验验证可实现性能与排放成本的整体评估,助力构建低环境影响的科学机器学习系统。
2025-05-18 cs.AI cs.LG
Hybrid Iterative Solvers with Geometry-Aware Neural Preconditioners for Parametric PDEs
Division of Applied Mathematics(应用数学系);Brown University(布朗大学);Ansys UK Ltd(Ansys英国有限公司)
本文提出Geo-DeepONet,结合几何信息的神经预置条件器,提升混合迭代求解器在参数PDEs中的鲁棒性和效率。
2025-12-16 cs.LG cs.NA math.NA
Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers
Brown University(布朗大学);Tel Aviv University(特拉维夫大学);Ansys Inc(安sys公司)
本文提出HINTS混合求解器,将DeepONet与松弛方法结合,利用谱偏差互补优势,实现PDE快速、可扩展且均匀收敛的数值求解。
2024-09-02 cs.LG cs.NA math.NA
Learning PDE Solvers with Physics and Data: A Unifying View of Physics-Informed Neural Networks and Neural Operators
University of Alabama(阿拉巴马大学);University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
本文提出统一视角,将物理感知神经网络和神经算子置于共享设计空间中,以揭示其在科学工作流中的关系和作用。
2026-02-18 cs.LG math.AP
PIXEL: Physics-Informed Cell Representations for Fast and Accurate PDE Solvers
Sungkyunkwan University(成均馆大学)
随着计算能力的提高和机器学习的发展,基于数据驱动学习的方法在求解偏微分方程中得到了极大的关注。物理信息神经网络(PINN)最近出现并成功地解决了各种正向和逆偏微分方程问题,这要归功于其出色的特性,如灵活性、无网格解决方案和无监督训练。然而,它们的收敛速度较慢,相对不准确的解决方案往往限制了它们在许多科学和工程领域的广泛适用性。本文提出了一种新的数据驱动的偏微分方程求解器,物理信息单元表示(PIXEL),优雅地结合了经典的数值方法和基于学习的方法。我们采用了网格结构的数值方法,以提高精度和收敛速度,并克服了谱偏差PINNs。此外,所提出的方法在PINN中享有相同的益处,例如,使用相同的优化框架来解决正向和反向PDE问题,并且利用现代自动微分技术容易地实施PDE约束。我们提供了各种具有挑战性的偏微分方程的实验结果,原来的PINN一直在努力,并表明PIXEL实现快速收敛速度和高精度。项目页面:https://namgyukang.github.io/PIXEL/
2023-02-04 cs.LG cs.NA math.NA
Neural PDE Solvers with Physics Constraints: A Comparative Study of PINNs, DRM, and WANs
UCL(伦敦大学学院)
本文对比了PINNs、DRM和WANs三种无网格神经PDE求解器在泊松和薛定谔等方程上的表现,发现PINNs最可靠,DRM在稳态问题上精度与运行时间权衡最佳,并提供了方法选择指南及多项扩展支持。
2025-10-09 cs.LG quant-ph
A Greedy PDE Router for Blending Neural Operators and Classical Methods
Department of Statistics(统计系);University of Michigan(密歇根大学);Ann Arbor, MI 48104, USA(安阿伯, MI 48104, 美国)
本文提出一种贪心PDE路由器,通过在每次迭代中选择求解器来融合神经算子和经典方法,减少计算误差和误差曲线面积,提升求解效率与稳定性。
2026-10-16 cs.LG stat.ME stat.ML
FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers
School of Mathematical Sciences, Beijing Normal University(北京师范大学数学科学学院);Beijing University of Posts and Telecommunications(北京邮电大学)
研究针对物理信息神经网络求解偏微分方程时的局限,提出FlashPDE库,用可微Triton内核取代PyTorch有限差分执行,集成多种功能。实验表明其能大幅减少内存使用和内核启动次数,实现加速,为PDE求解与GPU计算搭建高效执行层。
2026-07-27 cs.LG cs.MS
Physics-Informed Foresight Pruning for Sparse PINN Solvers of Nonlinear PDEs
针对非线性PDE稀疏PINN求解器,提出PI-SAP剪枝方法,其利用PDE残差灵敏度分配显著性,在高稀疏度下保留Gray-Scott残差保真度,平衡解侧与残差侧训练动态。
2026-08-27 cs.AI cs.LG
Learning Neural PDE Solvers with Parameter-Guided Channel Attention
NEC Laboratories Europe(NEC欧洲实验室);University of Stuttgart(斯图加特大学)
针对现有神经PDE求解器难以泛化到未见过参数的问题,提出参数嵌入引导的通道注意力模块CAPE与课程学习策略,在基准上实现显著提升,且未大幅增加推理开销与参数量。
2023-07-21 cs.CE cs.LG physics.comp-ph
One Operator to Rule Them All? On Boundary-Indexed Operator Families in Neural PDE Solvers
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院);Department of Mathematics and Systems Engineering, Florida Institute of Technology(佛罗里达理工学院数学与系统工程系)
本文探讨了神经PDE求解器中边界索引运算符家族的核心问题,指出传统方法在边界条件变化时存在非识别性问题,并通过实验验证了在不同边界条件下求解器的局限性。
2026-05-20 cs.AI cs.LG cs.NA
The Symbol of the Surrogate: Measuring Numerical Provenance in Neural PDE Solvers
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
本文提出傅里叶符号诊断方法,通过比较代理模型与训练方案的算子特征,揭示神经PDE代理模型可能模仿数值方案而非精确演化,其差异可达99.8%以上。
2026-10-08 cs.LG math.AP stat.ML
KD-PINN: Knowledge-Distilled PINNs for ultra-low-latency real-time neural PDE solvers
KD-PINN通过知识蒸馏提升PINN的准确性与效率,实现超低延迟实时神经PDE求解。
2025-12-16 cs.LG cs.NA math.NA
TT-PINN: A Tensor-Compressed Neural PDE Solver for Edge Computing
University of California, Santa Barbara(加州大学圣巴巴拉分校)
物理信息神经网络(PINN)由于其对复杂物理系统建模的能力而得到越来越多的应用。为了获得更好的表现力,在许多问题中需要越来越大的网络尺寸。当我们需要在内存、计算和能源有限的边缘设备上训练PINN时,这就带来了挑战。为了在边缘设备上训练PINN,本文提出了一种基于Tensor-Train分解的端到端压缩PINN。在求解Helmholtz方程时,我们提出的模型在参数较少的情况下显著优于原始PINN,并且在高达15个$\times$总体参数减少的情况下实现了令人满意的预测。
2022-07-04 cs.AR cs.DC cs.LG
Neural-HSS: Hierarchical Semi-Separable Neural PDE Solver
Gran Sasso Science Institute, L'Aquila, Italy.(格兰萨索科学研究所);University of Edinburgh, UK.(爱丁堡大学)
Neural-HSS通过分层半分离矩阵结构高效求解PDEs,展示在低数据条件下优于基线方法的性能。
2026-02-20 cs.LG cs.NA math.NA
Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Novel Well-Conditioned Loss Function
Northwestern Polytechnical University(西北工业大学)
针对优化型PDE求解器因MSE损失导致条件数平方化而收敛慢的问题,提出稳定化梯度残差(SGR)损失,灵活调节条件数,在ODIL和PINNs框架中实现数量级加速,优于MSE损失。
2025-07-24 cs.CE cs.LG physics.comp-ph
Towards Fast Option Pricing PDE Solvers Powered by PIELM
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Creatis Biomedical Imaging Laboratory, INSA-Lyon(创世生物医学成像实验室,INSA-里昂)
本文提出物理信息极限学习机(PIELM),以单次最小二乘求解替代迭代优化,用于金融PDE的正逆问题求解,在Black-Scholes和Heston-Hull-White模型上实现与PINN相当的精度且速度提升高达30倍。
2025-10-05 cs.CE cs.LG cs.NA
Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers
MIT(麻省理工学院);IBM Research(IBM研究院)
气候、化学或天体物理学中的数值模拟对于高分辨率的不确定性量化或参数探索来说计算成本太高。降阶或代理模型的速度快了几个数量级,但传统的代理是不灵活或不准确的,而纯粹的基于机器学习(ML)的代理太需要数据。我们提出了一个混合的,灵活的代理模型,利用已知的物理模拟大规模的动态和限制学习难以建模的术语,这被称为参数化或关闭,并捕捉到的效果精细到大规模的动态。利用神经运算符,我们是第一个学习网格独立,非局部和灵活参数化的人。我们的\textit{multiscale neural operator}的动机是在多尺度建模的丰富文献,具有准线性运行时的复杂性,是更准确或更灵活的比国家的最先进的参数化和混沌方程多尺度Lorenz96上证明。
2022-07-23 cs.AI cs.CE cs.DC
dNNsolve: an efficient NN-based PDE solver
DESY(德国电子同步加速器研究所);University of Cambridge(剑桥大学);DAMTP(应用数学与理论物理系);CTC(理论宇宙学中心)
神经网络(NN)可以通过将问题重新定义为优化问题来求解常微分方程和偏微分方程(ODE和PDE)。要优化的目标函数是要求解的PDE和初始/边界条件的平方和。训练前馈NN以最小化在从定义问题的域中采样的一组配置点上评估的该损失函数。一个紧凑和光滑的解决方案,只依赖于训练的神经网络的权重,然后获得。这种方法通常被称为PINN,来自Physics Informed神经网络~ \cite{raissi2017physics_1, raissi2017physics_2}。尽管PINN方法在解决各种类型的偏微分方程方面取得了成功,但这种思想的实现能够以良好的精度解决一大类常微分方程和偏微分方程,而无需微调网络的超参数,目前还没有。在本文中,我们介绍了这个概念的一个新的实现-称为dNNsolve -利用双神经网络来解决常微分方程/偏微分方程。其中包括:i)正弦和S形激活函数,其提供更有效的基础来捕获解中的长期和周期性模式; ii)新设计的架构,其使得NN容易使用上述基函数来近似解。我们表明,dNNsolve是能够解决广泛的常微分方程/偏微分方程在1,2和3时空维度,而不需要超参数微调。
2021-03-15 astro-ph.CO astro-ph.GA cs.LG
Noise-aware Physics-informed Machine Learning for Robust PDE Discovery
Osaka University(大阪大学)
本工作是关于发现一个物理系统的偏微分方程(PDE)。现有的方法已经证明了PDE识别从有限的观察,但未能保持令人满意的结果对噪声数据,部分原因是次优估计的衍生物和发现PDE系数。我们通过引入噪声感知物理信息机器学习(nPIML)框架来解决这些问题,以从遵循任意分布的数据中发现管理PDE。我们建议在多任务学习范式中训练一对神经网络,即求解器和预选器,这会产生构成隐藏物理约束的基础候选人的重要分数。在它们被联合训练之后,求解器网络估计潜在的候选者,例如,偏导数,用于稀疏回归算法初始揭示最可能的简约PDE,根据信息准则来决定。我们还提出了基于离散傅里叶变换(DFT)的去噪物理信息神经网络(dPINNs),以提供一组关于噪声降低变量的最佳微调PDE系数。去噪PINN被构造成最前沿投影网络和PINN,通过PINN,以前学习的求解器进行迭代。我们对五个典型偏微分方程的广泛实验证实,所提出的框架提出了一个强大的和可解释的偏微分方程发现的方法,适用于广泛的系统,可能复杂的噪声。
2022-08-04 cs.AI cs.LG cs.NA
Koopman neural operator as a mesh-free solver of non-linear partial differential equations
Tsinghua University(清华大学);Huawei Technologies Co. Ltd.(华为技术有限公司);University of Michigan(密歇根大学);City University of Macau(澳门城市大学)
本文提出Koopman神经算子(KNO),通过近似Koopman算子将非线性PDE求解转化为线性预测问题,在多个PDE和真实动态系统上实现了网格无关、长期和零样本预测,性能优于现有模型。
2024-05-06 cs.LG cs.NA math.NA
A Latent space solver for PDE generalization
Ansys Inc(安西斯公司)
在这项工作中,我们提出了一个混合求解器来解决偏微分方程(PDE)的潜在空间。求解器使用迭代推理策略与解初始化相结合,以提高PDE解的泛化能力。通过工程算例验证了该方法的有效性,结果表明该方法可以很好地推广到多种偏微分方程情形。
2021-04-06 cs.LG
PDE-SHARP: PDE Solver Hybrids through Analysis and Refinement Passes
Department of Mathematics Stanford University(数学系 斯坦福大学);Department of Management Science & Engineering Stanford University(管理科学与工程系 斯坦福大学)
PDE-SHARP通过分析、生成与综合三阶段用廉价LLM推理替代昂贵科学计算,以少于13次评估实现PDE求解器精度平均提升4倍,并减少60-75%计算成本。
2025-11-05 cs.LG
Enforcing governing equation constraints in neural PDE solvers via training-free projections
University of Liège(利根大学)
本文提出两种无训练投影方法,用于减少神经PDE求解器中约束方程的违反情况,提升求解精度。
2025-11-21 cs.LG
Learning a Neural Solver for Parametric PDE to Enhance Physics-Informed Methods
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、信息科学研究所);ARCHES, INRIA Paris(ARCHES、巴黎INRIA);Criteo AI Lab(Criteo人工智能实验室)
本文提出学习参数偏微分方程的神经求解器,通过条件化梯度下降算法提升物理指导方法的优化效率和稳定性。
2026-02-12 cs.LG
Learning time-dependent PDE solver using Message Passing Graph Neural Networks
RWTH Aachen University(亚琛工业大学);Harvard University(哈佛大学)
求解时变偏微分方程的主要挑战之一是开发精确稳定的计算高效的求解器。在这里,我们介绍了一个图神经网络的方法来寻找有效的PDE求解器,通过学习使用消息传递模型。首先,我们引入域不变的PDE数据的启发经典PDE求解器的有效的物理表示的功能。接下来,我们使用图形来表示非结构化网格上的PDE数据,并表明消息传递图神经网络(MPGNN)可以参数化控制方程,因此,有效地学习精确的求解方案的线性/非线性偏微分方程。我们进一步表明,求解器是独立的初始训练的几何形状,即训练的求解器可以找到不同的复杂域上的PDE解决方案。最后,我们表明,一个经常性的图神经网络的方法可以找到一个时间序列的解决方案的PDE。
2022-04-15 cs.AI cs.LG
Hamiltonian Neural PDE Solvers through Functional Approximation
Carnegie Mellon University(卡内基梅隆大学)
本文提出HNS,将哈密顿泛函表示为神经场参数化的核积分,并用自动微分求泛函导数,从而在一维和二维PDE上提升稳定性、守恒性与长时泛化能力。
2025-09-29 cs.LG
Adversarial Learning for Neural PDE Solvers with Sparse Data
School of Informatics(信息学院);Xiamen University(厦门大学);Department of Computing(计算机系);The Hong Kong Polytechnic University(香港理工大学)
本文针对数据稀缺下神经 PDE 求解器鲁棒性不足的问题,提出 SMART 通用学习策略,通过针对性改进模型薄弱环节降低泛化误差,并在多种 PDE 场景中显著提升预测精度。
2024-09-04 cs.LG
Physics-informed Reduced Order Modeling of Time-dependent PDEs via Differentiable Solvers
Department of Computer Science University of Western Ontario(计算机科学系大学西部安大略)
本文提出物理信息降阶建模($Φ$-ROM),通过将可微PDE求解器融入训练,使潜在动态符合物理规律,实现高精度泛化、长时预测和稀疏数据下的场重建,优于现有方法。
2025-10-25 cs.LG
Lie Point Symmetry Data Augmentation for Neural PDE Solvers
University of Amsterdam(阿姆斯特丹大学);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Microsoft Research(微软研究院);Qualcomm AI Research(高通人工智能研究院);Deepmind(深度思维)
神经网络越来越多地被用于求解偏微分方程(PDE),取代速度较慢的数值求解器。然而,一个关键问题是,神经PDE求解器需要高质量的地面实况数据,这些数据通常必须来自它们要替换的求解器。因此,我们面临着一个众所周知的先有鸡还是先有蛋的问题。在本文中,我们提出了一种方法,它可以部分地缓解这个问题,通过提高神经PDE求解器的样本复杂性- Lie点对称数据增强(LPSDA)。在偏微分方程的背景下,事实证明,我们能够定量地推导出一个详尽的数据转换列表,基于Lie点对称群的偏微分方程的问题,在其他应用领域是不可能的。我们提出了这个框架,并演示了它如何可以很容易地部署,以提高神经PDE求解器样本的复杂性的一个数量级。
2022-05-29 cs.CV cs.LG
Solver-in-the-Loop: Learning from Differentiable Physics to Interact with Iterative PDE-Solvers
Technical University of Munich(慕尼黑工业大学);LTCI, Telecom Paris, IP Paris(巴黎理工学院巴黎电信学院LTCI);Columbia University(哥伦比亚大学)
求解偏微分方程的精确解是所有科学和工程学科的一项重要任务。最近已经表明,机器学习方法可以通过校正离散化PDE未捕获的影响来提高解的准确性。我们的目标是减少迭代偏微分方程求解器的数值误差的问题,并比较不同的学习方法来寻找复杂的校正函数。我们发现,以前使用的学习方法显着优于方法,将求解器集成到训练循环,从而允许模型在训练过程中与PDE交互。这为模型提供了考虑到先前校正的真实输入分布,从而提高了准确性,稳定推出了数百个经常性评估步骤,甚至超过了定制的监督变量。我们强调了各种各样的偏微分方程的可微物理网络的性能,从非线性对流扩散系统的三维Navier-Stokes流。
2021-01-05 cs.LG physics.comp-ph
A Neural PDE Solver with Temporal Stencil Modeling
Carnegie Mellon University(卡内基梅隆大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
非线性偏微分方程的数值模拟在天气、气候和空气动力学等物理科学和工程现象的建模中起着至关重要的作用。最近的机器学习(ML)模型在低分辨率时空信号上训练,在捕获高分辨率信号中的重要动态方面显示了新的希望,条件是模型可以有效地恢复丢失的细节。然而,这项研究表明,重要的信息往往是在低分辨率下采样的功能丢失。为了解决这些问题,我们提出了一种新的方法,即时间模板建模(TSM),它结合了先进的时间序列序列建模(具有HiPPO功能)和最先进的神经PDE求解器(具有可学习的模板建模)的优势。TSM的目的是恢复从PDE轨迹丢失的信息,可以被视为经典的有限体积方法,如WENO的时间推广。我们的实验结果表明,TSM实现了新的国家的最先进的模拟精度为2-D不可压缩的Navier-Stokes湍流:它显着优于先前报道的最佳结果的19.9%,在高度相关的持续时间,并减少推理延迟到80%。我们还显示了很强的泛化能力,所提出的方法,各种分布的湍流设置。我们的代码可以在“https://github.com/Edward-Sun/TSM-PDE“上找到。
2023-02-16 cs.LG
Parameterized Representations via Implicit Stochastic Modulation for High-Dimensional and High-Order Neural PDE Solvers
National Center for Applied Mathematics, Tianjin University(天津大学应用数学中心);School of Mechanical and Aerospace Engineering, Jilin University(吉林大学机械与航空航天工程学院)
提出PRISM框架,通过超生成器将物理参数映射为仿射调制器,实现参数化高维高阶随机神经PDE求解器,保持无偏性并降低内存消耗,支持零样本泛化。
2026-06-23 cs.LG
Energy Manifold Natural Gradient Descent: Riemannian Optimization for Neural PDE Solvers
Tianjin University(天津大学);Jilin University(吉林大学)
研究针对神经偏微分方程求解器,提出能量流形自然梯度下降框架\EMNGD,将参数更新与函数空间能量曲率对齐,在黎曼流形上优化,证明相关性质,实验显示比现有基线精度更高、收敛更快,还能量化精度与成本权衡。
2026-07-27 cs.LG
Toward Efficient Kernel-Based Solvers for Nonlinear PDEs
University of Utah(犹他大学);California Institute of Technology(加州理工学院)
本文提出一种去除微分算子的核学习框架,通过标准核插值求导并结合网格配点与乘积核的 Kronecker 结构,避免构造完整 Gram 矩阵,从而高效求解非线性 PDE,并给出收敛性证明与数值验证。
2025-06-05 cs.LG
INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers
Technical University of Munich(慕尼黑技术大学)
针对自回归混合偏微分方程求解器的自回归误差问题,提出间接神经校正器INC,将校正整合到控制方程而非直接更新状态,降低误差放大并提升长期性能,在多案例中实现性能提升与加速,为高效物理仿真提供新方法。
2025-11-18 cs.LG
Numerical PDE solvers outperform neural PDE solvers
本研究提出可微有限差分框架DeepFDM,将经典前向欧拉离散化嵌入卷积架构,在多类标量PDE基准测试中,误差、训练效率和参数量均显著优于主流神经PDE求解器,为参数化PDE的数据驱动求解与识别提供了稳健高效的透明基线。
2025-07-28 cs.LG cs.NA math.NA
Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers
Hang Zhou;Yuezhou Ma;Haixu Wu;Haowen Wang;Mingsheng Long
针对现有神经PDE求解器泛化性差的问题,提出以PDE组分为条件的Transformer模型Unisolver,结合物理结构与Transformer技术,在三个大规模基准上实现SOTA,迈向通用神经PDE求解器。
2025-09-04 cs.AI cs.LG cs.NA
GEPS: Boosting Generalization in Parametric PDE Neural Solvers through Adaptive Conditioning
Sorbonne Université(索邦大学);Criteo AI Lab(克里泰人工智能实验室)
GEPS通过自适应条件化与低秩快速适应机制,提升参数化PDE神经求解器对未见条件的泛化能力,并在时空预测任务中验证其有效性。
2024-11-08 cs.AI cs.LG
DiscretizationNet: A Machine-Learning based solver for Navier-Stokes Equations using Finite Volume Discretization
Ansys Inc.(安斯公司)
在过去的几十年里,现有的偏微分方程(PDE)求解器在求解复杂的非线性偏微分方程方面取得了巨大的成功。虽然精确,但这些PDE求解器的计算成本很高。随着机器学习(ML)技术的发展,使用ML解决偏微分方程的研究有了显着增加。这项工作的目标是开发一个基于ML的PDE求解器,耦合现有的PDE求解器与ML技术的重要特征。在这项工作中采用的两个求解器特性是:1)使用基于离散化的方案来近似时空偏导数; 2)使用迭代算法来求解离散形式的线性偏微分方程。在存在高度非线性耦合PDE解的情况下,这些策略对于实现良好的精度、更好的稳定性和更快的收敛非常重要。我们的ML求解器DiscretizationNet采用基于CNN的生成式编码器-解码器模型,PDE变量作为输入和输出特征。在训练过程中,离散化方案在计算图内部实现,以实现PDE残差的更快GPU计算,PDE残差用于更新网络权重,从而得到收敛的解决方案。一种新的迭代能力,实现在网络训练,以提高ML求解器的稳定性和收敛性。用ML-求解器求解了三维定常不可压缩纳维-斯托克斯方程,包括盖驱动空腔、圆柱绕流和共轭传热等情况。
2020-05-17 cs.LG physics.comp-ph physics.flu-dyn
End-to-End Mesh Optimization of a Hybrid Deep Learning Black-Box PDE Solver
University of Utah(犹他大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究探索了结合黑盒PDE求解器与深度图神经网络的混合模型在流体流动预测中的端到端训练可行性,通过零阶梯度估计器对求解器进行微分,在无需自动微分支持的情况下实现了优于冻结网格基线的性能,并通过预热启动加速收敛与提升泛化。
2024-04-28 cs.LG cs.NA math.NA
Learning to Optimize Multigrid PDE Solvers
Weizmann Institute of Science(魏茨曼科学研究所);Technion, Israel Institute of Technology(以色列理工学院)
构造偏微分方程的快速数值求解器对于许多科学学科都是至关重要的。求解大规模偏微分方程的一个主要技术是使用多重网格方法。多重网格求解器的核心是延拓矩阵,它与问题的不同尺度之间相关。这个矩阵是强烈的问题依赖性,其最佳结构是至关重要的求解器的效率。然而,在实践中,为新问题设计多重网格算法往往会带来巨大的挑战。在本文中,我们提出了一个学习多重网格求解器的框架。我们的方法学习一个(单一)映射从一个家庭的参数化偏微分方程延长运营商。我们训练一个神经网络一次为整个类的偏微分方程,使用一个有效的和无监督的损失函数。广泛的一类2D扩散问题的实验表明,改进的收敛速度相比,广泛使用的黑盒多重网格计划,这表明我们的方法成功地学习规则,构造延长矩阵。
2019-08-05 cs.LG cs.NA math.NA
Adaptive Mesh-Quantization for Neural PDE Solvers
QUVA Lab University of Amsterdam(阿姆斯特丹大学QUVA实验室);AMLAB University of Amsterdam(阿姆斯特丹大学AMLAB实验室);FunAI Lab University of Technology Nuremberg(纽伦堡技术大学FunAI实验室)
本研究提出自适应网格量化方法,通过动态调整位宽优化神经PDE求解器的资源分配,提升复杂物理问题的求解效率。
2025-11-23 cs.LG
Pre-Generating Multi-Difficulty PDE Data for Few-Shot Neural PDE Solvers
Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Department of Computer Sciences, UW-Madison(威斯康星大学麦迪逊分校计算机科学系)
通过预生成多难度的PDE数据,提升少样本神经PDE求解器的性能与效率。
2026-01-23 cs.LG physics.flu-dyn
Multi-Scale Message Passing Neural PDE Solvers
ETH Zürich(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校)
我们提出了一种新的多尺度消息传递神经网络学习算法的时间依赖的偏微分方程的解决方案。我们的算法同时具有时间和空间多尺度分辨率的特点,通过将多尺度序列模型和图形门控模块分别在编码器和处理器。基准数值实验表明,所提出的算法优于基线,特别是在一系列的空间和时间尺度的偏微分方程。
2023-02-07 cs.LG cs.NA math.NA
Autoregressive Renaissance in Neural PDE Solvers
University College London(伦敦大学学院)
本文解读ICLR 2022论文,介绍一种消息传递图神经网络,通过缓解自回归不稳定问题,在神经偏微分方程求解中达到或超越傅里叶神经算子与经典求解器的泛化性能。
2023-10-30 cs.AI cs.LG cs.NA
CodePDE: An Inference Framework for LLM-driven PDE Solver Generation
Carnegie Mellon University(卡内基梅隆大学);Flatiron Institute(Flatiron研究院);Polymathic AI(多学科人工智能);Datadog
CodePDE通过大语言模型生成PDE求解器,展示了LLM在复杂数学问题中的强大能力及潜在应用价值。
2026-02-22 cs.AI cs.CL cs.LG
Singular parameters and missing limits in neural PDE solvers
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文针对神经PDE求解器中因参数无界增长导致的缺失极限问题,通过分析tanh网络并添加核导数来补全模型,使最佳逼近可达,并数值验证了其对优化的影响。
2026-10-06 cs.LG cs.NA math.NA
Warm-starting PDE solvers with any-dimensional machine learning
Columbia University(哥伦比亚大学);Brown University(布朗大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出利用对称性条件,使低维训练的PDE求解器可零样本或热启动求解高维PDE,并在多个方程上验证了性能提升与数据效率优势。
2026-10-01 cs.LG stat.ML
Physics-Embedded Neural Networks: Graph Neural PDE Solvers with Mixed Boundary Conditions
RICOS Co. Ltd.(RICOS有限公司);University of Tsukuba(筑波大学)
图神经网络(GNN)是学习和预测边值问题中描述的物理现象的一种很有前途的方法,如带边界条件的偏微分方程(PDE)。然而,现有的模型没有充分处理边界条件的可靠预测等问题。此外,由于GNN的局部连接性质,很难准确预测长时间后的状态,其中顶点之间的交互往往是全局的。我们提出了我们的方法,称为物理嵌入式神经网络,考虑边界条件,并预测了很长一段时间后,使用隐式方法的状态。它是基于E(n)-等变GNN构建的,从而在各种形状上具有很高的泛化性能。我们证明了我们的模型学习复杂形状的流动现象,并在速度-精度权衡方面优于优化的经典求解器和最先进的机器学习模型。因此,我们的模型可以成为实现可靠,快速和准确的基于GNN的PDE求解器的有用标准。该代码可在https://github.com/yellowshippo/penn-neurips2022上获得。
2023-03-23 cs.CE cs.LG
Generative Latent Neural PDE Solver using Flow Matching
Carnegie Mellon University(卡内基梅隆大学)
提出一种基于流匹配的潜在扩散模型,将PDE状态嵌入低维空间,降低计算成本,并在准确性和长期稳定性上优于确定性基线。
2025-03-28 cs.AI cs.LG