Time-Series Forecasting, Knowledge Distillation, and Refinement within a Multimodal PDE Foundation Model
Montana State University(蒙大拿州立大学);Carnegie Mellon University(卡内基梅隆大学);Florida State University(佛罗里达州立大学);UCLA(加利福尼亚大学洛杉矶分校)
本文提出基于SymPy的符号标记库作为额外模态,结合贝叶斯滤波细化,实现低成本、自动化的多模态偏微分方程时间序列预测,提升精度。
2024-09-17 cs.LG
From Basis to Basis: Gaussian Particle Representation for Interpretable PDE Operators
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
本文提出基于高斯基的PDE算子,通过高斯粒子表示实现可解释的流体动力学建模,支持不规则几何和2D到3D扩展,取得最佳准确度并提供内在可解释性。
2026-02-25 cs.AI cs.LG
MORPH: PDE Foundation Models with Arbitrary Data Modality
Computing and Artificial Intelligence Division (CAI), Los Alamos National Laboratory, NM, US(计算与人工智能部门(CAI),洛斯阿拉莫斯国家实验室)
MORPH是一种基于卷积视觉变压器的PDE基础模型,通过多模态处理和高效注意机制实现对异质科学数据的高效学习。
2026-01-29 cs.AI cs.CV cs.LG
Physics- and geometry-aware spatio-spectral graph neural operator for time-independent and time-dependent PDEs
Yardi School of Artificial Intelligence(亚利安人工智能学院);Indian Institute of Technology Delhi(德里印度理工学院);The Grainger College of Engineering(格里纳尔工程学院)
提出物理与几何感知时空谱图神经算子πG-Sp2GNO,通过几何感知与混合物理信息损失函数学习时独立和时依赖PDEs的解算子,在复杂域基准上优于现有方法。
2025-08-13 cs.LG
Investigating the Ability of PINNs To Solve Burgers' PDE Near Finite-Time BlowUp
University of Manchester(曼彻斯特大学)
本文从理论视角研究PINNs求解Burgers方程有限时间爆破的稳定性,推导任意维度下的泛化界,并通过实验证明该界与神经替代解到真实爆破解的ℓ₂距离显著相关。
2024-04-01 cs.LG cs.NA math.AP
Fast Dynamic 1D Simulation of Divertor Plasmas with Neural PDE Surrogates
Eindhoven University of Technology(埃因霍温理工大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Dutch Institute for Fundamental Energy Research(荷兰基础能源研究所);Forschungszentrum Jülich GmbH(于利希研究中心)
本文针对DIV1D偏滤器等离子体模拟速度不足的问题,评估并扩展神经PDE代理模型,使其以亚实时速度高保真再现TCV动态过程并快数个数量级。
2023-09-29 cs.CV cs.LG physics.comp-ph
Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation
Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Florida State University(佛罗里达州立大学)
提出多模态基础模型PROSE-PDE,通过多算子学习预测时空系统状态并学习底层偏微分方程,利用符号模态解决适定性问题,并在未见数据上实现外推预测。
2025-01-31 cs.LG cs.NA math.NA
Stable Long-Horizon PDE Forecasting via Latent Structured Spectral Propagators
School of AIA, Huazhong University of Science and Technology(华中科技大学人工智能学院)
本文提出一种神经预测框架,通过在传播导向的潜在空间中学习结构化谱传播器(SSP),以解决传统传播器在长时域预测中的误差累积和动态漂移问题,实验表明SSP在减少相对L2误差和提升时间外推稳定性方面表现优异。
2026-05-11 cs.LG
Model-Parallel Fourier Neural Operators as Learned Surrogates for Large-Scale Parametric PDEs
Microsoft(微软)
针对傅里叶神经算子(FNOs)因高维输入与权重仅能处理中小规模偏微分方程的问题,提出基于输入与权重域分解的模型并行FNO,可在512块A100 GPU上处理26亿变量的时变PDE,还实现了Azure云上多相CO₂地下动力学模拟的分布式训练。
2023-02-01 cs.DC cs.LG cs.NA
Text2PDE: Latent Diffusion Models for Accessible Physics Simulation
Carnegie Mellon University(卡内基梅隆大学);Naval Nuclear Laboratory(海军核实验室)
本文提出 Text2PDE 方法,通过网格自编码器与潜变量扩散模型实现高效物理仿真,并支持以文本提示生成 PDE 解,在精度、效率及扩展性上达到与现有神经求解器相当的水平。
2025-02-04 cs.LG
Learning in Modal Space: Solving Time-Dependent Stochastic PDEs Using Physics-Informed Neural Networks
Brown University(布朗大学);Shanghai Normal University(上海师范大学)
非线性随机偏微分方程(SPDE)的长时间积分是科学计算中的一个开放性问题。我们解决这个问题,利用科学机器学习和动态正交(DO)和双正交(BO)的方法来表示随机过程的最新进展。具体来说,我们提出了两个新的物理信息神经网络(PINNs)解决时间相关的SPDE,即NN-DO/BO方法,它将DO/BO约束到损失函数的隐式形式,而不是生成显式表达式的时间导数的DO/BO模式。因此,所提出的方法克服了原始DO/BO方法的一些缺点:我们不需要假设的随机系数的协方差矩阵是可逆的,在原始DO方法,我们可以删除没有特征值交叉的假设,在原始BO方法。此外,NN-DO/BO方法可以用来解决时间相关的随机反问题与相同的公式和计算复杂性的正问题。我们通过几个数值例子证明了所提出的方法的能力:(1)一个线性随机平流方程与确定性的初始条件,原来的DO/BO方法将失败;(2)长时间积分的随机Burgers方程与许多特征值交叉在整个时间的发展,原来的BO方法失败。(3)非线性反应扩散方程:我们考虑了正问题和反问题,包括噪声的初始数据,调查的灵活性的NN-DO/BO方法在处理反问题和混合型问题。总之,这些模拟结果表明,NN-DO/BO方法可以有效地量化在广泛的物理问题的不确定性传播。
2019-09-03 cs.LG cs.NA math.NA
A Multimodal PDE Foundation Model for Prediction and Scientific Text Descriptions
University of California Los Angeles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
针对现有PDE基础模型仅处理数值或符号模态的局限,提出多模态深度学习方法,结合Transformer架构整合数值输入与文本描述,实现PDE预测与科学文本生成,在分布内外数据上均获高精度且能时间外推。
2025-02-09 cs.LG cs.NA math.NA
Dual-Path Cross-Modal Attention for better Audio-Visual Speech Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
视听目标语音提取的目的是通过观察嘴唇运动从噪声混合物中提取特定说话人的语音,结合时域语音分离模型和视觉特征提取器(CNN)已经取得了重大进展。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。目前的大多数研究沿着时间维度对视觉特征进行上采样,使得音频和视频特征能够在时间上对齐。然而,我们认为嘴唇运动应该主要包含长期或电话级别的信息。基于这一假设,我们提出了一种新的方法来融合视听功能。我们观察到,对于DPRNN \cite{dprnn},块间维度的时间分辨率可以非常接近视频帧的时间分辨率。与\cite{sepformer}一样,DPRNN中的LSTM被块内和块间自注意力所取代,但在所提出的算法中,块间注意力将视觉特征作为额外的特征流。这可以防止视觉线索的上采样,从而实现更有效的视听融合。实验结果表明,与其他基于时域的音视频融合模型相比,该方法具有更好的融合效果。
2023-03-03 cs.CV cs.LG cs.MM
Principal Component Flow Map Learning of PDEs from Incomplete, Limited, and Noisy Data
Trinity College(三一学院)
提出一种基于主成分流图学习的神经网络方法,通过在约化基中学习动力学,解决了高维非均匀网格上部分观测偏微分方程在噪声和有限数据下的建模难题,显著降低了参数量并提升了模拟效率。
2024-12-24 cs.LG math.DS stat.ML
PPINN: Parareal Physics-Informed Neural Network for time-dependent PDEs
Clemson University(克莱姆森大学);Brown University(布朗大学)
物理信息神经网络(PINN)将物理守恒定律和先验物理知识编码到神经网络中,确保准确地表示正确的物理学,同时在很大程度上减轻了对监督学习的需求。虽然对于相对短期的时间积分是有效的,但是当寻求时间相关PDE的长时间积分时,时空域可能变得任意大,因此神经网络的训练可能变得过于昂贵。为此,我们开发了一个parareal物理信息神经网络(PPINN),从而将一个长时间的问题分解成许多独立的短时间问题,由一个廉价/快速的粗粒度(CG)求解器进行监督。特别地,串行CG求解器被设计为在离散时间提供解的近似预测,同时启动许多精细PINN以迭代地校正解。用小数据集训练PINN而不是直接在大数据集上工作有双重好处,即,用小数据训练单个PINN要快得多,而训练精细PINN可以容易地并行化。因此,与原始PINN方法相比,所提出的PPINN方法可以实现PDE的长时间积分的显著加速,假设CG求解器是快速的并且可以提供解的合理预测,因此帮助PPINN解在仅几次迭代中收敛。为了研究PPINN在求解含时偏微分方程上的性能,我们首先将PPINN应用于求解Burgers方程,然后将PPINN应用于求解二维非线性扩散反应方程.我们的研究结果表明,PPINNs收敛在一对夫妇的迭代与显着的速度成正比的时间子域的数量。
2019-09-23 cs.LG physics.comp-ph stat.ML
Modeling Unknown Nonlocal PDE Systems via Flow Map Learning
Department of Mathematics, The Ohio State University(俄亥俄州立大学数学系);Department of Mathematics and Statistics, Missouri University of Science and Technology(密苏里科技大学数学与统计系)
该研究提出流映射学习(FML)框架,无需显式处理非局部算子,可从解数据建模未知非局部偏微分方程,经数值实验验证能实现准确稳定的长时间预测,为非局部动力学学习提供有效数据驱动方法。
2026-08-04 cs.LG cs.NA math.DS
PROSE-FD: A Multimodal PDE Foundation Model for Learning Multiple Operators for Forecasting Fluid Dynamics
Carnegie Mellon University(卡内基梅隆大学);Florida State University(佛罗里达州立大学)
本研究提出多模态PDE基础模型PROSE-FD,采用融合符号信息的transformer多算子学习方法,在多类流体动力学系统的基准预测任务中性能优于主流模型。
2024-09-15 cs.LG cs.NA math.NA
Deep Neural Network Modeling of Unknown Partial Differential Equations in Nodal Space
The Ohio State University(俄亥俄州立大学);Southern University of Science and Technology(南方科技大学)
我们提出了一个数值框架,深度神经网络(DNN)建模未知的时间依赖偏微分方程(PDE)使用其轨迹数据。不像最近的工作[吴和秀,J。Phys.2020],其中学习发生在模态/傅立叶空间中,当前方法在物理空间中进行学习和建模,并使用测量数据作为节点值。我们提出了一个DNN结构,它与底层PDE的演化算子直接对应,从而建立了DNN模型的存在性。DNN模型也不需要数据节点的任何几何信息。因此,经过训练的DNN定义了无结构网格上潜在未知PDE的预测模型。一组例子,包括线性和非线性标量偏微分方程,系统的偏微分方程,在一维和二维,在结构化和非结构化网格,提出的DNN建模的有效性。扩展到其他方程,如微分-积分方程也进行了讨论。
2021-06-07 cs.LG cs.NA math.NA
PDE foundation model-accelerated inverse estimation of system parameters in inertial confinement fusion
AOT-IC Group, Los Alamos National Laboratory(AOT-IC组,洛斯阿拉莫斯国家实验室);CAI Division, Los Alamos National Laboratory(CAI部门,洛斯阿拉莫斯国家实验室);HPC Division, Los Alamos National Laboratory(HPC部门,洛斯阿拉莫斯国家实验室)
本研究利用偏微分方程基础模型加速惯性约束聚变系统参数反演,通过微调和轻量级头部训练实现高精度超光谱重建与参数回归。
2026-03-04 cs.LG physics.plasm-ph
SurvBench: A Standardised Preprocessing Pipeline for Multi-Modal Electronic Health Record Survival Analysis
Department of Engineering Science, University of Oxford(牛津大学工程科学系)
SurvBench提供标准化预处理流程,通过YAML配置实现多模态EHR数据的统一处理,支持四种关键数据库和输入模态,确保生存分析模型的可比性与一致性。
2026-05-12 cs.LG
Calibrated Physics-Informed Uncertainty Quantification
Centre for Artificial Intelligence, University College London(人工智能研究中心,伦敦大学学院);Heudiasyc Laboratory(Heudiasyc实验室);Mila - Quebec AI Institute(魁北克人工智能研究所)
针对神经PDE缺乏可靠不确定性量化的问题,本文提出模型无关的物理信息共形预测框架,以物理残差作为非一致性分数实现无数据、有覆盖保证的UQ,并在聚变等离子体建模任务中验证有效性。
2025-06-10 cs.AI cs.LG physics.comp-ph
Forecasting through deep learning and modal decomposition in two-phase concentric jets
Universidad Politécnica de Madrid(马德里理工大学)
本研究利用深度学习和HODMD模态分解构建PDE替代模型,以低成本预测两相同心射流动态,提升涡扇发动机燃油混合性能并减少污染物。
2023-06-12 cs.LG physics.flu-dyn
Cross-Attention of Disentangled Modalities for 3D Human Mesh Recovery with Transformers
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Yonsei University(延世大学)
Transformer编码器架构最近在单目3D人体网格重建上取得了最先进的结果,但是它们需要大量的参数和昂贵的计算。由于大的内存开销和缓慢的推理速度,这是很难部署这样的模型用于实际使用。在本文中,我们提出了一种新的Transformer编码器-解码器架构的三维人体网格重建从一个单一的图像,称为FastMETRO。我们发现基于编码器的Transformers中的性能瓶颈是由令牌设计引起的,该令牌设计在输入令牌之间引入了高复杂度的交互。我们通过编码器-解码器架构来解开交互,这使得我们的模型需要更少的参数和更短的推理时间。此外,我们通过注意力掩蔽和网格上采样操作来施加人体形态关系的先验知识,这导致更快的收敛速度和更高的精度。我们的FastMETRO提高了准确性和效率的帕累托前沿,并且在Human3.6M和3DPW上明显优于基于图像的方法。此外,我们验证了它的推广FreiHAND。
2022-07-27 cs.AI cs.CV cs.LG
Reduced-Basis Deep Operator Learning for Parametric PDEs with Independently Varying Boundary and Source Data
Department of Mathematics, Purdue University(数学系,普渡大学);School of Mechanical Engineering, Purdue University(机械工程学院,普渡大学)
RB-DeepONet通过结合缩减基与深度运算学习,实现高效、稳定且可解释的参数PDEs求解。
2025-11-23 cs.LG cs.NA math.NA
Generative Priors Conditioned on Natural Language for Bayesian Inversion in PDEs
本文提出利用自然语言条件生成先验,结合定量与定性数据,对偏微分方程中的感兴趣量进行贝叶斯反演与不确定性量化,通过条件扩散和条件自编码器两种方法实现,并在多个物理系统上验证。
2026-09-29 cs.LG stat.ML
Deep learning approaches to surrogates for solving the diffusion equation for mechanistic real-world simulations
Indiana University(印第安纳大学);Biocomplexity Institute(生物复杂性研究所);Digital Science Center(数字科学中心)
在许多机械医学、生物学、物理学和工程时空动力学模型中,偏微分方程(PDE)的数值解会使模拟变得不切实际地慢。生物模型需要同时计算数十种扩散化学物质浓度的空间变化。机器学习代理,即经过训练为此类复杂数值问题提供近似解决方案的神经网络,与直接计算相比,通常可以提供几个数量级的速度提升。PDE替代品能够使用比直接计算可能的更大的模型,并且可以使在实时或近实时工作流中包括这样的模拟变得实用。创建代理需要运行数万次直接计算来生成训练数据,然后训练神经网络,这两者都是计算昂贵的。我们使用卷积神经网络来近似稳态解的扩散方程的情况下,两个等直径,圆形,位于随机位置的二维正方形域中的吸收边界条件的常值源。为了提高训练过程中的收敛性,我们应用了一种训练方法,该方法使用回滚来拒绝增加损失函数的网络随机变化。训练好的神经网络近似比直接计算单个副本的速度快约1e3倍。由于不同的应用对可接受的近似精度有不同的标准,我们讨论了各种损失函数和精度估计,可以帮助为特定应用选择最佳网络。
2021-02-10 cond-mat.dis-nn cond-mat.soft cs.LG
MiTREE: Multi-input Transformer Ecoregion Encoder for Species Distribution Modelling
University of Minnesota(明尼苏达大学)
本文提出MiTREE多输入视觉Transformer模型,通过生态区编码器在不进行上采样的情况下融合遥感、气候、位置和生态背景信息,用于物种分布建模,并在SatBird数据集上取得优于现有基线的鸟类遭遇率预测效果。
2024-12-25 cs.CV cs.LG q-bio.QM