Relational Graph Convolutional Networks Do Not Learn Sound Rules
University of Oxford（牛津大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文研究R-GCN在知识图谱补全中的可解释性，提出提取和验证可靠规则的方法，发现其无法学习可靠规则，并通过训练变体在准确性与规则可靠性间取得平衡。
2024-08-14 cs.AI cs.LG cs.LO
Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction
Carnegie Mellon University（卡内基梅隆大学）；SU2 Foundation（SU2基金会）；Bosch Center for AI（博世人工智能中心）
求解大型复杂偏微分方程（PDE），如计算流体动力学（CFD）中出现的偏微分方程，是一个计算成本很高的过程。这促使人们使用深度学习方法来近似PDE解，但从这些方法预测的模拟结果通常不能很好地推广到真正新颖的场景。在这项工作中，我们开发了一个混合（图）神经网络，结合了传统的图卷积网络与嵌入式可微流体动力学模拟器内的网络本身。通过结合实际的CFD模拟器（运行在一个更粗糙的分辨率表示的问题）与图形网络，我们表明，我们既可以推广到新的情况下，并受益于神经网络CFD预测的大幅加速，同时也大大优于单独的粗糙CFD模拟。
2020-08-16 cs.LG physics.comp-ph stat.ML
Adaptive Hyper-Graph Convolution Network for Skeleton-based Human Action Recognition with Virtual Connections
Jiangnan University（江南大学）；University of Surrey（萨里大学）
针对现有骨架动作识别GCN方法依赖二元连接、超图构建策略固定的问题，提出带虚拟连接的自适应Hyper-GCN，训练中自适应优化超图并注入虚拟连接，在多个数据集上取得优于SOTA的效果。
2025-08-04 cs.CV cs.LG
Sampling methods for efficient training of graph convolutional networks: A survey
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）
图卷积网络（Graph Convolutional Network，GCN）由于在学习图表示方面的优异性能而受到各个研究领域的广泛关注。虽然GCN与其他方法相比表现良好，但它仍然面临挑战。以传统的方式训练大规模图的GCN模型需要很高的计算和存储成本。因此，出于对训练GCN的效率和可扩展性的迫切需求，提出了采样方法，并取得了显着效果。本文根据抽样机制对抽样方法进行了分类，并对GCN高效训练的抽样方法进行了全面的调查。为了突出抽样方法的特点和差异，我们在每个类别内进行了详细的比较，并进一步对所有类别的抽样方法进行了全面的比较分析。最后，我们讨论了抽样方法的一些挑战和未来的研究方向。
2021-09-03 cs.LG
GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks
University of Southern California（南加州大学）
我们考虑的经典问题调度任务图对应的复杂应用程序的分布式计算系统。以前已经提出了一些算法来优化任务调度的度量，如完工时间和吞吐量。然而，它们往往运行缓慢，特别是对于较大的问题实例，限制了它们在更动态系统中的适用性。出于更快地解决这些问题的目标，我们首次提出了一种基于图卷积网络的调度器（GCN）。通过仔细地将任务间数据依赖结构与网络设置集成到输入图中并将其馈送到适当的GCN，GCN可以针对给定目标有效地调度复杂应用程序的任务。我们评估我们的计划与基线通过模拟。我们表明，我们的计划不仅可以快速，有效地学习现有的调度方案，但它也可以很容易地应用到大规模的设置，目前的调度方案无法处理。我们表明，它实现了更好的最大完工时间比经典的HEFT算法，几乎相同的吞吐量为面向吞吐量的HEFT（TP-HEFT），同时提供几个数量级更快的调度时间在这两种情况下。例如，对于最大完工时间最小化，GCN调度50个节点的任务图大约需要4毫秒，而HEFT需要1500秒以上;对于吞吐量最大化，GCN调度100个节点的任务图大约需要3.3毫秒，而TP-HEFT大约需要6.9秒。
2021-10-22 cs.AI cs.DC cs.LG
A Graph Convolutional Network Composition Framework for Semi-supervised Classification
Microsoft Research（微软研究院）
图卷积网络（GCN）由于在包括节点分类的若干下游任务上可实现的高性能而获得普及。这些网络的几个架构变体已被提出，并在文献中进行了实验研究。最近的工作简化GCN的动机，我们研究了设计其他变体的问题，并提出了一个框架，组成网络使用积木的GCN。该框架提供了使用特征和/或标签传播网络、线性或非线性网络来组成和评估不同网络的灵活性，其中每个组成具有不同的计算复杂性。我们进行了详细的实验研究，在几个基准数据集与许多变量，并提出意见，从我们的评估。我们的实证实验结果表明，几个新组成的变种是有用的替代品，考虑，因为他们是竞争力，或优于原来的GCN。
2020-04-08 cs.LG stat.ML
On Provable Benefits of Depth in Training Graph Convolutional Networks
Penn State（宾夕法尼亚州立大学）
图卷积网络（Graph Convolutional Network，GCN）的性能随着网络层数的增加而下降，这通常归因于过度平滑。尽管表面上的共识，我们观察到，存在着过度平滑的理论理解和GCN的实际能力之间的差异。具体来说，我们认为，过度平滑不一定会发生在实践中，一个更深的模型是可证明的表达，可以收敛到全局最优的线性收敛速度，并实现非常高的训练精度，只要适当的训练。尽管能够达到很高的训练精度，但实证结果表明，更深层次的模型在测试阶段的泛化能力很差，现有的理论对这种行为的理解仍然很难理解。为了更好地理解GCN，我们仔细分析了GCN的泛化能力，并表明实现高训练精度的训练策略显着恶化了GCN的泛化能力。受这些发现的启发，我们提出了一个解耦的结构GCN分离的权重矩阵的特征传播，以保持表达能力，并确保良好的泛化性能。我们对各种合成和真实世界的数据集进行实证评估，以验证我们的理论的正确性。
2021-10-28 cs.LG
ML4CO: Is GCNN All You Need? Graph Convolutional Neural Networks Produce Strong Baselines For Combinatorial Optimization Problems, If Tuned and Trained Properly, on Appropriate Data
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
2021年NeurIPS组合优化机器学习（ML 4CO）竞赛旨在通过用机器学习模型替换关键启发式组件来改进最先进的组合优化求解器。比赛的主要科学问题如下：当历史数据可用时，机器学习是否是改进特定问题分布的传统组合优化求解器的可行选择？这是因为在许多实际场景中，数据在组合优化问题的重复之间只有轻微的变化，这是机器学习模型特别强大的领域。本文总结了华为EI-OROAS团队在竞赛双重任务中的解决方案和经验教训。我们团队的提交在最终排名中获得了第二名，距离第一名的距离非常近。此外，在最终评估之前，我们的解决方案在几次每周排行榜更新中一直排名第一。我们提供了从大量实验中获得的见解，并认为如果训练和调整得当，一个简单的图卷积神经网络（GCNN）可以实现最先进的结果。
2021-12-22 cs.AI cs.DM cs.LG
Connecting Graph Convolutional Networks and Graph-Regularized PCA
Carnegie Mellon University（卡内基梅隆大学）
GCN模型的图卷积算子最初是从谱图卷积的局部一阶近似出发的。这项工作站在一个不同的观点;建立一个\textit{mathematical connection between graph convolution and graph-regularized PCA}（GPCA）。基于这种联系，通过堆叠图卷积层形成的GCN架构与堆叠GPCA有着密切的关系。我们的经验表明，通过GPCA与1层或2层MLP配对的\textit{unsupervised}嵌入在包括Open Graph Benchmark \footnote{\url{https://ogb.stanford.edu/}}在内的五个数据集上的半监督节点分类任务上实现了与GCN相似甚至更好的性能。这表明GCN的威力是由基于图的正则化驱动的。此外，我们扩展GPCA的（半）监督设置，并表明它是等价于GPCA上的一个图扩展与“鬼”的边缘之间的节点相同的标签。最后，我们利用发现的关系，设计一个有效的初始化策略的基础上堆叠GPCA，使GCN收敛速度更快，并实现强大的性能在大量的层。值得注意的是，所提出的初始化是通用的，适用于其他GNN。
2021-03-02 cs.LG stat.ML
Topology and Prediction Focused Research on Graph Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
使用卷积神经网络（CNN）方法来解决依赖于网格结构化数据的领域中的复杂问题（诸如图像处理和对象分类）已经取得了重要进展。最近，对图卷积神经网络（GCNN）的研究急剧增加，因为研究人员试图复制CNN在图结构数据中的成功。不幸的是，传统的CNN方法不容易转移到GCNN，考虑到图形的不规则性和几何复杂性。GCNN的新兴领域由于研究论文在范围、细节和读者所需的学术复杂程度方面存在很大差异而变得更加复杂。本文综述了GCNN的一些基本性质。作为感兴趣的读者的指南，GCNN研究的最新示例然后根据试图揭示图模型的底层拓扑结构的技术和那些试图在图数据上推广传统的CNN方法以改进类成员关系预测的技术进行分组。图上离散信号处理（DSPg）被用作理论框架，以更好地理解这些最新GCNN方法的一些性能增益和局限性。简要讨论了拓扑自适应图卷积网络（TAGCN）作为DSPg的一种方法，并简要讨论了使用这种方法的未来研究方向。
2018-08-23 cs.LG eess.SP stat.ML
Deep Neural Networks Motivated by Partial Differential Equations
Emory University（埃默里大学）；Xtract Technologies Inc.（Xtract技术公司）；The University of British Columbia（不列颠哥伦比亚大学）
偏微分方程（PDE）是许多物理现象建模不可缺少的，也常用于解决图像处理任务。在后一领域，基于偏微分方程的方法将图像数据解释为多变量函数的离散化，并将图像处理算法的输出解释为某些偏微分方程的解。提出无限维背景下的图像处理问题，为分析和解决这些问题提供了强有力的工具。在过去的几十年里，通过PDE透镜对经典图像处理问题的重新解释已经创造了多种著名的方法，这些方法有利于包括图像分割、去噪、配准和重建在内的广泛领域的任务。在本文中，我们建立了一类深度卷积神经网络（CNN）的新PDE解释，这些深度卷积神经网络通常用于从语音，图像和视频数据中学习。我们的解释包括卷积残差神经网络（ResNet），这是最有前途的方法之一，用于图像分类等任务，在著名的基准测试挑战中提高了最先进的性能。尽管最近取得了成功，但深度ResNets仍然面临着一些与其设计相关的关键挑战，巨大的计算成本和内存需求，以及缺乏对其推理的理解。在成熟的PDE理论的指导下，我们推导出三种新的ResNet架构，分为两类：抛物线和双曲CNN。我们展示了PDE理论如何为深度学习提供新的见解和算法，并使用数值实验展示了三种新的CNN架构的竞争力。
2018-12-10 cs.LG math.OC stat.ML
Graph Convolutional Networks for Simulating Multi-phase Flow and Transport in Porous Media
Chevron Technical Center（雪佛龙技术中心）；The University of Arizona（亚利桑那大学）
针对CNN难以处理多孔介质多相流模拟中非结构化网格的问题，提出适配耦合PDE双曲特性的GCN代理模型，可高精度预测压力与饱和度演化，对未见过的不规则域和非结构化网格泛化性好。
2024-04-15 cs.LG physics.comp-ph
Fusion Graph Convolutional Networks
Indian Institute of Technology Madras（马德拉斯印度理工学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Ohio State University（俄亥俄州立大学）
属性图中的半监督节点分类，即，具有节点特征的图，涉及学习在给定部分标记的图的情况下对未标记的节点进行分类。标签预测是通过对节点及其邻域特征进行联合建模来进行的。在这种属性图上进行节点分类的最新模型使用可微递归函数，该函数能够聚合和过滤来自多跳的邻域信息。在这项工作中，我们分析了这些模型的表示能力，以调节信息从多个跳独立。从我们的分析中，我们得出结论，这些模型，尽管是强大的，有有限的表示能力，有效地捕捉多跳邻域信息。此外，我们还提出了一个数学动机，但简单的扩展现有的图卷积网络（GCN），提高了表示能力。我们广泛地评估了所提出的模型，F-GCN八个流行的数据集从不同的领域。F-GCN在六个数据集上的表现优于最先进的半监督学习模型，同时在其他两个数据集上极具竞争力。
2018-09-21 cs.LG cs.SI stat.ML
Structural Deep Clustering Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent（腾讯）；Tsinghua University（清华大学）
聚类是数据分析中的一项基本任务。最近，主要从深度学习方法中获得灵感的深度聚类实现了最先进的性能，并引起了相当大的关注。当前的深度聚类方法通常借助于深度学习的强大表示能力来提升聚类结果，例如，自动编码器，这表明学习有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身提取有用的表示，而不是数据的结构，这在表示学习中很少受到关注。基于图卷积网络（GCN）在编码图结构方面取得的巨大成功，提出了一种结构化深度聚类网络（SDCN），将结构信息集成到深度聚类中。具体来说，我们设计了一个传递算子来将自动编码器学习到的表示传递到相应的GCN层，并设计了一个双重自监督机制来统一这两种不同的深度神经架构，并指导整个模型的更新。通过这种方式，从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。此外，我们从理论上分析了交付运营商，即，通过传递算子，GCN将自动编码器特定的表示改进为高阶图正则化约束，并且自动编码器有助于减轻GCN中的过度平滑问题。通过全面的实验，我们证明了我们提出的模型可以始终比最先进的技术表现得更好。
2020-02-12 cs.LG stat.ML
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
在许多真实世界的网络数据集中，如共同作者，共同引用，电子邮件通信等，关系是复杂的，超越了两两。超图提供了一种灵活而自然的建模工具来建模这种复杂的关系。在许多现实世界的网络中，这种复杂关系的明显存在自然激发了超图学习的问题。一种流行的学习范例是基于超图的半监督学习（SSL），其目标是为超图中最初未标记的顶点分配标签。基于图卷积网络（GCN）在基于图的SSL中的有效性，提出了一种基于属性超图的SSL GCN--HyperGCN.此外，我们展示了如何HyperGCN可以作为一个基于学习的方法组合优化NP难超图问题。我们证明了HyperGCN的有效性，通过详细的实验在现实世界的超图。
2019-05-22 cs.LG stat.ML
PDE-PFN: Prior-Data Fitted Neural PDE Solver
SolverX；KAIST（韩国科学技术院）；Seoul National University（首尔大学）；TelePIX；Arizona State University（亚利桑那州立大学）；Sandia National Laboratories（桑迪亚国家实验室）
PDE-PFN是基于PFN架构的神经PDE求解器，通过在噪声近似解上预训练，实现跨异构方程泛化、噪声先验鲁棒性及零梯度更新推理，精度优于或相当基线。
2026-10-12 cs.LG
Predicting Transonic Flowfields in Non-Homogeneous Unstructured Grids Using Autoencoder Graph Convolutional Networks
University of Southampton（南安普顿大学）；Zurich University of Applied Sciences ZHAW（苏黎世应用科技大学）；Federal Institute of Technology Zurich ETHZ（苏黎世联邦理工学院）
本文提出 Autoencoder GCN 架构，利用几何深度学习处理 CFD 非均匀非结构化网格，并通过机翼与机翼—机身案例验证其跨音速流场降阶预测能力。
2024-05-07 cs.CE cs.LG
PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence
University of Oxford（牛津大学）；University of Notre Dame（圣母大学）；Boston University（波士顿大学）
研究含神经网络项的线性椭圆PDE的优化问题，证明梯度下降结合伴随PDE可全局收敛，并应用于RANS湍流模型的训练与评估。
2023-10-16 cs.LG
PDE-Constrained Optimization for Neural Image Segmentation with Physics Priors
Department of Statistics, Tripura University（统计系，特里普拉大学）
本研究提出基于偏微分方程约束优化的神经图像分割方法，通过整合物理先验提升分割精度和泛化能力。
2026-02-01 cs.CV cs.LG
EgoSpeed-Net: Forecasting Speed-Control in Driver Behavior from Egocentric Video Data
University of Iowa（爱荷华大学）；Worcester Polytechnic Institute（伍斯特理工学院）
速度控制预测是驾驶员行为分析中的一个具有挑战性的问题，其目的是预测驾驶员未来控制车辆速度的行为，如制动或加速。在本文中，我们试图解决这一挑战，仅使用以自我为中心的视频数据，在文献中的大多数作品使用第三人称视图数据或额外的车辆传感器数据，如GPS，或两者兼而有之。为此，我们提出了一种新的图卷积网络（GCN）为基础的网络，即EgoSpeed-Net。我们的动机是这样一个事实，即随着时间的推移，物体的位置变化可以为我们预测未来的速度变化提供非常有用的线索。我们首先建模的对象之间的空间关系，从每个类，逐帧，使用完全连接的图形，在其上的GCN应用于特征提取。然后，我们利用一个长短期记忆网络融合这些功能，每类随着时间的推移到一个向量，连接这些向量和预测的速度控制行动使用多层感知器分类。我们在本田研究所驾驶数据集上进行了广泛的实验，并展示了EgoSpeed-Net的卓越性能。
2022-09-27 cs.CV cs.LG
Complex-Value Spatio-temporal Graph Convolutional Neural Networks and its Applications to Electric Power Systems AI
Cornell University（康奈尔大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文将图卷积神经网络推广至复数域以处理时空复值图信号，证明其对图扰动和多层误差传播的稳定性，并用于电网状态预测及网络攻击检测定位。
2022-09-22 cs.LG cs.SY eess.SY
Neural Inverse Operators for Solving PDE Inverse Problems
ETH Zürich（苏黎世联邦理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对算子到函数形式的 PDE 逆问题，提出由 DeepONets 与 FNO 组合而成的 Neural Inverse Operators，实验表明其更准确稳健且速度快几个数量级。
2023-06-03 cs.LG math-ph math.AP
Deep Learning Models for Global Coordinate Transformations that Linearize PDEs
University of Washington（华盛顿大学）；Argonne National Laboratory（阿贡国家实验室）
我们开发了一个深度自动编码器架构，可以用来找到一个坐标变换，把一个非线性PDE变成一个线性PDE。我们的架构是由线性化变换提供的Cole-Hopf变换的Burgers方程和逆散射变换的完全可积偏微分方程的动机。通过利用残差网络架构，可以利用近恒等变换来编码动态是线性的内在坐标。由此产生的动力学由Koopman算子矩阵$\mathbf{K}$给出。解码器还允许我们转换回原始坐标。多时间步预测可以通过重复乘以固有坐标中的矩阵$\mathbf{K}$来执行。我们展示了我们的方法的一些例子，包括热方程和Burgers方程，以及更具挑战性的Kuramoto-Sivashinsky方程，表明我们的方法提供了一个强大的架构，发现可解释的，线性化的非线性偏微分方程的变换。
2019-11-07 cs.LG math.DS physics.comp-ph
SFO: Learning PDE Operators via Spectral Filtering
Technion - Israel Institute of Technology（技术离子-以色列理工学院）；Princeton University（普林斯顿大学）
研究如何让神经算子有效捕捉偏微分方程解映射中的长程非局部相互作用，提出谱滤波算子SFO，利用通用谱基参数化积分核，通过学习快速衰减特征值的谱系数实现高效表示，在六个基准测试中达最优精度，大幅降误差并减少参数。
2026-09-09 cs.AI cs.LG
From Equations to Insights: Unraveling Symbolic Structures in PDEs with LLMs
Department of Computer Science, University of Maryland, College Park, Maryland, USA（计算机科学系，马里兰大学， College Park, Maryland, USA）；Department of Mathematics, The University of Tennessee, Knoxville, Tennessee, USA（数学系，田纳西大学， Knoxville, Tennessee, USA）；Department of Mathematics, and Department of Computer Science, University of Maryland, College Park, Maryland, USA（数学系和计算机科学系，马里兰大学， College Park, Maryland, USA）
本文提出利用 LLM 学习 PDE 中的符号关系以预测相关算子，并证明该发现可提升符号机器学习求解解析近似的效率、准确性与可解释性。
2025-10-18 cs.LG
Explain Like I'm Five: Using LLMs to Improve PDE Surrogate Models with Text
Carnegie Mellon University（卡内基梅隆大学）
本研究针对PDE求解的数值计算难题，提出在FactFormer中加入多模态模块融合文本与数值信息，验证了预训练LLMs可利用系统文本描述，仅靠初始条件实现PDE的准确预测。
2025-02-21 cs.LG physics.comp-ph
Solving high-dimensional Hamilton-Jacobi-Bellman PDEs using neural networks: perspectives from the theory of controlled diffusions and measures on path space
Universität Potsdam（波茨坦大学）；Freie Universität Berlin（柏林自由大学）；Brandenburgische Technische Universität Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格）
扩散过程的最优控制与求解某些Hamilton-Jacobi-Bellman方程的问题密切相关。最近的机器学习启发的方法对高维偏微分方程的基础上，我们调查的潜力$\textit{iterative diffusion optimisation}$技术，特别是考虑应用在重要性采样和罕见事件模拟，并专注于没有扩散控制的问题，线性控制漂移和运行成本，依赖于二次控制。更一般地说，我们的方法适用于非线性抛物型偏微分方程具有一定的平移不变性。一个适当的损失函数的选择是在算法设计的一个核心要素，我们开发了一个原则性的框架的基础上路径措施之间的分歧，包括各种现有的方法。出于连接到前向-后向随机微分方程，我们提出并研究了新的$\textit{log-variance}$分歧，相应的蒙特卡罗估计显示出良好的性能。所开发的方法的承诺举例说明了一系列的高维和亚稳态数值例子。
2023-01-29 cs.LG cs.NA math.NA
Flowers: A Warp Drive for Neural PDE Solvers
ETH Zurich（苏黎世联邦理工学院）；University of Helsinki（赫尔辛基大学）；University of California, Berkeley（加州大学伯克利分校）
提出Flowers架构，通过多头扭曲场实现线性代价的自适应全局交互，在2D/3D时变PDE基准上超越傅里叶、卷积和注意力基线。
2026-06-01 cs.LG
Model Reduction and Neural Networks for Parametric PDEs
California Institute of Technology（加州理工学院）
我们开发了一个通用的框架数据驱动的近似输入输出映射之间的无限维空间。所提出的方法受到神经网络和深度学习最近成功的启发，并结合了模型简化的想法。这种组合导致神经网络近似，其原则上定义在无限维空间上，并且在实践中，对于计算所需的这些空间的有限维近似的维度是鲁棒的。对于一类输入-输出映射，并适当地选择输入的概率测度，我们证明了所提出的近似方法的收敛性。我们还包括数值实验，证明了该方法的有效性，显示收敛性和鲁棒性的近似方案的离散化的大小，并比较它与现有的算法从文献中，我们的例子包括从系数映射到解决方案中的散度型椭圆偏微分方程（PDE）问题，和粘性Burgers方程的解决方案运营商。
2021-06-17 cs.LG cs.NA math.NA
Directed Graph Auto-Encoders
IBM Research（IBM研究院）；T. J. Watson Research Center（T·J·沃森研究中心）
我们引入了一类新的自动编码器的有向图，直接扩展的Weisfeiler-Leman算法对节点标签的动机。该模型学习有向图节点的可解释潜在表示对，并使用参数化的图卷积网络（GCN）层作为其编码器和非对称内积解码器。编码器中的参数控制相邻节点之间交换的表示的加权。我们证明了所提出的模型学习有意义的潜在嵌入的能力，并在几个流行的网络数据集上的有向链接预测任务上取得优异的性能。
2022-02-25 cs.AI cs.LG
Unlearning Noise in PINNs: A Selective Pruning Framework for PDE Inverse Problems
Zhejiang University（浙江大学）；University of Pennsylvania（宾夕法尼亚大学）；Texas Tech University（德克萨斯理工大学）
本文提出P-PINN框架，通过选性剪枝去除预训练PINN中受污染数据的影响，提升PDE反问题的鲁棒性、准确性和训练稳定性。
2026-04-05 cs.LG
Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers
MIT（麻省理工学院）；IBM Research（IBM研究院）
气候、化学或天体物理学中的数值模拟对于高分辨率的不确定性量化或参数探索来说计算成本太高。降阶或代理模型的速度快了几个数量级，但传统的代理是不灵活或不准确的，而纯粹的基于机器学习（ML）的代理太需要数据。我们提出了一个混合的，灵活的代理模型，利用已知的物理模拟大规模的动态和限制学习难以建模的术语，这被称为参数化或关闭，并捕捉到的效果精细到大规模的动态。利用神经运算符，我们是第一个学习网格独立，非局部和灵活参数化的人。我们的\textit{multiscale neural operator}的动机是在多尺度建模的丰富文献，具有准线性运行时的复杂性，是更准确或更灵活的比国家的最先进的参数化和混沌方程多尺度Lorenz96上证明。
2022-07-23 cs.AI cs.CE cs.DC
An Inverse Scattering Inspired Fourier Neural Operator for Time-Dependent PDE Learning
Department of Energy Sciences, Lund University, 22100 Lund, Sweden（能源科学系，吕勒奥大学，瑞典）
本文提出受反散射启发的傅里叶神经算子，通过可逆性和谱演变结构提升非线性PDE学习的鲁棒性和长期预测精度。
2025-12-22 cs.LG
LatentPINNs: Generative physics-informed neural networks via a latent representation learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对PINNs收敛慢且需针对不同PDE参数重新训练的问题，提出latentPINN框架，利用潜在扩散模型学习PDE参数分布的压缩潜在表示作为输入，通过两阶段训练，在Eikonal方程上验证了无需额外训练即可泛化到新速度模型。
2023-05-11 cs.LG physics.comp-ph
Solving Nonlinear PDEs with Sparse Radial Basis Function Networks
University of California, San Diego（加州大学圣迭戈分校）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种利用稀疏径向基函数网络求解非线性偏微分方程的新框架，通过稀疏正则化防止过参数化并减少冗余特征，结合传统RBF方法和物理信息神经网络的优劣，建立统一的理论基础和高效算法。
2026-04-24 cs.LG cs.NA math.NA
Deep Equilibrium Based Neural Operators for Steady-State PDEs
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Duke University（杜克大学）
本文提出FNO-DEQ，将稳态PDE的解视为隐式算子的无限深度不动点，以O(1)训练内存实现高效求解，并在Darcy Flow和Navier-Stokes等任务上以更少参数超越FNO基线且对噪声更鲁棒。
2023-11-30 cs.LG cs.NA math.NA
The Kuramoto Neural Operator: Learning to Solve PDEs via Coupled Oscillator Dynamics
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn实验室））；Innopolis University（Innopolis大学）
本文提出仓本神经网络算子（KNO），通过交互振子潜场演化表示偏微分方程解，在PDE基准测试中性能优于竞争方法，其预测误差与潜振子同步程度相关。
2026-08-12 cs.CE cs.LG
Particles to Partial Differential Equations Parsimoniously
MIT（麻省理工学院）；Johns Hopkins University（约翰霍普金斯大学）
控制物理化学过程的方程通常在微观空间尺度上是已知的，但人们怀疑存在方程，例如以偏微分方程（PDE）的形式，可以解释系统在更粗，中观或宏观尺度上的演化。发现这些粗粒度的有效偏微分方程可以节省大量的计算密集型任务，如预测或控制。我们提出了一个框架相结合的人工神经网络与多尺度计算，在方程的自由数值的形式，直接从微观模拟有效地发现这样的宏观尺度偏微分方程。收集足够的微观数据来训练神经网络在计算上可能是禁止的;无方程的数值通过仅在时空域的稀疏子集中操作来实现更节省的训练数据收集。我们还提出使用数据驱动的方法，基于流形学习和分布的非归一化最优传输，以识别适合于数据驱动发现所述偏微分方程的宏观尺度因变量。这种方法可以证实物理动机的候选变量，或引入新的数据驱动的变量，在粗粒度的有效PDE可以制定。我们说明了我们的方法，从基于粒子的模拟与先验未知的宏观尺度变量（S）提取粗粒度的演化方程，同时显着减少必要的数据收集计算工作量。
2020-11-09 cs.LG physics.comp-ph physics.data-an
An Extreme Learning Machine-Based Method for Computational PDEs in Higher Dimensions
Purdue University（普渡大学）
提出两种基于随机神经网络与极限学习机的高维偏微分方程求解方法，通过固定隐藏层参数训练输出层并结合A-TFC重构，在精度与成本上优于PINN。
2023-09-13 cs.LG cs.NA math.NA
A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations
University of California, Irvine（加州大学欧文分校）
针对物理信息机器学习求解非线性偏微分方程时对神经网络架构和损失函数敏感的问题，提出核加权校正残差框架，整合核方法与深度神经网络优势，显著提升性能并降低模型对初始化等因素的敏感性。
2024-09-26 cs.LG cs.NA math.NA
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）
该研究从理论上证明协方差神经网络（VNNs）在协方差矩阵收敛的数据集间具有性能可迁移性，并将其应用于脑年龄预测，发现VNNs能为阿尔茨海默病的脑年龄差距提供解剖学可解释性，且可通过跨数据集交叉验证结论。
2023-05-04 cs.LG stat.AP stat.ML
Discovering alignment relations with Graph Convolutional Networks: a biomedical case study
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）；Orange（Orange公司）；Ubisoft（育碧公司）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Centre de Recherche des Cordeliers（科德利耶研究中心）；Inserm（法国国家健康与医学研究院）；Université de Paris（巴黎大学）；Sorbonne Université（索邦大学）
知识图谱可以在数据网络中自由聚合、发布和编辑，因此可能会重叠。因此，一个关键任务在于对齐（或匹配）它们的内容。该任务包括在聚合的知识图谱内识别等价的、更具体的或弱相关的节点。在这篇文章中，我们提出通过（i）使用图卷积网络学习节点嵌入来匹配知识图谱中的节点，使得相似的节点在嵌入空间中具有较低的距离，以及（ii）基于它们的嵌入对节点进行聚类，以便建议同一簇中节点之间的对齐关系。我们用这种方法对药物基因组学领域中对齐知识的现实应用进行了实验，这激发了我们的研究。我们特别研究了领域知识和GCN模型之间的相互作用，重点有以下两个。首先，在学习节点嵌入之前，我们独立或组合地应用与领域知识相关联的推理规则，并测量匹配结果的改进。其次，虽然我们的GCN模型对精确的比对关系是不可知的（例如，等价，弱相似性），我们观察到嵌入空间中的距离与这些不同关系的“强度”是一致的（例如，相等的距离更小），让我们考虑嵌入空间中的聚类和距离作为在我们的案例研究中建议对齐关系的手段。
2021-10-19 cs.AI cs.LG
Graph Fourier Neural Kernels: Learning Full PDE Trajectories Across Geometries and Anisotropic Parameter Fields
Johns Hopkins University（约翰斯·霍普金斯大学）
针对多域多参数非线性扩散型PDE求解难题，提出基于图傅里叶神经核的神经算子G-FuNK，结合图拉普拉斯与变体傅里叶神经算子，集成ODE求解器处理时序，在多类PDE上实现低误差跨域泛化且加速预测。
2026-11-10 cs.AI cs.LG math.SP
Solving parametric partial differential equations with deep rectified quadratic unit neural networks
Fudan University（复旦大学）
实现深度神经网络来学习参数偏微分方程（PDE）的解映射比使用许多传统的数值方法更有效。然而，有限的理论分析已经进行了这种方法。在这项研究中，我们研究了深度整流二次单位（ReQU）神经网络近似参数偏微分方程的解映射的表达能力。所提出的方法是由G. Kutyniok，P. Petersen，M. Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan，and Reinhold Schneider.深度神经网络与参数偏微分方程的理论分析。Constructive Approximation，第1-53页，2021），其使用深度整流线性单元（ReLU）神经网络来求解参数PDE。与之前建立的ReLU神经网络的复杂度约束$\mathcal{O}\left(d^3\log_{2}^{q}(1/ ε) \right)$相比，我们推导出了实现精确度$ε>0$所需的深度ReQU神经网络大小的上界$\mathcal{O}\left(d^3\log_{2}^{q}\log_{2}(1/ ε) \right)$，其中$d$是表示解决方案的缩减基的维度。我们的方法充分利用了解流形固有的低维性和深度ReQU神经网络更好的逼近性能。数值实验验证了我们的理论结果。
2022-08-30 cs.LG cs.NA math.AP
Spectral-Informed Neural Networks Outperform Spectral Methods in High-dimensional PDEs
Applied AI Institute（应用人工智能研究所）
研究高维偏微分方程问题，核心方法是将谱方法与PINNs结合成改进的SINNs，通过系数衰减缩放和基嵌入提升精度。主要贡献是在中维问题上优于稀疏网格谱方法，在高维问题上比PINNs精度更高。
2026-07-16 cs.AI cs.CE cs.LG
A Systematic Analysis of Automatic Differentiation versus Discretization-based Constraints for Physics-Informed PDE Solvers
Sun Yat-sen University（中山大学）；National Key Laboratory of Aerospace Physics in Fluids（国家航空航天流体物理重点实验室）
本文系统比较了物理信息神经网络中自动微分与基于离散化的约束，发现随非线性增强后者精度优势更显著，且GNN优于MLP，为工程应用提供配置指南。
2026-09-09 cs.LG cs.NA math.NA
