Breakeven complexity: A new perspective on neural partial differential equation solvers
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
本文提出突破性复杂度评估框架,考虑神经求解器的前期成本与传统求解器的低保真度成本,分析不同PDE求解器在复杂问题中的有效性。
2026-11-10 cs.AI cs.LG cs.NA
PINN-FEM: A Hybrid Approach for Enforcing Dirichlet Boundary Conditions in Physics-Informed Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对物理信息神经网络中Dirichlet边界条件软施加精度不足的问题,提出结合有限元法的混合方法PINN-FEM,通过区域分解在边界处用FEM实现强边界施加,经6组实验验证其精度与鲁棒性优于标准模型,更具实际通用性。
2025-01-14 cs.LG physics.comp-ph stat.ML
Enforcing boundary conditions for physics-informed neural operators
Chair Computational Mathematics, Institute of Mathematics, Hamburg University of Technology(计算数学主任,数学研究所,汉堡技术大学)
针对现有强施加Neumann/Robin边界条件的方法对边界光滑度要求高、在分段光滑边界上易不稳定的问题,研究推广了已有方法并提出基于正交投影的新方法,在两类方程上验证了其性能。
2025-10-28 cs.LG cs.NA math.NA
Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
深度神经网络已被广泛部署在各种机器学习任务中。然而,最近的研究表明,它们容易受到对抗性例子的影响:精心制作的小扰动会导致网络的错误分类。在这项工作中,我们提出了一种新的防御机制,称为边界条件GAN,以增强深度神经网络对对抗性示例的鲁棒性。边界条件GAN是条件GAN的一个改进版本,可以在预训练分类器的决策边界附近生成具有真实标签的边界样本。这些边界样本被馈送到预先训练的分类器作为数据增强,以使决策边界更鲁棒。我们的经验表明,我们的方法改进的模型一致地成功抵御各种类型的对抗攻击。进一步的定量调查的鲁棒性和可视化的决策边界的改善也提供了证明我们的策略的有效性。这种利用边界样本增强网络鲁棒性的新防御机制为一致防御对抗攻击开辟了一条新途径。
2019-02-28 cs.LG stat.ML
Solving PDEs With Deep Neural Nets under General Boundary Conditions
Department of Electrical and Computer Engineering, University of California, Los Angeles(电气与计算机工程系,加州大学洛杉矶分校)
本文提出了一种扩展的TENG框架,通过整合自然梯度优化与数值时间推进方案,精确解决狄利克雷边界条件的PDEs问题,并展示了其在热方程中的高精度与高效性。
2026-02-10 cs.AI cs.LG cs.NA
PFNN: A Penalty-Free Neural Network Method for Solving a Class of Second-Order Boundary-Value Problems on Complex Geometries
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
提出了一种无惩罚的神经网络方法PFNN,用于求解一类复杂几何条件下的二阶边值问题。为了降低光滑性要求,将原问题转化为弱形式,从而避免了高阶导数的计算。两个神经网络,而不是只有一个,被用来构造近似解,与一个网络满足本质边界条件和其他处理域的其余部分。用这种方式,一个无约束的最优化问题,而不是一个有约束的,解决了没有添加任何惩罚条款。两个网络的纠缠被消除的长度因子函数的帮助下,是规模不变的,可以适应复杂的几何形状。我们证明了PFNN方法的收敛性,并对一系列线性和非线性二阶边值问题进行了数值实验,以证明PFNN在精度、灵活性和鲁棒性方面优于现有的几种方法。
2020-12-17 cs.LG cs.NA math.NA
A Boundary Integral-based Neural Operator for Mesh Deformation
School of Electronics and Information Engineering(电子信息工程学院)
本文提出基于边界积分和神经算子的网格变形方法,通过Dirichlet型Green张量实现高效、精确的网格变形,适用于多样边界条件和工程应用。
2026-03-03 cs.CE cs.LG cs.NA
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
A Neural-preconditioned Poisson Solver for Mixed Dirichlet and Neumann Boundary Conditions
University of California, Davis, USA(加州大学戴维斯分校);University of California, Los Angeles, USA(加州大学洛杉矶分校);Waseda University, Tokyo, Japan(早稻田大学)
本文提出了一种神经预条件求解器,用于解决混合边界条件下的泊松方程,通过轻量神经网络架构实现高效求解,优于传统多网格方法。
2026-09-07 cs.GR cs.LG cs.NA
TENG-BC: Time-Evolving Natural Gradient for High-Accuracy Neural PDE Solvers with General Boundary Conditions
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Department of Physics, Tsinghua University, Beijing, China(清华大学物理系);Institute of Advanced Study, Tsinghua University, Beijing, China(清华大学advanced study研究所)
TENG-BC通过统一时间演进自然梯度方法,实现对具有通用边界条件的神经PDE求解器的高精度求解,优于传统方法和PINN基线。
2026-11-13 cs.LG
Construction of Grid Operators for Multilevel Solvers: a Neural Network Approach
Università della Svizzera Italiana(提契诺大学)
在本文中,我们研究多重网格方法和神经网络的结合,从一个椭圆型偏微分方程的有限元离散。多重网格方法使用插值算子在不同的近似水平之间传递信息。这些算子对于多重网格的快速收敛是至关重要的,但它们通常是未知的。我们提出了用于学习插值算子的深度神经网络模型,并根据网络的输出构建了一个多级层次结构。我们研究了神经网络预测的插值算子的准确性,并使用不同的网络架构对其进行测试。这种用于构造网格算子的神经网络方法可以扩展为多级求解器的自动定义,从而在科学计算中实现便携式解决方案
2021-09-13 cs.LG cs.NA math.NA
Learning and Optimization of Blackbox Combinatorial Solvers in Neural Networks
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在神经网络内部使用黑盒求解器是一个相对较新的领域,其目的是通过包含针对复杂问题的经验证的高效求解器来提高神经网络性能。现有的工作已经创建了学习网络的方法,将这些求解器作为组件,同时将它们视为黑盒。这项工作试图改善现有的技术,优化不仅在主要的损失函数,但也在求解器本身的性能,通过使用时间成本正则化。此外,我们提出了一种方法来学习黑盒参数,如黑盒求解器使用或启发式函数为特定的求解器。我们通过引入超黑盒的概念来做到这一点,超黑盒是围绕一个或多个内部黑盒的黑盒。
2020-06-06 cs.LG stat.ML
Towards a machine learning pipeline in reduced order modelling for inverse problems: neural networks for boundary parametrization, dimensionality reduction and solution manifold approximation
SISSA(国际高等研究院)
本文提出一种基于神经网络的非侵入式模型降阶框架,通过边界参数化、快照降维和解流形逼近加速偏微分方程反问题的迭代优化,并在两个CFD算例中验证了其快速收敛效果。
2022-10-26 cs.LG cs.NA math.NA
A holomorphic neural network framework for 3D boundary value problems governed by harmonic potentials
Department of Mechanical and Production Engineering, Aarhus University(阿arhus大学机械与生产工程系);Department of Applied Mathematics and Computer Science, Technical University of Denmark(技术大学 of Denmark应用数学与计算机科学系)
提出一种基于Whittaker积分公式和全纯神经网络的框架,通过构造精确满足偏微分方程的神经网络求解三维调和势边值问题,仅需边界配点训练,在拉普拉斯和线弹性问题中验证了精度。
2026-05-29 cs.LG cs.NA math.NA
Physics-Embedded Neural Networks: Graph Neural PDE Solvers with Mixed Boundary Conditions
RICOS Co. Ltd.(RICOS有限公司);University of Tsukuba(筑波大学)
图神经网络(GNN)是学习和预测边值问题中描述的物理现象的一种很有前途的方法,如带边界条件的偏微分方程(PDE)。然而,现有的模型没有充分处理边界条件的可靠预测等问题。此外,由于GNN的局部连接性质,很难准确预测长时间后的状态,其中顶点之间的交互往往是全局的。我们提出了我们的方法,称为物理嵌入式神经网络,考虑边界条件,并预测了很长一段时间后,使用隐式方法的状态。它是基于E(n)-等变GNN构建的,从而在各种形状上具有很高的泛化性能。我们证明了我们的模型学习复杂形状的流动现象,并在速度-精度权衡方面优于优化的经典求解器和最先进的机器学习模型。因此,我们的模型可以成为实现可靠,快速和准确的基于GNN的PDE求解器的有用标准。该代码可在https://github.com/yellowshippo/penn-neurips2022上获得。
2023-03-23 cs.CE cs.LG
The boundary of neural network trainability is fractal
本研究受分形迭代启发,实验发现神经网络稳定与发散训练的超参数边界在超过十个数量级尺度上呈分形特征。
2024-02-09 cs.LG cs.NE nlin.CD
Hard-constraining Neumann boundary conditions in physics-informed neural networks via Fourier feature embeddings
Department Modeling and Artificial Intelligence(建模与人工智能系);Fraunhofer Institute for Integrated Systems and Device Technology IISB(弗劳恩霍夫集成系统与器件技术研究所IISB)
提出一种基于傅里叶特征嵌入的新方法,将诺伊曼边界条件直接硬约束到物理信息神经网络架构中,在多尺度与高频扩散问题上优于现有方法。
2025-04-01 cs.AI cs.LG physics.comp-ph
Bulk-boundary decomposition of neural networks
Department of Physics, Korea Advanced Institute of Science and Technology(物理系,韩国科学技术院)
提出体-边界分解框架,将神经网络训练动力学分解为数据无关的体项和数据相关的边界项,揭示深层网络的局部齐次结构并推导能量连续性方程。
2026-06-08 cond-mat.dis-nn cs.LG hep-ph
Meta-Solver for Neural Ordinary Differential Equations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
训练神经常微分方程(ODE)的传统方法是固定ODE求解器,然后学习神经网络的权重以优化目标损失函数。然而,这种方法是针对特定的离散化方法及其属性定制的,这对于所选择的应用可能不是最佳的,并且产生对给定求解器的过拟合。在我们的论文中,我们研究了求解器空间的可变性如何提高神经常微分方程的性能。我们考虑一个家庭的龙格-库塔方法参数不超过两个标量变量。基于求解器的属性,我们提出了一种方法来减少神经ODE过拟合到预定义的求解器,以及一个标准来评估这种行为。此外,我们表明,正确选择求解器参数化可以显着影响神经ODE模型的鲁棒性对抗攻击。最近的研究表明,神经ODE在鲁棒性方面优于传统的CNN。我们的工作表明,模型的鲁棒性可以进一步提高优化求解器的选择,为给定的任务。复制我们实验的源代码可在https://github.com/juliagusak/neural-ode-metasolver上获得。
2021-03-15 cs.LG
Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study
neurocat GmbH(神经猫有限责任公司)
尽管在许多图像分类任务上实现了卓越的性能,但最先进的机器学习(ML)分类器仍然容易受到小输入扰动的影响。特别是,对抗性示例的存在引发了人们对在安全和安全关键环境中部署ML模型的担忧,如自动驾驶和疾病检测。在过去的几年里,已经发布了许多防御方法,目的是提高对抗性和腐败鲁棒性。然而,拟议的措施只取得了非常有限的成功。这种有限的进展部分是由于缺乏对深度神经网络的决策边界和决策区域的理解。因此,我们研究了数据点到决策边界的最小距离,以及这个距离在深度神经网络的训练过程中如何演变。通过在MNIST、FASHION-MNIST和CIFAR-10上进行实验,我们观察到决策边界在训练过程中更接近自然图像。这种现象甚至在训练的后期保持不变,其中分类器已经获得了低的训练和测试出错率。另一方面,对抗性训练似乎有可能防止决策边界的这种不期望的收敛。
2020-02-05 cs.CR cs.LG stat.ML
A neural operator-based surrogate solver for free-form electromagnetic inverse design
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Tartu(塔尔图大学)
神经运算符已经成为在科学机器学习背景下求解偏微分方程的强大工具。在这里,我们实现和训练修改后的傅立叶神经算子作为电磁散射问题的代理求解器,并比较其数据效率现有的方法。我们进一步展示了它在基于梯度的纳米光子逆向设计中的应用,自由形式的全三维电磁散射体,这是一个迄今为止尚未应用深度学习技术的领域。
2023-03-28 cs.LG physics.comp-ph physics.optics
zoNNscan : a boundary-entropy index for zone inspection of neural models
Technicolor(特艺集团)
深度神经网络分类器的训练产生了决策边界,其几何形状仍然没有得到很好的理解。这与分类问题有直接关系,例如所谓的对抗性样本。我们引入了zoNNscan,这是一个索引,旨在告知一个给定输入数据点周围的边界不确定性(就其他类的存在而言)。它基于置信熵,并通过在输入周围的多维球中进行采样来实现。我们详细介绍了zoNNscan索引,给出了一种近似算法,最后说明了它在四个应用中的好处,包括在关键系统中采用深度网络的两个重要问题:对抗性示例和角落情况输入。我们强调,zoNNscan表现出显着更高的值比标准的输入在这两个问题类。
2018-08-21 cs.LG stat.ML
BENO: Boundary-embedded Neural Operators for Elliptic PDEs
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);Department of Engineering, Westlake University(西湖大学工学院);Department of Astronautics and Aeronautics, Stanford University(斯坦福大学航空航天系)
本文提出边界嵌入神经算子 BENO,通过双分支图神经网络与 Transformer 编码器将复杂几何和非齐次边界条件嵌入椭圆型偏微分方程求解,在多种边界条件测试中平均超越现有方法 60.96%。
2024-01-17 cs.LG
Distance-aware Attention Reshaping: Enhance Generalization of Neural Solver for Large-scale Vehicle Routing Problems
South China University of Technology(华南理工大学);Victoria University of Wellington(惠灵顿维多利亚大学)
针对神经求解器从小规模泛化到大规模车辆路径问题时注意力分数分散的问题,本文提出无需额外训练的距离感知注意力重塑方法,利用节点间欧氏距离调整注意力,在大规模CVRPLib数据集上显著超越现有最优方法。
2024-01-13 cs.AI cs.LG
Learning time-dependent PDE solver using Message Passing Graph Neural Networks
RWTH Aachen University(亚琛工业大学);Harvard University(哈佛大学)
求解时变偏微分方程的主要挑战之一是开发精确稳定的计算高效的求解器。在这里,我们介绍了一个图神经网络的方法来寻找有效的PDE求解器,通过学习使用消息传递模型。首先,我们引入域不变的PDE数据的启发经典PDE求解器的有效的物理表示的功能。接下来,我们使用图形来表示非结构化网格上的PDE数据,并表明消息传递图神经网络(MPGNN)可以参数化控制方程,因此,有效地学习精确的求解方案的线性/非线性偏微分方程。我们进一步表明,求解器是独立的初始训练的几何形状,即训练的求解器可以找到不同的复杂域上的PDE解决方案。最后,我们表明,一个经常性的图神经网络的方法可以找到一个时间序列的解决方案的PDE。
2022-04-15 cs.AI cs.LG
Neural Solver Selection for Combinatorial Optimization
本文提出首个通用框架,通过特征提取、选择模型和选择策略在实例层面协调多个神经求解器,以提升组合优化性能,在TSP和CVRP上显著降低最优性差距。
2025-05-24 cs.AI cs.LG math.OC
Towards General Neural Surrogate Solvers with Specialized Neural Accelerators
Department of Electrical Engineering, Stanford, Palo Alto, USA
针对神经 PDE 求解器受限于固定域尺寸、几何和边界条件的问题,本文提出 SNAP-DDM,用专用神经算子集合配合标准 DDM,实现二维电磁与流体自由形态问题的高精度通用求解。
2024-06-14 cs.AI cs.DC cs.LG
Lie Point Symmetry Data Augmentation for Neural PDE Solvers
University of Amsterdam(阿姆斯特丹大学);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Microsoft Research(微软研究院);Qualcomm AI Research(高通人工智能研究院);Deepmind(深度思维)
神经网络越来越多地被用于求解偏微分方程(PDE),取代速度较慢的数值求解器。然而,一个关键问题是,神经PDE求解器需要高质量的地面实况数据,这些数据通常必须来自它们要替换的求解器。因此,我们面临着一个众所周知的先有鸡还是先有蛋的问题。在本文中,我们提出了一种方法,它可以部分地缓解这个问题,通过提高神经PDE求解器的样本复杂性- Lie点对称数据增强(LPSDA)。在偏微分方程的背景下,事实证明,我们能够定量地推导出一个详尽的数据转换列表,基于Lie点对称群的偏微分方程的问题,在其他应用领域是不可能的。我们提出了这个框架,并演示了它如何可以很容易地部署,以提高神经PDE求解器样本的复杂性的一个数量级。
2022-05-29 cs.CV cs.LG
Virtual boundary integral neural network for three-dimensional exterior acoustic problems
College of Mechanics and Engineering Science, Hohai University(河海大学力学与工程科学学院);Department of Applied Mathematics, Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学应用数学系)
本文提出虚拟边界积分神经网络(VBINN)用于三维外部声学问题,通过引入虚拟边界和神经网络表示源密度,满足辐射条件并直接计算声压,避免传统方法的奇异核问题,结合优化提升稳定性,展示其在声学分析中的潜力。
2026-04-19 cs.LG cs.SD
Experimental Demonstration of an Optical Neural PDE Solver via On-Chip PINN Training
Hewlett Packard Labs, Hewlett Packard Enterprise(慧与企业惠普实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文实验演示了一种光学神经PDE求解器,利用物理信息神经网络在光子芯片上进行免反向传播训练,为解决偏微分方程提供了新方法。
2025-01-01 cs.AR cs.LG physics.optics
IGNN-Solver: A Graph Neural Solver for Implicit Graph Neural Networks
School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Huawei(华为);School of Science, Wuhan University of Technology(武汉理工大学理学院)
针对隐式图神经网络定点迭代成本高、难扩展的问题,提出由微型GNN参数化的IGNN-Solver,并结合稀疏化与存储压缩,在保持精度下实现1.5–8倍推理加速。
2025-02-18 cs.LG
Imposing Boundary Conditions on Neural Operators via Learned Function Extensions
Department of Mechanical and Process Engineering, ETH Zurich, Switzerland(机械与过程工程系,苏黎世联邦理工学院,瑞士);Seminar for Applied Mathematics, ETH Zurich, Switzerland(应用数学研讨会,苏黎世联邦理工学院,瑞士);ETH AI Center, Zurich, Switzerland(苏黎世联邦理工学院人工智能中心,瑞士)
本文提出一种框架,通过函数扩展使神经算子能够处理复杂的非齐次边界条件,通过映射边界数据到潜在伪扩展,使标准算子学习架构能利用边界信息,从而提升对复杂边界条件和输入域函数的依赖学习能力。
2026-05-13 cs.LG
New Designed Loss Functions to Solve Ordinary Differential Equations with Artificial Neural Network
Imperial College London(帝国理工学院)
研究了用人工神经网络(ANN)求解微分方程(DE)的方法,并构造了既满足微分方程又满足DE的初边值条件的损失函数。第二节将损失函数推广到$n^\text{th}$阶常微分方程。其他的构造方法在第3节中进行了研究,并应用于三个不同的模型,以评估其有效性。
2022-12-29 cs.LG
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
Learning to Solve PDEs on Neural Shape Representations
University College London(伦敦大学学院);Adobe Research(Adobe研究)
提出一种无网格公式,学习基于神经局部形状属性的局部更新算子,直接在神经表示上求解表面偏微分方程,无需显式网格或逐实例优化,且保持可微性。
2026-05-28 cs.LG
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research(谷歌研究院)
神经机器翻译(NMT)模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能,但它们对包括各种类型错误的输入仍然敏感。具体而言,在长形式语音翻译系统的上下文中,其中输入转录来自自动语音识别(ASR),NMT模型必须处理包括音素替换、语法结构和句子边界的错误,所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析,我们表明,句子边界分割质量的影响最大,我们开发了一个简单的数据增强策略,以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park(马里兰大学帕克分校);Rice University(莱斯大学);New York University(纽约大学)
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到,模型架构(及其相关的归纳偏差)的变化会导致决策边界的明显变化,而相同架构的多次运行会产生具有很强相似性的结果,特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到,决策边界再现性强烈依赖于模型的宽度。在插值阈值附近,神经网络的决策边界被分割成许多小的决策区域,并且这些区域是不可再现的。同时,非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性,而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers
Purdue University(普渡大学);Sun Yat-Sen University(中山大学)
在本文中,我们研究了学习GNN(图神经网络)为基础的解决方案和基于GNN的算法为指定的QBF(量化布尔公式)问题的可行性。我们设计并评估了几种2 QBF公式的GNN结构,并推测GNN在学习2 QBF求解器方面存在局限性。然后,我们展示了如何学习启发式CEGAR 2 QBF求解器。我们进一步探索将基于GNN的算法推广到更大的不可见实例,并发现一些有趣的挑战。总之,本文提供了将GNN嵌入应用于指定QBF求解器的全面调查视图,旨在为将ML应用于更复杂的符号推理问题提供指导。
2019-04-27 cs.AI cs.LG cs.LO
An Attention-Guided Graph Neural Network Surrogate for Boundary Integral Computation in Physical Field Reconstruction
The School of Civil and Architectural Engineering, Hainan University(海南大学土木与建筑学院)
本文提出注意力引导图神经网络代理模型结合变分自编码器与注意力机制,构建GNN-BEM框架,用于复杂边界条件下偏微分方程的边界信息恢复及内部物理场快速重构,经数值算例验证其有效性。
2026-10-14 cs.LG
Safe PDE Boundary Control with Neural Operators
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对未知PDE动力学的无模型控制器无法保证边界输出安全的问题,提出基于神经算子和边界控制障碍函数的安全过滤框架,实现即插即用的安全边界控制,并在多种PDE环境下验证有效性。
2025-05-22 cs.LG cs.NE cs.RO
Neural Implicit Shape Editing using Boundary Sensitivity
SINTEF(挪威科技工业研究院);RWTH Aachen University(亚琛工业大学)
针对神经场形状缺乏直观编辑控制的问题,提出基于边界敏感性的参数更新方法,支持全局或局部变形并就地优化神经网络,还可约束表面积和体积等几何目标。
2023-04-24 cs.CV cs.LG
NewPINNs: Physics-Informing Neural Networks Using Conventional Solvers for Partial Differential Equations
Department of Mathematics, University of California Riverside(加州大学河滨分校数学系);Department of Mechanical Engineering, University of California Riverside(加州大学河滨分校机械工程系);German Innovation Center, Procter & Gamble Service GmbH(普罗cter与 gamble 服务德国创新中心)
提出NewPINNs框架,将神经网络与传统数值求解器耦合,通过求解器一致性训练网络,避免残差损失调优,缓解标准PINNs的优化病态和刚度问题。
2026-06-23 cs.LG
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence(联影智能)
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程,使用常微分方程(ODE)。我们用神经网络对ODE中的动力学进行建模,并用现成的(固定的)求解器求解所需的ODE以获得重建图像。我们扩展了这个模型,并将现成的ODE求解器的知识融入到网络设计中(学习求解器)。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果,并且比其他流行的方法(如UNet和级联CNN)更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Solve Large-scale Unit Commitment Problems by Physics-informed Graph Learning
本文提出物理信息分层图卷积网络(PI-GCN)进行神经下潜,结合基于MIP模型的图卷积网络(MB-GCN)进行神经分支,构建新型神经MIP求解器,高效求解大规模机组组合问题并有效降低运行成本。
2023-11-26 cs.LG cs.SY eess.SY
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Microsoft Research AI4Science(微软研究院AI4Science)
NeuralStagger 通过时空分解将物理约束神经 PDE 求解任务拆分为多个可并行的粗分辨率子任务,在保持物理约束训练的同时显著降低计算成本,并在 2D/3D 流体仿真中实现 10 到 100 倍加速。
2023-05-27 cs.LG physics.flu-dyn
On the Decision Boundary of Deep Neural Networks
KAUST(沙特阿拉伯国王科技大学);CEMSE(计算、能源与数学科学与工程学院(CEMSE))
虽然深度学习模型和技术已经取得了巨大的经验成功,但我们对许多方面的成功来源的理解仍然非常有限。为了弥补这一差距,我们研究了生产深度学习架构的决策边界,该架构对训练数据和模型都有较弱的假设。我们证明,理论和经验,神经网络的最后一个权重层收敛到一个线性SVM训练的输出上的最后一个隐藏层,为二进制的情况下和多类的情况下,常用的交叉熵损失。此外,我们的经验表明,训练一个神经网络作为一个整体,而不是只微调最后一个权重层,可能会导致更好的偏置常数的最后一个权重层,这是很重要的泛化。除了促进对深度学习的理解外,我们的结果还有助于解决深度学习的广泛实际问题,例如灾难性遗忘和对抗性攻击。实验代码可在www.example.com上获得
2019-01-01 cs.AI cs.LG cs.NE
Learning to Solve Combinatorial Optimization under Positive Linear Constraints via Non-Autoregressive Neural Networks
Shanghai Jiao Tong University(上海交通大学)
本文提出一种非自回归神经网络框架,利用无监督学习和在线可微搜索求解正线性约束下的组合优化问题,在设施选址、最大集合覆盖和旅行商问题中达到与SCIP、Gurobi相竞争甚至更优的性能。
2024-09-06 cs.AI cs.LG