Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich（慕尼黑工业大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
端到端（几何）深度学习在近似解决组合优化问题方面取得了第一次成功。然而，在NP难/完全任务领域生成数据带来了实践和理论挑战，导致评估协议过于乐观。具体来说，大多数数据集只捕获一个更简单的子问题，并可能遭受虚假特征。我们通过研究对抗鲁棒性（一种局部泛化特性）来研究这些影响，以揭示硬的、特定于模型的实例和虚假特征。为此，我们推导出SAT和TSP的扰动模型。与其他应用程序不同，扰动模型是围绕主观的不可感知性概念设计的，我们的扰动模型是有效的和健全的，使我们能够确定扰动样本的真实标签，而无需求解器。令人惊讶的是，在这样的扰动下，一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在，我们经验表明，评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
A Solver-Free Framework for Scalable Learning in Neural ILP Architectures
Indian Institute of Technology Delhi（印度理工学院德里分校）
最近的一个焦点是设计在神经模型（本文中称为神经ILP）中具有非线性规划（ILP）层的架构。神经ILP架构适用于需要数据驱动约束学习的纯推理任务或需要感知（神经）和推理（ILP）的任务。最近一种用于神经ILP端到端训练的SOTA方法通过ILP黑盒明确定义了梯度（Paulus et al. 2021）-由于对minibatch中每个训练数据点的底层ILP求解器的调用，这种训练非常缓慢。作为回应，我们提出了一种替代的训练策略，是无求解器的，即，在训练时根本不调用ILP求解程序。神经ILP有一组可训练的超平面（用于ILP中的成本和约束），它们共同代表一个多面体。我们的关键思想是，训练损失应该强制最终多面体通过软余量公式将正面（满足所有约束）与负面（至少一个违反约束或次优成本值）分开。虽然正面例子作为训练数据的一部分提供，但我们设计了用于生成负面样本的新技术。我们的解决方案是灵活的，足以处理平等以及不平等的约束。在几个问题上的实验，无论是感知的还是符号的，都需要学习ILP的约束条件，表明我们的方法具有优越的性能，与纯神经基线和其他需要基于求解器的训练的最先进的模型相比，其规模要好得多。特别是，我们能够在9 x 9符号和视觉数独中获得出色的性能，而其他Neural ILP求解器无法扩展。
2023-01-13 cs.LG
Structure based SAT dataset for analysing GNN generalisation
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
针对GNN SAT求解器中结构与泛化关系被忽视的问题，提出含多样化SAT问题及生成代码的StructureSAT数据集与基于结构的分割方法，助力解释泛化缺陷并为开发更优求解器提供方向。
2025-02-17 cs.LG
TENG-BC: Time-Evolving Natural Gradient for High-Accuracy Neural PDE Solvers with General Boundary Conditions
School of Mathematical Sciences, Peking University, Beijing, China（北京大学数学科学学院）；Department of Physics, Tsinghua University, Beijing, China（清华大学物理系）；Institute of Advanced Study, Tsinghua University, Beijing, China（清华大学advanced study研究所）
TENG-BC通过统一时间演进自然梯度方法，实现对具有通用边界条件的神经PDE求解器的高精度求解，优于传统方法和PINN基线。
2026-11-13 cs.LG
Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers
本研究将中奖彩票假说扩展到哈密顿神经网络微分方程求解器，发现彩票可在不同系统间迁移，且迁移准确性受积分时间影响，并用重整化群理论分析系统普适性。
2023-06-16 cs.LG
Method of Manufactured Learning for Solver-free Training of Neural Operators
针对神经算子训练依赖高成本数值求解器或实验数据的问题，本文提出无求解器的制造学习方法MML，通过解析合成符合物理规律的数据集训练神经算子，在多类方程基准上实现高精度与强泛化性。
2025-11-17 cs.LG
Warm-starting active-set solvers using graph neural networks
Department of Information Technology, Uppsala University（信息技术系，乌普萨拉大学）
本文提出利用图神经网络预测双主动集求解器DAQP中的活跃约束，通过将二次规划问题表示为二分图来利用其结构特性，从而有效预热启动求解器，减少迭代次数，并在不同问题规模下展示出良好的泛化能力和可扩展性。
2026-05-19 cs.LG
Large-scale Neural Solvers for Partial Differential Equations
Helmholtz-Zentrum Dresden-Rossendorf（德累斯顿-罗森多夫亥姆霍兹中心）；Technische Universität Dresden（德累斯顿工业大学）；Center for Advanced Systems Understanding (CASUS)（高级系统理解中心）
求解偏微分方程（PDE）是许多科学分支不可或缺的一部分，因为许多过程都可以用偏微分方程来建模。然而，最近的数值求解器需要手动离散的基本方程，以及复杂的，定制的代码分布式计算。扫描底层模型的参数会显著增加运行时间，因为必须为每个参数配置冷启动模拟。基于机器学习的代理模型是学习输入、参数和解之间复杂关系的有效途径。然而，最近的生成式神经网络需要大量的训练数据，即完全模拟运行，使得它们成本高昂。相比之下，我们研究了连续的，无网格的偏微分方程，物理信息神经网络（PINNs）的神经求解器的适用性只需要初始/边界值和验证点的训练，但没有模拟数据。通过学习区域分解来接近诱导的维数灾难，该区域分解控制每单位体积的神经元数量并显着提高运行时间。大规模集群系统上的分布式训练也保证了大量GPU的极大利用率，我们通过综合评估研究进行了评估。最后，我们讨论GatedPINN的精度相对于解析解-以及国家的最先进的数值求解器，如光谱求解器。
2020-09-08 cs.LG
Enforcing governing equation constraints in neural PDE solvers via training-free projections
University of Liège（利根大学）
本文提出两种无训练投影方法，用于减少神经PDE求解器中约束方程的违反情况，提升求解精度。
2025-11-21 cs.LG
Low-Fidelity FDM Spectral Guidance for Neural Eigenvalue Solvers
BITS Pilani（比拉尼理工学院）；IBM Research（IBM研究院）
该研究提出将粗网格有限差分谱作为固定移位引导神经特征值求解器，并引入稳定逆幂法神经网络，在十维五个测试问题上精度更高且迭代次数减少八至十倍。
2026-10-06 cs.LG
Hamiltonian Neural PDE Solvers through Functional Approximation
Carnegie Mellon University（卡内基梅隆大学）
本文提出HNS，将哈密顿泛函表示为神经场参数化的核积分，并用自动微分求泛函导数，从而在一维和二维PDE上提升稳定性、守恒性与长时泛化能力。
2025-09-29 cs.LG
Mechanistic Interpretability for Neural TSP Solvers
University of Washington, Michael G. Foster School of Business（华盛顿大学，迈克尔·G·福斯特商学院）；University of Washington, Paul G. Allen School of Computer Science & Engineering（华盛顿大学，保罗·G·阿伦计算机科学与工程学院）
本研究首次将稀疏自编码器应用于神经TSP求解器，揭示其内部涌现的凸包边界、簇敏感及几何分隔等可解释特征，为构建透明混合系统奠定基础。
2025-10-24 cs.LG
MD-PNOP: Equation-Recast Neural Operators for Minimal-Data Extrapolation and PDE Solver Acceleration
Department of Mechanical, Aerospace, and Nuclear Engineering（机械、航空航天与核工程系）
本文提出MD-PNOP框架，通过将参数诱导的算子差转化为额外源项，实现单次训练配置到广泛未见参数设置的系统外推，同时嵌入迭代PDE求解器提升初始猜测，减少迭代次数且不牺牲精度。
2026-05-13 cs.LG
Routing Arena: A Benchmark Suite for Neural Routing Solvers
University of Hildesheim（希尔德斯海姆大学）
针对现有神经组合优化评估协议有缺陷、基线选择忽略运筹学方法的问题，提出基准套件Routing Arena，含双场景评估协议与新型WRAP指标，实验显示最新运筹学求解器在车辆路径问题上表现最优，同时凸显神经方法优势。
2023-10-06 cs.LG
Learning and Optimization of Blackbox Combinatorial Solvers in Neural Networks
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
在神经网络内部使用黑盒求解器是一个相对较新的领域，其目的是通过包含针对复杂问题的经验证的高效求解器来提高神经网络性能。现有的工作已经创建了学习网络的方法，将这些求解器作为组件，同时将它们视为黑盒。这项工作试图改善现有的技术，优化不仅在主要的损失函数，但也在求解器本身的性能，通过使用时间成本正则化。此外，我们提出了一种方法来学习黑盒参数，如黑盒求解器使用或启发式函数为特定的求解器。我们通过引入超黑盒的概念来做到这一点，超黑盒是围绕一个或多个内部黑盒的黑盒。
2020-06-06 cs.LG stat.ML
Learning time-dependent PDE solver using Message Passing Graph Neural Networks
RWTH Aachen University（亚琛工业大学）；Harvard University（哈佛大学）
求解时变偏微分方程的主要挑战之一是开发精确稳定的计算高效的求解器。在这里，我们介绍了一个图神经网络的方法来寻找有效的PDE求解器，通过学习使用消息传递模型。首先，我们引入域不变的PDE数据的启发经典PDE求解器的有效的物理表示的功能。接下来，我们使用图形来表示非结构化网格上的PDE数据，并表明消息传递图神经网络（MPGNN）可以参数化控制方程，因此，有效地学习精确的求解方案的线性/非线性偏微分方程。我们进一步表明，求解器是独立的初始训练的几何形状，即训练的求解器可以找到不同的复杂域上的PDE解决方案。最后，我们表明，一个经常性的图神经网络的方法可以找到一个时间序列的解决方案的PDE。
2022-04-15 cs.AI cs.LG
Distance-aware Attention Reshaping: Enhance Generalization of Neural Solver for Large-scale Vehicle Routing Problems
South China University of Technology（华南理工大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
针对神经求解器从小规模泛化到大规模车辆路径问题时注意力分数分散的问题，本文提出无需额外训练的距离感知注意力重塑方法，利用节点间欧氏距离调整注意力，在大规模CVRPLib数据集上显著超越现有最优方法。
2024-01-13 cs.AI cs.LG
The Configurable SAT Solver Challenge (CSSC)
University of Freiburg（弗莱堡大学）；University of Ulm（乌尔姆大学）；University of British Columbia（不列颠哥伦比亚大学）
众所周知，不同的解决策略适用于不同类型的组合难题。因此，大多数命题可满足性问题（SAT）的求解器都暴露了参数，这些参数允许它们针对特定的实例族进行自定义。在国际SAT竞赛系列中，这些参数被忽略：求解器使用给定轨道中所有基准实例的单个默认参数设置（由作者提供）运行。虽然这种竞赛形式奖励具有鲁棒默认设置的求解器，但它并不反映仅关心一个特定应用程序上的性能并且可以投入一些时间来调整该应用程序的求解器参数的从业者所面临的情况。新的可配置SAT求解器竞赛（CSSC）比较了后一种设置中的求解器，通过完全自动化配置步骤后实现的性能对每个求解器进行评分。本文更详细地描述了CSSC，并报告了迄今为止在CSSC 2013和2014两个实例中获得的结果。
2016-08-02 cs.AI cs.LG
Lie Point Symmetry Data Augmentation for Neural PDE Solvers
University of Amsterdam（阿姆斯特丹大学）；Johannes Kepler University Linz（约翰内斯·开普勒林茨大学）；Microsoft Research（微软研究院）；Qualcomm AI Research（高通人工智能研究院）；Deepmind（深度思维）
神经网络越来越多地被用于求解偏微分方程（PDE），取代速度较慢的数值求解器。然而，一个关键问题是，神经PDE求解器需要高质量的地面实况数据，这些数据通常必须来自它们要替换的求解器。因此，我们面临着一个众所周知的先有鸡还是先有蛋的问题。在本文中，我们提出了一种方法，它可以部分地缓解这个问题，通过提高神经PDE求解器的样本复杂性- Lie点对称数据增强（LPSDA）。在偏微分方程的背景下，事实证明，我们能够定量地推导出一个详尽的数据转换列表，基于Lie点对称群的偏微分方程的问题，在其他应用领域是不可能的。我们提出了这个框架，并演示了它如何可以很容易地部署，以提高神经PDE求解器样本的复杂性的一个数量级。
2022-05-29 cs.CV cs.LG
Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs
University of Utah（犹他大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Illinois Institute of Technology（伊利诺伊理工学院）；University of California, Irvine（加州大学欧文分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）
学习神经常微分方程通常需要解决非常僵硬的常微分方程系统，主要是使用显式自适应步长常微分方程求解器。这些求解器在计算上是昂贵的，需要使用微小的步长来保证数值稳定性和精度。本文考虑使用不同阶数的隐式ODE求解器利用邻近算子学习神经ODE。近似隐式求解器由内部-外迭代组成：内迭代使用快速优化算法近似每个隐式更新步骤，而外迭代随时间求解ODE系统。近似隐式常微分方程求解器保证了在数值稳定性和计算效率方面优于显式求解器。我们在各种具有挑战性的基准任务上验证了近端隐式求解器相对于现有流行神经ODE求解器的优势，包括学习连续深度图神经网络和连续归一化流。
2022-04-19 cs.LG cs.NA math.NA
Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?
University of Oxford（牛津大学）；NVIDIA（英伟达）
我们提出了图- $Q$ -SAT，一个分支启发式的布尔SAT求解器训练与基于值的强化学习（RL）使用图神经网络函数逼近。使用Graph- $Q$ -SAT的求解器是完整的SAT求解器，可以提供令人满意的赋值或不可满足性证明，这是许多SAT应用程序所需的。SAT求解器中常用的分支算法在预热期间会做出糟糕的决策，而Graph- $Q$ -SAT则经过训练，可以检查特定问题实例的结构，以便在搜索早期做出更好的决策。训练图- $Q$ -SAT是数据高效的，不需要精心的数据集准备或特征工程。我们训练Graph- $Q$ -SAT使用RL接口与MiniSat求解器，并表明Graph- $Q$ -SAT可以减少2- 3倍的迭代次数来解决SAT问题。此外，它推广到不可满足的SAT实例，以及与5倍以上的变量比它是trainedon. We的问题表明，对于较大的问题，减少迭代次数导致挂钟时间减少，最终目标时，设计算法。我们还显示出积极的zero-shot传输行为时，测试图- $Q$ -SAT的任务家庭不同的训练。虽然需要更多的工作来应用Graph- $Q$ -SAT来减少现代SAT求解设置中的挂钟时间，但这是一个令人信服的概念验证，表明配备图神经网络的RL可以学习SAT搜索的通用分支启发式。
2020-11-25 cs.AI cs.LG
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
LAMSADE CNRS, Dauphine University-PSL（巴黎文理研究大学多芬分校，法国国家科学研究中心LAMSADE实验室）；ESPCI-PSL（巴黎文理研究大学高等物理化学学院）
神经常微分方程是近年来提出的一类新的神经网络模型，它依赖于黑箱常微分方程求解器进行推理和训练。一些称为自适应的ODE求解器可以根据手头问题的复杂性调整其评估策略，从而为机器学习开辟了广阔的前景。然而，本文描述了一组简单的实验来说明为什么自适应求解器不能无缝地用作动态系统建模的黑盒。以Lorenz'63系统为例，我们证明了Fehlberg方法的简单应用不会产生预期的结果。此外，提出了一个简单的解决方案，假设求解器和训练策略之间的交互更紧密。代码可以在github上找到：https://github.com/Allauzen/adaptive-step-size-neural-ode
2022-11-13 cs.LG nlin.CD
Neural Solver Selection for Combinatorial Optimization
本文提出首个通用框架，通过特征提取、选择模型和选择策略在实例层面协调多个神经求解器，以提升组合优化性能，在TSP和CVRP上显著降低最优性差距。
2025-05-24 cs.AI cs.LG math.OC
Lightsolver challenges a leading deep learning solver for Max-2-SAT problems
LightSolver LTD.（LightSolver有限公司）；Technion IIT（以色列理工学院）
最大2-可满足性（Maximum 2-satisfiability，MAX-2-SAT）是一类NP-难的组合决策问题。在本文中，我们将LightSolver的量子启发算法与MAX-2-SAT问题的领先深度学习求解器进行了比较。在基准数据集上的实验表明，与最先进的深度学习算法相比，LightSolver实现了显著更短的最优解时间，其中性能的增益往往随着问题的大小而增加。
2023-03-12 cs.LG quant-ph
GraSS: Combining Graph Neural Networks with Expert Knowledge for SAT Solver Selection
McGill University（麦吉尔大学）
针对现有SAT求解器选择方法依赖人工特征、忽略图结构与领域知识的问题，提出融合三部图表示、定制化异质GNN及运行时敏感损失的GraSS方法，在两类基准上实现7个顶尖求解器池的运行时提升。
2024-05-17 cs.AI cs.LG
Experimental Demonstration of an Optical Neural PDE Solver via On-Chip PINN Training
Hewlett Packard Labs, Hewlett Packard Enterprise（慧与企业惠普实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文实验演示了一种光学神经PDE求解器，利用物理信息神经网络在光子芯片上进行免反向传播训练，为解决偏微分方程提供了新方法。
2025-01-01 cs.AR cs.LG physics.optics
Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers
Purdue University（普渡大学）；Sun Yat-Sen University（中山大学）
在本文中，我们研究了学习GNN（图神经网络）为基础的解决方案和基于GNN的算法为指定的QBF（量化布尔公式）问题的可行性。我们设计并评估了几种2 QBF公式的GNN结构，并推测GNN在学习2 QBF求解器方面存在局限性。然后，我们展示了如何学习启发式CEGAR 2 QBF求解器。我们进一步探索将基于GNN的算法推广到更大的不可见实例，并发现一些有趣的挑战。总之，本文提供了将GNN嵌入应用于指定QBF求解器的全面调查视图，旨在为将ML应用于更复杂的符号推理问题提供指导。
2019-04-27 cs.AI cs.LG cs.LO
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence（联影智能）
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程，使用常微分方程（ODE）。我们用神经网络对ODE中的动力学进行建模，并用现成的（固定的）求解器求解所需的ODE以获得重建图像。我们扩展了这个模型，并将现成的ODE求解器的知识融入到网络设计中（学习求解器）。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果，并且比其他流行的方法（如UNet和级联CNN）更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Rethinking Constraint Awareness for Efficient State Embedding of Neural Routing Solver
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）；Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, Southern University of Science and Technology（广东省全驱动系统控制理论与技术重点实验室，南方科技大学）；Pengcheng Laboratory（鹏城实验室）
本文提出CARM模块，通过自适应调节上下文嵌入以增强约束意识，提升神经路由求解器在复杂约束下的性能和扩展性。
2026-05-11 cs.AI cs.LG
Physics-Embedded Neural Networks: Graph Neural PDE Solvers with Mixed Boundary Conditions
RICOS Co. Ltd.（RICOS有限公司）；University of Tsukuba（筑波大学）
图神经网络（GNN）是学习和预测边值问题中描述的物理现象的一种很有前途的方法，如带边界条件的偏微分方程（PDE）。然而，现有的模型没有充分处理边界条件的可靠预测等问题。此外，由于GNN的局部连接性质，很难准确预测长时间后的状态，其中顶点之间的交互往往是全局的。我们提出了我们的方法，称为物理嵌入式神经网络，考虑边界条件，并预测了很长一段时间后，使用隐式方法的状态。它是基于E（n）-等变GNN构建的，从而在各种形状上具有很高的泛化性能。我们证明了我们的模型学习复杂形状的流动现象，并在速度-精度权衡方面优于优化的经典求解器和最先进的机器学习模型。因此，我们的模型可以成为实现可靠，快速和准确的基于GNN的PDE求解器的有用标准。该代码可在https://github.com/yellowshippo/penn-neurips2022上获得。
2023-03-23 cs.CE cs.LG
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Microsoft Research AI4Science（微软研究院AI4Science）
NeuralStagger 通过时空分解将物理约束神经 PDE 求解任务拆分为多个可并行的粗分辨率子任务，在保持物理约束训练的同时显著降低计算成本，并在 2D/3D 流体仿真中实现 10 到 100 倍加速。
2023-05-27 cs.LG physics.flu-dyn
LocalEscaper: A Weakly-supervised Framework with Regional Reconstruction for Scalable Neural TSP Solvers
School of Computer Science, Huazhong University of Science and Technology, China（华中科技大学计算机学院）；Department of Computer Science, Cornell University, United States（康奈尔大学计算机系）
针对神经TSP求解器中SL依赖高质量标注与RL效率低的问题，提出弱监督框架LocalEscaper，结合SL与RL优势在低质量标签上训练，并引入区域重建策略缓解局部最优问题，显著提升求解质量。
2025-09-17 cs.AI cs.LG
Autoregressive Renaissance in Neural PDE Solvers
University College London（伦敦大学学院）
本文解读ICLR 2022论文，介绍一种消息传递图神经网络，通过缓解自回归不稳定问题，在神经偏微分方程求解中达到或超越傅里叶神经算子与经典求解器的泛化性能。
2023-10-30 cs.AI cs.LG cs.NA
Sensitive Samples Revisited: Detecting Neural Network Attacks Using Constraint Solvers
Northeastern University（东北大学）
神经网络如今被用于许多安全和安全相关的领域，并且因此是通过操纵网络参数来破坏其分类能力的流行攻击目标。之前的工作已经引入了敏感样本-对参数变化高度敏感的输入-来检测这种操作，并提出了一种基于梯度上升的方法来计算它们。在本文中，我们提供了一种替代方案，使用符号约束求解器。我们对网络进行建模，并在求解器的语言中对敏感样本进行正式规范，并寻求解决方案。这种方法支持丰富的查询类别，例如，对应于某些类型的攻击的存在。与早期的技术不同，我们的方法不依赖于凸搜索域，或搜索的起点的适用性。我们通过划分求解器的搜索空间，并根据仍然保留搜索完整性的平衡时间表探索分区，来解决约束求解器的性能限制。我们展示了使用求解器的功能和搜索效率方面的影响，使用的案例研究检测木马攻击神经网络。
2021-09-07 cs.CR cs.LG
A neural operator-based surrogate solver for free-form electromagnetic inverse design
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Tartu（塔尔图大学）
神经运算符已经成为在科学机器学习背景下求解偏微分方程的强大工具。在这里，我们实现和训练修改后的傅立叶神经算子作为电磁散射问题的代理求解器，并比较其数据效率现有的方法。我们进一步展示了它在基于梯度的纳米光子逆向设计中的应用，自由形式的全三维电磁散射体，这是一个迄今为止尚未应用深度学习技术的领域。
2023-03-28 cs.LG physics.comp-ph physics.optics
Goal-Aware Neural SAT Solver
Institute of Mathematics；Computer Science University of Latvia
现代神经网络获取有关问题的信息，并仅根据输入值计算输出。我们认为，它并不总是最优的，网络的性能可以显着提高，通过增加一个查询机制，允许网络在运行时间，使几个解决方案的试验，并得到反馈的损失值在每次试验。为了证明查询机制的能力，我们制定了一个无监督的（不依赖于标签）损失函数的布尔可满足性问题（SAT），并从理论上表明，它允许网络提取丰富的信息的问题。然后，我们提出了一个神经SAT求解器与查询机制称为QuerySAT，并表明它优于广泛的SAT任务的神经基线。
2022-05-30 cs.AI cs.LG
Distributed Multigrid Neural Solvers on Megavoxel Domains
Iowa State University（爱荷华州立大学）；RocketML Inc.（RocketML公司）；New York University（纽约大学）
我们考虑大规模神经网络的分布式训练，这些神经网络充当偏微分方程求解器，产生全场输出。我们特别考虑神经元求解器的广义3D泊松方程的megavoxel域。一个可扩展的框架，集成了两个不同的进步。首先，我们通过一种类似于数值线性代数中使用的多重网格技术的方法来加速训练大型模型。在这里，网络使用按顺序增加分辨率输入的层次结构进行训练，类似于多重网格方法中使用的“V”，“W”，“F”和“半V”循环。结合多重网格方法，我们实现了一个分布式深度学习框架，大大减少了求解时间。我们展示了这种方法在GPU（云上的Azure虚拟机）和CPU集群（PSC桥2）上的可扩展性。这种方法被部署到训练一个广义的3D泊松求解器，以及规模预测输出全场解决方案的分辨率为512x512x512的高维家庭的输入。
2021-04-29 cs.LG stat.ML
Towards Neural Sparse Linear Solvers
ZURU Tech（ZURU科技）
由于有限元法的广泛应用，大型稀疏对称线性方程组出现在科学和工程的许多分支中。最快的稀疏线性求解器实现混合迭代法。这些方法基于启发式算法来排列行和列或找到预处理矩阵。此外，它们本质上是顺序的，这使得它们无法完全利用GPU的处理能力。我们提出了神经稀疏线性求解器，这是一个深度学习框架，用于学习稀疏对称线性系统的近似求解器。我们的方法依赖于将稀疏对称线性系统表示为无向加权图。这样的图表示是固有的置换等变和尺度不变的，它可以成为一个图神经网络训练回归的解决方案的输入。我们在结构工程的静态线性分析问题上测试神经稀疏线性求解器。我们的方法是不准确的，比经典的算法，但它是硬件无关的，快速的GPU上，并适用于通用稀疏对称系统，没有任何额外的假设。虽然仍然存在许多限制，这项研究表明了一种通用的方法来解决问题，涉及稀疏对称矩阵使用图神经网络。
2022-03-14 cs.LG cs.NA math.NA
NeuroSynt: A Neuro-symbolic Portfolio Solver for Reactive Synthesis
Stanford University（斯坦福大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；X, the moonshot factory（X，登月工厂）
本研究提出神经符号组合求解器框架NeuroSynt，通过无缝集成神经与符号方法、搭配模型检验器保障可靠性，可扩展集成新方法，实验证明其能提升反应式综合求解性能并在SYNTCOMP基准中实现新突破。
2024-01-29 cs.LG cs.LO
DGNN: A Neural PDE Solver Induced by Discontinuous Galerkin Methods
本文受IPDGM启发提出DGNN框架，以分段神经网络为试探空间、分段多项式为检验空间，在稳态与时变PDE数值实验中展现出高精度、训练高效及处理复杂情形的能力。
2025-03-14 cs.LG physics.comp-ph
Enhancing SAT solvers with glue variable predictions
Amazon Web Services（亚马逊云科技）；University of Pittsburgh（匹兹堡大学）
现代SAT求解器通常在一定规模下运行，这使得为每个分支决策查询神经网络变得不切实际。由Selsam和Bjorner提出的NeuroCore提供了一个概念验证，即神经网络仍然可以通过定期重新聚焦基于分数的分支启发式来加速SAT求解器。然而，这项工作受到了一些限制：他们修改后的求解器需要GPU加速，进一步的消融表明它们并不比SATCOMP 2018基准测试中的随机基线更好，并且他们的非sat核心训练目标需要昂贵的数据管道，只能标记相对容易的无法满足的问题。我们解决了所有这些限制，使用一个更简单的网络架构，允许CPU推理甚至具有数百万个子句的大型工业问题，并训练预测{ \em胶水变量}--一个更容易生成标记数据的目标，也可以制定为强化学习任务。我们通过修改最先进的SAT求解器CaDiCaL，通过监督学习提高其在SATCOMP 2018和SATRACE 2019上的性能，以及通过强化学习提高其在SHA-1原像攻击数据集上的性能，来证明我们方法的有效性。
2020-07-06 cs.AI cs.LG cs.LO
Learning a SAT Solver from Single-Bit Supervision
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们提出了NeuroSAT，一个消息传递神经网络，学习解决SAT问题后，只被训练为一个分类器，以预测可满足性。虽然它与最先进的SAT求解器没有竞争力，但NeuroSAT可以通过简单地运行更多的迭代来解决比训练过程中看到的更大、更困难的问题。此外，NeuroSAT还可以推广到新的分布;在仅对随机SAT问题进行训练后，在测试时，它可以解决SAT问题编码图着色，团检测，支配集和顶点覆盖问题，所有这些都是在小随机图上的分布范围内。
2019-03-12 cs.AI cs.LG cs.LO
Implicit Neural Solver for Time-dependent Linear PDEs with Convergence Guarantee
Technical University Munich（慕尼黑工业大学）
快速精确求解含时不定常偏微分方程是物理、工程、生物等领域的研究热点。一般来说，隐格式格式比显式格式具有更好的稳定性和正确性。现有的隐格式格式通常是迭代的，并采用一个通用的求解器，这可能是次优的一类特定的偏微分方程。在本文中，我们提出了一个神经求解器学习一类偏微分方程的最佳迭代方案，在数据驱动的方式。我们通过使用深度神经网络修改现有半隐式求解器的迭代来实现这一目标。此外，我们从理论上证明，我们的方法保留了现有的迭代求解器提供的正确性和收敛性保证。我们还证明，我们的模型推广到一个不同的参数设置比在训练过程中看到的，并实现更快的收敛相比，半隐格式。
2019-11-27 cs.LG cs.NA math.NA
Semi-Implicit Neural Solver for Time-dependent Partial Differential Equations
Technical University Munich（慕尼黑工业大学）；École normale supérieure, Paris（巴黎高等师范学院）；deepc GmbH, Munich（慕尼黑deepc有限公司）；Helmholtz Zentrum München（慕尼黑亥姆霍兹研究中心）；University of Zurich（苏黎世大学）
不定常偏微分方程（PDE）的快速精确求解是物理学、工程学和生物学等许多研究领域的重要课题。一般来说，隐式/半隐格式优于显式格式，以提高稳定性和正确性。然而，现有的半隐式方法通常是迭代的，并采用通用的求解器，这可能是次优的一类特定的偏微分方程。在本文中，我们提出了一个神经求解器，学习最佳的迭代方案，在数据驱动的方式为任何类的偏微分方程。具体来说，我们使用深度神经网络修改半隐式求解器的单次迭代。我们提供的神经求解器的正确性和收敛性的理论保证类似于传统的迭代求解器。除了常用的Dirichlet边界条件外，我们还采用扩散域方法来引入不同类型的边界条件，例如，诺依曼我们表明，建议的神经求解器可以超越线性偏微分方程，并适用于一类非线性偏微分方程，其中的非线性组件是非刚性的。我们证明了我们的方法在2D和3D场景的有效性。为此，我们展示了我们的模型如何推广到不同于训练的参数设置，并实现了比半隐格式更快的收敛。
2021-09-03 cs.LG cs.NA math.NA
Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs
Augsburg University（奥格斯堡大学）
使用vanilla NeuralODE来建模大型和/或复杂系统通常会失败，原因有两个：稳定性和收敛性。NeuralODE能够描述稳定和不稳定的动态系统。选择合适的数值求解器并不简单，因为NeuralODE属性在训练过程中会发生变化。如果NeuralODE变得更加僵硬，则次优求解器可能需要执行非常小的求解器步骤，这会显著减慢训练过程。如果NeuralODE变得不稳定，数值求解器可能根本无法解决它，这将导致训练过程终止。通常，这是通过选择一个计算昂贵的求解器来解决的，该求解器对不稳定和僵硬的ODE是鲁棒的，但代价是显著降低了训练性能。另一方面，我们的方法允许强制执行适合特定求解器或应用相关边界条件的ODE属性。关于收敛行为，NeuralODE经常倾向于陷入局部最小值，特别是如果要学习的系统是高度动态的和/或在多个周期内振荡。由于局部最小值处的梯度消失，NeuralODE通常无法离开它并收敛到正确的解。我们提出了一种技术来添加知识的ODE属性的特征值的基础上-如（部分）稳定性，振荡能力，频率，阻尼和/或刚度-的NeuralODE的训练目标。我们在线性和非线性系统模型上验证了我们的方法，并表明所提出的训练过程对局部极小值，不稳定性和稀疏数据样本更具鲁棒性，并提高了训练收敛性和性能。
2023-02-07 cs.AI cs.LG
Neural Solvers for Fast and Accurate Numerical Optimal Control
KAIST（韩国科学技术院）；The University of Tokyo（东京大学）；Stanford University（斯坦福大学）
为动力系统综合最优控制器通常涉及求解具有硬实时约束的最优化问题。这些约束决定了可以应用的数值方法的类别：计算昂贵但精确的数值例程被快速和不准确的方法所取代，以推理时间换取解决方案的准确性。本文提供了技术，以提高质量的优化控制策略给定一个固定的计算预算。我们通过一个超求解器的方法，它混合了一个微分方程求解器和神经网络实现上述目标。在低维度和高维度的直接和滚动时域最优控制任务中评估了性能，其中所提出的方法在解的精度和控制性能方面表现出一致的帕累托改进。
2022-03-13 cs.LG math.OC
PDEFlow: Autonomous Agentic PDE Pipelines for Neural Operator Learning and Solver-Free Inference
Tata Research Development and Design Center（塔塔研究发展与设计中心）
提出PDEFlow自主智能体框架，将用户ODE/PDE描述转化为神经算子流水线，实现多轮自然语言输入处理、自动数据生成、算子训练与无求解器推理，大幅降低相关科学工程任务的手动干预成本。
2026-07-07 cs.AI cs.LG
Cost-Accuracy Trade-offs: Neural Operator vs Classical Numerical Solver
Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；California Institute of Technology（加州理工学院）
本研究通过可复现基准，比较神经算子与经典数值求解器在给定精度下的成本，发现神经算子在低至中等精度时具优势，但高精度下经典求解器更优，且经典求解器对验证与高精度计算仍不可或缺。
2026-09-22 cs.LG cs.NA math.NA
Accelerating Dynamical System Simulations with Contracting and Physics-Projected Neural-Newton Solvers
Technical University of Denmark（丹麦技术大学）
深度学习的最新进展使神经网络（NN）在许多应用中成功取代了传统的数值求解器，从而实现了令人印象深刻的计算增益。时域仿真就是其中的一个应用，它对于许多工程系统的设计、分析和运行都是必不可少的。用隐式牛顿求解器模拟动力系统是一项计算量很大的任务，因为它需要在每个时间步长求解微分和代数方程的参数化系统。各种基于神经网络的方法已被证明可以成功地近似在一小部分的时间由数值求解器计算的轨迹。然而，很少有以前的作品使用神经网络模拟数值求解器本身。为了加快时域仿真速度，本文提出并探讨了两种互补的替代建模数值求解器。首先，我们使用一个神经网络来模拟由逆雅可比矩阵在一个牛顿步骤中提供的线性变换。使用这个过程，我们评估和项目的确切的，基于物理的残差到NN映射，从而离开物理“在循环中”。由此产生的工具，被称为物理pRojected神经牛顿求解器（PRoNNS），是能够实现极高程度的数值精度的速度被观察到高达31%的速度比基于牛顿的求解器。在第二种方法中，我们在隐式龙格-库塔积分器的心脏牛顿求解器建模为收缩映射迭代地寻求时域轨迹上的固定点。相关的循环NN仿真工具，称为收缩神经牛顿求解器（CoNNS），嵌入了训练约束（通过CVXPY层），保证NN提供的映射满足Banach不动点定理。
2021-12-08 cs.LG cs.SY eess.SY
ASP: Learn a Universal Neural Solver!
the Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
将机器学习应用于组合优化问题具有提高效率和准确性的潜力。然而，现有的基于学习的求解器在面对问题分布和规模的变化时，往往难以泛化。在本文中，我们提出了一种名为ASP：Adaptive Staircase Policy Space Response Oracle的新方法来解决这些泛化问题并学习通用神经求解器。ASP由两个组件组成：分布式探索，它增强了求解器使用策略空间响应Oracle处理未知分布的能力，以及持久规模适应，它通过课程学习提高了可伸缩性。我们已经在几个具有挑战性的COP上测试了ASP，包括旅行推销员问题，车辆路径问题和奖品收集TSP，以及来自TSPLib和CVRPLib的真实实例。我们的研究结果表明，即使模型大小相同，训练信号较弱，ASP也可以帮助神经求解器探索和适应未知的分布和不同的尺度，从而实现卓越的性能。特别是，与标准训练管道下的相同神经求解器相比，ASP在TSP的生成实例和真实实例上的最优性差距显著降低，分别为90.9%和47.43%，CVRP降低了19%和45.57%。
2023-03-01 cs.AI cs.LG math.OC
Construction of Grid Operators for Multilevel Solvers: a Neural Network Approach
Università della Svizzera Italiana（提契诺大学）
在本文中，我们研究多重网格方法和神经网络的结合，从一个椭圆型偏微分方程的有限元离散。多重网格方法使用插值算子在不同的近似水平之间传递信息。这些算子对于多重网格的快速收敛是至关重要的，但它们通常是未知的。我们提出了用于学习插值算子的深度神经网络模型，并根据网络的输出构建了一个多级层次结构。我们研究了神经网络预测的插值算子的准确性，并使用不同的网络架构对其进行测试。这种用于构造网格算子的神经网络方法可以扩展为多级求解器的自动定义，从而在科学计算中实现便携式解决方案
2021-09-13 cs.LG cs.NA math.NA
Towards General Neural Surrogate Solvers with Specialized Neural Accelerators
Department of Electrical Engineering, Stanford, Palo Alto, USA
针对神经 PDE 求解器受限于固定域尺寸、几何和边界条件的问题，本文提出 SNAP-DDM，用专用神经算子集合配合标准 DDM，实现二维电磁与流体自由形态问题的高精度通用求解。
2024-06-14 cs.AI cs.DC cs.LG
Breakeven complexity: A new perspective on neural partial differential equation solvers
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）
本文提出突破性复杂度评估框架，考虑神经求解器的前期成本与传统求解器的低保真度成本，分析不同PDE求解器在复杂问题中的有效性。
2026-11-10 cs.AI cs.LG cs.NA
Singular parameters and missing limits in neural PDE solvers
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
本文针对神经PDE求解器中因参数无界增长导致的缺失极限问题，通过分析tanh网络并添加核导数来补全模型，使最佳逼近可达，并数值验证了其对优化的影响。
2026-10-06 cs.LG cs.NA math.NA
