Neural Ordinary Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们介绍了一个新的家庭的深度神经网络模型。而不是指定一个离散序列的隐藏层，我们参数化的衍生物的隐藏状态使用神经网络。使用黑盒微分方程求解器计算网络的输出。这些连续深度模型具有恒定的内存成本，使其评估策略适应每个输入，并且可以显式地以数字精度换取速度。我们在连续深度残差网络和连续时间潜变量模型中证明了这些性质。我们还构建了连续的规范化流程，生成模型，可以训练最大似然，而不分区或排序的数据维度。为了训练，我们展示了如何通过任何ODE求解器可伸缩地反向传播，而无需访问其内部操作。这允许在更大的模型中进行ODE的端到端训练。
2026-10-09 cs.AI cs.LG stat.ML
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection
NTT Communication Science Laboratories（NTT通信科学研究所）；NTT Software Innovation Center（NTT软件创新中心）
基于神经网络的异常检测方法已经显示出实现高性能。然而，它们需要为每个任务提供大量的训练数据。我们提出了一种基于神经网络的元学习方法的监督异常检测。该方法通过对不同数据集进行元训练，提高了对包含少量标记正常和异常实例的不可见任务的异常检测性能。对于元学习框架，快速适应每个任务及其有效的反向传播非常重要，因为模型是通过每个时期的适应来训练的。我们的模型使他们通过制定适应作为一个广义特征值问题，一类分类，其全局最优解，求解器是可微的。我们的实验证明，该方法在各种数据集上比现有的异常检测和少镜头学习方法（Few-Shot learning）获得了更好的性能。
2021-03-01 cs.LG stat.ML
MeshODENet: A Graph-Informed Neural Ordinary Differential Equation Neural Network for Simulating Mesh-Based Physical Systems
Arizona State University（亚利桑那州立大学）
针对传统数值求解器计算成本高、GNN自回归长期预测易累积误差的问题，提出融合GNN空间推理与神经常微分方程连续时间建模的MeshODENet框架，在结构力学问题上实现了更优的长期预测精度、稳定性及计算加速。
2025-09-22 cs.LG physics.app-ph
Fast meta-solvers for 3D complex-shape scatterers using neural operators trained on a non-scattering problem
Department One（部门一）；Department Two（部门二）；Division of Applied Mathematics（应用数学系）；Brown University（布朗大学）；Department of Applied Mathematics（应用数学系）；Tel Aviv University（特拉维夫大学）
本文提出利用在无散射问题上训练的DeepONet作为粗尺度预条件子，结合松弛或Krylov方法构建快速元求解器，无需额外训练即可高效鲁棒地求解潜艇等复杂三维散射问题。
2025-05-27 cs.LG physics.comp-ph
On Distributional Dependent Performance of Classical and Neural Routing Solvers
University of Hildesheim（海德堡大学）
本文提出从固定基础节点分布的子样本中学习，以缩小神经路由求解器与专业元启发式算法在路由问题上的性能差距。
2025-08-04 cs.LG
From Euler to Dormand-Prince: ODE Solvers for Flow Matching Generative Models
ATLAS AI Lab（ATLAS人工智能实验室）
本文基于流匹配生成模型的需求，推导并实现了四种经典ODE求解器，通过实验比较其效率，发现RK4在80次函数评估时的样本质量与欧拉在200次评估时相当，并揭示了求解器选择在模型不完善时的重要性。
2026-04-04 cs.LG
An analysis of Universal Differential Equations for data-driven discovery of Ordinary Differential Equations
University of Bologna（博洛尼亚大学）
本文在常微分方程发现背景下测试通用微分方程框架，通过两个案例研究分析数据驱动方法与数值求解器结合的问题及数据收集的重要性，为物理信息机器学习的能力与局限提供见解。
2023-06-17 cs.LG
Stability-Informed Initialization of Neural Ordinary Differential Equations
Linköping University（林雪平大学）
针对神经ODE训练，本文分析数值积分器稳定区域、步长与初始化的关系，提出稳定性信息引导的参数初始化方法，并在基准与工业任务中验证其效果。
2024-08-06 cs.CV cs.LG
Learning Subgrid-scale Models with Neural Ordinary Differential Equations
Argonne National Laboratory（阿贡国家实验室）
本文提出基于神经常微分方程学习亚网格尺度模型的新方法，利用NODE和部分知识在连续层面学习源动力学，用于参数化亚网格尺度、近似耦合算子并提升低阶求解器效率。
2023-04-12 cs.CE cs.LG cs.NA
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence（联影智能）
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程，使用常微分方程（ODE）。我们用神经网络对ODE中的动力学进行建模，并用现成的（固定的）求解器求解所需的ODE以获得重建图像。我们扩展了这个模型，并将现成的ODE求解器的知识融入到网络设计中（学习求解器）。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果，并且比其他流行的方法（如UNet和级联CNN）更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
LAMSADE CNRS, Dauphine University-PSL（巴黎文理研究大学多芬分校，法国国家科学研究中心LAMSADE实验室）；ESPCI-PSL（巴黎文理研究大学高等物理化学学院）
神经常微分方程是近年来提出的一类新的神经网络模型，它依赖于黑箱常微分方程求解器进行推理和训练。一些称为自适应的ODE求解器可以根据手头问题的复杂性调整其评估策略，从而为机器学习开辟了广阔的前景。然而，本文描述了一组简单的实验来说明为什么自适应求解器不能无缝地用作动态系统建模的黑盒。以Lorenz'63系统为例，我们证明了Fehlberg方法的简单应用不会产生预期的结果。此外，提出了一个简单的解决方案，假设求解器和训练策略之间的交互更紧密。代码可以在github上找到：https://github.com/Allauzen/adaptive-step-size-neural-ode
2022-11-13 cs.LG nlin.CD
Amortizing Physics-Informed Neural Solvers via Graph Hypernetworks
Arizona State University（亚利桑那州立大学）；Applied Materials Inc.（应用材料公司）
本研究提出用图超网络将方程关系显式编码，为相关PDE生成PINN初始化，在固定适应预算下提升求解精度，尤其在双向耦合系统中显著优于系数向量。
2026-09-18 cs.LG
Multi-Agent Training beyond Zero-Sum with Correlated Equilibrium Meta-Solvers
DeepMind（深度思维）；University College London（伦敦大学学院）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
提出JPSRO算法，用于n人一般和扩展型博弈中的智能体训练，证明收敛到均衡，并引入最大基尼关联均衡（MGCE）作为高效的关联均衡元求解器，实验验证其收敛性。
2024-04-18 cs.AI cs.GT cs.LG
S4S: Solving for a Diffusion Model Solver
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；Allen Institute for AI（艾伦人工智能研究所）
提出S4S方法，通过匹配强教师求解器输出直接优化扩散模型求解器，无需数据且可黑盒集成，在少量NFE下显著提升生成质量，并扩展至S4S-Alt优化调度，实现性能大幅提升。
2025-02-24 cs.LG
Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
使用无监督神经网络求解微分方程引起了人们的兴趣。现有的方法都是基于前馈网络的，而递归神经网络微分方程求解器还未见报道。我们介绍了一个无监督的储备池计算（RC），回声状态递归神经网络能够发现近似的解决方案，满足常微分方程（ODE）。我们提出了一种方法来计算时间导数的递归神经网络输出，而不使用反向传播。RC的内部权重是固定的，而只有线性输出层被训练，从而产生有效的训练。然而，RC性能强烈依赖于找到最佳超参数，这是一个计算昂贵的过程。我们使用贝叶斯优化，有效地发现最优集在高维超参数空间和数值表明，一组是强大的，可以用来解决不同的初始条件和时间范围的ODE。在无反向传播学习过程中，推导出求解一阶线性方程组的最优输出权的封闭形式公式。我们将RC方法扩展到求解非线性常微分方程组，使用一种由梯度下降和贝叶斯优化组成的混合优化方法。线性和非线性方程组的评价证明了RC ODE求解器的效率。
2021-08-25 cs.LG cs.NE physics.comp-ph
Pick-and-Mix Information Operators for Probabilistic ODE Solvers
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程的概率数值求解器通过贝叶斯推断计算初始值问题的解的后验分布。在本文中，我们利用他们的概率公式无缝地包括额外的信息作为一般的可能性条款。我们表明，二阶微分方程应直接提供给求解器，而不是将问题转化为一阶。此外，通过在模型中包括高阶信息或物理守恒定律，解决方案变得更准确，更有物理意义。最后，我们证明了灵活的信息算子的效用，通过求解微分代数方程。总之，数值求解器的概率公式化提供了一种灵活的方式来结合各种类型的信息，从而提高了所得的解决方案。
2021-10-20 cs.LG cs.NA math.NA
Open source Differentiable ODE Solving Infrastructure
Deep Forest Sciences（深林科学公司）
本研究将GPU加速、支持多数值方法且完全可微分的ODE求解器集成到开源DeepChem框架中，通过多场景实验验证其高精度（均方误差$10^{-4}$至$10^{-6}$）与大型系统可扩展性。
2024-11-29 cs.LG
Neural Ordinary Differential Equations for Modeling Socio-Economic Dynamics
National Institute of Technology Rourkela（印度国立理工学院鲁尔克拉分校）
本文利用神经微分方程分析印度奥里萨邦的贫困动态，通过时间序列数据建模经济和社会发展指标，展示神经ODE在捕捉贫困指标动态方面的有效性。
2026-04-01 cs.LG math.DS
Elvet -- a neural network-based differential equation and variational problem solver
Durham University（杜伦大学）
我们提出了Elvet，一个使用机器学习方法求解微分方程和变分问题的Python软件包。Elvet可以处理任何具有任意初始和边界条件的耦合常微分方程或偏微分方程组。它还可以最小化任何依赖于多个变量的函数集合的函数，同时对它们施加约束。任何这些问题的解决方案被表示为一个神经网络训练，以产生所需的功能。
2021-03-30 cs.LG hep-lat hep-ph
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
最近，深度强化学习（DRL）模型在解决NP难组合优化（CO）问题方面表现出了很好的效果。然而，对于图上的组合优化问题，例如旅行商问题（TSP），大多数DRL求解器只能扩展到几百个节点。针对大规模组合优化中的可扩展性问题，提出了一种新的求解方法DIMES。与以前的DRL方法，遭受昂贵的自回归解码或迭代细化的离散解决方案，DIMES引入了一个紧凑的连续空间参数化的潜在分布的候选解决方案。这样一个连续的空间允许通过大规模并行采样进行稳定的基于REINFORCE的训练和微调。我们进一步提出了一个元学习框架，使有效的初始化模型参数的微调阶段。大量的实验表明，DIMES优于最近的DRL为基础的方法在大型基准数据集的旅行商问题和最大独立集问题。
2022-10-25 cs.AI cs.LG math.OC
LLMs as Adaptive Meta-Solvers: Strategy-Diverse RL for Industrial-Scale Optimization
Tokentide AI；Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；Fudan University（复旦大学）；The University of Hong Kong（香港大学）；Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
提出策略多样化强化学习（SDRL）框架，利用求解器集成推理、精确算法与启发式搜索的互补性，训练LLM作为自适应元求解器，在工业规模优化任务上超越现有微调方法和前沿模型。
2026-09-29 cs.CL cs.LG
Towards a universal meta-optics solver via large language models
The Pennsylvania State University（宾夕法尼亚州立大学）；School of Electronics and Information Technology, Sun Yat-Sen University（中山大学电子与信息工程学院）
该研究提出基于Gemma-2-9B大语言模型的统一工作流，将多家族超表面相关信息转换为文本格式微调，实现跨家族光学响应预测与逆设计，MSE平均降低56.5%，减少了对任务特定架构的需求。
2026-08-28 cs.LG physics.optics
DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）
扩散概率模型（DPM）是新兴的强大的生成模型。尽管它们具有高质量的生成性能，但DPM仍然遭受其缓慢的采样，因为它们通常需要大型神经网络的数百或数千个顺序函数评估（步骤）来绘制样本。从DPM采样可以被看作是解决相应的扩散常微分方程（ODE）。在这项工作中，我们提出了一个精确的配方的解决方案的扩散常微分方程。该公式分析计算的线性部分的解决方案，而不是离开所有条款的黑盒ODE求解器在以前的作品中采用。应用变量变换法，可将解等价地简化为神经网络的指数加权积分。基于我们的配方，我们提出了DPM-Solver，一个快速专用的高阶求解扩散常微分方程的收敛阶保证。DPM-Solver适用于离散时间和连续时间的DPM，无需任何进一步的训练。实验结果表明，DPM-Solver可以在各种数据集上仅用10到20次函数计算就生成高质量的样本。在CIFAR 10数据集上，我们在10个函数评估中实现了4.70 FID，在20个函数评估中实现了2.87 FID，并且与以前最先进的免训练采样器相比，在各种数据集上实现了$4\sim 16\times$加速。
2022-10-13 cs.LG stat.ML
Meta-learning for heterogeneous treatment effect estimation with closed-form solvers
NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出一种基于元学习器框架的CATE估计方法，通过分解子问题并使用闭式求解优化神经网络的任务共享参数，显著提升了少样本观测数据下的估计性能。
2023-05-19 cs.AI cs.LG stat.ML
Accelerating Legacy Numerical Solvers by Non-intrusive Gradient-based Meta-solving
National University of Singapore（新加坡国立大学）；Kajima Corporation（鹿岛建设公司）
本文提出一种非侵入式元学习方法，通过新颖梯度估计技术在不修改遗留代码的前提下加速不可自动微分的传统数值求解器，并在PETSc上验证其优势。
2024-05-05 cs.LG cs.NA math.NA
Calibrated Adaptive Probabilistic ODE Solvers
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程的概率求解器为初值问题的解分配后验测度。该分布的联合协方差提供了（全局）近似误差的估计。作为求解器步长的函数的该误差估计的收缩率将其识别为良好校准的最差情况误差，但是其对于特定步长的显式数值并不能自动地是显式误差的良好估计。针对这个问题，我们介绍，讨论和评估几种概率动机的方法来校准不确定性估计。数值实验表明，这些校准方法与自适应步长选择有效地相互作用，从而产生描述性的，有效地可计算的后验。我们证明了对经典的，广泛使用的Dormand-Prince 4/5龙格-库塔法的基准测试的方法的效率。
2021-02-22 cs.LG cs.NA math.NA
Neural Ordinary Differential Equations for Simulating Metabolic Pathway Dynamics from Time-Series Multiomics Data
Amsterdam University Medical Center（阿姆斯特丹大学医学中心）；Griffin Labs（格里芬实验室）
本文提出神经普通微分方程用于从时间序列多组学数据模拟代谢通路动态，显著提升预测精度并加速推理过程。
2025-12-09 cs.LG q-bio.SC
Meta-Prior: Meta learning for Adaptive Inverse Problem Solvers
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
本文提出基于元学习的Meta-Prior方法，通过在多样成像任务上训练元模型并以少量微调适配新任务，支持有监督和无监督设置，在图像处理与MRI任务中验证了有效性。
2023-11-30 cs.CV cs.LG
Adaptive Asynchronous Control Using Meta-learned Neural Ordinary Differential Equations
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Magazino GmbH（Magazino有限公司）
针对机器人系统中观测与动作异步及环境动力学剧烈变化的问题，提出基于元学习神经常微分方程的自适应连续时间动力学建模与控制框架，并在仿真和真实工业机器人上验证了其有效性。
2023-10-23 cs.LG cs.RO
Compositional ADAM: An Adaptive Compositional Solver
Huawei Technologies Research and Development（华为技术研发）；University College London（伦敦大学学院）
在本文中，我们提出了C-ADAM，第一个自适应求解器的组合问题，涉及非线性函数嵌套的期望值。我们证明了C-ADAM收敛到$\mathcal{O}(δ^{-2.25})$中的一个稳定点，其中$δ$是一个精度参数。此外，我们首次通过桥接模型不可知元学习（MAML）和组合优化来证明我们结果的重要性，显示了迄今为止深度网络适应的最快已知速率。最后，我们验证了我们的研究结果在一组实验中，从投资组合优化和元学习。我们的研究结果表明显着的样本复杂性降低相比，标准和组合求解器。
2020-04-24 cs.LG math.OC stat.ML
Constraining Gaussian Processes to Systems of Linear Ordinary Differential Equations
OWL University of Applied Sciences and Arts（OWL应用科学与艺术大学）
许多应用中的数据遵循常微分方程（ODE）系统。本文提出了一种新的算法和符号构造的协方差函数的高斯过程（GP）的实现严格遵循一个系统的线性齐次常系数常微分方程，我们称之为LODE-GP。将这种强归纳偏差引入GP中可以改进此类数据的建模。使用史密斯范式算法，一种符号技术，我们克服了两个当前的限制，在现有技术中：（1）需要某些唯一性条件的解决方案，通常假设在经典的ODE求解器和他们的概率对应，和（2）可控系统的限制，通常假设在协方差函数中编码微分方程。我们在一些实验中显示了LODE-GP的有效性，例如通过最大化可能性来学习物理上可解释的参数。
2022-08-26 cs.LG cs.SC stat.ML
Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
少样本学习类似于人类的快速学习能力，通过使用少量样本进行训练，使视觉系统能够理解新的概念。从单一视觉对象的图像元学习中获得的领先方法。复杂的背景和多目标的模糊化使得Few-Shot目标检测/分割的研究难以深入。在这项工作中，我们提出了一个灵活的和一般的方法来实现这些任务。我们的工作扩展了Faster /Mask R-CNN，提出了对RoI（感兴趣区域）特征而不是完整图像特征的元学习。这种简单的精神将多对象信息与背景融合在一起，没有花里胡哨的东西，使Faster /Mask R-CNN成为一个元学习者来完成任务。具体来说，我们引入了一个预测头重塑网络（PRN），该网络与Faster /Mask R-CNN共享其主要主干。PRN接收包含具有其边界框或掩模的Few-Shot对象的图像，以推断其类关注向量。这些向量对RoI特征进行通道级软关注，重新构建这些R-CNN预测器头，以检测或分割与这些向量表示的类一致的对象。在我们的实验中，Meta R-CNN在Few-Shot目标检测方面达到了最先进的水平，并通过Mask R-CNN改进了Few-Shot对象分割。
2020-03-14 cs.CV cs.LG
Fast and Robust Shortest Paths on Manifolds Learned from Data
Technical University of Denmark（丹麦技术大学）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了一个快速，简单和强大的算法来计算最短路径和距离的黎曼流形从数据中学习。这相当于求解一个受边界条件约束的常微分方程（ODE）系统。在这里，标准求解器表现不佳，因为它们需要ODE的良好行为的雅可比矩阵，并且通常，从数据中学习的流形意味着不稳定和病态的雅可比矩阵。相反，我们提出了一个不动点迭代方案解决的常微分方程，避免雅可比。这增强了求解器的稳定性，同时降低了计算成本。在涉及黎曼度量学习和深度生成模型的实验中，我们证明了与通用最先进的求解器以及专业求解器相比，速度和稳定性都有显着提高。
2019-01-22 cs.LG stat.ML
Probabilistic ODE Solvers with Runge-Kutta Means
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Cambridge University（剑桥大学）
Runge-Kutta方法是常微分方程（ODE）的经典求解器家族，也是最新技术的基础。与大多数数值方法一样，它们返回点估计。我们构建了一个家庭的概率数值方法，而不是返回高斯-马尔可夫过程定义的概率分布的ODE解决方案。在以前的工作相比，我们构造这个家庭，使后意味着完全匹配的龙格库塔家庭的输出，从而继承其良好的性能。选择与龙格库塔匹配未识别的剩余自由度，使得后验概率测量适合ODE的观察结构。我们的研究结果揭示了龙格-库塔解算器的结构从一个新的方向，提供了一个更丰富的，概率的输出，具有较低的计算成本，并提出了新的研究问题。
2014-10-24 cs.LG cs.NA math.NA
Generative Evolutionary Meta-Solver (GEMS): Scalable Surrogate-Free Multi-Agent Reinforcement Learning
Birla Institute of Technology and Science, Pilani（比拉理工学院）
GEMS 提出了一种无代理的多智能体强化学习框架，通过生成器和潜在锚点替代传统种群方法，实现更快的训练速度和更低的内存消耗，同时保持博弈论保证。
2026-03-07 cs.AI cs.LG
Training Generative Adversarial Networks by Solving Ordinary Differential Equations
DeepMind（深度思维）
生成对抗网络（GAN）训练的不稳定性经常被归因于梯度下降。因此，最近的方法旨在调整模型和训练程序，以稳定离散更新。相反，我们研究了由GAN训练引起的连续时间动态。理论和玩具实验都表明，这些动力学实际上是惊人的稳定。从这个角度来看，我们假设训练GANs的不稳定性是由离散连续动态过程中的积分误差引起的。我们通过实验验证了著名的ODE求解器（如Runge-Kutta）可以稳定训练-当与控制积分误差的正则化器相结合时。我们的方法代表了从以前的方法，通常使用自适应优化和稳定化技术，约束功能空间（例如光谱归一化）的根本出发。在CIFAR-10和ImageNet上的评估表明，我们的方法优于几个强基线，证明了其有效性。
2020-11-28 cs.LG stat.ML
Virtual Analog Modeling of Distortion Circuits Using Neural Ordinary Differential Equations
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits（弗劳恩霍夫集成电路研究所）
深度学习的最新研究表明，神经网络可以学习控制动力系统的微分方程。在本文中，我们将这一概念应用于虚拟模拟（VA）建模，以学习控制一阶和二阶二极管削波器的常微分方程（ODE）。所提出的模型实现了与最先进的递归神经网络（RNN）相当的性能，尽管使用的参数更少。我们表明，这种方法不需要过采样，并允许在训练完成后提高采样率，从而提高准确性。使用复杂的数值求解器可以提高精度，但代价是处理速度较慢。通过这种方式学习的ODE不需要封闭形式，但仍然是物理上可解释的。
2022-07-01 cs.LG cs.SD eess.AS
Stable Implementation of Probabilistic ODE Solvers
University of Tübingen（图宾根大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
常微分方程（ODE）的概率求解器提供了与动力系统仿真相关的数值不确定性的有效量化。它们的收敛速度已被越来越多的理论分析所证实。然而，这些算法遭受数值不稳定时，运行在高阶或小步长-也就是说，正是在该制度中，他们实现了最高的精度。目前的工作提出并研究了解决这个问题的方法。它包括三个组成部分：精确的初始化，一个坐标变化预处理，使数值稳定性的关注步长无关，和平方根的实现。使用所有这三种技术，使数值计算的概率解的常微分方程的算法顺序高达11，证明了一组具有挑战性的测试问题。由此产生的快速收敛被证明是具有竞争力的高阶，国家的最先进的，经典的方法。因此，分析概率ODE求解器和将它们应用于有趣的机器学习问题之间的障碍被有效地消除。
2020-12-18 cs.LG cs.NA math.NA
Meta-learning with differentiable closed-form solvers
FiveAI（FiveAI公司）；University of Oxford（牛津大学）
由于标准微调程序的高计算要求，使深度网络适应少数例子中的新概念是具有挑战性的。因此，大多数关于少样本学习的工作都集中在简单的自适应学习技术上，例如最近邻或梯度下降。尽管如此，机器学习文献包含了大量非常有效地学习非深度模型的方法。在本文中，我们建议使用这些快速收敛的方法作为少样本学习的主要适应机制。其主要思想是教深度网络使用标准的机器学习工具，如岭回归，作为其内部模型的一部分，使其能够快速适应新数据。这需要通过求解器步骤反向传播误差。虽然通常在这样一个过程中涉及的矩阵运算的成本将是显着的，通过使用伍德伯里恒等式，我们可以使少量的例子对我们有利。我们提出了封闭形式和迭代求解器，基于岭回归和逻辑回归组件。我们的方法构成了解决少样本学习问题的简单而新颖的方法，并在三个基准测试中实现了与最新技术水平相竞争或优于最新技术水平的性能。
2019-07-24 cs.CV cs.LG stat.ML
Optical Neural Ordinary Differential Equations
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学深圳国际研究生院（清华-伯克利深圳学院））；Sea AI Lab（Sea AI 实验室）
增加片上光子神经网络（PNN）的层数是提高其模型性能的关键。然而，网络隐藏层的连续级联导致更大的集成光子芯片面积。为了解决这个问题，我们提出了光学神经常微分方程（ON-ODE）的架构，参数化的连续动态的隐藏层与光学ODE求解器。ON-ODE包括PNN，其后是光子积分器和光学反馈回路，其可以被配置为表示具有有效减少的芯片面积占用的残余神经网络（ResNet）和递归神经网络。对于基于干涉的光电非线性隐层，数值实验表明，在图像分类任务中，单隐层ON-ODE可以达到与两层光学ResNet近似相同的精度。此外，ONODE提高了基于衍射的全光学线性隐藏层的模型分类精度。ON-ODE的时变动力学特性进一步应用于高精度的轨迹预测。
2022-09-26 cs.LG physics.optics
Parallel-in-Time Probabilistic Numerical ODE Solvers
Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；Aalto University（阿尔托大学）；Lund University（隆德大学）
本研究利用贝叶斯滤波平滑框架的算法灵活性，基于迭代扩展卡尔曼平滑器构建时间并行概率数值ODE求解器，将时间步跨度代价从线性降至对数级，在多类ODE上验证了有效性并与多种求解器对比。
2024-09-11 cs.LG cs.NA math.NA
Towards Enabling Meta-Learning from Target Models
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
元学习可以从以前的学习经验中提取归纳偏差，并辅助新任务的训练。它通常是通过优化一个元模型与特定任务的求解器的评价损失。现有的大多数算法采样非重叠$\mathit{support}$集和$\mathit{query}$集训练和评估的求解器分别由于简单（$\mathcal{S}$ / $\mathcal{Q}$协议）。与$\mathcal{S}$ / $\mathcal{Q}$协议不同，我们还可以通过将特定于任务的求解器与目标模型$\mathcal{T}$进行比较来评估特定于任务的求解器，目标模型$\mathcal{T}$是该任务的最佳模型或在该任务上表现足够好的模型（$\mathcal{S}$ / $\mathcal{T}$协议）。$\mathcal{S}$ / $\mathcal{T}$协议虽然还缺乏研究，但具有独特的优点，如提供更多的信息监控，但计算量大。本文对这一特殊的评价方法进行了探讨，并为将其付诸实践迈出了一步。我们发现，与目标模型武装的任务的一个小的比例，经典的元学习算法可以改进很多，而不消耗很多资源。我们在元学习、$\mathit{i.e.}$、少样本学习的典型应用中实证验证了$\mathcal{S}$ / $\mathcal{T}$协议的有效性。具体来说，在通过对这些硬任务的预训练网络进行微调来构建目标模型之后，我们通过知识蒸馏来匹配特定于任务的求解器和目标模型。
2021-12-17 cs.AI cs.CV cs.LG
GradRepair-ODE: Certified Gradient Repair for Neural ODE Training
Purdue University（普渡大学）；Rice University（莱斯大学）
针对神经ODE训练中数值求解器导致梯度不可靠的问题，提出GradRepair-ODE框架，通过检查、修复和拒绝机制认证梯度，在合成系统中将不安全步骤降至零。
2026-09-15 cs.CL cs.LG
On Numerical Integration in Neural Ordinary Differential Equations
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；University of Science and Technology Beijing（北京科技大学）
常微分方程和神经网络的结合，即，神经元常微分方程（Neural ODE）的研究已经从不同的角度得到了广泛的研究。然而，破译神经常微分方程中的数值积分仍然是一个开放的挑战，许多研究表明，数值积分显着影响模型的性能。在本文中，我们提出了修改的微分方程（IMDE）的逆来阐明数值积分训练神经ODE模型的影响。IMDE由学习任务和所采用的ODE求解器确定。结果表明，训练神经ODE模型实际上返回了IMDE的近似值，而不是真正的ODE。借助IMDE，我们推导出：（i）学习模型与真实常微分方程之间的差异由离散误差和学习损失之和限定;（ii）使用非辛数值积分的神经常微分方程理论上不能学习守恒律.几个实验进行数值验证我们的理论分析。
2022-06-15 cs.LG cs.NA math.NA
Stochastic Physics-Informed Neural Ordinary Differential Equations
University of California, Berkeley（加州大学伯克利分校）；The Ohio State University（俄亥俄州立大学）
随机微分方程（SDEs）被用来描述各种复杂的随机动力系统。学习SDES中隐藏的物理对于解开这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活的和可扩展的框架，用于训练人工神经网络学习本构方程，代表隐藏的物理在SDES。所提出的随机物理通知的神经常微分方程框架（SPINODE）通过已知的神经元结构传播随机性（即，已知的物理学）以产生一组描述随机状态的统计矩的时间演化的确定性常微分方程。SPINODE然后使用ODE解算器来预测时刻轨迹。SPINODE通过将预测的时刻与从数据中估计的时刻相匹配来学习隐藏物理的神经网络表示。利用自动微分和具有伴随灵敏度的小批量梯度下降的最新进展来建立神经网络的未知参数。我们证明了SPINODE在三个基准在硅片的案例研究和分析框架的数值鲁棒性和稳定性。SPINODE为系统地揭示具有乘性噪声的多元随机动力系统的隐藏物理提供了一个有前途的新方向。
2022-07-24 cs.AI cs.LG
RL + Transformer = A General-Purpose Problem Solver
Tennessee Technological University（田纳西理工大学）
本研究证明，通过多回合强化学习微调的预训练Transformer能涌现出上下文强化学习能力，解决未见问题，兼具样本效率、分布外泛化及鲁棒性，成为通用问题求解器。
2025-01-24 cs.AI cs.LG
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；University of Waterloo（滑铁卢大学）
我们使用神经常微分方程制定的Transformer，这是深度自适应的意义上说，一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说，我们考虑的简单问题，确定奇偶校验的二进制序列，标准的Transformer具有已知的限制，只能通过使用足够大的层数或注意头克服。然而，我们发现，深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质，并提供解释为什么会这样。接下来，我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化，但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer，可能会导致提高精度和效率的序列建模任务，如神经机器翻译。
2020-10-22 cs.CL cs.LG
Propagating Model Uncertainty through Filtering-based Probabilistic Numerical ODE Solvers
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Lund University（吕勒欧大学）；Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）
针对ODE滤波器无法自动传播动力系统参数不确定性的问题，提出结合ODE滤波器与数值积分的新方法，可同时量化参数与数值不确定性，实验验证其估计结果与参考解高度吻合，且能避免大步长下的过度自信问题。
2025-10-01 cs.LG cs.NA math.NA
From model-based learning to model-free behaviour with Meta-Interpretive Learning
University of Surrey, UK（英国萨里大学）
本文提出用元解释学习训练基于模型的Solver，并据此蒸馏出无模型Controller，在迷宫与湖泊网格导航任务中验证二者问题求解能力等价。
2025-07-22 cs.AI cs.LG
SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks
University of Michigan（密歇根大学）
在本文中，我们提出了一个灵活的生存分析模型，使用神经网络以及可扩展的优化算法。直接将极大似然估计（MLE）应用于删失数据的一个关键技术挑战是评估目标函数及其相对于模型参数的梯度需要计算积分。为了解决这一挑战，我们认识到，删失数据的极大似然估计可以被视为一个微分方程约束优化问题，一个新的视角。在这种连接之后，我们通过一个常微分方程对事件时间的分布进行建模，并利用有效的ODE求解器和伴随敏感性分析来数值评估可能性和梯度。使用这种方法，我们能够1）提供一个广泛的家庭连续时间生存分布没有强的结构假设，2）获得强大的功能表示使用神经网络，和3）允许在大规模应用中使用随机梯度下降模型的有效估计。通过模拟研究和真实数据示例，我们证明了所提出的方法与现有最先进的深度学习生存分析模型相比的有效性。拟议的SODEN方法的实施情况已在https://github.com/jiaqima/SODEN上公布。
2021-12-06 cs.LG stat.ML
Optimizing External Sources for Controlled Burning Plasma in Tokamaks with Neural Ordinary Differential Equations
Fusion Research Center, Georgia Institute of Technology, Atlanta, GA, USA（融合研究中心，佐治亚理工学院，亚特兰大，GA，USA）
本研究提出基于神经常微分方程的多节点等离子体动力学逆建模方法，通过自动微分优化求解托卡马克外部源分布（如NBI功率），实现受控燃烧等离子体的精确控制。
2025-07-12 cs.LG physics.plasm-ph
Learning by solving differential equations
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
本研究评估高阶龙格-库塔（RK）常微分方程求解器在深度学习中的性能与局限，提出通过融入预处理、自适应学习率、动量等现代优化器关键要素来提升其表现的方法。
2025-05-19 cs.LG cs.NA math.NA
Bespoke Solvers for Generative Flow Models
Weizmann Institute of Science（魏茨曼科学研究所）；Meta
本文提出Bespoke solvers框架，为预训练流模型定制参数高效的ODE求解器，以极低训练成本和少量NFE显著提升生成质量，在CIFAR10和ImageNet-64上接近真实数据FID。
2023-10-29 cs.AI cs.CV cs.LG
Heavy Ball Neural Ordinary Differential Equations
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）；University of Utah（犹他大学）
利用经典动量加速梯度下降算法的连续极限，提出了重球神经元常微分方程（HBNODEs），以改进神经元常微分方程（NODEs）的训练和推理. HBNODE有两个属性，这意味着实际优势超过NODE：（i）HBNODE的伴随状态也满足HBNODE，加速向前和向后ODE求解器，从而显着减少函数评估（NFE）的数量并提高训练模型的实用性。(ii)HBNODE的频谱结构良好，能够有效地从复杂的序列数据中学习长期依赖关系。我们验证了HBNODE在基准任务上的优势，包括图像分类，学习复杂的动力学和顺序建模。与其他基于ODE的神经网络模型相比，我们的方法需要显著更少的前向和后向NFE，更准确，更有效地学习长期依赖关系。代码可在\url{https://github.com/hedixia/HeavyBallNODE}上获得。
2021-10-10 cs.AI cs.LG cs.NA
