Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs
Michigan State University（密歇根州立大学）
物理信息神经网络（PINN）由于其在求解正问题和逆问题方面的能力而受到广泛关注。为了训练与PINN相关联的深度神经网络，通常使用不同损失项的加权和来构造总损失函数，然后尝试将其最小化。这种方法在求解刚性方程时经常会出现问题，因为它不能考虑自适应增量。许多研究报告了PINN的性能不佳及其在使用严格常微分条件（ODE）的管理条件模拟严格化学活性问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统时失效的主要原因。在这里，我们解决这个问题，提出了一个减少弱形式的损失函数，这导致了一个新的PINN架构，进一步命名为减少PINN，利用降阶积分方法，使PINN解决刚性化学动力学。所提出的Reduced-PINN可以应用于各种涉及刚性动力学的反应扩散系统。为此，我们将初值问题（IVP）转化为等价的积分形式，并使用物理信息神经网络求解所得的积分方程。在我们导出的基于积分的优化过程中，只有一个项没有明确纳入与常微分方程（ODE）和初始条件（IC）相关的损失项。为了说明Reduced-PINN的功能，我们用它来模拟多个刚性/温和的二阶常微分方程。我们表明，减少PINN捕获的解决方案准确地为一个刚性标量常微分方程。我们还验证了减少PINN对刚性系统的线性常微分方程。
2022-08-23 cs.LG physics.chem-ph
Time-vectorized numerical integration for systems of ODEs
Argonne National Laboratory（阿贡国家实验室）；University of Shanghai for Science and Technology（上海理工大学）
本文提出一种时间向量化数值积分方法，通过同时向量化多个时间序列和连续时间步长，利用并行循环归约加速刚性常微分方程组的求解，实现超过100倍加速，并附带开源实现。
2023-10-12 cs.LG cs.NA math.NA
MALI: A memory efficient and reverse accurate integrator for Neural ODEs
Yale University（耶鲁大学）
神经常微分方程（Neural ODE）是一类新的具有连续深度的深度学习模型。然而，在连续情况下的梯度的数值估计没有得到很好的解决：伴随方法的现有实现遭受逆时间轨迹的不准确性，而朴素方法和自适应检查点伴随方法（ACA）具有随积分时间增长的存储器成本。在这个项目中，基于异步蛙跳（ALF）求解器，我们提出了内存有效的ALF积分器（MALI），它具有恒定的内存成本\textit{w.r.t}数量的求解器步骤的集成类似于伴随方法，并保证在逆时间轨迹的精度（因此在梯度估计的精度）。我们在各种任务中验证了MALI：在图像识别任务中，据我们所知，MALI是第一个在ImageNet上实现神经ODE可行训练的方法，并且优于经过良好调整的ResNet，而现有方法由于内存负担重或不准确而失败;对于时间序列建模，MALI显着优于伴随方法;对于连续生成模型，MALI实现了新的最先进性能。我们在\url{https://jzkay12.github.io/TorchDiffEqPack/}提供pypi包
2021-03-03 cs.LG
Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE
Department of Physics, Kyoto University, Kyoto, Japan（京都大学物理系）
本文通过引入物理中的规范对称性原理，揭示神经网络中参数冗余的本质，统一了Transformer、前馈网络和神经ODE的对称性结构。
2024-02-04 cs.AI cs.LG hep-th
Learning to Integrate Diffusion ODEs by Averaging the Derivatives
MMLab, The Chinese University of Hong Kong（中国香港大学）
本文提出割线损失方法，通过学习ODE整合来提升扩散模型的推断速度和稳定性，实验表明其在CIFAR-10和ImageNet-256×256上取得良好效果。
2025-12-13 cs.LG
An Invariant Compiler for Neural ODEs in AI-Accelerated Scientific Simulation
Virginia Tech（弗吉尼亚理工大学）
本文提出不变编译器，通过构造性方法强制保持不变量，将不变量作为第一类类型，利用LLM驱动的编译流程将通用神经ODE规范转换为保持结构的架构，确保轨迹在连续时间内保持在允许的流形上。
2026-03-25 cs.LG
Training Stiff Neural Ordinary Differential Equations with Explicit Exponential Integration Methods
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文针对神经 ODE 难以学习刚性系统且隐式方法成本高的问题，评估显式指数积分方法，发现 IF Euler 在稳定性、效率及大步长训练刚性 Van der Pol 振子上表现更优。
2024-12-02 cs.AI cs.LG cs.NA
Unveiling LLM Mechanisms Through Neural ODEs and Control Theory
The Chinese University Of Hongkong（香港中文大学）；Fudan University（复旦大学）
本文提出融合神经ODE与鲁棒控制理论的框架，用于增强大语言模型的可解释性与可控性，实验证明该方法在多个问答数据集上显著提升输出一致性与可解释性。
2025-02-23 cs.AI cs.CL cs.LG
Learning Riemannian Stable Dynamical Systems via Diffeomorphisms
Bosch Center for Artificial Intelligence（博世人工智能中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
灵巧和自主的机器人应该能够熟练地执行复杂的动态运动。可以利用学习技术来构建这种动态技能的模型。为了实现这一点，学习模型需要编码一个类似于所需运动动态的稳定矢量场。这是具有挑战性的，因为机器人状态不会在欧几里得空间上演变，因此稳定性保证和矢量场编码需要考虑由例如取向表示产生的几何形状。为了解决这个问题，我们建议学习黎曼稳定动力系统（RSDS）的演示，使我们能够考虑不同的几何约束所产生的动力系统状态表示。我们的方法提供了黎曼流形上的Lyapunov稳定性保证，通过建立在神经流形常微分方程上的仿射来实现所需的运动动力学。我们表明，我们的黎曼方法使人们有可能学习稳定的动力系统显示复杂的向量场的说明性的例子和现实世界的操作任务，其中欧几里得近似失败。
2022-11-06 cs.LG cs.RO
DeNOTS: Stable Deep Neural ODEs for Time Series
Applied AI Institute（应用人工智能研究所）；Innotech（Innotech公司）
DeNOTS通过扩展积分时间范围和负反馈机制，提升了神经微分方程在时间序列建模中的稳定性与鲁棒性，实现了20%的性能提升。
2026-01-26 cs.AI cs.LG
ICE-NODE: Integration of Clinical Embeddings with Neural Ordinary Differential Equations
Imperial College London（伦敦帝国学院）
疾病的早期诊断可以改善健康结果，包括提高生存率和降低治疗费用。由于电子健康记录（EHR）中有大量可用的信息，因此使用机器学习（ML）方法来建模疾病进展以早期预测疾病发作和其他结果具有很大的潜力。在这项工作中，我们采用了最近的创新，结合丰富的语义嵌入临床代码的神经ODE利用EHR的全部时间信息。我们提出了ICE-NODE（临床嵌入与神经常微分方程的集成），这是一种在时间上集成临床代码和神经常微分方程的嵌入以学习和预测EHR中患者轨迹的架构。我们将我们的方法应用于公开的MIMIC-III和MIMIC-IV数据集，与最先进的方法相比，我们发现预测结果有所改善，特别是对于EHR中不经常观察到的临床代码。我们还表明，ICE-NODE在预测某些医疗条件方面更有能力，如急性肾衰竭，肺心病和与出生相关的问题，其中完整的时间信息可以提供重要的信息。此外，ICE-NODE还能够产生患者风险轨迹，可用于进一步详细预测疾病演变。
2022-07-31 cs.LG
Piecewise-constant Neural ODEs
Oregon State University（俄勒冈州立大学）
神经网络是一种流行的工具，用于建模连续数据，但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外：它们用神经网络参数化隐藏状态的时间导数，然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成，从而难以训练和评估。在本文中，我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分，并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配，同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models
ETH Zürich（苏黎世联邦理工学院）
一般的微分方程，特别是神经常微分方程是连续时间系统辨识的基本技术。虽然许多确定性学习算法已经通过伴随方法基于数值积分来设计，但是许多下游任务，例如主动学习、强化学习中的探索、鲁棒控制或滤波，需要对预测不确定性进行精确估计。在这项工作中，我们提出了一种新的方法来估计认知不确定的神经常微分方程，避免了数值积分瓶颈。而不是在ODE参数建模的不确定性，我们直接在状态空间中的不确定性建模。我们的算法-分布式梯度匹配（DGM）-联合训练一个平滑器和一个动态模型，并通过最小化Wasserstein损失来匹配它们的梯度。我们的实验表明，与传统的基于数值积分的近似推理方法相比，我们的方法更快地进行训练，更快地预测以前看不见的轨迹，并且在神经ODE的背景下，更准确。
2021-10-15 cs.LG math.DS stat.ML
Neural ODEs with stochastic vector field mixtures
University of Bristol（布里斯托大学）
最近的研究表明，神经常微分方程模型不能解决基本的和看似简单的任务，即使是高容量的向量场表示。本文介绍了其他两个基本任务的基线方法不能解决的一套，并提出了混合物的随机向量场作为一个模型类，能够解决这些基本问题。动态矢量场的选择是至关重要的，我们的模型，我们的方法是传播组件的不确定性的集成间隔与技术的基础上向前滤波。我们还正式几个损失函数，鼓励理想的属性的轨迹路径，特别感兴趣的是那些直接鼓励较少的预期功能评估。在实验中，我们证明了我们的模型类能够捕捉人类行为的自然动态;一个众所周知的不稳定的应用领域。基线方法无法充分模拟这一问题。
2019-05-23 cs.LG stat.ML
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡，我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则，常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构，如LSTM和URNN，适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件，并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子：量子通用计算神经网络（QUNN）将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming
Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
提出将物理增强神经ODE训练转化为动态优化问题，采用直接配点法离散化并用NLP求解器高效求解，实现参数与轨迹同步优化，在车辆和振荡器基准上验证了精度与速度优势。
2025-08-06 cs.LG math.DS math.OC
Designing Stable Neural Networks using Convex Analysis and ODEs
University of Cambridge（剑桥大学）；Norwegian University of Science and Technology（挪威科技大学）；University of Bath（巴斯大学）
本文提出一种基于常微分方程数值积分和凸分析的ResNet风格神经网络架构，通过约束权重谱范数实现非扩张算子，并进一步约束为平均算子以用于即插即用去噪，在对抗鲁棒分类、去噪和去模糊任务上验证了有效性。
2024-04-18 cs.LG
Bayesian Neural Ordinary Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Julia Computing Inc.（朱莉娅计算公司）；Pumas AI（普马斯人工智能公司）；University of New South Wales at Canberra（堪培拉新南威尔士大学）；National Autonomous University of Mexico（墨西哥国立自治大学）；Pramati Technologies（普拉马蒂科技公司）；University of Maryland Baltimore（马里兰大学巴尔的摩分校）
最近，神经常微分方程已经成为一个强大的框架，用于建模物理模拟，而无需显式定义控制系统的ODE，而是通过机器学习来学习它们。然而，问题是：贝叶斯学习框架能否与神经ODE集成，以稳健地量化神经ODE权重的不确定性？“仍然没有答案为了解决这个问题，我们主要评估以下几类推理方法：（a）无U形转弯MCMC采样器（NUTS），（b）随机梯度哈密顿蒙特卡罗（SGHMC）和（c）随机朗之万梯度下降（SGLD）。我们使用GPU加速，在经典物理系统以及MNIST等标准机器学习数据集上成功集成了神经ODE与上述贝叶斯推理框架。在MNIST数据集上，我们在10，000张图像的测试集合上实现了98.5%的后验样本准确率。随后，我们第一次展示了变分推理与归一化流和神经ODE的成功集成，从而产生了一个强大的贝叶斯神经ODE对象。最后，考虑一个捕食者-食饵模型和一个流行病系统，利用泛常微分方程证明了部分描述动力系统模型规格的概率辨识。总之，这给出了一个科学的机器学习工具的概率估计的认知不确定性。
2022-02-06 cs.LG
Neural ODEs with Irregular and Noisy Data
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
测量噪声是物理过程数据采集中不可或缺的一部分。因此，噪声去除是必要的，从这些数据中得出结论，它往往成为必不可少的使用这些数据构建动态模型。我们讨论了一种方法来学习微分方程（S）使用噪声和不规则的采样测量。在我们的方法中，主要的创新可以在深度神经网络与神经常微分方程（ODE）方法的集成中看到。准确地说，我们的目标是学习一个神经网络，它提供（近似）数据的隐式表示，以及一个额外的神经网络，它对因变量的向量场进行建模。我们通过使用神经ODE约束来组合这两个网络。所提出的框架来学习描述矢量场的模型在噪声测量下是非常有效的。该方法可以处理因变量在同一时间网格中不可用的情况。此外，特定结构，例如，二阶相对于时间，可以很容易地纳入。我们证明了所提出的方法的有效性，学习模型使用从各种微分方程获得的数据，并提出了一个比较与神经ODE方法，不作任何特殊处理的噪声。
2022-05-19 cs.LG math.DS
Efficiently Solving High-Order and Nonlinear ODEs with Rational Fraction Polynomial: the Ratio Net
Dali University（大理大学）；Nancahng University（南长大学）
针对复杂高阶非线性常微分方程求解效率与效果不足的问题，提出受帕德逼近启发的新型神经网络架构ratio net用于构建试函数，实验证明其效率优于多项式及MLP类方法，为微分方程求解提供新方案。
2024-01-31 cs.LG cs.NA math.NA
Accelerating Neural ODEs Using Model Order Reduction
Tampere University（坦佩雷大学）；Faculty of Medicine and Health Technology, Tampere University（坦佩雷大学医学与健康技术学院）；Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）
针对 Neural ODE 推理慢的问题，提出将模型降阶的子空间投影与插值集成为网络层以压缩加速，并在图像和时序任务中验证其相对剪枝和 SVD 截断的优势。
2022-03-02 cs.LG math.DS
DevelopmentODE: Structured Neural ODEs for Early Brain Development Dynamics Across a Decade
DevelopmentODE提出结构化连续时间框架，在共享发育几何中组织群体与个体变异，通过年龄相关变形建模非平稳动态，在纵向fMRI预测中优于基线。
2026-09-29 cs.LG
Equivariant Manifold Neural ODEs and Differential Invariants
Umeå University（于默奥大学）；Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）
本文构建等变流形神经常微分方程的显式几何框架，基于微分不变量提出高效参数化方案，构造增广模型证明其通用逼近性，并将相关方法推广至任意几何的等变模型。
2024-10-10 cs.LG math.DS
Open source Differentiable ODE Solving Infrastructure
Deep Forest Sciences（深林科学公司）
本研究将GPU加速、支持多数值方法且完全可微分的ODE求解器集成到开源DeepChem框架中，通过多场景实验验证其高精度（均方误差$10^{-4}$至$10^{-6}$）与大型系统可扩展性。
2024-11-29 cs.LG
ODE-GS: Latent ODEs for Dynamic Scene Extrapolation with 3D Gaussian Splatting
Yale University（耶鲁大学）；TU Delft（代尔夫特理工大学）；Louisiana State University（路易斯安那州立大学）；RTX（RTX公司）
ODE-GS结合隐式ODE与3D高斯点划法，通过连续时间隐式动态建模实现动态3D场景的未来外推，优于传统时间条件变形网络方法，提升外推性能19.8%。
2026-04-26 cs.CV cs.GR cs.LG
Efficient Certified Training and Robustness Verification of Neural ODEs
ETH Zurich（苏黎世联邦理工学院）
神经常微分方程（NODE）是一种新型的神经体系结构，它是围绕具有学习动态的初始值问题构建的，这些问题在推理过程中得到解决。它们被认为在对抗性干扰方面具有更强的内在鲁棒性，但最近显示出易受强大的对抗攻击的影响，这突出表明需要正式的保障。然而，尽管在标准前馈架构的鲁棒性验证方面取得了重大进展，但高维节点的验证仍然是一个悬而未决的问题。在这项工作中，我们解决这一挑战，并提出GAINS，分析框架NODE结合三个关键的想法：（一）一类新的ODE求解器，基于可变的，但离散的时间步长，（二）求解器轨迹的有效图形表示，和（iii）一种新的抽象算法操作这个图形表示。总之，这些进步通过在维度$d$和积分时间$T$上将运行时间从难以处理的$O(\exp(d)+\exp(T))$减少到${O}(d+T^2 \log^2T)$，使得能够对高维节点进行有效的分析和认证训练。在对计算机视觉（MNIST和FMNIST）和时间序列预测（PHYSIO-NET）问题的广泛评估中，我们证明了我们认证的培训和验证方法的有效性。
2023-03-09 cs.AI cs.LG
Continuous-Time Cloth Dynamics with Physics-Informed Neural ODEs
University of Glasgow（格拉斯哥大学）
研究人员提出ContinuousCloth，一种嵌入弹簧-质量ODE的连续时间物理信息神经求解器，其在布料动力学模拟中兼具高精度与高效性，还能提升插值和参数估计任务的鲁棒性。
2026-10-14 cs.LG cs.RO
Graph Spring Neural ODEs for Link Sign Prediction
Pasteur Labs（巴斯德实验室）；University of Zurich（苏黎世大学）
针对符号图链接符号预测的可扩展性问题，提出基于弹簧力模拟的图消息传递层 GSN，并结合神经常微分方程优化嵌入动力学，在保持接近SOTA准确率的同时大幅提升节点生成速度。
2024-12-18 cs.CY cs.LG
SSTODE: Ocean-Atmosphere Physics-Informed Neural ODEs for Sea Surface Temperature Prediction
本文提出物理信息神经常微分方程框架SSTODE，通过推导平流-扩散ODE并引入能量交换积分器，实现可解释且物理一致的全球与区域海表温度预测，取得最先进性能。
2025-11-07 cs.AI cs.LG physics.ao-ph
Probabilistic Numeric SMC Sampling for Bayesian Nonlinear System Identification in Continuous Time
University of Sheffield（谢菲尔德大学）
本文提出一种基于概率数值SMC采样的方法，用于连续时间贝叶斯非线性系统辨识，通过将ODE求解与概率建模结合，在含噪数据下高效估计系统参数与状态，并量化数据和辨识过程的不确定性。
2024-04-23 cs.LG stat.ML
Approximation properties of neural ODEs
Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；University of Cambridge（剑桥大学）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）；University of Edinburgh（爱丁堡大学）
本文研究了神经微分方程在连续函数空间中的逼近性质，通过嵌入和投影操作构建浅层神经网络，并证明了其通用逼近性质及约束条件下的逼近性能。
2026-04-07 cs.LG cs.NA math.NA
MODE: Efficient Time Series Prediction with Mamba Enhanced by Low-Rank Neural ODEs
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；Department of Computing and Data Science, Nanyang Technological University（计算与数据科学系，南洋理工大学）；School of Information Engineering, Beijing Institute of Graphic Communication（信息工程学院，北京印刷学院）；Department of Computing and Data Science, The University of Hong Kong（计算与数据科学系，香港大学）；Yale university（耶鲁大学）；University of Cambridge（剑桥大学）；Nanyang technological university（南洋理工大学）；University of Hong Kong（香港大学）
MODE通过整合低秩神经ODEs与增强Mamba架构，实现了高效的时间序列预测，提升了准确性和可扩展性。
2026-01-11 cs.AI cs.LG
Semi-Implicit Neural Ordinary Differential Equations
Argonne National Laboratory（阿贡国家实验室）；University of Iowa（爱荷华大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对显式方法在刚性学习问题中的稳定性缺陷，提出利用动力学可分解结构的半隐式神经常微分方程，通过增强稳定性和高效线性求解，在图分类和复杂动力系统学习中优于现有方法，并能训练显式和全隐式方法不可行的难题。
2024-12-15 cs.AI cs.LG
Stability-Informed Initialization of Neural Ordinary Differential Equations
Linköping University（林雪平大学）
针对神经ODE训练，本文分析数值积分器稳定区域、步长与初始化的关系，提出稳定性信息引导的参数初始化方法，并在基准与工业任务中验证其效果。
2024-08-06 cs.CV cs.LG
AD-NODE: Adaptive Dynamics Learning with Neural ODEs for Mobile Robots Control
University of California, Berkeley（加州大学伯克利分校）；YaiYai Ltd and Aalto University（YaiYai公司和阿alto大学）
本文提出AD-NODE，一种基于神经ODE的自适应动力学模型，通过状态-动作历史推断环境，无需直接环境信息，在三个机器人平台上验证了其处理时空变化环境的能力。
2025-10-06 cs.LG cs.RO cs.SY
Second-Order Neural ODE Optimizer
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的二阶优化框架，用于训练新兴的深度连续时间模型，特别是神经常微分方程（Neural ODE）。由于他们的训练已经涉及昂贵的梯度计算，通过求解一个向后的ODE，推导出有效的二阶方法变得非常重要。尽管如此，受最近最优控制（OC）对训练深度网络的解释的启发，我们证明了一种特定的连续时间OC方法，称为差分编程，可以在相同的O（1）内存成本下推导高阶导数的后向ODE。我们进一步探讨了一个低秩表示的二阶导数，并表明，它导致有效的预处理更新与克罗内克为基础的因式分解的援助。由此产生的方法-命名为SNOpt -收敛速度远远快于挂钟时间的一阶基线，并且改进在各种应用中保持一致，例如图像分类，生成流和时间序列预测。我们的框架还支持直接架构优化，例如神经ODE的集成时间，具有二阶反馈策略，加强了OC视角作为分析深度学习优化的原则性工具。我们的代码可在https://github.com/ghliu/snopt上获得。
2021-11-06 cs.LG cs.SY eess.SY
Parsimonious Physics-Informed Random Projection Neural Networks for Initial-Value Problems of ODEs and index-1 DAEs
Scuola Superiore Meridionale（南方高等学院）；Università degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）
本研究提出一种基于随机投影的简约物理信息神经网络，用于求解线性隐式ODE初值问题与指数1DAE，通过变步长、延拓法等优化，在7个基准问题上验证了其在高刚性/陡梯度场景下的精度优势与可比的计算成本。
2022-03-11 cs.LG cs.NA math.DS
Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections
ESAT-STADIUS；KU Leuven（鲁汶大学）；Department of Computer Science（计算机科学系）；University of Toronto（多伦多大学）
神经常微分方程（Neural ODE）是从不规则采样的时间序列数据中学习动力系统的有效框架。这些模型提供了基础动力系统的连续时间潜在表示，其中可以使用任意时间点的新观测来更新动力系统的潜在表示。神经常微分方程的动力学函数的现有参数化限制了模型保留关于时间序列的全局信息的能力;具体地说，观测之间潜在过程的分段集成可能导致对先前观测数据点的动态模式的记忆丢失。我们提出PolyODE，神经ODE模型的潜在的连续时间过程作为一个投影到正交多项式的基础上。该公式强制执行长程记忆，并保留了底层动力系统的全局表示。我们的建设是支持有利的理论保证，并在一系列的实验中，我们证明，它优于以前的作品在重建过去和未来的数据，并在下游的预测任务。
2023-03-03 cs.AI cs.LG
Generalized Lagrangian Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出广义拉格朗日神经网络（GLNNs），通过基于广义拉格朗日方程建模，将LNNs扩展至非保守系统，在提升预测精度的同时保证拉格朗日表示，经一维和二维实验验证了其优越性。
2024-01-09 cs.LG cs.NA math.DS
The Vanishing Gradient Problem for Stiff Neural Differential Equations
Department of Chemical Engineering（化学工程系）；University of California, Santa Barbara（加州大学圣芭芭拉分校）；Department of Mechanical Engineering（机械工程系）；Department of Computer Science（计算机科学系）
本文证明刚性神经微分方程中梯度消失是A-稳定和L-稳定积分方案的普遍特征，并严格推导出稳定性函数导数最慢衰减率为O(|z|^{-1})，揭示了刚性训练的根本限制。
2025-08-02 cs.AI cs.LG cs.NA
