Encoding Involutory Invariances in Neural Networks
BITS-Pilani（比尔拉科学技术学院）；Harvard University（哈佛大学）
在某些情况下，神经网络是在服从基本对称性的数据上训练的。然而，预测并不完全尊重对称性，除非嵌入到网络结构中。在这项工作中，我们引入的架构，嵌入一种特殊的对称性，即不变性相对于对合线性/仿射变换奇偶校验$p=\pm 1$。我们提供严格的定理表明，建议的网络确保这样的不变性和一个特殊的普遍逼近定理的定性参数。我们的技术适应CNN任务的数据集具有固有的水平/垂直反射对称性的证明。大量的实验表明，该模型优于基线前馈和物理信息神经网络，同时同样尊重潜在的对称性。
2022-04-26 cs.AI cs.LG cs.NE
Kinetics-Informed Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
化学动力学和反应工程包括反应机理的解纠缠，反应性能的优化和化学过程的合理设计的唯象框架。在这里，我们利用前馈人工神经网络作为基函数来求解微分代数方程（DAE），描述微观动力学模型（MKM）约束的常微分方程（ODE）。我们提出了一个代数框架的数学描述和分类的反应网络，类型的基元反应，和化学物种。在此框架下，我们证明了神经网络和动力学模型参数的同时训练在一个正则化的多目标优化设置导致的逆问题的解决方案，通过从合成实验数据的动力学参数的估计。我们分析了一组场景，以建立动力学参数可以从瞬态动力学数据中检索的程度，并评估该方法相对于统计噪声的鲁棒性。这种逆动力学常微分方程的方法可以帮助阐明基于瞬态数据的反应机理。
2021-12-08 cs.AI cs.LG cs.NA
On The Verification of Neural ODEs with Stochastic Guarantees
我们表明，神经常微分方程，一类新兴的时间连续神经网络，可以通过解决一组全局优化问题进行验证。为此，我们引入随机拉格朗日可达性（SLR），一种基于抽象的技术，用于构建一个紧密的Reachtube（在给定的时间范围内的一组可达状态的过度近似），并提供随机保证的形式的置信区间的Reachtube边界。SLR本质上避免了臭名昭著的包装效应（过度近似误差的积累），通过执行局部优化步骤来扩展安全区域，而不是像确定性可达性方法那样重复向前传播它们。为了实现快速局部优化，我们引入了一种新的前向模式伴随灵敏度方法来计算梯度，而无需反向传播。最后，我们建立了SLR的渐近和非渐近收敛速度。
2020-12-16 cs.LG cs.NE cs.SY
Certified Robust Invariant Polytope Training in Neural Controlled ODEs
School of Electrical and Computer Engineering, Georgia Institute of Technology（电子与计算机工程学院，佐治亚理工学院）
提出框架训练具有认证鲁棒前向不变多面体的神经网络控制器，通过参数化提升系统并利用区间分析和神经网络验证器构造嵌入系统，基于符号约束实现可扩展训练。
2026-06-25 cs.LG cs.SY eess.SY
Time Dependence in Non-Autonomous Neural ODEs
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经常微分方程（ODE）是深度网络的优雅重新解释，其中连续时间可以取代深度的离散概念，ODE求解器执行前向传播，伴随方法实现高效，恒定内存反向传播。神经常微分方程只有在非自治时才是通用逼近器，也就是说，动力学显式依赖于时间。我们提出了一个新的家庭的神经常微分方程随时间变化的权重，时间依赖性是非参数的，和平滑的权重轨迹可以显式控制，以允许表达能力和效率之间的权衡。使用这种增强的表现力，我们在速度和表示能力方面都优于以前的神经ODE变体，最终在选择图像分类和视频预测任务上优于标准ResNet和CNN模型。
2020-05-06 cs.LG stat.ML
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
STEER: Simple Temporal Regularization For Neural ODEs
University of Oxford（牛津大学）；University of Bath（巴斯大学）
训练神经常微分方程（ODE）通常是计算昂贵的。事实上，计算这种模型的前向传递涉及求解在训练期间可能变得任意复杂的ODE。最近的工作表明，正则化的动力学的常微分方程可以部分缓解这一点。在本文中，我们提出了一种新的正则化技术：在训练过程中随机采样ODE的结束时间。所提出的正则化实现简单，开销可以忽略不计，并且在各种任务中都是有效的。此外，该技术是正交的其他几种方法提出正规化的动态常微分方程，因此可以与他们一起使用。我们通过规范化流，时间序列模型和图像识别的实验表明，所提出的正则化可以显着减少训练时间，甚至提高基线模型的性能。
2020-11-02 cs.LG stat.ML
Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion
Frankfurt School of Finance and Management（法兰克福金融管理学院）
本文提出用无梯度的 EKI 训练 neural ODEs，并通过含 Tikhonov 正则化的反问题处理系统辨识与最优控制，实验表明其效率和解质量可媲美梯度优化器。
2023-07-15 cs.LG cs.NA cs.SY
An Invariant Compiler for Neural ODEs in AI-Accelerated Scientific Simulation
Virginia Tech（弗吉尼亚理工大学）
本文提出不变编译器，通过构造性方法强制保持不变量，将不变量作为第一类类型，利用LLM驱动的编译流程将通用神经ODE规范转换为保持结构的架构，确保轨迹在连续时间内保持在允许的流形上。
2026-03-25 cs.LG
Neural ODEs Meet Concurrent Learning: Stable Online Learning with Lyapunov Guarantees
Louisiana State University（路易斯安那州立大学）
本文证明神经ODE伴随梯度具有Lyapunov分析所需结构，提出NODE-CL方法，在滑动窗口和存储数据上实现稳定在线学习，并在DeepMind控制套件上取得最优或接近最优的预测误差。
2026-09-29 cs.LG cs.SY eess.SY
ANODE: Unconditionally Accurate Memory-Efficient Gradients for Neural ODEs
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）
残差神经网络可以看作是单位时间步长的常微分方程的前向欧拉离散。最近，这促使研究人员探索其他离散化方法和训练基于ODE的网络。然而，神经ODE的一个重要挑战是它们在梯度反向传播期间的禁止存储成本。最近在[8]中提出的一种方法声称，通过在时间上向后求解前向ODE，可以将这种内存开销从O（LN_t）减少到O（L），其中N_t是时间步长的数量，其中L是网络的深度。然而，我们将证明这种方法可能会导致几个问题：（i）对于ReLU/非ReLU激活和一般卷积运算符，它可能在数值上不稳定，以及（ii）由于小时间步长的梯度不一致，所提出的优化然后离散化方法可能会导致发散训练。我们讨论了潜在的问题，并解决他们，我们提出了ANODE，一个基于伴随的神经ODE框架，避免了上述数值不稳定相关的问题，并提供无条件准确的梯度。ANODE的内存占用为O（L）+ O（N_t），计算量与逆向ODE求解相同。此外，我们讨论了一个内存效率的算法，可以进一步减少这种足迹与额外的计算成本的权衡。我们使用ResNet和SqueezeNext神经网络在Cifar-10/100数据集上显示了结果。
2019-07-01 cs.LG
Forward Invariance in Neural Network Controlled Systems
Georgia Institute of Technology（佐治亚理工学院）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文提出一种结合区间分析与单调系统理论的框架，用于验证和搜索神经网络控制器下非线性系统的前向不变集，并在8维领导者-跟随者系统上验证了其有效性。
2023-12-09 cs.LG cs.SY eess.SY
Neural ODEs with stochastic vector field mixtures
University of Bristol（布里斯托大学）
最近的研究表明，神经常微分方程模型不能解决基本的和看似简单的任务，即使是高容量的向量场表示。本文介绍了其他两个基本任务的基线方法不能解决的一套，并提出了混合物的随机向量场作为一个模型类，能够解决这些基本问题。动态矢量场的选择是至关重要的，我们的模型，我们的方法是传播组件的不确定性的集成间隔与技术的基础上向前滤波。我们还正式几个损失函数，鼓励理想的属性的轨迹路径，特别感兴趣的是那些直接鼓励较少的预期功能评估。在实验中，我们证明了我们的模型类能够捕捉人类行为的自然动态;一个众所周知的不稳定的应用领域。基线方法无法充分模拟这一问题。
2019-05-23 cs.LG stat.ML
Stochasticity in Neural ODEs: An Empirical Study
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）
神经网络的随机正则化（例如dropout）是深度学习中广泛使用的技术，可以实现更好的泛化。尽管它的成功，连续时间模型，如神经常微分方程（ODE），通常依赖于一个完全确定性的前馈操作。这项工作提供了随机正则化神经ODE在几个图像分类任务（CIFAR-10，CIFAR-100，TinyImageNet）上的实证研究。建立在随机微分方程（SDES）的形式主义，我们证明了神经网络是能够超越其确定性的对应。此外，我们表明，在训练过程中的数据增强提高了同一模型的确定性和随机版本的性能。然而，通过数据增强获得的改进完全消除了随机正则化的经验增益，使得神经常微分方程和神经正则化的性能差异可以忽略不计。
2020-06-26 cs.LG stat.ML
Efficient Certified Training and Robustness Verification of Neural ODEs
ETH Zurich（苏黎世联邦理工学院）
神经常微分方程（NODE）是一种新型的神经体系结构，它是围绕具有学习动态的初始值问题构建的，这些问题在推理过程中得到解决。它们被认为在对抗性干扰方面具有更强的内在鲁棒性，但最近显示出易受强大的对抗攻击的影响，这突出表明需要正式的保障。然而，尽管在标准前馈架构的鲁棒性验证方面取得了重大进展，但高维节点的验证仍然是一个悬而未决的问题。在这项工作中，我们解决这一挑战，并提出GAINS，分析框架NODE结合三个关键的想法：（一）一类新的ODE求解器，基于可变的，但离散的时间步长，（二）求解器轨迹的有效图形表示，和（iii）一种新的抽象算法操作这个图形表示。总之，这些进步通过在维度$d$和积分时间$T$上将运行时间从难以处理的$O(\exp(d)+\exp(T))$减少到${O}(d+T^2 \log^2T)$，使得能够对高维节点进行有效的分析和认证训练。在对计算机视觉（MNIST和FMNIST）和时间序列预测（PHYSIO-NET）问题的广泛评估中，我们证明了我们认证的培训和验证方法的有效性。
2023-03-09 cs.AI cs.LG
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University（上海科技大学）
本文通过同伦延拓建立DEQs与Neural ODEs的联系，提出新隐式模型HomoODE，兼具高精度与稳定性，并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs
Michigan State University（密歇根州立大学）
物理信息神经网络（PINN）由于其在求解正问题和逆问题方面的能力而受到广泛关注。为了训练与PINN相关联的深度神经网络，通常使用不同损失项的加权和来构造总损失函数，然后尝试将其最小化。这种方法在求解刚性方程时经常会出现问题，因为它不能考虑自适应增量。许多研究报告了PINN的性能不佳及其在使用严格常微分条件（ODE）的管理条件模拟严格化学活性问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统时失效的主要原因。在这里，我们解决这个问题，提出了一个减少弱形式的损失函数，这导致了一个新的PINN架构，进一步命名为减少PINN，利用降阶积分方法，使PINN解决刚性化学动力学。所提出的Reduced-PINN可以应用于各种涉及刚性动力学的反应扩散系统。为此，我们将初值问题（IVP）转化为等价的积分形式，并使用物理信息神经网络求解所得的积分方程。在我们导出的基于积分的优化过程中，只有一个项没有明确纳入与常微分方程（ODE）和初始条件（IC）相关的损失项。为了说明Reduced-PINN的功能，我们用它来模拟多个刚性/温和的二阶常微分方程。我们表明，减少PINN捕获的解决方案准确地为一个刚性标量常微分方程。我们还验证了减少PINN对刚性系统的线性常微分方程。
2022-08-23 cs.LG physics.chem-ph
Hierarchical Inference and Closure Learning via Adaptive Surrogates for ODEs and PDEs
本文提出了一种基于自适应代理的分层推断方法，用于联合估计多个物理系统参数并学习共享动态，通过双层优化策略结合FNO和PINNs进行闭合模型学习。
2026-03-04 cs.LG stat.ML
Emergence of Selective Invariance in Hierarchical Feed Forward Networks
Carnegie Mellon University（卡内基梅隆大学）
已经出现了许多理论，研究如何通过简单的计划，如最大值和平均池在分层网络中产生的不变性。理论和实证研究中对最大值/均值池的限制将注意力从更一般的生成不变性的方法转移到了讨厌的变换上。我们猜想，分层地建立选择不变性（即仔细选择变换的范围，使其在分层网络的每一层都是不变的）对于模式识别是重要的。我们利用一种称为自适应池的新型池化层来找到网络中的线性池化权重。这些具有学习池权重的网络在对象分类任务上的性能与最大/均值池网络相当。有趣的是，自适应池化可以收敛到均值池化（当用随机池化权重初始化时），找到更一般的线性池化方案，甚至决定根本不池化。我们通过在SVHN和ILSVRC 2012等大规模数据集上的对象分类实验来说明选择性不变的一般概念。
2017-01-30 cs.CV cs.LG
m-RevNet: Deep Reversible Neural Networks with Momentum
近年来，深度残差网络与一阶常微分方程之间的联系被揭示出来。在这项工作中，我们进一步将深度神经架构设计与二阶常微分方程连接起来，并提出了一种新的可逆神经网络，称为m-RevNet，其特征在于将动量更新插入残差块。可逆属性允许我们执行反向传递，而无需访问正向传递的激活值，大大减轻了训练期间的存储负担。此外，基于二阶常微分方程的理论基础赋予m-RevNet比vanilla残差网络更强的表示能力，这可能解释了其性能的提高。对于某些学习场景，我们通过分析和经验发现，我们的m-RevNet成功，而标准ResNet失败。在各种图像分类和语义分割基准上的综合实验证明了我们的m-RevNet在内存效率和识别性能方面优于ResNet。
2021-08-16 cs.CV cs.LG
Grounding Functional Similarity by Invariance-Aware Model Stitching
Ioannis Athanasiadis；Anmar Karmush；Michael Felsberg
针对标准模型拼接忽略不变性导致功能相似性误判的问题，提出前向-后向兼容性要求下的不变性感知模型拼接方法，揭示隐藏的功能差异。
2026-06-01 cs.LG
Imbedding Deep Neural Networks
University of Exeter（埃克塞特大学）；Etcembly Ltd.（Etcembly有限公司）
连续深度的神经网络，如神经常微分方程，已经改变了对剩余神经网络在非线性向量值最优控制问题方面的理解。常见的解决方案是使用伴随灵敏度方法来复制前向-后向传递优化问题。我们提出了一种新的方法，明确了网络的“深度”作为一个基本变量，从而减少了问题的系统，面向初始值的问题。这种新方法是基于“不变嵌入”的原则，我们证明了一个通用的解决方案，适用于所有非线性，向量值最优控制问题的运行和终端损失。我们的新架构提供了一个有形的工具，用于检查网络深度的理论-在很大程度上无法解释-属性。它们还构成了神经常微分方程的离散实现资源，可与嵌入式残差神经网络类相媲美。通过一系列的实验，我们展示了所提出的架构的监督学习和时间序列预测的竞争力的表现。
2022-02-15 cs.LG math.OC
Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression and Continuous Normalizing Flows
Emory University（埃默里大学）
我们比较了离散优化（Disc-Opt）和优化离散（Opt-Disc）方法，用于使用神经ODE的时间序列回归和连续归一化流（CNFs）。神经常微分方程是含有神经网络成分的常微分方程。训练神经常微分方程是一个最优控制问题，其中权值是控制，隐藏特征是状态。每次训练迭代都涉及向前求解一个ODE和向后求解另一个ODE，这可能需要大量的计算、时间和内存。在图像分类任务中比较Opt-Disc和Disc-Opt方法，Gholami等人（2019）认为，由于保证了梯度的准确性，Disc-Opt更可取。在本文中，我们将比较扩展到时间序列回归和CNFs的神经ODE。与分类不同，这些任务中有意义的模型还必须满足精确的最终时间输出之外的其他要求，例如，CNF的可逆性。通过我们的数值实验，我们证明了通过仔细的数值处理，Disc-Opt方法可以在大幅降低训练成本的情况下实现与Opt-Disc相似的推理性能。Disc-Opt在七个独立问题中的六个中降低了成本，培训时间减少了39%到97%，在一个案例中，Disc-Opt将培训从9天减少到不到1天。
2020-07-31 cs.LG stat.ML
Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；CNRS（法国国家科学研究中心）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
神经常微分方程（NODE）--使用神经网络对微分方程进行参数化--在从数据中学习未知连续时间动态系统的模型方面显示出巨大的前景。然而，节点的每个前向评估都需要对用于捕获系统动态的神经网络进行数值积分，这使得它们的训练过于昂贵。现有的工作依赖于现成的自适应步长数值积分方案，这往往需要大量的评估的基础动力学网络，以获得足够的精度训练。相比之下，我们加快了评估和培训的NODE提出了一个数据驱动的方法，他们的数值积分。所提出的泰勒-拉格朗日节点（TL-NODE）使用固定阶泰勒展开进行数值积分，同时还学习估计展开的近似误差。因此，所提出的方法实现了相同的精度，自适应步长计划，而只采用低阶泰勒展开，从而大大降低了计算成本，需要集成的NODE。一套数值实验，包括建模动态系统，图像分类，和密度估计，表明TL-NODE可以训练超过一个数量级的速度比国家的最先进的方法，没有任何损失的性能。
2022-12-29 cs.LG
A physics-informed neural network method for the approximation of slow invariant manifolds for the general class of stiff systems of ODEs
Modelling Engineering Risk and Complexity, Scuola Superiore Meridionale（工程风险与复杂性建模，南方高级学校）；Institute of Science and Technology for Energy and Sustainable Mobility, Consiglio Nazionale delle Ricerche（能源与可持续移动科技研究所，国家研究理事会）
本文提出一种物理信息神经网络方法，通过同时分解快慢分量并求解不变方程，以闭式逼近一般刚性ODE系统的慢不变流形，在多个基准问题上精度优于或媲美传统GSPT方法。
2024-03-18 cs.LG cs.NA math.DS
Foundation Inference Models for Ordinary Differential Equations
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）
提出FIM-ODE，一种预训练的基础推理模型，通过单次前向传播从含噪轨迹直接预测向量场，实现零样本性能匹配并超越ODEFormer，微调后优于现代神经和GP基线。
2026-06-08 cs.LG
On reaction network implementations of neural networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；California State University San Marcos（加州州立大学圣马科斯分校）
本文研究了利用确定性建模的化学反应网络实现（前馈）神经网络。我们建立了一个通用的数学框架，并证明了与神经网络的某些反应网络实现相关的常微分方程（ODE）具有理想的性质，包括（i）存在唯一的正不动点，这些不动点在模型的参数上是光滑的（对于梯度下降是必要的），以及（ii）快速收敛到不动点而不管初始条件（对于有效实现是必要的）。我们首先在神经网络和常微分方程组的不动点之间建立联系，然后用正确的常微分方程组构造反应网络。我们通过构建一个反应网络来演示该理论，该反应网络实现了具有平滑ReLU激活函数的神经网络，尽管我们还演示了如何将该构造推广到其他激活函数（每个函数都具有前面列出的理想属性）。由于本文中使用了多种类型的"网络"，我们还对反应网络和神经网络进行了仔细的介绍，以消除两种设置中重叠词汇的歧义，并清楚地突出每个网络属性的作用。
2021-03-09 cs.LG cs.NE math.DS
dNNsolve: an efficient NN-based PDE solver
DESY（德国电子同步加速器研究所）；University of Cambridge（剑桥大学）；DAMTP（应用数学与理论物理系）；CTC（理论宇宙学中心）
神经网络（NN）可以通过将问题重新定义为优化问题来求解常微分方程和偏微分方程（ODE和PDE）。要优化的目标函数是要求解的PDE和初始/边界条件的平方和。训练前馈NN以最小化在从定义问题的域中采样的一组配置点上评估的该损失函数。一个紧凑和光滑的解决方案，只依赖于训练的神经网络的权重，然后获得。这种方法通常被称为PINN，来自Physics Informed神经网络~ \cite{raissi2017physics_1, raissi2017physics_2}。尽管PINN方法在解决各种类型的偏微分方程方面取得了成功，但这种思想的实现能够以良好的精度解决一大类常微分方程和偏微分方程，而无需微调网络的超参数，目前还没有。在本文中，我们介绍了这个概念的一个新的实现-称为dNNsolve -利用双神经网络来解决常微分方程/偏微分方程。其中包括：i）正弦和S形激活函数，其提供更有效的基础来捕获解中的长期和周期性模式; ii）新设计的架构，其使得NN容易使用上述基函数来近似解。我们表明，dNNsolve是能够解决广泛的常微分方程/偏微分方程在1，2和3时空维度，而不需要超参数微调。
2021-03-15 astro-ph.CO astro-ph.GA cs.LG
Permutation Invariance of Deep Neural Networks with ReLUs
Chennai Mathematical Institute（钦奈数学研究所）；TCS Research（TCS研究院）
考虑一个深度神经网络（DNN），它被用来建议飞机必须转向的方向，以避免与入侵飞机发生可能的碰撞。非正式地说，如果当入侵者从左（右）方向接近时，它要求自己的船右转（左），那么这样的网络是行为良好的。考虑另一个网络，它接受四个输入--在一场桥牌游戏中发给玩家的牌--并决定哪支球队可以出价。不严格地说，如果你交换伙伴的手（北方和南方，或东方和西方），决定不会改变。然而，如果你把北牌换成东牌，情况就会改变。对于输入和输出层的某些排列，这种排列不变性是这些网络的正确性和鲁棒性的核心。本文提出了一种合理的、基于抽象的技术，以ReLU作为激活函数，在DNN中建立置换不变性。该技术计算可达状态的过度近似和安全状态的欠近似，并将此信息向前和向后跨层传播。我们的方法的新颖之处在于一个有用的领带类分析，我们介绍了前向传播，和一个可扩展的2-多面体下近似方法，逃避指数爆破的区域数量在向后传播。实验比较表明，我们的算法的效率验证置换不变性作为一个两个安全属性（使用FFNN验证两个副本的网络）。
2021-10-18 cs.LG cs.LO
Heavy Ball Neural Ordinary Differential Equations
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像研究所）；University of Utah（犹他大学）
利用经典动量加速梯度下降算法的连续极限，提出了重球神经元常微分方程（HBNODEs），以改进神经元常微分方程（NODEs）的训练和推理. HBNODE有两个属性，这意味着实际优势超过NODE：（i）HBNODE的伴随状态也满足HBNODE，加速向前和向后ODE求解器，从而显着减少函数评估（NFE）的数量并提高训练模型的实用性。(ii)HBNODE的频谱结构良好，能够有效地从复杂的序列数据中学习长期依赖关系。我们验证了HBNODE在基准任务上的优势，包括图像分类，学习复杂的动力学和顺序建模。与其他基于ODE的神经网络模型相比，我们的方法需要显著更少的前向和后向NFE，更准确，更有效地学习长期依赖关系。代码可在\url{https://github.com/hedixia/HeavyBallNODE}上获得。
2021-10-10 cs.AI cs.LG cs.NA
Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
使用无监督神经网络求解微分方程引起了人们的兴趣。现有的方法都是基于前馈网络的，而递归神经网络微分方程求解器还未见报道。我们介绍了一个无监督的储备池计算（RC），回声状态递归神经网络能够发现近似的解决方案，满足常微分方程（ODE）。我们提出了一种方法来计算时间导数的递归神经网络输出，而不使用反向传播。RC的内部权重是固定的，而只有线性输出层被训练，从而产生有效的训练。然而，RC性能强烈依赖于找到最佳超参数，这是一个计算昂贵的过程。我们使用贝叶斯优化，有效地发现最优集在高维超参数空间和数值表明，一组是强大的，可以用来解决不同的初始条件和时间范围的ODE。在无反向传播学习过程中，推导出求解一阶线性方程组的最优输出权的封闭形式公式。我们将RC方法扩展到求解非线性常微分方程组，使用一种由梯度下降和贝叶斯优化组成的混合优化方法。线性和非线性方程组的评价证明了RC ODE求解器的效率。
2021-08-25 cs.LG cs.NE physics.comp-ph
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是，整个架构是时不变的（在空间域中的平移不变）或静止的。我们认为，时间不变性可以降低执行多步预测的能力，其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet，它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出，我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Characteristics-Informed Neural Networks for Forward and Inverse Hyperbolic Problems
Texas A&M University（得克萨斯农工大学）
我们提出了特征信息神经网络（CINN），一个简单而有效的机器学习方法来解决正问题和反问题，涉及双曲偏微分方程。与物理信息神经网络（PINN）一样，CINN是一种具有通用近似能力的无网格机器学习求解器。与PINN不同，PINN通过多部分损失函数柔和地执行PDE，CINN通过添加特征层来在通用深度神经网络中编码PDE的特征。这个神经网络是用通常的MSE数据拟合回归损失来训练的，并且不需要配置点上的剩余损失。这导致更快的训练，并且可以避免多部分PINN损失函数的梯度下降优化的众所周知的病态。本文着重于线性输运现象，在这种情况下，它表明，如果特征常微分方程可以精确地解决，那么CINN的输出是一个精确的解的PDE，即使在初始化，防止发生非物理的解决方案。此外，CINN也可以用软惩罚约束来训练，例如，强制执行周期性或Neumman边界条件，而不会失去输出自动满足PDE的属性。我们还提出了一个架构，扩展CINN方法的线性双曲型偏微分方程系统。这里提出的所有CINN架构都可以使用标准深度学习软件从样本数据进行端到端训练。简单的平流方程，一个刚性的周期性平流方程，和声学问题，其中来自一个字段的数据被用来预测其他，看不见的字段，表明CINN是能够提高的基线PINN的准确性，在某些情况下，由一个相当大的幅度，同时也是显着更快的训练和避免非物理的解决方案。扩展到非线性偏微分方程也简要讨论。
2023-01-13 cs.LG physics.comp-ph
