Modeling Human Motion with Quaternion-based Neural Networks
ETH Zurich（苏黎世联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）；Google Brain（谷歌大脑）
先前关于预测或生成3D人体姿势序列的工作回归关节旋转或关节位置。前一种策略容易沿着运动链积累误差，以及使用欧拉角或指数映射作为参数化时的不连续性。后者需要重新投影到骨架约束上，以避免骨骼拉伸和无效配置。这项工作解决了这两个限制。QuaterNet用四元数表示旋转，我们的损失函数在骨架上执行正运动学，以惩罚绝对位置误差而不是角度误差。我们研究了递归和卷积架构，并对短期预测和长期生成进行了评估。对于后者，我们的方法被定性判断为现实的最近的神经策略，从图形文献。我们的实验比较四元数欧拉角以及指数映射，并表明，只有一个非常短的上下文是需要作出可靠的未来预测。最后，我们证明了Human3.6M的标准评估协议会产生高方差结果，并提出了一个简单的解决方案。
2019-10-26 cs.AI cs.CV cs.RO
Binary structured physics-informed neural networks for solving equations with rapidly changing solutions
School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science（计算机科学与工程学院，广东省计算科学重点实验室）
针对PINNs求解快速变化解时收敛慢、易陷局部极小且精度低的问题，本文提出采用BsNN的BsPINN框架，并在多类PDE实验中验证其更快收敛与更高精度。
2024-01-25 cs.AI cs.LG
A Neural Network Ensemble Approach to System Identification
Worcester Polytechnic Institute（伍斯特理工学院）；University of Bologna（博洛尼亚大学）；Smith College（史密斯学院）
提出了一种利用神经网络的集成学习未知控制方程的新算法。给定一个未知动力系统$\dot{x}(t)=f(t,x(t))$的解$x(t)$的样本，我们使用一个神经网络的集合来近似函数$f$。我们表示的方程的积分形式和使用欧拉方法预测的解决方案，在每个连续的时间步长，在每次迭代使用不同的神经网络作为$f$的先验。该过程产生M-1个时间无关网络，其中M是观察到$x(t)$的时间步长数。最后，我们通过神经网络插值得到一个单一的函数$f(t,x(t))$。与我们早期的工作不同，我们数值计算数据的导数，并将其用作Lipschitz正则化神经网络中的目标来近似$f$，我们的新方法避免了数值微分，这在噪声存在时是不稳定的。我们测试了新算法的多个例子，在数据中有和没有噪音。我们的经验表明，通过在我们的损失函数中添加Lipschitz正则化项，控制方程的泛化和恢复得到改善，并且该方法改善了我们以前的方法，特别是在存在噪声的情况下，当数值微分提供低质量的目标数据时。最后，我们将我们的结果与Raissi等人提出的方法进行了比较。arXiv：1801.01236（2018）和SINDy。
2021-10-15 cs.AI cs.LG cs.NA
Adaptive Neural Network-Based Approximation to Accelerate Eulerian Fluid Simulation
University of California, Merced（加州大学默塞德分校）
欧拉流体模拟是高性能计算的一个重要应用。神经网络已被应用于流体模拟的加速，但现有的神经网络加速方法缺乏灵活性和通用性。在本文中，我们解决了上述限制，旨在提高神经网络在欧拉流体模拟的适用性。我们介绍Smartfluidnet，一个自动化模型生成和应用程序的框架。给定一个现有的神经网络作为输入，Smartfluidnet在仿真前生成多个神经网络，以满足执行时间和仿真质量的要求。在仿真过程中，Smartfluidnet动态切换神经网络，尽最大努力达到用户对仿真质量的要求。通过对20，480个输入问题的评估，我们发现Smartfluidnet与最先进的神经网络模型和NVIDIA Titan X Pascal GPU上的原始流体模拟相比，分别实现了1.46倍和590倍的加速，同时提供了比最先进模型更好的模拟质量。
2020-08-26 cs.DC cs.LG physics.comp-ph
Mesh-free Eulerian Physics-Informed Neural Networks
University of Basel（巴塞尔大学）
物理信息神经网络（PINN）最近已经成为将偏微分方程（PDE）形式的先验物理知识包括到神经网络中的原则性方式。虽然PINN通常被视为无网格，但当前的方法仍然依赖于有界区域内的配置点，即使在具有空间稀疏信号的设置中也是如此。此外，如果边界是未知的，这样一个区域的选择是困难的，往往会导致大部分的搭配点被选择在低相关性的区域。为了解决这个严重的缺点，目前的方法，我们提出了一个无网格和自适应的方法称为粒子密度PINN（pdPINN），这是受流体动力学的微观观点。该方法基于欧拉方程，与经典的无网格法不同，不需要引入拉格朗日修正。我们建议直接从粒子位置的分布中采样，消除了引入边界的需要，同时自适应地关注最相关的区域。这是通过将非负物理量（如密度或温度）解释为非归一化概率分布来实现的，我们使用动态蒙特卡罗方法对其进行采样。所提出的方法导致更高的样本效率和改善性能的PINN。基于连续性方程、Fokker-Planck方程和热方程的各种实验证明了这些优点。
2022-10-01 cs.LG stat.ML
A-PINN: Auxiliary Physics-informed Neural Networks for Structural Vibration Analysis in Continuous Euler-Bernoulli Beam
Hatter Department of Marine Technologies, University of Haifa（海洋技术系，海法大学）
A-PINN通过改进的自适应优化器提升结构振动分析的预测精度和稳定性，实验结果表明模型性能比基准提高至少40%。
2025-12-30 cs.AI cs.LG math.DS
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations
Johns Hopkins Applied Physics Laboratory（约翰斯·霍普金斯应用物理实验室）
我们提出了一种方法来解决偏微分方程（PDE）使用一组神经网络，我们称之为神经基函数（NBF）。该NBF框架是POD DeepONet算子学习方法的一种新变体，其中我们将一组神经网络回归到降阶本征正交分解（POD）基础上。然后，这些网络与分支网络结合使用，该分支网络摄取规定的PDE的参数以计算PDE的降阶近似。这种方法适用于高速流动条件下（马赫数10-30）的稳态欧拉方程，其中我们考虑了圆柱体周围的二维流动，该流动产生了激波条件。然后，我们使用NBF预测作为高保真计算流体动力学（CFD）求解器（CFD++）的初始条件，以显示更快的收敛。培训和实施该算法的经验教训也将提出。
2022-08-02 cs.LG cs.NA math.NA
Neural Vortex Method: from Finite Lagrangian Particles to Infinite Dimensional Eulerian Dynamics
Zhejiang University（浙江大学）；Dartmouth College（达特茅斯学院）
提出神经涡方法（NVM），通过涡表示网络和涡相互作用网络结合泊松求解器，从有限拉格朗日粒子学习无限维动力系统，实现高精度、低成本的流体动力学预测。
2023-09-13 cs.LG physics.comp-ph
Learning stochastic dynamical systems with neural networks mimicking the Euler-Maruyama scheme
IMT Atlantique（大西洋高等矿业电信学校）；UMR CNRS Lab-STICC（法国国家科学研究中心STICC联合实验室）
随机微分方程是动力系统最重要的表示形式之一。他们是显着的能力，包括一个确定性的组成部分的系统和随机一个代表随机未知因素。然而，这使得学习SDES比学习常微分方程（ODE）更具挑战性。在本文中，我们提出了一种数据驱动的方法，其中的参数的神经网络表示的神经网络与内置的神经网络集成计划。损失函数基于最大似然准则，在一阶马尔可夫高斯假设下。该算法被应用到几何布朗运动和随机版本的Lorenz-63模型。由于存在依赖于状态的随机分量，后者特别难以处理。通过不同的仿真结果验证了算法的性能。此外，与用于非线性漂移估计的参考梯度匹配方法和基于神经网络的方法进行了比较，该方法不考虑随机项。
2021-05-18 cs.LG math.DS
Training Stiff Neural Ordinary Differential Equations with Explicit Exponential Integration Methods
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文针对神经 ODE 难以学习刚性系统且隐式方法成本高的问题，评估显式指数积分方法，发现 IF Euler 在稳定性、效率及大步长训练刚性 Van der Pol 振子上表现更优。
2024-12-02 cs.AI cs.LG cs.NA
Asymptotic self-similar blow-up profile for three-dimensional axisymmetric Euler equations using neural networks
Princeton University（普林斯顿大学）；Brown University（布朗大学）；Universitat de Barcelona（巴塞罗那大学）；Centre de Recerca Matemàtica（数学研究中心）；Institute for Advanced Study（高等研究院）
本文用物理信息神经网络首次发现二维Boussinesq与三维Euler方程的光滑自相似爆破剖面，并构造了Córdoba-Córdoba-Fontelos方程的首个不稳定自相似解，为计算机辅助爆破证明奠定基础。
2023-05-07 cs.LG math.AP physics.flu-dyn
Solving Euler equations with Multiple Discontinuities via Separation-Transfer Physics-Informed Neural Networks
Graduate School, China Academy of Engineering Physics（中国工程物理研究院研究生院）；China Academy of Engineering Physics（中国工程物理研究院）；Zhejiang Institute of Modern Physics（浙江现代物理研究所）；School of Physics, Zhejiang University（浙江大学物理学院）；Beijing Computational Science Research Center（北京计算科学研究院）
针对PINNs求解含多重间断流体问题的困难，提出ST-PINNs，通过从强到弱依次解析间断并利用迁移学习，显著提升精度，并首次应用于二维非定常平面激波折射问题。
2025-05-26 cs.LG physics.flu-dyn
Unsupervised Protein-Ligand Binding Energy Prediction via Neural Euler's Rotation Equation
Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）
针对标记数据有限的药物结合预测难题，提出基于SE(3)去噪得分匹配的无监督框架，通过NERE等变网络建模原子作用力与扭矩预测旋转，在基准上超越无监督基线并匹配抗体场景下的监督方法。
2023-12-12 cs.LG q-bio.BM
CNN-based Euler's Elastica Inpainting with Deep Energy and Deep Image Prior
Saarland University（萨尔大学）
欧拉弹性体构成了一个吸引人的变分图像修补模型。它使涉及总变差以及水平线曲率的能量最小化。这些组件是透明的，使其对形状完成任务具有吸引力。然而，它的梯度流是一个奇异的，各向异性的，非线性的四阶偏微分方程，这是数值上的挑战：很难找到有效的算法，提供尖锐的边缘和良好的旋转不变性。作为补救措施，我们设计了第一个神经算法，模拟用欧拉的Elastica修复。我们使用深层能量的概念，它采用变分能量作为神经网络损失。此外，我们将其与深度图像先验配对，其中网络架构本身作为先验。这通过使优化轨迹更接近所需的解决方案来产生更好的图像修复。我们的研究结果是定性等同于国家的最先进的算法，基于弹性的形状完成。它们结合了良好的旋转不变性和尖锐的边缘。此外，我们受益于神经框架内的高效率和轻松的并行化。我们的神经弹性方法只需要3x3中央差异支架。因此，它比其他性能良好的算法简单得多。最后但并非最不重要的是，它是无监督的，因为它不需要地面实况训练数据。
2023-03-14 cs.CV cs.LG eess.IV
Burgers' pinns with implicit euler transfer learning
UFRGS-IME（南里奥格兰德联邦大学数学与统计研究所）
本文提出结合隐式Euler迁移学习的PINNs方法求解Burgers方程，通过ANN序列逐步学习时间离散解，在保持相似精度的同时减小网络架构并降低计算成本。
2023-10-23 cs.LG cs.NA math.NA
Equi-Euler GraphNet: An Equivariant, Temporal-Dynamics Informed Graph Neural Network for Dual Force and Trajectory Prediction in Multi-Body Systems
EPFL, Intelligent Maintenance and Operations Systems（苏黎世联邦理工学院，智能维护与操作系统）；SKF, Research and Technology Development（SKF，研究与技术开发）
本文提出物理信息图神经网络Equi-Euler GraphNet，通过等变消息传递与欧拉积分时间更新机制，实现多体系统内部力与轨迹的联合精准预测，泛化性强、推理效率高，可支撑工业数字孪生应用。
2025-04-25 cs.CE cs.LG physics.comp-ph
Differential Euler: Designing a Neural Network approximator to solve the Chaotic Three Body Problem
Ashoka University（阿育王大学）
三体问题是n体问题的一个特例，其中一个需要三个点质量的初始位置和速度，并试图根据牛顿运动定律和万有引力来预测它们随时间的运动。虽然已经找到了特殊情况下的解析解，但一般问题仍未解决;存在的解决方案是不切实际的。幸运的是，对于许多应用程序，我们可能不需要完全解决问题，即，对于某些时间步长以合理的精度进行预测可能就足够了。最近，Breen等人试图用一个简单的神经网络来近似求解三体问题。虽然他们的方法似乎在减少计算开销方面取得了一些成功，但他们的模型非常有限，适用于专门的2D情况。作者没有解释他们在实验设计中所做的关键决定，也没有详细介绍他们的模型或架构，也没有公布他们的代码。此外，该模型不能很好地推广到看不见的情况。在本文中，我们提出了一个详细的实验装置，以确定使用神经网络来解决三体问题的可行性，达到一定数量的时间步长。我们在数据集大小上建立了一个基准，并设置了一个准确度阈值来衡量我们的结果在实际应用中的可行性。然后，我们使用标准数值积分器生成的数据集，根据列出的NN类构建我们的模型。我们逐渐增加数据集的复杂性，以确定NN是否可以很好地学习混沌三体问题的表示，以取代现实生活中的数值积分器。
2021-01-21 cs.LG
HeunNet: Extending ResNet using Heun's Methods
Maynooth University（梅努斯大学）
在深度神经网络的ResNet（残差网络）架构和ODE的Euler求解器之间存在类比。每一层执行的变换类似于求解常微分方程中的欧拉步骤。我们考虑Heun方法，它涉及单个预测-校正循环，并完成类比，构建ResNet的预测-校正变体，我们称之为HeunNet。正如Heun的方法比Euler的方法更准确一样，实验表明，与香草递归神经网络和其他ResNet变体相比，HeunNet以较低的计算（训练和测试）时间实现了高准确性。
2021-05-14 cs.LG cs.NE
Topology meets Machine Learning: An Introduction using the Euler Characteristic Transform
Department of Computer Science, University of Fribourg, Switzerland（计算机科学系，弗里堡大学，瑞士）
本文介绍通过欧拉特征变换将拓扑概念应用于机器学习，提升点云、图和网格分析的模型效率，并展望未来拓扑在神经网络学习和分析中的应用。
2025-03-19 cs.LG math.AT
Inference for stochastic differential equations driven by weighted sub-fractional Brownian motion using neural networks and the Euler approximation
Institute of Mathematics and Statistics, University of São Paulo（圣保罗大学数学与统计研究所）
本文针对加权次分数布朗运动驱动的随机微分方程，提出基于欧拉近似和神经网络/径向基的漂移、扩散及噪声协方差估计方法，并通过二十种系数设置下的模拟比较验证其有效性。
2026-10-02 cs.LG stat.ML
On the Continuity of Rotation Representations in Neural Networks
University of Southern California（南加州大学）；Adobe Research（奥多比研究院）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
在神经网络中，通常希望使用同一空间的各种表示。例如，3D旋转可以用四元数或欧拉角表示。在本文中，我们提出了连续表示的定义，这有助于训练深度神经网络。我们将其与同胚和嵌入等拓扑概念联系起来。然后，我们研究什么是连续和不连续的表示为2D，3D和n维旋转。我们证明，对于3D旋转，所有的表示是不连续的真正的欧几里得空间的四维或更少的。因此，广泛使用的表示，如四元数和欧拉角是不连续的，神经网络难以学习。我们证明了3D旋转在5D和6D中具有连续的表示，这更适合于学习。我们还提出了连续表示的一般情况下的n维旋转群SO（n）。虽然我们的主要重点是旋转，我们也表明，我们的建设适用于其他群体，如正交组和相似变换。最后，我们提出的实证结果表明，我们的连续旋转表示优于不连续的几个实际问题，在图形和视觉，包括一个简单的自动编码器的健全性测试，旋转估计的3D点云，和逆运动学求解器的3D人体姿势。
2020-06-08 cs.LG stat.ML
Lagrangian neural ODEs: Measuring the existence of a Lagrangian with Helmholtz metrics
Interdisciplinary Center for Scientific Computing（交叉科学计算中心）；Heidelberg University（海德堡大学）；Astronomisches Rechen-Institut der Universität Heidelberg（海德堡大学天文计算研究所）
针对神经ODE解未必满足欧拉-拉格朗日方程的问题，提出亥姆霍兹度量量化ODE与物理解的相似度，结合二阶神经ODE形成拉格朗日神经ODE，可直接学习欧拉-拉格朗日方程且无额外推理成本，仅用位置数据能区分相关系统并改进解。
2025-11-10 cs.LG math.DS physics.comp-ph
Newtonian and Lagrangian Neural Networks: A Comparison Towards Efficient Inverse Dynamics Identification
Laboratory of Machine Tools（机械工程加工实验室）；Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany（机械工程数据科学研究所，亚琛工业大学，德国）
本研究比较牛顿与拉格朗日神经网络在工业机器人逆动力学辨识中的表现，发现估计电机扭矩时牛顿网络更有效，因拉格朗日网络未显式建模耗散扭矩。
2025-06-22 cs.LG cs.RO
Piecewise-constant Neural ODEs
Oregon State University（俄勒冈州立大学）
神经网络是一种流行的工具，用于建模连续数据，但他们通常不把时间作为一个连续变量。神经常微分方程代表了一个重要的例外：它们用神经网络参数化隐藏状态的时间导数，然后在任意时间内积分。但是这些具有任意曲率的参数化可能难以集成，从而难以训练和评估。在本文中，我们建议对神经常微分方程进行分段常数近似来缓解这些问题。我们的模型可以通过欧拉积分进行精确积分，并且可以比可比的RNN和ODE-RNN模型少3-20倍的步骤生成自回归样本。我们评估我们的模型上的几个合成物理任务和规划任务的灵感来自台球游戏。我们发现它与基线方法的性能相匹配，同时需要更少的时间进行训练和评估。
2021-06-11 cs.AI cs.LG
Pressure Predictions of Turbine Blades with Deep Learning
Peking University（北京大学）
深度学习已被用于许多领域，例如图像中的特征检测和围棋游戏。本文提出了一项研究，试图使用深度学习方法来预测性能。建立并训练了三种不同的深度神经网络，用于涡轮翼型压力分布的预测。首先使用基于欧拉方程的方法预测涡轮翼型库的性能，然后将其用于训练和验证深度学习神经网络。结果表明，四层卷积神经网络和两层全连接神经网络的网络提供了最好的预测。对于最佳神经网络结构，99%以上位置的压力预测优于3%，90%位置的压力预测优于1%。
2018-06-12 cs.LG stat.ML
Level-Crossing Density as a Mesh-Free High-Frequency Auxiliary Loss for Implicit Neural Representations
Independent Researcher（独立研究者）
研究利用自动微分推导神经场闵可夫斯基泛函的平滑蒙特卡罗估计器，建立设计规则，对比不同方法在二维和三维的表现，发现三维存在梯度下降隐藏拓扑噪声问题，发布相关内容，展示其在高频辅助损失方面的应用及优势。
2026-07-08 cs.LG
Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
人工神经网络（ANN）通常是高度非线性的系统，其经由其相关联的非凸损失函数的优化而被精细地调谐。在许多情况下，任何这样的损失函数的梯度具有超线性增长，使得基于欧拉数值方案的广泛接受的（随机）梯度下降方法的使用成为问题。我们提供了一个新的学习算法的基础上适当构造的流行的随机梯度Langevin动力学（SGLD），这是所谓的驯服的未调整的随机Langevin算法（TUSLA）的变体。我们还提供了一个非渐近分析的新算法的收敛特性的背景下，非凸学习问题的使用人工神经网络。因此，我们提供有限的时间保证TUSLA找到经验和人口风险的近似最小化。TUSLA算法的根源是基于\citet{tamed-euler, SabanisAoAP}中开发的超线性系数扩散过程的驯服技术和\citet{tula}中的MCMC算法。数值实验证实了理论研究结果，并说明需要使用的新算法相比，香草SGLD的框架内的人工神经网络。
2023-01-15 cs.LG math.OC math.PR
Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations
Iowa State University（爱荷华州立大学）
在本文中，我们考虑利用残差神经网络（ResNet）解决常微分方程。采用随机梯度下降法得到网络权值和偏差的最优参数集。采用前向Euler、Runge-Kutta 2和Runge-Kutta 4有限差分法生成三组训练ResNet的目标，并进行目标学习。训练好的ResNet的行为就像它对应的一步有限差分法。特别是，我们进行了（1）根据隐藏层和每层神经元的数量进行架构研究，以找到最佳的ResNet结构;（2）目标研究，以验证ResNet求解器的行为与其有限差分法对应物一样准确;（3）解决方案轨迹模拟。即使ResNet求解器看起来和实现方式类似于前向欧拉方案，其精度也可以与任何单步法一样高。一系列的数值例子来证明的ResNet求解器的性能。
2021-01-10 cs.LG cs.NA math.DS
ANODEV2: A Coupled Neural ODE Evolution Framework
University of California at Berkeley（加州大学伯克利分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；ICSI（国际计算机科学研究所）
已经观察到，残差网络可以被视为常微分方程（ODE）的显式欧拉离散化。这一观察激发了所谓的神经常微分方程的引入，它允许更一般的离散化方案与自适应时间步进。在这里，我们提出了ANODEV 2，这是一个扩展的这种方法，也允许演变的神经网络参数，在一个耦合的ODE为基础的配方。前面介绍的神经ODE方法实际上是这个新的更一般框架的特例。我们提出了ANODEV 2的公式，推导出最优性条件，并在PyTorch中实现了该框架的耦合反应-扩散-平流版本。我们使用几种不同配置的ANODEV 2，在CIFAR-10上的多个模型上测试它们，给出了实证结果。我们报告的结果表明，这种耦合的基于ODE的框架确实是可训练的，并且与基线模型以及最近提出的神经ODE方法相比，它实现了更高的准确性。
2019-06-10 cs.LG stat.ML
Physics-informed neural networks for solving forward and inverse problems in complex beam systems
Delft University of Technology（代尔夫特理工大学）
本文提出利用物理信息神经网络求解基于欧拉-伯努利和铁木辛柯理论的单梁及温克勒地基连接双梁系统的正反问题，正问题误差低于1e-3%，反问题在含噪声数据下仍能稳健识别未知参数和外力。
2023-08-29 cs.LG cs.NA math.NA
Finite Difference Neural Networks: Fast Prediction of Partial Differential Equations
Lehigh University（理海大学）；Thornton Tomasetti（桑顿·托马塞蒂公司）
发现复杂系统的潜在行为是许多科学和工程学科的重要课题。在本文中，我们提出了一种新的神经网络框架，有限差分神经网络（FDNet），学习偏微分方程的数据。具体来说，我们提出的有限差分启发网络的目的是学习基本的偏微分方程从轨迹数据，并迭代估计未来的动力学行为，只使用几个可训练的参数。我们说明了我们的框架上的热方程的性能（预测能力），有和没有噪音和/或强迫，并比较我们的结果向前欧拉方法。此外，我们使用Hessian-Free信赖域方法训练网络的优点。
2020-06-02 cs.LG math.DS stat.ML
Curvature-Aware Optimization for High-Accuracy Physics-Informed Neural Networks
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；Division of Applied Mathematics, Brown University（布朗大学应用数学部）；Center for Biomedical Engineering, Brown University（布朗大学生物医学工程中心）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出曲率感知优化策略，加速物理信息神经网络求解偏微分方程和常微分方程，采用自然梯度、自缩放BFGS和Broyden优化器，并与高阶数值方法对比验证。
2026-04-06 cs.AI cs.LG cs.NA
On the Connection Between Riemann Hypothesis and a Special Class of Neural Networks
UC Berkeley（加州大学伯克利分校）；Simons Institute（西蒙斯研究所）
本文重新审视并扩展 Nyman-Beurling 判据，将黎曼假设与一类特殊神经网络的最小化问题联系起来，并面向非专业读者提供黎曼假设的入门介绍。
2023-09-17 cs.LG stat.ML
Transfer learning for improved generalizability in causal physics-informed neural networks for beam simulations
Delft University of Technology（代尔夫特理工大学）
本文提出在因果物理信息神经网络中引入迁移学习，利用相似问题解加速收敛并提升泛化能力，在Euler-Bernoulli梁和Timoshenko梁仿真中优于现有物理信息方法。
2023-11-01 cs.LG
Learning Euler Factors of Elliptic Curves
Howard University（霍华德大学）；Meta；Ecole des Ponts（巴黎路桥学院）；Massachusetts Institute of Technology（麻省理工学院）；Temple University（天普大学）；University of Connecticut（康涅狄格大学）；Korea Institute for Advanced Study（韩国高等研究院）；ICERM（数学及相关领域计算与实验研究所）；University of Sydney（悉尼大学）；Princeton University（普林斯顿大学）
该研究用 transformer 和前馈神经网络从已知 Frobenius 迹预测椭圆曲线的目标迹及其模 2 信息，证明模型可在缺乏显式数论工具时取得高准确率并获得部分可解释性。
2025-02-14 cs.LG math.NT
A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学学院）
本研究针对可压缩欧拉方程提出模型约束间断伽辽金网络（DGNet）方法，通过时间积分、模型约束、GNN启发架构、输入归一化和数据随机化等策略，实现分布外泛化，经1D和2D数值实验验证其有效性、稳定性与泛化性。
2024-12-04 cs.LG stat.CO stat.ML
Vector Field Neural Networks
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）；Instituto Tércio Pacitti de Aplicações e Pesquisas Computacionais（特尔西奥·帕奇蒂计算机应用与研究所）
这项工作开始于建立一个数学形式化之间的不同几何解释的神经网络，提供了第一个贡献。从这个出发点，探索一种新的解释，使用隐式矢量场的想法移动数据作为粒子流。在此基础上提出了一种新的结构--向量场神经网络（VFNN），使向量场变得显式。一个具体的实施VFNN使用欧拉的方法来解决常微分方程（ODE）和高斯向量场进行测试。第一个实验呈现视觉结果，重新标记的新架构的重要功能，并提供另一个贡献与几何解释的正则化模型参数。然后，针对不同的超参数和输入对新架构进行评估，目的是评估对模型性能、计算时间和复杂度的影响。VFNN模型与已知的基本模型朴素贝叶斯，前馈神经网络，和支持向量机（SVM）进行比较，显示出可比的，或更好的，不同的数据集的结果。最后，本文的结论为模型的改进提出了新的问题和思路，可用于提高模型的性能。
2019-05-16 cs.LG stat.ML
Path homologies of deep feedforward networks
Stanford University（斯坦福大学）；University of Minnesota（明尼苏达大学）；BAE Systems FAST Labs（英国宇航系统快速实验室）；UC Berkeley（加州大学伯克利分校）
我们提供了两种类型的全连接，前馈神经网络架构的有向同源性的表征。神经网络结构的有向同源结构的这些精确特征是同类中的第一个。我们表明，深度网络的有向标志同调简化为计算底层无向图的单纯同调，这是由欧拉示性数计算明确给出的。我们还表明，这些网络的路径同源性是不平凡的，在更高的维度，并依赖于网络内的层的数量和大小。这些结果为研究神经网络结构与其参数所隐含的实现结构之间的同源性差异提供了基础。
2019-10-16 cs.LG math.AT stat.ML
Revisiting the Continuity of Rotation Representations in Neural Networks
University of Southern California（南加州大学）；Pinscreen, Inc.（Pinscreen公司）
在本文中，我们提供了一些仔细的分析，在以前的作品中遇到的欧拉角和单位四元数的某些病态行为的旋转表示在神经网络。特别是，我们表明，对于某些问题，这两种表示将可证明产生完全错误的结果，对于某些输入，这种行为是固有的问题本身的拓扑属性，而不是由不合适的网络架构或训练过程。我们进一步表明，以前提出的嵌入到高维欧几里得空间的$\mathrm{SO}(3)$，旨在固定这种行为是不普遍有效的，由于可能的对称性，在输入引起的输入空间的拓扑结构的变化。我们提出了一个合奏技巧作为替代解决方案。
2020-06-12 cs.LG math.OC
Learning differential equations from data
微分方程用于模拟物理、生物、化学和工程等学科中的问题。近年来，由于数据的丰富性，人们积极寻找数据驱动的方法来从数据中学习微分方程模型。然而，许多数值方法往往达不到。神经网络和深度学习的进步促使人们转向数据驱动的深度学习方法，从数据中学习微分方程。在这项工作中，我们提出了一个基于前向欧拉的神经网络模型，并测试其性能通过学习ODE，如从数据使用不同数量的隐藏层和不同的神经网络宽度的FitzHugh-Nagumo方程。
2022-05-23 cs.LG math.DS
Using neural networks to solve the 2D Poisson equation for electric field computation in plasma fluid simulations
CERFACS（欧洲科学计算研究与高级培训中心）；ISAE-SUPAERO（法国国立高等航空航天学院）；Université de Toulouse（图卢兹大学）；SAFRAN AIRCRAFT ENGINES（赛峰飞机发动机公司）
在霍尔效应推力器和流光放电等离子体流体模拟中，泊松方程是获得自洽解的关键，因为泊松解是非定常非线性流动方程的源项。作为第一步，使用深度神经网络求解具有零Dirichlet边界条件的2D泊松方程，使用多尺度架构进行研究，根据分支数，深度和感受野进行定义。一个关键的目标是更好地理解神经网络如何学习泊松解，并提供指导方针，以实现最佳的网络配置，特别是当耦合到时变欧拉方程与等离子体源项。在这里，感受场被发现是正确捕捉场的大拓扑结构的关键。多架构，损失和超参数的调查提供了一个最佳的网络，以准确地解决稳定的泊松问题。最佳的神经网络求解器，称为PlasmaNet的性能，然后监测网格上的节点数量不断增加，并与经典的并行线性求解器。接下来，在电子等离子体振荡测试案例的背景下，PlasmaNet与非稳态欧拉等离子体流体方程求解器耦合。在这个随时间演化的问题中，物理损失是产生稳定模拟所必需的。PlasmaNet最后测试一个更复杂的情况下，涉及化学和平流放电传播。在前面的章节中建立的指导原则被应用于构建CNN，以在具有不同边界条件的柱坐标中求解相同的泊松方程。结果显示良好的CNN预测，并铺平了道路，新的计算策略，使用现代GPU为基础的硬件来预测涉及泊松方程的非定常问题。
2021-11-17 cs.LG physics.plasm-ph
Deep Diffeomorphic Normalizing Flows
Microsoft Research AI（微软研究院人工智能部门）；University of Pittsburgh（匹兹堡大学）
标准化流（NF）通过估计应用于从已知分布中提取的样本的可逆变换来对一般概率密度进行建模。我们介绍了一种新的NF类型，称为深度同构规范化流（DDNF）。非纯流是一个可逆函数，其中函数及其逆函数都是光滑的。我们使用一个常微分方程（ODE）由一个随时间变化的光滑向量场来构造流。我们使用一个神经网络参数化的光滑向量场和一个递归神经网络（RNN）的ODE近似的解决方案。RNN中的每个单元都是实现一个欧拉积分步骤的残差网络。我们的流的架构，使高效的似然评估，简单的流反演，并在高度灵活的密度估计的结果。端到端训练的DDNF在一系列密度估计和变分推断任务上使用最先进的方法实现了有竞争力的结果。最后，我们的方法带来了黎曼几何的概念，我们相信，可以打开一个新的研究方向神经密度估计。
2018-11-22 cs.LG stat.ML
Analyzing the Noise Robustness of Deep Neural Networks
Tsinghua University（清华大学）
深度神经网络（DNN）容易受到恶意生成的对抗性示例的攻击。这些示例是通过进行不可感知的扰动而故意设计的，并且经常误导DNN做出错误的预测。这种现象意味着将DNN应用于安全关键型应用（如无人驾驶汽车）存在重大风险。为了解决这个问题，我们提出了一种可视化分析方法来解释对抗性示例引入的错误预测的主要原因。关键是分析对抗性示例的数据路径，并将其与正常示例的数据路径进行比较。数据路径是一组关键神经元及其连接。为此，我们制定的数据路径提取作为一个子集选择问题，并近似解决它的基础上反向传播。由分段DAG（层级别），Euler图（特征图级别）和热图（神经元级别）组成的多级可视化旨在帮助专家研究从高级层到详细神经元激活的数据路径。进行了两个案例研究，证明了我们的方法在解释对抗性例子的工作机制支持的承诺。
2018-10-09 cs.HC cs.LG stat.ML
Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Paderborn University（帕德博恩大学）
本文提出一种基于李群理论的框架，从离散运动观测中同时学习离散拉格朗日量及其对称群，从而自动识别守恒量，无需速度或动量数据，并通过变分后向误差分析与连续模型关联，在含噪情况下仍能提升模型性能。
2025-01-27 cs.LG math.SG
Extremization to Fine Tune Physics Informed Neural Networks for Solving Boundary Value Problems
Coventry University（考文垂大学）；Deakin University（迪肯大学）；Flinders University（弗林德斯大学）
本文提出结合深度神经网络表达能力和极限学习机微调能力的极值化方法训练物理信息神经网络，并通过Reduced TFC改进边界条件施加方式，在常微分方程、偏微分方程及Navier-Stokes方程等多个边值问题上展示了更快的训练推理速度和更强的复杂边界泛化能力。
2024-06-07 cs.CE cs.LG cs.NA
Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks
UNIST（蔚山科学技术院）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（图灵研究所）；National Technical University of Athens（雅典国家技术大学）
本文提出基于 Langevin 与 SDE 多边形近似的新型自适应优化器 TheoPouLa，给出非渐近收敛保证，并通过多类深度学习实验证明其优于主流自适应优化算法。
2024-03-02 cs.LG math.OC math.PR
Continuous-in-Depth Neural Networks
Google Research（谷歌研究院）；ICSI and UC Berkeley（国际计算机科学研究所和加州大学伯克利分校）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
最近的工作试图将剩余网络（ResNets）解释为常微分方程的前向欧拉离散化的一个步骤，主要关注两个系统之间的语法代数相似性。然而，连续动力系统的离散动力积分器具有更丰富的结构。我们首先证明，ResNets在这个更丰富的意义上不能成为有意义的动态积分器。然后，我们证明了神经网络模型可以学习表示连续动力系统，具有更丰富的结构和属性，通过将它们嵌入高阶数值积分方案，如Runge Kutta方案。基于这些见解，我们引入ContinuousNet作为ResNet架构的连续深入概括。ContinuousNets表现出对特定计算图表现的不变性。也就是说，可以用不同的离散时间步长（这改变了层数）和不同的数值积分方案（这改变了图形连通性）来评估深度连续模型。我们表明，这可以用来开发一种增量深度训练方案，提高模型质量，同时显着减少训练时间。我们还表明，一旦经过训练，计算图中的单元数量甚至可以减少，以便在几乎没有准确性下降的情况下进行更快的推理。
2020-08-05 cs.LG math.DS stat.ML
The late-stage training dynamics of (stochastic) subgradient descent on homogeneous neural networks
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（SAMOVAR， TELECOM 硕博学院，巴黎理工学院）；CNRS, LIGM（国家科学研究中心，LIGM）
本文将归一化随机次梯度下降迭代解释为保守场流的类欧拉离散化，首次将梯度下降离散动力学分析推广到非光滑随机设置，证明齐次神经网络二分类中归一化SGD后期收敛到归一化间隔的临界点集合。
2025-07-17 cs.LG cs.NE math.OC
LagNetViP: A Lagrangian Neural Network for Video Prediction
Princeton University（普林斯顿大学）
视频预测的主导范例依赖于不透明的过渡模型，其中运动方程和系统的基本物理量都不容易推断。由牛顿第二定律定义的运动方程描述了物理系统状态的时间演化，因此可以应用于确定未来的系统状态。在本文中，我们介绍了一种视频预测模型，其中运动方程是从底层物理量的学习表示显式构造的。为了实现这一点，我们同时学习低维状态表示和系统拉格朗日。拉格朗日的动能和势能项是明确建模和低维的运动方程，明确使用欧拉-拉格朗日方程。我们证明了这种方法在修改后的OpenAI健身房Pendulum-v0和Acrobot环境中渲染的图像序列上进行视频预测的有效性。
2020-10-24 cs.CV cs.LG
Hamiltonian neural networks for solving equations of motion
Harvard University（哈佛大学）
人们对应用机器学习来研究动力系统产生了浓厚的兴趣。我们提出了一个哈密顿神经网络，解决了微分方程的动力系统。这是一种方程驱动的机器学习方法，其中网络的优化过程仅取决于预测的函数，而不使用任何地面真实数据。该模型学习的解决方案，满足，直到一个任意小的错误，汉密尔顿方程，因此，保存汉密尔顿不变量。选择合适的激活函数可以大大提高网络的可预测性。此外，推导出的误差分析，并指出，数值误差取决于整体网络性能。然后利用Hamilton网络求解非线性振子和混沌Henon-Heiles动力系统的方程。在这两个系统中，一个辛欧拉积分器需要两个订单更多的评估点比汉密尔顿网络，以实现相同的顺序的预测相空间轨迹的数值误差。
2022-04-26 cs.LG physics.comp-ph
Thermodynamics-informed graph neural networks
Aragon Institute of Engineering Research (I3A)（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）；Higher Technical School of Industrial Engineering, Polytechnic University of Madrid（马德里理工大学工业工程高等技术学院）；Polytechnic University of Madrid（马德里理工大学）；ENSAM Institute of Technology（法国国立高等工程技术学院）
在本文中，我们提出了一个深度学习方法来预测耗散动力系统的时间演化。我们建议同时使用几何和热力学归纳偏差，以提高精度和推广所得到的集成方案。第一个是用图神经网络实现的，它引入了一个非欧几何先验，具有置换不变节点和边更新函数。第二个偏见是被迫学习的通用结构的问题，扩展的哈密顿形式主义，模型更一般的非保守动力学。分别在流体力学和固体力学的上下文中提供了欧拉和拉格朗日描述的几个例子，在所有测试的例子中，实现了小于3%的相对平均误差。基于物理信息和几何深度学习的最新研究，提供了两项消融研究。
2022-05-30 cs.CE cs.LG math.DS
Towards Robust ResNet: A Small Step but A Giant Leap
National University of Singapore（新加坡国立大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；IBM Research（IBM研究院）
本文提出了一种简单而有原则的方法来提高残差网络（ResNet）的鲁棒性，该方法的动机是动态系统的观点。也就是说，深度神经网络可以使用偏微分方程来解释，这自然会启发我们通过显式欧拉方法来表征ResNet。我们的分析研究表明，欧拉方法中的步长因子h能够控制ResNet在训练和泛化方面的鲁棒性。具体来说，我们证明了一个小的步长因子h可以有利于反向传播的训练鲁棒性;从正向传播的角度来看，一个小的h可以帮助模型泛化的鲁棒性。对视觉CIFAR-10和文本AG-NEWS数据集的全面实证评估证实，小h有助于训练和泛化鲁棒性。
2019-07-02 cs.CV cs.LG
ANODE: Unconditionally Accurate Memory-Efficient Gradients for Neural ODEs
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）
残差神经网络可以看作是单位时间步长的常微分方程的前向欧拉离散。最近，这促使研究人员探索其他离散化方法和训练基于ODE的网络。然而，神经ODE的一个重要挑战是它们在梯度反向传播期间的禁止存储成本。最近在[8]中提出的一种方法声称，通过在时间上向后求解前向ODE，可以将这种内存开销从O（LN_t）减少到O（L），其中N_t是时间步长的数量，其中L是网络的深度。然而，我们将证明这种方法可能会导致几个问题：（i）对于ReLU/非ReLU激活和一般卷积运算符，它可能在数值上不稳定，以及（ii）由于小时间步长的梯度不一致，所提出的优化然后离散化方法可能会导致发散训练。我们讨论了潜在的问题，并解决他们，我们提出了ANODE，一个基于伴随的神经ODE框架，避免了上述数值不稳定相关的问题，并提供无条件准确的梯度。ANODE的内存占用为O（L）+ O（N_t），计算量与逆向ODE求解相同。此外，我们讨论了一个内存效率的算法，可以进一步减少这种足迹与额外的计算成本的权衡。我们使用ResNet和SqueezeNext神经网络在Cifar-10/100数据集上显示了结果。
2019-07-01 cs.LG
Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by Design
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Shanghai University（上海大学）
深度神经网络（DNN）训练可能很困难，因为在通过反向传播进行权重优化期间梯度会消失和爆炸。为了解决这个问题，我们提出了一个通用类的哈密顿DNN（H-DNN），源于连续时间哈密顿系统的离散化，并包括几个现有的DNN架构的基础上常微分方程。我们的主要结果是，一组广泛的H-DNN通过设计确保了任意网络深度的非零梯度。这是通过证明，使用半隐式欧拉离散计划，梯度计算中涉及的向后灵敏度矩阵是辛的。我们还提供了一个上限的灵敏度矩阵的大小，并表明，爆炸梯度可以通过正则化控制。最后，我们通过对权重矩阵进行适当的稀疏性约束来实现H-DNN中的向后和向前传播算法的分布式实现。H-DNN在基准分类问题上表现出良好的性能，包括MNIST数据集的图像分类。
2022-12-30 cs.LG cs.SY eess.SY
