Physics of Learning: A Lagrangian perspective to different learning paradigms
Department of Computer Science, University of Cambridge（剑桥大学计算机科学系）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute（埃里希研究所）
本文从物理学最小作用量原理出发，提出学习拉格朗日量框架，从第一性原理推导出经典学习算法、贝尔曼方程和Adam优化器，揭示学习即寻找平稳路径的本质。
2025-09-25 cs.LG cs.NE
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies（智能技术研究所）；Faculty of Information Technology, Brno University of Technology（信息科技学院，布拉格技术大学）
本文提出LUPIN模型，通过可微半拉格朗日外推与双U-Net结构，将物理信息融入降水临近预报，实现端到端GPU加速训练，并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
Improving Physics-Augmented Continuum Neural Radiance Field-Based Geometry-Agnostic System Identification with Lagrangian Particle Optimization
NTT Corporation（NTT公司）
针对 PAC-NeRF 在稀疏视角下因两步优化导致几何学习敏感的问题，本文提出拉格朗日粒子优化（LPO），在物理约束下跨整个视频序列优化粒子位置与特征，有效改善了几何校正与物理辨识性能。
2024-06-06 cs.AI cs.CV cs.GR
An Efficient Augmented Lagrangian Based Method for Constrained Lasso
Department of Systems Engineering and Engineering Management, the Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
变量选择是统计学和机器学习中最重要的任务之一。为了包含更多关于回归系数的先验信息，文献中提出了约束Lasso模型。本文提出了一种求解线性等式约束Lasso问题的不精确增广拉格朗日方法。通过充分利用问题的二阶稀疏性，我们能够大大降低计算成本，并获得高效的实现。仿真数据和实际数据的数值结果表明，该算法在运行时间和求解精度方面均优于现有的一阶方法。
2019-03-12 cs.LG math.OC stat.ML
Zonotope Domains for Lagrangian Neural Network Verification
UT Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
神经网络验证的目的是为给定输入范围的神经网络的输出提供可证明的边界。在这个领域中，值得注意的先前工作要么使用抽象域生成边界，这保留了网络中中间神经元之间的一些依赖关系;要么将验证框定为优化问题，并使用拉格朗日方法解决松弛问题。后一种技术的一个关键缺点是每个神经元都是独立处理的，从而忽略了重要的神经元相互作用。我们提供了一种方法，合并这两个线程，并使用zonotopes内的拉格朗日分解。至关重要的是，我们可以将验证深度神经网络的问题分解为许多2层神经网络的验证。虽然这些问题都是可证明的困难，我们提供了有效的放松方法，是服从有效的双上升程序。我们的技术产生的界限，提高了线性规划和拉格朗日为基础的验证技术在时间和约束的紧密性。
2022-10-14 cs.LG stat.ML
Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics
Siemens AG, Corporate Technology（西门子股份公司，企业技术部）；Technical University of Munich（慕尼黑工业大学）
识别准确的动态模型是各种技术系统的仿真和控制所必需的。然而，在许多重要的实际应用中，两种主要的建模方法往往无法满足要求：第一原理方法具有高偏差，而数据驱动建模往往具有高方差。此外，纯粹基于数据的模型通常需要大量数据，并且通常难以解释。在本文中，我们提出了物理信息神经常微分方程（PINODE），一个混合模型，结合了两种建模技术，以克服上述问题。这种新方法直接将拉格朗日力学中的运动方程引入到深层神经网络结构中。因此，我们可以整合现有的物理知识，并使用函数逼近-e。例如，在一个实施例中，神经网络--它不是。该方法进行了测试与现实世界的物理系统具有很大的不确定性的前向模型。由此产生的模型是准确和数据效率，同时确保物理兼容性。有了这个，我们展示了一种方法，有益地融合物理洞察力与真实数据。我们的研究结果是基于模型的控制和系统辨识的机械系统的兴趣。
2020-05-29 cs.LG stat.ML
LagNetViP: A Lagrangian Neural Network for Video Prediction
Princeton University（普林斯顿大学）
视频预测的主导范例依赖于不透明的过渡模型，其中运动方程和系统的基本物理量都不容易推断。由牛顿第二定律定义的运动方程描述了物理系统状态的时间演化，因此可以应用于确定未来的系统状态。在本文中，我们介绍了一种视频预测模型，其中运动方程是从底层物理量的学习表示显式构造的。为了实现这一点，我们同时学习低维状态表示和系统拉格朗日。拉格朗日的动能和势能项是明确建模和低维的运动方程，明确使用欧拉-拉格朗日方程。我们证明了这种方法在修改后的OpenAI健身房Pendulum-v0和Acrobot环境中渲染的图像序列上进行视频预测的有效性。
2020-10-24 cs.CV cs.LG
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology（西门子技术）
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程，不允许状态的不连续性，从而限制了人们可以学习的系统的类别。然而，实际上，大多数物理系统（例如足式机器人和机器人操纵器）都涉及接触和碰撞，这会导致状态的不连续性。在本文中，我们介绍了一个可微接触模型，它可以捕捉接触力学：无摩擦/摩擦，以及弹性/非弹性。该模型还可以适应不等式约束，例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围，允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务（例如规划和控制）的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology（浦项科技大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们提出了一种新的保守的制定解决动力学方程，通过神经网络。更准确地说，我们制定的学习问题作为一个约束最优化问题的约束，代表物理守恒定律。通过拉格朗日对偶性，将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束，我们证明了更准确的近似的解决方案的误差和守恒定律，动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Learning effective physical laws for generating cosmological hydrodynamics with Lagrangian Deep Learning
Berkeley Center for Cosmological Physics（伯克利宇宙学物理中心）；University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
生成模型的目标是学习数据之间的复杂关系，以创建新的模拟数据，但目前的方法在非常高的维度上失败。当真实数据生成过程基于物理过程时，这些物理过程施加对称性和约束，并且可以通过学习底层物理的有效描述来创建生成模型，这使得能够将生成模型缩放到非常高的维度。在这项工作中，我们为此提出了拉格朗日深度学习（LDL），将其应用于学习宇宙流体动力学模拟的输出。该模型使用描述可观测量的粒子的拉格朗日位移层来学习有效的物理定律。位移被建模为一个有效的潜力，这明确满足平移和旋转不变性的梯度。学习参数的总数仅为10阶，并且它们可以被视为有效的理论参数。我们结合N体求解器FastPM与LDL，并将它们应用于广泛的宇宙学输出，从暗物质到恒星地图，气体密度和温度。LDL的计算成本比完整的流体动力学模拟低近四个数量级，但在相同的分辨率下，它优于它。我们实现了这一点，从初始条件到最终输出只有10层，与典型的宇宙学模拟数千个时间步长。这开辟了完全在这个框架内分析宇宙学观测的可能性，而不需要大型暗物质模拟。
2020-10-06 astro-ph.CO cs.LG
Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs)
Hanbat National University（韩巴大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Pohang University of Science and Technology（浦项科技大学）
本文提出AL-PINNs方法，将初始和边界条件作为约束，利用增广拉格朗日松弛将PINNs训练转化为序列化最大-最小问题，实现损失分量自适应平衡，并在多个方程上验证其相对误差显著低于现有自适应损失平衡算法。
2023-05-31 cs.AI cs.LG cs.NA
Learning the Dynamics of Particle-based Systems with Lagrangian Graph Neural Networks
Indian Institute of Technology Delhi（印度理工学院德里分校）
物理系统通常被表示为粒子的组合，粒子的个体动力学支配系统动力学。然而，传统的方法需要几个抽象的量，如能量或力的知识来推断这些粒子的动力学。在这里，我们提出了一个框架，即拉格朗日图神经网络（LGnn），它提供了一个强大的归纳偏差，直接从轨迹学习基于粒子的系统的拉格朗日。我们在具有约束和阻力的具有挑战性的系统上测试了我们的方法- LGnn优于基线，如前馈拉格朗日神经网络（Lnn），性能有所改善。我们还显示了系统的zero-shot泛化能力，通过模拟比训练的系统大两个数量级的系统，以及模型看不到的混合系统，这是一个独特的功能。与Lnn相比，LGnn的图形架构显著简化了学习，在数据量减少约20倍的情况下，性能提高约25倍。最后，我们展示了LGnn的可解释性，它直接提供了模型学习的阻力和约束力的物理见解。因此，LGnn可以为纯粹从可观测量理解物理系统的动力学提供一个刺激。
2022-09-03 cond-mat.dis-nn cs.LG
A Riemannian Framework for Learning Reduced-order Lagrangian Dynamics
KTH Royal Institute of Technology（皇家理工学院）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
提出一种基于黎曼几何的神经网络框架，联合学习保持结构的潜空间与低维拉格朗日动力学，实现高维系统的高效准确长期预测。
2025-02-28 cs.LG
Physics informed machine learning with Smoothed Particle Hydrodynamics: Hierarchy of reduced Lagrangian models of turbulence
UArizona（亚利桑那大学）；LANL（洛斯阿拉莫斯国家实验室）
本文构建参数化约化拉格朗日湍流模型层级，将神经网络与弱可压缩SPH物理结构结合，并提出新型参数化光滑核，验证其在HIT数据上的泛化性和精度。
2023-11-08 cs.LG physics.flu-dyn
Lagrangian PINNs: A causality-conforming solution to failure modes of physics-informed neural networks
Rice University（莱斯大学）
物理信息神经网络（PINNs）利用神经网络来求解具有初始条件和边界条件作为软约束的偏微分方程（PDE）约束优化问题。这些软约束通常被认为是PINN训练阶段复杂性的来源。在这里，我们证明了训练的挑战（i）即使在严格执行边界条件的情况下仍然存在，（ii）与证明运输，对流，行波或移动前沿的问题相关的Kolmogorov n宽度密切相关。考虑到这一点，我们描述了训练方案的机制，例如扩展PINN（XPINN），课程正规化和序列到序列学习中使用的训练方案。对于一类重要的偏微分方程，即，由非线性对流扩散方程控制，我们建议在拉格朗日参考系上重新制定PINN，即，LPINN，作为PDE知情的解决方案。提出了一种双分支并行结构。一个分支求解特性上的状态变量，第二个分支求解低维特性曲线。所提出的架构符合对流固有的因果关系，并利用域中信息的传播方向。最后，我们证明了LPINNs的损失景观是不太敏感的所谓的“复杂性”的问题，相比，在传统的PINNs的欧拉框架。
2022-05-05 cs.CE cs.LG cs.NA
Latent-Lagrangian Neural Networks for Reduced Order Modeling of Non-autonomous Nonlinear Dynamical Systems
Université Paris-Saclay（巴黎萨克雷大学）；CEA List（法国原子能委员会信息技术与系统实验室）
本文提出潜变量拉格朗日神经网络框架，通过学习潜坐标与能量函数，结合力监督，实现受迫非线性动力系统的降阶建模，并验证了其泛化能力。
2026-10-06 cs.CE cs.LG
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi（印度德里理工学院）
物理世界的现实模型依赖于可微对称性，而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明，一个系统的基本对称性可以很容易地通过一个神经网络时，提供了一个适当的归纳偏置学习。然而，这些模型仍然存在一些问题，例如无法推广到任意系统大小，可解释性差，最重要的是，无法学习平移和旋转对称性，这分别导致线性和角动量守恒定律。在这里，我们提出了一个动量守恒拉格朗日神经网络（MCLNN），学习系统的拉格朗日，同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统，和重力系统，展示了能量和动量守恒。我们还表明，开发的模型可以推广到任何任意大小的系统。最后，我们讨论了MCLNN的可解释性，它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
