Lagrangian and Hamiltonian Neural Networks With a Dissipative System
本研究将拉格朗日与哈密顿神经网络应用于含显式时间依赖的耗散系统,验证其能预测阻尼振荡器行为并学习潜在力学量,揭示时间依赖下的重要性质。
2026-09-29 cs.LG physics.class-ph
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi(印度德里理工学院)
物理世界的现实模型依赖于可微对称性,而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明,一个系统的基本对称性可以很容易地通过一个神经网络时,提供了一个适当的归纳偏置学习。然而,这些模型仍然存在一些问题,例如无法推广到任意系统大小,可解释性差,最重要的是,无法学习平移和旋转对称性,这分别导致线性和角动量守恒定律。在这里,我们提出了一个动量守恒拉格朗日神经网络(MCLNN),学习系统的拉格朗日,同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统,和重力系统,展示了能量和动量守恒。我们还表明,开发的模型可以推广到任何任意大小的系统。最后,我们讨论了MCLNN的可解释性,它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
A Lagrangian Dual-based Theory-guided Deep Neural Network
PengCheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学);Peking University(北京大学)
理论引导神经网络(Theory-guided Neural Network,TgNN)是一种通过引入科学知识或物理信息来提高神经网络结构有效性和效率的方法。尽管取得了巨大的成功,但理论引导的(深度)神经网络在训练过程中保持训练数据和领域知识之间的权衡时具有一定的局限性。本文提出了一种基于拉格朗日对偶的TgNN(TgNN-LD)来提高TgNN的有效性。我们将原来的损失函数转换成一个约束形式的项目较少,其中偏微分方程(PDE),工程控制(EC),专家知识(EK)被视为约束,每个约束一个拉格朗日变量。这些拉格朗日变量被纳入观测数据和相应的约束条件之间实现公平的权衡,以提高预测精度,并节省时间和计算资源调整的ad-hoc程序。为了研究所提出的方法的性能,原来的TgNN模型与一组优化的权重值调整ad-hoc程序进行了比较,地下水流问题,与他们的L2误差,R平方(R2),和计算时间进行了分析。实验结果证明了拉格朗日对偶TgNN的优越性。
2020-08-24 cs.LG math.OC stat.ML
Newtonian and Lagrangian Neural Networks: A Comparison Towards Efficient Inverse Dynamics Identification
Laboratory of Machine Tools(机械工程加工实验室);Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany(机械工程数据科学研究所,亚琛工业大学,德国)
本研究比较牛顿与拉格朗日神经网络在工业机器人逆动力学辨识中的表现,发现估计电机扭矩时牛顿网络更有效,因拉格朗日网络未显式建模耗散扭矩。
2025-06-22 cs.LG cs.RO
A Lagrangian Approach to Information Propagation in Graph Neural Networks
University of Siena(锡耶纳大学);University of Florence(佛罗伦萨大学)
在许多现实世界的应用程序中,数据的特征是复杂的结构,可以自然地编码为图。在过去的几年里,深度学习技术的流行重新引起了人们对能够处理复杂模式的神经模型的兴趣。特别地,受图神经网络(GNN)模型的启发,已经提出了不同的架构来扩展原始GNN方案。GNN利用一组状态变量,每个变量分配给一个图节点,以及相邻节点之间的状态扩散机制,来实现迭代过程以计算(可学习的)状态转移函数的不动点。在本文中,我们提出了一种新的方法的状态计算和学习算法的GNNs,基于约束优化任务解决拉格朗日框架。状态收敛过程由约束满足机制隐式地表示,并且不需要针对学习过程的每个时期的单独的迭代阶段。实际上,计算结构是基于在由权重、神经输出(节点状态)和拉格朗日乘子组成的伴随空间中搜索拉格朗日的鞍点。所提出的方法进行了比较实验与其他流行的模型处理图形。
2020-04-17 cs.LG stat.ML
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology(浦项科技大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们提出了一种新的保守的制定解决动力学方程,通过神经网络。更准确地说,我们制定的学习问题作为一个约束最优化问题的约束,代表物理守恒定律。通过拉格朗日对偶性,将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束,我们证明了更准确的近似的解决方案的误差和守恒定律,动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Neural Optimal Transport with Lagrangian Costs
FAIR, Meta(Meta FAIR)
研究拉格朗日代价下的概率测度最优传输问题,提出一种无需 ODE 求解器即可高效计算测地线并输出拉格朗日最优传输映射的神经计算方法。
2024-06-01 cs.LG stat.ML
Lagrangian neural networks for nonholonomic mechanics
Departamento de Matemática, Universidad Nacional del Sur(国家南方大学数学系);Centro de Matemática de La Plata, Universidad Nacional de La Plata(拉普拉塔国立大学拉普拉塔数学中心)
本文将Lagrangian Neural Networks扩展到非完整约束力学系统,通过在学习中显式纳入约束,提升轨迹精度、约束满足度与能量保持性能。
2025-07-27 cond-mat.dis-nn cs.ET cs.LG
Lagrangian Decomposition for Neural Network Verification
University of Oxford(牛津大学);DeepMind(深度思考)
神经网络验证的一个基本组成部分是计算其输出值的界限。以前的方法要么使用现成的求解器,丢弃问题结构,要么进一步放松问题,使边界不必要地宽松。我们提出了一种新的方法的基础上拉格朗日分解。我们的配方承认一个有效的超梯度上升算法,以及改进的邻近算法。这两种算法都提供了三个优点:(i)它们产生的边界可证明至少与依赖于拉格朗日松弛的先前对偶算法一样紧;(ii)它们基于类似于神经网络层的前向/后向传递的操作,因此易于并行化,适合GPU实现,并且能够利用问题的卷积结构;以及(iii)它们允许随时停止,同时仍然提供有效的边界。从经验上讲,我们表明,我们获得的界限可比现成的求解器在一小部分的运行时间,并获得更严格的界限在同一时间以前的对偶算法。这导致了在采用形式化验证的边界时的总体速度提高。我们的算法代码可以在https://github.com/oval-group/decomposition-plnn-bounds上找到。
2020-06-17 cs.LG stat.ML
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies(智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院,布拉格技术大学)
本文提出LUPIN模型,通过可微半拉格朗日外推与双U-Net结构,将物理信息融入降水临近预报,实现端到端GPU加速训练,并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
Latent-Lagrangian Neural Networks for Reduced Order Modeling of Non-autonomous Nonlinear Dynamical Systems
Université Paris-Saclay(巴黎萨克雷大学);CEA List(法国原子能委员会信息技术与系统实验室)
本文提出潜变量拉格朗日神经网络框架,通过学习潜坐标与能量函数,结合力监督,实现受迫非线性动力系统的降阶建模,并验证了其泛化能力。
2026-10-06 cs.CE cs.LG
Integrating Lagrangian Neural Networks into the Dyna Framework for Reinforcement Learning
本文提出将拉格朗日神经网络整合到Dyna框架中,以提升基于模型的强化学习中动力学建模的准确性与效率。
2026-03-09 cs.LG cs.SY eess.SY
Learning Neural Feedback Linearization for Data-driven Systems via Augmented Lagrangian
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
本文提出一种数据驱动框架,通过将相对阶条件融入学习过程,用神经李导数替代传统组件实现反馈线性化,并建立闭环稳定性条件,在直流电机上验证了有效性。
2026-09-23 cs.LG
Lagrangian Neural Style Transfer for Fluids
ETH Zurich(苏黎世联邦理工学院)
艺术地控制流体模拟的形状、运动和外观是视觉效果制作中的主要挑战。在本文中,我们提出了一种神经风格的转移方法,从图像到三维流体制定的拉格朗日观点。与基于网格的技术相比,使用粒子进行样式传递具有独特的优点。属性存储在粒子上,因此通过粒子运动进行简单的传输。这本质上确保了优化的风格化结构的时间一致性,并显著提高了所得质量。同时,网格方法的风格化速度场的昂贵的递归对齐是不必要的,将计算时间减少到不到一个小时,并使神经流风格化在生产环境中实用。此外,拉格朗日表示改进了艺术控制,因为它允许多流体风格化和来自图像的一致颜色转移,并且该方法的通用性同样能够实现烟雾和液体的风格化。
2020-05-02 cs.GR cs.LG
Learning the Dynamics of Particle-based Systems with Lagrangian Graph Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
物理系统通常被表示为粒子的组合,粒子的个体动力学支配系统动力学。然而,传统的方法需要几个抽象的量,如能量或力的知识来推断这些粒子的动力学。在这里,我们提出了一个框架,即拉格朗日图神经网络(LGnn),它提供了一个强大的归纳偏差,直接从轨迹学习基于粒子的系统的拉格朗日。我们在具有约束和阻力的具有挑战性的系统上测试了我们的方法- LGnn优于基线,如前馈拉格朗日神经网络(Lnn),性能有所改善。我们还显示了系统的zero-shot泛化能力,通过模拟比训练的系统大两个数量级的系统,以及模型看不到的混合系统,这是一个独特的功能。与Lnn相比,LGnn的图形架构显著简化了学习,在数据量减少约20倍的情况下,性能提高约25倍。最后,我们展示了LGnn的可解释性,它直接提供了模型学习的阻力和约束力的物理见解。因此,LGnn可以为纯粹从可观测量理解物理系统的动力学提供一个刺激。
2022-09-03 cond-mat.dis-nn cs.LG
Dissipative Lagrangian Neural Networks for the Interpretable Modelling of Passive Mechanical Systems
University of Cambridge(剑桥大学)
本文提出dLNN,通过新型耗散力参数化实现机械系统动力学的可解释建模,在双摆、工业机器人任务中性能优于现有拉格朗日架构,还能提取符号模型降低计算开销。
2026-10-14 cs.CE cs.LG
Neural Vortex Method: from Finite Lagrangian Particles to Infinite Dimensional Eulerian Dynamics
Zhejiang University(浙江大学);Dartmouth College(达特茅斯学院)
提出神经涡方法(NVM),通过涡表示网络和涡相互作用网络结合泊松求解器,从有限拉格朗日粒子学习无限维动力系统,实现高精度、低成本的流体动力学预测。
2023-09-13 cs.LG physics.comp-ph
History-informed Lagrangian Neural Networks
College of Intelligent Systems Science and Engineering(智能系统科学与工程学院);Harbin Engineering University(哈尔滨工程大学)
该研究针对拉格朗日神经网络需完整状态输入、参数适应性差的问题,提出HiLNN,通过循环编码器提取历史上下文调制系统参数,经RK4推演优化,在多类系统上实现更优长时程预测精度与能量保持。
2026-08-14 cs.LG
Learning Articulated Rigid Body Dynamics with Lagrangian Graph Neural Network
Indian Institute of Technology Delhi(印度理工学院德里分校)
拉格朗日和汉密尔顿神经网络(分别为LNN和HNN)编码了强归纳偏差,使它们能够显著优于其他物理系统模型。然而,迄今为止,这些模型大多局限于简单的系统,如陀螺仪和弹簧或单个刚体,如陀螺仪或刚性转子。在这里,我们提出了一个拉格朗日图神经网络(LGNN),可以学习动态的铰接刚体利用其拓扑结构。我们展示了LGNN的性能,通过学习绳,链和桁架的动力学与作为刚体建模的酒吧。LGNN还表现出泛化能力--在具有几个段的链上训练的LGNN表现出泛化能力,可以模拟具有大量链接和任意链接长度的链。我们还表明,LGNN可以模拟看不见的混合系统,包括杆和链,他们还没有受过训练。具体来说,我们表明,LGNN可以用来模拟复杂的现实世界的结构,如张拉整体结构的稳定性的动力学。最后,我们讨论了质量矩阵的非对角性质及其在复杂系统中的推广能力。
2022-11-11 cs.LG
Structured Deep Neural Network-Based Backstepping Trajectory Tracking Control for Lagrangian Systems
School of Mechatronic Engineering and Automation, Shanghai University(上海大学机电工程与自动化学院);School of Future Technology, Shanghai University(上海大学未来技术学院)
针对深度神经网络控制器的黑箱特性难以保证闭环稳定性的问题,提出基于结构化DNN的拉格朗日系统反步轨迹跟踪控制方法,可保证稳定性、给出误差显式上界,未知模型下结合改进LNN仍有效,经仿真验证。
2024-09-12 cs.LG cs.RO cs.SY
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington(华盛顿大学电气与计算机工程系)
利用深度神经网络预测交流最优潮流(ACOPF)问题的解一直是一个活跃的研究方向。然而,由于ACOPF是非凸的,它是很难构建一个良好的数据集,包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战,我们提出了一种基于拉格朗日的方法。首先,我们使用神经网络来学习ACOPF问题的对偶变量。然后,我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果,因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线,39总线和118总线网络,我们表明,我们的方法是能够获得全局最优的成本,即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
LagNetViP: A Lagrangian Neural Network for Video Prediction
Princeton University(普林斯顿大学)
视频预测的主导范例依赖于不透明的过渡模型,其中运动方程和系统的基本物理量都不容易推断。由牛顿第二定律定义的运动方程描述了物理系统状态的时间演化,因此可以应用于确定未来的系统状态。在本文中,我们介绍了一种视频预测模型,其中运动方程是从底层物理量的学习表示显式构造的。为了实现这一点,我们同时学习低维状态表示和系统拉格朗日。拉格朗日的动能和势能项是明确建模和低维的运动方程,明确使用欧拉-拉格朗日方程。我们证明了这种方法在修改后的OpenAI健身房Pendulum-v0和Acrobot环境中渲染的图像序列上进行视频预测的有效性。
2020-10-24 cs.CV cs.LG
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology(西门子技术)
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程,不允许状态的不连续性,从而限制了人们可以学习的系统的类别。然而,实际上,大多数物理系统(例如足式机器人和机器人操纵器)都涉及接触和碰撞,这会导致状态的不连续性。在本文中,我们介绍了一个可微接触模型,它可以捕捉接触力学:无摩擦/摩擦,以及弹性/非弹性。该模型还可以适应不等式约束,例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围,允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务(例如规划和控制)的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity
The Hong Kong Polytechnic University(香港理工大学)
带有一组稀疏正则化项的Leaky ReLU网络近年来得到了广泛的应用。然而,训练这样的网络会产生一个非光滑非凸最优化问题,并且缺乏确定性地计算稳定点的方法。本文首先通过引入辅助变量和附加约束,解决了原最优化问题中的多层复合项。我们证明了新模型有一个非空有界的解集,并且它的可行解集满足Mangasarian-Fromovitz约束规格。此外,我们展示了新模型和原问题之间的关系。值得注意的是,我们提出了一个不精确的增广拉格朗日算法求解新的模型,并显示该算法的收敛到KKT点。数值实验表明,我们的算法是更有效的训练稀疏漏ReLU神经网络比一些著名的算法。
2022-05-11 cs.LG math.OC
Introducing a Generative Adversarial Network Model for Lagrangian Trajectory Simulation
Illinois Institute of Technology(伊利诺伊理工学院);Washington University in St. Louis(圣路易斯华盛顿大学)
我们引入了一个生成对抗网络(GAN)模型来模拟浮力对抗火焰回流区中粒子的三维拉格朗日运动。GAN模型包括用作生成器的随机递归神经网络和用作卷积器的卷积神经网络。对抗性训练进行到这样的程度,即最好的训练生成器无法区分地面真相和最好的训练生成器产生的轨迹。然后,根据对模拟轨迹和地面实况进行的统计分析,对模型性能进行基准测试,以确定准确性和泛化标准。
2019-01-13 cs.CV cs.LG physics.data-an
Lagrangian PINNs: A causality-conforming solution to failure modes of physics-informed neural networks
Rice University(莱斯大学)
物理信息神经网络(PINNs)利用神经网络来求解具有初始条件和边界条件作为软约束的偏微分方程(PDE)约束优化问题。这些软约束通常被认为是PINN训练阶段复杂性的来源。在这里,我们证明了训练的挑战(i)即使在严格执行边界条件的情况下仍然存在,(ii)与证明运输,对流,行波或移动前沿的问题相关的Kolmogorov n宽度密切相关。考虑到这一点,我们描述了训练方案的机制,例如扩展PINN(XPINN),课程正规化和序列到序列学习中使用的训练方案。对于一类重要的偏微分方程,即,由非线性对流扩散方程控制,我们建议在拉格朗日参考系上重新制定PINN,即,LPINN,作为PDE知情的解决方案。提出了一种双分支并行结构。一个分支求解特性上的状态变量,第二个分支求解低维特性曲线。所提出的架构符合对流固有的因果关系,并利用域中信息的传播方向。最后,我们证明了LPINNs的损失景观是不太敏感的所谓的“复杂性”的问题,相比,在传统的PINNs的欧拉框架。
2022-05-05 cs.CE cs.LG cs.NA
Learning Relativistic Geodesics and Chaotic Dynamics via Stabilized Lagrangian Neural Networks
Department of Physics, Bogazici University, Istanbul, Turkey(物理系,博兹达奇大学,伊斯坦布尔,土耳其);Department of Computer Engineering, Bogazici University, Istanbul, Turkey(计算机工程系,博兹达奇大学,伊斯坦布尔,土耳其)
通过改进的稳定拉格朗日神经网络,实现了对非相对论和广义相对论测地运动的拉格朗日量学习,并在复杂系统中展示了更高的稳定性和性能。
2026-01-18 cs.LG
Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics
Siemens AG, Corporate Technology(西门子股份公司,企业技术部);Technical University of Munich(慕尼黑工业大学)
识别准确的动态模型是各种技术系统的仿真和控制所必需的。然而,在许多重要的实际应用中,两种主要的建模方法往往无法满足要求:第一原理方法具有高偏差,而数据驱动建模往往具有高方差。此外,纯粹基于数据的模型通常需要大量数据,并且通常难以解释。在本文中,我们提出了物理信息神经常微分方程(PINODE),一个混合模型,结合了两种建模技术,以克服上述问题。这种新方法直接将拉格朗日力学中的运动方程引入到深层神经网络结构中。因此,我们可以整合现有的物理知识,并使用函数逼近-e。例如,在一个实施例中,神经网络--它不是。该方法进行了测试与现实世界的物理系统具有很大的不确定性的前向模型。由此产生的模型是准确和数据效率,同时确保物理兼容性。有了这个,我们展示了一种方法,有益地融合物理洞察力与真实数据。我们的研究结果是基于模型的控制和系统辨识的机械系统的兴趣。
2020-05-29 cs.LG stat.ML
ServoLNN: Lagrangian Neural Networks Driven by Servomechanisms
Monash University(莫纳什大学)
本文提出ServoLNN,一种由伺服机构驱动的拉格朗日神经网络架构,可实时建模并同时准确预测能量、功率、质量矩阵及广义力等物理量。
2025-02-27 cs.LG cs.RO math.DS
Phase space integrity in neural network models of Hamiltonian dynamics: A Lagrangian descriptor approach
Department of Mathematics, Khalifa University of Science and Technology(哈利法科学技术大学数学系);Public Health and Epidemeology Department, Khalifa University of Science and Technology(哈利法科学技术大学公共卫生与流行病学系)
本文提出Lagrangian描述符作为评估Hamilton系统神经网络模型的诊断框架,通过概率密度函数嵌入几何信息,比较不同架构在Duffing振荡器和三模非线性Schrödinger方程中的表现。
2026-04-01 cs.LG math.DS
Unsupervised Learning of Lagrangian Dynamics from Images for Prediction and Control
Princeton University(普林斯顿大学)
最近用神经网络对物理系统的动力学进行建模的方法加强了拉格朗日或哈密顿结构以改进预测和推广。然而,当坐标被嵌入到高维数据(如图像)中时,这些方法要么失去可解释性,要么只能应用于一个特定的例子。我们引入了一种新的无监督神经网络模型,该模型从图像中学习拉格朗日动力学,具有有利于预测和控制的可解释性。该模型推断拉格朗日动力学的广义坐标,同时学习与坐标感知变分自编码器(VAE)。VAE的目的是考虑到几何的物理系统组成的多个刚体在平面上。通过推断可解释的拉格朗日动力学,该模型学习物理系统属性,例如动能和势能,这使得能够长期预测图像空间中的动力学和基于能量的控制器的合成。
2022-09-01 cs.LG cs.SY eess.SY
Learning and Forecasting Multiscale Spatiotemporal Epidemic Dynamics with Lagrangian-Eulerian Graph Neural ODEs
提出LE-EpiGNODE模型,用拉格朗日-欧拉分解的机制引导神经算子替代通用消息传递,在14种合成机制、3种COVID-19场景等评估中,长程预测误差较最佳基线降低17.7%-40.0%,实现可靠长程流行病预测。
2026-10-16 cs.LG
Neural SPH: Improved Neural Modeling of Lagrangian Fluid Dynamics
Technical University of Munich(慕尼黑工业大学);Munich Institute of Integrated Materials, Energy and Process Engineering, Technical University of Munich(慕尼黑工业大学慕尼黑集成材料、能源与过程工程研究所);Johannes Kepler University(约翰内斯开普勒大学);NXAI GmbH(NXAI有限公司)
本文针对基于图神经网络的SPH流体模拟器因拉伸不稳定性导致粒子聚集、难以长期稳定预测的问题,提出将标准SPH求解器中的压力、粘性和外力组件融入GNN训练与推理,显著降低 rollout 误差并提升物理建模能力。
2024-07-07 cs.LG physics.flu-dyn
Lagrangian Neural Networks for Reversible Dissipative Evolution
University of Michigan(密歇根大学);Air Force Research Laboratory(空军研究实验室)
本研究提出基于Morse-Feshbach拉格朗日量的神经网络,通过维度加倍构建镜像表示来建模耗散系统,实现无需额外正则化的双向时间演化,并在菲克扩散实验中验证了可逆性。
2024-05-26 cond-mat.mtrl-sci cs.LG
Neural Lagrangian Schrödinger Bridge: Diffusion Modeling for Population Dynamics
The University of Tokyo(东京大学)
种群动力学是研究生物种群大小的时空变化,是种群生态学的重要组成部分。分析种群动力学的主要困难之一是由于实验成本或测量限制,我们只能从定点观测中获得具有粗时间间隔的观测数据。最近,通过使用连续归一化流(CNFs)和动态最优运输模型的人口动力学已被提出来推断样本轨迹从一个固定点的观察人口。虽然CNF中的样品行为是确定性的,但生物系统中的实际样品以基本上随机但定向的方式移动。此外,当样本在动力系统中从点A移动到点B时,其轨迹通常遵循最小作用量原理,其中对应的作用量具有最小可能值。为了满足这些要求的样本轨迹,我们制定了拉格朗日薛定谔桥(LSB)的问题,并提出解决它近似通过建模的对流扩散过程与正则化神经网络。我们还开发了一个模型架构,使更快的计算的损失函数。实验结果表明,该方法可以有效地近似人口水平的动态,即使是高维数据和使用先验知识引入的拉格朗日使我们能够估计样本级的动态与随机行为。
2023-02-27 cs.LG q-bio.PE
Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach
NOVA School of Science and Technology(新里斯本大学科技学院);University of Milan(米兰大学)
本文将 DNN 训练建模为约束优化问题,提出随机增广拉格朗日(SAL)正则化方法,在 MNIST、CIFAR10 和 CIFAR100 上同时提升分类准确率与约束满足效果。
2023-10-25 cs.LG math.OC
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition
University of Oxford(牛津大学);Deepmind
本文改进了用于形式化证明神经网络输入输出性质的分支定界算法的可扩展性。首先,我们提出了新的边界算法的基础上拉格朗日分解。以前的工作已经使用现成的求解器来解决松弛在每个节点的BaB树,或构造较弱的松弛,可以有效地解决,但导致不必要的弱边界。我们的配方限制优化的对偶域,保证包含最佳的子空间,从而加速收敛。此外,它允许大规模并行实现,这可以通过现代深度学习框架进行GPU加速。其次,我们提出了一种新的基于激活的分支策略。通过耦合一个廉价的启发式与快速的双重绑定,我们的分支方案大大减少了大小的BaB树相比,以前的探试法。此外,它与基于学习算法的最新策略具有竞争力,而没有其大的离线训练成本。最后,我们设计了一个BaB框架,命名为分支和双网络界(BaDNB),基于我们的新的边界和分支算法。我们表明,BaDNB优于以前的完整的验证系统的大幅度,削减平均验证时间的因素高达50对抗性的鲁棒性。
2021-04-14 cs.LG cs.LO stat.ML
Learning Lagrangian Fluid Mechanics with E($3$)-Equivariant Graph Neural Networks
Technical University of Munich(慕尼黑工业大学);Microsoft Research AI4Science(微软研究院AI4Science)
本文研究E(3)-等变图神经网络在拉格朗日流体力学中的应用,通过在三维衰减Taylor-Green涡旋和三维反向Poiseuille流上的基准测试,证明所提出的物理历史嵌入方法能使等变模型学习到比非等变模型更精确的动态交互。
2023-05-24 cs.LG physics.flu-dyn
A Bayesian Filtering Approach for Learning Lagrangian Dynamics from Noisy Measurements
School of Engineering and Applied Science, Ahmedabad University(艾哈迈达巴德大学工程与应用科学学院);Department of Electrical Engineering, Indian Institute of Technology (BHU) Varanasi(印度理工学院(BHU)瓦拉纳西分校电气工程系);ELLIS Institute Finland(芬兰ELLIS研究所);Department of Electrical Engineering and Automation, Aalto University(阿尔托大学电气工程与自动化系)
提出一种基于贝叶斯滤波的方法,从部分含噪测量中学习物理系统动力学,通过拉格朗日力学建模并用神经网络参数化能量,联合学习参数和状态。
2026-07-01 cs.LG eess.SP
Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs)
Hanbat National University(韩巴大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);Pohang University of Science and Technology(浦项科技大学)
本文提出AL-PINNs方法,将初始和边界条件作为约束,利用增广拉格朗日松弛将PINNs训练转化为序列化最大-最小问题,实现损失分量自适应平衡,并在多个方程上验证其相对误差显著低于现有自适应损失平衡算法。
2023-05-31 cs.AI cs.LG cs.NA
Improving Physics-Augmented Continuum Neural Radiance Field-Based Geometry-Agnostic System Identification with Lagrangian Particle Optimization
NTT Corporation(NTT公司)
针对 PAC-NeRF 在稀疏视角下因两步优化导致几何学习敏感的问题,本文提出拉格朗日粒子优化(LPO),在物理约束下跨整个视频序列优化粒子位置与特征,有效改善了几何校正与物理辨识性能。
2024-06-06 cs.AI cs.CV cs.GR
Learning Schwarzschild Geodesic Motion with Lagrangian Neural Networks
Bogazici University(博阿济济大学)
本研究针对史瓦西测地线学习挑战,提出解耦归一化与能量约束采样的改进,实现LNNs对弯曲时空测地线动力学的可靠学习,为复杂相对论系统建模提供新方向。
2026-10-12 cs.LG gr-qc
An adaptive augmented Lagrangian method for training physics and equality constrained artificial neural networks
University of Pittsburgh(匹兹堡大学)
针对PECANN在多样PDE约束下常规ALM停滞的问题,提出逐约束自适应罚参数的ALM并改进框架以支持小批量训练,在含噪正、反问题及雷诺数1000流动中验证有效。
2023-07-15 cs.LG physics.comp-ph physics.flu-dyn
Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Paderborn University(帕德博恩大学)
本文提出一种基于李群理论的框架,从离散运动观测中同时学习离散拉格朗日量及其对称群,从而自动识别守恒量,无需速度或动量数据,并通过变分后向误差分析与连续模型关联,在含噪情况下仍能提升模型性能。
2025-01-27 cs.LG math.SG
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation
University of Connecticut(康涅狄格大学)
网络修剪是一种广泛使用的技术,用于降低深度神经网络的计算成本和模型大小。然而,典型的三级流水线,即,训练、修剪和再训练(微调)显著地增加了总体训练路径。在本文中,我们开发了一个系统的重量修剪优化方法的基础上替代拉格朗日松弛(SLR),这是量身定制的,以克服困难所造成的离散性质的重量修剪问题,同时确保快速收敛。我们进一步加快收敛的SLR通过使用二次处罚。与其他最先进的方法相比,在训练阶段通过SLR获得的模型参数更接近其最优值。我们评估所提出的方法对图像分类任务,即,使用ImageNet的ResNet-18和ResNet-50,以及使用CIFAR-10的ResNet-18、ResNet-50和VGG-16,以及目标检测任务,即,使用COCO 2014的YOLOv 3和YOLOv 3-tiny以及使用TuSimple车道检测数据集的Ultra-Fast-Lane-Detection。实验结果表明,我们的基于SLR的权重修剪优化方法实现了更高的压缩率比国家的艺术在相同的精度要求。它还实现了高的模型精度,即使在硬修剪阶段没有再训练(减少了传统的三阶段修剪到两个阶段)。考虑到再训练时期的预算有限,我们的方法可以快速恢复模型的准确性。
2021-03-25 cs.CV cs.LG
Recovering Irreducible Three-Body Interactions with Lagrangian Neural Networks
Boğaziçi University(博加齐大学)
该研究利用拉格朗日神经网络,结合感知信号的采样策略,从轨迹数据中成功恢复了不可约的阿克西罗德-泰勒三体相互作用,为学习先验未知结构的相互作用定律提供了方法。
2026-11-13 cs.LG physics.atom-ph physics.comp-ph
Lagrangian Flow Networks for Conservation Laws
University of Basel(巴塞尔大学)
该研究提出拉格朗日流网络LFlows,通过时间条件的参数化微分同胚变换基准密度建模流体,天然满足质量守恒连续性方程,无需数值求解器或惩罚项,在2D、3D密度任务中精度更优且高效,还可用于鸟类迁徙建模。
2023-12-13 cs.LG physics.data-an physics.flu-dyn
Emulating Cosmic Structure Formation with a Lagrangian Neural Cellular Automaton
Stanford University(斯坦福大学);Kavli Institute for Particle Astrophysics and Cosmology(卡弗里粒子天体物理与宇宙学研究所);Leinweber Institute for Theoretical Physics(莱因韦伯理论物理研究所)
该研究提出拉格朗日神经细胞自动机(LNCA),以混合深度学习框架模拟宇宙结构形成,实现了非线性区域的高保真模拟,参数远少于同类模型,可作为重建宇宙初始条件的可靠可微正向模型。
2026-09-21 astro-ph.CO astro-ph.IM cs.LG
Learning to Advect: A Neural Semi-Lagrangian Architecture for Weather Forecasting
Recherche en prévision numérique atmosphérique, Environnement et Changement climatique Canada(环境与气候变化加拿大大气数值预报研究);Department of Earth, Ocean and Atmospheric Sciences, University of British Columbia(不列颠哥伦比亚大学地球、海洋和大气科学系);Department of Computer Science, University of Saskatchewan(萨斯喀彻温大学计算机科学系);Department of Mechanical Engineering, Rochester Institute of Technology(罗切斯特理工学院机械工程系)
本文提出PARADIS模型,通过将输运、扩散和反应块分解为 latent 变量,实现天气预测的物理结构化操作,提升预测精度与谱保真度。
2026-09-21 cs.LG physics.ao-ph
Investigating Lagrangian Neural Networks for Infinite Horizon Planning in Quadrupedal Locomotion
Robert Bosch Center for Cyber-Physical Systems, Indian Institute of Science, Bengaluru(罗伯特·博世协同物理系统中心,印度科学研究院,班加罗尔)
本研究评估拉格朗日神经网络在四足机器人无限时域规划中的四种动力学模型,发现其相比基线在样本效率(10倍)和预测精度(2-10倍)上显著提升,并通过对角化方法实现实时控制。
2025-06-19 cs.LG cs.RO
Variational Autoencoding the Lagrangian Trajectories of Particles in a Combustion System
Washington University in St. Louis(圣路易斯华盛顿大学);Illinois Institute of Technology(伊利诺伊理工学院)
我们引入了一种深度学习方法来模拟被困在混沌循环火焰中的粒子的运动。粒子的拉格朗日轨迹,使用高速摄像机捕获,随后在三维空间中重建,用于训练变分自动编码器(VAE),它包括多层卷积神经网络。我们表明,这些轨迹,这是在实验中确定的统计代表,可以使用VAE网络生成。我们的模型的性能进行评估的准确性和泛化的输出。
2018-12-12 cs.CV cs.LG physics.data-an
Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
深度学习在许多任务中取得了惊人的结果,这些任务具有大量数据和在训练数据附近的泛化。对于许多重要的现实世界的应用程序,这些要求是不可行的,需要额外的先验知识的任务域来克服由此产生的问题。特别是,学习基于模型的控制的物理模型需要从较少的样本(通常是实时在线收集的)进行鲁棒外推,模型误差可能导致系统的严重损坏。直接结合物理洞察力使我们能够获得一种新的深度模型学习方法,该方法可以很好地外推,同时需要更少的样本。作为第一个例子,我们提出了深层拉格朗日网络(DeLaN)作为一个深层网络结构,拉格朗日力学已经被施加。DeLaN可以学习机械系统的运动方程(即,系统动力学)与深度网络有效地结合,同时确保物理兼容性。由此产生的DeLaN网络在机器人跟踪控制方面表现非常好。所提出的方法不仅在学习速度上优于以前的模型学习方法,而且对新轨迹的外推和实时在线学习具有显著改进和更鲁棒性
2019-07-10 cs.LG cs.RO cs.SY
Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN
Northwestern University(西北大学);Google Inc.(谷歌公司)
我们将生成对抗网络(GANs)的极大极小博弈与寻找凸优化问题的拉格朗日函数的鞍点联系起来,其中生成器输出和生成器输出的分布分别扮演原始变量和对偶变量的角色。该公式显示了标准GAN训练过程和凸优化的原始-对偶次梯度方法之间的联系。这种内在联系不仅为在函数空间中训练GANs提供了理论上的收敛性证明,而且还启发了一种新的训练目标函数。修正后的目标函数迫使发电机输出的分布根据原始-对偶次梯度方法沿方向更新。一个玩具的例子表明,所提出的方法是能够解决模式坍塌,在这种情况下,不能避免的标准GAN或Wasserstein GAN。在高斯混合合成数据和真实图像数据集上的实验证明了该方法在生成不同样本时的性能。
2018-02-06 cs.LG stat.ML
Error-correcting neural networks for semi-Lagrangian advection in the level-set method
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一个机器学习框架,融合图像超分辨率技术与被动,标量运输的水平集方法。在这里,我们调查我们是否可以计算的飞行,数据驱动的校正,以尽量减少在粗网格演化的接口的数值粘度。所提出的系统的出发点是半拉格朗日公式。并且,为了减少数值耗散,我们引入了误差量化多层感知器。该神经网络的作用是改进数值估计的表面轨迹。为此,它在单个时间帧内处理移动前沿附近选定顶点的局部水平集、速度和位置数据。因此,我们的主要贡献是一种新型的机器学习增强传输算法,该算法与选择性重新间隔一起运行,并与传统平流交替运行,以保持调整后的界面轨迹平滑。因此,我们的程序比基于全扫描卷积的应用程序更有效,因为它只集中在自由边界周围的计算工作。此外,我们通过各种测试表明,我们的策略是有效的,在抵消数值扩散和质量损失。例如,在简单的平流问题中,我们的方法可以达到与基线方案相同的精度,分辨率是基线方案的两倍,但成本只有基线方案的一小部分。同样,我们的混合技术可以为结晶过程产生可行的凝固前沿。另一方面,切向剪切流和高度变形的模拟可以沉淀偏差工件和推理恶化。同样,严格的设计速度约束可能会限制我们的求解器的应用程序,涉及快速接口的变化问题。在后一种情况下,我们已经确定了几个机会,以提高鲁棒性,而不放弃我们的方法的基本概念。
2022-09-28 cs.LG cs.NA math.NA