Generalized Lagrangian Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出广义拉格朗日神经网络(GLNNs),通过基于广义拉格朗日方程建模,将LNNs扩展至非保守系统,在提升预测精度的同时保证拉格朗日表示,经一维和二维实验验证了其优越性。
2024-01-09 cs.LG cs.NA math.DS
Zonotope Domains for Lagrangian Neural Network Verification
UT Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
神经网络验证的目的是为给定输入范围的神经网络的输出提供可证明的边界。在这个领域中,值得注意的先前工作要么使用抽象域生成边界,这保留了网络中中间神经元之间的一些依赖关系;要么将验证框定为优化问题,并使用拉格朗日方法解决松弛问题。后一种技术的一个关键缺点是每个神经元都是独立处理的,从而忽略了重要的神经元相互作用。我们提供了一种方法,合并这两个线程,并使用zonotopes内的拉格朗日分解。至关重要的是,我们可以将验证深度神经网络的问题分解为许多2层神经网络的验证。虽然这些问题都是可证明的困难,我们提供了有效的放松方法,是服从有效的双上升程序。我们的技术产生的界限,提高了线性规划和拉格朗日为基础的验证技术在时间和约束的紧密性。
2022-10-14 cs.LG stat.ML
Newtonian and Lagrangian Neural Networks: A Comparison Towards Efficient Inverse Dynamics Identification
Laboratory of Machine Tools(机械工程加工实验室);Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany(机械工程数据科学研究所,亚琛工业大学,德国)
本研究比较牛顿与拉格朗日神经网络在工业机器人逆动力学辨识中的表现,发现估计电机扭矩时牛顿网络更有效,因拉格朗日网络未显式建模耗散扭矩。
2025-06-22 cs.LG cs.RO
Learning Neural Feedback Linearization for Data-driven Systems via Augmented Lagrangian
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
本文提出一种数据驱动框架,通过将相对阶条件融入学习过程,用神经李导数替代传统组件实现反馈线性化,并建立闭环稳定性条件,在直流电机上验证了有效性。
2026-09-23 cs.LG
Lagrangian Density Space-Time Deep Neural Network Topology
作为一种基于网络的函数逼近器,我们提出了一种"拉格朗日密度时空深度神经网络"(LDDNN)拓扑。它有资格进行无监督的训练和学习,以预测潜在的物理科学控制现象的动态。原型网络尊重自然的基本守恒定律,通过简洁描述的拉格朗日和哈密顿密度的系统由一个给定的数据集的广义非线性偏微分方程。其目标是通过神经网络参数化拉格朗日密度,并直接通过数据从中学习,而不是手工制作物理系统的拉格朗日密度的精确时间依赖性"作用解"。通过这种新颖的方法,可以通过基于底层物理微分算子构建定制的网络互连拓扑、激活和损失/成本函数,来理解和打开自然物理动力学的"黑盒深度机器学习表示"的信息推理方面。本文将讨论神经网络在拉格朗日和哈密顿域中的统计物理解释。
2022-06-30 cond-mat.stat-mech cs.LG math.ST
History-informed Lagrangian Neural Networks
College of Intelligent Systems Science and Engineering(智能系统科学与工程学院);Harbin Engineering University(哈尔滨工程大学)
该研究针对拉格朗日神经网络需完整状态输入、参数适应性差的问题,提出HiLNN,通过循环编码器提取历史上下文调制系统参数,经RK4推演优化,在多类系统上实现更优长时程预测精度与能量保持。
2026-08-14 cs.LG
Latent-Lagrangian Neural Networks for Reduced Order Modeling of Non-autonomous Nonlinear Dynamical Systems
Université Paris-Saclay(巴黎萨克雷大学);CEA List(法国原子能委员会信息技术与系统实验室)
本文提出潜变量拉格朗日神经网络框架,通过学习潜坐标与能量函数,结合力监督,实现受迫非线性动力系统的降阶建模,并验证了其泛化能力。
2026-10-06 cs.CE cs.LG
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology(浦项科技大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们提出了一种新的保守的制定解决动力学方程,通过神经网络。更准确地说,我们制定的学习问题作为一个约束最优化问题的约束,代表物理守恒定律。通过拉格朗日对偶性,将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束,我们证明了更准确的近似的解决方案的误差和守恒定律,动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi(印度德里理工学院)
物理世界的现实模型依赖于可微对称性,而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明,一个系统的基本对称性可以很容易地通过一个神经网络时,提供了一个适当的归纳偏置学习。然而,这些模型仍然存在一些问题,例如无法推广到任意系统大小,可解释性差,最重要的是,无法学习平移和旋转对称性,这分别导致线性和角动量守恒定律。在这里,我们提出了一个动量守恒拉格朗日神经网络(MCLNN),学习系统的拉格朗日,同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统,和重力系统,展示了能量和动量守恒。我们还表明,开发的模型可以推广到任何任意大小的系统。最后,我们讨论了MCLNN的可解释性,它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
A Lagrangian Dual-based Theory-guided Deep Neural Network
PengCheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学);Peking University(北京大学)
理论引导神经网络(Theory-guided Neural Network,TgNN)是一种通过引入科学知识或物理信息来提高神经网络结构有效性和效率的方法。尽管取得了巨大的成功,但理论引导的(深度)神经网络在训练过程中保持训练数据和领域知识之间的权衡时具有一定的局限性。本文提出了一种基于拉格朗日对偶的TgNN(TgNN-LD)来提高TgNN的有效性。我们将原来的损失函数转换成一个约束形式的项目较少,其中偏微分方程(PDE),工程控制(EC),专家知识(EK)被视为约束,每个约束一个拉格朗日变量。这些拉格朗日变量被纳入观测数据和相应的约束条件之间实现公平的权衡,以提高预测精度,并节省时间和计算资源调整的ad-hoc程序。为了研究所提出的方法的性能,原来的TgNN模型与一组优化的权重值调整ad-hoc程序进行了比较,地下水流问题,与他们的L2误差,R平方(R2),和计算时间进行了分析。实验结果证明了拉格朗日对偶TgNN的优越性。
2020-08-24 cs.LG math.OC stat.ML
Lagrangian Neural Style Transfer for Fluids
ETH Zurich(苏黎世联邦理工学院)
艺术地控制流体模拟的形状、运动和外观是视觉效果制作中的主要挑战。在本文中,我们提出了一种神经风格的转移方法,从图像到三维流体制定的拉格朗日观点。与基于网格的技术相比,使用粒子进行样式传递具有独特的优点。属性存储在粒子上,因此通过粒子运动进行简单的传输。这本质上确保了优化的风格化结构的时间一致性,并显著提高了所得质量。同时,网格方法的风格化速度场的昂贵的递归对齐是不必要的,将计算时间减少到不到一个小时,并使神经流风格化在生产环境中实用。此外,拉格朗日表示改进了艺术控制,因为它允许多流体风格化和来自图像的一致颜色转移,并且该方法的通用性同样能够实现烟雾和液体的风格化。
2020-05-02 cs.GR cs.LG
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies(智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院,布拉格技术大学)
本文提出LUPIN模型,通过可微半拉格朗日外推与双U-Net结构,将物理信息融入降水临近预报,实现端到端GPU加速训练,并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
Training neural networks under physical constraints using a stochastic augmented Lagrangian approach
Argonne National Laboratory(阿贡国家实验室);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
我们研究了XGC中5维动力学聚变模拟中的编码器-解码器神经网络的物理约束训练,以逼近Fokker-Planck-Landau碰撞算子。为了训练这个网络,我们提出了一个随机增广拉格朗日方法,利用pyTorch的本地随机梯度下降法来解决内部无约束最小化子问题,配对的启发式更新的惩罚因子和拉格朗日乘子在外部增广拉格朗日循环。我们对单个离子种类的情况下,与自碰撞和碰撞对电子的训练结果表明,所提出的随机增广拉格朗日方法可以实现更高的模型预测精度比训练与固定惩罚方法为我们的应用问题,具有足够高的精度在动力学模拟的实际应用。
2020-09-15 cs.LG math.OC physics.comp-ph
Integrating Lagrangian Neural Networks into the Dyna Framework for Reinforcement Learning
本文提出将拉格朗日神经网络整合到Dyna框架中,以提升基于模型的强化学习中动力学建模的准确性与效率。
2026-03-09 cs.LG cs.SY eess.SY
From Fixed Grids to Moving Particles:A Transferable Latent Operator for Fluid Dynamics
针对欧拉与拉格朗日流体动力学表示的不匹配问题,提出可迁移潜算子TLO,在五个基准测试中于两类任务均优于现有神经算子,经微调后性能进一步提升。
2026-08-18 cs.AI cs.GR cs.LG
Dissipative Lagrangian Neural Networks for the Interpretable Modelling of Passive Mechanical Systems
University of Cambridge(剑桥大学)
本文提出dLNN,通过新型耗散力参数化实现机械系统动力学的可解释建模,在双摆、工业机器人任务中性能优于现有拉格朗日架构,还能提取符号模型降低计算开销。
2026-10-14 cs.CE cs.LG
Learning Relativistic Geodesics and Chaotic Dynamics via Stabilized Lagrangian Neural Networks
Department of Physics, Bogazici University, Istanbul, Turkey(物理系,博兹达奇大学,伊斯坦布尔,土耳其);Department of Computer Engineering, Bogazici University, Istanbul, Turkey(计算机工程系,博兹达奇大学,伊斯坦布尔,土耳其)
通过改进的稳定拉格朗日神经网络,实现了对非相对论和广义相对论测地运动的拉格朗日量学习,并在复杂系统中展示了更高的稳定性和性能。
2026-01-18 cs.LG
LagNetViP: A Lagrangian Neural Network for Video Prediction
Princeton University(普林斯顿大学)
视频预测的主导范例依赖于不透明的过渡模型,其中运动方程和系统的基本物理量都不容易推断。由牛顿第二定律定义的运动方程描述了物理系统状态的时间演化,因此可以应用于确定未来的系统状态。在本文中,我们介绍了一种视频预测模型,其中运动方程是从底层物理量的学习表示显式构造的。为了实现这一点,我们同时学习低维状态表示和系统拉格朗日。拉格朗日的动能和势能项是明确建模和低维的运动方程,明确使用欧拉-拉格朗日方程。我们证明了这种方法在修改后的OpenAI健身房Pendulum-v0和Acrobot环境中渲染的图像序列上进行视频预测的有效性。
2020-10-24 cs.CV cs.LG
Learning and Forecasting Multiscale Spatiotemporal Epidemic Dynamics with Lagrangian-Eulerian Graph Neural ODEs
提出LE-EpiGNODE模型,用拉格朗日-欧拉分解的机制引导神经算子替代通用消息传递,在14种合成机制、3种COVID-19场景等评估中,长程预测误差较最佳基线降低17.7%-40.0%,实现可靠长程流行病预测。
2026-10-16 cs.LG
An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity
The Hong Kong Polytechnic University(香港理工大学)
带有一组稀疏正则化项的Leaky ReLU网络近年来得到了广泛的应用。然而,训练这样的网络会产生一个非光滑非凸最优化问题,并且缺乏确定性地计算稳定点的方法。本文首先通过引入辅助变量和附加约束,解决了原最优化问题中的多层复合项。我们证明了新模型有一个非空有界的解集,并且它的可行解集满足Mangasarian-Fromovitz约束规格。此外,我们展示了新模型和原问题之间的关系。值得注意的是,我们提出了一个不精确的增广拉格朗日算法求解新的模型,并显示该算法的收敛到KKT点。数值实验表明,我们的算法是更有效的训练稀疏漏ReLU神经网络比一些著名的算法。
2022-05-11 cs.LG math.OC
Neural Optimal Transport with Lagrangian Costs
FAIR, Meta(Meta FAIR)
研究拉格朗日代价下的概率测度最优传输问题,提出一种无需 ODE 求解器即可高效计算测地线并输出拉格朗日最优传输映射的神经计算方法。
2024-06-01 cs.LG stat.ML
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington(华盛顿大学电气与计算机工程系)
利用深度神经网络预测交流最优潮流(ACOPF)问题的解一直是一个活跃的研究方向。然而,由于ACOPF是非凸的,它是很难构建一个良好的数据集,包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战,我们提出了一种基于拉格朗日的方法。首先,我们使用神经网络来学习ACOPF问题的对偶变量。然后,我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果,因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线,39总线和118总线网络,我们表明,我们的方法是能够获得全局最优的成本,即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
Generating particle physics Lagrangians with transformers
Uppsala University(乌普萨拉大学);University of Southampton(南安普顿大学)
该研究将拉格朗日量类语言化,用transformer模型生成满足标准模型规范对称性的粒子物理拉格朗日量,准确率超90%且具备一定泛化能力,还开放了模型与数据集。
2025-01-16 cs.LG cs.SC hep-ph
Variational Autoencoding the Lagrangian Trajectories of Particles in a Combustion System
Washington University in St. Louis(圣路易斯华盛顿大学);Illinois Institute of Technology(伊利诺伊理工学院)
我们引入了一种深度学习方法来模拟被困在混沌循环火焰中的粒子的运动。粒子的拉格朗日轨迹,使用高速摄像机捕获,随后在三维空间中重建,用于训练变分自动编码器(VAE),它包括多层卷积神经网络。我们表明,这些轨迹,这是在实验中确定的统计代表,可以使用VAE网络生成。我们的模型的性能进行评估的准确性和泛化的输出。
2018-12-12 cs.CV cs.LG physics.data-an
Lagrangian Neural Networks
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Google Research(谷歌研究院);DeepMind;Flatiron Institute(熨斗研究所);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
世界的精确模型是建立在其基本对称性的概念之上的。在物理学中,这些对称性对应于守恒定律,例如能量和动量。然而,尽管神经网络模型在物理科学中的应用越来越多,但它们很难学习这些对称性。在本文中,我们提出了拉格朗日神经网络(LNNs),它可以参数化任意拉格朗日使用神经网络。与学习哈密顿量的模型相比,LNN不需要正则坐标,因此在正则动量未知或难以计算的情况下表现良好。与以前的方法不同,我们的方法不限制学习能量的函数形式,并将为各种任务生成节能模型。我们测试我们的方法在一个双摆和相对论粒子,展示能量守恒的基线方法引起耗散和建模的相对论没有正则坐标的哈密顿方法失败。最后,我们展示了如何使用拉格朗日图网络将该模型应用于图和连续系统,并在一维波动方程上进行了演示。
2020-07-30 cs.LG math.DS physics.comp-ph
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology(西门子技术)
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程,不允许状态的不连续性,从而限制了人们可以学习的系统的类别。然而,实际上,大多数物理系统(例如足式机器人和机器人操纵器)都涉及接触和碰撞,这会导致状态的不连续性。在本文中,我们介绍了一个可微接触模型,它可以捕捉接触力学:无摩擦/摩擦,以及弹性/非弹性。该模型还可以适应不等式约束,例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围,允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务(例如规划和控制)的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
Lagrangian Decomposition for Neural Network Verification
University of Oxford(牛津大学);DeepMind(深度思考)
神经网络验证的一个基本组成部分是计算其输出值的界限。以前的方法要么使用现成的求解器,丢弃问题结构,要么进一步放松问题,使边界不必要地宽松。我们提出了一种新的方法的基础上拉格朗日分解。我们的配方承认一个有效的超梯度上升算法,以及改进的邻近算法。这两种算法都提供了三个优点:(i)它们产生的边界可证明至少与依赖于拉格朗日松弛的先前对偶算法一样紧;(ii)它们基于类似于神经网络层的前向/后向传递的操作,因此易于并行化,适合GPU实现,并且能够利用问题的卷积结构;以及(iii)它们允许随时停止,同时仍然提供有效的边界。从经验上讲,我们表明,我们获得的界限可比现成的求解器在一小部分的运行时间,并获得更严格的界限在同一时间以前的对偶算法。这导致了在采用形式化验证的边界时的总体速度提高。我们的算法代码可以在https://github.com/oval-group/decomposition-plnn-bounds上找到。
2020-06-17 cs.LG stat.ML
Structured Deep Neural Network-Based Backstepping Trajectory Tracking Control for Lagrangian Systems
School of Mechatronic Engineering and Automation, Shanghai University(上海大学机电工程与自动化学院);School of Future Technology, Shanghai University(上海大学未来技术学院)
针对深度神经网络控制器的黑箱特性难以保证闭环稳定性的问题,提出基于结构化DNN的拉格朗日系统反步轨迹跟踪控制方法,可保证稳定性、给出误差显式上界,未知模型下结合改进LNN仍有效,经仿真验证。
2024-09-12 cs.LG cs.RO cs.SY
Lagrangian Neural Networks for Reversible Dissipative Evolution
University of Michigan(密歇根大学);Air Force Research Laboratory(空军研究实验室)
本研究提出基于Morse-Feshbach拉格朗日量的神经网络,通过维度加倍构建镜像表示来建模耗散系统,实现无需额外正则化的双向时间演化,并在菲克扩散实验中验证了可逆性。
2024-05-26 cond-mat.mtrl-sci cs.LG
Simplifying Hamiltonian and Lagrangian Neural Networks via Explicit Constraints
New York University(纽约大学);Cornell University(康奈尔大学)
对物理世界的推理需要具有正确归纳偏差的模型来学习潜在的动力学。最近的工作提高了预测轨迹的泛化能力,通过学习系统的哈密顿量或拉格朗日量,而不是直接学习微分方程。虽然这些方法使用广义坐标编码的系统的约束,我们表明,嵌入系统到笛卡尔坐标和执行约束显式与拉格朗日乘子大大简化了学习问题。我们介绍了一系列具有挑战性的混沌和扩展体系统,包括N-螺旋,弹簧耦合,磁场,刚性转子和陀螺仪的系统,推动目前的方法的极限。我们的实验表明,具有显式约束的笛卡尔坐标在精度和数据效率方面提高了100倍。
2020-10-26 cs.LG math.DS physics.comp-ph
Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs)
Hanbat National University(韩巴大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);Pohang University of Science and Technology(浦项科技大学)
本文提出AL-PINNs方法,将初始和边界条件作为约束,利用增广拉格朗日松弛将PINNs训练转化为序列化最大-最小问题,实现损失分量自适应平衡,并在多个方程上验证其相对误差显著低于现有自适应损失平衡算法。
2023-05-31 cs.AI cs.LG cs.NA
Improving Physics-Augmented Continuum Neural Radiance Field-Based Geometry-Agnostic System Identification with Lagrangian Particle Optimization
NTT Corporation(NTT公司)
针对 PAC-NeRF 在稀疏视角下因两步优化导致几何学习敏感的问题,本文提出拉格朗日粒子优化(LPO),在物理约束下跨整个视频序列优化粒子位置与特征,有效改善了几何校正与物理辨识性能。
2024-06-06 cs.AI cs.CV cs.GR