Data-Driven Radio Propagation Modeling using Graph Neural Networks
Orange Labs(奥兰治实验室)
针对传统无线电传播物理模型准确性与灵活性不足的问题,提出将环境转为图表示、用图神经网络从真实数据学习传播特性的方法,在速度和精度上优于经典方法,首次实现仅靠点测量生成信号覆盖图。
2025-01-08 cs.AI cs.LG cs.NI
Equilibrium Propagation for Learning in Lagrangian Dynamical Systems
Laboratoire d’Information Quantique CP224, Universit\'e libre de Bruxelles (ULB), Av. F. D. Roosevelt 50, 1050 Bruxelles, Belgium
本文将平衡传播扩展到拉格朗日动力系统,通过作用量极值化和轨迹微扰实现无需时间反向传播的高效参数训练,并给出其与量子平衡传播的联系。
2025-07-18 cs.LG nlin.CD physics.data-an
Zonotope Domains for Lagrangian Neural Network Verification
UT Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
神经网络验证的目的是为给定输入范围的神经网络的输出提供可证明的边界。在这个领域中,值得注意的先前工作要么使用抽象域生成边界,这保留了网络中中间神经元之间的一些依赖关系;要么将验证框定为优化问题,并使用拉格朗日方法解决松弛问题。后一种技术的一个关键缺点是每个神经元都是独立处理的,从而忽略了重要的神经元相互作用。我们提供了一种方法,合并这两个线程,并使用zonotopes内的拉格朗日分解。至关重要的是,我们可以将验证深度神经网络的问题分解为许多2层神经网络的验证。虽然这些问题都是可证明的困难,我们提供了有效的放松方法,是服从有效的双上升程序。我们的技术产生的界限,提高了线性规划和拉格朗日为基础的验证技术在时间和约束的紧密性。
2022-10-14 cs.LG stat.ML
Neural Optimal Transport with Lagrangian Costs
FAIR, Meta(Meta FAIR)
研究拉格朗日代价下的概率测度最优传输问题,提出一种无需 ODE 求解器即可高效计算测地线并输出拉格朗日最优传输映射的神经计算方法。
2024-06-01 cs.LG stat.ML
Lagrangian Decomposition for Neural Network Verification
University of Oxford(牛津大学);DeepMind(深度思考)
神经网络验证的一个基本组成部分是计算其输出值的界限。以前的方法要么使用现成的求解器,丢弃问题结构,要么进一步放松问题,使边界不必要地宽松。我们提出了一种新的方法的基础上拉格朗日分解。我们的配方承认一个有效的超梯度上升算法,以及改进的邻近算法。这两种算法都提供了三个优点:(i)它们产生的边界可证明至少与依赖于拉格朗日松弛的先前对偶算法一样紧;(ii)它们基于类似于神经网络层的前向/后向传递的操作,因此易于并行化,适合GPU实现,并且能够利用问题的卷积结构;以及(iii)它们允许随时停止,同时仍然提供有效的边界。从经验上讲,我们表明,我们获得的界限可比现成的求解器在一小部分的运行时间,并获得更严格的界限在同一时间以前的对偶算法。这导致了在采用形式化验证的边界时的总体速度提高。我们的算法代码可以在https://github.com/oval-group/decomposition-plnn-bounds上找到。
2020-06-17 cs.LG stat.ML
Lagrangian-based Equilibrium Propagation: generalisation to arbitrary boundary conditions & equivalence with Hamiltonian Echo Learning
University of Groningen(格罗宁根大学);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL(里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、中央理工-里尔高等电力学院,UMR 9189 - CRIStAL);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究中心);The University of Sheffield(谢菲尔德大学)
本文提出广义拉格朗日平衡传播(GLEP),扩展了平衡传播的变分公式以适应时变输入,并展示哈密顿回声学习(HEL)作为GLEP的特例,同时指出HEL继承了平衡传播在硬件实现中的优势。
2026-04-13 cs.LG
A Lagrangian Dual-based Theory-guided Deep Neural Network
PengCheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学);Peking University(北京大学)
理论引导神经网络(Theory-guided Neural Network,TgNN)是一种通过引入科学知识或物理信息来提高神经网络结构有效性和效率的方法。尽管取得了巨大的成功,但理论引导的(深度)神经网络在训练过程中保持训练数据和领域知识之间的权衡时具有一定的局限性。本文提出了一种基于拉格朗日对偶的TgNN(TgNN-LD)来提高TgNN的有效性。我们将原来的损失函数转换成一个约束形式的项目较少,其中偏微分方程(PDE),工程控制(EC),专家知识(EK)被视为约束,每个约束一个拉格朗日变量。这些拉格朗日变量被纳入观测数据和相应的约束条件之间实现公平的权衡,以提高预测精度,并节省时间和计算资源调整的ad-hoc程序。为了研究所提出的方法的性能,原来的TgNN模型与一组优化的权重值调整ad-hoc程序进行了比较,地下水流问题,与他们的L2误差,R平方(R2),和计算时间进行了分析。实验结果证明了拉格朗日对偶TgNN的优越性。
2020-08-24 cs.LG math.OC stat.ML
Uncertainty propagation in neural networks for sparse coding
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
提出了一种通过软阈值非线性传播不确定性的新方法。在每一层,目标向量的当前分布被表示为尖峰和平板分布,其表示每个变量为零或高斯分布的概率。使用所提出的不确定性传播方法,导出归一化常数的梯度,其可用于更新权重分布。利用提出的不确定性传播方法和贝叶斯推断算法,设计了一种新的稀疏编码贝叶斯神经网络。
2018-11-29 cs.LG stat.ML
Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?
Technion, Israel(以色列理工学院);Columbia University(哥伦比亚大学)
深度神经网络通常用随机权重初始化,选择方差以促进信号传播和稳定梯度。人们还认为,多样性的功能是这些初始化的一个重要属性。我们通过将几乎所有权重初始化为$0$来构建具有相同特征的深度卷积网络。该架构还实现了完美的信号传播和稳定的梯度,并在标准基准测试中实现了高精度。这表明随机的、多样的初始化是训练神经网络所必需的\textit{not}。训练这个网络的一个基本要素是对称性破缺机制;我们研究了这种现象,发现标准的GPU操作是不确定的,可以作为对称性破缺的充分来源来进行训练。
2020-07-02 cs.LG stat.ML
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia(微软亚洲研究院)
随机梯度下降(SGD)在训练深度神经网络方面取得了巨大成功,其中梯度是通过反向传播计算的。然而,不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播,它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题,这需要很高的计算成本。然后,我们减少了近似的后匹配传播,并提出了一种算法,变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络,并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Lagrangian Density Space-Time Deep Neural Network Topology
作为一种基于网络的函数逼近器,我们提出了一种"拉格朗日密度时空深度神经网络"(LDDNN)拓扑。它有资格进行无监督的训练和学习,以预测潜在的物理科学控制现象的动态。原型网络尊重自然的基本守恒定律,通过简洁描述的拉格朗日和哈密顿密度的系统由一个给定的数据集的广义非线性偏微分方程。其目标是通过神经网络参数化拉格朗日密度,并直接通过数据从中学习,而不是手工制作物理系统的拉格朗日密度的精确时间依赖性"作用解"。通过这种新颖的方法,可以通过基于底层物理微分算子构建定制的网络互连拓扑、激活和损失/成本函数,来理解和打开自然物理动力学的"黑盒深度机器学习表示"的信息推理方面。本文将讨论神经网络在拉格朗日和哈密顿域中的统计物理解释。
2022-06-30 cond-mat.stat-mech cs.LG math.ST
Lagrangian and Hamiltonian Neural Networks With a Dissipative System
本研究将拉格朗日与哈密顿神经网络应用于含显式时间依赖的耗散系统,验证其能预测阻尼振荡器行为并学习潜在力学量,揭示时间依赖下的重要性质。
2026-09-29 cs.LG physics.class-ph
Lagrangian neural ODEs: Measuring the existence of a Lagrangian with Helmholtz metrics
Interdisciplinary Center for Scientific Computing(交叉科学计算中心);Heidelberg University(海德堡大学);Astronomisches Rechen-Institut der Universität Heidelberg(海德堡大学天文计算研究所)
针对神经ODE解未必满足欧拉-拉格朗日方程的问题,提出亥姆霍兹度量量化ODE与物理解的相似度,结合二阶神经ODE形成拉格朗日神经ODE,可直接学习欧拉-拉格朗日方程且无额外推理成本,仅用位置数据能区分相关系统并改进解。
2025-11-10 cs.LG math.DS physics.comp-ph
Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics
Siemens AG, Corporate Technology(西门子股份公司,企业技术部);Technical University of Munich(慕尼黑工业大学)
识别准确的动态模型是各种技术系统的仿真和控制所必需的。然而,在许多重要的实际应用中,两种主要的建模方法往往无法满足要求:第一原理方法具有高偏差,而数据驱动建模往往具有高方差。此外,纯粹基于数据的模型通常需要大量数据,并且通常难以解释。在本文中,我们提出了物理信息神经常微分方程(PINODE),一个混合模型,结合了两种建模技术,以克服上述问题。这种新方法直接将拉格朗日力学中的运动方程引入到深层神经网络结构中。因此,我们可以整合现有的物理知识,并使用函数逼近-e。例如,在一个实施例中,神经网络--它不是。该方法进行了测试与现实世界的物理系统具有很大的不确定性的前向模型。由此产生的模型是准确和数据效率,同时确保物理兼容性。有了这个,我们展示了一种方法,有益地融合物理洞察力与真实数据。我们的研究结果是基于模型的控制和系统辨识的机械系统的兴趣。
2020-05-29 cs.LG stat.ML
Belief Propagation Neural Networks
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
学习神经求解器已成功地用于解决组合优化和决策问题。然而,这些问题的更一般的计数变体在很大程度上仍然通过手工制作的求解器来解决。为了弥补这一差距,我们引入了信念传播神经网络(BPNNs),一类参数化的运营商,操作因子图和广义的信念传播(BP)。在其最严格的形式中,BPNN层(BPNN-D)是一个学习的迭代算子,可证明对于任何参数的选择都保持了BP的许多理想属性。从经验上讲,我们表明,通过训练BPNN-D学习比原始BP更好地执行任务:它在Ising模型上的收敛速度快1.7倍,同时提供更严格的边界。在具有挑战性的模型计数问题上,BPNN计算估计值的速度比最先进的手工方法快100倍,同时返回具有可比质量的估计值。
2020-07-01 cs.LG stat.ML
Generalized Lagrangian Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出广义拉格朗日神经网络(GLNNs),通过基于广义拉格朗日方程建模,将LNNs扩展至非保守系统,在提升预测精度的同时保证拉格朗日表示,经一维和二维实验验证了其优越性。
2024-01-09 cs.LG cs.NA math.DS
Training neural networks under physical constraints using a stochastic augmented Lagrangian approach
Argonne National Laboratory(阿贡国家实验室);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
我们研究了XGC中5维动力学聚变模拟中的编码器-解码器神经网络的物理约束训练,以逼近Fokker-Planck-Landau碰撞算子。为了训练这个网络,我们提出了一个随机增广拉格朗日方法,利用pyTorch的本地随机梯度下降法来解决内部无约束最小化子问题,配对的启发式更新的惩罚因子和拉格朗日乘子在外部增广拉格朗日循环。我们对单个离子种类的情况下,与自碰撞和碰撞对电子的训练结果表明,所提出的随机增广拉格朗日方法可以实现更高的模型预测精度比训练与固定惩罚方法为我们的应用问题,具有足够高的精度在动力学模拟的实际应用。
2020-09-15 cs.LG math.OC physics.comp-ph
Newtonian and Lagrangian Neural Networks: A Comparison Towards Efficient Inverse Dynamics Identification
Laboratory of Machine Tools(机械工程加工实验室);Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany(机械工程数据科学研究所,亚琛工业大学,德国)
本研究比较牛顿与拉格朗日神经网络在工业机器人逆动力学辨识中的表现,发现估计电机扭矩时牛顿网络更有效,因拉格朗日网络未显式建模耗散扭矩。
2025-06-22 cs.LG cs.RO
Learning Neural Feedback Linearization for Data-driven Systems via Augmented Lagrangian
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
本文提出一种数据驱动框架,通过将相对阶条件融入学习过程,用神经李导数替代传统组件实现反馈线性化,并建立闭环稳定性条件,在直流电机上验证了有效性。
2026-09-23 cs.LG
Lagrangian Neural Networks
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Google Research(谷歌研究院);DeepMind;Flatiron Institute(熨斗研究所);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
世界的精确模型是建立在其基本对称性的概念之上的。在物理学中,这些对称性对应于守恒定律,例如能量和动量。然而,尽管神经网络模型在物理科学中的应用越来越多,但它们很难学习这些对称性。在本文中,我们提出了拉格朗日神经网络(LNNs),它可以参数化任意拉格朗日使用神经网络。与学习哈密顿量的模型相比,LNN不需要正则坐标,因此在正则动量未知或难以计算的情况下表现良好。与以前的方法不同,我们的方法不限制学习能量的函数形式,并将为各种任务生成节能模型。我们测试我们的方法在一个双摆和相对论粒子,展示能量守恒的基线方法引起耗散和建模的相对论没有正则坐标的哈密顿方法失败。最后,我们展示了如何使用拉格朗日图网络将该模型应用于图和连续系统,并在一维波动方程上进行了演示。
2020-07-30 cs.LG math.DS physics.comp-ph
History-informed Lagrangian Neural Networks
College of Intelligent Systems Science and Engineering(智能系统科学与工程学院);Harbin Engineering University(哈尔滨工程大学)
该研究针对拉格朗日神经网络需完整状态输入、参数适应性差的问题,提出HiLNN,通过循环编码器提取历史上下文调制系统参数,经RK4推演优化,在多类系统上实现更优长时程预测精度与能量保持。
2026-08-14 cs.LG
Latent-Lagrangian Neural Networks for Reduced Order Modeling of Non-autonomous Nonlinear Dynamical Systems
Université Paris-Saclay(巴黎萨克雷大学);CEA List(法国原子能委员会信息技术与系统实验室)
本文提出潜变量拉格朗日神经网络框架,通过学习潜坐标与能量函数,结合力监督,实现受迫非线性动力系统的降阶建模,并验证了其泛化能力。
2026-10-06 cs.CE cs.LG
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology(浦项科技大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们提出了一种新的保守的制定解决动力学方程,通过神经网络。更准确地说,我们制定的学习问题作为一个约束最优化问题的约束,代表物理守恒定律。通过拉格朗日对偶性,将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束,我们证明了更准确的近似的解决方案的误差和守恒定律,动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
LIRIS - UMR 5205 CNRS(法国国家科学研究中心LIRIS联合研究单位5205);Ecole Centrale de Lyon(里昂中央理工学院);LVMH Recherche - Parfums et cosmetiques(路威酩轩香水化妆品研究中心)
神经网络缺乏透明度仍然是其使用的主要突破口。分层相关性传播技术构建热图,表示模型决策中每个输入的相关性。相关性从深层神经网络的最后一层向后传播到第一层。分层相关传播不管理规范化层,在这项工作中,我们提出了一种方法,包括规范化层。具体来说,我们构建了一个等效的网络,融合了归一化层和卷积层或全连接层。用我们的方法在MNIST和CIFAR 10数据集上获得的热图对于卷积层来说更准确。我们的研究还防止了在包括连接层和归一化层的组合的网络中使用分层相关传播。
2020-02-24 cs.AI cs.LG stat.ML
Smooth Inter-layer Propagation of Stabilized Neural Networks for Classification
School of Computing(计算学院);National University of Singapore(新加坡国立大学);IBM Research(IBM研究院)
最近的工作研究了深度神经网络在图像分类中表现出色的原因。我们一方面研究批量归一化,另一方面研究残差网络的动力系统观点。我们的目标是理解ResNets层间传播的稳定性和平滑性的概念,以便解释它们何时有助于显着增强性能。我们假设,这种稳定性对于训练后的ResNet进行传输是非常重要的。
2018-09-29 cs.AI cs.LG stat.ML
Minimal Effort Back Propagation for Convolutional Neural Networks
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
由于传统的神经网络在反向传播过程中消耗大量的计算资源,\citet{Sun2017mePropSB}提出了一种简单而有效的技术来缓解这个问题。在该技术中,仅计算全梯度的一小部分来更新模型参数。在本文中,我们将这种技术扩展到卷积神经网络(CNN)中,以减少反向传播的计算量,并在CNN中得到了令人惊讶的结果:只有5%的梯度被传递回来,但该模型仍然达到了与传统CNN相同的效果,甚至更好。我们还表明,梯度的顶部$k$选择导致反向传播中的稀疏计算,这可能会为CNN中卷积运算的高计算复杂性带来显着的计算益处。
2017-09-18 cs.LG cs.NE stat.ML
Augmented Lagrangian Predictive Coding
Sakana AI
提出增广拉格朗日预测编码(PC-ALM),通过层局部拉格朗日乘子累积约束误差,使局部更新对齐反向传播梯度,在深度网络中匹配反向传播性能。
2026-11-13 cs.LG
Learning representations in Bayesian Confidence Propagation neural networks
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
层次表示的无监督学习是近年来深度学习中最具活力的研究方向之一。在这项工作中,我们研究生物启发的无监督策略的神经网络的基础上,当地的赫布学习。我们提出了新的机制来扩展贝叶斯置信度验证神经网络(BCPNN)的架构,并证明了它们的无监督学习显着的隐藏表示的MNIST数据集上测试时的能力。
2020-03-27 cs.LG cs.NE stat.ML
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi(印度德里理工学院)
物理世界的现实模型依赖于可微对称性,而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明,一个系统的基本对称性可以很容易地通过一个神经网络时,提供了一个适当的归纳偏置学习。然而,这些模型仍然存在一些问题,例如无法推广到任意系统大小,可解释性差,最重要的是,无法学习平移和旋转对称性,这分别导致线性和角动量守恒定律。在这里,我们提出了一个动量守恒拉格朗日神经网络(MCLNN),学习系统的拉格朗日,同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统,和重力系统,展示了能量和动量守恒。我们还表明,开发的模型可以推广到任何任意大小的系统。最后,我们讨论了MCLNN的可解释性,它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
Lagrangian Neural Style Transfer for Fluids
ETH Zurich(苏黎世联邦理工学院)
艺术地控制流体模拟的形状、运动和外观是视觉效果制作中的主要挑战。在本文中,我们提出了一种神经风格的转移方法,从图像到三维流体制定的拉格朗日观点。与基于网格的技术相比,使用粒子进行样式传递具有独特的优点。属性存储在粒子上,因此通过粒子运动进行简单的传输。这本质上确保了优化的风格化结构的时间一致性,并显著提高了所得质量。同时,网格方法的风格化速度场的昂贵的递归对齐是不必要的,将计算时间减少到不到一个小时,并使神经流风格化在生产环境中实用。此外,拉格朗日表示改进了艺术控制,因为它允许多流体风格化和来自图像的一致颜色转移,并且该方法的通用性同样能够实现烟雾和液体的风格化。
2020-05-02 cs.GR cs.LG
Equilibrium Propagation for Complete Directed Neural Networks
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所));University of Lisbon(里斯本大学);RPI(伦斯勒理工学院);Instituto de Telecomunicações(电信研究所)
人工神经网络是监督学习最成功的方法之一,最初受到生物学对应物的启发。然而,人工神经网络最成功的学习算法,反向传播,被认为是生物学上不可信的。我们有助于生物学上合理的神经元学习的主题,建立和扩展的平衡传播学习框架。具体来说,我们介绍:一个新的神经元动力学和学习规则的任意网络架构;一个稀疏诱导方法能够修剪不相关的连接;一个动态系统表征的模型,使用李雅普诺夫理论。
2020-06-17 cs.LG cs.NE stat.ML
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies(智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院,布拉格技术大学)
本文提出LUPIN模型,通过可微半拉格朗日外推与双U-Net结构,将物理信息融入降水临近预报,实现端到端GPU加速训练,并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
An Analytic Solution to Covariance Propagation in Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种无样本矩传播技术,通过推导非线性激活函数协方差的解析解,精确表征神经网络的输入-输出分布,提升了深度学习系统不确定性量化的准确性与效率。
2024-03-24 cs.AI cs.LG stat.ML
Integrating Lagrangian Neural Networks into the Dyna Framework for Reinforcement Learning
本文提出将拉格朗日神经网络整合到Dyna框架中,以提升基于模型的强化学习中动力学建模的准确性与效率。
2026-03-09 cs.LG cs.SY eess.SY
Lagrangian neural networks for nonholonomic mechanics
Departamento de Matemática, Universidad Nacional del Sur(国家南方大学数学系);Centro de Matemática de La Plata, Universidad Nacional de La Plata(拉普拉塔国立大学拉普拉塔数学中心)
本文将Lagrangian Neural Networks扩展到非完整约束力学系统,通过在学习中显式纳入约束,提升轨迹精度、约束满足度与能量保持性能。
2025-07-27 cond-mat.dis-nn cs.ET cs.LG
Learning Relativistic Geodesics and Chaotic Dynamics via Stabilized Lagrangian Neural Networks
Department of Physics, Bogazici University, Istanbul, Turkey(物理系,博兹达奇大学,伊斯坦布尔,土耳其);Department of Computer Engineering, Bogazici University, Istanbul, Turkey(计算机工程系,博兹达奇大学,伊斯坦布尔,土耳其)
通过改进的稳定拉格朗日神经网络,实现了对非相对论和广义相对论测地运动的拉格朗日量学习,并在复杂系统中展示了更高的稳定性和性能。
2026-01-18 cs.LG
Dissipative Lagrangian Neural Networks for the Interpretable Modelling of Passive Mechanical Systems
University of Cambridge(剑桥大学)
本文提出dLNN,通过新型耗散力参数化实现机械系统动力学的可解释建模,在双摆、工业机器人任务中性能优于现有拉格朗日架构,还能提取符号模型降低计算开销。
2026-10-14 cs.CE cs.LG
LagNetViP: A Lagrangian Neural Network for Video Prediction
Princeton University(普林斯顿大学)
视频预测的主导范例依赖于不透明的过渡模型,其中运动方程和系统的基本物理量都不容易推断。由牛顿第二定律定义的运动方程描述了物理系统状态的时间演化,因此可以应用于确定未来的系统状态。在本文中,我们介绍了一种视频预测模型,其中运动方程是从底层物理量的学习表示显式构造的。为了实现这一点,我们同时学习低维状态表示和系统拉格朗日。拉格朗日的动能和势能项是明确建模和低维的运动方程,明确使用欧拉-拉格朗日方程。我们证明了这种方法在修改后的OpenAI健身房Pendulum-v0和Acrobot环境中渲染的图像序列上进行视频预测的有效性。
2020-10-24 cs.CV cs.LG
Learning and Forecasting Multiscale Spatiotemporal Epidemic Dynamics with Lagrangian-Eulerian Graph Neural ODEs
提出LE-EpiGNODE模型,用拉格朗日-欧拉分解的机制引导神经算子替代通用消息传递,在14种合成机制、3种COVID-19场景等评估中,长程预测误差较最佳基线降低17.7%-40.0%,实现可靠长程流行病预测。
2026-10-16 cs.LG
Simplifying Hamiltonian and Lagrangian Neural Networks via Explicit Constraints
New York University(纽约大学);Cornell University(康奈尔大学)
对物理世界的推理需要具有正确归纳偏差的模型来学习潜在的动力学。最近的工作提高了预测轨迹的泛化能力,通过学习系统的哈密顿量或拉格朗日量,而不是直接学习微分方程。虽然这些方法使用广义坐标编码的系统的约束,我们表明,嵌入系统到笛卡尔坐标和执行约束显式与拉格朗日乘子大大简化了学习问题。我们介绍了一系列具有挑战性的混沌和扩展体系统,包括N-螺旋,弹簧耦合,磁场,刚性转子和陀螺仪的系统,推动目前的方法的极限。我们的实验表明,具有显式约束的笛卡尔坐标在精度和数据效率方面提高了100倍。
2020-10-26 cs.LG math.DS physics.comp-ph
Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition
University of Oxford(牛津大学);Deepmind
本文改进了用于形式化证明神经网络输入输出性质的分支定界算法的可扩展性。首先,我们提出了新的边界算法的基础上拉格朗日分解。以前的工作已经使用现成的求解器来解决松弛在每个节点的BaB树,或构造较弱的松弛,可以有效地解决,但导致不必要的弱边界。我们的配方限制优化的对偶域,保证包含最佳的子空间,从而加速收敛。此外,它允许大规模并行实现,这可以通过现代深度学习框架进行GPU加速。其次,我们提出了一种新的基于激活的分支策略。通过耦合一个廉价的启发式与快速的双重绑定,我们的分支方案大大减少了大小的BaB树相比,以前的探试法。此外,它与基于学习算法的最新策略具有竞争力,而没有其大的离线训练成本。最后,我们设计了一个BaB框架,命名为分支和双网络界(BaDNB),基于我们的新的边界和分支算法。我们表明,BaDNB优于以前的完整的验证系统的大幅度,削减平均验证时间的因素高达50对抗性的鲁棒性。
2021-04-14 cs.LG cs.LO stat.ML
An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity
The Hong Kong Polytechnic University(香港理工大学)
带有一组稀疏正则化项的Leaky ReLU网络近年来得到了广泛的应用。然而,训练这样的网络会产生一个非光滑非凸最优化问题,并且缺乏确定性地计算稳定点的方法。本文首先通过引入辅助变量和附加约束,解决了原最优化问题中的多层复合项。我们证明了新模型有一个非空有界的解集,并且它的可行解集满足Mangasarian-Fromovitz约束规格。此外,我们展示了新模型和原问题之间的关系。值得注意的是,我们提出了一个不精确的增广拉格朗日算法求解新的模型,并显示该算法的收敛到KKT点。数值实验表明,我们的算法是更有效的训练稀疏漏ReLU神经网络比一些著名的算法。
2022-05-11 cs.LG math.OC
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington(华盛顿大学电气与计算机工程系)
利用深度神经网络预测交流最优潮流(ACOPF)问题的解一直是一个活跃的研究方向。然而,由于ACOPF是非凸的,它是很难构建一个良好的数据集,包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战,我们提出了一种基于拉格朗日的方法。首先,我们使用神经网络来学习ACOPF问题的对偶变量。然后,我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果,因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线,39总线和118总线网络,我们表明,我们的方法是能够获得全局最优的成本,即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology(西门子技术)
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程,不允许状态的不连续性,从而限制了人们可以学习的系统的类别。然而,实际上,大多数物理系统(例如足式机器人和机器人操纵器)都涉及接触和碰撞,这会导致状态的不连续性。在本文中,我们介绍了一个可微接触模型,它可以捕捉接触力学:无摩擦/摩擦,以及弹性/非弹性。该模型还可以适应不等式约束,例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围,允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务(例如规划和控制)的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
Unsupervised Learning of Lagrangian Dynamics from Images for Prediction and Control
Princeton University(普林斯顿大学)
最近用神经网络对物理系统的动力学进行建模的方法加强了拉格朗日或哈密顿结构以改进预测和推广。然而,当坐标被嵌入到高维数据(如图像)中时,这些方法要么失去可解释性,要么只能应用于一个特定的例子。我们引入了一种新的无监督神经网络模型,该模型从图像中学习拉格朗日动力学,具有有利于预测和控制的可解释性。该模型推断拉格朗日动力学的广义坐标,同时学习与坐标感知变分自编码器(VAE)。VAE的目的是考虑到几何的物理系统组成的多个刚体在平面上。通过推断可解释的拉格朗日动力学,该模型学习物理系统属性,例如动能和势能,这使得能够长期预测图像空间中的动力学和基于能量的控制器的合成。
2022-09-01 cs.LG cs.SY eess.SY
Structured Deep Neural Network-Based Backstepping Trajectory Tracking Control for Lagrangian Systems
School of Mechatronic Engineering and Automation, Shanghai University(上海大学机电工程与自动化学院);School of Future Technology, Shanghai University(上海大学未来技术学院)
针对深度神经网络控制器的黑箱特性难以保证闭环稳定性的问题,提出基于结构化DNN的拉格朗日系统反步轨迹跟踪控制方法,可保证稳定性、给出误差显式上界,未知模型下结合改进LNN仍有效,经仿真验证。
2024-09-12 cs.LG cs.RO cs.SY
Uncertainty Propagation in Deep Neural Networks Using Extended Kalman Filtering
Massachusetts Institute of Technology(麻省理工学院);Department of Mathematics(数学系);Lincoln Laboratory Supercomputing Center(林肯实验室超级计算机中心)
本文提出利用扩展卡尔曼滤波在深度神经网络中传播和量化输入不确定性,方法在计算效率上优于现有技术,同时自然地将模型误差纳入输出不确定性。
2018-09-17 cs.LG cs.NA math.NA
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练:用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理,以实现快速有效的执行。然而,在训练中直接应用量化可能会导致显著的准确性损失,因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Formal derivation of Mesh Neural Networks with their Forward-Only gradient Propagation
University of Pisa(比萨大学)
本文提出了网状神经网络(MNN),一种新的架构,允许神经元连接在任何拓扑结构,以有效地路由信息。在MNN中,信息通过状态转换函数在神经元之间传播。状态和误差梯度,然后直接计算状态更新,而无需向后计算。的MNN架构和错误传播模式的形式化和张量代数推导。所提出的计算模型可以完全提供一个梯度下降过程,并可能适用于非常大规模的稀疏神经网络,由于其表达能力和训练效率,相对于基于反向传播和计算图的神经网络。
2021-09-30 cs.AI cs.LG cs.NE
Uncertainty Propagation through Trained Deep Neural Networks Using Factor Graphs
SRI International(SRI国际公司);Center for Vision Technologies(视觉技术中心)
针对深度神经网络偶然不确定性传播中单向信息流方法的局限,本文提出用因子图将其建模为非线性优化问题,并在三个数据集和两种架构上取得统计显著的性能提升。
2023-12-10 cs.AI cs.LG
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University(辅英大学);Shu-Te University(树德科技大学)
近年来,将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机(Support Vector Machine,SVM)和反向传播神经网络(Back Propagation Neural Network,BPN)在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明,通过性能指标之间的差异是边际的,支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
Lagrangian Neural Networks for Reversible Dissipative Evolution
University of Michigan(密歇根大学);Air Force Research Laboratory(空军研究实验室)
本研究提出基于Morse-Feshbach拉格朗日量的神经网络,通过维度加倍构建镜像表示来建模耗散系统,实现无需额外正则化的双向时间演化,并在菲克扩散实验中验证了可逆性。
2024-05-26 cond-mat.mtrl-sci cs.LG
Direct Interval Propagation Methods using Neural-Network Surrogates for Uncertainty Quantification in Physical Systems Surrogate Model
LMSD, Department of Mechanical Engineering, KU Leuven(KU莱顿机械工程系LMSD);RAM, Department of Mechanical Engineering, KU Leuven(KU莱顿机械工程系RAM);DistriNet, Department of Computer Science, KU Leuven(KU莱顿计算机科学系DistriNet);Visual Artificial Intelligence Laboratory, Oxford Brookes University(奥克斯福德布鲁克斯大学视觉人工智能实验室)
本文提出利用神经网络代理模型进行直接区间传播,以提高复杂系统不确定性量化效率,探讨了多层感知机和深度算子网络等方法在预测输出区间边界中的应用与性能。
2026-03-22 cs.LG
Neural Vortex Method: from Finite Lagrangian Particles to Infinite Dimensional Eulerian Dynamics
Zhejiang University(浙江大学);Dartmouth College(达特茅斯学院)
提出神经涡方法(NVM),通过涡表示网络和涡相互作用网络结合泊松求解器,从有限拉格朗日粒子学习无限维动力系统,实现高精度、低成本的流体动力学预测。
2023-09-13 cs.LG physics.comp-ph