A unified sparse optimization framework to learn parsimonious physics-informed models from data
University of Washington(华盛顿大学)
机器学习(ML)正在重新定义科学和工程数据密集型领域的可能性。然而,将ML应用于物理科学中的问题带来了一系列独特的挑战:科学家们希望物理上可解释的模型能够(i)概括预测以前未观察到的行为,(ii)提供有效的预测预测(外推),以及(iii)可验证。自治系统必然会与不断变化和不确定的环境相互作用,从而激发了对能够基于物理原理(例如牛顿经典力学通用第二定律,$F=ma$)准确推断的模型的需求。标准的ML方法在预测插值机制中的动态方面表现出令人印象深刻的性能,但由此产生的模型往往缺乏可解释性,并且无法推广。我们引入了一个统一的稀疏优化框架,从数据中学习管理动力系统模型,从可能的函数库中选择动力学中的相关术语。由此产生的模型是简约的,有物理解释,并可以推广到新的参数制度。我们的框架允许使用非凸稀疏性促进正则化函数,并且可以适应于解决科学问题和数据集中的关键挑战,包括离群值,参数依赖性和物理约束。我们表明,该方法发现几个示例系统的简约动力学模型。这种灵活的方法可以针对与广泛的应用程序和数据集相关的独特挑战进行定制,提供了一个强大的基于ML的框架,用于从数据中学习物理系统的管理模型。
2020-07-02 cs.LG physics.comp-ph
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学)
本文提出了一个计算框架,产生合奏预测力学模型与不确定性量化(UQ)。首先,我们开发了一个因果发现算法,通过有向无环图(DAG)来推断在每个代表性体积元素(RVE)模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系,预测在导出的因果图中传播,同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子(摩擦界面的牵引分离定律,颗粒集合体的弹塑性模型)来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Interpretable Feature Engineering for Time Series Predictors using Attention Networks
Wells Fargo(富国银行)
带有时间序列预测器的回归问题在银行和许多其他应用领域中很常见。在本文中,我们使用多头注意力网络来开发可解释的功能,并使用它们来实现良好的预测性能。定制的注意力层明确地使用乘法交互,并构建以简约的方式捕获时间动态的特征工程头。卷积层用于组合多变量时间序列。我们还讨论了在建模过程中处理静态协变量的方法。可视化和解释工具用于解释结果,并解释输入和提取的特征之间的关系。模拟和真实数据集都被用来说明该方法的实用性。关键词:注意头,深度神经网络,可解释特征工程
2022-05-23 cs.LG
Forecasting VIX using interpretable Kolmogorov-Arnold networks
Yonsei University(延世大学);Ajou University(明知大学)
本文提出使用可解释的Kolmogorov-Arnold Networks (KANs)预测VIX,通过可学习样条激活函数和符号化提供闭式解与关键特征见解,在多数据集上以更少参数实现具竞争力的性能。
2025-02-03 cs.AI cs.CE cs.LG
Discovering New Interpretable Conservation Laws as Sparse Invariants
Massachusetts Institute of Technology(麻省理工学院);University of Southern California(南加州大学);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
本文提出稀疏不变量检测器SID,从已知微分方程中自动发现守恒定律,并在流体力学和大气化学实例中发现了超出专家已知数量的新守恒量。
2023-07-04 cs.LG math.DS nlin.SI
Discovering interpretable models of scientific image data with deep learning
Alan Turing Institute(阿兰·图灵研究所);University College London(伦敦大学学院);Institute for the Physics of Living Systems(生命系统物理研究所)
本文提出结合解耦表示学习、稀疏深度网络和符号回归的方法,在显微镜图像分类中构建高度简洁的可解释模型,以98%的黑盒准确率实现科学洞见提取。
2024-02-05 cs.LG
A Bayesian framework for discovering interpretable Lagrangian of dynamical systems from data
Indian Institute of Technology Delhi(德里印度理工学院)
提出一种稀疏贝叶斯框架,从有限数据中学习可解释的拉格朗日量,并自动推导哈密顿量,支持ODE和PDE描述,经六个离散与连续系统验证有效。
2023-10-10 cs.LG stat.ML
Novelty Detection and Learning from Extremely Weak Supervision
Lancaster University(兰卡斯特大学);Technical University, Sofia(索非亚技术大学)
在本文中,我们提供了一种方法和算法,它可以完全自主(无监督)检测新的类,并学习非常吝啬的训练启动(只有少数标记的数据样本)。此外,新的未知类可能会在稍后阶段出现,并且所提出的xClass方法和算法能够成功地发现这一点并自主地从数据中学习。此外,特征(分类器的输入)由算法基于每个类别每个特征的累积数据密度自动地子选择。因此,一个高效、精益、人类可理解、自主的自我学习模型(只需要极其节俭的启动)从数据中出现。为了验证我们的建议,我们在两个具有挑战性的问题上进行了测试,包括不平衡的Caltech-101数据集和iRoads数据集。我们不仅实现了更高的精度,而且更重要的是,我们事先只使用了一个类,而其他方法使用了所有可用的类),并且我们通过极弱和弱的监督生成了使用较少特征的可解释模型。
2019-11-01 cs.LG stat.ML
Discovering interpretable Lagrangian of dynamical systems from data
Indian Institute of Technology Delhi(印度理工学院德里分校)
对物理系统的完整理解需要精确且遵守自然守恒定律的模型。表征学习的最新趋势涉及从数据中学习拉格朗日,而不是直接发现运动的控制方程。方程发现技术的推广具有巨大的潜力,然而,现有的拉格朗日发现框架本质上是黑箱。这引起了人们对已发现的拉格朗日函数的可重用性的关注。在这篇文章中,我们提出了一种新的数据驱动的机器学习算法来自动从数据中发现可解释的拉格朗日。拉格朗日量以可解释的形式导出,这也允许自动发现守恒定律和运动的控制方程。所提出的框架的架构设计在这样一种方式,它允许学习拉格朗日从一个子集的基础域,然后概括为一个无限维的系统。所提出的框架的保真度举例说明使用的例子所描述的系统的常微分方程和偏微分方程的拉格朗日量和守恒量是已知的。
2023-02-09 cond-mat.dis-nn cs.LG stat.ML
Explainable Neural Networks based on Additive Index Models
Wells Fargo(富国银行)
近年来,机器学习算法由于其在模型拟合方面的灵活性和提高的预测性能而越来越多地被使用。然而,模型的复杂性使得数据分析师很难在没有额外工具的情况下解释结果。这导致了许多研究,开发各种方法来理解模型的行为。在本文中,我们提出了可解释的神经网络(xNN),一个结构化的神经网络,专门设计用于学习可解释的功能。与完全连接的神经网络不同,xNN设计的特征可以以相对简单的方式从网络中提取,并显示结果。通过适当的正则化,xNN提供了对特征和输出之间关系的简洁解释。我们说明了这个可解释的功能-模拟的例子上的工程属性。
2018-06-05 cs.LG stat.ML
Interpretable Conservation Law Estimation by Deriving the Symmetries of Dynamics from Trained Deep Neural Networks
The Institute of Statistical Mathematics(统计数理研究所)
用简化模型来理解复杂系统是科学活动的中心任务之一。虽然物理学在物理学家的物理见解下得到了极大的发展,但有时仅基于见解来构建这种复杂系统的简化模型是具有挑战性的。我们提出了一个新的框架,可以从已经用系统的物理数据训练的深度神经网络(DNN)中推断出复杂系统的隐藏守恒律。该框架的目的不是用深度学习分析物理数据,而是从训练好的DNN中提取可解释的物理信息。利用Noether定理和一种有效的采样方法,该框架通过从训练的DNN中提取动力学的对称性来推断守恒律。建议的框架是通过推导时间序列数据集的流形结构和Noether定理的必要条件之间的关系来开发的。所提出的框架的可行性已在一些原始的情况下,守恒定律是众所周知的。我们还将所提出的框架应用于一个更实际的情况下,即一个大规模的集体运动系统的亚稳态的守恒定律估计,我们得到了与以前的研究一致的结果。
2020-04-19 cs.LG nlin.PS physics.comp-ph
DySMHO: Data-Driven Discovery of Governing Equations for Dynamical Systems via Moving Horizon Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
发现物理和化学现象背后的支配定律是理解并最终控制科学和工程系统的关键一步。我们介绍了通过移动地平线优化(DySMHO)发现动力系统,这是一个可扩展的机器学习框架,用于从大规模噪声实验数据集中识别微分方程形式的控制律。DySMHO由一种新的移动时域动态最优化策略组成,该策略从大型基函数字典中顺序学习底层控制方程。DySMHO的顺序性质允许利用统计参数来消除不相关的基函数,避免过拟合以恢复控制方程的精确和简约形式。典型的非线性动力系统的例子来证明,DySMHO可以准确地恢复的统治法律,是强大的高水平的测量噪声,它可以处理的挑战,如多个时间尺度动态。
2021-07-30 cs.LG math.DS math.OC
Extreme sparsification of physics-augmented neural networks for interpretable model discovery in mechanics
Cornell University(康奈尔大学);Sandia National Laboratories(桑迪亚国家实验室)
针对神经网络本构模型参数多难解释、稀疏回归方法受限于预设模型库的问题,提出用平滑$L^0$正则化训练物理增强神经网络本构模型,在保证物理约束的同时实现可解释性,适用于多种力学本构场景。
2023-10-05 cs.CE cs.LG
Symbolic Neural ODEs: Learning interpretable models from time-series data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
该研究提出符号神经常微分方程框架,通过多步训练结合稀疏正则化,从时间序列数据中学习稳定、可泛化的稀疏可解释动力系统模型,可准确恢复多类系统的动力学特性。
2026-08-25 cs.LG cs.SY eess.SY
Discovering Symbolic Differential Equations with Symmetry Invariants
University of California, San Diego(加州大学圣迭戈分校);IBM Research(IBM研究院);Northeastern University(东北大学)
本文提出利用对称不变量提升微分方程发现的准确性与效率,通过物理系统验证其能恢复符合物理定律的简洁方程。
2026-03-09 cs.LG
Distilling Governing Laws and Source Input for Dynamical Systems from Videos
Northeastern University(东北大学);University of the Chinese Academy of Sciences(中国科学院大学);Renmin University of China(中国人民大学)
最近,由于深度学习的进步,从视频中提取可解释的物理定律引起了计算机视觉社区的广泛兴趣,但仍然是一个巨大的挑战。本文介绍了一个端到端的无监督深度学习框架,以揭示基于录制视频的移动对象呈现的显式动力学控制方程。相反,在图像空间的像素(空间)坐标系中,物理定律在回归的底层物理坐标系中建模,其中物理状态遵循潜在的显式控制方程。设计了一个基于数值积分器的稀疏回归模块,作为对自动编码器和坐标系回归的物理约束,同时从学习的物理状态中揭示出简约的封闭形式的控制方程。仿真实验结果表明,该方法能够同时提取多个视频记录的动力系统的封闭形式的控制方程和未知激励输入,填补了现有方法的空白,适用于解决这类问题.
2022-05-03 cs.AI cs.CV cs.LG
Interpretable Models in ANNs
University of Victoria(维多利亚大学)
人工神经网络通常非常复杂,并且对于人类来说太深而无法理解。因此,它们通常被称为黑匣子。对于许多现实世界的问题,底层模式本身非常复杂,因此不存在分析解决方案。但是,在某些情况下,物理定律,例如,图案可以用相对简单的数学表达式来描述。在这种情况下,我们希望得到一个可读的方程,而不是一个黑盒子。在本文中,我们试图找到一种解释网络的方法,并提取一个描述模型的人类可读方程。
2020-11-24 cs.AI cs.LG
Discovering physical laws with parallel symbolic enumeration
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);School of Engineering Science, University of Chinese Academy of Sciences(中国科学院大学工程科学学院);State Key Laboratory of Nonlinear Mechanics, Institute of Mechanics, Chinese Academy of Sciences(中国科学院力学研究所非线性力学重点实验室);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
本文提出并行符号枚举(PSE)方法,在无限搜索空间中高效发现简洁可泛化的数学公式,较现有算法在200多个数据集上准确率最高提升99%、速度提升一个数量级,推动了符号回归在科学发现中的应用。
2025-09-11 cs.AI cs.LG
Feedback System Neural Networks for Inferring Causality in Directed Cyclic Graphs
University of Bergen(卑尔根大学);isee systems inc.(isee系统公司)
本文提出了一种新的因果网络学习算法(FSNN,Feedback System神经网络),它是在构造和分析非线性常微分方程组的基础上提出的。所构建的系统提供了对负责生成动态系统的过去和潜在未来行为的机制的洞察。它也可以用真实的系统变量来解释,提供了一个整体的,因果准确的,系统的理解现实生活中的相互作用,控制观察到的现象。本文演示了一个n维常微分方程模型,可以参数化,以适应测量数据,使用标准的数值优化技术的生成。该模型利用前馈人工神经网络来捕捉非线性,但在复杂系统中的因果关系网络是一个简约和可解释的表示。所生成的模型可以容易且快速地进行实验和分析,以使用循环重要方法(Schoenberg et. al 2019)。该方法的实用性和适用性的演示给出,表明它产生一个准确的,因果关系正确的模型为三状态,非线性,复杂的动态系统的已知来源。推广到其他动态系统与其他数据源,然后讨论。
2020-05-27 cs.LG stat.ML
Towards Interpretable Physical-Conceptual Catchment-Scale Hydrological Modeling using the Mass-Conserving-Perceptron
The University of Arizona(亚利桑那大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本研究使用质量守恒感知器(MCP)有向图架构开发简约可解释的流域尺度水文模型,发现类HyMod架构结合输入旁路和双向地下水交换能显著改善流量模拟,为区域尺度建模奠定基础。
2024-07-28 cs.AI cs.LG
Can Machine Learning Identify Governing Laws For Dynamics in Complex Engineered Systems ? : A Study in Chemical Engineering
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);Purdue University(普渡大学)
机器学习最近已被用于识别物理系统中动力学的控制方程。在流体动力学和化学动力学等系统上的应用所取得的令人鼓舞的结果激发了这些方法在复杂工程系统上的进一步研究。这些系统的动力学在设计和操作中起着至关重要的作用。因此,了解可能驱动系统复杂动态的机制将是有益的。在这项工作中,我们的研究问题旨在解决这个悬而未决的问题,即新的机器学习方法在识别工程系统的控制动力学方程时的适用性和有用性。精馏塔是化工过程中普遍存在的单元操作,其动力学过程是复杂的动力学过程,是数学规律和基本物理规律的结合。我们测试了非线性动力学稀疏识别(SINDy)的方法,因为它能够产生白盒模型,其中的术语可用于动力学的物理解释。动态时间序列数据是由ASPEN Dynamics对精馏塔的模拟产生的。一个有希望的结果是减少了动态模拟的方程数从1000在ASPEN只有13 -一个为每个状态变量。系统在扰动范围内的测试数据预测精度较高,但扰动范围外的方程表现不佳。在物理定律提取方面,一些术语可解释为与菲克扩散定律(含浓度项)和亨利定律(含浓度和压力项的比率)有关。虽然有些术语是可以解释的,但我们得出结论,需要更多的研究将工程系统与机器学习方法相结合,以提高对未知动态的控制律的理解。
2019-07-18 cs.LG cs.SY eess.SY
Finding Real-World Orbital Motion Laws from Data
FCT-UNL(新里斯本大学科学与技术学院);Neuraspace
本文提出基于SINDy的数据驱动方法,从LEO卫星轨迹数据中发现控制轨道运动的偏微分方程,保持物理可解释性,实现位置误差约140km、速度误差约0.12km/s,可应用于传播与碰撞预测。
2023-11-16 astro-ph.EP astro-ph.IM cs.LG
Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
发现动力学模型来描述潜在的动力学行为对于得出决定性的结论和工程研究是必不可少的,例如,优化一个过程尽管实验数据的可用性显着增加,但科学和工程中可解释和可解释的模型仍然难以理解。在这项工作中,我们将机器学习和基于字典的学习与数值分析工具相结合,从噪声和稀疏采样的测量数据中发现控制微分方程。我们利用这样一个事实,即给定一个包含大量候选非线性函数的字典,动力学模型通常可以由几个适当选择的候选函数来描述。其结果是,我们得到的解释和简约的模型,易于推广更好地超越抽样制度。此外,我们将数值积分框架与字典学习相结合,在任何阶段都不需要或近似导数信息即可生成微分方程。因此,它在损坏和稀疏采样的数据中是完全有效的。我们讨论其扩展到控制方程,包含理性的非线性,通常出现在生物网络。此外,我们推广的方法,受到参数变化和外部控制输入的控制方程。我们证明了该方法的效率,发现了一些不同的微分方程,使用噪声测量,包括描述神经动力学,混沌洛伦兹模型,米氏动力学模型,和参数化的霍普夫范式。
2021-05-11 cs.CE cs.LG
Complexity Scaling Laws for Neural Models using Combinatorial Optimization
Virginia Tech(弗吉尼亚理工大学);Kensho Technologies(Kensho科技)
本研究基于问题复杂度(解空间与表示空间大小)为组合优化神经模型建立缩放定律,以TSP为例验证了无损失时仍可预测次优性增长,并与局部搜索的梯度下降趋势类比。
2025-10-25 cs.LG
Kolmogorov-Arnold Chemical Reaction Neural Networks for learning pressure-dependent kinetic rate laws
Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系)
本文提出Kolmogorov-Arnold化学反应神经网络,通过将动力学参数建模为第三体浓度的可学习函数,解决压力依赖和混合物速率行为问题,优于插值方法,实现可解释的速率定律学习。
2026-05-13 cs.LG physics.chem-ph
Towards an Interpretable Latent Space in Structured Models for Video Prediction
Indian Institute of Technology Delhi(印度理工学院德里分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们专注于未来帧预测视频的任务由底层的物理动力学。我们使用以对象为中心的模型,即,显式地使用对象表示,并在潜在空间中传播损失。具体来说,我们的研究建立在Kipf等人最近的工作基础上。\cite{kipf&al20},它通过使用图神经网络对潜在空间中的对象交互进行对比学习来预测下一个状态。我们认为,在模型中注入明确的归纳偏差,以一般物理定律的形式,不仅有助于使模型更具可解释性,而且还可以提高模型的整体预测。作为一个自然的副产品,我们的模型可以学习与图像中的实际对象位置非常相似的特征图,而无需在训练时对对象位置进行任何明确的监督。在与早期的作品\cite{jaques&al20},它假定了一个完整的知识的动力学管理的运动的形式的物理引擎,我们只依赖于知识的一般物理定律,如,世界由物体,其中有位置和速度。我们提出了一个额外的解码器为基础的像素空间中的损失,施加在课程的方式,以进一步完善潜在的空间预测。在多个不同设置中的实验表明,虽然Kipf等人的模型在捕获对象交互方面是有效的,但我们的模型在定位对象方面可以更有效,从而在我们实验的4个领域中的3个领域中提高了性能。此外,我们的模型可以学习高度不可解释的特征图,类似于实际的对象位置。
2021-07-16 cs.LG
Neuro-Symbolic Operator for Interpretable and Generalizable Characterization of Complex Piezoelectric Systems
Department of Electrical Engineering, Eindhoven University of Technology(电子工程系,埃因霍温理工大学);Department of Engineering Structures, Delft University of Technology(工程结构系,代尔夫特理工大学);Department of Mechanical Engineering, Eindhoven University of Technology(机械工程系,埃因霍温理工大学)
本文提出神经符号算子(NSO)框架,通过结合傅里叶神经算子与基于库的稀疏模型发现方法,推导控制迟滞关系的解析算子,生成白盒简约模型,从而在复杂压电系统中实现准确、可解释且可泛化的电压-位移预测。
2025-05-30 cs.LG
Discovering Generalizable Governing Equations for Graph Dynamical Systems with Interpretable Neural Networks
University of Padua(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对图动力系统符号控制方程发现缺乏严格评估基准的问题,提出新评估流程,对既定方法进行基准测试,引入GKAN - ODE模型,经实验证明该模型能恢复精确方程,轨迹误差比基线方法低两个数量级。
2026-07-20 cs.LG
Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction
Interdisciplinary Center for Scientific Computing (IWR), Heidelberg University(海德堡大学跨学科科学计算中心);Faculty of Physics and Astronomy, Heidelberg University(海德堡大学物理与天文学院)
本文提出几乎线性循环神经网络(AL-RNNs),可从时间序列数据中自动学习动力系统的最简约分段线性表示,并产生保留拓扑性质的符号编码,在Lorenz、Rössler系统及经验数据上验证了其可解释性与有效性。
2024-10-18 cs.AI cs.LG math.DS
Physics-Driven Regularization of Deep Neural Networks for Enhanced Engineering Design and Analysis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们介绍了一种物理驱动的正则化方法,用于训练用于工程设计和分析问题的深度神经网络(DNN)。特别是,我们专注于预测的物理系统,其中除了训练数据,部分或完整的信息,一组管理的法律也是可用的。这些定律通常以微分方程的形式出现,来自第一原理,经过验证的定律或领域专业知识,并且通常在工程系统的数据驱动预测中被忽略。我们提出了一种训练方法,该方法利用已知的支配定律,并通过惩罚与这些定律的偏离来规范数据驱动的DNN模型。前两个数值示例是合成示例,其中我们表明,在构建最适合物理系统测量的DNN模型时,与其他常见的正则化方法相比,使用我们提出的正则化方法可以更好地解释DNN,并且泛化误差更小。最后两个例子涉及随机Burgers系统和乘用车的空气动力学分析的元建模,在那里我们证明了所提出的正则化提供了优越的泛化精度相比,其他常见的替代品。
2019-10-15 cs.CE cs.LG cs.NA
Discovering quantum phenomena with Interpretable Machine Learning
University of Innsbruck, Department for Theoretical Physics(因斯布鲁克大学理论物理系)
本文提出利用可解释机器学习从复杂量子数据中提取物理洞察,通过变分自编码器学习具有物理意义的表示,并结合符号方法发现紧凑的分析描述符,揭示了量子相空间的结构。
2026-10-28 cond-mat.stat-mech cs.LG quant-ph
Reward driven discovery of the optimal microstructure representations with invariant variational autoencoders
Institute for Materials Science and Center for Nanointegration Duisburg-Essen (CENIDE), University of Duisburg-Essen(杜伊斯堡-埃森大学材料科学研究所与杜伊斯堡-埃森纳米集成中心);Department of Materials Science and Engineering, University of Tennessee(田纳西大学材料科学与工程系);Department of Material Science and Engineering, Tokyo Institute of Technology(东京工业大学材料科学与工程系);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对变分自编码器构建微观结构低维表示时依赖人工试错设计的问题,提出基于奖励的隐空间评估策略,验证了用GMM和BGMM近似隐空间可构建有效奖励函数指导最优简约表示搜索。
2025-09-30 cond-mat.mtrl-sci cs.LG
AutoScore-Survival: Developing interpretable machine learning-based time-to-event scores with right-censored survival data
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Duke University(杜克大学);Singapore General Hospital(新加坡中央医院);National University of Singapore(新加坡国立大学);Singapore Health Services(新加坡保健服务集团)
本文提出 AutoScore-Survival,利用随机生存森林选变量、Cox 回归加权,从右删失生存数据自动生成可解释的整数值生存时间评分,并在 ICU 患者 90 天死亡率研究中验证其性能与生存模型相当且更简洁易用。
2021-06-13 cs.LG
Bridging Theory and Data: Correcting Nuclear Mass Models with Interpretable Machine Learning
Jilin University(吉林大学);The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出利用KAN-WS4混合模型提升核质量预测精度,揭示质子数对残差的影响,展示KAN在小样本高复杂度问题中的有效性。
2026-09-10 cs.LG nucl-ex nucl-th
Discovering uncertainty: Gaussian constitutive neural networks with correlated weights
针对本构神经网络仅能预测平均应力、Bayesian 本构神经网络权重不可解释且需采样的问题,提出 Gaussian 本构神经网络,以更少参数学习相关材料参数分布并发现可解释四项模型。
2025-03-16 cs.CE cs.LG
Discovering Symbolic Laws Directly from Trajectories with Hamiltonian Graph Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出哈密顿图神经网络(HGNN),将物理约束融入图神经网络,从少量轨迹数据中直接学习物理系统动力学,并通过符号回归发现底层能量方程,实现了可解释的符号定律发现。
2023-07-11 cond-mat.dis-nn cond-mat.mtrl-sci cs.LG
Electron flow matching for generative reaction mechanism prediction obeying conservation laws
Massachusetts Institute of Technology(麻省理工学院);Kookmin University(国民大学)
针对数据驱动反应预测模型常违反质量守恒的问题,提出基于流匹配框架的FlowER模型,强制精确质量守恒,解决幻觉失效、泛化至新底物和域外反应类,还能估计反应可行性,推进预测准确性与机理理解的结合。
2025-02-18 cs.LG
Data-driven Progressive Discovery of Physical Laws
提出链式符号回归(CoSR)框架,通过逐步组合具有明确物理意义的知识单元,从数据中渐进发现物理定律,并在多个物理问题中验证其有效性。
2026-05-29 cs.LG physics.data-an
Scientifically-Interpretable Reasoning Network (ScIReN): Discovering Hidden Relationships in the Carbon Cycle and Beyond
Department of Informatics and Intelligent Systems, Institute of Energy and the Environment, The Pennsylvania State University(信息学与智能系统系,能源与环境研究所,宾夕法尼亚州立大学)
ScIReN结合可解释神经网络与基于过程的推理,通过揭示隐藏关系提升科学可解释性,应用于土壤碳循环和生态系统呼吸建模。
2026-01-26 cs.AI cs.LG
Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression
Toyota Research Institute(丰田研究所)
我们考虑从原始数据中学习自由形式的符号表达式的问题,例如在任何科学领域中通过实验产生的数据。科学现象的准确和可解释的模型是科学研究的基石。简单但可解释的模型,如线性或逻辑回归和决策树往往缺乏预测准确性。或者,精确的黑盒模型,如深度神经网络,提供了很高的预测准确性,但不容易承认人类的理解,以丰富的科学理论的现象。科学上的许多重大突破都围绕着具有高预测精度的简约方程模型的发展,例如牛顿定律,万有引力和麦克斯韦方程。以前的工作自动搜索方程模型的数据结合特定领域的遗传学以及计算昂贵的技术,如遗传编程和蒙特卡洛搜索。我们开发了一个深度神经网络(MACSYMA)来解决符号回归问题,作为一个端到端的监督学习问题。MACSYMA可以生成描述数据集的符号表达式。该任务的计算复杂性被降低为神经网络的前馈计算。我们在一个由不同长度和不同噪声水平的数据表组成的合成数据集上训练我们的神经网络,为此神经网络必须学习逐个令牌地产生正确的符号表达式。最后,我们通过在行为科学的公共数据集上运行来验证我们的技术。
2021-12-07 cs.AI cs.LG
Al-Khwarizmi: Discovering Physical Laws with Foundation Models
Huawei's Noahs Ark Lab, London, UK.(华为诺亚实验室,伦敦,英国)
本文提出Al-Khwarizmi智能体框架,结合基础模型与SINDy,自动化物理定律发现,在198个模型上相比最优方法提升20%。
2025-06-20 cs.LG
Towards Scaling Laws for Symbolic Regression
University of Freiburg(弗赖堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);Open-Sci Collective(开放科学集体);LAION;Prior Labs(Prior实验室)
本文研究符号回归中计算量与性能之间的标度关系,发现验证损失和解决率随计算量呈幂律趋势,并确定了计算最优的超参数标度。
2026-02-04 cs.LG
Discovering Latent Response Laws in Forced Physical Systems
Beijing University of Technology(北京工业大学);State Key Laboratory of Bridge Safety and Resilience(桥梁安全与韧性国家重点实验室)
研究强迫物理系统中潜在响应规律,提出FLARE方法,通过学习紧凑响应坐标等,能恢复强迫动力学并预测高维响应,还可将方程发现扩展到复杂观测系统,为可解释建模和预测提供途径。
2026-07-14 cs.LG
AI-Newton: A Concept-Driven Physical Law Discovery System without Prior Physical Knowledge
School of Physics, Peking University, Beijing 100871, China(物理系,北京大学,北京100871,中国);Center for High Energy Physics, Peking University, Beijing 100871, China(高能物理中心,北京大学,北京100871,中国)
AI-Newton通过概念驱动的方法,无需先验物理知识,自主从多实验数据中推导出基础物理定律,实现了类人水平的科学发现。
2025-12-11 cs.AI cs.LG cs.SC
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization
Shanghai Jiaotong University(上海交通大学);York University(约克大学);Cisco Systems(思科系统)
算法展开通过将基于模型的算法的每次迭代实现为神经层来创建可解释且简约的神经网络架构。然而,由于需要全矩阵特征分解,因此每次迭代使用半正定(PSD)锥投影算子展开邻近分裂算法是昂贵的。在本文中,利用最近的线性代数定理称为Gershgorin盘完美对齐(GDPA),我们展开的二进制图分类器的半定规划松弛(SDR)的无投影算法,其中PSD锥约束被替换为一组“最紧密的可能”的线性约束每次迭代。因此,每次迭代只需要计算一个线性规划(LP)和一个极端的特征向量。在展开的网络内部,我们通过随机梯度下降(SGD)优化参数,SGD以两种方式确定图边缘权重:i)计算特征距离的度量矩阵,以及ii)通过局部线性嵌入(LLE)计算的稀疏权重矩阵。实验结果表明,我们的展开网络优于纯基于模型的图分类器,并实现了与纯数据驱动网络相当的性能,但使用的参数要少得多。
2021-09-10 cs.LG
Multivariate Physics-Informed Convolutional Autoencoder for Anomaly Detection in Power Distribution Systems with High Penetration of DERs
Lane Department of Computer Science and Electrical Engineering, West Virginia University(计算机科学与电气工程系,西弗吉尼亚大学)
尽管深度学习模型在分析网络物理事件下的系统条件方面取得了不懈的进展,但由于数据可用性问题、数据采集成本以及缺乏对训练窗口之外的数据的解释和外推,它们在电力系统领域的能力有限。此外,分布式能源(DER),如风能和太阳能发电的集成增加了电力系统的复杂性和非线性。因此,迫切需要一种可解释的和可靠的方法来增加电力系统运营商的信心和他们的态势感知,以做出可靠的决策。这导致了物理信息神经网络(PINN)模型的发展,使其成为更可解释,更可靠和更强大的模型,其中基本的原则性定律被集成到神经网络模型的训练过程中,以实现更好的性能。本文提出了一种多变量物理信息卷积自动编码器(PIConvAE)模型,用于检测具有不平衡配置和高DER渗透率的配电系统中的网络异常。物理定律通过定制的损失函数集成,该函数将基础基尔霍夫电路定律嵌入自动编码器的训练过程中。在两个不平衡的配电网,IEEE 123总线系统和真实世界的馈线在河滨,CA的多变量PIConvAE模型的性能进行评估。结果表明,所提出的方法在检测两个系统中的各种网络异常的特殊性能。此外,该模型的有效性进行了评估,在数据稀缺的情况下,不同的训练数据比率。最后,将该模型的性能与现有的机器学习模型进行比较,其中PIConvAE模型以相当高的检测指标超过其他模型。
2024-06-05 cs.AI cs.LG cs.SY
Symbolic Foundation Regressor on Complex Networks
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
本文提出一种预训练的符号基础回归器,能有效压缩复杂数据并生成可解释的物理表示,在复杂网络符号回归及多领域网络动力学推断中效率提升3倍,为揭示复杂现象背后的隐藏机制提供基础解决方案。
2025-05-28 cs.AI cs.LG cs.SC