Uncertainty-Aware Diagnostics for Physics-Informed Machine Learning
Massachusetts Institute of Technology(麻省理工学院);University of Melbourne(墨尔本大学);University of California at Berkeley(加州大学伯克利分校)
物理信息机器学习(PIML)将通常以微分方程约束形式的先验物理信息集成到将机器学习模型拟合到物理数据的过程中。流行的PIML方法,包括神经算子,物理信息神经网络,神经常微分方程和神经离散平衡,通常适合同时包括数据和物理约束的目标。然而,这种方法的多目标性质在模型质量的测量中产生了模糊性。这与对认知不确定性的理解不佳有关,即使现有的统计指标表明很好的拟合,它也可能导致令人惊讶的失败模式。工作在一个高斯过程回归框架内,我们介绍了物理信息日志证据(PILE)得分。为了消除测试损失的模糊性,PILE分数是一个单一的、不确定性感知的度量,它为PIML模型的超参数提供了选择原则。我们表明,PILE最小化产生了各种各样的模型参数,包括内核带宽,最小二乘正则化权重,甚至核函数的选择很好的选择。我们还表明,即使在数据采集之前,一个特殊的“无数据”的情况下,PILE得分确定先验内核的选择,是“良好适应”一个给定的PDE。除了内核设置之外,我们预计PILE评分可以扩展到PIML,我们概述了这样做的方法。
2025-10-30 cs.LG stat.ML
Fast Learning Rates for Physics-Informed Kernel Methods
Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学)
本文研究物理信息核方法中微分信息对预测误差的影响,证明有限样本界揭示两阶段学习率结构,并给出从非参数率到参数率的改善示例。
2026-09-17 cs.LG stat.ML
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM(概率与统计建模实验室);INRIA Paris(法国国家信息与自动化研究所巴黎中心);LMO(奥赛数学实验室)
针对核方法立方复杂度难以处理大规模数据的问题,提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架,在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Physical Sensitivity Kernels Can Emerge in Data-Driven Forward Models: Evidence From Surface-Wave Dispersion
研究通过比较神经网络代理与理论敏感性核,证明数据驱动模型能恢复物理敏感性结构,揭示其在反演和不确定性分析中的物理信息。
2026-04-05 cs.LG physics.geo-ph
Causal-PIK: Causality-based Physical Reasoning with a Physics-Informed Kernel
Stanford University(斯坦福大学)
针对未知动力学对象的复杂交互任务,提出Causal-PIK方法,利用贝叶斯优化和物理信息核推理因果交互以高效搜索动作,在物理推理基准上超越现有方法,达到目标所需动作更少且在困难任务上与人类表现相当。
2025-05-30 cs.LG
A hybrid data driven-physics constrained Gaussian process regression framework with deep kernel for uncertainty quantification
The Chinese University of Hong Kong(香港中文大学)
针对传统高斯过程回归依赖大量数据的问题,提出融合深度核的数据驱动-物理约束混合GPR框架,通过Boltzmann-Gibbs分布编码物理约束、深度神经网络构成协方差函数,在少量标注数据的高维UQ任务中实现良好精度与不确定性传递效果。
2022-11-10 cs.LG
Physics-Informed Support Vector Kernels via Green-Function Analogies and Jackson-Chebyshev Spectral Design
Department of Physics, National Taiwan University, Taipei, Taiwan(物理系,国立台湾大学);Department of Artificial Intelligence, Chang Gung University, Taoyuan, Taiwan(人工智能系,长庚大学);Department of Neurology, Chang Gung Memorial Hospital, Keelung, Taiwan(神经科,长庚纪念医院)
本文提出了一种基于量子传播子的核选择框架,通过谱匹配与物理算子映射,提升物理系统回归性能。
2026-09-18 cond-mat.stat-mech cs.AI cs.LG
No More DeLuLu: Physics-Inspired Kernel Networks for Geometrically-Grounded Neural Computation
Taha Bouhsine(塔哈·布希内)
本文提出 yat-product 核操作,结合二次对齐与反平方接近性,通过几何化操作简化神经网络架构,实现统一的核学习、梯度稳定性和信息几何,展示了 NMN 在图像和语言任务中的有效性。
2026-02-22 cs.LG
KernelOnet: An Interpretable Neural Operator Based on Kernel Functions
Hohai University(河海大学);Bauhaus-University Weimar(包豪斯大学魏玛)
KernelOnet通过显式核函数构建可解释神经算子,提供数据驱动、物理信息和混合三种核,在基准与波导问题上以更少参数实现高精度,并支持无监督训练与高效推理。
2026-09-30 cs.LG
On Kernel Regression with Data-Dependent Kernels
UC Berkeley(加州大学伯克利分校);Generally Intelligent(通用智能公司)
核回归(KR)中的主要超参数是核的选择。在KR的大多数理论研究中,人们假设在看到训练数据之前内核是固定的。在此假设下,已知最优核等于目标函数的先验协方差。在本说明中,我们考虑KR,其中内核可以在看到训练数据后更新。我们指出,在这种情况下,使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge(剑桥大学)
我们提出了随机分区内核,一类新的内核,通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法(如随机森林)中创建内核。为了证明这种方法的潜力,我们提出了两个新的内核,随机森林内核和快速聚类内核,并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后,我们展示了这些内核的形式如何适合于某些大数据问题的自然近似,允许$O(N)$在高斯过程,支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
Probability-Generating Function Kernels for Spherical Data
The University of Manchester(曼彻斯特大学);University of Glasgow(格拉斯哥大学)
该研究提出适用于球面数据分析的单位超球面PGF核,推广了球面场景下的RBF核,研究其性质并提出配套半参数学习算法以支撑实际应用。
2024-02-01 cs.LG stat.ML
Kernel-based Operator Learning: Error Analysis, Budget Allocation, and a Physics-Informed Extension
University of Bayreuth(拜罗伊特大学)
研究两阶段采样框架下基于核的算子学习,通过耦合误差分析得出预算分配条件及缩放定律,还引入物理信息扩展,通过惩罚偏微分方程残差增强在线重构步骤,数值实验验证了理论及该策略的有效性。
2026-07-08 cs.LG cs.NA math.NA
Physically-informed change-point kernels for structural dynamics
Dynamics Research Group, Department of Mechanical Engineering, University of Sheffield, Mappin Street, Sheffield S1 3JD, United Kingdom(谢菲尔德大学机械工程系动力学研究组)
针对物理信息机器学习中物理与数据的动态平衡难题,提出适用于高斯过程的新型物理信息变点核,支持用户自定义或自动学习物理知识的依赖切换逻辑,还可随物理现象调整建模噪声,经桥梁风荷载、机翼应变两个工程案例验证了有效性。
2025-06-13 cs.LG
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后,Mercer核,Hilbert和Banach空间,再生核Hilbert空间(RKHS),Mercer定理及其证明,常用的核,核构造距离度量,重要的核类别(包括有界,整体正定,泛,平稳,和特征核),核中心化和归一化,和特征函数进行了详细的解释。然后,我们介绍了核在机器学习中的使用类型,包括核方法(如核支持向量机),半定规划核学习,Hilbert-Schmidt独立性准则,最大均值差异,核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域,包括机器学习,降维,数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Applying Physics-Informed Enhanced Super-Resolution Generative Adversarial Networks to Turbulent Premixed Combustion and Engine-like Flame Kernel Direct Numerical Simulation Data
Jülich Supercomputing Centre, Forschungszentrum Jülich GmbH(于利希研究中心于利希超级计算中心);RWTH Aachen University(亚琛工业大学)
欠分辨流中的有限速率化学模型仍然是复杂构型预测模拟的主要挑战之一。如果涉及湍流,问题就变得更具挑战性。这项工作推进了最近开发的PIESRGAN湍流预混燃烧模拟方法。为此,调整了网络处理并在损失函数中考虑的物理信息,平滑了训练过程,特别是考虑了密度变化的影响。所得到的模型提供了良好的结果的先验和后验的直接数值模拟数据的完全湍流预混火焰核心。的建模方法的限制进行了讨论。最后,该模型被用来计算进一步实现的预混火焰内核,这是一个规模敏感的框架,就其周期到周期的变化进行了分析。工作表明,数据驱动的PIESRGAN子滤波器模型可以非常准确地再现直接的数值模拟数据上更粗的网格,这是几乎不可能与经典的子滤波器模型,并使研究统计过程更有效地由于较小的计算成本。
2022-10-28 cs.LG physics.flu-dyn
SPIKE: Stable Physics-Informed Kernel Evolution Method for Solving Hyperbolic Conservation Laws
Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Center for Quantitative Biology, Center for Machine Learning Research, Peking University(北京大学定量生物学中心、机器学习研究中心);Academy for Multidisciplinary Studies, Capital Normal University(首都师范大学跨学科研究院);Beijing National Center for Applied Mathematics(北京应用数学中心)
针对无粘双曲守恒律,提出SPIKE方法,利用带Tikhonov正则化的再生核参数演化穿越激波奇点,在统一框架下保持守恒并捕捉满足Rankine-Hugoniot条件的激波。
2025-10-21 cs.AI cs.LG cs.NA
Riemannian Diffusion Models on General Manifolds via Physics-Informed Neural Networks
Korea Advanced Institute of Science and Technology, Korea(韩国科学技术院)
针对黎曼流形上热核难以解析计算的问题,提出用物理信息神经网络求解流形热方程来近似热核,从而实现扩散模型的训练与采样。
2026-05-29 cs.LG
Physics-based deep kernel learning for parameter estimation in high dimensional PDEs
Mathematics of Imaging & AI University of Twente(成像与人工智能数学系特文特大学);Centre for Mathematical Sciences Lund University(数学科学中心吕勒奥大学)
本文提出一种结合物理深度核学习与哈密顿蒙特卡洛的两阶段贝叶斯框架,用于从稀疏观测中稳健推断高维偏微分方程参数并量化不确定性。
2025-09-17 cs.CE cs.LG cs.NA
Kernel-Adaptive PI-ELMs for Forward and Inverse Problems in PDEs with Sharp Gradients
CREATIS Biomedical Imaging Laboratory INSA, CNRS UMR 5220, Inserm, Universit´e Lyon 1(CREATIS生物医学成像实验室,法国里昂大学)
KAPI-ELM通过核适应性方法高效解决PDE正向和反向问题,尤其在陡峭梯度区域表现优异。
2025-11-22 cs.LG
Physics-Informed Kernel Embeddings: Integrating Prior System Knowledge with Data-Driven Control
University of New Mexico(新墨西哥大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的控制算法使用系统动态的观测来构造用于控制目的的隐式模型。然而,在实践中,数据驱动的技术往往需要过多的样本量,这可能是不可行的,在现实世界的情况下,只有有限的观察系统。此外,纯数据驱动的方法往往忽略有用的先验知识,如系统动态的近似模型。我们提出了一种方法,将这样的先验知识到数据驱动的控制算法,使用内核嵌入,非参数机器学习技术的基础上的理论再生核希尔伯特空间。我们提出的方法结合了先验知识的系统动力学作为一个偏置项的内核学习问题。我们将有偏学习问题表述为具有由动态告知的正则化项的最小二乘问题,其具有可有效计算的封闭形式的解。通过数值实验,我们经验性地证明了我们的方法在纯数据驱动的基线上提高了样本效率和样本外泛化。我们展示了我们的方法的应用程序,通过目标跟踪问题与非完整动力学控制,弹簧质量阻尼器和F-16飞机状态预测任务。
2023-01-09 cs.LG cs.SY eess.SY
KernelNet: A Data-Dependent Kernel Parameterization for Deep Generative Modeling
State University of New York at Buffalo(纽约州立大学布法罗分校)
核学习是机器学习中的一个重要概念。内核方法的标准方法通常使用预定义的内核,需要仔细选择超参数。为了减轻这一负担,我们在本文中提出了一个框架,以构建和学习一个数据依赖的内核的基础上,随机特征和隐式谱分布参数化的深度神经网络。构建的网络(称为KernelNet)可以应用于各种场景中的深度生成建模,包括深度生成模型中两种流行的学习范式,MMD-GAN和隐式变分自编码器(VAE)。我们表明,我们提出的内核确实存在于应用程序中,并保证是正定的。此外,诱导的最大平均离散(MMD)可以通过简单的正则化赋予弱拓扑的连续性。广泛的实验表明,与相关方法相比,我们提出的KernelNet始终获得更好的性能。
2020-06-25 cs.CV cs.LG stat.ML
Physics-Informed Optical Kernel Regression Using Complex-valued Neural Fields
Chinese University of Hong Kong(香港中文大学);nVIDIA(英伟达);HKUST(GZ)(香港科技大学(广州))
提出基于复值神经场的光核回归范式,将光刻模型分解为非参数掩模操作和学习光核,以更少参数和小规模数据实现高精度与强泛化。
2023-04-09 cs.CV cs.LG eess.IV
Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
本文提出了一种基于随机算法的高效计算方法,用于在物理损失中自适应神经切线核权重的收敛与计算效率提升。
2025-11-19 cs.LG cs.NA math.NA
Doubly stochastic large scale kernel learning with the empirical kernel map
DFKI(德国人工智能研究中心);TU Berlin(柏林工业大学)
随着大数据集的兴起,核方法的受欢迎程度下降,神经网络再次接管。核方法的主要问题是核矩阵随着数据点的数量二次增长。大多数扩展核方法的尝试通过丢弃核映射的一些近似的数据点或基函数来解决这个问题。在这里,我们提出了一个简单而有效的替代方案,考虑到整个数据集通过双随机优化的经验内核映射的扩展内核方法。该算法是直接实现的,特别是在并行执行设置;它利用了经典内核函数的全部功能和多功能性,而不需要显式地制定一个内核映射近似。我们提供的经验证据表明,该算法适用于大数据集。
2016-09-14 cs.LG
Neural Tangent Kernel Analysis to Probe Convergence in Physics-informed Neural Solvers: PIKANs vs. PINNs
Energy \& Intelligence Lab, Department of Chemical Engineering, University of Utah, Salt Lake City, Utah 84112, USA
本文用 NTK 理论分析 cPIKAN 在 PDE 求解中的核谱演化与优化策略影响,揭示其区别于 PINN 的收敛机制。
2025-06-09 cs.LG math-ph math.AP
Data-driven learning of robust nonlocal physics from high-fidelity synthetic data
Lehigh University(利哈伊大学);Sandia National Laboratories(桑迪亚国家实验室)
非局部模型的一个关键挑战是从第一原理推导它们的分析复杂性,并且它们的使用通常是事后证明的。在这项工作中,我们从数据中提取非本地模型,规避这些挑战,并提供数据驱动的理由,所产生的模型形式。由于非线性和缺乏凸性,提取可证明鲁棒的数据驱动代理是机器学习(ML)方法的主要挑战。我们的计划允许提取可证明可逆的非局部模型,其内核可能是部分负的。为了实现这一点,基于已建立的非局部理论,我们嵌入在我们的算法充分条件的非正部分的内核,保证适定性的学习操作。这些条件被作为不等式约束施加,并确保模型是鲁棒的,即使在小数据制度。我们证明了这种工作流程的一系列应用,包括复制制造的非局部内核;数值均匀化的达西流与非均匀的周期性微观结构;非局部近似高阶本地传输现象;和近似的全球支持的分数扩散算子截断内核。
2020-05-17 cs.LG math.OC
Effective Dimensionality as an Operator Invariant for Physics-Preserving Constraint Adaptation in Physics-Informed Neural Networks
University of Cambridge(剑桥大学)
利用Fisher信息矩阵定义物理约束模型的有效自由度d_eff,证明其收敛于微分算子核维数,并基于此提出子空间投影策略实现边界条件适配。
2026-06-04 cs.LG cs.NA math.NA
Physics Inspired Approaches To Understanding Gaussian Processes
University of Cambridge(剑桥大学);IBM Research Europe(IBM欧洲研究院)
本文借鉴物理学分析 GP 损失景观,研究 Matern 核 ν-连续性、临界点突变理论及集成投票,揭示常用 ν 值并非最优并给出性能改进指导。
2023-06-06 cs.AI cs.LG
Kernel Sum of Squares for Data Adapted Kernel Learning of Dynamical Systems from Data: A global optimization approach
Imperial College London(帝国理工学院);Caltech(加州理工学院);The Alan Turing Institute(艾伦·图灵研究所)
针对传统核方法在动力系统学习中易陷局部最优、参数调优困难的问题,提出基于全局优化框架的核平方和(KSOS)方法,经多个混沌系统实验验证其在精度与鲁棒性上均优于梯度下降法,可用于多领域时间序列分析。
2024-08-12 cs.LG math.DS math.OC
Physics-informed machine learning: A mathematical framework with applications to time series forecasting
Sorbonne Université(索邦大学);Université Paris-Saclay(巴黎萨克雷大学);Université de Cambridge(剑桥大学);CNRS(法国国家科学研究中心);ENSICAEN(法国卡昂高等电子工程学校);ENSIIE(法国国立信息与统计学院);EDF Labs(法国电力公司实验室)
本文提出物理信息机器学习(PIML)数学框架,分析其统计性质并构建为核方法以开发高效GPU算法,同时将其物理约束框架应用于能源信号时间序列预测。
2025-07-11 cs.LG math.ST stat.ME
Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks
University of Utah(犹他大学)
研究从稀疏有噪观测中发现积分 - 微分方程的记忆和非局部核这一逆问题,提出基于可微求解器框架,用约束柯尔莫哥洛夫 - 阿诺德网络参数化并施加物理约束,经训练和符号回归得到表示,实验表明构造约束比软惩罚更具鲁棒性。
2026-07-14 cs.LG cs.NA math.NA
Gaussian Process Regression of Steering Vectors With Physics-Aware Deep Composite Kernels for Augmented Listening
National Institute of Informatics(国家信息研究所)
本文提出基于神经场的高斯过程框架,结合物理意识复合核,用于增强听觉中转向矢量的连续表示,以实现更有效的空间滤波和双耳渲染。
2026-04-16 cs.AI cs.LG cs.SD
BRICKS: Compositional Neural Markov Kernels for Zero-Shot Radiation-Matter Simulation
Technical University of Munich(慕尼黑技术大学);Max-Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);SLAC National Accelerator Laboratory(斯坦福直线加速器实验室);Haifa University(海法大学);Department of Physics(物理系);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Munich Center for Machine Learning(慕尼黑机器学习中心)
BRICKS提出基于Riemannian Flow Matching的混合离散连续Transformer模型,用于生成粒子相互作用的预测核,实现零样本大规模材料分布模拟,同时提供可微分的可训练似然。
2026-05-07 cs.LG hep-ph
Feature Mapping in Physics-Informed Neural Networks (PINNs)
University of Bristol(布里斯托尔大学)
本文从核视角分析 PINNs 中特征映射的训练动力学,指出傅里叶映射在部分物理场景中的不足,并提出条件正定径向基函数及组合特征函数方法以改善表达性与泛化性。
2024-10-21 cs.AI cs.CE cs.LG
Hierarchical-Hyperplane Kernels for Actively Learning Gaussian Process Models of Nonstationary Systems
Bosch Center for Artificial Intelligence(博世人工智能中心)
学习复杂计算机模拟和物理机器的精确代理模型通常需要长期或昂贵的实验。此外,建模的物理依赖性表现出非线性和非平稳的行为。因此,用于产生代理模型的机器学习方法应当通过提供一种方案来解决这些问题,该方案例如通过使用主动学习来保持查询的数量较小,并且能够捕获系统的非线性和非平稳特性。非平稳性建模的一种方法是引入输入划分,这是一个已被证明在高斯过程的主动学习中具有优势的原则。然而,这些方法要么假设已知的分区,需要引入复杂的采样方案,要么依赖于非常简单的几何形状。在这项工作中,我们提出了一个简单但功能强大的内核家族,它包含一个分区:i)通过基于梯度的方法可以学习,ii)使用比以前更灵活的几何形状,同时仍然适用于低数据状态。因此,它为主动学习过程提供了良好的先验。我们在经验上证明了在各种主动学习任务上的出色表现。
2023-03-17 cs.AI cs.LG
A Black-Box Physics-Informed Estimator based on Gaussian Process Regression for Robot Inverse Dynamics Identification
University of Padova(帕多瓦大学);Mitsubishi Electric Research Lab (MERL)(三菱电机研究实验室)
针对机械臂逆动力学辨识,本文提出基于 GP 回归和新型 LIP 核的黑箱估计器,通过能量建模与多项式结构先验提升精度、通用性和数据效率。
2024-09-06 cs.AI cs.LG cs.RO