Lion Algorithm- Optimized Long Short-Term Memory Network for Groundwater Level Forecasting in Udupi District, India
Manipal Institute of Technology（马尼帕尔理工学院）
地下水是一种宝贵的自然资源。地下水位预测是水资源管理领域的重要内容。从观测井测量GWL是关于含水层的主要信息来源，对含水层的评价至关重要。印度卡纳塔克邦Udupi地区的大部分地区由地质构造组成：红土地形和片麻状复合体。由于地形崎岖和降雨不一致，Udupi地区的GWL持续下降，大多数开放式水井在夏季干涸。因此，本研究旨在建立一个基于混合长短期记忆-狮子算法（LSTM-LA）的地下水位预测模型。历史GWL和降雨量数据从Udupi区，位于印度卡纳塔克邦的观测井，被用来开发模型。混合LSTM-LA模型的预测精度优于前馈神经网络（FFNN）和孤立LSTM模型。基于混合LSTM-LA的预测模型对于更大的数据集是有希望的。
2019-12-05 cs.LG
GeoFUSE: A High-Efficiency Surrogate Model for Seawater Intrusion Prediction and Uncertainty Reduction
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出 GeoFUSE 深度学习代理框架，融合 U-FNO、PCA 与 ESMDA，实现海水入侵秒级模拟、监测数据同化及预测不确定性降低。
2024-10-26 cs.LG
Predicting Groundwater Arsenic Concentrations Using Graph Neural Networks
研究针对美国地下水砷污染问题，将其预测设为回归任务，构建整合数据集，运用k-NN、GIS等技术连接测量点。评估多种机器学习模型，发现图神经网络能考虑空间依赖性，超越梯度提升树，为地下水风险测绘和监测提供基础。
2026-07-23 cs.LG
Understanding the Efficacy of U-Net & Vision Transformer for Groundwater Numerical Modelling
University of Leeds（利兹大学）；Tel-Aviv University（特拉维夫大学）
本文比较了 U-Net、U-Net+ViT 和 FNO 在地下水时间相关正演建模中的表现，发现 U-Net 类模型在精度和效率上优于 FNO，尤其在稀疏数据场景下更具潜力。
2023-07-08 cs.CE cs.LG physics.flu-dyn
Modeling groundwater levels in California's Central Valley by hierarchical Gaussian process and neural network regression
California Institute of Technology（加州理工学院）；Jet Propulsion laboratory（喷气推进实验室）
针对加州中央谷地井数据稀疏含噪导致地下水位建模困难的问题，提出结合高斯过程与深度神经网络的分层回归方法，有效量化不确定性并揭示2017和2019丰水年未能有效补充干旱期地下水损失。
2024-10-12 cs.LG physics.geo-ph
Artificial Intelligence Hybrid Deep Learning Model for Groundwater Level Prediction Using MLP-ADAM
University of Tehran（德黑兰大学）
地下水是淡水资源的最大储存库，是人类通过农业、工业和生活供水消费的主要库存。在水文学领域，一些研究者将神经网络应用于降雨强度的时空预测，并介绍了神经网络相对于数值模型的优势。然后，许多研究已经进行了应用数据驱动模型。其中一些人扩展了人工神经网络（ANN）模型，预测半封闭冰川砂和砾石含水层在变状态下，抽水和气候条件下的地下水位，具有显着的精度。本文采用多层感知器来模拟地下水位。自适应矩估计优化算法也被用于这件事。用均方根误差、平均绝对误差、均方误差和决定系数（）来评价模拟地下水位的精度。由模型输出得到的总的预测值和RMSE分别为0.9458和0.7313。结果表明，深度学习算法可以表现出高精度的预测。虽然参数的优化在数量上微不足道，但由于建模设置的时间价值，强烈建议在建模中应用优化算法。
2021-07-29 cs.LG physics.geo-ph
Resolving Extreme Data Scarcity by Explicit Physics Integration: An Application to Groundwater Heat Transport
Institute for Parallel and Distributed Systems, University of Stuttgart, Stuttgart, Germany（并行与分布式系统研究所，斯图加特大学，斯图加特，德国）；Delft Institute of Applied Mathematics, Delft University of Technology (TU Delft), Delft, the Netherlands（代尔夫特应用数学研究所，代尔夫特理工大学（TU Delft），代尔夫特，荷兰）
本文提出了一种局部-全局卷积神经网络，通过显式物理整合解决极端数据稀缺问题，应用于地下水热传输建模，展示了其在城市尺度和实际地下参数地图上的有效性。
2026-02-02 cs.DC cs.LG
Efficient machine-learning surrogates for large-scale geological carbon and energy storage
Sandia National Laboratories（桑迪亚国家实验室）
针对地质碳与能源存储中的不确定性风险，提出结合区域分解与拓扑嵌入的机器学习替代模型，降低训练成本并实现大规模储层的高效准确预测。
2023-10-11 cs.AI cs.CE cs.LG
Contaminant source identification in groundwater by means of artificial neural network
Department of Engineering and Architecture, University of Parma（帕尔马大学工程与建筑系）
在一个理想的环境保护系统中，地下水不能被排除在外。除了过度开采的问题之外，与可持续发展的概念完全不符，另一个不容忽视的问题涉及地下水污染。这主要是由于密集的农业活动或工业化地区。在文献中，有几篇论文讨论了输运问题，特别是其中的释放历史或源位置的识别反问题。本文的创新目标是开发一个数据驱动的模型，该模型能够分析多个场景，甚至是强非线性的场景，以解决正向和反向运输问题，保持结果的可靠性并减少不确定性。此外，这一工具具有提供极快反应的特点，这对于立即确定补救战略至关重要。该模型产生的优势进行了比较，与文献研究。在这方面，一个前馈人工神经网络，它已被训练来处理不同的情况下，代表数据驱动的模型。首先，确定污染物的浓度在特定的观测点在研究区域（正问题）;其次，处理的逆问题，确定在已知的源位置的释放历史;然后，在一个污染源的情况下，确定的释放历史，同时，在一个特定的子域的调查区域的源的位置。最后对观测误差进行了分析和估计。结果令人满意地实现，突出了人工神经网络处理多个场景的能力，通过近似非线性函数，而无需描述该现象的物理观点，提供可靠的结果，具有非常低的计算负担和不确定性。
2022-07-19 cs.AI cs.LG physics.geo-ph
Predicting Playa Inundation Using a Long Short-Term Memory Neural Network
North Central Climate Adaptation Science Center（中北部气候适应科学中心）；Earth Lab, Cooperative Institute for Research in Environmental Sciences (CIRES), University of Colorado（科罗拉多大学环境科学研究合作研究所地球实验室）；Department of Geography, University of Colorado（科罗拉多大学地理系）；Playa Lakes Joint Venture（普拉亚湖联合企业）
在大平原，干盐湖是候鸟的重要湿地栖息地，也是对农业有重要意义的高平原含水层的补给来源。临时湿地表现出复杂的水文，通过当地的暴雨迅速填充，然后通过蒸发和地下水渗透干燥。使用长短期记忆（LSTM）神经网络来解释这些复杂的过程，我们对1984年至2018年大平原71，842个干盐湖的干盐湖淹没进行了建模。在单个盆地的水平上，该模型在保留的测试集上获得了0.538的F1分数，显示出预测复杂洪水模式的能力。当对整个地区的所有干盐湖进行平均时，该模型能够非常密切地跟踪洪水趋势，即使在干旱时期也是如此。我们的研究结果表明，使用LSTM模拟复杂的水文动力学的潜力。我们的建模方法可用于模拟未来不同气候情景下的干盐湖淹没，以更好地了解气候变化将如何影响湿地栖息地和地下水。
2020-10-16 cs.LG
Deep operator network for surrogate modeling of poroelasticity with random permeability fields
Department of Civil and Environmental Engineering, KAIST, Daejeon, South Korea（韩国釜山科学技术院土木与环境工程系）；Department of Mathematics, North Carolina State University, Raleigh, United States（美国北卡罗来纳州立大学数学系）；Department of Civil and Environmental Engineering, Seoul National University, Seoul, South Korea（韩国首尔国立大学土木与环境工程系）；Institute of Construction and Environmental Engineering, Seoul National University, Seoul, South Korea（韩国首尔国立大学建设与环境工程研究所）
针对随机渗透率场下多孔弹性模拟成本高昂的问题，提出基于 DeepONet 的代理建模框架，结合无量纲化、K-L 展开降维和两步训练法，在保持高精度的同时实现显著推理加速。
2025-09-15 cs.LG physics.geo-ph
Surrogate-data-enriched Physics-Aware Neural Networks
University of Stuttgart（斯图加特大学）
神经网络可以用作PDE模型的替代。可以通过在训练期间惩罚基本方程或损失函数中的物理属性守恒来使它们具有物理感知。目前的方法允许在训练过程中额外地尊重来自数值模拟或实验的数据。然而，这些数据往往是昂贵的获得，因此只有很少的复杂模型。在这项工作中，我们研究了如何物理感知模型可以丰富的计算成本更低，但不准确，数据从其他代理模型，如降阶模型（ROM）。为了避免信任太低的保真度代理解决方案，我们开发了一种方法，是敏感的错误不准确的数据。作为概念的证明，我们考虑一维波动方程，并表明，训练精度增加了两个数量级时，从ROM的不精确的数据被纳入。
2021-12-15 cs.LG
Machine learning surrogates for efficient hydrologic modeling: Insights from stochastic simulations of managed aquifer recharge
Stanford University（斯坦福大学）；University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
针对基于过程的水文模型计算成本高、难以支持需数百次模拟的分析这一问题，提出混合建模工作流，用机器学习替代模型加速模拟，其误差低于10%且运行时间节省一个数量级，并明确了关键建模选择的影响。
2025-02-09 cs.LG physics.geo-ph
Direct Interval Propagation Methods using Neural-Network Surrogates for Uncertainty Quantification in Physical Systems Surrogate Model
LMSD, Department of Mechanical Engineering, KU Leuven（KU莱顿机械工程系LMSD）；RAM, Department of Mechanical Engineering, KU Leuven（KU莱顿机械工程系RAM）；DistriNet, Department of Computer Science, KU Leuven（KU莱顿计算机科学系DistriNet）；Visual Artificial Intelligence Laboratory, Oxford Brookes University（奥克斯福德布鲁克斯大学视觉人工智能实验室）
本文提出利用神经网络代理模型进行直接区间传播，以提高复杂系统不确定性量化效率，探讨了多层感知机和深度算子网络等方法在预测输出区间边界中的应用与性能。
2026-03-22 cs.LG
Conditional Korhunen-Loéve regression model with Basis Adaptation for high-dimensional problems: uncertainty quantification and inverse modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出用条件Karhunen-Loéve展开（CKLEs）结合基自适应（BA）方法构建高维地下水模型代理模型，通过将协方差核条件化到直接测量值上，显著提升了前向不确定性量化和透射率场反演估计的精度。
2023-07-05 cs.LG math.AP physics.flu-dyn
Accurate Calibration of Agent-based Epidemiological Models with Neural Network Surrogates
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
根据观察到的数据校准复杂的流行病学模型是提供对当前疾病动态的洞察的关键一步，即通过估计再生数，以及提供可靠的预测和情景探索。在这里，我们提出了一种新的方法来校准一个基于代理的模型- EpiCast -使用一个大的模拟合奏为美国不同的主要大都市地区。我们特别建议：一种新的基于神经网络的代理模型，能够同时仿真所有不同的位置;以及一种新的后验估计，其不仅提供所有参数的更准确的后验估计，而且能够跨区域联合拟合全局参数。
2020-10-13 cs.LG
Neural network surrogates with uncertainty quantification for inverse problems in partial differential equations
School of Mathematics and Maxwell Institute for Mathematical Sciences University of Edinburgh（数学学院和麦克斯韦数学科学研究所爱丁堡大学）
提出DeepGaLA神经网络代理模型，为微分方程求解器提供不确定性感知预测，结合延迟接受MCMC诊断，实现高效可靠的贝叶斯反演。
2026-06-19 cs.LG
Graph Neural Network Surrogate for Seismic Reliability Analysis of Highway Bridge Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种基于图神经网络的桥梁网络快速地震可靠性评估方法，在概率地震场景下评估节点级连通性，数值实验证明其比Monte Carlo方法更准确高效且鲁棒。
2024-04-25 cs.LG
Graph Neural Network Based Surrogate Model of Physics Simulations for Geometry Design
Department of Fluid Dynamics（流体动力学系）；Center for Frontier AI（前沿人工智能中心）；Department of Mechanical Engineering（机械工程系）；University of Colorado Denver（科罗拉多大学丹佛分校）；Department of Engineering Mechanics（工程力学系）
计算智能（CI）技术作为昂贵的物理模拟的代理模型已经显示出巨大的潜力，具有进行快速预测的能力，尽管在某些情况下以牺牲准确性为代价。对于许多涉及几何设计的科学和工程问题，需要代理模型精确地描述几何变化并预测结果。在这种情况下，我们开发了图神经网络（GNN）作为物理仿真的快速代理模型，这使我们能够直接在由非结构化网格或点云表示的2/3D几何设计上训练模型，而不需要任何显式或手工参数化。我们利用编码器-处理器-解码器类型的架构，可以灵活地在节点级和图形级进行预测。我们提出的基于GNN的代理模型的性能表现在2个示例应用上：增材工程领域的特征设计和空气动力学领域的翼型设计。这些模型在训练后对一组单独的测试几何形状进行预测时显示出良好的准确性，与其他高保真模拟所需的O（小时）相比，几乎具有即时的预测速度。
2023-02-01 cs.LG
Deep convolutional encoder-decoder networks for uncertainty quantification of dynamic multiphase flow in heterogeneous media
University of Notre Dame（圣母大学）；Nanjing University（南京大学）
为了提高计算效率，地下水模型的不确定性量化中广泛采用了代理策略。然而，他们的应用程序的动态多相流问题的维数灾难，饱和度的不连续性，由于毛细管效应，和时间依赖性的多输出响应的阻碍。在本文中，我们提出了一种深度卷积编码器-解码器神经网络方法来解决这些问题。代理建模任务被转换为图像到图像的回归策略。该方法使用编码器从高维输入渗透率图像中提取高级粗特征，然后通过解码器细化粗特征以提供输出压力/饱和度图像。为了更好地逼近不连续饱和场，提出了一种结合回归损失和分割损失的训练策略。为了表征动态系统的高维时间相关输出，时间被视为网络的额外输入，该网络使用输入实现和有限数量的时间实例处的相应系统输出对进行训练。所提出的方法进行了评估，使用地质碳存储过程为基础的多相流模型与2500维随机渗透率场。与一个相对较少的训练数据，代理模型是能够准确地表征的压力和不连续的CO2饱和度场的时空演变，并可以有效地用于计算系统响应的统计。
2018-07-02 cs.LG stat.ML
Dynamic weights enabled Physics-Informed Neural Network for simulating the mobility of Engineered Nano-particles in a contaminated aquifer
Amphos 21 Consulting S.L.（Amphos 21咨询有限公司）
全球许多受污染的地下水站点需要积极的修复策略来恢复自然环境条件和当地生态系统。工程纳米颗粒（ENPs）已成为一种有效的反应剂，用于地下水污染物的原位降解。虽然这些ENPs的性能在实验室规模上非常有前途，但它们在实际现场情况下的应用仍然有限。复杂的运输和保留机制的ENPs阻碍了一个有效的补救策略的发展。因此，非常需要一种用于理解ENPs的运输和保留行为的预测工具。文献中现有的工具主要是数值模拟器，在稀疏数据集的存在下，其灵活性和准确性有限。这项工作使用了动态的，重量启用物理信息神经网络（dw-PINN）的框架来模拟含水层内的纳米颗粒的行为。正演模型的结果表明，dw-PINN在准确预测ENPs迁移率方面具有有效的能力。模型验证步骤表明，使用dw-PINN预测的ENPs浓度的相对均方误差（MSE）收敛到最小值$1.3{e^{-5}}$。在随后的步骤中，来自逆模型的结果以合理的精度估计ENPs迁移率的控制参数。该研究表明，该工具能够为制定有效的地下水修复策略提供预测性见解。
2022-10-25 cs.AI cs.LG cs.NA
Bayesian Physics-Informed Neural Network for the Forward and Inverse Simulation of Engineered Nano-particles Mobility in a Contaminated Aquifer
Amphos 21 Consulting S.L.（Amphos 21咨询有限公司）
针对受污染含水层中工程纳米颗粒迁移与滞留难以准确建模的问题，提出B-PINN正演与反演框架，实现迁移预测、不确定性量化及控制参数推断。
2023-08-14 cs.AI cs.LG physics.comp-ph
Optimization over Trained (and Sparse) Neural Networks: A Surrogate within a Surrogate
Bucknell University（巴克内尔大学）；Northwestern University（西北大学）；University of Iowa（爱荷华大学）
本文探讨了在给定大神经网络的情况下如何解决优化问题，通过剪枝神经网络来获得更可处理的模型，并发现跳过微调步骤可能获得更好的结果。
2026-03-18 cs.LG math.OC
A Framework for Strategic Discovery of Credible Neural Network Surrogate Models under Uncertainty
University at Buffalo（布法罗大学）；Sandia National Laboratories（桑迪亚国家实验室）
针对深度神经网络代理模型的可信度与不确定性量化需求，本研究提出OPAL-surrogate框架，基于分层贝叶斯推理与模型验证，在庞大模型空间中高效平衡复杂度、精度与不确定性，经多孔材料变形、湍流燃烧流两个问题验证有效。
2024-05-14 cs.CE cs.LG
Invertible Surrogate Models: Joint surrogate modelling and reconstruction of Laser-Wakefield Acceleration by invertible neural networks
Helmholtz-Zentrum Dresden - Rossendorf（亥姆霍兹德累斯顿-罗森多夫研究中心）；CASUS - Center for Advanced Systems Understanding（先进系统理解中心）
可逆神经网络是机器学习中的一种新技术，有前途的神经网络架构可以在正向和反向模式下运行。在本文中，我们将介绍可逆代理模型，近似复杂的前向模拟的物理参与激光等离子体加速器：iLWFA。代理模型的双射设计还提供了用于重建实验获得的诊断的所有手段。我们的可逆激光尾流场加速网络的质量将在大量的数值LWFA模拟上得到验证。
2021-06-01 cs.LG physics.acc-ph physics.plasm-ph
Learning to Compile Programs to Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出神经替代品编译技术，利用超网络直接从程序文本生成神经替代品，解耦生成与执行，提升数据效率、结果相似度并减少训练轮数。
2024-07-21 cs.AI cs.LG
Probabilistic Surrogate Networks for Simulators with Unbounded Randomness
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI Ltd.（Inverted AI有限公司）；University of Oxford（牛津大学）；Convergent Manufacturing Technologies Inc.（Convergent制造技术公司）；Mila（米拉）
我们提出了一个自动构建和训练快速，近似，深度神经代理随机模拟器的框架。与传统的代理建模方法不同，我们的代理保留了参考模拟器的可解释结构和控制流。我们的代理目标随机模拟器，其中随机变量的数量本身可以是随机的，并且可能是无界的。我们的框架进一步实现了自动替换的参考模拟器与代理进行摊销推理时。我们的代理人的保真度和速度允许更快的随机模拟和准确和更快的后验推理。使用一个说明性的，但不平凡的例子，我们展示了我们的代理人的能力，准确地建模的概率程序与无限数量的随机变量。然后，我们继续一个例子，表明我们的代理人能够准确地模拟一个复杂的结构，如一个程序合成的例子中的无界堆栈。我们进一步展示了我们的代理建模技术如何在复杂的黑盒模拟器中更快地进行摊销推理。具体来说，我们进行基于模拟器的材料质量测试，推断出固化过程中复合材料的安全关键潜在内部温度曲线。
2023-01-21 cs.LG stat.ML
Gaussian Process Surrogate Models for Neural Networks
Stanford University（斯坦福大学）；University College London（伦敦大学学院）
本文使用Gaussian processes构建神经网络的替代模型，通过经验学习有限网络的核函数，以解决预测架构泛化性和识别关键影响点等实际问题。
2023-09-14 cs.LG stat.ML
Surrogate Neural Networks to Estimate Parametric Sensitivity of Ocean Models
Argonne National Laboratory（阿贡国家实验室）；Tufts University（塔夫茨大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
该研究利用代理神经网络对理想化海洋模型进行参数敏感性分析，通过生成扰动参数集合数据训练模型，准确预测一步前向动力学并计算参数敏感性。
2023-11-10 cs.LG physics.ao-ph
ReLU Networks as Surrogate Models in Mixed-Integer Linear Programs
Solution Seeker AS；Norwegian University of Science and Technology（挪威科技大学）
我们考虑在混合整数线性规划（MILP）问题中嵌入分段线性深度神经网络（ReLU网络）作为代理模型。最近，许多作者应用了ReLU网络的MILP公式来探索受输入边界影响的各种模型属性。该公式是通过使用二进制变量对每个ReLU运算符进行编程并应用大M方法获得的。公式化的效率取决于由大M值定义的边界的紧密性。当ReLU网络嵌入到更大的最优化问题中时，可以在边界收紧中利用输出边界的存在。为此，我们设计和研究几个约束收紧程序，同时考虑输入和输出的界限。我们的数值结果表明，边界收紧可以大大减少求解时间，并且小型ReLU网络适合作为混合整数线性规划中的代理模型。
2019-09-26 cs.LG math.OC
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Underwater Soft Fin Flapping Motion with Deep Neural Network Based Surrogate Model
Tallinn University of Technology（塔林理工大学）；Vilnius University（维尔纽斯大学）
本文提出结合DNN代理模型与强化学习的水下软鳍力控制框架，通过网格切换控制提升精度与稳定性，并在真实软鳍执行器上验证了复杂推力运动与精确力控制效果。
2025-02-05 cs.LG cs.RO
Multi-modal Bayesian Neural Network Surrogates with Conjugate Last-Layer Estimation
National Laboratory of the Rockies（落基山脉国家实验室）
本文提出两种多模态贝叶斯神经网络代理模型，利用共轭分布估计参数，提升多模态数据下标量和时间序列的预测精度与不确定性量化。
2026-05-12 cs.LG stat.ML
Autoinverse: Uncertainty Aware Inversion of Neural Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经网络是许多前向过程的强大替代品。这种替代物的反演在科学和工程中是极其有价值的。一个成功的神经逆方法的最重要的属性是其解决方案在现实世界中部署时的性能，即，在本机转发进程上（而不仅仅是学习的代理）。我们提出了Autoinverse，一个高度自动化的方法来反转神经网络代理。我们的主要观点是在可靠的数据附近寻求逆解，这些数据是从正向过程中采样的，并用于训练代理模型。自逆通过考虑代理的预测不确定性并在反演期间将其最小化来找到此类解决方案。除了高精度外，自逆算法还可以增强解决方案的可行性，带有嵌入式正则化，并且无需初始化。我们验证我们提出的方法，通过解决一组现实世界中的问题，控制，制造和设计。
2022-10-17 cs.AI cs.LG
From GNNs to Symbolic Surrogates via Kolmogorov-Arnold Networks for Delay Prediction
本文提出FlowKANet，通过Kolmogorov-Arnold网络替代传统MLP层，实现高效且准确的延迟预测，并通过符号代理模型提升部署透明性。
2026-02-16 cs.LG cs.NI
Multi-Hierarchical Surrogate Learning for Structural Dynamical Crash Simulations Using Graph Convolutional Neural Networks
University of Stuttgart（斯图加特大学）；University of Washington（华盛顿大学）
提出一种基于图卷积神经网络的多分层代理建模框架，通过网格简化和迁移学习在多分辨率下构建代理模型，以降低碰撞仿真计算成本并适应不同硬件与精度需求。
2024-02-15 cs.LG math.DS
Uncertainty Surrogates for Deep Learning
Swiss Data Science Center（瑞士数据科学中心）；EPFL and ETH Zurich（洛桑联邦理工学院和苏黎世联邦理工学院）
在本文中，我们介绍了一种通过使用不确定性代理来估计深度网络中预测不确定性的新方法。这些代理是深度网络倒数第二层的特征，被迫匹配预定义的模式。除了其他可能性之外，图案本身可以是已知的视觉符号。我们展示了我们的方法可以用来估计预测和分布外检测的不确定性。此外，代理允许深度网络学习能力的可解释性，同时提供抵抗对抗攻击的鲁棒性。尽管它的简单性，我们的方法是优于国家的最先进的标准度量方法，以及计算效率和易于实现。在标准数据集上进行了广泛的实验，以证明我们的方法的有效性。
2021-04-16 cs.CV cs.LG
Recurrent convolutional neural network for the surrogate modeling of subsurface flow simulation
Stanford University（斯坦福大学）
多孔介质中流体流动不确定性的量化常常受到多尺度非均匀性和场地表征不足的阻碍。蒙特卡罗模拟（MCS）对大量输入参数的实现进行数值模拟，当模拟成本昂贵或不确定性程度较大时变得不可行。许多基于深度神经网络的方法被开发出来以取代数值流模拟，但以前的研究仅集中于在固定的时间步长生成输出的多个快照，并且缺乏反映模拟数据的时间依赖性。最近，卷积长短期记忆（ConvLSTM）被用来处理时间序列图像数据。在这里，我们建议将SegNet与ConvLSTM层相结合，用于数值流模拟的代理建模。结果表明，当仿真输出为时间序列数据时，该方法显著提高了基于SegNet的代理模型的性能.
2020-10-08 cs.LG physics.flu-dyn
MFNets: Data efficient all-at-once learning of multifidelity surrogates as directed networks of information sources
University of Michigan（密歇根大学）；Sandia National Laboratories（桑迪亚国家实验室）
我们提出了一种方法来构建一个代理从不同的成本和精度的信息源的合奏。多保真度代理编码信息源之间的连接作为一个有向无环图，并通过基于梯度的非线性最小二乘目标的最小化训练。虽然绝大多数最先进的假设之间的层次结构的连接信息源，我们的方法与灵活的结构信息源，可能不承认一个严格的层次结构。该公式有两个优点：（1）由于可以根据应用定制的简约多保真度网络，提高了数据效率;（2）对训练数据没有约束-我们可以组合信息源的噪声，非嵌套评估。从合成到基于物理的计算力学模拟的数值示例表明，我们的方法中的误差可以比单保真度和分层多保真度方法小几个数量级，特别是在低数据状态下。
2021-08-23 cs.LG stat.ML
Surrogate Neural Networks Local Stability for Aircraft Predictive Maintenance
Airbus Operations SAS（空中客车运营公司SAS）；Airbus Operations GmbH（空中客车运营公司GmbH）
本文评估了经验与形式化方法在飞机预测性维护中验证代理神经网络局部稳定性的适用性，展示了顺序组合多种方法构成单一验证流水线能有效减少运行时间。
2024-07-24 cs.AI cs.LG
Effective Reinforcement Learning through Evolutionary Surrogate-Assisted Prescription
Cognizant Technology Solutions（高知特科技解决方案公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现在有大量的历史数据可用于组织中的决策，包括决策问题，做出了什么决策，以及结果的可取性。使用这些数据，可以学习一个代理模型，并使用该模型，发展一个优化结果的决策策略。本文介绍了一种通用的这样的方法，称为进化代理辅助处方，或ESP。代理是，例如，一个随机森林或神经网络训练的梯度下降，和战略是一个神经网络的演变，以最大限度地提高预测的代理模型。ESP在本文中进一步扩展到顺序决策任务，这使得它有可能在强化学习（RL）基准评估框架。由于大多数评估都是在代理上进行的，ESP比标准RL方法具有更高的样本效率，更低的方差和更低的遗憾。令人惊讶的是，它的解决方案也更好，因为代理和策略网络都规范了决策行为。ESP因此形成了一个有前途的基础，在现实世界中的问题的决策优化。
2020-04-22 cs.LG cs.NE
Interpretable Local Tree Surrogate Policies
Stanford University（斯坦福大学）
高维策略，例如由神经网络表示的策略，不能被人类合理地解释。这种可解释性的缺乏降低了用户对策略行为的信任，限制了他们对视频游戏等低影响任务的使用。不幸的是，许多方法依赖于神经网络表示来进行有效的学习。在这项工作中，我们提出了一种方法来建立可预测的政策树作为代理的政策，如神经网络。策略树很容易被人类解释，并提供对未来行为的定量预测。我们证明了这种方法在几个模拟任务的性能。
2021-09-16 cs.AI cs.LG
Distill n' Explain: explaining graph neural networks using simple surrogates
Federal Institute of Ceará（塞阿拉联邦学院）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；Aalto university（阿尔托大学）
针对图神经网络解释成本与模型复杂度绑定的问题，提出基于知识蒸馏的DnX及快速版FastDnX，通过简单代理GNN和凸规划提取解释，性能优于现有方法且速度快数个数量级，并提供了理论支撑。
2024-03-08 cs.AI cs.LG
SMART: A Surrogate Model for Predicting Application Runtime in Dragonfly Systems
针对Dragonfly网络中高保真PDES分析工作负载干扰成本过高、难以支撑应用运行时间预测的问题，提出结合GNN与LLM的代理模型SMART，可精准捕获流量时空模式，预测性能优于现有基线，支撑高效混合模拟。
2025-11-14 cs.DC cs.LG
Critical initialisation in continuous approximations of binary neural networks
School of Electrical and Electronic Engineering（电气与电子工程学院）；Institut de Physique Thorique（理论物理研究所）；University of Adelaide（阿德莱德大学）；Bocconi University（博科尼大学）
研究了通过连续代理网络训练具有二元权值和激活的随机神经网络模型（$\pm1$）。我们得到新的代理人使用一种新的推导的基础上写的随机神经网络作为一个马尔可夫链。这种推导也包括文献中提出的替代物的现有变体。在此之后，我们从理论上研究了初始化时的代理。我们推导出，使用平均场理论，一组标量方程描述输入信号如何传播通过随机初始化的网络。这些方程揭示了每个代理网络是否存在所谓的临界初始化，其中网络可以被训练到任意深度。此外，我们从理论上预测和数值上确认，在标准连续网络中使用的常见权重初始化方案，当应用于随机二进制权重的平均值时，会产生较差的训练性能。这项研究表明，与常见的直觉相反，随机二进制权重的平均值应该初始化为接近$\pm 1$，以便更深的网络是可训练的。
2020-04-10 cs.LG stat.ML
Modeling Design and Control Problems Involving Neural Network Surrogates
University of California at Los Angeles（加利福尼亚大学洛杉矶分校）；Argonne National Laboratory（阿贡国家实验室）
我们考虑非线性最优化问题，涉及代理模型表示的神经网络。我们首先展示了如何直接嵌入神经网络评估到最优化模型，突出了这种方法的困难，可以防止收敛，然后表征平稳的这种模型。然后，我们在具有ReLU激活的前馈神经网络的特定情况下提出了这些问题的两种替代形式：作为混合整数最优化问题和作为具有互补约束的数学规划。对于后者的制定，我们证明了这个问题的平稳性在一个点对应于平稳的嵌入式制定。这些配方可以解决国家的最先进的最优化方法，我们展示了如何获得良好的初始可行解这些方法。我们比较了我们的配方在燃烧发动机的设计和控制中产生的三个实际应用中，在分类器网络上产生对抗性攻击，以及在油井网络中确定最佳流量。
2021-11-20 cs.LG math.OC
High-Dimensional Surrogate Modeling for Closed-Loop Learning of Neural-Network-Parameterized Model Predictive Control
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与物理系统实验室，德累斯顿技术大学）
本文提出使用贝叶斯神经网络替代模型改进高维控制器参数化学习，通过实验验证其在闭环优化中的有效性与稳定性。
2025-12-12 cs.LG cs.SY eess.SY
Learning Surrogate Losses
University of Hildesheim（希尔德斯海姆大学）
损失函数的最小化是机器学习的核心和灵魂。在本文中，我们提出了一种现成的优化方法，可以最小化几乎任何不可微和不可分解的损失函数（例如，错误分类率，AUC，F1，Jaccard指数，Mathew相关系数等）。天衣无缝我们的策略通过代理神经网络来近似真实损失，从而学习真实损失的平滑松弛版本。所提出的损失网络是一种集式模型，它对小批量实例的阶数是不变的。最终，通过双层优化与预测模型联合学习替代损失。与最先进的基线相比，具有不同现实生活中的损失函数的多个数据集的实证结果证明了学习代理损失的效率。
2019-05-24 cs.LG stat.ML
Physics-constrained neural networks for surrogate modeling of lossless periodic structures
Institute of Space Research, German Aerospace Center (DLR)（航天研究院，德国航天中心（DLR））
提出物理约束神经网络(PCNN)，通过将能量守恒作为硬约束投影到Stiefel流形，快速预测RCWA输出的Jones矩阵，并用于增强现实眼镜的衍射波导合束器逆向设计。
2026-09-11 cs.LG physics.optics
A numerical study into neural network surrogate model performance for uncertainty propagation
ASEE Postdoctoral Associate（ASEE博士后研究员）；U.S. Naval Research Laboratory（美国海军研究实验室）
本文研究神经网络代理模型在捕捉整个概率空间中解场完整分布的能力，尤其关注分布尾部表现，通过热传导方程对比了全连接网络与深度算子网络的性能。
2026-05-15 cs.LG stat.ML
S$^3$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Spiking Neural Networks
AISIN SOFTWARE（爱信软件）；AISIN（爱信）
随着神经网络规模的增加，需要使它们能够以低计算成本和能量效率运行的技术。从这样的需求出发，已经提出了各种有效的神经网络范例，诸如脉冲神经网络（SNN）或二进制神经网络（BNN）。然而，它们具有棘手的缺点，例如降低的推理准确性和延迟。为了解决这些问题，我们提出了一个单步的【形】脉冲神经网络（S $^3$ NN），它是一个能量有效的神经网络，具有低计算成本和高精度。提出的S $^3$ NN通过尖峰信号作为SNN处理隐藏层之间的信息。然而，它没有时间维度，因此在BNN的训练和推理阶段没有延迟。因此，所提出的S $^3$ NN具有比需要时间序列处理的SNN更低的计算成本。然而，S $^3$ NN不能采用朴素的反向传播算法，由于不可微性的尖峰。我们推导出一个合适的神经元模型，通过减少代理梯度多时间步长SNN到一个单一的时间步长。我们的实验表明，所获得的替代梯度允许S $^3$ NN进行适当的训练。我们还表明，所提出的S $^3$ NN可以实现与全精度网络相当的精度，同时具有高能效。
2023-02-03 cs.LG cs.NE
Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks
Nanyang Technological University（南洋理工大学）
针对脉冲神经网络中替代梯度选择缺乏依据及膜电位分布偏移问题，提出参数化替代梯度 PSG 与电位分布调整 PDA，并结合 BPTT 在静态和动态数据集上以更少时间步达到 SOTA。
2023-04-26 cs.LG cs.NE
Deep Capsule Encoder-Decoder Network for Surrogate Modeling and Uncertainty Quantification
Indian Institute of Technology Delhi（印度理工学院德里分校）
我们提出了一种新的\textit{capsule}为基础的深度编码器-解码器模型的替代建模和不确定性量化的系统在力学稀疏数据。所提出的框架是通过将胶囊网络（CapsNet）架构适配到图像到图像回归编码器-解码器网络来开发的。具体而言，目的是利用CapsNet优于卷积神经网络（CNN）$-$的优点，保留与实体相关的姿势和位置信息。所提出的方法的性能说明通过求解椭圆随机偏微分方程（SPDE），这也支配系统的力学，如稳定的热传导，地下水流动或其他扩散过程，基于不确定性量化问题的输入维数为$1024$。然而，该问题的定义并没有限制的随机扩散场的特定协方差结构，和更艰巨的任务的响应预测的任意扩散场得到解决。性能评估结果表明，该方法是准确的，有效的，和强大的。
2022-01-19 cs.LG stat.ML
Gated Linear Model induced U-net for surrogate modeling and uncertainty quantification
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）；Indian Institute of Technology Delhi（德里印度理工学院）
我们提出了一种新的基于深度学习的代理模型，用于解决高维不确定性量化和不确定性传播问题。所提出的深度学习架构是通过将众所周知的U-net架构与高斯门控线性网络（GGLN）集成而开发的，并被称为门控线性网络诱导的U-net或GLU-net。建议的GLU网络将不确定性传播问题视为图像到图像的回归，因此非常有效。此外，它还提供了预测不确定性的估计。GLU网的网络结构比现有的网络结构简单，参数减少了44%.我们说明了所提出的GLU-网络在稀疏数据场景下的不确定性下求解达西流问题的性能。我们认为随机输入维数高达4225。基准测试结果使用香草蒙特卡罗模拟生成。我们观察到建议的GLU网络是准确的，非常有效的，即使没有信息的输入结构提供给网络。通过改变训练样本量和随机输入维数进行了案例研究，以说明所提出的方法的鲁棒性。
2021-11-08 cs.LG stat.ML
