Neural Associative Memory for Dual-Sequence Modeling
DFKI（德国人工智能研究中心）
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中，我们提出了一种新的架构，双序列建模，是基于联想记忆。我们推导出AM-RNN，一种增强通用递归神经网络（RNN）的递归联想记忆（AM）。这种架构被扩展到双AM-RNN，它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明，使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而，自动编码的初步实验表明，当学习解决序列到序列任务时，系统没有利用这些好处，这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Beyond Conventional Parametric Modeling: Data-Driven Framework for Estimation and Prediction of Time Activity Curves in Dynamic PET Imaging
School of Biomedical Engineering, University of British Columbia（英属哥伦比亚大学生物医学工程学院）；BC Cancer Research Institute（不列颠哥伦比亚省癌症研究所）；Department of Radiology, University of British Columbia（英属哥伦比亚大学放射学系）；Department of Physics, University of British Columbia（英属哥伦比亚大学物理系）；Department of Earth, Ocean and Atmospheric Sciences（地球、海洋与大气科学系）
本研究提出一个受反应扩散系统启发的神经网络数据驱动框架，通过自适应拟合dPET的TAC并直接校准扩散系数与反应项，显著提升了复杂生物场景下放射性药物时空动态的预测准确性与鲁棒性。
2024-05-31 cs.LG eess.IV math.DS
Generative Modeling of Clinical Time Series via Latent Stochastic Differential Equations
Department of Machine Learning and Neural Computing, Donders Institute for Brain, Cognition and Behaviour, Radboud University（机器学习与神经计算系，多纳德斯脑认知行为研究所，拉德堡德大学）
本文提出基于潜在神经随机微分方程的生成建模框架，用于处理临床时间序列数据中的不规则采样和不确定性，通过模拟和真实数据验证，实现了比传统方法更准确的预测和不确定性估计。
2025-11-20 cs.AI cs.LG
CMINNs: Compartment Model Informed Neural Networks -- Unlocking Drug Dynamics
Brown University（布朗大学）
提出结合分数阶微积分与时变参数的房室模型知情神经网络（CMINNs），通过PINN和fPINNs将ODE与神经网络集成，在仅两个方程的系统中精准刻画药物吸收、反常扩散及耐药性等动力学。
2024-09-19 cs.LG q-bio.QM
Curvature-Aware Optimization for High-Accuracy Physics-Informed Neural Networks
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；Division of Applied Mathematics, Brown University（布朗大学应用数学部）；Center for Biomedical Engineering, Brown University（布朗大学生物医学工程中心）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出曲率感知优化策略，加速物理信息神经网络求解偏微分方程和常微分方程，采用自然梯度、自缩放BFGS和Broyden优化器，并与高阶数值方法对比验证。
2026-04-06 cs.AI cs.LG cs.NA
Mesh-based graph convolutional neural networks for modeling materials with microstructure
Sandia National Laboratories（桑迪亚国家实验室）
预测具有微观结构的材料的代表性样品的演变是均匀化中的基本问题。在这项工作中，我们提出了一个图形卷积神经网络，直接利用初始微观结构的离散化表示，没有分割或聚类。与基于特征和基于像素的卷积神经网络模型相比，所提出的方法具有许多优点：（a）它的深度在于它不需要特征化，但可以从中受益，（b）它具有标准卷积滤波器和层的简单实现，（c）它在无插值的情况下原生地工作在非结构化和结构化网格数据上（与基于像素的卷积神经网络不同），以及（d）它像其他基于图形的卷积神经网络一样保持旋转不变性。我们证明了该网络的性能，并将其与传统的基于像素的卷积神经网络模型和基于特征的图卷积神经网络在多个大型数据集上进行比较。
2021-11-29 cs.LG
Reduced-Order Modeling of Deep Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们介绍了一种加速深度神经网络推理的新方法。该方法受到了动力系统降阶建模技术的启发，其基础是最大体积算法。我们证明了在不同数据集上预训练的神经网络的效率。我们表明，在许多实际情况下，可以用更小的全连接层替换卷积层，准确性下降相对较小。
2020-11-25 cs.LG stat.ML
Alternating Synthetic and Real Gradients for Neural Language Modeling
使用时间反向传播（BPTT）训练递归神经网络（RNN）具有已知的缺点，例如难以捕获序列中的长期依赖性。尚未发现BPTT的成功替代品。最近，已经提出了通过解耦神经接口模块的具有合成梯度的BP来代替BPTT用于训练RNN。另一方面，已经表明，用合成梯度和真实梯度学习的表示是不同的，尽管它们在功能上是相同的。在这个项目中，我们将探索将合成和真实梯度与神经语言建模任务相结合的方法。从经验上讲，我们证明了在语言建模任务定期热重启后，使用合成和真实梯度交替训练的有效性。
2022-06-03 cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal（蒙特利尔大学）
在本文中，我们已经使用循环神经网络捕捉和建模人体运动数据，并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元，在一些序列建模问题，如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Enhanced Input Modeling for Construction Simulation using Bayesian Deep Neural Networks
George Mason University（乔治梅森大学）
本文旨在提出一种新的深度学习集成框架，用于通过整合多源信息来导出可靠的仿真输入模型。该框架来源和提取从施工操作中生成的多数据集数据，为输入建模提供了丰富的信息。该框架实现了贝叶斯深度神经网络，以促进在输入建模中纳入更丰富信息的目的。最后，以道路铺设作业为例，验证了该框架的可行性和适用性。总体而言，本研究通过推导详细的输入模型来增强输入建模，从而增强施工操作中的决策过程。这项研究还揭示了通过结合机器学习技术来促进数据驱动的模拟。
2019-06-14 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Neural Ordinary Differential Equations for Intervention Modeling
Korea University（高丽大学）；KAIST（韩国科学技术院）；The University of Tokyo（东京大学）
通过将神经网络的潜在表示的前向动力学解释为常微分方程，神经常微分方程（Neural ODE）成为在连续时域中建模系统动力学的有效框架。然而，现实世界的系统通常涉及外部干预，导致系统动力学的变化，例如移动的球与另一个球接触，或者例如患者被给予特定的药物。然而，神经ODE和它最近的一些变体不适合对这种干预进行建模，因为它们不能正确地分别对观察和干预进行建模。在本文中，我们提出了一种新的神经ODE为基础的方法（IMODE），采用两个ODE功能，分别处理的意见和干预措施，适当的外部干预的效果建模。使用合成和真实世界的时间序列数据集涉及干预措施，我们的实验结果一致证明了IMODE相比现有方法的优越性。
2020-10-16 cs.LG cs.NE
InferPy: Probabilistic Modeling with Deep Neural Networks Made Easy
University of Almería（阿尔梅里亚大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（人工智能研究所（IDSIA））
InferPy是一个Python包，用于使用深度神经网络进行概率建模。它定义了一个用户友好的API，权衡了模型的复杂性和易用性，不像其他库那样专注于处理非常通用的概率模型，代价是拥有更复杂的API。特别是，该软件包允许以紧凑和简单的方式定义，学习和评估包含深度神经网络的一般分层概率模型。InferPy基于Tensorflow Probability和Keras。
2020-02-12 cs.LG stat.ML
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF，用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF，以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案，使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明，神经NMF优于其他层次NMF方法对这些数据集，并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Coherence-Aware Neural Topic Modeling
Amazon Web Services（亚马逊云科技）
主题模型的评估是基于它们描述文档的能力（即低困惑度）和产生具有连贯语义的主题的能力。在目前的主题建模中，困惑度是一个直接的优化目标。然而，由于其具有挑战性的计算，主题一致性并没有优化，并且仅在训练后进行评估。在这项工作中，在神经变分推理框架下，我们提出了将主题一致性目标纳入训练过程的方法。我们证明，这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型，但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling
Shanghai QiZhi Institute（上海智己研究院）；University of Pennsylvania（宾夕法尼亚大学）
提出基于Neural SDE的连续序列建模方法，将时间序列视为连续动力系统的离散样本，推导最大似然目标与无模拟训练方案，在具身与生成AI任务中验证有效性。
2025-01-31 cs.LG stat.ML
Significant Ties Graph Neural Networks for Continuous-Time Temporal Networks Modeling
College of Computer；Information Science Southwest University Chongqing, China；Information Science Southwest University Chongqing, China , corresponding author
时态网络适合于对复杂演化系统进行建模。它具有广泛的应用，例如社会网络分析、推荐系统和流行病学。近年来，对这类动态系统的建模研究引起了许多领域的关注.然而，大多数现有的方法采取离散的时间网络的快照和建模具有同等重要性的所有事件。本文提出了重要关系图神经网络（STGNN），一个新的框架，捕捉和描述重要的关系。为了更好地模拟交互的多样性，STGNN引入了一种新的聚合机制来组织最重要的历史邻居的信息，并自适应地获得节点对的重要性。在四个真实网络上的实验结果证明了该框架的有效性。
2022-11-12 cs.LG cs.SI
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）
序列到序列转换是语言处理应用中的核心问题，如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的，特别是在低资源环境中：它们无法从小数据集正确或系统地泛化。过去的研究表明，许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题，我们用词汇翻译机制来增强神经解码器，该机制概括了现有的复制机制，以纳入学习的，去语境化的，令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制，并表明它提高了从认知科学，形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
Input-to-State Stable Neural Ordinary Differential Equations with Applications to Transient Modeling of Circuits
University of Illinois（伊利诺伊大学）
提出了一类由可证明输入-状态稳定的连续时间递归神经网络参数化的神经元常微分方程。该模型的动态定义的建设是输入到状态稳定（ISS）相对于一个ISS-李雅普诺夫函数，学习联合与动态。我们使用所提出的方法来学习便宜的模拟行为模型的电子电路，可以准确地再现各种数字和模拟电路的行为时，由商业电路模拟器模拟，即使在训练过程中没有遇到的电路组件互连。我们还证明了学习ISS保持扰动的动态建模退化的影响，由于电路老化的可行性。
2022-02-14 cs.LG math.OC
Signed Graph Neural Ordinary Differential Equation for Modeling Continuous-time Dynamics
Xidian University（西安电子科技大学）；Zhejiang University（浙江大学）
针对现有图神经ODE忽略图有符号信息导致动态建模效果不佳的问题，提出有符号图神经常微分方程，整合到三类主流框架后在物理、生物场景及交通数据集上均优于基线。
2023-12-18 cs.AI cs.LG
Self-Normalizing Neural Network, Enabling One Shot Transfer Learning for Modeling EDFA Wavelength Dependent Gain
Duke University（杜克大学）
本文提出一种基于半监督自归一化神经网络的机器学习框架，用于对多个EDFA的波长相关增益进行建模并实现一次性迁移学习，在跨不同放大器类型的22个EDFA实验中展现出高精度。
2023-10-21 cs.LG cs.NI
Understanding the Modeling of Computer Network Delays using Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；NII（日本信息学研究所）
网络的最新趋势是提出使用机器学习（ML）技术来控制和操作网络。在这种情况下，ML可以用作计算机网络建模技术来构建估计网络性能的模型。实际上，网络建模是许多网络功能的核心技术，例如在优化领域，其中模型用于搜索满足目标策略的配置。在本文中，我们的目标是提供一个答案，以下列问题：神经网络可以准确地模拟延迟的计算机网络作为输入流量的函数？为此，我们假设网络是一个黑盒子，它的输入是一个流量矩阵，输出是延迟。然后，我们训练不同的神经网络模型，并评估其准确性在不同的基本网络特征：拓扑结构，规模，流量强度和路由。有了这个，我们的目标是有一个更好的理解计算机网络建模与神经网络，并最终提供实用的指导方针，如何需要这样的模型进行训练。
2018-07-23 cs.LG cs.NI
EEG-based video identification using graph signal modeling and graph convolutional neural network
Yonsei University（延世大学）
本文提出了一种新的基于图信号的脑电深度学习方法及其在基于脑电的视频识别中的应用。我们提出了新的方法来有效地将EEG数据表示为图上的信号，并使用图卷积神经网络来学习它们。视频识别的实验结果表明，与现有的方法相比，所提出的方法的有效性，而观看视频时获得的脑电响应。文中还讨论了脑电信号图形化表示的有效方法。
2018-09-12 cs.LG eess.SP
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE（Zalando SE研究部）
神经语言模型（LM）通常仅使用词汇特征（诸如单词的表面形式）来训练。在本文中，我们认为这剥夺了LM的关键句法信号，可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法，用于训练神经LM使用词汇和句法信息，和一种新的方法，用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中，我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面，对于单词级的模型与标准的语言模型。这些结果表明，扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Modeling Embedding Dimension Correlations via Convolutional Neural Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Platform and Content Group (PCG) of Tencent（腾讯平台与内容事业群）；Nanjing University of Science and Technology（南京理工大学）；National University of Singapore（新加坡国立大学）
协同过滤（CF）是推荐系统的核心，它通过用户与商品的历史交互（如点击、购买等）来模拟用户与商品之间的关系，神经网络凭借其强大的表示能力，近年来为推荐研究带来了革命性的变化，为协同过滤建立了新的标准。然而，现有的神经推荐模型没有显式地考虑嵌入维度之间的相关性，使得它们在建模用户和项目之间的交互函数时效率较低。在这项工作中，我们强调在神经网络嵌入维数之间的相关性建模，以追求更高的CF的有效性。提出了一种新的通用神经协同过滤框架ConvNCF，该框架具有两种设计：1）在用户嵌入和项目嵌入中应用外积，以显式地建模嵌入维之间的成对相关性; 2）在外积之上使用卷积神经网络学习嵌入维之间的高阶相关性.为了证明我们的建议，我们通过使用不同的输入来代表用户并在两个真实世界的数据集上进行实验，提出了ConvNCF的三个实例。大量的结果验证了ConvNCF的嵌入维相关性建模的实用性，它优于几个竞争力的CF方法。
2019-06-26 cs.IR cs.LG
Explainable Deep Learning for Tumor Dynamic Modeling and Overall Survival Prediction using Neural-ODE
Genentech（基因泰克公司）；Stanford University（斯坦福大学）
提出药理学信息神经网络 TDNODE，通过编码器-解码器架构从纵向肿瘤大小数据中发现动力学模型，克服截断数据预测限制，高精度预测患者总生存期，为肿瘤建模整合多模态数据提供原则性方法。
2023-10-20 cs.LG q-bio.QM
Importance of Search and Evaluation Strategies in Neural Dialogue Modeling
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
我们研究了搜索策略在神经对话建模中的影响。我们首先比较两个标准的搜索算法，贪婪和束搜索，以及我们新提出的迭代束搜索，产生一个更多样化的候选响应集。我们评估这些策略在现实的全面对话与人类，并提出了一个基于模型的贝叶斯校准，以解决注释者的偏见。这些对话进行了分析，使用两个自动度量：由模型和话语多样性分配的对数概率。我们的实验表明，更好的搜索算法会导致更高的评分对话。然而，找到最佳的选择机制，从更多样化的候选人中进行选择，仍然是一个悬而未决的问题。
2019-11-03 cs.CL cs.LG
Neural Controlled Differential Equations for EMT-Level Surrogate Modeling of Grid-Forming Inverters
Corporate Research Center, Midea Group（美的集团中央研究院）
针对人工智能在电力电子变流器建模中面临的挑战，提出神经控制微分方程框架，用于电网形成逆变器电磁暂态仿真，通过仿射控制公式和正则化方法，实现多尺度分析，准确再现暂态响应，提供物理一致的替代建模方法。
2026-07-21 cs.AI cs.LG
Climate Modeling with Neural Diffusion Equations
Yonsei University（延世大学）；Arizona State University（亚利桑那州立大学）；Texas A&M University–Commerce（德克萨斯农工大学商业分校）
由于深度学习技术的显著发展，人们已经做出了一系列努力来构建基于深度学习的气候模型。鉴于他们大多利用递归神经网络和/或图神经网络，我们设计了一个新的气候模型的基础上的两个概念，神经常微分方程（NODE）和扩散方程。许多涉及粒子布朗运动的物理过程都可以用扩散方程来描述，因此，它被广泛用于气候模拟。另一方面，神经元常微分方程（NODE）是从数据中学习常微分方程的潜在控制方程。在我们提出的方法中，我们将它们结合到一个单一的框架中，并提出了一个概念，称为神经扩散方程（NDE）。我们的NDE配备了扩散方程和一个额外的神经网络来模拟固有的不确定性，可以学习一个适当的潜在的控制方程，最好地描述了给定的气候数据集。在我们对两个真实世界和一个合成数据集和11个基线的实验中，我们的方法始终优于现有的基线。
2021-11-11 cs.AI cs.LG
Error-feedback stochastic modeling strategy for time series forecasting with convolutional neural networks
Huazhong University of Science and Technology（华中科技大学）
尽管卷积神经网络在时间序列建模和预测方面表现出了优越性，但在神经网络结构的设计和超参数的调整方面还没有得到充分的探索。受随机多层感知器增量构造策略的启发，提出了一种新的误差反馈随机建模（ESM）策略来构造用于时间序列预测任务的随机卷积神经网络（ESM-CNN），该策略自适应地构造网络结构. ESM策略建议在构建过程中逐步增加误差反馈全连接层的随机滤波器和神经元，以稳定地补偿预测误差，然后引入滤波器选择策略，使ESM-CNN能够提取不同大小的时间特征，在每次迭代过程中为预测提供有用的信息。ESM-CNN的性能分别在一步和多步预测任务的预测精度上是合理的。在合成和真实世界数据集上的综合实验表明，所提出的ESM-CNN不仅优于最先进的随机神经网络，而且与训练的最先进的深度神经网络模型相比，具有更强的预测能力和更少的计算开销。
2022-02-11 cs.LG stat.ML
Graph-based Neural Weather Prediction for Limited Area Modeling
Linköping University（林雪平大学）；SMHI（瑞典气象水文研究所）
本研究将基于图的神经天气预报方法适配至有限区域建模，提出多尺度层次模型扩展，并通过北欧区域实验验证其有效性。
2023-11-14 cs.LG stat.ML
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute（三星研发研究所）；National Research University Higher School of Economics（国家研究型高等经济大学）
循环神经网络已被证明是一种有效的统计语言建模方法。然而，在实践中，它们的内存和运行时的复杂度通常太大，无法在实时离线移动应用程序中实现。在本文中，我们考虑了几种压缩技术的循环神经网络，包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备：修剪，量化和矩阵分解方法（低秩因式分解和张量训练分解，特别是）。对于每一个模型，我们调查其大小，适合快速推理和困惑之间的权衡。我们提出了一个通用的管道，用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank（PTB）数据集的实验研究中已经表明，通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA（米拉研究所）；Université de Montréal（蒙特利尔大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
层归一化是最近引入的一种技术，用于对深度神经网络中的神经元活动进行归一化，以提高训练速度和稳定性。在本文中，我们介绍了一种新的层归一化技术称为动态层归一化（DLN）的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数，DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同，我们提出的方法不需要额外的自适应数据或扬声器信息，如i向量。此外，模型大小是固定的，因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型，并在大词汇量ASR实验的两个基准数据集上进行评估：WSJ和TED-LIUM版本2。实验结果表明，我们的DLN提高了神经声学模型的转录准确性，通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
Inverse modeling of nonisothermal multiphase poromechanics using physics-informed neural networks
Sharif University of Technology（谢里夫理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于物理信息神经网络的顺序PINN-THM反演求解器，采用无量纲THM控制方程，在多个基准问题上验证了多孔介质多相热-水-力过程参数识别的有效性。
2022-09-07 cs.CE cs.LG
Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics
Siemens AG, Corporate Technology（西门子股份公司，企业技术部）；Technical University of Munich（慕尼黑工业大学）
识别准确的动态模型是各种技术系统的仿真和控制所必需的。然而，在许多重要的实际应用中，两种主要的建模方法往往无法满足要求：第一原理方法具有高偏差，而数据驱动建模往往具有高方差。此外，纯粹基于数据的模型通常需要大量数据，并且通常难以解释。在本文中，我们提出了物理信息神经常微分方程（PINODE），一个混合模型，结合了两种建模技术，以克服上述问题。这种新方法直接将拉格朗日力学中的运动方程引入到深层神经网络结构中。因此，我们可以整合现有的物理知识，并使用函数逼近-e。例如，在一个实施例中，神经网络--它不是。该方法进行了测试与现实世界的物理系统具有很大的不确定性的前向模型。由此产生的模型是准确和数据效率，同时确保物理兼容性。有了这个，我们展示了一种方法，有益地融合物理洞察力与真实数据。我们的研究结果是基于模型的控制和系统辨识的机械系统的兴趣。
2020-05-29 cs.LG stat.ML
Autonomous Kinetic Modeling of Biomass Pyrolysis using Chemical Reaction Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
模拟生物质（如木材、草和农作物）的燃烧过程对于模拟和预测荒地和城市火灾行为至关重要。尽管其重要性，固体燃料的燃烧仍然知之甚少，这可以部分归因于大多数固体燃料的未知化学动力学。大多数现有的动力学模型都是建立在专家知识的基础上的，这需要化学见解和多年的经验。本工作提出了一个框架，自主发现生物质热解动力学模型，从热重分析仪（TGA）的实验数据，使用最近开发的化学反应神经网络（CRNN）。该方法将CRNN模型结合到神经元常微分方程的框架中来预测TGA数据中的残余质量。除了基于神经网络的模型的灵活性之外，通过将基本物理定律（例如质量作用定律和Arrhenius定律）纳入神经网络结构，学习的CRNN模型是可解释的。然后，学习的CRNN模型可以转换为生物质化学动力学模型的经典形式，这有助于提取化学见解和将动力学模型集成到大规模火灾模拟中。我们证明了该框架在预测纤维素的热解和氧化方面的有效性。这一成功的演示为固体燃料（如野火燃料和工业聚合物）的快速自主化学动力学建模提供了可能性。
2022-01-08 cs.LG physics.chem-ph
Semi-supervised Neural Networks solve an inverse problem for modeling Covid-19 spread
Politecnico di Milano（米兰理工大学）；Harvard University（哈佛大学）
研究COVID-19的动态对于了解限制措施的效率以及制定防御即将到来的传染浪潮的策略至关重要。在这项工作中，我们使用半监督神经网络研究了COVID-19的传播，并假设一部分被动的人群与病毒动态保持隔离。我们从一个无监督的神经网络开始，它学习不同建模参数和初始条件下微分方程的解。然后，一种监督方法通过估计生成函数的最佳条件来解决逆问题，以拟合那些感染COVID-19、从COVID-19中康复和因COVID-19而死亡的人的数据。这种半监督的方法结合了真实的数据，以确定不同国家的传播，被动人口和基本繁殖数的演变。
2020-10-10 cs.LG stat.ML
Neural modal ordinary differential equations: Integrating physics-based modeling with neural ordinary differential equations for modeling high-dimensional monitored structures
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；Future Resilient Systems, Singapore-ETH Centre（新加坡-苏黎世联邦理工学院中心未来弹性系统）；National University of Singapore（新加坡国立大学）；Tongji University（同济大学）；Shanghai Qizhi Institute（上海期智研究院）
基于数据导出的模型的阶数/维数通常受到观测数量的限制，或者在被监测系统的背景下受到传感节点的限制。对于结构系统尤其如此（例如，土木或机械结构），其本质上通常是高维的。在物理信息机器学习的范围内，本文提出了一个框架-称为神经模态ODE-将基于物理的建模与深度学习集成，用于对监控和高维工程系统的动态进行建模。神经常微分方程-神经常微分方程被用作深度学习算子。在这个初始探索中，我们将自己限制在线性或轻度非线性系统中。我们提出了一个架构，耦合的动态版本的变分自编码器与物理信息的神经ODE（Pi神经ODE）。作为自动编码器的一部分，编码器学习从前几个观测数据项到潜变量初始值的抽象映射，这通过物理信息的神经ODE驱动嵌入动态的学习，在该潜空间上施加模态模型结构。所提出的模型的解码器采用的本征模式从本征分析应用到基于物理的模型的线性化部分：一个过程隐含地进行自由度（DOF）之间的空间关系。该框架在一个数值例子和一个缩放斜拉桥的实验数据集上进行了验证，其中所学习的混合模型优于纯粹基于物理的建模方法。我们进一步示出了在虚拟感测的上下文中所提出的方案的功能，即，从空间稀疏数据中恢复未测自由度的广义响应量。
2022-11-30 cs.CE cs.LG physics.data-an
Neural Flows: Efficient Alternative to Neural ODEs
Technical University of Munich（慕尼黑工业大学）；AWS AI Labs（AWS AI 实验室）
神经常微分方程描述了值如何随时间变化。这就是为什么它们在建模序列数据时变得重要的原因，特别是当观察以不规则的间隔进行时。在本文中，我们提出了一种替代方案，通过直接建模的解决方案曲线-一个常微分方程的流动-与神经网络。这立即消除了对昂贵的数值求解器的需要，同时仍然保持神经ODE的建模能力。我们提出了几个流架构适合不同的应用程序，建立精确的条件时，一个功能定义一个有效的流。除了计算效率，我们还提供了良好的泛化性能的经验证据，通过应用程序在时间序列建模，预测和密度估计。
2021-10-25 cs.LG cs.NA math.NA
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH（DRIMCo有限责任公司）；CIS, University of Munich (LMU)（慕尼黑大学计算语言学中心）
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架，使用多视图嵌入空间：（1）预训练的主题嵌入，（2）预训练的词嵌入（Glove的上下文不敏感和BERT模型的上下文敏感）联合从一个或多个来源，以提高主题质量和更好地处理多义词。在这样做时，我们首先构建相应的预训练主题池（即，TopicPool）和词嵌入（即，WordPool）。然后，我们识别一个或多个相关的源域，并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中，我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集，通过泛化（困惑）、可解释性（主题连贯性）和信息检索（IR）来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时，我们使用6个源（高资源）和5个目标（低资源）语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）；Bielefeld University（比勒费尔德大学）
随机偏微分方程（SPDE）是大气科学和物理学等许多领域中动力学建模的重要工具。神经算子是神经网络的新一代，具有学习无穷维空间映射的能力，是求解参数偏微分方程的有力工具。然而，他们缺乏建模的能力，通常有较差的规律性，由于驱动噪声的SPDE。由于正则结构理论在分析SPDE方面取得了巨大的成功，并提供了很好地逼近SPDE解的概念模型特征向量，我们提出了具有正则结构的神经算子（NORS），它包含了由SPDE驱动的动力学建模的特征向量。我们进行了各种SPDE的实验，包括动态Phi 41模型和二维随机Navier-Stokes方程，结果表明，NORS是分辨率不变的，有效的，并实现了一个数量级的低误差与适量的数据。
2022-07-18 cs.LG math.AP physics.comp-ph
Discriminative Neural Sentence Modeling by Tree-Based Convolution
Software Institute, Peking University（北京大学软件研究所）
提出了一种基于树的卷积神经网络（TBCNN）的判别语句建模方法。我们的模型利用选区树或句子的依赖树。基于树的卷积过程提取句子的结构特征，并将这些特征通过最大池聚合。这种架构允许输出层和底层特征检测器之间的短传播路径，这使得能够进行有效的结构特征学习和提取。我们在两个任务上评估我们的模型：情感分析和问题分类。在这两个实验中，TBCNN的性能都优于之前的最先进的结果，包括现有的神经网络和专用的特征/规则工程。我们还努力可视化基于树的卷积过程，阐明我们的模型如何工作。
2015-06-02 cs.CL cs.LG cs.NE
Integrating Neural Operators with Diffusion Models Improves Spectral Representation in Turbulence Modeling
Brown University（布朗大学）
该研究集成神经算子与扩散模型以解决湍流替代建模中神经算子的谱局限性，通过以神经算子为条件增强湍流结构分辨率，在多数据集上验证并显著提升能谱预测准确性，稳定长期预测并建立新范式。
2025-02-13 cs.AI cs.LG physics.flu-dyn
BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation
The Hong Kong University of Science and Technology（香港科技大学）；Beijing Institute of Collaborative Innovation（北京协同创新研究院）；Peking University（北京大学）；Beihang University（北京航空航天大学）
BLEND框架通过将行为作为特权信息训练教师模型，再仅用神经活动蒸馏学生模型，以模型无关的方式在推理时无需行为输入即可提升神经动力学建模，在行为解码和神经元身份预测上分别取得超过50%和15%的提升。
2025-02-06 cs.LG cs.NE q-bio.NC
Dynamic Ensemble Modeling Approach to Nonstationary Neural Decoding in Brain-Computer Interfaces
Zhejiang University（浙江大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
脑机接口（BCI）通过从神经活动解码运动运动来实现假肢设备控制。在运动控制过程中，大脑皮层记录的神经信号由于突发噪声和大脑活动的神经可塑性变化而呈现出非平稳特性。目前最先进的神经信号解码器，如卡尔曼滤波器，假设神经活动和运动之间的固定关系，因此，如果不满足这一假设，将失败。我们提出了一种动态集成建模（DyEnsemble）方法，该方法能够通过采用适当的解码功能组合来适应神经信号的变化。DyEntrance方法首先学习一组不同的候选模型。然后根据贝叶斯更新机制在线动态选择和组合模型。我们的方法可以减轻噪声的影响，并通过自动模型切换来处理不同的任务行为，从而给出更准确的预测。神经网络数据实验表明，DyEntrance方法的性能明显优于卡尔曼滤波器，且在噪声信号中优势更为明显。
2019-11-02 cs.LG eess.SP stat.ML
Generative Modeling for Low Dimensional Speech Attributes with Neural Spline Flows
NVIDIA（英伟达）
尽管最近在文本到语音合成的生成建模方面取得了进展，但这些模型还没有像FastPitch和FastSpeech2这样的音高条件确定性模型那样具有相同的细粒度可调性。音高信息不仅是低维的，而且是不连续的，这使得在生成环境中建模特别困难。我们的工作探讨了几种技术来处理上述问题的规范化流模型的背景下。我们还发现这个问题非常适合神经样条流，这是一个高度表达的替代规范化流中更常见的仿射耦合机制。
2022-06-27 cs.LG cs.SD eess.AS
Physics Informed Neural Networks for Control Oriented Thermal Modeling of Buildings
本文提出了一种数据驱动的建模方法，用于开发面向控制的建筑物热模型。开发这些模型的目的是降低能耗成本，同时将建筑物的室内温度控制在所需的舒适度范围内。为了结合白/灰盒物理模型的可解释性和神经网络的表达能力，我们提出了一个物理知情的神经网络方法，这个建模任务。连同测量数据和建筑参数，我们用控制这些建筑物热行为的底层物理对神经网络进行编码。因此，实现由物理学引导的模型有助于对室温和功耗的时间演变以及隐藏状态（即，随后时间步长的建筑热质量的温度。这项工作的主要研究贡献是：（1）我们提出了两种物理学通知的神经网络架构变体，用于建筑物的面向控制的热建模任务，（2）我们表明训练这些架构是数据高效的，与传统的非物理学通知的神经网络相比，需要更少的训练数据，和（3）我们表明，这些架构实现更准确的预测比传统的神经网络更长的预测范围。我们使用模拟和真实数据测试了所提出的架构的预测性能，以证明（2）和（3），并表明所提出的物理信息神经网络架构可以用于这种面向控制的建模问题。
2022-03-21 cs.LG cs.SY eess.SP
Modeling of nonlinear audio effects with end-to-end deep neural networks
Queen Mary University of London（伦敦玛丽女王大学）
在音乐制作的背景下，失真效果主要用于美学原因，通常应用于电子乐器。大多数现有的非线性建模方法往往是简化或优化到一个非常具体的电路。在这项工作中，我们研究了用于音频处理的深度学习架构，我们的目标是找到一个通用的端到端深度神经网络来执行非线性音频效果的建模。我们展示了网络建模的各种非线性，我们讨论了不同的仪器之间的泛化能力。
2019-03-06 cs.LG cs.SD eess.AS
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University（康奈尔大学）
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言，并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性，并表明它们是乘法递归网络的特殊情况。我们的实验表明，这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外，它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果，而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Improving Neural Language Modeling via Adversarial Training
UT Austin（德克萨斯大学奥斯汀分校）
最近，通过使用深度神经网络在语言建模方面取得了实质性进展。然而，在实践中，大规模神经语言模型已被证明是容易过拟合。在本文中，我们提出了一个简单而高效的对抗训练机制，用于正则化神经语言模型。这个想法是在训练模型的同时将对抗性噪声引入输出嵌入层。我们证明了最佳对抗性噪声产生一个简单的封闭形式的解决方案，从而使我们能够开发一个简单和时间有效的算法。理论上，我们证明了我们的对抗机制有效地鼓励了嵌入向量的多样性，有助于提高模型的鲁棒性。从经验上讲，我们的方法改进了Penn Treebank（PTB）和Wikitext-2上语言建模的单一模型最先进的结果，分别达到了46.01和38.07的测试困惑分数。当应用于机器翻译时，我们的方法在WMT 14英语-德语和IWSLT 14德语-英语任务的BLEU分数中改善了各种基于transformer的翻译基线。
2019-09-09 cs.CL cs.LG stat.ML
Modeling Uncertainty by Learning a Hierarchy of Deep Neural Connections
Intel AI Lab（英特尔人工智能实验室）
尽管最近取得了重要进展，但在深度神经网络中建模不确定性仍然是一个悬而未决的问题。贝叶斯神经网络是一种强大的解决方案，其中网络权重的先验是一种设计选择，通常是正态分布或其他鼓励稀疏性的分布。然而，这种先验对输入数据的生成过程是不可知的，这可能导致对分布外的测试数据的不必要的泛化。我们建议存在一个混淆的输入数据和判别函数之间的关系给定的目标标签。我们提出了一种方法，通过共享生成和判别网络之间的神经连接模式来建模这种混淆。这种方法导致了一种新的深度架构，其中网络从局部因果结构的后验中采样，并耦合到一个紧凑的层次结构中。我们证明，从这个层次结构的采样网络，成比例的后验，是有效的，并能够估计各种类型的不确定性。我们的方法的实证评估表明，显着改善相比，国家的最先进的校准和分布检测方法。
2019-10-27 cs.AI cs.LG stat.ML
Are LLMs Ready for Neural-integrated Mechanistic Modeling? A Benchmark and Agentic Framework
University of Virginia（弗吉尼亚大学）
本文提出神经集成机制建模（NIMM）基准测试，评估大语言模型在三个科学领域构建神经集成机制模型的能力，并设计树引导的智能体框架 NIMMGen，通过分支级搜索和原子模型细化显著提升搜索稳定性和解质量。
2026-05-31 cs.AI cs.CL cs.LG
