Growing Brains: Co-emergence of Anatomical and Functional Modularity in Recurrent Neural Networks
MIT（麻省理工学院）；IAIFI（人工智能与基础交互研究所）
本研究将脑启发模块化训练应用于循环神经网络，发现功能与解剖模块性共同涌现，并通过平衡任务性能与稀疏性提升模型表现，为神经形态计算与可解释性提供新思路。
2023-10-11 cs.AI cs.LG cs.NE
Emergent Bio-Functional Similarities in a Cortical-Spike-Train-Decoding Spiking Neural Network Facilitate Predictions of Neural Computation
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；China Nanhu Academy of Electronics and Information Technology (CNAEIT)（中国电子科技南湖研究院）
尽管目标驱动的发放神经网络（SNN）具有更好的生物可识别性，但它在生物脉冲序列方面并没有达到适用的性能，而且与传统的人工神经网络相比，SNN的生物功能相似性很小。在这项研究中，我们提出了motorSRNN，一个经常性的SNN拓扑启发灵长类动物的神经运动回路。通过采用motorSRNN在解码脉冲序列从初级运动皮层的猴子，我们取得了很好的平衡之间的分类精度和能量消耗。motorSRNN通过捕获和培养更多的余弦调谐（运动皮层神经元的基本属性）与输入进行通信，并在训练期间保持稳定。在我们的猴子中也观察到这种训练诱导的培养和余弦调谐的持续性。此外，motorSRNN在单神经元、群体和电路水平上产生了额外的生物功能相似性，证明了生物真实性。因此，对motorSRNN的消融研究表明，长期稳定的反馈突触有助于运动皮层的训练诱导培养。除了这些新的发现和预测，我们还提供了一个新的框架来构建真实的神经计算模型。
2023-03-14 cs.AI q-bio.NC
Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification
SNAP GmbH（SNAP有限公司）
本文提出函数神经网络（FNNs），将多层感知机和卷积神经网络扩展到函数型数据，实现平移不变并保持平滑性，在准确率上优于FDA基准模型并成功用于脑电图分类。
2023-08-10 cs.LG stat.ME stat.ML
Deep Neural Network Classifier for Multi-dimensional Functional Data
Auburn University（奥本大学）；New Jersey Institute of Technology（新泽西理工学院）
我们提出了一种新的方法，称为功能性深度神经网络（FDNN），用于分类多维功能数据。具体地，基于训练数据的主成分来训练深度神经网络，其将用于预测未来数据函数的类别标签。与目前流行的基于高斯假设的函数判别分析方法不同，FDNN方法适用于一般的非高斯多维函数数据。此外，当对数密度比具有局部连通的功能模块结构时，我们证明了FDNN实现了极大极小最优性。通过模拟和真实世界的数据集证明了我们的方法的优越性。
2022-05-17 cs.LG stat.ME stat.ML
Functional-Edged Network Modeling
Tsinghua University（清华大学）
针对边为功能数据的网络建模问题，提出基于对称正则化Tucker功能分解的功能邻接张量模型，结合黎曼共轭梯度下降处理不规则观测，经模拟和真实地铁数据验证有效。
2024-07-15 cs.LG stat.ML
Neural Dynamics-Informed Pre-trained Framework for Personalized Brain Functional Network Construction
本文提出一种基于神经动态的预训练框架，用于构建个性化脑功能网络，通过提取个性化神经活动表示并指导脑分区和相关性估计，提升了异质场景下的性能。
2026-03-08 cs.AI cs.LG
NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data
Institute of Mathematical Sciences, ShanghaiTech University（上海科技大学数学科学研究所）
本文提出NeuralFLoC，一种基于神经ODE驱动的 diffeomorphic 流和谱聚类的端到端深度学习框架，解决函数数据相位变化下的联合注册与聚类问题，实现相位和幅度变化的有效分离。
2026-04-29 cs.LG stat.ML
Multiclass classification for multidimensional functional data through deep neural networks
Yale University（耶鲁大学）；Auburn University（奥本大学）
针对多维函数数据因无限维特征导致标准分类方法失效的问题，提出多类函数深度神经网络（mfDNN）分类器，采用ReLU激活函数和交叉熵损失，推导了误分类风险收敛速率并在模拟和基准数据集上验证了其性能。
2023-05-24 cs.LG stat.ME
Quantile and moment neural networks for learning functionals of distributions
EDF R&D（法国电力公司研发部）；FiME, Laboratoire de Finance des Marchés de l’Energie（能源市场金融实验室（FiME））
我们研究新闻神经网络来逼近概率空间中的分布函数。提出了基于分位数和矩逼近的两类神经网络来学习这些函数，并在理论上得到了泛逼近定理的支持。通过在其他新网络中混合分位数和矩特征，我们开发了在涉及单变量分布的数值测试用例上优于现有网络的方案。对于二元分布，矩神经网络优于所有其他网络。
2023-03-20 cs.LG stat.ML
Permutation Equivariant Neural Functionals
Stanford University（斯坦福大学）；University of Bologna（博洛尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出置换等变神经泛函框架，利用参数共享的 NF-Layers 编码网络权重的置换对称性，并在 MLP、CNN 及 INR 权重处理任务上验证其有效性。
2023-09-26 cs.AI cs.LG
Dynamic Multivariate Functional Data Modeling via Sparse Subspace Learning
National University of Singapore（新加坡国立大学）；Arizona State University（亚利桑那州立大学）；Samsung Electronics（三星电子）；Georgia Institute of Technology（佐治亚理工学院）
来自复杂系统的多元函数数据自然是高维的，并且具有复杂的互相关结构。数据结构的复杂性可以被观察为：（1）一些函数与相似的特征强烈相关，而另一些函数可能与非常不同的特征几乎没有互相关;以及（2）互相关结构也可能由于系统演化而随时间变化。针对这一问题，本文提出了一种基于动态子空间学习的多元函数数据建模方法。特别地，我们考虑不同的函数来自不同的子空间，并且只有相同子空间的函数彼此具有互相关。子空间可以通过将问题重新格式化为稀疏回归来自动制定和学习。通过允许但规则化随时间的回归变化，我们可以描述互相关动态。该模型可以有效地估计的快速迭代收缩阈值算法（FISTA），每个子空间的特征可以使用光滑的多通道功能PCA提取。数值研究和案例研究表明，所提出的方法的效率和适用性。
2018-04-11 cs.LG stat.ML
Reduced-Order Modeling of Deep Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们介绍了一种加速深度神经网络推理的新方法。该方法受到了动力系统降阶建模技术的启发，其基础是最大体积算法。我们证明了在不同数据集上预训练的神经网络的效率。我们表明，在许多实际情况下，可以用更小的全连接层替换卷积层，准确性下降相对较小。
2020-11-25 cs.LG stat.ML
Nonlinear functional regression by functional deep neural network with kernel embedding
Department of Statistics and Actuarial Science, University of Hong Kong（香港大学统计与精算科学系）；Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）；Department of Electrical Engineering, ESAT-STADIUS, KU Leuven（KU Leuven 电子工程系）
针对非线性泛函回归中无限维泛函数据的降维难题，提出融合自适应核嵌入、Mercer 特征函数投影与深度 ReLU 网络的泛函神经网络，并给出逼近速率、ERM 泛化界及实验验证。
2025-05-12 cs.LG stat.ML
Neural Functional Transformers
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出神经函数变换器，利用注意力机制构建置换等变权重空间层，匹配或超越现有方法，并开发Inr2Array将INR分类准确率提升高达17%。
2023-05-22 cs.AI cs.LG
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Probabilistic Functional Neural Networks
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文提出概率函数神经网络（ProFnet），融合前馈/深度神经网络与概率建模，通过蒙特卡洛采样生成概率预测并量化不确定性，可捕捉时空依赖，适用于高维函数型时间序列，在日本死亡率数据上表现优越。
2025-03-27 cs.LG stat.ML
Enhanced Input Modeling for Construction Simulation using Bayesian Deep Neural Networks
George Mason University（乔治梅森大学）
本文旨在提出一种新的深度学习集成框架，用于通过整合多源信息来导出可靠的仿真输入模型。该框架来源和提取从施工操作中生成的多数据集数据，为输入建模提供了丰富的信息。该框架实现了贝叶斯深度神经网络，以促进在输入建模中纳入更丰富信息的目的。最后，以道路铺设作业为例，验证了该框架的可行性和适用性。总体而言，本研究通过推导详细的输入模型来增强输入建模，从而增强施工操作中的决策过程。这项研究还揭示了通过结合机器学习技术来促进数据驱动的模拟。
2019-06-14 cs.LG stat.ML
Estimation of the Mean Function of Functional Data via Deep Neural Networks
Auburn University（奥本大学）；New Jersey Institute of Technology（新泽西理工学院）
在这项工作中，我们提出了一种深度神经网络方法来执行函数数据的非参数回归。所提出的估计器基于具有ReLU激活函数的稀疏连接深度神经网络。通过适当地选择网络结构，我们的估计达到了经验范数下的最优非参数收敛速度。在某些情况下，如三角多项式核和足够大的采样频率，收敛速度甚至比根$n$率。通过蒙特卡罗模拟研究，我们检查所提出的方法的有限样本性能。最后，所提出的方法应用于分析阿尔茨海默病患者的正电子发射断层扫描图像从阿尔茨海默病神经影像倡议数据库。
2020-12-08 cs.LG stat.ML
Neural Networks as Functional Classifiers
Simon Fraser University（西蒙弗雷泽大学）；Stanford University（斯坦福大学）
近年来，预测方法学领域出现了相当大的创新。机器学习方法在各种分类竞争中的相对主导地位证明了这一点。虽然这些算法在多变量问题上表现出色，但它们在函数数据分析领域仍然处于休眠状态。我们将著名的深度学习方法扩展到功能数据领域，以解决分类问题。我们强调了我们的方法在一些分类应用中的有效性，如光谱数据的分类。此外，我们证明了我们的分类器的性能，通过模拟研究，我们比较我们的方法的功能线性模型和其他传统的分类方法。
2020-10-09 cs.LG stat.ML
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM（国际商业机器公司）
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络，以通过使用概率层来支持概率深度学习，传统上，概率层对权重（和偏差）不确定性进行编码。具体地，混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是，先验知识原则上提供了对先验知识进行编码的方法，以用于推理和预测。然而，由于权重没有直观的解释，因此很难指定权重的先验知识。此外，权重的先验与网络计算的函数之间的关系很难表征。相比之下，函数解释起来很直观，并且是直接的，因为它们将输入映射到输出。因此，很自然地指定函数的先验知识来编码先验知识，并将它们用于基于函数的推理和预测。为了支持这一点，我们提出了混合贝叶斯神经网络与功能概率层编码功能（和激活）的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验，GPflus是一个新的库，提供高斯过程层，并支持它们与确定性Keras层一起使用，以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
On Evaluating LLMs' Capabilities as Functional Approximators: A Bayesian Perspective
University of Cambridge（剑桥大学）；Microsoft（微软公司）；The Alan Turing Institute（艾伦·图灵研究所）
本研究从贝叶斯视角出发提出新评估框架，发现大语言模型函数建模时弱于原始数据模式理解、长于利用领域先验知识掌握底层函数，明确了其在该任务中的优劣势。
2024-10-06 cs.AI cs.LG
Functional compatibility as a determinant of persistent neural learning
Dublin City University（都柏林城市大学）
该研究提出功能兼容性是持续神经学习的因果决定因素，通过受控实验验证其可推广至多类模型与任务，为解决神经网络稳定性-可塑性问题提供了新方向。
2026-11-03 cs.AI cs.LG
Neural Operators for Nonlinear Functionals on RKHS
Georgia Institute of Technology（佐治亚理工学院）
本文提出利用RKHS插值正交投影，以有限点评估构建更简单灵活的神经网络架构，用于逼近和统计学习RKHS上的非线性泛函，并给出逼近率、复杂度界及泛化保证。
2026-09-15 cs.LG math.ST stat.ML
Boosting Mapping Functionality of Neural Networks via Latent Feature Generation based on Reversible Learning
Curtin University（科廷大学）；GIST（光州科学技术院）
针对图像分类和人脸识别等视觉识别中神经网络映射功能的提升问题，提出了一种新的提升方法。我们提出了使用网络本身生成和学习潜在特征的可逆学习。通过生成对应于硬样本的潜在特征并在训练阶段中应用所生成的特征，可逆学习可以改善映射功能，而无需额外的数据增强或处理数据集的偏差。我们证明了MNIST，Cifar-10/100，和极有偏见和分类不良的数据集（EBPC数据集）所提出的方法的效率。实验结果表明，该方法可以优于现有的国家的最先进的方法在视觉识别。大量的分析表明，我们的方法可以有效地提高网络的映射能力。
2019-10-21 cs.LG stat.ML
InferPy: Probabilistic Modeling with Deep Neural Networks Made Easy
University of Almería（阿尔梅里亚大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（人工智能研究所（IDSIA））
InferPy是一个Python包，用于使用深度神经网络进行概率建模。它定义了一个用户友好的API，权衡了模型的复杂性和易用性，不像其他库那样专注于处理非常通用的概率模型，代价是拥有更复杂的API。特别是，该软件包允许以紧凑和简单的方式定义，学习和评估包含深度神经网络的一般分层概率模型。InferPy基于Tensorflow Probability和Keras。
2020-02-12 cs.LG stat.ML
Approximation of Functionals by Neural Network without Curse of Dimensionality
Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
本文建立了一个神经网络来逼近泛函，泛函是从无限维空间到有限维空间的映射。神经网络的逼近误差是$O(1/\sqrt{m})$，其中$m$是网络的大小，它克服了维数灾难。逼近的核心思想是定义一个Barron泛函谱空间。
2022-10-18 cs.LG cs.NA math.NA
Functional Network: A Novel Framework for Interpretability of Deep Neural Networks
Zhejiang University（浙江大学）；Xiamen University（厦门大学）
深层神经网络的分层结构阻碍了众多分析工具的使用，从而阻碍了其可解释性的发展。受功能性脑网络成功的启发，我们提出了一个新的框架，深度神经网络，即功能性网络的可解释性。我们构造了全连通网络的函数网络，并探讨了它的小世界性。在实验中，我们使用图论分析和拓扑数据分析来揭示正则化方法的机制，即批量归一化和丢弃。我们的实证分析表明：（1）批量归一化通过提高全局效率和循环数来提高模型性能，但通过降低容错能力来降低对抗鲁棒性。(2)Dropout通过改进函数的特化性和容错性来提高模型的泛化能力和鲁棒性。(3)具有不同正则化的模型可以根据其功能拓扑结构正确聚类，反映了功能网络和拓扑数据分析在可解释性方面的巨大潜力。
2022-05-24 cs.LG
Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks
IDSIA；USI（瑞士意大利语区大学）；SUPSI（瑞士应用科学大学）；NNAISENSE
子网络实现可重用功能的神经网络（NN）有望提供许多优势，包括通过功能构建块的有效重组实现的组合性、可解释性、防止灾难性干扰等。了解NN是否以及如何模块化可以提供如何改进它们的见解。然而，目前的检查方法未能将模块与其功能联系起来。在本文中，我们提出了一种新的方法的基础上学习二进制权重模板，以确定个人的权重和负责特定的功能。使用这个强大的工具，我们贡献了一个广泛的研究新兴的模块化神经网络，涵盖了几个标准的架构和数据集。我们展示了常见的神经网络无法重用子模块，并提供了新的见解相关问题的系统概括语言任务。
2021-03-06 cs.AI cs.LG cs.NE
Generalized Derangetropy Functionals for Modeling Cyclical Information Flow
本研究提出基于广义derangetropy泛函的周期性信息流建模框架，通过非线性微分方程调控的泛函算子捕捉信息分布的周期与自指特性，递归应用时引发谱扩散并收敛至高斯特征函数，为相关系统的信息演化分析提供新工具。
2025-04-20 cs.IT cs.LG math.IT
Hamiltonian Neural PDE Solvers through Functional Approximation
Carnegie Mellon University（卡内基梅隆大学）
本文提出HNS，将哈密顿泛函表示为神经场参数化的核积分，并用自动微分求泛函导数，从而在一维和二维PDE上提升稳定性、守恒性与长时泛化能力。
2025-09-29 cs.LG
Deep Survival Analysis for Competing Risk Modeling with Functional Covariates and Missing Data Imputation
Department of Quantitative Health Science, Cleveland Clinic, Cleveland OH, USA（定量健康科学系，克利夫兰诊所）；Department of Pulmonary and Critical Care Medicine, Cleveland Clinic, Cleveland OH, USA（呼吸与重症医学科，克利夫兰诊所）；Department of Statistics, Purdue University, Lafayette IN, USA（统计系，普渡大学）
本研究提出统一深度学习框架FCRN，用于竞争风险下的离散时间生存分析，可整合函数型协变量并端到端处理缺失数据，在模拟数据集和真实ICU数据集上的预测准确率优于传统模型，推动重症监护预后建模发展。
2025-09-29 cs.LG
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Exploring the Complexity of Deep Neural Networks through Functional Equivalence
The Hong Kong Polytechnic University（香港理工大学）
该研究从功能等价性视角探究深度神经网络复杂度，提出新的覆盖数界证明复杂度可降低，还发现其能优化训练、解释过参数化现象，为深度学习泛化与优化研究提供新见解。
2024-05-15 cs.LG math.ST stat.TH
Tensor Product Neural Networks for Functional ANOVA Model
Department of Statistics, Seoul National University, Seoul, Republic of Korea（统计系，首尔国立大学）；Department of Applied Mathematics, University of Twente, Enschede, Netherlands（应用数学系，埃因霍温理工大学）；Samsung Electronics Co., Ltd, Republic of Korea（三星电子有限公司）
针对现有泛函ANOVA模型分量估计神经网络因分解不唯一导致稳定性差的问题，提出基于张量积基展开的ANOVA-TPNN，理论上可逼近任意光滑函数，实验中分量估计和模型解释稳定性显著优于现有方法。
2025-07-31 cs.LG math.ST stat.ML
Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks
Disaster Prevention Research Institute, Kyoto University（京都大学灾害预防研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出功能先验方法，用于贝叶斯偏微分方程约束反演，通过结合物理信息神经网络，引入功能先验以提高反演精度，并展示了两种互补方法：FPI-BPINN和fParVI-PINN，分别在权重空间和函数空间进行贝叶斯推断。
2026-08-14 cs.LG physics.comp-ph physics.geo-ph
Alternating Synthetic and Real Gradients for Neural Language Modeling
使用时间反向传播（BPTT）训练递归神经网络（RNN）具有已知的缺点，例如难以捕获序列中的长期依赖性。尚未发现BPTT的成功替代品。最近，已经提出了通过解耦神经接口模块的具有合成梯度的BP来代替BPTT用于训练RNN。另一方面，已经表明，用合成梯度和真实梯度学习的表示是不同的，尽管它们在功能上是相同的。在这个项目中，我们将探索将合成和真实梯度与神经语言建模任务相结合的方法。从经验上讲，我们证明了在语言建模任务定期热重启后，使用合成和真实梯度交替训练的有效性。
2022-06-03 cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal（蒙特利尔大学）
在本文中，我们已经使用循环神经网络捕捉和建模人体运动数据，并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元，在一些序列建模问题，如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
CircuitGate: Logic-Consistent Circuit-Level Functional Modeling for And-Inverter Graphs
Dalian Maritime University（大连海事大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出CircuitGate框架，通过编码全局主输入支持、建模重汇聚并引入布尔约束，实现电路级功能建模，在等效门识别和信号概率预测任务中显著优于现有方法，并展现跨数据集泛化能力。
2026-10-08 cs.LG
Structured Neural SDEs for Functional Calibration
本文提出SLiSDE，一种基于结构化线性随机层的神经SDE模型，通过门控堆叠和Girsanov倾斜实现高效并行模拟与稳定重要性采样，在功能校准任务中优于全神经基线。
2026-09-29 cs.LG math.PR
Neural Topic Modeling of Psychotherapy Sessions
Columbia University（哥伦比亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们比较了不同的神经主题建模方法在学习的主题倾向不同的精神疾病的心理治疗会话转录解析语音录音。我们还将时间建模，把这个额外的可解释性的行动，通过解析出主题的相似性作为一个时间序列的回合级决议。我们相信这个主题模型框架可以为治疗师提供可解释的见解，以最佳地决定他或她的策略，并提高心理治疗的有效性。
2022-11-03 cs.AI cs.CL cs.HC
STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer
University of Washington（华盛顿大学）
建模神经元群体动态噪声单次试验尖峰活动是必不可少的相关神经观察和行为。最近的一种非递归方法-神经数据Transformers（NDT）-在没有显式动力学模型的情况下，在捕获具有低推理延迟的神经动力学方面取得了巨大成功。然而，NDT侧重于模拟群体活动的时间演化，而忽略了单个神经元之间丰富的协变。在本文中，我们介绍了时空神经数据Transformer（STNDT），一个基于NDT的架构，明确地模拟在整个时间和空间的人口中的单个神经元的反应，以揭示其潜在的放电率。此外，我们提出了一个对比学习损失，根据掩模建模目标，以进一步提高预测性能。我们表明，我们的模型在估计四个神经数据集的神经活动方面实现了最先进的集成性能，证明了它能够捕获跨越不同皮层区域的自主和非自主动态，同时对手头的特定行为完全不可知。此外，STNDT空间注意力机制揭示了神经元的重要子集，这些子集在驱动整个群体的反应中发挥着至关重要的作用，为神经元群体如何执行计算提供了可解释性和关键见解。
2022-06-09 cs.LG q-bio.NC
Nonlinear subspace clustering by functional link neural networks
Southwestern University of Finance and Economics（西南财经大学）
本研究提出基于 functional link neural network 的非线性子空间聚类方法，通过单层网络实现高计算效率，结合局部相似性正则化提升聚类质量，并引入凸组合方案动态平衡线性与非线性表示。
2024-08-27 cs.LG
Neural Pharmacodynamic State Space Modeling
Microsoft Research New England（微软研究院新英格兰分院）
对高维纵向数据的时间序列进行建模对于预测患者疾病进展非常重要。然而，现有的基于神经网络的学习患者状态的表示的方法虽然非常灵活，但容易过拟合。我们提出了一个深度生成模型，该模型利用了一种新的基于注意力的神经架构，其灵感来自治疗如何影响疾病状态的物理学。结果是高维患者生物标志物的可扩展和准确的模型，因为它们随时间变化。我们提出的模型在泛化方面有了显着的改进，并且在现实世界的临床数据上，为癌症进展的动态提供了可解释的见解。
2021-06-17 cs.LG
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Functional Stochastic Gradient MCMC for Bayesian Neural Networks
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（澳大利亚人工智能研究所（AAII），悉尼科技大学）
针对贝叶斯神经网络参数空间推断的先验问题，提出基于新扩散动力学的泛函MCMC方案，证明了其平稳测度为目标后验，并在预测精度和不确定性量化上优于现有方法。
2024-10-10 cs.LG
Functional data learning using convolutional neural networks
School of Mathematical and Statistical Sciences, The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校数学与统计科学学院）
本研究提出将函数型数据转为28×28图像，用典型CNN架构解决其回归与分类问题，在多类仿真、混沌/流行病/药物数据任务及真实帕金森病检测中均实现高准确率，具备工程与医疗应用潜力。
2023-10-05 cs.CV cs.LG
Generative Modeling of Quantum Distribution with Functional Flow Matching
Graduate School of Data Science, Seoul National University, Seoul, Korea（首尔国立大学数据科学研究生院）；Department of Statistics and Data Science, Yonsei University, Seoul, Korea（延世大学统计与数据科学系）；Department of Applied Statistics, Yonsei University, Seoul, Korea（延世大学应用统计系）；Google Research, Mountain View, California, United States（谷歌研究）
提出量子流匹配（QFM）模型，利用自旋Wigner函数和函数流匹配学习多量子比特量子分布，有效捕获物理量如纯度、纠缠熵。
2026-07-02 cs.LG quant-ph
Neural modal ordinary differential equations: Integrating physics-based modeling with neural ordinary differential equations for modeling high-dimensional monitored structures
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；Future Resilient Systems, Singapore-ETH Centre（新加坡-苏黎世联邦理工学院中心未来弹性系统）；National University of Singapore（新加坡国立大学）；Tongji University（同济大学）；Shanghai Qizhi Institute（上海期智研究院）
基于数据导出的模型的阶数/维数通常受到观测数量的限制，或者在被监测系统的背景下受到传感节点的限制。对于结构系统尤其如此（例如，土木或机械结构），其本质上通常是高维的。在物理信息机器学习的范围内，本文提出了一个框架-称为神经模态ODE-将基于物理的建模与深度学习集成，用于对监控和高维工程系统的动态进行建模。神经常微分方程-神经常微分方程被用作深度学习算子。在这个初始探索中，我们将自己限制在线性或轻度非线性系统中。我们提出了一个架构，耦合的动态版本的变分自编码器与物理信息的神经ODE（Pi神经ODE）。作为自动编码器的一部分，编码器学习从前几个观测数据项到潜变量初始值的抽象映射，这通过物理信息的神经ODE驱动嵌入动态的学习，在该潜空间上施加模态模型结构。所提出的模型的解码器采用的本征模式从本征分析应用到基于物理的模型的线性化部分：一个过程隐含地进行自由度（DOF）之间的空间关系。该框架在一个数值例子和一个缩放斜拉桥的实验数据集上进行了验证，其中所学习的混合模型优于纯粹基于物理的建模方法。我们进一步示出了在虚拟感测的上下文中所提出的方案的功能，即，从空间稀疏数据中恢复未测自由度的广义响应量。
2022-11-30 cs.CE cs.LG physics.data-an
Physics Informed Neural Networks for Control Oriented Thermal Modeling of Buildings
本文提出了一种数据驱动的建模方法，用于开发面向控制的建筑物热模型。开发这些模型的目的是降低能耗成本，同时将建筑物的室内温度控制在所需的舒适度范围内。为了结合白/灰盒物理模型的可解释性和神经网络的表达能力，我们提出了一个物理知情的神经网络方法，这个建模任务。连同测量数据和建筑参数，我们用控制这些建筑物热行为的底层物理对神经网络进行编码。因此，实现由物理学引导的模型有助于对室温和功耗的时间演变以及隐藏状态（即，随后时间步长的建筑热质量的温度。这项工作的主要研究贡献是：（1）我们提出了两种物理学通知的神经网络架构变体，用于建筑物的面向控制的热建模任务，（2）我们表明训练这些架构是数据高效的，与传统的非物理学通知的神经网络相比，需要更少的训练数据，和（3）我们表明，这些架构实现更准确的预测比传统的神经网络更长的预测范围。我们使用模拟和真实数据测试了所提出的架构的预测性能，以证明（2）和（3），并表明所提出的物理信息神经网络架构可以用于这种面向控制的建模问题。
2022-03-21 cs.LG cs.SY eess.SP
Modeling of nonlinear audio effects with end-to-end deep neural networks
Queen Mary University of London（伦敦玛丽女王大学）
在音乐制作的背景下，失真效果主要用于美学原因，通常应用于电子乐器。大多数现有的非线性建模方法往往是简化或优化到一个非常具体的电路。在这项工作中，我们研究了用于音频处理的深度学习架构，我们的目标是找到一个通用的端到端深度神经网络来执行非线性音频效果的建模。我们展示了网络建模的各种非线性，我们讨论了不同的仪器之间的泛化能力。
2019-03-06 cs.LG cs.SD eess.AS
Neural Ordinary Differential Equations for Intervention Modeling
Korea University（高丽大学）；KAIST（韩国科学技术院）；The University of Tokyo（东京大学）
通过将神经网络的潜在表示的前向动力学解释为常微分方程，神经常微分方程（Neural ODE）成为在连续时域中建模系统动力学的有效框架。然而，现实世界的系统通常涉及外部干预，导致系统动力学的变化，例如移动的球与另一个球接触，或者例如患者被给予特定的药物。然而，神经ODE和它最近的一些变体不适合对这种干预进行建模，因为它们不能正确地分别对观察和干预进行建模。在本文中，我们提出了一种新的神经ODE为基础的方法（IMODE），采用两个ODE功能，分别处理的意见和干预措施，适当的外部干预的效果建模。使用合成和真实世界的时间序列数据集涉及干预措施，我们的实验结果一致证明了IMODE相比现有方法的优越性。
2020-10-16 cs.LG cs.NE
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
University College London（伦敦大学学院）
我们的目的是探索深度学习的能力，以近似生物神经回路的功能-功能连接体。使用深度神经网络，我们使用从综合构建的神经回路以及从经验支持的边界向量单元-位置单元网络中提取的发射率观察值进行监督学习。使用一系列标准和任务量化训练网络的性能。我们的研究结果表明，深度神经网络能够以高精度捕获合成生物网络执行的计算，并且具有高度的数据效率和对生物可塑性的鲁棒性。我们表明，经过训练的深度神经网络能够在新的环境中执行zero-shot概括，并允许执行大量任务，例如高精度地解码动物在空间中的位置。我们的研究揭示了系统神经科学中一个新颖而有前途的方向，并且可以扩展到许多下游应用，例如目标导向的强化学习。
2022-11-23 cs.LG cs.NE q-bio.NC
NeuralSCF: Neural network self-consistent fields for density functional theory
International Center for Quantum Materials（国际量子材料中心）；School of Physics, Peking University（北京大学物理学院）；Hefei National Laboratory（合肥国家实验室）
针对Kohn-Sham密度泛函理论计算成本高的问题，提出编码其内在力学的NeuralSCF框架，用SE(3)等变图Transformer模拟自洽迭代，实现电子密度及衍生性质的高精度预测与强泛化，为加速电子结构计算提供新思路。
2024-06-22 cs.LG physics.chem-ph physics.comp-ph
Neural Flows: Efficient Alternative to Neural ODEs
Technical University of Munich（慕尼黑工业大学）；AWS AI Labs（AWS AI 实验室）
神经常微分方程描述了值如何随时间变化。这就是为什么它们在建模序列数据时变得重要的原因，特别是当观察以不规则的间隔进行时。在本文中，我们提出了一种替代方案，通过直接建模的解决方案曲线-一个常微分方程的流动-与神经网络。这立即消除了对昂贵的数值求解器的需要，同时仍然保持神经ODE的建模能力。我们提出了几个流架构适合不同的应用程序，建立精确的条件时，一个功能定义一个有效的流。除了计算效率，我们还提供了良好的泛化性能的经验证据，通过应用程序在时间序列建模，预测和密度估计。
2021-10-25 cs.LG cs.NA math.NA
