Neural Integration of Continuous Dynamics
Massachusetts Institute of Technology(麻省理工学院)
神经动力系统是至少部分地由神经网络描述的动力系统。连续时间神经动力系统的类,但是,必须进行数值积分的模拟和学习。在这里,我们提出了一个紧凑的神经电路两个常见的数值积分器:显式固定步骤的龙格-库塔方法的任何顺序和半隐式/预测-校正亚当斯-Bashforth-Moulton方法。它们被建模为嵌入连续神经微分方程的恒定大小的递归网络,实现了完全神经的时间输出。使用动力系统的多项式类,我们证明了神经和数值积分的等价性。
2019-11-23 cs.LG cs.NA math.DS
Continuous Spiking Graph Neural Networks
针对连续图神经网络计算开销大、难以部署于低功耗设备的问题,提出融合脉冲神经网络与连续动力学的COS-GNN框架,利用二阶ODE实现高效传播,并理论证明其缓解梯度问题,实验验证其有效性。
2026-09-21 cs.AI cs.LG cs.NE
Mitigating Closed-model Adversarial Examples with Bayesian Neural Modeling for Enhanced End-to-End Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
在这项工作中,我们的目标是提高系统的鲁棒性的端到端的自动语音识别(ASR)对不利的噪声语音的例子。我们专注于严格和经验的“封闭模型对抗鲁棒性”设置(例如,设备上或云应用)。对抗性噪声仅由闭模型优化(例如,进化和零阶估计),而不直接访问目标ASR模型的梯度信息。我们提出了一种先进的贝叶斯神经网络(BNN)为基础的对抗检测器,它可以模拟潜在的分布对自适应对抗扰动与分歧的测量。我们进一步模拟了RNN Transducer,Conformer和基于wav 2 vec-2.0的ASR系统的部署场景。利用所提出的基于BNN的检测系统,与当前针对对抗性语音示例的模型增强方法相比,我们将LibriSpeech数据集的检测率提高了+2.77%至+5.42%(相对+3.03%至+6.26%),并将单词错误率降低了5.02%至7.47%。
2022-02-17 cs.AI cs.LG cs.NE
Closed-Form Interpretation of Neural Network Latent Spaces with Symbolic Gradients
University of Waterloo(多伦多大学);Perimeter Institute for Theoretical Physics(理论物理研究所);Homes Plus Magazine Inc.(Homes Plus 杂志公司);University of Toronto(多伦多大学)
本文提出一种基于符号梯度的框架,通过将神经网络嵌入等价类并寻找与人类可读方程的交集,实现潜空间神经元的闭式解释,并在矩阵不变量和动力系统守恒量上验证有效性。
2025-09-26 cs.AI cs.LG
High-Dimensional Surrogate Modeling for Closed-Loop Learning of Neural-Network-Parameterized Model Predictive Control
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt(控制与物理系统实验室,德累斯顿技术大学)
本文提出使用贝叶斯神经网络替代模型改进高维控制器参数化学习,通过实验验证其在闭环优化中的有效性与稳定性。
2025-12-12 cs.LG cs.SY eess.SY
Continuous Neural Algorithmic Planners
University of Cambridge(剑桥大学);DeepMind(深度思维);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
神经算法推理研究的是神经网络的学习算法问题,特别是图结构。最近的一项提案XLVIN利用了在深度强化学习代理中使用模拟值迭代算法的图神经网络的好处。它允许无模型规划,而无需访问有关环境的特权信息,这通常是不可用的。然而,XLVIN只支持离散的动作空间,因此非常适用于现实世界感兴趣的大多数任务。我们通过离散化将XLVIN扩展到连续的动作空间,并评估了几种选择性扩展策略来处理大型规划图。我们的提案CNAP展示了神经算法推理如何在更高维的连续控制设置中产生可衡量的影响,例如MuJoCo,在低数据设置中带来收益并优于无模型基线。
2022-11-29 cs.AI cs.LG
C-RNN-GAN: Continuous recurrent neural networks with adversarial training
Chalmers University of Technology(查尔姆斯理工大学)
生成对抗网络已经被提出作为有效训练深度生成神经网络的一种方式。我们提出了一个生成式对抗模型,该模型适用于连续的序列数据,并通过在一组古典音乐上训练它来应用它。我们的结论是,随着模型的训练,它生成的音乐听起来越来越好,报告生成的音乐的统计数据,并让读者通过下载生成的歌曲来判断质量。
2016-11-29 cs.AI cs.LG
Continuous-Time Cloth Dynamics with Physics-Informed Neural ODEs
University of Glasgow(格拉斯哥大学)
研究人员提出ContinuousCloth,一种嵌入弹簧-质量ODE的连续时间物理信息神经求解器,其在布料动力学模拟中兼具高精度与高效性,还能提升插值和参数估计任务的鲁棒性。
2026-10-14 cs.LG cs.RO
Digital Twins for Patient Care via Knowledge Graphs and Closed-Form Continuous-Time Liquid Neural Networks
SORG Orthopaedic Research Group(SORG骨科研究组);Massachusetts General Hospital(麻省总医院)
本文提出将患者健康数据构建为知识图谱,并结合闭式连续时间液态神经网络进行实时分析,以降低计算成本与建模复杂性,从而推动数字孪生在患者照护中的应用。
2023-07-08 cs.LG
The Wavefunction of Continuous-Time Recurrent Neural Networks
York University(约克大学)
本文探讨了连续时间递归神经网络(CTRNN)量子波函数的可能性。我们首先从一个描述连续时间递归神经网络经典动力学的二维动力学系统开始,然后推导出一个哈密顿量。在此之后,我们使用Weyl量化在Hilbert空间$\mathbb{H} = L^2(\mathbb{R})$上量化该哈密顿量。然后,我们解决了薛定谔方程,给我们的波函数在库默尔的合流超几何函数对应的神经网络结构。在无穷远处应用空间边界条件时,我们能够导出对神经网络的权重和超参数的条件/限制,这可能会对找到所述神经网络的最佳权重的性质提供见解。
2021-02-13 cs.LG math-ph math.DS
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
Safe and Stable Closed-Loop Learning for Neural-Network-Supported Model Predictive Control
Technical University of Darmstadt(达姆施塔特工业大学)
针对信息不完整场景下参数化预测控制器的安全学习难题,提出用神经网络参数化MPC阶段代价函数、在贝叶斯优化学习中融入稳定性信息的方法,实现闭环性能提升与严格概率安全保证。
2024-09-16 cs.LG cs.SY eess.SY
An Algorithm for Approximating Continuous Functions on Compact Subsets with a Neural Network with one Hidden Layer
George Cybenko在1989年的里程碑式论文中指出,存在一个前馈神经网络,它只有一个隐藏层(和有限数量的神经元),可以任意逼近单位超立方体上给定的连续函数$f$。这篇论文没有讨论如何找到这样一个网络的权重/参数,或者找到它们在计算上是否可行。本文给出了一个具有一个隐层的神经网络重构任意连续标量或向量值连续函数的算法。
2019-02-10 cs.LG math.FA stat.ML
Closed-Loop Neural Operator-Based Observer of Traffic Density
Division of Decision and Control Systems, Digital Futures, KTH Royal Institute of Technology(决策与控制系统系,数字未来,皇家理工学院)
针对路边固定传感器稀疏测量下的交通密度估计问题,提出结合傅里叶神经算子开环预测与校正算子的闭环观测器,经SUMO仿真验证其具备噪声鲁棒性与误差有界性,为数据驱动观测器设计提供新思路。
2025-09-04 cs.LG math.OC
Deep Parametric Continuous Convolutional Neural Networks
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);Uber Advanced Technologies Group(优步先进技术集团)
标准的卷积神经网络假设网格结构的输入是可用的,并利用离散卷积作为其基本构建块。这限制了它们对许多现实世界应用的适用性。在本文中,我们提出了参数连续卷积,一个新的可学习的运营商,在非网格结构的数据。其关键思想是利用参数化的核函数,跨越整个连续向量空间。这种泛化允许我们学习任意的数据结构,只要它们的支持关系是可计算的。我们的实验表明,显着改善了国家的最先进的点云分割的室内和室外场景,激光雷达运动估计的驾驶场景。
2021-01-17 cs.AI cs.CV cs.LG
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);Criteo AI Lab(科韬人工智能实验室);Crest, ENSAE(法国国立统计与经济管理学院 Crest 研究中心)
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构(LSTM、GRU等)具有可比性能的可能模型参数之外,所得结果易于解释。
2021-06-10 cs.LG
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning
University of California, Los Angeles(加州大学洛杉矶分校)
神经符号计算的目标是整合联结主义和符号主义范式。先前的方法使用强化学习(RL)方法来学习神经符号模型,该方法忽略了符号推理模块中的错误传播,因此在稀疏奖励的情况下收敛缓慢。在本文中,我们解决这些问题,并关闭循环的神经符号学习(1)引入\textbf{grammar}模型作为一个\textit{symbolic prior}桥梁神经感知和符号推理,(2)提出了一种新的\textbf{back-search}算法,模仿自上而下的人类学习过程,通过符号推理模块有效地传播错误。我们进一步解释所提出的学习框架作为极大似然估计使用马尔可夫链蒙特卡罗采样和回搜索算法作为一个大都会黑斯廷斯采样器。实验在两个弱监督的神经符号任务上进行:(1)新引入的HWF数据集上的手写公式识别;(2)CLEVR数据集上的视觉问题回答。结果表明,我们的方法显着优于RL方法的性能,收敛速度和数据效率。我们的代码和数据在\url{https://liqing-ustc.github.io/NGS}上发布。
2020-07-27 cs.AI cs.CV cs.LG
LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4
研究针对跨语言手写OCR,提出用GPT-5等大语言模型驱动的自动化机器学习框架,能自主生成、训练等优化神经网络架构,经实验评估,该框架无需人工设计等就能发现高效准确模型,实现跨语言手写识别。
2026-08-20 cs.AI cs.CV cs.LG
Neural Control System for Continuous Glucose Monitoring and Maintenance
Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
本文提出一种基于微分预测控制的神经控制系统,通过可微建模与神经策略实时调整胰岛素供给,实现连续血糖监测与个性化管理。
2024-06-07 cs.AI cs.LG cs.NE
Efficient Reachability Analysis of Closed-Loop Systems with Neural Network Controllers
Massachusetts Institute of Technology(麻省理工学院)
神经网络(NN)可以为机器人系统提供主要的经验性能改进,但它们也在形式上分析这些系统的安全属性方面带来了挑战。特别是,这项工作的重点是估计前向可达集的闭环系统的神经网络控制器。最近的工作提供了这些可达集的界限,但计算效率高的方法提供了过于保守的界限(因此不能用于验证有用的属性),而更严格的方法对于在线计算来说过于密集。这项工作的桥梁的差距,制定了一个凸优化问题的闭环系统的可达性分析与神经网络控制器。虽然解决方案比以前的半定基于程序的方法不那么紧密,但它们的计算速度要快得多,并且一些可用的计算时间可以用于通过输入集划分来细化边界,这不仅仅克服了紧密性差距。所提出的框架进一步考虑系统的测量和过程噪声,从而适用于现实的不确定性系统。最后,数值比较表明$10\times$减少保守性在$\frac{1}{2}$的计算时间相比,国家的最先进的,并强调了处理各种来源的不确定性的能力的四旋翼模型。
2021-05-24 cs.LG cs.RO cs.SY
Continuous-Depth Neural Models for Dynamic Graph Prediction
KAIST(韩国科学技术院);The University of Tokyo(东京大学);Syntensor
我们介绍了连续深度图神经网络(GNNs)的框架。神经图微分方程(神经GDE)被形式化为GNN的对应物,其中输入-输出关系由GNN层的连续体确定,混合离散拓扑结构和微分方程。所提出的框架是兼容的静态GNN模型,并通过混合动力系统理论扩展到动态和随机设置。在这里,神经GDE通过利用底层动力学几何结构来提高性能,进一步引入适应不规则采样数据的能力。结果证明了所提出的模型在应用中的有效性,例如交通预测或遗传调控网络中的预测。
2021-06-22 cs.AI cs.LG stat.ML
Continuous-variable quantum neural networks
Xanadu(Xanadu公司);Massachusetts Institute of Technology(麻省理工学院)
我们介绍了在量子计算机上构建神经网络的一般方法。量子神经网络是一种建立在连续变量(CV)架构中的变分量子线路,其以连续的自由度(例如电磁场的振幅)编码量子信息。该电路包含一个分层结构的连续参数化的门,这是通用的CV量子计算。仿射变换和非线性激活函数是神经网络中的两个关键元素,在量子网络中分别使用高斯和非高斯门来实现。非高斯门提供了模型的非线性和通用性。由于CV模型的结构,CV量子神经网络可以编码高度非线性变换,同时保持完全酉性。我们展示了如何将经典网络嵌入到量子形式主义中,并提出了各种专用模型的量子版本,如卷积网络,递归网络和残差网络。最后,我们提出了许多建模实验与草莓领域的软件库。这些实验,包括用于欺诈检测的分类器,生成俄罗斯方块图像的网络,以及混合经典量子自动编码器,证明了CV量子神经网络的能力和适应性。
2018-06-18 cs.LG cs.NE quant-ph
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg(弗莱堡大学);German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Bosch Center for Artificial Intelligence(博世人工智能中心)
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构,同时只增加了一个小的开销在环境中的相互作用。为了实现这一点,我们结合神经进化技术与离线训练,并提出了一种新的架构变异算子。五个连续控制基准的实验表明,所提出的演员-评论家神经进化算法往往优于强演员-评论家基线,并能够自动找到拓扑结构的采样效率的方式,否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo(Criteo公司);Sorbonne Université(索邦大学)
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察,我们研究了最近推出的GroupSort神经网络,限制的权重,并作出理论上的一步,更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数,并且在深度和大小上都具有上界。总之,GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
Accelerated Continuous-Time Approximate Dynamic Programming via Data-Assisted Hybrid Control
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们介绍了一种新的闭环体系结构的近似最优控制问题的在线解决方案的背景下,连续时间系统。具体来说,我们介绍的第一个算法,采用动态动量的演员批评结构控制连续时间动态植物与仿射结构的输入。通过在我们的算法中加入动态动量,我们能够加速闭环系统的收敛特性,与传统的基于梯度下降的技术相比,实现更优越的瞬态性能。此外,通过利用过去记录的数据与足够丰富的信息属性的存在,我们免除了传统上施加在回归的评论家和演员的激励条件的持久性。鉴于我们的连续时间动量为基础的动力学还包括周期性离散时间重置,模仿机器学习文献中使用的重新启动技术,我们利用混合动力系统理论的工具来建立闭环系统的渐近稳定性。我们用一个数值例子来说明我们的结果。
2022-04-27 cs.LG math.OC
Continuous Indeterminate Probability Neural Network
United Automotive Electronic Systems Co., Ltd.(联合汽车电子有限公司)
本文介绍了一种通用的模型CIPNN -连续不定概率神经网络,该模型是基于离散隐随机变量的IPNN模型。目前,连续型潜变量的后验被认为是一个棘手的问题,而IPNN提出的新理论可以解决这个问题。我们的贡献是四方面的。首先,我们推导了连续型潜随机变量后验计算的解析解,并提出了一个通用分类模型(CIPNN)。其次,我们提出了一个通用的自动编码器CIPAE -连续不确定概率自动编码器,解码器部分不是一个神经网络,并首次使用了一个完全的概率推理模型。第三,我们提出了一种新的方法来可视化潜随机变量,我们使用N维潜变量中的一个作为解码器来重建输入图像,即使对于分类任务也可以工作,这样,我们可以看到每个潜变量都学到了什么。第四,IPNN表现出了很强的分类能力,CIPNN将这种分类能力推向了无限。理论上的优势体现在实验结果中。
2023-03-23 cs.AI cs.CV cs.LG
Self-Healing Robust Neural Networks via Closed-Loop Control
University of California at Santa Barbara(加州大学圣巴巴拉分校);National University of Singapore(新加坡国立大学)
尽管神经网络得到了广泛的应用,但其脆弱性问题也越来越受到人们的关注。虽然已经开发了许多攻击和防御技术,但这项工作从一个新的角度研究了鲁棒性问题:我们能否设计一个自我修复的神经网络,它可以自动检测和修复漏洞问题?一个典型的自我修复机制是人体的免疫系统。这种受生物学启发的想法已被用于许多工程设计中,但很少在深度学习中进行研究。本文考虑了神经网络的训练后自愈问题,提出了一种闭环控制方法,用于自动检测和修复由各种攻击或扰动引起的错误。我们提供了一个基于利润的分析,以解释如何制定可以提高分类器的鲁棒性。为了加快所提出的自愈网络的推理速度,我们通过改进基于庞特里亚金最大值原理的求解器来解决控制问题。最后,我们提出了一个误差估计的神经网络与非线性激活函数的建议框架。我们验证了几种网络架构对各种扰动的性能。由于自修复方法不需要关于数据扰动/攻击的先验信息,因此它可以处理广泛的一类不可预见的扰动。
2022-06-26 cs.CV cs.LG
PAC bounds of continuous Linear Parameter-Varying systems related to neural ODEs
Institute for Computer Science and Control (ELKH SZTAKI)(计算机科学与控制研究所(ELKH SZTAKI));Eötvös Loránd University(厄特沃什·罗兰大学);Université de Lille(里尔大学)
本文在连续时间LPV系统框架下研究neural ODEs的学习问题,并在稳定性条件下给出了不依赖于积分区间的PAC泛化界。
2023-07-07 cs.LG
Depot-Closed Multi-Component Construction for Neural Vehicle Routing
Panasonic Connect Co., Ltd.(松下连接株式会社);Kyoto University(京都大学)
提出多组件构建方法,以隐式封闭车场解释替代逐路线构建,结合Clarke-Wright节省信号,提升神经VRP求解器的全局协调性与鲁棒性。
2026-09-29 cs.LG
Continuously Evolving Graph Neural Controlled Differential Equations for Traffic Forecasting
针对交通预测中现有方法忽略连续时间依赖与动态空间依赖的问题,提出持续演化图神经受控微分方程CEGNCDE,通过持续演化图生成器与GNCDE框架同时捕捉两类依赖,在多项指标上优于当前最优方法。
2024-01-26 cs.LG
Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling
Shanghai QiZhi Institute(上海智己研究院);University of Pennsylvania(宾夕法尼亚大学)
提出基于Neural SDE的连续序列建模方法,将时间序列视为连续动力系统的离散样本,推导最大似然目标与无模拟训练方案,在具身与生成AI任务中验证有效性。
2025-01-31 cs.LG stat.ML
Continuous Convolutional Neural Networks: Coupled Neural PDE and ODE
Maynooth University(梅努斯大学)
最近的深度学习工作集中在求解常微分方程或偏微分方程中的物理系统。当前的工作提出了一种卷积神经网络(CNN)的变体,其可以使用常微分方程(ODE)系统(ODE)和偏微分方程系统(PDE)来学习物理系统的隐藏动力学。这种新的技术可以用微分方程的形式对系统进行建模,而不是将图像、时间序列等物理系统看作是一个多层系统。通过求解非规则区域上的稳态偏微分方程,包括热方程、Navier-Stokes方程,对所提出的方法进行了评估。
2021-10-30 cs.LG
Continuous Temporal Learning of Probability Distributions via Neural ODEs with Applications in Continuous Glucose Monitoring Data
Universidad Autónoma de Madrid(马德里自动大学);Harvard University(哈佛大学)
本文提出一种结合MMD非参数估计与Neural ODE的高斯混合概率模型,用于捕捉连续时间随机过程的演化,在26周临床试验中有效分析CGM数据分布变化并实现严格的纵向比较。
2025-09-17 cs.LG math.DS stat.AP
Neural network optimal feedback control with enhanced closed loop stability
University of California, Santa Cruz(加州大学圣克鲁兹分校);Naval Postgraduate School(海军研究生院)
最近的研究表明,监督学习可以成为设计高维非线性动态系统最优反馈控制器的有效工具。但这些神经网络(NN)控制器的行为仍然没有得到很好的理解。在本文中,我们使用数值模拟来证明,典型的测试精度指标不能有效地捕捉一个神经网络控制器稳定系统的能力。特别是,一些具有高测试精度的NN可能无法稳定动态。为了解决这个问题,我们提出了两个NN架构,局部近似线性二次调节器(LQR)。数值模拟证实了我们的直觉,所提出的架构可靠地产生稳定的反馈控制器,而不牺牲最优性。此外,我们介绍了一个初步的理论结果,描述了这样的NN控制系统的一些稳定性。
2021-11-18 cs.LG cs.SY eess.SY
Neural Probabilistic Logic Programming in Discrete-Continuous Domains
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
神经符号人工智能(NeSy)允许神经网络以逻辑的形式利用符号背景知识。它已被证明有助于在有限的数据制度的学习,并促进外的分布数据的推断。ProbabilityNeSy专注于将神经网络与逻辑和概率理论相结合,这还允许在不确定性下进行学习。当前概率NeSy系统(诸如DeepProbLog)的主要限制是它们对有限概率分布的限制,即,离散随机变量相比之下,深度概率编程(DPP)在建模和优化连续概率分布方面表现出色。因此,我们引入DeepSeaProbLog,一种神经概率逻辑程序设计语言,将DPP技术纳入NeSy。这样做的结果在逻辑约束下的离散和连续概率分布的推理和学习的支持。我们的主要贡献是:1)DeepSeaProbLog的语义及其相应的推理算法,2)一个经过验证的渐近无偏学习算法,以及3)一系列的实验,说明了我们的方法的多功能性。
2023-03-14 cs.AI cs.LG cs.LO
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Continuous approximation by convolutional neural networks with a sigmoidal function
Nanchang University(南昌大学)
在本文中,我们提出了一类卷积神经网络(CNN)称为非重叠CNN的逼近能力的研究。我们证明了这样的网络与sigmoidal激活函数是能够逼近任意连续函数定义在紧凑的输入集与任何所需的精度。这一结果推广了现有的结果,只有多层前馈网络是一类逼近器。评估阐明了我们结果的准确性和效率,并表明所提出的非重叠CNN对噪声不太敏感。
2022-09-27 cs.LG cs.NA math.NA
Nonclosedness of Sets of Neural Networks in Sobolev Spaces
University of California San Diego(加州大学圣地亚哥分校);Colorado State University(科罗拉多州立大学)
我们研究了Sobolev空间中固定结构的已实现神经网络的闭性。对于一个精确的$m$ -倍可微激活函数$ρ$,我们构造了一个神经网络序列$(Φ_n)_{n \in \mathbb{N}}$,其实现按顺序- $(m-1)$ Sobolev范数收敛到一个不能被神经网络精确实现的函数.因此,实现的神经网络的集合不是按顺序闭合的- $(m-1)$ Sobolev空间$W^{m-1,p}$对于$p \in [1,\infty]$。我们进一步表明,这些集是不封闭的$W^{m,p}$在略强的条件下,对$m$ -th衍生物的$ρ$。对于一个真正的解析激活函数,我们证明了实现的神经网络集是不封闭的$W^{k,p}$的任何$k \in \mathbb{N}$。非封闭性允许近似的非网络目标函数与无界参数增长。我们部分特征的参数增长率为大多数激活函数的实现神经网络的特定序列可以近似激活函数的导数与权重增加成反比的$L^p$近似误差。最后,我们提出的实验结果表明,网络能够密切接近非网络的目标函数,通过训练增加参数。
2021-01-27 cs.LG stat.ML
A Differential Manifold Perspective and Universality Analysis of Continuous Attractors in Artificial Neural Networks
Yingcai Honors College, University of Electronic Science and Technology of China(电子科技大学荣誉学院);School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学学院);College of Computer Sciences, Sichuan University(四川大学计算机学院)
本研究从微分流形视角提出统一框架,分析人工神经网络中的连续吸引子,揭示其与局部Jacobian矩阵特征值的联系,并证明奇异值分层在常见模型与数据集中的普遍性,为构建一般理论奠定基础。
2025-09-03 cs.LG
ECG synthesis with Neural ODE and GAN models
Maynooth University(梅努斯大学);Dublin City University(都柏林城市大学)
连续的医学时间序列数据,如心电图,由于其动态和高维的特性,是最复杂的时间序列之一。此外,由于其敏感性,隐私问题和法律限制,使用实际数据进行不同的医学研究往往甚至很复杂。因此,产生连续的医疗时间序列是一个非常关键的研究领域。一些研究工作已经表明,生成对抗网络(GANs)在连续医疗时间序列生成的情况下的能力是有前途的。大多数医学数据生成工作,如ECG合成,主要由GAN模型及其变体驱动。另一方面,神经元常微分方程(Neural ODE)的一些最新研究表明,它具有很强的抗信息缺失、高维以及连续时间序列动态特性的能力。神经常微分方程不把连续时间序列看作离散时间序列,而是能够连续地、实时地对连续时间序列进行训练。在这项工作中,我们使用基于神经ODE的模型来生成合成正弦波和合成ECG。介绍了一种新的基于神经元常微分方程的生成器和鉴别器的生成对抗网络的设计方法。我们开发了三种新模型来合成连续的医疗数据。然后使用不同的评估度量来定量地评估所生成的合成数据的质量,以用于真实世界的应用和数据分析。这项工作的另一个目标是结合GAN和神经ODE的优势来生成合成的连续医疗时间序列数据,如ECG。我们还评估了GAN模型和神经ODE模型,以了解GAN和神经ODE家族模型在医疗数据合成中的比较效率。
2022-06-06 cs.LG
Continuous Graph Neural Networks
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院)
本文建立在图神经网络和传统的动力系统之间的联系。我们提出了连续图神经网络(CGNN),它概括了现有的图神经网络与离散动态,因为它们可以被看作是一个特定的离散化方案。其关键思想是如何描述节点表示的连续动态,即节点表示的导数,w.r.t.时间受图上现有的基于扩散的方法(例如社交网络上的PageRank和流行病模型)的启发,我们将导数定义为当前节点表示、邻居表示和节点初始值的组合。我们提出并分析了两种可能的动态图-包括每个维度的节点表示(a.k.a.特征通道)独立变化或相互作用-两者都有理论依据。所提出的连续图神经网络对过度平滑具有鲁棒性,因此允许我们构建更深的网络,从而能够捕获节点之间的长程依赖关系。节点分类任务的实验结果表明,我们所提出的方法的有效性,竞争力的基线。
2020-07-16 cs.LG stat.ML
Continuous-Time Signal Decomposition: An Implicit Neural Generalization of PCA and ICA
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文将PCA和ICA低秩分解推广至连续时间向量值信号,提出隐式神经表示框架通过损失函数中的对比项统一求解,使其适用于点云与非均匀采样信号。
2025-07-12 cs.LG eess.SP stat.ML
ConvexECG: Lightweight and Explainable Neural Networks for Personalized, Continuous Cardiac Monitoring
Stanford University(斯坦福大学)
ConvexECG通过凸重构两层ReLU网络,从单导联重建六导联心电图,在25名患者数据上达到与大型网络相当的精度且计算开销更低,适用于实时低资源监测。
2024-09-19 cs.LG eess.SP math.OC
Continuous-time system identification with neural networks: Model structures and fitting criteria
IDSIA Dalle Molle Institute for Artificial Intelligence USI-SUPSI(IDSIA达勒莫莱人工智能研究所(USI-SUPSI))
本文提出了定制的神经模型结构和两个自定义拟合学习动力系统的标准。所提出的框架是基于连续时间状态空间模型的系统行为的表示。隐状态序列与神经网络参数一起被优化,以最小化测量输出与估计输出之间的差异,同时保证优化的状态序列与估计的系统动态一致。通过三个案例研究,包括两个公共的系统辨识基准实验数据的基础上,证明了该方法的有效性。
2021-08-31 cs.LG cs.SY eess.SY
Continuous-variable neural-network quantum states and the quantum rotor model
Flatiron Institute(熨斗研究所);University of Michigan(密歇根大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
本文首先研究了连续变量格点量子系统一次量子化的神经网络量子态算法。引入了一个简单的连续变量试探波函数族,它自然地推广了为分析量子自旋系统而引入的受限玻尔兹曼机(RBM)波函数。由于它的简单性,相同的变分Monte Carlo训练算法,已开发的基态确定和自旋系统的时间演化有自然的连续类似物。我们提供了一个证明的原则演示的背景下,基态确定的随机量子转子哈密顿量。从偏微分方程(PDE)为基础的可扩展的特征值求解器获得的结果进行比较。这项研究作为一个基准,可以与未来对连续变量神经量子态的研究进行比较,并指出需要考虑深度网络架构和更复杂的训练算法。
2021-07-15 cond-mat.dis-nn cs.LG hep-lat
Formant Tracking Using Quasi-Closed Phase Forward-Backward Linear Prediction Analysis and Deep Neural Networks
Samsung Research South Korea(三星韩国研究院);Amazon UK(亚马逊英国);Aalto University(阿尔托大学)
在这项研究中,通过使用基于动态规划(DP)和深度神经网络(DNN)的跟踪器来研究forecast跟踪。使用DP方法,首先比较了六种共振峰估计方法。这六种方法包括线性预测(LP)算法、加权LP算法和最近发展起来的准闭合相位前向-后向(QCP-FB)方法。QCP-FB在比较中给出了最好的性能。因此,提出了一种新的共振峰跟踪方法,该方法结合了深度学习和基于QCP-FB的信号处理的优点。在这种方法中,由基于DNN的跟踪器从语音帧预测的共振峰使用由QCP-FB从同一帧计算的全极点频谱的峰值来细化。结果表明,所提出的基于DNN的跟踪器表现更好的检测率和估计误差的最低的三个共振峰相比,参考共振峰跟踪器。例如,与流行的Wavesurfer相比,所提出的跟踪器对最低的三个共振峰的估计误差分别减少了29%、48%和35%。
2022-01-05 cs.LG cs.SD eess.AS