Continuous-variable quantum neural networks
Xanadu（Xanadu公司）；Massachusetts Institute of Technology（麻省理工学院）
我们介绍了在量子计算机上构建神经网络的一般方法。量子神经网络是一种建立在连续变量（CV）架构中的变分量子线路，其以连续的自由度（例如电磁场的振幅）编码量子信息。该电路包含一个分层结构的连续参数化的门，这是通用的CV量子计算。仿射变换和非线性激活函数是神经网络中的两个关键元素，在量子网络中分别使用高斯和非高斯门来实现。非高斯门提供了模型的非线性和通用性。由于CV模型的结构，CV量子神经网络可以编码高度非线性变换，同时保持完全酉性。我们展示了如何将经典网络嵌入到量子形式主义中，并提出了各种专用模型的量子版本，如卷积网络，递归网络和残差网络。最后，我们提出了许多建模实验与草莓领域的软件库。这些实验，包括用于欺诈检测的分类器，生成俄罗斯方块图像的网络，以及混合经典量子自动编码器，证明了CV量子神经网络的能力和适应性。
2018-06-18 cs.LG cs.NE quant-ph
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg（弗莱堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Bosch Center for Artificial Intelligence（博世人工智能中心）
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构，同时只增加了一个小的开销在环境中的相互作用。为了实现这一点，我们结合神经进化技术与离线训练，并提出了一种新的架构变异算子。五个连续控制基准的实验表明，所提出的演员-评论家神经进化算法往往优于强演员-评论家基线，并能够自动找到拓扑结构的采样效率的方式，否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Continuous Spiking Graph Neural Networks
针对连续图神经网络计算开销大、难以部署于低功耗设备的问题，提出融合脉冲神经网络与连续动力学的COS-GNN框架，利用二阶ODE实现高效传播，并理论证明其缓解梯度问题，实验验证其有效性。
2026-09-21 cs.AI cs.LG cs.NE
A Novel Convolutional Neural Network Architecture with a Continuous Symmetry
Tsinghua University（清华大学）；Zhejiang Future Technology Institute（浙江未来技术研究院）
受拟线性双曲系统这类偏微分方程启发，研究提出一种具备连续对称性的新型卷积神经网络架构，图像分类性能可比现有模型，可通过连续对称群修改权重，提出将内部对称性作为神经网络新理想属性，推广PDE视角的卷积网络分析思路。
2024-05-20 cs.CV cs.LG cs.NE
Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control
Peking University（北京大学）
本文提出代理目标框架，通过引入连续可微动态解决SNN与连续控制算法的兼容性问题，提升SNN在连续控制任务中的性能和稳定性。
2026-02-02 cs.LG cs.NE
Continuous parameter working memory in a balanced chaotic neural network
有人提出，皮层中的神经噪声来自平衡状态下的混沌动力学：在这种皮层动力学模型中，对每个神经元的兴奋性和抑制性输入近似抵消，并且活动由突触输入围绕其平均值的波动驱动。目前尚不清楚处于平衡状态的神经网络是否可以执行对噪声高度敏感的任务，例如在工作记忆中存储连续参数，同时也解释了单个神经元的不规则行为。在这里，我们表明，连续参数工作记忆可以保持在平衡状态，在一个简单的网络结构的神经电路。我们分析表明，在一个无限的网络的限制，这种架构所产生的动态的特点是由一组连续的稳定的平衡状态，允许无限期存储的连续参数。在有限网络中，我们发现，混沌噪声驱动扩散运动沿近似吸引子，这逐渐降低了存储的内存。我们分析的动力学，并表明，缓慢的扩散运动引起缓慢衰减的时间相关性的活动，这与以前描述的平衡状态有很大的不同。我们计算的扩散率，并表明它是成反比的系统的大小。对于足够大的（但现实的）神经种群的大小，并与适当的调整网络连接，所提出的平衡网络可以维持连续的参数值在内存中的时间尺度大于几个数量级的单神经元的时间尺度。
2017-04-27 cond-mat.dis-nn cs.NE q-bio.NC
Causal Navigation by Continuous-time Neural Networks
CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；IST Austria（奥地利科学技术学院）
模仿学习可以在丰富的逼真环境中实现高保真、基于视觉的策略学习。然而，这种技术往往依赖于传统的离散时间神经模型，并面临着难以推广到域的变化，未能占代理和环境之间的因果关系。在本文中，我们提出了一个理论和实验框架，学习因果关系表示使用连续时间神经网络，特别是在离散时间的同行。我们在一系列复杂任务的无人机视觉控制学习的背景下评估我们的方法，从短期和长期导航到通过逼真的环境追逐静态和动态物体。我们的研究结果表明，因果连续时间深度模型可以执行强大的导航任务，而高级递归模型则失败了。这些模型直接从原始视觉输入中学习复杂的因果控制表示，并使用模仿学习来解决各种任务。
2021-08-16 cs.AI cs.LG cs.NE
Continuous Ant-Based Neural Topology Search
Golisano College of Computing and Information Sciences（戈利萨诺计算机与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
本文介绍了一种基于蚁群优化的神经网络结构搜索算法--连续蚁群神经网络拓扑搜索算法（CANTS），它利用人工蚂蚁在一个连续的搜索空间中根据信息素的密度和分布进行搜索。蚂蚁代理通过搜索空间所采取的路径被用来构建人工神经网络（ANN）。这种连续的搜索空间允许CANTS自动设计任何大小的ANN，消除了许多当前NAS算法固有的关键限制，这些算法必须在具有用户预定大小的结构内操作。CANTS采用分布式异步策略，使其能够扩展到大规模的高性能计算资源，与各种递归存储单元结构一起工作，并利用公共权重共享策略来减少训练时间。所提出的程序进行评估，在三个现实世界中，时间序列预测问题在电力系统领域，并比较两个国家的最先进的算法。结果表明，CANTS是能够提供改善或竞争力的结果对所有这些问题，同时也更容易使用，需要一半的用户指定的超参数。
2020-11-21 cs.AI cs.LG cs.NE
Neural Control System for Continuous Glucose Monitoring and Maintenance
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
本文提出一种基于微分预测控制的神经控制系统，通过可微建模与神经策略实时调整胰岛素供给，实现连续血糖监测与个性化管理。
2024-06-07 cs.AI cs.LG cs.NE
The Global Structure of Codimension-2 Local Bifurcations in Continuous-Time Recurrent Neural Networks
如果我们要超越理论神经科学中孤立的特殊情况的研究，我们需要在给定的神经模型上发展更一般的神经回路理论。本文认为这一挑战的背景下，连续时间循环神经网络（CTRNNs），一个简单的，但动态通用的模型，已被广泛用于计算神经科学和神经网络。在这里，我们扩展了以前的工作的参数空间结构的余维-1局部分叉CTRNNs，包括余维-2局部分叉流形。具体来说，我们推导出一般CTRNN的所有通用局部余维2分叉的必要条件，将这些条件专门用于包含一到四个神经元的电路，详细说明这些条件在示例电路中的应用，在可能的情况下推导出这些分叉流形的闭合形式表达式，并演示了这种分析如何使我们能够找到和跟踪几个全球余维1分歧流形，起源于余维2分歧。
2021-11-08 cs.NE math.DS nlin.AO
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute（伊迪亚普研究所）
与产生密集和实值响应的传统人工神经元相比，生物启发的尖峰神经元传输稀疏和二进制信息，这也可以实现节能。最近的研究表明，脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术，我们表明，他们是可扩展的大词汇量连续语音识别，在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外，与其经常性的非尖峰对应物相比，它们对梯度爆炸问题具有鲁棒性，而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
CTRQNets & LQNets: Continuous Time Recurrent and Liquid Quantum Neural Networks
Danbury Math Academy（丹bury数学学院）
针对传统量子神经网络静态结构限制动态智能的问题，提出液态量子神经网络LQNet与连续时间循环量子神经网络CTRQNet，在CIFAR 10二分类任务上准确率提升高达40%，为量子机器学习黑盒提供新启示。
2025-08-13 cs.AI cs.LG cs.NE
Continuous PDE Dynamics Forecasting with Implicit Neural Representations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（Criteo人工智能实验室）
有效的数据驱动PDE预测方法通常依赖于固定的空间和/或时间离散化。这在现实世界的应用，如天气预测，需要在任意时空位置的灵活外推的限制。我们通过引入一种新的数据驱动方法DINo来解决这个问题，该方法利用空间连续函数的连续时间动态来模拟PDE的流。这是通过将空间观测独立于其离散化来实现的，通过隐式神经表示在由学习的ODE在时间上驱动的小潜在空间中嵌入空间观测。这种对时间和空间的独立和灵活的处理使DINo成为第一个结合了以下优点的数据驱动模型。它可以在任意的空间和时间位置进行外推;它可以从稀疏的不规则网格或流形中学习;在测试时，它可以推广到新的网格或分辨率。DINo在代表性PDE系统的各种具有挑战性的泛化场景中优于其他神经PDE预测器。
2023-02-15 cs.AI cs.LG cs.NE
Investigating Continuous Learning in Spiking Neural Networks
Sanghani Center for Artificial Intelligence and Data Analytics（桑哈尼人工智能与数据分析中心）；Virginia Tech（弗吉尼亚理工大学）
该研究探索脉冲神经网络在持续学习中的表现，通过三阶段实验对比传统模型，发现SNN能保留部分旧类信息，有克服灾难性遗忘的潜力，但仍需深入研究。
2023-10-09 cs.AI cs.LG cs.NE
Continuous vs. Discrete Optimization of Deep Neural Networks
Tel Aviv University（特拉维夫大学）
深度学习中现有的优化分析要么是连续的，专注于梯度流（的变体），要么是离散的，直接处理梯度下降（的变体）。梯度流服从于理论分析，但是是程式化的并且忽视计算效率。它在多大程度上代表梯度下降是深度学习理论中的一个悬而未决的问题。本文对这一问题进行了研究。将梯度下降看作是梯度流初值问题的一种近似数值解，我们发现其近似程度依赖于梯度流轨迹周围的曲率。然后，我们证明了在具有均匀激活的深度神经网络上，梯度流轨迹具有良好的曲率，这表明它们可以很好地近似于梯度下降。这一发现使我们能够将深度线性神经网络上的梯度流分析转化为保证梯度下降在随机初始化下几乎肯定有效地收敛到全局最小值。实验表明，在简单的深度神经网络上，具有常规步长的梯度下降确实接近梯度流。我们假设梯度流理论将揭开深度学习背后的奥秘。
2021-12-28 cs.AI cs.LG cs.NE
On the Kolmogorov neural networks
The Institute of Mathematics and Mechanics（数学与力学研究所）
本文证明Kolmogorov双隐藏层神经网络在不同激活函数条件下可精确表示连续、不连续有界及无界多元函数，揭示了其广泛的函数逼近能力。
2023-10-31 cs.LG cs.NE math.FA
Closed-form Continuous-time Neural Models
Massachusetts Institute of Technology（麻省理工学院）；Aalborg University（奥尔堡大学）；University of Vienna（维也纳大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
连续时间神经过程是由微分方程（DE）建立的执行顺序决策者。然而，当它们被部署在计算机上时，它们的表达能力受到数值DE求解器的检验。这种限制大大减缓了对许多自然物理现象的扩展和理解，例如神经系统的动力学。理想情况下，我们可以通过求解封闭形式的给定动力系统来绕过这个瓶颈。这是众所周知的，是棘手的一般。在这里，我们表明，它是可能的密切近似神经元和突触之间的相互作用-天然和人工神经网络的积木-液体时间常数网络（LTC）有效地构建在封闭的形式。为此，我们计算出一个紧密有界近似的解决方案的积分出现在LTC的动力学，迄今为止还没有已知的封闭形式的解决方案。这种封闭形式的解决方案极大地影响了连续时间和连续深度神经模型的设计;例如，由于时间以封闭形式显式出现，因此该公式放松了对复杂数值求解器的需求。因此，与基于微分方程的模型相比，我们获得的模型在训练和推理方面快了一到五个数量级。更重要的是，与基于ODE的连续网络相比，与其他深度学习实例相比，封闭式网络可以非常好地扩展。最后，由于这些模型来自液体网络，与先进的递归模型相比，它们在时间序列建模方面表现出显着的性能。
2022-03-02 cs.AI cs.LG cs.NE
Emergent Riemannian geometry over learning discrete computations on continuous manifolds
School of Informatics University of Edinburgh（信息学院爱丁堡大学）；Département d’Etudes Cognitives Ecole Normale Supérieure PSL（认知研究部巴黎高等师范学院PSL）；Gastsby Unit University College London（加斯特比单位伦敦大学学院）；Data Science Center Ecole Normale Supérieure PSL（数据科学中心巴黎高等师范学院PSL）
本文提出通过分析神经网络的黎曼几何，揭示其在连续流形上执行离散计算的机制与学习过程。
2025-11-28 cs.LG cs.NE math.DG
