Reservoir Computing: A New Paradigm for Neural Networks
The City University of New York(纽约城市大学)
本文综述了储备池计算这一神经网络新范式,探讨了传统前馈与循环神经网络的历史与局限,并详细介绍了储备池计算的理论、模型及其在自然语言处理、机器人学等多领域的成功应用。
2025-04-03 cs.LG
Reservoir memory machines
Bielefeld University(比勒费尔德大学)
近年来,神经图灵机通过将神经网络的灵活性与图灵机的计算能力相结合而引起了人们的关注。然而,神经图灵机是出了名的难以训练,这限制了它们的适用性。我们提出了水库记忆机,它仍然能够解决神经图灵机的一些基准测试,但训练速度要快得多,只需要一个对齐算法和线性回归。我们的模型也可以被看作是一个扩展的回声状态网络与外部存储器,使任意长的存储没有干扰。
2020-02-12 cs.LG stat.ML
Ring Reservoir Neural Networks for Graphs
University of Pisa(比萨大学)
图的机器学习是当今一个相关性很强的研究课题。该领域的常见方法通常采用复杂的深度神经网络架构和要求苛刻的训练算法,这突出了对更高效解决方案的需求。储备池计算(RC)模型类在这方面可以发挥重要作用,使得能够通过未经训练的递归架构开发富有成效的图嵌入。在本文中,我们研究逐步简化的RC神经网络的设计策略的图。我们的核心建议是基于塑造隐藏神经元的组织,以遵循环形拓扑结构。图分类任务的实验结果表明,环形水库架构,使特别有效的网络配置,在预测性能方面表现出一致的优势。
2020-05-11 cs.LG cs.NE stat.ML
Reservoir-size dependent learning in analogue neural networks
Institut FEMTO-ST(FEMTO-ST研究所);Université Bourgogne-Franche-Comté(勃艮第-弗朗什孔泰大学);CNRS(法国国家科学研究中心)
人工神经网络在硬件上的实现是一项重要的跨学科研究。非常适合物理实现的候选者必须将非线性神经元与专用且高效的硬件解决方案相结合,以实现连接和训练。储备池计算以优雅和有效的方式解决与网络连接和训练相关的问题。然而,重要的问题,水库的大小和学习过程中的收敛速度的学习程序的影响仍然没有得到解决。在这里,我们详细研究了最近证明的光子神经网络基于水库的学习过程。我们使用贪心算法来训练我们的神经网络混沌信号的预测任务,并分析学习错误景观。我们的结果揭示了系统的优化超空间的基本属性。特别是,我们确定了学习的收敛速度作为水库大小的函数,并发现异常,接近线性缩放。这种线性相关性,连同我们的平行衍射耦合,代表我们的光子神经网络计划的最佳缩放条件。
2019-07-23 cs.ET cs.LG cs.NE
Pre-trainable Reservoir Computing with Recursive Neural Gas
Università Degli Studi Di Pavia(帕维亚大学);STMicroelectronics(意法半导体)
回声状态网络(ESN)是一类递归神经网络(RNN),由于其有效性,易用性和紧凑的硬件实现潜力而获得了极大的普及。ESN包含三个网络层输入、库和读出,其中库是真正的递归网络。ESN的输入层和储层被随机初始化,并且此后从不训练,并且ESN的训练仅应用于读出层。递归神经气体(RNG)的替代方案是可以在文献中找到的完全可训练的水库的许多建议之一。虽然RNG的性能有了一些改进,但据作者所知,没有实验比较结果与ESN已知的基准测试产生出色的结果。这项工作描述了一个准确的模型RNG连同一些扩展的模型在文献中,并显示比较结果三个众所周知的和公认的数据集。实验结果表明,在特定条件下,RNG基油藏可以取得较好的动态。
2018-07-25 cs.AI cs.LG stat.ML
Reservoir Static Property Estimation Using Nearest-Neighbor Neural Network
Institute for Scientific Computation, Texas A&M University(德克萨斯农工大学科学计算研究所)
本文提出一种结合最近邻算法与随机化的神经网络方法,用于估计油藏静态属性的空间分布,克服了传统地质统计学方法无法建模复杂非线性依赖的局限,提高了孔隙度和渗透率的预测准确性。
2024-09-27 cs.LG physics.data-an stat.AP
Hierarchical Architectures in Reservoir Computing Systems
University of Michigan(密歇根大学)
储备池计算(RC)通过将递归神经网络分离为具有递归连接的固定网络和可训练线性网络来提供具有低训练成本的有效时间数据处理。固定网络的质量,称为水库,是决定RC系统性能的最重要因素。在本文中,我们调查的分层水库结构的水库的性质和RC系统的性能的影响。类似于深层神经网络,串联叠加子库是增强数据向高维空间转换的非线性和扩展由库捕获的时间信息的多样性的有效方式。与简单地增加储层的尺寸或子储层的数量相比,这些深储层系统提供更好的性能。低频成分主要由深层储层结构后期的子储层捕获,类似于深层神经网络后期的层可以提取更抽象的信息。当水库的总规模是固定的,子水库的数量和每个子水库的大小之间的权衡需要仔细考虑,由于在小尺寸的单个子水库的退化能力。深层储层结构的性能改善增加了在硬件系统上实现RC系统的难度。
2021-05-14 cs.AI cs.ET cs.LG
DropIn: Making Reservoir Computing Neural Networks Robust to Missing Inputs by Dropout
Università di Pisa(比萨大学);Biobeats Ltd(Biobeats 有限公司)
本文提出了一种新的,原则性的方法来训练递归神经网络的储备池计算家庭是强大的,在预测时间丢失的部分输入功能。通过建立在Dropout正则化的集合属性上,我们提出了一种名为DropIn的方法,该方法可以有效地将神经模型训练为子网络的委员会机器,每个子网络都能够使用原始输入特征的子集进行预测。我们讨论的应用程序的DropIn方法的背景下,储备池计算模型和目标应用程序的输入源是不可靠的或容易被断开,如在普及的无线传感器网络和环境智能。我们使用来自这些应用领域的真实数据提供了一个实验评估,展示了Dropin方法如何允许保持与模型的预测性能相当的预测性能,而不会丢失功能,即使20%-50%的输入不可用。
2017-05-07 cs.LG cs.NE stat.ML
Perturbative Gradient Training: A novel training paradigm for bridging the gap between deep neural networks and physical reservoir computing
Department of Physics and Energy Science, University of Colorado Colorado Springs(物理学与能源科学系,科罗拉多州立大学)
本文提出微扰梯度训练(PGT),通过参数空间随机微扰仅用前向传播近似梯度更新,解决物理储备池无法反向传播的问题,并在仿真和磁振子硬件实验中验证其性能可媲美标准反向传播。
2025-06-05 cond-mat.mes-hall cs.ET cs.LG
Neural Operators for Mathematical Modeling of Transient Fluid Flow in Subsurface Reservoir Systems
St. Petersburg State University(圣彼得堡国立大学)
本文提出 TFNO-opt Fourier 神经算子,通过可调时间分辨率、张量分解、Sobolev 损失及误差分离提升瞬态储层流建模精度与稳定性,并在 UGS 问题中较传统方法加速六个数量级。
2025-09-25 cs.AI cs.LG physics.flu-dyn
A Novel A.I Enhanced Reservoir Characterization with a Combined Mixture of Experts -- NVIDIA Modulus based Physics Informed Neural Operator Forward Model
NVIDIA(英伟达)
提出一种结合物理信息神经算子(PINO)正演模型与CCR框架及自适应正则化集合卡尔曼反演(aREKI)的油藏表征工作流,在Norne等数据集上实现高精度历史匹配,计算速度提升100至6000倍。
2024-04-20 cs.LG
Sparsity in Reservoir Computing Neural Networks
University of Pisa(比萨大学)
储备池计算(RC)是一种设计递归神经网络的著名策略,具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面,常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论,但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中,我们实证研究的角度下,丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接,并在连接从输入到水库。我们的研究结果指出,稀疏性,特别是在输入水库的连接,有一个重要的作用,在发展内部的时间表示,有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
Neural reservoir control of a soft bio-hybrid arm
Beckman Institute for Advanced Science and Technology, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼先进科学技术研究所);Mechanical Science and Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校机械科学与工程学院);National Center for Supercomputing Applications, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心);The Grainger College of Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院);Carl R. Woese Institute for Genomic Biology, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校卡尔·R·沃斯基因组生物学研究所)
本文提出用神经储备池控制由肌肉-肌腱群和弹性脊柱构成的软体生物混合臂,在多项挑战性任务中同时实现控制与自建模并优于经典神经网络,且在神经形态硬件上实现近两个数量级的能效提升。
2025-03-12 cs.LG cs.NE cs.RO
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes(法国国家信息与自动化研究所雷恩分所)
在过去的十年中,在机器学习领域中引入了一种新的计算范例,称为储备池计算(RC)。RC模型是一种神经网络,其中一个不参与学习过程的递归部分(水库)和系统的其余部分没有递归(没有神经回路)发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络,随机神经网络(RandNN)也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中,我们提出了一个新的RC模型称为回声状态映射网络(ESQN),我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成,其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域,并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具,并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
Deep Neural Networks Predicting Oil Movement in a Development Unit
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Gazpromneft Science and Technology Centre(俄罗斯天然气工业石油公司科技中心)
我们提出了一种新的技术,用于评估多相流体在油藏中流动的动力学。我们展示了一个有效的工作流程,处理三维油藏模拟数据的方式是数量级快于传统的例程。工作流(我们称之为“元模型”)是基于系统动态到潜在变量空间的投影,使用变分自编码器模型,其中递归神经网络预测动态。我们表明,在传统油藏建模的多个结果上进行训练,元模型不会以显着的方式损害油藏动态重建的准确性。它不仅允许预测来自井的流量,而且允许预测储层内的压力和流体饱和度的动态。研究结果为油田开发方案的优化提供了新的思路,可以大大加快方案筛选的速度。
2019-06-14 cs.LG stat.ML
Recognition of handwritten MNIST digits on low-memory 2 Kb RAM Arduino board using LogNNet reservoir neural network
Petrozavodsk State University(彼得罗扎沃茨克国立大学);K-SkAI LLC(K-SkAI有限责任公司)
本文提出的基于LogNNet库神经网络的MNIST数据库手写体数字识别的紧凑算法,识别准确率达到82%。该算法在具有2 Kb静态RAM低功耗微控制器的低内存Arduino板上进行了测试。图像识别的准确性和时间的依赖关系的神经元的数量在水库进行了研究。内存分配表明,该算法存储在RAM中的所有必要的信息,而不使用额外的数据存储,并与原始图像不进行初步处理的操作。算法的简单结构,经过适当的训练,可以适用于广泛的实际应用,例如,用于创建用于医学不良事件早期诊断的移动生物传感器。研究结果对于在外围受限的物联网设备上实现人工智能和边缘计算具有重要意义。
2021-04-20 cs.CV cs.LG cs.NE
Temporal-Spatial Processing of Event Camera Data via Delay-Loop Reservoir Neural Network
Peraton Labs(佩顿实验室)
本文提出时空猜想并利用视觉马尔可夫模型和互信息神经网络验证了视频时间组件携带显著信息,据此设计的延迟循环储备池神经网络使事件相机分类准确率提升18%。
2024-02-12 cs.CV cs.LG
Accelerating Physics-Based Simulations Using Neural Network Proxies: An Application in Oil Reservoir Modeling
IBM Research(IBM研究院);Repsol, S.A.(雷普索尔公司)
我们开发了一种基于深度学习方法的代理模型,与基于行业强度物理的PDE求解器相比,可以加速油藏的模拟-三个数量级。本文介绍了一种新的架构方法来完成这项任务,伴随着一个公开的油藏模型进行了彻底的实验评估。我们证明,在一个实际的设置,可以实现超过2000倍的加速比与平均序列误差约为10%的油田模拟器。代理模型与高质量的基于物理的加速基线进行对比,并显示出优于它的几个数量级。我们相信,这里提出的结果是非常有前途的,并提供了一个有价值的基准,继续研究油田开发优化。由于其领域不可知的架构,所提出的方法可以扩展到许多应用领域以外的石油和天然气勘探。
2019-05-23 cs.LG stat.ML
Complexity-calibrated Benchmarks for Machine Learning Reveal When Next-Generation Reservoir Computer Predictions Succeed and Mislead
W. M. Keck Science Department of Pitzer, Scripps, and Claremont McKenna College(皮泽学院、斯克里普斯学院和克莱蒙特·麦肯纳学院W.M.凯克科学系);Nanyang Technological University(南洋理工大学);University of California at Davis(加州大学戴维斯分校)
递归神经网络用于预测金融、气候、语言和许多其他领域的时间序列。水库计算机是一种特别容易训练的递归神经网络形式。最近,一种“下一代”水库计算机被引入,其中内存跟踪只涉及有限数量的以前的符号。在这个有趣的提议中,我们探讨了有限过去记忆痕迹的固有局限性。Fano不等式的下界表明,在由大概率状态机生成的高度非马尔可夫过程中,具有相当长的内存轨迹的下一代水库计算机的错误概率至少比预测下一个观测的最小可达错误概率高约60%。更一般地说,流行的递归神经网络似乎远远不能最佳地预测这种复杂的过程。这些结果强调了对新一代优化的递归神经网络架构的需求。除了这一发现,我们提出了随机生成的,但复杂的过程的浓度测量结果。一个结论是,大型概率状态机-特别是大型$ε$ -机器-是为地面实况递归神经网络架构生成具有挑战性和结构无偏刺激的关键。
2023-03-25 cs.LG stat.ML
Neuromorphic on-chip reservoir computing with spiking neural network architectures
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);New Mexico State University(新墨西哥州立大学)
本文研究了在储备池计算框架中应用整合发放神经元,结合元学习与模拟退火优化网络拓扑,并在Intel Loihi神经形态芯片上实现了低功耗的混沌动态捕捉与时间序列预测。
2024-07-30 cs.ET cs.LG cs.NE
Phase Transition Adaptation
University of Pisa(比萨大学)
人工递归神经网络是一种强大的信息处理抽象,而储备池计算提供了一种有效的策略,通过将外部输入投影到高维动态系统轨迹中来构建鲁棒的实现。在本文中,我们提出了一个扩展的原始方法,一个本地的无监督学习机制,我们称之为相变适应,旨在推动系统动态的“边缘稳定”。在这里,系统表现出的复杂行为增强了其整体计算能力。我们通过实验表明,我们的方法在几个数据集上始终达到了目的。
2021-04-20 cs.AI cs.LG stat.ML
Universal Approximation Theorem and error bounds for quantum neural networks and quantum reservoirs
School of Computer Science, University of St. Gallen(圣加仑大学计算机学院);Imperial College London(伦敦帝国理工学院);the Alan Turing Institute(阿兰·图灵研究所)
本文为量子神经网络和随机化量子电路(量子蓄水池)建立了通用逼近定理及精确误差界,证明逼近可积傅里叶变换函数时只需 O(ε⁻²) 个权重和 O(⌈log₂(ε⁻¹)⌉) 个量子比特即可达到精度 ε。
2025-02-03 cs.LG math.PR quant-ph
Reservoir Computing on the Hypersphere
储备池计算(RC)是指经常用于序列学习和时间序列预测的递归神经网络(RNN)框架。RC系统由一个随机固定权重的RNN(输入隐藏库层)和一个分类器(隐藏输出读出层)组成。在这里,我们专注于序列学习问题,我们探索一种不同的方法来RC。更具体地说,我们删除了非线性神经激活函数,我们认为一个正交水库的归一化状态的单位超球。令人惊讶的是,我们的数值结果表明,系统的记忆容量超过了水库的维数,这是基于回声状态网络(ESN)的典型RC方法的上限。我们还展示了如何建议的系统可以应用于对称密码学问题,我们包括一个数值实现。
2017-06-24 cs.LG physics.data-an stat.ML
Asymptotic Stability in Reservoir Computing
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Yerevan State University(埃里温国立大学)
储备池计算是一类内部权值随机固定的递归神经网络。稳定性与网络状态对扰动的敏感性有关。它是储备池计算中的一个重要属性,因为它直接影响性能。在实践中,期望保持在稳定状态,其中扰动的影响不会呈指数级爆炸,但也接近于储层动态丰富的混沌边界。关于输入正则化和不连续激活函数,至今仍存在一些悬而未决的问题。在这项工作中,我们使用的经常性的核极限绘制新的见解稳定的储备池计算。这个限制对应于大的储存器大小,并且它已经变得与具有几百个神经元的储存器相关。我们得到了一个定量表征的稳定性和混沌之间的边界,这可以大大有利于超参数调整。从更广泛的意义上说,我们的研究结果有助于理解递归神经网络的复杂动态。
2022-06-07 cs.LG cs.NE stat.ML
Reservoir Memory Machines as Neural Computers
The University of Sydney(悉尼大学);Humboldt-University of Berlin(柏林洪堡大学);Bielefeld University(比勒费尔德大学);National Research Council of Canada(加拿大国家研究委员会)
可微神经计算机扩展了人工神经网络,具有无干扰的显式记忆,从而使模型能够执行经典的计算任务,如图遍历。然而,这样的模型难以训练,需要长的训练时间和大的数据集。在这项工作中,我们实现了可微神经计算机的一些计算能力,其模型可以非常有效地进行训练,即具有无干扰显式记忆的回声状态网络。这种扩展使回声状态网络能够识别所有的正则语言,包括那些收缩回声状态网络可证明不能识别的语言。此外,我们通过实验证明,我们的模型在可微神经计算机的几个典型基准任务上对其完全训练的深度版本进行了测试。
2021-07-19 cs.LG cs.NE stat.ML
Spatiotemporal Information Processing with a Reservoir Decision-making Network
Chongqing University(重庆大学);Peking University(北京大学)
时空信息处理是大脑功能的基础。本文研究了一种时空模式识别的规范神经网络模型。该模型由水库子网络和决策子网络两个模块组成。前者将复杂的时空模式投射到空间分离的神经表征中,后者通过随时间整合信息来读出这些神经表征;这两个模块通过使用已知示例的监督学习结合在一起。我们阐明了该模型的工作机制,并证明了其可行性的复杂的时空模式的歧视。我们的模型再现了神经系统中识别隐约模式的现象,并且可以用很少的训练样本学习区分步态。我们希望这项研究能让我们深入了解时空信息是如何在大脑中处理的,并帮助我们开发大脑启发的应用算法。
2019-07-28 cs.LG cs.NE q-bio.NC
Learning CO$_2$ plume migration in faulted reservoirs with Graph Neural Networks
Stanford University(斯坦福大学);TotalEnergies EP Research and Technology USA(道达尔能源美国勘探与生产研究技术公司)
针对现有深度学习替代模型难以准确捕捉断层对CO₂羽流运移影响的问题,提出结合GConvLSTM与MeshGraphNet的图神经模型,在含断层储层预测中精度更高、误差累积更小且泛化性好。
2023-06-16 cs.LG physics.ao-ph
Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
研究针对高维系统中智能系统自适应要求间的矛盾,聚焦回声状态网络,提出基于扰动学习成本正交分解的在线自监督学习规则,降低有效扰动维度,避免方差增长,为可扩展及硬件兼容学习提供设计原则。
2026-07-29 cs.LG cs.NE
Pyramidal Reservoir Graph Neural Network
UiT The Arctic University of Norway(挪威北极圈大学);University of Pisa(比萨大学)
我们提出了一个深度图神经网络(GNN)模型,交替两种类型的层。第一种是受储备池计算(RC)的启发,通过迭代非线性映射直到收敛到固定点来生成新的顶点特征。第二类层实现图池化操作,逐渐减少支持图和顶点特征,进一步提高基于RC的GNN的计算效率。因此,建筑是金字塔形的。在最后一层中,剩余顶点的特征被组合成单个向量,该向量表示图嵌入。通过本文中介绍的数学推导,我们正式显示图池如何可以降低模型的计算复杂性,并加快收敛的动态更新的顶点功能。我们提出的基于RC的GNN设计方法在准确性和复杂性之间提供了一个有利的和原则性的权衡,我们在大量图形数据集的实验中广泛地证明了这一点。
2021-04-10 cs.LG cs.NE stat.ML
Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir
Université de Sherbrooke(舍布鲁克大学)
由于脑电图(EEG)的非侵入性,在脑机接口中使用EEG作为主要输入信号已被广泛提出。在这里,我们对从听觉系统提取信息的接口特别感兴趣,更具体地说,是对从EEG中听到的语音进行分类的任务。为此,我们建议限制EEG的预处理,并使用机器学习方法自动提取其有意义的特征。更具体地说,我们使用了一个受调节的递归神经网络(RNN)库,当应用于几种不同的生物信号时,它的性能优于经典的机器学习方法,我们将其与深度神经网络方法进行了比较。此外,我们还研究了分类性能作为EEG电极的数量的函数。一组8名受试者随机呈现3种不同的听觉刺激(英语元音a,i和u)。当考虑所有64个电极时,我们使用RNN获得了83.2%的出色分类率。仅用10个电极就实现了81.7%的成功率。
2018-04-27 cs.LG cs.NE cs.SD
Multifunctionality in a Reservoir Computer
University College Cork(科克大学);Raytheon Technologies Research Center Ireland(雷神技术爱尔兰研究中心)
多功能性是生物神经网络的一个现象学特征,被认为对某些物种的生存具有根本的重要性。这些多功能神经网络能够在不改变任何网络连接的情况下执行多个任务。在本文中,我们研究如何在人工环境中实现这种神经特质与现代机器学习范例称为“储备池计算”。训练技术的目的是使水库计算机执行任务的多功能性质。我们探讨了某些参数的变化可能对油藏计算机表达多功能性的能力产生的关键影响。我们还暴露了几个“未经训练的吸引子”的存在;吸引子居住在水库计算机的预测状态空间内,这些吸引子不是训练的一部分。我们对这些未经训练的吸引子进行了分叉分析,并讨论了我们的结果的影响。
2020-12-21 cs.LG cs.NE math.DS
On the dimension of pullback attractors in recurrent neural networks
本文研究了递归神经网络中拉回吸引子的维度,通过非自治动力系统方法证明其盒维数上限与输入序列空间相关,揭示了共振计算机在吸引子重建和动态不变量计算中的有效性。
2025-11-25 cs.AI cs.LG math.DS
Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院)
本文研究储层递归神经网络中神经元相关性如何决定记忆容量次线性标度及非线性计算能力的顺序增长,为可扩展储层计算设计提供理论基础。
2025-08-14 cond-mat.dis-nn cs.LG q-bio.NC
Reservoir Computing meets Recurrent Kernels and Structured Transforms
Ecole Normale Supérieure(巴黎高等师范学院);Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Université de Paris(巴黎大学);Collège de France(法兰西公学院);LightOn(LightOn公司);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
水库计算是一类简单而有效的递归神经网络,其中内部权重是随机固定的,并且只训练线性输出层。在大规模的限制下,这种随机神经网络与核方法有很深的联系。我们的贡献有三个方面:a)严格地建立了水库计算的递归核极限,并证明了它的收敛性。b)我们在混沌时间序列预测上测试了我们的模型,这是水库计算中的一个经典但具有挑战性的基准,并展示了当数据点的数量保持适度时,递归核是如何具有竞争力和计算效率的。c)当样本数量太大时,我们通过引入结构化水库计算来利用结构化随机特征的成功进行核近似。提出的两种方法,递归核和结构化水库计算,原来是更快,更节省内存比传统的水库计算。
2020-10-21 cs.LG eess.SP stat.ML
Convolutional-Recurrent Neural Network Proxy for Robust Optimization and Closed-Loop Reservoir Management
Stanford University(斯坦福大学)
在地质不确定性下的生产优化在计算上是昂贵的,因为必须在多个地质实现上评估大量的井控计划。在这项工作中,开发了一种卷积循环神经网络(CNN-RNN)代理模型,用于针对给定的时变井底压力(BHP)计划,针对集合中的每个实现来预测逐井的油和水流量。这种能力使鲁棒优化所需的目标函数和非线性约束值的估计。代理模型代表了最近开发的长短期记忆(LSTM)RNN代理的扩展,该代理旨在预测单个地质模型的井率。这里引入了CNN来处理渗透性实现,这为RNN提供了初始状态。CNN-RNN代理使用300组不同的BHP计划和渗透率实现的模拟结果进行训练。我们通过多个实现的三维多高斯渗透率模型,证明代理精度的油水流动。代理,然后被纳入到一个闭环油藏管理(CLRM)的工作流程,在那里它是用粒子群优化和基于过滤器的非线性约束满足的方法。历史匹配是使用伴随梯度为基础的程序。代理模型显示,在五个不同的(合成)“真”模型的这种设置中表现良好。随着约束满足和不确定性减少CLRM观察到改进的净现值。对于健壮的生产优化步骤,代理提供了O(100)的运行时加速基于模拟的优化。
2022-06-01 cs.LG
Infinite-dimensional reservoir computing
Imperial College(帝国理工学院);University of Warwick(华威大学);Nanyang Technological University(南洋理工大学)
本文提出无限维储备池计算框架,扩展广义Barron泛函至动态环境,利用随机回声状态网络与极限学习机,构建了具有可证明收敛保证且不受维度灾难影响的循环神经网络学习算法。
2023-04-02 cs.LG math.PR stat.ML
Convergence and scaling of Boolean-weight optimization for hardware reservoirs
Institut FEMTO-ST(FEMTO-ST研究所);Université Lyon 2(里昂第二大学);The Alan Turing Institute(艾伦·图灵研究所)
本文解析推导了坐标下降法优化储备池读出层的收敛与缩放规律,证明其指数收敛且随神经元数线性扩展,并在光子储备池实验中验证,为硬件网络优化奠定基础。
2023-05-13 cs.LG stat.ML
WellPINN: Accurate Well Representation for Transient Fluid Pressure Diffusion in Subsurface Reservoirs with Physics-Informed Neural Networks
Global Change Research Group (GCRG), IMEDEA, CSIC-UIB(全球变化研究组(GCRG),IMEDEA,CSIC-UIB)
提出WellPINN工作流,通过多阶段顺序训练物理信息神经网络(PINNs)并逐步缩小等效井半径,解决了现有PINN方法在注入早期井附近压力捕捉不准的问题,实现了全注入周期内由泵注速率精确推断流体压力。
2025-07-12 cs.LG physics.comp-ph physics.flu-dyn
Benchmarking the Connectomes of Caenorhabditis elegans within the Reservoir Computing Framework
Østfold University College(东福尔德大学学院);Norwegian University of Life Sciences(挪威生命科学大学);University of Oslo(奥斯陆大学)
该研究利用储层计算框架对秀丽隐杆线虫不同年龄和测量方式的连接组进行基准测试,发现生物布线不一定优于随机零模型,性能受配置影响显著。
2026-09-28 cs.LG
Feedback-driven recurrent quantum neural network universality
School of Computer Science University of St. Gallen(圣加尔登大学计算机科学学院);Donostia International Physics Center(多尼亚国际物理中心);Department of Mathematics, Imperial College(帝国理工学院数学系);School of Physical and Mathematical Sciences Nanyang Technological University(南洋理工大学物理与数学科学学院)
本文研究了基于反馈的量子递归神经网络的通用性,证明其能高效逼近常规系统,且量子比特数量随精度要求呈对数增长,具备实用性和实验可操作性。
2026-02-24 cs.LG quant-ph
Deep Reservoir Networks with Learned Hidden Reservoir Weights using Direct Feedback Alignment
University of Maryland(马里兰大学);Institute for Adv. Computer Studies(高级计算机研究所)
深度储备池计算已经成为深度学习的新范例,其基于结合分层深度学习来维护随机神经元池的储备池计算原理。储库范式反映并尊重生物大脑中的高度重复性,以及神经元动力学在学习中的作用。然而,阻碍深层储层网络开发的一个问题是不能通过储层反向传播。最近的深层库架构不以与深层人工神经网络相同的方式学习隐藏或分层表示,而是将所有隐藏库连接在一起以执行传统回归。在这里,我们提出了一种用于时间序列预测和分类的新型深度水库网络,该网络使用称为直接反馈对齐的生物启发的反向传播替代方案通过不可微的隐藏水库层进行学习,这类似于大脑中的全球多巴胺信号广播。我们在两个真实世界的多维时间序列数据集上证明了它的有效性。
2020-10-15 cs.LG cs.NE
Road traffic reservoir computing
Faculty of Engineering(工学院);University of Tsukuba(筑波大学);Toyota Motor Corporation(丰田汽车公司)
源自递归神经网络的储备池计算比深度学习更适用于现实世界的系统,因为它的计算成本低,并且具有物理实现的潜力。具体地说,物理储备池计算,它取代了与物理现象的储层单元的动态,最近受到了相当大的关注。在这项研究中,我们提出了一种方法,利用道路交通的动态作为一个水库,并通过应用几个预测任务的基础上,一个简单的数学模型的交通流数值确认其可行性。
2019-12-02 cs.ET cs.LG cs.NE
Structuring Multiple Simple Cycle Reservoirs with Particle Swarm Optimization
International Research Center for Neurointelligence, The University of Tokyo(国际神经智能研究中心,东京大学);School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院);Graduate School of Medicine, The University of Tokyo(东京大学医学研究生院);Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology(名古屋工业大学工学研究生院计算机科学系)
本文提出多简单循环储备池(MSCR)框架,利用粒子群优化(PSO)优化互连结构,在低维状态下超越现有模型,并在三个基准任务上验证了其预测性能优势。
2025-04-21 cs.LG cs.NE
Quantum-Classical Physics-Informed Neural Networks for Solving Reservoir Seepage Equations
School of Petroleum Engineering, Yangtze University(长江大学石油工程学院);College of Future Technology, Yangtze University(长江大学未来技术学院);State Key Laboratory of Low Carbon Catalysis and Carbon Dioxide Utilization (Yangtze University)(长江大学低碳催化与二氧化碳利用国家重点实验室);King Abdullah University of Technology, Physical Science and Engineering Division(卡布斯大学物理科学与工程学院);Western Research Institute, Yangtze University(长江大学西部研究院)
本文首次将离散变量(DV)-电路量子-经典物理信息神经网络(QCPINN)应用于四个典型储层渗流模型,通过对比不同量子电路拓扑结构,验证了QCPINN在提高预测精度和解决复杂渗流问题中的有效性。
2026-10-14 cs.LG cs.NA math.NA
Deep Q-network using reservoir computing with multi-layered readout
Oita University(大分大学)
基于递归神经网络(RNN)的强化学习(RL)被用于学习上下文相关的任务,并且在最近的研究中作为具有显著学习性能的方法也引起了关注。然而,基于RNN的RL存在一些问题,即学习过程往往在计算上更加昂贵,并且由于梯度消失/爆炸问题,使用时间反向传播(BPTT)进行训练是不稳定的。提出了一种引入储备池计算的重放存储器方法,该方法训练的Agent不需要BPTT,避免了上述问题。这种方法的基本思想是将来自环境的观测输入到水库网络,并且将观测和水库输出都存储在存储器中。本文表明,该方法的性能提高,通过使用多层神经网络的读出层,它经常由一个单一的线性层。实验结果表明,使用多层读出提高了四个经典的控制任务,需要时间序列处理的学习性能。
2022-03-03 cs.AI cs.LG cs.NE
Propagating Uncertainty through the tanh Function with Application to Reservoir Computing
Georgia Institute of Technology(佐治亚理工学院);JD.COM American Technologies Corporation(京东美国技术公司)
许多神经网络使用双曲正切激活函数,然而当给定概率分布作为输入时,在具有双曲正切激活的神经网络中计算输出分布的问题尚未得到解决。一个重要的例子是水库计算中回声状态网络的初始化,其中水库的随机初始化需要时间来洗掉初始条件,从而浪费宝贵的数据和计算资源。出于这个问题,我们提出了一种新的解决方案,利用基于矩的方法,通过回声状态网络传播不确定性,以减少冲洗时间。在这项工作中,我们贡献了两种新的方法来传播不确定性通过双曲正切激活函数,并提出了概率回声状态网络(PESN),一种方法,被证明具有更好的平均性能比确定性回声状态网络给定的随机初始化水库状态。此外,我们测试的单步和多步的不确定性传播我们的方法在两个回归任务,并表明,我们能够恢复类似的手段和方差计算的蒙特卡罗模拟。
2018-06-25 cs.LG stat.ML
Model-Free Control of Dynamical Systems with Deep Reservoir Computing
Potomac Research, LLC(波托马克研究有限责任公司);The Ohio State University(俄亥俄州立大学)
我们提出并证明了一种非线性控制方法,可应用于未知的,复杂的系统,控制器是基于一种人工神经网络称为水库计算机。与许多现代基于神经网络的控制技术相比,这些技术对系统的不确定性具有鲁棒性,但仍然需要模型,我们的技术不需要系统的先验知识,因此是无模型的。此外,我们的方法不需要初始系统辨识步骤,从而导致相对简单且有效的学习过程。水库计算机非常适合控制问题,因为它们需要小的训练数据集和非常低的训练时间。通过迭代地训练和添加层的水库计算机的控制器,一个精确和有效的控制律快速识别。数值和高速实验系统的例子,我们证明了我们的方法是能够控制高度复杂的动力系统,显示确定性的混沌非平凡的目标轨迹。
2020-10-05 cs.LG cs.SY eess.SY
Reservoir Computing via Quantum Recurrent Neural Networks
Wells Fargo(富国银行);IBM Quantum, IBM Research(IBM研究院IBM量子部门)
量子计算和机器学习的最新发展推动了量子机器学习的跨学科研究。序贯建模是一项具有很高科学价值和商业价值的重要课题。现有的基于VQC或QNN的方法需要大量的计算资源来执行大量量子电路参数的基于梯度的优化。主要缺点是这种量子梯度计算需要大量的电路评估,这对当前近期的量子硬件和仿真软件构成了挑战。在这项工作中,我们通过将储备池计算(RC)框架应用于基于经典RNN,LSTM和GRU的量子循环神经网络(QRNN-RC)来实现顺序建模。这种RC方法的主要思想是将具有随机初始化权重的QRNN视为动态系统,并且只训练最终的经典线性层。我们的数值模拟表明,QRNN-RC可以达到与完全训练的QRNN模型相当的结果,用于几个函数近似和时间序列预测任务。由于QRNN训练复杂度显著降低,因此所提出的模型训练速度明显更快。在这项工作中,我们还比较了相应的经典的基于RNN的RC实现,并表明量子版本在大多数情况下需要更少的训练时间来学习更快。我们的研究结果表明,一个新的可能性,利用量子神经网络的顺序建模与更大的量子硬件效率,一个重要的设计考虑噪声的中间尺度量子(NISQ)计算机。
2022-11-04 cs.LG cs.NE quant-ph
Residual Reservoir Memory Networks
Department of Computer Science(计算机科学系);University of Pisa(比萨大学)
提出一种新型无训练循环神经网络ResRMN,通过结合线性记忆储备与基于时间残差正交连接的非线性储备,增强长期输入传播,在时间序列和像素级一维分类任务中优于传统储备计算模型。
2026-05-29 cs.AI cs.LG
Reservoir History Matching of the Norne field with generative exotic priors and a coupled Mixture of Experts -- Physics Informed Neural Operator Forward Model
Nvidia(英伟达)
提出一种结合物理信息神经算子(PINO)正演模型与聚类-分类-回归(CCR)混合专家方法的油藏历史拟合工作流,利用aREKI和DDIM等生成式先验进行反演建模,在Norne油田实现比传统方法快6000倍的模拟速度并成功恢复储层参数。
2024-06-02 cs.CE cs.LG
Hybrid Magnonic Reservoir Computing
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本研究针对磁振子系统的物理储层计算应用,在自振荡环设计中加入中间层简单神经网络并提出散射态自旋波导新设计,经Magnum.np仿真验证,性能优于或媲美传统全连接神经网络。
2024-04-25 cond-mat.dis-nn cs.ET cs.LG
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径,展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
RcTorch: a PyTorch Reservoir Computing Package with Automated Hyper-Parameter Optimization
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
水库计算机(RC)是所有神经网络中训练最快的,特别是与其他递归神经网络相比。RC具有这一优势,同时仍然非常好地处理顺序数据。然而,RC采用落后于其他神经网络模型,因为该模型的超参数(HP)的敏感性。一个现代统一的软件包,自动调整这些参数是从文献中失踪。手动调整这些数字是非常困难的,并且传统网格搜索方法的成本随着所考虑的HP的数量呈指数级增长,从而阻碍了RC的使用并且限制了可以设计的RC模型的复杂性。我们通过引入RcTorch来解决这些问题,RcTorch是一个基于PyTorch的RC神经网络包,具有自动HP调优功能。在这里,我们证明了实用程序的RcTorch使用它来预测复杂的动态驱动摆受到不同的力量。这项工作包括编码示例。示例Python编译器笔记本可以在GitHub存储库https://github.com/blindedjoy/RcTorch上找到,文档可以在https://rctorch.readthedocs.io/上找到。
2022-07-12 cs.LG cs.NE physics.app-ph
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时,使用水库计算(RC)和反向传播通过时间(BPTT)门控网络架构的效率。我们强调每种方法的优点和局限性,并讨论它们的并行计算架构的实现。我们量化的相对预测精度,这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky(KS)方程。我们发现,当完整的状态动态可用于训练时,RC在预测性能和捕获长期统计数据方面优于BPTT方法,同时需要更少的训练时间。然而,在降阶数据的情况下,大规模RC模型可能是不稳定的,并且比BPTT算法更有可能发散。相比之下,通过BPTT训练的RNN表现出更好的预测能力,并很好地捕捉降阶系统的动态特性。此外,本研究首次量化的KS方程的李雅普诺夫谱与BPTT,达到类似的精度RC。这项研究表明,RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn