Neural Operator-Based Proxy for Reservoir Simulations Considering Varying Well Settings, Locations, and Permeability Fields
Texas A&M University（德克萨斯农工大学）
本研究提出一种基于傅里叶神经算子的油藏模拟代理模型，通过数据增强和二进制输入张量构建，可针对可变渗透率场、井位、井控和井数快速预测压力与饱和度，误差低，能大幅加速油藏相关流程与管理优化。
2024-07-13 cs.LG physics.flu-dyn physics.geo-ph
Recurrent Quantum Feature Maps for Reservoir Computing
Department of Physics, University of Ottawa（渥太华大学物理系）；National Research Council of Canada（加拿大国家研究委员会）；Institute for Quantum Science and Technology, Department of Physics and Astronomy, University of Calgary（卡尔加里大学物理与天文学系量子科学与技术研究所）；Hotchkiss Brain Institute, University of Calgary（卡尔加里大学霍奇基斯脑研究所）
本文提出基于递归量子特征映射的回声计算模型，通过固定量子电路编码当前输入和经典反馈信号，实现低均方误差和紧凑电路设计，同时分析其记忆容量和噪声鲁棒性。
2026-04-03 cs.LG quant-ph
Complexity-calibrated Benchmarks for Machine Learning Reveal When Next-Generation Reservoir Computer Predictions Succeed and Mislead
W. M. Keck Science Department of Pitzer, Scripps, and Claremont McKenna College（皮泽学院、斯克里普斯学院和克莱蒙特·麦肯纳学院W.M.凯克科学系）；Nanyang Technological University（南洋理工大学）；University of California at Davis（加州大学戴维斯分校）
递归神经网络用于预测金融、气候、语言和许多其他领域的时间序列。水库计算机是一种特别容易训练的递归神经网络形式。最近，一种“下一代”水库计算机被引入，其中内存跟踪只涉及有限数量的以前的符号。在这个有趣的提议中，我们探讨了有限过去记忆痕迹的固有局限性。Fano不等式的下界表明，在由大概率状态机生成的高度非马尔可夫过程中，具有相当长的内存轨迹的下一代水库计算机的错误概率至少比预测下一个观测的最小可达错误概率高约60%。更一般地说，流行的递归神经网络似乎远远不能最佳地预测这种复杂的过程。这些结果强调了对新一代优化的递归神经网络架构的需求。除了这一发现，我们提出了随机生成的，但复杂的过程的浓度测量结果。一个结论是，大型概率状态机-特别是大型$ε$ -机器-是为地面实况递归神经网络架构生成具有挑战性和结构无偏刺激的关键。
2023-03-25 cs.LG stat.ML
Reservoir Computing: A New Paradigm for Neural Networks
The City University of New York（纽约城市大学）
本文综述了储备池计算这一神经网络新范式，探讨了传统前馈与循环神经网络的历史与局限，并详细介绍了储备池计算的理论、模型及其在自然语言处理、机器人学等多领域的成功应用。
2025-04-03 cs.LG
Asymptotic Stability in Reservoir Computing
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Yerevan State University（埃里温国立大学）
储备池计算是一类内部权值随机固定的递归神经网络。稳定性与网络状态对扰动的敏感性有关。它是储备池计算中的一个重要属性，因为它直接影响性能。在实践中，期望保持在稳定状态，其中扰动的影响不会呈指数级爆炸，但也接近于储层动态丰富的混沌边界。关于输入正则化和不连续激活函数，至今仍存在一些悬而未决的问题。在这项工作中，我们使用的经常性的核极限绘制新的见解稳定的储备池计算。这个限制对应于大的储存器大小，并且它已经变得与具有几百个神经元的储存器相关。我们得到了一个定量表征的稳定性和混沌之间的边界，这可以大大有利于超参数调整。从更广泛的意义上说，我们的研究结果有助于理解递归神经网络的复杂动态。
2022-06-07 cs.LG cs.NE stat.ML
Feedback-driven recurrent quantum neural network universality
School of Computer Science University of St. Gallen（圣加尔登大学计算机科学学院）；Donostia International Physics Center（多尼亚国际物理中心）；Department of Mathematics, Imperial College（帝国理工学院数学系）；School of Physical and Mathematical Sciences Nanyang Technological University（南洋理工大学物理与数学科学学院）
本文研究了基于反馈的量子递归神经网络的通用性，证明其能高效逼近常规系统，且量子比特数量随精度要求呈对数增长，具备实用性和实验可操作性。
2026-02-24 cs.LG quant-ph
Sparsity in Reservoir Computing Neural Networks
University of Pisa（比萨大学）
储备池计算（RC）是一种设计递归神经网络的著名策略，具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面，常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论，但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中，我们实证研究的角度下，丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接，并在连接从输入到水库。我们的研究结果指出，稀疏性，特别是在输入水库的连接，有一个重要的作用，在发展内部的时间表示，有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
Estimating Granger Causality with Unobserved Confounders via Deep Latent-Variable Recurrent Neural Network
Granger因果分析作为最流行的时间序列因果分析方法之一，在经济学、神经科学等领域得到了广泛的应用。然而，未观察到的混杂因素是观察性研究中的一个基本问题，非线性Granger因果关系仍然没有解决。应用工程中经常借助代理变量来处理这个问题，代理变量可以被看作是噪声干扰的度量。但代理变量已被证明是不可靠的，因为它可能会引起偏见。在本文中，我们试图“恢复”格兰杰因果关系的未观察到的混杂因素。我们使用一个带有潜变量的生成模型来建立未观察到的混杂因素与观察到的变量（测试变量和代理变量）之间的关系。该方法采用隐变量的后验分布来表征混杂因素的分布，并对该分布进行采样，得到混杂因素的估计值。我们采用变分自编码器来估计难以处理的后验分布。循环神经网络被应用于建立数据中的时间关系。我们在合成和半合成数据集上评估了我们的方法。结果表明，在半合成数据集上，我们估计的混杂变量在多代理变量的非线性Granger因果关系中具有更好的性能。但是，合成数据集的性能和代理的不同噪声水平似乎很糟糕。任何建议都可以真正帮助。
2019-09-09 cs.LG stat.ML
Efficient quantum recurrent reinforcement learning via quantum reservoir computing
Wells Fargo（富国银行）
本文提出基于QLSTM储备池的量子循环强化学习框架，固定随机参数并采用A3C算法训练，在保持与全训练模型相当性能的同时显著提升了训练效率。
2023-09-13 cs.AI cs.ET cs.LG
Reservoir Topology in Deep Echo State Networks
University of Pisa（比萨大学）
深度回声状态网络（DeepESN）最近将储备池计算（RC）方法的适用性扩展到深度学习领域。在本文中，我们研究的影响，约束水库的拓扑结构的建筑设计深水库，通过数值实验几个RC基准。我们的调查的主要结果是显示显着的效果，在预测性能增益方面，实现了深层水库建设和结构化组织的经常性单位在每一层之间的协同作用。我们的研究结果还表明，一个特别有利的架构设置中获得的DeepESN的储层单元的结构根据置换递归矩阵。
2019-09-24 cs.LG cs.NE stat.ML
Hierarchical Temporal Representation in Linear Reservoir Computing
University of Pisa（比萨大学）
最近，关于深度储备池计算（RC）的研究强调了分层在深度递归神经网络（RNN）中的作用。在本文中，线性递归单元的使用使我们能够通过对状态信号进行频率分析，为深度RNN中的内在层次时间表示提供更多证据。我们的方法的潜力进行评估类的多个叠加振荡器任务。此外，我们的调查提供了有用的见解，在时域中的深度学习框架的主要特征方面展开讨论。
2017-07-10 cs.LG stat.ML
On the dimension of pullback attractors in recurrent neural networks
本文研究了递归神经网络中拉回吸引子的维度，通过非自治动力系统方法证明其盒维数上限与输入序列空间相关，揭示了共振计算机在吸引子重建和动态不变量计算中的有效性。
2025-11-25 cs.AI cs.LG math.DS
Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir
Université de Sherbrooke（舍布鲁克大学）
由于脑电图（EEG）的非侵入性，在脑机接口中使用EEG作为主要输入信号已被广泛提出。在这里，我们对从听觉系统提取信息的接口特别感兴趣，更具体地说，是对从EEG中听到的语音进行分类的任务。为此，我们建议限制EEG的预处理，并使用机器学习方法自动提取其有意义的特征。更具体地说，我们使用了一个受调节的递归神经网络（RNN）库，当应用于几种不同的生物信号时，它的性能优于经典的机器学习方法，我们将其与深度神经网络方法进行了比较。此外，我们还研究了分类性能作为EEG电极的数量的函数。一组8名受试者随机呈现3种不同的听觉刺激（英语元音a，i和u）。当考虑所有64个电极时，我们使用RNN获得了83.2%的出色分类率。仅用10个电极就实现了81.7%的成功率。
2018-04-27 cs.LG cs.NE cs.SD
Accelerating Physics-Based Simulations Using Neural Network Proxies: An Application in Oil Reservoir Modeling
IBM Research（IBM研究院）；Repsol, S.A.（雷普索尔公司）
我们开发了一种基于深度学习方法的代理模型，与基于行业强度物理的PDE求解器相比，可以加速油藏的模拟-三个数量级。本文介绍了一种新的架构方法来完成这项任务，伴随着一个公开的油藏模型进行了彻底的实验评估。我们证明，在一个实际的设置，可以实现超过2000倍的加速比与平均序列误差约为10%的油田模拟器。代理模型与高质量的基于物理的加速基线进行对比，并显示出优于它的几个数量级。我们相信，这里提出的结果是非常有前途的，并提供了一个有价值的基准，继续研究油田开发优化。由于其领域不可知的架构，所提出的方法可以扩展到许多应用领域以外的石油和天然气勘探。
2019-05-23 cs.LG stat.ML
Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
本文研究储层递归神经网络中神经元相关性如何决定记忆容量次线性标度及非线性计算能力的顺序增长，为可扩展储层计算设计提供理论基础。
2025-08-14 cond-mat.dis-nn cs.LG q-bio.NC
An Analysis of Untrained Deep Reservoir Networks for Audio Surveillance
Department of Computer Science University of Pisa Pisa, Italy (ORCID: 0009-0002-6500-9578)；Department of Computer Science University of Pisa Pisa, Italy (ORCID: 0000-0001-8504-1503)
本文研究基于储备池计算的未训练循环模型，通过不同深度的双向回声状态网络进行紧急声音事件检测，在MIVIA数据集上评估深度、识别性能和计算效率的权衡，表明深度变体在噪声下更鲁棒，浅层变体在边缘设备上效率更优。
2026-06-23 cs.AI cs.LG cs.SD
Deep Learning-Accelerated Surrogate Optimization for High-Dimensional Well Control in Stress-Sensitive Reservoirs
University of Southern California（南加州大学）
本文提出一种基于深度学习的代理优化框架，用于高维井控优化，通过问题导向的采样策略和神经网络代理，提升高维模拟器问题的计算效率和可靠性。
2026-04-01 cs.LG
Deep learning based closed-loop optimization of geothermal reservoir production
Peking University（北京大学）；ETH Zürich（苏黎世联邦理工学院）；China University of Mining and Technology (Beijing)（中国矿业大学（北京））；Southern University of Science and Technology（南方科技大学）
为了最大限度地提高地热能生产的经济效益，必须优化地热储层管理策略，其中应考虑地质的不确定性。在这项工作中，我们提出了一个闭环优化框架，基于深度学习代理，地热储层的井控优化。在此框架下，我们构建了一个混合卷积-递归神经网络代理，它结合了卷积神经网络（CNN）和长短期记忆（LSTM）递归网络。褶积结构可以提取地质参数场的空间信息，递归结构可以近似层序-层序映射。经训练的模型可以预测时变生产响应（速率、温度等）。对于具有不同渗透率场和井控序列的情况。在闭环优化框架中，交替进行基于差分进化（DE）算法的生产优化和基于迭代集合平滑（IES）的数据同化，以实现随着生产的进行的实时井控优化和地质参数估计。此外，在优化过程中，采用地质参数估计总体上的平均目标函数来考虑地质不确定性。设计了几个地热储层开发案例来测试所提出的生产优化框架的性能。结果表明，该框架可以实现高效和有效的实时优化和数据同化的地热水库生产过程中。
2022-04-15 cs.LG eess.SP
Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation
IKS Research Centre（IKS研究中心）；ISS（印度统计研究所）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
该研究提出受林德布拉德启发的多时间尺度储备池计算方法，通过分离旋转与耗散实现模态控制与稳定性保证，在多项时序任务基准测试中表现优异，为可解释循环架构提供了新方案。
2026-08-06 cs.AI cs.ET cs.LG
The difference between memory and prediction in linear recurrent networks
Massachusetts Institute of Technology（麻省理工学院）
循环网络被训练成更好地记住它们的输入，通常是希望这样的训练能提高网络的预测能力。我们发现，设计用于记忆输入的网络在预测方面可能会任意糟糕。我们还发现，对于几种类型的输入，一个节点的网络优化预测几乎是在由维纳滤波器给出的预测能力的上限，并且在性能上大致相当于随机生成的五个节点的网络。我们的研究结果表明，最大化的记忆容量导致非常不同的网络比最大化的预测能力，优化经常性的权重可以减少水库大小的半个数量级。
2017-08-14 cs.LG
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时，使用水库计算（RC）和反向传播通过时间（BPTT）门控网络架构的效率。我们强调每种方法的优点和局限性，并讨论它们的并行计算架构的实现。我们量化的相对预测精度，这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky（KS）方程。我们发现，当完整的状态动态可用于训练时，RC在预测性能和捕获长期统计数据方面优于BPTT方法，同时需要更少的训练时间。然而，在降阶数据的情况下，大规模RC模型可能是不稳定的，并且比BPTT算法更有可能发散。相比之下，通过BPTT训练的RNN表现出更好的预测能力，并很好地捕捉降阶系统的动态特性。此外，本研究首次量化的KS方程的李雅普诺夫谱与BPTT，达到类似的精度RC。这项研究表明，RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn
Evolutionary Echo State Network: evolving reservoirs in the Fourier space
Faculty of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；VŠB-Technical University of Ostrava（俄斯特拉发技术大学）；INRIA Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
回声状态网络（ESN）是一类具有大量隐-隐权重（在所谓的水库中）的递归神经网络。规范ESN及其变体最近受到了极大的关注，因为它们在非线性动力系统建模方面取得了显着的成功。水库是随机连接的固定权重，在学习过程中不会改变。仅训练从库到输出的权重。由于水库在训练过程中是固定的，我们可能想知道递归结构的计算能力是否得到了充分利用。在这篇文章中，我们提出了一个新的计算模型的ESN类型，表示在傅立叶空间中的油藏权重，并执行这些权重的微调应用遗传算法在频域中。主要的兴趣是，这个过程将工作在一个更小的空间相比，经典的ESN，从而提供了一个降维变换的初始方法。所提出的技术使我们能够利用大型递归结构的好处，避免了基于梯度的方法的训练问题。我们提供了一个详细的实验研究，证明了我们的方法与著名的混沌系统和现实世界的数据的良好性能。
2022-09-29 cs.AI cs.LG cs.NE
Time-shift selection for reservoir computing using a rank-revealing QR algorithm
US Naval Research Laboratory（美国海军研究实验室）；University of New Mexico（新墨西哥大学）
本文提出利用秩揭示 QR 算法最大化储备池矩阵秩来选择时移，该方法无需任务信息或系统模型，并在光电振荡器和 tanh 循环网络储备池上几乎全面优于随机选择。
2023-04-25 cond-mat.dis-nn cs.LG
Reservoir Computing via Quantum Recurrent Neural Networks
Wells Fargo（富国银行）；IBM Quantum, IBM Research（IBM研究院IBM量子部门）
量子计算和机器学习的最新发展推动了量子机器学习的跨学科研究。序贯建模是一项具有很高科学价值和商业价值的重要课题。现有的基于VQC或QNN的方法需要大量的计算资源来执行大量量子电路参数的基于梯度的优化。主要缺点是这种量子梯度计算需要大量的电路评估，这对当前近期的量子硬件和仿真软件构成了挑战。在这项工作中，我们通过将储备池计算（RC）框架应用于基于经典RNN，LSTM和GRU的量子循环神经网络（QRNN-RC）来实现顺序建模。这种RC方法的主要思想是将具有随机初始化权重的QRNN视为动态系统，并且只训练最终的经典线性层。我们的数值模拟表明，QRNN-RC可以达到与完全训练的QRNN模型相当的结果，用于几个函数近似和时间序列预测任务。由于QRNN训练复杂度显著降低，因此所提出的模型训练速度明显更快。在这项工作中，我们还比较了相应的经典的基于RNN的RC实现，并表明量子版本在大多数情况下需要更少的训练时间来学习更快。我们的研究结果表明，一个新的可能性，利用量子神经网络的顺序建模与更大的量子硬件效率，一个重要的设计考虑噪声的中间尺度量子（NISQ）计算机。
2022-11-04 cs.LG cs.NE quant-ph
Hierarchical Architectures in Reservoir Computing Systems
University of Michigan（密歇根大学）
储备池计算（RC）通过将递归神经网络分离为具有递归连接的固定网络和可训练线性网络来提供具有低训练成本的有效时间数据处理。固定网络的质量，称为水库，是决定RC系统性能的最重要因素。在本文中，我们调查的分层水库结构的水库的性质和RC系统的性能的影响。类似于深层神经网络，串联叠加子库是增强数据向高维空间转换的非线性和扩展由库捕获的时间信息的多样性的有效方式。与简单地增加储层的尺寸或子储层的数量相比，这些深储层系统提供更好的性能。低频成分主要由深层储层结构后期的子储层捕获，类似于深层神经网络后期的层可以提取更抽象的信息。当水库的总规模是固定的，子水库的数量和每个子水库的大小之间的权衡需要仔细考虑，由于在小尺寸的单个子水库的退化能力。深层储层结构的性能改善增加了在硬件系统上实现RC系统的难度。
2021-05-14 cs.AI cs.ET cs.LG
Toward the Fully Physics-Informed Echo State Network -- an ODE Approximator Based on Recurrent Artificial Neurons
Advanced Research Center, National Fusion Research Institute (NFRI)（国家聚变研究所高级研究中心）
受最近理论争论的启发，讨论了物理信息回声状态网络（ESN），试图以完全物理信息的方式训练储层模型。作为最简单的工作，在这样的目的，一个常微分方程（ODE）逼近器的设计，复制的解决方案，在序列方面的经常性评估。基于微分方程的主不变性，递归中的约束恰好形成，以确保基于ESN的常微分方程逼近器的适当回归方法。在此基础上，建立了基于两遍回归策略的实际训练过程。针对完全物理信息的油藏模型，在本研究中，一对夫妇的非线性动力学问题证明了从所提出的方法获得的计算。
2020-11-13 cs.LG nlin.CD
A Random-Matrix Criterion for Initializing Gated Recurrent Neural Networks
Institute of Mathematics, EPFL, 1015 Lausanne, Switzerland（瑞士洛桑联邦理工学院数学研究所）
本文提出一种随机矩阵准则，用于估计门控循环神经网络初始化的临界值，以优化混沌预测任务的性能。
2026-05-11 cond-mat.dis-nn cs.LG
LoRA-RC: Reservoir Computing with Low-Rank Adaptation
University of New Mexico（新墨西哥大学）
LoRA-RC通过低秩校正在线适应储层循环矩阵，在保证稳定性的同时，将漂移后预测误差降低56%，优于固定RC和仅读出适应。
2026-09-14 cs.AI cs.LG cs.SY
Long-term prediction of chaotic systems with recurrent neural networks
Arizona State University（亚利桑那州立大学）；Shaanxi Normal University（陕西师范大学）
储备池计算系统，一类循环神经网络，最近被开发用于各种混沌动力系统的状态演化的无模型，基于数据的预测。预测范围已经证明了大约六个李雅普诺夫时间。有没有可能将预测时间大大延长到目前为止所取得的成就之外？我们阐明了一个计划，将时间相关的，但稀疏的数据输入到储备池计算，并证明这种罕见的“更新”的实际状态实际上使一个任意长的预测范围的各种混沌系统。发展了基于时间同步理论的物理理解。
2020-03-06 cs.LG nlin.AO stat.ML
Does Learning Recurrent Networks Matter in Partially Observable RL?
University of Macau（澳门大学）
本文探究部分可观测RL中学习循环网络的必要性，提出结合固定循环网络与可训练非线性输出模块的架构，实验显示该方法参数效率高且性能具竞争力，为部分可观测RL提供了强基线。
2026-10-12 cs.AI cs.LG
Pre-trainable Reservoir Computing with Recursive Neural Gas
Università Degli Studi Di Pavia（帕维亚大学）；STMicroelectronics（意法半导体）
回声状态网络（ESN）是一类递归神经网络（RNN），由于其有效性，易用性和紧凑的硬件实现潜力而获得了极大的普及。ESN包含三个网络层输入、库和读出，其中库是真正的递归网络。ESN的输入层和储层被随机初始化，并且此后从不训练，并且ESN的训练仅应用于读出层。递归神经气体（RNG）的替代方案是可以在文献中找到的完全可训练的水库的许多建议之一。虽然RNG的性能有了一些改进，但据作者所知，没有实验比较结果与ESN已知的基准测试产生出色的结果。这项工作描述了一个准确的模型RNG连同一些扩展的模型在文献中，并显示比较结果三个众所周知的和公认的数据集。实验结果表明，在特定条件下，RNG基油藏可以取得较好的动态。
2018-07-25 cs.AI cs.LG stat.ML
Euler State Networks: Non-dissipative Reservoir Computing
University of Pisa（比萨大学）
受常微分方程数值解的启发，本文提出了一种新的储备池计算（RC）模型，称为欧拉状态网络（EuSN）。所提出的方法利用前向欧拉离散和反对称递归矩阵来设计水库动态，这是稳定的和非耗散的建设。我们的数学分析表明，所得到的模型是偏向于一个单一的有效谱半径和零局部李雅普诺夫指数，本质上接近稳定的边缘。长期记忆任务的实验表明，所提出的方法比标准的RC模型的问题，需要在多个时间步长的输入信息的有效传播的明显优势。此外，时间序列分类基准测试的结果表明，EuSN能够匹配（甚至超过）可训练的递归神经网络的准确性，同时保持RC系列的训练效率，从而节省高达$\approx$ 490倍的计算时间和$\approx$ 1750倍的能耗。
2023-03-24 cs.AI cs.LG stat.ML
Re-visiting Reservoir Computing architectures optimized by Evolutionary Algorithms
Faculty of Electrical Engineering and Computer Science（电气与计算机科学学院）；VŠB-Technical University of Ostrava（俄斯特拉发VŠB技术大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Shobhit University（肖布希特大学）
多年来，进化算法（Evolutionary Algorithms，EA）一直被用于改进神经网络（Neural Networks，NN）结构。它们已被用于解决不同的问题，如训练网络（调整权重），设计网络拓扑结构，优化全局参数和选择特征。在这里，我们提供了一个系统的简要调查的应用程序的EA上的特定领域的经常性神经网络命名为储备池计算（RC）。在2000年代初，RC范式似乎是采用递归NN的一个很好的选择，而无需处理训练算法的不便之处。RC模型使用一个非线性动态系统，固定的递归神经网络称为\textit{reservoir}，学习过程被限制为调整一个线性参数函数。%，因此学习的性能是快速和精确的。然而，RC模型具有多个超参数，因此EA是找出最佳RC架构的有用工具。我们概述了该领域的研究成果，讨论了新的进展，并提出了我们对新趋势和未决问题的看法。
2022-11-11 cs.CV cs.LG cs.NE
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes（法国国家信息与自动化研究所雷恩分所）
在过去的十年中，在机器学习领域中引入了一种新的计算范例，称为储备池计算（RC）。RC模型是一种神经网络，其中一个不参与学习过程的递归部分（水库）和系统的其余部分没有递归（没有神经回路）发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络，随机神经网络（RandNN）也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中，我们提出了一个新的RC模型称为回声状态映射网络（ESQN），我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成，其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域，并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具，并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
Road traffic reservoir computing
Faculty of Engineering（工学院）；University of Tsukuba（筑波大学）；Toyota Motor Corporation（丰田汽车公司）
源自递归神经网络的储备池计算比深度学习更适用于现实世界的系统，因为它的计算成本低，并且具有物理实现的潜力。具体地说，物理储备池计算，它取代了与物理现象的储层单元的动态，最近受到了相当大的关注。在这项研究中，我们提出了一种方法，利用道路交通的动态作为一个水库，并通过应用几个预测任务的基础上，一个简单的数学模型的交通流数值确认其可行性。
2019-12-02 cs.ET cs.LG cs.NE
Input-to-State Representation in linear reservoirs dynamics
Università della Svizzera Italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；University of Birmingham（伯明翰大学）
储备池计算由于其训练简单和逼近性能好，是设计递归神经网络的一种流行方法。这些网络的循环部分未被训练（例如，通过梯度下降），使得它们吸引了具有从动力系统到神经科学的背景的大量研究人员的分析研究。然而，即使在简单的线性情况下，这些网络的工作原理也没有完全理解，它们的设计通常是由数学驱动的。提出了一种新的分析这种网络的动力学，它允许调查员表示使用可控性矩阵的状态演化。这样的矩阵编码网络动态的显着特征;特别是，它的秩表示网络记忆容量的输入独立度量。使用所提出的方法，它是可能的，比较不同的油藏结构，并解释为什么一个循环的拓扑结构实现有利的结果，由从业者验证。
2021-02-12 cs.LG cs.NE math.DS
Sequential Reservoir Computing for Efficient High-Dimensional Spatiotemporal Forecasting
USRA Research Institute for Advanced Computer Science (RIACS) California（美国宇航局高级计算机科学研究所（RIACS）加利福尼亚）
序贯回授计算通过分解大型回授为多个小回授，提高了高维时空预测的效率和可扩展性。
2026-01-01 cs.LG cs.NE
Heterogeneous Stream-reservoir Graph Networks with Data Assimilation
University of Pittsburgh（匹兹堡大学）；U.S. Geological Survey（美国地质调查局）
准确预测河流水温对于监测和理解河流的地球化学和生态过程至关重要。河流温度受天气模式（如太阳辐射）和流经河流网络的水的影响。此外，水流温度可能会受到从人工水库向下游段排放的水的严重影响。在本文中，我们提出了一个异构的递归图模型来表示这些相互作用的过程，河流水库网络的基础，并提高网络内的所有河段的水温预测。由于某些水库可能无法获得水库释放数据，因此我们进一步开发了一种数据同化机制来调整深度学习模型状态，以纠正水库释放引起的预测偏差。为了使用调整后的状态来改进未来的预测，需要一个经过良好训练的时间建模组件。因此，我们还引入了基于模拟的预训练策略来增强模型训练。我们的特拉华河流域的评估表明，我们提出的方法优于多种现有的方法。我们广泛地研究了不同情景下资料同化机制的效果。此外，我们表明，所提出的方法使用的预训练策略仍然可以产生良好的预测，即使有限的训练数据。
2021-10-11 cs.LG
Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
使用无监督神经网络求解微分方程引起了人们的兴趣。现有的方法都是基于前馈网络的，而递归神经网络微分方程求解器还未见报道。我们介绍了一个无监督的储备池计算（RC），回声状态递归神经网络能够发现近似的解决方案，满足常微分方程（ODE）。我们提出了一种方法来计算时间导数的递归神经网络输出，而不使用反向传播。RC的内部权重是固定的，而只有线性输出层被训练，从而产生有效的训练。然而，RC性能强烈依赖于找到最佳超参数，这是一个计算昂贵的过程。我们使用贝叶斯优化，有效地发现最优集在高维超参数空间和数值表明，一组是强大的，可以用来解决不同的初始条件和时间范围的ODE。在无反向传播学习过程中，推导出求解一阶线性方程组的最优输出权的封闭形式公式。我们将RC方法扩展到求解非线性常微分方程组，使用一种由梯度下降和贝叶斯优化组成的混合优化方法。线性和非线性方程组的评价证明了RC ODE求解器的效率。
2021-08-25 cs.LG cs.NE physics.comp-ph
Residual Reservoir Memory Networks
Department of Computer Science（计算机科学系）；University of Pisa（比萨大学）
提出一种新型无训练循环神经网络ResRMN，通过结合线性记忆储备与基于时间残差正交连接的非线性储备，增强长期输入传播，在时间序列和像素级一维分类任务中优于传统储备计算模型。
2026-05-29 cs.AI cs.LG
Model-free prediction of spatiotemporal dynamical systems with recurrent neural networks: Role of network spectral radius
Arizona State University（亚利桑那州立大学）
机器学习应用中的一个常见困难是缺乏指导底层神经网络关键参数选择的一般原则。聚焦于一类最近被用于非线性动力系统的无模型预测的循环神经网络-储备池计算系统，我们发现了一个令人惊讶的现象：在神经网络的谱半径中出现了一个区间，其中预测误差最小化。在误差与时间和光谱半径的三维表示中，间隔对应于“谷”的底部区域。“这样的山谷出现在由非线性偏微分方程描述的各种时空动力系统中，而不管底层水库网络的结构和边权重分布如何。我们还发现，虽然特定的位置和大小的山谷将取决于要预测的目标系统的细节，间隔往往是更大的无向网络比有向网络。谷现象可以有益于最佳储备池计算的设计，代表了理解这些机器学习系统的一小步。
2019-10-10 cs.LG nlin.CD physics.data-an
Simultaneously forecasting global geomagnetic activity using Recurrent Networks
Georgia Institute of Technology（佐治亚理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
社会使用的许多系统极易受到太阳耀斑和地磁暴等空间气象事件的影响，这些事件有可能造成灾难性损害。近年来，出现了许多作品，通过预测这些事件，通过一些代理，这些系统提供预警，但这些方法主要集中在一个特定的现象。我们提出了一个序列到序列的学习方法来预测全球空间天气条件的问题，在每小时的分辨率。这种方法改进了在这一领域的其他工作，同时预测地磁活动的几个关键代理提前6小时。我们证明了一个改进，目前已知的最好的预测地磁风暴，并改善了持久性基线提前几个小时。
2020-11-20 cs.LG
Capacitance Resistance Model and Recurrent Neural Network for Well Connectivity Estimation : A Comparison Study
Texas A&M University（德州农工大学）
在这份报告中，两个常用的数据驱动模型预测油井产量注水设置：电容电阻模型（CRM）和递归神经网络（RNN）进行了比较。这两个模型都是完全数据驱动的，旨在从历史数据中了解注水过程中的储层动态。此报告作为CRM模型的Python实现的技术指南，可从相关的GitHub存储库中获得。
2021-09-17 cs.LG stat.AP
Temporal Convolution Derived Multi-Layered Reservoir Computing
Technische Universität Ilmenau（伊尔梅瑙工业大学）；Friedrich Schiller University（弗里德里希·席勒大学）
本文提出时间卷积衍生的新型储备池输入映射及两种多层架构，以降低随机性并提升并行与预测能力，在 Mackey-Glass 和 SantaFe Laser 上显著优于 ESN、AE-ESN 与 GRU。
2024-11-03 cs.LG nlin.CD
Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing
Virginia Tech（弗吉尼亚理工大学）；Massachussets Institute of Technology（麻省理工学院）
本文从信号处理角度证明储备池计算可通用逼近一般 LTI 系统，并解析得到配置其未训练循环权重的最优概率分布。
2024-04-07 cs.LG cs.SY eess.SP
The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection
Emma Leonhart
提出储层注意力网络（RAN），通过在预训练Transformer中间层注入固定随机储层来携带跨前向传播状态，实验表明未训练的循环动态足以传递可用状态。
2026-06-23 cs.AI cs.LG
Recurrent Stochastic Configuration Networks with Incremental Blocks
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）
本文提出块递归随机配置网络（BRSCNs），通过同时添加多个子储备池节点、监督机制配置结构及在线更新权重，提升了网络学习效率与逼近能力，在多项任务中表现出优异的建模与泛化性能。
2024-11-18 cs.AI cs.LG
Reservoir Computing on the Hypersphere
储备池计算（RC）是指经常用于序列学习和时间序列预测的递归神经网络（RNN）框架。RC系统由一个随机固定权重的RNN（输入隐藏库层）和一个分类器（隐藏输出读出层）组成。在这里，我们专注于序列学习问题，我们探索一种不同的方法来RC。更具体地说，我们删除了非线性神经激活函数，我们认为一个正交水库的归一化状态的单位超球。令人惊讶的是，我们的数值结果表明，系统的记忆容量超过了水库的维数，这是基于回声状态网络（ESN）的典型RC方法的上限。我们还展示了如何建议的系统可以应用于对称密码学问题，我们包括一个数值实现。
2017-06-24 cs.LG physics.data-an stat.ML
Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）；State Key Laboratory of Synthetical Automation for Process Industries（过程综合自动化国家重点实验室）；Research Center for Stochastic Configuration Machines（随机配置机器研究中心）
本文提出深度循环随机配置网络DeepRSCN，通过监督式随机参数分配、增量构造与投影算法在线更新输出权重，提升非线性动态系统建模效率、学习与泛化能力。
2024-10-28 cs.LG math.DS stat.ML
Chasing the Echo State Property
University of Pisa（比萨大学）
储备池计算（RC）为动态递归神经网络模型的设计提供了一种有效的方法。虽然训练仅限于简单的输出组件，但在初始化后，循环连接不受训练，受到回声状态属性（ESP）指定的稳定性约束。ESP的文献条件通常不能正确考虑驱动输入信号的影响，常常限制RC方法的潜力。在本文中，我们研究了存在驱动输入的RC模型的渐近稳定性的基本方面，引入了一个经验ESP指数，可以很容易地分析水库的稳定性制度。两个基准数据集的结果揭示了有趣的见解输入驱动的水库的动力学特性，这表明ESP有效性的实际域是更广泛的比通常用于RC实践中的文献条件所涵盖的。
2019-09-24 cs.LG cs.NE stat.ML
Reservoir computing for spatiotemporal signal classification without trained output weights
Air Force Research Laboratory（空军研究实验室）
储备池计算是最近引入的机器学习范例，其已被证明非常适合于时空数据的处理。在传统的递归神经网络中，不是通过反向传播来训练网络节点连接和权重，而是在“隐藏层”节点之间具有固定的连接和权重，并且传统上只有神经元输出层的权重使用线性回归来训练。我们主张，对于信号分类任务，可以完全放弃权重训练步骤，而是使用基于储层状态范数的主成分的简单监督聚类方法。所提出的方法进行了数学分析和探索，通过对真实世界的数据进行数值实验。实例表明，该方法在分类精度和对储层参数的敏感性方面优于传统的训练输出权重方法。
2016-07-19 cs.CV cs.LG cs.NE
Petrophysical Property Estimation from Seismic Data Using Recurrent Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
储层表征包括从测井资料和地震资料中估计岩石物理性质。由于地下的非线性和非均匀性，估计这些属性是一项具有挑战性的任务。已经进行了各种尝试来使用机器学习技术（诸如前馈神经网络和支持向量回归（SVR））来估计岩石物理性质。机器学习的最新进展表明，循环神经网络（RNN）在建模复杂的序列数据（如视频和语音信号）方面取得了可喜的成果。在这项工作中，我们提出了一个算法的属性估计从地震资料使用循环神经网络。与前馈神经网络相比，所提出的工作流程在使用地震资料估计密度和P波阻抗方面的应用显示出有希望的结果。
2019-02-01 cs.LG physics.geo-ph
Evolutionary Optimization Reveals Structural Constraints on Reservoir Architecture for Spatiotemporal Chaos
Department of Physics, MIT（麻省理工学院物理系）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑研究 institute）
通过进化优化储层计算超参数，发现预测误差降低、设计空间沿规模-效率前沿组织，且进化储层在保持谱包络的同时优化低特征值模式，揭示可解释的结构约束。
2026-06-23 cs.AI cs.LG cs.NE
A Comparative Study of Reservoir Computing for Temporal Signal Processing
University of New Mexico（新墨西哥大学）；Portland State University（波特兰州立大学）
储备池计算（RC）是一种利用递归神经网络进行时间序列预测的新方法。在RC中，输入信号扰动称为储层的介质的内在动力学。然后训练读出层以从储层的状态重建目标输出。众多的RC架构和评估指标对研究RC任务解决性能和计算能力的实践者和理论家都提出了挑战。此外，与传统的计算模型相比，水库是一个动态系统，其中计算和存储是不可分割的，因此很难分析。在这里，我们比较回声状态网络（ESN），一个流行的RC架构，抽头延迟线（DL）和非线性自回归外源（NARX）网络，我们用有限的计算和有限的内存分别建模系统。我们比较了三个系统的性能，同时计算三个常见的基准时间序列：H{é}non Map，NARMA 10和NARMA 20。我们发现，水库的作用，在储备池计算范例超越了提供一个记忆的过去的输入。DL和NARX网络具有更高的记忆能力，但缺乏ESN的泛化能力。
2014-01-10 cs.LG cs.NE
