Product Reservoir Computing: Time-Series Computation with Multiplicative Neurons
回声状态网络（ESN）是一种储备池计算（RC）结构，是用于时间序列处理和学习的高效、准确的人工神经系统。ESN由一个递归神经网络的核心组成，称为水库，具有少量可调参数以生成输入的高维表示，以及一个读出层，可以使用回归轻松训练，以从水库状态产生所需的输出。某些计算任务涉及高阶时间相关性的实时计算，这需要在储层或读出层中进行非线性变换。传统的ESN采用具有S形或双曲正切函数神经元的库。相比之下，某些类型的生物神经元服从可以被描述为乘积单位而不是总和和阈值的响应曲线。受这类神经元的启发，我们引入了一个RC架构与水库的产品节点的时间序列计算。我们发现，产品RC显示了许多标准ESN的性质，如短期记忆和非线性容量。在混沌预测任务的标准基准上，产品RC保持了标准非线性ESN的性能，同时更适合数学分析。我们的研究提供的证据表明，这种网络是强大的高度非线性任务，由于高阶统计产生的经常性产品节点水库。
2015-04-26 cs.NE
Asymptotic Stability in Reservoir Computing
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Yerevan State University（埃里温国立大学）
储备池计算是一类内部权值随机固定的递归神经网络。稳定性与网络状态对扰动的敏感性有关。它是储备池计算中的一个重要属性，因为它直接影响性能。在实践中，期望保持在稳定状态，其中扰动的影响不会呈指数级爆炸，但也接近于储层动态丰富的混沌边界。关于输入正则化和不连续激活函数，至今仍存在一些悬而未决的问题。在这项工作中，我们使用的经常性的核极限绘制新的见解稳定的储备池计算。这个限制对应于大的储存器大小，并且它已经变得与具有几百个神经元的储存器相关。我们得到了一个定量表征的稳定性和混沌之间的边界，这可以大大有利于超参数调整。从更广泛的意义上说，我们的研究结果有助于理解递归神经网络的复杂动态。
2022-06-07 cs.LG cs.NE stat.ML
Deep Reservoir Computing Using Cellular Automata
递归神经网络（RNN）是人工智能中的一个重要概念。它们受到生物神经网络（BNN）的启发，并提供了BNN如何工作的直观和抽象表示。从更通用的人工神经网络（ANN）衍生而来，递归神经网络旨在用于时间任务，如语音识别，因为它们能够记忆历史输入。然而，由于这种网络的固有性质，训练非常耗时。最近，回声状态网络和液态状态机被提议作为可能的RNN替代方案，名称为储备池计算（RC）。驻地协调员更容易训练。在本文中，元胞自动机被用作水库，并在5位内存任务（一个众所周知的基准在RC社区）进行测试。本文的工作提供了一种方法，从任务到自动机的二进制输入映射，和一个经常性的架构，用于处理它的顺序方面。此外，分层（深）水库架构。性能进行比较，对早期的工作，除了其单层版本。结果表明，单CA水库系统产生类似的结果，国家的最先进的工作。与单一CA储层相比，由两个分层储层组成的系统确实显示出明显的改善。这表明了进一步研究的潜力，并提供了宝贵的见解，如何设计CA水库系统。
2017-03-08 cs.ET cs.NE
Sparsity in Reservoir Computing Neural Networks
University of Pisa（比萨大学）
储备池计算（RC）是一种设计递归神经网络的著名策略，具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面，常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论，但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中，我们实证研究的角度下，丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接，并在连接从输入到水库。我们的研究结果指出，稀疏性，特别是在输入水库的连接，有一个重要的作用，在发展内部的时间表示，有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
Efficient quantum recurrent reinforcement learning via quantum reservoir computing
Wells Fargo（富国银行）
本文提出基于QLSTM储备池的量子循环强化学习框架，固定随机参数并采用A3C算法训练，在保持与全训练模型相当性能的同时显著提升了训练效率。
2023-09-13 cs.AI cs.ET cs.LG
Reservoir Topology in Deep Echo State Networks
University of Pisa（比萨大学）
深度回声状态网络（DeepESN）最近将储备池计算（RC）方法的适用性扩展到深度学习领域。在本文中，我们研究的影响，约束水库的拓扑结构的建筑设计深水库，通过数值实验几个RC基准。我们的调查的主要结果是显示显着的效果，在预测性能增益方面，实现了深层水库建设和结构化组织的经常性单位在每一层之间的协同作用。我们的研究结果还表明，一个特别有利的架构设置中获得的DeepESN的储层单元的结构根据置换递归矩阵。
2019-09-24 cs.LG cs.NE stat.ML
Bidirectional deep-readout echo state networks
我们提出了一个多变量时间序列分类的深层架构。通过一个经常性的和未经训练的水库，我们生成一个矢量表示，嵌入在数据的时间关系。为了提高记忆能力，我们实现了一个双向水库，其最后一个状态也捕捉过去的依赖关系的输入。我们将降维应用于最终的水库状态，以获得压缩的固定大小的时间序列表示。这些数据随后被送入一个经过训练的深度前馈网络，以执行最终的分类。我们在基准数据集和血液样本分类的真实用例上测试了我们的架构。结果表明，我们的方法比标准回声状态网络表现得更好，同时达到了与经过充分训练的循环网络相当的结果，但训练速度更快。
2018-02-13 cs.NE
Empirical Analysis of the Necessary and Sufficient Conditions of the Echo State Property
回声状态网络（ESN）是一种特定的递归网络，在过去几年中越来越受欢迎。该模型有一个名为reservoir的递归网络，它在学习过程中是固定的。储存器用于将输入空间转换为更大的空间。对模型准确性产生影响的一个基本属性是回声状态属性（ESP）。与ESP相关的理论成果主要有两个：第一，ESP存在的充分条件，它涉及到油藏矩阵的奇异值。第二，ESP成立的必要条件，ESP可以根据储层矩阵的谱半径值而被破坏。在这些必要条件和充分条件之间存在着理论上的差距。本文提出了一个实证分析的准确性和预测的水库，满足这一理论差距。它给出了一些关于储层矩阵的生成的见解。从以前的工作中，它是已知的，最佳的精度获得的边界附近的稳定控制的动态。然后，根据我们的实证结果，我们可以看到，这个边界似乎更接近于ESP的充分条件，而不是必要条件。
2017-03-20 cs.NE
Working memory facilitates reward-modulated Hebbian learning in recurrent neural networks
水库计算是一个强大的工具，可以解释大脑如何学习时间序列，如运动，但现有的学习方案要么是生物学上不可信的，要么是效率太低，无法解释动物的表现。我们表明，网络可以学习复杂的序列与奖励调制的赫布学习规则，如果水库神经元的网络相结合的第二个网络，作为一个动态的工作记忆，并提供了一个时空骨干信号的水库。与工作记忆结合，读出神经元的奖励调制赫布学习表现得和FORCE学习一样好，但其优点是对学习规则和学习范式的生物学合理解释。
2019-10-23 cs.NE q-bio.NC
Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir
Université de Sherbrooke（舍布鲁克大学）
由于脑电图（EEG）的非侵入性，在脑机接口中使用EEG作为主要输入信号已被广泛提出。在这里，我们对从听觉系统提取信息的接口特别感兴趣，更具体地说，是对从EEG中听到的语音进行分类的任务。为此，我们建议限制EEG的预处理，并使用机器学习方法自动提取其有意义的特征。更具体地说，我们使用了一个受调节的递归神经网络（RNN）库，当应用于几种不同的生物信号时，它的性能优于经典的机器学习方法，我们将其与深度神经网络方法进行了比较。此外，我们还研究了分类性能作为EEG电极的数量的函数。一组8名受试者随机呈现3种不同的听觉刺激（英语元音a，i和u）。当考虑所有64个电极时，我们使用RNN获得了83.2%的出色分类率。仅用10个电极就实现了81.7%的成功率。
2018-04-27 cs.LG cs.NE cs.SD
Input anticipating critical reservoirs show power law forgetting of unexpected input events
通常，储备池计算显示指数存储衰减。本文研究了回声状态网络在什么情况下会出现幂律遗忘。这意味着早期事件的痕迹可以在很长一段时间内在水库中找到。这样的设置要求关键连接性恰好处于根据回波状态条件所允许的极限。然而，对于一般矩阵，极限不能从理论上精确地确定。此外，网络的行为受到输入流的强烈影响。结果使用某些类型的限制经常性的连接和预期学习方面的输入，确实可以实现幂律遗忘。
2015-08-08 cs.NE
Towards a Comprehensive Theory of Reservoir Computing
本文提出利用感知理论预测ESN模型的存储容量和准确性，并提出无需训练的新型ESN模型，揭示了读出网络的几何结构。
2025-12-26 cs.NE
Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation
IKS Research Centre（IKS研究中心）；ISS（印度统计研究所）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
该研究提出受林德布拉德启发的多时间尺度储备池计算方法，通过分离旋转与耗散实现模态控制与稳定性保证，在多项时序任务基准测试中表现优异，为可解释循环架构提供了新方案。
2026-08-06 cs.AI cs.ET cs.LG
Genesis of Basic and Multi-Layer Echo State Network Recurrent Autoencoders for Efficient Data Representations
数据表示在机器学习工具中具有显著的干预作用，这是一个被广泛接受的事实。它们定义得越好，性能结果就越好。基于特征提取的方法（例如自动编码器）被设想用于从原始数据表示中找到更准确的数据表示。它们可以有效地执行特定的任务，包括1）高精度，2）大的短期记忆和3）低执行时间。回声状态网络（ESN）是最近出现的一种特殊的递归神经网络，由于其基于递归的隐藏层，它呈现出非常丰富的动态特性。它被广泛应用于处理复杂的非线性问题，它已经超过了经典的方法，在一些任务，包括回归，分类等，在本文中，显着的动态性和大内存ESN提供的和强度的Autoencoders在特征提取内收集ESN递归Autoencoder（ESN-RAE）。为了提出一种比传统的基于以太网的网络更坚固的替代方案，不仅使用单层基本ESN作为自动编码器，而且还使用多层ESN（ML-ESN-RAE）。一旦从ESN的隐藏层中提取新特征，就将其应用于分类任务。与应用原始数据特征时获得的分类率相比，分类率大幅上升。在无噪声和噪声环境中，建议的经常性AE和ELM前馈AE（基本和ML）的两个变体之间进行基于精度的比较。实证研究揭示了递归连接在提高分类性能方面的主要贡献。
2018-06-09 cs.NE
Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing
本文研究了储备池计算中非线性程度与动力学状态对分类精度的影响，发现弱非线性即可生成有效表征，且准确率在相界处达峰值，支持“混沌边缘”假说。
2024-11-15 cs.NE q-bio.NC
Evolutionary Echo State Network: evolving reservoirs in the Fourier space
Faculty of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；VŠB-Technical University of Ostrava（俄斯特拉发技术大学）；INRIA Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
回声状态网络（ESN）是一类具有大量隐-隐权重（在所谓的水库中）的递归神经网络。规范ESN及其变体最近受到了极大的关注，因为它们在非线性动力系统建模方面取得了显着的成功。水库是随机连接的固定权重，在学习过程中不会改变。仅训练从库到输出的权重。由于水库在训练过程中是固定的，我们可能想知道递归结构的计算能力是否得到了充分利用。在这篇文章中，我们提出了一个新的计算模型的ESN类型，表示在傅立叶空间中的油藏权重，并执行这些权重的微调应用遗传算法在频域中。主要的兴趣是，这个过程将工作在一个更小的空间相比，经典的ESN，从而提供了一个降维变换的初始方法。所提出的技术使我们能够利用大型递归结构的好处，避免了基于梯度的方法的训练问题。我们提供了一个详细的实验研究，证明了我们的方法与著名的混沌系统和现实世界的数据的良好性能。
2022-09-29 cs.AI cs.LG cs.NE
An Online Structural Plasticity Rule for Generating Better Reservoirs
本文提出了一种新的神经启发式低分辨率在线无监督学习规则，用于训练液态机的储液器。这种液体是一个稀疏互连的巨大的周期性神经元网络。所提出的学习规则的灵感来自于结构可塑性，并通过突触连接的形成和消除来训练液体。因此，这种学习涉及到重新连接储库连接，类似于在生物神经网络中观察到的结构可塑性。网络连接可以存储为连接矩阵，并通过使用通常在神经形态系统中采用的地址事件表示（AER）协议在存储器中更新。在研究“成对分离特性”时，我们发现，与随机液体相比，训练液体提供1.36 $\pm$ 0.18倍的类间分离，同时保持类似的类内分离。此外，对“线性分离特性”的分析表明，训练液体比随机液体好2.05 $\pm$ 0.27倍。此外，我们表明，我们的液体是能够保留的“泛化”能力和“一般性”的随机液体。记忆分析表明，训练过的液体具有比随机液体长83.67 $\pm$ 5.79 ms的衰落记忆，随机液体对于特定类型的尖峰训练输入显示出92.8 $\pm$ 5.03 ms的衰落记忆。我们还抛出一些光的动态的液体内的经常性连接的演变。此外，与最近提出的用于迭代细化储层的“分离驱动突触修改”算法相比，我们的学习规则分别为四类、八类和十二类模式识别任务提供了9.30%、15.21%和12.52%的液体分离和2.8%、9.1%和7.9%的分类准确率。
2016-04-19 cs.NE
Reservoir Computing via Quantum Recurrent Neural Networks
Wells Fargo（富国银行）；IBM Quantum, IBM Research（IBM研究院IBM量子部门）
量子计算和机器学习的最新发展推动了量子机器学习的跨学科研究。序贯建模是一项具有很高科学价值和商业价值的重要课题。现有的基于VQC或QNN的方法需要大量的计算资源来执行大量量子电路参数的基于梯度的优化。主要缺点是这种量子梯度计算需要大量的电路评估，这对当前近期的量子硬件和仿真软件构成了挑战。在这项工作中，我们通过将储备池计算（RC）框架应用于基于经典RNN，LSTM和GRU的量子循环神经网络（QRNN-RC）来实现顺序建模。这种RC方法的主要思想是将具有随机初始化权重的QRNN视为动态系统，并且只训练最终的经典线性层。我们的数值模拟表明，QRNN-RC可以达到与完全训练的QRNN模型相当的结果，用于几个函数近似和时间序列预测任务。由于QRNN训练复杂度显著降低，因此所提出的模型训练速度明显更快。在这项工作中，我们还比较了相应的经典的基于RNN的RC实现，并表明量子版本在大多数情况下需要更少的训练时间来学习更快。我们的研究结果表明，一个新的可能性，利用量子神经网络的顺序建模与更大的量子硬件效率，一个重要的设计考虑噪声的中间尺度量子（NISQ）计算机。
2022-11-04 cs.LG cs.NE quant-ph
Using evolutionary computation to optimize task performance of unclocked, recurrent Boolean circuits in FPGAs
针对FPGA无时钟反馈布尔网络在储备池计算中因仅调权重导致性能受限的问题，提出用演化计算进化节点布尔函数的学习方法，在图像分类任务中实现约30%准确率提升且处理超每秒三百万样本。
2024-03-19 cs.NE
Simple Cycle Reservoirs are Universal
本文严格证明了简单循环储备池（SCR）在复数域中具有通用近似能力，能够逼近任意无限制线性储备池系统及均匀有界输入流上的时不变渐缩记忆滤波器，且适合硬件实现。
2024-06-04 cs.NE
A theory of sequence indexing and working memory in recurrent neural networks
为了适应神经计算的结构化方法，我们提出了一类用于索引和存储符号或模拟数据向量序列的循环神经网络。这些具有随机化输入权重和正交递归权重的网络实现了先前在矢量符号架构（VSA）中描述的编码原理，并且利用了储备池计算的属性。通常，储备池计算中的存储是有损耗的，并且串扰噪声限制了检索精度和信息容量。提出了一种新的理论来优化这种网络中的存储器性能，并与仿真实验进行了比较。该理论描述了模拟数据的线性读出，以及VSA模型中提出的符号数据的赢者全取纠错读出。我们发现，不同的VSA模型从文献中具有普遍的性能属性，这是优于以前的分析预测。此外，我们提出了新的VSA模型与统计上最优的维纳滤波器的读出，表现出更高的信息容量，特别是用于存储模拟数据。所提出的理论也适用于内存缓冲区，网络逐渐遗忘，可以操作无限的数据流没有内存溢出。有趣的是，我们发现不同的遗忘机制，如衰减递归权重或神经非线性，如果遗忘时间常数对齐，则会产生非常相似的行为。这种模型表现出广泛的能力时，他们的遗忘时间常数优化给定的噪声条件和网络规模。这些结果使设计新型的VSA模型的在线处理的数据流。
2018-02-28 cs.NE
Integer Echo State Networks: Efficient Reservoir Computing for Digital Hardware
我们提出了一个近似的回声状态网络（ESN），可以有效地实现数字硬件的基础上的数学多维计算。所提出的整数回声状态网络（intESN）的库是仅包含n位整数的向量（其中n<8通常足以获得令人满意的性能）。递归矩阵乘法被替换为一个有效的循环移位操作。所提出的intESN的方法进行了验证，在储备池计算的典型任务：记忆的输入序列，分类时间序列，学习动态过程。这样的体系结构在内存占用和计算效率方面有了显著的改进，同时性能损失最小。现场可编程门阵列上的实验证实，所提出的intESN方法是更有效的能源比传统的ESN。
2020-10-09 cs.NE
A theoretical framework for reservoir computing on networks of organic electrochemical transistors
本研究提出以有机电化学晶体管（OECTs）为非线性单元的储层计算理论框架，验证其可准确预测Lorenz吸引子且性能对标标准实现，还发现预测性能与OECTs夹断电压强相关，为物理储层计算机设计提供试验基础。
2024-08-17 cs.NE
Learning to Recognize Actions from Limited Training Examples Using a Recurrent Spiking Neural Model
School of Electrical & Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）；Intel Labs（英特尔实验室）
当今机器学习的一个基本挑战是构建一个可以从很少的例子中学习的模型。在这里，我们描述了一个基于水库的尖峰神经模型，用于学习识别具有有限数量的标记视频的动作。首先，我们提出了一种新的编码，灵感来自于微扫视如何影响视觉感知，从原始视频数据中提取尖峰信息，同时保留不同帧之间的时间相关性。使用这种编码，我们表明，水库概括其丰富的动态活动对签名动作/动作，使它能够从几个训练样本学习。我们在UCF-101数据集上评估了我们的方法。我们的实验表明，我们提出的水库分别达到81.3%/87%的Top-1/Top-5的准确率，在101类数据，而每个类只需要8个视频样本进行训练。我们的研究结果为动作识别建立了一个新的基准，从有限的视频例子尖峰神经模型，同时产生竞争的准确性相对于国家的最先进的非尖峰神经模型。
2017-10-19 cs.CV cs.NE
Discrete-time signatures and randomness in reservoir computing
University of Vienna（维也纳大学）；Ludwig-Maximilians-Universität München（路德维希-马克西米利安慕尼黑大学）；Universität Konstanz（康斯坦茨大学）；Universität Sankt Gallen（圣加仑大学）；Centre National de la Recherche Scientifique (CNRS)（法国国家科学研究中心）；ETH Zürich（苏黎世联邦理工学院）
对储备池计算现象的几何本质提出了一种新的解释。储备池计算在文献中被理解为用随机选择的递归神经系统和经训练的线性读出层来近似输入/输出系统的可能性。光是揭示这种现象，通过构建所谓的强通用水库系统作为随机预测的一个家庭的状态空间系统，产生Volterra级数展开。这个过程产生一个状态仿射水库系统与随机生成的系数在一个维度上，这是减少相对于原始系统的数学。该水库系统能够通过为每个不同的滤波器训练不同的线性读数来近似衰落记忆滤波器类中的任何元素。明确表示的概率分布所需的生成的预测水库系统的陈述和承诺的近似误差的界限。
2020-09-17 cs.LG cs.NE math.PR
Large-scale spatiotemporal photonic reservoir computer for image classification
我们提出了一个可扩展的光子架构，用于实现前馈和递归神经网络，以执行MNIST数据库中的手写数字的分类。我们的实验利用现成的光学和电子元件，目前实现了16，384个节点的网络规模。两种网络类型都是在具有随机加权输入和隐藏层的储备池计算范例内设计的。使用各种特征提取技术（如直方图的梯度，分区，Gabor滤波器）和一个简单的训练过程，包括线性回归和赢家通吃的决策策略，我们证明了数值和实验，前馈网络允许分类出错率为1%，这是在国家的最先进的实验实现，并保持竞争力与更先进的算法方法。我们还研究了经常性的网络在数值模拟中明确激活的时间动态，并预测性能改善的前馈配置。
2020-04-06 cs.NE eess.IV
Illuminating the Black Box of Reservoir Computing
本研究揭示回声状态计算中读出层在某些任务中主导计算，挑战传统对回声状态作用的认知。
2025-11-21 cs.NE
Re-visiting Reservoir Computing architectures optimized by Evolutionary Algorithms
Faculty of Electrical Engineering and Computer Science（电气与计算机科学学院）；VŠB-Technical University of Ostrava（俄斯特拉发VŠB技术大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Shobhit University（肖布希特大学）
多年来，进化算法（Evolutionary Algorithms，EA）一直被用于改进神经网络（Neural Networks，NN）结构。它们已被用于解决不同的问题，如训练网络（调整权重），设计网络拓扑结构，优化全局参数和选择特征。在这里，我们提供了一个系统的简要调查的应用程序的EA上的特定领域的经常性神经网络命名为储备池计算（RC）。在2000年代初，RC范式似乎是采用递归NN的一个很好的选择，而无需处理训练算法的不便之处。RC模型使用一个非线性动态系统，固定的递归神经网络称为\textit{reservoir}，学习过程被限制为调整一个线性参数函数。%，因此学习的性能是快速和精确的。然而，RC模型具有多个超参数，因此EA是找出最佳RC架构的有用工具。我们概述了该领域的研究成果，讨论了新的进展，并提出了我们对新趋势和未决问题的看法。
2022-11-11 cs.CV cs.LG cs.NE
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes（法国国家信息与自动化研究所雷恩分所）
在过去的十年中，在机器学习领域中引入了一种新的计算范例，称为储备池计算（RC）。RC模型是一种神经网络，其中一个不参与学习过程的递归部分（水库）和系统的其余部分没有递归（没有神经回路）发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络，随机神经网络（RandNN）也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中，我们提出了一个新的RC模型称为回声状态映射网络（ESQN），我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成，其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域，并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具，并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
Road traffic reservoir computing
Faculty of Engineering（工学院）；University of Tsukuba（筑波大学）；Toyota Motor Corporation（丰田汽车公司）
源自递归神经网络的储备池计算比深度学习更适用于现实世界的系统，因为它的计算成本低，并且具有物理实现的潜力。具体地说，物理储备池计算，它取代了与物理现象的储层单元的动态，最近受到了相当大的关注。在这项研究中，我们提出了一种方法，利用道路交通的动态作为一个水库，并通过应用几个预测任务的基础上，一个简单的数学模型的交通流数值确认其可行性。
2019-12-02 cs.ET cs.LG cs.NE
Input-to-State Representation in linear reservoirs dynamics
Università della Svizzera Italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）；University of Birmingham（伯明翰大学）
储备池计算由于其训练简单和逼近性能好，是设计递归神经网络的一种流行方法。这些网络的循环部分未被训练（例如，通过梯度下降），使得它们吸引了具有从动力系统到神经科学的背景的大量研究人员的分析研究。然而，即使在简单的线性情况下，这些网络的工作原理也没有完全理解，它们的设计通常是由数学驱动的。提出了一种新的分析这种网络的动力学，它允许调查员表示使用可控性矩阵的状态演化。这样的矩阵编码网络动态的显着特征;特别是，它的秩表示网络记忆容量的输入独立度量。使用所提出的方法，它是可能的，比较不同的油藏结构，并解释为什么一个循环的拓扑结构实现有利的结果，由从业者验证。
2021-02-12 cs.LG cs.NE math.DS
Sequential Reservoir Computing for Efficient High-Dimensional Spatiotemporal Forecasting
USRA Research Institute for Advanced Computer Science (RIACS) California（美国宇航局高级计算机科学研究所（RIACS）加利福尼亚）
序贯回授计算通过分解大型回授为多个小回授，提高了高维时空预测的效率和可扩展性。
2026-01-01 cs.LG cs.NE
A characterization of the Edge of Criticality in Binary Echo State Networks
回声状态网络（ESN）是一种简化的递归神经网络模型，由一个库和一个线性的、可训练的读出层组成。水库是可调的一些超参数，控制网络的行为。已知ESN在被配置在称为\emph{Edge of Criticality}（EoC）的（超）参数空间中的区域上时在解决任务方面是有效的，其中系统对扰动最敏感，从而影响其行为。在本文中，我们提出了二进制ESN，这是架构上等同于标准ESN，但考虑二进制激活函数和二进制经常性的权重。对于这些网络，我们推导出一个封闭形式的表达EoC在自治的情况下，并进行模拟，以评估其行为的情况下，嘈杂的神经元和存在的信号。我们提出了一个理论解释的事实，即方差的输入起着重要的作用，在表征的EoC。
2018-10-03 cs.NE
Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
使用无监督神经网络求解微分方程引起了人们的兴趣。现有的方法都是基于前馈网络的，而递归神经网络微分方程求解器还未见报道。我们介绍了一个无监督的储备池计算（RC），回声状态递归神经网络能够发现近似的解决方案，满足常微分方程（ODE）。我们提出了一种方法来计算时间导数的递归神经网络输出，而不使用反向传播。RC的内部权重是固定的，而只有线性输出层被训练，从而产生有效的训练。然而，RC性能强烈依赖于找到最佳超参数，这是一个计算昂贵的过程。我们使用贝叶斯优化，有效地发现最优集在高维超参数空间和数值表明，一组是强大的，可以用来解决不同的初始条件和时间范围的ODE。在无反向传播学习过程中，推导出求解一阶线性方程组的最优输出权的封闭形式公式。我们将RC方法扩展到求解非线性常微分方程组，使用一种由梯度下降和贝叶斯优化组成的混合优化方法。线性和非线性方程组的评价证明了RC ODE求解器的效率。
2021-08-25 cs.LG cs.NE physics.comp-ph
Guided Self-Organization of Input-Driven Recurrent Neural Networks
Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）；University of Freiburg（弗莱堡大学）
我们回顾了已经对理解输入驱动的动态系统，如RNN，特别是储备池计算网络的计算特性和机制所做的尝试。我们提供了详细的方法，已经开发出定量的答案，上述问题。在此之后，我们将展示如何使用自组织来改善水库以获得更好的性能，在某些情况下，由之前提出的措施指导。我们还提出了一种可能的方法来量化任务的性能，使用信息理论的方法，最后讨论了有前途的未来方向，旨在更好地了解这些系统如何执行其计算，以及如何最好地指导自组织过程，以优化它们。
2013-09-06 cs.AI cs.NE nlin.AO
Asymmetrically connected reservoir networks learn better
不对称连接的共振网络在Mackey-Glass时间序列任务中表现更优，其信息处理能力最高。
2024-10-01 cs.NE nlin.CD
Reservoir Computing using Stochastic p-Bits
我们提出了一个通用的硬件框架，直接实现储备池计算，一个流行的软件方法，用于实现和训练递归神经网络，特别适合于时间推理和模式识别的网络建设。我们提供了一个具体的例子的候选硬件单元的基础上的组合的软磁铁，自旋轨道材料和CMOS晶体管，可以实现这些网络。水库计算机的有效非冯-诺依曼硬件实现可以为在各种新兴系统中集成时间神经网络开辟一条途径，例如物联网（IoT），工业控制，生物和光传感器以及自动驾驶汽车。
2017-09-29 cond-mat.mes-hall cs.ET cs.NE
Chasing the Echo State Property
University of Pisa（比萨大学）
储备池计算（RC）为动态递归神经网络模型的设计提供了一种有效的方法。虽然训练仅限于简单的输出组件，但在初始化后，循环连接不受训练，受到回声状态属性（ESP）指定的稳定性约束。ESP的文献条件通常不能正确考虑驱动输入信号的影响，常常限制RC方法的潜力。在本文中，我们研究了存在驱动输入的RC模型的渐近稳定性的基本方面，引入了一个经验ESP指数，可以很容易地分析水库的稳定性制度。两个基准数据集的结果揭示了有趣的见解输入驱动的水库的动力学特性，这表明ESP有效性的实际域是更广泛的比通常用于RC实践中的文献条件所涵盖的。
2019-09-24 cs.LG cs.NE stat.ML
Reservoir computing for spatiotemporal signal classification without trained output weights
Air Force Research Laboratory（空军研究实验室）
储备池计算是最近引入的机器学习范例，其已被证明非常适合于时空数据的处理。在传统的递归神经网络中，不是通过反向传播来训练网络节点连接和权重，而是在“隐藏层”节点之间具有固定的连接和权重，并且传统上只有神经元输出层的权重使用线性回归来训练。我们主张，对于信号分类任务，可以完全放弃权重训练步骤，而是使用基于储层状态范数的主成分的简单监督聚类方法。所提出的方法进行了数学分析和探索，通过对真实世界的数据进行数值实验。实例表明，该方法在分类精度和对储层参数的敏感性方面优于传统的训练输出权重方法。
2016-07-19 cs.CV cs.LG cs.NE
Approximation Bounds for Random Neural Networks and Reservoir Systems
本文研究了基于单隐层前馈和递归神经网络的随机权值逼近问题。这些方法，其中只有最后一层的权重和一些超参数进行了优化，已成功地应用于广泛的静态和动态学习问题。尽管这种方法在经验任务中很受欢迎，但关于未知函数、权重分布和近似率之间关系的重要理论问题仍然没有解决。在这项工作中，它被证明，只要未知的功能，功能，或动力系统是足够的规则，它是可能的随机（递归）神经网络的内部权重从一个通用的分布（不依赖于未知对象）和量化的神经元和超参数的数量方面的错误。特别是，这证明了随机生成的权重的回声状态网络能够任意地近似广泛的一类动力系统，从而为他们在学习动力系统方面的经验观察到的成功提供了第一个数学解释。
2021-02-16 cs.NE cs.SY eess.SY
A Comparative Study of Reservoir Computing for Temporal Signal Processing
University of New Mexico（新墨西哥大学）；Portland State University（波特兰州立大学）
储备池计算（RC）是一种利用递归神经网络进行时间序列预测的新方法。在RC中，输入信号扰动称为储层的介质的内在动力学。然后训练读出层以从储层的状态重建目标输出。众多的RC架构和评估指标对研究RC任务解决性能和计算能力的实践者和理论家都提出了挑战。此外，与传统的计算模型相比，水库是一个动态系统，其中计算和存储是不可分割的，因此很难分析。在这里，我们比较回声状态网络（ESN），一个流行的RC架构，抽头延迟线（DL）和非线性自回归外源（NARX）网络，我们用有限的计算和有限的内存分别建模系统。我们比较了三个系统的性能，同时计算三个常见的基准时间序列：H{é}non Map，NARMA 10和NARMA 20。我们发现，水库的作用，在储备池计算范例超越了提供一个记忆的过去的输入。DL和NARX网络具有更高的记忆能力，但缺乏ESN的泛化能力。
2014-01-10 cs.LG cs.NE
Fuzzy Recurrent Stochastic Configuration Networks for Industrial Data Analytics
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）
针对工业数据分析中非线性动力学建模的不确定性问题，提出结合TSK模糊规则与多子储层的模糊循环随机配置网络，经RSC算法训练和投影算法在线更新，性能优于经典模型，可用于复杂工业系统建模。
2024-08-13 cs.AI cs.LG cs.NE
Short-Term Synaptic Plasticity Stabilizes Goal-Conditioned Dynamics in a PFC-Inspired Reservoir Model for Multistep Goal-Directed Action Planning
Graduate School of Information Science and Technology, The University of Osaka（大阪大学研究生院信息科学技术学院）；School of Systems Information Science, Future University Hakodate（函馆未来大学系统信息科学学院）
通过将短期突触可塑性(STP)纳入前额叶皮层(PFC)启发的储层计算模型，研究了STP如何在行为时间尺度上稳定目标信息为目标条件动力学，并在多步目标导向动作选择任务中显著提高了噪声下的成功率。
2026-06-02 cs.NE q-bio.NC
Deep Q-network using reservoir computing with multi-layered readout
Oita University（大分大学）
基于递归神经网络（RNN）的强化学习（RL）被用于学习上下文相关的任务，并且在最近的研究中作为具有显著学习性能的方法也引起了关注。然而，基于RNN的RL存在一些问题，即学习过程往往在计算上更加昂贵，并且由于梯度消失/爆炸问题，使用时间反向传播（BPTT）进行训练是不稳定的。提出了一种引入储备池计算的重放存储器方法，该方法训练的Agent不需要BPTT，避免了上述问题。这种方法的基本思想是将来自环境的观测输入到水库网络，并且将观测和水库输出都存储在存储器中。本文表明，该方法的性能提高，通过使用多层神经网络的读出层，它经常由一个单一的线性层。实验结果表明，使用多层读出提高了四个经典的控制任务，需要时间序列处理的学习性能。
2022-03-03 cs.AI cs.LG cs.NE
Computational Capabilities of Random Automata Networks for Reservoir Computing
本文强调的猜想，内在计算是最大的系统在“边缘的混乱。“我们研究了用于水库计算（RC）的随机布尔网络（RBN）中动态和计算能力之间的关系。RC是一种计算范例，其中训练的读出层解释受外部输入扰动的可激发组分（称为储层）的动态。水库往往是作为一个同质的递归神经网络，但一直很少有调查水库的属性是离散的和异质的。随机布尔网络是通用的异构动力系统，在这里我们使用它们作为水库。RBN通常是一个封闭的系统;为了将其用作水库，我们用输入层对其进行扩展。作为扰动的结果，RBN不一定落入吸引子。RC中的计算能力来自输入的可分离性和衰减记忆之间的权衡。我们发现这些属性的平衡预测的分类能力和最佳的关键连接。这些结果与利用复杂异质系统（如生物分子基质）的内在动力学的设备的构建有关。
2013-04-20 cond-mat.dis-nn cs.NE nlin.AO
Distilling a Modular Reservoir Through a Genomic Bottleneck
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）；Max Planck Institute for Biological Cybernetics（生物感知研究所）；Flowers Team Inria（Inria花朵团队）；Human and Machine Cognition Lab, Center for Cognitive Science, TU Darmstadt（人类与机器认知实验室，认知科学中心，图恩大学）；Department of Bioengineering, Imperial College London（帝国理工学院生物工程系）
受生物神经网络发育启发，使用超网络学习压缩生成过程以产生模块化储层连接，结合课程元学习与模块化储层计算，生成稀疏递归网络，以最少训练解决困难时序任务并保持鲁棒性。
2026-06-20 cs.AI cs.NE
DropIn: Making Reservoir Computing Neural Networks Robust to Missing Inputs by Dropout
Università di Pisa（比萨大学）；Biobeats Ltd（Biobeats 有限公司）
本文提出了一种新的，原则性的方法来训练递归神经网络的储备池计算家庭是强大的，在预测时间丢失的部分输入功能。通过建立在Dropout正则化的集合属性上，我们提出了一种名为DropIn的方法，该方法可以有效地将神经模型训练为子网络的委员会机器，每个子网络都能够使用原始输入特征的子集进行预测。我们讨论的应用程序的DropIn方法的背景下，储备池计算模型和目标应用程序的输入源是不可靠的或容易被断开，如在普及的无线传感器网络和环境智能。我们使用来自这些应用领域的真实数据提供了一个实验评估，展示了Dropin方法如何允许保持与模型的预测性能相当的预测性能，而不会丢失功能，即使20%-50%的输入不可用。
2017-05-07 cs.LG cs.NE stat.ML
Convolutional Reservoir Computing for World Models
University of Tsukuba（筑波大学）
最近，强化学习模型取得了巨大的成功，完成了复杂的任务，如掌握围棋和其他游戏，得分高于人类玩家。这些模型中的许多模型收集了关于任务的大量数据，并通过分别使用卷积神经网络（CNN）和递归神经网络提取视觉和时间序列特征来提高准确性。然而，这些网络具有非常高的计算成本，因为它们需要通过重复使用大量过去的播放数据来训练。在这项研究中，我们提出了一种新的实用方法，称为卷积储备池计算（RCRC）模型的强化学习。RCRC模型有几个可取的功能：1。由于采用了随机固定权重的CNN和储备池计算模型，可以非常快速地提取视觉和时间序列特征; 2.它不需要存储训练数据，因为它在不训练的情况下提取特征，并使用演化策略来决定动作。此外，该模型在流行的强化学习任务中达到了最先进的分数。令人难以置信的是，我们发现随机固定权重的简单网络（例如只有一个稠密层网络）也可以在RL任务中获得高分。
2019-07-18 cs.LG cs.NE stat.ML
Cluster-based Input Weight Initialization for Echo State Networks
Technische Universität Dresden（德累斯顿工业大学）；Ghent University（根特大学）；Princeton University（普林斯顿大学）
回声状态网络（ESN）是一种特殊类型的递归神经网络（RNN），其中输入和递归连接传统上是随机生成的，并且只训练输出权重。尽管最近成功的ESN在各种任务的音频，图像和雷达识别，我们假设，一个纯粹的随机初始化是不是理想的方式初始化ESN。这项工作的目的是提出一个无监督的初始化的输入连接使用的$K$ -均值算法的训练数据。我们表明，对于各种各样的数据集，这种初始化执行相当于或优于随机初始化的ESN，同时需要显着减少水库神经元。此外，我们讨论了这种方法提供了一个机会，估计一个合适的大小的水库的基础上先验知识的数据。
2022-01-20 cs.AI cs.LG cs.NE
SpaRCe: Improved Learning of Reservoir Computing Systems through Sparse Representations
University of Sheffield（谢菲尔德大学）；The University of Sheffield（谢菲尔德大学）
“稀疏”神经网络，其中相对较少的神经元或连接是活跃的，在机器学习和神经科学中都很常见。而在机器学习中，“稀疏性”与导致一些连接权重变小或为零的惩罚项有关，在生物大脑中，当高尖峰阈值阻止神经元活动时，通常会产生稀疏性。在这里，我们通过神经元特定的可学习的活动阈值将稀疏性引入储备池计算网络，允许具有低阈值的神经元有助于决策，但抑制来自具有高阈值的神经元的信息。这种方法，我们称之为“SpaRCe”，在不影响水库动态的情况下优化水库的稀疏水平。读出的权重和阈值通过在线梯度规则来学习，该规则使网络输出上的误差函数最小化。阈值学习通过两种相反力量的平衡发生：通过使冗余神经元失活来减少水库中神经元间的相关性，同时增加参与正确决策的神经元的活动。我们测试SpaRCe分类问题，发现阈值学习提高了性能相比，标准的储备池计算。SpaRCe解决了灾难性遗忘的问题，这是标准回声状态网络和一般递归神经网络中最明显的问题，这是由于增加了网络决策中包含的任务专用神经元的数量。
2021-04-18 cs.LG cs.NE stat.ML
