Hyperparameter Tuning in Echo State Networks
回声状态网络表示一种类型的递归神经网络，其具有大的随机生成的库和通过线性回归训练的少量读出连接。水库最常见的拓扑结构是一个由数千个神经元组成的完全连接的网络。多年来，研究人员已经引入了各种替代的水库拓扑结构，如圆形网络或线性连接路径。当比较不同拓扑的性能或其他架构变化时，有必要分别调整每个拓扑的超参数，因为它们的属性可能会有很大的不同。超参数调整通常通过从预定义组合的稀疏网格中选择性能最佳的参数集来手动执行。不幸的是，这种方法可能会导致性能不佳的配置，特别是对于敏感的拓扑。提出了一种基于协方差矩阵自适应演化策略的超参数整定方法。使用这种方法，我们已经改善了多个拓扑结构的比较结果的数量级表明，拓扑结构本身并没有发挥重要的作用，适当调整超参数。
2022-07-16 cs.NE
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes（法国国家信息与自动化研究所雷恩分所）
在过去的十年中，在机器学习领域中引入了一种新的计算范例，称为储备池计算（RC）。RC模型是一种神经网络，其中一个不参与学习过程的递归部分（水库）和系统的其余部分没有递归（没有神经回路）发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络，随机神经网络（RandNN）也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中，我们提出了一个新的RC模型称为回声状态映射网络（ESQN），我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成，其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域，并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具，并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
Analysis of Wide and Deep Echo State Networks for Multiscale Spatiotemporal Time Series Forecasting
Rochester Institute of Technology（罗切斯特理工学院）
回声状态网络是一种计算量小的水库模型，其灵感来自于在皮层电路中观察到的随机投射。随着对水库计算的兴趣的增长，网络变得更深更复杂。虽然这些网络越来越多地应用于非平凡的预测任务，有必要进行综合性能分析的深层水库。在这项工作中，我们研究了给定预算的分区神经元的影响，以及在不同数据集上表现出多尺度和非线性动力学的并行水库路径的影响。
2019-07-01 cs.LG cs.NE eess.SP
A characterization of the Edge of Criticality in Binary Echo State Networks
回声状态网络（ESN）是一种简化的递归神经网络模型，由一个库和一个线性的、可训练的读出层组成。水库是可调的一些超参数，控制网络的行为。已知ESN在被配置在称为\emph{Edge of Criticality}（EoC）的（超）参数空间中的区域上时在解决任务方面是有效的，其中系统对扰动最敏感，从而影响其行为。在本文中，我们提出了二进制ESN，这是架构上等同于标准ESN，但考虑二进制激活函数和二进制经常性的权重。对于这些网络，我们推导出一个封闭形式的表达EoC在自治的情况下，并进行模拟，以评估其行为的情况下，嘈杂的神经元和存在的信号。我们提出了一个理论解释的事实，即方差的输入起着重要的作用，在表征的EoC。
2018-10-03 cs.NE
Evolutionary Echo State Network: evolving reservoirs in the Fourier space
Faculty of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；VŠB-Technical University of Ostrava（俄斯特拉发技术大学）；INRIA Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
回声状态网络（ESN）是一类具有大量隐-隐权重（在所谓的水库中）的递归神经网络。规范ESN及其变体最近受到了极大的关注，因为它们在非线性动力系统建模方面取得了显着的成功。水库是随机连接的固定权重，在学习过程中不会改变。仅训练从库到输出的权重。由于水库在训练过程中是固定的，我们可能想知道递归结构的计算能力是否得到了充分利用。在这篇文章中，我们提出了一个新的计算模型的ESN类型，表示在傅立叶空间中的油藏权重，并执行这些权重的微调应用遗传算法在频域中。主要的兴趣是，这个过程将工作在一个更小的空间相比，经典的ESN，从而提供了一个降维变换的初始方法。所提出的技术使我们能够利用大型递归结构的好处，避免了基于梯度的方法的训练问题。我们提供了一个详细的实验研究，证明了我们的方法与著名的混沌系统和现实世界的数据的良好性能。
2022-09-29 cs.AI cs.LG cs.NE
Dynamics and Computational Principles of Echo State Networks: A Mathematical Perspective
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
本研究从数学视角系统探索储备池计算（RC），基于动力系统理论分析其回声状态特性、衰退记忆等基础特性，形式化输入与状态的相互作用条件，探讨计算权衡与应用，为RC理论发展提供见解。
2025-04-16 cs.LG cs.NE
Echo state networks are universal
Centre National de la Recherche Scientifique (CNRS)（法国国家科学研究中心）
本文表明，回声状态网络的背景下，离散时间衰减记忆滤波器的一致有界输入定义在负无限次的普遍一致逼近。这一结果保证了任何离散时间的衰减记忆输入/输出系统都可以实现为一个简单的有限维神经网络型状态空间模型和一个静态线性读出映射。这种近似对无限时间间隔有效。这一说法的证明是基于基本的结果，也提出了在这项工作中，有关的拓扑性质的衰减记忆属性和有关储备池计算系统所产生的连续水库地图。
2018-08-26 cs.AI cs.NE
Breaking Symmetries of the Reservoir Equations in Echo State Networks
水库计算已多次被证明是非常成功的非线性时间序列的预测。然而，还没有完全理解水库的正确设计。我们发现，最简单的流行设置有一个有害的对称性，这导致了我们所谓的镜像吸引子的预测。我们通过分析来证明这一点。在一般情况下也会出现类似的问题，我们用它们来解释一些设计的成功或失败。对称性是双曲正切激活函数的直接结果。此外，四种方法来打破对称性进行了比较数值：在输出的偏置，在输入的移位，在读出的二次项，以及偶数和奇数激活函数的混合。首先，我们测试了它们对镜像吸引子的敏感性。其次，我们评估他们的表现上的任务预测洛伦兹数据的平均值移到零。短期预报用预报时域来度量，用最大李雅普诺夫指数和关联维数来表示气候。最后，在Lorenz吸引子和Halvorsen吸引子的组合数据集上重复相同的分析，我们设计这些数据集是为了揭示对称性的潜在问题。我们发现，除了输出偏置的所有方法都能够完全打破与输入移位和二次读出执行最好的整体的对称性。
2020-12-04 cs.NE physics.data-an
Chasing the Echo State Property
University of Pisa（比萨大学）
储备池计算（RC）为动态递归神经网络模型的设计提供了一种有效的方法。虽然训练仅限于简单的输出组件，但在初始化后，循环连接不受训练，受到回声状态属性（ESP）指定的稳定性约束。ESP的文献条件通常不能正确考虑驱动输入信号的影响，常常限制RC方法的潜力。在本文中，我们研究了存在驱动输入的RC模型的渐近稳定性的基本方面，引入了一个经验ESP指数，可以很容易地分析水库的稳定性制度。两个基准数据集的结果揭示了有趣的见解输入驱动的水库的动力学特性，这表明ESP有效性的实际域是更广泛的比通常用于RC实践中的文献条件所涵盖的。
2019-09-24 cs.LG cs.NE stat.ML
P-CRITICAL: A Reservoir Autoregulation Plasticity Rule for Neuromorphic Hardware
递归人工神经网络上的反向传播算法需要随时间展开累积状态。这些状态必须在内存中保存一段未定义的时间，这段时间取决于任务。本文使用储备池计算范例，其中使用未经训练的递归神经网络层作为预处理器阶段来学习时间和有限的数据。这些所谓的水库需要广泛的微调或神经可塑性与无监督学习规则。我们提出了一个新的局部可塑性规则命名为P-CRITICAL设计的自动水库调整，以及翻译英特尔的Loihi研究芯片，最近的神经形态处理器。我们比较了我们的方法在机器学习社区的知名数据集上，同时使用尖峰神经元架构。我们观察到来自各种模式的任务的性能提高，而无需调整参数。这种算法可能是边缘设备上端到端节能的基于神经形态学的机器学习的关键。
2020-09-11 cs.NE
Generating Oscillation Activity with Echo State Network to Mimic the Behavior of a Simple Central Pattern Generator
Kyushu University（九州大学）；The University of Tokyo（东京大学）
本文提出用改进的回声状态网络模拟简单中枢模式生成器，通过调整泄漏率等参数生成振荡活动，无需输入即可产生所需波形，为机器人仿生控制器开发提供新方案。
2023-06-19 cs.AI cs.NE
Reservoir Computing using Cellular Automata
我们介绍了一种新的储备池计算框架。元胞自动机被用作动力系统的储存器。输入被随机地投射到自动机单元的初始条件上，并且通过在自动机中应用规则在一段时间内对输入执行非线性计算。自动机的演化创建了自动机状态空间的时空体积，它被用作水库。所提出的框架是能够长短期记忆，它需要的数量级更少的计算相比，回声状态网络。此外，对于加法元胞自动机规则，可以使用布尔运算来组合储层特征，这为概念构建和符号处理提供了直接的方式，并且与现有技术的方法相比，它更有效。
2014-10-01 cs.NE
Imposing Connectome-Derived Topology on an Echo State Network
The University of Western Ontario（西安大略大学）
connectome-derived约束可以通知计算吗？在本文中，我们研究了果蝇连接体的拓扑结构对回声状态网络（ESN）性能的贡献-储备池计算的一个子集，这是混沌时间序列预测的最新技术。具体来说，我们取代水库层的经典ESN-通常是一个固定的，随机图表示为一个2-D矩阵-与一个特定的（女性）果蝇connectome-derived连接矩阵。我们将这类实验模型（具有连接体衍生的储库）称为"果蝇ESN"（FFESN）。我们训练和验证的FFESN的混沌时间序列预测任务，在这里，我们考虑四组试验不同的训练输入大小（小，大）和训练验证分裂（两个变种）。我们将所有最佳FFESN模型的验证性能（均方误差）与一类控制模型ESN（简称为“ESN”）进行比较。总的来说，对于所有四组试验，我们发现FFESN要么显著优于ESN（并且具有更低的方差）;要么只是具有比ESN更低的方差。
2022-01-23 cs.LG cs.NE
PeleNet: A Reservoir Computing Framework for Loihi
脉冲神经网络的高级框架是快速原型和高效开发复杂算法的关键因素。这种框架在过去几年中已经出现在传统计算机上，但对神经形态硬件进行编程仍然是一个挑战。通常需要具有关于神经形态芯片的硬件的知识的低级编程。PeleNet框架旨在简化神经形态硬件Loihi的储备池计算。它构建在Intel的NxSDK之上，用Python编写。该框架管理权重矩阵、参数和探测器。特别是，它提供了在多个核心和芯片上的自动和高效的网络分布。有了这个，用户不必面对技术细节，可以专注于实验。
2020-11-24 cs.NE
Building Reservoir Computing Hardware Using Low Energy-Barrier Magnetics
生物启发的递归神经网络，如水库计算机，由于简单的学习方案和与卡尔曼滤波器的深度连接，从硬件的角度来看，在设计时空数据处理器方面很有意义。在这项工作中，我们将讨论使用深入的模拟研究的方法来构建硬件水库计算机使用模拟随机神经元细胞从一个低能量势垒的磁铁为基础的磁性隧道结和几个晶体管。这允许我们实现储层计算机的数学模型的物理体现。使用这种设备的储层计算机的紧凑实现可以使得能够构建紧凑的、节能的信号处理器，用于边缘设备中的独立或原位机器认知。
2020-07-06 cs.ET cs.NE
CMOS Implementation of Field Programmable Spiking Neural Network for Hardware Reservoir Computing
u-tokyo（东京大学）
本文提出一种基于CMOS的场可编程脉冲神经网络架构，用于硬件共振计算，通过集成电压控制振荡器和可编程权重互连，实现任意共振配置，并在仿真和芯片测量中展示了FORCE算法、线性与非线性记忆容量和NARMA10任务的高效实现。
2025-09-22 cs.NE
An FPGA Implementation of a Time Delay Reservoir Using Stochastic Logic
本文提出并演示了一种随机逻辑延时存储器的FPGA硬件设计。水库网络的方法进行了分析，使用一些指标，如内核的质量，泛化排名，简单的基准性能，并进行了比较，一个确定性的设计。引入了一种新的重新播种方法来减少随机噪声的不利影响，该方法也可以在其他随机逻辑储备池计算设计中实现，例如回声状态网络。基准测试结果表明，所提出的设计表现良好的噪声容忍分类问题，但需要做更多的工作，以提高随机逻辑时滞水库的鲁棒性回归问题。此外，我们表明，随机设计可以显着降低面积成本，如果二进制和随机表示之间的转换有效地实现。
2018-09-12 cs.NE
Reservoir Memory Machines as Neural Computers
The University of Sydney（悉尼大学）；Humboldt-University of Berlin（柏林洪堡大学）；Bielefeld University（比勒费尔德大学）；National Research Council of Canada（加拿大国家研究委员会）
可微神经计算机扩展了人工神经网络，具有无干扰的显式记忆，从而使模型能够执行经典的计算任务，如图遍历。然而，这样的模型难以训练，需要长的训练时间和大的数据集。在这项工作中，我们实现了可微神经计算机的一些计算能力，其模型可以非常有效地进行训练，即具有无干扰显式记忆的回声状态网络。这种扩展使回声状态网络能够识别所有的正则语言，包括那些收缩回声状态网络可证明不能识别的语言。此外，我们通过实验证明，我们的模型在可微神经计算机的几个典型基准任务上对其完全训练的深度版本进行了测试。
2021-07-19 cs.LG cs.NE stat.ML
Efficient Design of Hardware-Enabled Reservoir Computing in FPGAs
FEMTO-ST（FEMTO-ST研究所）；CNRS（法国国家科学研究中心）；Univ. Bourgogne Franche-Comté（勃艮第-弗朗什孔泰大学）
在这项工作中，我们提出了一种新的方法，对有效的优化和实施的储备池计算硬件减少所需的领域专家知识和优化工作。首先，我们通过线性自编码器使水库输入掩码适应数据的结构。因此，我们将降维和维数扩展的优势，实现了传统的算法有效的线性代数程序的主成分分析。第二，我们采用进化启发遗传算法技术，从而在一个非常有效的优化油藏动态与显着减少的数量相比，穷举搜索的评价。我们说明了所谓的单节点储备池计算架构，特别适合在超高速硬件实现的方法。这两种方法的组合以及由此产生的硬件系统的性能优化所需的时间的减少建立了一种朝向能够自适应以最佳地解决特定问题的机器学习硬件的策略。我们证实了这些原则的有效性建设储备池计算硬件的基础上，现场可编程门阵列。
2018-10-02 cs.ET cs.LG cs.NE
Genesis of Basic and Multi-Layer Echo State Network Recurrent Autoencoders for Efficient Data Representations
数据表示在机器学习工具中具有显著的干预作用，这是一个被广泛接受的事实。它们定义得越好，性能结果就越好。基于特征提取的方法（例如自动编码器）被设想用于从原始数据表示中找到更准确的数据表示。它们可以有效地执行特定的任务，包括1）高精度，2）大的短期记忆和3）低执行时间。回声状态网络（ESN）是最近出现的一种特殊的递归神经网络，由于其基于递归的隐藏层，它呈现出非常丰富的动态特性。它被广泛应用于处理复杂的非线性问题，它已经超过了经典的方法，在一些任务，包括回归，分类等，在本文中，显着的动态性和大内存ESN提供的和强度的Autoencoders在特征提取内收集ESN递归Autoencoder（ESN-RAE）。为了提出一种比传统的基于以太网的网络更坚固的替代方案，不仅使用单层基本ESN作为自动编码器，而且还使用多层ESN（ML-ESN-RAE）。一旦从ESN的隐藏层中提取新特征，就将其应用于分类任务。与应用原始数据特征时获得的分类率相比，分类率大幅上升。在无噪声和噪声环境中，建议的经常性AE和ELM前馈AE（基本和ML）的两个变体之间进行基于精度的比较。实证研究揭示了递归连接在提高分类性能方面的主要贡献。
2018-06-09 cs.NE
Richness of Deep Echo State Network Dynamics
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
储备池计算（RC）是一种有效设计递归神经网络（RNN）的流行方法。最近，随着深度回声状态网络（DeepESN）模型的引入，RC方法的优势已经扩展到多层RNN的背景下。在本文中，我们使用信息论和数值分析领域的工具，研究了DeepESN逐步更高层的状态动力学质量。我们在RC基准数据集上的实验结果揭示了储层间连接的强度在日益丰富高层开发的表示中所发挥的基本作用。我们的分析还提供了有趣的见解，有效利用的训练算法的基础上，在RC领域的随机梯度下降的可能性。
2019-09-24 cs.AI cs.LG cs.NE
Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
研究针对高维系统中智能系统自适应要求间的矛盾，聚焦回声状态网络，提出基于扰动学习成本正交分解的在线自监督学习规则，降低有效扰动维度，避免方差增长，为可扩展及硬件兼容学习提供设计原则。
2026-07-29 cs.LG cs.NE
Comparison of echo state network output layer classification methods on noisy data
回声状态网络是最近开发的一种递归神经网络，其内部层是固定的，具有随机权重，只有输出层是在特定数据上训练的。回声状态网络越来越多地被用于处理现实世界中的时空数据，包括语音识别，事件检测和机器人控制。回声状态网络的强度是用于训练输出层的简单方法-通常是使用最小二乘法找到的线性读出权重的集合。虽然训练简单并且使用的计算成本低，但是该方法可能不会在噪声数据上产生可接受的准确度性能。本研究比较了三种回声状态网络输出层方法对噪声数据进行分类的性能：使用训练的线性权重，使用稀疏训练的线性权重，以及使用水库状态的训练低秩近似。实验研究的方法在合成和自然数据集。实验表明，使用正则化最小二乘法训练线性输出权重在低噪声数据上是优越的，但是使用低秩近似可以显著提高被较高噪声水平污染的数据集的准确性。
2017-03-13 cs.NE
Cluster-based Input Weight Initialization for Echo State Networks
Technische Universität Dresden（德累斯顿工业大学）；Ghent University（根特大学）；Princeton University（普林斯顿大学）
回声状态网络（ESN）是一种特殊类型的递归神经网络（RNN），其中输入和递归连接传统上是随机生成的，并且只训练输出权重。尽管最近成功的ESN在各种任务的音频，图像和雷达识别，我们假设，一个纯粹的随机初始化是不是理想的方式初始化ESN。这项工作的目的是提出一个无监督的初始化的输入连接使用的$K$ -均值算法的训练数据。我们表明，对于各种各样的数据集，这种初始化执行相当于或优于随机初始化的ESN，同时需要显着减少水库神经元。此外，我们讨论了这种方法提供了一个机会，估计一个合适的大小的水库的基础上先验知识的数据。
2022-01-20 cs.AI cs.LG cs.NE
Concentric ESN: Assessing the Effect of Modularity in Cycle Reservoirs
Dipartimento di Informatica Università di Pisa（比萨大学信息学院（Dipartimento di Informatica Università di Pisa））
本文介绍了同心回声状态网络，一种设计水库拓扑结构的方法，试图弥合确定性构造的简单循环模型和深层储备池计算方法之间的差距。我们将展示如何将水库模块化为简单的单向和同心循环，相邻循环之间有成对的双向跳跃连接。我们提供了一个初步的实验评估，显示同心油藏产量优越的预测精度和记忆能力，相对于单周期油藏和深部油藏模型。
2018-05-23 cs.AI cs.LG cs.NE
Orthogonal Echo State Networks and stochastic evaluations of likelihoods
我们报告的概率似然估计的时间序列使用回声状态网络与正交经常性连接。使用具有时间推断的合成随机输入时间序列的测试结果表明，网络的推断能力取决于输入强度和经常性活动之间的平衡。这种平衡对网络的影响是关于短期输入历史的推断与解释长期影响的推断的质量。这种网络对噪声的敏感性和有限精度的网络状态的递归层进行了研究。此外，还提出了一种基于输出时间序列与水库之间互信息的测度。最后，不同类型的经常性连接进行评估。正交矩阵显示了所有研究的连接类型的最佳结果，但也显示了网络性能如何随递归层的大小而扩展。
2017-06-13 cs.NE
Reservoir Computing with Planar Nanomagnet Arrays
储备池计算是一种新兴的类脑计算方法，特别适合于尺寸、重量和功率（SWaP）受限环境中的硬件实现。这项工作提出了一种新的硬件实现的水库计算机使用平面纳米磁体阵列。通过微磁模拟证明了一个小型纳米磁体储层能够以100%的准确度识别简单的波形。平面纳米磁体水库是一个有前途的新的解决方案，不断增长的需求，专用神经形态硬件。
2020-03-24 cs.ET cs.NE physics.app-ph
Product Reservoir Computing: Time-Series Computation with Multiplicative Neurons
回声状态网络（ESN）是一种储备池计算（RC）结构，是用于时间序列处理和学习的高效、准确的人工神经系统。ESN由一个递归神经网络的核心组成，称为水库，具有少量可调参数以生成输入的高维表示，以及一个读出层，可以使用回归轻松训练，以从水库状态产生所需的输出。某些计算任务涉及高阶时间相关性的实时计算，这需要在储层或读出层中进行非线性变换。传统的ESN采用具有S形或双曲正切函数神经元的库。相比之下，某些类型的生物神经元服从可以被描述为乘积单位而不是总和和阈值的响应曲线。受这类神经元的启发，我们引入了一个RC架构与水库的产品节点的时间序列计算。我们发现，产品RC显示了许多标准ESN的性质，如短期记忆和非线性容量。在混沌预测任务的标准基准上，产品RC保持了标准非线性ESN的性能，同时更适合数学分析。我们的研究提供的证据表明，这种网络是强大的高度非线性任务，由于高阶统计产生的经常性产品节点水库。
2015-04-26 cs.NE
Echo State Neural Machine Translation
Google Research（谷歌研究（Google Research））
我们提出了受回声状态网络（ESN）启发的神经机器翻译（NMT）模型，称为回声状态NMT（ESNMT），其中编码器和解码器层权重随机生成，然后在整个训练过程中固定。我们表明，即使使用这种非常简单的模型构建和训练过程，ESNMT也可以达到70-80%的完全可训练基线质量。我们研究如何光谱半径的水库，一个关键的数量，表征模型，确定模型的行为。我们的研究结果表明，随机网络甚至可以很好地用于复杂的序列到序列预测NLP任务。
2020-02-27 cs.CL cs.LG cs.NE
Constraints on parameter choices for successful reservoir computing
Gothenburg University（哥德堡大学）
回声状态网络是由时间序列驱动的离散动态系统的简单模型。通过选择网络参数使得网络的动态是收缩的，其特征在于负的最大李雅普诺夫指数，网络可以与驱动信号同步。利用这种同步，回声状态网络可以被训练为自主地再现输入动态，从而实现时间序列预测。然而，虽然同步是预测的必要条件，但它并不充分。在这里，我们研究成功的时间序列预测所需的其他条件。我们确定了预测性能的两个关键参数，并进行参数扫描，以找到预测成功的区域。这些区域根据在训练期间是否向网络提供关于输入的全部或部分相空间信息而显著不同。我们解释这些区域是如何出现的。
2022-06-03 cs.LG cs.NE nlin.CD
Rapid Time Series Prediction with a Hardware-Based Reservoir Computer
Ohio State University（俄亥俄州立大学）
储备池计算是近年来发展迅速的一种处理时变信号的神经网络方法。使用光学水库的技术的物理实现已经在基准任务中表现出显着的精度和处理速度。然而，这些方法需要电子输出层来保持高性能，这限制了它们在诸如时间序列预测之类的任务中的使用，其中输出被反馈到水库中。我们在这里提出了一个储备池计算方案，具有快速的处理速度的水库和输出层。该水库是由一个自治的，时间延迟，布尔网络配置在现场可编程门阵列。我们研究了网络的动力学性质，并观察到衰减记忆特性，这是成功的储备池计算的关键。我们通过训练一个水库来学习混沌系统的短期和长期行为，展示了该技术的实用性。我们发现，与具有类似网络规模的最先进的软件方法相比，其准确性相当，但具有高达160 MHz的卓越实时预测速率。
2018-11-27 cs.LG cs.NE stat.ML
Transport in reservoir computing
本文研究储备池计算中输入与系统状态的统计关系，利用 Foias 算子不动点和随机状态收缩性证明渐近不变测度的存在、唯一及对输入的连续依赖。
2022-09-16 cs.NE math.DS
Empirical Investigation into Configuring Echo State Networks for Representative Benchmark Problem Domains
The University of Toledo（托莱多大学）
本文通过四个基准问题实证考察了Echo State Network的性能，提出了配置架构与参数选择的启发式经验法则，以填补初学者经验空白并指导成功构建。
2025-08-14 cs.AI cs.LG cs.NE
Improving the Performance of Echo State Networks Through State Feedback
Wyant College of Optical Sciences, University of Arizona（亚利桑那大学怀恩特光学科学学院）；School of Electrical Engineering and Telecommunications, University of New South Wales（新南威尔士大学电气工程与电信学院）
针对回声状态网络固定储备池复杂度不足的问题，提出将储备池状态分量经输入反馈回网络的方法，理论证明其几乎总能提升精度，实验显示误差降30%-60%，效果媲美成本更高的节点翻倍方案。
2025-01-13 cs.LG cs.NE cs.SY
Reservoir Computing using Stochastic p-Bits
我们提出了一个通用的硬件框架，直接实现储备池计算，一个流行的软件方法，用于实现和训练递归神经网络，特别适合于时间推理和模式识别的网络建设。我们提供了一个具体的例子的候选硬件单元的基础上的组合的软磁铁，自旋轨道材料和CMOS晶体管，可以实现这些网络。水库计算机的有效非冯-诺依曼硬件实现可以为在各种新兴系统中集成时间神经网络开辟一条途径，例如物联网（IoT），工业控制，生物和光传感器以及自动驾驶汽车。
2017-09-29 cond-mat.mes-hall cs.ET cs.NE
Brain-Inspired Spike Echo State Network Dynamics for Aero-Engine Intelligent Fault Prediction
Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
针对传统航空发动机参数预测方法忽略数据时空特征的问题，提出类脑脉冲回声状态网络模型，通过脉冲输入层、脉冲储备池与岭回归实现时空特征捕捉与状态预测，实验验证了其优越性与潜力。
2024-06-14 cs.LG cs.NE
Analysis of Memory Capacity for Deep Echo State Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Virginia Tech（弗吉尼亚理工大学）
本文针对一种新型的深度回声状态网络，分析了回声状态网络（ESN）的存储容量，它代表了ESN可以存储的输入数据量。特别是，两个深ESN架构进行了研究。首先，提出了一种并行的深ESN，其中多个水库并联连接，允许它们平均多个ESN的输出，从而降低预测误差。在此基础上，提出了一种串联结构的ESN，该ESN将ESN的存储器级联，每个ESN的输出为下一个ESN的输入。该系列ESN结构可以在输入序列和输出序列之间捕获更多的特征，从而提高整体预测精度。基本分析表明，并行ESN的存储容量与传统浅ESN相当，而串联ESN的存储容量小于传统浅ESN;仿真结果表明，在归一化均方根误差方面，并行深ESN比传统浅ESN降低了38.5%，串联深ESN降低了16.8%。
2019-06-11 cs.LG cs.NE stat.ML
Scalable Memristive-Friendly Reservoir Computing for Time Series Classification
Adaptive AI Research Group（适应性人工智能研究组）；University of Lübeck（吕贝克大学）；Department of Computer Science（计算机科学系）；University of Pisa（比萨大学）
本文提出MARS架构，通过新颖的减法跳接连接实现高效并行计算和深度模型构建，显著提升训练速度和预测性能，优于传统序列模型。
2026-04-21 cs.LG cs.NE
Analog readout for optical reservoir computers
Université Libre de Bruxelles（布鲁塞尔自由大学）；Ghent University（根特大学）
储备池计算是一种新的、功能强大且灵活的机器学习技术，易于在硬件中实现。最近，通过使用时分复用架构，硬件水库计算机已经达到了与数字实现相当的性能。使用光电系统已经达到了允许实时的信息操作的操作速度。目前，主要的性能瓶颈是读出层，它使用缓慢的数字后处理。我们设计了一种适用于时间多路复用光电油藏计算机的模拟读出器，能够实时的工作。读出器已建立和测试实验上的标准基准任务。其性能优于非水库方法，有足够的空间进一步改进。本工作从而克服了一个主要的限制，为未来发展的硬件水库计算机。
2012-09-14 cs.ET cs.LG cs.NE
Model-Coupled Autoencoder for Time Series Visualisation
我们提出了一种方法，结合了一个回声状态网络与自动编码器的一组时间序列的可视化。对于数据集中的每个时间序列，我们训练回声状态网络，使用隐藏神经元的公共和固定的水库，并使用优化的读出权重作为新的表示。然后，通过自动编码器对读出的权重表示进行简化。工作的关键是为自动编码器配备损失函数，该损失函数通过将它们与在序列的数据空间中测量的重建误差相关联来正确地解释重建的读出权重。这基本上相当于测量重建的读出权重在插入回具有相同固定库的回波状态网络时在其对应序列上表现出的预测性能。我们表明，建议的可视化框架可以处理实值序列以及二进制序列。我们推导出放大因子，以分析距离的放大和扭曲的可视化空间。所提出的方法的通用性和优势，证明了对数据集的时间序列，来自不同的领域。
2016-01-21 astro-ph.IM cs.NE
Efficient implementations of echo state network cross-validation
Kaunas University of Technology（考纳斯理工大学）
背景/简介：交叉验证（CV）在时间序列建模中仍然不常见。回声状态网络（ESN）作为储备池计算（RC）模型的主要示例，以其快速和精确的一次性学习而闻名，其通常受益于良好的超参数调整。这使它们成为改变现状的理想选择。研究方法：我们讨论CV的时间序列预测一个具体的时间间隔的兴趣，提出了几个方案的交叉验证ESN和介绍一个有效的算法来实现它们。该算法被提出作为两个层次的优化做$k$倍CV。训练RC模型通常由两个阶段组成：（i）用数据运行储层和（ii）计算最佳读数。我们的第一级优化解决了计算成本最高的部分（i），并使其保持不变，而不管$k$。它显著减少了任何类型RC系统中的水库计算，并且如果$k$较小，就足够了。第二级优化还使得（ii）部分保持恒定，而不管大的$k$，只要输出的维数低。我们讨论了ESN的拟议验证方案何时可能是有益的，用于生成最终模型的三种选择，并在六个不同的真实世界数据集上对其进行实证研究，以及进行实证计算时间实验。我们在一个在线存储库中提供代码。结果：提出的CV方案在所有六种不同的真实世界数据集，三种任务类型中提供了更好和更稳定的测试性能。经验运行时间证实了我们的复杂性分析。结论：在大多数情况下，ESN和许多其他RC模型的$k$倍CV几乎可以与简单的单分裂验证在相同的时间和空间复杂度上完成。这使简历成为驻地协调员的标准做法。
2020-12-03 cs.LG cs.NE stat.ML
Impact of white Gaussian internal noise on analog echo-state neural networks
Institute of Physics, Saratov State University（萨拉托夫国立大学物理研究所）
该研究以不同拓扑的回声状态网络为例，探究白高斯内部噪声对模拟循环神经网络的影响，揭示噪声传播受输出连接矩阵统计特性调控的规律，明确不同网络结构下的临界噪声类型与强度条件。
2024-05-13 cs.LG cs.NE
Reservoir Computing Hardware with Cellular Automata
Universitat de les Illes Balears（巴利阿里群岛大学）
基本元胞自动机（ECA）是一种被广泛研究的一维处理方法，其中自动机的连续迭代可以导致丰富的模式动态的重建。最近，元胞自动机已被提出作为一种可行的方式来实现储备池计算（RC）系统，其中自动机规则是固定的，并使用线性回归进行训练。在这项工作中，我们进行了详尽的研究不同的ECA规则的性能时，适用于模式识别的时间无关的输入信号，使用RC计划。一旦测试了不同的ECA规则，就选择最准确的一个（规则90）来实现数字电路。规则90很容易复制使用一组减少的“异”门和移位寄存器，因此代表了一个高性能的替代RC硬件实现的处理时间，电路面积，功耗和系统精度。该模型（无论是在软件和硬件实现）已被测试使用的模式识别任务的手写数字（MNIST数据库），我们获得了竞争力的结果，在准确性，速度和功耗。该模型可以被认为是一种低成本的方法来实现快速模式识别数字电路。
2018-06-21 cs.CV cs.NE nlin.CG
Passive frustrated nanomagnet reservoir computing
针对现有硬件储备池难以同时满足无源、极简等要求的问题，提出基于偶极耦合阻挫纳米磁体的无源储备池计算系统，搭配低功耗CMOS接口电路，经微磁模拟验证性能，资源消耗较CMOS ESN降低超千万倍，为资源受限场景提供高效方案。
2022-09-16 cs.ET cs.NE physics.app-ph
Towards Deep Physical Reservoir Computing Through Automatic Task Decomposition And Mapping
Ghent University（根特大学）；imec（比利时微电子研究中心）
光子储备池计算是高带宽低能耗计算的一个有前途的候选者。尽管最近取得了成功，但仅仅通过使光子库更大就可以实现的目标是有限的。因此，期望从单储备池计算切换到多储备池以及甚至深度物理储备池计算。鉴于反向传播不能直接用于训练多水库系统在我们的目标设置，我们提出了一种替代方法，仍然使用其权力，以获得中间目标。在这项工作中，我们报告了我们的研究结果进行的实验，以评估我们的方法的一般可行性，通过训练3回声状态网络的网络执行著名的NARMA-10任务，使用通过反向传播得到的目标。我们的研究结果表明，我们提出的方法是非常适合训练多水库系统的有效方式。
2019-10-25 cs.ET cs.LG cs.NE
Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks
本文以统一动力系统框架分析 ESN，证明衰减记忆、滤波器普适性与随机吸引子性质，并揭示容量、临界性及储备池设计规则。
2025-07-24 cs.NE nlin.CD
A Comparative Study of Reservoir Computing for Temporal Signal Processing
University of New Mexico（新墨西哥大学）；Portland State University（波特兰州立大学）
储备池计算（RC）是一种利用递归神经网络进行时间序列预测的新方法。在RC中，输入信号扰动称为储层的介质的内在动力学。然后训练读出层以从储层的状态重建目标输出。众多的RC架构和评估指标对研究RC任务解决性能和计算能力的实践者和理论家都提出了挑战。此外，与传统的计算模型相比，水库是一个动态系统，其中计算和存储是不可分割的，因此很难分析。在这里，我们比较回声状态网络（ESN），一个流行的RC架构，抽头延迟线（DL）和非线性自回归外源（NARX）网络，我们用有限的计算和有限的内存分别建模系统。我们比较了三个系统的性能，同时计算三个常见的基准时间序列：H{é}non Map，NARMA 10和NARMA 20。我们发现，水库的作用，在储备池计算范例超越了提供一个记忆的过去的输入。DL和NARX网络具有更高的记忆能力，但缺乏ESN的泛化能力。
2014-01-10 cs.LG cs.NE
On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification
TECNALIA（泰克纳利亚）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
从一开始，储备池计算范式下的学习技术就显示出对循环系统的强大建模能力，而不需要其他方法所需的计算开销。其中，不同风格的回声状态网络吸引了许多目光，主要是由于其学习算法的简单性和计算效率。然而，这些优势并不能弥补回声状态网络仍然是黑箱模型的事实，其决定不能很容易地向普通观众解释。这项工作通过对回声状态网络应用于具有时间序列，图像和视频数据的学习任务时进行可解释性研究来解决这个问题。具体而言，该研究提出了三种不同的技术，能够引出这些经常性的模型，即，潜在的记忆，时间模式和像素缺失效应所掌握的知识的可理解的信息。潜在记忆解决了与模型存储时间信息的能力中的储层大小的影响相关的问题，而时间模式揭示了模型随时间捕获的经常性关系。最后，像素缺失效应试图在回声状态网络模型用于图像和视频分类时评估给定像素缺失的效应。我们展示了我们提出的一套技术在三个不同的适用领域的好处：时间序列建模，图像，并首次在相关文献中，视频分类。我们的研究结果表明，所提出的技术不仅允许对这些模型的工作方式有一个明智的理解，而且还可以作为诊断工具，能够检测从数据中继承的问题（例如，存在隐藏的偏见）。
2021-02-17 cs.AI cs.CV cs.LG
Hardware-Friendly Implementation of Physical Reservoir Computing with CMOS-based Time-domain Analog Spiking Neurons
本文提出一种基于CMOS时域模拟脉冲神经元的物理储备池计算实现方案，利用双VCO神经元和4邻域连接构建规则SNN，并通过计数器读出电路简化硬件设计，在短期记忆、异或和口语数字识别任务中验证了其有效性与实用性。
2024-09-18 cs.AR cs.NE
Neural Echo State Network using oscillations of gas bubbles in water
Swinburne University of Technology（斯威本科技大学）
在物理储层计算（RC）的框架中，使用类似模拟计算机的非线性物理系统来执行为数字计算机设计的机器学习算法，所述非线性物理系统可以提供用于预测可以使用非线性微分方程找到的时间相关量的能量高效的计算能力。我们提出了一个基于气泡的RC（BRC）系统，该系统结合了水中振荡气泡簇的声学响应的非线性与标准回声状态网络（ESN）算法，该算法非常适合于预测混沌时间序列。我们确认的BRC系统的可扩展性，通过数值模拟证明其预测某些混沌时间序列的能力类似于或甚至更准确地比ESN。
2022-03-16 cs.ET cs.LG cs.NE
Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation
IKS Research Centre（IKS研究中心）；ISS（印度统计研究所）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
该研究提出受林德布拉德启发的多时间尺度储备池计算方法，通过分离旋转与耗散实现模态控制与稳定性保证，在多项时序任务基准测试中表现优异，为可解释循环架构提供了新方案。
2026-08-06 cs.AI cs.ET cs.LG
Deep Reservoir Computing Using Cellular Automata
递归神经网络（RNN）是人工智能中的一个重要概念。它们受到生物神经网络（BNN）的启发，并提供了BNN如何工作的直观和抽象表示。从更通用的人工神经网络（ANN）衍生而来，递归神经网络旨在用于时间任务，如语音识别，因为它们能够记忆历史输入。然而，由于这种网络的固有性质，训练非常耗时。最近，回声状态网络和液态状态机被提议作为可能的RNN替代方案，名称为储备池计算（RC）。驻地协调员更容易训练。在本文中，元胞自动机被用作水库，并在5位内存任务（一个众所周知的基准在RC社区）进行测试。本文的工作提供了一种方法，从任务到自动机的二进制输入映射，和一个经常性的架构，用于处理它的顺序方面。此外，分层（深）水库架构。性能进行比较，对早期的工作，除了其单层版本。结果表明，单CA水库系统产生类似的结果，国家的最先进的工作。与单一CA储层相比，由两个分层储层组成的系统确实显示出明显的改善。这表明了进一步研究的潜力，并提供了宝贵的见解，如何设计CA水库系统。
2017-03-08 cs.ET cs.NE
Using Connectome Features to Constrain Echo State Networks
The University of Western Ontario（西安大略大学）
我们报告了一个改进传统的回声状态网络（ESN）在三个基准混沌时间序列预测任务，单独使用果蝇连接体数据。我们还研究了关键连接体衍生的结构特征对预测性能的影响-独特地桥接神经生物学结构和机器学习功能;并发现增加全局平均聚类系数和修改权重的位置-通过排列它们的突触-突触伙伴-可以导致模型方差增加和（在某些情况下）性能下降。在所有我们认为四个拓扑点修改的connectome-derived ESN水库（空模型）：即，我们改变网络的稀疏性，重新绘制非零权重从一个均匀的分布，置换非零权重的位置，并增加网络的全球平均聚类系数。我们通过对Mackey-Glass 17（MG-17），Lorenz和Rossler混沌时间序列的大小变体进行时间序列预测实验，将四个ESN模型类和空模型与传统的ESN进行比较;表示每个模型的性能和训练验证试验的方差。
2023-02-10 cs.LG cs.NE
Reservoir Computing Universality With Stochastic Inputs
相对于$L ^p $型标准的三个重要的家庭与随机离散时间半无限输入的水库计算机的通用逼近性能。首先，证明了具有多项式或神经网络读出映射的线性油藏系统是通用的。更重要的是，证明了同样的性质适用于两个家庭的线性读出，即三角状态仿射系统和回声状态网络，这是最广泛使用的水库系统中的应用。读数中的线性是监督式机器学习应用中的关键特征。它保证了这些系统可以在高维情况下和存在大型数据集的情况下使用。本文中使用的$L ^p $标准允许制定的普遍性的结果，不一定强加几乎肯定的统一有界的输入或衰减的记忆属性的过滤器，需要近似。
2018-07-07 cs.ET cs.NE math.DS
