Integer Echo State Networks: Efficient Reservoir Computing for Digital Hardware
我们提出了一个近似的回声状态网络（ESN），可以有效地实现数字硬件的基础上的数学多维计算。所提出的整数回声状态网络（intESN）的库是仅包含n位整数的向量（其中n<8通常足以获得令人满意的性能）。递归矩阵乘法被替换为一个有效的循环移位操作。所提出的intESN的方法进行了验证，在储备池计算的典型任务：记忆的输入序列，分类时间序列，学习动态过程。这样的体系结构在内存占用和计算效率方面有了显著的改进，同时性能损失最小。现场可编程门阵列上的实验证实，所提出的intESN方法是更有效的能源比传统的ESN。
2020-10-09 cs.NE
Bidirectional deep-readout echo state networks
我们提出了一个多变量时间序列分类的深层架构。通过一个经常性的和未经训练的水库，我们生成一个矢量表示，嵌入在数据的时间关系。为了提高记忆能力，我们实现了一个双向水库，其最后一个状态也捕捉过去的依赖关系的输入。我们将降维应用于最终的水库状态，以获得压缩的固定大小的时间序列表示。这些数据随后被送入一个经过训练的深度前馈网络，以执行最终的分类。我们在基准数据集和血液样本分类的真实用例上测试了我们的架构。结果表明，我们的方法比标准回声状态网络表现得更好，同时达到了与经过充分训练的循环网络相当的结果，但训练速度更快。
2018-02-13 cs.NE
A characterization of the Edge of Criticality in Binary Echo State Networks
回声状态网络（ESN）是一种简化的递归神经网络模型，由一个库和一个线性的、可训练的读出层组成。水库是可调的一些超参数，控制网络的行为。已知ESN在被配置在称为\emph{Edge of Criticality}（EoC）的（超）参数空间中的区域上时在解决任务方面是有效的，其中系统对扰动最敏感，从而影响其行为。在本文中，我们提出了二进制ESN，这是架构上等同于标准ESN，但考虑二进制激活函数和二进制经常性的权重。对于这些网络，我们推导出一个封闭形式的表达EoC在自治的情况下，并进行模拟，以评估其行为的情况下，嘈杂的神经元和存在的信号。我们提出了一个理论解释的事实，即方差的输入起着重要的作用，在表征的EoC。
2018-10-03 cs.NE
Orthogonal Echo State Networks and stochastic evaluations of likelihoods
我们报告的概率似然估计的时间序列使用回声状态网络与正交经常性连接。使用具有时间推断的合成随机输入时间序列的测试结果表明，网络的推断能力取决于输入强度和经常性活动之间的平衡。这种平衡对网络的影响是关于短期输入历史的推断与解释长期影响的推断的质量。这种网络对噪声的敏感性和有限精度的网络状态的递归层进行了研究。此外，还提出了一种基于输出时间序列与水库之间互信息的测度。最后，不同类型的经常性连接进行评估。正交矩阵显示了所有研究的连接类型的最佳结果，但也显示了网络性能如何随递归层的大小而扩展。
2017-06-13 cs.NE
An Experimental Analysis of the Echo State Network Initialization Using the Particle Swarm Optimization
本文介绍了一种鲁棒的混合方法来解决监督学习任务，它使用回声状态网络（ESN）模型和粒子群优化（PSO）算法。ESN是一种递归神经网络，其隐-隐权重在学习过程中是固定的。网络的递归部分将输入信息存储在网络的内部状态中。另一种结构形成了自由记忆方法，用作监督学习工具。初始化ESN模型的递归结构的设置过程会影响模型性能。另一方面，PSO已被证明是一种成功的技术，在复杂的空间中找到最佳点。在这里，我们提出了一种方法来使用粒子群算法找到一些初始的ESN模型的隐-隐权重。我们提出的实证结果，比较规范ESN模型与这种混合方法在广泛的基准问题。
2015-01-02 cs.NE
Effect of shapes of activation functions on predictability in the echo state network
University of Tsukuba（筑波大学）；Hokkaido University（北海道大学）
研究了Echo状态网络在几种激活函数下的时间序列预测精度。结果发现，与传统的S形函数相比，具有适当非线性的某些类型的激活函数表现出高性能。
2019-05-22 cs.LG cs.NE
Analyzing Echo-state Networks Using Fractal Dimension
这项工作加入了水库优化，信息理论的最佳编码，并在其中心分形分析方面。我们建立在观察，由于递归神经网络的递归性质，输入序列出现在其隐藏状态表示的分形图案。这些图案的分形维数低于储层中的单元数。我们展示了这种分形维数在优化递归神经网络初始化方面的潜在用途。我们连接的想法“理想”水库无损最佳编码使用算术编码器。我们的研究表明，从输入到隐藏状态的映射的分形维数应接近网络中的单元数。分形维数和网络连通性之间的这种联系是递归神经网络初始化和储备池计算的一个有趣的新方向。
2022-05-26 cs.NE
Hyperparameter Tuning in Echo State Networks
回声状态网络表示一种类型的递归神经网络，其具有大的随机生成的库和通过线性回归训练的少量读出连接。水库最常见的拓扑结构是一个由数千个神经元组成的完全连接的网络。多年来，研究人员已经引入了各种替代的水库拓扑结构，如圆形网络或线性连接路径。当比较不同拓扑的性能或其他架构变化时，有必要分别调整每个拓扑的超参数，因为它们的属性可能会有很大的不同。超参数调整通常通过从预定义组合的稀疏网格中选择性能最佳的参数集来手动执行。不幸的是，这种方法可能会导致性能不佳的配置，特别是对于敏感的拓扑。提出了一种基于协方差矩阵自适应演化策略的超参数整定方法。使用这种方法，我们已经改善了多个拓扑结构的比较结果的数量级表明，拓扑结构本身并没有发挥重要的作用，适当调整超参数。
2022-07-16 cs.NE
Using Echo State Networks for Cryptography
回声状态网络是简单的递归神经网络，易于实现和训练。尽管它们很简单，但它们显示了一种记忆形式，可以预测或重新生成数据序列。我们利用这一特性实现了一个新的神经密码方案。关键思想是假设Alice和Bob共享一个回声状态网络的副本。如果爱丽丝训练她的副本记住一条消息，她可以将网络的训练部分传递给鲍勃，鲍勃将其插入他的副本以重新生成消息。考虑到输入和输出的字节级表示，该技术适用于任意类型的数据（文本，图像，音频文件等）。实际实验表明，它满足扩散和混淆的基本密码特性。
2017-04-04 cs.CR cs.NE
Exploring Transfer Function Nonlinearity in Echo State Networks
超线性和次线性突触前和树突整合被认为是生物神经元的非线性计算能力的原因，强调非线性整合的作用，而不是非线性输出阈值。传递函数的非线性如何、为什么以及在多大程度上有助于生物启发的神经网络模型还没有完全理解。在这里，我们研究这些问题的回声状态网络（ESN）的上下文中。ESN是一种简单的神经网络架构，其中固定的递归网络由输入信号驱动，并且输出由读出层从网络状态的测量生成。ESN结构在某些信号处理任务上具有高效的训练和良好的性能，例如系统辨识和时间序列预测。ESN的性能进行了分析，在网络结构和输入偏置的连接模式。然而，在网络中的传递函数的影响还没有得到系统的研究。在这里，我们使用的方法tanh的泰勒展开的一个常用的传递函数，双曲正切函数，系统地研究增加非线性的传递函数的记忆，非线性容量和信号处理性能的ESN的效果。有趣的是，我们发现二次近似足以捕获ESN与tanh函数的计算能力。本研究的结果适用于ESN的软件和硬件实现。
2015-04-26 cs.NE
Echo state networks are universal
Centre National de la Recherche Scientifique (CNRS)（法国国家科学研究中心）
本文表明，回声状态网络的背景下，离散时间衰减记忆滤波器的一致有界输入定义在负无限次的普遍一致逼近。这一结果保证了任何离散时间的衰减记忆输入/输出系统都可以实现为一个简单的有限维神经网络型状态空间模型和一个静态线性读出映射。这种近似对无限时间间隔有效。这一说法的证明是基于基本的结果，也提出了在这项工作中，有关的拓扑性质的衰减记忆属性和有关储备池计算系统所产生的连续水库地图。
2018-08-26 cs.AI cs.NE
The Asymptotic Performance of Linear Echo State Neural Networks
ENS Paris（巴黎高等师范学校）；ENS Lyon（里昂高等师范学校）
在这篇文章中，均方误差（MSE）的线性回声状态神经网络的性能进行了研究，无论是训练和测试任务。考虑到网络节点处存在的噪声的现实设置，我们推导出上述MSE在输入数据$T$的数量和网络大小$n$都变大的限制下的确定性等价物。然后将网络连接矩阵专门化到特定的随机设置，我们进一步获得了简单的公式，为此类网络的性能提供了新的见解。
2016-03-25 cs.LG cs.NE math.PR
Empirical Investigation into Configuring Echo State Networks for Representative Benchmark Problem Domains
The University of Toledo（托莱多大学）
本文通过四个基准问题实证考察了Echo State Network的性能，提出了配置架构与参数选择的启发式经验法则，以填补初学者经验空白并指导成功构建。
2025-08-14 cs.AI cs.LG cs.NE
Classification via Tensor Decompositions of Echo State Networks
Air Force Research Laboratory Information Directorate（空军研究实验室信息局）
这项工作介绍了一种基于张量的方法进行监督分类的时空数据处理的回声状态网络。通常，当对在回声状态网络中处理的数据执行监督分类任务时，来自训练数据集的隐藏层节点状态的整个集合被成形为矩阵，从而允许使用标准线性代数技术来训练输出层。然而，隐藏层状态的集合本质上是多维的，并且将其表示为矩阵可能导致不期望的数值条件或数据中的空间和时间相关性的损失。这项工作提出了一种基于张量的监督分类方法的回声状态网络数据，保留和利用隐藏层状态的多维性质。该方法，这是基于正交Tucker分解的张量，与标准的线性输出权重的方法进行了比较，在几个数值实验的合成和自然数据。结果表明，基于张量的方法往往优于标准方法的分类精度。
2017-08-23 cs.LG cs.NE stat.ML
Universality and approximation bounds for echo state networks with random weights
Huawei Technologies Co., Ltd.（华为技术有限公司）；City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了具有随机内部权重的回声状态网络的均匀逼近问题，提出了一种替代构造，证明了一般激活函数下的普适性，并针对 ReLU 激活函数给出了显式采样过程构造及逼近误差量化。
2023-12-04 cs.LG cs.NA cs.NE
Training Echo State Networks with Regularization through Dimensionality Reduction
University of Tromsø - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）
在本文中，我们介绍了一个新的框架训练回声状态网络预测实值时间序列。该方法包括在训练输出层学习目标任务之前，将网络内部层的输出投影到具有较低维度的空间上。值得注意的是，我们强制执行正则化约束，从而获得更好的泛化能力。我们评估我们的方法在几个基准测试的性能，使用不同的技术训练读出的网络，实现卓越的预测性能时，使用所提出的框架。最后，我们提供了一个洞察力的有效性，通过可视化的相空间中的轨迹，并依赖于非线性时间序列分析的方法。通过将我们的方法应用于众所周知的混沌系统，我们提供的证据表明，低维嵌入保留了底层系统的动力学特性比全维内部状态的网络。
2016-08-16 cs.LG cs.NE
Analysis of Wide and Deep Echo State Networks for Multiscale Spatiotemporal Time Series Forecasting
Rochester Institute of Technology（罗切斯特理工学院）
回声状态网络是一种计算量小的水库模型，其灵感来自于在皮层电路中观察到的随机投射。随着对水库计算的兴趣的增长，网络变得更深更复杂。虽然这些网络越来越多地应用于非平凡的预测任务，有必要进行综合性能分析的深层水库。在这项工作中，我们研究了给定预算的分区神经元的影响，以及在不同数据集上表现出多尺度和非线性动力学的并行水库路径的影响。
2019-07-01 cs.LG cs.NE eess.SP
Reservoir Topology in Deep Echo State Networks
University of Pisa（比萨大学）
深度回声状态网络（DeepESN）最近将储备池计算（RC）方法的适用性扩展到深度学习领域。在本文中，我们研究的影响，约束水库的拓扑结构的建筑设计深水库，通过数值实验几个RC基准。我们的调查的主要结果是显示显着的效果，在预测性能增益方面，实现了深层水库建设和结构化组织的经常性单位在每一层之间的协同作用。我们的研究结果还表明，一个特别有利的架构设置中获得的DeepESN的储层单元的结构根据置换递归矩阵。
2019-09-24 cs.LG cs.NE stat.ML
Introducing Echo Networks for Computational Neuroevolution
Fraunhofer Institute for Integrated Circuits, IIS（弗劳恩霍夫集成电路研究所）
本文提出回声网络，一种仅含连接矩阵的递归网络，用于在边缘计算中高效处理离散时间信号的事件检测与分类，其基因表示为单矩阵，支持矩阵运算作为突变和重组操作。
2026-04-09 cs.LG cs.NE
Using Connectome Features to Constrain Echo State Networks
The University of Western Ontario（西安大略大学）
我们报告了一个改进传统的回声状态网络（ESN）在三个基准混沌时间序列预测任务，单独使用果蝇连接体数据。我们还研究了关键连接体衍生的结构特征对预测性能的影响-独特地桥接神经生物学结构和机器学习功能;并发现增加全局平均聚类系数和修改权重的位置-通过排列它们的突触-突触伙伴-可以导致模型方差增加和（在某些情况下）性能下降。在所有我们认为四个拓扑点修改的connectome-derived ESN水库（空模型）：即，我们改变网络的稀疏性，重新绘制非零权重从一个均匀的分布，置换非零权重的位置，并增加网络的全球平均聚类系数。我们通过对Mackey-Glass 17（MG-17），Lorenz和Rossler混沌时间序列的大小变体进行时间序列预测实验，将四个ESN模型类和空模型与传统的ESN进行比较;表示每个模型的性能和训练验证试验的方差。
2023-02-10 cs.LG cs.NE
Echo State Neural Machine Translation
Google Research（谷歌研究（Google Research））
我们提出了受回声状态网络（ESN）启发的神经机器翻译（NMT）模型，称为回声状态NMT（ESNMT），其中编码器和解码器层权重随机生成，然后在整个训练过程中固定。我们表明，即使使用这种非常简单的模型构建和训练过程，ESNMT也可以达到70-80%的完全可训练基线质量。我们研究如何光谱半径的水库，一个关键的数量，表征模型，确定模型的行为。我们的研究结果表明，随机网络甚至可以很好地用于复杂的序列到序列预测NLP任务。
2020-02-27 cs.CL cs.LG cs.NE
Richness of Deep Echo State Network Dynamics
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
储备池计算（RC）是一种有效设计递归神经网络（RNN）的流行方法。最近，随着深度回声状态网络（DeepESN）模型的引入，RC方法的优势已经扩展到多层RNN的背景下。在本文中，我们使用信息论和数值分析领域的工具，研究了DeepESN逐步更高层的状态动力学质量。我们在RC基准数据集上的实验结果揭示了储层间连接的强度在日益丰富高层开发的表示中所发挥的基本作用。我们的分析还提供了有趣的见解，有效利用的训练算法的基础上，在RC领域的随机梯度下降的可能性。
2019-09-24 cs.AI cs.LG cs.NE
Generating Oscillation Activity with Echo State Network to Mimic the Behavior of a Simple Central Pattern Generator
Kyushu University（九州大学）；The University of Tokyo（东京大学）
本文提出用改进的回声状态网络模拟简单中枢模式生成器，通过调整泄漏率等参数生成振荡活动，无需输入即可产生所需波形，为机器人仿生控制器开发提供新方案。
2023-06-19 cs.AI cs.NE
Cluster-based Input Weight Initialization for Echo State Networks
Technische Universität Dresden（德累斯顿工业大学）；Ghent University（根特大学）；Princeton University（普林斯顿大学）
回声状态网络（ESN）是一种特殊类型的递归神经网络（RNN），其中输入和递归连接传统上是随机生成的，并且只训练输出权重。尽管最近成功的ESN在各种任务的音频，图像和雷达识别，我们假设，一个纯粹的随机初始化是不是理想的方式初始化ESN。这项工作的目的是提出一个无监督的初始化的输入连接使用的$K$ -均值算法的训练数据。我们表明，对于各种各样的数据集，这种初始化执行相当于或优于随机初始化的ESN，同时需要显着减少水库神经元。此外，我们讨论了这种方法提供了一个机会，估计一个合适的大小的水库的基础上先验知识的数据。
2022-01-20 cs.AI cs.LG cs.NE
An Empirical Study of the L2-Boost technique with Echo State Networks
VSB-Technical University of Ostrava（俄斯特拉发技术大学）
递归神经网络（RNN）的一个特殊情况是在21世纪初以回声状态网络（ESN）的名义引入的。ESN模型克服了RNN训练过程中的局限性，同时没有引入显著的缺点。虽然该模型提出了一些明确的缺点时，参数没有很好地初始化。ESN的性能高度依赖于其内部参数和隐-隐权重的连接模式。通常，网络参数的调整可能很难，并且可能影响模型的准确性。在这项工作中，我们研究了一种特定的增强技术（称为L2-Boost）的性能与ESN作为单一的预测。L2-Boost技术已被证明是在回归问题中组合“弱”预测器的有效工具。在这项研究中，我们使用一个合奏的随机初始化ESN（不控制其参数）作为“弱”预测的提升过程。我们评估我们的方法上五个众所周知的时间序列基准问题。此外，我们比较这种技术与基线方法，包括平均预测的合奏ESN。
2015-01-02 cs.LG cs.NE
Imposing Connectome-Derived Topology on an Echo State Network
The University of Western Ontario（西安大略大学）
connectome-derived约束可以通知计算吗？在本文中，我们研究了果蝇连接体的拓扑结构对回声状态网络（ESN）性能的贡献-储备池计算的一个子集，这是混沌时间序列预测的最新技术。具体来说，我们取代水库层的经典ESN-通常是一个固定的，随机图表示为一个2-D矩阵-与一个特定的（女性）果蝇connectome-derived连接矩阵。我们将这类实验模型（具有连接体衍生的储库）称为"果蝇ESN"（FFESN）。我们训练和验证的FFESN的混沌时间序列预测任务，在这里，我们考虑四组试验不同的训练输入大小（小，大）和训练验证分裂（两个变种）。我们将所有最佳FFESN模型的验证性能（均方误差）与一类控制模型ESN（简称为“ESN”）进行比较。总的来说，对于所有四组试验，我们发现FFESN要么显著优于ESN（并且具有更低的方差）;要么只是具有比ESN更低的方差。
2022-01-23 cs.LG cs.NE
Neural Echo State Network using oscillations of gas bubbles in water
Swinburne University of Technology（斯威本科技大学）
在物理储层计算（RC）的框架中，使用类似模拟计算机的非线性物理系统来执行为数字计算机设计的机器学习算法，所述非线性物理系统可以提供用于预测可以使用非线性微分方程找到的时间相关量的能量高效的计算能力。我们提出了一个基于气泡的RC（BRC）系统，该系统结合了水中振荡气泡簇的声学响应的非线性与标准回声状态网络（ESN）算法，该算法非常适合于预测混沌时间序列。我们确认的BRC系统的可扩展性，通过数值模拟证明其预测某些混沌时间序列的能力类似于或甚至更准确地比ESN。
2022-03-16 cs.ET cs.LG cs.NE
Echo State Networks for Bitcoin Time Series Prediction
DFKI, Saarland Informatics Campus, Germany（德国达姆施塔特研究所，萨尔兰信息技术校园）；Politecnico di Milano, Italy（意大利米兰理工学院）；University of Stirling, UK（英国斯特林大学）；National Institute of Informatics, Japan（日本信息学研究院）
本研究首次将回声状态网络应用于比特币价格预测，在极端波动下通过李雅普诺夫指数分析验证其鲁棒性，并显著优于现有机器学习方法。
2025-08-07 cs.CE cs.LG cs.NE
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes（法国国家信息与自动化研究所雷恩分所）
在过去的十年中，在机器学习领域中引入了一种新的计算范例，称为储备池计算（RC）。RC模型是一种神经网络，其中一个不参与学习过程的递归部分（水库）和系统的其余部分没有递归（没有神经回路）发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络，随机神经网络（RandNN）也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中，我们提出了一个新的RC模型称为回声状态映射网络（ESQN），我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成，其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域，并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具，并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
Determination of the edge of criticality in echo state networks through Fisher information maximization
Politecnico di Milano（米兰理工大学）；Università della Svizzera Italiana（瑞士意大利大学）；University of Tromsø, the Arctic University of Norway（特罗姆瑟大学（挪威北极大学））
递归神经网络的计算能力在所谓的“临界边缘”上最大化是一个被广泛接受的事实。一旦网络在这种配置下运行，它在特定应用中有效地执行（i）低预测误差和（ii）高短期记忆容量。由于递归网络的行为受到驱动动态的特定输入信号的强烈影响，因此仍然缺少用于确定临界边缘的通用的、独立于应用的方法。在本文中，我们的目的是解决这个问题，提出了一个理论上的动机，无监督的方法，基于Fisher信息确定边缘的临界递归神经网络。它被证明是最大化的Fisher信息（有限大小）系统在这样的关键区域。然而，Fisher信息是出了名的难以计算，要么需要概率密度函数或系统状态相对于模型参数的条件依赖性。本文利用最近发展的Fisher信息矩阵的非参数估计，并提供了一种方法来确定回声状态网络的临界区域，一类特殊的递归网络。所考虑的控制参数，间接影响的回声状态网络的性能，探索识别那些配置躺在临界的边缘，因此，最大限度地提高费舍尔信息和计算性能。基准测试和真实数据上的实验结果表明了该方法的有效性。
2016-09-02 cs.LG cs.NE physics.data-an
Adaptive Anomaly Detection in Chaotic Time Series with a Spatially Aware Echo State Network
Artificial Intelligence Center（人工智能中心）；Czech Technical University（捷克技术大学）；Niels Bohr Institute（尼尔斯·玻尔研究所）；University of Copenhagen（哥本哈根大学）
这项工作建立了一个自动异常检测方法的混沌时间序列，更具体地说，湍流，高维，海洋模拟。我们通过空间感知输入映射（如卷积、梯度、余弦变换等）以及空间感知损失函数扩展回声状态网络来解决此任务。空间ESN用于创建预测，其将检测问题减少到预测误差的阈值化。我们基准我们的检测框架上的不同任务的难度越来越大，以显示框架的一般性，然后将其应用到原始的气候模型输出在该地区的日本洋流黑潮，表现出双峰，不容易被肉眼检测到。该代码作为开源Python包Torsk提供，可在https：//github.com/nmheim/torsk上获得，在那里我们还提供了补充材料和程序，重现了本文中显示的结果。
2019-09-02 cs.LG cs.NE stat.ML
Deep Echo State Networks for Short-Term Traffic Forecasting: Performance Comparison and Statistical Assessment
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；National Technical University of Athens (NTUA)（雅典国立技术大学（NTUA））
在短期交通预测中，目标是准确地预测在查询预测之后不久发生的感兴趣的交通参数的未来值。在这一长期研究领域中报道的活动最近被不同的深度学习方法所主导，产生了过于复杂的预测模型，这些模型通常可以实现实际效用可疑的准确性增益。在这项工作中，我们详细介绍了深度回声状态网络在这一特定任务中的性能。这些替代建模方法的有效学习算法和更简单的参数配置使它们成为具有竞争力的交通预测方法，用于部署在具有严格有限的计算资源的设备和系统中的实际ITS应用。一个广泛的比较基准是利用在马德里（西班牙）捕获的真实交通数据设计的，共有130多个自动交通阅读器（ATR）和几个浅层学习，集成和深度学习模型。该比较基准的结果以及对报告的性能差距的统计显著性的分析具有决定性意义：Deep Echo State Networks比其他考虑的建模同行实现了更准确的流量预测。
2020-04-17 cs.ET cs.LG cs.NE
Echo State Networks with Self-Normalizing Activations on the Hyper-Sphere
Università della Svizzera Italiana（瑞士意大利语区大学）；Politecnico di Milano（米兰理工大学）；University of Manitoba（曼尼托巴大学）；University of Exeter（埃克塞特大学）
在递归神经网络的各种体系结构中，回声状态网络（ESN）由于其简化和廉价的训练过程而出现。众所周知，这些网络对超参数的设置非常敏感，这严重影响了它们的行为。结果表明，它们的性能通常是最大化的超参数空间的一个狭窄的区域称为混沌边缘。找到这样一个区域需要以合理的方式在超参数空间中进行搜索：在这样一个区域之外的超参数配置可能会产生表现出充分发展的混沌的网络，从而产生不可靠的计算。由于优化超参数的性能增益可以通过考虑存储器-非线性折衷来研究，即，增加网络的非线性行为会降低其记忆过去输入的能力，反之亦然。在本文中，我们提出了一种ESN模型，消除了对超参数的临界依赖，导致网络可证明不能进入混沌状态，同时，表示相空间中的非线性行为，其特征在于对过去输入的大量记忆，可与线性网络相媲美。我们的贡献是支持实验证实我们的理论研究结果，表明所提出的模型显示动态是丰富的，足以近似许多常见的非线性系统用于基准。
2019-09-06 cs.LG cs.NE nlin.CD
On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification
TECNALIA（泰克纳利亚）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
从一开始，储备池计算范式下的学习技术就显示出对循环系统的强大建模能力，而不需要其他方法所需的计算开销。其中，不同风格的回声状态网络吸引了许多目光，主要是由于其学习算法的简单性和计算效率。然而，这些优势并不能弥补回声状态网络仍然是黑箱模型的事实，其决定不能很容易地向普通观众解释。这项工作通过对回声状态网络应用于具有时间序列，图像和视频数据的学习任务时进行可解释性研究来解决这个问题。具体而言，该研究提出了三种不同的技术，能够引出这些经常性的模型，即，潜在的记忆，时间模式和像素缺失效应所掌握的知识的可理解的信息。潜在记忆解决了与模型存储时间信息的能力中的储层大小的影响相关的问题，而时间模式揭示了模型随时间捕获的经常性关系。最后，像素缺失效应试图在回声状态网络模型用于图像和视频分类时评估给定像素缺失的效应。我们展示了我们提出的一套技术在三个不同的适用领域的好处：时间序列建模，图像，并首次在相关文献中，视频分类。我们的研究结果表明，所提出的技术不仅允许对这些模型的工作方式有一个明智的理解，而且还可以作为诊断工具，能够检测从数据中继承的问题（例如，存在隐藏的偏见）。
2021-02-17 cs.AI cs.CV cs.LG
Physics-Informed Echo State Networks for Chaotic Systems Forecasting
Technical University of Munich（慕尼黑工业大学）；Institute for Advanced Study, Technical University of Munich（慕尼黑工业大学高等研究院）；University of Cambridge（剑桥大学）
提出了一种基于物理信息的回声状态网络（ESN）来预测混沌系统的演化。与传统的ESN相比，基于物理的ESN被训练来解决监督学习任务，同时确保它们的预测不违反物理定律。这是通过在ESN的训练期间引入额外的损失函数来实现的，该损失函数在不需要任何额外训练数据的情况下惩罚非物理预测。这种方法被证明在一个混沌洛伦兹系统，其中的物理信息ESN提高了约两个李雅普诺夫时间相比，传统的ESN的可预测性地平线。所提出的框架显示了使用机器学习结合先验物理知识来提高混沌动力系统的时间精确预测的潜力。
2019-04-09 cs.ET cs.LG cs.NE
