Echo State Networks for Bitcoin Time Series Prediction
DFKI, Saarland Informatics Campus, Germany（德国达姆施塔特研究所，萨尔兰信息技术校园）；Politecnico di Milano, Italy（意大利米兰理工学院）；University of Stirling, UK（英国斯特林大学）；National Institute of Informatics, Japan（日本信息学研究院）
本研究首次将回声状态网络应用于比特币价格预测，在极端波动下通过李雅普诺夫指数分析验证其鲁棒性，并显著优于现有机器学习方法。
2025-08-07 cs.CE cs.LG cs.NE
Using Connectome Features to Constrain Echo State Networks
The University of Western Ontario（西安大略大学）
我们报告了一个改进传统的回声状态网络（ESN）在三个基准混沌时间序列预测任务，单独使用果蝇连接体数据。我们还研究了关键连接体衍生的结构特征对预测性能的影响-独特地桥接神经生物学结构和机器学习功能;并发现增加全局平均聚类系数和修改权重的位置-通过排列它们的突触-突触伙伴-可以导致模型方差增加和（在某些情况下）性能下降。在所有我们认为四个拓扑点修改的connectome-derived ESN水库（空模型）：即，我们改变网络的稀疏性，重新绘制非零权重从一个均匀的分布，置换非零权重的位置，并增加网络的全球平均聚类系数。我们通过对Mackey-Glass 17（MG-17），Lorenz和Rossler混沌时间序列的大小变体进行时间序列预测实验，将四个ESN模型类和空模型与传统的ESN进行比较;表示每个模型的性能和训练验证试验的方差。
2023-02-10 cs.LG cs.NE
Mod-DeepESN: Modular Deep Echo State Network
Rochester Institute of Technology（罗切斯特理工学院）
神经启发的递归神经网络算法，例如回声状态网络，在计算上是轻量级的，从而很好地映射到未绑定的设备上。基线回声状态网络算法被证明是有效的，在解决小规模的时空问题。然而，它们在以多尺度结构为特征的复杂任务中表现不佳。在这项研究中，提出了一种内在的注入可塑性的模块化深度回声状态网络架构，以解决复杂和多时间尺度的时间任务。它在时间序列预测任务方面优于最先进的技术。
2019-03-25 cs.LG stat.ML
On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification
TECNALIA（泰克纳利亚）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
从一开始，储备池计算范式下的学习技术就显示出对循环系统的强大建模能力，而不需要其他方法所需的计算开销。其中，不同风格的回声状态网络吸引了许多目光，主要是由于其学习算法的简单性和计算效率。然而，这些优势并不能弥补回声状态网络仍然是黑箱模型的事实，其决定不能很容易地向普通观众解释。这项工作通过对回声状态网络应用于具有时间序列，图像和视频数据的学习任务时进行可解释性研究来解决这个问题。具体而言，该研究提出了三种不同的技术，能够引出这些经常性的模型，即，潜在的记忆，时间模式和像素缺失效应所掌握的知识的可理解的信息。潜在记忆解决了与模型存储时间信息的能力中的储层大小的影响相关的问题，而时间模式揭示了模型随时间捕获的经常性关系。最后，像素缺失效应试图在回声状态网络模型用于图像和视频分类时评估给定像素缺失的效应。我们展示了我们提出的一套技术在三个不同的适用领域的好处：时间序列建模，图像，并首次在相关文献中，视频分类。我们的研究结果表明，所提出的技术不仅允许对这些模型的工作方式有一个明智的理解，而且还可以作为诊断工具，能够检测从数据中继承的问题（例如，存在隐藏的偏见）。
2021-02-17 cs.AI cs.CV cs.LG
Empirical Investigation into Configuring Echo State Networks for Representative Benchmark Problem Domains
The University of Toledo（托莱多大学）
本文通过四个基准问题实证考察了Echo State Network的性能，提出了配置架构与参数选择的启发式经验法则，以填补初学者经验空白并指导成功构建。
2025-08-14 cs.AI cs.LG cs.NE
TE-ESN: Time Encoding Echo State Network for Prediction Based on Irregularly Sampled Time Series Data
Peking University（北京大学）；National Institute of Health Data Science, Peking University（北京大学健康数据科学研究所）；Institute of Medical Technology, Health Science Center of Peking University（北京大学医学部医学技术研究院）
基于不规则采样时间序列（ISTS）的预测在实际应用中受到广泛关注。为了更准确地预测，方法最好掌握更多的数据特征。与一般时间序列不同，ISTS具有序列内时间间隔不规则、序列间采样率不同的特点。然而，现有的方法有次优的预测，由于人为地引入新的依赖关系的时间序列和有偏见的学习时间序列之间的关系建模时，这两个特征。在这项工作中，我们提出了一种新的时间编码（TE）机制。TE可以将时间信息作为时间向量嵌入到复域中。它在不同的采样率下具有绝对距离和相对距离的性质，这有助于表示ISTS的两种不规则性。同时，我们创建了一个新的模型结构命名为时间编码回声状态网络（TE-ESN）。它是第一个可以处理ISTS数据的基于ESN的模型。此外，TE-ESN还可以结合长短期记忆和序列融合来把握横向和纵向关系。在一个混沌系统和三个真实数据集上的实验表明，TE-ESN的性能优于所有基线，具有更好的水库性质。
2021-05-02 cs.AI cs.LG
Training Echo State Networks with Regularization through Dimensionality Reduction
University of Tromsø - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）
在本文中，我们介绍了一个新的框架训练回声状态网络预测实值时间序列。该方法包括在训练输出层学习目标任务之前，将网络内部层的输出投影到具有较低维度的空间上。值得注意的是，我们强制执行正则化约束，从而获得更好的泛化能力。我们评估我们的方法在几个基准测试的性能，使用不同的技术训练读出的网络，实现卓越的预测性能时，使用所提出的框架。最后，我们提供了一个洞察力的有效性，通过可视化的相空间中的轨迹，并依赖于非线性时间序列分析的方法。通过将我们的方法应用于众所周知的混沌系统，我们提供的证据表明，低维嵌入保留了底层系统的动力学特性比全维内部状态的网络。
2016-08-16 cs.LG cs.NE
Neural Echo State Network using oscillations of gas bubbles in water
Swinburne University of Technology（斯威本科技大学）
在物理储层计算（RC）的框架中，使用类似模拟计算机的非线性物理系统来执行为数字计算机设计的机器学习算法，所述非线性物理系统可以提供用于预测可以使用非线性微分方程找到的时间相关量的能量高效的计算能力。我们提出了一个基于气泡的RC（BRC）系统，该系统结合了水中振荡气泡簇的声学响应的非线性与标准回声状态网络（ESN）算法，该算法非常适合于预测混沌时间序列。我们确认的BRC系统的可扩展性，通过数值模拟证明其预测某些混沌时间序列的能力类似于或甚至更准确地比ESN。
2022-03-16 cs.ET cs.LG cs.NE
Imposing Connectome-Derived Topology on an Echo State Network
The University of Western Ontario（西安大略大学）
connectome-derived约束可以通知计算吗？在本文中，我们研究了果蝇连接体的拓扑结构对回声状态网络（ESN）性能的贡献-储备池计算的一个子集，这是混沌时间序列预测的最新技术。具体来说，我们取代水库层的经典ESN-通常是一个固定的，随机图表示为一个2-D矩阵-与一个特定的（女性）果蝇connectome-derived连接矩阵。我们将这类实验模型（具有连接体衍生的储库）称为"果蝇ESN"（FFESN）。我们训练和验证的FFESN的混沌时间序列预测任务，在这里，我们考虑四组试验不同的训练输入大小（小，大）和训练验证分裂（两个变种）。我们将所有最佳FFESN模型的验证性能（均方误差）与一类控制模型ESN（简称为“ESN”）进行比较。总的来说，对于所有四组试验，我们发现FFESN要么显著优于ESN（并且具有更低的方差）;要么只是具有比ESN更低的方差。
2022-01-23 cs.LG cs.NE
Centrality-Based Pruning for Efficient Echo State Networks
Independent Researcher（独立研究者）
本文提出基于图中心性的剪枝方法，通过将回声状态网络视为加权有向图，去除结构上不重要的节点，从而减少计算开销并提升预测效率。
2026-03-21 cs.AI cs.LG math.OC
Robust Optimization and Validation of Echo State Networks for learning chaotic dynamics
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）；Technical University of Munich（慕尼黑工业大学）
混沌解的时间精确预测的一种方法是从数据中学习时间模式。回声状态网络（ESN）是一类储备池计算方法，它可以准确地预测混沌动力学，其预测时间远远超过可预测时间。然而，现有的研究也表明，超参数的微小变化可能会显着影响网络的性能。本文的目的是评估和提高回声状态网络的鲁棒性的混沌解的时间精确预测。目标有三个方面。首先，我们研究了常规使用的验证策略的鲁棒性。其次，我们提出了循环验证，以及现有验证策略的混沌版本，以专门解决混沌系统的预测。第三，我们比较了贝叶斯优化和传统的网格搜索的最优超参数选择。对两个既有混沌解又有拟周期解的典型非线性系统进行了数值试验。无模型和模型通知回声状态网络进行了分析。通过比较网络在学习混沌与准周期解时的鲁棒性，我们强调了学习混沌解的基本挑战。所提出的验证策略，这是基于混沌时间序列的动力系统特性，表现出优于国家的最先进的验证策略。由于这些策略是基于混沌理论（如李雅普诺夫时间）的，因此它们可以应用于其他递归神经网络架构，只需稍加修改。这项工作开辟了新的可能性，强大的设计和应用回声状态网络，递归神经网络，混沌系统的时间精确预测。
2021-03-15 cs.LG
Echo State Networks for Time Series Forecasting: Hyperparameter Sweep and Benchmarking
Justus-Liebig-University Giessen（吉斯塔-利比希大学吉essen）
本文研究回声状态网络（ESN）在M4竞赛数据集上的单变量预测性能，通过超参数扫描和基准测试，发现简单的一阶自回归ESN在月度数据上与ARIMA和TBATS相当，在季度数据上取得最低平均MASE。
2026-09-09 cs.LG
Learning unidirectional coupling using echo-state network
Central University of Rajasthan（拉贾斯坦中央大学）
本文利用回声状态网络仅从少量时间序列数据学习单向耦合，训练后能对任意驱动信号预测响应系统动力学，且更换驱动系统后仍可重现响应系统行为。
2023-03-23 cs.LG
Tree Echo State Autoencoders with Grammars
The University of Sydney（悉尼大学）
树数据以多种形式出现，例如计算机程序、化学分子或自然语言。不幸的是，树的非向量和离散性质使得构建具有树形式输出的函数具有挑战性，使优化或时间序列预测等任务复杂化。自动编码器通过将树映射到矢量潜在空间来解决这一挑战，在矢量潜在空间中任务更容易解决，然后将解决方案映射回树结构。然而，现有的用于树数据的自动编码方法未能考虑树域的特定语法结构，并且依赖于深度学习，因此需要大的训练数据集和长的训练时间。在本文中，我们提出了树回声状态自动编码器（TES-AE），这是指导下的树文法，可以在几秒钟内训练凭借储备池计算。在我们对三个数据集的评估中，我们证明了我们提出的方法不仅比最先进的深度学习自动编码方法（D-VAE）快得多，而且在数据和时间很少的情况下自动编码错误也较少。
2020-04-19 cs.LG cs.NE stat.ML
Deep-ESN: A Multiple Projection-encoding Hierarchical Reservoir Computing Framework
South China University of Technology（华南理工大学）；University of California, San Diego（加州大学圣迭戈分校）
储备池计算模型作为一种高效的递归神经网络模型，在过去的十年中引起了广泛的关注。然而，虽然他们在时间序列数据上取得了巨大的成功[1]，[2]，但许多时间序列具有多尺度结构，单隐藏层RC模型可能难以捕获。在本文中，我们提出了一种新的分层储备池计算框架，我们称之为深度回声状态网络（Deep-ESN）。Deep-ESN最显著的特征是它能够通过分层预测处理时间序列。具体地，当输入时间序列被投影到储层的高维回波状态空间中时，随后的编码层（例如，PCA、自动编码器或随机投影）可以将回声状态表示投影到较低维空间中。然后，这些低维表示可以由另一个ESN处理。通过在分层框架中交替使用投影层和编码层，Deep-ESN不仅可以减弱ESN中共线性问题的影响，而且还可以充分利用ESN的时间核特性来探索时间序列的多尺度动力学。为了融合每个水库获得的多尺度表示，我们添加了从每个编码层到最后一个输出层的连接。理论分析表明，Deep-ESN的稳定性由回声状态特性（ESP）保证，其时间复杂度与传统ESN相当。在一些人工和真实世界时间序列上的实验结果表明，Deep-ESN可以捕获多尺度动态，并且优于标准ESN和以前的基于ESN的分层模型。
2017-11-13 cs.AI cs.LG
Multivariate time series prediction using clustered echo state network
Department of Physics, Centre for Nonlinear Science and Engineering, School of Electrical and Electronics Engineering（物理系、非线性科学与工程中心、电气与电子工程学院）
本文提出了一种聚类回声状态网络（CESNs），通过将 reservoir 节点划分为集群来提升多变量时间序列的预测能力，实验表明其在预测精度和抗噪声能力上优于传统 ESNs。
2025-11-28 cs.LG nlin.CD
Efficient implementations of echo state network cross-validation
Kaunas University of Technology（考纳斯理工大学）
背景/简介：交叉验证（CV）在时间序列建模中仍然不常见。回声状态网络（ESN）作为储备池计算（RC）模型的主要示例，以其快速和精确的一次性学习而闻名，其通常受益于良好的超参数调整。这使它们成为改变现状的理想选择。研究方法：我们讨论CV的时间序列预测一个具体的时间间隔的兴趣，提出了几个方案的交叉验证ESN和介绍一个有效的算法来实现它们。该算法被提出作为两个层次的优化做$k$倍CV。训练RC模型通常由两个阶段组成：（i）用数据运行储层和（ii）计算最佳读数。我们的第一级优化解决了计算成本最高的部分（i），并使其保持不变，而不管$k$。它显著减少了任何类型RC系统中的水库计算，并且如果$k$较小，就足够了。第二级优化还使得（ii）部分保持恒定，而不管大的$k$，只要输出的维数低。我们讨论了ESN的拟议验证方案何时可能是有益的，用于生成最终模型的三种选择，并在六个不同的真实世界数据集上对其进行实证研究，以及进行实证计算时间实验。我们在一个在线存储库中提供代码。结果：提出的CV方案在所有六种不同的真实世界数据集，三种任务类型中提供了更好和更稳定的测试性能。经验运行时间证实了我们的复杂性分析。结论：在大多数情况下，ESN和许多其他RC模型的$k$倍CV几乎可以与简单的单分裂验证在相同的时间和空间复杂度上完成。这使简历成为驻地协调员的标准做法。
2020-12-03 cs.LG cs.NE stat.ML
Echoes of the past: A unified perspective on fading memory and echo states
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
本文统一了RNN中衰减记忆、回声状态等概念，推导其关系并提供新证明，以深化对RNN时序处理能力的理解。
2025-12-12 cs.LG math.DS stat.ML
Brain-Inspired Spike Echo State Network Dynamics for Aero-Engine Intelligent Fault Prediction
Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
针对传统航空发动机参数预测方法忽略数据时空特征的问题，提出类脑脉冲回声状态网络模型，通过脉冲输入层、脉冲储备池与岭回归实现时空特征捕捉与状态预测，实验验证了其优越性与潜力。
2024-06-14 cs.LG cs.NE
Sparse Federated Echo State Networks for Time-Series Classification via Smooth-L1 Regularization
Faculty of Computer Science and Business Information Systems（计算机科学与商业信息系统学院）；Technical University of Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学）
本文提出平滑L1正则化的SL1ESN，结合二阶牛顿法实现集中式训练与联邦聚合，在7个时序分类基准上验证其读出层稀疏性与接近密集基线的准确率，可压缩模型与通信成本，适用于边缘及物联网部署。
2026-11-05 cs.LG
Efficient Neural Combinatorial Optimization Solver for the Min-max Heterogeneous Capacitated Vehicle Routing Problem
本文提出ECHO求解器，通过双模态节点编码器捕捉局部拓扑关系，利用参数自由交叉注意力机制缓解短视决策，结合车辆置换不变性和节点对称性设计数据增强策略，提升异质容量车辆路径问题求解性能。
2026-03-15 cs.AI cs.LG
Hierarchical Count Echo State Network Models with Application to Graduate Student Enrollments
本文提出计数回声状态网络作为泊松自回归的替代方法，并开发分层负二项回声状态网络，应用于美国1758所大学1972-2021年研究生招生数据，预测性能最优。
2025-01-24 stat.AP stat.ME stat.ML
Echo State Networks trained by Tikhonov least squares are L2(μ) approximators of ergodic dynamical systems
University of Bath（巴斯大学）
回声状态网络（ESN）是一类具有随机生成的内部权重和单层可调外部权重的单层递归神经网络，通常通过正则化线性最小二乘回归进行训练。值得注意的是，尽管训练过程是完全线性的，但ESN仍然具有通用近似特性。在本文中，我们证明了一个ESN训练的一系列观察遍历动力系统（与不变的措施$μ$）使用Tikhonov最小二乘回归对一组目标，将近似目标函数的$L^2(μ)$规范。在目标是未来观测的特殊情况下，ESN正在学习下一步地图，这允许时间序列预测。我们证明了理论数值训练ESN使用Tikhonov最小二乘法的一系列标量观测的洛伦兹系统。
2021-02-18 cs.LG math.DS stat.ML
Deep Echo State Networks for Diagnosis of Parkinson's Disease
Department of Computer Science University of Pisa（比萨大学计算机科学系（更准确的常见译法））
在本文中，我们介绍了一种新的方法，用于诊断帕金森病（PD）的基础上深回声状态网络（ESN）。通过分析在绘制螺旋测试草图期间从平板设备收集的整个时间序列来执行PD的识别，而不需要特征提取和数据预处理。我们在一个公共的螺旋测试数据集上评估了所提出的方法。实验分析结果表明，DeepESN的性能明显优于浅层ESN模型。总体而言，所提出的方法获得了国家的最先进的结果，在这种时间数据的PD识别。
2018-02-19 cs.LG
Dynamics and Computational Principles of Echo State Networks: A Mathematical Perspective
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
本研究从数学视角系统探索储备池计算（RC），基于动力系统理论分析其回声状态特性、衰退记忆等基础特性，形式化输入与状态的相互作用条件，探讨计算权衡与应用，为RC理论发展提供见解。
2025-04-16 cs.LG cs.NE
Efficient Cross-Validation of Echo State Networks
Kaunas University of Technology（考纳斯理工大学）
回声状态网络（ESN）以其对时间序列的快速和精确的一次性学习而闻名。但它们通常需要良好的超参数调优以获得最佳性能。为此，良好的验证是关键，但通常使用单个验证分割。在这个相当实际的贡献，我们提出了几个方案，交叉验证ESN和介绍一个有效的算法来实现它们。在我们提出的进行$k$ -折叠交叉验证的方法中，主导已经相当快的ESN训练的时间复杂度的组件保持不变（不随$k$扩展）。与$k$成线性比例的组件仅在某些不太常见的情况下才开始占主导地位。因此，在许多情况下，ESN的$k$折叠交叉验证可以以与简单的单个分割验证几乎相同的时间复杂度完成。空间复杂度也可以保持不变。我们还讨论了ESN的拟议验证方案何时可能是有益的，并在几个不同的真实数据集上进行了实证研究。
2019-08-22 cs.LG stat.ML
Gradient-free optimization of chaotic acoustics with reservoir computing
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；TU Munich（慕尼黑工业大学）
我们开发了一个通用的优化方法，找到的设计参数，最小化时间平均声学成本泛函。该方法是无梯度的，模型通知的，数据驱动的，基于回声状态网络的水库计算。首先，我们分析了回声状态网络在动态的短期和长期预测中的预测能力。我们发现，完全数据驱动和模型通知架构都可以学习混沌声学动力学，无论是时间准确性还是统计学。用具有一种声学模式的物理降阶模型来通知训练显著地提高了回声状态网络的准确性和鲁棒性，同时保持低计算成本。回声状态网络提供了对长时间动态的准确预测，否则通过集成控制方程来评估要优化的时间平均量将是昂贵的。其次，我们耦合回声状态网络与贝叶斯技术，探索设计热声参数空间。计算方法是最低限度的侵入。第三，我们找到了一组火焰参数，使混沌振荡的时间平均声能最小化，这是由正反馈与热源，如火焰在燃气轮机或火箭发动机。这些振荡被称为热声振荡。火焰参数的最佳设置被发现具有与蛮力网格搜索相同的精度，但是具有快一个数量级以上的收敛速度。这项工作开辟了新的可能性，非侵入式（“放手”）优化混沌系统，其中生成数据的成本，例如从高保真模拟和实验，是很高的。
2022-02-02 cs.LG nlin.CD physics.flu-dyn
Constraints on parameter choices for successful reservoir computing
Gothenburg University（哥德堡大学）
回声状态网络是由时间序列驱动的离散动态系统的简单模型。通过选择网络参数使得网络的动态是收缩的，其特征在于负的最大李雅普诺夫指数，网络可以与驱动信号同步。利用这种同步，回声状态网络可以被训练为自主地再现输入动态，从而实现时间序列预测。然而，虽然同步是预测的必要条件，但它并不充分。在这里，我们研究成功的时间序列预测所需的其他条件。我们确定了预测性能的两个关键参数，并进行参数扫描，以找到预测成功的区域。这些区域根据在训练期间是否向网络提供关于输入的全部或部分相空间信息而显著不同。我们解释这些区域是如何出现的。
2022-06-03 cs.LG cs.NE nlin.CD
EchoLSTM: A Self-Reflective Recurrent Network for Stabilizing Long-Range Memory
Independent Researcher（独立研究者）
针对循环神经网络在噪声序列中难以建模长程依赖的问题，提出基于输出条件门控的EchoLSTM模型，通过自反思机制增强记忆保留，在干扰任务上大幅超越LSTM并在ListOps上以更高参数效率媲美Transformer。
2025-11-03 cs.LG
Scaling up Echo-State Networks with multiple light scattering
Laboratoire Kastler Brossel（卡斯特勒布罗塞尔实验室）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Laboratoire de Physique Statistique（统计物理实验室）；LightOn（LightOn公司）
回声状态网络和储备池计算已经研究了十多年。它们为递归神经网络提供了一种更简单但功能强大的替代方案，每个内部权重都是固定的，只有最后一个线性层被训练。它们涉及到稠密随机矩阵的许多乘法。很难获得非常大的网络，因为复杂性在时间和内存上都是二次方的。在这里，我们提出了一种新的光学实现回声状态网络使用光散射介质和数字微镜设备。作为概念证明，二进制网络已成功训练用于预测混沌Mackey-Glass时间序列。这种新方法速度快，功耗低，易于扩展到非常大的网络。
2018-02-13 cs.ET cs.LG physics.optics
An Empirical Study of the L2-Boost technique with Echo State Networks
VSB-Technical University of Ostrava（俄斯特拉发技术大学）
递归神经网络（RNN）的一个特殊情况是在21世纪初以回声状态网络（ESN）的名义引入的。ESN模型克服了RNN训练过程中的局限性，同时没有引入显著的缺点。虽然该模型提出了一些明确的缺点时，参数没有很好地初始化。ESN的性能高度依赖于其内部参数和隐-隐权重的连接模式。通常，网络参数的调整可能很难，并且可能影响模型的准确性。在这项工作中，我们研究了一种特定的增强技术（称为L2-Boost）的性能与ESN作为单一的预测。L2-Boost技术已被证明是在回归问题中组合“弱”预测器的有效工具。在这项研究中，我们使用一个合奏的随机初始化ESN（不控制其参数）作为“弱”预测的提升过程。我们评估我们的方法上五个众所周知的时间序列基准问题。此外，我们比较这种技术与基线方法，包括平均预测的合奏ESN。
2015-01-02 cs.LG cs.NE
Recursive Least Squares Policy Control with Echo State Network
Hainan University（海南大学）
回声状态网络（ESN）是一种特殊类型的递归神经网络，用于处理时间序列数据集。然而，受限于代理的序列样本之间的强相关性，基于ESN的策略控制算法难以使用递归最小二乘（RLS）算法来更新ESN的参数。为了解决这个问题，我们提出了两个新的策略控制算法，ESNRLS-Q和ESNRLS-Sarsa。首先，为了减少训练样本的相关性，我们使用漏积分ESN和小批量学习模式。其次，为了使RLS适合于小批量模式下的ESN训练，我们提出了一种新的均值逼近方法来更新RLS相关矩阵。第三，为了防止ESN过拟合，我们使用了L1正则化技术。最后，为了防止目标状态-动作值被高估，我们采用了Mellowmax方法。仿真结果表明，我们的算法具有良好的收敛性能。
2022-01-13 cs.LG
Layer-wise Relevance Propagation for Echo State Networks applied to Earth System Variability
GEOMAR Helmholtz Centre for Ocean Research（亥姆霍兹海洋研究中心（GEOMAR））；Christian-Albrechts-Universität（基尔大学（克里斯蒂安-阿尔布雷希特大学））
人工神经网络（ANN）被认为是解决许多困难问题（例如，图像分类、语音识别或时间序列预测）的有效方法。然而，这些模型往往会产生黑箱结果，而且往往难以解释。分层相关传播（LRP）是一种广泛使用的技术，用于理解ANN模型如何得出结论，并了解模型已经学习了什么。在这里，我们专注于回声状态网络（ESN）作为一种特定类型的递归神经网络，也称为储备池计算。ESN很容易训练，只需要少量的可训练参数，但仍然是黑箱模型。我们展示了如何LRP可以应用于ESN，以打开黑盒子。我们还展示了如何ESN不仅可以用于时间序列预测，而且还可以用于图像分类：我们的ESN模型作为厄尔尼诺南方涛动（ENSO）从海面温度异常的检测器。ENSO实际上是一个众所周知的问题，以前曾被广泛讨论过。但在这里，我们用这个简单的问题来证明LRP如何显着提高ESN的可解释性。
2022-11-16 cs.AI cs.LG
Echo State Network for two-dimensional turbulent moist Rayleigh-Bénard convection
Technische Universität Ilmenau（伊尔默瑙工业大学）；New York University（纽约大学）
递归神经网络是一种机器学习算法，非常适合于预测时间序列。回声状态网络是这种神经网络的一种具体实现，其可以通过监督机器学习来描述动态系统的演化，而无需求解底层的非线性数学方程。在这项工作中，我们应用回声状态网络来近似二维湿Rayleigh-Bénard对流的演化和由此产生的低阶湍流统计。我们进行长期的直接数值模拟，以获得训练和测试数据的算法。这两个集合都使用快照方法通过适当的正交分解（POD）进行预处理，以减少数据量。训练数据包括前150个最具能量的POD系数的长时间序列。随后，储层由数据馈送，并导致对未来流动状态的预测。原始模拟的数据彻底验证了预测。我们的结果显示了良好的协议的低阶统计。这也结合了派生的统计矩，如云覆盖靠近对流层的顶部和液态水的通量在整个域。我们的结论是，我们的模型是能够学习复杂的动力学，这是在这里介绍的紧密相互作用的湍流与蒸汽和液态水之间的相变的非线性热力学。我们的工作为大尺度环流模式中次网格尺度输运的动态参数化开辟了新的途径。
2021-05-03 cs.LG nlin.CD physics.flu-dyn
Modeling Biological Multifunctionality with Echo State Networks
Department of Informatics & Computer Engineering, Internet Computing and Cloud Technologies Lab, University of West Attica（信息与计算机工程系，互联网计算与云计算技术实验室，西阿提卡大学）
本研究构建结合可激发系统动力学与扩散过程的三维多组分反应扩散模型，通过数值求解生成生物时空行为时序数据，用以训练Echo State Network（ESN），验证了数据驱动的多功能ESN模拟生物动力学的可行性与有效性。
2025-10-27 cs.AI cs.LG
Rethinking Reservoir Pruning: A Dynamical Perspective for Echo State Networks
Sungkyunkwan University（成均馆大学）
该研究针对回声状态网络储备池过参数化问题，提出动力学模式剪枝方法，通过轨迹平均雅可比格拉姆矩阵排序神经元，实验显示其可提升或保持预测精度并减少冗余组件。
2026-08-06 cs.AI cs.LG math.DS
EchoVPR: Echo State Networks for Visual Place Recognition
The University of Sheffield（谢菲尔德大学）；Macquarie University（麦考瑞大学）；University of Sussex（萨塞克斯大学）；Institute for Neuroinformatics（神经信息学研究所）
识别先前访问过的位置是自主导航中一项重要但尚未解决的任务。当前的视觉位置识别（VPR）基准通常挑战模型从包括空间和时间分量的序列数据集中恢复查询图像（或多个图像）的位置。最近，回声状态网络（ESN）品种已被证明在解决需要时空建模的机器学习任务方面特别强大。这些网络是简单但功能强大的神经架构，在多个时间尺度和非线性高维表示上表现出记忆，可以发现数据中的时间关系，同时仍然保持学习时间的线性。在本文中，我们提出了一系列的ESN和分析其适用性的VPR问题。我们报告说，在预处理的卷积神经网络中添加ESN，与六个标准基准测试中的五个（GardensPoint，SPEDTest，ESSEX3IN 1，Oxford RobotCar和Nordland）的非递归网络相比，性能大幅提升，表明ESN能够捕获VPR问题中固有的时间结构。此外，我们表明，包括ESN的模型可以优于类领先的VPR模型，也利用了数据的顺序动态。最后，我们的研究结果表明，ESN提高泛化能力，鲁棒性和准确性，进一步支持其适用于VPR应用程序。
2022-02-10 cs.CV cs.LG cs.RO
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
University of Pisa（比萨大学）
本文提出深度残差回声网络，通过引入时间残差正交连接提升未训练RNN的长期记忆和时间建模能力。
2026-08-11 cs.AI cs.LG
Incorporating Coupling Knowledge into Echo State Networks for Learning Spatiotemporally Chaotic Dynamics
Graduate School of Informatics, Kyoto University, Kyoto 606-8501, Japan（信息科学研究生学校，京都大学，京都）
本文提出一种结合耦合知识的物理引导聚类回声状态网络，用于高效学习时空混沌动力学系统。
2025-08-15 cs.LG nlin.CD
Accelerating Simulation of Stiff Nonlinear Systems using Continuous-Time Echo State Networks
Massachusetts Institute of Technology（麻省理工学院）；Julia Computing（Julia Computing公司）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
现代设计、控制和优化通常需要对高度非线性模型进行仿真，从而导致高昂的计算成本。这些成本可以通过评估完整模型的廉价替代品来摊销。在这里，我们提出了一个通用的数据驱动的方法，连续时间回声状态网络（CTESN），用于生成代理的非线性常微分方程在广泛分离的时间尺度上的动态。我们凭经验证明了接近恒定的时间性能，使用我们的CTESN的物理激励的可扩展模型的加热系统，其完整的执行时间呈指数级增加，同时保持相对误差在0.2%以内。我们还表明，我们的模型捕捉快速瞬态以及缓慢的动态有效，而其他技术，如物理通知神经网络有困难，试图训练和预测这些模型的高度非线性行为。
2021-03-24 cs.LG math.DS
Investigating echo state networks dynamics by means of recurrence analysis
UiT the Arctic University of Norway（挪威北极大学）；Politecnico di Milano（米兰理工大学）；Università della Svizzera Italiana（瑞士意大利语区大学）
在本文中，我们详细阐述了著名的回声状态网络的可解释性问题。我们的想法是研究水库神经元的动态与时间序列分析技术取自复杂系统的研究。值得注意的是，我们用递归图（RP）和递归量化分析（RQA）分析神经元激活的时间序列，这允许可视化和表征高维动力系统。我们表明，这种方法在许多方面是有用的。首先，由RP提供的二维表示提供了一种可视化储层的高维动态的方式。我们的研究结果表明，如果网络是稳定的，水库和输入表示类似的线模式在各自的RP。相反，ESN越不稳定，储层的RP越呈现不稳定模式。作为第二个结果，我们表明，$\mathrm{L_{max}}$措施是高度相关的良好建立的最大局部李雅普诺夫指数。这表明基于RP对角线分布的复杂性度量提供了一个有价值的工具来量化网络稳定性的程度。最后，我们的分析表明，所有的RQA措施波动的所谓的边缘的稳定性，其中ESN通常达到最大的计算能力的接近。我们验证了这样的RQA措施提供的稳定性的边缘的确定是更准确的比两个众所周知的标准的基础上的雅可比矩阵的水库。因此，我们认为，RP和RQA为基础的分析可以作为有价值的工具来设计一个有效的网络给定的特定问题。
2016-04-24 cs.LG nlin.CD physics.data-an
Feature-Based Echo-State Networks: A Step Towards Interpretability and Minimalism in Reservoir Computer
The Ohio State University（俄亥俄州立大学）
本文提出基于特征的ESN（Feat-ESN），用多个小并行储备池分别处理不同输入特征并非线性融合，在减少节点数的同时提升预测性能与可解释性，并在混沌系统和交通数据上验证其优势。
2024-03-28 cs.LG cs.SY eess.SY
Temporal Convolution Derived Multi-Layered Reservoir Computing
Technische Universität Ilmenau（伊尔梅瑙工业大学）；Friedrich Schiller University（弗里德里希·席勒大学）
本文提出时间卷积衍生的新型储备池输入映射及两种多层架构，以降低随机性并提升并行与预测能力，在 Mackey-Glass 和 SantaFe Laser 上显著优于 ESN、AE-ESN 与 GRU。
2024-11-03 cs.LG nlin.CD
Echo Flow Networks
Gateway Academic Center, Stevens Institute of Technology（斯蒂文斯理工学院Gateway学术中心）
针对时间序列预测的长程依赖建模难题，提出含X-ESN、MLP读出器、MCRA及双流架构的EFNs，在五基准上性能优于PatchTST，实例EchoFormer达新SOTA
2026-08-06 cs.LG
Unsupervised Learning in Echo State Networks for Input Reconstruction
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；School of Systems Information Science, Future University Hakodate（函馆未来大学系统信息科学系）
本研究提出利用回声状态网络的先验参数及可逆性条件，通过无监督学习实现输入重构，降低对监督的依赖，相关算法适用于自主处理，为理解ESN数学基础及脑计算机制提供新视角。
2025-07-30 cs.AI cs.LG eess.SP
From Many Models, One: Macroeconomic Forecasting with Reservoir Ensembles
University of St. Gallen（圣加仑大学）；University of Warwick（华威大学）；Bank for International Settlements（国际清算银行）
本文提出基于水库集合的宏观经济预测方法，通过组合多频回声状态网络提升预测性能。
2026-10-30 econ.EM stat.ML
Edge of stability echo state networks
University of Pisa（比萨大学）
本文提出边缘稳定性回声状态网络（ES$^2$N），通过凸组合非线性与线性正交储备层，使动力学接近混沌边缘，达到理论最大短期记忆容量，并在记忆-非线性权衡及自回归建模中优于标准ESN。
2023-09-03 cs.AI cs.LG math.DS
Modelling spatiotemporal turbulent dynamics with the convolutional autoencoder echo state network
University of Cambridge（剑桥大学）；Delft University of Technology（代尔夫特理工大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
湍流的时空动力学是混沌的，难以预测。这使得精确和稳定的降阶模型的设计具有挑战性。本文的首要目标是提出一个非线性分解的湍流状态的降阶表示的动态。我们将湍流问题分为空间问题和时间问题。首先，我们计算潜在空间，它是湍流动力学所处的流形（即，它是湍流吸引子的数值近似）。潜在空间是通过一系列非线性滤波操作找到的，这些操作由卷积自动编码器（CAE）执行。CAE提供了空间上的分解。其次，我们预测的时间演化的湍流状态的潜空间，这是由回声状态网络（ESN）。ESN提供了时间上的分解。第三，通过组装CAE和ESN，我们得到一个自治的动力系统：卷积自动编码器回声状态网络（CAE-ESN）。这是湍流的降阶模型。我们在二维流动上测试了CAE-ESN。我们表明，经过训练，CAE-ESN（i）发现湍流的潜在空间表示，其自由度小于物理空间的自由度的1%;（ii）在准周期和湍流状态下都能准确地预测时间和统计上的流动;（iii）对不同的流动状态具有鲁棒性（雷诺数）;（iv）预测湍流所需的计算时间比求解控制方程少1%。这项工作开辟了新的可能性，非线性分解和降阶建模的湍流的数据。
2022-11-22 cs.LG nlin.CD physics.flu-dyn
Orthogonal Echo State Networks and stochastic evaluations of likelihoods
我们报告的概率似然估计的时间序列使用回声状态网络与正交经常性连接。使用具有时间推断的合成随机输入时间序列的测试结果表明，网络的推断能力取决于输入强度和经常性活动之间的平衡。这种平衡对网络的影响是关于短期输入历史的推断与解释长期影响的推断的质量。这种网络对噪声的敏感性和有限精度的网络状态的递归层进行了研究。此外，还提出了一种基于输出时间序列与水库之间互信息的测度。最后，不同类型的经常性连接进行评估。正交矩阵显示了所有研究的连接类型的最佳结果，但也显示了网络性能如何随递归层的大小而扩展。
2017-06-13 cs.NE
Bidirectional deep-readout echo state networks
我们提出了一个多变量时间序列分类的深层架构。通过一个经常性的和未经训练的水库，我们生成一个矢量表示，嵌入在数据的时间关系。为了提高记忆能力，我们实现了一个双向水库，其最后一个状态也捕捉过去的依赖关系的输入。我们将降维应用于最终的水库状态，以获得压缩的固定大小的时间序列表示。这些数据随后被送入一个经过训练的深度前馈网络，以执行最终的分类。我们在基准数据集和血液样本分类的真实用例上测试了我们的架构。结果表明，我们的方法比标准回声状态网络表现得更好，同时达到了与经过充分训练的循环网络相当的结果，但训练速度更快。
2018-02-13 cs.NE
An Experimental Analysis of the Echo State Network Initialization Using the Particle Swarm Optimization
本文介绍了一种鲁棒的混合方法来解决监督学习任务，它使用回声状态网络（ESN）模型和粒子群优化（PSO）算法。ESN是一种递归神经网络，其隐-隐权重在学习过程中是固定的。网络的递归部分将输入信息存储在网络的内部状态中。另一种结构形成了自由记忆方法，用作监督学习工具。初始化ESN模型的递归结构的设置过程会影响模型性能。另一方面，PSO已被证明是一种成功的技术，在复杂的空间中找到最佳点。在这里，我们提出了一种方法来使用粒子群算法找到一些初始的ESN模型的隐-隐权重。我们提出的实证结果，比较规范ESN模型与这种混合方法在广泛的基准问题。
2015-01-02 cs.NE
Model-Coupled Autoencoder for Time Series Visualisation
我们提出了一种方法，结合了一个回声状态网络与自动编码器的一组时间序列的可视化。对于数据集中的每个时间序列，我们训练回声状态网络，使用隐藏神经元的公共和固定的水库，并使用优化的读出权重作为新的表示。然后，通过自动编码器对读出的权重表示进行简化。工作的关键是为自动编码器配备损失函数，该损失函数通过将它们与在序列的数据空间中测量的重建误差相关联来正确地解释重建的读出权重。这基本上相当于测量重建的读出权重在插入回具有相同固定库的回波状态网络时在其对应序列上表现出的预测性能。我们表明，建议的可视化框架可以处理实值序列以及二进制序列。我们推导出放大因子，以分析距离的放大和扭曲的可视化空间。所提出的方法的通用性和优势，证明了对数据集的时间序列，来自不同的领域。
2016-01-21 astro-ph.IM cs.NE
Integer Echo State Networks: Efficient Reservoir Computing for Digital Hardware
我们提出了一个近似的回声状态网络（ESN），可以有效地实现数字硬件的基础上的数学多维计算。所提出的整数回声状态网络（intESN）的库是仅包含n位整数的向量（其中n<8通常足以获得令人满意的性能）。递归矩阵乘法被替换为一个有效的循环移位操作。所提出的intESN的方法进行了验证，在储备池计算的典型任务：记忆的输入序列，分类时间序列，学习动态过程。这样的体系结构在内存占用和计算效率方面有了显著的改进，同时性能损失最小。现场可编程门阵列上的实验证实，所提出的intESN方法是更有效的能源比传统的ESN。
2020-10-09 cs.NE
Analyzing Echo-state Networks Using Fractal Dimension
这项工作加入了水库优化，信息理论的最佳编码，并在其中心分形分析方面。我们建立在观察，由于递归神经网络的递归性质，输入序列出现在其隐藏状态表示的分形图案。这些图案的分形维数低于储层中的单元数。我们展示了这种分形维数在优化递归神经网络初始化方面的潜在用途。我们连接的想法“理想”水库无损最佳编码使用算术编码器。我们的研究表明，从输入到隐藏状态的映射的分形维数应接近网络中的单元数。分形维数和网络连通性之间的这种联系是递归神经网络初始化和储备池计算的一个有趣的新方向。
2022-05-26 cs.NE
