Learning Spatiotemporal Chaos Using Next-Generation Reservoir Computing
The Ohio State University（俄亥俄州立大学）；ResCon Technologies, LLC（ResCon技术有限责任公司）
使用机器学习预测高维动力系统的行为需要有效的方法来学习底层的物理模型。我们展示了时空混沌预测使用机器学习架构，当与下一代水库计算机相结合时，显示出最先进的性能，训练过程的计算时间快$10^3-10^4$倍，训练数据集比其他机器学习算法小$\sim 10^2$倍。我们还利用模型的平移对称性进一步减少计算成本和训练数据，每个都减少了$\sim$ 10倍。
2022-08-30 cs.LG cs.NE nlin.CD
Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing
risklab Allianz Global Investors（安联全球投资者风险实验室）；Deutsches Zentrum für Luft- und Raumfahrt (DLR)（德国航空航天中心）
本文以 Lorenz 混沌系统转向间歇动力学为例，比较经典与下一代储层计算的控制能力，证明下一代 RC 在数据极少时显著更优。
2023-07-14 cs.LG cs.NE cs.SY
Reservoir-Based Distributed Machine Learning for Edge Operation
Perspecta Labs Inc（Perspecta实验室公司）
我们介绍了一种新的设计，内置于智能传感器的机器学习算法的原位训练，并说明了分布式训练方案使用射频（RF）频谱传感器。目前Edge的RF传感器缺乏计算资源来支持智能信号分类的实际现场培训。我们提出了一种使用Deepdelay Loop Reservoir Computing（DLR）的解决方案，DLR是一种处理架构，通过利用delayloop储备池计算与创新硬件相结合，支持资源受限边缘设备上的机器学习算法。与最先进的（SoA）神经网络相比，DLR可降低形状因子、硬件复杂性和延迟。我们演示了DLR的两个应用程序：RF特定的ESCENT识别（SEI）和无线协议识别。DLR使移动边缘平台能够进行身份验证，然后通过快速的SEI重新训练来跟踪发射器。一旦延迟循环将数据类分开，学习过程就不再需要传统上复杂、耗电的分类模型。然而，即使使用简单的分类器，如岭回归（RR），复杂性也至少与输入大小成二次方增长。具有RR分类器的DLR超过了SoA精度，同时通过利用并行（分离）环路的架构进一步降低了功耗。为了在大区域内对移动设备进行身份验证，DLR可以以分布式方式进行训练，只需很少的额外处理和很小的通信成本，同时保持准确性。我们说明了如何在感兴趣的用例中合并本地训练的DLR分类器。
2021-04-01 cs.LG cs.NE eess.SP
Reservoir Memory Machines as Neural Computers
The University of Sydney（悉尼大学）；Humboldt-University of Berlin（柏林洪堡大学）；Bielefeld University（比勒费尔德大学）；National Research Council of Canada（加拿大国家研究委员会）
可微神经计算机扩展了人工神经网络，具有无干扰的显式记忆，从而使模型能够执行经典的计算任务，如图遍历。然而，这样的模型难以训练，需要长的训练时间和大的数据集。在这项工作中，我们实现了可微神经计算机的一些计算能力，其模型可以非常有效地进行训练，即具有无干扰显式记忆的回声状态网络。这种扩展使回声状态网络能够识别所有的正则语言，包括那些收缩回声状态网络可证明不能识别的语言。此外，我们通过实验证明，我们的模型在可微神经计算机的几个典型基准任务上对其完全训练的深度版本进行了测试。
2021-07-19 cs.LG cs.NE stat.ML
Echo State Queueing Network: a new reservoir computing learning tool
INRIA-Rennes（法国国家信息与自动化研究所雷恩分所）
在过去的十年中，在机器学习领域中引入了一种新的计算范例，称为储备池计算（RC）。RC模型是一种神经网络，其中一个不参与学习过程的递归部分（水库）和系统的其余部分没有递归（没有神经回路）发生。这种方法由于其在解决学习任务和其他计算应用方面的成功而迅速发展。最近提出的另一个使用排队论设计的神经网络，随机神经网络（RandNN）也取得了一些成功。这两种方法都有很好的性能和确定的缺点。在本文中，我们提出了一个新的RC模型称为回声状态映射网络（ESQN），我们使用的想法来自RandNN的水库的设计。ESQN由ESN组成，其中储层具有受循环RandNN启发的新动态。本文将ESQN定位在全球机器学习领域，并提供了它们的使用和性能的例子。我们在大量使用的基准测试中表明ESQN是非常准确的工具，并说明了它们与标准ESNs的比较。
2012-12-26 cs.AI cs.LG cs.NE
A Survey on Reservoir Computing and its Interdisciplinary Applications Beyond Traditional Machine Learning
Kyushu University（九州大学）
本文系统综述了储备池计算从早期模型到最新进展的跨学科发展，涵盖机器学习、物理、生物和神经科学应用，并提出储备池设计、编码框架统一及物理实现等未来研究方向。
2023-07-27 cs.AI cs.AR cs.LG
Reservoir Computing with Diverse Timescales for Prediction of Multiscale Dynamics
The University of Tokyo（东京大学）；Toyota Central Research and Development Laboratory Inc.（丰田中央研发实验室股份有限公司）
机器学习方法最近已经被用作对动态系统的物理/数学建模方法的替代或辅助。为了开发一种高效的机器学习方法来建模和预测多尺度动力学，我们提出了一个储备池计算（RC）模型与不同的时间尺度，通过使用异构漏积分（LI）神经元的递归网络。我们评估所提出的模型的计算性能在两个时间序列预测任务相关的四个混沌快-慢动力系统。在一个一步前进的预测任务，其中输入数据只提供从快速子系统，我们表明，该模型产生更好的性能比标准的RC模型具有相同的LI神经元。我们的分析表明，产生目标多尺度动态的每个组件所需的时间尺度是适当的，灵活地选择从水库动态模型训练。在一个长期的预测任务中，我们证明了所提出的模型的闭环版本可以实现长期的预测相比，具有相同的LI神经元取决于超参数设置。
2022-07-29 cs.LG cs.NE
SpaRCe: Improved Learning of Reservoir Computing Systems through Sparse Representations
University of Sheffield（谢菲尔德大学）；The University of Sheffield（谢菲尔德大学）
“稀疏”神经网络，其中相对较少的神经元或连接是活跃的，在机器学习和神经科学中都很常见。而在机器学习中，“稀疏性”与导致一些连接权重变小或为零的惩罚项有关，在生物大脑中，当高尖峰阈值阻止神经元活动时，通常会产生稀疏性。在这里，我们通过神经元特定的可学习的活动阈值将稀疏性引入储备池计算网络，允许具有低阈值的神经元有助于决策，但抑制来自具有高阈值的神经元的信息。这种方法，我们称之为“SpaRCe”，在不影响水库动态的情况下优化水库的稀疏水平。读出的权重和阈值通过在线梯度规则来学习，该规则使网络输出上的误差函数最小化。阈值学习通过两种相反力量的平衡发生：通过使冗余神经元失活来减少水库中神经元间的相关性，同时增加参与正确决策的神经元的活动。我们测试SpaRCe分类问题，发现阈值学习提高了性能相比，标准的储备池计算。SpaRCe解决了灾难性遗忘的问题，这是标准回声状态网络和一般递归神经网络中最明显的问题，这是由于增加了网络决策中包含的任务专用神经元的数量。
2021-04-18 cs.LG cs.NE stat.ML
Classification of auditory stimuli from EEG signals with a regulated recurrent neural network reservoir
Université de Sherbrooke（舍布鲁克大学）
由于脑电图（EEG）的非侵入性，在脑机接口中使用EEG作为主要输入信号已被广泛提出。在这里，我们对从听觉系统提取信息的接口特别感兴趣，更具体地说，是对从EEG中听到的语音进行分类的任务。为此，我们建议限制EEG的预处理，并使用机器学习方法自动提取其有意义的特征。更具体地说，我们使用了一个受调节的递归神经网络（RNN）库，当应用于几种不同的生物信号时，它的性能优于经典的机器学习方法，我们将其与深度神经网络方法进行了比较。此外，我们还研究了分类性能作为EEG电极的数量的函数。一组8名受试者随机呈现3种不同的听觉刺激（英语元音a，i和u）。当考虑所有64个电极时，我们使用RNN获得了83.2%的出色分类率。仅用10个电极就实现了81.7%的成功率。
2018-04-27 cs.LG cs.NE cs.SD
Reservoir computing for spatiotemporal signal classification without trained output weights
Air Force Research Laboratory（空军研究实验室）
储备池计算是最近引入的机器学习范例，其已被证明非常适合于时空数据的处理。在传统的递归神经网络中，不是通过反向传播来训练网络节点连接和权重，而是在“隐藏层”节点之间具有固定的连接和权重，并且传统上只有神经元输出层的权重使用线性回归来训练。我们主张，对于信号分类任务，可以完全放弃权重训练步骤，而是使用基于储层状态范数的主成分的简单监督聚类方法。所提出的方法进行了数学分析和探索，通过对真实世界的数据进行数值实验。实例表明，该方法在分类精度和对储层参数的敏感性方面优于传统的训练输出权重方法。
2016-07-19 cs.CV cs.LG cs.NE
Ring Reservoir Neural Networks for Graphs
University of Pisa（比萨大学）
图的机器学习是当今一个相关性很强的研究课题。该领域的常见方法通常采用复杂的深度神经网络架构和要求苛刻的训练算法，这突出了对更高效解决方案的需求。储备池计算（RC）模型类在这方面可以发挥重要作用，使得能够通过未经训练的递归架构开发富有成效的图嵌入。在本文中，我们研究逐步简化的RC神经网络的设计策略的图。我们的核心建议是基于塑造隐藏神经元的组织，以遵循环形拓扑结构。图分类任务的实验结果表明，环形水库架构，使特别有效的网络配置，在预测性能方面表现出一致的优势。
2020-05-11 cs.LG cs.NE stat.ML
Multifunctionality in a Reservoir Computer
University College Cork（科克大学）；Raytheon Technologies Research Center Ireland（雷神技术爱尔兰研究中心）
多功能性是生物神经网络的一个现象学特征，被认为对某些物种的生存具有根本的重要性。这些多功能神经网络能够在不改变任何网络连接的情况下执行多个任务。在本文中，我们研究如何在人工环境中实现这种神经特质与现代机器学习范例称为“储备池计算”。训练技术的目的是使水库计算机执行任务的多功能性质。我们探讨了某些参数的变化可能对油藏计算机表达多功能性的能力产生的关键影响。我们还暴露了几个“未经训练的吸引子”的存在;吸引子居住在水库计算机的预测状态空间内，这些吸引子不是训练的一部分。我们对这些未经训练的吸引子进行了分叉分析，并讨论了我们的结果的影响。
2020-12-21 cs.LG cs.NE math.DS
