arXiv 1409.03342014-09-01cs.NE

基于二进制锦标赛的神经网络中的序列存储

Storing sequences in binary tournament-based neural networks

Xiaoran Jiang, Vincent Gripon, Claude Berrou, Michael Rabbat

摘要：

对最近提出的一种基于神经网络的神经网络结构进行了扩展。该扩展使得可以以高效率存储序列。为了获得这一属性，网络连接提供了方向和灵活的冗余进行的空间和时间冗余，预测机制被引入模型。该方案除了具有高效率的序列存储外，还具有生物相容性。为了实现准确的序列检索，还提出了一种结合异联想和自联想的双层结构。

英文摘要：

An extension to a recently introduced architecture of clique-based neural networks is presented. This extension makes it possible to store sequences with high efficiency. To obtain this property, network connections are provided with orientation and with flexible redundancy carried by both spatial and temporal redundancy, a mechanism of anticipation being introduced in the model. In addition to the sequence storage with high efficiency, this new scheme also offers biological plausibility. In order to achieve accurate sequence retrieval, a double layered structure combining hetero-association and auto-association is also proposed.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

采用二进制和随机竞赛选择的非支配排序遗传算法II（NSGA-II）的运行时间分析

Running Time Analysis of the Non-dominated Sorting Genetic Algorithm II (NSGA-II) using Binary or Stochastic Tournament Selection

进化算法已被广泛应用于解决多目标优化问题，并已成为最流行的工具。然而，多目标进化分析的理论基础，特别是其基本理论方面，运行时间分析，在很大程度上仍然不发达。现有的几个理论工作主要考虑简单的MOEA，而非支配排序遗传算法II（NSGA-II），可能是最有影响力的MOEA，还没有分析，除了最近的工作考虑一个简化的变体没有交叉。在本文中，我们提出了一个运行时间分析的标准NSGA-II解决LOTZ，OneMinMax和COCZ，三个常用的双目标优化问题。具体来说，我们证明了预期的运行时间（即，适合度评估的数量）是LOTZ的$O(n^3)$，以及OneMinMax和COCZ的$O(n^2\log n)$，这令人惊讶地与先前分析的简单MOEA、GSEMO和SEMO的相同。接下来，我们介绍一种新的父选择策略，随机锦标赛选择（即，$k$锦标赛选择，其中$k$是均匀随机抽样），以取代NSGA-II的二进制锦标赛选择策略，减少所需的预期运行时间为$O(n^2)$的所有三个问题。实验结果表明，LOTZ的运行时间上界是紧的，OneMinMax和COCZ的运行时间上界几乎是紧的.

2022-03-22cs.NE

具有伪逆学习规则的Hopfield型网络的存储圈：容许性和网络拓扑

Storing cycles in Hopfield-type networks with pseudoinverse learning rule: admissibility and network topology

神经元活动的周期性模式在动物神经系统中普遍存在，并在一定程度上负责产生和控制运动、呼吸、吞咽等节律性运动，阐明神经元网络连通性在产生周期性模式中的作用是理解节律性运动产生的基础。本文研究了神经网络中二进制循环的存储问题。我们称一个循环$Σ$是容许的，如果一个连通矩阵满足循环的过渡条件存在，并构造它使用伪逆学习规则。我们的主要重点是结构特征的容许圈和相应的网络拓扑。我们证明了$Σ$是容许的当且仅当它的离散傅立叶变换恰好包含$r={rank}(Σ)$非零列。基于将$Σ$的行分解为循环，其中循环是一行的所有循环置换的集合，循环被分类为简单循环、可分离或不可分离的复合循环。简单循环仅包含来自一个循环的行，并且如果$Σ$中的循环向量是彼此的循环置换，则网络拓扑是具有对一个神经元的反馈的前馈链。复合循环包含来自至少两个不相交循环的行，并且用聚类来识别与来自相同循环的$Σ$中的行相对应的神经元。由可分离的复合环构成的网络分解成完全孤立的簇。对于不可分的复合圈，至少有两个簇是连通的，并且簇的连通性与簇的环向量所跨越的空间的交点有关。模拟显示成功检索周期在连续时间Hopfield型网络和网络的尖峰神经元。

2013-04-28cs.NE

具有指数模式检索能力和迭代学习的非二元联想记忆：扩展结果

A Non-Binary Associative Memory with Exponential Pattern Retrieval Capacity and Iterative Learning: Extended Results

我们考虑非二元神经元网络的神经关联问题。在这里，任务是首先使用神经元网络记住一组模式，这些神经元的状态假设来自有限数量的整数级别的值。之后，同一个网络应该能够从嘈杂的版本中回忆起以前记忆的模式。这方面的先前工作考虑存储有限数量的纯随机模式，并已表明模式检索能力（可记忆的模式的最大数量）仅与网络中的神经元数量呈线性关系。在我们制定的问题，我们专注于利用冗余和内部结构的模式，以提高模式检索能力。我们的第一个结果表明，如果给定的模式有一个合适的线性代数结构，即包括一个子空间的所有可能的模式的集合，那么模式检索能力实际上是指数的神经元的数量。第二个结果扩展了以前的发现的情况下，模式具有弱的次要成分，即相关矩阵的最小特征值趋于零。我们将使用这些次要成分（或模式零空间的基向量）来增加模式检索能力和纠错能力。在学习阶段提出了一种迭代算法，在回忆阶段提出了两种简单的神经元更新算法。使用分析结果和模拟，我们表明，所提出的方法可以容忍相当数量的错误输入，同时能够记住指数大量的模式。

2013-02-15cs.NE

Espresso：BCNN的高效前向传播

Espresso: Efficient Forward Propagation for BCNNs

University of Victoria（维多利亚大学）

有许多应用场景需要优化深度神经网络（DNN）预测阶段的计算性能和内存占用。二进制神经网络（BDNNs）已被证明是实现这一目标的有效方法。在本文中，我们展示了如何使用二进制表示来实现卷积神经网络（CNN）。Espresso是一个用C/CUDA编写的紧凑但功能强大的库，具有CNN正向传播所需的所有功能，在一个小于400 KB的二进制文件中，没有任何外部依赖。虽然它主要是为了利用大规模的GPU并行性而设计的，但Espresso也为CNN提供了等效的CPU实现。Espresso为BCNN提供了特殊的卷积层和密集层，利用位打包和逐位计算来实现高效执行。这些技术提供了矩阵乘法例程的加速，并且同时减少了存储参数和激活时的内存使用。我们的实验表明，Espresso是显着快于现有的实现优化的二进制神经网络（$\approx$ 2个数量级）。Espresso是在Apache 2.0许可下发布的，可在http://github.com/fpeder/espresso上获得。

2018-03-07cs.CVcs.DCcs.LG

基于振荡器的脉冲神经网络分类和计算的高阶和长程同步效应

Higher Order and Long-Range Synchronization Effects for Classification and Computing in Oscillator-Based Spiking Neural Networks

在两个热耦合VO2振荡器的电路中，我们研究了高阶同步效应，它可以用于对象分类技术，以增加振荡器系统的可能同步状态的数量。我们发展了锁相估计方法来确定次谐波比和同步有效性的值。在我们的实验中，振荡器系统可能的同步状态的数量是12，和亚谐波比分布的形状阿诺德的舌头。在该模型中，在一定的耦合强度和噪声水平下，状态数可能达到最大值150。一维振荡器链中的长程同步效应甚至在中间环节的同步有效性较低时也会发生。介绍了一种矢量图像的存储和识别技术，可用于储备池计算。此外，我们提出的乘法模拟操作的实现，同步为基础的逻辑二进制计算，和可能性，开发的尖峰神经网络和计算机之间的接口。基于普适物理效应，高阶同步可以应用于任何耦合类型的脉冲振荡器，增强了所提出的结果对扩展脉冲神经网络能力的实用价值。

2020-07-29cs.NE

具有节律尖峰模式的鲁棒计算

Robust computation with rhythmic spike patterns

通过精确定时尖峰的信息编码可以比传统的速率编码更快且更节能。然而，尖峰定时码通常是脆弱的，这限制了它们在理论神经科学和计算应用中的使用。在这里，我们提出了一种新的类型的吸引子神经网络在复杂的状态空间，并展示了如何利用它来构建脉冲神经网络具有强大的计算性能，通过相位到定时映射。基于Hebbian神经联想记忆，如Hopfield网络，我们首先提出了阈值相量联想记忆（TPAM）网络。复相量模式，其组件可以假设连续值的相位角和二进制幅度可以存储和检索作为稳定的固定点在网络动态。TPAM实现高存储容量时，存储稀疏相量模式，我们推导出的能量函数，管理其不动点吸引子动态。其次，通过模拟实验，我们展示了如何在TPAM复杂的代数计算可以近似的生物学上合理的网络集成和消防神经元与突触延迟和循环连接的抑制性interneurons。TPAM在复域中的不动点与对扰动鲁棒的精确定时的尖峰活动的稳定周期性状态相称。节律性放电模式和复杂吸引子动力学之间建立的联系对神经科学中看到的尖峰模式的解释具有影响，并且可以作为新兴神经形态设备中的计算框架。

2019-01-23cs.NE

更多相关论文收起更多论文

PathNet：超级神经网络中的进化通道梯度下降

PathNet: Evolution Channels Gradient Descent in Super Neural Networks

Google DeepMind（谷歌DeepMind）；Google Brain（谷歌大脑）

对于通用人工智能（AGI），如果多个用户训练同一个巨大的神经网络，允许参数重用，而不会发生灾难性遗忘，这将是有效的。PathNet是朝着这个方向迈出的第一步。它是一种神经网络算法，使用嵌入在神经网络中的代理，其任务是发现网络的哪些部分可重新用于新任务。代理是通过网络的路径（视图），其确定由反向传播算法的前向和后向传递使用和更新的参数的子集。在学习过程中，使用锦标赛选择遗传算法来选择通过神经网络进行复制和变异的路径。路径适应性是根据成本函数测量的该路径的性能。我们展示了成功的迁移学习;沿着任务A上学习的路径固定参数，并为任务B重新进化新的路径群体，使任务B的学习速度比从头开始或微调后更快。在任务B中演化出的路径重用了在任务A中演化出的部分最优路径。正迁移被证明为二进制MNIST，CIFAR和SVHN监督学习分类任务，以及一组Atari和Labeleth强化学习任务，这表明PathNets具有神经网络训练的普遍适用性。最后，PathNet还显著提高了并行异步强化学习算法（A3 C）对超参数选择的鲁棒性。

2017-01-30cs.LGcs.NE

基于相干Laser网络的神经计算

Neural Computing with Coherent Laser Networks

Queens College of the City University of New York（纽约市立大学皇后学院）；The Graduate Center, City University of New York（纽约市立大学研究生中心）；City College of the City University of New York（纽约市立学院）

我们表明，一个相干的激光网络表现出新兴的神经计算能力。该方案利用激光网络的集体行为，将多个相位图案作为控制动力学方程的稳定不动点存储，并通过适当的激励条件检索这些图案，从而表现出联想记忆特性。首先讨论了模拟经典XY模型的无源耗散耦合激光器网络的强泵浦机制中的联想记忆功能。据讨论，尽管网络的存储容量大，固定点模式之间的大重叠有效地限制模式检索只有两个图像。接下来，我们表明，这种限制可以通过使用激光器之间的非互易耦合来提升，这允许利用大的存储容量。这项工作开辟了新的可能性，神经计算与相干激光网络作为新的模拟处理器。此外，这里讨论的底层动力学模型提出了一种新的基于能量的递归神经网络，它可以处理连续数据，而不是本质上是二进制系统的Hopfield网络和Boltzmann机器。

2022-04-05cs.LGcs.NEnlin.PS

STOP：用于深度脉冲神经网络权重-阈值-泄漏协同训练的时空正交传播

STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks

Chongqing United Microelectronics Center Co. Ltd（重庆联合微电子中心有限责任公司）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）

针对深度脉冲神经网络（SNN）缺乏高效高精度学习算法的问题，提出时空正交传播（STOP）算法，协同学习权重、阈值和泄漏因子，降低内存与计算复杂度，在多个数据集上取得高精度，适用于边缘智能场景。

2024-11-27cs.CVcs.NE