On the number of limit cycles in diluted neural networks

具有自适应和相关突触的稀释神经网络

Diluted neural networks with adapting and correlated synapses

我们考虑稀释的神经网络与修剪和适应突触的动力学。与以前的研究不同，学习率保持恒定，因为连接趋于无穷大：突触在淬火和退火极限之间的时间尺度上进化，并且必须考虑突触相关性的所有顺序。动力学是由平均场论解决的，突触的序参量是一个函数.我们描述的影响，在双动力学，由于突触相关性。

极端稀释非单调神经网络的恢复与混沌

Retrieval and Chaos in Extremely Diluted Non-Monotonic Neural Networks

在本文中，我们讨论了极端稀释，非单调神经网络的动力学性质。假设并行更新和Hebb处方的突触连接，宏观重叠的流量方程。得到了一个丰富的动力学相图，显示了一个稳定的检索阶段，以及循环二和混沌行为。进行了数值模拟，显示出良好的协议与分析结果。此外，模拟提供了一个额外的洞察微观动力学行为在混沌阶段。结果表明，单个神经元状态的冻结与混沌吸引子的结构有关。

极端稀释对称Q-Ising神经网络的热力学性质

Thermodynamic properties of extremely diluted symmetric Q-Ising neural networks

利用复制对称平均场论方法研究了极稀{ \it symmetric} $Q$ -Ising神经网络的热力学性质和检索性质.特别地，导出了$Q=3, 4$和$Q=\infty$的电容-增益参数和电容-温度相图。零温度的结果进行了比较，从模型的动力学研究所获得的。此外，还确定了de Almeida-Almeless直线。在适当的情况下，与其他$Q$ -伊辛架构的差异进行了概述。

Q-Ising神经网络动力学：各种体系结构的比较综述

Q-Ising neural network dynamics: a comparative review of various architectures

这篇文章回顾了Q-Ising神经网络在各种架构下的并行动力学：极度稀释的非对称，分层前馈，极度稀释的对称和完全连接。使用概率信噪比分析，考虑到所有反馈相关性（这些相关性强烈依赖于这些架构），找到了局部场分布的演变。这导致了确定网络序参量完整时间演变的递归方案。任意Q和主要零温度被认为是。对于非对称稀释和分层前馈网络的封闭形式的解决方案，而对称稀释和全连接的结构，反馈相关性阻止这样的封闭形式的解决方案。对于这些对称网络，在一定的噪声条件下，可以导出平衡不动点方程。它们是相同的热力学复制对称平均场论方法中获得的。

稀释Blume-Emery-Griffiths神经网络的Gardner最优容量

Gardner optimal capacity of the diluted Blume-Emery-Griffiths neural network

利用Gardner熵方法研究了稀释Blume-Emery-Griffiths神经网络的最佳容量与模式活动性和嵌入稳定性的关系。退火稀释被认为是，同时（同步稀释）或独立（异步稀释），切断一些耦合指的是三进制模式本身和一些耦合相关的活动模式。通过de Almeida-Almeidess准则，发现当存在稀释时，复制对称解是局部不稳定的。耦合的分布显示了典型的间隙，其宽度取决于稀释量，但即使在特定类型的耦合在学习过程中不起作用的情况下，这种间隙也会持续存在。

用连续神经元控制稀释网络中的混沌

Controlling chaos in diluted networks with continuous neurons

研究了具有连续神经元和非单调传递函数的稀释神经网络，包括固定突触和动态突触。一个具有周期性变化的噪声刺激导致了一种控制具有固定突触的神经系统中混沌的机制：适量的外部扰动迫使系统以与刺激相同的周期周期性地行为。

具有可变活性的随机稀释神经网络的动力学性质

Dynamical properties of a randomly diluted neural network with variable activity

研究的主题是一个二进制神经元，随机稀释的突触和可变模式活动的神经网络。我们看看系统的并行更新使用概率的方法来解决一步动态与一个浓缩的模式。我们得到的存储容量和检索过程中发生的互信息内容的限制。特别关注的是最佳性能阈值的约束。我们也看看噪声更新的效果，给出一个动态版本的临界温度，相应的阈值和小温度的时间演化的近似。该描述适用于强稀释极限下的整个检索过程。分析进行尽可能准确，并在整个参数范围内，推广了以前的一些结果。

具有自控制的三状态低活性稀释神经网络的互信息

Mutual Information of Three-State Low Activity Diluted Neural Networks with Self-Control

研究了宏观时变阈值对三态极端稀释神经网络检索过程的影响。如果根据噪声和网络的模式活动适当地选择阈值，在时间演化过程中自适应，则它保证了网络的自主功能。结果表明，这种自控制机制显著提高了检索质量，特别是在低活动限制下，包括存储容量、吸引域和信息量。互信息被证明是相关的参数，以研究这种低活性模型的检索质量。数值结果证实了这些意见。

用于稀释 Ising 模型相变分类的极简主义神经网络训练

Minimalist Neural Networks training for phase classification in diluted-Ising models

本文提出用仅含理想有序/无序构型的极简数据集训练神经网络，以识别无精确解的二维稀释 Ising 模型相变，并在转变温度和渗流密度上取得与高成本方法定量一致的结果。

稀释神经网络的去扰动稳定状态

Desynchronized stable states in diluted neural networks

研究了一种稀释的全抑制脉冲耦合神经元网络的动力学性质。根据耦合强度，可以观察到两个不同的相。在低耦合下，进化迅速收敛到周期性吸引子，其中所有神经元以相同的速率放电。在更大的耦合中，出现了一个新的阶段，所有神经元都相互解锁。不规则的行为原来是“局限于”一个指数长，平稳和线性稳定的瞬态。在后一阶段，我们还发现了一个指数尾分布的尖峰间期（ISI）。最后，我们表明，在解锁阶段的一个子集的神经元可以最终同步的外部信号的作用下，作为一个背景噪声的神经元的其余部分。这些“背景”神经元的动力学是非常特殊的，因为它揭示了一个广泛的ISI分布，变异系数接近1。

空的重要性：基于谱方法的稀释样本Hopfield神经网络

The importance of being empty: a spectral approach to Hopfield neural networks with diluted examples

本文通过谱方法分析带稀释样本的Hopfield网络，揭示空白条目在特定条件下有益，并提出基于稀疏化和dropout的恢复策略。

全连接Blume-Emery-Griffiths神经网络的热力学性质

Thermodynamics of fully connected Blume-Emery-Griffiths neural networks

利用复制平均场论研究了存储三元模式的全连通Blume-Emery-Griffiths网络的热力学和检索性质。容量-温度相图推导出几个值的图案活动。与其他三态神经元模型相比，该模型的检索阶段是最大的。此外，作为温度和图案活性的函数的所谓的四极相的意义和稳定性进行了讨论。在适当情况下，将结果与模型的稀释版本进行比较。

无标度图上吸引子神经网络的解析解

Analytic solution of attractor neural networks on scale-free graphs

我们研究了网络拓扑结构对递归神经网络检索性能的影响，使用稀释系统的副本技术。该理论提出了一个网络与任意度分布$p(k)$和适用于幂律分布$p(k) \sim k^{-γ}$，即神经网络的无标度图。分叉分析识别顺磁相与恢复相或自旋玻璃相之间的相边界。使用群体动力学算法，可以在整个相图中计算检索重叠和自旋玻璃序参量。结果表明，有一个增强的检索性能相比，泊松随机图。我们将我们的研究结果与模拟进行比较。

具有对称序列处理的前馈分层神经网络模型中的周期二循环

Period-two cycles in a feed-forward layered neural network model with symmetric sequence processing

在一个精确可解的前馈分层神经网络模型中研究了主导顺序相互作用的影响，该模型由一个Hebbian部分和一个对称顺序项组成。得到了定态的相图，并发现了周期为2的循环关联态的新相位，对于弱Hebbian项，与凝聚模式的数目$c$无关。

有限连接吸引子神经网络

Finite Connectivity Attractor Neural Networks

我们研究一个家庭的稀释吸引子神经网络与有限的平均数（对称）连接每个神经元。在有限连接自旋玻璃，它们的平衡性质描述的序参量函数，我们推导出一个积分方程的副本对称（RS）近似。该方程的分叉分析揭示了顺磁到回忆和顺磁到自旋玻璃化转变线在相图中的位置。在零温度下计算分离回收相和自旋玻璃相的线。所有的相变被发现是连续的。

多任务联想网络

Multitasking associative networks

我们介绍了一个二分的，稀释和沮丧，网络作为一个稀疏的限制玻尔兹曼机，我们显示了它的物理等效的联想工作记忆能够并行检索多个模式，而不会陷入典型的虚假状态的经典神经网络。我们专注于系统并行处理有限（对数增长的体积）的模式量，反映了低级别的存储标准的Amit Gutfreund Sompolinsky理论。通过统计力学、信噪比技术和蒙特卡罗模拟获得的结果总体上完全一致，并具有有趣的生物学见解。事实上，这些关联网络为理解复杂系统（例如神经网络和免疫网络）所表达的多任务特征铺平了新的视角。

有限连通度序列处理神经网络的平均场动力学

Mean-field dynamics of sequence processing neural networks with finite connectivity

本文将最近提出的Hopfield型全连接神经网络序列处理的动态平均场论（During，Coolen and Sherrington，1998）推广到具有有限连通性的对称稀释网络。得到了宏观观测量的动力学方程和定态方程，并与有限连通的分层前馈网络中的单模式恢复问题建立了精确等价关系。

复杂网络中的长混沌暂态

Long Chaotic Transients in Complex Networks

我们表明，长的混沌瞬态占主导地位的随机稀释网络的脉冲耦合振荡器的动态。这与在全局耦合单元网络中发现的极限环吸引子的快速收敛形成对比。瞬态的长度强烈地依赖于网络的连通性和变化的几个数量级，在中间的连通性的最大瞬态长度。瞬态的动态表现出一种新的形式的鲁棒同步。近似的最大李雅普诺夫指数表征的瞬态动力学的混沌性质的分析计算。

On the number of limit cycles in asymmetric neural networks

The comprehension of the mechanisms at the basis of the functioning of complexly interconnected networks represents one of the main goals of neuroscience. In this work, we investigate how the structure of recurrent connectivity influences the ability of a network to have storable patterns and in particular limit cycles, by modeling a recurrent neural network with McCulloch-Pitts neurons as a content-addressable memory system. A key role in such models is played by the connectivity matrix, which, for neural networks, corresponds to a schematic representation of the "connectome": the set of chem…

感知器的极限环

Limit cycles of a perceptron

人工神经网络可以用来生成一系列数字。布尔感知器产生具有周期结构的比特序列。相应的频谱周期长度的分析和数值研究，它有相似之处的有理数的性质。

噪声训练的最优自适应多状态神经网络

Optimally adapted multi-state neural networks trained with noise

在嘈杂的检索环境中的适应原则在这里扩展到一个稀释的吸引子神经网络的Q-状态神经元训练与嘈杂的数据。该网络适应于适当的噪声训练重叠和训练活动，其由优化的检索吸引子重叠和活动自洽地确定。优化的存储容量和相应的检索器重叠显着增强了适当的阈值的状态。明确的结果，改进的最佳性能和新的检索器相图获得Q=3和Q=4，在很宽的阈值范围内共存的阶段。大多数有趣的结果是稳定的复制对称性破缺波动。

存储多种空间表征的吸引子神经网络：海马位置场模型

Attractor neural networks storing multiple space representations: a model for hippocampal place fields

分析了一个存储多个空间映射或“图表”的递归神经网络模型。这种类型的网络被认为是啮齿动物海马体中位置细胞起源的模型。研究了极端稀释和完全连通的极限，发现了存储容量和信息容量，确定网络性能的重要参数是空间表示的稀疏性和连通性程度，正如在自联想网络的一般理论中已经发现的那样。这些结果表明，不同动物物种的海马功能理论之间存在定量的相似性，例如灵长类动物（情景记忆）和啮齿类动物（空间记忆）。

非对称神经网络的松弛、闭合概率和从振荡吸引子到混沌吸引子的转变

Relaxation, closing probabilities and transition from oscillatory to chaotic attractors in asymmetric neural networks

具有确定性并行动力学的非对称神经网络中的吸引子在对称性eta < 0.5时呈现“混沌”状态，其中平均周期长度随系统大小呈指数增长，在高对称性时呈现振荡状态，其中典型周期长度为2。我们表明，无论是与分析参数和数值，有一个急剧的过渡，在临界对称性$\e_c=0.33$，在一个阶段，其中典型的周期有长度2和吸引力盆地消失的重量和一个阶段，其中典型的周期是指数长与系统的大小，和他们的吸引力盆地的重量分布在一个随机映射与反转对称。达到循环的时间尺度随着系统大小$N$呈指数增长，并且指数在对称极限中为零，其中$T\propto N^{2/3}$。这种转移可以与无限系统的动力学（其中永远不会达到循环）相关，使用闭合概率作为工具。我们还研究了功能$E(t)=-1/N\sum_i |h_i(t)|$的弛豫，其中$h_i$是神经元$i$经历的局部场。在对称系统中，它扮演一个Ljaps函数的角色，通过最陡下降驱动系统朝向其最小值。这种解释即使只是在平均值上，也适用于小的不对称性。这就像一个有效温度：不对称性越大，$E$的弛豫越快，达到的渐近值越高。$E$在动力学的不动点中达到非常深的最小值，这是以消失概率达到的，并且在典型吸引子上达到更大的值，这是长度为2的循环。

拓扑结构对神经网络性能的影响

Influence of topology on the performance of a neural network

研究了具有不同拓扑结构的吸引子神经网络的计算特性。尽管全连接神经网络总体上表现出良好的性能，但它们在生物学上是不现实的，因为自然进化不太可能导致如此大的连接性。我们证明，在有限的温度下，存储和检索二进制模式的能力是更高的无标度（SF）拓扑结构的ANN比高度随机稀释Hopfield网络具有相同数量的突触。我们还表明，在零温度下，SF网络的相对性能随着分布幂律指数的值的增加而增加。我们的研究结果的一些后果和可能的应用进行了讨论。

相关随机图上的神经网络

Analogue neural networks on correlated random graphs

我们考虑Hopfield模型的推广，其中模式的条目是高斯和稀释的。我们专注于高存储制度，我们调查分析的拓扑性质的紧急网络，以及模型的热力学性质。我们发现，通过适当调整模式条目中的稀释度，网络可以恢复不同的拓扑制度，其特征在于相对于系统大小的平均配位数的特殊缩放。该结构也显示出表现出很大程度的集团性，即使在非常稀疏。此外，我们得到明确的副本对称自由能和自洽方程的重叠（序参量的理论），这原来是经典的加权和'子重叠'定义在所有可能的子图。最后，通过一个小的重叠扩展的自相关性和通过一个整体的波动理论开发的重新缩放的相关性进行研究的临界性：这两种方法表明，在模式条目中的稀释的净效应是重新缩放的临界噪声水平，遍历性打破。

循环神经网络中的慢演化几何I：极端稀释区

Slowly evolving geometry in recurrent neural networks I: extreme dilution regime

我们研究了神经网络的极度稀释的自旋模型，其中连接性随时间演变，尽管与神经元相比，速度较慢，但根据平均旨在减少挫折的随机方程。（快）神经元和（慢）连接变量分别平衡，但在不同的温度下。我们的模型在平衡态下是完全可解的。我们得到的相图后，使浓缩的ananalogue（即召回一个模式）。这些表明，随着连接性温度的降低，检索相的体积发散，并且未对准的自旋的分数减少。仍然总是保留一个区域中的检索阶段，回忆状态以外的一个对应的“浓缩”模式是局部稳定的，所以我们的模型的联想记忆字符被保存。

吸引子神经网络的信息与拓扑

Information and Topology in Attractor Neural Network

广泛的网络，包括小世界拓扑，可以通过链路的连通性$γ$和随机性$ω$来建模。神经网络的学习能力和吸引能力都可以通过互信息（MI）来衡量，作为负载率和模式与检索状态之间重叠的函数。我们使用MI搜索最佳拓扑结构，存储和吸引子的网络属性。我们发现，虽然最大的存储意味着一个最佳的$MI(γ,ω)$在$γ_{opt}(ω)\to 0$，最大的吸引盆地导致一个最佳的拓扑结构在中等水平的$γ_{opt}$，每当$0\leqω<0.3$。该$γ_{opt}$与网络的集群和路径长度有关。我们还建立了一个图的动力学阶段与随机和本地初始重叠，并表明非常稀释的网络失去吸引子的能力。

类比神经网络中序参量的约束条件

Constraints for the order parameters in analogical neural networks

本文利用平衡态统计力学研究了模式连续存储（高斯分布）的Hopfield神经网络的内能性质。该模型被证明是相当于一个二分自旋玻璃，其中一方是由二分神经元和高斯自旋变量的另一方。处理复制系统，除了马蒂斯磁化，我们引入了两个重叠，一个为每一方，作为理论的序参量：第一个是不同副本上的神经配置之间的标准重叠，第二个是不同副本的高斯自旋之间的重叠。这项工作的目的是显示这些序参量的约束的存在，接近在许多其他复杂系统中发现的自旋玻璃和稀释网络：我们发现一类Ghirlanda-Guerra的身份重叠，概括了众所周知的约束的神经网络，以及新的身份，其中明确涉及噪声。

三态神经网络：从互信息到哈密顿量

Three-state neural network: from mutual information to the hamiltonian

对于平均场结构，可以精确地获得三状态神经网络的互信息I，作为三个宏观参数的函数：重叠、神经活动和{ \em活动重叠}，即仅限于活动神经元的重叠。我们在重叠和活动重叠上执行I的扩展，围绕它们的值，神经元几乎独立于模式。从这个扩展，我们得到一个表达式的哈密顿优化检索性能的这个系统。该哈密顿量具有无序的Blume-Emery-Griffiths模型的形式。作为这种网络的一个特殊性质，我们看到即使没有重叠，信息也可以存活。因此，模式的吸引池和检索能力比Hopfield网络大得多。对极稀相进行了分析，绘制了信息曲线，建立了相图。

具有非单调传递函数的神经网络中的混沌

Chaos in neural networks with a nonmonotonic transfer function

用宏观变量流方程分析描述了具有非单调传递函数的稀释神经网络的时间演化。宏观动力学表现出丰富多样的行为：不动点、周期性和混沌。我们详细研究了奇异吸引子的结构，特别是我们研究了稳定和不稳定流形的主要特征，吸引子的双曲性和同宿交点的存在。我们还讨论了混沌的鲁棒性的问题，我们证明，在本模型中的混沌行为是脆弱的（混沌区域密集插入周期性窗口），根据最近讨论的猜想。最后，我们进行了分析的微观行为，特别是我们研究的发生损伤扩散的时间演化研究两个几乎相同的初始配置。我们表明，对于任何选择的参数的两个初始状态保持微观不同。

Universal computation using localized limit-cycle attractors in neural networks

Neural networks are dynamical systems that compute with their dynamics. One example is the Hopfield model, forming an associative memory which stores patterns as global attractors of the network dynamics. From studies of dynamical networks it is well known that localized attractors also exist. Yet, they have not been used in computing paradigms. Here we show that interacting localized attractors in threshold networks can result in universal computation. We develop a rewiring algorithm that builds universal Boolean gates in a biologically inspired two-dimensional threshold network with randomly…

延迟耦合多层laser网络群同步中的相变

Phase transition in crowd synchrony of delay-coupled multilayer laser networks

提出了群体同步和多层神经网络架构之间的类比。它表明，许多不同的动力学元件（振荡器）通过一些中介（枢纽）间接通信可以同步时，延迟耦合到枢纽的数量或耦合的强度是足够大的。使用以完全连接或稀释的方式光学延迟耦合到固定数量的不相同的中心集线器激光器的半导体激光器的系统来模拟这种现象。观察到一个普遍的相变人群同步与滞后，实现同步的时间发散的临界耦合附近的枢纽的数量无关。

非互易联想神经网络中无限动力学吸引子的存储

Storing Infinite Dynamical Attractors in Nonreciprocal Associative Neural Networks

本文提出非互易联想网络的动力学平均场理论，发现耦合矩阵特征值退相干可抵消噪声，从而大幅提升极限环和混沌吸引子的存储容量。

完全非对称神经网络中的吸引子

Attractors in fully asymmetric neural networks

在退火近似的框架中计算了完全非对称神经网络（即具有完全不相关的突触）中的周期长度和吸引盆的权重的统计特性，该框架是我们先前为研究考夫曼网络而引入的。我们的结果表明，该模型的行为本质上是一个具有反转对称性的随机映射。与数值计算结果的比较表明，该近似在无限尺寸极限下是精确的。