Mutual Information and the Edge of Chaos in Reservoir Computers
储层计算机是可用于执行计算的动态系统。油藏计算机通常由一组在网络中耦合在一起的非线性节点组成，因此存在反馈路径。训练储层计算机包括输入感兴趣的信号和将储层计算机节点的时间序列信号拟合到与输入信号相关的训练信号。据信，动力系统在“混沌边缘”，即动力系统的最大李雅普诺夫指数从负转变为正的点，作为计算机最有效地运行。在这项工作中，我模拟了几个不同的水库计算机，并询问最佳性能是否真的出现在混乱的边缘。我发现，虽然它是可能的，以获得最佳的性能在混沌的边缘，也可能有参数值的混沌政权的边缘产生不良的性能。这种模糊的参数依赖性对从模拟物理系统构建油藏计算机具有影响，其中参数范围受到限制。
2019-07-19 cs.NE nlin.AO
Optimal Machine Intelligence at the Edge of Chaos
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；National University of Singapore（新加坡国立大学）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）；NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）
长期以来，人们一直认为，生物大脑在两个不同阶段之间的某个临界点上运行，可能是秩序和混乱。尽管有许多来自大脑的间接经验证据和对简单神经网络的分析指示，但这一关于通用非线性系统的假设的基础仍然不清楚。在这里，我们开发了一个通用的理论，揭示了确切的边缘的混沌之间的边界的混沌阶段和（伪）周期阶段所产生的Neimark-Sacker分岔。该边由非线性算子的渐近雅可比范数值解析确定，并受系统维数的影响。混沌边缘的最优性与输入和输出之间的最高信息传递有关，类似于Logistic映射。作为经验验证，我们对计算机视觉中各种深度学习模型的实验证明了模型在混沌边缘附近的最优性，我们观察到最先进的训练算法将模型推向这种边缘，因为它们变得更加准确。我们通过渐近稳定性进一步建立了对深度学习模型泛化的理论理解。
2020-10-29 cs.LG cs.NE nlin.AO
Controlling Chaos Using Edge Computing Hardware
The Ohio State University（俄亥俄州立大学）；ResCon Technologies, LLC
本研究提出基于下一代储层计算的非线性控制器，可将混沌系统控制至任意时变状态，且模型小、功耗极低，能在嵌入式FPGA硬件上运行，为高效机器学习算法部署到边缘计算迈出第一步。
2024-05-08 cs.LG cs.NE
The Expressivity and Training of Deep Neural Networks: toward the Edge of Chaos?
Shanghai Jiao Tong University（上海交通大学）；NVIDIA Corporation（英伟达公司）；University of California（加利福尼亚大学）
表达性是评估神经网络的最重要的问题之一。本文从深层神经网络（DNN）的动态模型出发，定量分析了DNN的表达能力，并利用Hilbert空间分析了DNN的收敛性和临界性。我们研究了几个广泛使用的激活函数的特征映射，通过Hermite多项式获得，发现急剧下降，甚至鞍点的特征空间，这停滞了DNN中的信息传递。然后，我们提出了一个新的激活函数设计的基础上，更好地利用空间表示的埃尔米特多项式。此外，我们分析了DNN的信息传递，强调输入和拓扑结构之间的不匹配引起的收敛问题。我们还研究了输入扰动和正则化算子对临界表达性的影响。我们的理论分析表明，DNN使用空间域来表示信息，并随着深度的增加而演化到混沌的边缘。在实际训练中，一个特定的网络最终能否到达混沌边缘，取决于它克服收敛并将信息传递到所需网络深度的能力。最后，我们通过多变量时间序列预测和图像分类的例子证明了所提出的假设的经验性能。
2019-12-23 cs.LG cs.NE stat.ML
Optimal short-term memory before the edge of chaos in driven random recurrent networks
Tokyo Woman’s Christian University（东京女子基督教大学）；University of Tokyo（东京大学）
利用平均场论研究了离散时间非线性递归神经网络存储时变小输入信号的能力。小输入强度和平均场假设的组合使得有可能导出给定过去输入信号的神经元状态的条件概率密度的近似表达式。从这个条件概率密度，我们可以分析计算短期记忆的措施，如记忆容量，互信息，和费舍尔信息，并确定这些措施之间的关系，这还没有澄清到目前为止，我们的知识。我们发现，这些短期记忆措施的网络贡献的混沌边缘之前，输入驱动的网络的动态是稳定的，但相应的系统没有输入信号是不稳定的。
2019-12-24 cond-mat.dis-nn cs.LG cs.NE
Introducing Astrocytes on a Neuromorphic Processor: Synchronization, Local Plasticity and Edge of Chaos
虽然还有很多关于星形胶质细胞及其在神经元活动的时空整合中的神经调节作用的知识需要学习，但它们引入神经形态硬件是及时的，有利于它们在基础科学问题中的计算探索以及在现实世界中的应用。在这里，我们提出了一个星形胶质细胞模块，使尖峰神经元星形胶质细胞网络（SNAN）到英特尔的Loihi神经形态芯片的发展。Loihi模块的基础是星形胶质细胞的端到端生物药理学上合理的房室模型，其模拟响应于空间和时间中的突触活动的细胞内活动。为了证明星形胶质细胞在SNAN中的功能作用，我们描述了星形胶质细胞如何感知和诱导活动依赖性神经元同步，打开和关闭尖峰时间依赖性可塑性（STDP）以引入单次学习，并监测突触空间有序和混沌活动之间的过渡。我们的模块可以作为神经形态硬件的扩展，通过复制或探索星形胶质细胞在形成生物智能中的独特计算角色。
2019-09-19 cs.NE q-bio.NC
Intelligence at the Edge of Chaos
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；Northwestern University（西北大学）；Idaho State University（爱达荷州立大学）
本文通过在基本元胞自动机上训练LLM，发现规则复杂性与模型智能呈正相关，且存在最有利于智能涌现的复杂性最佳点，推测智能源于预测复杂性的能力。
2025-03-01 cs.AI cs.NE
Dropout Universality: Scaling Laws and Optimal Scheduling at the Edge-of-Chaos
Lucas Fernandez Sarmiento
提出 dropout 作为临界信号传播扰动的平均场理论，发现前端加载的 dropout 调度在固定预算下可将 MLP 和 Vision Transformer 的测试损失降低 18-35%，并推导出相关缩放定律与普适类。
2026-09-30 cond-mat.dis-nn cs.LG cs.NE
Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity
Rutgers University（罗格斯大学）
液态机（LSM）结合了低训练复杂度和生物可扩展性，这使其成为边缘和类脑计算范例的有吸引力的机器学习框架。LSM最初是作为大脑计算的模型提出的，它在没有梯度反向传播的情况下调整其内部权重，这导致与多层神经网络相比性能较低。神经科学的最新发现表明，星形胶质细胞，一种长期被忽视的非神经元脑细胞，调节突触可塑性和大脑动力学，将大脑网络调整到有序和混沌之间的计算最佳临界相变附近。受这种对大脑网络如何自我调节的颠覆性理解的启发，我们提出了神经元-星形胶质细胞液态机（NALSM），它通过自组织的近临界动力学来解决表现不佳的问题。与其生物学对应物类似，星形胶质细胞模型整合了神经元活动，并为尖峰时间依赖性可塑性（STDP）提供了全局反馈，STDP围绕与混沌边缘相关的关键分支因子自组织NALSM动力学。我们证明了NALSM实现了最先进的精度与可比的LSM方法，而不需要特定于数据的手动调整。在MNIST上的最高准确率为97.61%，在N-MNIST上为97.51%，在Fashion-MNIST上为85.84%，NALSM实现了与当前通过反向传播训练的全连接多层脉冲神经网络相当的性能。我们的研究结果表明，大脑启发的机器学习方法的进一步发展有可能达到深度学习的性能，并在边缘支持强大且节能的类脑计算。
2021-10-26 cs.CV cs.LG cs.NE
Optimal input representation in neural systems at the edge of chaos
Departamento de Electromagnetismo y Física de la Materia（电磁学与物质物理系）；Instituto Carlos I de Física Teórica y Computacional（卡洛斯一世理论与计算物理研究所）；Universidad de Granada（格拉纳达大学）
阐明生物系统如何在嘈杂的环境中表示，处理和存储信息是一个关键和具有挑战性的目标。一个令人兴奋的，尽管有争议的假设提出，在相变边缘附近的动力学机制中操作，即在临界或“混沌边缘”，可以为信息处理生命系统提供重要的操作优势，例如，鲁棒性和灵活性之间的最佳折衷。在这里，我们阐述了最近的理论结果，它建立了一个强大的方式表示复杂的输入的神经网络的协方差矩阵的频谱需要衰减的秩的幂律，与指数接近统一，一个结果，确实已经实验验证了在小鼠视觉皮层的神经元。为了理解和模仿这些结果，我们构建了一个人工神经网络，并训练它来分类图像。值得注意的是，我们发现当网络在临界点附近运行时，在这样的任务中获得最佳性能，在临界点处，协方差矩阵的特征谱与实际神经元的统计数据相同。因此，我们的结论是，近临界操作也可以有-除了通常声称的优点-允许灵活，强大和有效的输入表示的优势。
2021-07-12 cond-mat.dis-nn cs.LG cs.NE
Mean Field Residual Networks: On the Edge of Chaos
Microsoft Research AI（微软研究院人工智能）；Google Brain（谷歌大脑）
本文利用平均场理论和差分方程理论研究了随机初始化的残差网络。经典的前馈神经网络，例如那些具有双曲正切激活的神经网络，当向前传播输入或向后传播梯度时，平均表现出指数行为。指数前向动力学导致输入空间几何的快速崩溃，而指数后向动力学导致急剧消失或爆炸梯度。相反，我们表明，通过添加跳跃连接，网络将根据非线性，采用次指数向前和向后动态，在许多情况下，实际上是多项式。这些多项式的指数是通过解析方法得到的，并通过经验证明和验证是正确的。根据“混沌边缘”假设，这些次指数和多项式定律允许残差网络“徘徊在稳定和混沌之间的边界”，从而保持输入空间的几何形状和梯度信息流。在我们的实验中，对于我们在这里研究的每个激活函数，我们用不同的超参数初始化残差网络，并在MNIST上对它们进行训练。值得注意的是，我们的初始化时间理论可以通过跟踪梯度爆炸的预期量或两个输入向量的图像之间的预期平方距离来准确预测这些网络的测试时间性能。重要的是，我们表明，理论上以及经验，常见的初始化，如Xavier或他的计划是不是最佳的剩余网络，因为最佳的初始化方差取决于深度。最后，我们通过将ReLU函数的幂核与第二类零贝塞尔函数联系起来，推导出了几个新的恒等式，从而做出了数学贡献。
2017-12-24 cond-mat.dis-nn cs.LG cs.NE
Slow Transition to Low-Dimensional Chaos in Heavy-Tailed Recurrent Neural Networks
Allen Institute（艾伦研究所）；Princeton University（普林斯顿大学）
该研究针对重尾突触权重的循环神经网络，通过有限尺寸分析发现其混沌转变更缓慢但吸引子维数更低，揭示了混沌边缘鲁棒性与神经活动丰富度的生物学权衡，并提供了有限尺寸重尾神经回路动力学的分析框架。
2025-10-24 cs.NE physics.bio-ph q-bio.NC
Evolving Neural Networks through a Reverse Encoding Tree
BGI-Shenzhen（深圳华大基因研究院）；Georgia Institute of Technology（佐治亚理工学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institute（卡罗林斯卡学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
NeuroEvolution是最具竞争力的进化学习框架之一，用于设计用于特定任务的新型神经网络，如逻辑电路设计和数字游戏。然而，基准方法的应用，如增强拓扑的神经进化（NEAT）仍然是一个挑战，在其计算成本和搜索时间效率低下。本文提出了一种结合拓扑边编码的方法，称为反向编码树（RET），以有效地进化可扩展神经网络。使用RET，两种类型的方法- NEAT与二进制搜索编码（Bi-NEAT）和NEAT与黄金分割搜索编码（GS-NEAT）-已被设计用于解决基准连续学习环境中的问题，如逻辑门，Cartpole和Lunar Lander，并以经典NEAT和FS-NEAT为基线进行测试。此外，我们进行了鲁棒性测试，以评估所提出的NEAT算法的弹性。结果表明，提出的两种策略提供了更好的性能，其特征在于：（1）在有限数量的时间步长内获得更高的累积奖励;（2）在目标环境中使用更少的事件来解决问题;（3）在噪声扰动下保持自适应鲁棒性，在所有测试案例中均优于基线。我们的分析还表明，在动态环境中，RET扩展潜在的未来研究方向。代码可从https://github.com/HaolingZHANG/ReverseEncodingTree获得。
2020-03-31 cs.AI cs.LG cs.NE
An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos
该研究将非平衡稳态搜索转化为优化问题，用与动力学速度相关的近似势、Langevin 动力学及 replica 方法推导稳态序参量，并复现混沌边缘结果。
2024-06-07 cond-mat.stat-mech cs.NE q-bio.NC
