Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning
Department of Computer Science University of Wisconsin-Whitewater(计算机科学系 威斯康星大学-惠蒂沃特)
受生物神经印迹机制启发,提出融入赫布可塑性显式记忆与稀疏注意力检索的ENN循环架构,性能与经典RNN类模型相当,且可解释性显著提升。
2025-07-29 cs.AI cs.IR cs.LG
Understanding Hidden Memories of Recurrent Neural Networks
Hong Kong University of Science and Technology(香港科技大学)
循环神经网络(RNN)已成功应用于各种自然语言处理(NLP)任务,并取得了比传统方法更好的结果。然而,缺乏对其有效性背后的机制的理解限制了其架构的进一步改进。在本文中,我们提出了一种可视化分析方法,用于理解和比较NLP任务的RNN模型。我们提出了一种技术来解释功能的个人隐藏的状态单元的基础上,他们的预期响应输入文本。然后,我们根据预期的响应对隐藏状态单元和单词进行联合聚类,并将联合聚类结果可视化为内存芯片和单词云,以提供关于RNN隐藏状态的更多结构化知识。我们还提出了一个基于聚合信息的基于字形的序列可视化,以分析RNN隐藏状态的行为。我们的方法的可用性和有效性证明,通过案例研究和领域专家的评论。
2017-10-30 cs.AI cs.CL
Halting Recurrent GNNs and the Graded $μ$-Calculus
Data Science Institute, Hasselt University, Belgium(哈瑟尔特大学数据科学研究所);School of Computer Science, University of Sheffield, UK(谢菲尔德大学计算机科学学院)
本文提出循环GNN的停机机制,证明其对图大小无感知的标准变体能表达分级μ-演算定义的所有节点分类器,并开发新近似语义与计数算法实现该模型。
2025-08-13 cs.AI cs.LG cs.LO
3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
包括机器人、数字内容创建和可视化在内的各种应用的成功需要从有限的传感器数据中对3D世界进行结构化和抽象的表示。受人类感知的3D形状作为一个简单的部分集合的性质的启发,我们探索这样一个抽象的形状表示基元的基础上。给定对象的单个深度图像,我们提出了3D-PRNN,这是一种生成递归神经网络,它合成了由一组图元组成的多个看似合理的形状。我们的生成模型编码常见的人造物体的对称特性,保持长期的结构一致性,并描述了不同的复杂性与紧凑的表示对象。我们还提出了一种基于高斯场的方法来生成基于连续性的形状表示的大规模数据集,以训练我们的网络。我们评估了我们的方法在广泛的例子,并表明它优于最近邻的形状检索方法,并与基于体素的生成模型,同时使用一个显着减少的参数空间。
2017-08-04 cs.AI cs.CV cs.LG
Fast Training of Recurrent Neural Networks with Stationary State Feedbacks
Université Paris Dauphine - PSL(巴黎多芬大学-PSL);ESPCI PSL(巴黎高等物理化工学院-PSL)
本文提出用固定梯度反馈机制替代BPTT,基于平稳性假设和SSM原理定义反馈矩阵,在语言建模中降低训练成本并保持困惑度竞争力。
2025-03-29 cs.AI cs.LG
Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks
University of Rochester(罗切斯特大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Westlake University(西湖大学)
多跳阅读理解专注于一种类型的事实问题,其中系统需要适当地整合多个证据来正确回答问题。以前的工作近似全球的证据与当地的共指信息,编码共指链与DAG风格的GRU层内的门注意力读者。然而,共指在为丰富推理提供信息方面是有限的。我们介绍了一种新的方法,更好地连接全局证据,形成更复杂的图相比,DAG。为了在我们的图上进行证据集成,我们研究了两个最近的图神经网络,即图卷积网络(GCN)和图递归网络(GRN)。在两个标准数据集上的实验表明,更丰富的全局信息会导致更好的答案。我们的方法在这些数据集上的表现优于所有已发表的结果。
2018-09-06 cs.AI cs.CL
Group-based Bi-Directional Recurrent Wavelet Neural Networks for Video Super-Resolution
Sookmyung Women’s University(淑明女子大学);Sunmoon University(鲜文大学)
视频超分辨率(VSR)的目标是从低分辨率(LR)帧估计高分辨率(HR)帧。VSR的关键挑战在于有效利用帧内的空间相关性和连续帧之间的时间依赖性。然而,大多数以前的方法相同地对待不同类型的空间特征,并从分离的模块中提取空间和时间特征。它导致缺乏获得有意义的信息和增强精细细节。在VSR中,有三种类型的时间建模框架:2D卷积神经网络(CNN)、3D CNN和递归神经网络(RNN)。其中,基于RNN的方法适用于序列数据。因此,利用相邻帧的隐藏状态可以大大提高SR性能。然而,在递归结构中的每个时间步,基于RNN的先前工作限制性地利用相邻特征。由于每个时间步长的可访问运动范围很窄,因此恢复动态或大运动的缺失细节仍然存在限制。在本文中,我们提出了一个基于组的双向递归小波神经网络(GBR-WNN),有效地利用序列数据和时空信息的VSR。提出的基于组的双向RNN(GBR)时间建模框架是建立在具有图像组(GOP)的结构良好的过程上的。我们提出了一个时间小波注意力(TWA)模块,其中注意力的空间和时间的特点。实验结果表明,该方法实现了优越的性能相比,国家的最先进的方法,在定量和定性评价。
2021-06-14 cs.AI cs.CV
Gated Graph Sequence Neural Networks
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Microsoft Research(微软研究院)
图结构数据经常出现在包括化学、自然语言语义、社交网络和知识库的领域中。在这项工作中,我们研究了图结构输入的特征学习技术。我们的出发点是以前关于图神经网络的工作(Scarselli等人,2009),我们修改使用门控递归单元和现代优化技术,然后扩展到输出序列。结果是灵活且广泛有用的一类神经网络模型,其相对于纯粹基于序列的模型(例如,当问题是图结构时,使用LSTM。我们展示了一些简单的AI(bAbI)和图形算法学习任务的能力。然后,我们展示了它在程序验证问题上的最先进性能,其中子图需要与抽象数据结构相匹配。
2017-09-22 cs.AI cs.LG cs.NE
Learning meters of Arabic and English poems with Recurrent Neural Networks: a step forward for language understanding and synthesis
Helwan University(赫勒万大学)
对于大多数人来说,识别一篇文章是诗歌还是散文通常很容易;然而,只有专家才能确定一首诗属于哪一种格律。在本文中,我们建立了递归神经网络(RNN)模型,可以分类诗歌根据他们的米从纯文本。输入文本在字符级别进行编码,并直接输入到模型中,而无需手工制作功能。这是机器理解和语言综合的一个进步,特别是阿拉伯语。在阿拉伯语的16首诗米和英语的4首诗米中,网络能够正确分类诗歌,总体准确率分别为96.38%和82.31%。用于进行这项研究的诗歌数据集是巨大的,超过150万首诗歌,并从不同的非技术来源,几乎阿拉伯语和英语文学网站,并以不同的异构和非结构化格式抓取。这些数据集现在以干净,结构化和文档化的格式公开提供给其他未来的研究。据作者所知,这项研究是第一个解决分类诗米在机器学习的方法,一般来说,特别是在RNN基于无特征的方法。此外,该数据集是第一个公开可用的数据集,可用于未来的计算研究。
2019-05-07 cs.AI cs.CL cs.LG
3D Point Cloud Compression with Recurrent Neural Network and Image Compression Methods
Institute for Automotive Engineering (ika), RWTH Aachen University(亚琛工业大学汽车工程研究所(ika))
提出一种无损且校准的3D到2D转换方法,结合图像压缩和循环神经网络自监督深度压缩,有效压缩LiDAR点云数据,在定量和视觉性能上优于八叉树和原始数据压缩方法。
2024-02-18 cs.AI cs.CV eess.IV
Deep Learning for Anomaly Detection in Railway Systems: A Structured Survey
Université Polytechnique Hauts-de-France(上法兰西理工大学);Alstom(阿尔斯通);INSA Hauts-de-France(法国国立应用科学学院上法兰西分校);University of Sharjah(沙迦大学)
本文对铁路系统异常检测的深度学习方法进行结构化综述,提出统一分类法,并构建面向决策的框架以指导检测范式和部署配置的选择。
2026-10-02 cs.AI cs.LG
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary(威廉与玛丽学院);Northeastern University(东北大学);University of Southern California(南加州大学)
在移动设备上实现实时的【形】深度神经网络(DNN)推理是有吸引力但具有挑战性的,因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理,即,DNN权重稀疏性,并且期望设计一种新的DNN权重稀疏性方案,其可以促进移动设备上的实时的【形】推理,同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM,该框架通用于卷积神经网络(CNN)和递归神经网络(RNN),并实现了实时的【形】执行和高精度,利用细粒度结构化稀疏模型推理和编译器优化。首先,我们提出了一个新的细粒度结构稀疏方案,通过基于块的列行(BCR)修剪。基于这种新的细粒度结构稀疏性,GRIM框架由两部分组成:(a)用于实时的【形】移动推理的编译器优化和代码生成;(b)用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN,TVM,TensorFlow-Lite,基于CSR,PatDNN和ESE(RNN的代表性FPGA推理加速框架)的稀疏实现进行了比较,并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
Inferring brain plasticity rule under long-term stimulation with structured recurrent dynamics
Southern University of Science and Technology(南方科技大学);Center for Neurocognition and Social Behavior, Institute of Artificial Intelligence, SUAT(深圳大学人工智能学院神经认知与社会行为中心);Shenzhen Loop Area Institute(深圳河套学院)
STEER框架通过双时间尺度模型揭示长期刺激下脑回路重组的动态规律,提供可解释的可塑性规则推断方法。
2026-02-27 q-bio.NC
Theory of the asynchronous state of structured rotator networks and its application to recurrent networks of excitatory and inhibitory units
本研究将旋转子网络异步状态理论拓展至多群体结构化网络,推导了群体网络涨落自相关函数的微分方程,并应用于兴奋-抑制平衡循环神经网络,发现结构与异质性可调控网络噪声强度及时间关联。
2022-11-19 nlin.AO q-bio.NC
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则,用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Dynamics of random recurrent networks with correlated low-rank structure
大脑中给定的神经网络涉及许多不同的任务。这意味着,当考虑特定任务时,网络的连通性包含与任务相关的组件和可以被认为是随机的另一个组件。理解结构化和随机成分之间的相互作用,以及它们对网络动态和功能的影响是一个重要的开放问题。最近的研究解决了随机和结构化连接的共存,但认为这两个部分是不相关的。这种约束限制了动态性,并使随机连接不起作用。训练网络以执行特定任务的算法通常会生成结构和随机连通性之间的相关性。在这里,我们研究具有相关结构和随机分量的非线性网络,假设结构具有低秩。我们开发了一个分析框架,以建立精确的效果的相关性的特征值谱的联合连接。我们发现,频谱由大量和多个离群点,其位置是由我们的理论预测。利用平均场理论,我们表明,这些离群值直接决定了系统的不动点和它们的稳定性。总之,我们的分析阐明了相关性如何允许结构化和随机连接,以协同扩展网络可用的计算范围。
2019-12-23 q-bio.NC
Learning infinite context windows in recurrent architectures via spatial neural computing
UC San Diego(加州大学圣地亚哥分校);Northwestern University(西北大学);Massachusetts Institute of Technology(麻省理工学院)
该研究提出基于空间神经计算的二阶循环模型,将其等价为结构化无限阶RNN,通过约束梯度谱消除梯度问题,在长时序基准上性能优于其他循环模型且参数更少。
2026-10-09 cs.LG cs.SY eess.SY
Connectivity structure and dynamics of nonlinear recurrent neural networks
Zuckerman Institute, Columbia University(哥伦比亚大学祖克曼研究所);Kavli Institute for Brain Science, Columbia University(哥伦比亚大学卡弗里脑科学研究所);Center for Brain Science, Harvard University(哈佛大学脑科学中心)
本研究提出理论分析非线性递归神经网络中连接结构(如奇异值谱和模式重叠)对集体动力学的影响,发现活动维度仅由耦合方差和有效秩决定,并在果蝇连接组中验证了结构化重叠的作用。
2025-10-27 cond-mat.dis-nn cs.NE q-bio.NC
Microscopic instability in recurrent neural networks
以类似于气体稳定热力学的分子混沌的方式,神经元系统可能在单个神经元动力学中表现出微观不稳定性,而整个群体的宏观秩序可能保持稳定。在这项研究中,我们分析的微观稳定性的神经元网络的宏观活动服从稳定的动力学,表达单稳态,双稳态,或周期性状态。我们发现,该网络表现出各种动力学状态的微观不稳定性驻留在给定的稳定的宏观动力学。在这样一个简单的随机网络中存在着各种各样的动力学状态,这意味着在真实的神经网络中存在着更丰富的微观波动,而真实的神经网络由更复杂和层次结构化的相互作用组成。
2015-02-05 q-bio.NC
Structure of activity in multiregion recurrent neural networks
本文研究多脑区循环神经网络,利用低秩跨区连接与动力学平均场理论揭示区内高维活动和区间低维信号传输的结构,并提出通过激发而非抑制活动模式实现信号路由。
2025-01-08 cond-mat.dis-nn cs.NE q-bio.NC
Intrinsic adaptation in autonomous recurrent neural networks
大规模递归神经网络一方面对输入刺激做出响应,另一方面在没有感官输入的情况下自主活动。刺激和信息处理在很大程度上取决于正在进行的神经活动的动态状态的感受质。这种默认的神经活动可以在时间和空间上动态地构造,显示出规则的、同步的、突发的或混乱的活动模式。研究了非突触可塑性对循环神经网络默认动力学状态的影响。考虑的非突触自适应作用于内在神经参数,如阈值和增益,并由信息熵的优化驱动。我们观察到,在存在的内在适应过程中,三个不同的和全球吸引的动力学制度,定期同步,整体混乱和间歇性突发制度。间歇爆发制度的特点是定期流动的间隔,这是相当不敏感的外部刺激,interseeded由混沌爆发,敏感地响应输入信号。我们讨论这些发现的背景下,自组织信息处理和关键的大脑动力学。
2011-10-14 cond-mat.dis-nn nlin.AO nlin.CD
A Population-Level Analysis of Neural Dynamics in Robust Legged Robots
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究利用计算神经科学方法分析鲁棒足式机器人运动控制器的群体水平神经动力学,发现脆弱控制器因更多不稳定不动点导致平衡较差,且行走时循环状态呈低维结构化特征,对感觉输入依赖更强。
2023-06-27 cs.AI cs.LG cs.NE
Macroscopic Fluctuations Emerge in Balanced Networks with Incomplete Recurrent Alignment
具有随机连接的强耦合神经元网络表现出混沌的异步波动。在以前的工作中,我们表明,当赋予一个额外的低秩连接组成的正交向量的外积,这些网络产生大规模的相干波动。虽然这是一个惊人的现象,但其结果取决于对低秩结构的微调选择。在这里,我们通过将兴奋-抑制平衡理论推广到具有任意低秩结构的网络来扩展这项工作,并表明低维可变性本质上是通过我们所谓的不完全经常性对齐来出现的。我们说,一个低秩连接结构表现出不完全对齐,如果它的行空间不包含在它的列空间。在不完全对齐的情况下,递归连通性可以分解为子空间递归分量和有效前馈分量。我们发现,高维,微观波动传播通过有效的前馈组件到一个低维子空间,在那里他们是动态平衡的宏观波动。我们从生物学上提出了合理的例子,从兴奋抑制网络和网络的异质度分布。最后,我们定义的对齐矩阵之间的重叠左,右奇异向量的结构化连接,并表明,对齐矩阵的奇异值决定的宏观变化的幅度,而其奇异向量决定的结构。我们的工作表明,宏观波动可以出现在一般的强耦合网络与低秩结构。此外,通过将兴奋-抑制平衡推广到任意的低秩结构,我们的工作可以在任何具有强相互作用单元的环境中找到相关性,无论是在生物网络、社会网络还是技术网络中。
2021-03-11 nlin.CD q-bio.NC
On the low dimensional dynamics of structured random networks
使用广义随机递归神经网络模型,并通过扩展我们最近开发的平均场方法[J. Aljadeff,M。斯特恩,T。Sharpee,Phys. Rev. Lett. 114,088101(2015)],我们研究了网络连接结构与其低维动力学之间的关系。网络中的每个连接都是一个随机数,均值为0,方差取决于突触前和突触后神经元,通过它们的身份的足够平滑的函数$g$。我们发现,这些网络经历了一个相变,从一个沉默的混沌状态在一个临界点,我们推导出作为一个函数的$g$。在临界点以上,虽然单位激活水平是混沌的,但它们的自相关函数被限制在低维子空间。这提供了网络的结构和它的一些功能特性之间的直接联系。我们讨论的一般结果,神经科学,我们得到的支持频谱的连接矩阵与异构和可能相关的度分布,并生态学,我们研究的级联模型的稳定性食物网结构的例子应用。
2015-09-08 cond-mat.dis-nn q-bio.NC
Structured chaos shapes spike-response noise entropy in balanced neural networks
稀疏耦合的兴奋性和抑制性细胞的大型网络遍布整个大脑。这些网络的一个显著特征是它们是混沌的。这种混乱是如何在神经代码中表现出来的?具体来说,这种网络响应输入信号产生的尖峰模式有多可变?为了回答这个问题,我们推导出一个边界的熵的多细胞尖峰模式分布在大型经常性网络的尖峰神经元响应波动的输入。分析是基于随机动力系统理论的结果,并辅以详细的数值模拟。我们发现,尖峰模式熵是一个数量级低于从单细胞外推。尽管随着网络规模的增长,网络耦合变得越来越稀疏--这种现象取决于“广泛的混沌”,正如以前在没有刺激驱动的平衡网络中发现的那样。此外,我们还展示了尖峰模式熵是如何由输入的时间特征控制的。我们的发现提供了对神经网络如何在固有混沌动力学存在的情况下编码刺激的深入了解。
2014-02-22 math.DS nlin.CD physics.bio-ph