We introduce a differentiable random access memory module with $O(1)$ performance regardless of size, scaling to billions of entries. The design stores entries on points of a chosen lattice to calculate nearest neighbours of arbitrary points efficiently by exploiting symmetries. Augmenting a standard neural network architecture with a single memory layer based on this, we can scale the parameter count up to memory limits with negligible computational overhead, giving better accuracy at similar cost. On large language modelling tasks, these enhanced models with larger capacity significantly outperform the unmodified transformer baseline. We found continued scaling with memory size up to the limits tested.
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Microsoft Corporation(微软公司)
Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization
Research Center for Mathematical Engineering, Chiba Institute of Technology(千叶工业大学数学工程研究中心);International Research Center for Neurointelligence (WPI-IRCN), The University of Tokyo(东京大学国际神经智能研究中心(WPI-IRCN));NEC Corporation(日本电气公司)
HiMA: A Fast and Scalable History-based Memory Access Engine for Differentiable Neural Computer
University of Michigan(密歇根大学)
记忆增强神经网络(MANN)在外部记忆的帮助下,在许多任务中提供更好的推理性能。最近开发的可微神经计算机(DNC)是一种MANN,已被证明在表示复杂的数据结构和学习长期依赖关系方面表现出色。DNC的更高的性能来自于新的基于历史的注意力机制,除了以前使用的基于内容的注意力机制。基于历史的机制需要各种新的计算原语和状态存储器,这是不支持现有的神经网络(NN)或MANN加速器。我们提出了HiMA,一个平铺的,基于历史的内存访问引擎与分布式存储器在瓷砖。HiMA采用多模式片上网络(NoC)来减少通信延迟并提高可扩展性。一个最佳的子矩阵明智的内存分区策略,以减少的NoC流量的量,和一个两阶段的使用排序方法,利用分布式瓦片,以提高计算速度。为了使HiMA从根本上可扩展,我们创建了一个分布式版本的DNC,称为DNC-D,允许几乎所有的内存操作都应用于本地内存,并通过可训练的加权求和来产生全局内存输出。两个近似技术,使用撇取和softmax近似,提出了进一步提高硬件效率。HiMA原型在RTL中创建,并在40 nm技术中合成。通过模拟,HiMA运行DNC和DNC-D的速度比最先进的MANN加速器高6.47倍和39.1倍,面积效率高22.8倍和164.3倍,能源效率高6.1倍和61.2倍。与Nvidia 3080 Ti GPU相比,HiMA在运行DNC和DNC-D时的加速分别高达437倍和2,646倍…
外部神经记忆结构最近已经成为算法深度学习的流行工具(Graves et al. 2014,Weston et al. 2014)。这些模型通常利用传统离散存储器访问结构(随机访问,堆栈,磁带)的可区分版本来提供计算任务所需的存储。在这项工作中,我们认为,这些神经记忆系统缺乏特定的结构重要的相对索引,并提出了一种替代模型,李访问内存,这是明确设计的神经设置。在这个范例中,使用键空间流形中的连续头部来访问存储器。头部通过李群动作移动,例如由控制器生成的移位或旋转,并且通过密钥空间中的线性平滑来执行存储器访问。我们认为,李群提供了一个自然的推广离散记忆结构,如图灵机,因为它们提供逆和身份运营商,同时保持可微性。为了实验这种方法,我们实现了一个简化的李访问神经图灵机(LANTM)与不同的李群。我们发现,这种方法能够在一系列算法任务上表现良好。
State-Space Constraints Can Improve the Generalisation of the Differentiable Neural Computer to Input Sequences With Unseen Length
Area Knowledge Discovery, Know-Center Research GmbH(区域知识发现,Know-Center Research GmbH);Department of Microsystems Engineering, University of Freiburg(微系统工程系,弗赖堡大学);Institute of Machine Learning and Neural Computation, Graz University of Technology(机器学习与神经计算研究所,格拉茨技术大学)
AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT
Center for AI Research, VinUniversity, Vietnam(越南 Vin 大学人工智能研究中心);VinRobotics, Vietnam(越南 Vin 机器人公司);Intelligent Autonomous Systems, TU Darmstadt, Germany(德国图恩-达姆施塔特技术大学智能自主系统)