Quantum Superposition Inspired Spiking Neural Network
尽管人工智能模型取得了进展,但神经网络仍然无法达到人类的表现,部分原因是与人脑相比,信息的编码和处理方式存在差异。人工神经网络(ANN)中的信息使用统计方法来表示,并被处理为拟合函数,使得能够处理图像、文本和语音处理中的结构模式。然而,对数据的统计特征的实质性改变,例如,反转图像的背景,显著地降低性能。在这里,我们提出了一个量子叠加脉冲神经网络(QS-SNN)的灵感来自量子机制和大脑中的现象,它可以处理图像背景颜色反转。QS-SNN从计算的角度将量子理论与大脑启发的脉冲神经网络模型相结合,与传统的ANN模型相比,其性能更鲁棒,特别是在处理噪声输入时。这里展示的结果将为未来开发大脑启发的人工智能提供信息。
2021-11-17 cs.NE
A CMOS Spiking Neuron for Brain-Inspired Neural Networks with Resistive Synapses and In-Situ Learning
纳米电阻存储器有望为大规模神经形态系统的电子突触密集整合提供动力。为了实现这种大脑启发的计算芯片,需要一种紧凑的CMOS尖峰神经元,其在驱动大量电阻性突触的同时执行原位学习和计算。本文提出了一种新型的漏积分激发神经元设计,该设计实现了电流积分和突触驱动的双模操作,使用单个运算放大器,并实现了交叉电阻突触的原位学习。该设计采用0.18 $μ$ m CMOS工艺实现。测量显示神经元驱动一千个电阻性突触的能力,并展示了原位联想学习。神经元电路占据0.01 mm $^2$的小面积,并且具有9.3 pJ $/$锋电位$/$突触的能量效率。
2015-11-24 cs.NE
HDTest: Differential Fuzz Testing of Brain-Inspired Hyperdimensional Computing
脑启发超维计算(Brain-inspired hyperdimensional computing,HDC)是一种新兴的计算范式,其模仿大脑认知并利用具有完全分布式全息表示和(伪)随机性的超维向量。与其他机器学习(ML)方法(如深度神经网络(DNN))相比,HDC提供了几个优点,包括高能效,低延迟和一次性学习,使其成为广泛应用的有前途的替代候选者。然而,HDC模型的可靠性和鲁棒性尚未得到探索。在本文中,我们设计,实现和评估HDTest测试HDC模型自动暴露意外或不正确的行为下罕见的输入。HDTest的核心思想是基于引导差分模糊测试。根据HDC中查询超向量和参考超向量之间的距离,HDTest不断地改变原始输入以生成新的输入,这些输入可以触发HDC模型的错误行为。与传统的ML测试方法相比,HDTest不需要手动标记原始输入。以手写数字分类为例,我们证明了HDTest可以生成数千个对抗性输入,这些输入具有可以忽略不计的扰动,可以成功地欺骗HDC模型。平均而言,HDTest可以在商品计算机上运行一分钟内生成大约400个对抗性输入。最后,通过使用HDTest生成的输入来重新训练HDC模型,我们可以增强HDC模型的鲁棒性。据我们所知,本文提出了第一次系统地测试这种新兴的大脑启发的计算模型的努力。
2021-03-15 cs.NE
A unified software/hardware scalable architecture for brain-inspired computing based on self-organizing neural models
受生物学和神经科学领域发现的启发,人工智能领域在过去几十年中取得了重大进展。这项工作的想法是受到人类大脑皮层区域从传入和横向/内部连接的自组织过程的启发。在这项工作中,我们开发了一个原始的大脑启发的神经模型,将自组织映射(SOM)和Hebbian学习关联在可重入SOM(ReSOM)模型中。该框架适用于多模态分类问题。与现有的基于后标记的无监督学习方法相比,该模型增强了最先进的结果。这项工作还通过仿真结果和在基于FPGA的专用平台SCALP(可自配置3D蜂窝自适应平台)上的硬件执行来演示该模型的分布式和可扩展性。SCALP板可以以模块化的方式互连,以支持神经模型的结构。这种统一的软件和硬件方法使得处理能够被缩放,并且允许来自若干模态的信息被动态地合并。硬件板上的部署提供了在多个设备上并行执行的性能结果,每个板之间通过专用串行链路进行通信。由ReSOM模型和SCALP硬件平台组成的拟议统一架构显示,由于多模态关联,准确性显著提高,并且与集中式GPU实现相比,延迟和功耗之间具有良好的权衡。
2022-01-06 cs.NE
A Brain-Inspired Perception-Decision Driving Model Based on Neural Pathway Anatomical Alignment
针对传统自动驾驶感知决策缺乏可解释性与鲁棒性的问题,提出基于神经通路解剖对齐的脑启发驾驶框架,结合脑启发感知与决策技术,显著提升多任务性能并成功实现端到端自动驾驶。
2025-02-22 cs.NE cs.RO
Brain-inspired Distributed Cognitive Architecture
在本文中,我们提出了一个大脑启发的认知架构,包括感官处理,分类,上下文预测和情感标签。认知架构被实现为三个模块化的Web服务器,这意味着它可以集中部署或跨网络部署服务器。这些实验揭示了两种不同的行为操作,即高和低显着性操作模式,它们密切地模拟了大脑中的注意力。除了对皮层进行建模之外,我们还证明了生物启发的架构可以提高处理效率。该软件已作为开源平台发布,未来的研究团队可以轻松扩展。该研究为生物现实的注意力方向和感觉选择奠定了基础,我们相信这是实现生物现实的人工智能系统的关键一步。
2020-05-18 cs.NE q-bio.NC
Research Advances and New Paradigms for Biology-inspired Spiking Neural Networks
本文探讨了脉冲神经网络(SNNs)在计算仿真与人工智能领域的历史发展与交叉融合,分析了其在DVS、DAS及BCI等新范式下的关键特性与优势,指出SNN与脑科学的双向正反馈交互将加速类脑智能技术发展。
2024-08-28 cs.NE
Incorporating brain-inspired mechanisms for multimodal learning in artificial intelligence
受大脑逆有效性现象启发,本文提出IEMF动态多模态融合策略,在视听分类、持续学习和问答任务及ANN、SNN上验证其性能、泛化性与最高50%的计算成本降低。
2025-05-15 cs.NE
Stochastic Synapses Enable Efficient Brain-Inspired Learning Machines
最近的研究表明,突触的不可靠性是一个强大的和足够的机制,诱导在皮层观察到的随机性。在这里,我们介绍突触采样机,一类神经网络模型,使用突触随机性作为蒙特卡洛采样和无监督学习的手段。类似于玻尔兹曼机的原始公式,这些模型可以被视为Hopfield网络的随机对应物,但其中随机性是由连接上的随机掩码引起的。突触随机性扮演着双重角色,一个有效的采样机制,以及学习过程中的正则化器,类似于DropConnect。局部突触可塑性规则实现了事件驱动形式的对比发散,使生成模型的学习在线的方式。突触采样机使用离散时间的人工单元(如Hopfield网络)或连续时间的漏积分和激发神经元表现同样出色。学习的表示是非常稀疏和鲁棒的位精度和突触修剪的减少:删除超过75%的最弱的连接,然后粗略的重新学习,导致基准分类任务的性能损失可以忽略不计。基于尖峰神经元的突触采样机优于现有的基于尖峰的无监督学习器,同时可能在功率和复杂性方面提供实质性的优势,因此是有前途的模型,用于在大脑启发的硬件中进行在线学习。
2016-12-15 cs.NE
Brain-inspired Evolutionary Architectures for Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
本文提出一种脑启发的脉冲神经网络进化架构,结合局部模块化结构与全局跨模块连接,并利用基于少样本预测器的多目标进化算法,在多个数据集上实现了高性能与低能耗。
2023-09-11 cs.AI cs.NE
Brain-inspired AI Agent: The Way Towards AGI
本文提出类脑AI智能体概念,从人脑机制提取兼容智能体的皮层功能与连接网络以实现类人基础认知,同时分析了其实现局限、挑战及未来方向,为AGI发展提供新路径。
2024-12-12 cs.ET cs.NE q-bio.NC
A brain-inspired generative model for EEG-based cognitive state identification
本文提出融合脉冲注意力网络与VAE的脑启发生成模型,通过梯度学习和异联想记忆混合训练,实现EEG分类、生成与脑网络解释,并以低计算成本取得高准确率。
2025-06-11 cs.NE eess.SP
A CMOS Spiking Neuron for Dense Memristor-Synapse Connectivity for Brain-Inspired Computing
密集集成CMOS尖峰神经元和纳米级忆阻器突触的神经形态系统开辟了一条新的脑启发计算途径。现有的硅神经元已经塑造了神经生物物理动力学,但与忆阻器突触不兼容,或者使用额外的训练电路,从而消除了使用忆阻器获得的大部分密度优势,或者能量效率低下。在这里,我们描述了一种新的CMOS尖峰泄漏积分和消防神经元电路。建立在具有单个运算放大器的可重构架构上,所描述的神经元容纳大量忆阻器突触,并且使得能够以优化的功耗进行在线尖峰定时依赖可塑性(STDP)学习。180 nm CMOS设计的仿真结果显示,在10,000个标称忆阻为1MΩ的忆阻器突触中实现STDP学习时,功率效率指标为97%,积分输入尖峰时的电流消耗仅为13μA。因此,所描述的CMOS神经元有助于大规模脑启发神经形态系统的通用构建块。
2015-06-08 cs.ET cs.NE
Advanced Computing and Related Applications Leveraging Brain-inspired Spiking Neural Networks
本文综述了脉冲神经网络在脑启发人工智能中的核心计算与应用,系统分析了五种神经元模型、五种网络拓扑结构及多类学习算法,并重点回顾了国内外类脑神经形态芯片的研究进展,为该领域新手提供学习概念与研究方向。
2023-09-08 cs.AI cs.NE
A differentiable brain simulator bridging brain simulation and brain-inspired computing
School of Software Engineering, Beijing Jiaotong University(北京交通大学软件学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院)
本文提出基于JAX和XLA的可微分脑模拟器BrainPy,通过稀疏事件驱动算子、突触抽象、多尺度建模接口和面向对象即时编译,弥合脑模拟与类脑计算之间的鸿沟。
2024-02-22 cs.AI cs.NE q-bio.NC
Using brain inspired principles to unsupervisedly learn good representations for visual pattern recognition
University of Lisbon(里斯本大学)
虽然深度学习解决了视觉模式识别中的难题,但它在有大量标记训练数据的任务中大多是成功的。此外,基于全局反向传播的训练规则和所采用的层的数量表示偏离生物灵感。大脑能够以非常一般的方式执行大多数这些任务,从有限到没有标记的数据。出于这些原因,研究大脑中的计算原理仍然是一个关键的研究问题,这些原理可以帮助指导模型在无监督的情况下学习良好的表示,然后可以用于执行分类等任务。在这项工作中,我们探索这些原则中的一些产生这样的表示MNIST数据集。我们比较所获得的结果与最近的类似作品,并验证极具竞争力的结果。
2021-04-30 cs.CV cs.NE
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China(微电子学院 中国科学技术大学)
本文提出一种受大脑启发的反馈调节残差循环神经网络(FRE-RNN),通过减少谱半径加速收敛,显著降低计算成本,性能与反向传播相当,同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Quantum-Inspired Computing: Can it be a Microscopic Computing Model of the Brain?
量子计算和大脑的工作有许多共同之处,并且在学术界和工业界引起了越来越多的关注。两者的计算都是并行和非离散的。尽管潜在的物理动力学(例如,运动方程)可能是确定性的,但是观察到的或解释的结果通常是概率性的。因此,已经进行了各种研究,以了解和再现基于量子物理学和计算的大脑。然而,关于大脑是否能够并且必须利用需要在室温下的宏观时空区域中生存的量子现象,一直存在争议。本文提出了一个独特的微观计算模型的基础上,大脑计算的方式类似于量子计算,但与经典波。对数尺度编码的信息在计算的上下文中与波所示的桥梁的计算模型与经典和量子波中发挥了至关重要的作用。我们受量子启发的计算模型为超越量子机器学习方法统一人工智能和量子计算的计算框架提供了可能性。
2019-11-13 cs.ET cs.NE q-bio.NC
Memory-Augmented Graph Neural Networks: A Brain-Inspired Review
Intel Labs, Intel Corporation(英特尔公司英特尔实验室)
本文从心理学与神经科学视角综述记忆增强型 GNN,提出分类体系和记忆机制比较标准,并讨论现有局限、挑战与未来方向。
2023-07-14 cs.AI cs.LG cs.NE
HDXplore: Automated Blackbox Testing of Brain-Inspired Hyperdimensional Computing
Villanova University(维拉诺瓦大学)
受人脑工作方式的启发,新兴的超维计算(HDC)正受到越来越多的关注。HDC是一种新兴的基于大脑工作机制的计算方案,它利用深层的、抽象的神经活动模式而不是实际的数字进行计算。与DNN等传统ML算法相比,HDC更以内存为中心,具有模型大小相对较小、计算成本较低和一次性学习等优点,使其成为低成本计算平台中有前途的候选者。然而,HDC模型的鲁棒性还没有得到系统的研究。在本文中,我们通过开发HDXplore,一个基于黑盒差分测试的框架,系统地揭示了HDC模型的意外或不正确的行为。我们利用多个具有类似功能的HDC模型作为交叉引用Oracle,以避免手动检查或标记原始输入。我们还提出了不同的扰动机制在HDXplore。HDXplore自动发现HDC模型的数千个不正确的极端情况行为。我们提出了两种再训练机制,并使用HDXplore生成的角点案例来重新训练HDC模型,我们可以将模型精度提高9%。
2021-05-26 cs.LG cs.NE
Brain-Inspired Deep Networks for Image Aesthetics Assessment
Beckman Institute(贝克曼研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图像美学评价因其主观性而具有挑战性。受人类视觉感知和神经美学的科学进步的启发,我们设计了大脑启发的深度网络(BDN)来完成这项任务。BDN首先通过并行监督路径学习属性,在各种选定的特征维度上。训练一个高级合成网络,将这些属性关联并转换为整体美学评级。然后,我们将BDN扩展到预测人类评级的分布,因为美学评级往往是主观的。另一个亮点是我们首次在美学评估的背景下研究了标签保持转换,这导致了一种有效的数据增强方法。在AVA数据集上的实验结果表明,与具有相同或更高参数容量的其他最先进的模型相比,我们的生物启发和特定任务的BDN模型获得了显着的性能改善。
2016-03-15 cs.CV cs.LG cs.NE
Higgs Boson Classification: Brain-inspired BCPNN Learning with StreamBrain
KTH Royal Institute of Technology(瑞典皇家理工学院)
受大脑模型启发的机器学习技术是数据分析和探索大型数据集的最有前途的方法之一。这种方法使用替代的学习规则可能比建立的学习规则更有效。在这项工作中,我们专注于大脑启发的ML利用高性能计算(HPC)资源来解决ML问题的潜力:我们讨论了BCPNN和HPC实现,称为StreamBrain,其计算成本,对HPC系统的适用性。作为一个例子,我们使用StreamBrain来分析来自高能物理的希格斯玻色子数据集,并在高能粒子对撞机的碰撞中区分背景和信号类。总体而言,我们达到了69.15%的准确度和76.4%的曲线下面积(AUC)性能。
2021-08-17 cs.CE cs.DC cs.LG
Seeing is Believing: Brain-Inspired Modular Training for Mechanistic Interpretability
MIT(麻省理工学院)
本文提出BIMT,通过几何嵌入和连接长度代价促进神经网络模块化,使其结构肉眼可见,从而增强机制可解释性。
2023-06-06 cond-mat.dis-nn cs.AI cs.LG
Brain-Inspired Stigmergy Learning
Stigmergy算法在分布式控制、鲁棒性和适应性等方面具有很大的优越性,被认为是解决大规模群体控制问题的理想方法。本文基于星形胶质细胞在脑内调节突触传递的新发现,将stigmergy机制映射到突触之间的相互作用中,并探讨了stigmergy机制的特点和优势。特别地,我们将非直接连接的突触之间的相互作用分为三个阶段,并提出了一个stigmergic学习模型。在这个模型中,一个信号源的状态变化将扩大其影响力,影响其他的状态。相互作用的强度取决于神经活动的水平以及stigmergy代理之间的距离。在环境丰富的星形胶质细胞的形态和功能的变化的启发,这是可能的,调节stigmergy剂之间的距离在stigmergy学习过程中起着至关重要的作用。仿真结果验证了它的重要性,并表明良好的调节的距离stigmergy代理可以帮助获得stigmergy学习增益。
2018-11-20 cs.NE q-bio.NC
Boosting Brain-inspired Path Integration Efficiency via Learning-based Replication of Continuous Attractor Neurodynamics
本文提出基于表示学习模型复制连续吸引子神经网络动力学模式的方法,提升路径整合效率,实验表明在通用设备和边缘设备上分别提升了17.5%和40-50%的效率,同时定位精度与NeuroSLAM相当。
2026-04-10 cs.LG cs.NE
Boosting Reservoir Computing with Brain-inspired Adaptive Dynamics
University of Maryland(马里兰大学);National Institute of Mental Health(美国国家精神卫生研究院);Santa Fe Institute(圣塔菲研究所)
针对储备池计算机(RCs)超参数敏感及忽略神经元E-I平衡的问题,引入局部E/I平衡自适应机制和脑启发异质性放电率,提升其在记忆容量等任务的性能达130%,推动RC设计向动态适应转变。
2025-04-16 cs.LG cs.NE q-bio.NC
Hierarchical Residuals Exploit Brain-Inspired Compositionality
Frankfurt Institute for Advanced Studies(法兰克福高级研究所);Xidian-FIAS International Joint Research Center(西电-法兰克福高级研究所国际联合研究中心)
提出层次残差网络,通过模仿大脑皮层下到皮层的直接连接,在多种架构中提升准确率和学习速度,实现层次组合性。
2025-02-21 cs.AI cs.LG cs.NE
Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment
Rochester Institute of Technology(罗切斯特理工学院)
本文综述了受神经生物学启发的信用分配算法,提出统一分类法,将其归为六个家族,并对比误差反向传播,旨在促进神经模拟系统发展及跨学科融合。
2023-12-23 cs.LG cs.NE q-bio.NC
Brain-Inspired Hardware for Artificial Intelligence: Accelerated Learning in a Physical-Model Spiking Neural Network
Kirchhoff Institute for Physics, Heidelberg University(海德堡大学基尔霍夫物理研究所);Department of Physiology, University of Bern(伯尔尼大学生理学系);University of Bern(伯尔尼大学);Heidelberg University(海德堡大学);Kirchhoff Institute for Physics(基尔霍夫物理研究所)
人工智能的未来发展将受益于新的、非传统的大脑启发计算基底的存在。神经形态计算机的目标是提供这样一种基底,以再现大脑在自适应、低功耗信息处理方面的能力。我们提出了BrainScaleS-2混合信号神经形态系统的原型芯片的结果,该系统采用物理模型方法,相对于生物实时的,脉冲神经网络动力学加速1000倍。使用嵌入式可塑性处理器,我们都模拟乒乓街机视频游戏,并实现了本地可塑性规则,使强化学习,允许片上神经网络学习玩游戏。实验证明了所采用的方法的关键方面,如加速和灵活的学习,高能效和抗噪声能力。
2019-10-01 cs.AI cs.ET cs.NE
Photonic neural field on a silicon chip: large-scale, high-speed neuro-inspired computing and sensing
光子神经网络在低延迟和超低能耗的高速神经处理方面具有巨大的潜力。然而,大规模神经网络的片上实现仍然是具有挑战性的,由于其低的可扩展性。在此,我们提出了光子神经场的概念,并在硅芯片上实验性地实现了它,以实现高度可扩展的神经启发计算。与现有的光子神经网络相比,光子神经场是一个空间连续的场,非线性地响应于光输入,其高空间自由度允许在毫米级芯片上进行大规模和高密度的神经处理。在这项研究中,我们使用片上的光子神经场作为一个水库的信息,并展示了一个高速混沌时间序列预测与低误差使用类似的储备池计算的训练方法。我们讨论的光子神经场是潜在的能够执行一个以上的千倍乘累加操作每秒为一个单一的输入波长上的足迹小到几平方毫米。除了处理之外,光子神经场还可以用于快速感测光学相位的时间变化,这得益于其对光输入的高灵敏度。光学处理与光学传感的融合为端到端数据驱动的光学传感方案铺平了道路。
2021-05-22 cs.ET cs.NE physics.app-ph
EnHDC: Ensemble Learning for Brain-Inspired Hyperdimensional Computing
Villanova University(维拉诺瓦大学)
包围学习是一种经典的学习方法,它利用一组弱学习者形成强学习者,旨在提高模型的准确性。近年来,脑启发超维计算(HDC)成为一种新兴的计算范式,在人类活动识别、话音识别和生物医学信号分类等领域取得了成功。HDC模仿大脑认知并利用高维向量(例如,10000维),具有完全分布式的全息表示和(伪)随机性。本文介绍了在HDC的背景下,探索集成学习的第一次努力,并提出了第一个集成HDC模型称为EnHDC。EnHDC使用基于多数投票的机制来协同整合多个基本HDC分类器的预测结果。为了增强基分类器的多样性,我们改变基分类器之间的编码机制,尺寸和数据宽度设置。通过在广泛的应用中应用EnHDC,结果表明,EnHDC可以实现平均3.2%的准确性提高比一个单一的HDC分类器。此外,我们表明,EnHDC与降低维数,例如,1000个维度,可以实现类似或甚至超过具有更高维度的基线HDC的精度,例如,一万个维度。这使得HDC模型的存储需求减少了20%,这是在低功耗计算平台上启用HDC的关键。
2022-03-25 cs.AI cs.NE
Brain-inspired feature exaggeration in generative replay for continual learning
University of Bath(巴斯大学)
灾难性遗忘以前学习过的类是成功开发可靠和准确的生成持续学习模型的主要障碍之一。当学习新的类时,以前学习的类的内部表示通常会被覆盖,导致模型对早期类的“记忆”随着时间的推移而丢失。神经科学的最新发展揭示了一种方法,通过这种方法,大脑可以避免自己的记忆干扰。通过有针对性地夸大相似但相互竞争的记忆特征之间的差异,大脑可以更容易地区分和回忆它们。在本文中,这种夸张的应用,通过属于竞争类的重放样本的排斥,探索。通过“重建排斥”损失的发展,本文提出了一种新的最先进的性能,在类增量学习数据集CIFAR100中的早期类的分类。
2021-11-23 cs.AI cs.LG cs.NE
Brain-Inspired Learning on Neuromorphic Substrates
神经形态硬件致力于模拟类脑神经网络,因此有望实现对时间数据流的可扩展、低功耗信息处理。然而,要解决现实世界的问题,这些网络需要训练。然而,由于基于梯度的学习算法的离线特性和所需的非局部计算,在神经形态基底上的训练产生了显著的挑战。本文提供了一个数学框架的设计实用的在线学习算法的神经形态基板。具体来说,我们展示了实时递归学习(RTRL),一种用于计算传统递归神经网络(RNN)中梯度的在线算法,与用于训练脉冲神经网络(SNN)的生物学上合理的学习规则之间的直接联系。此外,我们激励基于块对角雅可比矩阵的稀疏近似,这降低了算法的计算复杂性,减少了非局部信息的要求,并根据经验导致良好的学习性能,从而提高其适用性神经形态基板。总之,我们的框架弥合了突触可塑性和深度学习中基于梯度的方法之间的差距,并为未来神经形态硬件系统上强大的信息处理奠定了基础。
2020-10-22 cs.LG cs.NE
Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations
Massachusetts Institute of Technology(麻省理工学院)
受大脑丘脑皮层回路启发,提出一种利用推理时优化动态生成任务表示的持续学习算法,通过交替更新模型权重与潜在嵌入缓解遗忘并实现知识迁移。
2023-02-26 cs.AI cs.NE
Univariate Radial Basis Function Layers: Brain-inspired Deep Neural Layers for Low-Dimensional Inputs
INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔分部);LJK(格勒诺布尔计算机科学实验室);UGA(格勒诺布尔阿尔卑斯大学)
本文提出单变量径向基函数层(U-RBF),一种脑启发式深度神经网络层,用于低维输入,在函数回归和强化学习中优于MLPs,尤其适合复杂目标函数。
2024-02-02 cs.LG cs.NE
Brain-Inspired Spike Echo State Network Dynamics for Aero-Engine Intelligent Fault Prediction
Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
针对传统航空发动机参数预测方法忽略数据时空特征的问题,提出类脑脉冲回声状态网络模型,通过脉冲输入层、脉冲储备池与岭回归实现时空特征捕捉与状态预测,实验验证了其优越性与潜力。
2024-06-14 cs.LG cs.NE
Brain-inspired learning in artificial neural networks: a review
Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学);Intel Labs(英特尔实验室);ML Collective(机器学习联盟);The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);University of Maryland, College Park(马里兰大学帕克分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文综述了人工神经网络中类脑学习的表示方法,探讨整合突触可塑性等生物学机制以增强网络能力,并分析了该方法的潜在优势、挑战及未来研究方向。
2023-05-18 cs.AI cs.LG cs.NE
Interpretable Brain-Inspired Representations Improve RL Performance on Visual Navigation Tasks
Ruhr-University Bochum(波鸿鲁尔大学)
本文提出利用受神经科学启发的慢特征分析(SFA)方法生成可解释的视觉表示,以编码智能体的位置和朝向,从而克服传统方法中缺乏归纳偏置和误差累积的问题,并在现代强化学习视觉导航任务中展现出优于其他特征提取器的性能。
2024-02-19 cs.LG cs.NE cs.RO
Ultrafast single-channel machine vision based on neuro-inspired photonic computing
本文提出一种基于随机时间编码的无图像传感器单通道机器视觉框架,结合光子储备池计算实现千兆赫兹级高速图像识别、异常检测与成像,突破了传统图像传感器帧率限制。
2023-02-15 cs.ET cs.NE eess.IV
Hopfield Networks Meet Big Data: A Brain-Inspired Deep Learning Framework for Semantic Data Linking
Oklahoma State University(俄克拉荷马州立大学);Stanford University(斯坦福大学)
提出受大脑启发的分布式认知框架,结合深度学习与Hopfield networks,在Hadoop架构上实现语义数据链接,通过联想记忆机制动态调整关系,提升大规模数据消歧与集成准确性。
2025-03-05 cs.AI cs.DC cs.LG
DDDM: a Brain-Inspired Framework for Robust Classification
Institute of Neuroscience, Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心神经科学研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心);University of Science and Technology of China(中国科学技术大学)
尽管深度人工神经网络在广泛的现实任务中表现出色,但它对输入噪声非常敏感,特别是对抗性扰动。相反,人类和动物的大脑就不那么脆弱了。与大多数深度神经网络执行的一次性推理相反,大脑通常通过证据积累机制来解决决策问题,当面对嘈杂的输入时,这种机制可能会以时间换取准确性。漂移-扩散模型(DDM)很好地描述了这一机制。在DDM中,决策被建模为一个过程,在这个过程中,有噪声的证据朝着一个阈值积累。受DDM的启发,提出了一种结合测试阶段丢弃和DDM的基于丢弃的漂移扩散模型(DDDM),用于提高任意神经网络的鲁棒性。丢弃在网络中产生时间上不相关的噪声,以对抗扰动,而证据积累机制则保证了合理的决策精度。在图像,语音和文本分类任务中测试的DDDM增强的神经网络都显着优于其本地同行,证明了DDDM作为针对对抗攻击的任务不可知防御。
2022-05-01 cs.LG cs.NE
Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework
University of California San Diego(加利福尼亚大学圣地亚哥分校);University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of Connecticut(康涅狄格大学);Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院);University of California Irvine(加利福尼亚大学欧文分校)
最近,受大脑启发的计算模型在鲁棒性和能源效率方面表现出了超越当今深度学习解决方案的巨大潜力。特别是,脉冲神经网络(SNN)和超维计算(HDC)在实现高效和鲁棒的认知学习方面已经显示出有希望的结果。尽管取得了成功,但这两种受大脑启发的模型具有不同的优势。虽然SNN模拟了人类大脑的物理特性,但HDC在更抽象和功能层面上对大脑进行建模。他们的设计理念展示了互补的模式,激发了他们的组合。借助经典的记忆心理学模型,我们提出了SpikeHD,这是第一个从根本上将脉冲神经网络和多维计算结合起来的框架。SpikeHD生成一个可扩展且强大的认知学习系统,可以更好地模仿大脑功能。SpikeHD利用脉冲神经网络,通过保留原始基于事件的尖峰数据的空间和时间相关性来提取低级特征。然后,它利用HDC操作SNN输出信号映射到高维空间,学习抽象信息,并分类数据。我们对一组基准分类问题的广泛评估表明,与SNN架构相比,SpikeHD提供了以下好处:(1)通过利用两阶段信息处理显着增强学习能力,(2)对噪声和故障具有很强的鲁棒性,(3)减少了网络规模和学习复杂信息所需的参数。
2021-10-01 cs.LG cs.NE
A Survey of Brain Inspired Technologies for Engineering
University of Cape Town(开普敦大学)
认知工程是一个多学科领域,因此很难找到一篇综述文章来巩固该领域的领先发展。技术进步的速度令人难以置信,这推动了认知工程可实现的边界。认知工程也有不同的方法,这是由于该领域的多学科性质和可能应用的广阔性。因此,研究界需要更频繁的审查,以跟上最新的趋势。在本文中,我们将讨论一些认知工程的方法,从整体上澄清不同方法背后的推理,并突出其优点和缺点。然后,我们将展示如何从看似脱节的观点中整合发展,以实现创造认知机器的相同目标。通过回顾在不同领域的主要贡献,并显示一个综合的方法的潜力,这项工作旨在帮助研究界设计更统一的方法和技术,开发认知机器。
2016-10-31 cs.AI cs.NE
Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning
CNRS(法国国家科学研究中心);LEAT(电子、天线与电信实验室)
皮质可塑性是使我们能够学习和适应环境的主要特征之一。事实上,大脑皮层通过结构和突触可塑性机制进行自我组织,这很可能是人类大脑发育的一个非常有趣的特征:多模式关联。尽管感觉形式的多样性,如视觉,声音和触觉,大脑达到相同的概念(收敛)。此外,生物学观察表明,当两者相关(发散)时,一种模态可以激活另一种模态的内部表征。在这项工作中,我们提出了可重入自组织映射(ReSOM),这是一种基于自组织映射和Hebbian学习的再入理论的脑启发神经系统。我们提出并比较了不同的计算方法的无监督学习和推理,然后量化增益的ReSOM在多模态分类任务。发散机制用于基于另一模态来标记一个模态,而收敛机制用于提高系统的整体精度。我们进行我们的实验上构建的书面/口头数字数据库和DVS/EMG手势数据库。所提出的模型上实现的细胞神经形态的架构,使分布式计算与本地连接。我们展示了由ReSOM引起的所谓硬件可塑性的增益,其中系统的拓扑结构不是由用户固定的,而是通过自组织沿着系统的经验学习的。
2020-09-02 cs.LG cs.NE q-bio.NC
Efficient Off-Policy Reinforcement Learning via Brain-Inspired Computing
University of California, Irvine(加州大学欧文分校);Intel Labs(英特尔实验室)
本文提出QHD,一种基于脑启发超维计算的离策略强化学习算法,在桌面和嵌入式平台上相比DQN实现12.3至34.6倍速度提升,同时保持更高或相当的奖励质量。
2023-06-21 cs.AI cs.LG cs.NE
A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning
NavInfo Europe(纳维信息欧洲公司);Eindhoven University of Technology(埃因霍温理工大学)
本文研究生物合理性神经网络中稀疏表征、赫布学习、突触巩固与激活回放等脑启发机制的协同作用,证明多机制互补架构可有效缓解人工神经网络的灾难性遗忘,实现持续学习。
2023-04-13 cs.AI cs.CV cs.LG
PaceLLM: Brain-Inspired Large Language Models for Long-Context Understanding
School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
PaceLLM通过引入持久活动机制和皮层专家聚类,解决大语言模型在长上下文中的信息衰减和语义碎片化问题,提升多文档问答和无限基准任务性能,扩展上下文长度至200K tokens。
2026-04-10 cs.CL cs.NE q-bio.NC
Brain-inspired global-local learning incorporated with neuromorphic computing
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
目前存在两种主要的学习方法,包括错误驱动的全局学习和面向神经科学的局部学习。将它们集成到一个网络中可以为多功能学习场景提供互补的学习能力。与此同时,类脑计算具有很大的潜力,但仍然需要大量有用的算法和算法硬件协同设计来发挥优势。在这里,我们报告了一个神经形态的混合学习模型,通过引入一个大脑启发的元学习范式和一个微分尖峰模型,结合神经元动力学和突触可塑性。它可以元学习局部可塑性,并接收自顶向下的监督信息进行多尺度协同学习。我们展示了该模型在多个不同任务中的优势,包括少样本学习,持续学习和神经形态视觉传感器的容错学习。它实现了比单一学习方法更高的性能,并显示出在赋予神经形态应用革命的希望。在Tianjic神经形态平台上,通过算法-硬件协同设计实现了混合模型,证明了该模型能够充分利用神经形态众核架构开发混合计算范型。
2021-06-22 cs.AI cs.NE q-bio.NC
Towards Brain Inspired Design for Addressing the Shortcomings of ANNs
NavInfo Europe(四维图新欧洲);Eindhoven University of Technology(埃因霍温理工大学)
受小脑神经元错误组织机制启发,提出基于树的ANN架构,通过个性化错误视图的独立神经元群体,在类别不平衡和有限数据下实现高效学习,降低捷径策略易感性,提升泛化能力。
2023-06-30 cs.AI cs.CV cs.LG
EON-1: A Brain-Inspired Processor for Near-Sensor Extreme Edge Online Feature Extraction
imec(荷蘭校際微電子研究中心);University of Twente(特温特大学);Technical University of Delft(代尔夫特理工大学);Maastricht University(马斯特里赫特大学);CNRS(法国国家科学研究中心)
针对边缘AI设备端在线学习开销大的问题,提出类脑处理器EON-1,集成脉冲神经网络实现近传感器在线特征提取,学习能耗开销仅1%且保持推理精度,支持实时低延迟处理高清流视频。
2024-06-25 cs.AI cs.ET cs.LG
Brain-Inspired Hyperdimensional Computing: How Thermal-Friendly for Edge Computing?
University of Stuttgart(斯图加特大学)
脑启发超维计算是一种新兴的机器学习方法。它基于二进制或双极性符号的大向量和一些简单的数学运算。HDC的承诺是为可穿戴设备等嵌入式系统提供高效的实现。虽然已经提出了快速实现,但尚未考虑边缘计算的其他约束。在这项工作中,我们的目标是回答边缘计算的热友好HDC是如何的。智能手表、智能眼镜甚至移动系统等设备由于体积有限,冷却预算有限。虽然HDC操作很简单,但向量很大,导致大量CPU操作,因此整个系统的负载很重,可能导致温度违规。在这项工作中,HDC对芯片的温度的影响进行了调查的第一次。我们测量了一个商用嵌入式系统的温度和功耗,并将HDC与传统的CNN进行了比较。我们发现,HDC导致高达6.8°C的温度升高,并导致高达47%的CPU节流。即使当HDC和CNN都以相同的吞吐量为目标时(即,虽然HDC每秒执行相似数量的分类),但由于更大的功耗,HDC仍然会导致更高的片上温度。
2022-04-05 cs.ET cs.LG cs.NE
The whole brain architecture approach: Accelerating the development of artificial general intelligence by referring to the brain
The Whole Brain Architecture Initiative(全脑架构倡议组织);The University of Tokyo(东京大学);RIKEN(理化学研究所)
大量计算机制(包括机器学习)的组合所创造的巨大设计空间是创建人工通用智能(AGI)的障碍。大脑启发的AGI开发,换句话说,减少设计空间,使其看起来更像生物大脑,这是通用智能的现有模型,是解决这个问题的一个有前途的计划。然而,个人很难设计出与整个大脑相对应的软件程序,因为理解大脑结构所需的神经科学数据是广泛而复杂的。全脑架构方法将大脑启发的AGI开发过程分为设计大脑参考架构(BRA)的任务-信息流和相应组件的图表-以及使用BRA开发每个组件的任务。这被称为BRA-driven development。另一个困难在于从神经科学数据中提取再现大脑认知行为功能所需的操作原理。因此,本研究提出了结构约束界面分解(SCID)方法,这是一种假设建立方法,用于创建与神经科学发现一致的假设组件图。这种方法已经开始应用于构建大脑的各个区域。接下来,我们将研究评估大脑启发软件的生物兼容性的方法。这种评估还将用于优先考虑与大脑相同区域相关的不同计算机制,这些机制应该合并。
2021-03-06 cs.AI cs.LG cs.NE
Brain-SAD: A Brain-Inspired Safe Autonomous Driving Control Framework with Dynamic Fear-Oriented Constraint on Dual-Policy
Nanjing University of Information Science & Technology(南京信息工程大学);University of Electronic Science and Technology of China(电子科技大学);Jiangsu Ocean University(江苏海洋大学)
针对现有约束强化学习在安全自动驾驶中约束静态化的问题,提出脑启发式Brain-SAD框架,通过动态恐惧信号生成双策略及动态约束,提升成功率与可靠性。
2026-09-30 cs.AI cs.CV cs.NE
In the realm of hybrid Brain: Human Brain and AI
本文提出受大脑启发的脑机接口(BI-BCIs),将脉冲神经网络与神经形态硬件结合,用于解码多模态神经信号、建模大脑信息处理并提升BCI稳定性与效率。
2024-01-17 cs.NE cs.SY eess.SY