Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
University of Southern California（南加州大学）；Perforated AI Inc.（穿孔人工智能公司）
该研究提出受生物树突启发的穿孔反向传播算法，将其应用于PyTorch网络，可提升准确率并实现无精度损失的模型压缩。
2026-09-01 cs.LG cs.NE q-bio.NC
Understanding Attention: In Minds and Machines
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）
注意力是一个复杂而广泛的概念，跨人工智能、认知科学、心理学、神经科学和相关领域的多个学科进行研究。尽管这些领域中有关注意力的许多想法并没有显着重叠，但有一个共同的主题：对有限资源的适应性控制。在这项工作中，我们回顾了人工神经网络（ANN）中注意力的概念和变体。我们还讨论了起源的注意力从神经科学的角度来看，平行的人工神经网络。与其在不同学科之间进行看似脱节的对话，我们建议将这些想法建立在共同的概念框架上，以系统地分析注意力，并实现人工智能和神经科学中思想的可能统一。
2020-12-04 cs.AI cs.LG cs.NE
Neuroscience inspired scientific machine learning (Part-1): Variable spiking neuron for regression
Indian Institute of Technology Delhi（印度理工学院德里分校）
针对神经网络冗余信息传递导致功耗高的问题，本文提出一种融合LIF-SN与人工神经元的可变脉冲神经元（VSN），兼具间歇发放与连续激活特性，在低能耗下有效提升回归任务性能。
2023-11-15 cs.LG cs.NE
Applying Deutsch's concept of good explanations to artificial intelligence and neuroscience -- an initial exploration
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
自深度学习革命以来，人工智能已经取得了长足的进步，但人工智能系统仍然难以在其训练数据之外进行推断并适应新的情况。为了获得灵感，我们将目光投向科学领域，科学家们已经能够发展出一些理论，这些理论显示出非凡的外推能力，有时还能预测以前从未观察到的现象的存在。根据David Deutsch的说法，这种类型的外推，他称之为“范围”，是由于科学理论很难改变。在这项工作中，我们研究了Deutsch的难以改变的原则，以及它如何与深度学习中更形式化的原则，如偏差-方差权衡和奥卡姆剃刀。我们区分了内部可变性，即模型/理论可以在内部变化多少，同时仍然产生相同的预测，以及外部可变性，即模型必须变化多少才能准确预测新的，分布外的数据。我们讨论了如何使用罗生门集的大小来度量内部变异性，以及如何使用柯尔莫哥洛夫复杂度来度量外部变异性。我们通过观察人脑来探索难以改变的解释在智力中扮演的角色，并区分大脑中的两个学习系统。第一个系统的运作类似于深度学习，可能是大部分感知和运动控制的基础，而第二个系统是一个更具创造性的系统，能够对世界产生难以改变的解释。我们认为，弄清楚如何复制这个能够产生难以改变的解释的第二个系统，是实现人工通用智能需要解决的一个关键挑战。我们接触的框架Popperian认识论拒绝归纳，并断言，知识的产生是一个进化的过程，通过猜测和反驳。
2020-12-24 cs.AI cs.LG cs.NE
A Review of Neuroscience-Inspired Machine Learning
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Zyphra（齐法拉公司）；University of Oxford（牛津大学）；VERSES AI Research Lab（VERSES AI研究院）；TU Wien（维也纳技术大学）
本文综述了神经科学启发的机器学习算法，聚焦于替代反向传播的生物合理信用分配规则，并探讨了其在硬件实现和实际应用中的优势与挑战。
2024-02-16 cs.LG cs.NE
Neural population geometry: An approach for understanding biological and artificial neural networks
Center for Theoretical Neuroscience, Columbia University（哥伦比亚大学理论神经科学中心）
实验神经科学的进步已经改变了我们探索神经回路结构和功能的能力。与此同时，机器学习的进步释放了人工神经网络（ANN）的非凡计算能力。虽然这两个领域有不同的工具和应用程序，但它们提出了类似的挑战：即理解如何通过高维表示嵌入和处理信息，以解决复杂的任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状，即，神经元群体几何学。我们回顾了几何方法的例子，提供了深入了解生物和人工神经网络的功能：表示解开知觉，几何理论的分类能力，解开和抽象的认知系统，拓扑表示认知地图，动态解开运动系统，和一个动态的认知方法。总之，这些发现说明了机器学习，神经科学和几何学交叉的一个令人兴奋的趋势，其中神经元群体几何学提供了一个有用的群体级机械描述符底层任务的实现。重要的是，几何描述适用于感觉模态、大脑区域、网络架构和时间尺度。因此，神经元群体几何有可能统一我们对生物和人工神经网络的结构和功能的理解，弥合单个神经元，群体和行为之间的差距。
2021-11-20 cs.LG q-bio.NC
Updating the standard neuron model in artificial neural networks
Spanish National Research Council (CSIC)（西班牙国家研究理事会（CSIC））；Center for Research in Mathematics (CIMAT)（数学研究中心（CIMAT））；Universidad Autónoma de Madrid (UAM)（马德里自治大学（UAM））；National Science Foundation (NSF)（国家科学基金会（NSF））
本文用更真实的皮层细胞模型替代标准点神经元模型，在不增加参数的情况下，提升了人工神经网络的表达能力、鲁棒性和学习速度，并减少了记忆化和所需训练数据量。
2026-06-09 cs.AI cs.CV cs.LG
Neuroscience inspired scientific machine learning (Part-2): Variable spiking wavelet neural operator
Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出可变脉冲小波神经算子（VS-WNO），基于脉冲神经网络原理降低能耗，通过可变脉冲神经元促进稀疏通信，在处理力学偏微分方程回归任务中实现了向真实值的收敛。
2023-11-15 cs.LG cs.NE
Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
人脑中的神经网络如何表征常识知识，并完成相关的推理任务，是神经科学、认知科学、心理学和人工智能的重要研究课题。传统的人工神经网络使用固定长度的向量来表示符号，虽然在某些特定任务中获得了不错的性能，但它仍然是一个缺乏可解释性的黑盒子，与人类感知世界的方式相去甚远。受神经科学中的祖母细胞假说的启发，本文研究了群体编码和尖峰时间依赖可塑性（STDP）机制如何被整合到脉冲神经网络的学习中，以及一个神经元群体如何通过引导不同神经元群体之间完成顺序放电来表示一个符号。不同社区的神经元群体共同构成了整个常识知识图谱，形成了一个巨图脉冲神经网络。此外，我们引入了奖励调制尖峰时间依赖可塑性（R-STDP）机制来模拟生物强化学习过程，并相应地完成相关的推理任务，实现了与图卷积人工神经网络相当的精度和更快的收敛速度。对于神经科学和认知科学领域，本文的工作为进一步探索人类大脑表征常识知识的方式提供了计算建模的基础。在人工智能领域，通过构造一种常识性的知识表示和推理出具有坚实生物相容性的脉冲神经网络，为实现更健壮、更可解释的神经网络指明了探索方向。
2022-07-11 cs.AI cs.LG cs.NE
Analyzing biological and artificial neural networks: challenges with opportunities for synergy?
Facebook AI Research（脸书人工智能研究院）；DeepMind（深度思维）；Technical University of Munich（慕尼黑工业大学）
深度神经网络（DNN）在多个处理阶段转换刺激，以产生可用于解决复杂任务的表示，例如图像中的对象识别。然而，对他们如何实现这一目标的充分理解仍然难以捉摸。生物神经网络的复杂性大大超过了DNN的复杂性，这使得理解它们学习的表示更加具有挑战性。因此，机器学习和计算神经科学都面临着一个共同的挑战：我们如何分析它们的表示，以了解它们如何解决复杂的任务？我们回顾了计算神经科学家开发的数据分析概念和技术如何有助于分析DNN中的表示，反过来，最近开发的DNN分析技术如何有助于理解生物神经网络中的表示。我们探索这两个领域之间的协同作用的机会，例如使用DNN作为神经科学的计算机模型系统，以及这种协同作用如何导致关于生物神经网络的操作原理的新假设。
2018-10-31 cs.AI cs.CV cs.LG
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心）
受神经元放电自适应现象的启发，我们提出了一种无监督的注意力机制--正则化（RN），它根据最小描述长度（MDL）原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题，正则性归一化通过归一化因子（通用码长）来约束隐空间。我们在神经网络层上递增地计算这个通用代码，并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲，我们的方法在处理图像分类，经典控制，过程生成的强化学习，生成建模，手写生成和各种神经网络架构的问答任务中的有限，不平衡和非平稳输入分布方面优于现有的归一化方法。最后，无监督的注意力机制是神经网络的一个有用的探测工具，它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
Artificial Kuramoto Oscillatory Neurons
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
本研究提出人工仓本振荡神经元AKOrN作为阈值单元的动力学替代方案，通过广义仓本更新的同步动力学绑定神经元，可适配多种网络连接结构，在多类任务中提升性能，验证了动态表征的重要性。
2025-05-16 cs.AI cs.LG stat.ML
On the Performance of Concept Probing: The Influence of the Data (Extended Version)
NOVA LINCS, NOVA School of Science and Technology, NOVA University Lisbon, Portugal（NOVA LINCS、NOVA科学技术学院、NOVA里斯本大学，葡萄牙）
本文针对概念探测研究忽视训练数据影响的问题，在图像分类场景中考察探测训练数据对探测模型性能的作用，并为两个常用数据集发布概念标签。
2025-07-24 cs.AI cs.CV cs.LG
Control of synaptic plasticity via the fusion of reinforcement learning and unsupervised learning in neural networks
大脑可以学习快速有效地执行各种任务。然而，大多数使我们能够学习的机制都不清楚或非常复杂。最近，神经科学和人工智能做出了相当大的努力来理解和建模大脑惊人的学习能力背后的结构和机制。然而，在目前认知神经科学的理解中，人们普遍认为突触可塑性在我们惊人的学习能力中起着至关重要的作用。这种机制也被称为信用分配问题（CAP），是神经科学和人工智能（AI）中的一个基本挑战。神经科学家的观察清楚地证实了错误反馈系统和无监督学习这两种重要机制在突触可塑性中的作用。在此基础上，提出了一种融合强化学习（RL）和无监督学习（UL）的学习规则。在该计算模型中，利用非线性最优控制理论模拟误差反馈环系统，将输出误差映射到神经元的膜电位（神经元状态），并利用基于神经元膜电位或神经元活动的无监督学习规则模拟突触可塑性动力学，以保证输出误差最小.
2023-03-26 cs.AI cs.LG cs.NE
Listen to the Waves: Using a Neuronal Model of the Human Auditory System to Predict Ocean Waves
Leibniz Institute for Neurobiology（莱布尼茨神经生物学研究所）；Université de Pau et des Pays de l’Adour（波城与阿杜尔大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Lancaster University（兰卡斯特大学）；University of Bergen（卑尔根大学）
受海浪与声波的相似性启发，研究人员仿照大脑听觉系统 redesign 回声状态网络用于实时海浪预测，该工具计算量低、鲁棒性强、适配多海况，验证了神经科学与机器学习融合的优势。
2024-04-15 cs.LG cs.NE eess.SP
Exploring The Neural Burden In Pruned Models: An Insight Inspired By Neuroscience
University of Science and Technology of China（中国科学技术大学）；China Mobile(SuZhou)Software Technology Co.,Ltd.（中国移动（苏州）软件技术有限公司）
受神经科学启发，提出Neural Burden概念以解释训练期间剪枝导致的性能下降，并设计了一种通用且有效的方法来缓解该问题。
2024-07-27 cs.CV cs.LG cs.NE
Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds
Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所）；New York University（纽约大学）；Harvard University（哈佛大学）；Hebrew University of Jerusalem（希伯来大学）
本研究利用流形容量理论和流形对齐分析，通过神经群体几何揭示深度神经网络与猕猴神经记录中任务依赖流形的组织机制，弥合机制性与规范性理论的差距。
2023-12-21 cs.LG cs.NE q-bio.NC
Relating transformers to models and neural representations of the hippocampal formation
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）
许多松散地基于大脑网络的深度神经网络架构最近被证明可以复制在大脑中观察到的神经放电模式。Transformer神经网络是最令人兴奋和最有前途的新架构之一，它的开发没有考虑大脑。在这项工作中，我们表明，当配备重复位置编码时，Transformers可以复制海马结构精确调整的空间表示;最明显的是位置和网格细胞。此外，我们表明，这一结果并不令人惊讶，因为它与神经科学目前的海马模型密切相关。我们还表明，Transformer版本提供了显着的性能增益超过神经科学版本。这项工作继续绑定人工和大脑网络的计算，提供了对大脑皮层相互作用的新理解，并表明更广泛的皮层区域如何执行超出当前神经科学模型的复杂任务，如语言理解。
2022-03-15 cs.LG cs.NE q-bio.NC
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中，使其在广泛时间尺度上实现稳健学习，展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
A Unified Perspective on Optimization in Machine Learning and Neuroscience: From Gradient Descent to Neural Adaptation
本综述从优化视角统一梳理机器学习与神经科学的自适应机制，分类不同阶数导数的优化方法，分析零阶优化在神经网络训练中的潜力，并提出其可解释大脑学习机制、助力神经形态硬件设计。
2025-10-21 cs.LG
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica（数学研究中心）；McGill University（麦吉尔大学）；Mila（米拉）；University of Bristol（布里斯托大学）
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化，强化学习在机器学习和人工智能（AI）中也获得了突出地位，作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件，称为重放。重放对于生物神经网络中的记忆巩固非常重要，并且是稳定深度神经网络中学习的关键。在这里，我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明，重放如何支持学习过程，包括概括和持续学习，提供机会在两个领域转移知识，以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
From superposition to sparse codes: interpretable representations in neural networks
Cold Spring Harbor Laboratory（冷泉港实验室）；Australian National University（澳大利亚国立大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
针对神经网络特征叠加表示问题，提出包含可辨识性理论、稀疏编码和定量可解释性指标的三步理论框架，以从神经激活中提取与人类概念对齐的可解释特征。
2025-03-03 cs.LG
Artificial neural networks for neuroscientists: A primer
Center for Theoretical Neuroscience, Columbia University（哥伦比亚大学理论神经科学中心）；Center for Neural Science, New York University（纽约大学神经科学中心）
人工神经网络（ANN）是机器学习中的重要工具，在神经科学中引起了越来越多的关注。除了为数据分析提供强大的技术外，人工神经网络还为神经科学家提供了一种新的方法，可以为复杂行为、异构神经活动和电路连接建立模型，并以传统模型无法实现的方式探索神经系统的优化。在本教程中，我们介绍了人工神经网络，并展示了它们是如何卓有成效地用于研究神经科学问题的。我们首先讨论了人工神经网络的基本概念和方法。然后，重点是使这个数学框架更接近神经生物学，我们详细介绍了如何自定义人工神经网络的分析，结构和学习，以更好地解决大脑研究中的各种挑战。为了帮助读者获得实践经验，本入门书附带了PyTorch和PyTorter Notebook中的教程式代码，涵盖了主要主题。
2020-09-24 cs.LG q-bio.NC
Deep Auto-encoder with Neural Response
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of the Chinese Academy of Sciences（中国科学院大学）；University of Macau（澳门大学）；Dalian University of Technology（大连理工大学）；Pengcheng Laboratory（鹏城实验室）
人工神经网络（ANN）是研究腹侧视觉流神经表征的通用工具，神经科学的知识反过来激励ANN模型提高任务的性能。但是，如何将这两个方向合并到一个统一的框架中，目前还不清楚。在这项研究中，我们提出了一个名为Deep Autoencoder with Neural Response（DAE-NR）的集成框架，它结合了ANN和视觉皮层的信息，以实现更好的图像重建性能和生物神经元和人工神经元之间更高的神经表示相似性。相同的视觉刺激（即，自然图像）被输入小鼠大脑和DAE-NR。DAE-NR的编码器联合学习神经尖峰编码和图像重建的依赖关系。对于神经锋电位编码任务，从编码器的特定隐藏层导出的特征通过映射函数进行变换，以预测图像重建约束下的地面真实神经响应。同时，对于图像重建任务，由编码器获得的潜在表示分配给解码器，以恢复原始图像的神经信息的指导下。在DAE-NR中，编码器、映射函数和解码器的学习过程都隐含地受到这两个任务的约束。我们的实验表明，当且仅当联合学习，DAE-NR可以提高视觉图像重建的性能，增加生物神经元和人工神经元之间的表示相似性。DAE-NR为计算机视觉和神经科学的整合提供了新的视角。
2022-06-10 cs.LG
Biological connectomes as a representation for the architecture of artificial neural networks
George Mason University（乔治梅森大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
神经科学的巨大努力正致力于绘制许多新物种的连接体，包括即将完成的黑腹果蝇。重要的是要问这些模型是否能使人工智能受益。在这项工作中，我们提出了两个基本问题：（1）生物连接体何时何地可以在机器学习中使用，（2）哪些设计原则是提取连接体的良好表示所必需的。为此，我们翻译的C。线虫进入人工神经网络在不同层次的生物物理现实主义和评估结果的运动和非运动的行为任务训练这些网络。我们证明，生物物理现实主义不需要坚持使用生物电路的优势。我们还建立，即使不保留确切的布线图，建筑统计数据提供了一个有价值的先验。最后，我们表明，而C。Elegans运动回路在运动问题上提供了一个强大的归纳偏差，它的结构可能会阻碍与运动无关的任务的执行，如视觉分类问题。
2022-10-05 cs.AI cs.LG cs.NE
Reverse Differentiation via Predictive Coding
University of Oxford（牛津大学）；MRC Brain Network Dynamics Unit, University of Oxford（牛津大学MRC脑网络动力学研究组）；Hebei University of Technology（河北工业大学）
由于人工神经网络的兴起，深度学习重新定义了人工智能（AI）领域，人工神经网络是受大脑中神经学对应物启发的架构。多年来，人工智能和神经科学之间的二元论为这两个领域带来了巨大的好处，使神经网络被用于数十种应用。这些网络使用一种高效的反向微分实现，称为反向传播（BP）。然而，这种算法经常因其生物学上的不可信性而受到批评（例如，缺少参数的本地更新规则）。因此，越来越多地研究依赖于预测编码（PC）（一种描述大脑中信息处理的框架）的生物学上合理的学习方法。最近的工作证明，这些方法可以近似BP到一定的利润率的多层感知器（MLP），和渐近的任何其他复杂的模型，和零发散推理学习（Z-IL），PC的变体，能够准确地实现BP的MLP。然而，最近的文献也表明，还没有生物学上合理的方法，可以完全复制BP的权重更新复杂的模型。为了填补这一空白，在本文中，我们推广（PC和）Z-IL直接定义在计算图，并表明它可以执行精确的反微分。其结果是第一个在更新任何神经网络上的参数方面与BP等效的生物学上合理的算法，为神经科学和深度学习的跨学科研究提供了桥梁。
2023-02-20 cs.LG
Deep Reinforcement Learning and its Neuroscientific Implications
DeepMind；University College London（伦敦大学学院）
强大的人工智能的出现正在定义神经科学的新研究方向。到目前为止，这项研究主要集中在使用监督学习训练的深度神经网络，例如图像分类。然而，最近人工智能工作的另一个领域迄今为止受到神经科学家的关注较少，但可能具有深刻的神经科学意义：深度强化学习。深度强化学习为研究学习、表征和决策之间的相互作用提供了一个全面的框架，为脑科学提供了一套新的研究工具和广泛的新假设。在本综述中，我们对深度RL进行了高层次的介绍，讨论了它在神经科学中的一些初步应用，并调查了它对大脑和行为研究的更广泛影响，最后列出了下一阶段研究的机会。
2020-07-07 cs.AI cs.LG q-bio.NC
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
University College London（伦敦大学学院）
我们的目的是探索深度学习的能力，以近似生物神经回路的功能-功能连接体。使用深度神经网络，我们使用从综合构建的神经回路以及从经验支持的边界向量单元-位置单元网络中提取的发射率观察值进行监督学习。使用一系列标准和任务量化训练网络的性能。我们的研究结果表明，深度神经网络能够以高精度捕获合成生物网络执行的计算，并且具有高度的数据效率和对生物可塑性的鲁棒性。我们表明，经过训练的深度神经网络能够在新的环境中执行zero-shot概括，并允许执行大量任务，例如高精度地解码动物在空间中的位置。我们的研究揭示了系统神经科学中一个新颖而有前途的方向，并且可以扩展到许多下游应用，例如目标导向的强化学习。
2022-11-23 cs.LG cs.NE q-bio.NC
The Role Of Biology In Deep Learning
Oregon State University（俄勒冈州立大学）
人工神经网络在成为我们最好的机器感知系统时，从生物学上获得了很多灵感。这项工作总结了一些历史，并将现代理论神经科学纳入深度学习领域的人工神经网络实验中。具体地说，迭代幅度修剪用于训练稀疏连接的网络，其权重减少33倍，而性能没有损失。这些被用来测试并最终拒绝的假设，权重稀疏单独提高图像噪声鲁棒性。最近的工作减轻了灾难性遗忘使用权重稀疏，激活稀疏，和活跃的树突建模。本文复制了这些发现，并将该方法扩展到在更具挑战性的持续学习任务上训练卷积神经网络。该守则已公开提供。
2022-09-07 cs.AI cs.LG cs.NE
Simulation of Neural Responses to Classical Music Using Organoid Intelligence Methods
Capitol Technology University（卡皮托尔理工大学）
研究提出PyOrganoid库和Pianoid模型，利用双向LSTM基于古典音乐音频特征预测EEG响应，模拟音乐诱导的神经活动，为计算神经科学和音乐认知提供新工具与见解。
2024-07-25 cs.AI cs.LG cs.NE
Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；Cornell University（康奈尔大学）
纵观历史，人工智能特别是人工神经网络的发展一直是开放的，并不断受到对大脑日益加深的理解的启发，比如神经认知机的启发，它是卷积神经网络的开创性工作。根据新兴领域NeuroAI的动机，大量的神经科学知识可以通过赋予网络更强大的功能来帮助催化下一代AI。正如我们所知，人类大脑有许多形态和功能不同的神经元，而人工神经网络几乎完全建立在一个单一的神经元类型。在人类大脑中，神经元的多样性是各种生物智能行为的一个使能因素。由于人工网络是人类大脑的缩影，因此引入神经元多样性对于解决人工网络的基本问题（如效率、可解释性和记忆）应该是有价值的。在本书中，我们首先讨论了生物神经元多样性的分类以及生物神经元中信息传递和处理的特征。然后，我们回顾了人工网络设计新的神经元的研究。接下来，我们将讨论神经元多样性可以为人工网络带来什么好处，以及在几个重要领域的示例性应用。最后，我们讨论了神经元多样性的挑战和未来方向，以探索NeuroAI的潜力。
2023-03-11 cs.AI cs.ET cs.LG
Data augmentation and image understanding
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）
跨学科研究往往是科学进步的核心。本论文探讨了机器学习、认知科学和神经科学之间的一些有利的协同作用。特别是，本论文的重点是视觉和图像。人类视觉系统已经从行为和神经科学的角度进行了广泛的研究，因为视觉是大多数人的主要感觉。反过来，机器视觉也一直是一个活跃的研究领域，目前主要是使用人工神经网络。这项工作的重点是学习更符合视觉感知和生物视觉的表征。为此，我研究了认知科学和计算神经科学的工具和方面，并试图将它们纳入视觉的机器学习模型。本论文的一个中心主题是数据增强，一种常用的技术，用于训练人工神经网络，通过图像的变换来增加数据集的大小。虽然经常被忽视，但数据增强实现了感知上合理的转换，因为它们对应于我们在视觉世界中看到的转换-例如视点或照明的变化。此外，神经科学家还发现，大脑在这些转换下对物体的表征是不变的。在这篇论文中，我使用这些见解来分析数据增强作为一个特别有用的归纳偏差，人工神经网络更有效的正则化方法，并作为框架来分析和改善视觉模型的不变性，以感知上合理的转换。总的来说，这项工作的目的是阐明更多的数据增强的属性，并展示跨学科研究的潜力。
2020-12-28 cs.CV cs.LG
Control of synaptic plasticity in neural networks
大脑是一个非线性和高度递归的神经网络（RNN）。这个RNN具有惊人的可塑性，支持我们惊人的学习和执行复杂任务的能力。然而，由于大脑的非线性性质和用于确定每个突触对输出误差的贡献的机制的模糊性，学习是非常复杂的。该问题被称为信用分配问题（CAP），是神经科学和人工智能（AI）中的一个根本挑战。然而，在认知神经科学的当前理解中，反馈回路系统在突触可塑性中起着至关重要的作用被广泛接受。以此为灵感，我们提出了一个计算模型，结合神经网络（NN）和非线性最优控制理论。建议的框架涉及到一个新的基于神经网络的演员批评的方法，用于模拟误差反馈回路系统和预测的神经网络的突触可塑性，以确保输出误差最小化。
2023-03-10 cs.LG cs.NE cs.RO
BEAN: Interpretable Representation Learning with Biologically-Enhanced Artificial Neuronal Assembly Regularization
George Mason University（乔治梅森大学）
深度神经网络（DNN）以从大量数据中提取有用信息而闻名。然而，在DNN中学习的表示通常很难解释，特别是在密集层中。经典DNN模型（如多层感知器（MLP））的一个关键问题是，DNN同一层中的神经元相互之间是有条件独立的，这使得协同训练和出现更高的模块性变得困难。与DNN相反，哺乳动物大脑中的生物神经元显示出大量的依赖模式。具体而言，生物神经网络通过所谓的神经元组装来编码表示：神经元组通过强突触相互作用互连并共享联合语义内容。由此产生的群体编码对人类认知和记忆过程至关重要。在这里，我们提出了一种新的生物增强人工神经元组装（BEAN）正则化模型神经元的相关性和依赖性，灵感来自神经科学的细胞组装理论。实验结果表明，BEAN能够形成可解释的神经元功能簇，从而促进稀疏，内存/计算效率的网络，而不会损失模型性能。此外，我们的少样本学习实验表明，BEAN也可以提高模型的泛化能力，当训练样本非常有限。
2021-05-05 cs.LG cs.NE stat.ML
Augmenting learning in neuro-embodied systems through neurobiological first principles
Newcastle University（纽卡斯尔大学）；University of Tokyo（东京大学）；University of Quebec in Trois-Rivieres（魁北克大学三河分校）；IT:U Interdisciplinary Transformation University Austria（奥地利跨学科转型大学）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本文提出一种基于神经生物学第一性原理的双框架方法，利用脉冲神经网络模拟神经元多样性和细胞特异性神经调节，以增强人工神经网络的持续学习、鲁棒性和资源效率。
2025-11-03 cs.AI cs.LG q-bio.NC
Learning to Control Rapidly Changing Synaptic Connections: An Alternative Type of Memory in Sequence Processing Artificial Neural Networks
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（意大利语区大学（瑞士提契诺大学））；SUPSI（瑞士南部应用科学与艺术大学）；KAUST（阿卜杜拉国王科技大学）
在标准的、通用的、序列处理的递归神经网络（RNN）中，短期记忆被存储为节点或“神经元”的激活。将前馈NN推广到这样的RNN在数学上是简单和自然的，甚至是历史性的：早在1943年，McCulloch和Pitts就提出了这一点，作为“突触修饰”的替代品（实际上，推广了Lenz-Ising模型，这是20世纪20年代第一个非序列处理RNN架构）。另一种鲜为人知的方法是将短期记忆存储在“突触连接”中-通过参数化和控制上下文敏感的时变权重矩阵的动态通过另一个NN -在序列处理NN中产生另一种“自然”类型的短期记忆：20世纪90年代早期的快速权重程序员（FWP）。FWP最近作为通用序列处理器出现了复兴，在各种任务中实现了有竞争力的性能。它们在形式上与现在流行的Transformers密切相关。在这里，我们提出了他们在人工神经网络的背景下，作为一个抽象的生物神经网络-一个角度，还没有强调在以前的FWP工作不够。我们首先回顾FWPs的教学目的，然后讨论从神经科学的见解动机的相关作品的连接。
2022-11-17 cs.LG cs.NE
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications
Frankfurt School of Finance and Management（法兰克福金融管理学院）
本章概述了人工神经网络的原理、模型与应用，探讨其与统计力学及统计学习理论的联系，并重点研究深度神经网络损失景观的几何性质量化与可视化以优化其性能。
2024-04-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam（波茨坦大学）；Research Focus Cognitive Science（认知科学研究中心）；Otto von Guericke University Magdeburg（奥托·冯·格里克马格德堡大学）；Artificial Intelligence Lab（人工智能实验室）
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中，真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发，我们训练了一个卷积语音识别模型，其中滤波器排列在2D网格中，相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外，我们调查，这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
Concept Probing: Where to Find Human-Defined Concepts (Extended Version)
NOVA LINCS（NOVA计算机与系统实验室）；NOVA School of Science and Technology（NOVA科学技术学院）；NOVA University Lisbon（里斯本NOVA大学）
针对概念探测中应选择哪一网络层的问题，本文提出依据表示对目标概念的信息量和规则性自动选层，并在多模型、多数据集上验证有效性。
2025-07-24 cs.AI cs.CV cs.LG
An artificial neural network to find correlation patterns in an arbitrary number of variables
发现变量之间相关性的方法是许多学科感兴趣的，包括统计学、机器学习、（大）数据采掘和神经科学。测量两个变量之间相关性的参数在用于多个变量时效用有限。在这项工作中，我提出了一个简单的标准来衡量任意数量的变量之间的相关性，基于一个数据集。中心思想是i）设计变量的函数，其可以根据一组参数采取不同的形式，ii）计算与在数据集上计算的函数相关联的统计数据与在数据集的随机化版本（称为“加扰”数据集）上计算的相同统计数据之间的差异，以及iii）优化参数以使该差异最大化。许多这样的功能可以被组织成层，这些层可以依次堆叠在另一层之上，形成神经网络。函数参数搜索与增强的遗传算法称为POET和由此产生的方法进行了测试的癌症基因数据集。该方法可能对影响神经网络领域的一些问题具有潜在影响，例如过拟合，需要处理大量数据进行训练以及存在“对抗性示例”。
2017-06-30 cs.LG q-bio.NC stat.ML
