Fine-Pruning: A Biologically Inspired Algorithm for Personalization of Machine Learning Models
College of Computing, The Georgia Institute of Technology(佐治亚理工学院计算学院);Taub Faculty of Computer Science, Technion - Israel Institute of Technology(以色列理工学院陶布计算机科学学院);Faculty of Biology, Technion - Israel Institute of Technology(以色列理工学院生物学院)
本文提出一种受生物启发的细剪算法,通过模仿大脑学习过程,以更少的计算资源和无标签数据实现机器学习模型的个性化,提升模型精度至90%。
2026-02-18 cs.NE q-bio.NC
Quantifying Synchronization in a Biologically Inspired Neural Network
我们提出了一套整理的算法,以获得大脑时间序列数据同步的客观措施。这些算法是在MATLAB中实现的;我们将我们整理的“工具”集称为SyncBox。我们的动机同步框是了解现有的人口神经网络,通常被称为神经质量模型,模仿局部场电位的视觉丘脑组织的潜在动力学。具体来说,我们的目标是客观地测量相位同步的模型响应周期性刺激,这是模仿稳态视觉诱发电位(SSVEP),这是头皮脑电图(EEG)对应于周期性刺激的条件。我们展示了我们现有的视觉丘脑的神经质量模型的SyncBox的使用。在我们成功测试了SyncBox之后,它目前正被用于进一步研究,以了解视觉通路增强神经网络中的潜在动力学
2020-12-11 q-bio.NC q-bio.QM
Lazy learning: a biologically-inspired plasticity rule for fast and energy efficient synaptic plasticity
School of Mathematical Sciences(数学科学学院);School of Psychology, University of Nottingham(诺丁汉大学心理学院)
当用反向传播训练神经网络进行分类任务时,即使样本被正确分类,参数也会在每次试验中更新。相比之下,人类将学习精力集中在错误上。受人类学习的启发,我们引入了懒惰学习,它只在不正确的样本上学习。懒惰学习可以在几行代码中实现,并且不需要超参数调优。懒惰学习实现了最先进的性能,特别适合数据集很大的情况。例如,它在使用单层MLP的扩展MNIST上达到99.2%的测试准确度,并且比匹配的反向传播网络快7.6倍
2023-03-26 cs.AI cs.LG cs.NE
Biologically inspired protection of deep networks from adversarial attacks
Stanford University(斯坦福大学)
受神经电路中非线性树突计算的生物物理原理的启发,我们开发了一种训练深度神经网络的方案,使其对对抗性攻击具有鲁棒性。我们的方案生成了高度非线性、饱和的神经网络,这些网络在MNIST上基于梯度的对抗性示例上实现了最先进的性能,尽管在训练过程中从未接触过对抗性选择的示例。此外,这些网络对生成对抗性示例的目标迭代方案(包括二阶方法)表现出前所未有的鲁棒性。我们进一步确定这些网络如何实现其鲁棒性的原则,借鉴信息几何的方法。我们发现这些网络逐渐创建高度平坦和压缩的内部表示,这些表示对很少的输入维度敏感,同时仍然解决任务。此外,他们采用高度峰度的权重分布,也发现在大脑中,我们演示了如何峰度可以保护甚至线性分类器免受对抗性攻击。
2017-03-27 cs.LG q-bio.NC stat.ML
LGN-CNN: a biologically inspired CNN architecture
在本文中,我们介绍了一种生物启发的卷积神经网络(CNN)架构,称为LGN-CNN,它具有由单个滤波器组成的第一个卷积层,该滤波器模仿外侧膝状体核(LGN)的作用。神经网络的第一层显示了由网络本身的结构证明的旋转对称模式,该网络本身是高斯拉普拉斯算子(LoG)的近似。后一个函数又是LGN中细胞的感受野分布(RFPs)的良好近似。与视觉系统的类比是建立起来的,直接从神经网络的体系结构中出现。在固定的LGN-CNN架构上给出了第一层旋转不变性的证明,并显示了计算结果。因此,研究了LGN-CNN的对比度不变性能力,并在不同图像上提供了LGN-CNN的第一层的Retinex效应与LoG的Retinex效应之间的比较。对第二卷积层的滤波器进行关于生物数据的统计研究。总之,我们介绍的模型很好地近似了LGN和V1的RFP,就显示Retinex效应的LGN细胞的长程连接而言,获得了类似的行为。
2021-10-28 cs.NE q-bio.NC
KerCNNs: biologically inspired lateral connections for classification of corrupted images
Università di Bologna(博洛尼亚大学);CAMS Center of Mathematical Analysis, CNRS-EHESS(CAMS数学分析中心,法国国家科学研究中心-社会科学高等研究院)
卷积神经网络(CNN)代表了许多计算机视觉任务的最新技术水平。虽然它们的层次组织和局部特征提取受到灵长类视觉系统结构的启发,但这种结构中缺乏横向连接,这将它们的分析与生物对象处理区分开来。近年来,用卷积类型的递归横向连接来丰富CNN的想法已经以没有几何约束的学习递归内核的形式付诸实践。在目前的工作中,我们引入了生物学上合理的横向内核编码的概念之间的相关性的前馈滤波器的CNN:在每一层,相关的内核作为一个过渡内核的激活空间。横向内核定义的过滤器,从而提供了一个参数自由的方法来评估的基础上的前馈结构的水平连接的几何形状。然后,我们在与全局形状分析和模式完成相关的泛化任务上测试这种新架构,我们称之为KerCNN:一旦经过训练用于执行基本图像分类,网络将在损坏的测试图像上进行评估。检查的图像扰动的目的是破坏识别的图像通过本地功能,因此需要整合的上下文信息-这在生物视觉是至关重要的横向连接。我们的KerCNN比CNN和递归CNN更稳定,从而验证了这种生物启发的方法,可以在具有挑战性的条件下加强对象识别。
2019-10-18 cs.CV eess.IV q-bio.NC
A Biologically-Inspired Dual Stream World Model
University of Oregon(俄勒冈大学)
内侧颞叶(MTL),一个包含海马和附近区域的大脑区域,被假设为哺乳动物的经验构建系统,支持对时间延伸的事件序列的回忆和想象。这种能力也是人工智能研究领域最近提出的许多"世界模型“的核心。从这种联系中获得灵感,我们提出了一种新的变体,双流世界模型(DSWM),它从高维观察中学习,并将它们分解为上下文和内容流。DSWM可以在新的2D环境中可靠地生成想象的轨迹,只需一次曝光,优于标准的世界模型。DSWM还学习潜在的表征,这些表征与海马中发现的位置细胞非常相似。我们表明,这种表示是有用的强化学习基函数,生成模型可以用来帮助策略学习过程中使用Dyna一样的更新。
2022-09-16 cs.LG cs.NE q-bio.NC
Biologically-inspired Salience Affected Artificial Neural Network (SANN)
在本文中,我们介绍了一种新的显着性影响的人工神经网络(SANN),模型的神经调制剂,如多巴胺和去甲肾上腺素影响神经动力学在人类大脑中的分布扩散通过新皮层区域,允许两个显着性信号立即调制认知,一次学习发生通过加强整个模式的激活在一次去。我们提出了一个模型,能够一次性显着标记的神经网络训练分类对象,并返回一个显着性响应在分类(推理)。我们通过显著性对每个节点的激活函数以及网络中节点之间权重的影响来探索显著性对学习的影响。我们证明,显着性标记可以提高分类的信心,为个人的图像,以及它所属的类图像。我们还表明,产生显着性反应的计算影响是最小的。这项研究作为概念验证,可能是将显着性标记引入深度学习网络和机器人技术的第一步。
2020-11-30 cs.NE q-bio.NC
Biologically Inspired Spiking Neurons : Piecewise Linear Models and Digital Implementation
最近有一个强大的推动力,研究神经形态算法的生物规模模拟,以实现更强的推理能力。本文提出了一组分段线性尖峰神经元模型,它可以再现不同的行为,类似于生物神经元,无论是单个神经元,以及神经元网络。所提出的模型进行了调查,在数字实现的可行性和成本,针对大规模的硬件实现。硬件综合和FPGA上的物理实现表明,所提出的模型可以产生精确的神经行为,与原始模型相比,具有更高的性能和更低的实现成本。因此,已经开发了可以用监督和无监督学习算法训练的模型的紧凑结构。使用这种结构,并根据尖峰率编码,字符识别的案例研究已经实施和测试。
2012-12-16 cs.LG cs.NE q-bio.NC
Bayesian Optimisation for a Biologically Inspired Population Neural Network
我们已经使用贝叶斯优化(BO)在现有的生物合理的人口神经网络中找到超参数。8维最佳超参数组合应该使得网络动态模拟静息状态α节律(脑信号中的8 - 13 Hz节律)。这八个超参数的每个组合构成参数空间中的“数据点”。这些参数的最佳组合导致神经网络的输出功率谱峰值被约束在阿尔法带内。此外,基于对网络输出时间序列的定性观察,将约束引入到BO算法中,从而去除高幅度伪周期振荡。在成功实现alpha频段后,我们进一步优化了网络,使其在theta(4 - 8 Hz)和beta(13 - 30 Hz)频段内振荡。现在可以使用针对相应频带识别的最佳超参数来研究模型中的变化节律。我们之前已经通过试错法调整了现有神经网络中的参数;然而,由于时间和计算的限制,我们不能一次改变三个以上的参数。这里详细介绍的方法允许自动超参数搜索,为网络生成可靠的参数集。
2021-04-13 cs.NE q-bio.NC q-bio.QM
Self-Supervised Learning of a Biologically-Inspired Visual Texture Model
Center for Neural Science(神经科学中心);New York University(纽约大学);Courant Inst. of Mathematical Sciences(库朗数学科学研究所);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
我们开发了一个模型,用于表示在低维特征空间的视觉纹理,随着一个新的自监督学习目标,用于训练它的一个未标记的纹理图像数据库。受灵长类视觉皮层架构的启发,该模型使用第一阶段的定向线性滤波器(对应于皮层区域V1),由整流单元(简单细胞)和合并的相位不变单元(复杂细胞)组成。这些响应由第二阶段(类似于皮层区域V2)处理,该第二阶段由卷积滤波器组成,随后是半波整流和汇集以生成V2“复合细胞”响应。第二阶段的过滤器上训练的一组未标记的均匀纹理图像,使用一种新的对比目标,最大化的V2响应的分布之间的距离,以个别图像和所有图像的响应的分布。当对纹理分类进行评估时,经过训练的模型比各种深度分层模型架构实现了更高的数据效率。此外,我们还发现,学习模型与灵长类动物V2中记录的神经种群的纹理响应具有比预训练的深度CNN更强的代表性相似性。
2020-06-30 cs.CV cs.LG q-bio.NC
Convolution goes higher-order: a biologically inspired mechanism empowers image classification
Institut de la Vision & Laboratoire des Systèmes Perceptifs INSERM, CNRS, Sorbonne University & École Normale Supérieure - PSL(视觉研究所及感知系统实验室,INSERM、CNRS、索邦大学及巴黎高等师范学院);CHT Erzelli & Laboratoire des Systèmes Perceptifs IIT & École Normale Supérieure - PSL(埃兹尔医疗技术公司及感知系统实验室,IIT及巴黎高等师范学院);Institut de la Vision INSERM, CNRS, Sorbonne University(视觉研究所,INSERM、CNRS、索邦大学)
本文提出了一种生物启发的高阶卷积机制,通过Volterra展开提升图像分类性能,验证了不同阶次卷积对视觉信息处理的差异。
2025-12-02 cs.CV cs.LG q-bio.NC
Range, not Independence, Drives Modularity in Biologically Inspired Representations
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本研究提出理论,证明非负能量高效网络中源变量的模块化由支持集范围而非独立性决定,并应用于神经科学数据,为混合选择性提供新解释。
2025-04-11 cs.AI cs.LG cs.NE
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute(米拉——魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而,大多数用于人工网络的神经激活函数是固定的,并且大多数被认为是无关紧要的架构选择。在本文中,我们研究了非线性激活函数适应在大的时间尺度的学习,并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族,其灵感来自于生物神经元的输入频率响应曲线,该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具,从动力系统和信息论,我们研究的神经激活功能的学习动力学的作用。我们发现,激活适应提供了独特的任务特定的解决方案,在某些情况下,提高学习速度和性能。重要的是,我们发现,从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能,这表明利用这些通常的配置之间的差距可以帮助学习。最后,我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况,提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
Neuroscience-inspired online unsupervised learning algorithms
尽管目前流行的深度学习网络在某些任务上实现了前所未有的性能,但人类大脑仍然垄断了一般智能。基于这一点和深度学习网络的生物学不可信性,我们开发了一系列用于无监督学习的生物学上合理的人工神经网络(NN)。我们的方法是基于优化原则的目标函数,包含一个术语,匹配成对的相似性输出的输入,因此名称相似性为基础。这种基于相似性的目标函数的基于一致性的在线优化可以通过具有生物学上合理的局部学习规则的NN来实现。基于相似性的成本函数和相关的NN解决了无监督学习任务,如线性降维,稀疏和/或非负特征提取,盲非负源分离,聚类和流形学习。
2019-09-06 cs.NE q-bio.NC
Structural Plasticity as Active Inference: A Biologically-Inspired Architecture for Homeostatic Control
Brennen Hill
本文提出SAPIN模型,通过结构可塑性和突触可塑性机制实现生物启发的稳态控制,成功解决Cart Pole任务并保持稳定策略。
2026-02-10 cs.AI cs.LG cs.NE
Meta-brain Models: biologically-inspired cognitive agents
Orthogonal Research and Education Laboratory(正交研究与教育实验室);OpenWorm Foundation(开放蠕虫基金会)
仅基于神经网络或符号计算的人工智能(AI)系统提出了表征复杂性的挑战。虽然最小表征可以产生行为输出,如运动或简单的决策,但更精细的内部表征可能会提供更丰富的行为。我们建议,这些问题可以解决与计算方法,我们称之为元脑模型。元脑模型是具体化的混合模型,其包括具有不同程度的表征复杂性的分层组件。我们将提出使用专门类型的模型组成的层的组合。这种关系不是使用通用的黑盒方法来统一每个组件,而是模仿哺乳动物大脑的新皮质-丘脑系统关系等系统,该系统利用前馈和反馈连接来促进功能通信。重要的是,层之间的关系可以在解剖学上明确。这允许结构特异性,可以以有趣的方式并入模型的功能中。我们将提出几种类型的层,可以在功能上集成到代理,执行独特类型的任务,从代理,同时执行形态和感知,代理,同时进行形态和收购的概念表示。我们的元脑模型方法包括创建具有不同程度的表征复杂性的模型,创建一个分层的元架构,模仿生物大脑的结构和功能异质性,以及足够灵活的输入/输出方法,以适应认知功能,社会互动和适应性行为。最后,我们将提出制定这一灵活和开放源码方法的下一步措施。
2022-06-16 cs.AI q-bio.NC
Semantic representations emerge in biologically inspired ensembles of cross-supervising neural networks
Department of Brain Sciences(脑科学系);Weizmann Institute of Science(魏兹曼科学研究所)
该研究提出交叉监督神经网络集成模型,通过稀疏交互学习语义表征,解码性能接近监督网络,为大脑表征学习提供生物合理算法框架。
2025-10-16 cs.AI q-bio.NC
Biologically Inspired Visual System Architecture for Object Recognition in Autonomous Systems
近年来关于卷积神经网络对加性噪声、光照条件和训练数据集整体性的敏感性的研究结果表明,这项技术仍然缺乏自主机器人行业所需的鲁棒性。为了使计算机视觉算法更接近人类操作员的能力,在这项工作中分析了人类视觉系统的机制。最近的研究表明,人类大脑中识别过程背后的机制包括基于对世界的先验知识不断生成预测。这些预测使快速生成的上下文假设,偏见的识别过程的结果。这种机制在不确定的情况下特别有利,当视觉输入是模糊的。此外,人类视觉系统根据其预测和视觉反馈之间的差距不断更新其对世界的知识。卷积神经网络本质上是前馈的,缺乏这种自上而下的上下文衰减机制。因此,尽管它们在操作过程中处理大量的视觉信息,但这些信息并没有转化为可用于生成上下文预测并提高其性能的知识。在这项工作中,设计了一种架构,旨在将人类视觉系统的自顶向下预测和学习过程背后的概念与最先进的自底向上对象识别模型相结合,例如,深度卷积神经网络这项工作的重点是人类视觉系统的两种机制:预期驱动的感知和认知驱动的学习。模仿这些自上而下的机制,加上最先进的自下而上的前馈算法,导致一个准确的,鲁棒的,并不断改进的目标识别模型。
2020-07-22 eess.IV q-bio.NC
FOVI: A biologically-inspired foveated interface for deep vision models
harvard(哈佛大学);nvidia
受人类视觉系统启发,提出基于视网膜和V1的中央凹接口FOVI,通过kNN卷积和低秩适应实现高效变分辨率视觉处理,在减少像素和计算成本的同时保持竞争力。
2026-05-29 cs.CV cs.NE q-bio.NC
Exploring Biologically Inspired Mechanisms of Adversarial Robustness
University of Oslo(奥斯陆大学)
针对人工神经网络缺乏鲁棒性的问题,研究生物启发的无监督局部学习模型与幂律表征,通过权重、Jacobian和谱正则化探究表征平滑度与对抗鲁棒性的联系,为构建更安全可靠的系统奠定基础。
2025-01-29 cs.AI cs.NE q-bio.NC
A Bio-Plausible Visual Neural Network for Locust-Inspired Collision Perception
School of Mathematics and Information Science, Guangzhou University(广州大学数学与信息科学学院)
针对现有蝗虫碰撞感知模型生物似然性和鲁棒性不足,提出一种融合各向同性采样、群体投票和泄漏积分发放动力学的生物似然神经网络,在多种场景下提升鲁棒性并保持高效。
2026-09-10 cs.NE q-bio.NC
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China(微电子学院 中国科学技术大学)
本文提出一种受大脑启发的反馈调节残差循环神经网络(FRE-RNN),通过减少谱半径加速收敛,显著降低计算成本,性能与反向传播相当,同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Sparse models for Computer Vision
图像在大脑中的表现是稀疏的。也就是说,当神经活动被记录在视觉区域时-例如灵长类动物的初级视觉皮层-相对于整个种群来说,只有少数神经元在给定的时间是活跃的。据信,这样的属性反映了表示与自然场景的统计的有效匹配。因此,将这种范例应用于计算机视觉似乎是一种有前途的方法,可以实现更多的仿生算法。在这里,我们将描述一个生物启发的方法来解决这个问题。首先,我们将描述一个无监督学习范例,它特别适合于图像块的有效编码。然后,我们将概述一个完整的多尺度框架-SparseLets-实现自然图像的生物启发稀疏表示。最后,我们将提出新的方法,将先验信息集成到这些算法中,并提供一些初步的实验结果。最后,我们将给出一些关于将此类算法应用于计算机视觉的观点。更具体地说,我们将提出,生物启发的方法可以应用于计算机视觉使用预测编码方案,稀疏模型是这样的计划的一个简单而有效的实例。
2017-01-24 cs.CV q-bio.NC