Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits
Rochester Institute of Technology（罗切斯特理工学院）
本文提出对比信号依赖可塑性，将自监督思想用于并行事件驱动脉冲层的局部突触调整，并在循环脉冲网络训练中展现优于其他生物可信方法的稳定效果，且无需反馈突触。
2024-10-25 cs.LG cs.NE
Subject-Aware Contrastive Learning for Biosignals
Apple（苹果公司）
生物信号的数据集，如脑电图（EEG）和心电图（ECG），通常具有噪声标签，并且受试者数量有限（<100）。为了应对这些挑战，我们提出了一种基于对比学习的自监督方法，以减少对标记数据的依赖，并减少受试者。在这种标签和受试者有限的制度下，受试者间的变异性对模型性能产生负面影响。因此，我们通过（1）特定于主题的对比损失和（2）对抗性训练来引入主题感知学习，以促进自监督学习期间的主题不变性。我们还开发了一些时间序列数据增强技术，用于生物信号的对比损失。我们的方法进行了评估，公开的两个不同的生物信号与不同的任务：EEG解码和ECG异常检测的数据集。与完全监督的方法相比，使用自我监督学习的嵌入产生了有竞争力的分类结果。我们发现，主题不变性提高了这些任务的表示质量，并观察到特定于主题的损失提高了性能时，与监督标签进行微调。
2020-06-30 cs.LG eess.SP stat.ML
Non-Contrastive Learning-based Behavioural Biometrics for Smart IoT Devices
The University of Moratuwa（莫拉图瓦大学）
行为生物测定学正在被探索作为一种可行的替代方案，以克服传统认证方法（如密码和静态生物测定）的局限性。此外，它们被认为是物联网设备（如具有AR/VR功能的智能耳机，可穿戴设备和可穿戴设备）的可行身份验证方法，这些设备不具有大型形状因子或与用户无缝交互的能力。最近的行为生物识别解决方案使用需要大量注释的训练数据的深度学习模型。收集如此大量的行为生物识别数据引发了隐私和可用性方面的担忧。为此，我们建议使用基于SimSiam的非对比自监督学习来提高行为生物识别系统的标签效率。其关键思想是使用大量未标记（和匿名）数据来构建良好的特征提取器，这些特征提取器随后可用于监督设置。使用两个EEG数据集，我们表明，在较低的标记数据量，非对比学习执行4%-11%比传统的方法，如监督学习和数据增强。我们还表明，一般来说，自监督学习方法的性能优于其他基线。最后，通过仔细的实验，我们展示了各种修改，可以纳入非对比学习过程，以存档高性能。
2022-10-24 cs.AI cs.CR cs.LG
LEAVES: Learning Views for Time-Series Biobehavioral Data in Contrastive Learning
Rice University（Rice大学）；Missouri University of Science & Technology（密苏里科学与技术大学）
针对对比学习中时间序列生物行为数据视图生成参数优化耗时且资源密集的问题，提出自动视图生成模块LEAVES，通过对抗训练学习增强超参数，仅需约20个参数即可在SimCLR和BYOL框架上取得优于基线的性能，适用于大规模实时医疗应用。
2025-08-12 cs.AI cs.LG
Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks
Sakana AI
提出模误差路由扩展误差扩散法，在严格遵循戴尔原则的双流兴奋/抑制网络中，实现MNIST 96.7%和CIFAR-10 61.7%的分类性能，并集成PPO在强化学习任务中取得竞争性结果。
2026-07-01 cs.LG cs.NE
Multimodal Contrastive Representation Learning in Augmented Biomedical Knowledge Graphs
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出一种结合语言模型嵌入与图对比学习的多模态方法，并构建了增强知识图谱PrimeKG++，通过统一语义与关系信息显著提升了生物医学知识图谱中链接预测的准确性与泛化能力。
2025-06-28 cs.CL cs.LG
Clinical Contrastive Learning for Biomarker Detection
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种新的积极和消极的集选择策略的对比学习的医学图像的标签，可以从临床数据中提取的基础上。在医学领域，存在用于在诊断和治疗过程的不同阶段服务于不同目的的数据的各种标签。临床标签和生物标志物标签是两个例子。一般来说，临床标签更容易大量获得，因为它们是在常规临床护理期间定期收集的，而生物标志物标签需要专家分析和解释才能获得。在眼科学领域内，先前的工作已经表明，临床值表现出与在光学相干断层扫描（OCT）扫描内显现的生物标志物结构的相关性。我们利用临床和生物标志物数据之间的这种关系来提高生物标志物分类的性能。这是通过利用大量的临床数据作为我们的数据的伪标签来实现的，而没有生物标记物标签，以便选择阳性和阴性实例来训练具有监督对比损失的骨干网络。通过这种方式，骨干网络学习与可用的临床数据分布一致的表示空间。然后，我们用较少的生物标记数据对以这种方式训练的网络进行微调，并进行交叉熵损失，以便直接从OCT扫描中对这些疾病的关键指标进行分类。我们的方法在单个生物标志物检测的准确性方面超过了最先进的自监督方法多达5%。
2022-11-09 cs.CV cs.LG eess.IV
Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment
Biomedical Informatics and Data Science, Yale School of Medicine（耶鲁医学院生物医学信息学与数据科学）
提出LOGICA框架，在输出逻辑空间进行对比学习，通过门控跨模态适配器保留预训练似然接口，实现跨不同词汇表模型的上下文条件预测，在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。
2026-06-18 cs.LG q-bio.QM
Manifold-Aware Diffusion-Augmented Contrastive Learning for Noise-Robust Biosignal Representation
Computer Science \& Engineering Department Egypt-Japan University of Science \& Technology (E-JUST) New Borg El Arab, Alexandria, Egypt Email
本文提出面向流形的扩散增强对比学习框架，用于提升生物信号在噪声下的鲁棒性表示，实验显示其在心房颤动检测任务中达到0.9741的AUROC值。
2025-11-27 cs.AI cs.LG eess.SP
Bi-Encoder Contrastive Learning for Fingerprint and Iris Biometrics
Department of Computer Science（计算机科学系）；Columbia University（哥伦比亚大学）；College of Medicine（医学院）；SUNY Downstate Health Sciences University（SUNY 下州健康科学大学）；Department of Mechanical Engineering（机械工程系）
本研究通过双编码器对比学习验证个体生物特征相关性，发现虹膜匹配性能高而跨模态匹配接近随机，挑战了传统独立性假设。
2025-10-27 cs.CV cs.LG
Towards Biologically Plausible Deep Learning
Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学学习算法研究所）；CIFAR
神经科学家长期以来一直批评深度学习算法与当前的神经生物学知识不相容。我们探索了深度表示学习在生物学上更合理的版本，这里主要关注无监督学习，但开发了一种可以解释监督学习、无监督学习和强化学习的学习机制。出发点是，据信支配突触权重更新的基本学习规则（尖峰定时依赖可塑性）源于一个简单的更新规则，从机器学习的角度来看，该规则很有意义，并且可以被解释为某些目标函数上的梯度下降，只要神经元动力学将放电率推向目标函数的更好值（无论是监督、无监督还是奖励驱动）。第二个主要思想是，这对应于变分EM算法的一种形式，即，用近似的而不是精确的后验，由神经动力学实现。本文的另一个贡献是，在上述变分解释中更新隐藏状态所需的梯度可以使用近似来估计，该近似只需要向前和向后传播激活，成对的层学习形成去噪自动编码器。最后，我们扩展了关于自动编码器的概率解释的理论，以证明基于去噪自动编码器的生成解释的改进的采样方案是合理的，并且我们在生成学习任务上验证了所有这些想法。
2016-08-09 cs.LG
Disentangling Shared and Target-Enriched Topics via Background-Contrastive Non-negative Matrix Factorization
本文提出背景对比非负矩阵分解方法，通过联合分解目标数据和背景数据，有效分离高维数据中的目标增强主题，提升生物信号解析能力。
2026-02-25 cs.LG
BioCLIP 2: Emergent Properties from Scaling Hierarchical Contrastive Learning
The Ohio State University（俄亥俄州立大学）；Smithsonian Institution（史密森学会）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Irvine（加州大学伊市分校）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
本文通过构建大规模数据集TreeOfLife-200M并训练BioCLIP 2模型，发现生物视觉模型中涌现出与生态功能对齐的嵌入特性，且随数据规模增大而增强。
2025-10-23 cs.CL cs.CV cs.LG
Unified Representation of Genomic and Biomedical Concepts through Multi-Task, Multi-Source Contrastive Learning
Harvard Medical School（哈佛医学院）；Tsinghua University（清华大学）；VA Boston Healthcare System（波士顿VA医疗系统）；Brigham and Women’s Hospital（布莱根妇女医院）
本文提出GENEREL框架，通过多任务对比学习微调语言模型，构建统一嵌入空间对齐SNPs与临床概念，有效捕获生物医学关系并促进数据整合与发现。
2024-10-14 cs.AI cs.CL cs.LG
Supervised Graph Contrastive Learning for Gene Regulatory Networks
University of Tokyo（东京大学）；National Institute of Genetics（日本国立遗传学研究所）
本文提出SupGCL方法，通过整合基因敲除实验中的生物扰动作为监督信号，改进基因调控网络的表示学习，提升疾病亚型识别和下游任务性能。
2026-06-15 cs.LG
Gradient based Severity Labeling for Biomarker Classification in OCT
Georgia Institute of Technology（佐治亚理工学院）；Center for Signal and Information Processing CSIP（信号与信息处理中心）；School of Electrical and Computer Engineering（电气与计算机工程学院）
本文提出基于梯度的严重程度标注方法，用于提升OCT图像中生物标志物分类的准确性。
2026-02-23 cs.CV cs.LG
A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals
Department of Applied Mathematics and Computer Science（应用数学和计算机科学系）
针对生物信号通道可变性问题，提出对比随机导联编码（CRLC）方法，通过随机选择输入通道子集创建正对，在EEG和ECG数据上预训练并微调，在通道无关设置下优于现有策略，并达到与最先进参考模型相当的性能。
2026-05-22 cs.LG eess.SP
Multi-Scale and Multi-Modal Contrastive Learning Network for Biomedical Time Series
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory for Thin Film and Microfabrication of Ministry of Education（教育部薄膜与微细加工重点实验室）；Guangdong JiuZhi Technology Co., Ltd（广东九智科技有限公司）；Shenzhen University（深圳大学）
针对多模态生物医学时间序列的噪声与模态差异问题，提出 MBSL 网络，通过模态分组、多尺度 patch/掩码编码及跨模态对比学习提升表示鲁棒性，并在四项任务上超过现有方法。
2023-12-06 cs.AI cs.LG
Pretraining Representations for Bioacoustic Few-shot Detection using Supervised Contrastive Learning
IMT Atlantique（大西洋理工大学）；University of Lorraine（洛林大学）
本文利用监督对比学习与数据增强，从零预训练特征提取器，实现生物声学少样本事件检测，在DCASE挑战中取得第二名的成绩。
2023-09-02 cs.LG cs.SD eess.AS
CatRetriever: Contrastive Representation Learning for Slab-to-Bulk Retrieval in Generative Catalyst Discovery
Korea University（高丽大学）；Sogang University（西江大学）；Ewha Womans University（梨花女子大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
研究针对生成催化剂模型平板与体相连接缺失问题，提出对比表示学习模型CatRetriever，能准确检索体相候选物，还扩展其框架为吸附能目标体相发现管道，为连接催化剂生成模型与体相催化剂发现提供可扩展途径。
2026-07-14 cond-mat.mtrl-sci cs.LG
Multi-Alignment Contrastive Learning for Enzyme--Reaction Retrieval
Renmin University of China（中国人民大学）；DP Technology（DP科技）
提出多对齐对比学习框架，通过联合建模酶-反应跨域兼容性及功能注释驱动的域内关系，并引入Gromov-Wasserstein正则化项，提升酶虚拟筛选和双向检索性能。
2026-05-25 cs.LG q-bio.BM
KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning
Department of Statistics, University of Oxford（牛津大学统计学系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
研究从表面肌电图解码手部运动学这一挑战，提出跨模态对比学习框架KinEMbed训练双编码器，用于手部运动学回归，在NinaPro DB8数据集上优于基线方法。
2026-07-07 cs.LG
Dual-Path Knowledge-Augmented Contrastive Alignment Network for Spatially Resolved Transcriptomics
本文提出DKAN网络，通过整合组织病理图像和基因表达谱，利用生物信息学方法预测空间解析基因表达，解决现有方法在生物上下文利用不足、依赖示例检索和模态对齐不充分的问题。
2025-11-21 cs.AI cs.CV cs.LG
MoCLIM: Towards Accurate Cancer Subtyping via Multi-Omics Contrastive Learning with Omics-Inference Modeling
Bioinformatics Center, Kyoto University（京都大学生物信息学中心）；SANKEN, Osaka University（大阪大学SANKEN（蛋白质研究所））
本研究针对多组学数据提升癌症亚型分型效果的问题，提出MoCLIM表征学习框架，通过多组学对比学习得到统一表征实现亚型聚类，在6个癌症数据集上验证了其在小样本高维场景下的优异性能与高可解释性。
2023-08-24 cs.AI cs.LG q-bio.GN
Thin Bridges for Drug Text Alignment: Lightweight Contrastive Learning for Target Specific Drug Retrieval
Rochester Institute of Technology（罗切斯特技术研究所）
本文提出基于冻结单模态编码器加轻量级投影头的细对比桥方法，通过难负样本加权和间隔损失实现药物文本跨模态对齐，在骨架划分下提升靶点特异性药物检索效果，算力效率更高。
2025-09-30 cs.LG q-bio.BM
LoCo: Local Contrastive Representation Learning
Uber ATG（优步先进技术集团）；University of Toronto（多伦多大学）
深度神经网络通常执行端到端反向传播来学习权重，这是一个在跨层的权重更新步骤中创建同步约束的过程，并且在生物学上是不合理的。无监督对比表示学习的最新进展指出了一个问题，即学习算法是否也可以局部化，即下层的更新不直接依赖于上层的计算。虽然Greedy InfoMax使用局部目标单独学习每个块，但我们发现它始终会损害最先进的无监督对比学习算法的读出准确性，这可能是由于贪婪目标以及梯度隔离。在这项工作中，我们发现，通过重叠本地块堆叠在彼此的顶部，我们有效地增加了解码器的深度，并允许上层块隐式地发送反馈到下层块。这种简单的设计首次缩小了本地学习和端到端对比学习算法之间的性能差距。除了标准的ImageNet实验，我们还展示了复杂的下游任务的结果，例如直接使用读出特征的目标检测和实例分割。
2020-11-29 cs.CV cs.LG stat.ML
S-MolSearch: 3D Semi-supervised Contrastive Learning for Bioactive Molecule Search
Renmin University of China（中国人民大学）；DP Technology（DP科技）
本文提出S-MolSearch框架，首次将分子3D信息与亲和力信息结合用于半监督对比学习，通过逆最优传输利用无标签数据，在LIT-PCBA和DUD-E基准上超越现有虚拟筛选方法。
2024-11-21 cs.LG q-bio.BM
Refinement Contrastive Learning of Cell-Gene Associations for Unsupervised Cell Type Identification
本文提出scRCL框架，通过整合细胞-基因关联，提升无监督细胞类型识别的准确性与生物学相关性。
2025-12-11 cs.AI cs.LG
Heterogeneous network drug-target interaction prediction model based on graph wavelet transform and multi-level contrastive learning
Jingdezhen Ceramics University（景德镇陶瓷大学）
本研究提出一种基于图小波变换和多层次对比学习的异构网络药物-靶点相互作用预测框架，融合HGCN和GWT模块实现局部-全局特征协同感知与多尺度图信号分解，并通过对比学习对齐融合多维节点表示，在提升预测性能和鲁棒性的同时实现多层次可解释性。
2025-04-27 cs.AI cs.LG q-bio.QM
GeomCLIP: Contrastive Geometry-Text Pre-training for Molecules
The Pennsylvania State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）
针对现有分子几何表示方法忽略生物医学文本信息的问题，提出GeomCLIP框架，通过多模态对齐与单模态去噪预训练任务，有效结合3D几何结构与文本信息，提升了分子性质预测与零样本检索等任务的性能。
2024-11-16 cs.LG q-bio.BM
A 3D-Shape Similarity-based Contrastive Approach to Molecular Representation Learning
Genentech Research and Early Development（基因泰克研究与早期开发部）；Stanford University（斯坦福大学）
分子的形状和几何形状决定了关键的生物物理识别过程，然而许多图神经网络忽略了分子性质预测的3D信息。在这里，我们提出了一个新的对比学习过程的图神经网络，分子对比学习从形状相似性（MolCLaSS），隐式学习的三维表示。MolCLaSS不是直接编码或靶向三维姿态，而是基于高斯叠加匹配相似性目标，以学习分子形状的有意义的表示。我们展示了这个框架如何自然地捕捉二维表示不能的三维的关键方面，并提供了一个诱导框架的脚手架跳跃。
2022-11-03 cs.LG q-bio.QM
Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model
University of Pittsburgh（匹兹堡大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，脑网络已被广泛应用于脑动力学、脑发育和脑疾病的研究。脑功能网络上的图表示学习技术可以促进临床表型和神经退行性疾病的新生物标志物的发现。然而，目前的图学习技术在大脑网络挖掘方面存在一些问题。首先，目前大多数图学习模型都是针对无符号图设计的，这阻碍了对许多有符号网络数据的分析（例如，脑功能网络）。同时，脑网络数据的不足限制了模型在临床表型预测上的性能。此外，目前的图学习模型很少是可解释的，这可能无法为模型结果提供生物学见解。在这里，我们提出了一个可解释的分层符号图表示学习模型，从大脑功能网络中提取图级表示，可用于不同的预测任务。为了进一步提高模型的性能，我们还提出了一种新的策略，以增加功能脑网络数据的对比学习。我们使用HCP和OASIS的数据在不同的分类和回归任务上评估这个框架。我们从大量的实验结果表明，该模型的优越性相比，几个国家的最先进的技术。此外，我们使用来自这些预测任务的图形显着性图来展示表型生物标志物的检测和解释。
2022-07-14 cs.AI cs.LG q-bio.NC
MRI-Based Brain Age Estimation with Supervised Contrastive Learning of Continuous Representation
Department of Computer Science and Software Engineering（计算机科学与软件工程系）
本文提出基于监督对比学习的脑年龄估计方法，利用RNC损失和Grad-RAM提升模型性能，实现更精确的生物脑年龄预测。
2025-11-27 cs.CV cs.LG
Investigating the Role of Negatives in Contrastive Representation Learning
Microsoft Research（微软研究院）
噪声对比学习是一种流行的无监督表示学习技术。在这种方法中，通过简化为监督学习来获得表示，其中给定语义相似性的概念，学习者试图将相似的（正面）示例与随机（负面）示例的集合区分开。现代对比学习流水线的成功依赖于许多参数，例如数据增强的选择、反例的数量和批量大小;然而，对于这些参数如何相互作用并影响下游性能的理解有限。我们专注于消除这些参数之一的作用：负面的例子的数量。从理论上讲，我们表明存在一个冲突覆盖权衡表明，最佳数量的负面的例子应该规模与数据中的基本概念的数量。从经验上讲，我们仔细研究了消极数量在NLP和视觉任务中的作用。在NLP任务中，我们发现结果与我们的理论基本一致，而我们的视觉实验则更加模糊，表现有时甚至对否定的数量不敏感。我们讨论了这种行为的合理解释，并提出了未来的方向，以更好地调整理论和实践。
2021-06-18 cs.CL cs.LG stat.ML
Tensor-DTI: Enhancing Biomolecular Interaction Prediction with Contrastive Embedding Learning
Nostrum Biodiscovery；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Faculty of Pharmacy and Food Sciences, University of Barcelona（巴塞罗那大学药学与食品科学系）；Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究机构）；Data Science Dpt., Almirall S.A.（Almirall S.A.数据科学部门）
Tensor-DTI通过整合多模态嵌入与对比学习，提升生物分子相互作用预测的准确性与可靠性。
2026-01-09 cs.AI cs.LG q-bio.BM
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；National University of Singapore（新加坡国立大学）
反向传播（BP）算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而，有人认为这在生物学上是不合理的，因为在生物神经系统中，具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中，我们提出了一个生物学上合理的神经架构的基础上，在神经科学和非对称BP类方法的相关文献范式。具体来说，我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是，反馈权重在我们的框架中也是可塑的，并且经过训练以近似正向激活。初步结果表明，我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Contrastive Similarity Matching for Supervised Learning
Harvard University（哈佛大学）
我们提出了一种新的生物学上合理的解决方案，信用分配问题的动机观察腹侧视觉通路和训练的深层神经网络。在这两种情况下，同一类别中的对象的表示逐渐变得更加相似，而属于不同类别的对象变得不那么相似。我们利用这一观察结果来激发深度网络中特定于层的学习目标：每一层的目标是学习一个在前一层和后一层之间插值的代表性相似性矩阵。我们制定了这个想法，使用对比相似性匹配的目标函数，并从它派生出深神经网络与前馈，横向和反馈连接，神经元表现出生物合理的赫布和反赫布可塑性。对比相似性匹配可以被解释为一种基于能量的学习算法，但在如何构造对比函数方面与其他算法有显著差异。
2020-12-06 cs.LG q-bio.NC stat.ML
Biologically Plausible Variational Policy Gradient with Spiking Recurrent Winner-Take-All Networks
University of Leeds（利兹大学）；Tsinghua University（清华大学）；Fujian Normal University（福建师范大学）
强化学习研究的一个方向是探索生物学上合理的模型和算法，以模拟生物智能并适应神经形态硬件。其中，奖赏调制的发放时间依赖可塑性（R-STDP）是一个新的分支，在能量效率方面具有很好的潜力。然而，目前的R-STDP方法依赖于局部学习规则的启发式设计，因此需要特定于任务的专家知识。本文考虑一个尖峰循环赢者通吃网络，提出了一种新的R-STDP方法-尖峰变分策略梯度（SVPG），其局部学习规则来自全局策略梯度，从而消除了启发式设计的需要.在MNIST分类实验和Gym InvertedPendulum实验中，我们的SVPG取得了良好的训练效果，并且对各种噪声的鲁棒性也比传统方法更好。
2022-10-21 cs.LG cs.NE q-bio.NC
A biologically plausible neural network for Slow Feature Analysis
Flatiron Institute（弗莱德哈钦森研究所）；Columbia University（哥伦比亚大学）；NYU Medical Center（纽约大学医学中心）
从时间序列数据中学习潜在特征是机器学习和脑功能研究中的一个重要问题。一种称为慢特征分析（SFA）的方法利用许多显著特征相对于快速变化的输入信号的慢度。此外，当在自然刺激下训练时，SFA再现了初级视觉皮层和海马体中细胞的有趣特性，这表明大脑使用时间缓慢作为学习潜在特征的计算原理。然而，尽管SFA用于建模脑功能的潜在相关性，但目前还没有具有生物学上合理的神经网络实现的SFA算法，我们的意思是算法在在线设置中操作，并且可以映射到具有局部突触更新的神经网络上。在这项工作中，从一个SFA的目标，我们推导出一个SFA算法，称为生物SFA，与生物学上合理的神经网络实现。我们验证生物SFA的自然刺激。
2020-10-23 cs.LG cs.NE q-bio.NC
Memory Networks: Towards Fully Biologically Plausible Learning
Institute for Infocomm Research (IR), A*STAR（新加坡资讯通信研究院）；Paris-Saclay University（巴黎萨克雷大学）
针对现有神经网络反向传播和权重共享缺乏生物合理性的问题，提出受生物学启发的 Memory Network，通过单次传递实现快速高效学习，在 MNIST 上表现优异但处理 CIFAR10 仍需改进。
2024-09-18 cs.AI cs.LG cs.NE
A biologically plausible neural network for local supervision in cortical microcircuits
Flatiron Institute（弗莱提伦研究所）；Rutgers University（罗格斯大学）；NYU Medical Center（纽约大学医学中心）
反向传播算法是训练人工神经网络的宝贵工具;然而，由于权重共享要求，它不能提供合理的大脑功能模型。在这里，在一个两层网络的上下文中，我们推导出一个用于训练神经网络的算法，该算法通过不需要显式的误差计算和反向传播来避免这个问题。此外，我们的算法映射到一个神经网络，它与皮层的连接结构和学习规则非常相似。我们发现，我们的算法凭经验执行了一些数据集上的反向传播。
2020-11-30 cs.LG cs.NE q-bio.NC
A Biologically Plausible Supervised Learning Method for Spiking Neural Networks Using the Symmetric STDP Rule
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）由于基于事件的计算而具有能量有效的潜力。然而，SNN的监督训练仍然是一个挑战，因为尖峰活动是不可区分的。以前的SNN训练方法通常可以分为两个基本类，即，反向传播类训练方法和基于可塑性的学习方法。前一种方法依赖于能量效率低的实值计算和非本地传输，这也是人工神经网络（ANN）所需的，而后者要么被认为是生物学上不可信的，要么表现出很差的性能。因此，SNN的生物学合理（bio-plausible）高性能监督学习（SL）方法仍然存在缺陷。在本文中，我们提出了一种新的生物合理的SNN模型的基础上对称尖峰定时依赖可塑性（sym-STDP）的规则，发现在神经科学的SL。通过将sym-STDP规则与生物合理的突触缩放和动态阈值的内在可塑性相结合，我们的SNN模型很好地实现了SL，并在基准识别任务（MNIST数据集）中取得了良好的性能。为了揭示SL模型的潜在机制，我们在训练后使用t分布随机邻居嵌入（t-SNE）方法可视化了基于层的活动和突触权重，并发现它们被很好地聚类，从而展示了出色的分类能力。此外，为了验证我们模型的鲁棒性，我们在另一个更真实的数据集（Fashion-MNIST）上进行了训练，该数据集也表现出了良好的性能。由于学习规则是生物合理的，并且纯粹基于局部尖峰事件，我们的模型可以很容易地应用于神经形态硬件的在线训练，并可能有助于理解SL信息处理在突触水平上的生物神经系统…
2019-10-06 cs.AI cs.LG cs.NE
BioGrad: Biologically Plausible Gradient-Based Learning for Spiking Neural Networks
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
脉冲神经网络（SNN）正在为人工智能问题提供节能、大规模并行和低延迟的解决方案，这得益于新兴的神经形态芯片。为了利用这些计算优势，SNN需要通过学习算法进行训练，这些算法遵循大脑启发的神经形态学原则，即基于事件的，本地的和在线的计算。然而，最先进的SNN训练算法基于不遵循上述原则的反向传播。由于其有限的生物相容性，反向传播应用于SNN需要非局部反馈路径来传输连续值误差，并依赖于未来时间步长的梯度。对反向传播引入生物学上合理的修改有助于克服其几个局限性，但限制了反向传播的近似程度，这阻碍了其性能。我们提出了一个生物学上合理的基于梯度的学习算法SNN，在功能上相当于backprop，同时坚持所有三个神经形态的原则。我们引入了具有局部资格迹线的多隔室尖峰神经元来计算学习所需的梯度，并引入了周期性的“睡眠”阶段来进一步改进对反向传播的近似，在此期间，局部Hebbian规则将反馈和前馈权重对齐。我们的方法在MNIST（98.13%）和基于事件的N-MNIST（97.59%）数据集上实现了与多层全连接SNN的反向传播相同的性能水平。我们将我们的学习算法部署在Intel的Loihi上，对MNIST的1个隐藏层网络进行训练，获得了93.32%的测试准确率，而每个训练样本的能耗比GPU上的BioGrad低400倍。我们的工作表明，最优学习在类脑计算中是可行的，进一步追求其生物可接受性可以更好地捕捉这…
2021-10-27 cs.LG cs.NE q-bio.NC
Biologically Plausible Training of Deep Neural Networks Using a Top-down Credit Assignment Network
University of Chinese Academy of Sciences（中国科学院大学）；School of Life Science and Technology, ShanghaiTech University（上海科技大学生命科学与技术学院）
本文提出由TDCA-network替代损失函数与BP，并结合脑启发信用扩散机制训练DNN，实验证明其更快、更能避开局部极小值且泛化性强。
2024-02-28 cs.LG cs.NE
Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
对生物学上合理的深度学习的追求不仅是为了解释生物神经网络的实验观察特性，而且还希望发现更有效的方法来训练人工网络。在本文中，我们提出了一个新的算法命名为变分可能流（VPF），最小概率流的扩展训练二进制深度玻尔兹曼机（DBMs）。我们发现，在VPF的权重更新是本地的，只取决于相邻神经元的状态和发射率。与对比发散不同，不需要吉布斯虚构;与反向传播不同，不需要交替的前馈和反馈阶段。此外，学习算法是有效的训练DBM与层内连接之间的隐藏节点。MNIST和Fashion MNIST的实验表明，VPF快速学习合理的特征，更准确地重建受损图像，并生成具有高估计对数似然的样本。最后，我们注意到，有趣的是，如果存在VPF的不对称版本，则权重更新直接解释了尖峰定时依赖可塑性（STDP）的实验结果。
2017-11-21 cs.LG cs.NE stat.ML
Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks
Victoria University of Wellington（惠灵顿维多利亚大学）；ETH Zurich（苏黎世联邦理工学院）
误差反向传播算法是人工神经网络中一种非常有效的信用分配算法。然而，Backprop下的权重更新依赖于冗长的递归计算，需要单独的输出和错误消息-生物神经元不共享的功能，可能是不必要的。在本文中，我们重新Backprop和信用分配问题。我们首先分解Backprop到一个相互作用的学习算法的集合，提供这些子算法的性能上的遗憾界限，并分解Backprop的错误信号。利用这些结果，我们推导出一个新的信用分配算法的非参数回归，Kickback，这是显着比Backprop简单。最后，我们提供了一个充分的条件Kickback遵循误差梯度，并显示Kickback匹配Backprop的性能在现实世界的回归基准。
2014-11-23 cs.LG cs.NE q-bio.NC
Biologically-Plausible Determinant Maximization Neural Networks for Blind Separation of Correlated Sources
Koc University（科奇大学）；Harvard University（哈佛大学）
提取复杂刺激的潜在来源对于理解世界至关重要。虽然大脑不断解决这个盲源分离（BSS）问题，但其算法仍然未知。以前的工作生物合理的BSS算法假设，观察到的信号是线性混合的统计独立或不相关的来源，限制了这些算法的适用范围。为了克服这一限制，我们提出了新的生物合理的神经网络的盲分离潜在的依赖/相关的来源。不同于以前的工作，我们假设一些一般的几何，而不是统计，允许分离潜在的依赖/相关源的源向量上的条件。具体地说，我们假设源向量在它们的域中是充分分散的，这些域可以由某些多面体描述。然后，我们考虑恢复这些来源的Det-Max标准，最大限度地提高了行列式的输出相关矩阵，以执行类似的传播源估计。从这个规范性的原则，并使用加权相似性匹配的方法，使任意线性变换适应本地学习规则，我们推导出两层生物合理的神经网络算法，可以分离的混合物成来自各种源域的源。我们证明，我们的算法优于其他生物合理的BSS算法相关的源分离问题。
2022-11-25 cs.LG eess.SP
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
传统的误差反向传播，虽然是一个非常成功的算法，用于学习人工神经网络模型，包括功能，这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法，即使用自上而下的神经活动模型，将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后，这些目标可以用于生成用于网络训练的权重更新。然而，到目前为止，目标传播已经被证明是不等价的反向传播。在这里，我们推导出反向传播和目标传播（GAIT-道具）的修改形式之间的确切对应关系，其中目标是向前传递的小扰动。具体来说，当突触权重矩阵正交时，反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中，我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning
NavInfo Europe（纳维信息欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
本文研究生物合理性神经网络中稀疏表征、赫布学习、突触巩固与激活回放等脑启发机制的协同作用，证明多机制互补架构可有效缓解人工神经网络的灾难性遗忘，实现持续学习。
2023-04-13 cs.AI cs.CV cs.LG
scBeacon: single-cell biomarker extraction via identifying paired cell clusters across biological conditions with contrastive siamese networks
National University of Singapore（新加坡国立大学）；McGill University（麦吉尔大学）
scBeacon利用对比孪生网络和VQ-VAE，通过无监督识别跨条件的配对细胞簇，实现精准的单细胞差异基因分析，从而提取关键生物标志物，提升诊断准确性。
2023-12-28 cs.AI cs.LG q-bio.GN
Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
在本文中，我们专注于直接反馈对齐（DFA）算法的改进，并将DFA的使用扩展到卷积和递归神经网络（CNN和RNN）。尽管DFA算法在生物学上是合理的，并且具有高速训练的潜力，但由于CNN和RNN训练的准确性较低，它尚未被认为是反向传播（BP）的替代品。在这项工作中，我们提出了一种新的DFA算法，用于BP级精确的CNN和RNN训练。首先，我们将网络分成几个模块，并在模块内应用DFA算法。其次，应用具有稀疏向后权重的DFA。在CNN情况下，它带有一种扩张卷积的形式，在RNN情况下，它带有一种稀疏矩阵乘法的形式。此外，通过群卷积，CNN的误差传播方法变得更简单。最后，混合DFA将CNN和RNN训练的准确性提高到BP级，同时利用DFA算法的并行性和硬件效率。
2020-06-23 cs.LG cs.NE stat.ML
Backprop Diffusion is Biologically Plausible
University of Siena（锡耶纳大学）
反向传播算法依赖于使用神经模型的抽象，该模型摆脱了时间的概念，因为输入即时映射到输出。在本文中，我们声称这种忽略时间的抽象，以及在喂养训练集时发生的突然输入变化，实际上是为什么在一些论文中，Backprop生物相容性被认为是一个可解释的问题的原因。我们表明，只要一个深前馈网络与神经元的时间延迟响应，反向传播权重更新原来是一个生物合理的扩散过程的基本方程的基础上向前向后波。我们还表明，这样的过程很好地近似了相对于网络深度不太快的输入的梯度。这些评论在一定程度上揭示了反向传播方程背后的扩散过程，并使我们将相应的算法解释为更一般的扩散过程的退化，这种扩散过程也发生在具有循环连接的神经网络中。
2020-06-17 cs.LG cs.NE q-bio.NC
Guiding Sparse Neural Networks with Neurobiological Principles to Elicit Biologically Plausible Representations
KEIM Institute, Albstadt-Sigmaringen University, Germany（KEIM研究所，阿尔布施塔特-西格马林根大学，德国）；Department of Computer Science, Chemnitz University of Technology, Germany（计算机科学系， Chemnitz技术大学，德国）
本研究通过整合神经生物学原理，引导稀疏神经网络产生生物合理的表示，提升了模型的鲁棒性和泛化能力，尤其在少样本学习中表现优异。
2026-03-03 cs.LG
Blending Optimal Control and Biologically Plausible Learning for Noise-Robust Physical Neural Networks
Kanazawa University（金泽大学）；Saitama University（埼玉大学）；The University of Tokyo（东京大学）
提出融合最优控制与直接反馈对齐的训练方法，降低物理神经网络训练成本，并在噪声下稳健，经光电延迟系统验证，扩展了可用物理系统范围。
2025-02-26 cs.ET cs.LG cs.NE
