Supervised Contrastive Learning for Product Matching
University of Mannheim(曼海姆大学)
近年来,对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说,我们采用监督对比学习技术来预训练Transformer编码器,该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略,使对比学习应用于用例中的训练数据不包含产品标识符。我们表明,将监督对比预训练与源感知采样相结合,可以显着提高几个广泛使用的基准测试的最新性能:对于Abt-Buy,我们达到了94.29的F1分数(与之前的最新水平相比,+3.24),对于Amazon-Google 79.28(+3.7)。对于WDC Computers数据集,根据训练集的大小,我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明,前者可以帮助较小的训练集,而后者会导致性能显着下降,由于固有的标签噪声。因此,我们得出结论,对比预训练具有很高的潜力,在产品匹配的用例中,明确的监督是可用的。
2022-05-02 cs.LG
Contrastive General Graph Matching with Adaptive Augmentation Sampling
Singapore Management University(新加坡管理大学)
针对图匹配自监督学习依赖辅助信息和难以设计最优图增强的问题,提出无需辅助信息的对比框架GCGM,并引入自适应增强采样器BiAS选择更具挑战性的增强,在多数据集上超越现有自监督方法。
2024-06-25 cs.LG
Supervised Learning in Temporally-Coded Spiking Neural Networks with Approximate Backpropagation
University of Minnesota(明尼苏达大学);University of Surrey(萨里大学);University of Applied Sciences, Stralsund(施特拉尔松德应用科学大学)
在这项工作中,我们提出了一种新的监督学习方法的时间编码的多层尖峰网络进行分类。该方法采用模拟反向传播但计算密集度低得多的强化信号。在每一层的权重更新计算仅需要除了该信号之外的本地数据。我们还采用了一种能够产生特定输出尖峰序列的规则;通过将目标尖峰时间设置为等于实际尖峰时间,并对关键高值神经元进行轻微的负偏移,实际尖峰时间变得尽可能早。在模拟的MNIST手写数字分类中,用该规则训练的两层网络与基于反向传播的无尖峰网络的性能相匹配。
2020-07-27 cs.LG cs.NE
Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks
University of Chicago(芝加哥大学);Department of Statistics(统计系)
我们为深度网络中的自监督学习(SSL)开发了生物学上合理的训练机制。具体地,通过生物学合理训练,我们意味着(i)权重的所有更新都基于突触前单元的当前活动和当前活动,或者从突触后单元的短期记忆中检索的活动,包括在最顶层的误差计算层,(ii)避免了诸如归一化、内积和除法的复杂计算,(iii)单元之间的不对称连接,(iv)大多数学习是以无监督的方式进行的。具有对比度损失的SSL满足第三个条件,因为它不需要标记的数据,并且它对观察到的对象扰动引入了鲁棒性,这在对象或观察者在3D中移动时自然发生,并且随着时间的推移具有可变的照明。我们提出了一个对比铰链为基础的损失,其错误涉及简单的本地计算满足(ii),而不是在文献中采用的标准对比损失,这并不容易借给自己在网络架构中实现,由于复杂的计算,涉及比率和内积。此外,我们表明,学习可以进行两个更合理的替代反向传播,满足条件(i)和(ii)。第一种是差分目标传播(DTP),第二种是逐层学习(LL),其中每一层直接连接到计算损失误差的层。这两种方法都代表了反向传播的对称权重问题的替代方案。通过使用SSL和DTP,LL训练卷积神经网络(CNN),我们发现我们提出的框架实现了与学习嵌入的标准BP学习下游线性分类器评估相当的性能。
2022-02-01 cs.LG cs.NE q-bio.NC
Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation
Martin Andrews
研究证明STDP$^+$和稳态可塑性两个局部突触学习规则可实现SIGReg自监督学习目标的精确梯度,无需梯度计算等。在合成聚类任务和时间有序MNIST上验证,显示该机制能端到端起作用,如合成任务中有序呈现使聚类分离率大幅提升,MNIST网络取得较高线性探测准确率。
2026-07-27 cs.AI cs.CV cs.LG
Weakly Supervised Temporal Action Localization Using Deep Metric Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
时间动作定位是视频理解的重要一步。目前大多数动作定位方法依赖于未修剪的视频与动作实例的完整时间注释。然而,这是昂贵的和耗时的注释动作标签和时间边界的视频。为此,我们提出了一种弱监督的时间动作定位方法,只需要视频级的动作实例作为监督在训练过程中。我们提出了一个分类模块来为视频中的每个片段生成动作标签,以及一个深度度量学习模块来学习不同动作实例之间的相似性。我们共同优化一个平衡的二进制交叉熵损失和度量损失使用标准的反向传播算法。大量的实验证明了这两个组件在时间定位的有效性。我们在两个具有挑战性的未修剪视频数据集上评估我们的算法:THUMOS 14和ActivityNet1.2。我们的方法在IoU阈值0.5时将THUMOS 14的当前最先进结果提高了6.5%mAP,并在ActivityNet 1.2中实现了具有竞争力的性能。
2020-01-21 cs.CV cs.LG
Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
在本文中,我们提出了一个统一的方法来联合学习光流和立体匹配。我们的第一个直觉是立体匹配可以建模为光流的特殊情况,我们可以利用立体视频背后的3D几何来指导这两种形式的对应关系的学习。然后,我们将这些知识纳入最先进的自监督学习框架,并训练一个单一的网络来估计流量和立体声。其次,我们揭示了以前的自监督学习方法中的瓶颈,并提出创建一组新的具有挑战性的代理任务来提高性能。这两种见解产生了一个单一的模型,在KITTI 2012和2015基准测试中,该模型在所有现有的无监督流和立体方法中达到了最高的准确性。更值得注意的是,我们的自监督方法甚至优于几种最先进的完全监督方法,包括KITTI 2012上的PWC-Net和FlowNet 2。
2020-04-05 cs.CV cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University(大阪大学)
本研究通过整合分布匹配技术,提升半监督对比学习中伪标签的利用效率,以提高图像分类性能。
2026-01-08 cs.AI cs.LG
High-Performance Self-Supervised Learning by Joint Training of Flow Matching
Kyushu Institute of Technology(九州工业技术大学)
通过联合训练流匹配生成器和编码器,FlowFM在提升自监督学习效率和生成质量方面取得显著进展。
2025-12-17 cs.AI cs.LG
Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
Rochester Institute of Technology(罗切斯特理工学院);AI Research Lab(AI研究实验室);University of Washington(华盛顿大学);Rochester, New York, USA(纽约罗切斯特市);Los Angeles, California, USA(加州洛杉矶市);Seattle, Washington, USA(华盛顿州西雅图市)
提出元表征预测编码(MPC),通过跨并行流预测输入表征实现自监督学习,避免生成模型和反向传播,利用主动推理驱动表征学习。
2026-09-22 cs.LG cs.NE q-bio.NC
Analytically Tractable Inference in Deep Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
自诞生以来,深度学习一直非常依赖于反向传播和基于梯度的优化算法,以学习权重和偏置参数值。可处理近似高斯推理(TAGI)算法被证明是一种可行的和可扩展的替代反向传播的浅全连接神经网络。在本文中,我们演示了TAGI如何匹配或超过反向传播的性能,用于训练经典的深度神经网络架构。虽然TAGI的计算效率仍然低于依赖于反向传播的确定性方法,但它在分类任务上优于它们,并且在使用较少时期训练的较小架构的同时,与信息最大化生成对抗网络的性能相匹配。
2021-03-09 cs.LG
Equivalence of Equilibrium Propagation and Recurrent Backpropagation
MILA, Université de Montréal(蒙特利尔大学MILA)
循环反向传播和平衡传播是定点循环神经网络的监督学习算法,它们在第二阶段有所不同。在第一阶段,两种算法收敛到一个固定点,该点对应于进行预测的配置。在第二阶段,平衡传播松弛到对应于较小预测误差的另一个附近的固定点,而递归反向传播使用侧网络迭代计算误差导数。在这项工作中,我们建立了这两个算法之间的密切联系。我们表明,在第二阶段的每一个时刻,在平衡传播的神经活动的时间导数等于在侧网络中通过递归反向传播迭代计算的误差导数。这项工作表明,它是不需要有一个侧网络的计算误差衍生物,并支持的假设,在生物神经网络,时间衍生物的神经活动可能代码的错误信号。
2018-05-22 cs.LG
XAI for Self-supervised Clustering of Wireless Spectrum Activity
Jozef Stefan Institute(约瑟夫·斯蒂芬研究所)
针对自监督深度聚类模型的可解释性问题,提出结合引导反向传播、浅树与数据专属可视化的解释方法,并在无线频谱活动聚类用例中阐释了CNN深度聚类架构的推理逻辑。
2023-05-17 cs.IT cs.LG math.IT
Towards Matching Phones and Speech Representations
University of Edinburgh(爱丁堡大学)
本文将音素类型学习形式化为自监督表征聚类中心与音素嵌入的匹配问题,利用匹配结果生成伪标签并提出新损失函数,与 APC、CPC 联合训练后显著提升下游音素分类性能。
2023-10-26 cs.CL cs.LG cs.SD
Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本论文从学习、评估和迁移三个角度推进无监督视觉表示学习,提出无需反向传播的CSNNs、目标无关的表示评估指标、CARLANE域适应基准及内容一致的图像翻译方法。
2023-11-30 cs.AI cs.CV cs.GR
Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning
Honda Research Institute EU(本田欧洲研究院)
针对强化学习中反向传播需存储激活值且易致梯度异常的问题,提出利用多维尺度分析成对距离匹配原理的局部逐层损失方法,在前向传播中用局部信号训练网络,免除了反向传播,提升了性能与稳定性。
2025-07-15 cs.AI cs.LG stat.ML
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida(佛罗里达大学)
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题,学习逐层的组成假设类,即,一个前馈的多层架构,在一个有监督的环境中。在模型方面,我们提出了一个原则性的方法来“内核化”(部分或完全)任何神经网络(NN)。通过这种方法,我们获得了任何给定NN的对应物,该NN由内核机器而不是神经元驱动。在学习方面,当在监督设置中学习前馈深度架构时,需要使用反向传播(BP)同时训练所有组件,因为隐藏层没有明确的目标(Rumelhart86)。我们认为不失一般性的两层的情况下,并提出了一个通用的框架,明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后,这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现,我们提出了一个逐层训练算法的l层前馈网络的分类,其中l>=2可以是任意的。该算法可以给出一个直观的几何解释,使学习动态透明。实证结果提供补充我们的理论。我们表明,核化的网络,训练层的方式,相比之下,与经典的内核机器,以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理,以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
On the relationship between predictive coding and backpropagation
University of Notre Dame(圣母大学)
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究,并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Deep supervised learning using local errors
错误反向传播是一种高效的机制,用于在深度网络中学习高质量的分层特征。然而,更新一个层中的特征或权重需要等待来自更高层的误差信号的传播。使用延迟和非局部错误的学习使得反向传播与生物神经网络中观察到的学习机制难以协调,因为它需要神经元保持对输入的记忆足够长的时间,直到更高层的错误到达。在本文中,我们提出了一种替代的学习机制,其中错误是在本地生成的每一层使用固定的,随机的辅助分类。因此,较低层可以独立于较高层进行训练,并且训练可以逐层进行,或者使用局部错误信息在所有层中同时进行。我们解决了生物可扩展性问题,如权重对称性要求,并表明基于固定,广泛和随机调整每个神经元的分类类别的学习机制优于MNIST,CIFAR10和SVHN数据集上的生物激励反馈对齐学习技术,接近标准反向传播的性能。我们的方法突出了一个潜在的生物学机制的监督,或任务依赖,学习功能层次结构。此外,我们还表明,它非常适合在定制硬件中学习深度网络,可以大幅减少内存流量和数据通信开销。
2017-11-17 cs.LG cs.NE stat.ML
Can Forward Gradient Match Backpropagation?
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Flatiron Institute(熨斗研究院);MILA(蒙特利尔学习算法研究所);Concordia University(康考迪亚大学)
针对前向梯度训练神经网络需猜测高维步长方向的难题,提出用小型局部辅助网络反馈偏置梯度猜测方向,实验验证该方法可大幅提升前向梯度效果。
2023-06-12 cs.CV cs.LG cs.NE
Backpropagation and Biological Plausibility
University of Siena(锡耶纳大学)
总的来说,反向传播(BP)被认为是机器学习进展的基础上最重要的神经计算算法之一,包括深度学习的最新进展。然而,它的计算结构一直是许多争论的根源,其可解释的生物相容性。在本文中,它表明,当帧监督学习在拉格朗日框架,而人们可以看到一个自然出现的反向传播,生物合理的本地算法也可以设计的基础上搜索鞍点的学习伴随空间组成的权重,神经输出,和拉格朗日乘子。这可能会打开大门,一个真正新颖的一类学习算法,因为引入了支持神经元的概念,优化方案也发挥了重要作用,在建设的架构。
2018-08-21 cs.AI cs.LG stat.ML
S4NN: temporal backpropagation for spiking neural networks with one spike per neuron
Shahid Beheshti University(沙希德·贝赫什提大学);CNRS(法国国家科学研究中心);Universite Toulouse 3(图卢兹第三大学)
我们提出了一个新的监督学习规则的多层脉冲神经网络(SNN),使用一种形式的时间编码称为秩顺序编码。在这种编码方案下,所有神经元对每个刺激都只发射一个尖峰,但发射顺序携带着信息。特别地,在读出层中,第一个被激发的神经元决定了刺激的类别。我们推导出一种新的学习规则,这种网络,命名为S4 NN,类似于传统的误差反向传播,但基于lavelet。我们展示了如何近似的误差梯度可以向后计算的前馈网络中的任何层数。这种方法通过监督多个全连接层SNN达到了最先进的性能:MNIST数据集的测试准确率为97.4%,加州理工学院Face/Motorbike数据集的测试准确率为99.2%。然而,我们使用的神经元模型,非泄漏积分和发射,比以前所有工作中使用的模型简单得多。拟议的S4 NN的源代码可在https://github.com/SRKH/S4NN上公开获得。
2020-06-13 cs.CV cs.LG cs.NE
Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition
Department of Electrical, Computer, and Software Engineering(电气、计算机和软件工程系);University of Auckland(奥克兰大学)
本文通过分解前向-前向算法的两个设计选择,探讨其性能限制来源,并提出Mono-Forward算法,以标准分类目标替代对比目标,提升性能与效率。
2026-05-07 cs.LG
A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文提出一种无需反向传播的反馈-赫本网络,通过局部可塑性实现持续学习动态,展示反馈路径在再生和维持关联中的作用。
2026-02-02 cs.LG cs.NE
Stochastic Block-ADMM for Training Deep Networks
Oregon State University(俄勒冈州立大学);Applied Research Center, PCG, Tencent(腾讯PCG应用研究中心)
在本文中,我们提出了随机块ADMM作为训练深度神经网络的方法,在批量和在线设置。我们的方法通过将神经网络分成任意数量的块,并利用辅助变量连接这些块,同时使用随机梯度下降进行优化。这允许在传统的反向传播不适用的情况下训练具有不可微约束的深度网络。这一点的一个应用是监督特征分解,我们提出的DeepFacto将非负矩阵分解(NMF)层插入网络。由于反向传播只需要在每个块内执行,我们的方法消除了消失的梯度,并提供了并行化的潜力。我们证明了我们提出的方法的收敛性,并通过监督和弱监督设置中的实验证明了其能力。
2021-05-01 cs.AI cs.DC cs.LG
Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum
University of Kent(肯特大学)
针对深度神经网络反向传播可扩展性差、前向模式自动微分方法高方差影响收敛的问题,提出结合活动扰动前向梯度、直接反馈对齐与动量的前向直接反馈对齐算法,经理论与实验验证其方差更低、收敛更快、性能更优,为神经形态兼容的在线学习算法提供新思路。
2023-08-21 cs.LG
Backpropagation through Combinatorial Algorithms: Identity with Projection Works
Cornell University(康奈尔大学);MPI Intelligent Systems(马克斯·普朗克智能系统研究所);Masaryk University(马萨里克大学);Cornell Tech(康奈尔理工学院)
针对离散求解器导数为零或未定义的问题,提出利用离散解空间几何将反向传播时求解器视为负恒等映射的无超参数方法,辅以通用正则化,在多任务上性能媲美复杂现有方法。
2023-03-17 cs.LG
LACTOSE: Linear Array of Conditions, TOpologies with Separated Error-backpropagation -- The Differentiable "IF" Conditional for Differentiable Digital Signal Processing
The University of Electro-Communications(电气通信大学)
本文提出LACTOSE算法,通过分离误差反向传播实现神经网络中的条件语句,并应用于DDSP,为每个数值范围存储参数并在预测时动态加载。
2025-02-20 cs.LG cs.NE cs.SD
Deep Transductive Semi-supervised Maximum Margin Clustering
半监督聚类是机器学习和计算机视觉中一个非常重要的研究课题。这个问题的关键挑战是如何学习一个度量,使得共享相同标签的实例在嵌入空间上更可能彼此接近。然而,很少有人注意到学习更好的表示时,数据躺在非线性流形。幸运的是,深度学习最近在特征学习方面取得了巨大成功。受深度学习的启发,我们提出了一种深度转换的半监督最大边缘聚类方法。更具体地说,给定成对约束,我们利用标记和未标记的数据学习一个非线性映射下的最大间隔框架聚类分析。因此,我们的模型统一了半监督聚类框架中的直推学习,特征学习和最大间隔技术。我们用限制性玻尔兹曼机(RBM)逐层预训练深度网络结构,并用梯度下降优化我们的目标函数。通过检查最违反的约束,我们的方法通过误差反向传播更新模型参数,其中自动学习深度特征。实验结果表明,我们的模型是显着优于最先进的半监督聚类。
2015-01-26 cs.LG
Signal Propagation: A Framework for Learning and Inference In a Forward Pass
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个新的学习框架,信号传播(sigprop),传播学习信号和更新神经网络参数通过一个向前通过,作为一种替代反向传播。在sigprop中,只有推理和学习的前向路径。因此,除了推理模型本身之外,学习没有必要的结构或计算约束,例如反馈连接,权重传输或反向传递,这些都存在于基于反向传播的方法中。也就是说,sigprop支持全局监督学习,只有一个前向路径。这是层或模块并行训练的理想选择。在生物学中,这解释了没有反馈连接的神经元如何仍然可以接收全局学习信号。在硬件方面,这提供了一种用于全局监督学习而没有向后连接的方法。Sigprop通过构造与大脑和硬件中的学习模型具有兼容性,而不是反向传播,包括放松学习约束的替代方法。我们还证明了sigprop在时间和内存方面比它们更有效。为了进一步解释sigprop的行为,我们提供证据证明sigprop在反向传播的上下文中提供了有用的学习信号。为了进一步支持生物和硬件学习的相关性,我们使用sigprop来训练具有Hebbian更新的连续时间神经网络,并且仅用电压或用生物和硬件兼容的代理函数来训练脉冲神经网络。
2022-11-17 cs.LG cs.NE q-bio.NC
Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of California–Irvine(加州大学尔湾分校)
直接训练脉冲神经网络(SNN)由于复杂的神经动力学和内在的不可微性在发射功能仍然具有挑战性。众所周知的反向传播通过时间(BPTT)算法提出的训练SNN遭受大内存占用,并禁止向后和更新解锁,使其不可能利用本地监督训练方法的潜力。这项工作提出了一个有效的和直接的训练算法,集成了本地监督的训练方法与时间截断BPTT算法的SNN。该算法在时间和空间两个局部性的BPTT,并有助于显着减少计算成本,包括GPU内存利用率,主存访问和算术运算。我们彻底探索了关于时间截断长度和局部训练块大小的设计空间,并对它们对运行不同类型任务的不同网络的分类精度的影响进行了基准测试。结果表明,时间截断对基于帧的数据集分类的准确性有负面影响,但导致在动态视觉传感器(DVS)记录的数据集的准确性的改善。尽管由此产生的信息丢失,局部训练是能够减轻过拟合。时间截断和局部训练的综合作用可以减缓精度下降,甚至提高精度。此外,与标准的端到端BPTT相比,训练深度SNN模型(如对CIFAR 10-DVS数据集进行分类的AlexNet)导致准确性提高7.26%,GPU内存减少89.94%,内存访问减少10.79%,MAC操作减少99.64%。
2021-12-13 cs.LG cs.NE eess.SP
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras;Tesla(特斯拉);Cerebras Systems, Inc(Cerebras Systems 公司);Google(谷歌)
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发,探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中,我们评估使用小批量,细粒度的流水线反向传播,异步流水线并行训练算法,具有显着的硬件优势。我们介绍了两种方法,尖峰补偿和线性权重预测,有效地减轻了由流水线反向传播的并行性造成的缺点,并在我们的设置中优于现有技术。我们表明,适当的规范化和小批量也可以帮助训练。使用我们的方法,使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练,而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
Semi-Supervised Learning with Ladder Networks
The Curious AI Company(好奇人工智能公司);Nokia Labs(诺基亚实验室);Aalto University(阿尔托大学)
我们在深度神经网络中将监督学习与无监督学习相结合。该模型通过反向传播训练,同时最小化监督和非监督成本函数的总和,避免了逐层预训练的需要。我们的工作建立在Valpola(2015)提出的梯形网络的基础上,我们通过将模型与监督相结合来扩展该网络。我们表明,所得到的模型达到最先进的性能,在半监督MNIST和CIFAR-10分类,除了置换不变的MNIST分类与所有标签。
2015-11-24 cs.LG cs.NE stat.ML
Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);KUIS AI Center, Koc University(科奇大学KUIS人工智能中心);EEE Department, Koc University(科奇大学电气与电子工程系);John A. Paulson School of Engineering & Applied Sciences and Center for Brain Science, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院及脑科学中心);Kempner Institute for the Study of Natural and Artificial Intelligence(肯普纳自然与人工智能研究所)
本文提出相关信息最大化作为生物神经网络信号传播的替代规范方法,解决了传统神经网络和反向传播算法的生物合理性问题,并提供了一种无权重对称性的解决方案。
2026-03-26 cs.IT cs.LG cs.NE
Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
脉冲神经网络(SNN)很好地支持时空学习和节能的事件驱动硬件神经形态处理器。递归脉冲神经网络(RSNNs)是一类重要的神经网络,具有强大的计算能力。然而,RSNN的实际应用受到培训挑战的严重限制。生物启发的无监督学习在提高RSNN性能方面的能力有限。另一方面,现有的反向传播(BP)方法遭受高复杂性展开的时间,消失和爆炸梯度,以及近似分化的不连续尖峰活动时,应用到RSNN。为了能够在定义良好的损失函数下对RSNN进行监督训练,我们提出了一种新的用于训练深度RSNN的Spike-Train级别的反向传播(ST-RSBP)算法。建议的ST-RSBP直接计算的梯度率编码的损失函数定义在输出层的网络w.r.t可调参数。ST-RSBP的可扩展性是通过所提出的尖峰训练级计算来实现的,在此期间,SNN的时间效应在BP的前向和后向传递中被捕获。我们的ST-RSBP算法可以广泛应用于具有单个递归层的RSNN或具有多个前馈和递归层的深度RSNN。基于具有挑战性的语音和图像数据集,包括TI 46、N-TIDIGITS、Fashion-MNIST和MNIST,ST-RSBP能够训练RSNN,其精度超过当前最先进的SNN BP算法和传统的非尖峰深度学习模型。
2019-11-03 cs.LG cs.NE
Web spam classification using supervised artificial neural network algorithms
Integral University(英特拉尔大学)
由于垃圾邮件发送者所采用的技术的快速增长,需要更有效、通用和高度自适应的分类器。基于神经网络的技术具有很强的自适应能力和泛化能力。据我们所知,在这一领域中使用神经网络的工作很少。我们提出本文来填补这一空白。本文通过创建分类器来评估人工神经网络的三种监督学习算法的性能,以解决最新Web垃圾邮件模式分类的复杂问题。这些算法是共轭梯度算法,弹性反向传播学习和Levenberg-Marquardt算法。
2015-02-12 cs.LG cs.NE
Activation Learning by Local Competitions
Shandong University(山东大学)
尽管它取得了巨大的成功,反向传播有一定的局限性,需要研究新的学习方法。在这项研究中,我们提出了一个生物学上合理的本地学习规则,改进了Hebb的著名的建议,并发现了无监督的功能,神经元之间的本地竞争。这个简单的学习规则使得能够创建称为激活学习的前向学习范例,其中神经网络的输出激活(平方输出之和)估计输入模式的可能性,或者用更简单的术语来说“学习更多,激活更多”。对于一些小的经典数据集的分类,激活学习使用完全连接的网络执行反向传播,并且在训练样本较少或不可预测的干扰时优于反向传播。此外,相同的训练网络可用于各种任务,包括图像生成和完成。激活学习还在几个真实世界的异常检测数据集上实现了最先进的性能。这种新的学习范式有可能统一监督学习、无监督学习和半监督学习,并且对对抗攻击具有更强的抵抗力,值得深入研究。
2022-12-25 cs.AI cs.CV cs.LG
Event Representation with Sequential, Semi-Supervised Discrete Variables
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
在事件建模和理解的背景下,我们提出了一种新的神经序列建模方法,该方法考虑了部分观察到的离散外部知识序列。我们构建了一个顺序神经变分自编码器,它使用Gumbel-Softmax重新参数化在一个精心定义的编码器,允许在训练过程中成功的反向传播。其核心思想是允许半监督的外部离散知识在训练过程中引导而不是限制变分的潜在参数。实验表明,该方法不仅优于多基线和叙事脚本归纳的最新技术,而且收敛速度更快。
2021-04-13 cs.CL cs.LG
Self-supervised local learning rules learn the hidden hierarchical structure of high-dimensional data
School of Life Science and School of Computer and Communications Sciences, EPFL(生命科学学院和计算机与通信科学学院,瑞士联邦理工学院);Machine Learning Research Unit, TU Wien(机器学习研究单位,维也纳技术大学)
本文研究了自监督局部学习规则在随机层次模型上的表现,发现第一类规则因输入特定的非线性(masking)失效,而第二类规则能有效学习层次结构并具备数据效率和生物合理性。
2026-05-18 cs.LG cs.NE q-bio.NC
Looking For A Match: Self-supervised Clustering For Automatic Doubt Matching In e-learning Platforms
Vedantu Innovations Pvt. Ltd.(Vedantu创新私人有限公司)
最近,电子学习平台已经发展成为一个地方,学生可以发布疑问(用智能手机拍摄的快照),并在几分钟内解决它们。然而,学生在这些平台上发布的质量差异很大的疑问数量显著增加,这不仅对教师的导航提出了挑战,而且增加了每个疑问的解决时间。两者都是不可接受的,因为高疑问解决时间阻碍了学生的学习进度。这就需要自动识别知识库中是否存在类似的疑问,然后将其作为合理的解决方案提供给教师,以验证并与学生沟通。监督学习技术(如暹罗体系结构)需要标签来识别匹配,这是不可行的,因为标签是稀缺和昂贵的。在这项工作中,我们,因此,开发了一个标签不可知的怀疑匹配范式的基础上,通过自我监督技术学习的表示。基于BYOL(引导你自己的潜在空间)的理论见解,我们提出了自定义BYOL,它将特定领域的增强与不同的适当构建的数据视图集的对比目标相结合。结果表明,自定义BYOL与BYOL和监督学习实例相比,分别将前1匹配准确率提高了约6%和5%。我们进一步表明,这两个基于BYOL的学习实例的性能与人类标记不相上下或更好。
2022-08-20 cs.LG
Learning to Learn with Feedback and Local Plasticity
Columbia University(哥伦比亚大学)
对反向传播的生物学替代方案的兴趣是由两个愿望驱动的,即推进深度学习和神经科学之间的联系,并解决反向传播在在线、持续学习等任务上的缺点。然而,到目前为止,像大脑所采用的局部突触学习规则还无法与深度网络中的反向传播性能相匹配。在这项研究中,我们采用元学习来发现使用反馈连接和本地生物启发学习规则进行学习的网络。重要的是,反馈连接与前馈权重无关,避免了生物学上不可信的权重传输。我们的实验表明,元训练的网络有效地使用反馈连接执行在线信用分配在多层架构。令人惊讶的是,这种方法在回归和分类任务上匹配或超过了最先进的基于梯度的在线Meta学习算法,特别是在持续学习方面表现出色。对这些模型所采用的权重更新的分析表明,它们在减少更新之间的干扰方面与梯度下降有质的不同。我们的研究结果表明,存在一类生物学上合理的学习机制,不仅匹配梯度下降为基础的学习,但也克服了其局限性。
2020-06-16 cs.LG cs.NE q-bio.NC
Tourbillon: a Physically Plausible Neural Architecture
University of California, Irvine(加州大学欧文分校);University of Hawai‘i at Mānoa(夏威夷大学马诺阿分校)
在物理神经系统中,反向传播面临着许多障碍,包括:需要标记数据,违反局部学习原则,需要对称连接,以及缺乏模块化。陀飞轮是一个新的架构,解决了所有这些限制。在其核心,它由一堆圆形自动编码器组成,后面是一个输出层。循环自动编码器在自监督模式下通过再循环算法进行训练,顶层在监督模式下通过随机梯度下降进行训练,可以选择使用非对称连接将误差信息传播到整个堆栈。虽然陀飞轮架构主要是为了解决物理限制,而不是为了改善深度学习的当前工程应用,但我们在标准基准数据集上证明了其可行性,包括MNIST,Fashion MNIST和CIFAR10。我们表明,陀飞轮可以实现与反向传播训练的模型相当的性能,并优于使用其他物理上合理的算法(如反馈对齐)训练的模型。
2021-07-22 cs.AI cs.LG
SeedGNN: Graph Neural Networks for Supervised Seeded Graph Matching
Purdue University(普渡大学);Duke University(杜克大学)
本文提出监督式图神经网络SeedGNN,通过可迁移的见证信息计算和利用易匹配节点对作为新种子,实现仅用少量种子即可匹配未见图,并在合成与真实图上显著优于现有方法。
2023-07-09 cs.LG
Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation
针对反向传播全局同步与高内存开销问题,提出SLL逐层训练算法,用随机投影、Bhattacharyya替代目标和局部更新实现全局表征对齐,并在多类网络与数据集上达到接近BP的性能。
2025-09-30 cs.AI cs.LG
Efficient LSTM Training with Eligibility Traces
University of Tübingen(图宾根大学)
训练递归神经网络主要通过时间反向传播(BPTT)来实现。然而,从生物学和计算的角度来看,该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆(LSTM),监督和强化学习(RL)的任务。我们表明,e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展,提高性能的电子道具,这可以部分地应用到其他网络架构。在这些扩展的帮助下,我们表明,在某些条件下,电子道具可以优于BPTT的两个基准之一,监督学习。最后,我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Mutual Exclusivity Loss for Semi-Supervised Deep Learning
University of Utah(犹他大学)
在本文中,我们考虑使用深度卷积神经网络(ConvNets)进行半监督学习的问题。半监督学习的动机是观察到未标记的数据是廉价的,可以用来提高分类器的准确性。在本文中,我们提出了一个无监督的正则化项,明确地迫使分类器的预测多个类是互斥的,并有效地引导决策边界躺在低密度空间之间的流形对应于不同类别的数据。我们提出的方法是通用的,可以与任何基于反向传播的学习方法一起使用。我们通过不同的实验表明,我们的方法可以提高使用未标记数据的ConvNets的对象识别性能。
2016-06-09 cs.CV cs.LG stat.ML
Training Multi-layer Spiking Neural Networks using NormAD based Spatio-Temporal Error Backpropagation
Indian Institute of Technology Bombay(印度理工学院孟买分校);New Jersey Institute of Technology(新泽西理工学院)
脉冲神经网络(SNN)在监督学习和无监督学习应用中引起了人们的极大兴趣。本文研究多层前馈神经网络的训练问题。尖峰神经元采用的非线性积分和激发动力学使得难以训练SNN以响应于给定输入生成期望的尖峰序列。为了解决这个问题,首先将训练多层SNN的问题公式化为优化问题,使得其目标函数基于膜电位的偏差而不是尖峰到达时刻。然后,一种名为归一化近似下降(NormAD),手工制作的非凸优化问题的优化方法,推导出迭代突触权重更新规则。接下来,它被重新制定,以有效地训练多层SNN,并被证明是有效地执行时空误差反向传播。通过训练$2$层SNN以解决XOR问题的基于尖峰的公式化以及训练$3$层SNN以用于基于一般尖峰的训练问题来验证学习规则。因此,新算法是构建能够进行有效事件触发学习的深度脉冲神经网络的关键一步。
2019-07-29 cs.LG cs.NE eess.SP
Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning
Universidade da Coruña(科鲁尼亚大学);CITIC(中信)
针对深度学习模型部署难题,提出轻量级训练策略,解耦特征提取与分类器优化,预计算特征减少开销,重新设计分类器头。在多种架构和数据集上评估,显著减少训练时间,兼顾精度,还能大幅减少二氧化碳排放,提供可持续方案。
2026-07-16 cs.AI cs.CV cs.LG
Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles
Cornell University(康奈尔大学);Salesforce AI Research
通过自我监督预训练卷积神经网络,并将其应用于迁移学习,是一个令人难以置信的快速增长领域,它正在快速迭代地提高几乎所有图像领域的性能。同时,模型集成是监督学习文献和实践中最普遍适用的技术之一,为可靠地提高性能提供了一种简单的解决方案。但是,如何最佳地组合自监督模型以最大限度地提高表示质量在很大程度上仍然没有得到解决。在这项工作中,我们提供了一个框架,通过一种新的方法,学习表示直接通过梯度下降在推理时间进行自监督模型集成。这种技术提高了表示质量,如通过k-最近邻测量的,在域内数据集和转移设置中,模型可从前者转移到后者。此外,这种通过反向传播的特征直接学习改进了即使是单个模型的表示,这与自蒸馏中发现的改进相呼应。
2021-10-19 cs.CV cs.LG
Binary Stochastic Filtering: a Method for Neural Network Size Minimization and Supervised Feature Selection
University of Chemistry and Technology(化学技术大学)
提出了二进制随机滤波(BSF)算法,用于特征选择和神经元修剪。该方法定义了过滤层,该过滤层对训练过程中涉及的信息量进行惩罚。该信息可以是前一层的输入数据或输出,其分别直接导致特征选择或神经元修剪,从而产生特征的\textit{ad hoc}子集或选择每层中神经元的最佳数目。过滤层随机传递或丢弃基于单个权重的特征,这些权重在训练过程中使用标准的反向传播算法进行调整。实验中实现了神经网络规模的成倍减小。此外,该方法能够选择最少数量的特征,超过文献参考的准确性/维数比。
2019-08-20 cs.LG stat.ML
Training Deep Architectures Without End-to-End Backpropagation: A Survey on the Provably Optimal Methods
University of Florida(佛罗里达大学)
本教程调查了端到端反向传播(E2 EBP)的可证明的最佳替代方案-用于训练深度架构的事实标准。模块化训练是指严格的局部训练,没有向前和向后的传球,即,将深度架构划分为若干不重叠的模块,并单独训练它们,而不进行任何端到端操作。在完全全局E2 EBP和严格局部模块化训练之间,存在仅执行训练而不向后传递的弱模块化混合。这些替代方案可以在ImageNet等具有挑战性的数据集上匹配或超越E2 EBP的性能,并且越来越受到关注,主要是因为它们提供了E2 EBP的实际优势,这将在本文中列举。特别是,它们允许深度学习工作流程中更大的模块化和透明度,使深度学习与主流计算机科学工程保持一致,这些工程充分利用模块化来实现可扩展性。模块化培训还揭示了关于学习的新见解,并对其他重要的研究领域产生了进一步的影响。具体而言,它归纳自然和有效的解决方案,一些重要的实际问题,如数据效率和可转移性估计。
2022-08-09 cs.LG cs.NE stat.ML
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection
NTT Communication Science Laboratories(NTT通信科学研究所);NTT Software Innovation Center(NTT软件创新中心)
基于神经网络的异常检测方法已经显示出实现高性能。然而,它们需要为每个任务提供大量的训练数据。我们提出了一种基于神经网络的元学习方法的监督异常检测。该方法通过对不同数据集进行元训练,提高了对包含少量标记正常和异常实例的不可见任务的异常检测性能。对于元学习框架,快速适应每个任务及其有效的反向传播非常重要,因为模型是通过每个时期的适应来训练的。我们的模型使他们通过制定适应作为一个广义特征值问题,一类分类,其全局最优解,求解器是可微的。我们的实验证明,该方法在各种数据集上比现有的异常检测和少镜头学习方法(Few-Shot learning)获得了更好的性能。
2021-03-01 cs.LG stat.ML
Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
Independent Researcher(独立研究者)
研究发现无训练网络在早期视觉皮层表征相似性上优于或持平于训练网络,通过对比四种学习规则(BP、FA、PC、STDP)在训练过程中与人类fMRI数据的对齐变化,揭示全局误差信号(BP)比局部学习规则(PC、STDP)更剧烈地重塑早期表征。
2026-11-18 cs.LG q-bio.NC
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering(电气与计算机工程系);Worcester Polytechnic Institute(沃斯特理工学院)
本文提出一种结构化多层递归SNN架构,通过局部密集递归层与稀疏小世界长程连接相结合,实现无需反向传播的监督学习,展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE