Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning
Honda Research Institute EU(本田欧洲研究院)
针对强化学习中反向传播需存储激活值且易致梯度异常的问题,提出利用多维尺度分析成对距离匹配原理的局部逐层损失方法,在前向传播中用局部信号训练网络,免除了反向传播,提升了性能与稳定性。
2025-07-15 cs.AI cs.LG stat.ML
PaReprop: Fast Parallelized Reversible Backpropagation
UC Berkeley(加州大学伯克利分校)
针对可逆Transformer训练中反向传播阶段激活重计算带来的额外开销问题,提出PaReprop并行化可逆反向传播算法,将激活重计算与梯度计算并行,经多模态多模型基准测试,训练吞吐量最高比普通可逆训练提升20%。
2023-06-15 cs.CL cs.CV cs.LG
Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation
School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Department of Automation, Tsinghua University(清华大学自动化系);Central Research Institute, United Imaging Healthcare, Co., Ltd.(联影医疗股份有限公司中央研究院)
针对大模型微调内存开销大的问题,提出近似反向传播理论与内存共享反向传播策略,在不增加计算、不降低效率的前提下,最多可降低约30%的峰值内存使用量。
2024-06-24 cs.AI cs.LG
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University(南卫理公会大学)
最近,机器学习中的神经网络在早期处理层中使用整流线性单元(ReLU)以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明,输出激活概率Pr[y>0]在系统收敛时通常小于0.5,对于不采用跳跃连接的层,并且随着从输入层到输出层的进展,该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型,然后我们进行统计收敛分析,以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度,无论权重如何初始化,这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
Activation Learning by Local Competitions
Shandong University(山东大学)
尽管它取得了巨大的成功,反向传播有一定的局限性,需要研究新的学习方法。在这项研究中,我们提出了一个生物学上合理的本地学习规则,改进了Hebb的著名的建议,并发现了无监督的功能,神经元之间的本地竞争。这个简单的学习规则使得能够创建称为激活学习的前向学习范例,其中神经网络的输出激活(平方输出之和)估计输入模式的可能性,或者用更简单的术语来说“学习更多,激活更多”。对于一些小的经典数据集的分类,激活学习使用完全连接的网络执行反向传播,并且在训练样本较少或不可预测的干扰时优于反向传播。此外,相同的训练网络可用于各种任务,包括图像生成和完成。激活学习还在几个真实世界的异常检测数据集上实现了最先进的性能。这种新的学习范式有可能统一监督学习、无监督学习和半监督学习,并且对对抗攻击具有更强的抵抗力,值得深入研究。
2022-12-25 cs.AI cs.CV cs.LG
Memory-Efficient Backpropagation through Large Linear Layers
Skoltech(斯科尔科沃科技学院);AIRI(人工智能研究院)
在像Transformers这样的现代神经网络中,线性层需要大量的内存来存储反向传递期间的激活。这项研究提出了一种内存减少的方法来执行反向传播通过线性层。由于线性层的梯度计算矩阵乘法,我们认为随机矩阵乘法的方法,并证明他们需要较少的内存与适度降低的测试精度。此外,我们还研究了随机矩阵乘法引起的梯度估计的方差。我们将此方差与基于该批样本的梯度估计的方差进行比较。我们证明了所提出的方法在GLUE任务上对预训练的RoBERTa模型进行微调的好处。
2022-02-02 cs.AI cs.LG stat.ML
XConv: Low-memory stochastic backpropagation for convolutional layers
University of Central Florida(中央佛罗里达大学);Rice University(里士满大学);DevitoCodes Ltd(DevitoCodes有限公司);Michigan State University(密歇根州立大学);Georgia Institute of Technology(佐治亚理工学院)
提出XConv方法,通过存储激活的压缩投影并利用多通道随机迹估计近似梯度,在不增加计算、不约束架构、不大量修改代码的情况下,大幅降低卷积层反向传播的内存需求。
2026-06-24 cs.LG cs.NA math.NA
Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs
The Pennsylvania State University(宾夕法尼亚州立大学)
基于机器/深度学习(ML/DL)的技术正在成为许多尖端技术背后的驱动力,实现了计算机视觉工作负载的高精度,如图像分类和目标检测。然而,训练这些涉及大参数的模型既耗时又耗能。在这方面,一些先前的工作已经提倡稀疏性来加速DL训练,更重要的是,推理阶段。这项工作开始于观察,在训练过程中,稀疏的向前和向后传递是相关的。在这种情况下,我们调查两种类型的稀疏性(输入和输出类型)固有的梯度下降为基础的优化算法,并提出了一个硬件微架构,以利用相同的。我们的实验结果在Imagenet数据集上使用了五个最先进的CNN模型,与密集基线执行相比,反向传播加速范围为1.69 $\times$至5.43 $\times$。通过在向前和向后传递中利用稀疏性,与稀疏性无关的基线执行相比,加速改进的范围从1.68 $\times$到3.30 $\times$。我们的工作还实现了训练迭代时间的显着减少,在几个以前提出的密集以及稀疏加速器为基础的平台,除了实现数量级的能源效率提高基于GPU的执行。
2021-09-16 cs.CV cs.LG
BoA: Attention-aware Post-training Quantization without Backpropagation
Samsung Research(三星研究院)
本文提出BoA,一种无需反向传播的注意力感知训练后量化算法,通过注意力感知Hessian矩阵建模层间依赖来优化量化权重,在LLMs上取得了最先进的权重-激活量化性能。
2025-06-06 cs.AI cs.LG
Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
University of Edinburgh(爱丁堡大学);University of Sussex(萨塞克斯大学)
误差反向传播(backprop)是一种通过端到端微分来训练机器学习架构的强大算法。然而,反向传播经常被批评为缺乏生物相容性。最近,它已被证明,在多层感知器(MLP)的反向传播可以近似使用预测编码,生物合理的过程理论的皮质计算,只依赖于本地和赫布更新。然而,反向传播的力量并不在于它在MLP中的实例化,而是在于自动微分的概念,它允许优化任何表达为计算图的可微分程序。在这里,我们证明了预测编码渐近收敛(并在实践中迅速),以精确的反向传播梯度任意计算图仅使用本地学习规则。我们应用这一结果来开发一种简单的策略,将核心机器学习架构转换为预测编码等价物。我们构建了预测编码CNN,RNN和更复杂的LSTM,其中包括非层式分支内部图结构和乘法交互。我们的模型在具有挑战性的机器学习基准测试中表现得与反向传播相当,同时只利用局部和(大部分)赫布可塑性。我们的方法提高了标准机器学习算法原则上可以直接在神经电路中实现的可能性,并且也可能有助于完全分布式神经形态架构的发展。
2020-10-05 cs.LG cs.NE
Neural Network with Unbounded Activation Functions is Universal Approximator
Waseda University(早稻田大学)
本文研究了具有无界激活函数的神经网络的逼近特性,例如整流线性单元(ReLU),这是深度学习的新事实标准。ReLU网络可以通过脊波变换相对于Lizorkin分布进行分析。通过利用Fourier切片定理、Radon变换和Parseval关系给出三个重构公式,证明了具有无界激活函数的神经网络仍满足普适逼近性质.作为一个额外的结果,脊波变换或Radon域中的反向投影滤波器是网络在反向传播后学习的。在构造性容许条件下,训练好的网络可以通过简单地离散脊波变换来获得,而无需反向传播。数值算例不仅证明了可容许条件的一致性,而且也说明了某些不可容许的情形会导致低通滤波。
2015-11-29 cs.LG cs.NE math.FA
Supervised Learning in Temporally-Coded Spiking Neural Networks with Approximate Backpropagation
University of Minnesota(明尼苏达大学);University of Surrey(萨里大学);University of Applied Sciences, Stralsund(施特拉尔松德应用科学大学)
在这项工作中,我们提出了一种新的监督学习方法的时间编码的多层尖峰网络进行分类。该方法采用模拟反向传播但计算密集度低得多的强化信号。在每一层的权重更新计算仅需要除了该信号之外的本地数据。我们还采用了一种能够产生特定输出尖峰序列的规则;通过将目标尖峰时间设置为等于实际尖峰时间,并对关键高值神经元进行轻微的负偏移,实际尖峰时间变得尽可能早。在模拟的MNIST手写数字分类中,用该规则训练的两层网络与基于反向传播的无尖峰网络的性能相匹配。
2020-07-27 cs.LG cs.NE
Training neural networks with end-to-end optical backpropagation
University of Oxford(牛津大学);Lumai Ltd.(卢迈有限公司)
本文首次提出利用可饱和吸收体与泵浦-探测过程实现光学反向传播,从而构建完全依赖模拟光学过程完成训练和推理的神经网络。
2023-08-09 cs.LG physics.optics
Activation-Space Uncertainty Quantification for Pretrained Networks
Department of Engineering, University of Cambridge, Cambridge, UK(剑桥大学工程系);Mathematical Institute(数学研究所);Oxford-Man Institute, University of Oxford, Oxford, UK(牛津大学奥克斯曼研究所)
GAPA通过在激活空间中提供闭合形式的epistemic方差,实现了预训练网络的高效不确定性量化,无需采样或反向传播。
2026-02-23 cs.LG stat.ML
Activation Map Compression through Tensor Decomposition for Deep Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院)
针对嵌入式设备上反向传播内存占用高的挑战,提出基于SVD和高阶SVD张量分解的激活图压缩方法,在保留学习特征和理论收敛性的同时实现内存节省,并在泛化与内存权衡上表现优越。
2024-11-10 cs.CV cs.LG
On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization
Institute for Intelligent Networked Systems, Northeastern University London(智能网络系统研究所,东北大学伦敦分校);Department of Engineering, King’s College London(工程系,伦敦大学国王学院)
针对边缘AI设备端微调受内存限制难以部署大模型的问题,提出内存高效零阶优化(MeZO),通过仅用前向评估估计梯度消除中间激活和优化器状态存储,理论估计并数值验证其可支持更大模型且在足够微调时间下有精度优势。
2025-11-14 cs.CL cs.LG
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University(斯坦福大学)
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题,在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论,建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是,我们表明,半定提升始终是准确的,因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说,具有多项式激活的全局最优双层神经网络可以通过求解半定规划(SDP)并使用我们称为神经分解的过程分解该解来找到。此外,正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明,标准的权重衰减正则化制定是NP-困难的,而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构,包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明,标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快,以获得更好的测试精度相比,标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Fast Parametric Learning with Activation Memorization
DeepMind;University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元)
用反向传播训练的神经网络通常很难识别被观察了很少次数的类。在大多数类标签都很罕见的应用程序中,例如语言建模,这可能成为性能瓶颈。一个潜在的补救措施是用快速学习的非参数模型来增强网络,该模型将最近的激活和类标签存储到外部存储器中。我们探索一个简化的架构,我们对待的模型参数的一个子集作为快速存储器。这可以帮助在比传统存储器更长的时间间隔内保留信息,并且不需要额外的空间或计算。在图像分类的情况下,我们展示了Omniglot图像课程任务上的新类的更快绑定。我们还显示了基于单词的语言模型在新闻报道(GigaWord),书籍(古腾堡计划)和维基百科文章(WikiText-103)上的性能改善-后者实现了29.2的最先进的困惑。
2018-03-27 cs.LG stat.ML
Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
Tsinghua University(清华大学);Peking University(北京大学)
研究从反向传播角度探讨注意力沉底与梯度沉底的关系,发现因果掩码下注意力沉底会引发梯度集中,且在预归一化架构中,大规模激活是训练时对梯度压力的适应性响应。
2026-10-20 cs.AI cs.LG
Moonwalk: Inverse-Forward Differentiation
University of California, Irvine(加州大学尔湾分校)
针对反向传播需要存储中间激活值导致网络深度受限的问题,提出Moonwalk方法,通过引入子mersive网络和碎片梯度检查点,利用向量-逆-雅可比乘积(vijp)操作在无需存储激活值的情况下重建梯度,实现了与反向传播相当的运行时间且支持更深的网络。
2026-05-21 cs.AI cs.LG
Randomized Matrix Sketching for Neural Network Training and Gradient Monitoring
Department of Mathematical Sciences(数学科学系);Center for Mathematics(数学中心);Artificial Intelligence (CMAI), George Mason University. Fairfax, VA 22030.(人工智能(CMAI),乔治·马歇尔大学,弗吉尼亚州 Fairfax,22030);School of Mathematical(数学系);Statistical Sciences, Clemson University, Clemson, SC 29634.(统计科学系,克莱姆森大学,SC州 Clemson,29634)
针对神经网络训练中层激活值存储的内存瓶颈,提出基于自适应秩EMA的三矩阵概要方法,实现内存高效的梯度重建与监控,在多个基准上验证了可控的精度-内存权衡。
2025-10-01 cs.LG
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);National University of Singapore(新加坡国立大学)
反向传播(BP)算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而,有人认为这在生物学上是不合理的,因为在生物神经系统中,具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中,我们提出了一个生物学上合理的神经架构的基础上,在神经科学和非对称BP类方法的相关文献范式。具体来说,我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是,反馈权重在我们的框架中也是可塑的,并且经过训练以近似正向激活。初步结果表明,我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
CARE-LoRA: Compressed Activation REconstruction for Memory-Efficient LoRA
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University(上海交通大学图像处理与模式识别研究所)
研究在有限内存下微调大型预训练模型的问题,提出CARE-LoRA框架,利用LoRA投影结构,用低秩压缩激活取代完整输入激活,并计算重建矩阵,大幅减少内存占用,性能与标准LoRA及变体相当甚至更优。
2026-07-15 cs.AI cs.LG
Multikernel activation functions: formulation and a case study
Sapienza University of Rome(罗马第一大学);Roma Tre University(罗马第三大学)
激活函数的设计是神经网络领域中一个不断发展的研究领域。特别地,代替使用固定逐点函数(例如,整流线性单元),几个作者已经提出了以非参数方式直接从数据学习这些函数的方法。在本文中,我们专注于内核激活函数(KAF),最近提出的框架,其中每个函数被建模为一个一维的内核模型,其权重是通过标准的反向传播为基础的优化适应。KAF的一个缺点是需要选择单个核函数及其最终的超参数。为了部分克服这个问题,我们激励KAF模型的扩展,其中多个内核在每个神经元处线性组合,这是受到多内核学习文献的启发。我们提供了一个应用程序的结果多KAF上的一个现实的用例,特别是手写拉丁OCR,在一个大型数据集收集的背景下的“在Codice比率”项目。结果表明,多KAF可以提高先前为该任务开发的卷积网络的准确性,收敛速度更快,即使总体参数数量更少。
2019-01-29 cs.LG stat.ML
Understanding Dropout as an Optimization Trick
Handong Global University(韩东大学)
作为训练深度神经网络的标准方法之一,dropout已被应用于正则化大型模型以避免过拟合,并且dropout对性能的改善已被解释为避免节点之间的自适应。然而,当在训练有或没有dropout的网络后比较节点之间的相关性时,如果共同适应避免完全解释了dropout效应,就会出现一个问题。在本文中,我们提出了一个额外的解释,为什么辍学工程,并提出了一种新的技术来设计更好的激活函数。首先,我们可以解释为一种优化技术,通过加速梯度信息流动,甚至在反向传播的饱和区域,将输入推向非线性激活函数的饱和区域。基于这种解释,我们提出了一种新的技术,激活函数,{ \em梯度加速激活函数(GAAF)},加速梯度流动,即使在饱和区。然后,激活函数的输入可以爬上饱和区域,这使得网络更鲁棒,因为模型收敛于平坦区域。实验结果支持我们的解释辍学,并确认所提出的GAAF技术提高了图像分类的性能与预期的属性。
2019-10-09 cs.LG stat.ML
LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
Delft University of Technology(代尔夫特理工大学);Purdue University(普渡大学)
LANCE通过低秩分解实现激活压缩,减少内存和计算成本,提升设备端持续学习效率,实验表明在多个数据集上效果优于传统方法。
2026-03-17 cs.AI cs.LG cs.NE
StreamBP: Memory-Efficient Exact Backpropagation for Long Sequence Training of LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Jiao Tong University(上海交通大学)
StreamBP通过沿序列维度逐层线性分解链式法则,在保证精确反向传播的同时大幅降低长序列训练的内存开销,并将最大序列长度扩展2.8-5.5倍,且支持多GPU分布式训练。
2025-06-03 cs.AI cs.LG
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment
Rochester Institute of Technology(罗切斯特理工学院);The Pennsylvania State University(宾夕法尼亚州立大学)
在大规模数据集上训练深度神经网络需要大量的硬件资源,这些资源的成本(即使在云平台上)使小型组织、团体和个人无法获得。反向传播是训练这些网络的主力,是一个固有的顺序过程,难以并行化。此外,它需要研究人员不断开发各种技巧,如专门的权重初始化和激活函数,以确保稳定的参数优化。我们的目标是寻找一种有效的、神经生物学上合理的替代反向传播的方法,可以用来训练深度网络。在本文中,我们提出了一个无梯度的学习过程,递归局部表示对齐,用于训练大规模神经结构。在CIFAR-10和大型基准测试ImageNet上进行的残差网络实验表明,由于权重更新可并行化且计算要求较低,我们的算法具有泛化和反向传播的能力,同时收敛速度更快。这是经验证据,证明无反向传播算法可以扩展到更大的数据集。
2020-09-18 cs.LG cs.NE stat.ML
Dendritic cortical microcircuits approximate the backpropagation algorithm
Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院);University of Bern(伯尔尼大学);University of Bristol(布里斯托大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
深度学习在过去几年中取得了显著的发展,其中许多都受到了神经科学的启发。然而,这些进步背后的主要学习机制-错误反向传播-似乎与神经生物学不一致。在这里,我们介绍了一个多层神经元网络模型与简化的树突室中,错误驱动的突触可塑性适应网络对一个全球性的期望输出。与以前的工作相比,我们的模型不需要单独的阶段,突触学习是由局部树突预测误差连续驱动的。这种错误起源于顶端树突,并且由于来自外侧中间神经元的预测输入与来自实际自上而下反馈的活动之间的不匹配而发生。通过使用简单的树突隔室和不同的细胞类型,我们的模型可以代表锥体神经元内的错误和正常活动。我们展示了该模型在回归和分类任务中的学习能力,并分析表明它近似于误差反向传播算法。此外,我们的框架是一致的,最近的观察学习之间的大脑区域和皮层微电路的架构。总的来说,我们介绍了一种新的观点学习树突状皮层电路和大脑如何解决长期存在的突触信用分配问题。
2018-10-26 cs.LG cs.NE q-bio.NC
DANTE: Deep AlterNations for Training nEural networks
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
我们提出了DANTE,一种新的方法训练神经网络使用交替最小化原则。DANTE为传统的基于梯度的反向传播技术提供了另一种视角,该技术通常用于训练深度网络。它利用拟凸性的自适应性将训练神经网络转化为双拟凸优化问题。我们表明,对于具有可微(例如sigmoid)和不可微(例如ReLU)激活函数的神经网络配置,我们可以在此公式中有效地执行交替。DANTE还可以扩展到具有多个隐藏层的网络。在标准数据集上的实验中,发现使用所提出的方法训练的神经网络在解决方案的质量以及训练速度方面都比传统的反向传播技术有前途和竞争力。
2020-08-09 cs.LG stat.ML
Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
University of Southern California(南加州大学);Perforated AI Inc.(穿孔人工智能公司)
该研究提出受生物树突启发的穿孔反向传播算法,将其应用于PyTorch网络,可提升准确率并实现无精度损失的模型压缩。
2026-09-01 cs.LG cs.NE q-bio.NC
Reversible Recurrent Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
循环神经网络(RNN)在处理顺序数据方面提供了最先进的性能,但是训练是存储密集型的,限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径,因为隐藏状态不需要存储,而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN,它不需要存储隐藏的激活,从根本上是有限的,因为它们不能忘记隐藏状态的信息。然后,我们提供了一个存储少量比特的方案,以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能,同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型,在那里它保持性能,同时在编码器中将激活记忆成本降低5- 10倍,在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
Sun Yat-sen University(中山大学)
RevFFN通过可逆Transformer块实现混合专家语言模型的高效全参数微调,减少内存消耗,提升训练效率。
2025-12-24 cs.AI cs.LG
Backprop Diffusion is Biologically Plausible
University of Siena(锡耶纳大学)
反向传播算法依赖于使用神经模型的抽象,该模型摆脱了时间的概念,因为输入即时映射到输出。在本文中,我们声称这种忽略时间的抽象,以及在喂养训练集时发生的突然输入变化,实际上是为什么在一些论文中,Backprop生物相容性被认为是一个可解释的问题的原因。我们表明,只要一个深前馈网络与神经元的时间延迟响应,反向传播权重更新原来是一个生物合理的扩散过程的基本方程的基础上向前向后波。我们还表明,这样的过程很好地近似了相对于网络深度不太快的输入的梯度。这些评论在一定程度上揭示了反向传播方程背后的扩散过程,并使我们将相应的算法解释为更一般的扩散过程的退化,这种扩散过程也发生在具有循环连接的神经网络中。
2020-06-17 cs.LG cs.NE q-bio.NC
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University(康奈尔大学)
用于训练前馈神经网络的反向传递的实际算法是反向传播(BP)。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而,近年来,人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器(MLP)和卷积神经网络(CNN)中达到最先进的精度。在本文中,我们分析了MLP中预测和神经元的稳定性和相似性,并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Command-V: Pasting LLM Behaviors via Activation Profiles
Carnegie Mellon University(卡内基梅隆大学);Cisco Systems(思科系统公司)
Command-V提出一种无需反向传播的行为迁移方法,通过复制残差激活适配器并线性转换,实现跨模型行为粘贴,在安全、越狱和推理任务上以极低计算量媲美微调。
2025-06-23 cs.LG
Reducing Activation Recomputation in Large Transformer Models
NVIDIA(英伟达)
训练大型Transformer模型是现代AI最重要的计算挑战之一。在本文中,我们展示了如何通过减少激活重新计算来显著加速大型Transformer模型的训练。激活重新计算通常用于解决记忆容量限制。而不是存储反向传播的激活,它们传统上被重新计算,这节省了内存,但增加了冗余计算。在这项工作中,我们表明这种冗余计算是不必要的,因为我们可以充分减少内存消耗没有它。我们提出了两个新的,但非常简单的技术:序列并行和选择性激活重新计算。结合张量并行,这些技术几乎消除了重新计算激活的需要。我们评估我们的方法语言模型高达一万亿参数的规模,并表明,我们的方法减少激活内存的5倍,同时减少执行时间开销从激活重新计算超过90%。例如,当在2240个NVIDIA A100 GPU上训练530 B参数GPT-3样式模型时,我们实现了54.2%的模型触发器利用率,比使用重新计算实现的42.1%快29%。我们的实现将在Megatron-LM和NeMo-Megatron中提供。
2022-05-10 cs.CL cs.LG
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Univ. of Pennsylvania(宾夕法尼亚大学);King Juan Carlos Univ.(胡安·卡洛斯国王大学)
图形信号是具有可以由图形描述的不规则结构的信号。图神经网络(GNN)是为这些图信号量身定制的信息处理架构,由堆叠层组成,这些堆叠层组成具有非线性激活函数的图卷积滤波器。图卷积赋予GNN对图节点标签的排列的不变性。在本文中,我们考虑的可训练的非线性激活函数的设计,考虑到图的结构。这是通过使用图中值滤波器和图最大值滤波器来实现的,它们模仿线性图卷积,并保持了GNN的排列不变性。我们还讨论了修改反向传播算法所需的训练本地激活功能。本地化的激活函数架构的优势,证明了在四个数值实验:合成图上的源本地化,19世纪的小说,电影推荐系统和科学文章分类的作者归属。在所有情况下,本地化的激活功能,以提高模型的能力。
2019-11-05 cs.LG cs.NE eess.SP
Unsupervised Adaptive Normalization
LIPN, UMR CNRS 7030(法国国家科学研究中心UMR 7030 LIPN);DAVID laboratory(DAVID实验室);L2TI laboratory(L2TI实验室)
针对 BN 等归一化依赖批量或难以适应激活动态分布的问题,本文提出 UAN,将高斯混合聚类与网络训练统一,以同步更新的聚类参数归一化激活,从而稳定梯度并提升分类与领域适应性能。
2024-09-07 cs.LG
Ghost Units Yield Biologically Plausible Backprop in Deep Neural Networks
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Universite de Montreal(蒙特利尔大学);Institute of Neuroinformatics(神经信息学研究所);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);University of Bern(伯尔尼大学)
在过去的几年里,深度学习已经改变了人工智能研究,并在各种困难的任务中取得了令人印象深刻的表现。然而,目前还不清楚大脑如何能够像深度神经网络中的反向传播一样有效地在许多领域执行信用分配。在本文中,我们介绍了一个模型,依赖于一个新的作用,神经元抑制机制,被称为鬼单位。通过在没有目标信号被提供给顶层时消除来自上层的反馈,重影单元使得网络能够反向传播错误并在深层结构中进行有效的信用分配。在考虑单室神经元并且需要很少的生物假设的情况下,它能够近似误差梯度并在分类任务上实现良好的性能。误差反向传播通过网络的循环动力学发生,并归功于生物学上合理的局部学习规则。特别是,它不需要单独的前馈和反馈电路。研究了取消反馈的不同机制,从长期过程的连接完全重复到反馈活动的在线复制。这个减少系统结合了基本要素,有一个工作的生物抽象模拟反向传播与一个简单的配方和相关结果的证明。因此,这个模型是理解学习和记忆是如何在皮层多层结构中实现的一个步骤,但它也提出了有趣的神经形态硬件的观点。
2019-11-15 cs.LG q-bio.NC stat.ML
Activation Compression in LLMs: Theoretical Analysis and Efficient Algorithm
Nanjing University(南京大学);Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学);Hong Kong University of Science and Technology(香港科学大学)
本文提出一种激活-梯度联合压缩方法,通过低秩因子压缩线性层梯度,无需额外计算,提升LLM训练效率与压缩性能。
2026-05-02 cs.LG
Estimating Multiplicative Relations in Neural Networks
泛逼近定理表明,一个浅层神经网络可以逼近任何函数。每层神经元的输入是前一层神经元的加权和,然后应用激活。当输出是输入数据的线性组合时,这些激活函数执行得非常好。当试图学习涉及输入数据的乘积的函数时,神经网络倾向于过拟合数据以近似函数。在本文中,我们将利用对数函数的性质,提出了一对激活函数,可以将产品转化为线性表达式,并使用反向传播学习。我们将尝试将这种方法推广到一些复杂的算术函数,并在训练集上测试不相交分布的准确性。
2020-10-29 cs.LG cs.NE
Associated Learning: Decomposing End-to-end Backpropagation based on Auto-encoders and Target Propagation
National Central University(中央大学)
反向传播(BP)是当今深度学习算法的基石,但它的效率很低,部分原因是反向锁定,这意味着更新一层的权重会锁定其他层的权重更新。因此,应用并行计算或流水线结构来同时更新不同层中的权重具有挑战性。在本文中,我们介绍了一种新的学习结构,称为关联学习(AL),它模块化的网络成更小的组件,每个组件都有一个本地目标。由于目标是相互独立的,AL可以同时独立地学习不同层的参数,因此可以应用流水线结构来提高训练吞吐量。具体地,该流水线结构将训练时间的复杂度从O(nl)(其是使用BP和随机梯度下降(SGD)进行训练时的时间复杂度)提高到O(n +1),其中n是训练实例的数量,l是隐藏层的数量。令人惊讶的是,即使AL中的大多数参数不直接与目标变量相互作用,通过这种方法训练深度模型产生的精度与使用典型BP方法训练的模型相当,其中所有参数都用于预测目标变量。因此,由于在实验中证明的可扩展性和预测能力,AL值得进一步研究,以确定更好的超参数设置,如激活函数选择,学习率调度和权重初始化,以积累经验,正如我们多年来使用典型的BP方法所做的那样。此外,也许我们的设计还可以激发深度学习的新网络设计。我们的实现可以在https://github.com/SamYWK/Associated_Learning上获得。
2021-02-09 cs.LG cs.NE stat.ML
Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais
神经网络已被应用于时间序列的预测,良好的实验结果表明,高的能力,以良好的精度近似函数。在这些应用中使用的大多数神经模型使用具有固定参数的激活函数。然而,已知激活函数的选择强烈地影响神经网络的复杂性和性能,并且已经使用了有限数量的激活函数。在这项工作中,我们提出了使用一个家庭的自由参数不对称激活函数的神经网络,并表明,这个家庭的定义激活函数满足要求的普遍逼近定理。使用了一种全局优化具有自由参数的激活函数族和神经网络的处理单元之间的连接的权重的方法。该方法的核心思想是通过结合模拟退火、禁忌搜索和局部学习算法的优点,同时优化多层感知器网络(MLP)的权值和激活函数,以提高时间序列的调整和预测性能.我们选择了两种学习算法:带动量项的反向传播(BPM)和LevenbergMarquardt(LM)。
2021-07-29 cs.LG
Beyond Gaussian Initializations: Signal Preserving Weight Initialization for Odd-Sigmoid Activations
Korea Institute for Advanced Study(韩国高级研究院);Kyungpook National University(庆北国立大学);Korea Institute of Energy Technology(韩国能源技术研究所)
本文提出了一种适用于奇sigmoid激活函数的信号保持权重初始化方法,有效缓解了深度神经网络中因高斯初始化导致的激活饱和和梯度崩溃问题,并在物理信息神经网络中实现了更低的损失表现。
2025-12-16 cs.AI cs.LG
BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
Rutgers University(罗格斯大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对LLMs在有限数据微调时过度自信的问题,提出BLoB算法,通过反向传播在整个微调过程中持续联合调整参数的均值和协方差,有效提升了模型的泛化能力和不确定性估计。
2025-01-27 cs.AI cs.CL cs.LG
Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks
University of Oxford(牛津大学);MRC Brain Network Dynamics Unit(医学研究理事会脑网络动力学单元);Hebei University of Technology(河北工业大学)
预测编码网络(PCNs)是大脑中信息处理的一种有影响力的模型。他们有吸引人的理论解释,并提供了一个单一的机制,占大脑的各种感知现象。另一方面,反向传播(BP)通常被认为是现代机器学习中最成功的学习方法。因此,令人兴奋的是,最近的工作制定了推理学习(IL),训练PCN近似BP。然而,存在几个剩余的关键问题:(i)IL是BP的近似,具有不现实/非平凡的要求,(ii)IL在单步权重更新中近似BP;在进行更多步骤的权重更新之后,它是否导致与BP相同的点是未知的,以及(iii)IL在计算上比BP显著更昂贵。为了解决这些问题,已经提出了IL的一种变体,其在全连接网络中严格等价于BP。在这项工作中,我们建立在这个结果的基础上,表明它也适用于更复杂的架构,即卷积神经网络和(多对一)循环神经网络。据我们所知,我们是第一个证明生物学上合理的算法能够在如此复杂的架构上精确地复制BP的准确性,弥合IL和BP之间的现有差距,并为PCN设置前所未有的性能,现在可以被认为是BP的有效替代品。
2021-03-05 cs.LG
Few-Bit Backward: Quantized Gradients of Activation Functions for Memory Footprint Reduction
Skoltech(斯科尔科沃科学技术研究院);Sber AI(俄罗斯联邦储蓄银行人工智能研究院);Lomonosov MSU(罗蒙诺索夫莫斯科国立大学);AIRI(人工智能研究院)
内存占用是大型神经网络训练的主要限制因素之一。在反向传播中,需要将每个操作的输入存储在计算图中。每一个现代神经网络模型在其架构中都有相当多的逐点非线性,这样的操作会导致额外的内存成本,正如我们所展示的,可以通过量化梯度来显着减少。我们提出了一个系统的方法来计算最佳量化的逐点非线性函数的保留梯度,每个元素只有几个比特。我们表明,这样的近似可以通过计算最佳的分段常数近似的激活函数的衍生物,这可以通过动态规划。插入式替换适用于所有流行的非线性,可用于任何现有的管道。我们确认的内存减少和相同的收敛在几个开放的基准测试。
2022-02-02 cs.AI cs.LG
Unification of popular artificial neural network activation functions
Virginia Tech(弗吉尼亚理工大学);Molecular Sciences Software Institute(分子科学软件研究所)
本研究利用分数阶微积分的Mittag-Leffler函数提出神经网络激活函数的统一门控表示,可插值多种激活函数、缓解梯度问题且适配反向传播,实验验证其是传统框架单独实现激活函数的有前景低成本替代方案。
2024-10-07 cs.AI cs.LG cs.NE
Learning Important Features Through Propagating Activation Differences
Stanford University(斯坦福大学)
神经网络所谓的“黑箱”性质是在可解释性至关重要的应用中采用的障碍。在这里,我们提出了DeepLIFT(深度学习重要特征),这是一种通过反向传播网络中所有神经元对输入的每个特征的贡献来分解神经网络对特定输入的输出预测的方法。DeepLIFT将每个神经元的激活与其“参考激活”进行比较,并根据差异分配贡献分数。通过选择性地单独考虑积极和消极的贡献,DeepLIFT还可以揭示其他方法所遗漏的依赖关系。分数可以在一次向后传递中有效地计算。我们将DeepLIFT应用于在MNIST和模拟基因组数据上训练的模型,并显示出比基于梯度的方法显着的优势。视频教程:http://goo.gl/qKb7pL,ICML幻灯片:bit.ly/deeplifticmlslides,ICML演讲:https://vimeo.com/238275076,代码:http://goo.gl/RM8jvH。
2019-10-12 cs.CV cs.LG cs.NE
Fast Neural Kernel Embeddings for General Activations
Yale University(耶鲁大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所);Google Research(谷歌研究院)
无限宽度限制通过在神经网络和核方法之间建立联系,为深度学习的泛化和优化方面提供了启示。尽管它们很重要,但由于它们的(超)二次运行时间和内存复杂性,这些内核方法的实用性在大规模学习设置中受到限制。此外,大多数关于神经内核的先前工作都集中在ReLU激活上,这主要是由于其受欢迎程度,但也是由于难以计算用于一般激活的此类内核。在这项工作中,我们通过提供与一般激活一起工作的方法来克服这些困难。首先,我们编译和扩展的激活函数的列表,承认确切的双重激活表达式计算神经内核。当精确的计算是未知的,我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法,该方法可以近似任何多层神经网络高斯过程(NNGP)内核和神经切线核(NTK)矩阵,用于广泛的激活函数,超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球,我们的方法不受这样的限制,并适用于任何数据集的点在$\mathbb{R}^d$。此外,我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸,适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上,相对于精确卷积NTK(CNTK)计算,我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning
Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学计算机科学与工程系);Xiamen University, China(厦门大学)
提出激活引导零阶优化方法AGZO,利用前向传播中的激活结构限制扰动到低秩子空间,在保持低内存的同时提升更新方向与真实梯度的余弦相似度,缩小与一阶微调的性能差距。
2026-05-22 cs.LG
Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization
Ehime University(爱媛大学)
本文提出不依赖反向传播或权重更新的阶跃激活全连接网络,通过训练类别平均输出向量与测试输出的相似度完成MNIST识别,最高约80%准确率,证明神经网络可仅凭前馈传播信息。
2024-08-18 cs.LG
Scaling Forward Gradient With Local Losses
NYU(纽约大学);Google(谷歌);UBC(不列颠哥伦比亚大学);Vector Institute(向量研究所)
前向梯度学习计算有噪声的方向梯度,是学习深度神经网络的反向传播的生物学上合理的替代方案。然而,标准的前向梯度算法,当天真地应用时,遭受高方差时,要学习的参数的数量是大的。在本文中,我们提出了一系列架构和算法修改,共同使前向梯度学习适用于标准深度学习基准任务。我们表明,它是可能的,以大大减少前向梯度估计的方差,通过施加扰动激活,而不是权重。通过引入大量的局部贪婪损失函数,每个函数只涉及少量的可学习参数,以及一个新的MLPMixer启发的架构LocalMixer,更适合于局部学习,我们进一步提高了前向梯度的可扩展性。我们的方法在MNIST和CIFAR-10上匹配反向传播,并且在ImageNet上显著优于先前提出的无反向传播算法。
2023-03-02 cs.CV cs.LG cs.NE