A New Backpropagation Algorithm without Gradient Descent
PES University（PES大学）
反向传播算法最初是在20世纪70年代引入的，是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法（称为梯度下降），这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需要采取与函数在当前点的梯度（或近似梯度）的负值成比例的步骤。在本文中，我们开发了一种替代反向传播的方法，而不使用梯度下降算法，而是我们将设计一种新的算法，使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
LPGD: A General Framework for Backpropagation through Embedded Optimization Layers
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Masaryk University（马萨里克大学）
针对嵌入式优化层的退化导数导致梯度无效的问题，提出可无缝集成到自动微分库的LPGD框架，通过扰动输入重跑前向求解器计算有效替代梯度，覆盖已有方法且收敛更快。
2024-07-08 cs.LG
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University（斯坦福大学）
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后，我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外，我们得到了一个关于对偶变量的充分条件，该条件确保非凸目标的平稳点是凸目标的KKT点，从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布，如正交可分数据，我们证明了这一充分条件成立。因此，非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
The Price of Locality: Why Forward-Forward Underperforms Backpropagation?
本文诊断前向-前向算法相对反向传播的性能差距，指出其因局部更新导致优化下限和表示坍缩，从而限制了与深度无关的学习容量。
2026-09-29 cs.LG math.OC
Rethinking Deep Learning: Non-backpropagation and Non-optimization Machine Learning Approach Using Hebbian Neural Networks
Ehime University Graduate School of Science and Technology（爱媛大学大学院科学技术研究科）
本文提出一种基于赫布学习、不使用反向传播和优化方法的神经网络方法，通过基于范数的认知机制在MNIST上达到约75%准确率，证明其无需目标函数和大规模数据集即可识别手写字符，为模拟生物神经系统和实现强人工智能提供新思路。
2024-12-27 cs.LG cs.NE
Gradients without Backpropagation
University of Oxford（牛津大学）；National University of Ireland Maynooth（爱尔兰国立梅努斯大学）；Microsoft（微软）；University of British Columbia（不列颠哥伦比亚大学）
使用反向传播来计算目标函数的梯度以进行优化一直是机器学习的支柱。反向传播或反向模式微分是自动微分算法的一般家族中的一个特例，该算法还包括正向模式。我们提出了一种方法来计算梯度的基础上完全的方向导数，可以通过正向模式准确和有效地计算。我们称这种公式为前向梯度，这是一种对梯度的无偏估计，可以在函数的单次前向运行中进行评估，完全消除了梯度下降中对反向传播的需要。我们在一系列问题中展示了前向梯度下降，显示出计算上的大幅节省，并且在某些情况下能够以两倍的速度进行训练。
2022-02-17 cs.LG stat.ML
Proximal Backpropagation
Technical University of Munich（慕尼黑工业大学）；University of Siegen（锡根大学）
我们提出了近端反向传播（ProxProp）作为一种新的算法，采用隐式而不是显式梯度步骤更新网络参数在神经网络训练。我们的算法是由显式梯度下降的步长限制，这构成了优化的障碍。ProxProp是从反向传播算法的一般观点开发的，反向传播算法是目前通过随机梯度下降及其变体来训练神经网络的最常见技术。具体来说，我们表明，反向传播的预测误差是相当于连续的梯度下降步骤的二次惩罚能量，其中包括网络激活作为变量的优化。我们进一步分析了ProxProp的理论性质，特别是证明了该算法在参数空间中产生下降方向，因此可以与各种各样的收敛算法相结合。最后，我们设计了一个有效的数值实现，与流行的深度学习框架集成良好。最后，我们展示了有前途的数值结果，并表明ProxProp可以有效地结合常见的一阶优化，如亚当。
2018-02-20 cs.LG
The Reversible Residual Network: Backpropagation Without Storing Activations
University of Toronto（多伦多大学）；Uber Advanced Technologies Group（Uber先进技术集团）
深度残差网络（ResNets）极大地推动了图像分类的最新发展，随着网络的深度和广度的增长，其性能也在不断提高。然而，内存消耗成为瓶颈，因为需要存储激活以便使用反向传播计算梯度。我们提出了可逆残差网络（RevNet），这是ResNets的一个变体，其中每个层的激活都可以从下一层的激活中精确重建。因此，在反向传播期间，大多数层的激活不需要存储在存储器中。我们在CIFAR-10、CIFAR-100和ImageNet上证明了RevNets的有效性，建立了与相同大小的ResNets几乎相同的分类准确性，即使激活存储要求与深度无关。
2017-07-14 cs.CV cs.LG
Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization
Ehime University（爱媛大学）
本文提出不依赖反向传播或权重更新的阶跃激活全连接网络，通过训练类别平均输出向量与测试输出的相似度完成MNIST识别，最高约80%准确率，证明神经网络可仅凭前馈传播信息。
2024-08-18 cs.LG
Backpropagation through the Void: Optimizing control variates for black-box gradient estimation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于直觉的优化是深度学习和强化学习的基础。即使当被优化的机制是未知的或不可微的，使用高方差或有偏梯度估计的优化通常仍然是最好的策略。我们介绍了一个一般的框架，学习低方差，无偏梯度估计的黑箱函数的随机变量。我们的方法使用梯度的神经网络训练联合模型参数或政策，并适用于离散和连续设置。我们展示了这个框架来训练离散潜变量模型。我们还给出了一个无偏的，行动条件的优势演员-评论家强化学习算法的扩展。
2018-02-23 cs.LG
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras；Tesla（特斯拉）；Cerebras Systems, Inc（Cerebras Systems 公司）；Google（谷歌）
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发，探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中，我们评估使用小批量，细粒度的流水线反向传播，异步流水线并行训练算法，具有显着的硬件优势。我们介绍了两种方法，尖峰补偿和线性权重预测，有效地减轻了由流水线反向传播的并行性造成的缺点，并在我们的设置中优于现有技术。我们表明，适当的规范化和小批量也可以帮助训练。使用我们的方法，使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练，而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization
University of Virginia（弗吉尼亚大学）
本文分析展开优化反向传播的收敛性，提出折叠优化系统以构建更高效的反向传播规则，并在多种任务上验证其计算与灵活性优势。
2023-12-28 cs.LG math.OC
Local learning for stable backpropagation-free neural network training towards physical learning
Department of Materials Science and Engineering, Delft University of Technology（材料科学与工程系，代尔夫特理工大学）；Department of Precision and Microsystems Engineering, Delft University of Technology（精密与微系统工程系，代尔夫特理工大学）；Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学）
本文提出FFzero框架，通过局部学习、原型表示和方向导数优化实现无反向传播的神经网络训练，适用于多层感知机和卷积神经网络的分类与回归任务。
2026-04-19 cs.CE cs.LG
FFCL: Forward-Forward Net with Cortical Loops, Training and Inference on Edge Without Backpropagation
University of California, Davis（加利福尼亚大学戴维斯分校）
本研究针对Forward-Forward Learning算法，通过分离层间标签与特征前向传递、修正标签整合、引入类皮层反馈环路三种改进，提升学习性能与效率，支持边缘端无反向传播的训练与推理。
2024-05-21 cs.LG
Brain-inspired Chaotic Graph Backpropagation for Large-scale Combinatorial Optimization
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；The University of Tokyo（东京大学）
针对图神经网络求解大规模组合优化时易陷入局部极小值的问题，提出类脑混沌图反向传播算法，通过局部损失引入混沌动力学实现全局遍历优化，性能超越现有GNN及SOTA方法且可即插即用。
2024-12-13 cs.AI cs.LG cs.NE
Tensor-Based Backpropagation in Neural Networks with Non-Sequential Input
University of Edinburgh（爱丁堡大学）；AndPlus LLC（AndPlus有限责任公司）
神经网络已经能够在传统上被认为只有人类才能完成的任务上实现突破性的准确性。使用随机梯度下降，在许多维度上的优化是可能的，尽管计算成本相对较高。通过将训练数据拆分成批次，可以更有效地分布和训练网络，并且精度损失最小。我们已经探索了有效实现基于张量的批量反向传播算法背后的数学原理。批量训练的一种常见方法是逐个迭代批量项。使用张量操作来反向传播允许非线性地执行训练，从而提高计算效率。
2017-07-13 cs.LG
Reducing the Need for Backpropagation and Discovering Better Optima With Explicit Optimizations of Neural Networks
Drexel University（德雷塞尔大学）
本文提出一种神经网络显式优化方法，通过数学分析推导前馈网络的显式解，减少对反向传播的依赖，在语言模型和MNIST分类上接近最优，并能发现反向传播无法达到的更优解。
2023-11-13 cs.LG math.PR physics.data-an
Deep Residual Compensation Convolutional Network without Backpropagation
University of York（约克大学）；Taif University（塔伊夫大学）
PCANet及其变体为分类任务提供了良好的准确性结果。然而，尽管网络深度在实现良好的分类精度方面很重要，但这些网络最多训练了9层。在本文中，我们介绍了一种残差补偿卷积网络，这是第一个用数百层训练的PCANet类网络，同时提高了分类精度。所提出的网络的设计由几个卷积层组成，每个卷积层后面都有后处理步骤和分类器。为了纠正分类错误并显着增加网络的深度，我们用来自所有先前层的剩余信息的新标签训练每一层。这种学习机制是通过在单个前向传递中遍历网络的层来实现的，而无需反向传播或梯度计算。我们在四个不同的分类基准（MNIST，CIFAR-10，CIFAR-100和TinyImageNet）上的实验表明，我们的深度网络优于所有现有的PCANet类网络，并且与几个传统的基于梯度的模型竞争。
2023-01-27 cs.CV cs.LG
FedFwd: Federated Learning without Backpropagation
POSTECH（浦项科技大学）
FedFwd将前向-前向算法引入联邦学习，通过逐层局部更新减少计算和存储开销，在MNIST和CIFAR-10上取得与依赖反向传播方法相当的性能。
2023-09-03 cs.AI cs.LG
DPZero: Private Fine-Tuning of Language Models without Backpropagation
ETH Zurich（苏黎世联邦理工学院）；Amazon Search（亚马逊搜索）；University of Washington（华盛顿大学）
针对大语言模型微调中的内存与隐私难题，提出零阶差分隐私算法DPZero，实现几乎与维度无关的收敛速率，并在RoBERTa和OPT上验证了其内存效率。
2024-06-06 cs.CR cs.LG math.OC
Closed-Form Implicit Neural Representations
本文提出无需反向传播的ELM-INR方法，通过分解领域并利用极值学习机实现快速稳健的隐式神经表示，结合自适应网格细化策略提升重建质量。
2026-11-10 cs.LG cs.NA math.NA
Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability
Technical University Berlin（柏林工业大学）；Science of Intelligence Cluster of Excellence（智能科学卓越集群）
本文研究彩票现象是否适用于进化优化，提出融合损失曲率的信噪比迭代剪枝方法，发现ES可获得更稀疏的可训练初始化，并揭示其可迁移性及与GD不同的局部最优和连通性特征。
2023-05-31 cs.AI cs.LG cs.NE
HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization
POSTECH（浦项科技大学）
针对反向传播优化易影响收敛的难题，提出HLQ策略，对激活梯度做4位哈达玛量化、权重梯度做哈达玛低秩近似，在训练与微调中实现显著内存节省和加速，且精度损失极小。
2024-06-21 cs.CV cs.LG
Training Deep Architectures Without End-to-End Backpropagation: A Survey on the Provably Optimal Methods
University of Florida（佛罗里达大学）
本教程调查了端到端反向传播（E2 EBP）的可证明的最佳替代方案-用于训练深度架构的事实标准。模块化训练是指严格的局部训练，没有向前和向后的传球，即，将深度架构划分为若干不重叠的模块，并单独训练它们，而不进行任何端到端操作。在完全全局E2 EBP和严格局部模块化训练之间，存在仅执行训练而不向后传递的弱模块化混合。这些替代方案可以在ImageNet等具有挑战性的数据集上匹配或超越E2 EBP的性能，并且越来越受到关注，主要是因为它们提供了E2 EBP的实际优势，这将在本文中列举。特别是，它们允许深度学习工作流程中更大的模块化和透明度，使深度学习与主流计算机科学工程保持一致，这些工程充分利用模块化来实现可扩展性。模块化培训还揭示了关于学习的新见解，并对其他重要的研究领域产生了进一步的影响。具体而言，它归纳自然和有效的解决方案，一些重要的实际问题，如数据效率和可转移性估计。
2022-08-09 cs.LG cs.NE stat.ML
BoA: Attention-aware Post-training Quantization without Backpropagation
Samsung Research（三星研究院）
本文提出BoA，一种无需反向传播的注意力感知训练后量化算法，通过注意力感知Hessian矩阵建模层间依赖来优化量化权重，在LLMs上取得了最先进的权重-激活量化性能。
2025-06-06 cs.AI cs.LG
Boolean Variation and Boolean Logic BackPropagation
Intelligent Computing and Communication Research（智能计算与通信研究）；Advanced Wireless Technology Laboratory（先进无线技术实验室）；Paris Research Center, Huawei Technologies（华为技术巴黎研究中心）
该研究提出布尔变分及布尔逻辑反向传播原理，使权重与激活均为布尔值的深度模型能直接在布尔域中训练，并以逻辑合成与反向传播取代梯度。
2024-05-07 cs.DM cs.LG cs.LO
Self-attention as an attractor network: transient memories without backpropagation
University of Rome Sapienza（罗马智慧大学）
本文提出将自注意力层表示为局部能量项的导数，利用与伪似然的类比设计无需反向传播训练的循环模型，为从物理学视角理解Transformers提供了新的吸引子网络框架。
2024-09-24 cond-mat.dis-nn cs.LG
Training Hamiltonian neural networks without backpropagation
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑技术大学）；Institute for Advanced Study（高级研究学院）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出无需反向传播的算法，通过数据驱动与数据无关的方法加速训练近似哈密顿系统的神经网络，展现更高的效率与精度。
2024-11-26 cs.LG cs.NA math.NA
The HSIC Bottleneck: Deep Learning without Back-Propagation
Victoria University（维多利亚大学）
我们引入了训练深度神经网络的HSIC（Hilbert-Schmidt独立准则）瓶颈。HSIC瓶颈是传统交叉熵损失和反向传播的替代方案，具有许多明显的优点。它减轻了爆炸和消失的梯度，从而能够在不跳过连接的情况下学习非常深的网络。不需要对称反馈或更新锁定。我们发现，HSIC瓶颈提供性能的MNIST/FashionMNIST/CIFAR 10分类与反向传播的交叉熵目标，即使系统不鼓励使输出类似的分类标签。使用SGD（没有反向传播）训练的单层来重新格式化信息，进一步提高了性能。
2019-12-05 cs.LG stat.ML
Learning Pareto Stationary Fronts via Single-Pass Backpropagation
Saarland University（萨尔兰大学）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
MOSEL框架通过将后验多目标优化转化为Stackelberg博弈，以单次反向传播实现帕累托驻留前沿的高效学习，在公平性-准确性等冲突场景中表现优异，并提升多任务学习效果。
2026-10-28 cs.LG
ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks
University of Alberta（阿尔伯塔大学）
梯度下降和反向传播使神经网络在许多现实世界的应用中取得了显着的成果。尽管不断取得成功，但用梯度下降训练神经网络可能是一件缓慢而费力的事情。我们提出了一种简单但更快的训练算法，称为零阶松弛反向传播（ZORB）。ZORB不计算梯度，而是使用目标的伪逆来反向传播信息。ZORB旨在减少训练深度神经网络所需的时间，而不会影响性能。为了说明速度的提高，我们在MNIST上训练了一个具有11层的前馈神经网络，并观察到ZORB的收敛速度比Adam快300倍，同时实现了相当的出错率，而无需任何超参数调整。我们还将ZORB的范围扩展到卷积神经网络，并将其应用于CIFAR-10数据集的子样本。对标准分类和回归基准的实验证明了ZORB相对于传统的带有梯度下降的反向传播的优势。
2020-11-17 cs.LG cs.NE stat.ML
Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
National Institute of Standards and Technology（美国国家标准与技术研究院）；University Colorado Boulder（科罗拉多大学博尔德分校）
提出无需反向传播的MGD零阶优化框架，可在线训练模拟或数字硬件神经网络，在CIFAR-10和Fashion-MNIST上表现可比反向传播，且现实硬件条件下训练速度快数个数量级。
2023-03-05 cs.LG cs.NE
Memory Savings at What Cost? A Study of Alternatives to Backpropagation
College of Information and Computer Sciences, University of Massachusetts, Amherst（信息与计算机科学学院，马萨诸塞大学阿默斯特分校）；Adobe, San Jose（Adobe公司，圣乔斯）
研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现，发现FmAD和ZO虽省内存但有计算成本等问题，带检查点的BP在多方面更优，纠正了此前关于LLM优化的片面基准测试观点。
2026-07-14 cs.LG
Physics-Informed Broad Learning System: An Efficient Backpropagation-Free Framework for Solving Partial Differential Equations
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Università degli Studi di Firenze（佛罗伦萨大学）；Indian Institute of Technology Indore（印度理工学院印多尔分校）
研究提出物理信息广泛学习系统（PI-BLS）求解偏微分方程，将控制微分算子等嵌入线性输出层优化问题，以确定性最小二乘解取代非线性梯度训练，简化学习过程，实验显示其在减少训练时间和模型参数时性能更优。
2026-07-29 cs.AI cs.LG
Exploring the Performance of Perforated Backpropagation through Further Experiments
Perforated AI；Skim AI；Deloitte（德勤）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon（卡内基梅隆大学）
本文通过黑客马拉松实验探讨了基于生物神经元树突计算重要性的穿孔反向传播优化技术，发现其能在不损失精度的前提下实现高达90%的模型压缩，或使原始模型精度提升达16%。
2025-05-31 cs.AI cs.LG
HKAN: Hierarchical Kolmogorov-Arnold Network without Backpropagation
the Faculty of Electrical Engineering, Czestochowa University of Technology（捷斯托霍瓦技术大学电子工程系）；the Faculty of Mathematics and Computer Science, University of Lodz（罗兹大学数学与计算机科学系）；the Centre for Data Analysis, Modelling and Computational Sciences (CAMINO), University of Lodz（罗兹大学数据分析、建模与计算科学中心）
HKAN通过非迭代的随机学习方法，在不依赖反向传播的情况下，实现了与KAN相当甚至更优的回归性能和稳定性。
2026-01-19 cs.AI cs.LG
Orthogonal Weight Modification Enhances Learning Scalability and Convergence Efficiency without Gradient Backpropagation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与类脑智能技术重点实验室）
LOCO通过正交权重修改提升神经网络的学习可扩展性和收敛效率，无需梯度反向传播，实现高效持续学习。
2026-02-25 cs.LG
Empirical Results for Adjusting Truncated Backpropagation Through Time while Training Neural Audio Effects
Arturia（Arturia公司）；IMS, UMR CNRS 5218（CNRS UMR 5218数学研究所）；ENSC, Bordeaux INP（波尔多国立高等认知科学学院（波尔多国立理工学院））；Inria Bordeaux（波尔多法国国家信息与自动化研究所）
本文通过实验证明，优化TBPTT参数能提升神经音频效果模型的准确性和稳定性，同时减少计算成本并保持高质量的感知效果。
2025-12-08 cs.LG
DeltaNet-PC: Test-Time Memory Without Backpropagation Through Time
Columbia University（哥伦比亚大学）
DeltaNet-PC将序列记忆更新视为潜在变量，推导了PC原生的逐字序列记忆方案，经实证测试可实现单/多序列及键值对的完美召回，且无需BPTT。
2026-10-14 cs.LG
Pushing Stochastic Gradient towards Second-Order Methods -- Backpropagation Learning with Transformations in Nonlinearities
Aalto University School of Science（阿尔托大学理学院）；New York University（纽约大学）
最近，我们提出将多层感知器网络中每个隐藏神经元的输出转换为平均零输出和零斜率，并使用单独的快捷连接来建模线性依赖关系。我们继续工作，首先引入第三个变换来规范化每个隐藏神经元的输出规模，其次通过分析连接到二阶优化方法。我们表明，变换使一个简单的随机梯度的行为更接近二阶优化方法，从而加快学习。这在理论和实验中都得到了证实。对第三种变换的实验表明，虽然它进一步提高了学习速度，但它也会收敛到更差的局部最优值，从而损害性能，其中许多隐藏神经元的输入和输出都接近于零。
2013-03-11 cs.CV cs.LG stat.ML
Learning ECG Signal Features Without Backpropagation Using Linear Laws
Department of Computational Sciences, Institute for Particle and Nuclear Physics, HUN-REN Wigner Research Centre for Physics（计算科学系，粒子与核物理研究所，HUN-REN 威金研究中心）；Department of Statistics, Institute of Data Analytics and Information Systems, Corvinus University of Budapest（统计系，数据解析与信息系统研究所，布达佩斯科文纽斯大学）；Department of Numerical Analysis, Eötvös Loránd University（数值分析系，埃奥斯特·洛朗德大学）
LLT-ECG通过线性规律自动学习ECG信号特征，无需反向传播，提升分类效果与可验证性。
2024-12-20 cs.AI cs.CV cs.LG
Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions
University of Tokyo（东京大学）；Research Center for Mathematical Engineering（数学工程研究中心）；University of Tokyo Institutes for Advanced Study（东京大学先进研究机构）
本文提出了一种新型反向传播算法，用于训练无单突触限制的脉冲神经网络，通过多个突触时间的相对关系提高计算能力，并在准确性上超越了传统模型。
2022-11-29 cs.LG cs.NE
Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation
本文提出自适应空间良质编码方法，通过无需反向传播的前-前学习框架，提升CNNs的训练性能，实现大规模数据集上的高效训练和高准确率。
2026-01-22 cs.LG
Stabilizing Backpropagation Through Time to Learn Complex Physics
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文针对物理模拟中通过时间反向传播的梯度爆炸与消失问题，提出一种基于梯度停止和逐分量比较的稳定反向传播方法，在不改变极小值位置的前提下实现平衡梯度流，并在三个控制任务上验证其有效性。
2024-05-03 cs.LG physics.comp-ph
TurboBoA: Faster and Exact Attention-aware Quantization without Backpropagation
Samsung Research（三星研究院）；SNU.ac.kr（首尔国立大学）
TurboBoA是一种无需反向传播的高效PTQ算法，通过联合量化和误差补偿提升精度与速度，实现比BoA更快的量化过程。
2026-02-04 cs.LG
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom（曼彻斯特大学，英国）
本文提出RAT方法，通过直接反向传播估计正则化自然策略梯度，解决了传统方法中估计和求逆Fisher矩阵成本高的问题，实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Elicitation without Backpropagation: Steering Model Behavior by Optimizing the Latent Posterior
Monash University（莫纳什大学）；Timaeus（提马尤斯）
研究利用潜在后验模型提出后验前缀调整（PPT）方法，在贝叶斯滤波变压器中，给定效用函数找高预期效用提示。通过预测蒙特卡洛抽取先验样本，用重要性采样估计梯度，无需前向传递和反向传播，一组样本可驱动针对多种效用的启发并验证。
2026-07-22 cs.LG stat.ML
Learning without Global Backpropagation via Synergistic Information Distillation
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Internet of Things, Nanjing University of Posts and Telecommunications（南京邮电大学物联网学院）
针对反向传播的更新锁定和高内存瓶颈，提出协同信息蒸馏（SID）框架，将深度学习重构为局部协同优化问题，支持并行训练，保留前向推理，理论上保证性能随深度单调提升，实验中分类准确率匹配或超越BP，且可扩展性和鲁棒性更优。
2025-09-27 cs.AI cs.LG
Alternating optimization method based on nonnegative matrix factorizations for deep neural networks
University of Tsukuba（筑波大学）
用于计算梯度的反向传播算法已广泛用于深度神经网络（DNN）的权重计算。这种方法需要目标函数的导数，并且在寻找合适的参数（如学习率）方面存在一定的困难。在本文中，我们提出了一种新的方法来计算权矩阵的全连接DNN使用两种类型的半非负矩阵分解（半NMF）。在该方法中，通过交替地计算权重矩阵来执行优化过程，并且不使用反向传播（BP）。我们还提出了一种方法来计算堆叠的自编码器使用NMF。自动编码器的输出结果用作DNN的预训练数据。实验结果表明，我们的方法使用三种类型的NMF达到了类似的出错率的传统DNN与BP。
2016-05-16 cs.LG cs.NE stat.ML
Backpropagation-Free Metropolis-Adjusted Langevin Algorithm
Computer Science Laboratory, SRI（SRI计算机科学实验室）
本文提出四种无反向传播的前向模式MALA算法，利用切向量采样和Hessian信息，降低计算成本，在贝叶斯推断中与原始MALA竞争甚至更优。
2025-05-23 cs.AI cs.LG
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University（普渡大学）；Nanoelectronics Research Laboratory（纳米电子学研究实验室）
脉冲神经网络（SNN）正在探索其潜在的能源效率，从稀疏，事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络（SNN）的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是，触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数，以及传统的错误损失，导致反向传播学习算法，以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持，存在许多具有有效等效精度的解状态。因此，在该多目标优化过程中，在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外，我们还探索了一种模拟退火启发的损失加权技术，随着训练时间的增加，增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示，与仅针对准确性训练的等效SNN相比，具有等准确性的尖峰活动减少了70.1%，并且如果允许分类准确性降低1%的权衡，尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Gradient-Free Noise Optimization for Reward Alignment in Generative Models
KAIST AI（韩国科学技术院人工智能实验室）；Snap Inc.（Snap公司）
本文提出ZeNO框架，通过路径积分控制问题实现无梯度噪声优化，适用于不可微生成器，展示了在蛋白质结构生成等任务中的有效性。
2026-10-20 cs.AI cs.CV cs.LG
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology（麻省理工学院）
最近的工作已经研究了在神经切线核（NTK）制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多，我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论，我们从理论上证明了梯度下降驱动分层权重更新，这些更新与由误差加权的输入活动相关性一致，并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机，反向传播自由学习规则，理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则，并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度，这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
