Parallel Complexity of Forward and Backward Propagation
NVIDIA
研究前向和反向传播作为三角方程组解的并行计算复杂度，提出直接和迭代并行算法，并展示FNN和RNN的反向传播可并行处理。
2017-12-18 cs.AI cs.LG cs.NA
HarsanyiNet: Computing Accurate Shapley Values in a Single Forward Propagation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出 HarsanyiNet 架构，将 Shapley 值重构为 Harsanyi 交互的重新分配，从而在单次前向传播中同时完成推理并精确计算输入变量归因，解决了传统方法计算成本过高的问题。
2023-12-01 cs.AI cs.CV cs.LG
A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations
University of Oxford（牛津大学）
在平稳分布的随机微分方程（SDEs）上进行优化在计算上具有挑战性。最近提出了一种新的前向传播算法在线优化的SDES。该算法求解使用前向微分推导出的SDE，它提供了梯度的随机估计。该算法同时不断更新模型的参数和梯度估计。本文研究了非线性耗散随机微分方程前向传播算法的收敛性。我们利用这类非线性微分方程的遍历性来刻画过渡半群及其导数的收敛速度。然后，我们证明的解决方案的泊松偏微分方程（PDE）的预期时间积分的算法的随机波动周围的方向的最速下降。然后，我们重写的算法使用PDE解决方案，这使我们能够表征参数的演变方向周围的最速下降。我们的主要结果是一个收敛定理的前向传播算法的非线性耗散SDES。
2022-07-10 cs.LG math.PR q-fin.MF
Forward Composition Propagation for Explainable Neural Reasoning
Eindhoven University of Technology（埃因霍温理工大学）；Tilburg University（蒂尔堡大学）；Universidad de Granada（格拉纳达大学）；Universidad de Talca（塔尔卡大学）；Warsaw University of Technology（华沙理工大学）
本文提出FCP算法，通过组合向量传播解释前馈神经网络在结构化分类问题中的预测，并在公平性偏见检测案例中验证其有效性。
2023-10-24 cs.AI cs.LG
Formal derivation of Mesh Neural Networks with their Forward-Only gradient Propagation
University of Pisa（比萨大学）
本文提出了网状神经网络（MNN），一种新的架构，允许神经元连接在任何拓扑结构，以有效地路由信息。在MNN中，信息通过状态转换函数在神经元之间传播。状态和误差梯度，然后直接计算状态更新，而无需向后计算。的MNN架构和错误传播模式的形式化和张量代数推导。所提出的计算模型可以完全提供一个梯度下降过程，并可能适用于非常大规模的稀疏神经网络，由于其表达能力和训练效率，相对于基于反向传播和计算图的神经网络。
2021-09-30 cs.AI cs.LG cs.NE
Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
Sharif University of Technology（谢里夫理工大学）
针对光学神经网络训练效率低、非线性实现难等局限，提出两次前向传播训练法及集成光学下的卷积神经网络实现方案，经理论与数值验证可提升训练速度、能效与可扩展性，推动光学计算处理复杂任务的发展。
2024-08-15 cs.LG physics.optics
Efficient forward propagation of time-sequences in convolutional neural networks using Deep Shifting
Centrum Wiskunde en Informatica（数学与计算机科学中心）
当使用卷积神经网络对连续更新的时间序列进行实时评估时，需要执行许多冗余的卷积运算。我们提出了深度移位的方法，它记住以前计算的卷积运算结果，以尽量减少计算的次数。复杂度的降低至少是一个常数，在最好的情况下是二次的。我们证明，这种方法确实节省了显着的计算时间，在一个实际的实施，特别是当网络接收大量的时间帧。
2016-03-11 cs.CV cs.LG cs.NE
DOF: Accelerating High-order Differential Operators with Forward Propagation
National Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）；California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出高效计算框架 DOF，通过前向传播在不损失精度的前提下加速高阶微分算子计算，解决 PINN 处理高阶导数时的效率与内存瓶颈，在多种架构上显著优于传统自动微分技术。
2024-02-15 cs.LG
Feed-forward Uncertainty Propagation in Belief and Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种适用于信念和神经网络的前馈推理方法。在信度网络中，该方法估计给定输入的所有隐藏单元的近似因式分解后验。在神经网络中，该方法通过所有层传播输入的不确定性。在具有注入噪声的神经网络中，该方法分析地考虑了由该噪声引起的不确定性。这种前馈分析传播在参数上是可微的，并且可以端到端地训练。与标准NN相比，它可以被视为只传播均值，我们传播均值和方差。该方法可以在需要神经元统计知识的所有场景中使用，例如，当处理不确定输入时，将S形激活视为伯努利单位的概率，训练通过注入噪声（dropout）正则化的模型或估计数据集上的激活统计（如归一化方法所需）。在实验中，我们展示了在所有这些任务中的方法的可能效用以及它目前的局限性。
2018-11-01 cs.CV cs.LG cs.NE
GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study
本研究比较了浅层神经网络中前向和反向传播的三种CUDA优化策略（平铺共享内存、预转置权重矩阵、融合MatMul+ReLU核），在NVIDIA Tesla T4上实现1.41倍加速。
2026-06-29 cs.DC cs.LG
Signal Propagation: A Framework for Learning and Inference In a Forward Pass
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个新的学习框架，信号传播（sigprop），传播学习信号和更新神经网络参数通过一个向前通过，作为一种替代反向传播。在sigprop中，只有推理和学习的前向路径。因此，除了推理模型本身之外，学习没有必要的结构或计算约束，例如反馈连接，权重传输或反向传递，这些都存在于基于反向传播的方法中。也就是说，sigprop支持全局监督学习，只有一个前向路径。这是层或模块并行训练的理想选择。在生物学中，这解释了没有反馈连接的神经元如何仍然可以接收全局学习信号。在硬件方面，这提供了一种用于全局监督学习而没有向后连接的方法。Sigprop通过构造与大脑和硬件中的学习模型具有兼容性，而不是反向传播，包括放松学习约束的替代方法。我们还证明了sigprop在时间和内存方面比它们更有效。为了进一步解释sigprop的行为，我们提供证据证明sigprop在反向传播的上下文中提供了有用的学习信号。为了进一步支持生物和硬件学习的相关性，我们使用sigprop来训练具有Hebbian更新的连续时间神经网络，并且仅用电压或用生物和硬件兼容的代理函数来训练脉冲神经网络。
2022-11-17 cs.LG cs.NE q-bio.NC
Prime and Modulate Learning: Generation of forward models with signed back-propagation and environmental cues
University of Glasgow（格拉斯哥大学）
针对深度神经网络反向传播中的梯度爆炸与消失问题，提出利用误差符号启动学习并结合全局相关性信号调制速率的 Prime and Modulate 范式，在机器人平台上实现了收敛速度的显著提升。
2023-09-07 cs.LG
DP-FP: Differentially Private Forward Propagation for Large Models
Ant Group（蚂蚁集团）
当应用于大规模学习问题时，关于隐私保护深度学习的传统智慧，即差分私有随机梯度下降（DP-SGD），与非隐私对应物相比，由于显着的性能下降和高内存开销，取得了有限的成功。我们展示了如何通过用一种新的DP前向传播（DP-FP）替换DP-SGD，然后用现成的非DP优化器来减轻性能下降。我们的DP-FP采用新颖的（1）表示限幅，然后在前向传播阶段添加噪声，以及（2）通过子采样进行微批构建，以实现DP放大并将噪声功率降低到$1/M$，其中$M$是一步中的微批数量。在训练分类模型时，我们的DP-FP在表示上具有所有隐私保护操作，天生没有梯度偏差，总噪声与模型大小成比例，以及DP-SGD中的内存问题。因此，我们的DP-FP在保持相同隐私水平的同时，性能优于先进的DP-SGD，并且接近非私有基线，性能显著优于最先进的DP-SGD变体。例如，当在四个下游任务上应用于Roberta-large时，DP-FP实现了91.34%的平均准确率，隐私预算小于3，比最先进的DP-SGD性能提高了3.81%，与非私有基线相比仅损失了0.9%，但隐私泄漏风险显著降低。
2021-12-29 cs.CR cs.LG
NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
Department of Statistics University of Oxford（统计系牛津大学）
本文提出 NoProp 训练方法，不依赖全局前向或反向传播，而是让每个模块独立学习对带噪目标进行局部去噪，并在多个图像分类基准上验证了其可行性与计算效率。
2025-08-17 cs.LG stat.ML
Espresso: Efficient Forward Propagation for BCNNs
University of Victoria（维多利亚大学）
有许多应用场景需要优化深度神经网络（DNN）预测阶段的计算性能和内存占用。二进制神经网络（BDNNs）已被证明是实现这一目标的有效方法。在本文中，我们展示了如何使用二进制表示来实现卷积神经网络（CNN）。Espresso是一个用C/CUDA编写的紧凑但功能强大的库，具有CNN正向传播所需的所有功能，在一个小于400 KB的二进制文件中，没有任何外部依赖。虽然它主要是为了利用大规模的GPU并行性而设计的，但Espresso也为CNN提供了等效的CPU实现。Espresso为BCNN提供了特殊的卷积层和密集层，利用位打包和逐位计算来实现高效执行。这些技术提供了矩阵乘法例程的加速，并且同时减少了存储参数和激活时的内存使用。我们的实验表明，Espresso是显着快于现有的实现优化的二进制神经网络（$\approx$ 2个数量级）。Espresso是在Apache 2.0许可下发布的，可在http://github.com/fpeder/espresso上获得。
2018-03-07 cs.CV cs.DC cs.LG
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Gradient Forward-Propagation for Large-Scale Temporal Video Modelling
DeepMind（深度思维）
如何在大量时态数据上有效地训练神经网络？为了计算更新参数所需的梯度，反向传播会阻止计算，直到前向和后向传递完成。对于时间信号，这引入了高延迟并阻碍了实时学习。它还在连续层之间创建耦合，这限制了模型并行并增加了内存消耗。在本文中，我们建立在侧，避免阻塞传播近似梯度向前的时间，我们提出了基于不同的变量跳过连接的信息的时间整合机制。我们还展示了如何解耦计算并将各个神经模块委托给不同的设备，从而允许分布式和并行训练。提出的Skip-Sideways实现了低延迟训练，模型并行，并且重要的是，能够提取时间特征，从而在真实世界的动作识别视频数据集（如HMDB 51，UCF 101和大规模Kinetics-600）上实现更稳定的训练和更高的性能。最后，我们还表明，使用Skip-Sideways训练的模型比Sideways模型生成更好的未来帧，因此它们可以更好地利用运动提示。
2021-07-12 cs.CV cs.DC cs.LG
Uncertainty propagation in feed-forward neural network models
Department of Applied Mathematics, UC Santa Cruz（应用数学系，UC Santa Cruz）
针对带泄漏 ReLU 激活函数的前馈神经网络，推导了输出概率密度函数及统计矩的解析表达式，提出高斯 copula 代理模型，并通过 Monte Carlo 模拟验证了理论预测的准确性。
2025-08-09 cs.LG stat.ML
LoLaFL: Low-Latency Federated Learning via Forward-only Propagation
Department of Electrical and Electronic Engineering, The University of Hong Kong（电子与电气工程系，香港大学）
针对6G网络中传统联邦学习反向传播导致的高延迟问题，提出基于最大编码率降低原则的仅前向传播框架LoLaFL，通过逐层传输与两种非线性聚合方案，在保持准确率的同时将延迟降低超87%和97%。
2025-11-04 cs.AI cs.LG cs.NI
Double Forward Propagation for Memorized Batch Normalization
South China University of Technology（华南理工大学）
批量归一化（BN）是设计深度神经网络（DNN）的标准组件。虽然标准BN可以显著加速DNN的训练并提高泛化性能，但它有几个潜在的限制，可能会妨碍训练和推理的性能。在训练阶段，BN依赖于使用单个minibatch估计数据的均值和方差。因此，当批量非常小或数据采样不佳时，BN可能不稳定。在推理阶段，BN经常使用所谓的移动均值和移动方差来代替批量统计，即，BN中的训练和推理规则不一致。对于这些问题，我们提出了一个记忆的批量归一化（MBN），它考虑了多个最近的批次，以获得更准确和强大的统计。请注意，每个批次的SGD更新后，模型参数将发生变化，特征也将相应变化，从而导致所考虑批次的更新前后出现分布偏移。为了缓解这个问题，我们提出了一个简单的双前向计划MBN，可以进一步提高性能。与相关方法相比，所提出的MBN表现出一致的行为，在训练和推理。实验结果表明，采用Double-Forward方法训练的MBN模型大大降低了数据的敏感性，并显著提高了泛化性能。
2020-10-10 cs.CV cs.LG
Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time
CWI（荷兰数学与计算机科学研究院）；IMEC（比利时微电子研究中心）
大脑中尖峰神经元之间通信的事件驱动和稀疏性质为灵活和节能的AI带来了巨大的希望。学习算法的最新进展已经证明，与标准递归神经网络相比，尖峰神经元的递归网络可以被有效地训练以实现有竞争力的性能。尽管如此，由于这些学习算法使用时间误差反向传播（BPTT），它们遭受高存储器要求，训练缓慢，并且与在线学习不兼容。这将这些学习算法的应用限制在相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和存储器复杂度的BPTT的在线近似（e-prop，OSTL），但在实践中也受到存储器限制，并且作为近似，不优于标准BPTT训练。在这里，我们展示了如何最近开发的替代BPTT，通过时间的前向传播（FPTT）可以应用于脉冲神经网络。与BPTT不同，FPTT试图最小化损失的持续动态正则化风险。因此，FPTT可以以在线方式计算，并且相对于序列长度具有固定的复杂度。当与一种新的动态尖峰神经元模型（Liquid-Time-Constant神经元）相结合时，我们证明了用FPTT训练的SNN优于在线BPTT近似，并且在时间分类任务上接近或超过离线BPTT准确性。因此，这种方法使得在长序列上以存储器友好的在线方式训练SNN并将SNN扩展到新颖且复杂的神经架构是可行的。
2022-11-11 cs.LG cs.NE
Reverse Back Propagation to Make Full Use of Derivative
Nanjing University（南京大学）
反向传播算法的发展代表了神经网络的一个里程碑。我们提供了一种再次进行反向传播的方法，以逆转传统的反向传播过程，优化神经网络输入端的输入损失，以获得更好的效果，并且在推理期间无需额外成本。在此基础上，进一步分析了该方法的原理和优缺点，重新制定了该方法的权值初始化策略。在MNIST、CIFAR10和CIFAR100上的实验表明，我们的方法可以适应更大范围的学习率，并且比普通的反向传播学习得更好。
2022-02-13 cs.LG cs.NE
Accurate Data-Driven Surrogates of Dynamical Systems for Forward Propagation of Uncertainty
Sandia National Laboratories（桑迪亚国家实验室）
针对动力系统不确定性传播中随机配置代理不准确的问题，提出将SC应用于模型动力学并结合SINDy框架，通过时间积分构建代理解，在混沌ODE和两个固体力学PDE上验证了更低的轨迹与状态分布误差。
2023-10-16 cs.LG cs.NA math.DS
Alternating Back-Propagation for Generator Network
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种用于发电机网络模型学习的交替反向传播算法。该模型是因子分析的非线性推广。在这个模型中，从连续的潜在因素到观察到的信号的映射由卷积神经网络参数化。交替反向传播算法迭代以下两个步骤：（1）推理反向传播，其通过朗之万动力学或梯度下降来推断潜在因子。(2)学习反向传播，它通过梯度下降来更新给定推断的潜在因素的参数。这两个步骤中的梯度计算都是由反向传播提供动力的，并且它们共享大部分共同的代码。我们表明，交替反向传播算法可以学习现实的自然图像，视频序列和声音的生成器模型。此外，它还可以用于从不完整或间接的训练数据中学习。
2016-12-06 cs.CV cs.LG cs.NE
Feed-Forward Source-Free Domain Adaptation via Class Prototypes
The University of Edinburgh（爱丁堡大学）；Samsung AI Center（三星人工智能中心）
针对无源域自适应依赖反向传播、耗时久的问题，提出基于预训练模型计算域偏移下类别原型的前馈方法，准确率提升显著且耗时远低于现有方法。
2023-07-20 cs.CV cs.LG stat.ML
CNN-MERP: An FPGA-Based Memory-Efficient Reconfigurable Processor for Forward and Backward Propagation of Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院）
大规模深度卷积神经网络（CNN）广泛用于机器学习应用中。虽然CNN涉及巨大的复杂性，但提供高密度计算资源集成的VLSI（ASIC和FPGA）芯片被认为是CNN实现的有前途的平台。然而，在计算单元的大规模并行性下，受超大规模集成电路芯片引脚数限制的外部内存带宽成为系统瓶颈。此外，VLSI解决方案通常被认为缺乏针对CNN的各种参数进行重新配置的灵活性。本文提出CNN-MERP来解决这些问题。CNN-MERP采用了高效的存储层次结构，可显著降低片上/片外数据分配、数据流优化和数据重用等多重优化对带宽的要求。提出的2级可重构性是用来使快速和有效的重新配置，这是基于控制逻辑和多引导功能的FPGA。结果，实现了1.94MB/GFlop的外部内存带宽要求，这比现有技术低55%。在有限的DRAM带宽下，Vertex UltraScale平台实现了1244 GFlop/s的系统吞吐量，比最先进的FPGA实现高5.48倍。
2017-03-22 cs.AR cs.LG
