Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Criteo(Criteo公司);ENSAE(法国国立统计与经济管理学院);ENS PARIS-SACLAY(巴黎萨克雷高等师范学院)
我们考虑随机环境下的在线线性回归问题。我们推导了在线岭回归和前向算法的高概率后悔界。这使我们能够更准确地比较在线回归算法,并消除有界观测和预测的假设。我们的研究主张使用前向算法代替岭,由于其增强的边界和鲁棒性的正则化参数。此外,我们解释了如何将其集成到算法中,涉及线性函数逼近,以消除有界性假设,而不恶化理论界。我们展示了这种修改在线性强盗设置,它产生改进的遗憾界限。最后,我们提供了数值实验来说明我们的结果和支持我们的直觉。
2021-11-02 cs.LG
On Advancements of the Forward-Forward Algorithm
German Aerospace Center (DLR)(德国航空航天中心)
本文通过结合卷积通道分组、学习率调度和独立块结构改进 Forward-Forward 算法,使其在 CIFAR10 上测试错误率降低 20%,并提出了适用于低容量硬件的轻量模型。
2025-06-25 cs.LG
PACER: A Fully Push-forward-based Distributional Reinforcement Learning Algorithm
Tencent AI Lab(腾讯AI实验室)
本研究提出首个完全基于前推算子的分布式强化学习算法PACER,通过对等建模回报与策略、样本正则激励探索及新型策略梯度,实现了更优的策略空间探索性能,效果超越现有最优方法。
2024-10-09 cs.LG
A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks
University of Deusto(德乌斯托大学);TECNALIA(泰克纳利亚科技公司);University of the Basque Country (UPV/EHU)(巴斯克大学)
本文提出对称前向-前向算法SFFA,通过正负神经元划分与对称局部损失改善FFA梯度不平衡,并验证其在图像分类和持续学习中的性能。
2025-01-09 cs.LG
Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
University of Auckland(奥克兰大学);Imperial College London(伦敦帝国理工学院)
本研究将Forward-Forward算法与相似性学习整合,提出FAUST方法,消除推理时多次正向传播,在多个数据集上显著提升准确率,接近反向传播性能。
2025-08-29 cs.AI cs.LG
A theory for the sparsity emerged in the Forward Forward algorithm
Institute of Theoretical Computer Science(理论计算机科学研究所);Graz University of Technology(格拉茨技术大学)
本文提出两个定理,解释前向-前向算法中高稀疏性现象,预测激活稀疏性变化,并在MNIST数据集上验证了理论。
2023-11-09 cs.AI cs.LG
Emergent representations in networks trained with the Forward-Forward algorithm
University of Trieste(的里雅斯特大学);AREA Science Park(AREA科学园);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本研究发现,使用 Forward-Forward 算法训练的网络能自发形成类似大脑皮层的高稀疏性类别特定表征,且该现象也可在采用相同目标的 Backpropagation 训练中出现。
2025-03-31 cs.LG cs.NE
Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms
Chungnam National University(忠南大学)
为解决 Forward-Forward 算法需特殊输入和损失函数的限制,本文提出 Unsupervised Forward-Forward 算法,通过无监督学习实现稳定训练与多任务通用性,并有望应用于联邦学习等物理分布场景。
2024-04-23 cs.AI cs.LG
Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
Faculty of Electrical and Computer Engineering(电气与计算机工程学院);Babol Noshirvani University of Technology(巴布尔诺希拉维尼技术大学)
本文提出对比前向-前向算法,通过改进视觉变换器的训练方法,显著提升了准确率并加快了收敛速度。
2025-11-30 cs.CV cs.LG
Unifying back-propagation and forward-forward algorithms through model predictive control
National University of Singapore(新加坡国立大学);Institute for Functional Intelligent Materials(功能智能材料研究院)
本文提出用模型预测控制框架统一反向传播与前向-前向算法,通过选择优化时域实现性能与效率的权衡,并给出有原则的时域选择方法。
2024-09-29 cs.LG math.OC
Novel Saliency Analysis for the Forward Forward Algorithm
Sapienza University of Rome(罗马第一大学)
针对Forward Forward算法提出定制显著性分析方法,通过双重前向机制和可视化提升模型可解释性,在MNIST和Fashion MNIST上性能与传统MLP相当。
2024-09-18 cs.AI cs.LG
Layer Collaboration in the Forward-Forward Algorithm
Technion(以色列理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI Research(元人工智能研究院)
针对 forward-forward 算法中各层独立训练导致缺乏协作的问题,提出支持层协作的改进版本以更好地利用网络结构,并在无需额外计算的情况下验证了其有效性。
2023-05-21 cs.LG cs.NE
A Relaxed Inertial Forward-Backward-Forward Algorithm for Solving Monotone Inclusions with Application to GANs
University of Vienna(维也纳大学);University of Southampton(南安普顿大学)
介绍了一种松弛的惯性向前向后向前(RIFBF)分裂算法,用于逼近极大单调算子与单值单调Lipschitz连续算子之和的零点集.本工作的目的是通过使用惯性效应以及松弛因子来扩展Tseng的向前-向后-向前方法。首先,我们制定一个二阶动力系统的单调包含问题的解决方案,并提供其轨迹的渐近分析。我们提供了RIFBF,它遵循明确的时间离散,收敛性分析,在一般单调的情况下,以及当应用到解决伪单调变分不等式。我们通过应用于双线性鞍点问题来说明所提出的方法,在此背景下,我们还强调了惯性和松弛因子之间的相互作用,以及生成对抗网络(GANs)的训练。
2020-03-22 cs.LG math.OC
The Predictive Forward-Forward Algorithm
Rochester Institute of Technology(罗切斯特理工学院);University of South Florida(南佛罗里达大学)
提出预测型前向-前向算法(PFF),通过联合学习生成与表征电路并结合预测编码等机制,仅用前向传递即可高效完成信用分配,效果媲美反向传播,为脑启发学习提供新途径。
2023-04-02 cs.LG cs.NE
One-class systems seamlessly fit in the forward-forward algorithm
University of Central Florida(中佛罗里达大学)
本文研究深度单类目标函数在前向-前向算法训练下的性能,指出单类损失能天然处理动态网络尺寸,无需为新算法专门设计损失函数,同时降低内存需求并支持在线训练。
2023-06-27 cs.AI cs.LG
Forward-backward-forward methods with variance reduction for stochastic variational inequalities
University of Vienna(维也纳大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室);Maastricht University(马斯特里赫特大学)
提出了一种新的求解伪单调随机变分不等式的方差缩减随机算法。我们的方法建立在Tseng的前向-后向-前向(FBF)算法,这是已知的在确定性文献中是一个有价值的替代Korpelevich的外梯度方法时,解决变分不等式在一个凸的和闭集由伪单调,Lipschitz连续算子。Tseng算法的主要计算优势在于它仅依赖于单个投影步骤和随机预言机的两个独立查询。我们的算法结合了方差减少机制,并导致几乎必然(a.s.)收敛到最优解。据我们所知,这是第一个随机前瞻算法,通过在每次迭代中仅使用单个投影来实现这一点。
2019-02-09 cs.LG math.OC
Energy-Efficient Supervised Learning with a Binary Stochastic Forward-Forward Algorithm
Purdue University(普渡大学)
针对反向传播在硬件加速中的能耗与内存瓶颈,提出二元随机前向-前向算法,将矩阵乘法转为索引操作,利用p-bit实现快速采样,在多个数据集上性能接近实值版本且能耗降低约一个数量级。
2025-07-09 cs.LG cs.NE
Unsupervised Deep Learning Algorithm for PDE-based Forward and Inverse Problems
Tel-Aviv University(特拉维夫大学)
我们提出了一种基于神经网络的算法,用于以无监督的方式求解偏微分方程的正问题和反问题。该解决方案是近似的深度神经网络,这是成本函数的最小化,并满足PDE,边界条件,和额外的正则化。该方法是无网格的,可以很容易地应用到一个任意的规则域。本文主要研究二维二阶椭圆系统的变系数问题,并将其应用于电阻抗成像。
2019-04-10 cs.LG stat.ML
Scalable Forward-Forward Algorithm
Polish Academy of Sciences(波兰科学院);Institute of Computer Science(计算机科学研究所)
本文提出可扩展的 Forward-Forward 算法,通过逐层训练和新型卷积层损失计算将其扩展到现代 CNN,并结合块内反向传播,在保持训练速度的同时取得可比甚至更优性能。
2025-01-06 cs.LG cs.NE
Backpropagation-Free Metropolis-Adjusted Langevin Algorithm
Computer Science Laboratory, SRI(SRI计算机科学实验室)
本文提出四种无反向传播的前向模式MALA算法,利用切向量采样和Hessian信息,降低计算成本,在贝叶斯推断中与原始MALA竞争甚至更优。
2025-05-23 cs.AI cs.LG
Bayesian Recurrent Units and the Forward-Backward Algorithm
Idiap Research Institute(伊迪亚普研究院)
使用贝叶斯定理,我们推导出一个单位形式的递归以及一个类似于向前向后算法的向后递归。由此产生的贝叶斯递归单元可以作为递归神经网络集成到深度学习框架中,同时保留与隐马尔可夫模型直接对应的概率解释。虽然贡献主要是理论上的,语音识别的实验表明,在最先进的递归架构的末尾添加派生单元可以在可训练参数方面以非常低的成本提高性能。
2022-07-21 cs.LG stat.ML
Going Forward-Forward in Distributed Deep Learning
Sabanci University(萨班哲大学);Faculty of Engineering and Natural Sciences(工程与自然科学学院)
本文研究 FF 算法在分布式深度学习中的并行实现,通过双前向传播替代反向传播,在四节点四层网络上于 MNIST 实现 3.75 倍加速且不损失精度。
2024-05-09 cs.DC cs.LG
Extending Kernel PCA through Dualization: Sparsity, Robustness and Fast Algorithms
KU Leuven(鲁汶大学)
该研究通过凸函数差值的对偶化重新审视KPCA,提出可表示为Moreau envelopes的目标函数以兼顾鲁棒性与稀疏性,基于梯度的高效算法避免了格拉姆矩阵的昂贵SVD,实验证实训练速度显著提升且兼具鲁棒性和稀疏性优势。
2023-06-09 cs.LG stat.ML
Forward and Backward Bellman equations improve the efficiency of EM algorithm for DEC-POMDP
The University of Tokyo(东京大学)
分散部分可观察马尔可夫决策过程(DEC-POMDP)模型由一组代理的顺序决策问题。由于DEC-POMDP的规划可以解释为隐变量模型的最大似然估计,因此DEC-POMDP可以通过EM算法求解。然而,在EM的DEC-POMDP,向前-向后算法需要计算到无限的水平,这影响了计算效率。本文通过在EM中引入前向和后向Bellman方程,提出了Bellman EM算法(BEM)和改进的Bellman EM算法(MBEM)。BEM比EM更有效,因为BEM计算向前和向后Bellman方程,而不是向前-向后算法直到无限水平。然而,当问题的规模很大时,BEM并不总是比EM更有效,因为BEM计算逆矩阵。我们绕过这个缺点MBEM计算向前和向后贝尔曼方程没有逆矩阵。数值实验表明,MBEM的收敛速度比EM快。
2021-05-06 cs.LG cs.MA math.OC
A Study of Forward-Forward Algorithm for Self-Supervised Learning
University of Würzburg(维尔茨堡大学)
本文首次在四种数据集和三种自监督任务上比较 forward-forward 与反向传播,发现二者训练性能相近,但前者迁移性能显著较差。
2023-12-08 cs.CV cs.LG eess.IV
Forward-Forward Algorithm for Hyperspectral Image Classification: A Preliminary Study
Michigan Technological University(密歇根理工大学)
本研究针对反向传播算法的计算复杂性与梯度消失等局限,首次将前向-前向算法(FFA)应用于高光谱图像分类,通过计算局部优良度函数优化网络参数,实验证明其具有巨大潜力。
2023-07-01 cs.AI cs.CV cs.LG
Minimizing the Effect of Sleep Deprivation in the Forward-Forward Algorithm
Brac University(布拉克大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学);Ohio University(俄亥俄大学)
针对前向-前向算法中睡眠剥夺导致的学习效率下降,提出替代激活、优化损失函数和阈值调整等方法,并模拟休息和咖啡因刺激,在MNIST和Fashion-MNIST上实现2%-62%的准确率提升。
2026-09-09 cs.LG cs.NE
A Double Inertial Forward-Backward Splitting Algorithm With Applications to Regression and Classification Problems
Department of Mathematics, Faculty of Science, Erzurum Technical University(数学系,科学学院,埃兹朱尔姆技术大学);Department of Computer Engineering, Naval Academy National Defense University(计算机工程系,海军学院国防大学)
本文提出一种带双惯性参数的前向-后向分裂算法,用于求解 Hilbert 空间中 co-coercive 算子与极大单调算子之和的零点问题,并证明其弱收敛性;在回归与分类任务上的实验表明该算法优于现有方法。
2025-05-01 cs.LG math.OC
A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations
University of Oxford(牛津大学)
在平稳分布的随机微分方程(SDEs)上进行优化在计算上具有挑战性。最近提出了一种新的前向传播算法在线优化的SDES。该算法求解使用前向微分推导出的SDE,它提供了梯度的随机估计。该算法同时不断更新模型的参数和梯度估计。本文研究了非线性耗散随机微分方程前向传播算法的收敛性。我们利用这类非线性微分方程的遍历性来刻画过渡半群及其导数的收敛速度。然后,我们证明的解决方案的泊松偏微分方程(PDE)的预期时间积分的算法的随机波动周围的方向的最速下降。然后,我们重写的算法使用PDE解决方案,这使我们能够表征参数的演变方向周围的最速下降。我们的主要结果是一个收敛定理的前向传播算法的非线性耗散SDES。
2022-07-10 cs.LG math.PR q-fin.MF
Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Shahid Beheshti University(沙希德·贝赫什提大学);University of Hertfordshire(赫特福德大学)
本研究提出基于前向-前向算法的尖峰神经网络训练框架,通过两次前向传播实现逐层局部学习,在静态和尖峰数据集上以轻量架构达到与反向传播训练相当的性能,并提升计算效率与神经形态硬件兼容性。
2025-05-27 cs.AI cs.LG cs.NE
A Supervised Modified Hebbian Learning Method On Feed-forward Neural Networks
在本文中,我们提出了一种新的监督学习算法,它是基于Hebbian学习算法,试图提供一个替代反向传播随着梯度下降的一个更生物合理的方法。当该算法在前馈神经网络上运行时,MNIST手写数字数据集在测试数据集和验证数据集上的准确率分别达到70.4%和71.48%。
2019-12-11 cs.LG cs.NE
Extending regionalization algorithms to explore spatial process heterogeneity
Peking University(北京大学);Zhejiang University(浙江大学)
本文提出两种新算法(两阶段K-Models和Regional-K-Models)并扩展自动分区程序,用于空间体制划分,实验表明新算法在模型拟合、区域重建和系数估计上优于现有方法,丰富了空间异质性探索工具。
2023-08-31 cs.LG stat.ME
Self-Contrastive Forward-Forward Algorithm
CNRS(法国国家科学研究中心);Thales(泰雷兹集团);Université Paris-Saclay(巴黎-萨克雷大学);Cornell University(康奈尔大学);USRA Research(美国空间研究协会研究部);Institute for Advanced Computer Science(高级计算机科学研究所)
针对前向-前向(FF)算法因负样本生成不可靠导致性能不佳的问题,提出自对比前向-前向(SCFF)算法,通过自监督对比方式生成正负样本,在多个基准数据集上性能优于现有无监督局部学习算法,还拓展了FF在循环神经网络和序列任务中的应用,为边缘设备实时学习提供支撑。
2025-03-27 cs.AI cs.CV cs.ET