Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Melbourne（墨尔本大学）
该研究提出仅前向传播的MLP训练（FPO）方法，无需跨层反向传播即可适配大语言模型，提升吞吐量、降低内存开销，在保持域外基准性能的同时优化域内困惑度，且耗时低于限定SFT的方案。
2026-08-18 cs.AI cs.LG
LATTA: Langevin-Anchored Test-Time Adaptation for Enhanced Robustness and Stability
Rutgers University（罗格斯大学）
LATTA通过SGLD噪声扰动与稳定权重锚，在测试时自适应中兼顾探索与稳定，在CIFAR-10-C上平均准确率提升超2%并降低方差，超越现有方法。
2025-10-07 cs.LG
The Forward-Forward Algorithm: Some Preliminary Investigations
Google Brain（谷歌大脑）
本文的目的是介绍一种新的神经网络的学习过程，并证明它在一些小问题上工作得很好，值得进一步研究。Forward-Forward算法通过两个前向传递来取代反向传播的前向和后向传递，一个是正（即真实）数据，另一个是可以由网络本身生成的负数据。每一层都有自己的目标函数，简单地说，就是对正数据有高的优度，对负数据有低的优度。层中活动的平方和可以用作优度，但也有许多其他可能性，包括减去活动的平方和。如果正面和负面的传递可以在时间上分开，那么负面的传递可以离线完成，这将使正面传递中的学习更加简单，并允许视频通过网络进行管道传输，而无需存储活动或停止传播衍生物。
2022-12-27 cs.LG
Unsupervised Domain Adaptation with Residual Transfer Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络最近的成功依赖于大量的标记数据。对于标记数据不可用的目标任务，领域自适应可以将学习器从不同的源域转移。在本文中，我们提出了一种在深度网络中进行领域自适应的新方法，该方法可以从源域中的标记数据和目标域中的未标记数据中联合学习自适应分类器和可转移特征。我们放松了以前的方法所做的共享分类器的假设，并假设源分类器和目标分类器的残差函数不同。我们通过将几个层插入深度网络来实现分类器自适应，以参考目标分类器显式学习残差函数。我们用张量积融合多层特征，并将其嵌入到再生核希尔伯特空间中，以匹配特征自适应的分布。在大多数前馈模型中，可以通过用新的剩余层和损失函数来扩展它们来实现自适应，所述新的剩余层和损失函数可以经由反向传播来有效地训练。经验证据表明，新的方法优于国家的最先进的方法标准领域自适应基准。
2017-02-16 cs.LG
RoSA: Rotational Sparse Adaptation for Memory-Efficient Fine-Tuning
Saarland University（萨尔兰大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
RoSA通过旋转稀疏适配层子集，减少内存占用，同时保持微调性能，可与PEFT结合。
2026-10-06 cs.LG
MemFlow: A Lightweight Forward Memorizing Framework for Quick Domain Adaptive Feature Mapping
South China University of Technology（华南理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
MemFlow通过冻结主干网络和高效特征-预测映射微调，解决边缘设备上在线学习的计算瓶颈，实现在真实世界跨领域数据集上的性能提升达10%。
2026-05-07 cs.LG cs.NE
MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines
University of Southern California（南加州大学）
MobiZO提出一种面向边缘设备的资源高效大语言模型微调框架，通过并行化零阶梯度估计、多重扰动LoRA模块以及与ExecuTorch推理引擎的无缝集成，在提升微调精度的同时实现显著加速和内存节省。
2025-09-20 cs.DC cs.LG
Continual Test-Time Adaptation via Entropy Sensitivity-Guidance in Strict Online Setting
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）
本文提出SEGA方法，用于严格在线持续测试时适应，通过结构化擦除探测熵变化以协调恢复与样本选择，在多数据集上提升了鲁棒性与稳定性并减少反向传播次数。
2026-09-01 cs.CV cs.LG
Cycle Self-Training for Domain Adaptation
Tsinghua University（清华大学）
无监督领域自适应（UDA）的主流方法学习域不变表示以缩小域偏移。最近，自训练在UDA中获得了发展势头，它通过使用目标伪标签进行训练来利用未标记的目标数据。然而，正如在这项工作中所证实的，在UDA中的分布偏移下，伪标签可能由于与目标地面真实值的巨大差异而不可靠。因此，我们提出了循环自训练（CST），这是一种原则性的自训练算法，它明确地强制伪标签跨域泛化。CST在前进步骤和后退步骤之间循环，直到收敛。在前向步骤中，CST用源训练的分类器生成目标伪标签。在相反的步骤中，CST使用目标伪标签训练目标分类器，然后更新共享表示以使目标分类器在源数据上表现良好。我们引入Tsallis熵作为置信度友好的正则化，以提高目标伪标签的质量。我们在现实的假设下从理论上分析了CST，并提供了CST恢复目标地面实况的硬案例，而不变特征学习和香草自训练都失败了。实证结果表明，CST显着提高了国家的最先进的视觉识别和情感分析基准。
2021-10-28 cs.CV cs.LG
NeuroViz: Real-time Interactive Visualization of Forward and Backward Passes in Neural Network Training
Boston University（波士顿大学）
提出NeuroViz交互式可视化工具，通过实时展示全连接神经网络训练中的激活值、权重更新和损失变化，以及逐神经元方程，显著提升训练透明度和可解释性。
2026-05-23 cs.LG
Zero-shot adaptation to order book dynamics
MBZUAI（穆尔亚人工智能研究院）
本文提出了一种适应性市场做市架构，保留了Avellaneda-Stoikov框架的分析结构，同时引入了继任者度量式适应机制，通过分离市场动态与交易目标，实现对变化市场制度和交易目标的适应。
2026-05-20 cs.CE cs.LG
Ramen: Robust Test-Time Adaptation of Vision-Language Models with Active Sample Selection
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Ramen框架，通过主动样本选择实现视觉语言模型在混合域下的鲁棒测试时适应，通过领域一致性与预测平衡准则提升适应性能，实验表明其在多种图像退化和领域偏移基准上表现优异。
2026-04-27 cs.CV cs.LG
Adversarial Weighting for Domain Adaptation in Regression
Michelin（米其林）；EDF R&D（法国电力集团研发部）
我们提出了一种新的基于实例的方法来处理回归任务的背景下，监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设，即目标域上的任务可以有效地学习，在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异，根据一个特定的任务和一类假设。为了解决这个问题，我们开发了一种对抗网络算法，它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
HyperFlow: Gradient-Free Emulation of Few-Shot Fine-Tuning
KAIST School of Computing（韩国国立科学技术院计算机科学学院）
HyperFlow提出无需梯度的少样本微调仿真方法，通过将梯度下降视为ODE离散化并训练辅助网络预测漂移，实现高效测试时自适应，显著降低内存与计算成本，提升跨域性能。
2025-04-21 cs.AI cs.CV cs.LG
CodeMerge: Codebook-Guided Model Merging for Robust Test-Time Adaptation in Autonomous Driving
The University of Queensland（昆士兰大学）
针对自动驾驶测试时自适应中模型合并计算昂贵的问题，提出CodeMerge，利用低维指纹和码本及岭杠杆分数实现轻量级高效合并，显著提升3D检测性能。
2025-05-22 cs.CV cs.LG
ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization
ZOTTA提出一种完全无梯度的测试时适应框架，通过零阶优化实现高效适应，解决传统方法在非可微模型中的局限性，提升模型鲁棒性。
2026-08-25 cs.CV cs.LG
Test-Time Adaptation for Depth Completion
Yale Vision Lab（耶鲁视觉实验室）
针对深度补全任务，提出一种在线测试时自适应方法，利用稀疏深度模态的较小协变量偏移，通过嵌入模块和自适应层在单次遍历中缩小域差距，室内外场景平均提升21.1%。
2024-05-27 cs.CV cs.LG
TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models
Okta
TLoRA通过三矩阵低秩适应方法实现高效参数微调，相比LoRA等方法在资源利用上更优，具有高表达性和适应性。
2025-11-29 cs.AI cs.LG
Towards Continual Test-Time Adaptation of Vision-Language Models in Open-Vocabulary Semantic Segmentation
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对开放词汇语义分割中视觉-语言模型在持续测试时分布偏移下的对齐脆弱问题，提出DAF框架，在多数据集上实现mIoU显著提升且鲁棒性良好。
2026-09-01 cs.CV cs.LG
One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
Amazon.com Inc（亚马逊公司）；ByteDance Inc（字节跳动公司）；University of Pittsburgh（匹兹堡大学）；Snap Inc（Snap公司）
大规模机器学习系统中的深度学习模型通常使用来自生产环境的大量数据进行持续训练。流传输训练数据的绝对量对实时训练子系统构成了重大挑战，并且ad-hoc采样是标准实践。我们的关键见解是，这些部署的ML系统在推理过程中不断地对数据实例执行正向传递，但是ad-hoc采样并没有利用这种大量的计算工作。因此，我们建议从这些向前传递中记录每个实例的恒定信息量。额外的信息可测量地改进了哪些数据实例应该参与向前和向后传递的选择。提出了一种新的优化框架来分析这个问题，我们提供了一个有效的近似算法的框架下的小批量梯度下降作为一个实用的解决方案。我们还证明了我们的框架和算法在几个大规模的分类和回归任务的有效性，与广泛用于工业的竞争性基线相比。
2021-04-27 cs.LG
Best sources forward: domain generalization through source-specific nets
Sapienza University of Rome（罗马第一大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Mapillary Research（Mapillary研究院）；Italian Institute of Technology（意大利技术研究院）；University of Trento（特伦托大学）
视觉对象分类中的一个长期存在的问题是算法在不同测试条件下的泛化能力。这个问题已经被形式化为生成训练数据（源）和测试数据（目标）的概率分布之间的协变量偏移，并且已经提出了几种领域自适应方法来解决这个问题。虽然这些方法考虑了单一来源-单一目标的情况，但有多个来源并需要适应任何可能的目标领域似乎是合理的。最后一个场景名为领域泛化（DG），是我们工作的重点。与之前从源数据中学习域不变表示的DG方法不同，我们设计了一个具有多个特定于域的分类器的深度网络，每个分类器与一个源域相关联。在测试时，我们估计目标样本属于每个源域的概率，并利用它们来最佳地融合分类器的预测。为了进一步提高模型的泛化能力，我们还引入了一个支持最终分类器的领域不可知组件。在两个公共基准上的实验证明了我们方法的强大功能。
2018-06-15 cs.CV cs.LG stat.ML
Fast Forwarding Low-Rank Training
Technion – Israel Institute of Technology（以色列理工学院）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）；Harvard University（哈佛大学）
本文针对LoRA等低秩微调提出Fast Forward优化策略，通过重复最近优化器步骤并交替常规训练，在保持性能的同时显著降低计算量与训练时间。
2024-09-06 cs.CL cs.LG
On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
本文研究了在前向-后向传递中存在扰动的随机梯度下降收敛性，分析了扰动传播机制，并通过实验验证了梯度尖峰现象的理论解释。
2026-02-24 cs.LG math.OC stat.ML
TLA-Prover: Verifiable TLA+ Specification Synthesis via Preference-Optimized Low-Rank Adaptation
Department of Computer Science, Loyola University Chicago（洛约拉芝加哥大学计算机科学系）
提出 TLA-Prover 模型，结合监督微调和基于修复的组相对策略优化，在 TLC 模型检查器上实现 TLA+ 规范合成，Gold/Diamond 级别通过率达 30%，约为未调优基线的 3.5 倍。
2026-08-04 cs.AI cs.LG cs.LO
ZOIF: Zeroth-Order Influence Function Estimation for LLM Data Selection Using Only Forward Passes
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
本文提出ZOIF框架，仅用前向传播实现零阶影响估计，解决LLM数据选择中内存开销大的问题，所选数据效用与基线相当且内存成本更低。
2026-10-14 cs.AI cs.LG
EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample
Nanyang Technological University（南洋理工大学）；Tulane University（路易斯安那州立大学）
本文研究了在仅两次前向传递预算下测试时间模型演化的问题，提出EVA-0框架以解决零阶优化中的三个关键障碍，实现高效部署。
2026-11-10 cs.AI cs.LG
Constrained Particle Seeking: Solving Diffusion Inverse Problems with Just Forward Passes
受约束的粒子寻找方法通过无梯度优化高效解决图像和科学逆问题，性能优于传统方法。
2026-03-02 cs.LG stat.ML
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
Bonsai通过仅前向传递的扰动剪枝方法，实现了无需反向传播的高效结构化剪枝，显著降低内存和计算成本，同时提升模型压缩效率和性能。
2026-01-22 cs.CL cs.LG
SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passes
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Amazon AGI（亚马逊通用人工智能）
本文提出SharpZO，一种仅用前向传播的混合锐度感知零阶优化方法，通过锐度感知预热和两阶段优化，显著提升视觉语言模型微调的准确性与收敛速度。
2025-10-24 cs.CL cs.CV cs.LG
FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tsinghua University（清华大学）；Shanghai Polytechnic University（上海理工大学）
FAAST通过单次传递将标注示例分析性编译为快速权重，实现常数时间推理，减少适应时间90%并节省内存使用，适用于资源受限模型的高效监督任务适应。
2026-05-08 cs.CL cs.LG
Emergent representations in networks trained with the Forward-Forward algorithm
University of Trieste（的里雅斯特大学）；AREA Science Park（AREA科学园）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
本研究发现，使用 Forward-Forward 算法训练的网络能自发形成类似大脑皮层的高稀疏性类别特定表征，且该现象也可在采用相同目标的 Backpropagation 训练中出现。
2025-03-31 cs.LG cs.NE
Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
University of Auckland（奥克兰大学）；Imperial College London（伦敦帝国理工学院）
本研究将Forward-Forward算法与相似性学习整合，提出FAUST方法，消除推理时多次正向传播，在多个数据集上显著提升准确率，接近反向传播性能。
2025-08-29 cs.AI cs.LG
Minimizing the Effect of Sleep Deprivation in the Forward-Forward Algorithm
Brac University（布拉克大学）；Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）；Ohio University（俄亥俄大学）
针对前向-前向算法中睡眠剥夺导致的学习效率下降，提出替代激活、优化损失函数和阈值调整等方法，并模拟休息和咖啡因刺激，在MNIST和Fashion-MNIST上实现2%-62%的准确率提升。
2026-09-09 cs.LG cs.NE
Fine-Tuning Language Models with Just Forward Passes
Princeton University（普林斯顿大学）
本文提出内存高效的零阶优化器 MeZO，仅用前向传播即可微调大规模语言模型，在多种任务上达到与反向传播微调相当的性能，并显著降低内存和计算开销。
2024-01-11 cs.CL cs.LG
The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes
Virginia Tech（弗吉尼亚理工大学）；Columbia University（哥伦比亚大学）
提出镜像影响假说，将训练数据对测试预测的影响转化为逆问题，通过测试样本梯度加训练样本前向传播高效估计数据影响，显著提升效率。
2026-06-08 cs.LG stat.ML
NetworkFF: Unified Layer Optimization in Forward-Only Neural Networks
University of St. Thomas, Minnesota（圣托马斯大学，明尼苏达）
NetworkFF通过引入层间协作机制，改进前向-前向学习算法，提升深度神经网络的收敛效率和性能。
2025-12-22 cs.LG
Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Hertfordshire（赫特福德大学）
本研究提出基于前向-前向算法的尖峰神经网络训练框架，通过两次前向传播实现逐层局部学习，在静态和尖峰数据集上以轻量架构达到与反向传播训练相当的性能，并提升计算效率与神经形态硬件兼容性。
2025-05-27 cs.AI cs.LG cs.NE
Local Reinforcement Learning with Action-Conditioned Root Mean Squared Q-Functions
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文提出基于动作的均方Q函数，通过时间差分学习实现局部强化学习，优于现有无反向传播方法，在MinAtar和DeepMind控制套件中表现优异。
2026-04-03 cs.AI cs.LG
Graph Neural Networks Go Forward-Forward
University of Geneva（日内瓦大学）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
我们提出了图向前-向前（GFF）算法，向前-向前过程的扩展图，能够处理分布在图的节点的功能。这允许仅用正向传递来训练图神经网络，而不需要反向传播。我们的方法是不可知的消息传递方案，并提供了一个更生物学合理的学习计划比反向传播，同时还携带计算优势。使用GFF，图神经网络使用正样本和负样本逐层进行灰色训练。我们在11个标准图属性预测任务上进行了实验，展示了GFF如何为训练图神经网络提供了一种有效的反向传播替代方案。这特别表明，尽管将每层训练与GNN中处理的局部性相结合，但该过程非常有效。
2023-02-10 cs.AI cs.LG
FZOO: Fast Zeroth-Order Optimizer for Fine-Tuning Large Language Models towards Adam-Scale Speed
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT AI实验室）；A*STAR（新加坡科技研究局）
针对大语言模型微调中的内存瓶颈，提出快速零阶优化器FZOO，通过批量单侧估计和Rademacher扰动减少前向传播次数并加速计算，在准确率和收敛速度上显著优于MeZO，实现单GPU全参数微调。
2025-06-30 cs.AI cs.LG
End-to-end neural network approach to 3D reservoir simulation and adaptation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；TOTAL Research and Development（道达尔研发中心）
储层模拟和自适应（也称为历史拟合）通常被视为单独的问题。一组模型的目的是在假定所有初始地质参数已知的情况下求解正演模拟问题，另一组模型在固定的正演模拟模型下调整地质参数以拟合生产数据。这给油藏工程师和新的高效计算方案的开发者带来了许多困难。我们提出了一个统一的方法来油藏模拟和适应问题。单个神经网络模型允许从3D储层模型的初始地质参数通过动态状态变量到井的生产率的前向传递以及到任何模型输入和变量的后向梯度传播。模型拟合和地质参数自适应都是同一个神经网络模型中特定部分的优化问题。可以使用标准的基于梯度的优化方案来找到最优解。使用现实世界的油田模型和历史产量，我们证明，建议的方法允许油藏模拟和历史匹配的好处，几个数量级的模拟速度。最后，为了传播这项研究，我们开源了一个基于Python的框架DeepField，它允许对储层模型进行标准处理，并再现本文提出的方法。
2021-08-02 cs.LG physics.geo-ph
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms
本研究挑战了反向传播不可或缺的假设，证明无反向传播的Mono-Forward算法在MLP架构上分类准确率超越BP基线，且能耗降低41%、训练加速34%，是替代BP的高性能可持续方案。
2026-10-14 cs.AI cs.LG
Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
Western New England University（韦斯滕新英格兰大学）；Rice University（Rice大学）
针对神经网络训练加速问题，本工作在MNIST数据集上用OpenMP实现推测反向传播，通过多线程重叠前向与反向传播步骤，CPU实验获24%整体加速比及35%单步最大加速比，计划在FPGA上综合以验证硬件加速潜力。
2025-11-09 cs.AR cs.DC cs.LG
Adaptive Test-Time Augmentation for Low-Power CPU
Politecnico di Torino（都灵理工大学）
卷积神经网络（ConvNets）使用少量可用数据进行离线训练，因此当移植到现场时可能会遭受大量准确性损失，其中在不可预测的外部条件下接收的不可见输入模式可能会误导模型。测试时增强（TTA）技术旨在减轻推理时的这种常见副作用，首先在同一输入样本的一组更改版本上运行多个前馈传递，然后通过聚合预测的共识计算主要结果。不幸的是，TTA在嵌入式CPU上的实现引入了延迟惩罚，限制了其在边缘应用程序中的采用。为了解决这个问题，我们提出了AdapTTA，TTA的自适应实现，动态控制前馈通道的数量，这取决于输入的复杂性。在商用ARM Cortex-A CPU上部署的用于图像分类的最先进ConvNets上的实验结果表明，AdapTTA实现了显着的延迟节省，从1.49倍到2.21倍，因此与静态TTA相比，具有更高的帧速率，仍然保持相同的准确性增益。
2021-05-13 cs.CV cs.LG eess.IV
Going Forward-Forward in Distributed Deep Learning
Sabanci University（萨班哲大学）；Faculty of Engineering and Natural Sciences（工程与自然科学学院）
本文研究 FF 算法在分布式深度学习中的并行实现，通过双前向传播替代反向传播，在四节点四层网络上于 MNIST 实现 3.75 倍加速且不损失精度。
2024-05-09 cs.DC cs.LG
Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
Faculty of Electrical and Computer Engineering（电气与计算机工程学院）；Babol Noshirvani University of Technology（巴布尔诺希拉维尼技术大学）
本文提出对比前向-前向算法，通过改进视觉变换器的训练方法，显著提升了准确率并加快了收敛速度。
2025-11-30 cs.CV cs.LG
Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses
Texas A&M University（德克萨斯A&M大学）；Sandia National Laboratories（桑地亚国家实验室）
针对传统反向传播算法的生物学与硬件局限，提出仅前向的前向目标传播方法，通过前馈计算估计逐层目标实现局部学习，性能与反向传播相当，在低精度等硬件场景下更优，为端侧学习和神经形态计算提供新方向。
2026-10-02 cs.AI cs.LG
Adapt Only When It Pays: Budgeted Decision-Loss Priority for Delayed Online Time-Series Adaptation
Xibai Wang（王希拜）
提出ADOWIP框架，通过决策损失优先级门控在反馈到达时选择性更新，在有限预算下降低决策损失，并在公共数据集上验证有效性。
2026-06-25 cs.AI cs.LG
ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems
Carnegie Mellon University（卡内基梅隆大学）；Meta Inc.（元公司）
该研究针对轻量级代理模型训练时加速器利用率低的问题，提出ERASE方案，通过分离子图反向传播与前向工作重叠，使大规模点击率模型训练吞吐量提升最高9.51%且保持性能稳定。
2026-08-20 cs.AI cs.LG
GradLev: Token-Parallel Test-Time Training Via Costate Prediction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
GradLev通过协态预测实现令牌并行的测试时训练，利用在线梯度下降的精确并行扫描特性，以一致性损失监督预测器，保证精确恢复顺序在线学习者，并在部署时丢弃辅助网络。
2026-09-30 cs.AI cs.LG
Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs
The Pennsylvania State University（宾夕法尼亚州立大学）
基于机器/深度学习（ML/DL）的技术正在成为许多尖端技术背后的驱动力，实现了计算机视觉工作负载的高精度，如图像分类和目标检测。然而，训练这些涉及大参数的模型既耗时又耗能。在这方面，一些先前的工作已经提倡稀疏性来加速DL训练，更重要的是，推理阶段。这项工作开始于观察，在训练过程中，稀疏的向前和向后传递是相关的。在这种情况下，我们调查两种类型的稀疏性（输入和输出类型）固有的梯度下降为基础的优化算法，并提出了一个硬件微架构，以利用相同的。我们的实验结果在Imagenet数据集上使用了五个最先进的CNN模型，与密集基线执行相比，反向传播加速范围为1.69 $\times$至5.43 $\times$。通过在向前和向后传递中利用稀疏性，与稀疏性无关的基线执行相比，加速改进的范围从1.68 $\times$到3.30 $\times$。我们的工作还实现了训练迭代时间的显着减少，在几个以前提出的密集以及稀疏加速器为基础的平台，除了实现数量级的能源效率提高基于GPU的执行。
2021-09-16 cs.CV cs.LG
A Study of Forward-Forward Algorithm for Self-Supervised Learning
University of Würzburg（维尔茨堡大学）
本文首次在四种数据集和三种自监督任务上比较 forward-forward 与反向传播，发现二者训练性能相近，但前者迁移性能显著较差。
2023-12-08 cs.CV cs.LG eess.IV
