The Forward-Forward Algorithm: Some Preliminary Investigations
Google Brain（谷歌大脑）
本文的目的是介绍一种新的神经网络的学习过程，并证明它在一些小问题上工作得很好，值得进一步研究。Forward-Forward算法通过两个前向传递来取代反向传播的前向和后向传递，一个是正（即真实）数据，另一个是可以由网络本身生成的负数据。每一层都有自己的目标函数，简单地说，就是对正数据有高的优度，对负数据有低的优度。层中活动的平方和可以用作优度，但也有许多其他可能性，包括减去活动的平方和。如果正面和负面的传递可以在时间上分开，那么负面的传递可以离线完成，这将使正面传递中的学习更加简单，并允许视频通过网络进行管道传输，而无需存储活动或停止传播衍生物。
2022-12-27 cs.LG
PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning
Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出PASS++双偏差减少框架，通过自监督变换和原型增强解决无样本类增量学习中的表示与分类器偏差，无需旧样本即可媲美基于样本的方法。
2024-07-19 cs.CV cs.LG
Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees
Basque Center of Applied Mathematics (BCAM)（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（伊克尔巴斯克科学基金会）；University of the Basque Country UPV/EHU（巴斯克大学）
本文提出增量极小极大风险分类器(IMRCs)，通过前向与后向学习有效处理随时间演化的分类任务，并在理论上证明了其性能提升与任务预期二次变化和数量相关，实验显示在样本量减少时提升尤为显著。
2023-10-24 cs.LG stat.ML
The Forward-Forward Algorithm: Characterizing Training Behavior
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究探索Forward-Forward网络训练过程中模型及层精度变化动态，通过调整系统特征调查层深度对精度的影响及单层与整体精度的关联，发现深层精度提升延迟且浅层精度与整体精度高度相关。
2025-04-15 cs.LG
Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity
University of Notre Dame（圣母大学）；Amazon Inc.（亚马逊公司）；University of Michigan（密歇根大学）
对抗样本很容易降低神经网络的分类性能。已经提出了一些经验方法来提高对这些例子的鲁棒性，但往往缺乏分析性的见解和正式的保证。最近，一些鲁棒性证书出现在文献中的系统理论的概念的基础上。本文提出了一种基于耗散的神经网络鲁棒性增量证书，其形式为每一层的线性矩阵不等式。我们还提出了一个等价的谱范数界这个证书是可扩展的神经网络与多层。我们证明了在MNIST上训练的前馈神经网络和使用CIFAR-10训练的Alexnet上对抗对抗攻击的性能有所提高。
2022-02-14 cs.AI cs.LG cs.SY
Graph Neural Networks for Inconsistent Cluster Detection in Incremental Entity Resolution
Amazon（亚马逊）
在线商店经常利用产品关系，如捆绑和替代品，以提高其目录质量，并引导客户通过无数的选择。使用成对产品匹配模型的实体解析提供了一种推断产品之间关系的方法。在成熟的数据存储库中，关系可能基本正确，但由于原始数据或实体解析系统中的错误，需要逐步改进。设计增量实体解析（IER）方法来改善关系的健康状况至关重要。然而，大多数现有的IER研究集中在新产品或信息添加到现有的关系。相对较少的研究已经做了检测当前关系中的低质量。本文提出了一种新的方法来识别不一致的集群（IC），现有的相关产品，不属于在一起的群体。我们建议把识别不一致的集群作为一个监督学习任务，它预测是否有相似性的加权边缘的产品图应划分为多个集群。在这种情况下，问题变成了加权图上的分类任务，并代表了图神经网络（GNN）等现代工具的一个有趣的应用领域。我们证明了现有的消息传递神经网络在这项任务中表现良好，超过了传统的图形处理技术。我们还为消息传递神经网络开发了一种新的消息聚合方案，进一步提高了GNN在此任务上的性能。我们将该模型应用于合成数据集，公共基准数据集和内部应用程序。我们的研究结果表明，IER和图神经网络的能力，开发有用的表示图分区的图分类的价值。
2021-05-12 cs.LG
Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
Sharif University of Technology（谢里夫理工大学）
针对光学神经网络训练效率低、非线性实现难等局限，提出两次前向传播训练法及集成光学下的卷积神经网络实现方案，经理论与数值验证可提升训练速度、能效与可扩展性，推动光学计算处理复杂任务的发展。
2024-08-15 cs.LG physics.optics
All Birds with One Stone: Multi-task Text Classification for Efficient Inference with One Forward Pass
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多任务学习（MTL）模型已经显示出它们在跨任务传输学习知识方面的鲁棒性、有效性和效率。在实际的工业应用中，例如Web内容分类，多个分类任务是从相同的输入文本（例如Web文章）中预测的。然而，在服务时间，现有的多任务Transformer模型，如提示或适配器为基础的方法需要进行N个向前传递N个任务的O（N）的计算成本。为了解决这个问题，我们提出了一个可扩展的方法，可以通过一个向前传递，以接近O（1）的计算成本实现更强的性能。为了说明实际的应用程序使用情况，我们发布了一个关于新闻主题和风格分类的多任务数据集。我们的实验表明，我们提出的方法在GLUE基准和我们的新闻数据集上都优于强基线。我们的代码和数据集可在https://bit.ly/mtop-code上公开获取。
2022-05-22 cs.CL cs.LG
Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
University of Auckland（奥克兰大学）；Imperial College London（伦敦帝国理工学院）
本研究将Forward-Forward算法与相似性学习整合，提出FAUST方法，消除推理时多次正向传播，在多个数据集上显著提升准确率，接近反向传播性能。
2025-08-29 cs.AI cs.LG
Exact Verification of Graph Neural Networks with Incremental Constraint Solving
University of Oxford（牛津大学）
本文提出一种精确验证方法，用于图神经网络在属性和结构扰动下的鲁棒性保证，支持三种聚合函数，实验表明其在节点分类和图分类任务中性能优越。
2026-05-13 cs.AI cs.CR cs.LG
Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
Heidelberg University（海德堡大学）；Graz University of Technology（格拉茨技术大学）
本文提出一种基于概率前向传递和代码生成的方法，显著提升贝叶斯神经网络在嵌入式系统中的计算效率和部署性能。
2026-10-19 cs.AR cs.DC cs.LG
Incremental Class Learning using Variational Autoencoders with Similarity Learning
Institute for Intelligent Systems（智能系统研究所）；University of Johannesburg（约翰内斯堡大学）
神经网络增量学习过程中的灾难性遗忘仍然是一个具有挑战性的问题。以前的研究调查了全连接网络中的灾难性遗忘，一些早期的工作探索了激活函数和学习算法。神经网络的应用已经扩展到包括相似性学习。理解相似性学习损失函数如何受到灾难性遗忘的影响具有重要意义。我们的研究调查了四个著名的基于相似性的损失函数在增量类学习过程中的灾难性遗忘。损失函数是角度损失、对比损失、中心损失和三重损失。我们的研究结果表明，灾难性遗忘率在多个数据集上的损失函数之间存在差异。角度损失受影响最小，其次是对比，三重损失和中心损失与良好的采矿技术。我们实现了三种现有的增量学习技术，iCaRL，EWC和EBLL。我们进一步提出了一种新的技术，使用变分自编码器（VAE）生成表示作为样本通过网络的中间层。我们的方法优于现有的三种最先进的技术。我们表明，不需要存储的图像（样本）的增量学习与相似性学习。从VAE生成的表示有助于保留由先验知识使用的嵌入空间的区域，使得新知识不会“覆盖”它。
2023-03-14 cs.CV cs.LG
An Empirical Study of Incremental Learning in Neural Network with Noisy Training Set
Asutosh College, University of Calcutta（加尔各答大学阿苏托什学院）；Lexmark International India Pvt. Ltd.（利盟国际印度私人有限公司）；Indian Statistical Institute（印度统计研究所）
增量学习的概念是当新的训练数据到达时，分阶段训练ANN算法。近年来，随着深度学习的出现，增量学习变得越来越普遍。训练数据中的噪声降低了算法的准确性。本文对噪声在训练阶段的影响进行了实证研究。我们数值计算表明，该算法的精度是依赖于错误的位置比错误的百分比。使用感知器，前馈神经网络和径向基函数神经网络，我们表明，对于相同的错误百分比，算法的准确性显着变化的错误的位置。此外，我们的研究结果表明，精度的依赖性与错误的位置是独立的算法。然而，退化曲线的斜率随着更复杂的算法而减小
2020-05-07 cs.LG stat.ML
Still: Amortized KV Cache Compaction in a Single Forward Pass
Baseten
提出Still方法，通过单次前向传递的轻量级Perceiver层实现KV缓存压缩，在8×至200×压缩比和8k至128k上下文长度下兼顾速度与质量，长上下文任务超越最强基线8-22分。
2026-06-05 cs.LG
NeuroViz: Real-time Interactive Visualization of Forward and Backward Passes in Neural Network Training
Boston University（波士顿大学）
提出NeuroViz交互式可视化工具，通过实时展示全连接神经网络训练中的激活值、权重更新和损失变化，以及逐神经元方程，显著提升训练透明度和可解释性。
2026-05-23 cs.LG
Differentiable Particle Filtering without Modifying the Forward Pass
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila
粒子滤波器与自动微分不兼容，这是由于存在离散的再分解步骤。虽然基于Fisher恒等式的得分函数的已知估计量可以使用粒子滤波器来计算，但到目前为止，它们需要手动实现。在本文中，我们表明，这样的估计可以使用自动微分计算，引入一个简单的修正粒子权重后。该校正利用停止梯度算子，并且不修改前向传递上的粒子滤波器操作，同时还便宜且易于计算。令人惊讶的是，在相同的校正下，自动微分也可以为后验期望的梯度产生良好的估计。因此，我们可以把我们的方法看作是使粒子滤波器可微的一般方法。我们还表明，它产生所需的估计二阶导数，以及如何扩展它，以进一步减少额外的计算费用的方差。
2021-10-19 cs.LG stat.ML
NeuroActiSep: Detecting Factual Hallucinations from Feed-Forward Neurons in a Single Pass
University of Tehran（德黑兰大学）
本文提出NeuroActiSep方法，通过自定义数据集排序前馈神经元，迁移至其他问答数据集训练幻觉分类器，证明其性能与内部状态探针相当，并分析神经元分布与层深度影响。
2026-09-15 cs.AI cs.CL cs.LG
Signal Propagation: A Framework for Learning and Inference In a Forward Pass
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个新的学习框架，信号传播（sigprop），传播学习信号和更新神经网络参数通过一个向前通过，作为一种替代反向传播。在sigprop中，只有推理和学习的前向路径。因此，除了推理模型本身之外，学习没有必要的结构或计算约束，例如反馈连接，权重传输或反向传递，这些都存在于基于反向传播的方法中。也就是说，sigprop支持全局监督学习，只有一个前向路径。这是层或模块并行训练的理想选择。在生物学中，这解释了没有反馈连接的神经元如何仍然可以接收全局学习信号。在硬件方面，这提供了一种用于全局监督学习而没有向后连接的方法。Sigprop通过构造与大脑和硬件中的学习模型具有兼容性，而不是反向传播，包括放松学习约束的替代方法。我们还证明了sigprop在时间和内存方面比它们更有效。为了进一步解释sigprop的行为，我们提供证据证明sigprop在反向传播的上下文中提供了有用的学习信号。为了进一步支持生物和硬件学习的相关性，我们使用sigprop来训练具有Hebbian更新的连续时间神经网络，并且仅用电压或用生物和硬件兼容的代理函数来训练脉冲神经网络。
2022-11-17 cs.LG cs.NE q-bio.NC
On Feature Collapse and Deep Kernel Learning for Single Forward Pass Uncertainty
University of Oxford（牛津大学）；University College London（伦敦大学学院）
诱导点高斯过程近似通常被认为是不确定性估计的黄金标准，因为它们保留了精确GP的许多属性，并可扩展到大型数据集。一个主要的缺点是，它们很难扩展到高维输入。深度核学习（Deep Kernel Learning，DKL）提供了一种解决方案：深度特征提取器对定义了诱导点高斯过程的输入进行变换。然而，DKL已被证明在实践中提供不可靠的不确定性估计。我们研究了为什么，并表明，在没有约束的情况下，DKL目标将“遥远”的数据点映射到与训练集点相同的功能。有了这个洞察力，我们建议约束DKL的特征提取器，通过双Lipschitz约束近似保持距离，从而产生有利于DKL的特征空间。我们得到了一个模型，DUE，这表明不确定性质量优于以前的DKL和其他单前向传递不确定性方法，同时保持标准神经网络的速度和准确性。
2022-03-07 cs.LG stat.ML
SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models
CEA（法国原子能和替代能源委员会）；Inria（法国国家信息与自动化研究所）；University of Graz（格拉茨大学）；Carnegie Mellon University（卡内基梅隆大学）；AIM（天体物理、宇宙学与天体粒子研究所）；CNRS（法国国家科学研究中心）
近年来，隐式深度学习已经成为一种增加深度神经网络有效深度的方法。虽然它们的训练是记忆高效的，但它们的训练仍然比显式对应物慢得多。在深度均衡模型（DEQs）中，训练作为双层问题执行，并且其计算复杂性部分地由巨大雅可比矩阵的迭代求逆驱动。在本文中，我们提出了一种新的策略来解决这个计算瓶颈，许多双层问题遭受。主要思想是使用来自前向传递的拟牛顿矩阵来在梯度计算所需的方向上有效地近似逆雅可比矩阵。我们提供了一个定理，激励使用我们的方法与原来的前向算法。此外，通过修改这些前向算法，我们进一步提供了理论保证，我们的方法渐近估计真正的隐式梯度。我们在不同的设置下实证研究了这种方法和最近的Jacobian Free方法，从超参数优化到应用于CIFAR和ImageNet的大型多尺度DEQ（MDEQ）。这两种方法都大大降低了向后传递的计算成本。虽然SHINE在超参数优化问题上具有明显的优势，但与原始模型相比，这两种方法在有限的性能下降的代价下，对于更大规模的问题（如MDEQ）获得了相似的计算性能。
2023-03-10 cs.LG stat.ML
One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
Amazon.com Inc（亚马逊公司）；ByteDance Inc（字节跳动公司）；University of Pittsburgh（匹兹堡大学）；Snap Inc（Snap公司）
大规模机器学习系统中的深度学习模型通常使用来自生产环境的大量数据进行持续训练。流传输训练数据的绝对量对实时训练子系统构成了重大挑战，并且ad-hoc采样是标准实践。我们的关键见解是，这些部署的ML系统在推理过程中不断地对数据实例执行正向传递，但是ad-hoc采样并没有利用这种大量的计算工作。因此，我们建议从这些向前传递中记录每个实例的恒定信息量。额外的信息可测量地改进了哪些数据实例应该参与向前和向后传递的选择。提出了一种新的优化框架来分析这个问题，我们提供了一个有效的近似算法的框架下的小批量梯度下降作为一个实用的解决方案。我们还证明了我们的框架和算法在几个大规模的分类和回归任务的有效性，与广泛用于工业的竞争性基线相比。
2021-04-27 cs.LG
Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network
Department of Computer Engineering, College of Science & Technology（计算机工程系，科学与技术学院）
本文提出一种基于紧凑型概率神经网络的模式分类方法，通过简单的一次性网络生长算法自动确定结构和参数，实现连续增量学习与遗忘任务，实验表明其在分类性能和连续学习任务中表现优异。
2026-03-21 cs.CV cs.LG
Class-Incremental Learning via Knowledge Amalgamation
Nanyang Technological University（南洋理工大学）；University of South Australia（南澳大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
灾难性遗忘一直是阻碍深度学习算法在持续学习环境中部署的重要问题。已经提出了许多方法来解决灾难性遗忘问题，其中代理在学习新任务时失去了旧任务的泛化能力。我们提出了一种替代策略来处理灾难性遗忘与知识融合（CFA），学习学生网络从多个异构教师模型专门在以前的任务，并可以应用到当前的离线方法。知识融合过程是在一个单一的头的方式进行，只有选定数量的记忆样本，没有注释。教师和学生不需要共享相同的网络结构，允许异构任务适应紧凑或稀疏的数据表示。我们将我们的方法与不同策略的竞争基线进行比较，展示了我们方法的优势。
2022-09-05 cs.AI cs.LG
Graph Neural Networks Go Forward-Forward
University of Geneva（日内瓦大学）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
我们提出了图向前-向前（GFF）算法，向前-向前过程的扩展图，能够处理分布在图的节点的功能。这允许仅用正向传递来训练图神经网络，而不需要反向传播。我们的方法是不可知的消息传递方案，并提供了一个更生物学合理的学习计划比反向传播，同时还携带计算优势。使用GFF，图神经网络使用正样本和负样本逐层进行灰色训练。我们在11个标准图属性预测任务上进行了实验，展示了GFF如何为训练图神经网络提供了一种有效的反向传播替代方案。这特别表明，尽管将每层训练与GNN中处理的局部性相结合，但该过程非常有效。
2023-02-10 cs.AI cs.LG
Attention as a Routing Graph: Live Circuit Extraction from a Single Forward Pass
Aquin Labs（Aquin 实验室）
提出一种基于单次前向传播的注意力路由图方法，通过提取指向答案的少量边来近似语言模型中的电路，在已知任务上验证了其因果有效性，且成本远低于传统干预方法。
2026-09-23 cs.AI cs.LG
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准，证明仅靠前向传播即可缓解持续学习中的灾难性遗忘，并给出改进策略。
2025-06-06 cs.CV cs.LG
You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model
该研究提出YOPO系统，通过训练小型网络重构残差流，在冻结Qwen2.5模型单次前向传播中同时实现回答、引导与弃权，性能优于两次前向传播基准，且在跨域等场景表现出色。
2026-11-02 cs.CL cs.LG
RoPE attention is an exact forward-pass gradient step with softmax intact
Hassana Labs（哈萨纳实验室）；Oxford University（牛津大学）
本文推导了RoPE-softmax注意力前向传播的精确梯度步表示，构造查询相关矩阵并利用指数差分保留softmax，验证了表示并量化重用误差。
2026-09-09 cs.LG stat.ML
SegWithU: Uncertainty as Perturbation Energy for Single-Forward-Pass Risk-Aware Medical Image Segmentation
University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Project Neura；University of Toronto Machine Intelligence Student Team（多伦多大学人工智能学生团队）；Amplimit
SegWithU通过引入轻量级不确定性头，提升单次前向传递医学图像分割的鲁棒性，实现高可靠性分割结果。
2026-08-19 cs.AI cs.CV cs.LG
Class-Incremental Learning with Generative Classifiers
Baylor College of Medicine（贝勒医学院）；University of Cambridge（剑桥大学）；Rice University（莱斯大学）
针对深度神经网络增量学习新类别时现有方法存在缺陷或性能不足的问题，提出基于生成式分类的策略，通过学习联合分布结合贝叶斯规则分类，在多个基准上优于无数据存储的基线方法。
2021-04-28 cs.AI cs.CV cs.LG
Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
IIIT, Hyderabad（海得拉巴国际信息技术学院）
本文发现 LayerNorm 的逆尺度方向是后最终归一化中心激活协方差矩阵的精确代数核，可仅从参数中读取死方向，无需前向或后向传播，并在 14 个预训练模型上验证了其有效性。
2026-06-19 cs.LG stat.ML
ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems
Carnegie Mellon University（卡内基梅隆大学）；Meta Inc.（元公司）
该研究针对轻量级代理模型训练时加速器利用率低的问题，提出ERASE方案，通过分离子图反向传播与前向工作重叠，使大规模点击率模型训练吞吐量提升最高9.51%且保持性能稳定。
2026-08-20 cs.AI cs.LG
Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses
Texas A&M University（德克萨斯A&M大学）；Sandia National Laboratories（桑地亚国家实验室）
针对传统反向传播算法的生物学与硬件局限，提出仅前向的前向目标传播方法，通过前馈计算估计逐层目标实现局部学习，性能与反向传播相当，在低精度等硬件场景下更优，为端侧学习和神经形态计算提供新方向。
2026-10-02 cs.AI cs.LG
Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Melbourne（墨尔本大学）
该研究提出仅前向传播的MLP训练（FPO）方法，无需跨层反向传播即可适配大语言模型，提升吞吐量、降低内存开销，在保持域外基准性能的同时优化域内困惑度，且耗时低于限定SFT的方案。
2026-08-18 cs.AI cs.LG
Emergent representations in networks trained with the Forward-Forward algorithm
University of Trieste（的里雅斯特大学）；AREA Science Park（AREA科学园）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
本研究发现，使用 Forward-Forward 算法训练的网络能自发形成类似大脑皮层的高稀疏性类别特定表征，且该现象也可在采用相同目标的 Backpropagation 训练中出现。
2025-03-31 cs.LG cs.NE
Forward Learning of Graph Neural Networks
Meta AI；Adobe Research（奥多比研究院）；University of Michigan（密歇根大学）；Intel Labs（英特尔实验室）
针对反向传播算法的约束问题，研究提出ForwardGNN前向学习框架，通过逐层局部前向训练处理图数据，无需负输入和误差反向传播，实验验证了其有效性与通用性。
2024-04-13 cs.LG cs.SI
DCFold: Efficient Protein Structure Generation with Single Forward Pass
Institute for AI Industry Research (AIR)（人工智能产业研究院）；Department of Computer Science and Technology（计算机科学与技术系）；School of Computer Science and Technology（计算机科学与技术学院）；ByteDance Seed（字节跳动种子）
本文提出DCFold，一种单步生成模型，实现了与AlphaFold3同等的精度，通过双一致性训练框架和新的时间测地匹配（TGM）调度器，在保持预测保真度的同时将推理速度提升15倍，验证了其在结构预测和结合设计基准上的有效性。
2026-09-29 cs.AI cs.LG q-bio.QM
Turning music identification into a neural forward pass
Music X Lab（音乐X实验室）；Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学）
提出用生成式Transformer通过单次神经前向传播实现音乐识别，在短音频片段上超越传统声学指纹方法，存储和延迟显著降低。
2026-06-17 cs.LG cs.SD
Backward-Forward Algorithm: An Improvement towards Extreme Learning Machine
National Institute of Technology Rourkela（鲁尔克拉国家理工学院）
极限学习机需要大量的隐层节点来对给定的训练数据集推广单个隐层神经网络。需要更多的隐藏节点表明，神经网络是记忆而不是概括模型。因此，这里描述了一种监督学习方法，该方法使用Moore-Penrose近似来确定两个时期（即，向后传递和向前传递）中的输入权重和输出权重。所提出的技术在所需的迭代方面优于反向传播方法，并且在泛化所需的隐藏单元的数量方面优于极端学习机。
2019-10-07 cs.CV cs.LG
Fwd2Bot: LVLM Visual Token Compression with Double Forward Bottleneck
Samsung AI Cambridge（三星剑桥人工智能研究院）；Technical University of Iasi（雅西技术大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
Fwd2Bot通过双前向瓶颈策略压缩LVLM视觉令牌，实现高压缩率下生成与判别任务几乎无损，并在图像检索和组合性上达到新最先进水平。
2025-03-27 cs.AI cs.CV cs.LG
Logit-Gap Steering: A Forward-Pass Diagnostic for Alignment Robustness
Palo Alto Networks（帕洛阿尔托网络）
本文提出logit-gap steering方法，通过前向传递发现短的分布内后缀以关闭对齐间隙，验证了当前对齐边距的薄且可测量，强调防御策略需考虑分布内后缀。
2026-10-14 cs.CL cs.CR cs.LG
Neural Group Testing to Accelerate Deep Learning
Stanford University（斯坦福大学）
深度学习的最新进展已经利用了具有数千万个参数的大型深度神经网络。这些网络的庞大规模在推理过程中带来了具有挑战性的计算负担。现有的工作主要集中在加速神经网络的每个前向传递。受有效疾病测试的组测试策略的启发，我们提出了神经组测试，它通过在一次向前传递中测试一组样本来加速。排除测试为阴性的样品组。如果一组测试为阳性，则该组中的样本随后自适应地重新测试。神经组测试的一个关键挑战是修改深度神经网络，以便它可以在一次向前传递中测试多个样本。我们提出了三种设计来实现这一点，而不引入任何新的参数，并评估其性能。我们在图像调节任务中应用神经组测试来检测罕见但不合适的图像。我们发现，神经分组测试可以在一次向前传递中对多达16张图像进行分组，并将整体计算成本降低73%以上，同时提高检测性能。
2021-05-09 cs.AI cs.CL cs.CV
