Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London(伦敦大学城市学院)
基本的二进制关系,如相等和不等是关系数据结构的基础。神经网络应该学习这种关系,并推广到新的看不见的数据。然而,我们在这项研究中表明,这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据,标准的网络不可靠地检测equality.We引入差分整流器(DR)的单位,我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差,因此它们确实学会了泛化,即使是从少量的例子中,我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质,我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此,适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
A Supervised Modified Hebbian Learning Method On Feed-forward Neural Networks
在本文中,我们提出了一种新的监督学习算法,它是基于Hebbian学习算法,试图提供一个替代反向传播随着梯度下降的一个更生物合理的方法。当该算法在前馈神经网络上运行时,MNIST手写数字数据集在测试数据集和验证数据集上的准确率分别达到70.4%和71.48%。
2019-12-11 cs.LG cs.NE
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是,整个架构是时不变的(在空间域中的平移不变)或静止的。我们认为,时间不变性可以降低执行多步预测的能力,其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet,它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出,我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Margin-Based Feed-Forward Neural Network Classifiers
Tsinghua University(清华大学)
边际收益原则提出已久,理论和实践都证明了该原则能够降低结构性风险,提高绩效。而前馈神经网络是一种传统的分类器,是目前研究的热点,具有更深层次的体系结构。而前馈神经网络的训练算法是从Widrow-Hoff原理中发展和产生的,即最小化平方误差。提出了一种基于边缘原则的前馈神经网络训练算法,该算法能够有效地提高神经网络分类器的分类精度和泛化能力,同时具有样本量少、网络灵活等特点。我们在四个UCI开放数据集上进行了实验,取得了预期的良好效果。总之,我们的模型可以处理更稀疏的标记和更高维的数据集在一个高的精度,而从旧的人工神经网络方法修改我们的方法是容易的,几乎没有工作。
2015-06-11 cs.LG
A Connection between Feed-Forward Neural Networks and Probabilistic Graphical Models
Dresden University of Technology(德累斯顿工业大学)
计算机视觉中最流行的两种建模范例是前馈神经网络(FFN)和概率图形模型(GM)。在最近的工作中,已经研究了两者之间的各种联系,例如将GM中基于平均场的推理表示为FFN。本文建立了一个新的FFNs和GM之间的联系。我们的关键观察是,任何FFN实现了相应的贝叶斯网络(BN)的某种近似。我们描述了拥有这种联系的各种好处。特别是,它的结果在一个新的学习算法的BN。我们验证了CIFAR-10数据集上的分类问题和魏茨曼马数据集上的二值图像分割所提出的方法。我们表明,统计学习的BN提高性能,同时具有更好的泛化能力,比他们的FFN同行。
2017-10-30 cs.CV cs.LG stat.ML
Max-Entropy Feed-Forward Clustering Neural Network
Tsinghua University(清华大学)
非线性前馈神经网络的输出为正,当归一化为1时,可以将其视为概率。如果我们考虑基于熵的原则,每个样本的输出可以表示为该样本在不同聚类中的分布。熵原理是在一定条件下估计未知分布的原理。由于本文定义了前馈神经网络的两个过程,我们的限制条件是样本的抽象特征,这些特征是在抽象过程中得到的。最后的输出是聚类过程中不同类的概率分布。将熵原理引入前向神经网络,产生了一种聚类方法。我们在六个开放的UCI数据集上进行了一些实验,与一些基线进行了比较,并使用纯度作为度量。结果表明,我们的方法优于所有其他基线,是最流行的聚类方法。
2015-06-11 cs.LG
Feed-Forward Source-Free Domain Adaptation via Class Prototypes
The University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心)
针对无源域自适应依赖反向传播、耗时久的问题,提出基于预训练模型计算域偏移下类别原型的前馈方法,准确率提升显著且耗时远低于现有方法。
2023-07-20 cs.CV cs.LG stat.ML
Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum
University of Kent(肯特大学)
针对深度神经网络反向传播可扩展性差、前向模式自动微分方法高方差影响收敛的问题,提出结合活动扰动前向梯度、直接反馈对齐与动量的前向直接反馈对齐算法,经理论与实验验证其方差更低、收敛更快、性能更优,为神经形态兼容的在线学习算法提供新思路。
2023-08-21 cs.LG
LSTM VS. Feed-Forward Autoencoders for Unsupervised Fault Detection in Hydraulic Pumps
University of Alcalá(阿尔卡拉大学)
本文比较了LSTM与前馈自编码器在无监督液压泵故障检测中的性能,通过健康数据训练实现高可靠性故障识别。
2026-01-16 cs.LG
An approach to reachability analysis for feed-forward ReLU neural networks
Imperial College London(帝国理工学院)
我们研究了实现为前馈神经网络的系统的可达性问题,其激活函数通过ReLU函数实现。我们画一个对应关系,建立一些任意的输出是否可以输出的神经系统和线性问题的特征感兴趣的神经系统。我们提出了一种方法来解决实际感兴趣的情况下,通过一个国家的最先进的线性规划求解器。我们评估的技术,讨论通过分析可达性在文献中的一些基准的属性所获得的实验结果。
2017-06-22 cs.AI cs.LG cs.LO
Sound source ranging using a feed-forward neural network with fitting-based early stopping
Ocean University of China(中国海洋大学);University of California San Diego(加州大学圣迭戈分校)
在训练前馈神经网络(FNN)用于海洋波导中的声源测距时,很难在无标记测试数据上评估FNN的测距精度。在源距离未知的测试数据上,提出了一种基于拟合的提前停止(FEAST)方法来估计模糊神经网络的测距误差。基于FEAST算法,当FNN在测试数据上的测距误差达到最小值时,停止训练,有助于提高FNN在测试数据上的测距精度。FEAST的模拟和实验数据证明。
2019-04-01 cs.LG cs.SD eess.SP
Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep Networks
Purdue University(普渡大学);Department of Statistics(统计系);Department of Computer Science(计算机科学系);West Lafayette, IN 47906(西拉斐特,印第安纳州 47906)
在本文中,我们研究了样本复杂性下界的参数的准确恢复和一个积极的超额风险的前馈,全连接神经网络的二进制分类,使用信息理论的工具。我们证明了这些下界的生成网络的存在,其特征在于一个向后的数据生成过程中,输入生成的基础上的二进制输出,和网络参数化的隐藏层的权重参数。参数精确恢复的样本复杂度下限为$Ω(d r \log(r) + p )$,正超额风险的样本复杂度下限为$Ω(r \log(r) + p )$,其中$p$是输入的维数,$r$反映权重矩阵的秩,$d$是隐藏层的数量。据我们所知,我们的结果是第一个信息论下界。
2020-10-29 cs.LG stat.ML
SSFN -- Self Size-estimating Feed-forward Network with Low Complexity, Limited Need for Human Intervention, and Consistent Behaviour across Trials
KTH Royal Institute of Technology(瑞典皇家理工学院);INRIA Grenoble Rhone-Alpes(法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯分部);University of Tokyo(东京大学);Cold Spring Harbor Laboratory(冷泉港实验室)
我们设计了一个自估计大小的前馈网络(SSFN),使用联合优化方法估计层数,节点数和学习的权重矩阵。学习算法具有低的计算复杂性,优选地使用膝上型计算机在几分钟内。此外,该算法对人为干预调整参数的需求有限。SSFN从一个小规模的网络增长到一个大规模的网络,保证了单调增加的节点和层的成本。该学习方法巧妙地结合了某些激活函数的“无损流性质”、凸优化和随机矩阵的实例。一致的性能-低变化的蒙特卡罗试验-被发现的推理性能(分类精度)和估计的网络大小。
2020-03-04 cs.LG stat.ML
Feed-forward Uncertainty Propagation in Belief and Neural Networks
Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种适用于信念和神经网络的前馈推理方法。在信度网络中,该方法估计给定输入的所有隐藏单元的近似因式分解后验。在神经网络中,该方法通过所有层传播输入的不确定性。在具有注入噪声的神经网络中,该方法分析地考虑了由该噪声引起的不确定性。这种前馈分析传播在参数上是可微的,并且可以端到端地训练。与标准NN相比,它可以被视为只传播均值,我们传播均值和方差。该方法可以在需要神经元统计知识的所有场景中使用,例如,当处理不确定输入时,将S形激活视为伯努利单位的概率,训练通过注入噪声(dropout)正则化的模型或估计数据集上的激活统计(如归一化方法所需)。在实验中,我们展示了在所有这些任务中的方法的可能效用以及它目前的局限性。
2018-11-01 cs.CV cs.LG cs.NE
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Loss Surface Modality of Feed-Forward Neural Network Architectures
University of Pretoria(比勒陀利亚大学);Stellenbosch University;Griffith University(格里菲斯大学)
过去一直认为,高维神经网络不会表现出能够捕获优化算法的局部最小值。然而,损失表面模态和神经结构参数之间的关系,如每层的隐藏神经元的数量和隐藏层的数量,仍然知之甚少。本研究采用适应度景观分析来研究不同前馈架构下神经网络损失面的形态。问题维度的增加,产生一个更可搜索和更可利用的损失面。增加隐藏层的宽度,有效地减少了局部极小值的数量,并简化了全局吸引子的形状。架构深度的增加,锐化全局吸引子,从而使其更可利用。
2020-01-30 cs.LG cs.NE stat.ML
NeuroActiSep: Detecting Factual Hallucinations from Feed-Forward Neurons in a Single Pass
University of Tehran(德黑兰大学)
本文提出NeuroActiSep方法,通过自定义数据集排序前馈神经元,迁移至其他问答数据集训练幻觉分类器,证明其性能与内部状态探针相当,并分析神经元分布与层深度影响。
2026-11-10 cs.AI cs.CL cs.LG
Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Flatiron Institute(弗拉蒂伦研究所);Center for Data Science(数据科学中心);New York University(纽约大学)
本文在受控合成环境中研究Transformer前馈层与注意力层的分工,发现前馈层偏向学习二元词组等分布关联,注意力层专注上下文内推理,并揭示梯度噪声是差异关键,最后在Pythia模型上验证了类似现象。
2025-03-06 cs.AI cs.CL cs.LG
On the space of coefficients of a Feed Forward Neural Network
我们定义并建立了“等价神经网络”的条件--具有不同权重、偏差和阈值函数的神经网络产生相同的关联函数。我们证明了给定一个具有分段线性激励的神经网络$\mathcal{N}$,描述所有等价神经网络的系数空间由一个半代数集给出。这个结果是通过使用Tarski-Seidenberg定理研究给定分段线性函数的不同表示来获得的。
2021-09-07 cs.LG cs.NE
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University(比勒费尔德大学认知交互技术研究中心);Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系)
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案,实现条件计算无需额外路由网络。通过动态稀疏性技术,在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Flow of Information in Feed-Forward Deep Neural Networks
Virginia Tech(弗吉尼亚理工大学);University of Arizona(亚利桑那大学)
前馈深度神经网络已广泛用于各种机器学习应用中。准确理解神经网络的底层行为对于有效部署至关重要。在本文中,我们使用信息论的方法来研究神经网络中的信息流,并确定如何连续层之间的信息熵的变化。此外,利用信息瓶颈原理,我们开发了一个约束优化问题,可以用于深度神经网络的训练过程。此外,我们确定了一个下界的数据表示的水平,可以实现在一个深度神经网络与可接受的失真水平。
2016-03-20 cs.IT cs.LG math.IT
An Analytical Approach to Compute the Exact Preimage of Feed-Forward Neural Networks
神经网络是一种方便的方法,可以自动拟合过于复杂而无法手工描述的函数。这种方法的缺点是,它导致构建一个黑盒子,而不了解里面发生了什么。找到原像将有助于更好地理解这种神经网络如何以及为什么会给出这样的输出。由于大多数神经网络都是非内射函数,因此完全用数值方法计算往往是不可能的。本研究的目的是给出一种方法来计算任何隐层具有线性或分段线性激活函数的前馈神经网络的精确原像。与其他方法相比,这个方法不是为唯一的输出返回唯一的解决方案,而是以分析的方式返回完整和精确的原像。
2022-08-25 cs.LG
Merging Feed-Forward Sublayers for Compressed Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种通过选择、对齐和合并Transformer中相似前馈子层的新型模型压缩方法,在保持99%性能的同时移除超21%参数,优于层剪枝基线。
2025-03-28 cs.CL cs.LG
Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks
University of Kent(肯特大学);School of Computing(计算机学院);CEMS
本文提出脉冲前向直接反馈对齐(SFDFA)算法,用于在神经形态硬件上在线估计脉冲神经网络的梯度,避免反向传播,并通过比较实验证明其性能和收敛速度优于现有算法。
2024-02-06 cs.LG cs.NE
Sequence-to-sequence Singing Synthesis Using the Feed-forward Transformer
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术小组)
我们提出了一种序列到序列的歌唱合成器,它避免了需要预先对齐的语音和声学特征的训练数据。而不是一个基于内容的注意力机制结合自回归解码器的更常见的方法,我们使用不同的机制,适合前馈合成。鉴于语音的时间在唱歌是高度限制的乐谱,我们得到一个近似的初始对齐的帮助下,一个简单的持续时间模型。然后,使用基于Transformer模型的前馈变体的解码器,一系列自关注和卷积层细化初始对准的结果以达到目标声学特征。这种方法的优点包括更快的推理和避免影响教师强迫训练的自回归模型的暴露偏差问题。我们评估了该模型的有效性相比,自回归基线,自我注意的重要性,以及持续时间模型的准确性的重要性。
2020-02-20 cs.LG cs.SD eess.AS
Feed-Forward Optimization With Delayed Feedback for Neural Network Training
Scientific Computing Center (SCC), Karlsruhe Institute of Technology (KIT), Karlsruhe, Germany(科学计算中心(SCC)、卡尔斯鲁厄理工学院(KIT)、德国卡尔斯鲁厄);Helmholtz AI, Germany(亥姆霍兹人工智能、德国)
本文提出F³方法,通过延迟反馈路径和误差信息近似梯度,提升前馈网络的预测性能,同时保持生物合理性。
2026-01-13 cs.AI cs.LG
Light3R-SfM: Towards Feed-forward Structure-from-Motion
NVIDIA(英伟达);Vector Institute(向量研究所);University of Toronto(多伦多大学)
提出前馈端到端框架Light3R-SfM,利用潜在全局对齐模块和稀疏场景图替代传统全局优化,在保证3D重建精度的同时大幅降低运行时间与计算开销。
2025-01-24 cs.CV cs.LG
Transfer entropy-based feedback improves performance in artificial neural networks
Universität Göttingen(哥廷根大学);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
大多数现代深度神经网络的结构的特征在于跨非常大量的层的单向前馈连接。相比之下,脊椎动物的皮层结构包含较少的层次结构,但有许多循环和反馈连接。在这里,我们表明,一个小的,几层的人工神经网络,采用反馈将达到顶级性能的标准基准任务,否则只能通过大型前馈结构。为了实现这一点,我们使用神经元之间的前馈传递熵来构建反馈连接。在这里,传递熵可以直观地理解为网络中某些路径相关性的度量,然后通过反馈放大。因此,反馈可能是小型类脑架构中高网络性能的关键。
2017-06-22 cs.IT cs.LG cs.NE
RenderFormer++: Scalable and Physics-Informed Feed-Forward Neural Rendering
University of Science and Technology of China(中国科学技术大学)
提出RenderFormer++框架,通过物理信息传输引导(PITG)和层次化对象中心分词(HOCT)解决现有Transformer神经渲染的物理一致性和可扩展性问题,实现大规模场景的高效全局光照渲染。
2026-08-10 cs.CV cs.GR cs.LG
Taming Feed-forward Reconstruction Models as Latent Encoders for 3D Generative Models
University of Michigan(密歇根大学);Vidyasirimedhi Institute of Science and Technology(维迪亚西梅迪科学技术学院)
本文将预训练前馈图像到3D重建模型复用为潜在编码器,并通过特征标准化、空间加权、感知渲染损失及多流transformer rectified flow架构,实现高效可扩展的文本到3D生成。
2025-01-04 cs.CV cs.LG
MapAnything: Universal Feed-Forward Metric 3D Reconstruction
Meta Reality Labs(Meta现实实验室);Carnegie Mellon University(卡内基梅隆大学)
Map Anything是一种统一的前馈模型,通过输入图像和几何信息,直接回归度量3D场景几何,适用于多种3D视觉任务。
2026-01-23 cs.AI cs.CV cs.LG
FL-Tuning: Layer Tuning for Feed-Forward Network in Transformer
East China University of Science and Technology(华东理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Tencent AI Lab(腾讯人工智能实验室)
提示微调是一种使预训练的语言模型适应下游任务的新兴方式。然而,现有的研究主要是在输入序列中添加提示。这种方法由于中间的多头自注意和前馈网络计算,使模型优化不是很顺利,不能达到预期的效果。因此,我们提出了一种新的调优方式称为层调优,旨在增加可学习的参数在Transformer层。具体而言,我们专注于前馈网络的层调谐在Transformer,即FL调谐。它在每个前馈网络的隐藏层中引入了额外的单元。我们在公共CLUE基准上进行了广泛的实验。结果表明:1)在几乎所有情况下,无论是全数据还是Few-Shot设置下,我们的FL-调谐都优于提示微调方法。特别是,与P-tuning v2相比,它在WSC 1.0上将精度提高了17.93%(全数据设置),在CLUENER上将精度提高了16.142%(Few-Shot设置)。2)我们的FL调谐更稳定,收敛速度比P调谐v2快1.17倍。3)由于只有大约3%的Transformer参数要训练,FL调整与大多数数据集上的微调相当,并且显著优于微调(例如,在WSC 1.1上的准确性提高了12.9%)。源代码可在https://github.com/genggui001/FL-Tuning上获得。
2022-06-30 cs.CL cs.LG
Formal Verification of Piece-Wise Linear Feed-Forward Neural Networks
University of Bremen(不来梅大学);DFKI GmbH(德国人工智能研究中心)
提出了一种验证前馈神经网络的方法,其中所有节点具有分段线性激活函数。这种网络通常用于深度学习,并且已被证明很难验证现代可满足性模理论(SMT)和整数线性规划(ILP)求解器。我们的方法的出发点是将整体网络行为的全局线性近似添加到验证问题中,这有助于对网络行为进行类似SMT的推理。我们提出了一个专门的验证算法,采用这种近似在搜索过程中,它推断出额外的节点相位的非线性节点在网络中的部分节点相位分配,类似于经典的SAT求解中的单位传播。我们还展示了如何从搜索过程中执行的分析步骤的结果中推断出额外的冲突条款和安全节点夹具。碰撞避免和手写数字识别的案例研究所产生的方法进行评估。
2017-08-02 cs.AI cs.LG cs.LO
Kformer: Knowledge Injection in Transformer Feed-Forward Layers
Zhejiang University(浙江大学);Microsoft Research(微软研究院)
近年来,针对预训练语言模型(PTM)的知识注入模型层出不穷,但大多数研究都忽略了PTM自身的能力,即大量隐含知识存储在参数中。最近的一项研究观察到前馈网络(FFN)中的知识神经元,这些神经元负责表达事实知识。在这项工作中,我们提出了一个简单的模型,Kformer,它利用存储在PTM和外部知识,通过知识注入Transformer FFN层的知识。经验上的结果对两个知识密集型任务,常识推理(即,SocialIQA)和医学问答(即,MedQA-USMLE),证明Kformer可以比其他知识注入技术(如级联或基于注意力的注入)产生更好的性能。我们认为,所提出的简单模型和实证研究结果可能有助于社区开发更强大的知识注入方法。代码可在https://github.com/zjunlp/Kformer获得。
2022-08-10 cs.AI cs.CL cs.DB