An approach to reachability analysis for feed-forward ReLU neural networks
Imperial College London(帝国理工学院)
我们研究了实现为前馈神经网络的系统的可达性问题,其激活函数通过ReLU函数实现。我们画一个对应关系,建立一些任意的输出是否可以输出的神经系统和线性问题的特征感兴趣的神经系统。我们提出了一种方法来解决实际感兴趣的情况下,通过一个国家的最先进的线性规划求解器。我们评估的技术,讨论通过分析可达性在文献中的一些基准的属性所获得的实验结果。
2017-06-22 cs.AI cs.LG cs.LO
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University(比勒费尔德大学认知交互技术研究中心);Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系)
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案,实现条件计算无需额外路由网络。通过动态稀疏性技术,在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Sequence-to-sequence Singing Synthesis Using the Feed-forward Transformer
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术小组)
我们提出了一种序列到序列的歌唱合成器,它避免了需要预先对齐的语音和声学特征的训练数据。而不是一个基于内容的注意力机制结合自回归解码器的更常见的方法,我们使用不同的机制,适合前馈合成。鉴于语音的时间在唱歌是高度限制的乐谱,我们得到一个近似的初始对齐的帮助下,一个简单的持续时间模型。然后,使用基于Transformer模型的前馈变体的解码器,一系列自关注和卷积层细化初始对准的结果以达到目标声学特征。这种方法的优点包括更快的推理和避免影响教师强迫训练的自回归模型的暴露偏差问题。我们评估了该模型的有效性相比,自回归基线,自我注意的重要性,以及持续时间模型的准确性的重要性。
2020-02-20 cs.LG cs.SD eess.AS
Light3R-SfM: Towards Feed-forward Structure-from-Motion
NVIDIA(英伟达);Vector Institute(向量研究所);University of Toronto(多伦多大学)
提出前馈端到端框架Light3R-SfM,利用潜在全局对齐模块和稀疏场景图替代传统全局优化,在保证3D重建精度的同时大幅降低运行时间与计算开销。
2025-01-24 cs.CV cs.LG
RenderFormer++: Scalable and Physics-Informed Feed-Forward Neural Rendering
University of Science and Technology of China(中国科学技术大学)
提出RenderFormer++框架,通过物理信息传输引导(PITG)和层次化对象中心分词(HOCT)解决现有Transformer神经渲染的物理一致性和可扩展性问题,实现大规模场景的高效全局光照渲染。
2026-08-10 cs.CV cs.GR cs.LG
Global quantitative robustness of regression feed-forward neural networks
Institute for Mathematics, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学数学研究所)
神经网络是许多复杂学习任务不可或缺的模型类。尽管神经网络和许多不同的建立技术的稳定和鲁棒性的训练文献的流行和重要性,从鲁棒统计的经典概念很少被认为是迄今为止在神经网络的上下文中。因此,我们适应的回归故障点的概念,回归神经网络和计算故障点不同的前馈网络配置和污染设置。在一个广泛的模拟研究中,我们比较的性能,测量的样本外损失,由代理的故障率和训练步骤,非鲁棒性和鲁棒性的回归前馈神经网络在过多的不同配置。这些结果确实促使我们在神经网络训练中使用鲁棒的损失函数。
2022-11-18 cs.LG stat.ML
Using activation histograms to bound the number of affine regions in ReLU feed-forward neural networks
ReLU前馈神经网络的最大仿射区域数量的几个当前界限是框架[1]的特殊情况,该框架依赖于逐层激活直方图界限。我们分析和部分解决代数拓扑的解决方案,将充分利用这个框架中的问题。我们的部分解决方案已经诱导稍微紧的界限,并建议洞察参数初始化方法如何影响区域的数量。此外,我们扩展了框架,以允许组成的子网络,而不是逐层激活直方图的界限,以减少所需的组合物的数量,这会对所得到的界限的紧密性产生负面影响。
2021-04-08 cs.LG stat.ML
Expressive power of outer product manifolds on feed-forward neural networks
分层神经网络比具有相同表达能力的相应“浅层”对应物效率高出指数级,但涉及大量参数,需要繁琐的训练量。我们的主要思想是通过重新参数化不变黎曼度量来从数学上理解和描述前馈神经网络的层次结构。通过计算或近似正切子空间,我们可以通过稀疏表示更好地利用原始网络,从而在非常早期的训练阶段之后切换到浅层网络。我们的实验表明,所提出的度量近似改进,有时甚至超过了原始网络的可实现的性能显着,即使在几个时期的训练原始前馈网络。
2018-07-17 cs.LG stat.ML
Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London(伦敦大学城市学院)
基本的二进制关系,如相等和不等是关系数据结构的基础。神经网络应该学习这种关系,并推广到新的看不见的数据。然而,我们在这项研究中表明,这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据,标准的网络不可靠地检测equality.We引入差分整流器(DR)的单位,我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差,因此它们确实学会了泛化,即使是从少量的例子中,我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质,我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此,适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
Linear discriminant initialization for feed-forward neural networks
University of Oregon(俄勒冈大学)
根据前馈神经网络的基本几何结构,我们使用最能区分各个类的线性判别式来初始化神经网络第一层的权重。以这种方式初始化的网络需要更少的训练步骤来达到相同的训练水平,并且在训练数据上渐近地具有更高的精度。
2020-08-18 cs.LG math.MG stat.ML
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是,整个架构是时不变的(在空间域中的平移不变)或静止的。我们认为,时间不变性可以降低执行多步预测的能力,其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet,它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出,我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
A Connection between Feed-Forward Neural Networks and Probabilistic Graphical Models
Dresden University of Technology(德累斯顿工业大学)
计算机视觉中最流行的两种建模范例是前馈神经网络(FFN)和概率图形模型(GM)。在最近的工作中,已经研究了两者之间的各种联系,例如将GM中基于平均场的推理表示为FFN。本文建立了一个新的FFNs和GM之间的联系。我们的关键观察是,任何FFN实现了相应的贝叶斯网络(BN)的某种近似。我们描述了拥有这种联系的各种好处。特别是,它的结果在一个新的学习算法的BN。我们验证了CIFAR-10数据集上的分类问题和魏茨曼马数据集上的二值图像分割所提出的方法。我们表明,统计学习的BN提高性能,同时具有更好的泛化能力,比他们的FFN同行。
2017-10-30 cs.CV cs.LG stat.ML
Feed-Forward Source-Free Domain Adaptation via Class Prototypes
The University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心)
针对无源域自适应依赖反向传播、耗时久的问题,提出基于预训练模型计算域偏移下类别原型的前馈方法,准确率提升显著且耗时远低于现有方法。
2023-07-20 cs.CV cs.LG stat.ML
Sound source ranging using a feed-forward neural network with fitting-based early stopping
Ocean University of China(中国海洋大学);University of California San Diego(加州大学圣迭戈分校)
在训练前馈神经网络(FNN)用于海洋波导中的声源测距时,很难在无标记测试数据上评估FNN的测距精度。在源距离未知的测试数据上,提出了一种基于拟合的提前停止(FEAST)方法来估计模糊神经网络的测距误差。基于FEAST算法,当FNN在测试数据上的测距误差达到最小值时,停止训练,有助于提高FNN在测试数据上的测距精度。FEAST的模拟和实验数据证明。
2019-04-01 cs.LG cs.SD eess.SP