Very Simple Classifier: a Concept Binary Classifier toInvestigate Features Based on Subsampling and Localility
University of Trento(特伦托大学)
我们提出了非常简单的分类器(VSC)的一种新的方法,旨在将子采样和局部性的概念,在定义的功能被用作一个感知器的输入。基本原理是局部性理论上保证了泛化误差的界。VSC中的每个特征都是基于随机选择的样本对构建的最大间隔分类器。VSC中的局部性是通过将特征的值乘以可以用Chebichev不等式表征的置信度来实现的。然后,该层的输出被馈送到神经元的输出层。然后,输出层的权重由正则化伪逆确定。在二元分类任务中,对9个竞争对手进行了广泛的比较。在22个固定参数的基准数据集上的测试结果表明,VSC与多层感知器(MLP)相比具有竞争力,并且优于其他竞争对手。参数空间的探索表明,VSC可以优于MLP。
2016-09-14 cs.LG stat.ML
Learning Entropy and Spatial Adaptation Dynamics of Multilayer Perceptrons for Structural Point Extraction
Czech Technical University in Prague(捷克技术大学布拉格分校);University of South Bohemia in Ceske Budejovice(南捷克大学捷克布杰约维采分校)
提出空间学习熵(SLEM)方法,通过分析MLP在图像样本学习中的权重自适应,识别对网络学习重要的图像点与区域,为特征提取提供新视角。
2026-06-08 cs.LG
Novel Saliency Analysis for the Forward Forward Algorithm
Sapienza University of Rome(罗马第一大学)
针对Forward Forward算法提出定制显著性分析方法,通过双重前向机制和可视化提升模型可解释性,在MNIST和Fashion MNIST上性能与传统MLP相当。
2024-09-18 cs.AI cs.LG
A Stock Trading System for a Medium Volatile Asset using Multi Layer Perceptron
University of L’Aquila(拉奎拉大学)
股票市场预测是一个利润丰厚的领域,有着可观的利润,但并非没有困难,对某些人来说甚至可能是失败的原因。金融市场本质上是复杂的、非线性的和混乱的,这意味着准确预测其中一部分资产的价格变得非常复杂。在本文中,我们提出了一种股票交易系统,其主要核心是前馈深度神经网络(DNN),以预测Abercrombie & Fitch公司(ANF)在纽约证券交易所(NYSE)股票市场发行的股票在未来30天的公开市场价格。我们所阐述的系统计算最有效的技术指标,并将其应用于DNN计算的预测,以生成交易。结果显示,盈利交易的预期比率为2.112%,夏普、索蒂诺和卡尔马比率分别为2.194、3.340和12.403。作为验证,我们在系统中采用了回溯模拟模块,该模块将交易映射到由ANF资产最近30天的公开市场组成的实际测试数据。总的来说,结果是有希望的,在短短一个月内从100美元的非常适度的预算中带来了3.2%的总利润率。这是可能的,因为系统通过选择最有效和最高效的交易减少了交易数量,节省了佣金和滑点成本。
2022-01-17 cs.LG q-fin.ST
Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
University of Salerno(萨勒诺大学);Campus UniSA(UniSA校区);Kebula srl(Kebula公司);University of Sannio(萨恩尼奥大学)
本文通过数学分析和在MLP、CNN、BNN上的实验,证明放宽前向-后向对称性、用简单或随机梯度替代传统梯度不影响学习,甚至能提升稳定性,使平坦或不可微激活函数(如阶跃函数)可有效训练。
2025-09-08 cs.AI cs.LG cs.NE
Output Reachable Set Estimation and Verification for Multi-Layer Neural Networks
Vanderbilt University(范德堡大学)
研究了多层感知器神经网络的输出可达估计和安全性验证问题。首先,引入最大灵敏度的概念,对于一类激活函数为单调函数的多层感知器,通过求解凸优化问题来计算最大灵敏度。然后,利用基于仿真的方法,将神经网络的输出可达集估计问题转化为一系列优化问题。最后,基于输出可达集估计结果开发了自动安全验证。最后以一个双关节机械臂模型的安全性验证为例,验证了所提方法的有效性。
2018-02-20 cs.LG
Algebraic Approach to Ridge-Regularized Mean Squared Error Minimization in Minimal ReLU Neural Network
Kyushu University(九州大学);Kagoshima University(鹿儿岛大学);Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies, SOKENDAI(研究生院先进研究大学);RIKEN(日本研究机构)
本文针对ReLU感知机的岭正则化均方误差最小化问题,利用其分段多项式特性提出Divide-Enumerate-Merge代数策略,可穷举所有局部极小值(含高维连通集),并通过少量隐藏单元感知机验证了方法可行性。
2025-08-25 cs.AI cs.LG stat.CO
On the number of response regions of deep feed forward networks with piece-wise linear activations
Université de Montréal(蒙特利尔大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文探讨了具有线性突触前耦合和整流线性激活的深度前馈网络的复杂性。这是对越来越多的工作的贡献,这些工作对比了深层和浅层网络架构的代表性。特别是,我们提供了一个框架,比较深和浅的模型,属于家庭的分段线性函数的基础上计算几何。我们看看一个深度整流器多层感知器(MLP)与线性输出单元,并将其与单层版本的模型进行比较。在渐近状态下,当输入的数量保持恒定时,如果浅模型具有$kn$隐藏单元和$n_0$输入,则线性区域的数量为$O(k^{n_0}n^{n_0})$。对于每个层上都有$n$隐藏单元的$k$层模型,它是$Ω(\left\lfloor {n}/{n_0}\right\rfloor^{k-1}n^{n_0})$。当$n$趋于无穷大或当$k$趋于无穷大且$n \geq 2n_0$时,数量$\left\lfloor{n}/{n_0}\right\rfloor^{k-1}$比$k^{n_0}$增长更快。此外,即使当$k$很小时,如果我们将$n$限制为$2n_0$,我们也可以证明深度模型比浅模型具有更多的线性区域。我们认为这是理解这些模型复杂性的第一步,特别是为未来的分析提供合适的数学工具。
2014-02-14 cs.LG cs.NE
Contrastive Forward-Forward: A Training Algorithm of Vision Transformer
Faculty of Electrical and Computer Engineering(电气与计算机工程学院);Babol Noshirvani University of Technology(巴布尔诺希拉维尼技术大学)
本文提出对比前向-前向算法,通过改进视觉变换器的训练方法,显著提升了准确率并加快了收敛速度。
2025-11-30 cs.CV cs.LG
Learning representations by forward-propagating errors
Coreline Soft(Coreline Soft公司)
针对反向传播算法在CPU上训练速度慢的问题,本文提出一种基于前向传播与对偶数概念的轻量CPU学习算法,速度可媲美GPU的CUDA加速效果。
2023-08-17 cs.LG cs.NE
NN2Poly: A polynomial representation for deep feed-forward artificial neural networks
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Pontificia Comillas(卡米亚斯大主教大学)
本文提出NN2Poly方法,利用泰勒展开和组合性质,将任意深度的全连接前馈神经网络转换为显式多项式,以提升可解释性,并通过实验验证其有效性。
2023-09-25 cs.LG stat.ML
Pruning Increases Orderedness in Recurrent Computation
Harvard College(哈佛学院)
本文研究人工神经网络中方向性是否是有益的归纳偏置,将方向性形式化为神经元间的拓扑有序信息流,并在权重共享循环网络上通过剪枝技术成功诱导出更强的拓扑有序性且不损害性能,表明方向性可由梯度下降和稀疏化发现。
2025-07-19 cs.LG cs.NE
On the Parametric Study of Lubricating Oil Production using an Artificial Neural Network (ANN) Approach
NJIT(新泽西理工学院);Think box
在这项研究中,一个人工神经网络(ANN)的方法被用来进行参数研究的过程中提取润滑油从重质石油馏分。为了训练模型,我们使用从工业工厂收集的现场数据。进料和溶剂流速、料流温度和混合速率的操作条件被认为是模型的输入,而主产物的流速被认为是神经网络模型的输出。前馈多层感知器神经网络被成功地应用于捕捉输入和输出参数之间的关系。
2016-11-21 cs.LG
Cyclic Neural Network
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of California, Davis(加利福尼亚大学戴维斯分校);University of Electronic Science and Technology of China(电子科技大学)
本文提出循环神经网络,允许神经元任意图状连接,包括循环,并开发图多层感知器模型,通过前向-前向训练算法在实验中优于反向传播,开辟了新的ANN设计范式。
2024-01-11 cs.LG cs.NE
EFKAN: A KAN-Integrated Neural Operator For Efficient Magnetotelluric Forward Modeling
College of Big Data and Software Engineering, Zhejiang Wanli University(大数据与软件工程学院,浙江万里大学);Key Laboratory of Geoscience Big Data and Deep Resource of Zhejiang Province, School of Earth Sciences, Zhejiang University(浙江省地球科学大数据与深部资源重点实验室,浙江大学地球科学学院)
提出EFKAN,将FNO与KAN结合用于大地电磁正演模拟,以替代MLP投影层,提高精度并保持计算速度优势。
2025-07-09 cs.LG physics.geo-ph
Local learning for stable backpropagation-free neural network training towards physical learning
Department of Materials Science and Engineering, Delft University of Technology(材料科学与工程系,代尔夫特理工大学);Department of Precision and Microsystems Engineering, Delft University of Technology(精密与微系统工程系,代尔夫特理工大学);Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
本文提出FFzero框架,通过局部学习、原型表示和方向导数优化实现无反向传播的神经网络训练,适用于多层感知机和卷积神经网络的分类与回归任务。
2026-04-19 cs.CE cs.LG
Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
Heidelberg University(海德堡大学);Graz University of Technology(格拉茨技术大学)
本文提出一种基于概率前向传递和代码生成的方法,显著提升贝叶斯神经网络在嵌入式系统中的计算效率和部署性能。
2026-10-19 cs.AR cs.DC cs.LG
Investigating Application of Deep Neural Networks in Intrusion Detection System Design
University of North Dakota(北达科他大学)
针对现有IDS在检测准确率与未知攻击检测上的挑战,本研究基于ASNM-TUN数据集,采用多层感知机与前向特征选择(FFS)构建DNN模型,但测试结果表明该模型无法准确区分网络入侵分类。
2025-01-27 cs.CR cs.LG
Sparse Subspace Clustering for Concept Discovery (SSCCD)
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Oldenburg University(奥尔登堡大学)
概念是人类更高层次理解的关键组成部分。近年来,可解释人工智能(XAI)方法取得了巨大的进展,然而,局部归因方法不允许识别跨样本的连贯模型行为,因此错过了这一重要组成部分。在这项工作中,我们研究了基于概念的解释,并提出了一个新的定义概念的低维子空间的隐藏特征层。我们新颖地应用稀疏子空间聚类来发现这些概念子空间。展望未来,我们从概念子空间的本地化输入(概念)地图方面获得见解,展示如何量化概念相关性,最后,评估概念之间的相似性和可转移性。我们经验证明了建议的稀疏子空间聚类概念发现(SSCCD)方法的各种不同的图像分类任务的合理性。这种方法可以更深入地了解实际模型的行为,而这些行为在传统的输入级热图中仍然是隐藏的。
2022-03-11 cs.AI cs.LG stat.ML
Detecting Concept Drift in Neural Networks Using Chi-squared Goodness of Fit Testing
Nokia Bell Labs(诺基亚贝尔实验室)
本文提出将卡方拟合优度检验作为概念漂移检测元算法,在多层感知机、卷积神经网络和Transformer推理过程中无需检查输出即可检测准确率异常下降,从而提升模型可靠性监控。
2025-05-07 cs.AI cs.LG eess.IV
Open-set Classification of Common Waveforms Using A Deep Feed-forward Network and Binary Isolation Forest Models
Virginia Tech(弗吉尼亚理工大学);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们研究了使用深层多层感知器架构将接收到的信号分类为七种常见波形之一,单载波(SC),单载波频分多址(SC-FDMA),正交频分复用(OFDM),线性调频(LFM),调幅(AM),调频(FM),以及用于通信和雷达网络的相位编码脉冲调制。不需要信号的同步,因为我们假设存在未知且未补偿的时间和频率偏移。分类器是开集的,这意味着它假设可能出现未知波形。充当二元分类器的隔离森林(IF)模型用于每个已知信号类别,以执行可能的未知信号的检测。这是使用来自密集层的32长度特征向量作为IF模型的输入来实现的。分类器和IF模型一起工作以监测频谱并识别波形以及检测未知波形。结果表明,该分类器对0 dB以上的信号分类正确率为100%,在-10dB和-5dB时,分类正确率分别为83.2%和94.7%。IF模型的结果显示,在检测存在信号损伤的已知和未知信号时,总体准确率为98%。IF模型能够拒绝所有未知信号,而由于训练期间使用的污染率,与已知信号类似的信号能够通过2%的时间。总体而言,整个系统可以在开集模式下正确分类,在SNR大于0 dB时准确率为98%。
2021-10-01 cs.LG
Forward-Cooperation-Backward (FCB) learning in a Multi-Encoding Uni-Decoding neural network architecture
Indian Statistical Institute(印度统计研究所)
本文受人类学习方式启发,提出前向-合作-反向(FCB)学习策略,并设计多编码单解码神经网络架构,通过侧向突触连接实现合作,在四个数据集上验证了降维与分类性能。
2025-02-27 cs.AI cs.CV cs.LG
Applying SVGD to Bayesian Neural Networks for Cyclical Time-Series Prediction and Inference
Columbia University(哥伦比亚大学);Uber AI Labs(优步人工智能实验室)
提出了一种基于回归的BNN模型来预测具有校准不确定性的时空量,如小时乘客需求。本文的主要贡献是(一)前馈确定性神经网络(DetNN)的架构,预测周期性的时间序列数据与异常预测事件的敏感性;(二)贝叶斯框架应用SVGD训练大型神经网络等任务,能够产生时间序列预测以及周围的预测的不确定性措施。实验表明,与微调的多层感知器(MLP)相比,所提出的BNN在美国8个城市的平均估计误差降低了10%,比没有SVGD训练的相同网络架构好4%。
2019-01-17 cs.LG stat.ML
A Neural Network model with Bidirectional Whitening
Nagoya University(名古屋大学)
我们在这里提出了一个新的模型和算法,执行一个有效的自然梯度下降的多层感知器。自然梯度下降最初是从信息几何的角度提出的,它在黎曼空间中的流形上执行最速下降更新。特别是,我们扩展了“白化神经网络“模型所采取的方法。我们使白化过程不仅在前馈方向,在原始模型中,而且在反向传播阶段。通过将该“双向白化神经网络“模型应用于手写体字符识别数据(MNIST数据),证明了其有效性。
2017-04-24 cs.LG stat.ML
Application of Convolutional Neural Network to Predict Airfoil Lift Coefficient
School of Aerospace Engineering, Georgia Institute of Technology(佐治亚理工学院航空航天工程学院)
在这项工作中,卷积神经网络(CNN)技术的空气动力学元建模任务的适应性进行了探讨。主要目标是开发合适的CNN架构的可变流条件和对象的几何形状,除了确定一个足够的数据准备过程。训练多个CNN结构以学习在多个流动马赫数、雷诺数和不同攻角下具有各种形状的翼型的升力系数。这是为了说明该技术的概念。一个多层感知器(MLP)也用于训练集。将MLP结果与CNN结果进行了比较。新提出的元建模概念已被发现是可比的MLP的学习能力,更重要的是,我们的CNN模型表现出竞争力的预测精度与最小的几何表示的约束。
2018-01-16 cs.LG stat.ML
Introspective Learning : A Two-Stage Approach for Inference in Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们主张在神经网络的决策过程中的两个阶段。第一个是现有的前馈推理框架,其中给定数据中的模式被感知并与先前学习的模式相关联。第二阶段是较慢的反射阶段,我们要求网络通过考虑和评估所有可用的选择来反映其前馈决策。我们把这两个阶段统称为内省学习。我们使用经过训练的神经网络的梯度作为这种反射的测量。一个简单的三层多层感知器被用作第二阶段,基于所有提取的梯度特征进行预测。我们从感知上将两个阶段的事后解释可视化,为内省提供视觉基础。对于识别的应用,我们表明,一个内省的网络是4%更强大和42%不容易校准错误时,概括到嘈杂的数据。我们还说明了内省网络在下游任务中的价值,这些任务需要泛化和校准,包括主动学习,分布外检测和不确定性估计。最后,我们提出的机器内省到人类内省的图像质量评估的应用。
2022-09-17 cs.AI cs.CV cs.LG
Retrodictive Forecasting: A Proof-of-Concept for Exploiting Temporal Asymmetry in Time Series Prediction
ENERGY-Lab, Université de La Réunion(能源实验室,拉雷翁大学)
本文提出反向预测方法,利用时间不对称性在时间序列预测中实现更优的预测效果,通过逆向CVAE和归一化流先验,验证了反向预测在不可逆动态中的有效性。
2026-02-28 cs.LG physics.ao-ph stat.ML
Global quantitative robustness of regression feed-forward neural networks
Institute for Mathematics, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学数学研究所)
神经网络是许多复杂学习任务不可或缺的模型类。尽管神经网络和许多不同的建立技术的稳定和鲁棒性的训练文献的流行和重要性,从鲁棒统计的经典概念很少被认为是迄今为止在神经网络的上下文中。因此,我们适应的回归故障点的概念,回归神经网络和计算故障点不同的前馈网络配置和污染设置。在一个广泛的模拟研究中,我们比较的性能,测量的样本外损失,由代理的故障率和训练步骤,非鲁棒性和鲁棒性的回归前馈神经网络在过多的不同配置。这些结果确实促使我们在神经网络训练中使用鲁棒的损失函数。
2022-11-18 cs.LG stat.ML
Neural Surrogate Forward Modelling For Electrocardiology Without Explicit Intracellular Conductivity Tensor
King’s College London(伦敦国王学院);PhysicsX
本文提出一种深度学习方法,通过学习左心房细胞内电位到远场心电图的映射,无需显式细胞内导电张量,从而提高无创房颤评估的准确性。
2026-05-13 cs.CV cs.LG
$α$-Stable convergence of heavy-tailed infinitely-wide neural networks
KAIST(韩国科学技术院)
我们考虑无限宽的多层感知器(MLP),这是标准的深度前馈神经网络的限制。我们假设,对于每一层,MLP的权重用i.i.d.初始化。来自对称$α$稳定分布的吸引域中的轻尾(有限方差)或重尾分布的样本,其中$α\in(0,2]$可能取决于层。对于层的偏置项,我们假设i.i.d.使用具有该层的相同$α$参数的对称$α$稳定分布进行初始化。然后,我们扩展了Favaro,Fortini和Peluchetti(2020)的最新结果,以表明给定隐藏层所有节点处的预激活值向量在适当的缩放下在极限内收敛到i.i.d.向量。具有对称$α$ -稳定分布的随机变量。
2021-06-18 cs.LG math.PR stat.ML
uGMM-NN: Univariate Gaussian Mixture Model Neural Network
Independent Researcher(独立研究者)
uGMM-NN通过将概率推理嵌入神经元,实现更丰富的多模态和不确定性表示,同时保持可扩展性,提供判别和生成建模的新方向。
2026-01-02 cs.LG stat.ML
Forward Thinking: Building and Training Neural Networks One Layer at a Time
Brigham Young University(杨百翰大学)
我们提出了一个用于训练深度神经网络而无需反向传播的一般框架。这大大减少了训练时间,也允许构建具有多种学习器的深度网络,包括由不易区分的函数定义的网络,如决策树。其主要思想是,层可以一次训练一个,一旦它们被训练,输入数据就会通过层向前映射,以创建一个新的学习问题。重复该过程,通过多个层转换数据,一次一个,渲染一个新的数据集,该数据集预计会表现得更好,并且最终输出层可以在其上实现良好的性能。我们称之为前瞻性思维,并通过在卷积神经网络的MNIST数据集上实现最先进的精度来证明概念。我们还提供了前瞻性思维的一般数学公式,允许考虑其他类型的深度学习问题。
2017-06-08 cs.LG stat.ML
A Lifted Bregman Formulation for the Inversion of Deep Neural Networks
University of Cambridge(剑桥大学);Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个新的框架,用于深度神经网络的正则化反演。该框架是基于作者最近的工作训练前馈神经网络没有分化的激活函数。该框架通过引入辅助变量将参数空间提升到一个更高维的空间,并通过定制的Bregman距离惩罚这些变量。我们提出了一个家庭的变分regulationations这些Bregman距离的基础上,目前的理论结果和支持其实际应用的数值例子。特别是,我们提出了第一个收敛结果(据我们所知)的正则化反演的单层感知器,只假设逆问题的解决方案是在正则化算子的范围内,并表明正则化逆证明收敛到真正的逆,如果测量误差收敛到零。
2023-03-01 cs.LG cs.NA math.NA