Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results
National Physical Laboratory(国家物理实验室)
本文通过训练的单隐藏层MLP与ReLU激活函数,推导出输入为多元高斯分布时输出均值和方差的精确解析表达式,无需级数展开。
2026-01-23 cs.AI cs.LG cs.NE
Time series modeling with pruned multi-layer perceptron and 2-stage damped least-squares method
多层感知器(MLP)定义了一系列常用于TS建模和预测的人工神经网络。由于它的"黑箱"特性,许多研究人员拒绝使用它。此外,这种人工智能工具的优化(通常基于测试"所有"配置的穷举方法)和学习阶段(通常基于Levenberg-Marquardt算法; LMA)是这种方法的弱点(穷举和局部最小值)。这两项任务必须根据所研究的每个新问题的知识重复进行,这使得这个过程漫长,费力,而且系统性不强。本文提出了一种剪枝过程。该方法允许在训练阶段期间执行激活(或不激活)节点间连接的输入选择方法,以便验证预测是否得到改进。我们建议迭代地使用流行的阻尼最小二乘法来激活输入和神经元。第一遍应用于10%的学习样本,以确定与0显著不同的权重并删除其他权重。然后,一个经典的批处理过程的基础上LMA与新的MLP。使用25个实测气象TS和交叉比较经典LMA和2阶段LMA的预测结果进行验证。
2013-08-08 cs.NE
Using Fitness Dependent Optimizer for Training Multi-layer Perceptron
本研究提出了一种新的训练算法,根据最近提出的健身依赖优化(FDO)。该算法的稳定性已被验证和性能证明在探索和开发阶段使用一些标准的测量。这影响了我们的目标,以衡量该算法在训练多层感知器神经网络(MLP)的性能。本研究结合FDO与MLP(代号FDO-MLP),以最佳化权重与偏误来预测学生的学习成绩。本研究除了能提高学生的学习成绩外,还能改善学生的教育背景。通过与BP算法和级联MLP的FDO(FDO-CMLP)、结合MLP的GWO(GWO-MLP)、结合MLP的改进GWO(MGWO-MLP)、结合级联MLP的GWO(GWO-CMLP)和结合级联MLP的改进GWO(MGWO-CMLP)等进化模型的比较,验证了该方法的实验结果。定性和定量的结果证明,所提出的方法使用FDO作为训练器可以优于其他方法使用不同的训练器的数据集方面的收敛速度和避免局部最优。所提出的FDO-MLP方法以0.97的速率进行分类。
2022-01-03 cs.NE
Consensus Based Multi-Layer Perceptrons for Edge Computing
The State University of New York at Buffalo(纽约州立大学布法罗分校);o9 Solutions, Inc.(o9解决方案公司)
近年来,在分布式设备上存储大量数据已经变得司空见惯。例如,涉及传感器的应用程序以不同的形式捕获数据,包括图像、视频、音频、GPS等。需要新的算法来从这种丰富的分布式数据中学习。在本文中,我们提出了基于共识的多层感知器资源受限的设备。假设分布式系统中的节点(设备)排列在图中,并且包含垂直分区的数据,目标是学习一个全局函数,使损失最小化。每个节点学习前馈多层感知器,并获得本地存储的数据的损失。然后,它与随机选择的邻居闲聊,并交换有关损失的信息。更新的损失用于运行反向传播算法并适当地调整权重。该方法使节点能够学习全局函数,而无需在网络中交换数据。实验结果表明,该共识算法收敛于集中式模型,其性能可与集中式多层感知器和基于树的算法(包括随机森林和梯度提升决策树)相媲美。
2021-02-09 cs.DC cs.LG cs.NE
Estimation of classrooms occupancy using a multi-layer perceptron
University of Coimbra(科英布拉大学);INESC Coimbra(INESC科英布拉研究所)
本文提出了一个多层感知器模型,用于从室内环境数据(相对湿度、空气温度和二氧化碳浓度)中估计教室的占用人数。建模数据集收集从两个教室在Pombal,葡萄牙的中学。占用人数和占用期从上课出勤报告中获得。然而,课后占用率是未知的,开发的模型是用来重建教室占用填补未报告的时期。对不同的模型结构和环境变量组合进行了检验。最佳精度的模型输入向量为相对湿度和二氧化碳浓度的五个平均时间间隔的10个变量。该模型的均方误差为1.99,决定系数为0.96,显著性p值< 0.001,平均绝对误差为1名乘员。这些结果表明,有前途的估计能力,在不确定的室内环境条件。
2017-02-07 cs.LG cs.NE
Universal Equivariant Multilayer Perceptrons
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所)
群不变和等变多层感知器(MLP),也称为等变网络,在学习各种数据结构(如序列、图像、集合和图形)方面取得了显著的成功。利用群论的工具,本文证明了一个广泛的类的等变MLP与一个单一的隐藏层的普遍性。特别是,它表明,有一个隐藏的层上的组定期行为是足够的普遍等变性(不变性)。一个推论是阿贝尔群的等变MLP的无条件普适性,例如具有单个隐藏层的CNN。第二个推论是具有高阶隐藏层的等变MLP的普遍性,其中我们给出了组不可知的界限和用于计算组特定的界限的方法,该方法保证了普遍等变(不变性)的隐藏层的顺序。
2020-06-24 cs.LG cs.NE math.GR
Synthesizing multi-layer perceptron network with ant lion, biogeography-based dragonfly algorithm evolutionary strategy invasive weed and league champion optimization hybrid algorithms in predicting heating load in residential buildings
Oxford Brookes University(牛津布鲁克斯大学)
热负荷(HL)精确近似的意义是本研究的主要动机,以区分最有效的预测模型之间的几个神经元启发式模型。提出的模型是通过综合多层感知器网络(MLP)与蚁群优化(ALO),基于地理的优化(BBO),遗传算法(DA),进化策略(ES),入侵杂草优化(IWO)和联赛冠军优化(LCA)的混合算法。每个合奏优化的操作人口。因此,ALO-MLP、BBO-MLP、DA-MLP、ES-MLP、IWO-MLP和LCA-MLP分别在350、400、200、500、50和300的群体大小下表现出最佳性能。通过实施排名系统进行比较。基于获得的总评分(OS),BBO(OS = 36)是最有效的优化技术,其次是ALO(OS = 27)和ES(OS = 20)。由于这些算法的有效性能,相应的MLP可以是有前途的替代传统方法用于HL分析。
2021-02-13 cs.LG cs.NE
Multiclass Linear Perceptrons with Multiplicative Margins
Luleå University of Technology(吕勒奥理工大学);Institute of Information Technologies and Systems(信息技术与系统研究所);La Trobe University(拉筹伯大学);Örebro University(厄勒布鲁大学);Research Institutes of Sweden(瑞典研究院)
本文提出带乘性间隔机制的多类线性感知机,推导其损失函数与错误界,实验显示其性能优于标准感知机及经典基线,可用于多种机器学习相关场景。
2026-09-01 cs.LG cs.NE
An Effective Networks Intrusion Detection Approach Based on Hybrid Harris Hawks and Multi-Layer Perceptron
Al-Balqa Applied University(巴尔卡应用大学);Middle East University(中东大学);University of Granada(格拉纳达大学);The University of Jordan(约旦大学)
本文提出HHO-MLP方法,利用哈里斯鹰优化算法优化多层感知器的权重与偏置,在KDD数据集上取得93.17%准确率,优于多种进化算法和集成学习方法。
2024-02-21 cs.AI cs.NE
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University(康奈尔大学)
用于训练前馈神经网络的反向传递的实际算法是反向传播(BP)。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而,近年来,人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器(MLP)和卷积神经网络(CNN)中达到最先进的精度。在本文中,我们分析了MLP中预测和神经元的稳定性和相似性,并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Explicit Computation of Input Weights in Extreme Learning Machines
本文给出了一个封闭形式的多层感知器输入权值初始化表达式,它可以作为极限学习机综合的第一步。该表达式基于在多层感知器和线性支持向量机中计算的分离超平面的标准函数;即,作为输入数据样本的线性组合。在没有对输入权重进行监督训练的情况下,使用训练数据样本的随机线性组合来将输入数据投影到更高维的隐藏层。隐藏层权重以标准ELM方式通过计算隐藏层输出的伪逆并乘以期望的输出值来求解。这种方法的所有权重都可以在一次计算中计算出来,并且在一些标准问题上,所得到的网络比相同大小的常规ELM网络更准确,更一致。
2014-06-11 cs.NE
Automatic Construction of Multi-layer Perceptron Network from Streaming Examples
Nanyang Technological University(南洋理工大学);La Trobe University(乐卓博大学);Nantong University(南通大学)
深度神经网络(DNN)的自主构建是数据流所期望的,因为它潜在地提供了两个优点:适当的模型容量和对漂移和移位的快速反应。虽然DNN的自组织机制仍然是一个悬而未决的问题,但与使用不同深度结构的DNN相比,为标准多层DNN开发此任务更具挑战性,因为添加新层会导致先前训练的知识的信息丢失。提出了一种容量动态演化的神经网络(NADINE)。NADINE具有完全开放的结构,其网络结构,深度和宽度可以以在线方式从零开始自动演变,而无需使用特定问题的阈值。NADINE是在标准的MLP结构下构造的,并使用软遗忘和自适应记忆方法的建议解决了隐藏层添加阶段的灾难性遗忘问题。NADINE的优势,即弹性结构和在线学习的特点,数值验证使用9个数据流分类和回归问题,它表明在所有问题的突出算法的性能改善。此外,它能够同样好地处理数据流回归和分类问题。
2020-01-09 cs.LG cs.NE stat.ML
The Concept of Forward-Forward Learning Applied to a Multi Output Perceptron
Saab Dynamics(萨博动力公司)
本文将 Forward-Forward 学习算法应用于单个多输出感知机进行分类,通过调整参数优化样本的“goodness”,实验表明该方法能有效处理非线性决策边界且性能媲美复杂网络,仅需单次矩阵乘法。
2023-04-06 cs.LG cs.NE
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons
本文提出输入连接多层感知机,证明其在单变量和向量输入情况下均能逼近任意连续函数,关键在于激活函数的非线性性。
2026-03-24 cs.LG cs.NE math.FA
Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference
Southern University of Science and Technology(南方科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出一种兼容无乘法推理的高效多阶段脉冲MLP架构,融合全局感受野与局部特征提取,在ImageNet-1K上以更小模型容量超越了spiking ResNet-34与VGG-16。
2024-04-26 cs.LG cs.NE
Hierarchical Automatic Power Plane Generation with Genetic Optimization and Multilayer Perceptron
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子)
提出了一种多层电源层自动生成方法,以加速印制电路板(PCB)的设计。在PCB设计中,虽然已经开发了自动求解器来预测IR压降、电源完整性和信号完整性等重要指标,但电源层本身的生成仍然在很大程度上依赖于费力的手动方法。我们的自动电源平面生成方法是基于遗传优化结合多层感知器,并能够自动生成电源平面在不同的困难程度的问题。我们的方法GOMLP由一个外环遗传优化器(GO)和一个内环多层感知器(MLP),自动生成电源平面。我们的方法的关键要素包括轮廓检测,功能扩展,距离测量,使岛屿最小化复杂的电源平面生成。我们将我们的方法与基于A* 的基线解决方案进行比较。A* 方法由连续的岛生成和合并过程组成,该过程可能产生不太理想的解决方案。我们的实验结果表明,在单层电源平面问题,我们的方法优于A* 在71%的问题与不同程度的电路板布局的难度。我们进一步描述H-GOMLP,它扩展GOMLP多层电源平面问题,使用层次聚类和网络相似性的基础上的Hausdorff距离。
2022-11-02 cs.LG cs.NE
Meteorological time series forecasting with pruned multi-layer perceptron and 2-stage Levenberg-Marquardt method
University of Corsica, UMR CNRS 6134 SPE(科西嘉大学)
本文提出一种剪枝多层感知机与两阶段Levenberg-Marquardt方法,用于改进气象时间序列预测的优化与学习过程,通过输入选择和权重调整提升预测精度。
2014-07-08 cs.NE cs.SY eess.SY
A Bio-Inspired Chaos Sensor Model Based on the Perceptron Neural Network: Machine Learning Concept and Application for Computational Neuro-Science
Institute of Physics and Technology, Petrozavodsk State University(彼得罗扎沃茨克国立大学物理与技术学院)
本文提出基于感知器神经网络的仿生混沌传感器,用以估计神经脉冲序列的模糊熵,并通过Hindmarsh-Rose数据验证其精度与生物信号应用价值。
2023-08-15 cs.AI cs.LG cs.NE
Exploring Hidden Semantics in Neural Networks with Symbolic Regression
China University of Petroleum-Beijing(中国石油大学(北京));University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校)
最近的许多研究集中在发展机制来解释神经网络(NN)的黑箱行为。然而,很少有工作已经做了提取潜在的隐藏语义(数学表示)的神经网络。一个简洁和明确的数学表示的神经网络模型可以提高其行为的理解和解释。为了满足这一需求,我们提出了一种新的符号回归方法神经工程(称为SRNet)发现的数学表达式的NN。SRNet创建了一个笛卡尔遗传编程(NNCGP)来表示NN中单个层的隐藏语义。然后,它利用多染色体NNCGP来表示NN的所有层的隐藏语义。该方法使用(1+ $λ$)进化策略(称为MNNCGP-ES)来提取神经网络中所有层的最终数学表达式。在12个符号回归基准和5个分类基准上的实验表明,SRNet不仅能够揭示神经网络各层之间的复杂关系,而且能够提取整个神经网络的数学表示。与LIME和MAPLE相比,SRNet具有更高的插值精度,并且倾向于逼近实际数据集上的真实模型。
2022-04-22 cs.LG cs.NE
Deepest Neural Networks
Dahlem Center for Machine Learning and Robotics(达勒姆机器学习与机器人中心);Freie Universität Berlin(柏林自由大学)
本文表明,一个长链的感知器(即多层感知器,或MLP,具有许多隐藏层的宽度1)可以是一个通用的分类器。分类过程不一定是计算效率高的,但该技术对窄而深的MLP可能的计算类型有了一些了解。
2017-07-09 cs.LG cs.NE
Perceptrons from Memristors
忆阻器,具有记忆的电阻器,其输出取决于其输入的历史,已经成功地用于神经形态架构,特别是作为突触和非易失性存储器。然而,据我们所知,到目前为止还没有提出一种网络模型,其中突触和神经元都使用忆阻器实现。在目前的工作中,我们介绍模型的单一和多层感知器完全基于忆阻器。我们将delta规则应用于基于忆阻器的单层感知器,将反向传播算法应用于基于忆阻器的多层感知器。我们的研究结果表明,两者都表现出预期的感知器,包括满足明斯基-Papert定理。作为通用近似定理的结果,他们还表明忆阻器是通用函数近似器。通过将忆阻器用于神经元和突触,我们的模型为基于忆阻器的新型神经网络架构和算法铺平了道路。基于忆阻器的神经网络可以在能量守恒方面显示出优势,并为其他学习系统在经典和量子学习领域中适应基于忆阻器的范例开辟了可能性。
2018-12-26 cs.ET cs.NE quant-ph
Evolutionary feature selection for spiking neural network pattern classifiers
Comenius University(夸美纽斯大学);University Nova de Lisboa(新里斯本大学)
本文提出将生物真实性的JASTAP神经网络模型应用于分类任务,通过进化方法改进特征选择和神经网络训练,实验证明更小的网络能处理噪声数据且分类准确率不变。
2026-10-06 cs.LG cs.NE
Information flow in multilayer perceptrons: an in-depth analysis
University of Cagliari(卡利亚里大学)
本文从信息论角度分析多层感知器的信息流,提出信息矩阵框架,发现其优化策略与信息瓶颈方法相似,并揭示网络作为目标驱动的适配器。
2025-10-11 cs.AI cs.IT cs.NE