CMOS-Free Multilayer Perceptron Enabled by Four-Terminal MTJ Device
类脑计算有望对处理非结构化信息的应用程序进行革命性的改进。为了充分实现这一潜力,神经形态系统应该利用新兴纳米器件的仿生行为。特别是,自旋电子器件的非易失性和模拟能力提供了特殊的机会。虽然先前已经提出了模拟神经元和突触的自旋电子器件,但需要互补金属氧化物半导体(CMOS)器件来实现多层自旋电子感知器交叉开关。因此,这项工作提出了一种新的自旋电子神经元,使纯粹的自旋电子多层感知器,消除了对CMOS电路的需要,简化了制造。
2020-02-03 cond-mat.mes-hall cs.ET cs.NE
Avoiding overfitting of multilayer perceptrons by training derivatives
抗过拟合观察到的神经网络训练与扩展的反向传播算法。除了目标值之外,其成本函数还使用那些直到$4^{\mathrm{th}}$阶的导数。对于神经网络的常见应用,高阶导数不容易获得,因此考虑更简单的情况:训练网络以在2D和5D域内近似解析函数,并在2D圆内求解泊松方程。对于函数近似,成本是输出和目标之间的平方差以及它们相对于输入的导数之和。微分方程通常通过将多层感知器放在未知函数的位置并训练其权重来求解,因此方程在一定的误差范围内成立。通常使用的成本是等式的残差平方。附加项是所述残差相对于自变量的平方导数。为了研究过拟合问题,对不同间距的规则网格上的点进行代价最小化,并将其根均值与其在更密集测试集上的值进行比较。使用Rprop训练具有六个隐藏层和$2\cdot10^{4}$、$1\cdot10^{6}$和$5\cdot10^{6}$权重的全连接感知器,直到在最后1000个历元中成本变化小于10%,或者当达到$10000^{\mathrm{th}}$历元时。用$5\cdot10^{6}$权重训练网络以表示简单的2D函数,使用10个点,每个点具有8个额外的导数,产生$1.5$的成本测试与训练比率,而对于类似条件下的经典反向传播,该比率为$2\cdot10^{4}$。
2018-02-28 cs.NE
A preferential interpretation of MultiLayer Perceptrons in a conditional logic with typicality
Università della Calabria(卡拉布里亚大学);Università di Torino(都灵大学);Università del Piemonte Orientale(东皮埃蒙特大学)
本文研究知识表示中可废止推理的多优先语义与多层神经网络的关系,利用带典型性的加权知识库为多层感知机提供优先解释,并通过模型检测和蕴含方法验证其条件性质。
2023-09-19 cs.AI cs.LO cs.NE
Fuzzy and Multilayer Perceptron for Evaluation of HV Bushings
Eskom(埃斯科姆公司)
提出了应用模糊集理论对高压套管的状态进行诊断的方法。诊断使用溶解气体分析(DGA)的数据,从基于IEC 60599和IEEE C57-104标准的油浸纸(OIP)套管的套管。FST和神经网络的精度和计算效率进行了比较。FST和NN仿真都能够诊断套管状况,误差为10%。利用模糊理论,维修部门可以对衬套进行分类,并了解部件的退化程度。
2007-05-16 cs.AI cs.NE
Towards a constructive multilayer perceptron for regression task using non-parametric clustering. A case study of Photo-Z redshift reconstruction
LIMOS(LIMOS实验室)
人工神经元网络(ANN)结构的选择仍然是用户每次都面临的一个具有挑战性的任务。它极大地影响了所建网络的准确性。事实上,不存在同时适用于各种实现的最佳方法。本文提出了一种基于聚类的人工神经网络构造方法,解决了多层人工神经网络结构的随机性和自组织性问题。我们的方法可以应用于回归问题。不同数据集的实验结果表明了该方法的有效性。
2014-12-17 cs.AI cs.NE
Progressive Operational Perceptron with Memory
广义操作感知器(Generalized Operational Perceptron,GOP)是对传统多层感知器(Multilayer Perceptron,MLP)中线性神经元模型的推广,该模型能够模拟具有非线性神经化学行为的生物神经元的突触连接。渐进式操作感知器(POP)是由GOP逐层渐进形成的多层网络。在这项工作中,我们提出了重大的修改,可以加速以及增强渐进式学习过程的POP,在每个渐进的步骤中,将一个信息保存,线性投影路径从输入到输出层。所提出的扩展可以被解释为一种机制,该机制将从先前学习的层中提取的直接信息提供给网络,因此称为“记忆”。这允许网络学习更深入的架构,并具有更好的数据表示。大量的实验表明,所提出的修改可以超过原来的POP和其他相关算法的学习能力。
2019-08-29 cs.NE
Hierarchical Automatic Power Plane Generation with Genetic Optimization and Multilayer Perceptron
Carnegie Mellon University(卡内基梅隆大学);Cadence Design Systems(楷登电子)
提出了一种多层电源层自动生成方法,以加速印制电路板(PCB)的设计。在PCB设计中,虽然已经开发了自动求解器来预测IR压降、电源完整性和信号完整性等重要指标,但电源层本身的生成仍然在很大程度上依赖于费力的手动方法。我们的自动电源平面生成方法是基于遗传优化结合多层感知器,并能够自动生成电源平面在不同的困难程度的问题。我们的方法GOMLP由一个外环遗传优化器(GO)和一个内环多层感知器(MLP),自动生成电源平面。我们的方法的关键要素包括轮廓检测,功能扩展,距离测量,使岛屿最小化复杂的电源平面生成。我们将我们的方法与基于A* 的基线解决方案进行比较。A* 方法由连续的岛生成和合并过程组成,该过程可能产生不太理想的解决方案。我们的实验结果表明,在单层电源平面问题,我们的方法优于A* 在71%的问题与不同程度的电路板布局的难度。我们进一步描述H-GOMLP,它扩展GOMLP多层电源平面问题,使用层次聚类和网络相似性的基础上的Hausdorff距离。
2022-11-02 cs.LG cs.NE
Universal Equivariant Multilayer Perceptrons
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所)
群不变和等变多层感知器(MLP),也称为等变网络,在学习各种数据结构(如序列、图像、集合和图形)方面取得了显著的成功。利用群论的工具,本文证明了一个广泛的类的等变MLP与一个单一的隐藏层的普遍性。特别是,它表明,有一个隐藏的层上的组定期行为是足够的普遍等变性(不变性)。一个推论是阿贝尔群的等变MLP的无条件普适性,例如具有单个隐藏层的CNN。第二个推论是具有高阶隐藏层的等变MLP的普遍性,其中我们给出了组不可知的界限和用于计算组特定的界限的方法,该方法保证了普遍等变(不变性)的隐藏层的顺序。
2020-06-24 cs.LG cs.NE math.GR
Information flow in multilayer perceptrons: an in-depth analysis
University of Cagliari(卡利亚里大学)
本文从信息论角度分析多层感知器的信息流,提出信息矩阵框架,发现其优化策略与信息瓶颈方法相似,并揭示网络作为目标驱动的适配器。
2025-10-11 cs.AI cs.IT cs.NE
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons
本文提出输入连接多层感知机,证明其在单变量和向量输入情况下均能逼近任意连续函数,关键在于激活函数的非线性性。
2026-03-24 cs.LG cs.NE math.FA
AutoML for Multilayer Perceptron and FPGA Co-design
最先进的神经网络架构(NNA)的设计和硬件实现效率的挑战。在过去的几年里,这导致了自动神经结构搜索(NAS)工具的研究和开发的爆炸式增长。AutomML工具现在用于实现最先进的NNA设计,并尝试优化硬件使用和设计。最近在NNA自动设计方面的大部分研究都集中在卷积网络和图像识别上,忽略了数据中心工作量的重要部分是通用深度神经网络这一事实。在这项工作中,我们开发和测试了一个通用的多层感知器(MLP)流,可以将任意数据集作为输入,并自动生成优化的NNA和硬件设计。我们在六个基准上测试流。我们的研究结果表明,我们超过了目前公布的MLP精度结果的性能,并与非MLP为基础的结果具有竞争力。我们将通用和常见的GPU架构与我们的可扩展FPGA设计进行了比较,并表明我们可以为大多数数据集实现更高的效率和更高的吞吐量(每秒输出)。对精确网络和高性能硬件的设计空间的进一步深入了解通过将准确性与吞吐量、网络大小与准确性以及扩展到高性能设备相关联来展示协同设计的力量。
2020-09-14 cs.AR cs.NE
Forecasting Hyponatremia in hospitalized patients Using Multilayer Perceptron and Multivariate Linear Regression Techniques
GITAM University(吉塔姆大学)
因低钠血症住院的患者比例越来越高。低钠血症是人体血清中钠电解质的缺乏。如果不积极治疗和管理,这种缺陷可能会导致不良反应,并与住院时间延长或死亡率相关。这项工作预测未来的钠水平的患者的基础上,他们的健康问题的历史,使用多层感知器和多元线性回归算法。这项工作分析了患者的年龄,其他疾病的信息,如糖尿病,肺炎,肝病,恶性肿瘤,肺,败血症,SIADH和钠水平的患者在入院期间。最后将MLP算法的结果与基于MLR算法的结果进行了比较。MLP算法的预测结果比MLR算法的预测结果高23-72。因此,在预测患者未来钠浓度范围时,提出的MLR算法的均方误差率比MLR结果降低了57.1。此外,提出的MLR算法产生27-50的较高的预测精度率。
2020-08-04 cs.LG cs.NE q-bio.QM
Reducing ADC Front-end Costs During Training of On-sensor Printed Multilayer Perceptrons
针对印刷电子MLP分类系统中ADC占面积和能耗主导的问题,提出为每个MLP输入定制ADC并纳入训练的方法,在精度下降不足5%的情况下实现ADC面积降低11.2倍。
2024-12-09 cs.AR cs.NE
Evaluation of Alzheimer's Disease by Analysis of MR Images using Multilayer Perceptrons and Kohonen SOM Classifiers as an Alternative to the ADC Maps
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universidade de Pernambuco(伯南布哥大学);North Carolina State University(北卡罗来纳州立大学)
阿尔茨海默病是痴呆症最常见的原因,但如果没有侵入性技术,很难准确诊断,特别是在疾病发作时。这项工作的方法图像分析和分类的合成多光谱图像组成的扩散加权磁共振(MR)脑图像的脑脊液面积的评价和测量阿尔茨海默病的进展。所有图像均采用临床1.5T MR成像系统采集。分类方法是基于多层感知器和Kohonen自组织映射分类器。我们假设感兴趣的类可以通过超二次曲面分离。因此,使用2次多项式网络对原始图像进行分类,生成地面真实图像。分类结果用于改进通常的表观扩散系数图分析。
2017-12-03 cs.AI cs.CV cs.NE
Group-Connected Multilayer Perceptron Networks
University of California, Los Angeles (UCLA)(加州大学洛杉矶分校)
尽管深度学习在图像、语音和图形等领域取得了成功,但在特征之间没有已知结构的领域,深度表示学习的进展甚微。例如,不同人口统计学和临床因素的表格数据集,其中特征相互作用未作为先验给出。在本文中,我们提出了组连接多层感知器(GMLP)网络,以实现这些领域的深度表示学习。GMLP基于学习表达特征组合(组)并通过定义局部组操作来利用它们来降低网络复杂性的思想。在训练阶段,GMLP使用温度退火softmax学习稀疏特征分组矩阵,并添加熵损失项以鼓励稀疏性。此外,提出了一种类似于二叉树的架构,其中分组操作之后是池化操作以组合信息;随着网络深度的增长,减少了组的数量。为了评估所提出的方法,我们在不同的真实世界数据集上进行了实验,涵盖了各种应用领域。此外,我们还提供MNIST和合成数据的可视化。根据结果,GMLP能够成功地学习和利用表达性特征组合,并在不同的数据集上实现最先进的分类性能。
2020-11-25 cs.LG cs.NE stat.ML
Beyond Multilayer Perceptrons: Investigating Complex Topologies in Neural Networks
University of Rome Tor Vergata(罗马第二大学);Harvard Medical School(哈佛医学院)
本研究提出基于多种复杂拓扑结构构建人工神经网络的方法,发现复杂拓扑在高难度任务中优于传统多层感知器,但会增加计算时间并降低对图损伤的鲁棒性,且性能差异无法由单一拓扑属性解释。
2023-10-23 cond-mat.dis-nn cs.LG cs.NE
Perceptrons from Memristors
忆阻器,具有记忆的电阻器,其输出取决于其输入的历史,已经成功地用于神经形态架构,特别是作为突触和非易失性存储器。然而,据我们所知,到目前为止还没有提出一种网络模型,其中突触和神经元都使用忆阻器实现。在目前的工作中,我们介绍模型的单一和多层感知器完全基于忆阻器。我们将delta规则应用于基于忆阻器的单层感知器,将反向传播算法应用于基于忆阻器的多层感知器。我们的研究结果表明,两者都表现出预期的感知器,包括满足明斯基-Papert定理。作为通用近似定理的结果,他们还表明忆阻器是通用函数近似器。通过将忆阻器用于神经元和突触,我们的模型为基于忆阻器的新型神经网络架构和算法铺平了道路。基于忆阻器的神经网络可以在能量守恒方面显示出优势,并为其他学习系统在经典和量子学习领域中适应基于忆阻器的范例开辟了可能性。
2018-12-26 cs.ET cs.NE quant-ph
Deepest Neural Networks
Dahlem Center for Machine Learning and Robotics(达勒姆机器学习与机器人中心);Freie Universität Berlin(柏林自由大学)
本文表明,一个长链的感知器(即多层感知器,或MLP,具有许多隐藏层的宽度1)可以是一个通用的分类器。分类过程不一定是计算效率高的,但该技术对窄而深的MLP可能的计算类型有了一些了解。
2017-07-09 cs.LG cs.NE
Neural Network Methods for Boundary Value Problems Defined in Arbitrarily Shaped Domains
在以前的工作中,人们已经成功地用S型多层感知器处理了定义在简单几何边界上的具有Dirichlet边界条件的偏微分方程。本文讨论了复杂边界几何的情况,其中边界由属于它的许多点确定,并且位置很近,以便提供合理的表示。两个网络:一个多层感知器和径向基函数网络。后者用于说明边界条件的满足。该方法已在二维和三维偏微分方程上成功测试,并得出了准确的解。
1998-12-03 cond-mat.dis-nn cs.NA cs.NE
Neural Networks and Chaos: Construction, Evaluation of Chaotic Networks, and Prediction of Chaos with Multilayer Feedforward Networks
混沌神经网络在各个领域都有广泛的应用。不幸的是,到目前为止,这些网络通常被认为是混沌的,没有任何数学证明。本文的目的是建立一个严格的理论框架的基础上,根据Devaney和一个特定的类的神经网络的混沌迭代之间的等价性。一方面,我们展示了如何建立这样的网络,另一方面,我们提供了一种方法来检查,如果一个神经网络是一个混沌。最后,经典的前馈多层感知器的能力,学习从动态系统获得的数据集。各种布尔函数在有限状态上迭代。其中一些迭代被证明是混沌的,因为它是由Devaney定义的。在这种情况下,训练过程中出现了重要的差异,建立了各种神经网络,混沌行为更难以学习。
2016-08-21 cs.NE math.DS nlin.CD