Depth Separation with Multilayer Mean-Field Networks
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
本文研究了深度网络的算法层面的深度分离问题，通过将平均场极限扩展到多层网络并提出损失分解技术，证明了过参数化网络能高效学习特定函数，揭示了深层网络比浅层网络更强大的算法优势。
2023-04-03 cs.LG math.OC
Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks
Institute of Science and Technology, Austria（奥地利科学技术研究所）
多层神经网络的优化通常会导致零训练误差的解决方案，但景观可能会出现虚假的局部最小值，并且最小值可能会断开。在本文中，我们揭示了这一现象：我们表明，随机梯度下降（SGD）和过参数化的组合，使景观的多层神经网络近似连接，从而更有利于优化。更具体地说，我们证明了SGD解决方案是通过一个分段线性路径连接的，并且随着神经元数量的增加，沿着这条路径的损失增加会消失。这个结果是由于SGD发现的参数随着网络变宽而变得越来越稳定。我们表明，如果我们删除一部分神经元（并适当地重新缩放剩余的神经元），损失的变化与神经元的总数无关，它只取决于剩下多少神经元。我们的结果表现出轻微的依赖于输入尺寸：他们是无量纲的两层网络和线性依赖于多层网络的尺寸。我们验证了我们的理论研究结果与不同的架构和分类任务的数值实验。
2020-07-23 cs.LG stat.ML
OrthoNet: Multilayer Network Data Clustering
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université Paris-Est（巴黎东部大学）
网络数据出现在非常多样化的应用中，如生物，社交或传感器网络。因此，将网络节点聚类为类别或社区已经成为机器学习和数据采掘中非常常见的任务。网络数据附带了一些关于网络边的信息。在某些情况下，该网络信息甚至可以用多个视图或多个层给出，每个视图或层表示网络节点之间的不同类型的关系。越来越多的情况下，网络节点也携带特征向量。在本文中，我们建议扩展的节点聚类问题，通常只考虑网络信息，网络信息和节点的功能被认为是一起学习一个集群友好的特征空间表示的问题。具体而言，我们设计了一个通用的两步算法的多层网络数据聚类。第一步将不同层的网络信息聚合到由网络拉普拉斯矩阵的几何平均值给出的图形表示中。第二步使用神经网络来学习与网络层给出的结构一致的特征嵌入。我们提出了一种新的算法，有效地训练神经网络通过随机梯度下降，鼓励神经网络输出跨越领先的特征向量的聚合拉普拉斯矩阵，以捕捉成对的相互作用的网络，并提供一个聚类友好的表示的特征空间。我们证明了一组广泛的实验合成和真实的数据集，我们的方法导致一个显着的改善w.r.t.最先进的多层图聚类算法，因为它明智地结合节点嵌入算法中的节点特征和网络信息。
2020-01-23 cs.LG stat.ML
Multilayer Perceptron Algebra
人工神经网络（ANN）在各种模式识别任务上取得了惊人的成功。然而，神经网络的设计在很大程度上依赖于个人开发人员的经验和直觉。在本文中，作者介绍了一个数学结构称为MLP代数的所有多层感知器神经网络（MLP）的集合上，它可以作为一个指导原则，以建立适应特定的数据集的MLP，并建立复杂的MLP从简单的MLP。
2017-01-18 cs.LG stat.ML
Inverse design of multilayer nanoparticles using artificial neural networks and genetic algorithm
College of Information Science and Technology, Jinan University（暨南大学信息科学技术学院）
多层纳米粒子的光散射可以通过麦克斯韦方程组求解。然而，用传统的试错法很难解决多层纳米粒子的反设计问题。在这里，我们提出了一种多层纳米粒子的正向模拟和反向设计的方法。将遗传算法的全局搜索能力与神经网络的局部搜索能力相结合。首先用遗传算法寻找合适的解，然后用神经网络对其进行微调，由于物理结构和光学响应之间的关系不唯一，我们先训练一个前向神经网络，然后将其应用于多层纳米粒子的反设计。不仅如此，这种方法可以很容易地扩展到预测和找到其他光学结构的最佳设计参数。
2020-03-16 cs.LG eess.SP physics.optics
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF，用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF，以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案，使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明，神经NMF优于其他层次NMF方法对这些数据集，并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
Negative results for approximation using single layer and multilayer feedforward neural networks
我们证明了一个否定的结果，定义在紧凑的子集$\mathbb{R}^d$（其中$d \geq 2$）使用前馈神经网络与一个隐藏层和任意连续的激活函数的函数的近似。简而言之，这一结果表明，目标函数的存在是很难近似使用这些神经网络，因为人们可能想要的。我们还证明了一个类似的结果（一般$d \in \mathbb{N}$）的神经网络与\emph{arbitrary}数量的隐藏层，激活函数，无论是有理函数或连续样条与许多件。
2020-08-25 cs.LG stat.ML
Competitive Learning with Feedforward Supervisory Signal for Pre-trained Multilayered Networks
我们提出了一种新的多层神经网络的学习方法，它使用前馈监督信号，并将新输入的分类与预训练输入的分类相关联。该方法有效地利用了前一层丰富的输入信息，对多层神经网络的内部表示进行鲁棒学习和修正。
2015-02-16 cs.CV cs.LG cs.NE
A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime
Stanford University（斯坦福大学）
在最近的工作中，我们引入了一个严格的框架来描述多层神经网络的基于梯度的学习动力学的平均场极限，基于神经元嵌入的思想。在那里，我们还证明了使用这个框架的三层（以及两层）网络的全局收敛保证。在这篇文章中，我们指出，我们以前工作中的见解可以很容易地扩展到证明任何深度的多层网络的全局收敛保证。与我们之前假设i.i.d.的三层全局收敛保证不同。初始化，我们目前的结果适用于一种类型的相关初始化。这种初始化允许在任何有限的训练时间，通过神经网络的深度传播某种通用近似属性。为了实现这种效果，我们引入了双向分集条件。
2020-06-16 cs.LG math.OC math.ST
Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation
Singapore Management University（新加坡管理大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
与实权多层神经网络相比，二进制多层神经网络（BMNN）可以在专用硬件上更有效地实现。BMNN已被证明是有效的二进制分类任务的期望反向传播（EBP）算法在高维文本数据集。在本文中，我们研究的能力，BMNN使用EBP算法对多类图像分类任务。在MNIST上研究了具有多隐层和不同隐层单元数的二进制神经网络的性能。我们还探讨了图像空间滤波器的有效性和BMNN的辍学技术。在MNIST数据集上的实验结果表明，EBP在二进制权值下的测试误差为2.12%，在实权值下的测试误差为1.66%，与标准的BP算法在全连接MNN上的测试误差相当.
2015-03-22 cs.CV cs.LG cs.NE
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University（康奈尔大学）
用于训练前馈神经网络的反向传递的实际算法是反向传播（BP）。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而，近年来，人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器（MLP）和卷积神经网络（CNN）中达到最先进的精度。在本文中，我们分析了MLP中预测和神经元的稳定性和相似性，并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Explainable Multilayer Graph Neural Network for Cancer Gene Prediction
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Cedars-Sinai Medical Center（西达赛奈医学中心）
针对现有癌症基因预测方法依赖单一生物网络、解释性不足的问题，提出可解释多层图神经网络EMGNN，整合多基因互作网络与泛癌多组学数据，AUPR较SOTA平均提升7.15%，还能提供生物学解释，为癌症基因组研究提供新工具。
2023-05-03 cs.LG
Multilayer Q-Matrix-Embedded Neural Network for Cognitive Diagnosis (M-QCDNet): Structure-Aware Deep Learning Architecture for Psychometric Interpretability
提出M-QCDNet，将Q矩阵作为结构先验嵌入神经网络，通过带L2惩罚的损失函数平衡预测性能与结构对齐，实现可解释的认知诊断。
2026-07-03 cs.LG
Forecasting Drought Using Multilayer Perceptron Artificial Neural Network Model
Quaid-i-Azam University（真纳大学）；University of Bradford（布拉德福德大学）；Bradford Institute for Health Research, Bradford Teaching Hospitals NHS Foundation Trust（布拉德福德教学医院NHS基金会信托布拉德福德健康研究所）；COMSATS Institute of Information Technology（COMSATS信息技术学院）；King Saud University（沙特国王大学）；Workers University（工人大学）
干旱灾害频繁发生，人类面临着诸多环境挑战。它可能对国家的环境、社区和工业产生影响。巴基斯坦继续受到干旱灾害的一些不利影响，包括其他灾害。然而，干旱的早期测量和检测可以为水资源管理提供指导，以采用干旱缓解政策。在本文中，我们使用多层感知器神经网络（MLPNN）算法的干旱预测。应用MLPNN算法对巴基斯坦北部地区和KPK（巴基斯坦）17个气象站的标准化降水蒸散指数（SPEI）的月时间序列数据进行了检验。我们发现，MLPNN具有基于性能指标（即，平均误差（MAE）、相关系数R和均方根误差（RMSE）。水资源和管理规划者可以提前采取必要行动（例如，在缺水地区），通过使用MLPNN模型作为其决策的一部分。
2019-04-17 cs.LG physics.ao-ph stat.ML
Predicting the Masses of Exotic Hadrons with Data Augmentation Using Multilayer Perceptron
Mimar Sinan Fine Arts University（米马尔·锡南美术大学）
最近，神经网络有了重大的发展，这导致了神经网络在物理学文献中的频繁使用。这项工作的重点是预测质量的奇异强子，双魅和底重子使用神经网络训练的介子和重子的质量，由实验确定。使用最近提出的人工数据增强方法对原始数据集进行了扩展。我们已经观察到，神经网络的预测能力随着增强数据的使用而增加。结果表明，数据增强技术在改善神经网络预测中起着至关重要的作用，而且神经网络对奇异强子、双魅重子和双底重子都能做出合理的预测.计算结果与高斯过程和组分夸克模型的计算结果也具有可比性。
2023-01-20 cs.LG hep-lat hep-ph
mGNN: Generalizing the Graph Neural Networks to the Multilayer Case
University of Catania（卡塔尼亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
网络是对复杂系统进行建模的强大工具，许多图神经网络（GNN）的定义，可以处理网络的深度学习算法，开辟了一种新的方法来处理许多现实世界中的问题，这些问题很难甚至无法处理。在本文中，我们提出了mGNN，这是一个旨在将GNN推广到多层网络情况的框架，即，网络可以模拟节点之间的多种交互和关系。我们的方法是通用的（即，不是任务特定的），并且具有扩展任何类型的GNN而没有任何计算开销的优点。我们测试了三个不同的任务（节点和网络分类，链接预测）的框架，以验证它。
2021-09-25 cs.LG physics.soc-ph
The Mechanical Neural Network(MNN) -- A physical implementation of a multilayer perceptron for education and hands-on experimentation
Institute of Cognitive Science, University of Osnabrück（奥斯纳布吕克大学认知科学研究所）
本文提出机械神经网络 MNN，以木制杠杆和线物理实现含 ReLU 的 2-4-2 结构 MLP，支持学生手动调节权重并学习 XOR 等函数。
2022-07-15 cs.LG
The Power Mean Laplacian for Multilayer Graph Clustering
Department of Mathematics and Computer Science, Saarland University（萨尔兰大学数学与计算机科学系）；Department of Mathematics and Statistics, University of Strathclyde（斯特拉斯克莱德大学数学与统计学系）
本文提出一种参数化的矩阵幂均值方法，用于融合多层图的拉普拉斯矩阵，分析其在随机块模型中的期望性能，并在真实数据中验证其在不同设置下恢复真实聚类的能力。
2018-03-01 cs.LG cs.NA math.NA
Peptidomic-Based Prediction Model for Coronary Heart Disease Using a Multilayer Perceptron Neural Network
Instituto Tecnológico de Durango（杜兰戈理工大学）
本研究针对冠心病非侵入性诊断需求，基于50种尿液多肽生物标志物构建含3个隐藏层的MLP神经网络模型，经SMOTE平衡样本与分层验证训练后，多项性能指标优异，为冠心病提供高精度鲁棒的非侵入诊断工具。
2025-09-04 cs.AI cs.LG
Improving the performance of optical inverse design of multilayer thin films using CNN-LSTM tandem neural networks
Kyung Hee University（庆熙大学）；Myongji University（明知大学）
针对多层薄膜光学逆向设计中传统方法耗时的问题，提出采用含CNN、LSTM的多种结构串联神经网络，发现CNN-LSTM型TNN兼顾准确率与速度，为最优方案。
2025-06-11 cs.CE cs.LG cs.NE
MultiFusionNet: Multilayer Multimodal Fusion of Deep Neural Networks for Chest X-Ray Image Classification
MultiFusionNet通过多层多模态融合和FDSFM模块提升胸部X光图像分类的准确率，达到97.21%和99.60%
2024-01-01 cs.CV cs.LG eess.IV
Missing Data Estimation in Temporal Multilayer Position-aware Graph Neural Network (TMP-GNN)
University of Toronto（多伦多大学）
GNN已被证明在多个领域的各种节点级、边级和图级预测任务中非常有效。现有的方法主要集中在静态图。然而，许多图随着时间的推移而改变，其边可能消失，或者节点/边属性可能从一个时间改变到另一个时间。在时变图中节点的表示学习中考虑这种演化是必要的。在本文中，我们提出了一个时间多层位置感知的图神经网络（TMP-GNN），一个节点嵌入方法的动态图，嵌入计算结合了时间关系的相互依赖性。我们评估的性能TMP-GNN的两种不同的表示的时间多层图。针对节点级预测任务上最流行的GNN评估性能。然后，我们将TMP-GNN纳入深度学习框架中，以估计缺失数据，并将其性能与我们以前实验中相应的合格GNN以及基线方法进行比较。在四个真实世界数据集上的实验结果产生了高达58%的成对节点分类任务的较低ROC AUC，以及96%的缺失特征估计的较低MAE，特别是对于节点数量相对较多且平均连通度较低的图。
2022-01-15 cs.LG
Beyond Multilayer Perceptrons: Investigating Complex Topologies in Neural Networks
University of Rome Tor Vergata（罗马第二大学）；Harvard Medical School（哈佛医学院）
本研究提出基于多种复杂拓扑结构构建人工神经网络的方法，发现复杂拓扑在高难度任务中优于传统多层感知器，但会增加计算时间并降低对图损伤的鲁棒性，且性能差异无法由单一拓扑属性解释。
2023-10-23 cond-mat.dis-nn cs.LG cs.NE
Attention-based Dynamic Multilayer Graph Neural Networks for Loan Default Prediction
Western University（西安大略大学）；University of Southampton（南安普顿大学）；Reykjavík University（雷克雅未克大学）
提出基于注意力机制和动态多层图神经网络的信用风险评估模型，融合地理与贷款机构连接及时间演变，在房地美数据上优于传统方法。
2024-06-24 cs.LG q-fin.GN
Comparative study of variational quantum circuit and quantum backpropagation multilayer perceptron for COVID-19 outbreak predictions
Delhi Technological University（德里理工大学）；CHRIST (Deemed to be University)（克里斯大学（被视为大学））
有许多量子神经网络模型已被应用于各种问题，如图像分类，模式识别等。量子启发算法已经有相当一段时间了。最近，在NISQ时代，混合量子经典模型已经显示出有希望的结果。多特征回归是经典机器学习中常见的问题。因此，我们提出了一个连续变量量子神经网络（变分电路）和量子反向传播多层感知器（QBMLP）的比较分析。我们选择了预测印度和美国COVID-19病例增加的当代问题。我们提供了两个模型之间的统计比较，这两个模型的性能优于经典的人工神经网络。
2020-08-19 cs.LG quant-ph
Supervised Learning with First-to-Spike Decoding in Multilayer Spiking Neural Networks
University of Surrey（萨里大学）；University of Applied Sciences Stralsund（施特拉尔松德应用技术大学）
实验研究支持大脑中基于尖峰的神经元信息处理的概念，神经回路表现出广泛的基于时间的编码策略，以快速有效地表示感官刺激。因此，将期望应用基于尖峰的计算来应对现实世界的挑战，并且特别地将这样的理论转移到用于低功率嵌入式应用的神经形态系统。出于这一动机，我们提出了一种新的监督学习方法，可以训练多层脉冲神经网络解决分类问题的基础上快速，第一次到尖峰解码策略。所提出的学习规则支持由随机隐藏神经元发射的多个尖峰，并且依赖于由确定性输出层生成的第一尖峰响应而稳定。除此之外，我们还探索了几种不同的，基于尖峰的编码策略，以形成所呈现的输入数据的紧凑表示。我们展示了应用于几个基准数据集，包括MNIST的学习规则的分类性能。学习规则能够从数据中概括，并且即使在使用包含很少输入和隐藏层神经元的约束网络架构时也是成功的。此外，我们强调了一种新的编码策略，称为“扫描线编码”，可以将图像数据转换成紧凑的时空模式，用于后续的网络处理。设计受约束但优化的网络结构并执行输入降维对神经形态应用有很强的影响。
2020-08-16 cs.LG cs.NE q-bio.NC
Neural network analysis of neutron and X-ray reflectivity data: Incorporating prior knowledge for tackling the phase problem
University of Tübingen（蒂宾根大学）；University of Graz（格拉茨大学）
针对中子与X射线反射率反演中的相位问题，提出利用先验知识正则化神经网络训练的方法，在更大参数空间内改善训练动态，并成功扩展至5层及最多17个开放参数的周期多层模型。
2023-06-28 cond-mat.soft cs.LG eess.SP
Predicting the clinical citation count of biomedical papers using multilayer perceptron neural network
Huazhong University of Science and Technology（华中科技大学）；Tongji Medical College（同济医学院）；Central China Normal University（华中师范大学）；Wuhan University（武汉大学）
从临床指南或临床试验中收到的临床引文数量被认为是量化生物医学论文临床影响的最合适指标之一。因此，早期预测生物医学论文的临床引文数量对于生物医学领域的科学活动，如研究评估、资源分配和临床翻译至关重要。在这项研究中，我们设计了一个四层多层感知器神经网络（MPNN）模型来预测未来的生物医学论文的临床引用计数使用9,822,620发表的生物医学论文1985年至2005年。我们从三个维度中提取了91个论文特征作为模型的输入，其中论文维度21个，参考文献维度35个，引用论文维度35个。在每个维度上，特征可以被分为三类，即，引文相关特征、临床诊断相关特征和主题相关特征。此外，在论文维度中，我们还考虑了以前被证明与研究论文的引用次数有关的特征。结果表明，所提出的MPNN模型优于其他五个基线模型，在参考维度的特征是最重要的。
2022-10-21 cs.CL cs.LG
A Supervised Learning Algorithm for Multilayer Spiking Neural Networks Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；NEC Corporation（日本电气股份有限公司）；Interdisciplinary Graduate School of Engineering Sciences, Kyushu University（九州大学工学研究院跨学科工学研究科）；Graduate School of Life Science and Systems Engineering, Kyushu Institute of Technology（九州工业大学生命科学与系统工程研究生院）；International Research Center for Neurointelligence (WPI-IRCN), The University of Tokyo Institutes for Advanced Study, The University of Tokyo（东京大学高等研究院神经智能国际研究中心（WPI-IRCN））
脉冲神经网络（SNN）是一种能够处理脉冲形式信息的脑启发数学模型。期望SNN不仅提供新的机器学习算法，而且在VLSI电路中实现时提供节能的计算模型。在本文中，我们提出了一种新的监督学习算法的SNNs的时间编码的基础上。在该算法中，尖峰神经元的设计，以促进模拟电阻存储器的模拟VLSI实现，通过它可以实现超高的能量效率。我们还提出了几种技术，以提高识别任务的性能，并表明，所提出的算法的分类精度是最先进的时间编码SNN算法的MNIST数据集一样高。最后，我们讨论了所提出的SNN对从设备制造过程中产生的变化，是不可避免的模拟VLSI实现的鲁棒性。我们还提出了一种技术，以抑制在识别性能的制造过程中的变化的影响。
2020-01-08 cs.LG cs.NE stat.ML
Investigation of inverse design of multilayer thin-films with conditional invertible Neural Networks
University Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；ams OSRAM（艾迈斯欧司朗）；Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）
本研究将条件可逆神经网络（cINN）用于多层光学薄膜逆设计，结合局部优化可生成精度优于现有方法的薄膜构型，且能处理分布外目标，验证了机器学习方法结合用于薄膜设计的价值。
2022-10-10 cs.LG physics.comp-ph
Theoretical Compression Bounds for Wide Multilayer Perceptrons
MIT（麻省理工学院）
本文提出了一种随机贪心算法，用于宽多层感知机的剪枝和量化，证明了其在保持性能的同时实现网络压缩的理论界限。
2025-12-06 cs.LG math.ST stat.TH
Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons
RIKEN AIP（日本学术振兴会先进研究所）；The University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）；The University of New South Wales（新南威尔士大学）；University of Tokyo（东京大学）
本文通过特征学习理论和信号-噪声数据模型，定量比较两层GCN与MLP的优化和泛化差异，证明GNN优先学习信号并将低测试误差范围扩大D^{q-2}倍，并在合成与真实数据集上验证了该结论。
2025-06-06 cs.LG
Accelerating Inference for Multilayer Neural Networks with Quantum Computers
Department of Materials, University of Oxford（牛津大学材料系）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Quantum Motion（Quantum Motion公司）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子中心）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
本文首次提出全相干的多层神经网络量子实现，采用残差块、多滤波2D卷积、Sigmoid激活等结构，分析了不同量子数据访问模式下的推理复杂度，证明了在不同条件下可实现二次到四次方的加速效果。
2026-05-16 cs.LG quant-ph
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University（乔治梅森大学）
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点，边表示它们在地图中的相邻关系。我们实验的House-GAN数据集，包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明，图神经网络，特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率，超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Interpretable inverse design of optical multilayer thin films based on extended neural adjoint and regression activation mapping
Kyung Hee University（庆熙大学）
本文提出ENA框架，通过新型前向网络、材料损失和F-RAM实现光学多层薄膜准确、多样、灵活且可解释的逆向设计。
2025-07-10 cs.CE cs.LG physics.comp-ph
Multilayer Lookahead: a Nested Version of Lookahead
EPFL（洛桑联邦理工学院）
近年来，SGD及其变体已成为训练深度神经网络的标准工具。在本文中，我们专注于最近提出的变体Lookahead，它在广泛的应用中改进了SGD。在此成功之后，我们研究了该算法的扩展，\emph{Multilayer Lookahead}优化器，它递归地将Lookahead包装在自身周围。证明了两层多层Lookahead算法收敛于光滑非凸函数的一个平稳点，且收敛速度为$O(\frac{1}{\sqrt{T}})$。我们还证明了改进的泛化的前瞻性SGD，和多层前瞻性，通过展示他们如何放大的隐式正则化效果的SGD。我们通过经验验证了我们的结果，并表明多层Lookahead在CIFAR-10和CIFAR-100分类任务以及MNIST数据集上的GANs训练上优于Lookahead。
2021-10-27 cs.CV cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences（阿塞拜疆国家科学院控制系统研究所）
本文对比了多层感知器在预计算权重与随机初始化权重下的表现，发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Migrating Knowledge between Physical Scenarios based on Artificial Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Zhejiang University（浙江大学）
众所周知，深度学习需要大量数据，这阻碍了它在数据集较小的许多科学领域的应用。在这里，我们建议使用迁移学习方法在不同的物理场景之间迁移知识，并显着提高在小数据集上训练的人工神经网络的预测准确性。这种方法可以通过利用额外的廉价数据来帮助减少对昂贵数据的需求。首先，我们证明了在预测多层光子薄膜的传输，相对出错率减少了46.8%（26.5%）时，源数据来自10层（8层）的薄膜和目标数据来自8层（10层）的薄膜。第二，我们表明，相对出错率降低了22%，当知识在两个非常不同的物理场景之间转移：多层膜的传输和多层纳米粒子的散射。最后，我们提出了一种多任务学习方法，以同时提高不同物理场景的性能，其中每个任务只有一个小的数据集。
2019-05-03 cs.CV cs.LG physics.comp-ph
Data-driven Method for Estimating Aircraft Mass from Quick Access Recorder using Aircraft Dynamics and Multilayer Perceptron Neural Network
City University of Hong Kong（香港城市大学）
从安全管理和性能优化的角度来看，准确的飞机质量估计对航空公司至关重要。使飞机超载乘客和行李可能会导致安全危险。相比之下，没有充分利用飞机的有效载荷运载能力会损害其运营效率和航空公司的盈利能力。然而，精确确定每次飞行的飞机质量是不可行的，因为对包括有效载荷在内的每个飞机部件进行称重是不切实际的。现有的飞机质量估算方法依赖于飞机和发动机的性能参数，这些参数通常被认为是专有信息。此外，这些参数的值在不同的操作条件下变化，而其他参数的值可能会受到较大的估计误差。本文提出了一种数据驱动的方法，包括使用快速访问记录器（QAR）-一个数字飞行数据记录器-安装在所有飞机上，以记录初始飞机爬升质量在每次飞行。该方法要求用户使用物理模型从QAR记录的数千个其他参数中选择适当的参数。所选择的数据随后被处理并作为输入提供给多层感知器神经网络，用于建立初始爬升飞机质量预测模型。因此，所提出的方法提供了基于模型和数据驱动的飞机质量估计方法的优点。由于该方法不明确依赖于任何飞机或发动机参数，因此它普遍适用于所有飞机类型。在这项研究中，所提出的方法被应用到一组波音777- 300 ER飞机，其结果表明合理的准确性。航空公司可以使用这个工具来更好地利用飞机的有效载荷。
2020-12-10 cs.LG cs.SY eess.SY
Image sensing with multilayer, nonlinear optical neural networks
Cornell University（康奈尔大学）；NTT Research, Inc.（NTT研究公司）；Kavli Institute at Cornell for Nanoscale Science（康奈尔大学卡夫利纳米科学研究所）
本研究提出一种用于图像传感的多层非线性光学神经网络（ONN）预处理器，利用商用图像增强器实现非线性激活，实现高达800:1压缩比并在多项视觉任务中优于线性ONN。
2022-07-27 cs.ET cs.LG physics.optics
Training a multilayer dynamical spintronic network with standard machine learning tools to perform time series classification
CNRS（法国国家科学研究中心）；Thales（泰勒斯公司）；Université Paris-Saclay（巴黎-萨克雷大学）；Laboratoire Albert Fert（阿尔贝·费尔实验室）
提出以自旋电子振荡器作为动力学神经元在硬件上实现循环神经网络，并利用BPTT等标准机器学习工具进行训练，以低能耗实现与软件网络相当的时间序列分类性能。
2025-03-04 cond-mat.dis-nn cond-mat.mes-hall cs.AI
Deep Neural Networks: A Formulation Via Non-Archimedean Analysis
University of Texas Rio Grande Valley School of Mathematical & Statistical Sciences（德克萨斯大学里奥格兰德谷大学数学与统计科学学院）
提出一种基于非阿基米德局部域整数环的多层树状架构深度神经网络，该网络是定义在环上实值函数的鲁棒通用逼近器，并证明其对单位区间上平方可积函数的通用逼近性。
2026-06-16 cs.AI cs.LG cs.NE
Stock Price Forecasting and Hypothesis Testing Using Neural Networks
Rice University（莱斯大学）；Department of Economics（经济学系）
在这项工作中，我们使用递归神经网络和多层感知器从历史数据中预测纽约证券交易所，纳斯达克和美国证券交易所的股票价格。我们使用不同的架构进行实验，并比较数据规范化技术。然后，我们利用这些发现，通过正式的统计检验来质疑有效市场假说。
2019-08-28 cs.LG econ.EM q-fin.ST
Application of multilayer perceptron with data augmentation in nuclear physics
Mimar Sinan Fine Arts University（米马尔·希南美术大学）；University of Leuven (KU Leuven)（鲁汶大学（KU Leuven））；Yildiz Technical University（耶尔德兹技术大学）
神经网络作为一种有前途的、可靠的、功能强大的工具，已经在许多科学领域得到了广泛的应用。在这项工作中，我们研究了数据增强对核物理数据的神经网络模型的预测能力的影响。我们提出了两种不同的数据增强技术，我们进行了详细的分析，在不同的深度，优化，激活函数和随机种子值，以显示模型的成功和鲁棒性。首次利用实验不确定性进行数据增强，人为地增大训练数据集的大小，并研究了测试集和实验数据上的模型预测值之间的均方根误差的变化。我们的研究结果表明，数据增强减少了预测误差，稳定了模型，并防止过拟合。对AME2020质量表中新测核的外推能力进行了检验，结果表明，采用数据增强后，预测结果有了明显的改善。
2022-07-05 cs.LG nucl-th
Learning Entropy and Spatial Adaptation Dynamics of Multilayer Perceptrons for Structural Point Extraction
Czech Technical University in Prague（捷克技术大学布拉格分校）；University of South Bohemia in Ceske Budejovice（南捷克大学捷克布杰约维采分校）
提出空间学习熵（SLEM）方法，通过分析MLP在图像样本学习中的权重自适应，识别对网络学习重要的图像点与区域，为特征提取提供新视角。
2026-06-08 cs.LG
Physics-Informed Neural Networks for Fast Multilayer Spectral Inversion of Hα 6562.8 A and Ca II 8542.1 A Spectra
New Jersey Institute of Technology（新泽西理工学院）；Big Bear Solar Observatory（大熊湖太阳观测台）
提出物理信息神经网络加速多层光谱反演，直接预测参数并保持辐射转移物理，推理提速12-60倍，皮尔逊系数0.933。
2026-09-17 astro-ph.IM astro-ph.SR cs.AI
