Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization
NEC Laboratories America Inc.（NEC美国实验室）；University of Central Florida（中佛罗里达大学）；Amazon Inc.（亚马逊公司）；University of Utah（犹他大学）
在本文中，我们提出了REASON，一个新的框架，使自动发现的两个内级（即，网络内）和层间（即，跨网络）的因果关系。推理包括拓扑因果发现和个体因果发现。拓扑因果发现组件旨在对故障传播进行建模，以便追溯到根本原因。为了实现这一目标，我们提出了新型的分层图神经网络，通过对层内和层间非线性因果关系建模来构建相互依赖的因果网络。基于学习到的相互依赖的因果网络，我们利用随机游走与重启来模拟系统故障的网络传播。Individual Causal Discovery组件专注于捕获单个系统实体的突变模式。该组件检查每个实体的度量数据的时间模式（即，时间序列），并基于极值理论估计其作为根本原因的可能性。结合拓扑和个体因果分数，前K个系统实体被识别为根本原因。在三个真实数据集上的大量实验和案例研究证明了该框架的有效性和优越性。
2023-02-03 cs.AI cs.LG
On the Limits of Interpretable Machine Learning in Quintic Root Classification
University of Missouri-Kansas City（密苏里大学堪萨斯城分校）
研究探讨了可解释机器学习在五次根分类中的局限性，发现神经网络在预测性能上表现优异，但无法自主恢复可解释的数学规则，需依赖显式的结构归纳偏置。
2026-02-26 cs.LG cs.NA math.NA
Accelerated Neural Network Training with Rooted Logistic Objectives
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究针对神经网络训练收敛受数据可分性限制的问题，设计了严格凸的有根逻辑损失函数，在多类模型和基准上实现更快收敛与性能提升，并可用于生成模型微调。
2023-10-05 cs.AI cs.CV cs.LG
Nth Absolute Root Mean Error
神经网络在训练数据量很大的情况下，训练过程需要很长的时间，如果没有大量的训练值，神经网络就无法学习特征。时间和数据大小之间的这种困境通常使用快速GPU来解决，但我们为这些问题的子集提供了更好的解决方案。为了减少使用神经网络训练回归模型的时间，我们引入了一个损失函数，称为N阶绝对均方根误差（NARME）。与其他现有的损失函数相比，它有助于更快地训练回归模型。实验表明，在大多数用例中，NARME将所需的epoch数量减少到其他常用损失函数所需的几乎十分之一，并且在训练的少量时间内实现了很高的准确性。
2018-10-02 cs.LG stat.ML
Root Cause Analysis In Microservice Using Neural Granger Causal Discovery
National Yang Ming Chiao Tung University（阳明交通大学）
针对微服务故障根因定位难、现有方法忽略时间序列时序信息的问题，提出结合对比学习的神经格兰杰因果发现方法RUN，实验证明其性能优于现有最优方法，具备实用价值。
2024-02-02 cs.AI cs.DC cs.LG
Feature compression is the root cause of adversarial fragility in neural network classifiers
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Iowa（爱荷华大学）
本文从矩阵理论角度解释了神经网络分类器的对抗脆弱性，证明其对抗鲁棒性随输入维度增加而退化，仅达最优分类器的 $1/\sqrt{d}$，且与基于信息论的特征压缩解释一致。
2025-11-03 cs.CR cs.IT cs.LG
ROOT: Robust Orthogonalized Optimizer for Neural Network Training
Huawei Noah's Ark Lab（华为诺亚实验室）
ROOT通过双重鲁棒性机制提升神经网络训练稳定性，解决优化器在噪声和非凸场景中的鲁棒性问题。
2025-11-25 cs.AI cs.LG
Nested Graph Neural Networks
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Purdue University（普渡大学）
图神经网络（GNN）在图分类中的成功与Weisfeiler-Lehman（1-WL）算法密切相关。通过迭代地将相邻节点特征聚合到中心节点，1-WL和GNN都获得了对中心节点周围的有根子树进行编码的节点表示。然后将这些有根子树表示合并为单个表示以表示整个图。然而，有根子树表示非树图的表达能力有限。为了解决这个问题，我们提出了嵌套图神经网络（NGNNs）。NGNN用有根子图而不是有根子树来表示图，因此共享许多相同子图（而不是子树）的两个图往往具有相似的表示。关键是使每个节点表示编码围绕它的子图而不是子树。为了实现这一点，NGNN提取每个节点周围的局部子图，并将基本GNN应用于每个子图以学习子图表示。然后通过合并这些子图表示来获得全图表示。我们提供了一个严格的理论分析表明，NGNN是严格比1-WL更强大。特别是，我们证明了NGNN可以区分几乎所有的r-正则图，其中1-WL总是失败。此外，与其他更强大的GNN不同，NGNN只引入了比标准GNN更高的恒定因子时间复杂度。NGNN是一个即插即用的框架，可以与各种基本GNN组合。我们在几个基准数据集上测试了具有不同基础GNN的NGNN。NGNN一致地提高了它们的性能，并在所有数据集上显示出极具竞争力的性能。
2021-10-25 cs.LG
PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training
International Computer Science Institute（国际计算机科学研究所）；University of California Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（伯克利国家实验室）
PRISM通过自适应多项式拟合和随机迭代草图技术，加速神经网络训练中的矩阵函数计算，无需显式谱界或奇异值估计。
2026-01-29 cs.AI cs.LG cs.NA
Series of quasi-uniform scatterings with fast search, root systems and neural network classifications
本文提出了一种基于半单李群不可约表示构造大规模可扩展向量集合的方法，用于神经网络潜在空间配置和分类任务。
2025-12-04 cs.LG math.AG math.RT
Root Cause Analysis of Anomalies in 5G RAN Using Graph Neural Network and Transformer
Ericsson GAIA（爱立信GAIA）；Dalhousie University（达尔豪斯大学）
针对5G RAN异常根因分析缺标注数据、现有方案未充分捕捉时空特征的问题，基于Simu5G生成的开源数据，提出结合图神经网络与Transformer的Simba方法，经多故障测试验证性能优于现有方案。
2024-06-21 cs.LG cs.NI
Detecting Deep Neural Network Defects with Data Flow Analysis
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
深度神经网络（DNN）被证明是许多具有挑战性的人工智能任务中有前途的解决方案。然而，很难弄清楚DNN模型的低精度是不可避免的结果，还是由缺陷引起的。本文旨在解决这一具有挑战性的问题。我们发现DNN模型的内部数据流足迹可以提供有效定位根本原因的见解。我们开发了DeepMorph（DNN Tomography）来分析根本原因，这可以指导DNN开发人员改进模型。
2019-09-30 cs.LG eess.SP stat.ML
On the Neural Tangent Kernel of Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本研究探讨了深度平衡模型的神经正切核，发现在温和条件下，即使宽度和深度同时趋于无穷大，其NTK依然具有确定性，且可通过寻根法高效求解。
2023-10-21 cs.AI cs.LG
Quadratic Characterizations for Reachability Analysis of Neural Networks
Kevin T. Crofton Department of Aerospace and Ocean Engineering, Virginia Tech（凯文·T·克罗夫顿航空航天与海洋工程系，弗吉尼亚理工学院）；Federation ENAC ISAE-SUPAERO ONERA, Universite de Toulouse（ENAC ISAE-SUPAERO ONERA联盟，图卢兹大学）
本文提出了一种构建二维实平面上标量关系的验证二次特性的框架，通过局部生成候选二次不等式并全局验证，以提高神经网络可达性分析的精度和效率。
2026-10-12 cs.LG cs.SY eess.SY
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University（普渡大学）
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化，其中$q\le p^*$，和$1/p+1/p^{*}=1$，我们讨论的宽度无关的容量控制，它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地，对于$L_{1,\infty}$权重归一化网络，近似误差可以由输出层的$L_1$范数控制，并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Scaling up deep neural networks: a capacity allocation perspective
Spotify（Spotify（Spotify公司））
在最近的容量分配工作之后，我们提出了一个猜想，即只有当层的数量趋于无穷大时，通过层的容量传播具有非退化连续极限时，深度神经网络中的破碎问题才能避免。这使我们能够研究一些常用的架构，并确定在实践中应该执行哪些缩放关系，因为层的数量越来越大。特别是，我们恢复了多通道情况下的Xavier初始化条件，我们发现，权重和偏置应按比例缩小为深度残差网络的层数的平方根倒数，并作为递归网络所需内存长度的平方根倒数。
2019-03-27 cs.LG stat.ML
Convergence of optimizers implies eigenvalues filtering at equilibrium
Univ. Grenoble Alpes, CNRS, LJK（格勒诺布尔-阿尔卑斯大学，法国国家科学研究中心，让·昆兹曼实验室）
本文假设优化器收敛并指出其等效于特征值滤波，据此提出两种增强滤波的新算法以寻找更宽极小值，并利用广义Hadamard--Perron定理证明了其适用性。
2026-11-10 cs.LG math.DS math.OC
Observability conditions for neural state-space models with eigenvalues and their roots of unity
Purdue Mathematics（普渡数学）
本文基于控制理论，为神经状态空间模型和Mamba架构提出可观测性条件，涵盖置换、傅里叶变换、范德蒙德矩阵及共享参数构造等方法，并分析其计算复杂度与训练算法收敛性。
2026-09-09 cs.LG cs.SY eess.SY
Time-optimal neural feedback control of nilpotent systems as a binary classification problem
Department of Mathematics, Imperial College London, United Kingdom（伦敦帝国学院数学系，英国）；Department of Mathematics, Swansea University, United Kingdom（斯旺西大学数学系，英国）
本文提出了一种用于线性nilpotent系统时间最优反馈控制律合成的计算方法，通过将问题转化为二分类问题来构建时间最优深度神经网络。
2026-05-18 cs.LG math.OC
Boosting the Cycle Counting Power of Graph Neural Networks with I$^2$-GNNs
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
本研究提出I$^2$-GNNs，通过为根节点及其邻居分配不同标识符，增强子图MPNNs的环计数能力，使其能在线性时间内计数所有3至6环，并在分子预测中表现优异。
2023-05-08 cs.LG
Time integration schemes based on neural networks for solving partial differential equations on coarse grids
Institute of Mechanics, Chinese Academy of Sciences（中国科学院力学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出基于神经网络学习时间积分格式，在粗网格上求解PDEs，全约束格式精度接近经典方法，无约束和半约束格式显著降低预测误差，粗网格下均方误差最多减少一个数量级。
2023-10-16 cs.LG cs.NA math.NA
On the power of graph neural networks and the role of the activation function
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究图神经网络的表达能力，证明采用分段多项式激活的有界GNN无法区分特定深度2非同构有根树的根节点，而使用非分段多项式激活的单神经元感知机可实现该区分，揭示激活函数对GNN能力的关键影响。
2024-05-08 cs.LG
Approximating SPR Distance Between Phylogenetic Trees with Graph Neural Networks
ISEL -- Instituto Superior de Engenharia de Lisboa, Instituto Politécnico de Lisboa, Portugal（里斯本理工学院）
研究用图神经网络逼近系统发育树SPR距离，构建公开数据集，建立预处理管道，验证监督目标，训练GIN回归器，其在分布内表现良好，外推有局限，发布的数据集等为SPR逼近提供可重复基础。
2026-07-22 cs.AI cs.LG q-bio.PE
A multivariate water quality parameter prediction model using recurrent neural network
University of the Witwatersrand（金山大学）
全球水资源退化是一个令人极为关切的问题，特别是对人类生存而言。有效监测和管理现有水资源是实现和保持最佳水质的必要条件。对水资源质量的预测将有助于及时查明可能存在问题的地区，从而提高水管理的效率。本研究的目的是开发一个基于水质参数的水质预测模型，通过应用一个专门的循环神经网络（RNN），长短期记忆（LSTM）和使用历史水质数据在几年。使用整流线性单元（ReLU）激活函数开发了多变量单步和多步LSTM模型，并开发了均方根传播（RMSprop）优化器。单步的模型的误差为0.01 mg/L，而多步模型的均方根误差（RMSE）为0.227 mg/L。
2020-03-25 cs.LG stat.ML
Generative Adversarial Network (GAN) and Enhanced Root Mean Square Error (ERMSE): Deep Learning for Stock Price Movement Prediction
Charles Sturt University（查尔斯特大学）；University of Western Sydney（西悉尼大学）；Kent Institute Australia（澳大利亚肯特学院）；Asia Pacific International College（亚太国际学院）；University of Technology, Baghdad（巴格达技术大学）；University of Kurdistan Hewler（库尔德斯坦大学赫威勒）；The University of Da Nang – University of Science and Education（岘港大学-科学教育大学）
股票价格走势预测在金融界和学术界都具有重要意义。股票价格包含着复杂的、不完全的、模糊的信息，这使得预测其发展趋势成为一项极其困难的任务。预测和分析金融数据是一个非线性、时变的问题。随着机器学习和深度学习的快速发展，这一任务可以通过专门设计的网络更有效地执行。本文旨在通过使用生成对抗网络的深度学习架构来提高预测精度并最大限度地减少预测错误损失。提出了一种通用的价格序列预测模型，该模型由相空间重构（PSR）方法和生成对抗网络（GAN）组成，生成对抗网络是由长短期记忆（LSTM）作为生成模型和卷积神经网络（CNN）作为判别模型的两种神经网络组合而成，用于对抗性训练来预测股票市场。LSTM将根据历史基本指标信息生成新的实例，然后CNN将估计数据是否是LSTM预测的或真实的。结果发现，生成对抗网络（GAN）在增强的均方根误差方面表现良好，因为它在预测方向方面的准确度提高了4.35%，处理时间和RMSE分别减少了78秒和0.029。本研究在股票指数的准确性方面提供了较好的结果。看来，所提出的系统集中在最小化均方根误差和处理时间，提高方向预测精度，并提供了一个更好的结果，在准确的股票指数。
2021-11-30 cs.LG cs.NE q-fin.ST
Hermite Neural Network Simulation for Solving the 2D Schrodinger Equation
Shahid Beheshti University（沙希德·贝赫什提大学）
本文提出将神经网络与基于 Hermite 函数的配点法相结合求解二维薛定谔方程，以 Hermite 函数根为配点并将其作为激活函数，在无限域上取得高精度，并通过 Simulink 仿真验证其优于物理信息神经网络。
2024-02-16 cs.AI cs.LG cs.NA
Deep Roots: Improving CNN Efficiency with Hierarchical Filter Groups
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
我们提出了一种新的方法来创建计算效率和紧凑的卷积神经网络（CNN）使用一种新的稀疏连接结构，类似于树根。与最先进的深度CNN相比，这允许显著降低计算成本和参数数量，而不会通过利用层间滤波器依赖性的稀疏性来影响准确性。我们通过使用它来训练更有效的最先进的CNN架构的变体来验证我们的方法，并在CIFAR10和ILSVRC数据集上进行评估。我们的结果显示出类似或更高的精度比基线架构少得多的计算，如CPU和GPU的时间测量。例如，对于ResNet 50，我们的模型参数减少了40%，浮点运算减少了45%，并且在CPU（GPU）上的速度提高了31%（12%）。对于更深层次的ResNet 200，我们的模型的浮点运算减少了25%，参数减少了44%，同时保持了最先进的准确性。对于GoogLeNet，我们的模型参数减少了7%，在CPU（GPU）上的速度提高了21%（16%）。
2016-11-30 cs.CV cs.LG cs.NE
Pricing options and computing implied volatilities using neural networks
Delft University of Technology（代尔夫特理工大学）
本文提出利用人工神经网络作为代理来加速金融期权定价和隐含波动率计算，在Black-Scholes、Heston模型和Brent方法等三种求解器上的测试表明，该数据驱动方法能显著减少计算时间。
2019-04-23 cs.LG cs.NA math.NA
Deep Neural Networks: A Formulation Via Non-Archimedean Analysis
University of Texas Rio Grande Valley School of Mathematical & Statistical Sciences（德克萨斯大学里奥格兰德谷大学数学与统计科学学院）
提出一种基于非阿基米德局部域整数环的多层树状架构深度神经网络，该网络是定义在环上实值函数的鲁棒通用逼近器，并证明其对单位区间上平方可积函数的通用逼近性。
2026-06-16 cs.AI cs.LG cs.NE
An Order-Invariant and Interpretable Hierarchical Dilated Convolution Neural Network for Chemical Fault Detection and Diagnosis
Zhejiang University（浙江大学）；University of Illinois Urbana–Champaign Institute（伊利诺伊大学厄巴纳-香槟分校学院）；University of Electronic Science and Technology of China（电子科技大学）
本文提出阶不变可解释的分层空洞卷积神经网络HDLCNN，结合特征聚类、空洞卷积与SHAP，解决化学故障检测中CNN对特征顺序敏感和可解释性差的问题，并在田纳西-伊斯曼数据集上验证了其在故障检测与根因识别中的优越性能。
2023-02-13 cs.LG
Root Mean Square Layer Normalization
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
层归一化（LayerNorm）已成功应用于各种深度神经网络，以帮助稳定训练和提高模型收敛性，因为它能够处理输入和权重矩阵的重新居中和重新缩放。然而，LayerNorm引入的计算开销使得这些改进变得昂贵，并显着减慢了底层网络，特别是RNN。在本文中，我们假设在LayerNorm中的重定中心不变性是不确定的，并提出均方根层归一化，或RMSNorm。RMSNorm根据均方根（RMS）对一层神经元的总输入进行正则化，赋予模型重标度不变性和隐式学习率自适应能力。RMSNorm在计算上更简单，因此比LayerNorm更有效。我们还提出了部分RMSNorm或pRMSNorm，其中RMS是从求和输入的p%估计的，而不破坏上述属性。在不同网络结构下的多个任务上的实验表明，RMSNorm在不同模型下的运行时间比LayerNorm减少了7%~64%，但性能与LayerNorm相当。源代码可在https://github.com/bzhangGo/rmsnorm上获得。
2019-10-16 cs.CL cs.LG stat.ML
L1-Norm Batch Normalization for Efficient Training of Deep Neural Networks
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
批量归一化（BN）已被证明在加速和改进深度神经网络（DNN）的训练方面非常有效。然而，BN带来额外的计算，消耗更多的内存，并且通常会大幅减慢训练过程，这会减少训练工作量。此外，BN中的非线性平方和根运算也阻碍了低位宽量化技术，这引起了深度学习硬件社区的广泛关注。在这项工作中，我们提出了一个L1范数BN（L1 BN），在训练过程中的前向和后向传播都只有线性操作。L1 BN被证明是近似等于原来的L2-范数BN（L2 BN）乘以一个缩放因子。在各种卷积神经网络（CNN）和生成对抗网络（GANs）上的实验表明，与L2 BN相比，L1 BN保持了几乎相同的精度和收敛速度，但具有更高的计算效率。在FPGA平台上，L1 BN中的正负号运算和绝对运算与原来的平方运算和开方运算相比，分别获得了1.5 $\times$的加速比和50%的功耗节省.这种硬件友好的归一化方法不仅在速度上超过了L2 BN，而且简化了ASIC加速器的硬件设计，具有更高的能量效率。最后但并非最不重要的是，L1 BN承诺完全量化的DNN训练，这对未来的自适应终端设备至关重要。
2018-02-27 cs.LG
Critical Point Finding with Newton-MR by Analogy to Computing Square Roots
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California, Berkeley（加州大学伯克利分校）
通过了解该损失函数的临界点，即梯度为0的点，增强了对用于解决优化可微损失函数（OP 1）的最优化问题（下文简称为OP）的算法的行为的理解。在这里，我们通过提出并解决三个最优化问题来描述寻找临界点问题的解决方案：1）最小化梯度的范数（OP 2），2）最小化预处理更新方向与梯度之间的差（OP 3），以及3）最小化沿更新方向的梯度的范数（OP 4）。其结果是一个最近推出的算法，优化不变凸函数，牛顿MR，这是非常有效的问题，寻找神经网络的损失面的临界点。在推导之前，我们用一个类似的，但更简单的，通过结合Heron方法和Newton-Raphson除法来计算平方根的嵌套优化算法的推导。
2019-06-12 cs.LG math.OC
Learning by Turning: Neural Architecture Aware Optimisation
Caltech（加州理工学院）
深度网络的下降方法是出了名的反复无常：它们需要仔细调整步长、动量和权重衰减，而哪种方法在新的基准上效果最好还不清楚。为了解决这个问题，本文对神经结构和优化进行了综合研究，从而产生了一种新的优化器，称为Nero：神经元旋转器。Nero训练可靠，没有动量或权重衰减，在Adam和SGD失败的情况下也能工作，并且几乎不需要学习率调整。此外，Nero的内存占用量是Adam或LAMB的~平方根。Nero结合了两个想法：（1）在平衡网络的空间上投影梯度下降;（2）神经元特定的更新，其中步长设置每个神经元超平面转动的角度。本文最后讨论了架构和优化之间的几何联系如何影响深度学习中的泛化理论。
2021-09-18 cs.LG cs.NE
NeuMMU: Architectural Support for Efficient Address Translations in Neural Processing Units
KAIST（韩国科学技术院）
为了满足深度神经网络的计算和存储需求，神经处理单元（NPU）被广泛用于加速深度学习算法。与GPU如何从从属设备演变为主流处理器架构类似，NPU很可能会成为这个快速发展的异构架构领域的一等公民。本文提出了一个案例，使地址转换在NPU解耦的虚拟和物理内存地址空间。通过仔细的数据驱动的应用程序特性的研究，我们的根源之前GPU为中心的地址转换方案的几个限制，并提出了一个存储管理单元（MMU），是为NPU量身定制的。相比于一个甲骨文的MMU设计点，我们的建议只会产生平均0.06%的性能开销。
2019-11-15 cs.AR cs.DC cs.LG
Deep Convolutional Neural Network Model for Short-Term Electricity Price Forecasting
National Central University（国立中央大学）；National Pingtung University（国立屏东大学）；Jiangxi University of Science and Technology（江西理工大学）
在现代电力市场中，电力交易是一个竞争异常激烈的行业。更准确的价格预测对于帮助电力生产商和交易商做出更好的决策至关重要。在本文中，一种新的方法，卷积神经网络（CNN）提出了快速提供小时预测在能源市场。为了提高预测精度，我们将全年电价数据按季节分为四类，分别对每一类进行训练和预测。通过与现有方法的比较，我们发现所提出的模型取得了优异的效果，每类的平均绝对百分比误差（MAPE）和均方根误差（RMSE）分别约为5.5%和3。
2020-03-12 cs.LG cs.NE eess.SP
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Fast acoustic scattering using convolutional neural networks
Microsoft Research（微软研究院）
在交互式可听化和噪声控制应用中，衍射散射和遮挡是重要的声学效应，通常需要昂贵的数值模拟。我们建议训练卷积神经网络，以从凸散射体的横截面映射到所得空间响度分布的2D切片。我们表明，采用全分辨率残差网络来解决由此产生的图像到图像回归问题，可以产生空间详细的响度场，根均方误差小于1 dB，与全波模拟相比，加速比超过100倍。
2020-02-15 cs.LG cs.SD eess.AS
Deep Sequential Neural Network
Sorbonne Universites, UPMC Univ Paris 06（索邦大学，巴黎第六大学（UPMC））；CNRS（法国国家科学研究中心）
神经网络通过它们的连续层顺序地构建高级特征。我们在这里提出了一个新的神经网络模型，其中每一层与一组候选映射。当处理输入时，在每一层，根据顺序决策过程在这些候选中选择一个映射。生成的模型是根据类似DAG的体系结构构建的，因此从根到叶节点的路径定义了一系列转换。与传统多层网络中的全局变换不同，该模型允许我们学习一组局部变换。因此，它能够通过特定序列的这种局部变换来处理具有不同特征的数据，从而增加了该模型在经典多层网络中的表达能力。学习算法的灵感来自策略梯度技术来自强化学习领域，并在这里使用，而不是经典的反向传播基于梯度下降技术。在不同数据集上的实验表明了这种方法的相关性。
2014-10-02 cs.LG cs.NE
Local Reinforcement Learning with Action-Conditioned Root Mean Squared Q-Functions
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文提出基于动作的均方Q函数，通过时间差分学习实现局部强化学习，优于现有无反向传播方法，在MinAtar和DeepMind控制套件中表现优异。
2026-04-03 cs.AI cs.LG
Alternatives to the Scaled Dot Product for Attention in the Transformer Neural Network Architecture
University of Puget Sound（普吉特海湾大学）
针对 Transformer 注意力中缩放点积导致梯度消失的问题，提出除以键长度之和的替代缩放，模拟实验表明其更有效。
2023-11-15 cs.CL cs.LG cs.NE
Estimation of the Mean Function of Functional Data via Deep Neural Networks
Auburn University（奥本大学）；New Jersey Institute of Technology（新泽西理工学院）
在这项工作中，我们提出了一种深度神经网络方法来执行函数数据的非参数回归。所提出的估计器基于具有ReLU激活函数的稀疏连接深度神经网络。通过适当地选择网络结构，我们的估计达到了经验范数下的最优非参数收敛速度。在某些情况下，如三角多项式核和足够大的采样频率，收敛速度甚至比根$n$率。通过蒙特卡罗模拟研究，我们检查所提出的方法的有限样本性能。最后，所提出的方法应用于分析阿尔茨海默病患者的正电子发射断层扫描图像从阿尔茨海默病神经影像倡议数据库。
2020-12-08 cs.LG stat.ML
Neural Networks with Cheap Differential Operators
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
神经网络的导数可以在任何体系结构下有效地计算，但某些应用需要具有较高时间复杂度的微分算子。我们描述了一个家庭的限制神经网络架构，允许有效的计算一个家庭的微分算子，涉及维度的衍生物，用于计算的情况下，如发散。我们提出的架构有一个雅可比矩阵组成的对角和空心（非对角）组件。然后，我们可以修改向后计算图，以利用自动微分有效地提取维度导数。我们证明了这些廉价的微分算子解决根查找子问题的隐式ODE求解器，连续规范化流的精确密度评估，并评估福克-普朗克方程训练随机微分方程模型。
2019-12-08 cs.LG stat.ML
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University（西北大学）
如今，在线学习是一种吸引人的学习范式，由于最近出现的大规模应用，如在线广告投放和在线网络排名，这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本，而在实践中，数据是无限流的。在这样的设置中，具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾，这是一种新的在线流学习性能指标，它测量算法在每个固定数量的连续样本上的性能。在同一时间，我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率，并提供非常技术性的分析，建立遗憾的边界属性的算法。我们覆盖了凸设置，显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置，我们提供了相同的后悔订单的第一次分析（以前的证明有缺陷）。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下，我们建立，如果初始权重接近一个稳定点，相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training
AI Theory Lab（AI理论实验室）；Huawei（华为）；Machine Learning Research Group and Oxford-Man Institute for Quantitative Finance（机器学习研究组与牛津-曼量化金融研究所）；University of Oxford（牛津大学）
我们使用尖峰，场依赖随机矩阵理论研究了mini-bandwidth对深度神经网络损失景观的影响。我们证明了批量海森函数的极值的大小大于经验海森函数的极值。我们也得到了类似的结果广义高斯-牛顿矩阵近似的海森。作为我们的定理的结果，我们推导出作为批量大小的函数的最大学习率的解析表达式，为随机梯度下降（线性缩放）和自适应算法（如Adam（平方根缩放））提供实用的训练方案，用于平滑的非凸深度神经网络。虽然随机梯度下降的线性缩放已经在更严格的条件下推导出来，我们概括了自适应优化器的平方根缩放规则，据我们所知，是完全新颖的。对于随机二阶方法和自适应方法，我们推导出最小阻尼系数与学习率与批量大小之比成正比。我们在CIFAR- $100$和ImageNet数据集上验证了我们对VGG/WideResNet架构的声明。基于我们对子采样Hessian的研究，我们开发了一种基于飞行学习率和动量学习器的随机Lanczos求积，这避免了对这些关键超参数进行昂贵的多次评估的需要，并在CIFAR- $100$的预残差架构上显示了良好的初步结果。
2021-11-05 cs.LG stat.ML
Zero Stability Well Predicts Performance of Convolutional Neural Networks
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lanzhou University（兰州大学）
什么样的卷积神经网络（CNN）结构表现良好的问题很吸引人。在这项工作中，我们通过将零稳定性和模型性能联系起来，朝着答案迈进了一步。具体来说，我们发现，如果一个常微分方程的离散求解器是零稳定的，那么与该求解器对应的CNN表现良好。我们首先在深度学习的背景下给出零稳定性的解释，然后研究现有的一阶和二阶CNN在不同零稳定情况下的性能。基于初步观察，我们提供了一种高阶离散化来构建CNN，然后提出了一个零稳定网络（ZeroSNet）。为了保证ZeroSNet的零稳定性，我们首先推导出一个满足一致性条件的结构，然后给出一个无训练参数的零稳定区域。通过分析特征方程的根，从理论上得到了特征映射的最优系数。从经验上讲，我们从三个方面展示了我们的结果：我们在不同的数据集上提供了不同深度的大量经验证据，表明特征方程根的模是需要历史特征的CNN性能的关键;我们的实验表明，ZeroSNet优于现有的基于高阶离散化的CNN; ZeroSNets对输入上的噪声表现出更好的鲁棒性。源代码可从\url{https://github.com/LongJin-lab/ZeroSNet}获得。
2022-06-27 cs.LG
An Operator Theoretic Approach for Analyzing Sequence Neural Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
分析深层神经网络的内在机制是机器学习的一项基础性任务。现有的工作提供了有限的分析或它依赖于当地的理论，如定点分析。相比之下，我们建议使用植根于Koopman理论的算子理论方法来分析训练好的神经网络，即Koopman神经网络分析（KANN）。我们方法的关键是Koopman算子，它是一个线性对象，全局代表网络动态的主导行为。Koopman算子的线性便于通过其特征向量和特征值进行分析。我们的方法表明，后者的特征分解持有语义信息相关的神经网络内部工作。例如，特征向量突出情感分析任务中的正和负n元语法;类似地，特征向量捕获ECG分类问题中健康心跳信号的显著特征。
2023-02-22 cs.LG math.DS
Theoretical Investigation of Composite Neural Network
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文从理论上研究了复合神经网络的性能。复合神经网络是组合一组预训练和非实例化的神经网络模型的有根有向非循环图，其中预训练的神经网络模型针对特定任务精心制作，并且目标是近似具有实例化权重的特定函数。在复合神经网络中采用这种预训练模型的优点有两个方面。一个是受益于他人的智慧和勤奋，另一个是节省数据准备的努力和培训的资源和时间。但复合神经网络的整体性能仍不清楚。在这项工作中，我们证明了一个复合神经网络，具有很高的概率，比任何预先训练的组件在一定的假设下表现得更好。此外，如果将额外的预训练组件添加到复合网络中，则很有可能提高整体性能。在实证评估中，明显不同的应用支持上述发现。
2019-12-27 cs.LG stat.ML
Multidimensional Uncertainty Quantification for Deep Neural Networks
本文提出多维不确定性量化框架，分别面向图神经网络、抗OOD的半监督学习和多标签时序网络，揭示不同不确定性的检测价值并用于早期事件检测。
2023-04-20 cs.LG
Compressibility Loss for Neural Network Weights
Nokia Technologies（诺基亚科技）
在本文中，我们应用了压缩性损失，使学习高度可压缩的神经网络的权重。以前提出的损失作为一个信号的否定稀疏性的措施，但在本文中，我们表明，最大限度地减少这种损失也强制信号的非零部分具有非常低的熵，从而使整个信号更可压缩。对于一个优化问题的目标是最小化的压缩性损失（目标），我们证明了在任何临界点的目标，权重向量是一个三元信号和相应的值的目标是在信号中的非零元素的数量的平方根，从而直接相关的稀疏性。在实验中，我们训练神经网络的压缩损失，我们表明，该方法实现的重量稀疏性和压缩比与国家的最先进的。
2019-05-03 cs.LG stat.ML
Equivariant Neural Networks for Spin Dynamics Simulations of Itinerant Magnets
The University of Tokyo（东京大学）
提出等变神经网络用于Kondo晶格模型自旋动力学模拟，确保平移与旋转等变性，显著降低验证误差，并成功再现斯格明子晶体相变。
2023-05-05 cond-mat.dis-nn cond-mat.mtrl-sci cond-mat.str-el
Training of Deep Neural Networks based on Distance Measures using RMSProp
Qiagen GmbH（凯杰公司）；University Duisburg-Essen（杜伊斯堡-埃森大学）
消失梯度问题是深度学习成功的主要障碍。近年来，通过多种不同的技术逐渐缓解。然而，这个问题并没有真正从根本上解决，因为它是具有基于点积的激活函数的神经网络所固有的。在一系列论文中，我们将分析不基于点积的替代神经网络结构。在这第一篇论文中，我们重温神经网络建立的距离措施和高斯激活函数的基础上的层。这些类型的网络在过去只被很少使用，因为当使用普通的随机梯度下降方法时，它们很难训练。我们表明，通过使用均方根传播（RMSProp），可以有效地学习多层神经网络。此外，我们表明，当适当初始化时，这些类型的神经网络比传统的神经网络遭受更少的消失和爆炸梯度问题，即使是深度网络。
2017-08-06 cs.AI cs.LG stat.ML
Fast computation of loudness using a deep neural network
University of Cambridge（剑桥大学）
本文介绍了一种深度神经网络（DNN），用于从声音的时间波形预测声音的瞬时响度。DNN使用一个更复杂的模型的输出进行训练，称为剑桥响度模型。虽然现代PC可以使用剑桥响度模型每秒执行几百次响度计算，但使用DNN每秒可以执行超过100，000次，允许实时计算响度。使用这两个模型的瞬时响度水平的预测之间的均方根偏差小于0.5 phon看不见的类型的声音。我们认为，通过更快的DNN模拟复杂感知模型的一般方法可以应用于其他感知模型，使它们实时运行。
2019-05-24 cs.LG cs.SD eess.AS
