Deep Graph Neural Networks with Shallow Subgraph Samplers
虽然图神经网络（GNN）是学习图表示的强大模型，但大多数最先进的模型在两到三层之外没有显着的准确性增益。深度GNN从根本上需要解决：1）。过度平滑导致的表现力挑战，以及2）。由于邻域爆炸的计算挑战。我们提出了一个简单的“深GNN，浅采样器”的设计原则，以提高GNN的准确性和效率-生成目标节点的表示，我们使用深GNN仅在浅，局部化的子图中传递消息。适当采样的子图可以排除不相关甚至噪声节点，并且仍然保留关键的邻居特征和图结构。然后，深度GNN平滑信息丰富的局部信号以增强特征学习，而不是将全局图信号过度平滑为“白噪声”。我们从理论上证明了为什么深度GNN与浅采样器的组合会产生最佳的学习性能。然后，我们提出了各种采样算法和神经架构扩展，以实现良好的实证结果。在最大的公共图数据集ogbn-papers 100 M上，我们实现了最先进的精度，硬件成本降低了一个数量级。
2022-03-23 cs.LG
FrankenSplit: Efficient Neural Feature Compression with Shallow Variational Bottleneck Injection for Mobile Edge Computing
Fellow, IEEE（IEEE Fellow）
针对边缘设备卸载高维数据导致带宽竞争的问题，提出FrankenSplit框架，通过浅层变分瓶颈注入实现资源感知的特征压缩，在保持准确率的同时显著降低比特率并大幅提升卸载速度。
2024-03-23 cs.AI cs.DC cs.LG
Computationally-Efficient Neural Image Compression with Shallow Decoders
University of California, Irvine（加州大学尔湾分校）
本文提出使用浅层或线性解码器，配合更强编码器和迭代编码，在保持率失真性能的同时大幅降低神经图像压缩的解码复杂度，实现了解码FLOPs减少80%以上的新前沿。
2023-11-10 cs.CV cs.LG eess.IV
Model compression via distillation and quantization
ETH Zürich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）；IST Austria（奥地利科学技术研究所）
深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。该领域受到相当大关注的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文针对这一问题，提出了两种新的压缩方法，它们联合利用权重量化和将较大的教师网络蒸馏成较小的学生网络。我们提出的第一种方法被称为量化蒸馏，并在训练过程中利用蒸馏，通过将蒸馏损失（相对于教师表示）纳入学生网络的训练中，该网络的权重被量化到有限的一组水平。第二种方法是可微分量化，通过随机梯度下降优化量化点的位置，以更好地拟合教师模型的行为。我们通过对卷积和递归架构的实验来验证这两种方法。我们表明，量化的浅学生可以达到类似的精度水平，全精度教师模型，同时提供数量级压缩，推理加速，是线性的深度减少。总之，我们的研究结果使DNN能够在资源受限的环境中利用在更强大的设备上开发的架构和准确性进步。
2018-02-15 cs.LG cs.NE
On the Number of Linear Regions of Convolutional Neural Networks
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（初探人工智能研究所）
深度学习的一个基本问题是理解深度神经网络（NN）在实践中的出色性能。对NN优越性的一种解释是它们可以实现一大类复杂函数，即，他们有很强的表现力。ReLU NN的表达能力可以通过它可以将其输入空间分离成的最大线性区域数量来量化。在本文中，我们提供了研究CNN线性区域所需的几个数学结果，并使用它们来推导单层ReLU CNN线性区域的最大和平均数量。此外，我们还获得了多层ReLU CNN线性区域数量的上界和下界。我们的研究结果表明，更深的CNN比浅的CNN具有更强大的表达能力，而CNN比每个参数的全连接NN具有更强的表达能力。
2020-06-27 cs.LG stat.ML
Piecewise Linear Neural Networks and Deep Learning
KU Leuven（鲁汶大学）；Tsinghua University（清华大学）
作为一种强大的建模方法，分段线性神经网络（PWLNN）已在各个领域取得成功，最近在深度学习中取得了成功。为了应用PWLNN方法，长期以来一直在研究表示和学习。1977年，规范表示开创了通过增量设计学习的浅PWLNN的工作，但应用于大规模数据被禁止。2010年，修正线性单元（ReLU）提倡PWLNN在深度学习中的流行。从那时起，PWLNN已成功应用于广泛的任务，并取得了优越的性能。在本书中，我们通过将作品分为浅层和深层网络，系统地介绍了PWLNN的方法。首先，不同的PWLNN表示模型构造与详细的例子。通过PWLNN，介绍了数据学习算法的演变，并进行了深入的理论分析。然后，介绍了典型的应用，并进行了讨论和展望。
2022-06-18 cs.LG
Denoising Deep Neural Networks Based Voice Activity Detection
Tsinghua University（清华大学）
最近，已经提出了基于深度信念网络（DBN）的语音活动检测（VAD）。它是强大的融合多种功能的优势，并达到最先进的性能。然而，基于DBN的VAD的深层并没有显示出比浅层明显的优越性。在本文中，我们提出了一种基于去噪深度神经网络（DDNN）的VAD来解决上述问题。具体来说，我们以一种特殊的无监督去噪贪婪逐层模式对深度神经网络进行预训练，然后通过常用的反向传播算法对整个网络进行有监督的微调。在预训练阶段，我们把含噪语音信号作为可见层，并尝试提取一个新的特征，使含噪语音信号与其对应的干净语音信号之间的重建交叉熵损失最小化。实验结果表明，所提出的基于DDNN的VAD不仅优于基于DBN的VAD，但也表现出明显的性能改善的深层较浅的层。
2013-03-04 cs.LG cs.SD stat.ML
Transferability of Graph Neural Networks using Graphon and Sampling Theories
Faculty of Mathematics, University of Vienna（维也纳大学数学学院）；Department of Mathematics and Statistics, Concordia University（康考迪亚大学数学与统计学院）
该研究提出显式双层graphon神经网络（WNN）架构，证明其可高效逼近带限graphon信号，进而建立双层GNN在大尺寸图上的可迁移性，覆盖确定性与随机图，克服维数灾难，为不同尺寸图数据处理提供无需重训的性能保证方案。
2024-06-21 cs.LG cs.SI
The power of deeper networks for expressing natural functions
Massachusetts Institute of Technology（麻省理工学院）
众所周知，神经网络是通用的近似器，但在实践中，更深的网络往往比更浅的网络更强大。我们通过证明近似$n$变量的多变量多项式的自然类所需的神经元总数$m$仅与深度神经网络的$n$线性增长，但仅允许单个隐藏层时呈指数增长。我们还提供证据表明，当隐藏层的数量从$1$增加到$k$时，神经元的需求不是随着$n$而是随着$n^{1/k}$呈指数增长，这表明实际可表达性所需的最小层数只随着$n$呈几何增长。
2018-04-27 cs.LG cs.NE stat.ML
How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
随机化神经网络（randomized NN），其中只有终端层的权重被优化，构成了一个强大的模型类，以减少训练神经网络模型的计算时间。与此同时，这些模型在各种回归和分类任务中的泛化能力令人惊讶。在本文中，我们给出了一个精确的宏观表征（即，函数空间中的特征）的随机化，浅NN与ReLU激活（RSN）的泛化行为。我们表明，RSN对应于一个广义加性模型（GAM）型回归，其中考虑了无限多个方向：无限广义加性模型（IGAM）。IGAM被形式化为一个特定的正则化泛函和一个相当普遍的损失的函数空间中的优化问题的解决方案。这项工作是对先前工作的多变量NN的扩展，我们展示了在某些条件下，如果输入是一维的，那么具有ReLU激活的RSN的行为就像样条回归一样。
2023-03-20 cs.LG stat.ML
SPINN: An Optimal Self-Supervised Physics-Informed Neural Network Framework
Texas A&M University（德克萨斯A&M大学）
本文提出SPINN自监督物理信息神经网络框架，用于预测液态钠在矩形微型散热器中的对流换热系数，通过不确定性加权平衡数据与物理，误差约+8%，为液态金属散热器设计提供高效替代工具。
2025-09-07 cs.LG
Evaluating Deep Graph Neural Networks
Peking University（北京大学）
图神经网络（GNNs）已经广泛应用于各种图挖掘任务中。然而，他们遭受浅架构的问题，这是阻碍模型性能提高的关键障碍。虽然已经提出了几种相关的方法，但现有的研究都没有深入了解深度GNN性能下降的根本原因。在本文中，我们进行了第一次系统的实验评估，目前浅架构的基本限制。基于实验结果，我们回答了以下两个基本问题：（1）是什么导致了深度GNN的性能受损;（2）我们何时需要以及如何构建深度GNN。上述问题的答案为研究人员设计深入且性能良好的GNN提供了经验见解和指南。为了展示我们提出的指导方针的有效性，我们提出了深度图多层感知器（DGMLP），这是一种强大的方法（本身就是一种范式），有助于指导深度GNN设计。实验结果表明，DGMLP的三个优点：1）高准确性-它在各种数据集上实现了最先进的节点分类性能; 2）高灵活性-它可以根据图的大小和稀疏性灵活地选择不同的传播和转换深度; 3）高可扩展性和效率-它支持大规模图上的快速训练。我们的代码可以在https://github.com/zwt233/DGMLP上找到。
2021-08-02 cs.AI cs.LG
Analytical Solution of a Three-layer Network with a Matrix Exponential Activation Function
本文证明具有矩阵指数激活函数的三层网络在仅可逆性假设下可解析求解两个方程，而单层网络只能求解一个方程，从而从理论上揭示了深度与非线性激活的作用。
2024-07-02 cs.AI cs.LG stat.ML
Towards Lightweight Black-Box Attacks against Deep Neural Networks
University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；Alibaba Cloud Computing Ltd（阿里云计算有限公司）；iFlytek Research（讯飞研究院）；The University of Sydney（悉尼大学）
黑盒攻击可以在不访问目标模型参数的情况下生成对抗性示例，这在很大程度上加剧了部署的深度神经网络（DNN）的威胁。然而，以前的工作指出，黑盒攻击无法误导目标模型时，他们的训练数据和输出是不可访问的。在这项工作中，我们认为，黑盒攻击可以构成实际的攻击，在这种极其限制性的情况下，只有几个测试样本。具体来说，我们发现攻击在一些测试样本上训练的DNN的浅层可以生成强大的对抗性示例。由于只需要几个样本，我们将这些攻击称为轻量级黑盒攻击。推广轻量级攻击的主要挑战是减轻由浅层近似误差引起的不利影响。由于在样本较少的情况下很难减轻近似误差，因此我们提出了用于轻量级攻击的误差Transformer（ETF）。即，ETF将参数空间中的近似误差转换为特征空间中的扰动，并通过扰动特征来消除误差。在实验中，轻量级的黑盒攻击与建议的ETF取得了令人惊讶的结果。例如，即使每个类别只有1个样本可用，轻量级黑盒攻击的攻击成功率也仅比具有完整训练数据的黑盒攻击的攻击成功率低约3%。
2022-10-11 cs.CR cs.LG
Hierarchically Compositional Tasks and Deep Convolutional Networks
Center for Brains, Minds and Machines（脑、心智与机器中心）；Massachusetts Institute of Technology（麻省理工学院）
从ImageNet开始，深度学习的主要成功案例依赖于深度卷积网络，在某些任务上，它的表现明显优于传统的浅层分类器，如支持向量机，也优于深度全连接网络;但是深度卷积网络有什么特别之处呢？近似理论的最新结果证明了具有或不具有共享权重的深度卷积网络在逼近其组成结构中具有层次局部性的函数时的指数优势。最近，分层结构被证明很难从数据中学习，这表明它是嵌入网络架构中的强大先验。然而，这些数学结果并没有说明哪些现实任务对应于具有层次局部性的输入输出函数。为了评估这一点，我们考虑了一组视觉任务，在这些任务中，我们通过“确定性置乱”破坏图像的局部组织，以便稍后对这些图像执行视觉任务，这些图像以相同的方式进行训练和测试。对于对象识别，我们发现，正如预期的那样，加扰不会影响浅或深全连接网络的性能，这与卷积网络的性能相反。然而，并非所有涉及图像的任务都会受到影响。纹理感知和全局颜色估计对确定性加扰的敏感性要低得多，这表明与这些任务对应的底层函数不是分层局部的;并且还反直觉地表明，这些任务更好地近似于非深度（纹理）或卷积（颜色）的网络。总之，这些结果揭示了匹配网络架构与其嵌入的任务之前要学习的重要性。
2021-03-25 cs.LG eess.IV q-bio.NC
From Local to Global: Spectral-Inspired Graph Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；Renmin University of China（中国人民大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Rice University（莱斯大学）
图神经网络（GNN）是用于非欧数据的强大深度学习方法。流行的GNN是消息传递算法（MPNN），它在局部图邻域中聚合和组合信号。然而，浅MPNN往往会错过长距离信号，并且在一些异质图上表现不佳，而深MPNN可能会遇到过度平滑或过度挤压等问题。为了缓解这些问题，现有的作品通常借用标准化技术从训练神经网络上的欧几里德数据或修改图形结构。然而，这些方法在理论上并没有得到很好的理解，并且可能会增加整体计算复杂度。在这项工作中，我们从谱图嵌入中获得灵感，并提出了$\texttt{PowerEmbed}$ -一种简单的逐层归一化技术，以提高MPNN。我们表明，$\texttt{PowerEmbed}$可以证明表示的顶部$k$领先的特征向量的图操作，这防止过度平滑，是不可知的图的拓扑结构，同时，它产生了一个列表的表示范围从局部特征到全局信号，这避免了过度挤压。我们应用$\texttt{PowerEmbed}$在广泛的模拟和真实的图形，并证明其竞争力的表现，特别是对heterophilous图。
2022-11-04 cs.LG stat.ML
The Differential Neural Tangent Kernel and Its Positivity
The Chinese University of Hong Kong（香港中文大学）
研究针对物理信息神经网络（PINN），提出微分神经切线核（DNTK）理论框架，通过NTK分析PINN，建立了无限宽度DNTK的正性，为训练PINN的梯度型算法分析奠定基础。
2026-07-14 cs.LG cs.NA math.NA
Nearly-tight bounds on linear regions of piecewise linear neural networks
Department of Electrical Engineering, Tsinghua University（清华大学电子工程系）
近年来，深度神经网络（DNN）的发展为人工智能开辟了一个崭新的时代。DNN被证明在解决非常复杂的问题方面非常出色，例如，视觉识别和文本理解，达到与人竞争甚至超越人的程度。尽管DNN取得了鼓舞人心的成功，但仍然缺乏彻底的理论分析来揭开其魔力的奥秘。DNN结构的设计主要取决于网络深度、神经元数量和激活方面的经验结果。最近发表的一些试图解释DNN的杰出作品已经建立了对其内部机制的初步了解。尽管如此，探索DNN如何运作的研究仍处于初始阶段，还有很大的改进空间。在本文中，我们扩展了关于线性区域边界的分段线性激活神经网络（PLNN）的研究。我们提出了（i）单层PLNN的线性区域的确切最大数量;（ii）多层PLNN的上限;以及（iii）整流器网络上线性区域的最大数量的更严格的上限。导出的边界也间接解释了为什么深层模型比浅层模型更强大，以及激活函数的非线性如何影响网络的表现力。
2018-12-26 cs.AI cs.LG stat.ML
Neural Additive Models: Interpretable Machine Learning with Neural Nets
Google Research（谷歌研究院）；Microsoft Research（微软研究院）；Cohere；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；MIT（麻省理工学院）
深度神经网络（DNN）是强大的黑盒预测器，在各种任务上都取得了令人印象深刻的性能。然而，他们的准确性是以可理解性为代价的：通常不清楚他们是如何做出决定的。这阻碍了它们在高风险决策领域（如医疗保健）的适用性。我们提出了神经加性模型（NAM），它将DNN的一些表达能力与广义加性模型的固有可理解性相结合。NAM学习神经网络的线性组合，每个神经网络关注单个输入特征。这些网络是联合训练的，可以学习它们的输入特征和输出之间的任意复杂关系。我们在回归和分类数据集上的实验表明，NAM比广泛使用的可理解模型（如逻辑回归和浅决策树）更准确。它们在准确性上与现有的最先进的广义加法模型相似，但更灵活，因为它们基于神经网络而不是提升树。为了证明这一点，我们展示了NAM如何因其可组合性而用于合成数据和COMPAS累犯数据的多任务学习，并证明NAM的可微性使其能够训练更复杂的COVID-19可解释模型。
2021-10-24 cs.AI cs.LG stat.ML
Graph Partner Neural Networks for Semi-Supervised Learning on Graphs
Harbin Institute of Technology（哈尔滨工业大学）；NetEase（网易）
图卷积网络（GCN）是处理图结构数据的强大工具，在节点分类、链接预测和图分类等任务中具有最先进的性能。然而，深度GCN不可避免地会遇到过度平滑的问题，即在重复的图卷积操作之后，节点的表示往往无法区分。为了解决这个问题，我们提出了图伙伴神经网络（GPNN），其中包括一个去参数化的GCN和参数共享MLP。我们提供了经验和理论证据来证明建议的MLP合作伙伴在处理过度平滑的同时受益于适当的平滑的有效性。为了进一步解决过度平滑和调节学习过程，我们引入了一个精心设计的一致性对比损失和KL发散损失。此外，我们提出了一个图增强技术，以提高在图中的边缘的整体质量。虽然大多数GCN只能在浅层结构下工作，但GPNN可以通过增加模型深度来获得更好的结果。各种节点分类任务的实验证明了GPNN的最先进的性能。同时，进行了广泛的烧蚀研究，以调查每个组件在解决过度平滑和提高性能的贡献。
2021-10-18 cs.LG
Multigoal-oriented dual-weighted-residual error estimation using deep neural networks
Leibniz University（莱布尼茨大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Tongji University（同济大学）；Ton Duc Thang University（孙德胜大学）
深度学习已经在视觉识别和某些人工智能任务中显示出成功的应用。深度学习也被认为是一种强大的工具，具有高度的灵活性来近似函数。在目前的工作中，具有所需的属性的函数被设计来近似的解决方案的偏微分方程。我们的方法是基于后验误差估计，其中伴随问题解决的误差定位，制定误差估计的神经网络的框架内。提出了一种有效且易于实现的多目标泛函后验误差估计算法，该算法采用双加权残差法，然后利用神经网络计算原解和伴随解.本研究表明，这种基于数据驱动模型的学习具有优越的近似感兴趣的数量，即使相对较少的训练数据。新的算法的发展与数值试验的例子得到证实。论证了使用深层神经网络相对于浅层神经网络的优势，并提出了增强收敛性的技术
2021-12-22 cs.LG cs.NA math.NA
Topological Expressivity of ReLU Neural Networks
Technische Universität Berlin（柏林工业大学）
本文用Betti数量化ReLU网络在二分类中的拓扑简化能力，给出给定架构可实现简化的上下界，证明深度网络相较浅层具有指数级拓扑表达优势。
2024-06-10 cs.DM cs.LG math.AT
From Kernel Methods to Neural Networks: A Unifying Variational Formulation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
最小化的数据保真度项和添加剂正则化功能产生了一个强大的监督学习的框架。在本文中，我们提出了一个统一的正则化功能，取决于一个运营商和一个通用的Radon域规范。我们建立了一个极小的存在性，并给出了参数形式的解决方案（S）在非常温和的假设。当范数是希尔伯特时，所提出的公式产生涉及径向基函数的解决方案，并且与机器学习的经典方法兼容。相比之下，对于全变分范数，解采用具有由正则化算子确定的激活函数的两层神经网络的形式。特别是，我们通过让运算符是拉普拉斯算子来检索流行的ReLU网络。我们还刻画了中间正则化范数$\|\cdot\|=\|\cdot\|_{L_p}$与$p\in(1,2]$的解决方案。我们的框架为广泛的正则化算子族提供了通用近似的保证，或者等价地，为各种各样的浅层神经网络提供了通用近似的保证，包括激活函数多项式递增的情况（如ReLU）。它还解释了偏置和跳跃连接在神经结构中的有利作用。
2022-06-29 cs.LG math.FA math.OC
Entanglement Entropy of Target Functions for Image Classification and Convolutional Neural Network
Massachusetts Institute of Technology（麻省理工学院）
深度卷积神经网络（CNN）在计算机视觉特别是图像分类问题中的成功，要求一种新的信息论来描述图像的功能，而不是图像本身。本文在建立了图像分类问题与量子自旋模型之间的数学联系之后，提出利用纠缠熵作为表征图像一般函数所需信息的有力工具。证明了合理图像分类问题的目标函数的纠缠熵存在一个子体积律界。因此，图像分类的目标函数只占用整个希尔伯特空间的一个小子空间。因此，多项式参数的神经网络是有效的表示这样的目标函数的图像。纠缠熵的概念也可以用来描述不同神经网络的表达能力。例如，为了保持相同的表达能力，卷积神经网络中的通道数$D$应该与卷积层数$n_c$成比例，即$D\sim D_0^{\frac{1}{n_c}}$。因此，具有大$n_c$的较深CNN比浅CNN更有效。
2017-10-16 cond-mat.str-el cs.CV cs.LG
Online-Learning Deep Neuro-Adaptive Dynamic Inversion Controller for Model Free Control
Missouri University of Science and Technology（密苏里科技大学）
自适应方法在控制文献中很受欢迎，因为它们在建模领域提供了灵活性和容错性。神经网络自适应控制特别有利于机器学习算法逼近未知函数的强大特性和放松传统自适应控制内的某些约束的能力。深度神经网络是一种大型框架网络，其近似特性远远优于浅层网络。然而，由于尺寸特定的复杂性，例如训练中的消失/爆炸梯度，实现深度神经网络可能很困难。在本文中，实现了一种神经自适应控制器，其特征在于在新的权重更新律上训练的深度神经网络，该权重更新律通过仅结合梯度的符号来避免消失/爆炸梯度问题。设计的控制器类型是一个自适应动态逆控制器，利用修改后的状态观测器在二级估计回路训练网络。深度神经网络在线学习整个工厂模型，创建完全无模型的控制器。通过对一个两连杆平面机器人手臂的仿真，证明了该控制器能够快速学习非线性对象，并在跟踪控制问题中表现出良好的性能。
2021-07-21 cs.LG cs.RO cs.SY
