Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture
University of California, San Diego（加州大学圣地亚哥分校）
该研究揭示任意有向无环图架构的前馈神经网络在宽度（输入层和第一层外神经元最小入度）趋于无穷时会线性化，明确了其底层数学结构，推广了相关标准架构的研究。
2023-06-07 cs.LG math.OC stat.ML
Manifold GCN: Diffusion-based Convolutional Neural Network for Manifold-valued Graphs
BIFOLD—Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）；Technical University Berlin（柏林技术大学）；Zuse Institute Berlin（柏林泽尼茨研究所）
提出两种适用于黎曼流形特征图的图神经网络层：基于流形值图扩散方程的扩散层和受向量神经元启发的切向多层感知器，两者在节点置换和流形等距下等变，在更广泛问题上优于任务特定网络。
2026-06-17 cs.LG math.DG
Learning the Non-linearity in Convolutional Neural Networks
South Westfalia University of Applied Science（南威斯特法伦应用科学大学）
我们提出在卷积神经网络的特征生成过程中引入非线性操作。这种非线性可以以各种方式实现。首先，我们讨论了在数据增强过程中使用非线性来增加神经网络识别能力的鲁棒性。为此，我们通过将一定数值范围内的指数应用于输入空间的各个数据点来随机干扰输入数据集。第二，我们提出了非线性卷积神经网络，我们应用指数运算的每个元素的感受野。为此，我们定义了一个额外的权重矩阵相同的维度作为标准的内核权重矩阵。然后，该矩阵的权重构成感受野的相应分量的指数。在基本设置中，我们通过定义合适的参数来保持训练过程中的权重参数固定。或者，我们使用合适的参数化使指数权重参数端到端可训练。该网络架构被应用于时间序列分析数据集，与基线网络相比，分类性能有了相当大的提高。
2019-05-29 cs.CV cs.LG
A Hyperbolic-to-Hyperbolic Graph Convolutional Network
Beijing Institute of Technology (BIT)（北京理工大学）
双曲图卷积网络（GCN）具有强大的表示能力，可以对具有层次结构的图进行建模。现有的双曲GCN借助于切空间来实现双曲流形上的图卷积，这是较差的，因为切空间只是流形的局部近似。在本文中，我们提出了一个双曲到双曲图卷积网络（H2 H-GCN），直接工作在双曲流形。具体来说，我们开发了一个流形保持图卷积，由双曲特征变换和双曲邻域聚合组成。双曲特征变换作为双曲流形上的线性变换。通过对变换子矩阵施加正交约束，保证变换后的节点表示仍位于双曲流形上。双曲邻域聚合通过爱因斯坦中点更新每个节点表示。H2 H-GCN避免了切空间近似引起的失真，保持了全局双曲结构。大量实验表明，H2 H-GCN在链接预测、节点分类和图分类任务上取得了实质性的改进。
2021-04-14 cs.LG
Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；Sapienza University of Rome（罗马大学）
本文提出基于连接拉普拉斯算子指数的切丛卷积，定义切丛滤波器与切丛神经网络，其离散化对应层丛神经网络并收敛于连续模型，在合成和真实数据上验证了有效性。
2024-03-15 cs.LG eess.SP
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
A Special Case of Quadratic Extrapolation Under the Neural Tangent Kernel
Abiel J. Kim
该研究探讨了神经切线核下原点附近二次外推的特例，揭示了ReLU NTK外推的极值边界。
2025-12-11 cs.LG
Simple Graph Convolutional Networks
University of Padua（帕多瓦大学）
许多用于图的神经网络都是基于十多年前提出的图卷积算子。从那时起，已经提出了许多替代定义，这些定义往往会增加模型的复杂性（和非线性）。在本文中，我们遵循相反的方向，提出了简单的图卷积算子，可以在单层图卷积网络中实现。我们表明，我们的卷积算子比文献中的许多建议更有理论基础，并且在所考虑的基准数据集上表现出最先进的预测性能。
2021-06-10 cs.LG
Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse
Translational Research Center for Neuroimaging and Data Science (TReNDs)（神经成像与数据科学转化研究中心（TReNDs））；Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）；Maynooth University（梅努斯大学）
本文全面研究了DNNs的梯度秩，理论分析了架构选择和数据结构对梯度秩界限的影响，并揭示激活线性、瓶颈层等设计如何影响低秩学习，为深度学习设计提供指导。
2024-02-09 cs.LG
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular Sheaves and Back
University of Pennsylvania（宾夕法尼亚大学）；Sapienza University of Rome（罗马第一大学）；Duke University（杜克大学）
在这项工作中，我们介绍了利用连接拉普拉斯算子的黎曼流形的切丛上的卷积运算。我们使用卷积来定义切束滤波器和切束神经网络（TNNs），这是一种在切束信号上操作的新型连续架构，即流形上的向量场。我们在空间和时间域中离散TNN，表明它们的离散对应物是最近引入的Sheaf神经网络的原则变体。我们正式证明，这种离散的架构收敛到底层的连续TNN。我们数值评估所提出的架构上的单位2球的切向量场的去噪任务的有效性。
2022-11-18 cs.LG eess.SP
On Random Weights for Texture Generation in One Layer Neural Networks
IIT Kanpur（印度理工学院坎普尔分校）
最近的文献工作已经通过实验表明，可以使用训练的卷积神经网络（CNN）的下层来对自然纹理进行建模。更有趣的是，实验还表明，只有一层随机过滤器也可以建模纹理，尽管变化较小。在本文中，我们提出了一个问题，为什么带有随机过滤器的单层CNN在生成纹理方面如此有效？我们从理论上证明，与以前文献中使用的能量函数配对的一层卷积架构（没有非线性）实际上可以以某种方式保留和调制频率系数，以便随机权重和预训练权重将生成相同类型的图像。基于此分析的结果，我们质疑在使用具有非线性的一个卷积层的情况下是否存在类似的属性。我们表明，在ReLu非线性的情况下，只有一个输入将给出最小可能的能量，而在没有非线性的情况下，总是有无限的解决方案，将给出最小可能的能量的情况。因此，我们可以证明，在某些情况下，添加ReLu非线性会生成变化较小的图像。
2016-12-19 cs.CV cs.LG
New Insights into Graph Convolutional Networks using Neural Tangent Kernels
Technical University of Munich（慕尼黑工业大学）
该研究借助神经切线核（NTKs）解释图卷积网络（GCNs）深度与性能的关联规律，推导无限宽GCNs的NTKs，验证合适归一化可缓解深度带来的性能下降，并提出NTK作为无超参数的GCN高效代理模型。
2023-11-04 cs.LG stat.ML
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Intel Labs（英特尔实验室）；University of Southern California（南加州大学）
针对隐私推理中 ReLU 与 MAC 操作过多的问题，提出依据卷积块 ReLU 敏感性联合移除 ReLU 并合并相邻卷积层，使 ResNet18 在 CIFAR-100 上显著降低两类操作且几乎不损失精度。
2023-04-26 cs.CR cs.LG
Equivariant Neural Tangent Kernels
Chalmers University of Technology（查尔姆斯理工大学）；the University of Gothenburg（哥德堡大学）；Prescient Design, Genentech Roche（基因泰克罗氏公司 Prescient Design 部门）
本文推导了基于群卷积的等变神经正切核（NTKs），证明了等变网络与数据增强在训练动力学上等效，并在图像分类和量子性质预测任务中验证了其优于非等变模型。
2025-01-31 cs.LG
TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California San Diego（加州大学圣迭戈分校）；Rutgers University - New Brunswick（罗格斯大学新布朗斯维克分校）
我们引入了torchNTK，一个Python库来计算PyTorch框架中神经网络模型的经验神经切线核（NTK）。我们提供了一个有效的方法来计算多层感知器的NTK。我们将显式差分实现与自动差分实现进行了比较，后者的好处是将库的实用性扩展到PyTorch支持的任何架构，例如卷积网络。该库的一个特点是，我们将用户暴露给分层NTK组件，并表明在某些情况下，分层计算是更有效的内存。我们进行了初步的实验，以展示软件的用例和探测NTK。
2022-05-24 cs.LG
Enhanced Convolutional Neural Tangent Kernels
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高等研究院）
最近的研究表明，对于具有$\ell_2$损失的训练，如果仅训练最后一层，则宽度（卷积层中的通道数）变为无穷大的卷积神经网络（CNN）对应于关于CNN高斯过程核（CNN-GP）的回归，并且如果训练所有层，则对应于关于卷积神经切线核（CNTK）的回归。计算CNTK的精确算法（Arora等人，2019）得出的发现是，CNTK在CIFAR-10上的分类准确度在相应CNN架构的分类准确度的6-7%以内（最佳数字约为78%），这对于固定内核来说是有趣的性能。在这里，我们展示了如何使用两个想法显着提高这些内核的性能。(1)使用称为局部平均池化（Local Average Pooling，简称EVM）的新操作修改内核，该操作保留了内核的高效可计算性，并继承了使用像素移位的标准数据增强的精神。由于核回归的二次训练成本，早期的论文无法结合朴素数据增强。这个想法的灵感来自于全局平均池（GAP），我们为CNN-GP和CNTK证明了它相当于完全翻译数据增强。(2)使用Coates等人（2011）提出的预处理技术表示输入图像，该技术使用由随机图像补丁组成的单个卷积层。在CIFAR-10上，所得到的内核，具有反向和水平翻转数据增强的CNN-GP，实现了89%的准确度，与AlexNet的性能相匹配（Krizhevsky等人，2012年）。请注意，这是我们所知道的最好的分类器结果，它不是一个经过训练的神经网络。对于…
2019-11-03 cs.CV cs.LG cs.NE
Detecting Memorization in ReLU Networks
EPFL（洛桑联邦理工学院）
我们提出了一个新的概念的“非线性”的网络层相对于一个输入批次，是基于其接近一个线性系统，这是反映在非负秩的激活矩阵。我们通过将非负因子分解应用于激活矩阵来测量这种非线性。考虑到类似样品的批次，我们发现深层的高非线性表示记忆。此外，通过逐层应用我们的方法，我们发现记忆机制由不同的阶段组成。我们在几个图像和音频数据集上训练的全连接和卷积神经网络上进行实验。我们的研究结果表明，作为记忆的指标，我们的技术可以用来执行早期停止。
2018-10-08 cs.LG stat.ML
A Kernel Perspective of Skip Connections in Convolutional Networks
Weizmann Institute of Science（魏茨曼科学研究所）
过参数化残差网络（ResNets）是用于图像处理的最成功的卷积神经架构之一。在这里，我们通过高斯过程和神经切线核来研究它们的性质。我们推导出这些内核的显式公式，分析其频谱，并提供其隐含的条件数的界限。我们的研究结果表明：（1）在ReLU激活的情况下，与不使用跳过连接时的相同内核相比，这些残留内核的特征值以类似的速率多项式衰减，从而保持类似的频率偏差;（2）然而，残留内核更具局部偏差。我们的分析进一步表明，通过这些残差核获得的矩阵在有限深度处产生比没有跳过连接获得的矩阵更有利的条件数，从而使梯度下降的训练能够更快地收敛。
2023-02-28 cs.LG
Non-linear process convolutions for multi-output Gaussian processes
University of Sheffield（谢菲尔德大学）；Universidad Tecnológica de Pereira（佩雷拉理工大学）
本文介绍了一个非线性版本的过程卷积形式主义的建设协方差函数的多输出高斯过程。非线性通过Volterra级数引入，每个输出一个级数。我们提供了封闭形式的平均函数和协方差函数的近似高斯过程在输出的Volterra系列的表达式。利用高斯变量的乘积矩公式导出了联合高斯过程的均值函数和协方差函数。我们在一个合成数据集和两个真实数据集上比较了非线性模型与经典过程卷积方法的性能。
2019-02-27 cs.LG stat.ML
MicroNet: Towards Image Recognition with Extremely Low FLOPs
UC San Diego（加州大学圣迭戈分校）；Microsoft（微软）
在本文中，我们介绍了MicroNet，这是一种高效的卷积神经网络，使用极低的计算成本（例如ImageNet分类上的6个MFLOP）。这种低成本网络在边缘设备上是非常期望的，但通常会遭受显著的性能下降。我们基于两个设计原则来处理极低的FLOP：（a）通过降低节点连接性来避免网络宽度的减少，以及（b）通过引入更复杂的每层非线性来补偿网络深度的减少。首先，我们提出了微因式卷积分解成低秩矩阵的逐点和dependency卷积之间的通道数量和输入/输出连接的良好的折衷。其次，我们提出了一个新的激活函数，命名为动态移位最大，通过最大化输入特征映射和其循环通道移位之间的多个动态融合来改善非线性。融合是动态的，因为它们的参数适应于输入。基于Micro-Factorized卷积和动态Shift-Max，一系列MicroNet在低FLOP机制中实现了比最先进技术更显着的性能增益。例如，MicroNet-M1在ImageNet分类上达到了61.1%的top-1准确率，具有12个MFLOP，比MobileNetV 3高出11.3%。
2020-11-24 cs.CV cs.LG
Neural Tangent Knowledge Distillation for Optical Convolutional Networks
Department of Electrical and Computer Engineering, University of Washington（电气与计算机工程系，华盛顿大学）；Department of Physics, University of Washington（物理系，华盛顿大学）；Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学）
针对光学神经网络精度低与仿实差异问题，提出任务与硬件无关的流水线，引入NTKD对齐电子教师网络缩小精度差距，并指导制造后微调，全面提升ONN性能与部署能力。
2025-08-11 cs.AI cs.CV cs.LG
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
Covariance in Physics and Convolutional Neural Networks
Korteweg-de Vries Institute for Mathematics, University of Amsterdam（阿姆斯特丹大学科特韦格-德弗里斯数学研究所）；Institute of Physics, University of Amsterdam（阿姆斯特丹大学物理研究所）；CNRS（法国国家科学研究中心）；Qualcomm-University of Amsterdam (QUVA) Lab（高通-阿姆斯特丹大学（QUVA）实验室）；Qualcomm AI Research（高通人工智能研究院）
在这篇文章中，我们概述了卷积神经网络（CNN）最近发展中的协方差（或等方差）思想。我们研究了协方差在理论物理和CNN上下文中的使用之间的相似性和差异。此外，我们证明了简单的协方差假设，连同所需的局部性，线性和权重共享的属性，是足以唯一地确定卷积的形式。
2019-06-06 cs.LG hep-th stat.ML
TSSRGCN: Temporal Spectral Spatial Retrieval Graph Convolutional Network for Traffic Flow Forecasting
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
交通流预测对于提高交通系统的效率和预防突发事件的发生具有重要意义。由于短、长时段交通流的高度非线性和复杂的演化模式，现有方法往往不能充分利用时空信息，特别是不同时段变化的时间模式和路段的特点。此外，没有同时考虑代表交通状态指标绝对值的全局性和代表相对值的局部性。本文提出了一个神经网络模型，侧重于交通网络的全局性和局部性以及交通数据的时间模式。基于循环的膨胀可变形卷积块被设计为准确地捕获每个节点上的不同时变趋势。我们的模型可以提取全局和局部的空间信息，因为我们结合了两个图卷积网络的方法来学习节点和边缘的表示。在两个真实数据集上的实验表明，该模型能够很好地反映交通数据的时空相关性，其性能优于现有的相关方法。进一步的分析表明，交通网络的局部性和全局性是交通流预测的关键，所提出的TSSRGCN模型可以适应不同的时间交通模式。
2020-11-30 cs.LG
Deep Maxout Network-based Feature Fusion and Political Tangent Search Optimizer enabled Transfer Learning for Thalassemia Detection
Wenzhou-Kean University（温州肯恩大学）；Sulaimani Polytechnic University（苏莱曼尼理工大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出PTSO_TL方法，结合深度Maxout网络特征融合、过采样数据增强和迁移学习，用于地中海贫血检测，取得约94.3%精确率、96.1%召回率和95.2%F值。
2024-06-28 cs.LG
The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning
University of Verona（维罗纳大学）；European Organization for Nuclear Research (CERN)（欧洲核子研究组织（CERN））；University of Gdansk（格但斯克大学）；Middlesex University（密德萨斯大学）
本文提出量子路径核，推广量子神经正切核，利用参数轨迹表征层次化特征学习，以解决深度量子机器学习中的非线性挑战，并在高斯异或混合分类变体上验证其有效性。
2022-12-22 cs.LG quant-ph
Conditional Local Convolution for Spatio-temporal Meteorological Forecasting
Center of Artificial Intelligence for Research and Innovation, Westlake University（西湖大学人工智能研究与创新中心）；Eco-Environmental Research Laboratory, Westlake University（西湖大学生态环境研究实验室）；Zhejiang University（浙江大学）
由于时间动态的高度非线性以及空间域中复杂的位置特征模式，时空预测具有挑战性，特别是在天气预报等领域。在气象学中，为了处理传感器空间位置的不规则分布，通常使用图卷积来建模空间相关性。在这项工作中，提出了一种新的基于图的卷积模拟气象流捕捉当地的空间模式。基于位置特征模式的光滑性假设，我们提出了条件局部卷积，其节点局部空间上的共享核由前馈网络近似，坐标的局部表示由水平映射到圆柱切空间作为其输入。地方坐标系统一标准的建立，维护了地理上的方向性。我们进一步提出了距离和方向的缩放条款，以减少不规则的空间分布的影响。卷积被嵌入到递归神经网络架构中，以模拟时间动态，从而产生条件局部卷积递归网络（CLCRN）。我们的模型在真实世界的天气基准数据集上进行了评估，实现了最先进的性能，并有明显的改进。对局部模式可视化、模型框架选择、水平图的优势等问题进行了深入分析。
2021-12-11 cs.LG
Semiring Activation in Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于半环的可训练非线性算子以替代神经网络中的传统激活函数，并在全连接网络和ConvNeXt上验证其可行性，同时分析了替换带来的挑战与权衡。
2025-03-10 cs.LG
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
表面网格是广泛使用的形状表示，并捕获比点云或体积网格更精细的几何数据，但由于其非欧几里得结构，直接应用CNN具有挑战性。我们使用表面上的平行框架来定义PFCNN，通过忠实地模仿标准卷积来实现表面网格上的有效特征学习。特别是，PFCNN的卷积不仅将局部曲面片映射到平坦的切平面上，而且还对齐切平面，使得它们局部形成平坦的欧几里得结构，从而能够恢复标准卷积。对齐是通过借用离散微分几何的局部平坦连接工具来实现的，它可以通过并行帧场进行有效的编码和计算。此外，对曲面缺乏典型轴的情况，采用框架方向采样的方法进行处理。实验表明，对于可变形几何域上的分类、分割和配准，以及刚性域上的语义场景分割等任务，PFCNN在不使用复杂输入特征的情况下，比最先进的基于表面的CNN实现了鲁棒性和优越的性能。
2020-06-12 cs.CG cs.CV cs.GR
Bootstrapped Graph Diffusions: Exposing the Power of Nonlinearity
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
基于图的半监督学习（SSL）算法基于所提供的种子节点的小集合的标签来预测所有节点的标签。经典的方法通过一些通过图边缘传播的底层扩散过程来捕获图结构。谱扩散，其中包括个性化的页面排名和标签传播，通过随机游走传播。社会扩散通过最短路径传播。这些扩散的一个共同点是它们的{ \em线性}，它不区分少数“强”关系和许多“弱”关系的贡献。最近，节点嵌入和图卷积网络（GCN）等非线性方法在SSL任务的质量上有了很大的提高。这些方法引入了多个组件，并且在如何使用图结构、种子标签信息和其他特征方面存在很大差异。我们的目标是在这里研究的非线性，作为一个孤立的成分，性能增益的贡献。为此，我们将经典的线性图扩散放在一个自训练框架中。令人惊讶的是，我们观察到，SSL使用所得到的{ \em自举扩散}不仅显着提高了相应的非自举基线，但也优于最先进的非线性SSL方法。此外，由于自训练包装器保留了基本方法的可扩展性，因此我们获得了更高的质量和更好的可扩展性。
2017-03-15 cs.LG
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Imperial College London（帝国理工学院）
在初始化时，人工神经网络（ANN）等价于无限宽度限制下的高斯过程，从而将它们连接到核方法。我们证明了人工神经网络在训练过程中的演变也可以描述的内核：在梯度下降的人工神经网络的参数，网络功能$f_θ$（将输入向量映射到输出向量）遵循内核梯度的功能成本（这是凸的，在对比参数成本）w.r.t.一个新的内核：神经切线核（NTK）。该核是描述人工神经网络泛化特征的核心。虽然NTK在初始化时是随机的，并且在训练过程中变化，但在无限宽度限制下，它收敛到一个显式限制核，并且在训练过程中保持不变。这使得在函数空间而不是参数空间中研究人工神经网络的训练成为可能。然后，训练的收敛性可以与限制NTK的正定性相关。证明了当数据支撑在球面上且非线性为非多项式时，极限NTK的正定性。然后，我们专注于最小二乘回归的设置，并表明在无限宽的限制，网络函数$f_θ$遵循线性微分方程在训练过程中。相对于NTK，沿着输入数据的最大核主成分的收敛是最快的，因此提出了提前停止的理论动机。最后，我们研究了NTK数值，观察其行为的宽网络，并将其与无限宽的限制。
2020-02-10 cs.LG cs.NE math.PR
Nonlinear Time Series Classification Using Bispectrum-based Deep Convolutional Neural Networks
University of Missouri（密苏里大学）；U.S. Census Bureau（美国人口普查局）；University of Connecticut（康涅狄格大学）
时间序列分类使用新的技术经历了最近的复苏和增长的兴趣，从统计学家，学科领域的科学家，决策者在商业和工业。这主要是由于技术进步产生的大量复杂数据不断增加。一个鼓舞人心的例子是谷歌趋势数据，它表现出高度非线性的行为。虽然存在丰富的文献来解决这个问题，现有的方法主要依赖于时间序列的一阶和二阶特性，因为它们通常假设基本过程的线性。通常，这些不足以对非线性时间序列数据（如Google趋势数据）进行有效分类。考虑到这些方法上的缺陷以及现实世界中存在的大量非线性时间序列，我们引入了一种将高阶谱分析（HOSA）与深度卷积神经网络（CNN）相结合的方法，用于对时间序列进行分类。我们的方法的有效性说明使用模拟数据和两个激励行业的例子，涉及谷歌的趋势数据和电子设备的能源消耗数据。
2020-03-04 cs.LG stat.ML
Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems
Tel Aviv University（特拉维夫大学）
该研究以宽神经网络等深度学习模型为对象，揭示基于梯度下降的学习系统的线性化源于假设函数导数间的弱相关性，推导了随机梯度下降训练的线性偏离界，并提出了表征随机张量渐近行为的新方法。
2026-08-13 cond-mat.stat-mech cs.LG hep-th
1-Dimensional polynomial neural networks for audio signal related problems
University of Winnipeg（温尼伯大学）
除了极端非线性之外，现代问题需要数百万甚至数十亿个参数来解决或至少获得解决方案的良好近似，并且已知神经网络通过深化和扩大其拓扑结构来吸收这种复杂性，以增加更好近似所需的非线性水平。然而，紧凑的拓扑结构总是比更深的拓扑结构更受欢迎，因为它们提供了使用更少计算单元和更少参数的优势。这种紧凑性是以减少非线性为代价的，因此，有限的解决方案搜索空间。我们提出了1维多项式神经网络（1DPNN）模型，该模型使用1维卷积神经网络（1DCNN）的自动多项式核估计，并从第一层引入了高度的非线性，可以补偿对深度和/或宽拓扑结构的需求。我们表明，这种非线性使该模型能够在与音频信号相关的各种分类和回归问题上产生比常规1DCNN更低的计算和空间复杂性更好的结果，尽管它在神经元层面上引入了更多的计算和空间复杂性。实验在三个公开可用的数据集上进行，并证明，在所解决的问题上，所提出的模型可以在更短的时间和更少的内存中从数据中提取比1DCNN更多的相关信息。
2022-01-12 cs.LG cs.SD eess.AS
Operational vs Convolutional Neural Networks for Image Denoising
Tampere Universities（坦佩雷大学）；Qatar University（卡塔尔大学）
卷积神经网络（CNN）由于其自适应学习能力（尤其是深度配置）最近已成为图像去噪的首选技术。然而，由于其独特的线性卷积的同质网络形成，它们的功效本质上是有限的。在这项研究中，我们提出了一个异构网络模型，它允许更大的灵活性，嵌入额外的非线性数据转换的核心。为此，我们提出了操作神经元或操作神经网络（ONN）的想法，它可以实现灵活的非线性和异构配置，采用层间和层内神经元的多样性。此外，我们提出了一个强大的运营商搜索策略的启发Hebbian理论，称为突触可塑性监测（SPM），可以在任何架构的非线性数据驱动的选择。在两个严重的图像去噪问题上对ONNs和CNN进行了一组广泛的比较评估，得出了结论性的证据，即通过非线性算子富集的ONNs可以实现优于CNN的去噪性能，同时具有等效和众所周知的深度配置。
2020-09-01 cs.CV cs.LG cs.NE
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）
流行的想法是，正交权重是至关重要的，以加强动态等距和加快训练。线性网络中正交初始化导致的学习速度的增加已经得到了很好的证明。然而，虽然当满足动态等距条件时，这一点也适用于非线性网络，但这一争论背后的训练动力学尚未得到彻底探索。在这项工作中，我们研究了一系列架构中超宽网络的动态特性，包括全连接网络（FCN）和卷积神经网络（CNN），通过神经切线核（NTK）进行正交初始化。通过一系列的命题和引理，我们证明了当网络宽度为无穷大时，两个NTK相等，一个对应于高斯权重，一个对应于正交权重。此外，在训练期间，正交初始化的无限宽度网络的NTK理论上应该保持恒定。这表明正交初始化不能加速NTK（懒惰训练）机制中的训练，与流行的想法相反。为了探索在什么情况下可以正交加速训练，我们进行了彻底的实证调查以外的NTK制度。我们发现当超参数被设置为在非线性激活中实现线性区域时，正交初始化可以在大学习率或大深度的情况下提高学习速度。
2021-07-21 cs.LG stat.ML
Scaling Neural Tangent Kernels via Sketching and Random Features
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）；KAIST（韩国科学技术院）
神经切线核（NTK）通过梯度下降来表征在最小平方损失下训练的无限宽神经网络的行为。最近的工作还报告说，NTK回归可以优于在小规模数据集上训练的有限宽神经网络。然而，核方法的计算复杂性限制了其在大规模学习任务中的应用。为了加速NTK的学习，我们通过绘制反余弦内核的多项式展开，为NTK设计了一个近输入稀疏时间近似算法：我们的NTK卷积对应物（CNTK）草图可以使用像素数的线性运行时间来转换任何图像。此外，我们证明了NTK矩阵的谱近似保证，通过结合随机特征（基于杠杆分数采样）的反余弦内核与草图算法。我们在各种大规模回归和分类任务上对我们的方法进行了基准测试，并表明在我们的CNTK特征上训练的线性回归器与CIFAR-10数据集上精确CNTK的准确性相匹配，同时实现了150倍的加速。
2021-12-08 cs.CV cs.DS cs.LG
Combined space-time reduced-order model with 3D deep convolution for extrapolating fluid dynamics
University of British Columbia（不列颠哥伦比亚大学）
在航空航天和海洋工程应用中，迫切需要有效和可靠的主动流动控制策略来减少阻力和噪声。虽然传统的基于纳维-斯托克斯方程的全阶模型是不可行的，但是先进的模型降阶技术对于主动控制任务可能是低效的，特别是对于强非线性和对流主导的现象。使用卷积递归自动编码器网络架构，基于深度学习的降阶模型最近被证明是有效的，同时比全阶模拟快几个数量级。然而，这些模型在训练数据之外遇到了重大挑战，限制了它们对主动控制和优化任务的有效性。在这项研究中，我们的目标是通过修改网络结构和集成耦合时空物理作为一个隐式的偏见，以提高外推的能力。通过深度学习的降阶模型通常在空间和时间维度上进行解耦，这可能会引入建模和近似误差。为了减轻这些错误，我们提出了一种新的技术，使用3D卷积网络学习耦合的时空相关性。我们评估所提出的技术对一个标准的编码器-传播器-解码器模型，并表现出优越的外推性能。为了证明三维卷积网络的有效性，我们考虑了一个基准问题的流动通过一个圆柱在层流条件下，并使用从全阶模拟的时空快照。我们提出的3D卷积架构准确地捕捉不同雷诺数的速度和压力场。与标准的编码器-传播器-解码器网络相比，基于时空的3D卷积网络提高了训练数据之外的雷诺数的预测范围。
2022-11-01 cs.LG physics.flu-dyn
Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究表明，以下两个模型是等效的：（a）无限宽神经网络（NN），通过具有无限小学习率的梯度下降在l2损失下训练;（b）关于所谓的神经切线核（NTK）的核回归（Jacot et al.，2018年）。一种计算NTK及其卷积对应物的有效算法出现在Arora et al.（2019 a）中，该算法允许在CIFAR-10等数据集上研究无限宽网络的性能。然而，内核方法的超二次运行时间使它们最适合小数据任务。我们报告的结果表明，神经切线核在低数据任务上表现强劲。1.在UCI数据库的分类/回归任务的标准测试平台上，NTK SVM击败了以前的黄金标准随机森林（RF）以及相应的有限网络。2.在具有10 - 640个训练样本的CIFAR-10上，卷积NTK始终击败ResNet-34 1% -3%。3.在具有迁移学习的ImageNet上的Few-Shot图像分类任务的VOC 07测试平台上（Goyal等人，2019年），用卷积NTK SVM取代目前使用的线性SVM，不断提高性能。4.将NTK的性能与其所源自的有限宽度网进行比较，NTK行为开始于比理论分析所建议的更低的网宽度（Arora等人，2019年a）。NTK的功效可以追溯到较低的输出方差。
2019-10-27 cs.LG stat.ML
Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks
Massachusetts Institute of Technology（麻省理工学院）
最近的工作表明，在过度参数化的神经网络中，通过宽度增加模型容量可以降低测试风险。然而，对于神经网络，模型容量也可以通过深度来增加，但理解增加深度对测试风险的影响仍然是一个悬而未决的问题。在这项工作中，我们证明了过度参数化卷积网络的测试风险是一个U形曲线（即单调递减，然后递增），随着深度的增加。我们首先通过使用ResNets和卷积神经切线核（CNTK）的图像分类实验为这种现象提供了经验证据。然后，我们提出了一种新的线性回归框架，用于表征深度对测试风险的影响，并表明，增加深度会导致线性CNTK的U形测试风险。特别地，我们证明了线性CNTK对应于原始空间上的深度依赖线性变换，并刻画了这种变换的性质。然后，我们分析过参数化的线性回归任意线性变换下，并在简化的设置，可证明地确定深度，最大限度地减少每个偏差和方差项的测试风险。
2021-06-04 cs.LG stat.ML
Locality defeats the curse of dimensionality in convolutional teacher-student scenarios
Institute of Physics（物理研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
卷积神经网络对数据进行局部和非线性不变的处理：量化这两个方面中的哪一个对其成功至关重要仍然是一个挑战。我们研究这个问题的教师，学生的框架内的内核回归，使用“卷积”内核的启发，给定的过滤器大小的简单卷积架构的神经正切内核。使用物理学中的启发式方法，我们发现在无脊的情况下，局部性是确定学习曲线指数$β$的关键（将测试误差$ε_t\sim P^{-β}$与训练集$P$的大小相关联），而平移不变性则不是。具体地，如果教师$t$的滤波器大小小于学生$s$的滤波器大小，则$β$仅是$s$的函数，并且不依赖于输入维度。我们证实了我们的预测$β$经验。我们的结论是，使用一个自然的普遍性假设，执行核回归与脊的大小减少的训练集导致类似的学习曲线指数，我们在无脊的情况下获得。
2021-11-12 cond-mat.dis-nn cs.LG stat.ML
Baryon acoustic oscillations reconstruction using convolutional neural networks
National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）；University of Chinese Academy of Sciences（中国科学院大学）；Durham University（杜伦大学）；University of Edinburgh（爱丁堡大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）；University of the Basque Country（巴斯克大学）
提出了一种基于深度卷积神经网络（CNN）重建包含关键宇宙学信息的重子声学振荡（BAO）信号的新方案。在几乎没有微调的情况下训练，该网络可以在测试集中准确地恢复大规模模式：真实和重建初始条件之间的相关系数在$k\leq 0.2 h\mathrm{Mpc}^{-1}$达到$90\%$，这可以导致BAO信噪比的显著改善，下降到$k\simeq0.4h\mathrm{Mpc}^{-1}$。由于这种新方案是基于子盒中的配置空间密度场，因此它是局部的，并且比标准重建方法受调查边界的影响更小，正如我们的测试所证实的那样。我们发现，在一种宇宙学中训练的网络能够重建其他宇宙学中的BAO峰，即恢复独立于宇宙学的非线性信息。恢复的BAO峰位置的准确性远远低于训练和测试的宇宙学模型的差异所导致的准确性，这表明在我们的方案中可以有效地区分不同的模型。我们的方案为从正在进行的和未来的大星系巡天中提取宇宙学信息提供了一条新的途径。
2020-12-03 astro-ph.CO cs.LG
MicroNet: Improving Image Recognition with Extremely Low FLOPs
University of California San Diego（加利福尼亚大学圣迭戈分校）；Microsoft（微软）
本文旨在以极低的计算成本（例如ImageNet分类的5 M FLOP）解决性能大幅下降的问题。我们发现两个因素，稀疏连接和动态激活函数，是有效的，以提高精度。前者避免了网络宽度的显着减少，而后者则减轻了网络深度减少的危害。从技术上讲，我们提出了微因式卷积，它将卷积矩阵分解为低秩矩阵，将稀疏连接集成到卷积中。我们还提出了一个新的动态激活函数，命名为Dynamic Shift Max，通过最大化输入特征映射和其循环通道移位之间的多个动态融合来改善非线性。在这两个新的运营商的基础上，我们到达了一个家庭的网络，名为MicroNet，实现了显着的性能增益在低FLOP制度的最先进的。例如，在12 M FLOPs的约束下，MicroNet在ImageNet分类上达到了59.4%的top-1准确率，比MobileNetV 3高出9.6%。源代码位于\href{https://github.com/liyunsheng13/micronet}{https://github.com/liyunsheng13/micronet}。
2021-08-12 cs.CV cs.LG
A Mathematical Theory of Deep Convolutional Neural Networks for Feature Extraction
ETH Zurich（苏黎世联邦理工学院）
深度卷积神经网络已经在许多实际的机器学习任务中取得了突破性的成果，例如ImageNet数据集中的图像分类，玩Atari游戏或棋盘游戏Go的控制策略学习，以及图像描述。这些应用中的许多应用首先执行特征提取，然后将其结果馈送到可训练分类器中。用于特征提取的深度卷积神经网络的数学分析由Mallat于2012年发起。具体来说，Mallat考虑了基于小波变换的散射网络，然后在每个网络层中引入模非线性，并证明了相应特征提取器的平移不变性（在小波尺度参数中渐近）和变形稳定性。本文通过开发一种理论来补充Mallat的结果，该理论包含一般卷积变换，或者用更专业的术语来说，一般半离散框架（包括Weyl-Heisenberg滤波器，曲波，剪切波，脊波，小波和学习滤波器），一般Lipschitz连续非线性（例如，整流线性单元、移位逻辑S形、双曲正切和模函数），以及模拟的一般Lipschitz连续池化算子，例如，子采样和平均。此外，所有这些元素在不同的网络层中可以不同。对于所得到的特征提取器，我们证明了垂直性质的平移不变性结果，即特征随着网络深度的增加而逐渐变得更加不变性，并且我们建立了适用于信号类别的变形敏感性界限，例如，带限函数、卡通函数和Lipschitz函数。
2017-10-24 cs.AI cs.IT cs.LG
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）
该研究针对ReLU神经网络良性过拟合机制不明的问题，为带标签翻转噪声的两层ReLU卷积神经网络建立依赖算法的风险界，证明梯度下降训练可实现近零训练损失与贝叶斯最优测试风险，揭示两类过拟合的急剧转变，且合成数据实验验证了理论。
2023-11-04 cs.LG math.OC stat.ML
Convolutional versus Self-Organized Operational Neural Networks for Real-World Blind Image Denoising
Tampere University（坦佩雷大学）；Qatar University（卡塔尔大学）；HUAWEI Technologies（华为技术）
由于潜在噪声分布的不确定性，现实世界的盲去噪提出了独特的图像复原挑战。在合成噪声模型上训练的流行判别网络已被证明对真实世界的噪声图像泛化能力很差。虽然管理真实世界的噪声图像和改进地面实况估计程序仍然是人们感兴趣的关键点，但一个潜在的研究方向是探索对广泛使用的卷积神经元模型的扩展，以更少的数据和更低的网络复杂度实现更好的泛化，而不是简单地使用更深的卷积神经网络（CNN）。操作神经网络（ONNs）及其最近的变体自组织ONNs（Self-ONNs）提出将增强的非线性嵌入到神经元模型中，并已被证明在各种回归任务中优于CNN。然而，所有这些比较都是针对紧凑型网络进行的，部署操作层作为当代深度架构中卷积层的直接替代品的有效性还有待观察。在这项工作中，我们通过首次采用深度Self-ONN来解决现实世界的盲图像去噪问题。针对最先进的深度CNN网络Dn CNN，跨越多个指标和四个高分辨率真实世界噪声图像数据集的广泛定量和定性评估表明，深度Self-ONN始终实现卓越的结果，PSNR的性能增益高达1.76 dB。此外，与现有技术相比，具有一半甚至四分之一层数的Self-ONN仅需要DnCNN的一小部分计算资源，仍然可以实现类似或更好的结果。
2021-05-05 cs.CV cs.LG cs.MM
CNNs on Surfaces using Rotation-Equivariant Features
Delft University of Technology（代尔夫特理工大学）
本文关注的是几何深度学习中的一个基本问题，该问题出现在表面上的卷积神经网络的构造中。由于曲率，滤波器核在表面上的传输导致旋转模糊，这阻止了这些核在表面上的均匀对准。我们提出了一个网络架构的表面，由矢量值，旋转等变功能。当在卷积层中聚合特征时，等方差属性使得可以局部对齐在任意坐标系中计算的特征。生成的网络与曲面上切线空间的坐标系选择无关。我们实现我们的方法为三角形网格。基于圆调和函数，我们引入卷积滤波器的网格是旋转等变的离散水平。我们评估所产生的网络形状对应和形状分类任务，并比较其性能与其他方法。
2020-06-02 cs.CG cs.CV cs.LG
Energy Propagation in Deep Convolutional Neural Networks
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）
许多实际的机器学习任务采用非常深的卷积神经网络。如此大的深度在训练和操作网络时带来了巨大的计算挑战。因此，重要的是要了解传播信号中包含的能量（也称为能量）的传播速度。特征图）跨层衰减。另外，期望由网络生成的特征提取器在映射到全零特征向量的唯一信号是零输入信号的意义上是信息性的。这种“平凡空集”属性可以通过要求“能量守恒”来实现，即特征向量中的能量与相应输入信号的能量成比例。本文建立了广泛的一类基于深度卷积神经网络的特征提取器的能量守恒条件（从而为平凡空集），并表征了相应的特征图能量衰减率。具体而言，我们认为一般散射网络采用的模量非线性，我们发现，在温和的解析性和高通条件下的过滤器（其中包括，除其他外，各种建设的Weyl-Heisenberg过滤器，小波，脊波，（$α$）-曲线，和剪切波）的特征图能量衰减至少多项式快。对于广泛的家庭小波和Weyl-Heisenberg过滤器，保证衰减率是指数。此外，我们提供了方便的估计层的数量需要至少有$((1-\varepsilon)\cdot 100)\%$的输入信号能量被包含在特征向量。
2018-02-01 cs.IT cs.LG math.FA
CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学与技术学院）；Unmanned System Technology Research Center, NIIDT（NIIDT无人系统技术研究中心）
本文提出CKNet，利用Koopman算子理论从原始像素中学习线性、时不变且可解释的潜在动力学，并通过DCKNet和VCKNet在多个连续控制任务中验证了其建模与图像生成能力。
2021-07-27 cs.LG cs.SY eess.SY
