Composite Neural Network: Theory and Application to PM2.5 Prediction
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
本文研究了复合神经网络的结构和性能问题。复合神经网络是由一组预先训练好的、非实例化的神经网络模型连接成一个有根的有向无环图，用于求解复杂的应用问题。预训练的神经网络模型通常是经过良好训练的，目标是近似特定函数。尽管人们普遍认为复合神经网络可能比单个组件表现得更好，但总体性能特征并不清楚。在这项工作中，我们构建了一个复合网络的框架，并证明了一个复合神经网络比它的任何预先训练的组件具有更高的概率界。此外，如果将额外的预训练组件添加到复合网络中，则很有可能整体性能不会下降。在这项研究中，我们探索了一个复杂的应用- PM2.5预测-来说明所提出的复合网络理论的正确性。在PM2. 5预测的实证评估中，所构建的复合神经网络模型支持了所提出的理论，并优于其他机器学习模型，体现了所提出框架的优势。
2021-07-19 cs.LG stat.ML
Kermut: Composite kernel regression for protein variant effects
University of Copenhagen（哥本哈根大学）；Novonesis（诺和诺德公司（Novonesis））
针对蛋白质变异效应预测中不确定性估计缺失的问题，提出带新型复合核的高斯过程回归模型Kermut，实现有监督预测的SOTA性能并提供不确定性估计，同时验证了整体校准效果及实例级校准的挑战。
2024-10-31 cs.LG q-bio.BM
The Automatic Statistician: A Relational Perspective
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
高斯过程（GPs）提供了一种通用的和分析上易于处理的方法来建模复杂的时变非参数函数。自动贝叶斯协方差发现（ABCD）系统通过使用具有复合协方差核函数的GP非参数地处理未知时间序列数据来构造时间序列数据的自然语言描述。不幸的是，使用单个时间序列数据集学习复合协方差内核通常会导致信息量较少的内核，可能无法对数据进行定性，独特的描述。我们通过提出两种关系内核学习方法来解决这一挑战，这些方法可以通过找到共同的，共享的变化原因来对多个时间序列数据集进行建模。我们证明了关系核学习方法在几个真实世界的数据集上找到了更准确的回归模型;美国股票数据，美国房价指数数据和货币汇率数据。
2016-02-12 cs.LG stat.ML
Composite Goodness-of-fit Tests with Kernels
Centre for Artificial Intelligence, University College London（大学学院伦敦大学人工智能中心）；Gatsby Computational Neuroscience Unit, University College London（大学学院伦敦大学盖茨比计算神经科学单位）；Department of Statistical Science, University College London（大学学院伦敦大学统计科学系）；Faculty of Engineering and Science, Adolfo Ibañez University（工程与科学学院，阿道弗·伊巴涅斯大学）
本文提出基于核的复合拟合优度检验，利用最小距离估计量，可在同一数据上估计参数并检验，适用于密度仅知归一化常数或模拟器模型，并验证于非参数密度和生物网络模型。
2025-04-19 cs.LG stat.ME stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Neural Network Gaussian Process Considering Input Uncertainty for Composite Structures Assembly
Virginia Tech（弗吉尼亚理工学院）；Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
发展基于机器学习的智能制造是复合材料结构装配过程的一个重要发展方向。为了提高装配过程的生产质量和效率，需要对复合材料结构的尺寸偏差和残余应力进行准确的预测分析。新型复合材料结构组装涉及两个挑战：（i）复合材料的高度非线性和各向异性特性;以及（ii）组装过程中不可避免的不确定性。针对这些问题，提出了一种考虑输入不确定性的复合材料结构装配神经网络高斯过程模型。我们的模型的深层架构使我们能够更好地近似复杂的过程，并且考虑输入不确定性使鲁棒建模能够完全结合过程不确定性。仿真和算例分析表明，当响应函数为非光滑非线性时，NNGPIU方法的性能优于其他基准方法。虽然我们使用复合材料结构装配作为一个例子，所提出的方法可以适用于其他工程系统的内在不确定性。
2020-11-21 cs.LG stat.AP stat.ML
Neural Kernels Without Tangents
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究了核空间中神经网络和简单构建块之间的联系。特别是，使用完善的功能空间工具，如直接和，平均，和时刻提升，我们提出了一个代数创建“合成”内核的功能袋。我们表明，这些操作对应于许多“神经切线核（NTK）"的积木。在实验上，我们表明，有一个神经网络架构和相关的内核之间的测试误差的相关性。我们构建了一个简单的神经网络架构，仅使用3x3卷积，2x2平均池化，ReLU，并使用SGD和MSE损失进行优化，在CIFAR10上实现了96%的准确度，其相应的组合内核实现了90%的准确度。我们还使用我们的结构来研究小数据集制度中的神经网络，NTK和组合内核的相对性能。特别是，我们发现，组成内核优于NTK和神经网络优于这两个内核的方法。
2020-03-05 cs.LG stat.ML
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Predicting Open-Hole Laminates Failure Using Support Vector Machines With Classical and Quantum Kernels
Delft University of Technology（代尔夫特理工大学）
本文提出用支持向量机从分类角度学习开孔复合材料板的极限失效包络，并引入量子核与RBF核对比，通过核-目标对齐优化参数，实现了超过90%的分类准确率。
2024-06-09 cs.CE cs.LG cs.NA
Kantorovich--Kernel Neural Operators: Approximation Theory, Asymptotics, and Neural Network Interpretation
Illinois Wesleyan University（伊利诺伊卫斯理大学）
本文研究多元Kantorovich核神经网络算子，证明多项逼近理论结果，分析深度复合算子的偏微分方程极限，并探讨其与经典正算子的联系。
2026-03-27 cs.LG math.FA stat.ML
Neural Non-Stationary Spectral Kernel
Aalto University（阿尔托大学）；Silo AI
标准的核函数，如Matérn或RBF核函数，只对输入空间中的简单单调依赖进行编码。光谱混合核已被提出作为通用的，灵活的内核，用于学习和发现数据中更复杂的模式。谱混合核最近被推广到非平稳核取代的混合权重，频率均值和方差的输入相关的功能。这些函数本身也被建模为高斯过程。在本文中，我们提出了建模的超参数函数与神经网络，并提供了一个实验比较之间的平稳光谱混合物和两个非平稳光谱混合物。可扩展高斯过程推理的稀疏变分框架内考虑的所有内核。我们表明，内核的神经变体能够在几个基准数据集上实现最佳性能。
2018-11-27 cs.LG stat.ML
Deep Neural-Kernel Machines
Maastricht University（马斯特里赫特大学）
在本章中，我们回顾了与深度神经内核架构的最新进展相关的主要文献，这种方法寻求两种强大的模型之间的协同作用，即基于内核的模型和人工神经网络。引入的深度神经内核框架由神经网络架构和内核机器的混合组成。更准确地说，对于内核对应的模型是基于最小二乘支持向量机与显式特征映射。在这里，我们讨论使用一种形式的显式特征映射获得的随机傅立叶特征。由于这种显式的特征映射，一方面桥接两种架构变得更加简单，另一方面可以在原始中找到相关优化问题的解决方案，从而使模型可扩展到大规模数据集。我们首先介绍一个神经内核架构，它作为配备不同池化层的更深层模型的核心模块。特别是，我们回顾了三个神经内核机器的平均，最大输出和卷积池层。在平均池化层中，对先前表示层的输出进行平均。maxout层触发不同输入表示之间的竞争，并允许在同一模型中形成多个子网络。卷积池化层降低了多尺度输出表示的维度。与神经核模型、基于核的模型和经典神经网络结构进行了比较，并在多个基准数据集上进行了数值实验，验证了所引入模型的有效性。
2020-07-19 cs.LG stat.ML
BENK: The Beran Estimator with Neural Kernels for Estimating the Heterogeneous Treatment Effect
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种在截尾时间-事件数据条件下估计条件平均治疗效应的方法--神经核Beran估计方法。该方法背后的主要思想是应用Beran估计估计控制和治疗的生存函数。代替Beran估计器中的典型核函数，提出了以称为神经核的特定形式的神经网络的形式来实现核。条件平均治疗效果估计通过使用的生存函数作为控制和治疗神经网络的结果，其中包括一组共享参数的神经内核。神经核更灵活，可以准确地模拟特征向量的复杂位置结构。各种数值模拟实验说明了BENK，并将其与著名的T-学习者，S-学习者和X-学习者进行比较，用于基于Cox模型，随机生存森林和具有高斯核的Nadaraya-Watson回归的几种类型的控制和治疗结果函数。所提出的实现BENK的算法的代码可在https://github.com/Stasychbr/BENK中获得。
2022-11-19 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
Capturing and Explaining Trajectory Singularities using Composite Signal Neural Networks
Université de Nantes（南特大学）；CNRS（法国国家科学研究中心）；Norwich Medical School, University of East Anglia（东英吉利大学诺里奇医学院）；University College London（伦敦大学学院）
空间轨迹是无处不在的复杂信号。他们的分析在许多研究领域都至关重要，从城市规划到神经科学。已经提出了几种方法来聚类轨迹。它们依赖于手工制作的特征，这些特征难以捕捉信号的时空复杂性，或者依赖于人工神经网络（ANN），后者效率更高，但可解释性较差。在本文中，我们提出了一种新的人工神经网络架构，旨在捕捉一组轨迹的时空模式特性，同时考虑到人口统计的导航。因此，我们的模型提取了与行为和人口统计学相关的标记。我们提出了一个复合信号分析仪（CompSNN）结合三个简单的人工神经网络模块。这些模块中的每一个都使用轨迹的不同信号表示，同时保持可解释性。我们的CompSNN比孤立的模块表现得更好，并且可以可视化信号的哪些部分对区分轨迹最有用。
2020-05-07 cs.LG stat.ML
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University（哈佛大学）
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗？我们证明，这确实可以发生，由于一种现象，我们长期沉默的对齐，这需要一个网络的切线内核的特征结构的演变，而小，之前的损失明显减少，并增长，只有在整体规模之后。我们表明，这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下，这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段会产生一个低秩的贡献，然后在整体规模上发展，产生一个函数，相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Kernel Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Artificial Intelligence Research Institute（人工智能研究所）
我们研究了神经最优运输（NOT）算法，该算法使用一般的最优运输公式，并学习随机运输计划。我们表明，不与弱二次成本可能会学习假计划，这是不是最佳的。为了解决这个问题，我们引入核弱二次成本。我们表明，它们提供了改进的理论保证和实际性能。我们在未配对的图像到图像翻译任务上测试了不使用内核成本。
2023-03-01 cs.LG stat.ML
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Multi-Kernel Fusion for RBF Neural Networks
The University of Western Australia（西澳大利亚大学）；Karachi Institute of Economics and Technology（卡拉奇经济与技术学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
径向基函数神经网络（RBFNN）是一种简单而有效的结构设计，使其成为最流行的传统神经网络之一。当前一代的径向基函数神经网络配备有多个内核，与仅使用单个内核的上一代相比，其提供了显著的性能优势。在现有的多核RBF算法中，多核是由基核/主核的凸组合形成的。在本文中，我们提出了一种新的多核RBFNN，其中每个基本内核有自己的（本地）的权重。网络中的这种新颖的灵活性提供了更好的性能，例如更快的收敛速度，更好的局部最小值和对陷入局部最小值的弹性。这些性能增益是在一个有竞争力的计算复杂性相比，当代的多核RBF算法。所提出的算法进行了彻底的性能增益分析，使用数学和图形的说明，也评估了三种不同类型的问题，即：（i）模式分类，（ii）系统辨识和（iii）函数逼近。实验结果清楚地表明，该算法的优越性相比，现有的国家的最先进的多核方法。
2020-07-06 cs.LG stat.ML
Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文利用双时间尺度极限与核视角分析两层神经网络的平均场动力学，证明其全局收敛及离散误差，并揭示其可学习数据依赖核、优于固定核方法。
2024-04-07 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
神经网络（NN）的训练动力学和泛化性能可以通过神经正切核（NTK）在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习，并成为静态内核机制之外网络卓越性能的基础。在这项工作中，我们试图从理论上理解内核对齐，一个突出的和无处不在的结构变化，使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型，其中NTK进化以加速训练，并表明对齐自然地出现在这种需求中。然后，我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述，并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中，我们发现了核专业化的现象，其中每个输出头的核函数优先与自己的目标函数对齐。总之，我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions
University of Queensland（昆士兰大学）；University of Cambridge（剑桥大学）
在高斯过程（GP）模型中创建表达先验的简单、灵活的方法从基本内核的组合中产生新内核，例如，对周期性和线性内核求和可以捕获具有长期趋势的季节变化。尽管GP和贝叶斯神经网络（BNN）之间的联系已经得到了很好的研究，但BNN类似物尚未被探索。本文推导出BNN架构镜像这样的内核组合。此外，它还展示了BNN如何生成周期性内核，这在这种情况下通常很有用。这些想法提供了一个原则性的方法来设计BNN，将先验知识的功能。我们通过在监督和强化学习环境中的说明性实验展示了这些想法的实用价值。
2019-06-28 cs.LG stat.ML
Framing RNN as a kernel method: A neural ODE approach
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
在将递归神经网络（RNN）解释为连续时间神经微分方程的基础上，我们证明了在适当的条件下，RNN的解可以被视为输入序列的特定特征集（称为签名）的线性函数。这种连接允许我们将RNN框架为合适的再生核希尔伯特空间中的核方法。因此，我们获得了理论保证的推广和稳定性的一大类经常性网络。我们的研究结果在模拟数据集上进行了说明。
2021-10-29 cs.LG stat.ML
Uniform Generalization Bounds for Overparameterized Neural Networks
MediaTek Research（联发科研究）
在人工神经网络中的一个有趣的观察是它们的有利的泛化误差，尽管通常是非常过度参数化的。经典的统计学习方法在过参数化神经网络的情况下往往会导致空洞的泛化误差。采用最近发展起来的神经切核理论，证明了当真实数据生成模型属于与神经切核相对应的再生核Hilbert空间时，过参数化神经网络在核域中的一致推广界.重要的是，我们的边界捕获精确的出错率取决于激活函数的可微性。为了建立这些界限，我们提出了NT内核的信息增益作为衡量学习问题的复杂性。我们的分析使用了Mercer分解的NT内核的球谐函数和相应的特征值的衰减率的基础上。作为我们的结果的副产品，我们证明了对应于NT内核的RKHS与对应于Matérn内核家族的RKHS之间的等价性，表明NT内核诱导了一类非常一般的模型。我们进一步讨论了我们的分析的影响，最近的一些结果的遗憾界强化学习和强盗算法，它使用过参数化神经网络。
2021-10-11 cs.LG stat.ML
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania（宾夕法尼亚大学）
神经切线核（NTK）是训练过参数化神经网络（NN）的一种常用方法，但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质，这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中，我们介绍了一种新的方法，从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说，我们提出了两个标签感知内核，每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加，使用Hoeffding分解。通过理论和经验证据，我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Neural-Kernelized Conditional Density Estimation
NAIST（奈良先端科学技术大学院大学）；UCL（伦敦大学学院）；Univ. Helsinki（赫尔辛基大学）
条件密度估计是解决机器学习中各种问题的通用框架。在现有的方法中，非参数和/或基于核的方法通常难以用于大型数据集，而基于神经网络的方法通常对概率密度进行限制性的参数假设。在这里，我们提出了一种新的方法来估计基于得分匹配的条件密度。与现有的方法相比，我们采用可扩展的神经网络，但不做明确的参数假设密度。将分数匹配应用于神经网络的关键挑战是计算对数密度模型的一阶和二阶导数。我们通过开发一种新的神经核化方法来解决这一挑战，该方法可以应用于具有随机梯度下降的大型数据集，而再生核允许轻松计算分数匹配所需的导数。我们证明了神经核函数逼近器具有通用的逼近能力，并且我们的方法在条件密度估计中是一致的。数值结果表明，我们的方法是有用的高维条件密度估计，并与现有的方法相比毫不逊色。最后，我们证明了所提出的方法有有趣的连接到两个概率原则框架的表示学习：非线性充分降维和非线性独立成分分析。
2018-06-05 cs.LG stat.ML
Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
我们从高斯过程和统计物理的理论方法推导出作为训练样本数量的函数的核回归的泛化性能的解析表达式。我们的表达式适用于广泛的神经网络，由于它们的训练和核回归与神经切线核（NTK）之间的等价性。通过计算由于内核的不同谱分量的总的泛化误差的分解，我们确定了一个新的谱原则：随着训练集的大小的增长，内核机器和神经网络适合连续更高的谱模式的目标函数。当数据从高维超球面上的均匀分布中采样时，包括NTK在内的点积核表现出学习阶段，其中学习目标函数的不同频率模式。我们用合成数据和MNIST数据集验证了我们的理论。
2021-02-25 cs.LG stat.ML
Neural Co-Optimization of Structural Topology, Manufacturable Layers, and Path Orientations for Fiber-Reinforced Composites
The University of Manchester（曼彻斯特大学）
本文提出基于三个隐式神经场的神经协同优化框架，同时优化纤维增强复合材料的结构拓扑、曲面层与纤维路径取向，在保证多轴3D打印可制造性的前提下将失效载荷提升最高33.1%。
2025-04-30 cs.LG
Refining Myocardial Infarction Detection: A Novel Multi-Modal Composite Kernel Strategy in One-Class Classification
Tampere University（坦佩雷大学）；VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；Haltian（哈尔蒂安公司）；Qatar University（卡塔尔大学）；Hamad Medical Corporation（哈马德医疗公司）
本研究提出一种基于多模态子空间支持向量数据描述的一类分类方法，通过融合高斯和拉普拉斯sigmoid函数的复合核及多视图超声心动图，有效提升了心肌梗死早期检测的准确率。
2024-06-27 cs.AI cs.LG eess.SP
Prediction and optimization of mechanical properties of composites using convolutional neural networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beckman Institute（贝克曼研究所）
本文建立了一个卷积神经网络模型，用于定量预测二维棋盘形复合材料的力学性能。棋盘形复合材料具有两相结构，一相为韧性软相，另一相为脆性硬相。训练过程中使用的地面实况数据是在平面应力假设下从有限元分析中获得的。蒙特卡罗模拟和中心极限定理被用来找到所需的数据集的大小。一旦训练过程完成，开发的模型将使用训练过程中看不到的数据进行验证。所开发的神经网络模型捕获的刚度，强度和韧性的棋盘复合材料具有高精度。此外，我们将开发的模型与遗传算法（GA）优化，以确定最佳的微结构设计。这里采用的遗传算法优化器有几个操作，选择，交叉，变异和精英。优化器收敛到具有高度增强属性的配置。对于模的情况下，从随机初始化生成开始，GA优化器收敛到全局最大值，不涉及软元素。此外，GA优化器，当用于最大化强度和韧性，倾向于有软元素的区域中的裂纹尖端旁边。
2019-05-31 cs.LG physics.comp-ph stat.ML
Random Features for the Neural Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）
神经切线核（NTK）发现了深度神经网络和核方法之间的联系，具有优化和泛化的见解。受此启发，最近的研究报告称，与在小规模数据集上训练神经网络相比，NTK可以实现更好的性能。然而，由于核方法的计算限制，在大规模设置下的结果几乎没有研究。在这项工作中，我们提出了一种全连接ReLU网络NTK的有效特征映射构造，使我们能够将其应用于大规模数据集。我们将反余弦核的随机特征与基于草图的算法相结合，该算法可以相对于数据点的数量和输入尺寸线性运行。我们表明，所得到的功能的尺寸是远远小于其他基线特征图的建设，以实现可比的误差范围在理论和实践中。此外，我们利用杠杆得分为基础的采样的反余弦随机特征的改进的界限，并证明了所提出的特征映射到两层神经网络的NTK矩阵的谱近似保证。我们对各种机器学习任务进行基准测试，以证明所提出的方案的优越性。特别是，我们的算法可以运行几十个数量级的速度比精确的内核方法大规模的设置没有性能损失。
2021-04-03 cs.LG stat.ML
Determining the Mechanical Properties of a New Composite Material Using Artificial Neural Networks
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文研究了用人工神经网络（ANN）确定一种新型复合材料某些力学性能的可能性。这种新材料是由大麻和聚丙烯纤维混合而成的。该材料是为软体家具行业开发的。具体地说，它旨在用于制造一些软垫商品（椅子，扶手椅，沙发侧边）的支撑结构的元件，目的是取代木材。本文旨在计算以下力学性能：最大拉伸强度和最大伸长率。
2019-01-11 cs.LG
Gaussian Process Regression of Steering Vectors With Physics-Aware Deep Composite Kernels for Augmented Listening
National Institute of Informatics（国家信息研究所）
本文提出基于神经场的高斯过程框架，结合物理意识复合核，用于增强听觉中转向矢量的连续表示，以实现更有效的空间滤波和双耳渲染。
2026-04-16 cs.AI cs.LG cs.SD
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；The Hong Kong University of Science and Technology（香港科技大学）
深度学习理论最近的一项突破表明，过度参数化的深度神经网络的训练可以通过一个名为\textit{neural tangent kernel}（NTK）的核函数来表征。然而，众所周知，这种类型的结果并不完全符合实践，因为基于NTK的分析要求网络权重在整个训练过程中保持非常接近其初始化，并且无法处理正则化器或梯度噪声。在本文中，我们提供了一个广义的神经切线核分析，并表明，嘈杂的梯度下降与权重衰减仍然可以表现出“类核”的行为。这意味着训练损失线性收敛到一定的精度。我们还建立了一个新的泛化误差误差界的两层神经网络训练的噪声梯度下降与权重衰减。
2020-10-06 cs.LG math.OC stat.ML
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能学院）
本文提出适用于任意宽度、深度和拓扑的神经网络的新型核模型与精确表示理论，涵盖全局RKBS模型、局部LiNK模型及LeNK表示理论，并证明NTK为LiNK的一阶近似，为网络训练提供理论洞察。
2024-05-24 cs.AI cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS
Simons Institute for the Theory of Computing, University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
证明了当深度神经切线核和Laplace核都被限制在球面$\mathbb{S}^{d-1}$上时，它们的再生核Hilbert空间（RKHS）包含相同的函数集.此外，我们证明了指数幂核具有较小的权力（使内核不太顺利）导致一个较大的RKHS，当它被限制在球体$\mathbb{S}^{d-1}$，当它被定义在整个$\mathbb{R}^d$。
2021-03-18 cs.LG math.ST stat.ML
Kernel-based Translations of Convolutional Networks
University of Washington（华盛顿大学）
卷积神经网络与大多数人工神经网络一样，通常被认为是与基于核的方法有本质区别的方法。我们提供了一个系统的翻译卷积神经网络（ConvNets）到他们的核心为基础的同行，卷积核网络（CKN），并证明这种看法是没有根据的正式和经验。我们表明，给定一个卷积神经网络，我们可以设计一个相应的卷积核网络，很容易使用一个新的随机梯度算法训练的基础上，一个准确的梯度计算，其性能与卷积神经网络同行。我们提出了实验结果，支持我们的索赔的里程碑ConvNet架构比较每个ConvNet的CKN对应在几个参数设置。
2019-03-19 cs.LG math.OC stat.ML
Residual fourier neural operator for thermochemical curing of composites
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing Tech University（南京工业大学）
在复合材料固化过程中，温度历史在很大程度上决定了固化度场和残余应力场的演变，进而影响复合材料的力学性能，因此模拟真实的温度历史对优化复合材料的固化工艺具有重要意义。由于使用有限元（FE）模拟的热化学分析需要大量的计算负载，并且数据驱动的方法受到高维映射的复杂性的影响。本文提出了一种残差傅立叶神经算子（ResFNO），建立从任何给定的固化周期到相应的温度历史的直接高维映射。通过将领域知识集成到与时间分辨率无关的参数化神经网络中，可以使用有限数量的标记数据来学习固化周期与温度历史之间的映射。此外，基于模式分解设计了一种新的傅立叶残差映射，以加快训练速度，显著提高性能。最后通过算例对该方法的优越性和通用性进行了综合评价。
2021-11-15 cond-mat.mtrl-sci cs.LG
Random Features for Operator-Valued Kernels: Bridging Kernel Methods and Neural Operators
Technical University of Braunschweig（布拉unsch维格技术大学）
本文通过随机特征方法研究算子值核，连接核方法与神经算子，建立最优学习速率并分析神经元数量与精度的关系。
2026-03-01 cs.LG math.ST stat.ML
A micromechanics-based recurrent neural networks model for path-dependent cyclic deformation of short fiber composites
Chalmers University of Technology（查尔姆斯理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Gothenburg（哥德堡大学）
短纤维增强复合材料的宏观响应依赖于广泛的微观结构参数。因此，这些材料的微机械建模是具有挑战性的，在某些情况下，计算昂贵。当需要预测路径相关塑性行为时，这一点尤其重要。这一挑战的解决方案是利用诸如人工神经网络的机器学习技术来增强微机械解决方案。在给定细观结构参数和应变路径的情况下，训练一个递归深度神经网络模型来预测短纤维增强复合材料的路径依赖弹塑性应力响应，并进行细观力学平均场模拟，为训练和验证模型建立数据库。该模型给出了非常准确的预测，在计算效率的方式相比，独立的微机械模拟。
2022-09-27 cond-mat.mtrl-sci cs.LG cs.NE
ReCA: A Parametric ReLU Composite Activation Function
Lebanese American University（黎巴嫩美国大学）
针对深度神经网络最优激活函数尚未确定的问题，本文提出基于 ReLU 的新型参数化复合激活函数 ReCA，并在多种复杂架构和先进数据集上验证其优于所有基线。
2025-07-26 cs.LG
Efficient Characterization of Dynamic Response Variation Using Multi-Fidelity Data Fusion through Composite Neural Network
University of Connecticut（康涅狄格大学）
结构的不稳定性是不可避免的，这通常会导致动力响应预测的变化。对于复杂的结构，由于单次运行可能已经是计算昂贵的，因此用于响应变化分析的蛮力蒙特卡罗模拟是不可行的。因此，已经探索了数据驱动的元建模方法以促进有效的仿真和统计推断。元模型的性能取决于训练数据集的质量和数量。然而，在实际应用中，从高维有限元模拟或实验获得的高保真数据通常是稀缺的，这对元模型的建立提出了重大挑战。在本研究中，我们利用结构动力分析中的多级响应预测机会，即，从降阶建模中快速获取大量低保真数据，从全尺寸有限元分析中准确获取少量高保真数据。具体来说，我们制定了一个复合神经网络融合方法，可以充分利用多层次，异构数据集获得。它隐含地识别的相关性的低和高保真度的数据集，从而产生更高的精度相比，与国家的最先进的。全面的调查，使用频率响应变化特性的情况下的例子进行演示的性能。
2020-05-07 cs.LG physics.comp-ph stat.ML
Extension of Convolutional Neural Network with General Image Processing Kernels
Stony Brook University（石溪大学）；The State University of New York Korea（纽约州立大学韩国分校）
我们将为图像处理开发的预定义内核（也称为过滤器或掩码）应用于卷积神经网络。我们没有让神经网络找到自己的内核，而是在卷积神经网络的第一层使用了41种不同的通用内核，包括模糊、边缘检测、锐化、离散余弦变换等。这种结构被称为通用滤波卷积神经网络（GFNN），与常规卷积神经网络（CNN）相比，可以减少30%的训练时间，并具有更好的准确性。GFNN也可以通过500个样本训练达到90%的准确率。此外，即使这些内核不是专门针对MNIST数据集的，我们也在没有集成或任何其他特殊算法的情况下实现了99.56%的准确率。
2019-01-16 cs.CV cs.LG eess.IV
PIKFNO: An Interpretable Neural Operator Based on Physics Informed Kernel Function
本研究提出PIKFNO框架，通过物理信息核函数约束主干网络，采用两种核函数构建策略，在有限训练数据下提升了神经算子的预测精度、可解释性与泛化性能，为开发高性能可解释神经算子提供新路径。
2026-08-18 cs.LG
Understanding neural networks with reproducing kernel Banach spaces
ETH Zürich（苏黎世联邦理工学院）；Università di Genova（热那亚大学）；MIT（麻省理工学院）；IIT（意大利理工学院）
刻画与神经网络相对应的函数空间可以提供一种理解其性质的方法。在本文中，我们将讨论如何再生核Banach空间的理论可以用来应对这一挑战。特别是，我们证明了一类广泛的再生核Banach空间，承认一个合适的积分表示，并包括一个隐藏层神经网络可能无限宽的表示定理。此外，我们证明了，对于一类合适的ReLU激活函数，相应的再生核Banach空间中的范数可以用有界实测度的逆Radon变换来表征，范数由测度的全变差范数给出。我们的分析简化和推广了[34，29，30]中的结果。
2021-10-26 cs.LG math.FA stat.ML
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
