S-Rocket: Selective Random Convolution Kernels for Time Series Classification
University of Toronto（多伦多大学）；Concordia University（康考迪亚大学）
随机卷积核变换（Rocket）是一种快速、高效、新颖的时间序列特征提取方法，它使用大量独立的随机初始化的不同配置的一维卷积核。每个时间序列的卷积运算的输出由部分正值（PPV）表示。来自所有内核的PPV的级联是岭回归分类器的输入特征向量。与典型的深度学习模型不同，内核没有经过训练，并且在内核或级联特征与分类器之间没有加权/可训练的连接。由于这些内核是随机生成的，因此这些内核的一部分可能对模型的性能没有积极贡献。因此，选择最重要的内核并修剪冗余和不太重要的内核对于降低计算复杂性和加速Rocket在边缘设备上的应用的推理是必要的。这些核的选择是一个组合优化问题。在本文中，我们提出了一个方案，选择这些内核，同时保持分类性能。首先，原始模型是满负荷预训练的。然后，初始化二元候选状态向量的群体，其中向量的每个元素表示内核的活动/非活动状态。基于种群的优化算法对种群进行进化，以找到最佳状态向量，该状态向量最小化活动内核的数量，同时最大化分类器的准确性。该激活函数是活动核的总数和具有活动核的预训练分类器的分类准确度的线性组合。最后，利用最佳状态向量中的所选核来训练具有所选核的岭回归分类器。
2022-09-20 cs.AI cs.LG
The Positivity of the Neural Tangent Kernel
Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））；Centro de Análise Matemática, Geometria e Sistemas Dinâmicos, Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高级技术学院数学分析、几何与动力系统中心，里斯本大学）
本文针对任意深度前馈网络，证明非多项式激活函数下神经正切核严格正定，从而保证宽网络的记忆容量，并提出了多项式函数的新刻画。
2024-04-19 cs.AI cs.LG math.PR
Operator theory, kernels, and Feedforward Neural Networks
The University of Iowa（爱荷华大学）；Southern Illinois University Edwardsville（南伊利诺伊大学爱德华兹维尔分校）；Mathematical Reviews（数学评论）
在本文中，我们将展示如何特定的家庭正定核作为强大的工具，在分析多层前馈神经网络模型的迭代算法。我们的重点是特定的内核，以及适应学习算法的数据集/功能，显示内在的自相似性在前馈迭代缩放。
2023-01-05 cs.LG math.FA math.OA
LMKL-Net: A Fast Localized Multiple Kernel Learning Solver via Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Cambridge, MA 02139-1955（剑桥，马萨诸塞州 02139-1955（注意：此部分为地址，不应作为机构提取））
在本文中，我们提出使用LMKL-Net（一种前馈深度神经网络）解决局部化多核学习（LMKL）。与以前的作品相比，作为一个学习原则，我们提出{ \em parameterizing}的门函数学习内核组合权重和多类分类器在LMKL使用的注意力网络（AN）和多层感知器（MLP），分别。通过这种方式，我们可以通过AN和MLP的顺序应用（近似）学习LMKL中的（非线性）决策函数。根据基准数据集的经验，我们证明了整体LMKL-Net不仅可以在准确性方面优于最先进的MKL求解器，而且可以更快地训练{ \em两个数量级}，并且对于大规模学习来说内存占用要小得多。
2018-05-22 cs.CV cs.LG stat.ML
Universal Approximation of Markov Kernels by Shallow Stochastic Feedforward Networks
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
我们建立了隐单元的最小数量的上界，其中一个二进制随机前馈网络与sigmoid激活概率和一个单一的隐藏层是一个普遍的近似马尔可夫核。我们表明，每个可能的概率分配的$n$输出单元的状态，给定的$k\geq1$输入设备的状态，可以近似任意以及由网络与$2^{k-1}(2^{n-1}-1)$隐藏的单位。
2015-03-24 cs.LG stat.ML
Dead Weights, Live Signals: Feedforward Graphs of Frozen Language Models
University of Houston（休斯顿大学）
本文提出了一种前馈图架构，利用异构冻结大语言模型作为计算节点，通过学习的线性投影在共享连续潜在空间中通信。该架构在冻结模型上实现了端到端可训练的多节点图，通过反向传播优化投影矩阵，取得优于单一模型的性能。
2026-09-14 cs.AI cs.LG
Lookup multivariate Kolmogorov-Arnold Networks
École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL））；National Centre of Competence in Research (NCCR) Catalysis（研究能力中心（NCCR）催化）
本文提出查找多元Kolmogorov-Arnold网络（lmKANs），作为线性层的通用替代品，通过可训练低维多元函数和样条查找表实现高维映射，在匹配精度下显著降低推理FLOPs并提升吞吐量。
2025-10-17 cs.AI cs.LG cs.PF
Trainable Dynamic Mask Sparse Attention
针对现有稀疏注意力无法兼顾上下文适配性与可微性的问题，提出可训练动态掩码稀疏注意力DMA，融合两类方法优势支持端到端训练，在多任务上性能更优且最高提速10倍，代码已开源。
2025-11-16 cs.AI cs.CL cs.LG
Invariance of Weight Distributions in Rectified MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
分析神经网络的一个有趣的方法是研究神经网络的等价核，这一方法重新受到关注。这是基于这样的事实，即具有一个隐藏层、一定的权重分布、激活函数和无限数量的神经元的全连接前馈网络可以被视为到希尔伯特空间的映射。对于所有旋转不变的权重分布，我们推导出具有ReLU或Leaky ReLU激活的MLP的等效内核，推广了之前需要高斯权重分布的结果。此外，中心极限定理被用来表明，对于某些激活函数，内核对应的层具有$0$平均值和有限的绝对三阶矩的重量分布是渐近普遍的，以及近似的内核对应的层与球形高斯权重。在深度网络中，随着深度的增加，等效内核接近病态不动点，这可以用来解释为什么训练随机初始化的网络会很困难。我们的研究结果也有影响的权重初始化。
2018-06-01 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Attention-based Random Forest and Contamination Model
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
提出了一种将注意力机制应用于随机森林（RF）的新方法ABRF（the attention-based随机森林）及其改进方法。提出的ABRF模型背后的主要思想是以特定的方式为决策树分配具有可训练参数的注意力权重。权重取决于落在树的相应叶子中的实例与落在同一叶子中的实例之间的距离。这个想法源于以RF形式表示的Nadaraya-Watson内核回归。提出了三个修改的一般方法。第一个是基于应用Huber的污染模型和计算注意力的权重，通过解决二次或线性优化问题。第二和第三修改使用基于梯度的算法来计算可训练参数。不同的回归和分类数据集的数值实验说明了所提出的方法。
2022-01-08 cs.AI cs.LG stat.ML
MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models
City University of Hong Kong（香港城市大学）；NVIDIA（英伟达）
MaRK通过将上下文映射为冻结SSM参数的有界调制，实现动态算子条件化，以低参数量（6.3-11M）将双向模型转为迭代扩散，切比雪夫变体最佳（损失2.55）。
2026-10-20 cs.AI cs.LG
Gradient-Free Learning Based on the Kernel and the Range Space
Yonsei University（延世大学）；Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Beijing Institute of Technology（北京理工大学）
在这篇文章中，我们证明了通过操纵核和范围空间来求解线性方程组等价于求解最小二乘误差逼近问题。当系统可以用线性矩阵方程的形式表示时，这为无梯度学习搜索奠定了基础。当非线性激活函数可逆时，全连接多层前馈神经网络的学习问题可以很容易地适应这种新的学习框架。通过一系列的核和范围空间操作，证明了这样的网络学习归结为求解一组交叉耦合方程。通过随机初始化权重，可以解耦方程，并且网络解决方案对于小到中等维度的真实世界数据集显示出相对良好的学习能力。基于矩阵方程的结构信息，网络表示被发现依赖于数据样本的数量和输出维数。
2018-10-27 cs.LG stat.ML
Gate-level boolean evolutionary geometric attention neural networks
School of Integrated Circuits, Tsinghua University（集成电路学院，清华大学）
本文提出一种基于布尔域的门级进化几何注意力神经网络，通过布尔反应-扩散机制实现图像处理，结合自注意力与RoPE技术，具备高效率和可解释性。
2025-11-11 cs.AI cs.LG cs.NE
Drastically Reducing the Number of Trainable Parameters in Deep CNNs by Inter-layer Kernel-sharing
Shahid Beheshti University（沙希德·贝赫什提大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
深度卷积神经网络（DCNN）已成为许多计算机视觉任务的最先进（SOTA）方法：图像分类，目标检测，语义分割等。在这里，我们提出了一种简单的方法来减少可训练参数的数量，从而减少内存占用：在多个卷积层之间共享内核。内核共享仅在"同构”层之间是可能的，即具有相同内核大小、输入和输出通道的层。这通常是DCNN的每个阶段内部的情况。我们使用ConvMixer和SE-ResNet架构在CIFAR-10和CIFAR-100上进行的实验表明，这些模型的参数数量可以大大减少，同时精度成本最小。由此产生的网络对于某些受到严重内存限制的边缘计算应用程序很有吸引力，如果利用“冻结权重”硬件加速器，则更有趣。核共享也是一种有效的正则化方法，可以减少过拟合。这些守则可在https://github.com/AlirezaAzadbakht/kernel-sharing上公开查阅。
2022-10-23 cs.AI cs.CV cs.LG
Adaptive Extreme Learning Machine for Recurrent Beta-basis Function Neural Network Training
University of Sfax（斯法克斯大学）
Beta基函数神经网络（BBFNN）是一类特殊的核基神经网络。它是一种前馈网络，典型的是使用beta函数作为隐藏的激活函数。Beta是一个灵活的传递函数，比现有的常见函数形式更丰富。在每个网络中，结构设置以及学习方法是BBFNN面临的两个主要挑战。本文提出了一种新的BBFNN结构和训练算法。极端学习机（ELM）被用作BBFNN的训练方法，目的是加快训练过程。ELM的特点是允许一定的计算时间和复杂度的递减对于已经使用的BBFNN学习算法，如反向传播，OLS等的架构设计，递归结构添加到共同的BBFNN架构，以使它更能够处理复杂的，非线性和时变的问题。在本文中，构思的循环ELM训练的BBFNN进行了测试，在一些与时间序列预测，分类和回归相关的任务。实验结果表明，与采用ELM和双曲正切作为激活函数训练的普通前馈和递归网络相比，该网络具有显著的性能。这些成就是在准确性和对数据故障（如噪声信号）的鲁棒性方面。
2018-10-31 cs.AI cs.LG stat.ML
Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
Johns Hopkins University（约翰霍普金斯大学）
本文通过预训练实验检验Transformer中FFN的作用，证明三层FFN且减少块数的配置能以更少参数和更短时间获得更低训练损失。
2025-05-10 cs.CL cs.LG
DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
School of Mechanical Engineering（机械工程学院）；Purdue University（普渡大学）；RTX Technology Research Center（RTX技术研究中心）
本文提出DKL-KAN，用Kolmogorov-Arnold网络替代MLP构建可扩展深度核，并在高斯过程框架下优化核参数，在少样本数据上优于DKL-MLP，而DKL-MLP在大规模数据上更具可扩展性和预测精度。
2024-07-30 cs.LG stat.ML
LAPLEX: The FFT of Learnable Laplace Kernels
Faculty of Mathematics and Computer Science, Jagiellonian University（杰里戈尼亚大学数学与计算机科学系）；Doctoral School of Exact and Natural Sciences, Jagiellonian University（杰里戈尼亚大学精确与自然科学博士学院）；Centre for Credible Artificial Intelligence, Warsaw University of Technology（华沙技术大学可信人工智能中心）
提出LAPLEX算子，通过可学习坐标锚点隐式定义满秩稠密矩阵，实现FFT规模的可训练矩阵-向量运算，分离表达性与存储成本。
2026-05-23 cs.AI cs.LG
FSA: An Alternative Efficient Implementation of Native Sparse Attention Kernel
The Hong Kong University of Science and Technology（香港科技大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现有稀疏注意力核在GQA组中查询头数较少时效率低的问题，提出Flash Sparse Attention (FSA)核实现，通过优化循环顺序，在多种流行LLM上实现平均1.6倍核延迟降低和1.09倍端到端训练加速。
2026-07-02 cs.DC cs.LG
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida（佛罗里达大学）
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题，学习逐层的组成假设类，即，一个前馈的多层架构，在一个有监督的环境中。在模型方面，我们提出了一个原则性的方法来“内核化”（部分或完全）任何神经网络（NN）。通过这种方法，我们获得了任何给定NN的对应物，该NN由内核机器而不是神经元驱动。在学习方面，当在监督设置中学习前馈深度架构时，需要使用反向传播（BP）同时训练所有组件，因为隐藏层没有明确的目标（Rumelhart86）。我们认为不失一般性的两层的情况下，并提出了一个通用的框架，明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后，这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现，我们提出了一个逐层训练算法的l层前馈网络的分类，其中l>=2可以是任意的。该算法可以给出一个直观的几何解释，使学习动态透明。实证结果提供补充我们的理论。我们表明，核化的网络，训练层的方式，相比之下，与经典的内核机器，以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理，以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
Deep Learning-Based Acoustic Mosquito Detection in Noisy Conditions Using Trainable Kernels and Augmentations
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们展示了一种独特的方法，通过将预处理技术融合到深度学习模型中来增强音频机器学习方法的有效性。我们的解决方案通过训练优化超参数来加速训练和推理性能，而不是昂贵的随机搜索，从而从音频信号中构建可靠的蚊子检测器。本文所介绍的实验和结果是ACM 2022挑战赛的MOS C提交的一部分。在未发表的测试集上，我们的结果比发表的基线高出212%。我们相信，这是建立一个强大的生物声学系统，在嘈杂的条件下提供可靠的蚊子检测的最佳现实世界的例子之一。
2022-08-18 cs.LG cs.SD eess.AS
Modeling Quantum Autoencoder Trainable Kernel for IoT Anomaly Detection
Quantum Research Group at School of IT, Deakin University（信息学院量子研究组，德堪大学）
本文提出量子自编码器与量子支持向量分类结合的物联网异常检测方法，展示了在当前NISQ设备上的量子优势和实际应用潜力。
2025-11-26 cs.LG quant-ph
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics
Stanford University（斯坦福大学）
本文提出可训练的核校准度量，将校准视为分布匹配任务，统一分类与回归中的校准方法，并可直接用于经验风险最小化，从而提升校准、锐度与决策性能。
2023-10-31 cs.LG stat.ML
A Multiclass Quantum Aligned Centroid Kernel
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
研究针对常用全Gram核的局限，提出可训练的多类量子核方法McQuack，通过特定矩阵替换实现训练样本数量线性缩放，经模拟和硬件评估，性能良好，还研究了模型可训练性及参数初始化重要性。
2026-07-23 cs.LG quant-ph
Linearized Attention Cannot Enter the Kernel Regime at Any Practical Width
Center for AI Research PH（人工智能研究所以PH）
本文研究了线性化注意力是否能进入核范式，发现即使在实用宽度下也无法收敛，揭示了注意力学习动态中的根本权衡。
2026-05-07 cs.CV cs.LG cs.NA
Privacy-Preserving Image Acquisition Using Trainable Optical Kernel
Centre Suisse d’Electronique et de Microtechnique (CSEM)（瑞士电子与微技术中心（CSEM））；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
在传感器和摄像头无处不在的社会中，保护隐私是一个越来越受关注的问题。在这项工作中，我们首次提出了一种可训练的图像采集方法，该方法在到达图像传感器之前去除了光域中的敏感身份揭示信息。该方法受益于可训练的光学卷积核，其传输所需的信息，同时过滤掉敏感内容。由于敏感内容在到达图像传感器之前被抑制，因此它不会进入数字域，因此任何类型的隐私攻击都无法检索。这与当前的数字隐私保护方法形成对比，这些方法都容易受到直接存取攻击。此外，与之前无法训练的光学隐私保护方法相比，我们的方法是数据驱动的，并针对手头的特定应用进行了优化。此外，采集系统上不存在额外的计算、存储器或功率负担，因为该处理在光域中被动地发生，并且甚至可以一起使用并且在全数字隐私保护系统之上使用。该方法适用于不同的数字神经网络和内容。我们证明了它的几个场景，如微笑检测作为所需的属性，而性别作为敏感内容被过滤掉。我们结合两个对抗神经网络训练了光学内核，其中分析网络试图检测所需的属性，对抗网络试图检测敏感内容。我们表明，这种方法可以减少65.1%的敏感内容时，它被选择为性别，它只失去了7.3%的所需内容。此外，我们重建的原始人脸使用的深度重建方法，证实重建攻击的无效性，以获得敏感内容。
2021-06-28 cs.CR cs.CV cs.LG
Universal Approximation with XL MIMO Systems: OTA Classification via Trainable Analog Combining
Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（雅典大学信息与电信系）
本文提出XL MIMO系统作为通用函数逼近器，通过将信道系数视为隐藏层随机节点，接收端模拟组合器作为可训练输出层，实现OTA边缘推理，无需传统数字处理或发射端预处理，具有高效分类和低延迟特性。
2026-04-10 cs.LG eess.SP
Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
针对传统核学习核灵活性不足的问题，本文提出带可训练局部自适应带宽的LAB RBF核，构建非对称核岭回归框架与迭代学习算法，在大规模数据集上性能优于Nyström类方法及残差神经网络。
2023-10-08 cs.LG
Trainable Time Warping: Aligning Time-Series in the Continuous-Time Domain
University of Michigan（密歇根大学）
DTW计算两个信号之间的相似性或对齐，受到时间扭曲。然而，其计算复杂性随着时间序列的数量呈指数增长。虽然已经开发出的算法在时间序列的数量上是线性的，但它们在时间序列长度上通常是二次的。例外的是广义时间扭曲（GTW），它具有线性计算成本。然而，它只能识别简单的时间弯曲函数。需要一种新的快速、高质量的多序列比对算法。我们引入了可训练时间规整（TTW），其复杂度在时间序列的数量和长度上都是线性的。TTW使用sinc卷积核和基于梯度的优化技术在连续时间域中执行对齐。我们比较了TTW和GTW在85个UCR数据集上的时间序列平均和分类。TTW在平均任务的67.1%的数据集上优于GTW，在分类任务的61.2%的数据集上优于GTW。
2019-03-21 cs.AI cs.CC cs.LG
Finite-Agent Stochastic Differential Games on Large Graphs: II. Graph-Based Architectures
Department of Mathematics, and Department of Statistics and Applied Probability, University of California, Santa Barbara（数学系和应用概率统计系，加州大学圣芭芭拉分校）；Institute for Advanced Algorithms Research（高级算法研究所）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
研究图上随机微分博弈中纳什均衡计算问题，提出NTM架构，对前馈神经网络施加图引导稀疏化以减少可训练参数。将其纳入两种博弈求解器得到稀疏变体，实验表明该方法性能与全可训练方法相当且计算效率更高。
2026-07-22 cs.GT cs.LG math.OC
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI（微软研究院人工智能）
具有随机权重和偏差的宽神经网络是高斯过程，正如Neal（1995）最初观察到的那样，最近Lee et al.（2018）和Matthews et al.（2018）观察到的深度全连接网络，以及Novak et al.（2019）和Garriga-Alonso et al.（2019）观察到的深度卷积网络。我们发现，这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络，包括多层感知器，RNN（例如LSTM，GRU），（nD或图）卷积，池化，跳过连接，注意力，批量归一化和/或层归一化。更一般地说，我们引入了一种语言来表达神经网络计算，我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang（2019）中制定的 * 张量程序 * 技术的教程，并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Learning from the Kernel and the Range Space
School of Electrical and Electronic Engineering（电气与电子工程学院）；Yonsei University（延世大学）
在这篇文章中，介绍了一种新的方法来学习一个复杂的函数，可以写为线性方程组。这种学习基于这样的观察，即通过在核和范围空间中的操作来求解线性方程组归结为基于最小二乘误差近似的估计。该学习方法被应用于学习具有全权连接的深度前馈网络。对合成数据和基准数据的网络学习实验不仅表明了所提出的学习方法的可行性，而且提供了对数据表示机制的见解。
2018-10-22 cs.LG stat.ML
Stochastic Feedforward Neural Networks: Universal Approximation
University of California Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
在这一章中，我们来看看随机前馈神经网络的通用逼近问题。与表示从一组输入到一组输出的映射的确定性网络相反，随机网络表示从一组输入到一组输出上的一组概率分布的映射。特别地，即使输入和输出的集合是有限的，所讨论的随机映射类也不是有限的。此外，虽然对于确定性函数，所有输出变量的值可以在给定输入值的情况下彼此独立地计算，但在随机设置中，输出变量的值可能需要相关，这要求它们的值被联合计算。在深度学习的复兴中发挥关键作用的一类突出的随机前馈网络是深度信念网络。这些网络的表征能力主要是在生成环境中研究的，作为没有输入的概率分布模型，或者在确定性映射的特殊情况下的判别环境中研究的。我们研究了深度sigmoid信念网络的表示能力，即概率分布的线性变换的组成，马尔可夫核，可以由网络的层表示。我们研究了不同类型的浅层和深层架构，以及每层的最小层数和单元数，这些层数和单元数是足够的和必要的，以便网络能够任意地近似从输入集到输出集的任何给定的随机映射。
2019-10-22 cs.LG cs.NE stat.ML
Differentiable Compositional Kernel Learning for Gaussian Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Uber Advanced Technologies Group（优步先进技术集团）
高斯过程的泛化性能在很大程度上取决于内核的选择，这种选择仍然是一个黑暗的艺术。我们提出了神经核网络（NKN），一个灵活的家庭内核的神经网络。NKN架构基于内核的组成规则，因此网络的每个单元都对应于一个有效的内核。它可以对诸如自动统计员所使用的那些结构之类的组成内核结构进行复杂近似（Lloyd等人，2014年），但由于架构是可区分的，它是端到端可训练的基于梯度的优化。我们表明，NKN是通用的一类平稳内核。从经验上讲，我们展示了NKN在几个任务上的模式发现和外推能力，这些任务关键取决于识别底层结构，包括时间序列和纹理外推，以及贝叶斯优化。
2018-08-05 cs.LG stat.ML
Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks
Yale University（耶鲁大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Statistics and Data Science（统计与数据科学系）；Department of Mathematics（数学系）
研究了多层前向神经网络的共轭核和神经切核的特征值分布。在一个渐近制度，网络宽度线性增加的样本量，随机初始化的权重，并为输入样本满足近似成对正交的概念，我们表明，CK和NTK的特征值分布收敛到确定性的限制。CK的限制是通过在隐藏层上迭代Marcenko-Pastur映射来描述的。NTK的极限等价于CK矩阵跨层的线性组合的极限，并且可以通过扩展该Marcenko-Pastur映射的递归定点方程来描述。我们证明了这些渐近预测与合成和CIFAR-10训练数据的观测光谱的一致性，并且我们进行了一个小的模拟来研究这些光谱在训练过程中的演变。
2020-10-10 cs.LG math.PR math.ST
A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；École normale supérieure（巴黎高等师范学院）
我们解决的问题，学习集的功能，需要执行池化操作的不同大小的长生物序列，具有长距离的依赖关系，可能很少标记的数据。为了解决这一具有挑战性的任务，我们引入了一个固定大小的参数化表示，它根据集合和可训练参考之间的最佳传输计划嵌入并聚合来自给定输入集合的元素。我们的方法可以扩展到大型数据集，并允许对参考进行端到端的训练，同时还提供了一个简单的无监督学习机制，计算成本很小。我们的聚合技术承认两个有用的解释：它可以被看作是一种机制，在神经网络中的注意层，或者它可以被看作是一个可扩展的替代经典的最佳运输为基础的内核。我们实验证明了我们的方法对生物序列的有效性，实现了最先进的结果，蛋白质折叠识别和检测染色质配置文件的任务，并作为一个概念的证明，我们表现出有前途的结果处理自然语言序列。我们提供了一个嵌入的开源实现，可以单独使用，也可以在https://github.com/claying/OTK上作为更大的学习模型中的一个模块使用。
2021-02-09 cs.LG stat.ML
Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
预训练语言模型（PLM）中大量的可训练参数使得它们难以部署到多个下游任务。为了解决这个问题，已经提出了参数高效的迁移学习方法，以在微调期间仅调整少数参数，同时冻结其余参数。本文通过\textit{kernel lens}沿着这条路线研究现有的方法。基于transformer-based PLM中的自注意与核学习之间的联系，提出了\textit{kernel-wise adapters}，即\textit{Kernel-mix}，利用自注意中的核结构来指导可调参数的分配.这些适配器使用经典内核学习中的指导原则，并为每个注意力头启用单独的参数调优。我们的实证结果，在一组不同的自然语言生成和理解任务，表明我们提出的适配器可以达到或提高现有基线的强大性能。
2022-10-26 cs.CL cs.LG
Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
Meta Superintelligence Labs（Meta超智能实验室）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
本文提出稀疏强制方法，通过在训练和推理中提升长时程生成质量并降低解码延迟，采用可训练的原生稀疏机制和高效的GPU内核PBSA来加速稀疏注意力和内存更新。
2026-04-23 cs.CV cs.LG
Transition to Linearity of General Neural Networks with Directed Acyclic Graph Architecture
University of California, San Diego（加州大学圣地亚哥分校）
该研究揭示任意有向无环图架构的前馈神经网络在宽度（输入层和第一层外神经元最小入度）趋于无穷时会线性化，明确了其底层数学结构，推广了相关标准架构的研究。
2023-06-07 cs.LG math.OC stat.ML
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
HMC with Normalizing Flows
Argonne National Laboratory（阿贡国家实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）；University of Connecticut（康涅狄格大学）
我们建议使用归一化流作为一个可训练的内核内的分子动力学更新的哈密顿蒙特卡罗（HMC）。通过学习简化我们的动力学的（可逆）变换，我们可以在生成独立配置方面优于传统方法。我们表明，使用精心构建的网络架构，我们的方法可以很容易地扩展到大的晶格体积，最小的再训练工作。我们实现的源代码可以在https://github.com/nftqcd/fthmc上公开获得。
2021-12-02 cs.LG hep-lat
Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels on Nonlinearly Separable Data
Department of Mathematics ICSI and Department of Statistics（数学系ICSI和统计系）；University of California, San Diego, USA（美国加州大学圣地亚哥分校）；University of California, Berkeley, USA（美国加州大学伯克利分校）；Department of Mathematics ICSI, LBNL and Department of Statistics（数学系ICSI、劳伦斯伯克利国家实验室和统计系）
针对非线性可分数据（XOR问题），通过共轭核矩阵的二次等价模型，分析异常特征值涌现及其与标签对齐的BBP型相变，揭示样本复杂度、信噪比、激活函数和预训练特征对非线性可学习性的影响。
2026-06-17 cs.LG math.PR math.ST
