Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预训练LLM中softmax近似，提出Rowmax-PoT及其硬件特化Rowmax-H15，在B200上实现FP8注意力前向加速12.4%-25.8%，能耗降低8.4%，困惑度影响极小。
2026-09-29 cs.LG
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Wrapped Cauchy Distributed Angular Softmax for Long-Tailed Visual Recognition
Amazon Web Services（亚马逊云科技）；Shell（壳牌公司）
本文提出环绕柯西分布角度Softmax（WCDAS），通过将高斯核引入角度相关性并利用可训练集中度参数动态调整类紧凑性与间隔，在多个长尾视觉识别基准上优于现有softmax方法。
2023-05-30 cs.LG
Attention Kernels for Learning Maps Between Heavy-Tailed Measures
California Institute of Technology（加州理工学院）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
本文针对重尾测度上的算子学习，提出用增长更慢的注意力核替代softmax以避免集成坍缩，并通过两个基准验证了该方法的有效性。
2026-10-02 cs.LG
Quasi Linear Kernel Attention with Infinite Capacity
Chemnitz University of Technology（开姆尼茨工业大学）；University of Göttingen（哥廷根大学）
本文提出由单变量样条和多项式指数核构建的加性核，在保持无限容量的同时实现拟线性计算，并在长序列上优于现代softmax后端。
2026-09-29 cs.LG cs.NA math.NA
DSL: Understanding and Improving Softmax Recommender Systems with Competition-Aware Scaling
University of Surrey（萨里大学）
DSL通过双尺度softmax损失改进推荐系统，通过竞争意识缩放提升模型性能和鲁棒性，实验显示在多个基准和数据集上均取得显著提升。
2026-02-06 cs.AI cs.LG
Attention in SRAM on Tenstorrent Grayskull
Technical University of Munich（慕尼黑工业大学）
针对 Tenstorrent Grayskull 架构，提出利用其大容量 SRAM 的融合注意力内核和专用 Softmax 内核，相比 CPU 实现分别获得最高 10 倍和约 1.8 倍的加速，且成本远低于高端 GPU。
2024-07-18 cs.LG cs.PF
Sparse Attention as Compact Kernel Regression
Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal（里斯本大学理工学院及电信研究所，葡萄牙）；Champalimaud Research, Lisbon, Portugal（Champalimaud研究，葡萄牙里斯本）；TransPerfect, Lisbon, Portugal（TransPerfect，葡萄牙里斯本）；Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，美国匹兹堡）
本文通过核理论将稀疏注意力与紧凑核回归联系起来，揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系，并展示了核方法在注意力设计中的应用。
2026-10-28 cs.LG
Data-Aware Random Feature Kernel for Transformers
Google DeepMind（谷歌DeepMind）
DARKFormer通过数据对齐的随机特征核提升变换器的注意力效率和稳定性，尤其在资源受限场景中表现优异。
2026-03-04 cs.AI cs.LG
MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation
针对Transformer长度外推问题，提出MEP相对位置编码方法，通过加权平均结合多种核函数生成注意力偏置惩罚，无参数和参数化变体均实现SOTA性能。
2024-03-26 cs.AI cs.LG
FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）；The Alan Turing Institute（艾伦·图灵研究所）
由高斯或softmax内核引起的线性算子的有效近似问题通常使用随机特征（RF）来解决，这些随机特征产生算子结果的无偏近似。这样的运营商出现在重要的应用程序，从核方法，以有效的Transformers。我们提出了参数化的，积极的，非三角RF近似高斯和软最大内核。与传统的RF近似相比，这些新方法的参数可以被优化以减小近似的方差，并且最优值可以以封闭形式表示。我们表明，我们的方法导致方差减少在实践中（$e^{10}$倍更小的方差和超越），并优于以前的方法在内核回归任务。使用我们提出的机制，我们还提出了FAVOR#，一种自注意力近似的方法在Transformers。我们表明，FAVOR#优于其他随机特征的方法在语音建模和自然语言处理。
2023-02-01 cs.LG stat.ML
Sliced ReLU attention: Quasi-linear contextual expressivity via sorting
LIGM, Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学LIGM）
切片ReLU注意力通过排序实现近线性复杂度，保留了强大的理论表达能力，适用于长上下文任务。
2026-02-04 cs.LG
FoldAttention: Declared-Reference Softmax for Fast Decode and Deterministic Backward
Virginia Commonwealth University（弗吉尼亚联邦大学）
FoldAttention通过固定参考的加性softmax公式，在扫描KV缓存前确定权重，实现快速解码和确定性反向传播，在H100上解码加速最高3.09倍，反向传播加速最高1.84倍。
2026-09-29 cs.DC cs.LG
Rethinking Attention with Performers
Google（谷歌）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
我们介绍表演者，Transformer架构，可以估计定期（softmax）满秩注意力Transformers可证明的准确性，但只使用线性（而不是二次）的空间和时间复杂度，而不依赖于任何先验，如稀疏或低秩。为了近似softmax注意力内核，执行者使用一种新的快速注意力通过正正交随机特征方法（FAVOR+），这可能是可扩展内核方法的独立兴趣。FAVOR+还可以用于有效地建模softmax之外的可内核化注意力机制。这种代表性的能力对于在大规模任务中首次准确地将softmax与其他内核进行比较至关重要，超出了常规Transformers的范围，并研究最佳注意力内核。执行者是线性架构，与常规Transformers完全兼容，并具有强大的理论保证：无偏或接近无偏估计的注意矩阵，一致收敛和低估计方差。我们在一组丰富的任务上测试了Performers，从像素预测到文本模型再到蛋白质序列建模。我们展示了竞争力的结果与其他检查有效的稀疏和密集的注意力方法，展示了有效性的新的注意力学习范式的表演者利用。
2022-11-19 cs.CL cs.LG stat.ML
Fast Gauss Sums via Flash Attention
Faculty of Mathematics（数学学院）；Chemnitz University of Technology（开姆尼茨工业大学）
该研究提出通过两次输入增强，利用Flash Attention计算带任意符号权重的高斯核和，无需自定义GPU代码，在fp16、D>8时性能优于PyTorch与PyKeOps，内存扩展呈线性。
2026-09-07 cs.LG cs.NA math.NA
Hybrid Random Features
Google Brain Robotics（谷歌大脑机器人学）；Columbia University（哥伦比亚大学）；Yale University（耶鲁大学）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一类新的随机特征方法，用于线性化softmax和高斯内核，称为混合随机特征（HRF），可以自动调整内核估计的质量，以在定义的感兴趣区域中提供最准确的近似。HRF的特殊实例导致众所周知的方法，例如三角函数（Rahimi和Recht，2007）或（最近在线性注意力Transformers的背景下引入的）正随机特征（Choromanski等人，2021年）。通过将Bochner定理推广到softmax/Gaussian内核，并利用组合内核的随机特性，HRF机制提供了强有力的理论保证-无偏近似和严格小于其对应物的最坏情况相对误差。我们进行详尽的经验评估HRF范围从逐点核估计实验，通过测试数据承认聚类结构的基准隐含注意Transformers（也为下游机器人应用），证明其质量在广泛的机器学习问题。
2022-01-30 cs.LG stat.ML
Softmax Q-Distribution Estimation for Structured Prediction: A Theoretical Interpretation for RAML
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
奖励增强最大似然（RAML），一个简单而有效的学习框架，直接优化结构化预测任务中的奖励函数，已经取得了许多令人印象深刻的经验成功。RAML通过对根据指数回报分布采样的候选输出执行最大似然更新来合并特定于任务的奖励，这为接近参考输出的候选者提供了更高的概率。虽然RAML以其简单、高效和令人印象深刻的经验成功而闻名，但RAML的理论性质，特别是指数化收益分布的行为，还没有得到彻底的研究。在这项工作中，我们介绍了软最大Q分布估计，一种新的理论解释RAML，揭示了RAML和贝叶斯决策理论之间的关系。softmax Q分布可以看作是贝叶斯决策边界的一个光滑近似，贝叶斯决策规则可以通过这个Q分布进行译码得到。我们进一步表明，RAML是等效的近似估计softmax Q分布，与温度$τ$控制近似误差。我们进行了两个实验，一个是多类分类的合成数据和一个真实的图像描述的数据，以证明RAML和所提出的softmax Q分布估计方法之间的关系，验证我们的理论分析。在三个结构化预测任务上进行的额外实验表明，与最大似然基线相比，在顺序（命名实体识别）、基于树的（依存句法分析）和不规则（机器翻译）结构上定义了奖励。
2017-10-27 cs.CL cs.LG stat.ML
Unsupervised Energy-based Out-of-distribution Detection using Stiefel-Restricted Kernel Machine
KU Leuven（鲁汶大学）
检测分发外（OOD）样本是在现实世界中部署机器学习系统的基本要求。到目前为止，对基于能量的OOD检测器的研究主要集中在来自可访问类标签的预训练神经网络分类器的softmax置信度分数上。相比之下，我们提出了一个无监督的基于能量的OOD检测器，利用Stiefel限制内核机（St-RKM）。训练需要最小化具有自动编码器损失项和RKM能量的目标函数，其中互连矩阵位于Stiefel流形上。此外，我们概述了多个能量函数的定义的基础上RKM框架，并讨论其效用。在标准数据集上的实验中，该方法改进了现有的基于能量的OOD检测器和深度生成模型。通过几个烧蚀研究，我们进一步说明了每一个建议的能量函数的优点上OOD检测性能。
2021-02-16 cs.LG
Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
Institute of Mathematics, University of Mannheim（曼海姆大学数学研究所）
本文针对有限时间马尔可夫决策过程中最优策略非平稳的问题，提出动态策略梯度方法，按时间反向训练参数，并在表格型softmax参数化下证明了其相比同时训练具有更好的全局收敛界。
2024-05-06 cs.LG math.OC stat.ML
Prototype Memory for Large-scale Face Representation Learning
Speech Technology Center（语音技术中心）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
使用具有大量身份的数据集的人脸表示学习需要适当的训练方法。基于softmax的方法，目前最先进的人脸识别，在其通常的“全softmax”形式是不适合与数百万人的数据集。提出了几种基于“sampled softmax”方法的方法来消除这种限制。然而，这些方法具有一系列缺点。其中之一是“原型过时”的问题：很少采样的类的分类器权重（原型）接收太少的梯度，变得过时并与当前编码器状态分离，导致不正确的训练信号。这个问题在超大规模数据集中尤为严重。在本文中，我们提出了一种新的人脸表示学习模型，称为原型记忆，它解决了这个问题，并允许在任何大小的数据集上进行训练。原型内存由有限大小的内存模块组成，用于存储最近的类原型，并采用一组算法以适当的方式更新它。新的类原型是使用当前mini-batch中的范例嵌入动态生成的。这些原型被排队到内存中，并用于基于softmax分类的训练的分类器权重。为了防止过时并保持存储器与编码器的紧密联系，原型会定期更新，最旧的原型会被排出队列并处理掉。Prototype Memory在计算上是高效的，并且与数据集大小无关。它可以与各种损失函数、硬示例挖掘算法和编码器架构一起使用。我们证明了该模型的有效性，通过广泛的实验流行的人脸识别基准。
2022-02-03 cs.AI cs.CV cs.LG
Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣芭芭拉分校数学系）
本文研究了上下文核岭回归，证明标准softmax注意力transformer可通过预条件Richardson迭代近似高斯核回归预测器，展示了transformer架构中的功能分解。
2026-09-28 cs.AI cs.LG cs.NA
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
University of California Los Angeles（加州大学洛杉矶分校）
针对线性注意力多项式核近似误差问题，提出可学习低秩多项式概型LLoPS，其近似误差更小，在多基准测试中性能优于多种线性注意力基线。
2026-10-14 cs.AI cs.CL cs.LG
Improving Sample Efficiency with Normalized RBF Kernels
University of Hildesheim（希尔德斯海姆大学）
在深度学习模型中，用更少的数据学习更多变得越来越重要。本文探讨了如何训练具有归一化径向基函数（RBF）核的神经网络以获得更好的样本效率。此外，我们展示了这种输出层如何找到嵌入空间，其中类是紧凑的和良好分离的。为了实现这一点，我们提出了一个两阶段的方法来训练这些类型的神经网络分类任务。在CIFAR-10和CIFAR-100上的实验表明，与SoftMax输出层网络相比，采用归一化核作为输出层的网络具有更高的样本效率、更高的紧致度和更好的可分性。
2020-07-31 cs.LG stat.ML
Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
变分自编码器（VAE）是一种典型的非线性协同过滤方法。然而，VAE的瓶颈在于对所有项目的softmax计算，因此它需要项目数量的线性成本来计算优化的损失和梯度。这阻碍了实际使用，因为在现实世界中有数百万个项目。重要性采样是一种有效的逼近方法，基于此方法导出了采样softmax。然而，现有的方法通常利用均匀或流行的采样器作为建议分布，导致梯度估计的大偏差。为此，我们建议基于反向多指标分解基于内积的softmax概率，从而实现次线性时间和高精度采样。在此基础上，提出了一种快速的变分自编码器（FastVAE）。在三个真实数据集上的实验表明，FastVAE在采样质量和效率方面都优于最先进的基线。
2022-05-30 cs.IR cs.LG
Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series
KU Leuven（鲁汶大学）
针对非均匀采样时间序列下基于核插值的动力系统学习方法失效的问题，提出在Kernel Flows数据自适应核中加入观测时间差直接近似向量场的方案，在基准测试中兼顾效率与鲁棒性的同时显著提升预测精度。
2024-10-03 cs.LG math.DS stat.CO
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company（埃克森美孚研究与工程公司）
我们报告了一个精确的似然计算线性高斯马尔可夫过程，是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算，并通过使用状态转移方程的对角化形式，实现了更好的缩放。使用这种有效的计算，我们研究了核学习的准确性，使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷，极大似然估计是一个有吸引力的选择，更密集的采样信号和低阶模型。我们确认估计行为的实验数据，通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
GCL-Sampler: Discovering Kernel Similarity for Sampled GPU Simulation via Graph Contrastive Learning
University of Science and Technology of China（中国科学技术大学）
GCL-Sampler通过图对比学习发现GPU模拟中的核相似性，实现高保真度和显著加速。
2026-02-28 cs.AR cs.LG cs.PF
ELSA: Exact Linear-Scan Attention for Fast and Memory-Light Vision Transformers
Advanced Computer Vision Laboratory, National Yang Ming Chiao Tung University（国家阳明交通大学先进计算机视觉实验室）
ELSA通过算法重构在线softmax注意力，在保持精确softmax语义的同时，实现O(log n)的并行深度和O(n)的额外内存，适用于多种硬件平台的高精度推理。
2026-04-26 cs.CV cs.LG
Two-stage Sampled Learning Theory on Distributions
UCL（伦敦大学学院）；CMU（卡内基梅隆大学）；PSU（宾夕法尼亚州立大学）
我们专注于分布回归问题：从概率分布回归到实值响应。尽管分布之间存在大量相似性度量，但人们对它们在特定学习任务中的泛化性能知之甚少。在分布上制定的学习问题具有固有的两阶段采样困难：在实践中，只有来自采样分布的样本是可观察的，并且必须建立对点集之间计算的相似性的估计。据我们所知，唯一现有的方法与一致性保证分布回归需要内核密度估计作为中间步骤（这遭受缓慢收敛问题在高维），和域的分布是紧凑的欧几里德。在本文中，我们提供了一个非常简单的算法来解决分布回归问题的理论保证：嵌入的分布到一个再生核希尔伯特空间，并从嵌入的输出学习岭回归。我们的主要贡献是证明这种技术的一致性，在两阶段的采样设置在温和的条件下（可分离的，拓扑域赋予内核）。对于给定的观测总数，我们推导出收敛速度作为问题难度的显式函数。作为一个特殊的情况下，我们回答了一个15岁的开放问题：我们建立了经典集内核的一致性[Haussler，1999; Gartner等。al，2002]在回归中，并涵盖了最近的分布内核，包括那些由于[Christmann和Steinwart，2010]。
2015-01-26 cs.LG math.FA math.ST
Recursive Sampling for the Nyström Method
MIT（麻省理工学院）
我们给出了核Nyström近似的第一个算法，该算法在训练点数量 * 的线性时间内运行，并且对所有核矩阵都是可证明准确的，而不依赖于正则性或不相干条件。该算法将内核投影到一组$s$界标点上，这些界标点通过它们的 * 脊杠杆分数 * 进行采样，仅需要$O(ns)$内核评估和$O(ns^2)$额外的运行时间。虽然杠杆分数采样一直被认为是Nyström近似的强有力的理论保证，通过采用快速递归采样方案，我们的算法是第一个使该方法可扩展的。从经验上讲，我们发现，它更准确，更低的秩核近似在更短的时间比流行的技术，如均匀采样Nyström近似和随机傅立叶特征的方法。
2017-11-03 cs.DS cs.LG stat.ML
Variational Autoencoder Kernel Interpretation and Selection for Classification
University of Madeira（马德拉大学）；Interactive Technologies Institute（交互技术研究所）；Institute for Technological Development and Innovation in Communications, Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯大学通信技术发展与创新研究所）
本研究提出基于变分自编码器卷积编码器特征的核选择方法，通过潜在变量采样与KL散度评估，过滤冗余核以减少参数，适用于资源受限设备。
2022-09-10 cs.AI cs.LG
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
Department of Computer Science, Rice University（计算机科学系，里士大学）
RACE 注意力通过替代指数核为锐化角相似性，并利用高斯随机投影和软局部敏感哈希，实现线性时间复杂度的注意力层，适用于超长上下文训练，同时减少时间和内存消耗。
2026-04-18 cs.AI cs.LG
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University（计算机科学与工程系，四川大学）
本文在测度论核框架下形式化证明，当Transformer内部更新机制满足贝叶斯联合分布条件时，其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling
ISTA；ETH Zürich（苏黎世联邦理工学院）；Red Hat AI（红帽AI）；TU Wien（维也纳技术大学）
本文提出GSQ，一种基于Gumbel-Softmax松弛的标量量化方法，在低比特数下实现高精度，适用于LLMs的部署。
2026-11-11 cs.CL cs.LG
Structured Gaussian Processes for Uncertainty-Aware Classification of High-Dimensional, Small-Sampled Omics Data
Department of Mathematical Sciences（数学科学系）；STFC Hartree Centre（STFC哈特ree中心）；Durham University（达勒姆大学）；University of Liverpool（利物浦大学）；Durham, United Kingdom（英国达勒姆）；Liverpool, United Kingdom（英国利物浦）
提出结构化高斯过程分类框架，将生物通路图编码到核函数中，结合丰度特征与拓扑信息，在三个微生物组数据集上优于非结构化基线，并提供校准的预测不确定性。
2026-07-03 cs.LG q-bio.QM
A Kernel Mean Embedding Approach to Reducing Conservativeness in Stochastic Programming and Control
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
我们将核均值嵌入方法应用于基于样本的随机最优化和控制。具体来说，我们使用缩减集扩展方法作为丢弃采样场景的一种方式。这种约束去除的效果是提高最优性和降低保守性。这是通过求解分布距离正则化最优化问题来实现的。我们证明了这种优化配方是动机良好的理论，计算上易于处理和有效的数值算法。
2020-04-22 cs.LG cs.SY eess.SY
Learning Theory for Distribution Regression
École Polytechnique（巴黎综合理工学院）；University College London（伦敦大学学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于分布回归问题：从概率测度回归到向量值输出。许多重要的机器学习和统计任务都适合这个框架，包括多实例学习和没有解析解的点估计问题（如超参数或熵估计）。尽管文献中有大量可用的相似性，但问题固有的两阶段采样性质使得理论分析相当具有挑战性，因为在实践中，只有来自采样分布的样本是可观察的，并且估计必须依赖于点集之间计算的相似性。据我们所知，唯一现有的技术与一致性保证分布回归需要内核密度估计作为中间步骤（这往往在实践中表现不佳），和域的分布是紧凑的欧几里德。在本文中，我们研究了一个简单的，分析可计算的，基于岭回归的替代分布回归，其中我们嵌入的分布到一个再生核希尔伯特空间，并学习从嵌入的回归输出。我们的主要贡献是证明该方案在温和条件下（在富含核的可分离拓扑域上）在两阶段采样设置中是一致的：我们提出了一个精确的计算-统计效率权衡分析，表明我们的估计量能够匹配一阶段采样极大极小最优速率[Caponnetto和De Vito，2007; Steinwart等人，2009年]。这个结果回答了一个17年前的开放问题，建立了经典集核的一致性[Haussler，1999; Gaertner et. [2002]回归。我们还涵盖了最近的分布内核的一致性，包括那些由于[Christmann和Steinwart，2010]。
2016-10-21 cs.LG math.FA math.ST
Estimating the Spectral Moments of the Kernel Integral Operator from Finite Sample Matrices
Weill Cornell Medical College（威尔康奈尔医学院）；New York University（纽约大学）；Cornell Tech（康奈尔科技学院）；Flatiron Institute（弗莱堡研究所）
针对有限测量下样本协方差矩阵谱分析有偏的问题，提出基于动态规划的新算法，可从有限采样矩阵无偏估计核积分算子谱矩，在RBF核上验证了准确性，并展示其在理解神经网络表示几何中的实用价值。
2025-02-08 cs.LG math.SP math.ST
AKBR: Learning Adaptive Kernel-based Representations for Graph Classification
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；School of Information, Central University of Finance and Economics（中央财经大学信息学院）；Zhejiang Normal University（浙江师范大学）；School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of York（约克大学）
针对现有R-卷积图核无端到端学习机制的问题，提出基于自适应核的图表示学习模型AKBR，通过特征通道注意力捕捉子结构依赖并计算加权核，实现端到端分类，性能优于现有图核与深度学习方法。
2024-08-13 cs.AI cs.LG
Stochastic Sparse Attention for Memory-Bound Inference
University of California, Santa Barbara（加州大学圣芭芭拉分校）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
提出SANTA方法，通过从后softmax分布中采样稀疏索引来减少值缓存访问，实现无乘法的高效解码，在Llama-3.1-8B-Instruct上获得1.5倍注意力核加速和1.25倍端到端加速。
2026-06-03 cs.AI cs.DC cs.LG
A Versatile Approach to Evaluating and Testing Automated Vehicles based on Kernel Methods
University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
复杂控制系统的评估和验证是保证可用性和安全性的关键。通常，故障发生在一些很少遇到的情况下，但一旦触发，后果是灾难性的。加速评估是一种通过智能采样测试用例有效测试那些罕见但关键的故障的方法。抽样中使用的分布对该方法的性能至关重要，但构建合适的分布需要逐个分析。提出了一种利用核方法构造抽样分布的通用方法。该方法使用统计学习工具来近似的关键事件集和构造分布的基础上的高斯分布的独特属性。我们应用该方法来评估自动驾驶汽车。数值实验表明，该方法可以鲁棒地识别罕见故障，并显着减少评估时间。
2017-10-01 cs.LG cs.RO stat.ML
