A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
University of Basel（巴塞尔大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；UniDistance Suisse（瑞士远程大学）
针对现有通用核回归统计学习保证用于有限秩核时界偏宽松的问题，推导了有限秩核岭回归测试误差的精确非渐近上下界，新界更紧且对任意正则化参数均有效。
2023-10-03 cs.LG stat.ML
Loquetier: A Virtualized Multi-LoRA Framework for Unified LLM Fine-tuning and Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）
提出虚拟化多LoRA框架Loquetier，通过虚拟化模块与优化的计算流程，在单一运行时内无缝集成LLM微调与服务，实现高效批处理并显著提升吞吐量与SLO达成率。
2025-10-30 cs.AI cs.LG
Expanding Sparse Tuning for Low Memory Usage
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出SNELL方法，通过分解低秩矩阵和竞争稀疏化机制，实现低内存的稀疏调优，并利用核函数提升性能，达到最先进水平。
2024-11-04 cs.CV cs.LG
LoRAFusion: Efficient LoRA Fine-Tuning for LLMs
University of Toronto, Vector Institute, NVIDIA（多伦多大学、向量研究所、NVIDIA）
针对现有LoRA微调系统存在的冗余访存开销高、多适配器并行调度效率低的问题，提出LoRAFusion系统，通过算子融合和自适应多任务批调度，实现了显著的端到端性能提升，且融合算子可即插即用。
2025-09-30 cs.AI cs.DC cs.LG
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation
AWS Neuron Team（亚马逊云科技神经元团队）；Amazon Web Services（亚马逊云科技）
针对新兴AI加速器，介绍NKI-Agent系统，结合特定领域监督微调与编译验证修复智能体循环生成NKI内核，适配框架、构建基准并评估，显示工具使用关键及不同模型表现，为强化学习奖励设计提供指导。
2026-07-07 cs.LG
Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
Università degli Studi di Genova（热那亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）
核方法为非参数学习提供了一种原则性的方法。虽然它们的基本实现对大型问题的扩展性很差，但最近的进展表明近似求解器可以有效地处理大规模数据集。这些解决方案的缺点是没有考虑超参数调优，而是留给用户来执行。超参数在实践中至关重要，缺乏自动调优会极大地阻碍效率和可用性。在本文中，我们致力于填补这一空白，重点是基于Nyström近似的核岭回归。在回顾和对比了一些超参数调整策略后，我们提出了一种基于数据依赖惩罚的复杂性正则化准则，并讨论了其有效的优化。然后，我们进行了仔细和广泛的实证评估，突出不同的调整策略的优点和缺点。我们的分析表明，所提出的方法的好处，因此，我们将在一个库中的大规模的内核方法，以获得自适应调整的解决方案。
2022-01-17 cs.LG stat.ML
Mobile Internet Quality Estimation using Self-Tuning Kernel Regression
Georgia Institute of Technology（佐治亚理工学院）；University of California Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
针对移动互联网质量估计中数据高度不平衡的挑战，提出自调优核回归方法，并在两个数据集上验证了其预测准确性提升。
2023-11-04 cs.LG stat.AP
A Kernel-Based View of Language Model Fine-Tuning
Princeton University（普林斯顿大学）
本文用 NTK 与 Tensor Programs 刻画预训练语言模型在 Adam 微调下的核动态，并经 14 个 NLP 任务验证，解释提示式掩码预测及参数高效子空间微调的成功。
2023-06-06 cs.CL cs.LG
On the similarity of bandwidth-tuned quantum kernels and classical kernels
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫智能制造与自动化研究所）
本文通过数值与解析分析发现，最优带宽调谐会使保真度及投影量子核退化为类似RBF核或其低阶泰勒近似的多项式核，从而解释量子核缺乏量子优势的机制。
2025-07-28 cs.LG quant-ph
Optimal Kernel Tuning Parameter Prediction using Deep Sequence Models
National University of Sciences and Technology（国防科技大学（巴基斯坦））；AMD Inc.（超威半导体公司）
本文将 GPU 内核调优参数预测建模为序列翻译问题，提出深度 seq2seq 架构与结合硬件约束的束搜索，在 MIOpen 卷积内核上达到超过 90% 的准确率。
2024-04-15 cs.AI cs.LG
TuneAgent: Agentic Operating System Kernel Tuning with Reinforcement Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanyang Technological University（南洋理工大学）
提出TuneAgent框架，利用基于规则的强化学习使大语言模型自主探索Linux内核空间，通过结构化奖励函数和两阶段训练策略解决稀疏反馈问题，实现高达5.6%的性能提升。
2026-05-31 cs.AI cs.LG cs.OS
Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization
University of Pennsylvania（宾夕法尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种通过最小化递增KL分歧来调整SMC采样器马尔可夫核的通用框架，适用于Langevin Monte Carlo等内核，并展示了其在调节动能LMC中的应用。
2025-12-09 cs.LG stat.CO stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Fast, Accurate and Interpretable Graph Classification with Topological Kernels
Department of Computer Science, Royal Holloway University of London（皇家霍洛威大学计算机科学系）
本文提出基于拓扑指数的显式特征映射用于图分类，并通过扩展特征向量（EFV）和拓扑核线性组合（LCTK）在保持高效计算的同时提升准确率，实现准确率与效率的良好平衡。
2025-09-22 cs.LG
From Tokens to Regions: CUDA-Sensitive Instruction Tuning for GPU Kernel Generation
Shanghai Jiao Tong University（上海交通大学）；Biren Technology（壁仞科技）
提出CuSeT方法，通过自适应令牌级掩码和区域感知样本重加权，在简单SFT框架内提升LLM生成CUDA内核的功能正确性。
2026-06-16 cs.AI cs.LG
Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent
UFMG（米纳斯吉拉斯联邦大学）；Stony Brook University（石溪大学）
本研究将Droplet Search引入Ansor的探索阶段，通过限制探索样本数、选优后用坐标下降利用的方式，在更短时间内得到更优内核，且该方法通用性已得到验证。
2024-07-15 cs.LG cs.PL
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney（悉尼大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架，但它们的性能高度依赖于核和正则化超参数的选择。然而，目前的超参数调整方法主要依赖于昂贵的交叉验证或推理，这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入，我们提出了一个基于拉德马赫复杂度界限的超参数学习框架，通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新，允许可扩展的内核超参数调整，而无需调用内核近似。实验表明，我们的学习框架优于竞争方法，并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
Fine-Tuning GPT-5 for GPU Kernel Generation
通过强化学习微调GPT-5提升GPU内核生成性能，实现正确率和效率的显著提升。
2026-02-11 cs.AI cs.DC cs.LG
Bayesian Optimization for auto-tuning GPU kernels
Netherlands eScience Center（荷兰电子科学中心）；University of Amsterdam（阿姆斯特丹大学）
为可调GPU内核找到最佳参数配置对于大搜索空间来说是一项重要的工作，即使是自动化的。这在非凸搜索空间上提出了一个优化任务，使用昂贵的未知导数来评估函数。这些特征使贝叶斯优化成为一个很好的候选者，以前没有应用于这个问题。然而，贝叶斯优化的应用，这个问题是具有挑战性的。我们演示了如何处理粗糙的，离散的，有约束的搜索空间，包含无效的配置。我们引入了一个新的上下文方差探索因子，以及新的采集功能，提高了可扩展性，结合知情的采集功能选择机制。通过比较我们的贝叶斯优化实现在各种测试用例的性能，现有的搜索策略在内核调谐器，以及其他贝叶斯优化实现，我们证明了我们的搜索策略推广良好，并始终优于其他搜索策略的大幅幅度。
2021-11-26 cs.DC cs.LG cs.PF
A Comparison Study of Nonlinear Kernels
Rutgers University（罗格斯大学）
在本文中，我们在广泛的公开数据集上比较了5种不同的非线性内核：min-max，RBF，fRBF（折叠RBF），acos和acos- $χ^2$。所提出的fRBF核的性能与RBF核非常相似。RBF和fRBF内核都需要一个重要的调整参数（$γ$）。有趣的是，对于很大一部分数据集，min-max内核的性能优于最佳调整的RBF/fRBF内核。acos内核和acos- $χ^2$内核通常也表现良好，在某些数据集中达到了最佳精度。使用非线性核的一个关键问题是过多的计算和内存成本。如今，一种越来越流行的策略是通过各种随机化算法来线性化内核。在我们的研究中，与其他类型的非线性内核的随机化方法相比，最小-最大内核的随机化方法表现出优异的性能，以转换数据集中非零项的数量来衡量。我们的研究为支持使用最小-最大核和相应的随机线性化方法（即，所谓的“0位CWS”）。此外，结果激励未来的研究至少有两个方向：（i）开发新的（和线性化）非线性内核更好的精度;和（ii）开发更好的线性化算法，以改善当前的线性化方法的RBF内核，acos内核，和acos- $χ^2$内核。一种尝试是将min-max内核与acos内核或acos- $χ^2$内核结合起来。这两个新的和调谐自由的非线性内核的优点，通过我们广泛的实验证明。
2016-03-21 cs.LG stat.ML
Tunable GMM Kernels
Rutgers University（罗格斯大学）
最近提出的“广义最小-最大”（GMM）核可以有效地线性化，直接应用于大规模统计学习和快速近邻搜索。将线性化GMM核与线性化径向基函数（RBF）核进行了广泛的比较。在大量的分类任务中，与最佳调整的RBF内核相比，无调整的GMM内核表现得（令人惊讶地）很好。然而，人们自然会期望，GMM内核应该进一步改善，如果我们引入调优参数。在本文中，我们研究了三个简单的可调GMM内核的构造：（i）幂GMM（或eGMM）内核，（ii）Powered-GMM（或pGMM）内核，（iii）幂幂GMM（epGMM）内核。pGMM内核仍然可以通过修改GMM内核的原始散列过程来有效地线性化。在大约60个公开的分类数据集上，我们验证了所提出的可调GMM内核通常比原始GMM内核有所改进。在某些数据集上，这些改进可能非常重要。例如，在11个用于测试深度学习算法和树方法的流行数据集上，我们的实验表明，所提出的可调GMM内核是树和深度网络的强有力竞争对手。以前的研究开发了树方法，包括“abc-鲁棒-logitboost”，并通过建立二阶树分裂公式和多类逻辑损失的新导数，在这11个数据集（和其他数据集）上展示了出色的性能。与“abc-robust-logitboost”等树方法（速度慢，需要大量的模型大小）相比，可调GMM内核产生的结果在很大程度上是可比的。
2017-03-09 cs.LG stat.ML
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
Nanyang Technological University（南洋理工大学）；ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong（香港中文大学）
研究针对现有 GPU 索引器 - TopK 内核效率低的问题，利用维度诅咒设计 LITETOPK 内核，通过采样估计得分范围划分候选结果桶，降低内存开销，在实际部署中加速 GLM 5.2 预填充阶段，提升了效率。
2026-11-10 cs.LG
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型，但由于自注意机制，在每个令牌生成期间会产生O（T）复杂度。最近的工作提出了基于核的方法来近似因果自我注意，通过使用具有各种更新规则和特征映射的递归公式来替换它，以实现O（1）的时间和内存复杂度。我们探索了这些方法，发现它们不必要地复杂，并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快，优于以前的方法，并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
Fine-Tuning Attention Modules Only: Enhancing Weight Disentanglement in Task Arithmetic
East China Normal University（华东师范大学）；University of Pennsylvania（宾夕法尼亚大学）
针对任务算术中权重解耦不足及NTK线性化成本高的问题，提出仅微调Transformer注意力模块以利用核行为，显著提升权重解耦效果并降低开销。
2025-01-29 cs.LG
Performance portability through machine learning guided kernel selection in SYCL libraries
Codeplay Software Ltd.（Codeplay软件有限公司）
自动调优并行计算内核允许库和框架在各种硬件上实现性能，然而这些技术通常专注于为特定输入大小和参数找到最佳内核参数。通用计算库必须能够满足用户提供的所有输入和参数，因此这些技术的用途有限。此外，像SYCL这样的并行编程框架要求内核以二进制格式嵌入库中。因此，在不增加库大小的情况下部署大量可能的内核配置是不切实际的。机器学习方法可用于缓解这两个问题，并为具有有限数量的内核配置的通用例程提供性能。我们表明，无监督聚类方法可用于选择应部署的可能内核的子集，并且可以训练简单的分类方法以在运行时从这些内核中选择以提供良好的性能。由于这些技术是完全自动化的，仅依赖于基准数据，因此针对新硬件或问题的调优过程不需要任何开发人员的努力或专业知识。
2020-08-30 cs.DC cs.LG cs.PF
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
A Theoretical Framework for LLM Fine-tuning Using Early Stopping for Non-random Initialization
本文提出基于早停机制的LLM微调理论框架，结合NTK理论与非随机初始化，揭示微调收敛率与特征值衰减的关系，并通过实验验证理论成果。
2026-02-15 cs.LG stat.ML
Exploiting sparsity to build efficient kernel based collaborative filtering for top-N item recommendation
University of Padova（帕多瓦大学）
越来越多的隐式反馈数据集的可用性提高了开发有效的协同过滤技术，能够处理不对称的明确的正反馈和模糊的负反馈的兴趣。在本文中，我们提出了一个原则性的基于核的协同过滤方法的前N项的建议与隐式反馈。我们提出了一个有效的实现使用的线性内核，我们展示了如何将其推广到内核的点积家庭保持效率。我们还研究了影响标准余弦核稀疏性的元素。该分析表明，核的稀疏性强烈地依赖于数据集的属性，特别是依赖于长尾分布。我们比较我们的方法与国家的最先进的算法取得了良好的效果，无论是在效率和有效性。
2016-12-17 cs.AI cs.IR cs.LG
Low-dimensional Interpretable Kernels with Conic Discriminant Functions for Classification
Eskişehir Teknik Üniversitesi（埃斯基谢希尔技术大学）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）
核通常被开发和用作隐式映射函数，由于其高维特征空间表示，显示出令人印象深刻的预测能力。在这项研究中，我们逐步构建了一系列简单的特征映射，导致可解释的低维内核的集合。在每一步中，我们都保留了原始特征，并确保输入数据的维数增加非常低，这样得到的判别函数仍然是可解释的，并且可以快速训练。尽管我们坚持可解释性，我们获得高精度的结果，即使没有深入的超参数调整。将我们的结果与基准数据集上的几个知名内核进行比较表明，所提出的内核在预测精度方面具有竞争力，而训练时间显着低于最先进的内核实现。
2020-07-17 cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University（宾夕法尼亚州立大学）；UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数，但通常需要用户设置额外的参数，称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外，数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数，以计算负担为代价。在这项工作中，我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中，我们的方法所需的计算时间仅为其他调优方法的七分之一，同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对大语言模型数据集污染导致评估失真的问题，提出基于微调前后样本嵌入核相似矩阵散度的KDS方法，实验证明其与污染程度高度相关且优于基线，还通过消融研究验证了框架可靠性。
2025-05-20 cs.AI cs.CL cs.LG
On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators
Rice University（莱斯大学）
针对回归函数导数估计中参数调优难、高阶导数分析复杂的问题，提出适用于多维支撑域与任意混合偏导的插入式KRR估计量，统一推导误差界，验证其极小极大最优速率与免随导数阶数调参的插入式特性，且有限样本性能优异。
2023-08-26 cs.LG math.ST stat.ML
Gradient dynamics for low-rank fine-tuning beyond kernels
Harvard College（哈佛学院）；Harvard SEAS（哈佛大学工程与应用科学学院）
本文在“学生-教师”框架下研究 LoRA 低秩微调，证明从基础模型初始化并用在线梯度下降训练可在 $dk^{O(1)}$ 次迭代内收敛到秩为 1 扰动的教师模型，且复杂度不依赖激活函数的 Hermite 展开细节。
2024-11-23 cs.LG math.ST stat.ML
SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
Tsinghua University（清华大学）
SpargeAttention2通过混合Top-k+Top-p掩码和蒸馏微调，实现高稀疏性且不降低生成质量。
2026-10-20 cs.CV cs.LG
Nonlinear classifiers for ranking problems based on kernelized SVM
Czech Technical University in Prague（布拉格捷克理工大学）；Czech Academy of Sciences（捷克科学院）
许多分类问题只关注最大化具有最高相关性的样本而不是所有样本的性能。作为一个例子，我们可以提到排名问题，在顶部或搜索引擎的准确性，只有前几个查询的问题。在我们以前的工作中，我们得出了一个一般的框架，包括几类这些线性分类问题。在本文中，我们扩展的框架，非线性分类。利用与SVM的相似性，我们将问题二元化，增加核函数，并提出了一种分量对偶上升方法。
2023-03-27 cs.LG stat.ML
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
数据集偏差对模型泛化能力的影响引起了人们的广泛关注。目前主流的解决方案是设计一个额外的浅层模型来预先识别有偏见的实例。然而，这种两阶段方法增加了训练过程的计算复杂性，并且在减轻偏差的同时阻碍了有效的特征信息。为了解决这个问题，我们利用表示规范化方法，旨在解开编码的句子的特征之间的相关性。我们发现它也有希望通过提供各向同性的数据分布来消除偏差问题。我们进一步提出核白化，Nystrom核近似方法，以实现更彻底的非线性虚假相关的去偏。我们的框架是端到端的，微调的时间消耗类似。实验表明，Kernel-Whitening算法在保持分布内精度的同时，显著提高了分布外数据集上的BERT性能。
2022-10-14 cs.CL cs.LG
The Anatomy of a Triton Attention Kernel
IBM Research Zurich（IBM瑞士苏黎世研究实验室）
针对LLM推理平台跨硬件移植性与效率的需求，本文基于Triton语言开发分页注意力内核，通过参数调优与推理服务器集成，将性能从最先进水平的19.7%提升至105.9%，实现跨NVIDIA和AMD GPU的高效可移植推理。
2025-10-07 cs.AI cs.CL cs.DC
Faster Kernel Matrix Algebra via Density Estimation
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）
研究了半正定核矩阵$K \in \mathbb{R}^{n \times n}$对应于$n$点$x_1,\ldots,x_n \in \mathbb{R}^d$的基本性质的快速算法。特别地，我们考虑估计核矩阵项的和，以及其顶部特征值和特征向量。我们表明，矩阵项的总和可以估计为$1+ε$相对误差在时间$sublinear$在$n$和线性在$d$许多流行的内核，包括高斯，指数，和合理的二次内核。对于这些内核，我们还表明，顶部特征值（和近似特征向量）可以近似为$1+ε$相对误差在时间$subquadratic$在$n$和线性$d$。我们的算法代表了这些问题的最知名的运行时的显着进步。他们利用了核矩阵的正定性，以及最近关于有效核密度估计的工作。
2021-06-17 cs.DS cs.LG cs.NA
