Balanced Reduction of Nonlinear Control Systems in Reproducing Kernel Hilbert Space
基于机器学习和统计降维的最新进展，提出了一种新的非线性控制系统数据驱动降阶方法。该方法依赖于假设的非线性系统线性行为时，提升到一个高（或无限）维的特征空间，平衡截断可以进行隐式。这导致了一个非线性的减少映射，它可以与属于再生核希尔伯特空间的系统的表示相结合，以给出一个封闭的，减少了顺序的动力系统，它捕获了原始模型的基本输入-输出特性。还提供了说明该方法的实证模拟。
2010-11-12 math.DS math.OC math.ST
Controlling False Discovery in Arbitrarily Structured Hypothesis Spaces via Reproducing Kernels
Technion – Israel Institute of Technology（技术Ion – 以色列理工学院）；NVIDIA
本文提出了一种基于再生核的框架，用于在任意结构的假设空间中控制假发现率，通过将结构FDR控制转化为正则化学习问题，实现了对连续域、图和层次结构的统一处理，提高了发现能力。
2026-05-17 cs.AI q-bio.QM stat.ME
Heavy-tailed kernels reveal a finer cluster structure in t-SNE visualisations
University of Tübingen（图宾根大学）；Yale University（耶鲁大学）；Yale School of Medicine（耶鲁大学医学院）
T分布随机邻域嵌入（t-SNE）是一种广泛使用的数据可视化技术。它与其前身SNE的不同之处在于低维相似性核：高斯核被重尾柯西核取代，解决了SNE的“拥挤问题”。在这里，我们开发了一个有效的实现t-SNE的$t$ -分布内核与任意自由度的$ν$，与$ν\to\infty$相应的SNE和$ν=1$相应的标准t-SNE。使用理论分析和玩具的例子，我们表明，$ν<1$可以进一步减少拥挤的问题，并揭示更精细的集群结构，是不可见的标准t-SNE。我们进一步证明了带尾内核对大型现实数据集（如MNIST、单细胞RNA测序数据和HathiTrust库）的显著影响。我们使用领域知识来确认所揭示的聚类是有意义的。总的来说，我们认为，修改t-SNE内核的尾部重量可以产生额外的洞察数据的集群结构。
2019-04-04 cs.LG stat.ML
Finetuning greedy kernel models by exchange algorithms
Universität Hamburg（汉堡大学）
本文提出核交换算法KEA，结合节点插入与节点移除来微调贪心核代理模型，在不增加最终模型计算复杂度的前提下显著降低逼近误差。
2024-04-30 cs.LG cs.NA math.NA
KernelBrain: Coarse-to-Fine, Budget-Aware Search for Agentic GPU Kernel Optimization
Microsoft（微软公司）
KernelBrain是结合LLM引导变异等技术的GPU内核优化智能体，可提升内核质量与搜索效率，在Triton内核任务中获多倍加速且缩短优化时间。
2026-08-05 cs.AI cs.DC cs.LG
Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
针对深度学习微调成本高的问题，提出仅训练核分类器的top-tuning迁移学习方法，在32个中小型图像数据集上实现与微调相当的准确率，训练时间缩短1-2个数量级。
2023-11-09 cs.LG
NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation
AWS Neuron Team（亚马逊云科技神经元团队）；Amazon Web Services（亚马逊云科技）
针对新兴AI加速器，介绍NKI-Agent系统，结合特定领域监督微调与编译验证修复智能体循环生成NKI内核，适配框架、构建基准并评估，显示工具使用关键及不同模型表现，为强化学习奖励设计提供指导。
2026-07-07 cs.LG
A Kernel-Based View of Language Model Fine-Tuning
Princeton University（普林斯顿大学）
本文用 NTK 与 Tensor Programs 刻画预训练语言模型在 Adam 微调下的核动态，并经 14 个 NLP 任务验证，解释提示式掩码预测及参数高效子空间微调的成功。
2023-06-06 cs.CL cs.LG
Embedding Graph Kernel Entropy (EGKE): Fine-grained Hallucination Detection for LLMs from Embeddings
University of Moratuwa（莫拉图瓦大学）；University of Miami（迈阿密大学）
本文提出EGKE方法，用RBF核替换KLE的NLI衍生语义图，在30种实验设置上验证其在LLM幻觉检测中性能与SOTA相当且计算更高效。
2026-10-14 cs.LG
KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning
Stevens Institute of Technology（史蒂文斯理工学院）；University of Georgia（佐治亚大学）
KerZOO提出基于核函数的零阶优化框架，通过分析并缓解梯度估计偏差，在LLM微调中实现更快的收敛和更高的精度，显著减少GPU训练时间。
2025-05-24 cs.LG
How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule
该研究提出检测分布偏移的矩尺度定律与核校准规则，证明其优于拓扑方法，真实嵌入流实验显示其AUC≥0.95，可对抗针对均值等统计量优化的对手。
2026-08-04 cs.LG stat.ML
Fine-Grained $ε$-Margin Closed-Form Stabilization of Parametric Hawkes Processes
Samsung R&D Institute Brazil（三星研发中心巴西）
Hawkes过程作为连续时间事件流中离散事件的自激和相互激励交互建模的默认工具已经越来越受欢迎。一个最大似然估计（MLE）无约束优化过程的参数假设形式的触发内核的相应的强度函数是一个广泛的成本效益的建模策略，特别适合于数据很少和/或短序列。然而，MLE优化缺乏保证，除了强假设的触发内核的参数，并可能导致不稳定的结果parameters .In目前的工作，我们展示了如何一个简单的稳定过程中提高性能的MLE优化没有这些过于严格的假设。
2021-05-08 cs.LG stat.ML
Kernel Single Proxy Control for Deterministic Confounding
Gatsby Computational Neuroscience Unit（盖比计算神经科学单元）
针对含未观测混杂且仅有单一代理变量的连续处理因果估计问题，本文证明确定性结果生成条件下可恢复因果效应，并提出两种基于核的一致估计方法。
2025-03-18 cs.LG stat.ML
Fine-Tuning GPT-5 for GPU Kernel Generation
通过强化学习微调GPT-5提升GPU内核生成性能，实现正确率和效率的显著提升。
2026-02-11 cs.AI cs.DC cs.LG
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University（阿尔托大学）；University of Oxford（牛津大学）
提出核语言熵（KLE）方法，通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性，相比语义熵考虑了成对语义依赖，在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent
UFMG（米纳斯吉拉斯联邦大学）；Stony Brook University（石溪大学）
本研究将Droplet Search引入Ansor的探索阶段，通过限制探索样本数、选优后用坐标下降利用的方式，在更短时间内得到更优内核，且该方法通用性已得到验证。
2024-07-15 cs.LG cs.PL
Controlled Sparsity Kernel Learning
Bell Labs Research（贝尔实验室研究院）；Indian Institute of Science（印度科学学院）
基于支持向量机的多核学习算法由于在目标分类等应用问题上的成功应用而成为近年来的研究热点。这一成功是由于MKL能够从各种特征内核中进行选择，以确定最佳内核组合。但是MKL的初始公式只能选择最好的特征，而忽略了许多其他提供信息的内核。为了克服这一点，Lp范数为基础的制定提出了Kloft等。该公式能够通过控制参数p选择非稀疏的核集合。不幸的是，参数p对所选择的核的数量没有直接意义。我们已经观察到，对所选内核数量的更严格控制使我们在分类准确性方面优于这些技术，并且还有助于我们根据手头的时间要求对算法进行微调。在这项工作中，我们提出了一个受控稀疏核学习（CSKL）制定，可以严格控制我们希望选择的内核的数量。CSKL公式引入了一个参数t，它直接对应于所选择的核的数量。重要的是要注意，在t空间中的搜索是有限的和快速相比，p。我们还提供了一个有效的减少梯度下降为基础的算法来解决CSKL制定，这是证明收敛。通过我们在Caltech 101 Object Categorization数据集上的实验，我们还表明，通过正确选择t，可以实现比以前的公式更好的准确性。
2013-12-31 cs.LG
MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms
University of Rochester（罗切斯特大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出MGG系统，通过动态软件流水线实现多GPU平台GNN内核内细粒度计算与通信重叠，结合负载均衡与运行时优化，性能显著优于现有系统。
2023-06-27 cs.DC cs.LG
Controlling Moments with Kernel Stein Discrepancies
Newcastle University（纽卡斯尔大学）；University College London（伦敦大学学院）；Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；Microsoft Research New England（微软研究院新英格兰分部）
本文分析核斯坦因散度（KSDs）的收敛控制性质，发现标准KSDs无法控制矩收敛，提出扩散KSDs在充分条件下可同时控制矩和弱收敛，并首次构建精确刻画q-Wasserstein收敛的KSDs。
2025-06-23 cs.LG stat.CO stat.ML
ConCuR: Conciseness Makes State-of-the-Art Kernel Generation
针对高质量核函数数据稀缺问题，提出ConCuR流水线生成并筛选带简洁推理轨迹的CUDA核函数，训练模型KernelCoder，在KernelBench上超越现有最优模型，并发现平均推理长度可评估任务难度。
2025-10-08 cs.CL cs.CV cs.LG
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
数据集偏差对模型泛化能力的影响引起了人们的广泛关注。目前主流的解决方案是设计一个额外的浅层模型来预先识别有偏见的实例。然而，这种两阶段方法增加了训练过程的计算复杂性，并且在减轻偏差的同时阻碍了有效的特征信息。为了解决这个问题，我们利用表示规范化方法，旨在解开编码的句子的特征之间的相关性。我们发现它也有希望通过提供各向同性的数据分布来消除偏差问题。我们进一步提出核白化，Nystrom核近似方法，以实现更彻底的非线性虚假相关的去偏。我们的框架是端到端的，微调的时间消耗类似。实验表明，Kernel-Whitening算法在保持分布内精度的同时，显著提高了分布外数据集上的BERT性能。
2022-10-14 cs.CL cs.LG
How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对大语言模型数据集污染导致评估失真的问题，提出基于微调前后样本嵌入核相似矩阵散度的KDS方法，实验证明其与污染程度高度相关且优于基线，还通过消融研究验证了框架可靠性。
2025-05-20 cs.AI cs.CL cs.LG
A Fine-Grained Spectral Perspective on Neural Networks
Microsoft Research（微软研究院）
神经网络偏向于简单函数吗？深度是否总是有助于学习更复杂的特征？训练网络的最后一层和训练所有层一样好吗？如何设置学习率调整的范围？这些问题表面上看起来并不相关，但在这项工作中，我们从光谱的角度对它们进行了共同的处理。我们将研究 * 共轭核CK *（也称为 * 神经网络-高斯过程核 *）和 * 神经切线核NTK* 的频谱。粗略地说，CK和NTK分别告诉我们“网络在初始化时的样子”和“网络在训练期间和训练之后的样子”。“然后，它们的光谱编码了关于神经网络的初始分布以及训练和泛化特性的有价值的信息。通过分析特征值，我们提供了新的见解提出的问题在开始，我们验证了这些见解的神经网络的广泛实验。我们推导出快速算法计算CK和NTK的频谱时，数据均匀分布在布尔立方体，并显示此频谱是相同的，在高维数据时，从各向同性高斯或均匀的球。复制我们结果的代码可在github.com/thegregyang/NNspectra上获得。
2020-04-09 cs.LG cs.NE stat.ML
How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings
University of Maryland, College Park（马里兰大学 College Park 分校）
针对低维映射神经网络难以学习高频信息的问题，本文通过神经正切核分析比较傅里叶特征编码与多网格参数编码，证明后者通过网格结构提升性能，实验验证其在图像和表面回归任务中精细细节学习效果更优。
2025-04-18 cs.CV cs.LG
Control Occupation Kernel Regression for Nonlinear Control-Affine Systems
Oklahoma State University（俄克拉荷马州立大学）；University of South Florida（南佛罗里达大学）；University of Florida（佛罗里达大学）
本文提出一种基于occupation核的回归方法，用于近似非线性控制-仿射系统的动态行为，通过嵌入轨迹到vvRKHS并利用代表定理实现高阶控制效果的估计。
2026-01-21 cs.LG cs.SY eess.SY
A Kernel Mean Embedding Approach to Reducing Conservativeness in Stochastic Programming and Control
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
我们将核均值嵌入方法应用于基于样本的随机最优化和控制。具体来说，我们使用缩减集扩展方法作为丢弃采样场景的一种方式。这种约束去除的效果是提高最优性和降低保守性。这是通过求解分布距离正则化最优化问题来实现的。我们证明了这种优化配方是动机良好的理论，计算上易于处理和有效的数值算法。
2020-04-22 cs.LG cs.SY eess.SY
Gradient dynamics for low-rank fine-tuning beyond kernels
Harvard College（哈佛学院）；Harvard SEAS（哈佛大学工程与应用科学学院）
本文在“学生-教师”框架下研究 LoRA 低秩微调，证明从基础模型初始化并用在线梯度下降训练可在 $dk^{O(1)}$ 次迭代内收敛到秩为 1 扰动的教师模型，且复杂度不依赖激活函数的 Hermite 展开细节。
2024-11-23 cs.LG math.ST stat.ML
Design and Analysis of Robust Adaptive Filtering with the Hyperbolic Tangent Exponential Kernel M-Estimator Function for Active Noise Control
Department of Electrical Engineering, PUC-Rio（电气工程系，PUC-里约热内卢）
本文提出FXHEKM鲁棒自适应算法，用于脉冲噪声环境下的有源噪声控制，并通过统计分析和数值实验验证其在消除α稳定噪声方面优于竞争算法。
2025-08-18 cs.LG
SOCKS: A Stochastic Optimal Control and Reachability Toolbox Using Kernel Methods
University of New Mexico（新墨西哥大学）
我们提出了SOCKS，一个基于核方法的数据驱动的随机最优控制工具箱。SOCKS是一组数据驱动算法，用于计算具有任意成本和约束函数（包括随机可达性）的随机最优控制问题的近似解，该算法旨在确定系统在遵守一组预定义安全约束的同时达到期望目标集的可能性。我们的方法依赖于一类基于核方法的机器学习算法，核方法是一种非参数技术，可用于表示被称为再生核希尔伯特空间的高维函数空间中的概率分布。作为一种非参数技术，核方法本质上是数据驱动的，这意味着它们不会对系统动态或不确定性结构进行预先假设。这使得工具箱适用于各种各样的系统，包括那些具有非线性动力学，黑箱元素和特征不佳的随机干扰。我们介绍了SOCKS的主要功能，并在几个基准测试中展示了它的功能。
2022-03-12 cs.LG cs.SY eess.SY
Efficient Neural Controlled Differential Equations via Attentive Kernel Smoothing
Applied AI Institute（应用人工智能研究所）；Risk AI Research Lab（风险人工智能研究实验室）
提出用核/高斯过程平滑替代插值构建神经CDE路径，结合注意力多视图CDE恢复细节，在降低函数评估次数的同时实现最优精度。
2026-07-02 cs.LG
Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective
School of Electrical and Information Engineering, Tianjin Key Laboratory of Brain-Inspired Intelligence Technology, Tianjin University（电子信息工程学院，天津脑启发智能技术重点实验室，天津大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；College of Information Science and Electronic Engineering, Zhejiang University（信息科学与电子工程学院，浙江大学）；Department of Computer Science, the University of Sheffield（计算机科学系，谢菲尔德大学）；Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究院（TeleAI））
本研究从神经切线核视角出发，提出NTK-CL框架，通过优化特征表示和正则化策略，提升持续学习中参数效率和泛化能力。
2026-02-26 cs.AI cs.LG
Safe and High-Performance Learning of Model Predicitve Control using Kernel-Based Interpolation
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德意志技术大学）
本文提出基于核插值的安全高效模型预测控制近似方法，通过评分函数筛选数据和限制闭环可达状态集降低复杂度，并利用蒙特卡洛可达性分析保证安全与性能。
2025-07-21 cs.LG cs.SY eess.SY
Physics-Informed Kernel Embeddings: Integrating Prior System Knowledge with Data-Driven Control
University of New Mexico（新墨西哥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
数据驱动的控制算法使用系统动态的观测来构造用于控制目的的隐式模型。然而，在实践中，数据驱动的技术往往需要过多的样本量，这可能是不可行的，在现实世界的情况下，只有有限的观察系统。此外，纯数据驱动的方法往往忽略有用的先验知识，如系统动态的近似模型。我们提出了一种方法，将这样的先验知识到数据驱动的控制算法，使用内核嵌入，非参数机器学习技术的基础上的理论再生核希尔伯特空间。我们提出的方法结合了先验知识的系统动力学作为一个偏置项的内核学习问题。我们将有偏学习问题表述为具有由动态告知的正则化项的最小二乘问题，其具有可有效计算的封闭形式的解。通过数值实验，我们经验性地证明了我们的方法在纯数据驱动的基线上提高了样本效率和样本外泛化。我们展示了我们的方法的应用程序，通过目标跟踪问题与非完整动力学控制，弹簧质量阻尼器和F-16飞机状态预测任务。
2023-01-09 cs.LG cs.SY eess.SY
Kernel-Based Learning for Smart Inverter Control
Dept. of ECE, Virginia Tech（维吉尼亚理工大学电子工程系）；Dept. of ECE, Un. of Texas at San Antonio（德克萨斯大学圣安东尼奥分校电子工程系）
本文提出非线性逆变器控制策略，通过类比多任务学习将反应控制视为核回归任务，利用线性化电网模型和预测数据场景，在馈线层面联合设计逆变器规则以最小化电压偏差和电阻损耗。
2018-07-10 cs.AI cs.LG cs.SY
Adaptive control of reaction-diffusion PDEs via neural operator-approximated gain kernels
University of California San Diego（加州大学圣地亚哥分校）
该研究将神经算子方法从双曲PDE自适应控制扩展到反应扩散PDE，通过近似增益核实现实时控制，证明了系统全局稳定性与渐近调节性，仿真显示计算速度提升达45倍。
2024-11-28 cs.AI cs.LG cs.SY
Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs
Arm Inc.（安谋公司）
本文提出面向Arm CPU的高度优化内核和分组非均匀码本量化方法，通过分摊权重解包成本、优化数据布局与解压缩路径，显著提升LLM推理效率，在4位量化下实现提示处理3-3.2倍、自回归解码2倍的加速。
2024-12-23 cs.AI cs.AR cs.CL
Geometry-Aware Graph Construction via Adaptive Spectral Bandwidth Control
University of Southern California（南加州大学）
该研究提出自适应谱带宽控制方法，使核化图方法的带宽与流形固有复杂度匹配，在CIFAR-100上验证其可提升自监督学习嵌入的分类与标签传播准确率。
2026-09-04 cs.LG eess.SP
Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（智能信息处理重点实验室，计算技术研究所，中国科学院）；School of Computer Science and Technology, University of Chinese Academy of Sciences（计算机科学与技术学院，中国科学院大学）
针对现有视觉模型稀疏微调两阶段范式的性能局限与高内存问题，提出单阶段方法SNELLA，通过核化低秩稀疏更新与双层稀疏竞争机制，在多任务上以更低内存实现SOTA性能。
2025-10-28 cs.CV cs.LG
Promises of Deep Kernel Learning for Control Synthesis
University of Colorado Boulder（科罗拉多大学博尔德分校）；TU Delft（代尔夫特理工大学）；Delft Center for Systems and Control（代尔夫特系统与控制中心）
本文提出基于深度核学习（DKL）的可扩展抽象框架，用于随机动态系统控制综合，通过形式化抽象为区间马尔可夫决策过程（IMDP）保证正确性，并在5维非线性系统等基准上显著优于现有方法。
2024-03-13 cs.LG cs.SY eess.SY
Verification of safety critical control policies using kernel methods
University of Oxford（牛津大学）；Paderborn University（帕德博恩大学）
安全临界控制的Hamilton-Jacobi可达性方法已经得到了很好的研究，但所得到的安全保证依赖于数值计算的精度。因此，至关重要的是要理解和解释由于基础动力学和环境的不确定性以及引起的数值误差而发生的任何不准确性。为此，我们提出了一个框架，用于建模固有的Hamilton-Jacobi可达性的值函数使用高斯过程的错误。导出的安全控制器可以与任意控制器结合使用，以提供安全的混合控制律。然后，高斯过程的边际似然提供用于确定最小限制控制器和安全控制器之间的切换的置信度度量。我们测试的预测以及所提出的方法在一个经典的追求逃避的例子中的校正能力。
2022-03-23 cs.LG cs.SY eess.SY
The Correctness Illusion in LLM-Generated GPU Kernels
Arizona State University, USA（亚利桑那州立大学）
通过高精度CPU参考和操作模式感知的模糊测试，发现现有基准测试中基于固定形状的allclose检查无法检测LLM风格的转录错误，提出一种新协议并验证其有效性。
2026-07-22 cs.DC cs.LG cs.SE
Closed-loop Model Selection for Kernel-based Models using Bayesian Optimization
Technical University of Munich（慕尼黑工业大学）
基于核的非参数模型在非线性系统的基于模型的控制方法中具有很大的吸引力。然而，核及其超参数的选择强烈影响学习模型的质量。传统上，这些超参数被优化以最小化模型的预测误差，但这个过程完全忽略了它在控制回路中的后续使用。在这项工作中，我们提出了一个框架来优化内核和超参数的基于内核的模型直接相对于模型的闭环性能。我们的框架使用贝叶斯优化来迭代地改进基于内核的模型，使用实际系统上观察到的性能，直到达到所需的性能。我们证明了所提出的方法在模拟和3自由度的机器人手臂。
2019-09-12 cs.LG cs.SY eess.SY
