Kernel Alignment-based Multi-view Unsupervised Feature Selection with Sample-level Adaptive Graph Learning
Joint Laboratory of Data Science and Business Intelligence, School of Statistics and Data Science, Southwestern University of Finance and Economics（数据科学与商业智能联合实验室，统计与数据科学学院，西南财经大学）；Department of Electrical Engineering and Computer Science, University of Kansas（电气与计算机工程系，堪萨斯大学）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（计算与人工智能学院，西南交通大学）
本文提出KAFUSE方法，通过核对齐和样本级自适应图学习，解决多视图无监督特征选择中特征冗余和局部结构表征的问题。
2026-01-29 cs.LG
Bayesian Sparse Factor Analysis with Kernelized Observations
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
多视图问题可以用潜变量模型来解决，因为它们能够找到低维投影，这些投影可以公平地捕捉到覆盖每个数据的多个视图之间的相关性。另一方面，高维和非线性问题传统上由核方法处理，在潜在投影和数据本身之间引入（非）线性函数。然而，它们通常会带来可伸缩性问题和过度拟合的暴露。在这里，我们建议合并这两种方法到一个模型，使我们可以利用多视图潜在模型和核方法的最佳功能，而且，克服他们的局限性。特别是，我们将概率因子分析与我们所说的核化观测相结合，其中模型的重点不是重建数据本身，而是重建它与核函数测量的其他数据点的关系。该模型可以组合多种类型的视图（内核化或非内核化），并且可以处理异构数据并在半监督设置中工作。此外，通过包括足够的先验知识，它可以为核化观测提供紧凑的解决方案-基于贝叶斯相关向量（RV）的自动选择-并且可以包括特征选择功能。使用几个公共数据库，我们证明了我们的方法（及其扩展）的潜力w.r.t.常见的多视图学习模型，例如核典型相关分析或流形相关性确定。
2021-01-27 cs.LG stat.ML
Bayesian Optimization for auto-tuning GPU kernels
Netherlands eScience Center（荷兰电子科学中心）；University of Amsterdam（阿姆斯特丹大学）
为可调GPU内核找到最佳参数配置对于大搜索空间来说是一项重要的工作，即使是自动化的。这在非凸搜索空间上提出了一个优化任务，使用昂贵的未知导数来评估函数。这些特征使贝叶斯优化成为一个很好的候选者，以前没有应用于这个问题。然而，贝叶斯优化的应用，这个问题是具有挑战性的。我们演示了如何处理粗糙的，离散的，有约束的搜索空间，包含无效的配置。我们引入了一个新的上下文方差探索因子，以及新的采集功能，提高了可扩展性，结合知情的采集功能选择机制。通过比较我们的贝叶斯优化实现在各种测试用例的性能，现有的搜索策略在内核调谐器，以及其他贝叶斯优化实现，我们证明了我们的搜索策略推广良好，并始终优于其他搜索策略的大幅幅度。
2021-11-26 cs.DC cs.LG cs.PF
How Contaminated Is Your Benchmark? Quantifying Dataset Leakage in Large Language Models with Kernel Divergence
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对大语言模型数据集污染导致评估失真的问题，提出基于微调前后样本嵌入核相似矩阵散度的KDS方法，实验证明其与污染程度高度相关且优于基线，还通过消融研究验证了框架可靠性。
2025-05-20 cs.AI cs.CL cs.LG
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
A Theoretical Framework for LLM Fine-tuning Using Early Stopping for Non-random Initialization
本文提出基于早停机制的LLM微调理论框架，结合NTK理论与非随机初始化，揭示微调收敛率与特征值衰减的关系，并通过实验验证理论成果。
2026-02-15 cs.LG stat.ML
The Anatomy of a Triton Attention Kernel
IBM Research Zurich（IBM瑞士苏黎世研究实验室）
针对LLM推理平台跨硬件移植性与效率的需求，本文基于Triton语言开发分页注意力内核，通过参数调优与推理服务器集成，将性能从最先进水平的19.7%提升至105.9%，实现跨NVIDIA和AMD GPU的高效可移植推理。
2025-10-07 cs.AI cs.CL cs.DC
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart（斯图加特大学）
贝叶斯优化（BO）已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择，我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应，而不是根据过去数据的最大似然来选择超参数。此外，我们提出了一个特定的核函数，包括非平稳性和局部各向异性，从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，预训练的语言模型，如BERT已被应用于信息检索的文档排序，其首先在未标记的大型语料库上预训练通用语言模型，然后在专家标记的相关性数据集上进行特定于排名的微调。理想情况下，IR系统将从用户-系统二元论（用户的观点和系统的观点）来建模相关性。用户视图基于“真实用户”的活动来判断相关性，而系统视图关注来自系统侧的相关性信号，例如，受用户-系统相关性观点和预训练语言模型成功的启发，本文提出了一种新的排名框架Pre-Rank，该框架在预训练和微调范式下同时考虑了用户和系统的观点。具体来说，为了对用户的相关性视图进行建模，Pre-Rank基于大规模用户活动数据（如点击日志）对初始查询文档表示进行预训练。为了对系统的相关性视图进行建模，Pre-Rank进一步根据专家标记的相关性数据对模型进行微调。更重要的是，预先训练的表示与手工制作的学习排名功能一起在广泛而深入的网络架构下进行了微调。通过这种方式，Pre-Rank可以通过结合来自真实搜索用户和IR专家的相关知识和信号来对相关性进行建模。为了验证Pre-Rank的有效性，我们分别使用BERT和SetRank作为底层排名模型，展示了两种实现。基于三个公开的基准测试的实验结果表明，在这两种实现中，Pre-Rank可以分别优于底层的排名模型，并达到了最先进的性能。
2021-08-12 cs.CL cs.IR
Ross3D: Reconstructive Visual Instruction Tuning with 3D-Awareness
Dexmal；MEGVII Technology（旷视科技）；StepFun
本文提出Ross3D，通过将跨视图和全局视图重建的3D感知视觉监督整合到训练过程中，有效解决了2D大型多模态模型向3D场景理解适配时数据集缺乏的问题，并在多个基准上达到SOTA，同时展现出利用未标记数据的巨大潜力。
2025-04-02 cs.AI cs.CL cs.CV
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London（帝国理工学院）；BASF SE（巴斯夫股份公司）；Cooperative State University（合作州立大学）
树集成非常适合黑盒优化任务，如算法调优和神经架构搜索，因为它们在很少或没有手动调优的情况下实现了良好的预测性能，自然地处理离散特征空间，并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是（i）有效地量化用于探索的模型不确定性和（ii）优化分段常数获取函数。为了同时解决这两点，我们建议使用内核解释的树集成作为一个高斯过程之前，获得模型方差估计，我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束，以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率，例如，神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法，无约束的黑盒优化连续/离散的功能，并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
LSR-Adapt: Ultra-Efficient Parameter Tuning with Matrix Low Separation Rank Kernel Adaptation
Rutgers, the State University of New Jersey（新泽西州立罗格斯大学）
本文提出 LSR-Adapt 核，利用矩阵低分离秩表示压缩大模型低秩适配器，在参数量约减半的同时取得更高精度，并支持 GPU 并行优化。
2025-02-19 cs.CL cs.LG
Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
针对深度学习微调成本高的问题，提出仅训练核分类器的top-tuning迁移学习方法，在32个中小型图像数据集上实现与微调相当的准确率，训练时间缩短1-2个数量级。
2023-11-09 cs.LG
Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
Università degli Studi di Genova（热那亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）
核方法为非参数学习提供了一种原则性的方法。虽然它们的基本实现对大型问题的扩展性很差，但最近的进展表明近似求解器可以有效地处理大规模数据集。这些解决方案的缺点是没有考虑超参数调优，而是留给用户来执行。超参数在实践中至关重要，缺乏自动调优会极大地阻碍效率和可用性。在本文中，我们致力于填补这一空白，重点是基于Nyström近似的核岭回归。在回顾和对比了一些超参数调整策略后，我们提出了一种基于数据依赖惩罚的复杂性正则化准则，并讨论了其有效的优化。然后，我们进行了仔细和广泛的实证评估，突出不同的调整策略的优点和缺点。我们的分析表明，所提出的方法的好处，因此，我们将在一个库中的大规模的内核方法，以获得自适应调整的解决方案。
2022-01-17 cs.LG stat.ML
Multi-view Kernel PCA for Time series Forecasting
KU Leuven（鲁汶大学）
在本文中，我们提出了一个多变量时间序列预测的核主成分分析模型，其中的训练和预测方案来自于限制核机器的多视图制定。训练问题简单地是对应于输入和输出数据的视图的两个核矩阵的总和的特征值分解。当输出视图使用线性核时，它表明预测方程采取核岭回归的形式。当该核是非线性的时，必须解决前像问题以预测输入空间中的点。我们在几个标准的时间序列数据集上评估模型，进行消融研究，与密切相关的模型进行基准测试，并讨论其结果。
2023-01-24 cs.LG
Cross-view kernel transfer
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Turing Center for Living Systems (CENTURI)（图灵生命系统中心（CENTURI））
我们考虑的内核完成问题的存在下，在数据中的多个视图。在这种情况下，某些视图中的数据样本可能完全缺失，从而为每个视图单独计算的内核矩阵创建缺失的列和行。我们建议解决的问题，完成核矩阵的跨视图核转移（CVKT）的过程中，其他视图的功能被转换为表示正在考虑的视图。通过与核矩阵的已知部分的核对齐来学习变换，从而允许在完成时在核矩阵中找到可推广的结构。然后可以使用其他视图中的可用数据预测其缺失值。我们使用模拟数据、多变量数字数据集和手势分类的多视图数据集，以及来自早期\textit{Drosophila melanogaster}胚胎发生模式形成研究的真实生物数据集来说明我们的方法的好处。
2022-05-31 cs.LG stat.ML
Randomized Kernel Multi-view Discriminant Analysis
Rutgers University（罗格斯大学）；Baidu Research（百度研究院）
在许多人工智能和计算机视觉系统中，相同的对象可以在不同的视点或通过不同的传感器观察到，这就提出了从不同的甚至异构的视图中识别对象的挑战。多视点判别分析（Multi-view Discriminant Analysis，MvDA）是一种有效的多视点子空间学习方法，它以非成对的方式通过联合学习多个视点特定的线性投影来寻找判别公共子空间，用于多视点目标识别。在本文中，我们提出了多视图判别分析的内核版本，称为内核多视图判别分析（KMvDA）。为了克服核方法众所周知的计算瓶颈，我们还研究了使用随机傅立叶特征（RFF）近似高斯核KMvDA的性能，大规模学习。对这种近似的稳定性进行了理论分析。我们还在几个流行的多视图数据集上进行了实验，以说明我们提出的策略的有效性。
2020-04-02 cs.LG stat.ML
Multi-view Clustering via Unified Multi-kernel Learning and Matrix Factorization
School of Mathematics, Hunan University（湖南大学数学学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；Malaysia-Japan International Institute of Technology (MJIIT), Universiti Teknologi, Malaysia（马来西亚理工大学马来西亚-日本国际理工学院）；College of Science, Princess Nourah bint Abdulrahman University (PNU)（公主诺拉·宾特·阿卜杜勒拉赫曼大学理学院）；Regional Research Center, Iwate Prefectural University（岩手县立大学区域研究中心）
针对现有多核聚类计算复杂度高、基于矩阵分解的多视图聚类单视图约束限制学习的问题，提出融合多核学习与矩阵分解的多视图聚类方法，通过对共识矩阵施加正交约束、避免最优核学习降低复杂度，搭配三步优化算法，经真实数据集验证有效。
2024-12-12 cs.LG
Mobile Internet Quality Estimation using Self-Tuning Kernel Regression
Georgia Institute of Technology（佐治亚理工学院）；University of California Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
针对移动互联网质量估计中数据高度不平衡的挑战，提出自调优核回归方法，并在两个数据集上验证了其预测准确性提升。
2023-11-04 cs.LG stat.AP
Multi-view Kernel Completion
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University School of Science and Technology（阿尔托大学科学与技术学院）
在本文中，我们介绍了第一种方法，（1）可以完成完全缺失行和列的核矩阵，而不是个别缺失的核值，（2）不需要任何核是先验完整的，（3）可以处理非线性核。这些方面在实际应用中是必要的，例如集成遗留数据集，在传感器故障下学习，以及在某些视图的测量成本高昂时学习。所提出的方法预测丢失的行建模内的视图和视图之间的关系内核值。我们表明，无论是在模拟数据和现实世界的数据，所提出的方法优于现有的技术，在有限的设置，它们是可用的，并扩展适用性到新的设置。
2016-02-08 cs.LG stat.ML
NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation
AWS Neuron Team（亚马逊云科技神经元团队）；Amazon Web Services（亚马逊云科技）
针对新兴AI加速器，介绍NKI-Agent系统，结合特定领域监督微调与编译验证修复智能体循环生成NKI内核，适配框架、构建基准并评估，显示工具使用关键及不同模型表现，为强化学习奖励设计提供指导。
2026-07-07 cs.LG
KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning
Stevens Institute of Technology（史蒂文斯理工学院）；University of Georgia（佐治亚大学）
KerZOO提出基于核函数的零阶优化框架，通过分析并缓解梯度估计偏差，在LLM微调中实现更快的收敛和更高的精度，显著减少GPU训练时间。
2025-05-24 cs.LG
TuneAgent: Agentic Operating System Kernel Tuning with Reinforcement Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanyang Technological University（南洋理工大学）
提出TuneAgent框架，利用基于规则的强化学习使大语言模型自主探索Linux内核空间，通过结构化奖励函数和两阶段训练策略解决稀疏反馈问题，实现高达5.6%的性能提升。
2026-05-31 cs.AI cs.LG cs.OS
Multi-view Metric Learning in Vector-valued Kernel Spaces
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（信息科学实验室）
我们考虑多视图数据的度量学习问题，并提出了一种新的方法来学习视图内以及视图间的度量向量值核空间，作为一种方法来捕捉多模态结构的数据。我们制定了两个凸优化问题，共同学习的度量和分类器或回归核特征空间。从最优化问题出发，提出了一种迭代的三步多视点度量学习算法。为了将计算扩展到大的训练集，引入了多视图核矩阵的分块Nystr{<$}m近似。我们从理论和实验上证明了我们的方法，并展示了它在现实世界的数据集上对相关的最先进的方法的性能。
2018-03-21 cs.LG stat.ML
Rectified Gaussian kernel multi-view k-means clustering
针对多视图数据聚类问题，提出指数距离多视图k均值（MVKM-ED）和高斯核多视图k均值（GKMVKM）两种算法，通过高斯核空间欧氏距离计算及参数对齐提升性能，在5个真实数据集上验证了鲁棒性与高效性。
2024-05-16 cs.CV cs.LG
On the similarity of bandwidth-tuned quantum kernels and classical kernels
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫智能制造与自动化研究所）
本文通过数值与解析分析发现，最优带宽调谐会使保真度及投影量子核退化为类似RBF核或其低阶泰勒近似的多项式核，从而解释量子核缺乏量子优势的机制。
2025-07-28 cs.LG quant-ph
Optimal Kernel Tuning Parameter Prediction using Deep Sequence Models
National University of Sciences and Technology（国防科技大学（巴基斯坦））；AMD Inc.（超威半导体公司）
本文将 GPU 内核调优参数预测建模为序列翻译问题，提出深度 seq2seq 架构与结合硬件约束的束搜索，在 MIOpen 卷积内核上达到超过 90% 的准确率。
2024-04-15 cs.AI cs.LG
Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization
University of Pennsylvania（宾夕法尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种通过最小化递增KL分歧来调整SMC采样器马尔可夫核的通用框架，适用于Langevin Monte Carlo等内核，并展示了其在调节动能LMC中的应用。
2025-12-09 cs.LG stat.CO stat.ML
Generative Restricted Kernel Machines: A Framework for Multi-view Generation and Disentangled Feature Learning
KU Leuven（鲁汶大学）
本文介绍了一种新的框架，生成模型的基础上限制核机器（RKM）与联合多视图生成和不相关的特征学习，称为Gen-RKM。为了实现联合多视图生成，该机制使用来自各种视图的数据的共享表示。此外，该模型具有原始和对偶公式，以将基于内核的模型和基于（深度卷积）神经网络的模型合并在同一设置中。当使用神经网络作为显式特征映射时，提出了一种新的训练过程，该过程联合学习特征和共享子空间表示。隐变量由核矩阵的特征分解给出，其中特征向量的相互正交性表示所学习的不相关特征。实验表明，通过对各种标准数据集上生成的样本进行定性和定量评估，该框架具有潜力。
2020-12-17 cs.LG stat.ML
Scalable Multi-view Clustering via Explicit Kernel Features Maps
CDC Informatique（信息科技公司）
本文提出一种可扩展的多视图聚类方法，通过显式核特征映射和非迭代优化策略，提升大规模数据集的聚类效率和准确性。
2026-01-22 cs.LG
Duality in Multi-View Restricted Kernel Machines
KU Leuven（鲁汶大学）
本文提出统一的原-对偶多视图受限核机器框架，将多种现有方法纳入核主成分分析，证明原对偶等价性，并通过时间序列预测实验验证其有效性。
2023-07-06 cs.LG
A Unified View of Optimal Kernel Hypothesis Testing
Centre for Artificial Intelligence Gatsby Computational Neuroscience Unit（人工智能中心加布特计算神经科学单位）
本文提出了一种统一的最优核假设检验框架，涵盖了MMD两样本、HSIC独立性和KSD适配性方法，提出了自适应核选择方法，并探讨了计算效率、差分隐私和鲁棒性等约束条件下的最优分离率问题。
2025-12-28 cs.LG stat.ME stat.ML
A Unified View of Localized Kernel Learning
University of Utah（犹他大学）
多核学习（MKL）通过尝试不仅学习分类器/回归器，而且还学习训练任务的最佳内核（通常来自现有内核函数的组合）来扩展（内核化）SVM。大多数MKL方法寻求在每个训练样本上表现最好的组合内核，牺牲某些区域的性能以寻求全局最优。局部化核学习（LKL）通过允许训练算法将组件核与可以最好地利用它的示例相匹配来克服这一限制。在过去的几年中，已经探索了几种方法来解决本地化的内核学习问题。我们统一了许多这些方法在一个简单的系统，并设计了一个新的算法，提高了性能。我们还开发现有算法的增强版本，着眼于可扩展性和性能。
2016-03-04 cs.LG stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Twin Restricted Kernel Machines for Multiview Classification
Department of Mathematics（数学系）；Indian Institute of Technology Indore（印度理工学院印度尔）
本文提出TMvRKM模型，结合核机与多视框架，通过正则化最小二乘方法提升多视分类的计算效率和泛化性能。
2025-12-12 cs.LG
Efficient and Adaptive Kernelization for Nonlinear Max-margin Multi-view Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
现有的基于核函数的多视图学习方法要么需要用户选择和调整单个预定义的核，要么必须计算和存储多个Gram矩阵来执行多个核学习。这些模型除了消耗大量的人力、计算和内存资源外，大多数都寻求其参数的点估计，并且容易对小的训练数据过拟合。在贝叶斯框架下提出了一种自适应核非线性最大间隔多视图学习模型。具体来说，我们规范的后验有效的多视图潜变量模型明确映射的潜在表示提取的多个数据视图到一个随机的傅立叶特征空间，最大利润率的分类约束。假设这些随机特征来自Dirichlet过程高斯混合，我们可以根据Bochners定理自适应地从数据中学习平移不变核。对于推理，我们采用数据增强的思想铰链损失，并设计了一个有效的基于梯度的MCMC采样器在增广空间。该算法不需要计算Gram矩阵，并且与训练集的大小成线性关系。在真实世界数据集上的大量实验表明，我们的方法具有优越的性能。
2019-10-11 cs.LG stat.ML
RKUM: An R Package for Robust Kernel Unsupervised Methods
Centers for Outcomes and Health Services Research, Ochsner Health（成果与健康服务研究中心，奥钦斯纳健康）
本文介绍R包RKUM，它基于广义损失函数实现鲁棒核协方差算子与核CCA，并提供影响函数检测离群点，为高维数据鲁棒核分析提供高效可扩展平台。
2025-11-05 cs.LG stat.ML
Contrastive Learning Can Find An Optimal Basis For Approximately View-Invariant Functions
University of Toronto（多伦多大学）；Google Research（谷歌研究院）
对比学习是一个强大的框架，用于学习自我监督表示，可以很好地推广到下游监督任务。我们表明，现有的多个对比学习方法可以被重新解释为学习核函数，近似一个固定的正对内核。然后，我们证明了一个简单的表示，通过结合这个内核与PCA证明最大限度地减少线性预测的最坏情况下的近似误差，在一个简单的假设下，积极的对有类似的标签。我们的分析是基于一个分解的目标函数的特征函数的正对马尔可夫链，和一个令人惊讶的等价性之间的这些特征函数和输出的核PCA。我们给下游线性预测的泛化范围使用我们的核PCA表示，并显示经验上的一组合成任务，应用核PCA的对比学习模型确实可以近似恢复马尔可夫链特征函数，虽然精度取决于内核参数化以及增强强度。
2023-02-14 cs.LG
A Unifying View of Explicit and Implicit Feature Maps of Graph Kernels
TU Dortmund University（多特蒙德工业大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；TU Darmstadt（达姆施塔特工业大学）
非线性核方法可以通过使用合适的显式特征映射的快速线性方法来近似，从而允许其应用于大规模问题。我们研究了结构化数据的卷积核是如何从基本核组成的，并构建了相应的特征图。在此基础上，我们提出了广泛使用的图核的核技巧的基础上的准确和近似的特征映射。我们分析了显式特征映射的内核和图形属性计算是可行的，实际上更有效。特别是，我们推导出近似的，明确的特征映射的最先进的内核支持实值属性，包括GraphHopper和图形不变的内核。在广泛的实验中，我们表明，我们的方法往往达到了接近的准确方法的基础上的内核技巧的分类精度，但只需要一小部分的运行时间。此外，我们提出和分析算法计算随机行走，最短路径和子图匹配核显式和隐式特征映射。我们的理论结果证实了实验观察时，比较运行时间的标签多样性，步行长度和子图的大小，分别相变。
2019-09-03 cs.LG stat.ML
From Tokens to Regions: CUDA-Sensitive Instruction Tuning for GPU Kernel Generation
Shanghai Jiao Tong University（上海交通大学）；Biren Technology（壁仞科技）
提出CuSeT方法，通过自适应令牌级掩码和区域感知样本重加权，在简单SFT框架内提升LLM生成CUDA内核的功能正确性。
2026-06-16 cs.AI cs.LG
A Survey on Multi-view Learning
University of Technology, Sydney（悉尼科技大学）；Peking University（北京大学）
近年来，通过考虑不同视图的多样性，已经提出了许多从多视图数据中学习的方法。这些视图可以从多个源或不同的特征子集获得。为了组织和突出各种多视图学习方法之间的相似性和差异性，我们回顾了不同领域的一些代表性多视图学习算法，并将其分为三类：1）协同训练，2）多核学习，3）子空间学习。值得注意的是，协同训练风格的算法交替地进行训练，以最大化关于数据的两个不同视图的相互一致性;多核学习算法利用自然对应于不同视图的核，并线性或非线性地组合核，以提高学习性能;子空间学习算法的目标是通过假设输入视图是从多个视图共享的潜在子空间生成的，子空间虽然在整合多个视图以提高学习绩效的方法上存在显著差异，但它们主要利用一致性原则或互补性原则来确保多视图学习的成功。多视图的获取是多视图学习的基础，因此，除了从多视图学习模型的研究外，如何构建多视图以及如何评价这些视图的研究也是很有价值的。总体而言，通过探索不同视图的一致性和互补性，多视图学习比单视图学习更有效，更有前途，具有更好的泛化能力。
2013-04-20 cs.LG
A generalized kernel machine approach to identify higher-order composite effects in multi-view datasets
Tulane University（杜兰大学）
近年来，对多视图数据集（例如，多组学和成像扫描）已经成为生物医学研究的焦点和前沿。最先进的生物医学技术使我们能够收集多视图生物医学数据集，用于复杂疾病的研究。虽然所有的数据视图都倾向于探索疾病的互补信息，但具有复杂相互作用的多视图数据分析对于更深入和全面地了解生物系统具有挑战性。在本文中，我们提出了一种新的广义核机器方法来识别高阶复合效应在多视图生物医学数据集。这种广义半参数（混合效应线性模型）方法包括来自不同数据视图的特征的边缘和联合Hadamard乘积。所提出的核机器方法将多视图数据视为预测变量，以允许对复杂性状进行更彻底和全面的建模。所提出的方法可以应用于任何疾病模型的研究，其中多视图数据集可用。我们将我们的方法应用于来自青少年大脑发育和骨质疏松研究的合成数据集和真实多视图数据集，包括成像扫描数据集和五个组学数据集。我们的实验表明，所提出的方法可以有效地识别高阶复合效应，并建议相应的功能（基因，感兴趣的区域和化学分类）的功能在一个协调的努力。我们表明，所提出的方法是更普遍的比现有的。
2020-04-29 cs.LG stat.ML
Multi-View Kernels for Low-Dimensional Modeling of Seismic Events
Tel Aviv University（特拉维夫大学）
从地震记录中学习的问题已经研究了多年。人们对开发用于识别地震事件的属性的自动机制越来越感兴趣。一个主要的动机是能够可靠地识别人为爆炸。多个高维观测的可用性增加了机器学习技术在各种领域中的使用。在这项工作中，我们建议使用基于核融合的降维框架，从原始数据中生成有意义的地震表示。所提出的方法进行了测试，在以色列和约旦记录的2023事件。该方法取得了可喜的成果，在事件类型的分类，以及在估计的事件的位置。所提出的融合和降维工具可以应用于其他类型的地球物理数据。
2017-06-06 cs.LG
Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent
UFMG（米纳斯吉拉斯联邦大学）；Stony Brook University（石溪大学）
本研究将Droplet Search引入Ansor的探索阶段，通过限制探索样本数、选优后用坐标下降利用的方式，在更短时间内得到更优内核，且该方法通用性已得到验证。
2024-07-15 cs.LG cs.PL
Multi-View Kernel Consensus For Data Analysis
Tel Aviv University（特拉维夫大学）；Yale University（耶鲁大学）
许多数据驱动任务的输入数据特征集是高维的，而数据的固有维数是低的。数据分析方法的目的是通过利用将属性集视为单个整体集的距离度量来揭示由低维隐藏参数施加的底层低维结构。然而，将低维现象转换为测量的高维观测可能会使距离度量失真，这种失真会影响期望的估计的低维几何结构。在本文中，我们建议利用冗余的属性域划分成多个子集，我们称之为视图的属性。所提出的方法利用不同视图之间的一致性（也称为共识）来提取有价值的几何信息，这些信息统一了关于几个不同观测之间内在关系的多个视图。这种统一增强了单个视图或简单的视图连接所提供的信息。
2019-01-29 cs.LG stat.ML
Fine-Tuning GPT-5 for GPU Kernel Generation
通过强化学习微调GPT-5提升GPU内核生成性能，实现正确率和效率的显著提升。
2026-02-11 cs.AI cs.DC cs.LG
Personalized Federated Heat-Kernel Enhanced Multi-View Clustering via Advanced Tensor Decomposition Techniques
Independent Researcher（独立研究者）
本文提出基于高级张量分解技术的个性化联邦热核增强多视图聚类方法，通过改进的数学模型和算法设计提升聚类效果并保障数据隐私。
2026-01-01 cs.DC cs.LG
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney（悉尼大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架，但它们的性能高度依赖于核和正则化超参数的选择。然而，目前的超参数调整方法主要依赖于昂贵的交叉验证或推理，这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入，我们提出了一个基于拉德马赫复杂度界限的超参数学习框架，通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新，允许可扩展的内核超参数调整，而无需调用内核近似。实验表明，我们的学习框架优于竞争方法，并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
FedHK-MVFC: Federated Heat Kernel Multi-View Clustering
Independent Researcher（独立研究者）
FedHK-MVFC通过联邦学习和隐私保护技术，在医疗领域实现几何感知的多视图聚类，提升聚类准确率并保护患者隐私。
2025-12-01 cs.CV cs.DC cs.LG
An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）；TTI-Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）
本文从不可知视角研究了含噪核岭回归中的过拟合代价，通过高斯普适性假设和任务特征结构的风险估计，对良性、温和及灾难性过拟合提供了更精细的刻画。
2024-03-22 cs.LG stat.ML
Performance portability through machine learning guided kernel selection in SYCL libraries
Codeplay Software Ltd.（Codeplay软件有限公司）
自动调优并行计算内核允许库和框架在各种硬件上实现性能，然而这些技术通常专注于为特定输入大小和参数找到最佳内核参数。通用计算库必须能够满足用户提供的所有输入和参数，因此这些技术的用途有限。此外，像SYCL这样的并行编程框架要求内核以二进制格式嵌入库中。因此，在不增加库大小的情况下部署大量可能的内核配置是不切实际的。机器学习方法可用于缓解这两个问题，并为具有有限数量的内核配置的通用例程提供性能。我们表明，无监督聚类方法可用于选择应部署的可能内核的子集，并且可以训练简单的分类方法以在运行时从这些内核中选择以提供良好的性能。由于这些技术是完全自动化的，仅依赖于基准数据，因此针对新硬件或问题的调优过程不需要任何开发人员的努力或专业知识。
2020-08-30 cs.DC cs.LG cs.PF
Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（智能信息处理重点实验室，计算技术研究所，中国科学院）；School of Computer Science and Technology, University of Chinese Academy of Sciences（计算机科学与技术学院，中国科学院大学）
针对现有视觉模型稀疏微调两阶段范式的性能局限与高内存问题，提出单阶段方法SNELLA，通过核化低秩稀疏更新与双层稀疏竞争机制，在多任务上以更低内存实现SOTA性能。
2025-10-28 cs.CV cs.LG
Multi-View Oriented GPLVM: Expressiveness and Efficiency
School of Computing and Data Science University of Hong Kong（计算与数据科学学院 香港大学）；Department of Signal Theory and Communications Universidad Carlos III de Madrid（信号理论与通信系 马德里卡洛斯三世大学）
本文提出了一种多视图导向的GPLVM模型，通过引入Next-Gen Spectral Mixture核和改进的随机傅里叶特征近似方法，提升了模型的表达力和计算效率。
2025-12-15 cs.LG stat.ML
