High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核，表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核，我们使用的问题的自然层次结构扩展的多内核学习框架，可以嵌入在一个有向无环图的内核，我们表明，它是可以通过一个图形适应的稀疏诱导规范，在多项式时间在选定的内核的数量进行内核选择。此外，我们研究了变量选择在高维环境中的一致性，表明在某些假设下，我们的正则化框架允许一些无关变量，这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
High-Dimensional Feature Selection by Feature-Wise Kernelized Lasso
Yahoo! Labs（雅虎实验室）；Tokyo Institute of Technology（东京工业大学）；Disney Research Pittsburgh（迪士尼匹兹堡研究院）；Carnegie Mellon University（卡内基梅隆大学）
监督特征选择的目标是找到负责预测输出值的输入特征的子集。最小绝对收缩和选择运算符（Lasso）允许基于输入特征和输出值之间的线性依赖性进行计算高效的特征选择。在本文中，我们考虑一个特征明智的内核Lasso捕获非线性输入输出依赖。我们首先表明，与特定的核函数的选择，非冗余功能与强统计依赖的输出值，可以发现在基于核的独立性措施。然后，我们表明，全局最优解可以有效地计算，这使得该方法可扩展到高维问题。通过对数千个特征的特征选择实验，证明了该方法的有效性.
2019-01-04 cs.AI stat.ME stat.ML
Variable Selection for Kernel Two-Sample Tests
针对两样本检验的变量选择问题，提出基于核最大均值差异（MMD）的新框架，通过最大化方差正则化MMD统计量选择最优变量子集，并推导了混合整数规划求解算法与检验功效收敛速率，在高维数据上表现优越。
2024-12-20 stat.AP stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
The SKIM-FA Kernel: High-Dimensional Variable Selection and Nonlinear Interaction Discovery in Linear Time
许多科学问题需要识别与目标响应相关的一小组协变量并估计其影响。通常，这些效应是非线性的，并且包括相互作用，因此线性和加法方法可能导致估计和变量选择不佳。不幸的是，同时表达稀疏性、非线性和交互作用的方法在计算上是难以处理的--运行时至少是协变量数量的二次方，而且往往更糟。在目前的工作中，我们解决了这个计算瓶颈。我们发现，合适的相互作用模型有一个内核表示，即存在一个“内核技巧”进行变量的选择和估计在$O$（#协变量）的时间。我们得到的拟合对应于希尔伯特空间中的回归函数的稀疏正交分解（即，函数方差分析分解），其中交互作用效应表示不能由低阶效应解释的所有变异。在各种合成和真实数据集上，我们的方法优于用于大型高维数据集的现有方法，同时在运行时保持竞争力（或更快几个数量级）。
2022-12-01 stat.CO stat.ME stat.ML
Double Sparsity Kernel Learning with Automatic Variable Selection and Data Extraction
再生核希尔伯特空间学习（RKHS）在许多科学领域有着广泛的应用。由于RKHS非常灵活，因此通常会在优化中施加正则化项以防止过拟合。标准RKHS学习采用学习函数的平方范数惩罚。尽管取得了成功，但仍然存在许多挑战。特别是，不能直接使用平方范数罚值进行变量选择或数据提取。因此，当存在噪声预测器时，或者底层函数在对偶空间中具有稀疏表示时，标准RKHS学习的性能可能是次优的。在文献中，已经提出了如何在RKHS学习中进行变量选择的工作，并考虑了数据稀疏性约束的数据提取。然而，如何在RKHS中同时进行变量选择和数据提取仍然不清楚。在本文中，我们提出了一个统一的RKHS学习方法，即双稀疏核（DOSK）学习，以克服这一挑战。并给出了相应的优化问题的求解算法。我们证明了在一定条件下，我们的新方法可以渐近地实现变量选择的一致性。仿真和实际数据结果表明，DOSK是非常有竞争力的现有方法RKHS学习。
2017-06-05 stat.ME
Kernel Knockoffs Selection for Nonparametric Additive Models
非参数可加性模型由于其在模型灵活性和可解释性之间的良好平衡而得到广泛应用，这类模型的变量选择问题也得到了广泛的研究。然而，现有的解决方案都不能控制错误发现率（FDR），除非样本量趋于无穷大。山寨框架是最近提出的，可以解决这个问题，但很少有山寨解决方案直接适用于非参数模型。在这篇文章中，我们提出了一个新的核敲除选择过程的非参数加性模型。我们集成了三个关键部分：仿制品，稳定性的子采样，和非参数函数逼近的随机特征映射。我们表明，所提出的方法是保证控制FDR为任何样本量，并实现了功率接近一个样本量趋于无穷大。我们证明了我们的方法的有效性，通过密集的模拟和比较与其他解决方案。因此，我们的建议作出了有益的贡献，非参数变量选择的方法，FDR为基础的推理，以及仿冒品。
2022-01-07 stat.ME
Ultrahigh Dimensional Feature Selection via Kernel Canonical Correlation Analysis
高维变量选择是基因组学等许多科学领域的一个重要问题。本文提出了一种基于核典型相关分析的可靠独立特征筛选方法（KCCA-SIS）。KCCA- SIS易于实现和应用.与Fan和Lv [2008]提出的基于Pearson相关性（SIS）的确定独立性筛选方法相比，KCCA-SIS可以处理变量间的非线性依赖关系。与Li等人[2012]提出的基于距离相关性的确定独立性筛选方法（简称DC-SIS）相比，KCCA-SIS具有无标度、无分布性，并且基于高斯核的普适特性（Micchelli等人[2006]）具有更好的近似结果。KCCA-SIS比SIS和DC-SIS更通用，因为SIS和DC-SIS对应于特定的内核选择。与Balasubramanian等人[2013]开发的Hilbert Schmidt独立性准则-Sure独立性筛选（sup-HSIC-SIS，简称）的上确界相比，KCCA-SIS是无标度的，消除了特征和响应变量的边缘变化。KCCA-SIS的应用不需要对响应变量和预测变量之间的模型假设，可用于多维数据分析。与DC-SIS和sup-HSIC-SIS类似，KCCA-SIS也可以直接用于筛选分组预测因子和多变量响应变量。通过仿真研究表明，KCCA-SIS具有一定的筛选性能，并具有较好的性能。我们应用KCCA-SIS研究人类大脑发育时空基因表达数据集中的自闭症基因，并获得了更好的结果相比，其他现有的…
2016-06-02 stat.ME
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
Online structural kernel selection for mobile health
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
出于对移动健康中高效和个性化学习的需求，我们研究了多任务环境下高斯过程回归的在线核选择问题。为此，我们提出了一种新的生成过程的内核组成。我们的方法表明，内核演变的轨迹可以在用户之间转移，以改善学习，内核本身对于mHealth预测目标是有意义的。
2021-07-21 cs.LG stat.ML
Fast Optimal Bandwidth Selection for RBF Kernel using Reproducing Kernel Hilbert Space Operators for Kernel Based Classifiers
IRISA（法国信息与随机系统研究所）
基于核的方法在许多遥感分类任务中表现出了有效的性能。然而，它们的性能显着依赖于其超参数。估计参数的常规技术具有高计算复杂度。因此，这封信的目的是提出一种快速有效的方法来选择高斯核的带宽参数在基于核的分类方法。提出的方法是基于再生核希尔伯特空间中的算子，并在支持向量机和PerTurbo分类方法上进行评估。高光谱数据集进行的实验表明，我们提出的方法优于国家的最先进的方法在计算时间和分类性能。
2018-04-14 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Large-Margin Multiple Kernel Learning for Discriminative Features Selection and Representation Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
多核学习（MKL）算法结合不同的基本内核，以获得更有效的表示在特征空间。MKL专注于区分性任务，已成功地用于特征选择和发现数据的重要模态。在这样的应用中，每个基本内核表示数据的一个维度，或者从一个特定的描述符导出。因此，MKL为给定的内核找到一个最佳的加权方案，以提高分类精度。然而，这一领域的大多数工作只关注二进制分类问题，或者针对核空间中的类的线性分离，这对于许多现实问题来说是不现实的假设。在本文中，我们提出了一种新的多类MKL框架，通过增强特征空间中类的局部分离来改进现有技术。此外，通过使用稀疏项，我们的大间隔多核算法（LMMK）执行歧视性的特征选择，旨在采用一个小的子集的基本内核。基于我们对不同真实世界数据集的经验评估，与MKL中最先进的算法相比，LMMK提供了具有竞争力的分类准确性。此外，它还学习了一组稀疏的非零内核权重，这导致了更可解释的特征选择和表示学习。
2019-03-12 cs.LG stat.ML
TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection
University of Iowa（爱荷华大学）；University of Minnesota（明尼苏达大学）；Individual Researcher（独立研究者）；AIScientists, Inc. (MorphMind)（AIScientists公司（MorphMind））；Department of Statistics and Actuarial Science, University of Iowa（爱荷华大学统计与精算科学系）
提出GPU加速的核学习库TorchKM，通过智能复用矩阵运算加速SVM、核逻辑回归等模型的训练与模型选择，性能优于标准基线。
2026-06-09 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Model Selection for Simulator-based Statistical Models: A Kernel Approach
NEC Corporation（日本电气公司）；RIKEN AIP（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数理研究所）
提出了一种基于模拟器的统计模型模型选择的新方法。所提出的方法定义了一个混合的候选模型，然后迭代更新这些模型的权重系数，以及在每个模型中的参数同时，这是通过递归地应用贝叶斯规则，使用最近提出的内核递归ABC算法。该方法的实际优点是，即使建模者缺乏关于每个模型中的参数的适当先验知识，也可以使用该方法。我们证明了所提出的方法的有效性与一些实验，包括生态学和流行病学的动力系统的模型选择。
2019-02-07 cs.LG stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
自动机器学习（AutoML）中的一个基本问题是模型选择。顺序设置中的一个独特挑战是，最佳模型本身可能会随着时间的推移而变化，这取决于每个时间点可用的特征和标签的分布。在本文中，我们提出了一种新的贝叶斯优化（BO）算法来解决在这种情况下的模型选择的挑战。这是通过将每个时间步的性能视为其自己的黑盒函数来实现的。为了联合有效地解决由此产生的多个黑盒函数优化问题，我们使用深度核学习（DKL）来利用黑盒函数之间的潜在相关性。据我们所知，我们是第一个制定逐步模型选择（SMS）序列预测的问题，并设计和演示了一个有效的联合学习算法，用于此目的。使用多个真实世界的数据集，我们验证了我们提出的方法优于标准BO和多目标BO算法在各种序列预测任务。
2020-02-14 cs.LG stat.ML
Interpretable Multiple-Kernel Prototype Learning for Discriminative Representation and Feature Selection
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
基于原型的方法是领域专家和从业者特别感兴趣的，因为它们通过一小组代表来总结数据集。因此，在分类设置中，原型的可解释性与算法的预测准确性一样重要。然而，最先进的方法通过牺牲一个来支持另一个来在这些问题之间进行低效的权衡，特别是如果给定的数据具有基于内核的表示。在本文中，我们提出了一种新的可解释的多核原型学习（IMKPL）在特征空间中构建高度可解释的原型，这也是有效的数据的判别表示。我们的方法侧重于在特征空间中的类的局部歧视和塑造的原型的基础上凝聚类均匀的数据邻域。此外，IMKPL在特征空间中学习组合嵌入，更好地实现了上述目标。当基本核与数据维度一致时，这种嵌入导致有区别的特征选择。我们评估IMKPL的几个基准从不同的领域，这表明其优越性的相关国家的最先进的方法，无论是可解释性和歧视性表示。
2019-11-10 cs.LG stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
More Powerful Selective Kernel Tests for Feature Selection
University College London（伦敦大学学院）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；MPI for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
根据数据完善假设是一种常见的科学实践;然而，对数据的依赖会引入选择偏差，并可能导致似是而非的统计分析。解决这个问题的一种方法是通过对选择过程进行条件反射，以说明我们如何使用数据来生成假设，并防止信息在选择后再次使用。许多选择性推理（A.K.A.）后选择推理）算法通常采用这种方法，但是为了易处理性而将“过度调节”。虽然这种做法产生了良好的校准统计测试与控制假阳性率（FPR），它可能会导致重大损失的权力。在我们的工作中，我们扩展了最近的两个建议，选择功能的最大均值离散和希尔伯特施密特独立性标准的条件上的最小条件事件。我们展示了多尺度自举的最新进展如何使最小选择事件成为可能，并在一系列合成和现实世界的实验中证明了我们的建议。我们的结果表明，我们提出的测试在大多数情况下确实更强大。
2020-02-29 cs.LG stat.ML
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.（赛仕软件研究所）
支持向量数据描述（SVDD）为多变量数据的单类分类和离群点检测提供了一种有效的描述方法，具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的，并且符合数据的几何特征。通过改变高斯核带宽参数，SVDD生成的边界可以变得更平滑（更球形）或更紧密/锯齿状。前者可能导致欠拟合，而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力，以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时，根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下，大数据。当应用于多个数据集时，所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数（变异系数和距离的Faradian邻居）进行了修改，以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
The Mean and Median Criterion for Automatic Kernel Bandwidth Selection for Support Vector Data Description
SAS Institute Inc.（SAS研究所公司）
支持向量数据描述（SVDD）是一种流行的异常检测技术。SVDD分类器将整个空间划分为内点区域和离群点区域，内点区域由靠近训练数据的区域组成，离群点区域由远离训练数据的点组成。SVDD分类器的计算需要核函数，高斯核是核函数的常见选择。高斯核有一个带宽参数，其值对于良好的结果很重要。小的带宽导致过拟合，并且所得到的SVDD分类器高估了异常的数量。大的带宽导致欠拟合，并且分类器无法检测到许多异常。在本文中，我们提出了一种新的自动，无监督的方法来选择高斯核带宽。所选的值可以快速计算，并且与现有的带宽选择方法具有竞争力。
2017-08-21 cs.AI cs.LG stat.ML
Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University, Xi’an, China（智能决策与机器学习中心，管理学院，西安交通大学，西安，中国）；Department of Mathematics, The University of Hong Kong, Hongkong, China（数学系，香港大学，香港，中国）
本文提出了一种基于核梯度下降的自适应参数选择策略，通过经验有效维度量化迭代增量，理论证明其在不同核函数和误差度量下达到最优泛化误差界。
2026-03-03 cs.LG stat.ME stat.ML
Using Kernel Methods and Model Selection for Prediction of Preterm Birth
Columbia University（哥伦比亚大学）；The Cooper Union（库伯联盟学院）；Columbia University Medical Center（哥伦比亚大学医学中心）
我们描述了机器学习在预测早产问题上的应用。我们对国家儿童健康和人类发展研究所（NICHD）收集的临床试验数据集进行了二次分析，同时将注意力集中在预测不同类别的早产上。我们比较了三种方法来获得预测模型：一个支持向量机（SVM）的方法与线性和非线性内核，逻辑回归与不同的模型选择以及模型的基础上，由医生专家规定的预测早产的决策规则。我们的方法突出了预处理方法，用于处理固有的动态，噪声和差距的数据和描述用于处理偏斜类分布的技术。经验性实验表明，与过去的工作相比，在预测早产方面有显着改善。
2016-09-05 cs.LG stat.ML
Feature subset selection for kernel SVM classification via mixed-integer optimization
Tokyo University of Agriculture and Technology（东京农工大学）；October Sky Co., Ltd.（October Sky株式会社）；University of Tsukuba（筑波大学）
研究了非线性核支持向量机（SVM）二值分类中特征子集选择的混合整数优化（MIO）方法。这种方法在20世纪70年代首次提出用于线性回归，最近随着优化算法和计算机硬件的进步而成为人们关注的焦点。本文的目标是建立一个MIO的方法来选择最好的核SVM分类的特征子集。为了衡量子集选择的性能，我们使用核目标对齐，这是在高维特征空间中两个响应类的质心之间的距离。我们提出了一个混合整数线性优化（MILO）制定的基础上的核心目标对齐的特征子集选择，这个MILO问题可以解决最优使用优化软件。我们还推导出一个简化版本的MILO问题，以加快我们的MILO计算。实验结果表明，我们的MILO配方与减少的问题具有良好的计算效率。此外，我们的方法往往可以优于线性SVM为基础的MILO制定和递归特征消除的预测性能，特别是当有相对较少的数据实例。
2022-05-28 cs.LG math.OC stat.ML
Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
用于训练线性和核预测器的随机梯度下降算法由于其可扩展性而越来越重要。虽然已经提出了各种方法来加快收敛速度，但模型选择阶段往往被忽略。事实上，在理论工作中，大部分时间都是假设，例如，对最优解的范数的先验知识，而在实际世界中，验证方法仍然是唯一可行的方法。在本文中，我们提出了一种新的基于核的随机梯度下降算法，该算法在训练时执行模型选择，没有参数调整，也没有任何形式的交叉验证。该算法建立在无约束设置的在线学习理论的最新进展之上，以数据依赖的方式随着时间的推移估计正确的正则化。最佳的收敛速度证明下标准的光滑假设的目标函数，使用范围空间的分数积分算子与内核。
2014-06-15 cs.LG stat.ML
Kernel Feature Selection via Conditional Covariance Minimization
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种特征选择的方法，采用基于核的独立性措施，找到一个子集的协变量，最大限度地预测的响应。在过去的工作内核降维的基础上，我们展示了如何通过一个约束优化问题，涉及跟踪的条件协方差算子进行特征选择。我们证明了这个过程的各种一致性结果，并证明了我们的方法与其他国家的最先进的算法相比，在各种合成和真实的数据集。
2018-10-20 cs.AI cs.LG stat.ME
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
对于监督学习和无监督学习，正定核允许使用大的且可能无限维的特征空间，其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中，我们探讨了稀疏诱导范数，如l1-范数或块l1-范数的惩罚。我们假设，内核分解成一个大的总和，可以嵌入在一个有向无环图的个别基础内核，我们表明，它是可以通过一个分层的多内核学习框架，在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明，通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity
School of Computer Science, Georgia Institute of Technology, USA；The Cyprus Institute, Cyprus；School of Biological Sciences, Cold Spring Harbor Laboratory, USA
针对动态流式场景下的增量式数据选择问题，本文提出PEAKS方法，利用核相似性锚定的预测误差评估样本重要性，实验表明其性能持续优于现有选择策略。
2025-07-01 cs.LG stat.ML
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University（京都大学）
模态线性回归（MLR）是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择：“哪一个核实现更小的误差？和“哪个内核在计算上是有效的？".首先，我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次，我们提供了一个核类，迭代加权最小二乘算法（IRLS）是保证收敛的，特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证，使用双权内核提供了良好的估计精度，使用Epanechnikov内核是计算效率。我们的结果改善了MLR，现有的研究往往坚持高斯核和模态期望最大化算法专门为它，通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
Supervising Nyström Methods via Negative Margin Support Vector Selection
Princeton University（普林斯顿大学）
Nyström方法是基于可扩展内核学习的流行技术。他们近似显式的，低维特征映射的核函数从成对比较与训练数据。然而，在分类/回归问题中，Nyström方法通常在没有训练标签提供监督的情况下应用。这导致与模型中随机选择的训练样本进行成对比较。相反，这项工作研究了一种监督Nyström方法，该方法选择了机器学习模型成功的关键样本子集。特别地，我们通过负间隔标准选择Nyström支持向量，并创建更适合数据分类任务的显式特征映射。在六个数据集上的实验结果表明，在不增加无监督技术复杂度的情况下，我们的方法可以显着提高通过核近似方法实现的分类性能，并减少达到或超过全维核机器性能所需的特征数量。
2018-05-18 cs.LG stat.ML
Markov Blanket Ranking using Kernel-based Conditional Dependence Measures
University of Pittsburgh School of Medicine（匹兹堡大学医学院）
开发特征选择算法，超越纯粹的相关性，对观测数据进行更具因果性的分析，是科学中的一个重要问题。有几种算法试图通过发现目标的马尔可夫毯来做到这一点，但它们都包含一个前向选择步骤，变量必须通过该步骤才能被包括在条件集中。因此，这些算法可能不会考虑所有可能的条件多变量组合。我们提出了一个向后消除方法，使用基于核的条件依赖措施，以确定马尔可夫毯在一个完全多变量的方式来改善这个限制。该算法易于实现，并在合成数据集和真实数据集上与其他方法进行了比较。
2014-05-03 cs.LG stat.ML
Taming Nonconvexity in Kernel Feature Selection -- Favorable Properties of the Laplace Kernel
基于核的特征选择是非参数统计中的一个重要工具。尽管基于核的特征选择有许多实际应用，但很少有统计理论支持这种方法。核心挑战是用于定义基于核的特征选择的最优化问题的目标函数是非凸的。文献只研究了\emph{global optima}的统计特性，这是一个不匹配的，因为基于梯度的算法可用于非凸优化只能保证收敛到局部最小值。研究与基于内核的方法相关的完整景观，我们表明，使用拉普拉斯内核（和其他$\ell_1$内核）的特征选择目标来与其他内核，包括无处不在的高斯内核（或其他$\ell_2$内核）不具备的统计保证。基于目标函数的梯度的尖锐表征，我们表明，$\ell_1$内核消除不利的固定点时，出现使用$\ell_2$内核。有了这个洞察力，我们建立了统计保证$\ell_1$基于内核的功能选择，不需要达到全球最小值。特别是，我们建立了模型选择的一致性$\ell_1$ -基于内核的功能选择恢复主效应和层次的相互作用，在非参数设置与$n \sim \log p$样本。
2022-05-25 math.ST stat.ME stat.ML
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London（伦敦大学学院）
高斯过程（GP）中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的，但在高维数据集中，这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验，并推断变量包含的后验概率。然而，GP中的现有实现在高维和大$n$数据集中运行都非常昂贵，或者仅适用于具有特定内核的无监督设置。因此，我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力，以适应相关变量的稀疏性贝叶斯模型平均超参数，并实现了大幅度的速度使用零温度后验限制，丢弃修剪和最近邻最小化。在实验中，我们的方法始终优于普通和稀疏变分GP，同时保持相似的运行时间（即使是在$n=10^6$时），并且与使用MCMC的尖峰和平板GP的性能具有竞争力，但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
On the Limitation of Kernel Dependence Maximization for Feature Selection
Northwestern University（西北大学）
本文通过反例证明以最大化HSIC为准则的特征选择方法存在缺陷，可能遗漏关键特征。
2024-06-11 cs.LG math.ST stat.ML
Optimizing Kernel Discrepancies via Subset Selection
University of St Andrews（圣安德鲁大学）；University of Washington（华盛顿大学）；Sorbonne Université（索邦大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文将子集选择问题扩展至核差异设定，提出一种新型算法，可高效从均匀分布及一般分布中生成低差异样本，并探讨了$L_2$与$L_\infty$星形差异的关系。
2025-11-04 cs.CG cs.LG cs.NA
Adaptive Kernel Selection for Kernelized Diffusion Maps
CY Cergy Paris University（塞纳-圣但尼大学）；Institut Polytechnique de Paris（巴黎理工学院）；California Institute of Technology（加州理工学院）；The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（伦敦帝国学院）
本文提出两种自适应核选择方法，通过变分外循环学习连续核参数，并利用随机傅里叶特征提升可扩展性，以提高扩散图核估计的准确性与稳定性。
2026-04-20 math.DS stat.ML
Kernel Ridge Regression Using Importance Sampling with Application to Seismic Response Prediction
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
可扩展的核方法，包括核岭回归，通常依赖于使用Nystrom方法的低秩矩阵近似，该方法涉及从大型数据集中选择标志点。选择地标的现有方法通常在计算上要求很高，因为它们需要在输入或特征空间中操纵和执行具有大矩阵的计算。在本文中，我们的贡献是双重的。第一个贡献是提出了一种新的地标选择方法，促进多样性，使用一个有效的两步方法。我们的地标选择技术遵循从粗到细的策略，第一步计算重要性分数，对整个数据进行一次遍历。第二步对构建的核心集进行K均值聚类，以获得的质心作为地标。因此，所介绍的方法提供了可调的准确性和效率之间的权衡。我们的第二个贡献是调查的性能的几个标志性的选择技术，使用一种新的应用内核的方法来预测结构响应，由于地震荷载和材料的不确定性。我们的实验展示了我们提出的地标选择方案对基线的优点。
2020-09-19 cs.CV cs.LG stat.ML
Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport
Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管最近在自动化机器学习方面取得了进展，但模型选择仍然是一个复杂且计算密集的过程。对于高斯过程（GP），选择内核是一项至关重要的任务，通常由专家手动完成。此外，评估高斯过程的模型选择标准通常在样本大小上按立方缩放，使得内核搜索在计算上特别昂贵。我们提出了一种新的，有效的搜索方法，通过一个一般的，结构化的核空间。以前的方法通过贝叶斯优化解决了这个任务，并依赖于直接在函数空间中测量GP之间的距离来构建核-核。我们提出了一种替代方法，通过定义一个内核内核的统计假设，是与内核的符号表示。我们的经验表明，这导致了一个计算上更有效的方式搜索通过一个离散的核空间。
2022-10-21 cs.AI cs.LG stat.ML
Model Selection for Anomaly Detection
Institute for Information Transmission Problems (Kharkevich Institute) RAS（俄罗斯科学院信息传输问题研究所（哈尔克维奇研究所））
基于单类分类算法的异常检测被广泛用于许多应用领域，如图像处理（例如，从乳房X射线摄影图像中检测患者是“癌症”还是“健康”）、网络入侵检测等。异常检测算法的性能关键取决于用于测量特征空间中的相似性的内核。在两类分类问题中使用的用于核选择的标准方法（例如交叉验证）由于数据的特定性质（不存在第二异常类数据）而不能直接使用。在本文中，我们推广了几种核选择方法，从二进制类的情况下，一类分类的情况下，这些方法使用合成和真实世界的数据进行广泛的比较。
2017-07-12 cs.LG stat.AP stat.ML
Selecting Biomarkers for building optimal treatment selection rules using Kernel Machines
用于治疗选择的最佳生物标志物组合可以通过最小化由靶向疾病及其治疗引起的人群的总负担来获得。然而，当存在多个生物标志物时，将所有生物标志物包括在模型中可能是昂贵的，并且损害模型性能。为了解决这个问题，我们考虑通过最小化额外包含生物标志物测量成本的扩展总负担来优化特征选择。制定它作为一个0-范数惩罚加权分类，我们开发了各种估计线性和非线性组合的程序。通过模拟和一个真实的数据例子，我们证明了在推导治疗选择规则时，将特征选择和标记成本结合起来的重要性。
2019-06-06 stat.AP stat.ML
Free-Probability Kernels for Zero-Rollout Hyperparameter Selection in Reservoir Computing
Telenor Research & Innovation（挪威电信研究与创新中心）；University of Pisa（比萨大学）
提出基于自由概率核的零展开超参数选择方法，无需大量展开即可高效选择储备池计算的超参数，性能接近穷举搜索且成本大幅降低，在多个时间预测任务中表现优异。
2026-08-24 cs.LG cs.NE stat.ML
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Kernel-based Information Criterion
本文介绍了用于回归分析模型选择的核信息准则。KIC中新的基于内核的复杂性度量使用变量方差有效地计算模型参数之间的相互依赖性，并选择更好，更鲁棒的回归量。实验结果表明，与留一交叉验证（LOOCV）、基于核的信息复杂度（ICOMP）和高斯过程回归（GPR）中的最大边缘似然对数相比，该方法在模拟和真实数据集上都具有更好的性能。
2014-12-15 stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Unsupervised Feature Selection for Tumor Profiles using Autoencoders and Kernel Methods
Universite de Technologie de Troyes（特鲁瓦技术大学）；Instituto de Investigacion en Biomedicina de Buenos Aires (IBioBA)—CONICET Partner Institute of the Max Planck Society（布宜诺斯艾利斯生物医学研究所（IBioBA）—马克斯·普朗克学会合作研究所）
来自肿瘤谱的分子数据是高维的。肿瘤谱可以通过成千上万的基因表达特征来表征。由于基因表达特征集的大小，机器学习方法暴露于噪声变量和复杂性。肿瘤类型呈现异质性，并且可以细分为肿瘤亚型。在许多情况下，肿瘤数据不包括肿瘤亚型标记，因此无监督学习方法对于肿瘤亚型发现是必要的。这项工作旨在学习肿瘤样本的有意义和低维表示，并在不使用肿瘤标签的情况下保留生物特征的同时找到肿瘤亚型聚类。所提出的方法命名为潜在核特征选择（LKFS）是一种无监督的方法，在肿瘤基因表达谱的基因选择。通过使用自动编码器，低维和去噪的潜在空间被学习为目标表示，以指导选择基因子集的多核学习模型。通过使用所选择的基因，聚类方法被用于对样本进行分组。为了评估所提出的无监督特征选择方法的性能，通过临床意义来分析所获得的特征和聚类。所提出的方法已被应用于三个肿瘤数据集，这是脑，肾和肺，每一个由两个肿瘤亚型组成。与基准无监督特征选择方法相比，该方法所得到的结果表明，在所选择的功能和更好的聚类性能较低的冗余。
2020-07-12 cs.LG q-bio.GN q-bio.QM
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理（PSI）算法，该算法不仅可以处理数据中的非线性，而且可以处理多维和多标签输出等结构化输出。具体来说，我们开发了一个PSI算法的独立性措施，并提出了希尔伯特施密特独立准则（HSIC）的PSI算法（hsicInf）。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说，该算法可以用于更广泛的应用，包括非线性多类分类和多变量回归，而现有的PSI算法不能处理它们。通过合成实验，我们表明，该方法可以找到一组统计上显着的回归和分类问题的功能。此外，我们将hsicInf算法应用于真实世界的数据，并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations
Dhirubhai Ambani Institute of Technology (DAIICT)（迪鲁巴伊·安巴尼信息技术学院）
本文推导了一种新的基于Gram-Charlier A（GCA）级数的扩展经验法则（ExROT）用于核密度估计（KDE）中的带宽选择。现有的各种带宽选择规则实现估计的概率密度函数（PDF）和实际PDF之间的渐近平均积分平方误差（AMISE）最小化。这些规则在估计未知PDF $(f(\cdot))$的平方二阶导数的积分方面有所不同，该未知PDF $(f(\cdot))$被标识为粗糙度$R(f''(\cdot))$。最简单的经验法则（ROT）估计$R(f''(\cdot))$时假设所估计的密度是高斯的。直观地，如果通过基于更广义的密度假设的无穷级数展开来近似未知PDF，则可以导出对$R(f''(\cdot))$的更好的估计以及因此更好的带宽选择规则。作为对这一概念的论证和验证，本文中导出的ExROT使用了一个扩展的假设，即所估计的密度接近高斯。这有助于使用GCA展开作为对未知的近高斯PDF的近似。将单变量KDE的ExROT扩展到多变量KDE。所需的多变量AMISE标准是重新推导出使用初等微积分的几个变量，而不是张量演算。推导过程使用Kronecker积和向量微分算子来实现向量符号的AMISE表达式。还导出了基于核的密度导数估计的ExROT。
2015-04-03 cs.LG stat.CO stat.ME
