High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核，表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核，我们使用的问题的自然层次结构扩展的多内核学习框架，可以嵌入在一个有向无环图的内核，我们表明，它是可以通过一个图形适应的稀疏诱导规范，在多项式时间在选定的内核的数量进行内核选择。此外，我们研究了变量选择在高维环境中的一致性，表明在某些假设下，我们的正则化框架允许一些无关变量，这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
The SKIM-FA Kernel: High-Dimensional Variable Selection and Nonlinear Interaction Discovery in Linear Time
许多科学问题需要识别与目标响应相关的一小组协变量并估计其影响。通常，这些效应是非线性的，并且包括相互作用，因此线性和加法方法可能导致估计和变量选择不佳。不幸的是，同时表达稀疏性、非线性和交互作用的方法在计算上是难以处理的--运行时至少是协变量数量的二次方，而且往往更糟。在目前的工作中，我们解决了这个计算瓶颈。我们发现，合适的相互作用模型有一个内核表示，即存在一个“内核技巧”进行变量的选择和估计在$O$（#协变量）的时间。我们得到的拟合对应于希尔伯特空间中的回归函数的稀疏正交分解（即，函数方差分析分解），其中交互作用效应表示不能由低阶效应解释的所有变异。在各种合成和真实数据集上，我们的方法优于用于大型高维数据集的现有方法，同时在运行时保持竞争力（或更快几个数量级）。
2022-12-01 stat.CO stat.ME stat.ML
Comparing Model Selection and Regularization Approaches to Variable Selection in Model-Based Clustering
我们比较了聚类中变量选择的两种主要方法：模型选择和正则化。基于以前的结果，我们选择Maugis等人（2009 b）的方法，该方法修改了Raftery和Dean（2006）的方法，作为当前最先进的模型选择方法。我们选择Witten和Tibshirani（2010）的方法作为当前最先进的正则化方法。我们通过模拟比较了这些方法在分类和变量选择方面的准确性。在第一个模拟实验中，所有的变量都是有条件独立的集群成员。我们发现，变量选择（任何一种）产生了大量的收益分类准确性时，集群很好地分离，但很少收益时，集群是紧密相连的。我们发现，这两种变量选择方法具有相当的分类精度，但模型选择方法在选择变量时具有更好的精度。在我们的第二个模拟实验中，给定聚类成员的变量之间存在相关性。我们发现，模型选择方法在分类和变量选择方面比正则化方法准确得多，并且两者都比$K$ -没有变量选择的方法给出更准确的分类。
2013-07-30 stat.AP
Double Sparsity Kernel Learning with Automatic Variable Selection and Data Extraction
再生核希尔伯特空间学习（RKHS）在许多科学领域有着广泛的应用。由于RKHS非常灵活，因此通常会在优化中施加正则化项以防止过拟合。标准RKHS学习采用学习函数的平方范数惩罚。尽管取得了成功，但仍然存在许多挑战。特别是，不能直接使用平方范数罚值进行变量选择或数据提取。因此，当存在噪声预测器时，或者底层函数在对偶空间中具有稀疏表示时，标准RKHS学习的性能可能是次优的。在文献中，已经提出了如何在RKHS学习中进行变量选择的工作，并考虑了数据稀疏性约束的数据提取。然而，如何在RKHS中同时进行变量选择和数据提取仍然不清楚。在本文中，我们提出了一个统一的RKHS学习方法，即双稀疏核（DOSK）学习，以克服这一挑战。并给出了相应的优化问题的求解算法。我们证明了在一定条件下，我们的新方法可以渐近地实现变量选择的一致性。仿真和实际数据结果表明，DOSK是非常有竞争力的现有方法RKHS学习。
2017-06-05 stat.ME
Kernel Knockoffs Selection for Nonparametric Additive Models
非参数可加性模型由于其在模型灵活性和可解释性之间的良好平衡而得到广泛应用，这类模型的变量选择问题也得到了广泛的研究。然而，现有的解决方案都不能控制错误发现率（FDR），除非样本量趋于无穷大。山寨框架是最近提出的，可以解决这个问题，但很少有山寨解决方案直接适用于非参数模型。在这篇文章中，我们提出了一个新的核敲除选择过程的非参数加性模型。我们集成了三个关键部分：仿制品，稳定性的子采样，和非参数函数逼近的随机特征映射。我们表明，所提出的方法是保证控制FDR为任何样本量，并实现了功率接近一个样本量趋于无穷大。我们证明了我们的方法的有效性，通过密集的模拟和比较与其他解决方案。因此，我们的建议作出了有益的贡献，非参数变量选择的方法，FDR为基础的推理，以及仿冒品。
2022-01-07 stat.ME
Projection predictive variable selection using Stan+R
这份文件是额外的材料，我们以前的研究比较几种策略的可变子集选择。我们推荐的方法是用所有候选变量和最佳先验信息拟合完整模型，并使用投影预测框架进行变量选择。在这里，我们给出了一个执行这种分析的例子，使用Stan拟合模型，R选择变量。
2015-08-11 stat.ME
Trimming Stability Selection increases variable selection robustness
污染会严重扭曲估计，除非估计程序是适当的强大。这是一个众所周知的问题，并已在稳健统计中得到解决，然而，污染和扭曲的变量选择的关系在文献中很少被考虑。至于变量选择，已经提出了许多稀疏模型选择的方法，包括稳定性选择，这是一种基于变量选择算法的元算法，以免疫特定的数据配置。我们引入了变量选择细分点，量化的情况下，分别。必须被污染的细胞，以便检测不到相关变量。我们发现，特定的离群配置可以完全误导模型选择，并认为为什么即使是细胞明智的强大的方法不能解决这个问题。我们将变量选择崩溃点与恢复相结合，得到稳定性选择崩溃点，该崩溃点量化了稳定性选择的鲁棒性。我们提出了一个修剪的稳定性选择，它只聚合模型的最低样本损失，以便，从理论上讲，模型计算严重污染的重采样应该被修剪掉。一个广泛的模拟研究与非鲁棒回归和分类算法，以及稀疏最小二乘法揭示了我们的方法，以提高模型选择的鲁棒性，以及使用非鲁棒算法的变量选择的脆弱性，即使是一个非常小的细胞明智的污染率的潜力。
2022-07-14 math.ST stat.ME stat.TH
Bayesian Shrinkage Variable Selection
由于延期和作为另一份文件提交而撤回。
2008-04-16 stat.ME
Variable selection with error control: Another look at Stability Selection
稳定性选择最近由Meinshausen和Buhlmann（2010）引入，作为一种非常通用的技术，旨在提高变量选择算法的性能。它基于对数据子样本应用选择程序的结果进行汇总。我们引入了一个变种，称为互补对稳定性选择（CPSS），并推导出的界限上的预期数量的变量，包括由CPSS具有低的选择概率，根据原来的程序，和预期数量的高选择概率的变量被排除在外。这些结果不需要对基本模型或原始选择程序的质量进行任何假设（例如交换）。在合理的形状限制下，边界可以进一步收紧，产生改进的差错控制，因此增加了该方法的适用性。
2011-10-05 math.ST stat.TH
Variable selection in discriminant analysis for mixed variables and several groups
本文提出了一种混合分类变量和连续变量的判别分析变量选择方法。这种方法是基于一个标准，允许减少变量选择问题的问题，估计合适的排列和维数。然后，估计这些参数的建议和选择变量的方法是一致的。仿真研究，允许研究所提出的方法的几个pocperties，并与现有的方法进行比较。
2017-03-13 math.PR math.ST stat.TH
Ultrahigh Dimensional Feature Selection via Kernel Canonical Correlation Analysis
高维变量选择是基因组学等许多科学领域的一个重要问题。本文提出了一种基于核典型相关分析的可靠独立特征筛选方法（KCCA-SIS）。KCCA- SIS易于实现和应用.与Fan和Lv [2008]提出的基于Pearson相关性（SIS）的确定独立性筛选方法相比，KCCA-SIS可以处理变量间的非线性依赖关系。与Li等人[2012]提出的基于距离相关性的确定独立性筛选方法（简称DC-SIS）相比，KCCA-SIS具有无标度、无分布性，并且基于高斯核的普适特性（Micchelli等人[2006]）具有更好的近似结果。KCCA-SIS比SIS和DC-SIS更通用，因为SIS和DC-SIS对应于特定的内核选择。与Balasubramanian等人[2013]开发的Hilbert Schmidt独立性准则-Sure独立性筛选（sup-HSIC-SIS，简称）的上确界相比，KCCA-SIS是无标度的，消除了特征和响应变量的边缘变化。KCCA-SIS的应用不需要对响应变量和预测变量之间的模型假设，可用于多维数据分析。与DC-SIS和sup-HSIC-SIS类似，KCCA-SIS也可以直接用于筛选分组预测因子和多变量响应变量。通过仿真研究表明，KCCA-SIS具有一定的筛选性能，并具有较好的性能。我们应用KCCA-SIS研究人类大脑发育时空基因表达数据集中的自闭症基因，并获得了更好的结果相比，其他现有的…
2016-06-02 stat.ME
Variable Importance Assessments and Backward Variable Selection for High-Dimensional Data
高维情景下的变量选择是统计学研究的热点。一种应用涉及在基因组分析中鉴定差异表达的基因。用于解决该问题的现有方法具有一些限制或缺点。在本文中，我们提出了基于距离的变量的重要性措施来处理这些问题，这是多响应置换过程（MRPP）的启发。所提出的变量重要性评估可以有效地衡量单个维度的重要性，通过量化其对多元分布之间的差异的影响。提出了一种后向选择算法，可用于高维变量选择，发现重要变量。仿真和实际数据的应用表明，我们提出的方法具有良好的性能，并优于其他方法。
2018-06-18 stat.ME
Variable selection in model-based clustering and discriminant analysis with a regularization approach
在基于模型的聚类和分类中，已经提出了相关的变量选择方法。这些方法使用向后或向前过程来定义变量的角色。不幸的是，这些逐步的过程是非常缓慢的，使这些变量选择算法效率低下，以处理大型数据集。本文提出了一种基于模型的聚类和分类变量选择的正则化方法。在这种方法中，变量首先用套索样的程序进行排序，以避免痛苦缓慢的逐步算法。因此，Maugis等人（2009 b）的变量选择方法可以有效地应用于高维数据集。
2017-05-02 stat.CO
Using reference models in variable selection
变量选择，或者更一般地说，模型简化是统计工作流程的一个重要方面，旨在从数据中提供见解。在本文中，我们讨论并证明了在变量选择中使用参考模型的好处。参考模型通过对目标变量的数据生成机制进行建模，充当目标变量的噪声过滤器。结果，在模型选择过程中使用参考模型预测减少了可变性并提高了稳定性，从而导致改进的模型选择性能。假设贝叶斯参考模型很好地描述了未来数据的真实分布，理论上参考模型的首选用法是将其预测分布投影到简化模型中，从而产生投影预测变量选择方法。或者，参考模型也可以以特定方式与常见变量选择方法组合使用。在几个数值实验中，我们研究了投影预测方法的性能以及有和没有参考模型的替代变量选择方法。我们的研究结果表明，使用参考模型通常转化为更好，更稳定的变量选择。此外，我们证明了投影预测方法显示出优越的性能相比，替代变量选择方法，独立于他们是否使用参考模型。
2020-04-27 stat.CO stat.ME
Unsupervised Variable Selection for Ultrahigh-Dimensional Clustering Analysis
针对无监督变量选择研究滞后于有监督的问题，提出FPCFL方法以区分活跃、冗余和无信息变量，通过理论与模拟验证排除无信息变量可提升聚类性能，解决变量选择对聚类性能影响的担忧。
2024-11-29 stat.ME
Selecting Biomarkers for building optimal treatment selection rules using Kernel Machines
用于治疗选择的最佳生物标志物组合可以通过最小化由靶向疾病及其治疗引起的人群的总负担来获得。然而，当存在多个生物标志物时，将所有生物标志物包括在模型中可能是昂贵的，并且损害模型性能。为了解决这个问题，我们考虑通过最小化额外包含生物标志物测量成本的扩展总负担来优化特征选择。制定它作为一个0-范数惩罚加权分类，我们开发了各种估计线性和非线性组合的程序。通过模拟和一个真实的数据例子，我们证明了在推导治疗选择规则时，将特征选择和标记成本结合起来的重要性。
2019-06-06 stat.AP stat.ML
Taming Nonconvexity in Kernel Feature Selection -- Favorable Properties of the Laplace Kernel
基于核的特征选择是非参数统计中的一个重要工具。尽管基于核的特征选择有许多实际应用，但很少有统计理论支持这种方法。核心挑战是用于定义基于核的特征选择的最优化问题的目标函数是非凸的。文献只研究了\emph{global optima}的统计特性，这是一个不匹配的，因为基于梯度的算法可用于非凸优化只能保证收敛到局部最小值。研究与基于内核的方法相关的完整景观，我们表明，使用拉普拉斯内核（和其他$\ell_1$内核）的特征选择目标来与其他内核，包括无处不在的高斯内核（或其他$\ell_2$内核）不具备的统计保证。基于目标函数的梯度的尖锐表征，我们表明，$\ell_1$内核消除不利的固定点时，出现使用$\ell_2$内核。有了这个洞察力，我们建立了统计保证$\ell_1$基于内核的功能选择，不需要达到全球最小值。特别是，我们建立了模型选择的一致性$\ell_1$ -基于内核的功能选择恢复主效应和层次的相互作用，在非参数设置与$n \sim \log p$样本。
2022-05-25 math.ST stat.ME stat.ML
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
Online structural kernel selection for mobile health
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
出于对移动健康中高效和个性化学习的需求，我们研究了多任务环境下高斯过程回归的在线核选择问题。为此，我们提出了一种新的生成过程的内核组成。我们的方法表明，内核演变的轨迹可以在用户之间转移，以改善学习，内核本身对于mHealth预测目标是有意义的。
2021-07-21 cs.LG stat.ML
Fast Optimal Bandwidth Selection for RBF Kernel using Reproducing Kernel Hilbert Space Operators for Kernel Based Classifiers
IRISA（法国信息与随机系统研究所）
基于核的方法在许多遥感分类任务中表现出了有效的性能。然而，它们的性能显着依赖于其超参数。估计参数的常规技术具有高计算复杂度。因此，这封信的目的是提出一种快速有效的方法来选择高斯核的带宽参数在基于核的分类方法。提出的方法是基于再生核希尔伯特空间中的算子，并在支持向量机和PerTurbo分类方法上进行评估。高光谱数据集进行的实验表明，我们提出的方法优于国家的最先进的方法在计算时间和分类性能。
2018-04-14 cs.LG stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Adaptive Kernel Selection for Kernelized Diffusion Maps
CY Cergy Paris University（塞纳-圣但尼大学）；Institut Polytechnique de Paris（巴黎理工学院）；California Institute of Technology（加州理工学院）；The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（伦敦帝国学院）
本文提出两种自适应核选择方法，通过变分外循环学习连续核参数，并利用随机傅里叶特征提升可扩展性，以提高扩散图核估计的准确性与稳定性。
2026-04-20 math.DS stat.ML
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University（京都大学）
模态线性回归（MLR）是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择：“哪一个核实现更小的误差？和“哪个内核在计算上是有效的？".首先，我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次，我们提供了一个核类，迭代加权最小二乘算法（IRLS）是保证收敛的，特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证，使用双权内核提供了良好的估计精度，使用Epanechnikov内核是计算效率。我们的结果改善了MLR，现有的研究往往坚持高斯核和模态期望最大化算法专门为它，通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Large-Margin Multiple Kernel Learning for Discriminative Features Selection and Representation Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
多核学习（MKL）算法结合不同的基本内核，以获得更有效的表示在特征空间。MKL专注于区分性任务，已成功地用于特征选择和发现数据的重要模态。在这样的应用中，每个基本内核表示数据的一个维度，或者从一个特定的描述符导出。因此，MKL为给定的内核找到一个最佳的加权方案，以提高分类精度。然而，这一领域的大多数工作只关注二进制分类问题，或者针对核空间中的类的线性分离，这对于许多现实问题来说是不现实的假设。在本文中，我们提出了一种新的多类MKL框架，通过增强特征空间中类的局部分离来改进现有技术。此外，通过使用稀疏项，我们的大间隔多核算法（LMMK）执行歧视性的特征选择，旨在采用一个小的子集的基本内核。基于我们对不同真实世界数据集的经验评估，与MKL中最先进的算法相比，LMMK提供了具有竞争力的分类准确性。此外，它还学习了一组稀疏的非零内核权重，这导致了更可解释的特征选择和表示学习。
2019-03-12 cs.LG stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Kernel Feature Selection via Conditional Covariance Minimization
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种特征选择的方法，采用基于核的独立性措施，找到一个子集的协变量，最大限度地预测的响应。在过去的工作内核降维的基础上，我们展示了如何通过一个约束优化问题，涉及跟踪的条件协方差算子进行特征选择。我们证明了这个过程的各种一致性结果，并证明了我们的方法与其他国家的最先进的算法相比，在各种合成和真实的数据集。
2018-10-20 cs.AI cs.LG stat.ME
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection
University of Iowa（爱荷华大学）；University of Minnesota（明尼苏达大学）；Individual Researcher（独立研究者）；AIScientists, Inc. (MorphMind)（AIScientists公司（MorphMind））；Department of Statistics and Actuarial Science, University of Iowa（爱荷华大学统计与精算科学系）
提出GPU加速的核学习库TorchKM，通过智能复用矩阵运算加速SVM、核逻辑回归等模型的训练与模型选择，性能优于标准基线。
2026-06-09 cs.LG stat.ML
The Mean and Median Criterion for Automatic Kernel Bandwidth Selection for Support Vector Data Description
SAS Institute Inc.（SAS研究所公司）
支持向量数据描述（SVDD）是一种流行的异常检测技术。SVDD分类器将整个空间划分为内点区域和离群点区域，内点区域由靠近训练数据的区域组成，离群点区域由远离训练数据的点组成。SVDD分类器的计算需要核函数，高斯核是核函数的常见选择。高斯核有一个带宽参数，其值对于良好的结果很重要。小的带宽导致过拟合，并且所得到的SVDD分类器高估了异常的数量。大的带宽导致欠拟合，并且分类器无法检测到许多异常。在本文中，我们提出了一种新的自动，无监督的方法来选择高斯核带宽。所选的值可以快速计算，并且与现有的带宽选择方法具有竞争力。
2017-08-21 cs.AI cs.LG stat.ML
Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University, Xi’an, China（智能决策与机器学习中心，管理学院，西安交通大学，西安，中国）；Department of Mathematics, The University of Hong Kong, Hongkong, China（数学系，香港大学，香港，中国）
本文提出了一种基于核梯度下降的自适应参数选择策略，通过经验有效维度量化迭代增量，理论证明其在不同核函数和误差度量下达到最优泛化误差界。
2026-03-03 cs.LG stat.ME stat.ML
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理（PSI）算法，该算法不仅可以处理数据中的非线性，而且可以处理多维和多标签输出等结构化输出。具体来说，我们开发了一个PSI算法的独立性措施，并提出了希尔伯特施密特独立准则（HSIC）的PSI算法（hsicInf）。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说，该算法可以用于更广泛的应用，包括非线性多类分类和多变量回归，而现有的PSI算法不能处理它们。通过合成实验，我们表明，该方法可以找到一组统计上显着的回归和分类问题的功能。此外，我们将hsicInf算法应用于真实世界的数据，并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
Feature subset selection for kernel SVM classification via mixed-integer optimization
Tokyo University of Agriculture and Technology（东京农工大学）；October Sky Co., Ltd.（October Sky株式会社）；University of Tsukuba（筑波大学）
研究了非线性核支持向量机（SVM）二值分类中特征子集选择的混合整数优化（MIO）方法。这种方法在20世纪70年代首次提出用于线性回归，最近随着优化算法和计算机硬件的进步而成为人们关注的焦点。本文的目标是建立一个MIO的方法来选择最好的核SVM分类的特征子集。为了衡量子集选择的性能，我们使用核目标对齐，这是在高维特征空间中两个响应类的质心之间的距离。我们提出了一个混合整数线性优化（MILO）制定的基础上的核心目标对齐的特征子集选择，这个MILO问题可以解决最优使用优化软件。我们还推导出一个简化版本的MILO问题，以加快我们的MILO计算。实验结果表明，我们的MILO配方与减少的问题具有良好的计算效率。此外，我们的方法往往可以优于线性SVM为基础的MILO制定和递归特征消除的预测性能，特别是当有相对较少的数据实例。
2022-05-28 cs.LG math.OC stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Kernel-based Information Criterion
本文介绍了用于回归分析模型选择的核信息准则。KIC中新的基于内核的复杂性度量使用变量方差有效地计算模型参数之间的相互依赖性，并选择更好，更鲁棒的回归量。实验结果表明，与留一交叉验证（LOOCV）、基于核的信息复杂度（ICOMP）和高斯过程回归（GPR）中的最大边缘似然对数相比，该方法在模拟和真实数据集上都具有更好的性能。
2014-12-15 stat.ML
Model Selection for Simulator-based Statistical Models: A Kernel Approach
NEC Corporation（日本电气公司）；RIKEN AIP（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数理研究所）
提出了一种基于模拟器的统计模型模型选择的新方法。所提出的方法定义了一个混合的候选模型，然后迭代更新这些模型的权重系数，以及在每个模型中的参数同时，这是通过递归地应用贝叶斯规则，使用最近提出的内核递归ABC算法。该方法的实际优点是，即使建模者缺乏关于每个模型中的参数的适当先验知识，也可以使用该方法。我们证明了所提出的方法的有效性与一些实验，包括生态学和流行病学的动力系统的模型选择。
2019-02-07 cs.LG stat.ML
Model Selection for Anomaly Detection
Institute for Information Transmission Problems (Kharkevich Institute) RAS（俄罗斯科学院信息传输问题研究所（哈尔克维奇研究所））
基于单类分类算法的异常检测被广泛用于许多应用领域，如图像处理（例如，从乳房X射线摄影图像中检测患者是“癌症”还是“健康”）、网络入侵检测等。异常检测算法的性能关键取决于用于测量特征空间中的相似性的内核。在两类分类问题中使用的用于核选择的标准方法（例如交叉验证）由于数据的特定性质（不存在第二异常类数据）而不能直接使用。在本文中，我们推广了几种核选择方法，从二进制类的情况下，一类分类的情况下，这些方法使用合成和真实世界的数据进行广泛的比较。
2017-07-12 cs.LG stat.AP stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Optimizing Kernel Discrepancies via Subset Selection
University of St Andrews（圣安德鲁大学）；University of Washington（华盛顿大学）；Sorbonne Université（索邦大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文将子集选择问题扩展至核差异设定，提出一种新型算法，可高效从均匀分布及一般分布中生成低差异样本，并探讨了$L_2$与$L_\infty$星形差异的关系。
2025-11-04 cs.CG cs.LG cs.NA
On the Limitation of Kernel Dependence Maximization for Feature Selection
Northwestern University（西北大学）
本文通过反例证明以最大化HSIC为准则的特征选择方法存在缺陷，可能遗漏关键特征。
2024-06-11 cs.LG math.ST stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
自动机器学习（AutoML）中的一个基本问题是模型选择。顺序设置中的一个独特挑战是，最佳模型本身可能会随着时间的推移而变化，这取决于每个时间点可用的特征和标签的分布。在本文中，我们提出了一种新的贝叶斯优化（BO）算法来解决在这种情况下的模型选择的挑战。这是通过将每个时间步的性能视为其自己的黑盒函数来实现的。为了联合有效地解决由此产生的多个黑盒函数优化问题，我们使用深度核学习（DKL）来利用黑盒函数之间的潜在相关性。据我们所知，我们是第一个制定逐步模型选择（SMS）序列预测的问题，并设计和演示了一个有效的联合学习算法，用于此目的。使用多个真实世界的数据集，我们验证了我们提出的方法优于标准BO和多目标BO算法在各种序列预测任务。
2020-02-14 cs.LG stat.ML
Interpretable Multiple-Kernel Prototype Learning for Discriminative Representation and Feature Selection
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
基于原型的方法是领域专家和从业者特别感兴趣的，因为它们通过一小组代表来总结数据集。因此，在分类设置中，原型的可解释性与算法的预测准确性一样重要。然而，最先进的方法通过牺牲一个来支持另一个来在这些问题之间进行低效的权衡，特别是如果给定的数据具有基于内核的表示。在本文中，我们提出了一种新的可解释的多核原型学习（IMKPL）在特征空间中构建高度可解释的原型，这也是有效的数据的判别表示。我们的方法侧重于在特征空间中的类的局部歧视和塑造的原型的基础上凝聚类均匀的数据邻域。此外，IMKPL在特征空间中学习组合嵌入，更好地实现了上述目标。当基本核与数据维度一致时，这种嵌入导致有区别的特征选择。我们评估IMKPL的几个基准从不同的领域，这表明其优越性的相关国家的最先进的方法，无论是可解释性和歧视性表示。
2019-11-10 cs.LG stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
A Kernel Test for Three-Variable Interactions
我们引入核非参数测试兰开斯特三变量的相互作用和完全独立，使用嵌入到再生核希尔伯特空间的措施。由此产生的检验统计量是简单的计算，并用于强大的相互作用测试，这是一致的，对所有的替代品的一个大家庭的再生内核。我们表明，兰开斯特测试是敏感的情况下，两个独立的原因分别有微弱的影响第三个因变量，但他们的组合效果有很强的影响。这使得Lancaster检验特别适合于在有向图模型中发现结构，在检测这种V结构方面，它优于竞争的非参数检验。
2013-06-10 stat.ME stat.ML
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Consistent Kernel Mean Estimation for Functions of Random Variables
我们提供了一个理论基础的非参数估计的函数的随机变量使用核均值嵌入。我们表明，对于任何连续函数$f$，相合估计量的平均嵌入的随机变量$X$导致相合估计量的平均嵌入的$f(X)$。对于Matérn核和足够光滑的函数，我们还提供了收敛速度。我们的结果推广到多个随机变量的函数。如果变量是相依的，我们需要一个估计的均值嵌入的联合分布作为起点;如果它们是独立的，这是足够的，有单独的估计的均值嵌入的边缘分布。在任何一种情况下，我们的结果都涵盖了基于i.i.d.的均值嵌入。样本以及“缩减集”的扩展依赖的扩展点。后者作为一个理由，使用这种扩展来限制内存资源时，应用的方法作为概率编程的基础。
2016-10-19 stat.ML
More Powerful Selective Kernel Tests for Feature Selection
University College London（伦敦大学学院）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；MPI for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
根据数据完善假设是一种常见的科学实践;然而，对数据的依赖会引入选择偏差，并可能导致似是而非的统计分析。解决这个问题的一种方法是通过对选择过程进行条件反射，以说明我们如何使用数据来生成假设，并防止信息在选择后再次使用。许多选择性推理（A.K.A.）后选择推理）算法通常采用这种方法，但是为了易处理性而将“过度调节”。虽然这种做法产生了良好的校准统计测试与控制假阳性率（FPR），它可能会导致重大损失的权力。在我们的工作中，我们扩展了最近的两个建议，选择功能的最大均值离散和希尔伯特施密特独立性标准的条件上的最小条件事件。我们展示了多尺度自举的最新进展如何使最小选择事件成为可能，并在一系列合成和现实世界的实验中证明了我们的建议。我们的结果表明，我们提出的测试在大多数情况下确实更强大。
2020-02-29 cs.LG stat.ML
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.（赛仕软件研究所）
支持向量数据描述（SVDD）为多变量数据的单类分类和离群点检测提供了一种有效的描述方法，具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的，并且符合数据的几何特征。通过改变高斯核带宽参数，SVDD生成的边界可以变得更平滑（更球形）或更紧密/锯齿状。前者可能导致欠拟合，而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力，以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时，根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下，大数据。当应用于多个数据集时，所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数（变异系数和距离的Faradian邻居）进行了修改，以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
高斯过程（GP）代理模型可以提高贝叶斯优化（BO）的抽样效率。然而，在混合变量空间中，代理模型而不是GP是普遍的，主要是由于缺乏内核，可以跨不同类型的变量建模复杂的依赖关系。在本文中，我们提出了频率调制（FM）内核灵活地建模不同类型的变量之间的依赖关系，使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而，频率调制并不总是定义具有相似性度量行为的核，该相似性度量行为对于更相似的点对返回更高的值。因此，我们指定并证明条件FM内核是正定的，并表现出相似性度量行为。在实验中，我们证明了改进的采样效率GP BO使用FM核（BO-FM）。在综合问题和超参数优化问题，BO-FM优于竞争对手一致。此外，频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面，BO-FM优于竞争对手，包括正则化进化（RE）和BOHB。值得注意的是，BO-FM的表现甚至比RE和BOHB更好，使用三倍的评估。
2022-07-18 cs.LG stat.ML
Unsupervised Feature Selection for Tumor Profiles using Autoencoders and Kernel Methods
Universite de Technologie de Troyes（特鲁瓦技术大学）；Instituto de Investigacion en Biomedicina de Buenos Aires (IBioBA)—CONICET Partner Institute of the Max Planck Society（布宜诺斯艾利斯生物医学研究所（IBioBA）—马克斯·普朗克学会合作研究所）
来自肿瘤谱的分子数据是高维的。肿瘤谱可以通过成千上万的基因表达特征来表征。由于基因表达特征集的大小，机器学习方法暴露于噪声变量和复杂性。肿瘤类型呈现异质性，并且可以细分为肿瘤亚型。在许多情况下，肿瘤数据不包括肿瘤亚型标记，因此无监督学习方法对于肿瘤亚型发现是必要的。这项工作旨在学习肿瘤样本的有意义和低维表示，并在不使用肿瘤标签的情况下保留生物特征的同时找到肿瘤亚型聚类。所提出的方法命名为潜在核特征选择（LKFS）是一种无监督的方法，在肿瘤基因表达谱的基因选择。通过使用自动编码器，低维和去噪的潜在空间被学习为目标表示，以指导选择基因子集的多核学习模型。通过使用所选择的基因，聚类方法被用于对样本进行分组。为了评估所提出的无监督特征选择方法的性能，通过临床意义来分析所获得的特征和聚类。所提出的方法已被应用于三个肿瘤数据集，这是脑，肾和肺，每一个由两个肿瘤亚型组成。与基准无监督特征选择方法相比，该方法所得到的结果表明，在所选择的功能和更好的聚类性能较低的冗余。
2020-07-12 cs.LG q-bio.GN q-bio.QM
Bayesian Kernelised Test of (In)dependence with Mixed-type Variables
Trinity College Dublin（都柏林圣三一学院）；Eindhoven University of Technology（埃因霍温理工大学）
AI的一个基本任务是评估混合类型变量（文本、图像、声音）之间的依赖关系。我们提出了一个贝叶斯核相关性检验（不）依赖使用Dirichlet过程模型。新的（不）依赖度量允许我们回答一些基本问题：基于数据，（混合类型）变量是独立的吗？依赖/独立的可能性有多大？两个混合型变量不仅仅是弱相关的概率有多高？我们从理论上展示的方法的属性，以及算法的快速计算与it. We经验证明所提出的方法的有效性，通过分析其性能，并通过比较它与其他频率和贝叶斯方法的范围内的数据集和任务的混合型变量。
2021-05-09 cs.LG stat.ML
The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations
Dhirubhai Ambani Institute of Technology (DAIICT)（迪鲁巴伊·安巴尼信息技术学院）
本文推导了一种新的基于Gram-Charlier A（GCA）级数的扩展经验法则（ExROT）用于核密度估计（KDE）中的带宽选择。现有的各种带宽选择规则实现估计的概率密度函数（PDF）和实际PDF之间的渐近平均积分平方误差（AMISE）最小化。这些规则在估计未知PDF $(f(\cdot))$的平方二阶导数的积分方面有所不同，该未知PDF $(f(\cdot))$被标识为粗糙度$R(f''(\cdot))$。最简单的经验法则（ROT）估计$R(f''(\cdot))$时假设所估计的密度是高斯的。直观地，如果通过基于更广义的密度假设的无穷级数展开来近似未知PDF，则可以导出对$R(f''(\cdot))$的更好的估计以及因此更好的带宽选择规则。作为对这一概念的论证和验证，本文中导出的ExROT使用了一个扩展的假设，即所估计的密度接近高斯。这有助于使用GCA展开作为对未知的近高斯PDF的近似。将单变量KDE的ExROT扩展到多变量KDE。所需的多变量AMISE标准是重新推导出使用初等微积分的几个变量，而不是张量演算。推导过程使用Kronecker积和向量微分算子来实现向量符号的AMISE表达式。还导出了基于核的密度导数估计的ExROT。
2015-04-03 cs.LG stat.CO stat.ME
