On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Kernel Recursive ABC: Point Estimation with Intractable Likelihood
提出了一种新的基于模拟器的统计模型的参数估计方法。我们提出的方法涉及递归应用核ABC和内核放牧相同的观测数据。我们提供了一个理论上的解释，为什么这种方法的工作原理，显示（人口设置），在一定的假设下，用这种方法获得的点估计收敛到真正的参数，递归的收益。我们已经进行了各种数值实验，包括参数估计的真实世界的行人流模拟器，并表明，在大多数情况下，我们的方法优于现有的方法。
2018-06-12 stat.ML
Large-scale Nonlinear Variable Selection via Kernel Random Features
Geneva School of Business Administration, HES-SO（日内瓦工商管理学院，HES-SO）；University of Geneva（日内瓦大学）
提出了一种非线性回归中输入变量选择的新方法。该方法被嵌入到一个核回归机，可以建模一般的非线性函数，而不是先验地限于添加剂模型。这是第一个适用于大型数据集的基于核的变量选择方法。它通过将输入映射到一个相对低维的随机特征空间，避开了核方法典型的不良尺度特性。该算法通过学习适当的非线性随机特征映射，发现与回归任务相关的变量，并学习预测模型。我们展示了我们的方法在一组大规模的合成和真实数据集上的出色性能。
2018-09-01 cs.LG stat.ML
Ensemble-based kernel learning for a class of data assimilation problems with imperfect forward simulators
模拟器的不完善性，通常被称为模式误差，是普遍存在的实际数据同化问题。尽管为解决这个问题付出了巨大的努力，但正确处理数据同化中的模拟器缺陷仍然是一项具有挑战性的任务。在这项工作中，我们提出了一种方法来处理模拟器的不完美性，从功能近似的角度来看，可以通过一定的机器学习方法，如基于内核的学习，在目前的工作中采用。为此，我们从考虑一类监督学习问题开始，然后确定监督学习和变分数据同化之间的相似之处。这些相似之处为我们开发基于集合的学习框架来解决监督学习问题奠定了基础，同时实现了基于集合的方法相对于变分方法的各种优势。在建立了基于集合的学习框架之后，我们继续研究基于集合的学习集成到基于集合的数据同化框架中以处理模拟器不完善。在我们的调查过程中，我们还开发了一个策略来解决监督学习问题中的多模态问题，并将此策略转移到数据同化问题，以帮助提高同化性能。为了演示，我们应用基于集成的学习框架和集成的，基于集成的数据同化框架的监督学习问题和数据同化问题与不完善的前向模拟器，分别。实验结果表明，这两个框架在相关的案例研究中取得了良好的性能，通过机器学习的功能近似可以作为一种可行的方式来解释模拟器不完善的数据同化问题。
2019-01-30 math.OC physics.data-an physics.geo-ph
Efficient kernel-based variable selection with sparsistency
Shanghai University of Finance and Economics（上海财经大学）；City University of Hong Kong（香港城市大学）；Nanjing Audit University（南京审计大学）
变量选择是高维数据分析的核心，已经开发了各种算法。理想情况下，变量选择算法应该是灵活的，可扩展的，并有理论上的保证，但大多数现有的算法不能同时达到这些属性。在这篇文章中，一个三步变量选择算法，涉及基于核的估计的回归函数及其梯度函数，以及硬阈值。它的主要优点是，它假设没有明确的模型假设，承认一般的预测效果，允许可扩展的计算，并达到理想的渐近稀疏性。该算法适用于任何具有不同核函数的再生核希尔伯特空间，并可稍加修改扩展到交互选择。它的计算成本在数据维上仅是线性的，并且可以通过并行计算进一步提高。该算法的稀疏性建立在一般RKHS在温和的条件下，包括线性和高斯核作为特殊情况。它的有效性也支持各种模拟和真实的例子。
2021-02-03 cs.LG stat.ML
Large-Margin Multiple Kernel Learning for Discriminative Features Selection and Representation Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
多核学习（MKL）算法结合不同的基本内核，以获得更有效的表示在特征空间。MKL专注于区分性任务，已成功地用于特征选择和发现数据的重要模态。在这样的应用中，每个基本内核表示数据的一个维度，或者从一个特定的描述符导出。因此，MKL为给定的内核找到一个最佳的加权方案，以提高分类精度。然而，这一领域的大多数工作只关注二进制分类问题，或者针对核空间中的类的线性分离，这对于许多现实问题来说是不现实的假设。在本文中，我们提出了一种新的多类MKL框架，通过增强特征空间中类的局部分离来改进现有技术。此外，通过使用稀疏项，我们的大间隔多核算法（LMMK）执行歧视性的特征选择，旨在采用一个小的子集的基本内核。基于我们对不同真实世界数据集的经验评估，与MKL中最先进的算法相比，LMMK提供了具有竞争力的分类准确性。此外，它还学习了一组稀疏的非零内核权重，这导致了更可解释的特征选择和表示学习。
2019-03-12 cs.LG stat.ML
Selecting Belief-State Approximations in Simulators with Latent States
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种在具有潜在状态的模拟器中选择信念状态近似的方法，通过归约条件分布选择任务，探讨了两种不同的形式化方法及其在不同roll-out方法下的表现差异。
2025-11-25 cs.AI cs.LG stat.ML
TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection
University of Iowa（爱荷华大学）；University of Minnesota（明尼苏达大学）；Individual Researcher（独立研究者）；AIScientists, Inc. (MorphMind)（AIScientists公司（MorphMind））；Department of Statistics and Actuarial Science, University of Iowa（爱荷华大学统计与精算科学系）
提出GPU加速的核学习库TorchKM，通过智能复用矩阵运算加速SVM、核逻辑回归等模型的训练与模型选择，性能优于标准基线。
2026-06-09 cs.LG stat.ML
A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
Seoul National University（首尔国立大学）；Korea University（高丽大学）
变量选择在高维数据分析中至关重要。虽然已经开发了各种变量选择方法，但大多数依赖于线性模型假设。提出了一种基于再生核希尔伯特空间（RKHS）的大间隔分类器的非参数变量选择方法。我们提出了一种基于梯度的大间隔分类器的表示，然后通过组套索惩罚来正则化梯度函数，以获得自然导致变量选择的稀疏梯度。提出了分组优化下降算法（GMD，Yang和Zou，2015），以有效地解决具有大量参数的所提出的问题。我们采用强顺序规则（Tibshirani等人，2012年），以促进调整程序。该方法的选择一致性是通过获得估计分类器的风险界及其梯度来建立的。最后，我们通过仿真和实际数据说明了所提出的方法有前途的性能。
2021-09-29 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域，主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型，其中网络拓扑是恒定的，但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中，我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库，目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的，同样可以与其他异构编程系统集成。通过结合自动调优和机器学习，这些内核选择过程可以在开发人员很少的工作量下部署，从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford（牛津大学）；Improbable（Improbable公司）；Durham University（杜伦大学）
在自然科学和社会科学中，复杂动力学的仿真模型通常缺乏易于处理的似然函数，使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法，用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此，有效的似然近似可以获得良好的概率分类器，可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器，即使在至关重要的情况下，样本数很低。在这种情况下，我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME
Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning
University of Cambridge（剑桥大学）；UCLA（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
自动机器学习（AutoML）中的一个基本问题是模型选择。顺序设置中的一个独特挑战是，最佳模型本身可能会随着时间的推移而变化，这取决于每个时间点可用的特征和标签的分布。在本文中，我们提出了一种新的贝叶斯优化（BO）算法来解决在这种情况下的模型选择的挑战。这是通过将每个时间步的性能视为其自己的黑盒函数来实现的。为了联合有效地解决由此产生的多个黑盒函数优化问题，我们使用深度核学习（DKL）来利用黑盒函数之间的潜在相关性。据我们所知，我们是第一个制定逐步模型选择（SMS）序列预测的问题，并设计和演示了一个有效的联合学习算法，用于此目的。使用多个真实世界的数据集，我们验证了我们提出的方法优于标准BO和多目标BO算法在各种序列预测任务。
2020-02-14 cs.LG stat.ML
Interpretable Multiple-Kernel Prototype Learning for Discriminative Representation and Feature Selection
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
基于原型的方法是领域专家和从业者特别感兴趣的，因为它们通过一小组代表来总结数据集。因此，在分类设置中，原型的可解释性与算法的预测准确性一样重要。然而，最先进的方法通过牺牲一个来支持另一个来在这些问题之间进行低效的权衡，特别是如果给定的数据具有基于内核的表示。在本文中，我们提出了一种新的可解释的多核原型学习（IMKPL）在特征空间中构建高度可解释的原型，这也是有效的数据的判别表示。我们的方法侧重于在特征空间中的类的局部歧视和塑造的原型的基础上凝聚类均匀的数据邻域。此外，IMKPL在特征空间中学习组合嵌入，更好地实现了上述目标。当基本核与数据维度一致时，这种嵌入导致有区别的特征选择。我们评估IMKPL的几个基准从不同的领域，这表明其优越性的相关国家的最先进的方法，无论是可解释性和歧视性表示。
2019-11-10 cs.LG stat.ML
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
Program Synthesis for Simulation-Based Inference: Joint Model Selection and Parameter Estimation
Anthropic
研究提出结合大语言模型与神经仿真推理的框架，用于联合模型选择与参数估计。给定自然语言描述，大语言模型提出候选程序，经反馈驱动变异和神经密度估计评估，能在一组模型上推理，在多基准测试中可从提示识别合理模型族。
2026-07-21 cs.LG stat.ML
The Mean and Median Criterion for Automatic Kernel Bandwidth Selection for Support Vector Data Description
SAS Institute Inc.（SAS研究所公司）
支持向量数据描述（SVDD）是一种流行的异常检测技术。SVDD分类器将整个空间划分为内点区域和离群点区域，内点区域由靠近训练数据的区域组成，离群点区域由远离训练数据的点组成。SVDD分类器的计算需要核函数，高斯核是核函数的常见选择。高斯核有一个带宽参数，其值对于良好的结果很重要。小的带宽导致过拟合，并且所得到的SVDD分类器高估了异常的数量。大的带宽导致欠拟合，并且分类器无法检测到许多异常。在本文中，我们提出了一种新的自动，无监督的方法来选择高斯核带宽。所选的值可以快速计算，并且与现有的带宽选择方法具有竞争力。
2017-08-21 cs.AI cs.LG stat.ML
More Powerful Selective Kernel Tests for Feature Selection
University College London（伦敦大学学院）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；MPI for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
根据数据完善假设是一种常见的科学实践;然而，对数据的依赖会引入选择偏差，并可能导致似是而非的统计分析。解决这个问题的一种方法是通过对选择过程进行条件反射，以说明我们如何使用数据来生成假设，并防止信息在选择后再次使用。许多选择性推理（A.K.A.）后选择推理）算法通常采用这种方法，但是为了易处理性而将“过度调节”。虽然这种做法产生了良好的校准统计测试与控制假阳性率（FPR），它可能会导致重大损失的权力。在我们的工作中，我们扩展了最近的两个建议，选择功能的最大均值离散和希尔伯特施密特独立性标准的条件上的最小条件事件。我们展示了多尺度自举的最新进展如何使最小选择事件成为可能，并在一系列合成和现实世界的实验中证明了我们的建议。我们的结果表明，我们提出的测试在大多数情况下确实更强大。
2020-02-29 cs.LG stat.ML
Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University, Xi’an, China（智能决策与机器学习中心，管理学院，西安交通大学，西安，中国）；Department of Mathematics, The University of Hong Kong, Hongkong, China（数学系，香港大学，香港，中国）
本文提出了一种基于核梯度下降的自适应参数选择策略，通过经验有效维度量化迭代增量，理论证明其在不同核函数和误差度量下达到最优泛化误差界。
2026-03-03 cs.LG stat.ME stat.ML
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.（赛仕软件研究所）
支持向量数据描述（SVDD）为多变量数据的单类分类和离群点检测提供了一种有效的描述方法，具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的，并且符合数据的几何特征。通过改变高斯核带宽参数，SVDD生成的边界可以变得更平滑（更球形）或更紧密/锯齿状。前者可能导致欠拟合，而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力，以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时，根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下，大数据。当应用于多个数据集时，所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数（变异系数和距离的Faradian邻居）进行了修改，以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
Kernel Feature Selection via Conditional Covariance Minimization
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种特征选择的方法，采用基于核的独立性措施，找到一个子集的协变量，最大限度地预测的响应。在过去的工作内核降维的基础上，我们展示了如何通过一个约束优化问题，涉及跟踪的条件协方差算子进行特征选择。我们证明了这个过程的各种一致性结果，并证明了我们的方法与其他国家的最先进的算法相比，在各种合成和真实的数据集。
2018-10-20 cs.AI cs.LG stat.ME
Feature subset selection for kernel SVM classification via mixed-integer optimization
Tokyo University of Agriculture and Technology（东京农工大学）；October Sky Co., Ltd.（October Sky株式会社）；University of Tsukuba（筑波大学）
研究了非线性核支持向量机（SVM）二值分类中特征子集选择的混合整数优化（MIO）方法。这种方法在20世纪70年代首次提出用于线性回归，最近随着优化算法和计算机硬件的进步而成为人们关注的焦点。本文的目标是建立一个MIO的方法来选择最好的核SVM分类的特征子集。为了衡量子集选择的性能，我们使用核目标对齐，这是在高维特征空间中两个响应类的质心之间的距离。我们提出了一个混合整数线性优化（MILO）制定的基础上的核心目标对齐的特征子集选择，这个MILO问题可以解决最优使用优化软件。我们还推导出一个简化版本的MILO问题，以加快我们的MILO计算。实验结果表明，我们的MILO配方与减少的问题具有良好的计算效率。此外，我们的方法往往可以优于线性SVM为基础的MILO制定和递归特征消除的预测性能，特别是当有相对较少的数据实例。
2022-05-28 cs.LG math.OC stat.ML
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University（京都大学）
模态线性回归（MLR）是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择：“哪一个核实现更小的误差？和“哪个内核在计算上是有效的？".首先，我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次，我们提供了一个核类，迭代加权最小二乘算法（IRLS）是保证收敛的，特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证，使用双权内核提供了良好的估计精度，使用Epanechnikov内核是计算效率。我们的结果改善了MLR，现有的研究往往坚持高斯核和模态期望最大化算法专门为它，通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Taming Nonconvexity in Kernel Feature Selection -- Favorable Properties of the Laplace Kernel
基于核的特征选择是非参数统计中的一个重要工具。尽管基于核的特征选择有许多实际应用，但很少有统计理论支持这种方法。核心挑战是用于定义基于核的特征选择的最优化问题的目标函数是非凸的。文献只研究了\emph{global optima}的统计特性，这是一个不匹配的，因为基于梯度的算法可用于非凸优化只能保证收敛到局部最小值。研究与基于内核的方法相关的完整景观，我们表明，使用拉普拉斯内核（和其他$\ell_1$内核）的特征选择目标来与其他内核，包括无处不在的高斯内核（或其他$\ell_2$内核）不具备的统计保证。基于目标函数的梯度的尖锐表征，我们表明，$\ell_1$内核消除不利的固定点时，出现使用$\ell_2$内核。有了这个洞察力，我们建立了统计保证$\ell_1$基于内核的功能选择，不需要达到全球最小值。特别是，我们建立了模型选择的一致性$\ell_1$ -基于内核的功能选择恢复主效应和层次的相互作用，在非参数设置与$n \sim \log p$样本。
2022-05-25 math.ST stat.ME stat.ML
Using Kernel Methods and Model Selection for Prediction of Preterm Birth
Columbia University（哥伦比亚大学）；The Cooper Union（库伯联盟学院）；Columbia University Medical Center（哥伦比亚大学医学中心）
我们描述了机器学习在预测早产问题上的应用。我们对国家儿童健康和人类发展研究所（NICHD）收集的临床试验数据集进行了二次分析，同时将注意力集中在预测不同类别的早产上。我们比较了三种方法来获得预测模型：一个支持向量机（SVM）的方法与线性和非线性内核，逻辑回归与不同的模型选择以及模型的基础上，由医生专家规定的预测早产的决策规则。我们的方法突出了预处理方法，用于处理固有的动态，噪声和差距的数据和描述用于处理偏斜类分布的技术。经验性实验表明，与过去的工作相比，在预测早产方面有显着改善。
2016-09-05 cs.LG stat.ML
Additive Kernels for Gaussian Process Modeling
高斯过程（GP）模型通常被用作计算昂贵的实验的数学近似。只要其内核被适当地选择，并且有足够的数据可用于获得模拟器的合理拟合，GP模型可以有益地用于诸如预测、优化或基于蒙特卡罗的不确定性量化之类的任务。然而，当使用经典GP时，随着输入维数的增加，前一个条件变得不切实际。一个流行的替代方法是转向广义可加模型（GAM），依赖于模拟器的响应可以近似地分解为一元函数的总和的假设。如果这样的方法已经成功地应用于近似，它仍然是不完全兼容的GP框架及其通用的应用程序。目前的工作的野心是通过整合内核中的可加性，并提出了一个简约的数值方法，数据驱动的参数估计的加性模型的GP的使用提供了一个洞察。本文的第一部分讨论了与加法过程自然相关的核以及基于这些核的GP模型的性质。第二部分是一个基于松弛的加性核参数估计的数值方法。最后，所提出的方法的效率进行了说明，并与其他方法相比，Sobol的g-函数。
2011-03-21 stat.ML
Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
用于训练线性和核预测器的随机梯度下降算法由于其可扩展性而越来越重要。虽然已经提出了各种方法来加快收敛速度，但模型选择阶段往往被忽略。事实上，在理论工作中，大部分时间都是假设，例如，对最优解的范数的先验知识，而在实际世界中，验证方法仍然是唯一可行的方法。在本文中，我们提出了一种新的基于核的随机梯度下降算法，该算法在训练时执行模型选择，没有参数调整，也没有任何形式的交叉验证。该算法建立在无约束设置的在线学习理论的最新进展之上，以数据依赖的方式随着时间的推移估计正确的正则化。最佳的收敛速度证明下标准的光滑假设的目标函数，使用范围空间的分数积分算子与内核。
2014-06-15 cs.LG stat.ML
Optimized Kernel Entropy Components
Universitat de València（瓦伦西亚大学）；University of Tromsø（特罗姆瑟大学）
针对标准核熵分量分析（KECA）算法的两个主要问题：核分解的优化和高斯核参数的优化。KECA粗略地简化为通过熵而不是像核主成分分析中那样通过方差对核特征向量的重要性进行排序。在这项工作中，我们提出了一个扩展的KECA方法，名为优化KECA（OKECA），直接提取最佳功能，保留大部分的数据熵，通过压缩信息在很少的功能（通常只有一个或两个）。所提出的方法产生的功能，具有较高的表达能力。特别是，它是基于独立成分分析（ICA）框架，并引入了一个额外的旋转的特征分解，这是通过梯度上升搜索优化。这种最大熵保持表明，OKECA特征对于密度估计比KECA特征更有效。此外，这两种方法中的一个关键问题是内核参数的选择，因为它严重影响所得到的性能。在这里，我们分析最常见的内核长度尺度选择标准。这两种方法的结果都说明在不同的合成和实际问题。结果表明：1）OKECA比KECA具有更强的投影表达能力; 2）最成功的核参数估计规则是基于极大似然法; 3）OKECA对核密度估计中长度尺度参数的选择具有更强的鲁棒性。
2016-03-09 cs.LG stat.ML
On the Limitation of Kernel Dependence Maximization for Feature Selection
Northwestern University（西北大学）
本文通过反例证明以最大化HSIC为准则的特征选择方法存在缺陷，可能遗漏关键特征。
2024-06-11 cs.LG math.ST stat.ML
Adaptive Kernel Selection for Kernelized Diffusion Maps
CY Cergy Paris University（塞纳-圣但尼大学）；Institut Polytechnique de Paris（巴黎理工学院）；California Institute of Technology（加州理工学院）；The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（伦敦帝国学院）
本文提出两种自适应核选择方法，通过变分外循环学习连续核参数，并利用随机傅里叶特征提升可扩展性，以提高扩散图核估计的准确性与稳定性。
2026-04-20 math.DS stat.ML
Optimizing Kernel Discrepancies via Subset Selection
University of St Andrews（圣安德鲁大学）；University of Washington（华盛顿大学）；Sorbonne Université（索邦大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文将子集选择问题扩展至核差异设定，提出一种新型算法，可高效从均匀分布及一般分布中生成低差异样本，并探讨了$L_2$与$L_\infty$星形差异的关系。
2025-11-04 cs.CG cs.LG cs.NA
Selecting Biomarkers for building optimal treatment selection rules using Kernel Machines
用于治疗选择的最佳生物标志物组合可以通过最小化由靶向疾病及其治疗引起的人群的总负担来获得。然而，当存在多个生物标志物时，将所有生物标志物包括在模型中可能是昂贵的，并且损害模型性能。为了解决这个问题，我们考虑通过最小化额外包含生物标志物测量成本的扩展总负担来优化特征选择。制定它作为一个0-范数惩罚加权分类，我们开发了各种估计线性和非线性组合的程序。通过模拟和一个真实的数据例子，我们证明了在推导治疗选择规则时，将特征选择和标记成本结合起来的重要性。
2019-06-06 stat.AP stat.ML
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Kernel Ridge Regression Using Importance Sampling with Application to Seismic Response Prediction
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
可扩展的核方法，包括核岭回归，通常依赖于使用Nystrom方法的低秩矩阵近似，该方法涉及从大型数据集中选择标志点。选择地标的现有方法通常在计算上要求很高，因为它们需要在输入或特征空间中操纵和执行具有大矩阵的计算。在本文中，我们的贡献是双重的。第一个贡献是提出了一种新的地标选择方法，促进多样性，使用一个有效的两步方法。我们的地标选择技术遵循从粗到细的策略，第一步计算重要性分数，对整个数据进行一次遍历。第二步对构建的核心集进行K均值聚类，以获得的质心作为地标。因此，所介绍的方法提供了可调的准确性和效率之间的权衡。我们的第二个贡献是调查的性能的几个标志性的选择技术，使用一种新的应用内核的方法来预测结构响应，由于地震荷载和材料的不确定性。我们的实验展示了我们提出的地标选择方案对基线的优点。
2020-09-19 cs.CV cs.LG stat.ML
Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport
Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管最近在自动化机器学习方面取得了进展，但模型选择仍然是一个复杂且计算密集的过程。对于高斯过程（GP），选择内核是一项至关重要的任务，通常由专家手动完成。此外，评估高斯过程的模型选择标准通常在样本大小上按立方缩放，使得内核搜索在计算上特别昂贵。我们提出了一种新的，有效的搜索方法，通过一个一般的，结构化的核空间。以前的方法通过贝叶斯优化解决了这个任务，并依赖于直接在函数空间中测量GP之间的距离来构建核-核。我们提出了一种替代方法，通过定义一个内核内核的统计假设，是与内核的符号表示。我们的经验表明，这导致了一个计算上更有效的方式搜索通过一个离散的核空间。
2022-10-21 cs.AI cs.LG stat.ML
Variable Selection for Kernel Two-Sample Tests
针对两样本检验的变量选择问题，提出基于核最大均值差异（MMD）的新框架，通过最大化方差正则化MMD统计量选择最优变量子集，并推导了混合整数规划求解算法与检验功效收敛速率，在高维数据上表现优越。
2024-12-20 stat.AP stat.ML
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理（PSI）算法，该算法不仅可以处理数据中的非线性，而且可以处理多维和多标签输出等结构化输出。具体来说，我们开发了一个PSI算法的独立性措施，并提出了希尔伯特施密特独立准则（HSIC）的PSI算法（hsicInf）。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说，该算法可以用于更广泛的应用，包括非线性多类分类和多变量回归，而现有的PSI算法不能处理它们。通过合成实验，我们表明，该方法可以找到一组统计上显着的回归和分类问题的功能。此外，我们将hsicInf算法应用于真实世界的数据，并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Model Selection for Anomaly Detection
Institute for Information Transmission Problems (Kharkevich Institute) RAS（俄罗斯科学院信息传输问题研究所（哈尔克维奇研究所））
基于单类分类算法的异常检测被广泛用于许多应用领域，如图像处理（例如，从乳房X射线摄影图像中检测患者是“癌症”还是“健康”）、网络入侵检测等。异常检测算法的性能关键取决于用于测量特征空间中的相似性的内核。在两类分类问题中使用的用于核选择的标准方法（例如交叉验证）由于数据的特定性质（不存在第二异常类数据）而不能直接使用。在本文中，我们推广了几种核选择方法，从二进制类的情况下，一类分类的情况下，这些方法使用合成和真实世界的数据进行广泛的比较。
2017-07-12 cs.LG stat.AP stat.ML
Kernel-based Information Criterion
本文介绍了用于回归分析模型选择的核信息准则。KIC中新的基于内核的复杂性度量使用变量方差有效地计算模型参数之间的相互依赖性，并选择更好，更鲁棒的回归量。实验结果表明，与留一交叉验证（LOOCV）、基于核的信息复杂度（ICOMP）和高斯过程回归（GPR）中的最大边缘似然对数相比，该方法在模拟和真实数据集上都具有更好的性能。
2014-12-15 stat.ML
Free-Probability Kernels for Zero-Rollout Hyperparameter Selection in Reservoir Computing
Telenor Research & Innovation（挪威电信研究与创新中心）；University of Pisa（比萨大学）
提出基于自由概率核的零展开超参数选择方法，无需大量展开即可高效选择储备池计算的超参数，性能接近穷举搜索且成本大幅降低，在多个时间预测任务中表现优异。
2026-08-24 cs.LG cs.NE stat.ML
Delayed acceptance ABC-SMC
近似贝叶斯计算（ABC）现在是一种用于统计推断的已建立的技术，在似然函数在计算上昂贵或不可用的情况下使用。它依赖于以~模拟器形式指定的~模型的使用，并通过模拟辅助数据集$x$并评估$x$与真实数据$y$的距离来近似~参数值$θ$处的似然性。然而，在对每个$θ$使用模拟器非常昂贵的情况下，ABC在计算上不可行。本文研究这种情况下，一个~便宜，但近似的，模拟器是可用的。该方法是在ABC序贯蒙特卡罗（SMC）采样器中采用延迟接受马尔可夫链蒙特卡罗（MCMC），以便在内核的第一阶段中，使用廉价的模拟器来排除参数空间中不值得探索的部分，因此，“真”模拟器仅在有合理机会接受$θ$的建议值的情况下运行（在内核的第二阶段）。我们表明，这种方法可以使用相当自动，调整参数很少。应用随机微分方程模型和潜在的双重棘手的分布。
2020-05-31 physics.data-an stat.AP stat.CO
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的，但易于分析的监督学习模型。高斯过程由均值函数协方差函数（核）表征，它们由模型选择准则确定。要比较的函数不仅在参数化方面不同，而且在基本结构方面也不同。通常不清楚选择哪种函数结构，例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理，我们提出了一个模型选择框架，用于高斯过程回归的核排序。在我们的实验中，近似集编码有望成为一种模型选择标准，与最大证据（也称为边际似然）和留一交叉验证竞争。
2016-10-04 stat.ML
Unsupervised Feature Selection for Tumor Profiles using Autoencoders and Kernel Methods
Universite de Technologie de Troyes（特鲁瓦技术大学）；Instituto de Investigacion en Biomedicina de Buenos Aires (IBioBA)—CONICET Partner Institute of the Max Planck Society（布宜诺斯艾利斯生物医学研究所（IBioBA）—马克斯·普朗克学会合作研究所）
来自肿瘤谱的分子数据是高维的。肿瘤谱可以通过成千上万的基因表达特征来表征。由于基因表达特征集的大小，机器学习方法暴露于噪声变量和复杂性。肿瘤类型呈现异质性，并且可以细分为肿瘤亚型。在许多情况下，肿瘤数据不包括肿瘤亚型标记，因此无监督学习方法对于肿瘤亚型发现是必要的。这项工作旨在学习肿瘤样本的有意义和低维表示，并在不使用肿瘤标签的情况下保留生物特征的同时找到肿瘤亚型聚类。所提出的方法命名为潜在核特征选择（LKFS）是一种无监督的方法，在肿瘤基因表达谱的基因选择。通过使用自动编码器，低维和去噪的潜在空间被学习为目标表示，以指导选择基因子集的多核学习模型。通过使用所选择的基因，聚类方法被用于对样本进行分组。为了评估所提出的无监督特征选择方法的性能，通过临床意义来分析所获得的特征和聚类。所提出的方法已被应用于三个肿瘤数据集，这是脑，肾和肺，每一个由两个肿瘤亚型组成。与基准无监督特征选择方法相比，该方法所得到的结果表明，在所选择的功能和更好的聚类性能较低的冗余。
2020-07-12 cs.LG q-bio.GN q-bio.QM
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations
Dhirubhai Ambani Institute of Technology (DAIICT)（迪鲁巴伊·安巴尼信息技术学院）
本文推导了一种新的基于Gram-Charlier A（GCA）级数的扩展经验法则（ExROT）用于核密度估计（KDE）中的带宽选择。现有的各种带宽选择规则实现估计的概率密度函数（PDF）和实际PDF之间的渐近平均积分平方误差（AMISE）最小化。这些规则在估计未知PDF $(f(\cdot))$的平方二阶导数的积分方面有所不同，该未知PDF $(f(\cdot))$被标识为粗糙度$R(f''(\cdot))$。最简单的经验法则（ROT）估计$R(f''(\cdot))$时假设所估计的密度是高斯的。直观地，如果通过基于更广义的密度假设的无穷级数展开来近似未知PDF，则可以导出对$R(f''(\cdot))$的更好的估计以及因此更好的带宽选择规则。作为对这一概念的论证和验证，本文中导出的ExROT使用了一个扩展的假设，即所估计的密度接近高斯。这有助于使用GCA展开作为对未知的近高斯PDF的近似。将单变量KDE的ExROT扩展到多变量KDE。所需的多变量AMISE标准是重新推导出使用初等微积分的几个变量，而不是张量演算。推导过程使用Kronecker积和向量微分算子来实现向量符号的AMISE表达式。还导出了基于核的密度导数估计的ExROT。
2015-04-03 cs.LG stat.CO stat.ME
Active Learning with Multiple Kernels
Ajou University（亚洲大学）
在线多核学习（OMKL）在非线性函数学习任务中提供了有吸引力的性能。利用随机特征近似，OMKL的主要缺点，称为维数灾难，最近已经得到缓解。在本文中，我们介绍了一个新的研究问题，称为（基于流）主动多核学习（AMKL），其中学习者被允许标记选定的数据从一个预言根据选择标准。这在许多实际应用中是必要的，因为获取真正的标签是昂贵或耗时的。我们证明了AMKL实现了最佳的次线性遗憾，这意味着建议的选择标准确实避免了无用的标签请求。此外，我们提出了AMKL与自适应内核选择（AMKL-AKS），其中不相关的内核可以被排除在一个内核字典的“飞行”。这种方法可以提高主动学习的效率以及函数逼近的精度。通过对各种真实数据集的数值测试，证明了AMKL-AKS比最著名的OMKL产生类似或更好的性能，具有更少的标记数据。
2020-05-07 cs.IT cs.LG math.IT
The Trace Criterion for Kernel Bandwidth Selection for Support Vector Data Description
Internet of Things, SAS Institute Inc., Cary, NC, 27513（物联网，SAS公司，北卡罗来纳州卡里，27513）
本文提出了一种新的无监督方法，用于选择支持向量数据描述（SVDD）中高斯核的带宽，通过利用核矩阵的低秩表示来建议带宽值，该方法在低维数据中与当前最佳方法竞争，并在许多高维数据类别中表现极佳。
2020-02-05 cs.LG cs.NA math.NA
The SKIM-FA Kernel: High-Dimensional Variable Selection and Nonlinear Interaction Discovery in Linear Time
许多科学问题需要识别与目标响应相关的一小组协变量并估计其影响。通常，这些效应是非线性的，并且包括相互作用，因此线性和加法方法可能导致估计和变量选择不佳。不幸的是，同时表达稀疏性、非线性和交互作用的方法在计算上是难以处理的--运行时至少是协变量数量的二次方，而且往往更糟。在目前的工作中，我们解决了这个计算瓶颈。我们发现，合适的相互作用模型有一个内核表示，即存在一个“内核技巧”进行变量的选择和估计在$O$（#协变量）的时间。我们得到的拟合对应于希尔伯特空间中的回归函数的稀疏正交分解（即，函数方差分析分解），其中交互作用效应表示不能由低阶效应解释的所有变异。在各种合成和真实数据集上，我们的方法优于用于大型高维数据集的现有方法，同时在运行时保持竞争力（或更快几个数量级）。
2022-12-01 stat.CO stat.ME stat.ML
POPE: Post Optimization Posterior Evaluation of Likelihood Free Models
在许多领域，科学家们建立了复杂的自然现象模拟器，这些模拟器编码了他们对潜在过程的假设。这些模拟器可以是确定性的或随机的、快的或慢的、受约束的或不受约束的等等。针对一组参数值优化模拟器是常见的做法，导致单个参数设置，该单个参数设置最小化受约束的目标。我们提出了一个优化后的后验分析，计算和可视化的所有模型，可以产生同样好或更好的模拟结果，受到约束。这些优化后验是可取的，其中有许多原因，易于解释，自动参数灵敏度和相关性分析和后验预测分析。我们开发了一个新的抽样框架的基础上近似贝叶斯计算（ABC）与单侧内核。在与两组科学家的合作中，我们将POPE应用于两个重要的生物模拟器：干细胞循环的快速随机模拟器和肿瘤生长模式的缓慢确定性模拟器。
2014-12-09 q-bio.QM stat.ML
Separability and Scatteredness (S&S) Ratio-Based Efficient SVM Regularization Parameter, Kernel, and Kernel Parameter Selection
Toronto Metropolitan University（多伦多都会大学）
本研究通过随机分析正则化参数，提出基于数据可分性与散布性（S&S）比率的表，在使用SVM前自动确定最优正则化参数、核函数及参数，将交叉验证网格搜索的计算复杂度降至单次SVM运行。
2023-05-17 cs.AI cs.LG eess.SP
