Meta-Learning Hypothesis Spaces for Sequential Decision-making
ETH Zurich（苏黎世联邦理工学院）
为预测函数（假设）获得可靠的自适应置信度集是顺序决策任务（如bandits和基于模型的强化学习）的核心挑战。这些置信度集通常依赖于假设空间上的先验假设，例如，再生核希尔伯特空间（RKHS）的核。手工设计这样的内核是容易出错的，错误的指定可能会导致性能差或不安全。在这项工作中，我们建议从离线数据中元学习内核（Meta-KeL）。对于未知内核是已知的基本内核的组合的情况下，我们开发了一个基于结构稀疏性的估计。在温和的条件下，我们保证我们估计的RKHS产生有效的置信度集，随着离线数据量的增加，变得与给定真实未知内核的置信度集一样紧密。我们展示了我们的方法对核化强盗问题（a.k.a.~贝叶斯优化），其中我们建立的遗憾界与那些真正的内核竞争。我们还经验性地评估了我们的方法对贝叶斯优化任务的有效性。
2022-06-17 cs.AI cs.LG stat.ML
Kernel methods for detecting coherent structures in dynamical data
我们说明经典的基于核的降维技术和再生核希尔伯特空间（RKHS）运营商与动力系统的经验估计的特征分解之间的关系。特别是，我们表明，内核典型相关分析（CCA）可以解释的内核传输运营商，它可以通过优化马尔可夫过程（VAMP）得分的变分方法。因此，我们表明，相干集的粒子轨迹可以计算核CCA。我们通过几个例子证明了这种方法的有效性，即著名的比克利喷流、海洋漂流者数据以及具有随时间变化的势的分子动力学问题。最后，我们提出了一个简单的推广动态模式分解（DMD）称为相干模式分解（CMD）。我们的研究结果提供了一种通用的机器学习方法来计算具有客观分数的相干集，该客观分数可用于交叉验证和不同方法的比较。
2019-10-08 math.DS stat.ML
Separating common (global and local) and distinct variation in multiple mixed types data sets
从不同平台获得的相同对象的多组测量可以部分地反映所研究系统的互补信息。对这些数据集的综合分析不仅为我们提供了更深入了解所研究系统的机会，而且也带来了一些新的统计挑战。首先，将所有或部分数据集共有的信息与每个数据集特有的信息分开是有问题的。此外，这些数据集通常是定量和离散（二进制或分类）数据类型的混合，而常用的数据融合方法要求所有数据集都是定量的。本文提出了一种指数族同时成分分析（ESCA）模型来解决多数据集潜在的混合数据类型问题。此外，通过一个近似无偏的组凹罚函数，构造了一个负载矩阵的结构化稀疏模式，以分离多个数据集的全局、局部公共和不同信息.一个基于优化-最小化算法推导出适合所提出的模型。该算法在每次迭代中更新模型的所有参数，并使目标函数单调递减。对于模型选择，实施基于缺失值的交叉验证程序。与其他方法相比，所提出的方法的优点进行评估，使用全面的模拟，以及从慢性淋巴细胞白血病（CLL）研究的真实数据的分析。可用性：可在https://gitlab.com/uvabda上获得用于复制本文中结果的代码。
2019-12-23 stat.ME stat.ML
Kernel Two-Sample Hypothesis Testing Using Kernel Set Classification
研究了高维小样本量数据集的双样本假设检验问题。我们表明，两个样本的假设检验问题可以构成一类集分类问题。在集合分类问题中，目标是对假设具有共同类的一组数据点进行分类。我们证明了给定一个集合的平均错误概率小于或等于贝叶斯错误，并且随着集合中样本数据点的$n$数量的幂而减小。我们使用正定集核直接将数据集映射到相关的再生核希尔伯特空间，而不需要学习概率分布。我们特别解决了两个样本的假设检验问题，使用一个类SVM结合建议的集核。我们比较了所提出的方法与最大均值离散，F-检验和T-检验方法在一些具有挑战性的模拟高维和小样本量的数据。我们还对六个癌症基因表达数据集进行了双样本假设检验实验，并在所有数据集上实现了零I类和第二类错误结果。
2017-11-13 stat.ML
Kernels on fuzzy sets: an overview
IBM Research（IBM研究院）；University of Sao Paulo（圣保罗大学）；INSA de Rouen（鲁昂国立应用科学学院）
本文引入模糊集上的核的概念，作为$[0,1]$值函数的相似性度量，也称为模糊集上的核。\emph{membership functions of fuzzy sets}。我们定义了以下几类核：模糊集上的叉积核、交集核、非单点核和基于距离的核。这些内核适用于机器学习和数据科学任务，其中数据中的不确定性具有本体或认识论解释。
2019-07-30 cs.AI cs.LG stat.ML
Representation of Quasi-Monotone Functionals by Families of Separating Hyperplanes
我们刻画了定义在赋范空间的适当凸子集上的连续拟单调泛函的水平集何时可以唯一地由一族有界连续泛函表示。此外，我们调查如何定期这些泛函依赖于参数化水平。最后，我们展示了这个问题如何与最近的财产引出问题，同时吸引了机器学习，预测的统计评估和金融的兴趣。
2015-08-21 math.FA math.OC math.ST
Characteristic kernels on Hilbert spaces, Banach spaces, and on sets of measures
University of Bern（伯尔尼大学）
我们提出了一类新的正定核的非标准空间，是整体严格正定或特征。特别地，我们讨论了可分希尔伯特空间上的径向核，并在Banach空间和强负型度量空间上引入了广泛的核。一般的结果是用来给明确类的核可分离的$L^p$空间和措施集。
2022-06-15 cs.LG math.FA math.ST
Ensembles of Kernel Predictors
Google Research（谷歌研究院）；Courant Institute（科朗研究所）；UC Berkeley（加州大学伯克利分校）
本文探讨了学习的问题，一个有限的，可能是大的一组p基本内核。它提出了一个理论和实证分析的方法来解决这个问题的基础上合奏的内核预测。这包括新的理论保证的基础上相应的假设集的Rademacher的复杂性，介绍和分析的学习算法的基础上，这些假设集，和一系列的实验使用合奏的内核预测与几个数据集。基于核的假设和更一般的Lq正则化非负组合的凸组合进行了分析。这些理论，算法和经验的结果进行了比较，通过使用学习核技术，这可以被看作是解决同样的问题的另一种方法。
2012-02-14 cs.LG stat.ML
Kernel-based Outlier Detection using the Inverse Christoffel Function
UC Berkeley（加州大学伯克利分校）
近年来，由于安全问题的增加以及由于其在不同领域的广泛应用，异常值检测方法变得越来越重要。最近，Pauwels和Lasserre（2016）注意到逆Christoffel函数的子级集使用平方和多项式准确地描述了数据云的形状，并且可以用于执行离群值检测。在这项工作中，我们提出了一个核化的反Christoffel函数的变体，使其计算上易于处理的数据集具有大量的功能。我们将我们的方法与当前的方法在15个不同的数据集上进行了比较，并获得了最佳的精确召回曲线下的平均面积（AUPRC）分数，最佳的平均排名和最低的均方根偏差。
2018-06-18 cs.LG stat.ML
Error Scaling Laws for Kernel Classification under Source and Capacity Conditions
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对满足源与容量条件的数据集，在高斯设计下推导了SVM与岭分类的误分类误差缩放律，并验证其能准确描述真实数据的学习曲线。
2023-09-06 cs.LG stat.ML
On the generalization of Tanimoto-type kernels to real valued functions
Aalto University（阿alto大学）
本文提出一种更一般的Tanimoto核公式，通过统一属性表示为集合，度量任意实值函数的相似性，并提取显式特征表示及平滑近似。
2025-06-19 cs.LG stat.ML
Numerical Data Imputation for Multimodal Data Sets: A Probabilistic Nearest-Neighbor Kernel Density Approach
Okinawa Institute of Science and Technology（冲绳科学技术研究所）
针对多模态复杂分布下传统填补方法易产生伪影的问题，提出结合最近邻估计与高斯核密度估计的$k$NN$\ imes$KDE算法，在多种缺失场景和缺失率下取得更低填补误差和更高概率似然。
2023-07-10 cs.LG stat.ML
Bayesian Efficient Multiple Kernel Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University School of Science（阿尔托大学理工学院）
多核学习算法被提出来组合核以获得更好的相似性度量或整合来自不同数据源的特征表示。以往对这类方法的研究大多集中在计算效率问题上。然而，由于现有贝叶斯方法的高时间复杂度，使用现有贝叶斯方法组合许多内核仍然是不可行的。我们提出了一个完全共轭贝叶斯公式，并推导出一个确定性的变分近似，这使我们能够非常有效地结合数百或数千个内核。我们简要地解释了如何提出的方法可以扩展到多类学习和半监督学习。在基准数据集上使用大量内核的实验表明，我们的推理方法非常快，需要不到一分钟。在一个生物信息学和三个图像识别数据集上，我们的方法比以前报道的结果具有更好的泛化性能。
2012-06-27 cs.LG stat.ML
Fast Spectrum Estimation of Some Kernel Matrices
Emory University（埃默里大学）
提出一种无需显式构造完整核矩阵即可估计其所有特征值量级的框架，适用于均匀分布点集上快速衰减核函数生成的矩阵，并给出理论保证和实验验证。
2026-05-25 cs.NA math.NA stat.ML
Bayesian Convolutional Deep Sets with Task-Dependent Stationary Prior
KAIST（韩国科学技术院）
卷积深度集是深度神经网络（DNN）的架构，可以对静态随机过程进行建模。该架构使用核平滑器和DNN来构造平移等变函数表示，从而将平稳性的归纳偏差反映到DNN中。然而，由于该架构采用称为非参数模型的内核平滑器，因此当数据点的数量没有充分给出时，它可能会产生模糊的表示。为了解决这个问题，我们引入了贝叶斯卷积深度集，它构建了具有静态先验的随机平移等变函数表示。此外，我们提出了如何对每个数据集施加任务相关的先验，因为错误施加的先验形成了比内核平滑器更差的表示。我们使用时间序列和图像数据集验证了所提出的架构及其在各种实验中的训练。
2022-10-22 cs.LG stat.ME stat.ML
