Spectrally Transformed Kernel Regression
Carnegie Mellon University（卡内基梅隆大学）
本研究重新探讨谱变换核回归（STKR），提出可利用无标记数据的通用可扩展STKR估计器，证明其通用性，给出归纳场景下的可扩展实现，并推导两种场景的统计保证，深化对无标记数据利用的理解。
2024-02-01 cs.LG stat.ML
Distance Metric Learning for Kernel Machines
Washington University in St. Louis（圣路易斯华盛顿大学）；Criteo（科韬）
最近在度量学习方面的工作显着提高了k-最近邻分类的最新水平。支持向量机（SVM），特别是具有RBF核的SVM，是使用距离度量来比较示例的最流行的分类算法之一。本文对三种最流行的马氏度量学习算法作为SVM训练的预处理的有效性进行了实证分析。我们发现，这些算法都没有产生指标，导致特别令人满意的改进SVM-RBF分类。作为一种补救措施，我们引入支持向量度量学习（SVML），一种新的算法，无缝地结合了马氏度量的学习与RBF-SVM参数的训练。我们证明了SVML的能力，在九个基准数据集的不同大小和难度。在我们的研究中，SVML在准确性方面优于所有其他最先进的度量学习算法，并通过交叉验证建立了自己作为标准欧几里得度量的模型选择的严肃替代品。
2013-01-08 cs.LG stat.ML
A Metric-learning based framework for Support Vector Machines and Multiple Kernel Learning
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）
大多数度量学习算法以及Fisher判别分析（FDA）都会优化类内和类间距离的不同度量的某些成本函数。另一方面，支持向量机（SVM）和多种多核学习（MKL）算法都是基于支持向量机的大间隔理论。最近，支持向量机已经从支持向量机和度量学习中进行了分析，并开发了基于每种优势的新算法。受SVM的度量学习解释的启发，我们在这里开发了一个新的基于度量学习的SVM框架，其中我们将度量学习的概念纳入SVM。我们扩展了支持向量机的优化问题，包括一些类内距离的措施，并沿着我们开发了一个新的类内距离措施，这是适合于支持向量机。此外，我们采用相同的方法MKL，并表明它也可以制定为一个马氏度量学习问题。我们的最终结果是一些SVM/MKL算法，将度量学习的概念。我们在一组基准数据集上进行了实验，并观察到重要的预测性能改进。
2013-09-16 cs.LG
Metric learning pairwise kernel for graph inference
最近在生物信息学的工作集中在各种类型的生物网络的推断，代表基因调控，代谢过程，蛋白质相互作用，等一个共同的设置涉及推断网络边缘的监督方式从一组高置信度的边缘，可能具有多个，异质数据集（蛋白质序列，基因表达等）。在这里，我们区分两种模式的推理在这种情况下：直接推理的基础上的节点之间的相似性连接的边缘，和间接推理的基础上的一对节点和另一对节点之间的相似性。我们提出了一个监督的方法，直接的情况下，将其转化为一个距离度量学习问题。松弛所产生的凸优化问题导致支持向量机（SVM）算法与一个特定的核对，我们称之为度量学习成对核（MLPK）。我们证明，使用几个真正的生物网络，这种直接的方法往往改善后，国家的最先进的SVM的间接推理与张量积成对内核。
2006-10-21 cs.LG q-bio.QM
Kernel Metric Learning for In-Sample Off-Policy Evaluation of Deterministic RL Policies
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；Hanyang Univ.（汉阳大学）；KIAS（韩国高等研究院）
针对连续动作空间中确定性策略的离线评估，提出用核松弛目标策略并学习最优核度量以最小化TD更新误差，实验证明该方法显著提升评估精度。
2024-05-29 cs.AI cs.LG
Semi-supervised Kernel Metric Learning Using Relative Comparisons
UC - Santa Cruz（加州大学圣克鲁兹分校）；Aalto University（阿尔托大学）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Finnish Institute of Occupational Health（芬兰职业健康研究所）
我们考虑的问题的度量学习受一组约束的数据项之间的相对距离比较。这样的约束意味着反映没有直接在数据项的特征向量中表达的边信息。在这项工作中使用的相对距离约束是特别有效的表达结构在更精细的细节层次比必须链接（ML）和不能链接（CL）的约束，这是最常用的半监督聚类。因此，相对距离约束在提供ML或CL约束是困难的设置中是有用的，因为真实聚类的粒度是未知的。我们的主要贡献是一个有效的算法学习的核矩阵使用的对数行列式发散-一个变种的Bregman发散-受一组相对距离的限制。然后，学习的核矩阵可以在广泛的应用中被许多不同的核方法采用。在我们的实验评估中，我们考虑了半监督聚类设置，并根据经验表明，我们的算法发现的内核产生的聚类质量高于现有的方法，无论是使用ML/CL约束或不同的手段来实现使用相对比较的监督。
2016-12-03 cs.LG stat.ML
Invertible Kernel PCA with Random Fourier Features
Uppsala University（乌普萨拉大学）
本文提出可逆核 PCA（ikPCA），通过随机傅里叶特征近似核并利用变换在子域内的可逆性实现免监督重建，在多种数据模态的去噪任务中达到与监督重建 kPCA 相近的效果。
2023-03-09 cs.LG eess.SP
Learning Kernels for Structured Prediction using Polynomial Kernel Transformations
Rutgers University（罗格斯大学）
学习核方法中使用的核函数一直是机器学习中广泛探索的领域。现在人们普遍认为，要获得“好”的性能，学习核函数是关键的挑战。在这项工作中，我们专注于学习结构化回归的内核表示。我们建议使用多项式展开的内核，被称为勋伯格变换和Gegenbaur变换，这是从勋伯格（1938年）的开创性成果。这些核可以被认为是高维再生核希尔伯特空间（RKHS）中输入特征的多项式组合。我们通过结构化数据的输入和输出来学习内核，从而最大化内核特征之间的依赖性。我们使用Hilbert-Schmidt独立准则（HSIC）来衡量这一点。我们还给出了一个有效的，基于矩阵分解的算法来学习这些内核转换，并在几个真实世界的数据集上展示了最先进的结果。
2016-01-07 cs.LG stat.ML
The Kernel Density Integral Transformation
本文提出核密度积分变换作为表格数据的特征预处理方法，它将线性min-max scaling和quantile transformation作为极限情况包含在内，无需调优即可作为简单替代方案，调优后常优于这两种方法，并适用于相关性分析和单变量聚类等统计数据分析。
2023-10-19 cs.LG stat.ML
Conformal Transformation of Kernels: A Geometric Perspective on Text Classification
Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）；Technical University of Civil Engineering Bucharest（布加勒斯特民用工程技术大学）
本文研究共形变换对支持向量机核函数的影响，提出新的高斯余弦核及两种变换，并在Reuters数据集上验证其能显著提升文本分类中次优核的性能。
2024-06-01 cs.IT cs.LG math.DG
The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种新的度量与核之间的双射变换，使距离检验与核检验在样本统计量和p值上完全等价，简化了实现并促进了两类方法的交流。
2020-09-15 cs.LG stat.ML
Integrating Marketing Channels into Quantile Transformation and Bayesian Optimization of Ensemble Kernels for Sales Prediction with Gaussian Process Models
University of Pittsburgh（匹兹堡大学）
本文提出一种结合RBF、有理二次和Matérn集成核的高斯过程销售预测模型，并通过贝叶斯优化自动确定核权重，实现98%准确率并显著优于传统GP模型。
2024-06-11 cs.LG stat.AP
Reproducing Kernel Hilbert Spaces Cannot Contain all Continuous Functions on a Compact Metric Space
Institute for Stochastics and Applications（随机与应用研究所）；Faculty 8: Mathematics and Physics（数学与物理学院（第8学院））；University of Stuttgart（斯图加特大学）
给定一个不可数的紧度量空间，证明了不存在包含该紧空间上所有连续函数的再生核希尔伯特空间.
2020-03-13 cs.LG math.FA
Towards end-to-end F0 voice conversion based on Dual-GAN with convolutional wavelet kernels
IRCAM（声学/音乐研究与协作研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文提出了一个端到端的框架F0转换的表达语音转换的上下文中。提出了一个单一的神经网络，其中第一个模块用于学习不同时间尺度上的F0表示，第二个对抗模块用于学习从一种情感到另一种情感的转换。第一个模块由具有小波核的卷积层组成，使得可以有效地编码F0变化的各种时间尺度。单个分解/变换网络允许直接从原始F0信号以端到端的方式学习相对于变换最优的F0分解。
2021-04-15 cs.LG cs.SD eess.AS
A Variational Analysis of Kernel Learning with Learnable Linear Transformations
Cambridge University, Department of Pure Mathematics and Mathematical Statistics（剑桥大学数学系）；Northwestern University, Department of Statistics and Data Science（西北大学统计与数据科学系）
本文对引入可学习线性变换 $U$ 的核岭回归推广问题进行变分分析，研究其数学性质，重点关注多尺度与多指标数据场景下变换 $U$ 的作用。
2026-08-13 cs.LG math.CA math.FA
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences（中国地质大学）
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题，期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法，这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
Metric Graph Kernels via the Tropical Torelli Map
KTH Royal Institute of Technology（皇家理工学院）；Imperial College London（伦敦帝国学院）
本文提出基于热带代数几何的度量图核，通过几何和拓扑特性进行图比较，适用于无标签设置下的城市道路网络分类。
2026-01-29 cs.LG stat.ME stat.ML
Learning GPLVM with arbitrary kernels using the unscented transformation
Aalto University（阿尔托大学）
高斯过程隐变量模型（GPLVM）是一种灵活的框架，用于处理高斯过程（GP）中的不确定输入，并将GP作为更大的图形模型的组件。尽管如此，标准的GPLVM变分推断方法仅适用于一小部分核函数。最流行的GPLVM实现使用正交方法来规避这一限制，即使对于相对较低的维度，正交方法也可能成为计算瓶颈。例如，广泛使用的高斯-厄米特求积在维数上具有指数复杂度。在这项工作中，我们建议使用无迹变换。总的来说，这种方法与GPLVM的现成解决方案相比，即使不是更好，也具有相当的性能，并且其计算复杂性仅在维度上线性扩展。与蒙特卡罗方法相比，我们的方法是确定性的，并与拟牛顿方法，如Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法。我们说明了我们的方法的适用性与降维实验和多步预测与不确定性传播。
2020-11-10 cs.LG stat.ML
Metric on random dynamical systems with vector-valued reproducing kernel Hilbert spaces
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Kyushu University（九州大学）
在机器学习和相关领域中，为结构化数据生成机制开发度量是基础。在本文中，我们给出了一个一般的框架来构造随机非线性动力系统的度量，定义与向量值再生核希尔伯特空间（vvRKHS）中的Perron-Frobenius算子。我们采用vvRKHS设计数学上可管理的指标，并引入算子值内核，这使我们能够处理系统中的随机性。我们的度量提供了一个扩展的现有度量确定性系统，并给出了一个规格的核最大均值差异的随机过程。此外，通过考虑随机过程的时间独立性，我们澄清了我们的度量和独立性准则之间的联系与内核，如希尔伯特-施密特独立性准则。我们凭经验说明我们的度量与合成数据，并评估它的背景下，随机过程的独立性测试。我们还评估了性能与实时序列数据通过集群任务。
2019-10-27 cs.LG math.DS math.PR
A Kernel Perspective on Behavioural Metrics for Markov Decision Processes
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）；McGill University（麦吉尔大学）
本文从正定核视角重新定义马尔可夫决策过程的行为度量，证明其等价于MICo距离，并给出值函数差异界与低失真有限维嵌入等新理论结果，辅以实验验证其表示学习效果。
2023-10-05 cs.AI cs.LG
Separation Results between Fixed-Kernel and Feature-Learning Probability Metrics
New York University（纽约大学）；IBM Research AI（IBM研究院）
隐式和显式生成建模的几项工作经验地观察到，特征学习鉴别器在模型的样本质量方面优于固定内核鉴别器。我们分别使用函数类$\mathcal{F}_2$和$\mathcal{F}_1$提供固定核和特征学习判别器的概率距离之间的分离结果，这些函数类是为了研究过参数化的两层神经网络而开发的。特别是，我们构建了一对分布在超球，不能区分的固定核$(\mathcal{F}_2)$积分概率距离（IPM）和Stein差异（SD）在高维，但可以区分他们的特征学习（$\mathcal{F}_1$）的同行。为了进一步研究分离，我们提供了$\mathcal{F}_1$和$\mathcal{F}_2$ IPM之间的联系，并使用切片瓦瑟斯坦距离。我们的工作表明，固定内核鉴别器的性能比他们的特征学习同行，因为他们相应的指标较弱。
2021-11-01 cs.LG math.PR math.ST
Which Spaces can be Embedded in $L_p$-type Reproducing Kernel Banach Space? A Characterization via Metric Entropy
Northwestern University（西北大学）
本文建立了度量熵增长与函数空间嵌入再生核希尔伯特/巴拿赫空间能力之间的新联系，证明了度量熵有界可嵌入$L_p$型再生核巴拿赫空间，揭示了核方法在复杂函数空间学习中的能力与局限。
2026-06-24 cs.LG cs.NA math.FA
Overlapping clustering based on kernel similarity metric
Larodec, ISG University of Tunis（突尼斯ISG大学Larodec）；Ceremade, Université Paris-Dauphine（巴黎第九大学Ceremade）
产生重叠方案是集群中的一个主要问题。最近提出的重叠方法依赖于最佳覆盖的搜索，并基于不同的度量，如欧几里得距离和I-Divergence，用于测量观测之间的接近度。在本文中，我们提出了另一种基于核相似性度量的重叠聚类方法，并利用Gram矩阵估计重叠聚类的个数。在Iris和EachMovie数据集上的实验结果表明，基于核相似性度量的聚类数估计方法是正确的，并且提高了重叠聚类的查准率、查全率和f-measure。
2012-11-29 cs.LG stat.ME stat.ML
PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives
Intel Labs（英特尔实验室）；IIT Hyderabad（印度理工学院海得拉巴分校）
深度学习训练和推理的核心是计算密集型原语，例如形成深度神经网络构建块的卷积。研究人员采取了两种不同的方法来创建深度学习内核的高性能实现，即1）以英特尔MKL-DNN为例的CPU库开发，2）以TensorFlow XLA编译器为代表的自动编译。这两种方法都有各自的缺点：即使定制的库可以提供非常好的性能，但库的开发成本和时间可能很高。内核的自动编译是有吸引力的，但在实践中，到目前为止，自动生成的实现在性能上落后于专家编码的内核几个数量级。在本文中，我们开发了一种混合解决方案来开发深度学习内核，实现了两全其美：专家编码的微内核用于内核的最内层循环，我们使用先进的多面体技术来自动调整外部循环的性能。我们设计了一种新的基于多面体模型的数据重用算法来优化内核的外循环。通过对一类重要的深度学习原语（即卷积）进行实验评估，我们证明了我们开发的方法可达到与英特尔MKL-DNN（一种手工编码的深度学习库）相同的性能水平。
2020-02-06 cs.LG cs.PL
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics
Stanford University（斯坦福大学）
本文提出可训练的核校准度量，将校准视为分布匹配任务，统一分类与回归中的校准方法，并可直接用于经验风险最小化，从而提升校准、锐度与决策性能。
2023-10-31 cs.LG stat.ML
GRAN is superior to GraphRNN: node orderings, kernel- and graph embeddings-based metrics for graph generators
University of Passau（帕绍大学）；INSA Lyon（里昂国立应用科学学院）
本文通过图不变量核指标及图嵌入空间中的流形、核指标评估 GraphRNN 与 GRAN，揭示节点排序影响，证明 GRAN 更优并给出实践指南。
2023-07-13 cs.AI cs.LG cs.NE
Kernel Quantile Embeddings and Associated Probability Metrics
University College London（伦敦大学学院）；Nanyang Technological University（南洋理工大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出核分位数嵌入（KQEs）构建概率度量，在更弱核条件下成立，恢复核化切片Wasserstein距离，近线性估计，假设检验中媲美MMD。
2025-05-26 cs.LG math.ST stat.ML
The Alpha-Beta-Symetric Divergence and their Positive Definite Kernel
LMA-Laboratoire de Mathématiques Appliquées（应用数学实验室）；Université Cheikh Anta Diop（谢赫·安塔·迪奥普大学）
本文研究了概率测度上的希尔伯特度量和正定核，它们对核方法有着浓厚的兴趣。首先，我们将研究基于Alpha-Beta-divergence的Hilbercan度量，通过构建它来改进这种发散，使其对称于Alpha-Beta-Symmetric-Divergence（ABS-divergence），并对这些特性进行一些研究，同时还提出与这种发散相关的内核。其次，我们将进行数值研究，将所有建议的度量/内核到支持向量机（SVM）。最后，我们提出了一个算法的图像分类使用我们的分歧。
2018-09-15 cs.LG stat.ME
A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces
Inria Lille（里尔法国国家信息与自动化研究所）；Université de Lille（里尔大学）；OvGU（马格德堡大学）；Facebook AI Research（脸书人工智能研究院）；CNRS（法国国家科学研究中心）；DeepMind Paris（深度思维巴黎）
在这项工作中，我们提出了KeRNS：一个算法的情景强化学习在非平稳马尔可夫决策过程（MDP）的状态动作集被赋予一个度量。使用一个非参数模型的MDP建立与时间相关的内核，我们证明了一个遗憾的范围，规模与覆盖维度的状态-动作空间和总变化的MDP随时间的推移，量化其非平稳性的水平。我们的方法概括了以前的方法的基础上，滑动窗口和指数贴现用于处理不断变化的环境。我们进一步提出了一个实际的KeRNS实现，我们分析了它的遗憾和实验验证。
2022-03-23 cs.LG stat.ML
Unitary-Group Invariant Kernels and Features from Transformed Unlabeled Data
Carnegie Mellon University（卡内基梅隆大学）
研究对数据的常见变换不变的表示对于学习是重要的。大多数技术都集中在昂贵的优化框架内实现的局部近似不变性，缺乏明确的理论保证。在本文中，我们研究了对酉群不变的内核，同时在解决实际问题时具有理论保证，例如（1）标记数据的转换版本不可用和（2）不观察所有转换。我们提出了一个理论上动机的替代方法不变核SVM。与以前的方法不变的SVM，所提出的配方解决了上述两个问题。我们还提出了一个内核扩展最近的技术来提取线性酉群不变的功能，解决这两个问题，并延长一些保证不变性和稳定性。我们在UCI ML数据集上进行了实验，以说明和验证我们的方法。
2015-11-18 cs.AI cs.LG
On Translation Invariant Kernels and Screw Functions
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们探讨了实直线上的希尔伯特度量和正定核之间的联系。特别是，我们看看一个著名的特点平移不变希尔伯特度量的实数线由冯诺依曼和勋伯格（1941年）。利用这一结果，我们能够给出一个替代的证明Bochner定理的平移不变的正定核的真正的线（鲁丁，1962年）。
2013-02-18 cs.LG math.FA stat.ML
Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting
School of Informatics, University of Edinburgh, Edinburgh, UK（信息学院，爱丁堡大学，爱丁堡，英国）；School of Mathematics, University of Edinburgh, Edinburgh, UK（数学学院，爱丁堡大学，爱丁堡，英国）
本文提出基于签名核的Sig-MMD和CSig-MMD两种评估指标，用于改进概率和尾事件预测的鲁棒性与准确性。
2026-02-10 cs.LG stat.ML
Kernel-Based Metrics Learning for Uncertain Opponent Vehicle Trajectory Prediction in Autonomous Racing
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
本研究提出基于深度核学习的异构核度量方法，用于预测自动驾驶赛车中不确定轨迹的对手车辆，通过无监督对齐相似驾驶策略提升预测精度，并在1/10比例平台上验证了安全超越的有效性和计算效率。
2026-09-16 cs.AI cs.LG cs.RO
LCS Graph Kernel Based on Wasserstein Distance in Longest Common Subsequence Metric Space
WASEDA University（早稻田大学）
对于图学习任务，许多现有的方法利用消息传递机制，其中顶点特征通过聚集邻居信息来迭代更新。该策略为图的特征提取提供了一种有效的手段，但经过多次迭代得到的特征可能包含太多来自其他顶点的信息，并且往往彼此相似。这使得他们的表现不那么有表现力。另一方面，使用路径学习图可以较少受到这个问题的不利影响，因为它不涉及所有顶点邻居。然而，大多数算法只能比较相同长度的路径，这可能会造成信息丢失。为了解决这个困难，我们提出了一个新的基于最长公共子序列（LCS）相似性的图核。此外，我们发现广泛使用的R-卷积框架不适合基于路径的图核，因为大量不同路径之间的比较可能会恶化图距离计算。因此，我们提出了一个新的度量空间，利用提出的LCS为基础的相似性，并计算一个新的Wasserstein为基础的图距离在这个度量空间，它强调更多的相似路径之间的比较。此外，为了减少计算成本，我们提出了一个相邻点合并操作，稀疏点云在度量空间。
2021-10-29 cs.AI cs.DS cs.LG
