On Valid Optimal Assignment Kernels and Applications to Graph Classification
TU Dortmund(多特蒙德工业大学);University of York(约克大学)
核方法的成功引发了新的半正定函数的设计,特别是结构化数据。一个领先的设计范例是卷积核,它将结构化对象分解为它们的部分,并对所有部分对求和。相比之下,分配核是从部分之间的最佳双射获得的,这可以提供更有效的相似性概念。然而,在一般情况下,最优分配产生不定函数,这使得它们在核方法中的使用变得复杂。我们刻画了一类用于比较保证半正定最优分配核的部分的基础核。这些基本内核产生的层次结构,从其中的最佳分配内核计算在线性时间的直方图相交。我们应用这些结果,通过开发的Weisfeiler-Lehman最优分配核图。它在广泛使用的基准数据集上提供了较高的分类精度,优于原始的Weisfeiler-Lehman内核。
2017-01-31 cs.LG stat.ML
Provably Strict Generalisation Benefit for Invariance in Kernel Methods
University of Oxford(牛津大学)
这是一个普遍持有的信念,强制执行不变性提高概括。虽然这种方法受到广泛欢迎,但直到最近才建立了这种好处的严格理论证明。在这项工作中,我们建立在Elesedy和Zaidi arXiv:2102.10333的函数空间的角度来推导一个严格的非零泛化的好处,将不变性的内核岭回归时,目标是不变的一个紧凑的组的行动。我们研究不变性强制执行的功能平均,并发现泛化是由一个概念的有效尺寸,产生的内核和组之间的相互作用。在建立这一结果,我们发现,行动的组诱导正交分解的再生核希尔伯特空间和它的内核,这可能是感兴趣的本身。
2021-12-19 cs.LG stat.ML
Fast Randomized Kernel Methods With Statistical Guarantees
University of California at Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
改进基于内核的机器学习方法的运行时间的一种方法是构建输入的小草图,并在感兴趣的机器学习任务中使用它来代替完整的内核矩阵。在这里,我们描述了这种方法的一个版本,它具有运行时间保证以及对其统计性能的改进保证。通过将\emph{statistical leverage scores}的概念扩展到核岭回归的设置,我们的主要统计结果是识别减小草图大小的重要性抽样分布(即,需要采样的列数)到问题的\emph{effective dimensionality}。这个量通常比以前依赖于\emph{maximal degrees of freedom}的界限小得多。我们的主要算法结果是提出一个快速算法来计算这些分数的近似值。该算法的运行时间与样本数成线性关系-更准确地说,运行时间是$O(np^2)$,其中参数$p$仅取决于核矩阵的迹和正则化参数-并且它可以应用于特征向量矩阵,而不必形成完整的核矩阵。这是通过长度平方采样的变体获得的,我们以独立感兴趣的方式适应内核设置。最后,我们提供了实证结果,说明我们的理论,我们讨论了这个新的概念,一个数据点的统计杠杆捕捉在一个很好的方式原来的统计学习问题的困难。
2015-11-08 cs.LG stat.CO stat.ML
An approach to the Gaussian RBF kernels via Fock spaces
我们使用Fock空间和Segal-Bargmann理论的方法证明了复分析中高斯RBF核的几个结果。后者是现代机器学习核方法和支持向量机(SVM)分类算法中最常用的核之一。复分析技术允许我们考虑与RBF内核相关的几个概念,如特征空间和特征映射,使用所谓的Segal-Bargmann变换。我们还展示了RBF核如何与量子力学和时频分析中最常用的一些算子相关,特别是,我们证明了这些核与创建,湮灭,傅立叶,平移,调制和Weyl算子的连接。对于Weyl算子,我们还研究了这种情况下的半群性质.
2022-10-25 math-ph math.MP stat.ML
Kernel Subspace and Feature Extraction
MIT(麻省理工学院)
本文从特征子空间角度研究核方法,建立特征子空间与核的一一对应,提出信息论度量,构造最大相关核并证明其最优性,以SVM为例展示核方法与特征提取的联系,并阐释Fisher核的最优性。
2023-05-11 cs.LG stat.ML
Koopman operators with intrinsic observables in rigged reproducing kernel Hilbert spaces
Kyoto University(京都大学);RIKEN(理化学研究所);NTT, Inc.(NTT公司);The University of Osaka(大阪大学)
本文提出 JetEDMD 方法,利用 rigged 希尔伯特空间和 jets 结构提升 Koopman 操作符估计精度,并通过理论分析和实验验证其有效性。
2025-11-29 cs.LG math.DS math.FA
Kernel Quantile Embeddings and Associated Probability Metrics
University College London(伦敦大学学院);Nanyang Technological University(南洋理工大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出核分位数嵌入(KQEs)构建概率度量,在更弱核条件下成立,恢复核化切片Wasserstein距离,近线性估计,假设检验中媲美MMD。
2025-05-26 cs.LG math.ST stat.ML
The Deep Kernelized Autoencoder
UiT–The Arctic University of Norway(特罗姆瑟大学-挪威北极大学);Norwegian Computing Center(挪威计算中心);University of Exeter(埃克塞特大学)
自动编码器以这样一种方式学习数据表示(代码),即输入在网络的输出处再现。然而,并不总是清楚输入数据的什么类型的属性需要由代码捕获。核机器通过在理论上定义良好的再生核希尔伯特空间中通过内积操作,从而捕获输入数据的拓扑特性,取得了巨大的成功。在本文中,我们提高了自动编码器的能力,学习有效的数据表示对齐代码之间的内积相对于一个内核矩阵。通过这样做,所提出的核化自动编码器允许学习输入数据的相似性保持嵌入,其中相似性的概念由用户显式控制并编码在半正定核矩阵中。实验进行评估重建和内核对齐性能的分类任务和可视化的高维数据。此外,我们表明,我们的方法是能够模拟核主成分分析的去噪任务,以更低的计算成本获得有竞争力的结果。
2018-07-23 cs.LG cs.NE stat.ML
Functional learning through kernels
本文回顾了统计学习理论的功能方面。考虑的要点是,当没有先验信息但有数据时,假设集的性质。在这个框架内,我们首先讨论假设集:它是一个向量空间,它是一组逐点定义的函数,并且在这个集合上的评估泛函是一个连续映射。在此基础上,提出了再生核希尔伯特空间的概念,并将其推广到非希尔伯特集。证明了任何学习机的假设集都是广义再生集。因此,由于一个普遍的“代表者定理”,学习问题的解决方案仍然是一个核的线性组合。此外,还给出了设计这些核的方法。为了说明这个框架,给出了一些这样的再生集和核的例子。
2009-10-06 stat.ML
Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions
核均值嵌入最近引起了机器学习社区的关注。他们将测度$μ$从某个集合$M$映射到具有核$k$的再生核希尔伯特空间(RKHS)中的函数。两个映射度量的RKHS距离是$M$上的半度量$d_k$。我们研究三个问题。(I)对于给定的内核,可以嵌入哪些集合$M$?(II)什么时候嵌入在$M$上是单射的(在这种情况下$d_k$是一个度量)?(III)与$M$上的其他拓扑相比,$d_k$诱导的拓扑如何?现有的机器学习文献已经在$M$是有限正则Borel测度(的子集)的情况下解决了这些问题。我们统一,改进和推广这些结果。我们的方法自然会导致(Schwartz-)分布的连续甚至可能是内射嵌入,即,一般的措施,但读者可以自由地只关注措施。特别是,我们systematives和扩展各种(部分已知)之间的不同概念的通用,特征和严格正定核的等价性,并表明,在一个潜在的局部紧Hausdorff空间,$d_k$度量概率测度的弱收敛当且仅当$k$是连续的和特征。
2019-12-17 math.FA math.PR stat.ML
Relative Comparison Kernel Learning with Auxiliary Kernels
University of Pittsburgh(匹兹堡大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
在这项工作中,我们考虑的问题,学习一个半正定核矩阵的形式相对比较:“对象A是更类似于对象B比它是C”,其中比较是由人类。该问题的现有解决方案假设提供许多比较以学习高质量内核。然而,这对于许多现实任务来说可能是不现实的,因为相对评估需要人工输入,而人工输入通常是昂贵的或难以获得的。因此,可以仅提供有限数量的这些比较。在这项工作中,我们探索的方法来帮助学习内核的过程中,从更容易提取的信息,对象之间的关系建立辅助内核的帮助。我们提出了一种新的核学习方法,其中目标核被定义为辅助核和其元素直接学习的核的圆锥组合。我们制定了一个凸优化来解决这个目标内核,只增加了轻微的开销,不使用辅助信息的方法。实证结果表明,在存在少量训练相对比较的情况下,我们的方法可以学习比不利用辅助信息的方法以及在对象上学习度量的类似方法更广泛的样本外比较的内核。
2014-04-15 cs.LG
Maximum effective dimension and information gain
University of Oxford(牛津大学);CREST, ENSAE, Institut Polytechnique de Paris(巴黎理工学院 ENSAE CREST)
该研究针对任意设计的核Gram矩阵,基于核函数或再生核希尔伯特空间的逼近性质建立最大有效维度与信息增益的通用上界,并证明三种正则性 regime 下该上界无法在常数因子外改进,涵盖Matérn等核的特例。
2026-08-26 math.ST stat.TH
A Kernel-Based Calculation of Information on a Metric Space
核密度估计是一种近似概率分布的技术。这里,将其应用于度量空间上的互信息的计算。这是由神经科学中计算刺激和尖峰响应之间的互信息的问题激发的;这些响应的空间是度量空间。它表明,核密度估计的度量空间类似的k-近邻的方法。这种方法被应用到一个玩具数据集,旨在模仿电生理数据。
2014-05-19 cs.IT math.IT
Information Geometry of Reversible Markov Chains
分析了马尔可夫链不可约转移核参数族时间可逆性的信息几何结构。我们定义和表征可逆指数家庭的马尔可夫内核,并表明,不可约和可逆的马尔可夫内核形成一个混合物家庭,也许令人惊讶的是,一个指数家庭的所有随机内核。我们提出了一个参数化的可逆内核的整个流形,并检查可逆测地线。我们定义了信息投影到可逆流形上,并推导出e-投影和m-投影的封闭形式表达式,以及关于信息散度的平方关系式,从而引出了马尔可夫核可逆化的一些新概念.我们表明家庭的边缘措施有关的不可约和可逆的内核也形成一个指数家庭之间的分布对。通过与其他著名的随机阵族的比较,进一步探讨了可逆矩阵族的几何性质。最后,我们表明,可逆内核,在某种意义上说,我们定义,最小的指数家庭所产生的m-家庭的对称核,和最小的混合物家庭,包括e-家庭的无记忆内核。
2021-10-20 cs.IT math.IT math.ST
Proofs of conservation inequalities for Levin's notion of mutual information of 1974
在本文中,我们考虑莱文的概念,互信息在无限0-1序列,定义在[列奥尼德莱文。信息守恒定律(非增长)和概率论基础的各个方面。《信息传输问题》,第10卷(1974年),pp. 206- 211]。该文献中给出了相应的信息守恒不等式,但没有给出证明。后来一些证明出现在文献中,但没有证明的概率守恒不等式已公布。在本文中,我们证明了不等式,并为了完整性,我们也提出了简短的证明所述概念的其他性质。
2019-11-13 cs.IT math.IT