Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology(查尔姆斯理工大学)
神经网络的优化和泛化性能的最新研究结果表明,在一个简单的两层网络中,标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示,然后将其馈送到两层模型。我们表明,这些表示提高优化和泛化。特别是,我们调查三个内核表示时,馈送到最后的隐藏层:高斯内核和它的近似随机傅立叶特征,内核设计模仿表示产生的神经网络,最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络,并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective
Xi’an Jiaotong University(西安交通大学);Huazhong Agriculture University(华中农业大学)
该研究提出核化Renyi熵这一新型信息论度量,建立SGD/SGLD的泛化误差界,其界严格紧于现有SOTA结果,且可通过随机采样有效计算,为理解深度学习泛化能力提供新视角。
2023-05-02 cs.LG stat.ML
Deep Embedding Kernel
Institute of Analytics and Data Science, Kennesaw State University(肯尼索州立大学分析与数据科学研究所);Department of Information Technology, Kennesaw State University(肯尼索州立大学信息技术系)
在本文中,我们提出了一种新的监督学习方法,称为深度嵌入核(DEK)。DEK将深度学习和核方法的优点结合在一个统一的框架中。更具体地说,DEK是一个可学习的内核,由新设计的深度架构表示。与预定义的内核相比,该内核可以显式地训练以将数据映射到优化的高级特征空间,其中数据可能具有对应用有利的特征。与使用SoftMax或逻辑斯谛回归作为顶层的典型深度学习相比,DEK预计将更适用于新数据。实验结果表明,DEK在身份检测、分类、回归、降维和迁移学习等方面都优于典型的机器学习方法。
2018-04-16 cs.LG stat.ML
On the expressivity of embedding quantum kernels
Freie Universität Berlin(柏林自由大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Helmholtz-Zentrum Berlin für Materialien und Energie(亥姆霍兹柏林材料与能源研究中心);Universiteit Leiden(莱顿大学);LIACS, Universiteit Leiden(莱顿大学高级计算机科学研究所)
本文研究嵌入量子核的表达能力,证明任意核函数都可由量子特征态内积表示,并利用随机 Fourier 特征说明平移不变核与组合核可由高效嵌入量子核通用实现。
2024-04-09 cs.LG quant-ph stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney(悉尼大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Australian National University(澳大利亚国立大学)
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架,但它们的性能高度依赖于核和正则化超参数的选择。然而,目前的超参数调整方法主要依赖于昂贵的交叉验证或推理,这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入,我们提出了一个基于拉德马赫复杂度界限的超参数学习框架,通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新,允许可扩展的内核超参数调整,而无需调用内核近似。实验表明,我们的学习框架优于竞争方法,并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
A Measure-Theoretic Approach to Kernel Conditional Mean Embeddings
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了一个无算子的,测度理论的方法,条件平均嵌入(CME)作为一个随机变量的再生核希尔伯特空间中的值。虽然核均值嵌入的无条件分布已被严格定义,现有的基于算子的方法的条件版本依赖于严格的假设,阻碍其分析。我们克服了这个限制,通过测量理论治疗日冕物质抛射。我们推导出一个自然的回归解释,以获得经验估计,并提供了一个彻底的理论分析,包括普遍的一致性。作为自然的副产品,我们得到的最大平均差异和希尔伯特-施密特独立性准则的条件类似物,并通过模拟演示其行为。
2021-01-08 cs.LG stat.ML
A General Kernel Framework for Non-CND Distance Measures Using |D|-Dimensional Sparse Landmark Embeddings
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对核方法需CND距离的限制,提出稀疏地标嵌入核,通过紧支撑凸包嵌入任意距离为PSD核,理论保证并实验超越基线。
2026-10-21 cs.LG math.PR stat.ML
Path Integral Control by Reproducing Kernel Hilbert Space Embedding
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);FU Berlin(柏林自由大学)
本文将随机最优控制问题的路径积分形式嵌入再生核Hilbert空间。使用一致的,基于样本的嵌入估计导致一个无模型的,非参数的方法来计算控制问题的近似解。这种提法承认一个分解的问题成一个不变的和任务相关的组件。因此,与该领域中先前的基于样本的方法相比,我们更有效地利用了样本数据,例如,通过允许跨任务重复使用样本。测试问题的数值例子,说明了样本效率,提供。
2012-08-13 cs.LG stat.ML
Universality, Characteristic Kernels and RKHS Embedding of Measures
最近已经提出了用于概率测度的希尔伯特空间嵌入,其中任何概率测度被表示为再生核希尔伯特空间(RKHS)中的平均元素。这样的嵌入已经在同质性测试、独立性测试、降维等中得到应用,要求再现核是特征性的,即,嵌入是单射的。在本文中,我们推广这种嵌入有限签署Borel措施,其中任何有限签署Borel措施表示为一个平均元素的RKHS。我们表明,建议的嵌入是单射的当且仅当内核是普遍的。因此,这提供了通用内核的新特征,该通用内核是在通过基于内核的分类/回归算法实现贝叶斯风险的背景下提出的。通过利用这种关系之间的普遍性和嵌入有限签署Borel措施到RKHS,我们建立了通用和特征核之间的关系。
2010-03-03 math.ST stat.ML stat.TH
Non-asymptotic spectral bounds on the $\varepsilon$-entropy of kernel classes
Nazarbayev University(纳扎尔巴耶夫大学)
本文研究再生核希尔伯特空间单位球在L_p(ν)中ε-熵的非渐近谱界,证明p∈[1,∞]时的精确上下界,并揭示p>2时界还依赖截断Mercer级数的收敛速率,所得界比已有结果更紧且对特定核渐近最优。
2024-12-30 cs.LG math.FA stat.ML
Kernel Mean Embedding of Distributions: A Review and Beyond
Mahidol University(玛希隆大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Institute of Statistical Mathematics(统计数学研究所);Pennsylvania State University(宾夕法尼亚州立大学)
分布的希尔伯特空间嵌入--简而言之,核均值嵌入--最近已经成为机器学习和推理的强大工具。这个框架背后的基本思想是将分布映射到一个再生核希尔伯特空间(RKHS),其中整个核方法库可以扩展到概率测度。它可以被看作是支持向量机(SVM)和其他核方法共同的原始“特征图”的推广。虽然最初与后者密切相关,但它同时在从内核机器和概率建模到统计推断,因果发现和深度学习的领域中找到了应用。本次调查的目的是全面回顾现有的工作和最新进展,在这一研究领域,并讨论最具挑战性的问题和开放的问题,可能会导致新的研究方向。该调查首先简要介绍了RKHS和正定内核,形成了这次调查的骨干,其次是一个彻底的讨论希尔伯特空间嵌入的边缘分布,理论保证,并审查其应用。分布的嵌入使我们能够将RKHS方法应用于概率测度,这促使了广泛的应用,如核双样本测试,独立测试和分布数据的学习。接下来,我们讨论了条件分布的Hilbert空间嵌入,给出了理论见解,并回顾了一些应用。条件均值嵌入使我们能够以非参数的方式执行求和,乘积和贝叶斯规则-这些规则在图形模型,概率推理和强化学习中无处不在。然后,我们讨论这个框架和其他相关领域之间的关系。最后,我们对未来的研究方向提出了一些建议。
2020-12-13 cs.LG stat.ML
Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions
核均值嵌入最近引起了机器学习社区的关注。他们将测度$μ$从某个集合$M$映射到具有核$k$的再生核希尔伯特空间(RKHS)中的函数。两个映射度量的RKHS距离是$M$上的半度量$d_k$。我们研究三个问题。(I)对于给定的内核,可以嵌入哪些集合$M$?(II)什么时候嵌入在$M$上是单射的(在这种情况下$d_k$是一个度量)?(III)与$M$上的其他拓扑相比,$d_k$诱导的拓扑如何?现有的机器学习文献已经在$M$是有限正则Borel测度(的子集)的情况下解决了这些问题。我们统一,改进和推广这些结果。我们的方法自然会导致(Schwartz-)分布的连续甚至可能是内射嵌入,即,一般的措施,但读者可以自由地只关注措施。特别是,我们systematives和扩展各种(部分已知)之间的不同概念的通用,特征和严格正定核的等价性,并表明,在一个潜在的局部紧Hausdorff空间,$d_k$度量概率测度的弱收敛当且仅当$k$是连续的和特征。
2019-12-17 math.FA math.PR stat.ML
Kernel Quantile Embeddings and Associated Probability Metrics
University College London(伦敦大学学院);Nanyang Technological University(南洋理工大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出核分位数嵌入(KQEs)构建概率度量,在更弱核条件下成立,恢复核化切片Wasserstein距离,近线性估计,假设检验中媲美MMD。
2025-05-26 cs.LG math.ST stat.ML
Information Plane Analysis of Deep Neural Networks via Matrix-Based Renyi's Entropy and Tensor Kernels
UiT The Arctic University of Norway(挪威北极大学);University of Florida(佛罗里达大学)
最近,通过信息平面(IP)理论分析深度神经网络(DNN)作为深入了解其泛化能力的工具获得了极大的关注。然而,如何估计每个隐藏层与输入/期望输出之间的互信息(MI)以构造IP并不明显。例如,具有许多神经元的隐藏层需要对与这些层相关联的高维具有鲁棒性的MI估计器。MI估计器还应该能够自然地处理卷积层,同时在计算上易于扩展到大型网络。到目前为止,现有的IP方法都无法研究真正深度的卷积神经网络(CNN),例如\ VGG-16在本文中,我们提出了一种IP分析,使用新的基于矩阵的Rényi熵与卷积层上的张量核相结合,利用核方法的能力来表示独立于数据维度的概率分布的属性。所获得的结果为以前关于小规模DNN的文献提供了新的启发,但是使用了一种全新的方法。重要的是,新框架使我们能够提供对当代大型DNN和CNN的第一次全面的IP分析,研究不同的训练阶段,并为大型神经网络的训练动态提供新的见解。
2019-09-25 cs.LG stat.ML
Dimensionality Reduction of Complex Metastable Systems via Kernel Embeddings of Transition Manifolds
提出了一种新的基于核的机器学习算法,用于识别高维多尺度随机系统有效动力学的低维几何。最近,作者开发了一个数学框架,用于计算此类系统的最佳反应坐标,该框架是基于学习某个函数空间中的低维过渡流形的参数化。在这篇文章中,我们通过在再生核希尔伯特空间中嵌入和学习这个过渡流形来增强这种方法,利用核嵌入的有利性质。在对核的温和假设下,流形结构在嵌入下被保持,并且可以导出失真界。与以前的参数化方法相比,这导致更鲁棒和更有效的算法。
2020-02-03 math.DS stat.ML
Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization
Mahidol University(玛希隆大学);Idiap Research Institute(Idiap研究所);University of Bern(伯尔尼大学);Centre of Excellence in Mathematics(数学卓越中心)
我们专注于集值输入的核方法及其在贝叶斯集优化,特别是组合优化中的应用。我们研究了两类依赖于再生核希尔伯特空间嵌入的集合核,即最近在贝叶斯集合优化中考虑的“双和”(DS)核,以及在这里引入的一类称为“深嵌入”(DE)核,其基本上包括在希尔伯特空间上应用径向核,该径向核是由另一个核(如DS核)引起的正则距离。我们建立特别是,虽然DS内核通常遭受缺乏严格的正定性,巨大的子类DE内核建立在DS内核拥有这个属性,从而使组合优化,而不需要引入抖动参数。关于考虑内核的理论结果的证明补充了一些关于超参数拟合的实用性。我们还证明了我们的方法在预测和优化任务的适用性,依靠玩具的例子和两个测试案例,分别从机械工程和水文地质。实验结果突出了所考虑的方法的适用性和比较的优点,同时在预测和序列设计与设置输入打开新的视角。
2020-03-10 cs.LG math.ST stat.AP
Reproducing kernel Hilbert C*-module and kernel mean embeddings
NTT Network Service Systems Laboratories, NTT Corporation(NTT网络服务系统实验室,NTT公司);Graduate School of Science and Technology, Keio University(庆应义塾大学科学与技术研究生院);Center for Data Science, Ehime University(爱媛大学数据科学中心);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心);Faculty of Science and Technology, Keio University(庆应义塾大学科学与技术学部)
核方法是机器学习中最流行的技术之一,其中学习任务使用再生核希尔伯特空间(RKHS)的性质来解决。本文提出了一个新的数据分析框架,再生核希尔伯特$C^*$ -模块(RKHM)和核均值嵌入(KME)在RKHM。由于RKHM包含比RKHS或向量值RKHS(vvRKHS)更丰富的信息,因此使用RKHM进行分析使我们能够捕获和提取功能数据中的结构属性。我们展示了RKHM应用于数据分析的一个分支理论,包括表示定理,以及所提出的KME的内射性和普适性。我们还表明RKHM推广RKHS和vvRKHS。然后,我们提供了具体的程序,采用RKHM和建议的KME数据分析。
2021-12-21 cs.LG math.OA stat.ML
Kernel Embeddings and the Separation of Measure Phenomenon
Departement Mathematik, ETH Zürich(苏黎世联邦理工学院数学系)
本文证明核协方差嵌入在信息论上能完美区分不同连续概率分布,通过将测度相等性问题转化为高斯测度的奇异性和分离性问题,揭示了核方法在高维领域中的有效性机制。
2026-05-13 cs.LG math.ST stat.ML
Kernel Exponential Family Estimation via Doubly Dual Embedding
Google Brain(谷歌大脑);Georgia Institute of Technology(佐治亚理工学院);University College London(伦敦大学学院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究了自然参数位于再生核Hilbert空间的指数族分布的惩罚极大对数似然估计。我们的方法的关键是一种新的技术,双对偶嵌入,避免了计算的分区函数。该技术还允许开发灵活的采样策略,该策略在推理阶段分摊Monte-Carlo采样的成本。由此得到的估计可以很容易地推广到核条件指数族。我们建立了核指数族估计和MMD-GANs之间的联系,揭示了理解GANs的新视角。与基于分数匹配的估计器相比,所提出的方法提高了存储器和时间效率,同时具有更强的统计特性,例如在分数匹配估计器出现饱和时完全捕获其统计收敛速度的平滑性。最后,我们表明,建议的估计经验优于国家的最先进的
2019-04-24 cs.LG stat.ML
Kernelized Cumulants: Beyond Kernel Mean Embeddings
University of Oxford(牛津大学);London School of Economics(伦敦政治经济学院)
本文将累积量推广到再生核希尔伯特空间,提出核化累积量作为通用统计量,并证明其在保持计算复杂度的同时超越一阶核均值嵌入的优势。
2023-10-29 cs.IT cs.LG math.IT
Variance-Aware Estimation of Kernel Mean Embedding
Waseda University(早稻田大学);ESSEC Business School(埃塞克商学院)
针对核均值嵌入(KME)的收敛速率问题,提出利用再生核希尔伯特空间方差信息加速收敛的方法,即使方差信息未知也可从数据中高效估计,还将结果扩展至平稳混合序列,在假设检验等场景验证效果。
2025-04-16 cs.LG math.ST stat.ML
Recursive Estimation of Conditional Kernel Mean Embeddings
Institute for Computer Science and Control (SZTAKI)(计算机科学与控制研究所(SZTAKI));Eötvös Loránd University (ELTE)(厄特沃什·罗兰大学(ELTE))
本文提出一种在Bochner空间中递归估计条件核均值映射的新算法,将Stone定理推广到局部紧波兰空间上的希尔伯特空间值回归,证明了弱与强L2一致性并给出强渐近界,在欧氏空间、黎曼流形和函数空间子集上验证了效果。
2024-08-30 cs.LG stat.ME stat.ML
Kernel method for persistence diagrams via kernel embedding and weight factor
拓扑数据分析是一种新兴的数学概念,用于表征多尺度数据中的形状。在该领域中,持久性图被广泛用作输入数据的描述符,并且可以区分鲁棒和噪声拓扑属性。目前,迫切需要在持久性图上开发一个统计框架来处理实际数据。提出了一种持久图的核方法。我们的方法的一个理论贡献是,建议的内核允许一个控制持久性的效果,如果必要的话,嘈杂的拓扑属性可以在数据分析中打折。此外,该方法提供了一种快速近似技术。将该方法应用于包括物理实际数据在内的几个问题,结果表明,该方法在持久性图上优于现有的核方法。
2017-06-12 math.AT physics.data-an stat.ML
A simpler condition for consistency of a kernel independence test
可以使用希尔伯特-施密特独立性准则(HSIC)作为检验统计量来构建独立性的统计检验。HSIC被定义为在再生核希尔伯特空间(RKHS)中联合分布的嵌入与边缘的乘积的嵌入之间的距离。先前已经表明,当用于定义联合嵌入的核是特征的(即,联合分布到特征空间的嵌入是单射的)时,则基于HSIC的测试是一致的。特别地,对于单个域上的核的乘积在联合域上是特征性的就足够了。在本文中,通过Lyons(2013)的结果建立了基于HSIC的独立性测试是一致的,当边缘上的核在其各自的域上是特征时,即使核的乘积在联合域上不是特征。
2015-01-25 stat.ML
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用,并取得了很大的实验成功,很少有理论进展,分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入,这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题,以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH
Hilbert space embeddings and metrics on probability measures
最近提出了一种用于概率测度的Hilbert空间嵌入,其应用包括降维、同质性检验和独立性检验。该嵌入将任何概率测度表示为再生核希尔伯特空间(RKHS)中的平均元素。概率测度空间上的伪度量可以定义为分布嵌入之间的距离:我们将其表示为$γ_k$,由定义RKHS中内积的核函数$k$索引。我们提出了$γ_k$的三个理论性质。首先,我们考虑确定$γ_k$是度量的核$k$上的条件的问题:这样的$k$被表示为{ \em特征核}。与伪度量不同,只有当两个分布重合时度量才为零,从而确保RKHS嵌入唯一地映射所有分布(即,嵌入是单射的)。虽然以前公布的条件可能只适用于有限的情况下(例如在紧域),很难检查,我们的条件是直接和直观的:有界连续严格正定核的特点。或者,如果一个有界连续核在$\bb{R}^d$上是平移不变的,那么它是特征的当且仅当它的傅里叶变换的支集是整个$\bb{R}^d$。其次,我们证明了在$γ_k$中存在任意接近的不同分布。第三,要了解$γ_k$引起的拓扑结构的性质,我们将$γ_k$与概率测度上的其他流行度量相关联,并在$γ_k$度量弱拓扑结构的内核$k$上给出条件。
2010-01-30 math.ST stat.ML stat.TH
Which Spaces can be Embedded in Reproducing Kernel Hilbert Spaces?
本文研究巴拿赫函数空间嵌入再生核希尔伯特空间的条件,给出充分必要条件,并证明所需光滑性与底层维数成比例增长。
2024-02-20 math.FA math.ST stat.TH
Optimized Kernel Entropy Components
Universitat de València(瓦伦西亚大学);University of Tromsø(特罗姆瑟大学)
针对标准核熵分量分析(KECA)算法的两个主要问题:核分解的优化和高斯核参数的优化。KECA粗略地简化为通过熵而不是像核主成分分析中那样通过方差对核特征向量的重要性进行排序。在这项工作中,我们提出了一个扩展的KECA方法,名为优化KECA(OKECA),直接提取最佳功能,保留大部分的数据熵,通过压缩信息在很少的功能(通常只有一个或两个)。所提出的方法产生的功能,具有较高的表达能力。特别是,它是基于独立成分分析(ICA)框架,并引入了一个额外的旋转的特征分解,这是通过梯度上升搜索优化。这种最大熵保持表明,OKECA特征对于密度估计比KECA特征更有效。此外,这两种方法中的一个关键问题是内核参数的选择,因为它严重影响所得到的性能。在这里,我们分析最常见的内核长度尺度选择标准。这两种方法的结果都说明在不同的合成和实际问题。结果表明:1)OKECA比KECA具有更强的投影表达能力; 2)最成功的核参数估计规则是基于极大似然法; 3)OKECA对核密度估计中长度尺度参数的选择具有更强的鲁棒性。
2016-03-09 cs.LG stat.ML
Entropy of Overcomplete Kernel Dictionaries
Institut Charles Delaunay (CNRS)(夏尔·德拉吕研究所(法国国家科学研究中心));Université de technologie de Troyes(特鲁瓦工程技术大学)
在信号分析和合成中,线性近似理论考虑在一组原子中的任何给定信号的线性分解,收集到所谓的字典中。通过放松原子的正交性条件,得到相关的稀疏表示,产生具有扩展原子数的过完备字典。比线性分解更普遍的是,过完备核字典通过映射核函数定义原子来提供优雅的非线性扩展(例如,高斯核)。基于这种核字典的模型被用于神经网络、高斯过程和具有核的在线学习。用距离、近似、一致性和Babel测度等多样性测度来评价超完备字典的质量。在本文中,我们开发了一个框架,检查过完备核字典与熵的信息论。事实上,更高的熵值与原子在空间上的进一步均匀分布有关。对于上述的多样性措施,我们推导出熵的下界。熵的几个定义进行了检查,在输入空间和映射的特征空间进行了广泛的分析。
2014-11-01 cs.CV cs.IT cs.LG
Labeled Subgraph Entropy Kernel
近年来,核方法在相似性度量中得到了广泛的应用。具体而言,图核被广泛用于生物信息学、化学和金融数据分析领域。然而,现有的方法,特别是基于熵的图核,受到大的计算复杂性和节点级信息的忽视。本文提出了一种新的标记子图熵图核,它在结构相似性评估中表现良好。设计了一种动态规划子图枚举算法,有效地降低了时间复杂度。特别地,我们提出了标记子图,它丰富了子结构拓扑的语义信息。类比统计力学中气体团簇的团簇膨胀过程,重新推导了配分函数,并计算了全局图熵来表征网络。为了测试我们的方法,我们应用了几个真实世界的数据集,并评估了不同任务的效果。为了捕捉更多的实验细节,我们定量和定性地分析了不同的拓扑结构的贡献。实验结果成功地证明了我们的方法的有效性,优于几个国家的最先进的方法。
2023-03-21 cs.LG
Embedding Graph Kernel Entropy (EGKE): Fine-grained Hallucination Detection for LLMs from Embeddings
University of Moratuwa(莫拉图瓦大学);University of Miami(迈阿密大学)
本文提出EGKE方法,用RBF核替换KLE的NLI衍生语义图,在30种实验设置上验证其在LLM幻觉检测中性能与SOTA相当且计算更高效。
2026-10-14 cs.LG
On the Maximum Entropy Property of the First-Order Stable Spline Kernel and its Implications
University of Liège(列日大学);University of Cambridge(剑桥大学)
最近提出了一种新的系统辨识的非参数方法,其中冲激响应被看作是一个零均值高斯过程的实现,其协方差,即所谓的稳定样条核,保证了冲激响应几乎必然是稳定的。稳定样条核的最大熵性质已在文献中指出。在本文中,我们提供了一个独立的证明,依赖于矩阵论扩展问题的图形模型文献,并导致一个封闭的形式表达的逆的一阶稳定样条核,以及一个新的因式分解的形式$UWU^\top$与$U$上三角和$W$对角线。有趣的是,所有的一阶稳定样条核共享相同的因子$U$和$W$承认一个封闭的形式表示的内核超参数,使因式分解计算成本低廉。稳定样条核的最大似然特性也突出显示。这些结果可用于提高稳定性和减少与稳定样条估计的计算相关的计算复杂性。
2014-09-21 cs.LG math.ST stat.ML
Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds
Baruch College(巴克尔学院)
研究紧致流形上加权测度,引入热核熵剖面这一多尺度总结方法,通过内在热流扩散加权原子并跟踪尺度不均匀性,可计算二阶Rényi熵的几何有效样本量,实验表明其能揭示传统总结遗漏的结构。
2026-07-31 cs.LG stat.ME stat.ML
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University(阿尔托大学);University of Oxford(牛津大学)
提出核语言熵(KLE)方法,通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性,相比语义熵考虑了成对语义依赖,在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
The Geometry of Nonlinear Embeddings in Kernel Discriminant Analysis
The Ohio State University(俄亥俄州立大学);Kohl’s(科尔士百货公司)
Fisher线性判别分析是一种经典的分类方法,但它仅限于捕获线性特征。核判别分析作为一种扩展,通过非线性特征映射成功地缓解了这一限制。我们研究了多项式核和高斯核判别分析中的非线性嵌入的几何结构,通过识别依赖于数据分布和核的总体级判别函数。为了获得判别函数,我们解决了广义特征值问题与类间和类内协方差算子。多项式判别式捕捉类的差异,通过人口的时刻明确。对于高斯判别式的近似,我们使用一个特定的表示的高斯核,利用指数生成函数的厄米多项式。我们还表明,高斯判别式可以近似使用随机投影的数据。我们的研究结果说明了数据分布和核函数在非线性嵌入判别中的相互作用,并为核函数及其参数的选择提供了指导。
2020-05-12 cs.LG stat.ML
An Overview of Causal Inference using Kernel Embeddings
University of Adelaide(阿德莱德大学)
本文综述了核嵌入方法在因果推断领域的应用,介绍其通过将概率测度映射到RKHS实现灵活分布表示,为解决观测数据的因果识别与效应估计等问题提供鲁棒非参数框架。
2024-10-30 cs.LG stat.ME stat.ML
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Rice University(里士大学)
研究去除自相互作用的周期里斯SVGD,证明多粒子长时间采样定理。在奇异斯坦能量局部可积且初始粒子相对熵有界时,时间平均经验测度律弱收敛到目标点质量。还表明有限相对熵不变粒子律诱导的经验测度律也收敛,且在对数奇点阈值下有有限粒子误差界。
2026-07-17 cs.LG math.AP
Embed and Conquer: Scalable Embeddings for Kernel k-Means on MapReduce
University of Waterloo(滑铁卢大学)
核$k$ -means算法是一种有效的数据聚类方法,它扩展了常用的$k$ -means算法,使其能够处理复杂数据结构上的相似矩阵。然而,核心$k$ -均值算法在计算上非常复杂,因为它需要计算和存储完整的数据矩阵。此外,内核$k$ -均值算法的内核化性质阻碍了其计算在用于分布式计算的现代基础设施上的并行化。在本文中,我们定义了一个家庭的基于内核的低维嵌入,允许缩放内核$k$ -通过一个有效的和统一的并行化策略MapReduce的手段。之后,我们提出了两种低维嵌入的方法,坚持我们的嵌入家庭的定义。利用提出的并行化策略,我们提出了两个可扩展的MapReduce算法的内核$k$ -手段。我们证明了所提出的算法的有效性和效率,通过对基准数据集的实证评估。
2014-01-29 cs.LG
Kernel Dynamics under Path Entropy Maximization
Earth Innovation Hub(地球创新中心)
本文提出一个变分框架,将核函数视为路径熵最大化下的动态变量,探讨核函数的表示结构与信息几何分析,提出固定点条件、RG流及NTK演化的候选实例,并基于信息热力学假设推导核变化的下界。
2026-03-29 cs.AI cs.LG cs.RO
An Asymptotic Test for Conditional Independence using Analytic Kernel Embeddings
CREST(法国 Crest 研究中心);ENSAE(法国国家统计与经济管理学院);Facebook AI Research(脸书人工智能研究院);Université Paris-Dauphine(巴黎多芬大学);Technion(以色列理工学院)
我们提出了一个新的条件依赖性度量和条件独立性的统计检验。该措施是基于两个非常适合的分布在一组有限的位置评估的分析内核嵌入之间的差异。在条件独立性的原假设下得到了它的渐近分布,并由此设计了一个一致性统计检验,通过一系列的实验表明,即使在高维情况下,我们的新检验在I类和第二类错误方面也优于现有的方法.
2022-06-16 cs.LG stat.ML
Improving the Effectiveness and Efficiency of Stochastic Neighbour Embedding with Isolation Kernel
Deakin University(迪肯大学);Nanjing University(南京大学)
针对t-SNE中高斯核易导致结构表征失真、计算成本高的问题,提出用孤立核替换高斯核,既提升可视化质量又能高效处理大规模数据集,且不损失准确率。
2021-07-08 cs.AI cs.CV cs.LG
Nyström Kernel Mean Embeddings
Università di Genova(热那亚大学);École normale supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);MIT(麻省理工学院);IIT(意大利理工学院)
核均值嵌入是将任意空间上的概率分布表示为Hilbert空间中的单点的有力工具。然而,计算和存储这种嵌入的成本阻止了它们在大规模环境中的直接使用。我们提出了一个有效的近似程序的基础上的Nyström方法,利用一个小的随机子集的数据集。我们的主要结果是这个过程的近似误差的上限。它产生的子样本大小,以获得标准的$n^{-1/2}$率,同时降低计算成本的充分条件。我们讨论了应用这一结果的近似的最大平均差异和求积规则,并说明我们的理论研究结果与数值实验。
2022-06-15 cs.LG stat.ML
Expanding the Family of Grassmannian Kernels: An Embedding Perspective
Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息与通信技术研究院)
将视频和图像集建模为线性子空间已经证明对许多视觉识别任务是有益的。然而,它也带来了挑战,因为线性子空间不服从欧几里得几何,而是位于一种特殊类型的黎曼流形上,称为格拉斯曼流形。为了利用为具有子空间的欧几里德空间开发的技术(例如,支持向量机),最近的一些研究提出通过利用正定核将格拉斯曼嵌入到希尔伯特空间中。不幸的是,只有两个格拉斯曼核是已知的,其中没有一个-正如我们将要展示的-是通用的,这限制了它们任意逼近目标函数的能力。在这里,我们介绍了几个正定格拉斯曼内核,包括通用的,并证明他们的优越性,在各种任务,如分类,聚类,稀疏编码和散列比以前已知的内核。
2014-07-04 cs.CV cs.LG stat.ML
The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning
Department of Computer Science and Engineering, The Chinese University of Hong Kong(计算机科学与工程系,香港中文大学)
本文提出最大冯·诺依曼熵原理,通过博弈论框架为核学习中的熵最大化提供理论基础,并展示其在核表示选择和矩阵补全中的应用。
2026-02-02 cs.IT cs.LG math.IT
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control(SZTAKI:计算机科学与控制研究所);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象,因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架,并结合条件核均值映射的一致点估计,以构造分布自由的假设检验。这些测试以灵活的方式引入,使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的,即,第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
The Gaussian kernel on the circle and spaces that admit isometric embeddings of the circle
Nanyang Technological University(南洋理工大学)
在欧氏空间中,高斯核是应用最广泛的核之一。它也被用在非欧几里德空间,在那里它是已知的,可能有(往往是)尺度参数,它是不正定的。希望仍然是这个内核是正定的参数的许多选择。然而,我们表明,高斯核是不正定的圆上的任何参数的选择。这意味着在度量空间中,圆可以等距嵌入,如球面,射影空间和格拉斯曼空间,高斯核对任何参数都不是正定的。
2023-02-21 cs.LG math.DG
Information Theoretic Learning with Infinitely Divisible Kernels
University of Florida(佛罗里达大学)
在本文中,我们开发了一个基于无限可分矩阵的信息理论学习框架。我们制定了一个熵的功能正定矩阵的基础上Renyi的公理定义的熵和检查这个功能,导致无限整除的概念的一些关键属性。该公式避免了密度的插件估计,并带来了再生核希尔伯特空间的表示能力。作为一个应用例子,我们得到一个监督度量学习算法使用基于矩阵的模拟条件熵实现的结果与最先进的国家。
2013-06-04 cs.CV cs.LG
Sketching the Heat Kernel: Using Gaussian Processes to Embed Data
本文提出一种基于高斯过程实现热核矩阵描绘的数据嵌入方法,利用Karhunen-Loève展开使嵌入距离近似扩散距离,并增强了对异常值的鲁棒性。
2024-03-01 cs.LG cs.NA math.NA
Deep Kernels with Probabilistic Embeddings for Small-Data Learning
Carnegie Mellon University(卡内基梅隆大学);PathAI;Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
已知高斯过程(GP)通过其核函数捕获数据点之间的相似性,即使对于少量标记数据也能提供准确的预测和不确定性估计。然而,传统的GP核在捕获高维数据点之间的相似性方面不是很有效。神经网络可用于学习对高维数据中的复杂结构进行编码的良好表示,并且可用作GP内核的输入。然而,神经网络的巨大数据需求使得这种方法在小数据设置中无效。为了解决表示学习和数据效率的冲突问题,我们提出通过使用概率神经网络来学习概率嵌入上的深度内核。我们的方法将高维数据映射到低维子空间中的概率分布,然后计算这些分布之间的核以捕获相似性。为了实现端到端的学习,我们推导出一个函数梯度下降过程来训练模型。在各种数据集上的实验表明,我们的方法在监督和半监督设置中的GP核学习中的性能优于最先进的方法。我们还将我们的方法扩展到其他小数据范例,如Few-Shot分类,它在迷你Imagenet和CUB数据集上的性能优于以前的方法。
2021-11-14 cs.LG stat.ML
A Maximum Entropy approach to Massive Graph Spectra
Oxford-Man Institute for Quantitative Finance(牛津-曼 quantitative finance 研究所);University of Oxford(牛津大学)
用于测量图相似性或用于学习聚类数的图谱技术需要核平滑。核函数和带宽的选择通常以特别的方式选择,并且严重影响结果输出。我们证明了核平滑偏置的谱密度的时刻。我们提出了一个信息理论上的最优方法来学习一个光滑的图谱密度,它充分尊重矩信息。我们的方法的计算成本是线性的边的数量,因此可以应用于大型网络,具有数百万个节点。我们将我们的方法应用到图相似性和簇数学习的问题中,在合成图和真实图上,我们的性能优于可比的迭代谱方法。
2019-12-19 cs.LG stat.ML
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
Yi Gu
本文研究广义核 t-SNE 在数据点数量趋于无穷时的收敛性,给出广义输入核与输出核的具体形式,并证明其在一定条件下收敛至平衡分布。
2026-10-14 cs.LG math.PR math.ST
Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval
IBM
语言和视觉的联合建模已经引起越来越多的关注。一个多模态数据表示允许双向检索图像的句子,反之亦然是一个关键方面。在本文中,我们提出了三个典型相关分析(CCA)的多模态检索的贡献。首先,我们表明,一个不对称的加权的规范权重,同时实现了从搜索到查询空间的跨视图映射,提高了检索性能。其次,我们设计了一个计算效率高的模型选择,至关重要的推广和稳定性,在Björk Golub算法的框架下,通过频谱滤波正则化CCA。最后,我们介绍了一个分层核句子嵌入(HKSE),近似核CCA的一个特殊的相似性内核之间的分布嵌入在一个向量空间的话。当这三种技术结合使用时,在MSCOCO和Flickr基准上获得了最先进的结果。
2016-12-05 cs.LG
Kernel t-distributed stochastic neighbor embedding
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
本文提出 t-SNE 算法的核化版本,通过在高低维空间应用核技巧保留非欧度量下的成对距离,在多个数据集上实现了更清晰的聚类,提升了涉及核方法分类任务的性能。
2023-11-20 cs.LG
Variational Quantum Kernels with Task-Specific Quantum Metric Learning
IBM(国际商业机器公司)
量子核方法,即,具有量子核的核方法作为量子机器学习(QML)的混合量子经典方法提供了明显的优势,包括对噪声中间尺度量子(NISQ)设备的适用性和用于解决所有类型的机器学习问题的用途。核方法依赖于高维(可能是无限维)特征空间中点之间的相似性概念。对于机器学习,相似性的概念假设在特征空间中接近的点在机器学习任务空间中应该是接近的。在本文中,我们讨论了使用变分量子内核与特定任务的量子度量学习来生成最佳量子嵌入(a.k.a.量子特征编码),其特定于机器学习任务。这种特定于任务的最优量子嵌入,隐含地支持特征选择,不仅对量子核方法在提高后者的性能方面有价值,而且它们对基于参数化量子线路(PQC)的非核QML方法作为预训练嵌入和迁移学习也有价值。这进一步证明了量子核方法的量子效用和量子优势(具有经典难以处理的量子嵌入)。
2022-11-26 cs.LG quant-ph