On the expressivity of embedding quantum kernels
Freie Universität Berlin(柏林自由大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Helmholtz-Zentrum Berlin für Materialien und Energie(亥姆霍兹柏林材料与能源研究中心);Universiteit Leiden(莱顿大学);LIACS, Universiteit Leiden(莱顿大学高级计算机科学研究所)
本文研究嵌入量子核的表达能力,证明任意核函数都可由量子特征态内积表示,并利用随机 Fourier 特征说明平移不变核与组合核可由高效嵌入量子核通用实现。
2024-04-09 cs.LG quant-ph stat.ML
Kernel Exponential Family Estimation via Doubly Dual Embedding
Google Brain(谷歌大脑);Georgia Institute of Technology(佐治亚理工学院);University College London(伦敦大学学院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究了自然参数位于再生核Hilbert空间的指数族分布的惩罚极大对数似然估计。我们的方法的关键是一种新的技术,双对偶嵌入,避免了计算的分区函数。该技术还允许开发灵活的采样策略,该策略在推理阶段分摊Monte-Carlo采样的成本。由此得到的估计可以很容易地推广到核条件指数族。我们建立了核指数族估计和MMD-GANs之间的联系,揭示了理解GANs的新视角。与基于分数匹配的估计器相比,所提出的方法提高了存储器和时间效率,同时具有更强的统计特性,例如在分数匹配估计器出现饱和时完全捕获其统计收敛速度的平滑性。最后,我们表明,建议的估计经验优于国家的最先进的
2019-04-24 cs.LG stat.ML
A General Kernel Framework for Non-CND Distance Measures Using |D|-Dimensional Sparse Landmark Embeddings
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对核方法需CND距离的限制,提出稀疏地标嵌入核,通过紧支撑凸包嵌入任意距离为PSD核,理论保证并实验超越基线。
2026-10-21 cs.LG math.PR stat.ML
Neural-Kernel Conditional Mean Embeddings
Graduate University of Advanced Studies (SOKENDAI)(高等研究生院(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);The University of Adelaide(阿德莱德大学)
提出一种结合深度学习和核条件均值嵌入的新方法,通过端到端神经网络优化避免Gram矩阵求逆,在条件密度估计和强化学习中表现优异。
2024-03-16 cs.LG stat.ML
D2KE: From Distance to Kernel and Embedding
IBM Research(IBM研究院);Carnegie Mellon University(卡内基梅隆大学);College of William and Mary(威廉与玛丽学院)
对于许多机器学习问题设置,特别是对于诸如对象序列或对象集合之类的结构化输入,可以比特征表示更自然地指定输入之间的距离度量。然而,大多数标准的机器模型都是为具有向量特征表示的输入而设计的。在这项工作中,我们认为估计的功能$f:\mathcal{X} \rightarrow \R$完全基于输入之间的相异性测量$d:\mathcal{X}\times\mathcal{X} \rightarrow \R$。特别是,我们提出了一个一般的框架,从一个给定的相异性措施,其中包括广泛使用的\emph{representative-set method}作为一个特殊的情况下,并涉及到众所周知的\emph{distance substitution kernel}在一个限制的情况下,家庭的\emph{positive definite kernels}。我们证明了相应的再生核Hilbert空间(RKHS)中的函数是Lipschitz连续的w.r.t.给定的距离度量。我们提供了一个易于处理的算法来估计这个RKHS函数,并表明它享有更好的推广比最近邻估计。我们的方法借鉴了随机特征的文献,但不是从现有的内核中导出特征映射,而是从随机特征映射中构建新的内核,我们指定给定的距离度量。我们进行分类实验,如字符串,时间序列和向量集,我们提出的框架相比,有利的是现有的基于距离的学习方法,如$k$ -最近邻,距离替代内…
2018-05-25 cs.LG stat.ML
Prior shift estimation for positive unlabeled data through the lens of kernel embedding
Polish Academy of Sciences(波兰科学院);Nicolaus Copernicus University(尼古拉·哥白尼大学);Warsaw University of Technology(华沙理工大学)
本文研究了在目标无标签样本的先验分布估计问题,假设其可能与源群体不同,并且源数据部分可观察:只有正类样本和整个群体的样本可用(PU学习场景)。提出了一种新的直接估计先验分布的方法,避免了对两个群体后验概率的估计,并具有简单的几何解释。该方法基于分布匹配技术与再生核希尔伯特空间中的核嵌入,并作为优化任务的显式解获得。建立了其渐近一致性以及对其与未知先验偏差的显式非渐近界,该界在实践中可计算。通过合成和实际数据研究有限样本行为,证明该方法在性能上与竞争对手相当或更优。
2026-05-21 cs.LG stat.ML
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Literature Review: Graph Kernels in Chemoinformatics
这篇评论的目的是向读者介绍图核和相应的文献,重点是那些直接应用于化学信息学。图核是允许推断分子和化合物的性质的函数,这可以帮助完成诸如在药物设计中找到合适的化合物之类的任务。核方法的使用仅仅是一种特定的方式来量化图之间的相似性。我们的讨论仅限于这一种方法,尽管近年来出现了流行的替代方法,最著名的是图神经网络。
2022-08-26 cs.LG q-bio.QM stat.ML
Kernel spectral joint embeddings for high-dimensional noisy datasets using duo-landmark integral operators
Department of Statistics, University of California, Davis(统计系,加州大学戴维斯分校);Department of Biostatistics, T.H. Chan School of Public Health, Harvard University(生物统计系,哈佛大学T.H. Chan公共卫生学院);Department of Data Science, Dana-Farber Cancer Institute(数据科学系,达纳-法伯癌症研究所);Broad Institute of MIT and Harvard(哈佛大学和MIT Broad研究所)
本文提出基于双地标积分算子的核谱联合嵌入方法,用于高维噪声数据集的整合分析,通过捕捉共享低维结构提升嵌入质量并增强下游任务性能。
2026-02-27 cs.LG stat.ML
Reproducing kernel Hilbert C*-module and kernel mean embeddings
NTT Network Service Systems Laboratories, NTT Corporation(NTT网络服务系统实验室,NTT公司);Graduate School of Science and Technology, Keio University(庆应义塾大学科学与技术研究生院);Center for Data Science, Ehime University(爱媛大学数据科学中心);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心);Faculty of Science and Technology, Keio University(庆应义塾大学科学与技术学部)
核方法是机器学习中最流行的技术之一,其中学习任务使用再生核希尔伯特空间(RKHS)的性质来解决。本文提出了一个新的数据分析框架,再生核希尔伯特$C^*$ -模块(RKHM)和核均值嵌入(KME)在RKHM。由于RKHM包含比RKHS或向量值RKHS(vvRKHS)更丰富的信息,因此使用RKHM进行分析使我们能够捕获和提取功能数据中的结构属性。我们展示了RKHM应用于数据分析的一个分支理论,包括表示定理,以及所提出的KME的内射性和普适性。我们还表明RKHM推广RKHS和vvRKHS。然后,我们提供了具体的程序,采用RKHM和建议的KME数据分析。
2021-12-21 cs.LG math.OA stat.ML
Universality, Characteristic Kernels and RKHS Embedding of Measures
最近已经提出了用于概率测度的希尔伯特空间嵌入,其中任何概率测度被表示为再生核希尔伯特空间(RKHS)中的平均元素。这样的嵌入已经在同质性测试、独立性测试、降维等中得到应用,要求再现核是特征性的,即,嵌入是单射的。在本文中,我们推广这种嵌入有限签署Borel措施,其中任何有限签署Borel措施表示为一个平均元素的RKHS。我们表明,建议的嵌入是单射的当且仅当内核是普遍的。因此,这提供了通用内核的新特征,该通用内核是在通过基于内核的分类/回归算法实现贝叶斯风险的背景下提出的。通过利用这种关系之间的普遍性和嵌入有限签署Borel措施到RKHS,我们建立了通用和特征核之间的关系。
2010-03-03 math.ST stat.ML stat.TH
Kernel Quantile Embeddings and Associated Probability Metrics
University College London(伦敦大学学院);Nanyang Technological University(南洋理工大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出核分位数嵌入(KQEs)构建概率度量,在更弱核条件下成立,恢复核化切片Wasserstein距离,近线性估计,假设检验中媲美MMD。
2025-05-26 cs.LG math.ST stat.ML
Local Group Invariant Representations via Orbit Embeddings
MPI(马普学会);IBM Research(IBM研究院);University of Utah(犹他大学)
对多余变换的不变性是有效表示的理想属性之一。我们考虑变换,形成一个\emph{group},并提出了一种基于核方法的方法来获得本地组不变表示。局部性是通过定义一个合适的概率分布,这反过来又导致在输入特征空间中的分布。我们学习这些分布的决策函数,呼吁核方法的强大框架,并通过核近似生成局部不变的随机特征映射。我们显示一致收敛的核近似的界限,并提供额外的风险界与这些功能的学习。我们在三个真实数据集上评估了我们的方法,包括旋转MNIST和CIFAR-10,并观察到它优于基于竞争内核的方法。所提出的方法还优于深度CNN上旋转MNIST和执行最近提出的组等变CNN。
2017-05-24 cs.LG stat.ML
Dimensionality Reduction of Complex Metastable Systems via Kernel Embeddings of Transition Manifolds
提出了一种新的基于核的机器学习算法,用于识别高维多尺度随机系统有效动力学的低维几何。最近,作者开发了一个数学框架,用于计算此类系统的最佳反应坐标,该框架是基于学习某个函数空间中的低维过渡流形的参数化。在这篇文章中,我们通过在再生核希尔伯特空间中嵌入和学习这个过渡流形来增强这种方法,利用核嵌入的有利性质。在对核的温和假设下,流形结构在嵌入下被保持,并且可以导出失真界。与以前的参数化方法相比,这导致更鲁棒和更有效的算法。
2020-02-03 math.DS stat.ML
Do Kernel and Neural Embeddings Help in Training and Generalization?
Chalmers University of Technology(查尔姆斯理工大学)
神经网络的优化和泛化性能的最新研究结果表明,在一个简单的两层网络中,标签与相应的Gram矩阵的特征向量的对齐决定了训练过程中优化的收敛性。这样的分析也提供了上界的泛化误差。我们通过实验研究了这些结果对嵌入更深层次网络的影响。我们认为最后隐藏层之前的层产生输入数据的不同表示,然后将其馈送到两层模型。我们表明,这些表示提高优化和泛化。特别是,我们调查三个内核表示时,馈送到最后的隐藏层:高斯内核和它的近似随机傅立叶特征,内核设计模仿表示产生的神经网络,最后一个最佳内核设计对齐的数据与目标标签。由这些内核引起的近似表示被馈送到神经网络,并对最终模型的优化和泛化性能进行评估和比较。
2023-02-02 cs.AI cs.LG stat.ML
Mixture Proportion Estimation via Kernel Embedding of Distributions
IBM Research(IBM研究院);Indian Institute of Science(印度科学学院);University of Michigan(密歇根大学)
混合比例估计(MPE)是估计混合物中组分分布的权重的问题,给定混合物和组分的样本。这个问题构成了许多“弱监督学习“问题的关键部分,例如使用正样本和未标记样本进行学习,使用标签噪声进行学习,异常检测和众包。虽然已经提出了几种方法来解决这个问题,据我们所知,没有一个有效的算法证明收敛速度对这个问题的真实比例存在。我们填补了这一空白,构建一个可证明正确的算法MPE,并在一定的假设下,对分布的收敛速度。我们的方法是基于嵌入分布到RKHS,实现它只需要解决一个简单的凸二次规划问题几次。我们在几个标准的分类数据集上运行我们的算法,并证明它在大多数数据集上的性能优于或优于其他算法。
2016-05-31 cs.LG stat.ML
Kernel Embeddings and the Separation of Measure Phenomenon
Departement Mathematik, ETH Zürich(苏黎世联邦理工学院数学系)
本文证明核协方差嵌入在信息论上能完美区分不同连续概率分布,通过将测度相等性问题转化为高斯测度的奇异性和分离性问题,揭示了核方法在高维领域中的有效性机制。
2026-05-13 cs.LG math.ST stat.ML
Recursive Estimation of Conditional Kernel Mean Embeddings
Institute for Computer Science and Control (SZTAKI)(计算机科学与控制研究所(SZTAKI));Eötvös Loránd University (ELTE)(厄特沃什·罗兰大学(ELTE))
本文提出一种在Bochner空间中递归估计条件核均值映射的新算法,将Stone定理推广到局部紧波兰空间上的希尔伯特空间值回归,证明了弱与强L2一致性并给出强渐近界,在欧氏空间、黎曼流形和函数空间子集上验证了效果。
2024-08-30 cs.LG stat.ME stat.ML
Nonlinear functional regression by functional deep neural network with kernel embedding
Department of Statistics and Actuarial Science, University of Hong Kong(香港大学统计与精算科学系);Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学学院);Department of Electrical Engineering, ESAT-STADIUS, KU Leuven(KU Leuven 电子工程系)
针对非线性泛函回归中无限维泛函数据的降维难题,提出融合自适应核嵌入、Mercer 特征函数投影与深度 ReLU 网络的泛函神经网络,并给出逼近速率、ERM 泛化界及实验验证。
2025-05-12 cs.LG stat.ML
Variance-Aware Estimation of Kernel Mean Embedding
Waseda University(早稻田大学);ESSEC Business School(埃塞克商学院)
针对核均值嵌入(KME)的收敛速率问题,提出利用再生核希尔伯特空间方差信息加速收敛的方法,即使方差信息未知也可从数据中高效估计,还将结果扩展至平稳混合序列,在假设检验等场景验证效果。
2025-04-16 cs.LG math.ST stat.ML
Kernelized Cumulants: Beyond Kernel Mean Embeddings
University of Oxford(牛津大学);London School of Economics(伦敦政治经济学院)
本文将累积量推广到再生核希尔伯特空间,提出核化累积量作为通用统计量,并证明其在保持计算复杂度的同时超越一阶核均值嵌入的优势。
2023-10-29 cs.IT cs.LG math.IT
Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization
Mahidol University(玛希隆大学);Idiap Research Institute(Idiap研究所);University of Bern(伯尔尼大学);Centre of Excellence in Mathematics(数学卓越中心)
我们专注于集值输入的核方法及其在贝叶斯集优化,特别是组合优化中的应用。我们研究了两类依赖于再生核希尔伯特空间嵌入的集合核,即最近在贝叶斯集合优化中考虑的“双和”(DS)核,以及在这里引入的一类称为“深嵌入”(DE)核,其基本上包括在希尔伯特空间上应用径向核,该径向核是由另一个核(如DS核)引起的正则距离。我们建立特别是,虽然DS内核通常遭受缺乏严格的正定性,巨大的子类DE内核建立在DS内核拥有这个属性,从而使组合优化,而不需要引入抖动参数。关于考虑内核的理论结果的证明补充了一些关于超参数拟合的实用性。我们还证明了我们的方法在预测和优化任务的适用性,依靠玩具的例子和两个测试案例,分别从机械工程和水文地质。实验结果突出了所考虑的方法的适用性和比较的优点,同时在预测和序列设计与设置输入打开新的视角。
2020-03-10 cs.LG math.ST stat.AP
Kernel Distribution Embeddings: Universal Kernels, Characteristic Kernels and Kernel Metrics on Distributions
核均值嵌入最近引起了机器学习社区的关注。他们将测度$μ$从某个集合$M$映射到具有核$k$的再生核希尔伯特空间(RKHS)中的函数。两个映射度量的RKHS距离是$M$上的半度量$d_k$。我们研究三个问题。(I)对于给定的内核,可以嵌入哪些集合$M$?(II)什么时候嵌入在$M$上是单射的(在这种情况下$d_k$是一个度量)?(III)与$M$上的其他拓扑相比,$d_k$诱导的拓扑如何?现有的机器学习文献已经在$M$是有限正则Borel测度(的子集)的情况下解决了这些问题。我们统一,改进和推广这些结果。我们的方法自然会导致(Schwartz-)分布的连续甚至可能是内射嵌入,即,一般的措施,但读者可以自由地只关注措施。特别是,我们systematives和扩展各种(部分已知)之间的不同概念的通用,特征和严格正定核的等价性,并表明,在一个潜在的局部紧Hausdorff空间,$d_k$度量概率测度的弱收敛当且仅当$k$是连续的和特征。
2019-12-17 math.FA math.PR stat.ML
A simpler condition for consistency of a kernel independence test
可以使用希尔伯特-施密特独立性准则(HSIC)作为检验统计量来构建独立性的统计检验。HSIC被定义为在再生核希尔伯特空间(RKHS)中联合分布的嵌入与边缘的乘积的嵌入之间的距离。先前已经表明,当用于定义联合嵌入的核是特征的(即,联合分布到特征空间的嵌入是单射的)时,则基于HSIC的测试是一致的。特别地,对于单个域上的核的乘积在联合域上是特征性的就足够了。在本文中,通过Lyons(2013)的结果建立了基于HSIC的独立性测试是一致的,当边缘上的核在其各自的域上是特征时,即使核的乘积在联合域上不是特征。
2015-01-25 stat.ML
Learning Random Fourier Features by Hybrid Constrained Optimization
Tsinghua University(清华大学)
核嵌入算法是使核方法适应大数据集的重要组成部分。由于该算法在测试阶段消耗了大量的计算成本,我们提出了一种新的教师-学习者框架,从特定的数据中学习计算效率高的内核嵌入。在该框架中,高精度嵌入(教师)将数据信息传递给计算效率高的内核嵌入(学习者)。我们共同选择信息嵌入函数,并追求两个嵌入之间的正交变换。本文提出了一种新的约束变分期望最大化方法,在最大化步骤中,将交替方向乘子法应用于非凸区域。我们还提出了两个具体的配方的基础上流行的随机傅立叶特征(RFF),掩蔽和阻塞版本的计算效率RFF(CERF),通过施加一个随机的二进制掩码或块结构的变换矩阵。通过在不同真实数据集上的几个应用的实证研究,我们证明了CERF显著提高了RFF的核方法的性能,在一定的算术运算要求下,并适用于快餐型算法中的结构化矩阵乘法。
2017-12-07 cs.CV cs.LG stat.ML
Kernel Mean Embeddings of Von Neumann-Algebra-Valued Measures
NTT Network Technology Laboratories, NTT Corporation(NTT 公司网络技术实验室);Graduate School of Science and Technology, Keio University(庆应义塾大学科学与技术研究生院);Faculty of Science, Ehime University(爱媛大学理学部);Center for Advanced Intelligence Project, RIKEN(理化学研究所革新智能综合研究中心);Faculty of Science and Technology, Keio University(庆应义塾大学理工学部);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所)
核均值嵌入(KME)是分析数据的概率测度的有力工具,其中度量传统地嵌入到再生核希尔伯特空间(RKHS)中。本文将von Neumann-代数值测度的KME推广到再生核Hilbert模(RKHM)中,给出了von Neumann-代数值测度之间的内积和距离.例如,冯诺依曼代数值测度可以编码多变量分布中任意变量对之间的关系,或者量子力学的正算子值测度。因此,这使我们能够执行明确反映变量之间高阶相互作用的概率分析,并提供了一种将机器学习框架应用于量子力学问题的方法。我们还证明了现有KME的内射性和RKHS的普适性被推广到RKHM,这证实了现有KME的许多有用的功能仍然在我们的广义KME。并且,我们使用合成和真实世界的数据调查我们的方法的经验性能。
2020-07-29 cs.LG math.OA stat.ML
Kernel functions based on triplet comparisons
University of Tübingen(图宾根大学);Rutgers University(罗格斯大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
仅给出关于数据集的相似三元组形式的信息“对象A与对象B比与对象C更相似”,我们提出了在数据集上定义核函数的两种方法。虽然以前的方法构建了一个低维的欧几里得嵌入的数据集,反映了给定的相似性三元组,我们的目标是定义对应于高维嵌入的核函数。这些核函数随后可用于将任何核方法应用于数据集。
2017-10-29 cs.DS cs.LG stat.ML
Fast Neural Kernel Embeddings for General Activations
Yale University(耶鲁大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所);Google Research(谷歌研究院)
无限宽度限制通过在神经网络和核方法之间建立联系,为深度学习的泛化和优化方面提供了启示。尽管它们很重要,但由于它们的(超)二次运行时间和内存复杂性,这些内核方法的实用性在大规模学习设置中受到限制。此外,大多数关于神经内核的先前工作都集中在ReLU激活上,这主要是由于其受欢迎程度,但也是由于难以计算用于一般激活的此类内核。在这项工作中,我们通过提供与一般激活一起工作的方法来克服这些困难。首先,我们编译和扩展的激活函数的列表,承认确切的双重激活表达式计算神经内核。当精确的计算是未知的,我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法,该方法可以近似任何多层神经网络高斯过程(NNGP)内核和神经切线核(NTK)矩阵,用于广泛的激活函数,超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球,我们的方法不受这样的限制,并适用于任何数据集的点在$\mathbb{R}^d$。此外,我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸,适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上,相对于精确卷积NTK(CNTK)计算,我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
Kernel method for persistence diagrams via kernel embedding and weight factor
拓扑数据分析是一种新兴的数学概念,用于表征多尺度数据中的形状。在该领域中,持久性图被广泛用作输入数据的描述符,并且可以区分鲁棒和噪声拓扑属性。目前,迫切需要在持久性图上开发一个统计框架来处理实际数据。提出了一种持久图的核方法。我们的方法的一个理论贡献是,建议的内核允许一个控制持久性的效果,如果必要的话,嘈杂的拓扑属性可以在数据分析中打折。此外,该方法提供了一种快速近似技术。将该方法应用于包括物理实际数据在内的几个问题,结果表明,该方法在持久性图上优于现有的核方法。
2017-06-12 math.AT physics.data-an stat.ML
Sequential Kernel Embedding for Mediated and Time-Varying Dose Response Curves
Harvard University(哈佛大学);University College London(伦敦大学学院)
本文提出序贯核嵌入技术,结合核岭回归构建可处理连续变量与非线性反馈的中介及时变剂量反应曲线非参数估计量,并通过模拟与 Job Corps 数据验证其性能和理论性质。
2025-03-16 cs.LG econ.EM stat.ME
Hyperspectral Image Classification with Support Vector Machines on Kernel Distribution Embeddings
MINES ParisTech, PSL-Research University(巴黎矿业学院,PSL研究大学);University of Oxford(牛津大学)
我们提出了一种新的方法在高光谱图像中的像素分类,利用在数据中的空间和光谱信息。所介绍的方法依赖于最近提出的框架,用于学习分布-通过在再生核希尔伯特空间(RKHS)中用平均元素表示它们并在其中制定分类算法。特别是,我们将每个像素与其相邻像素的经验分布相关联,在RKHS中,结合像素本身所包含的光谱信息,给出了一组新的明确的特征,这些特征可以被馈送到一套标准分类技术中-我们选择了一个完善的支持向量机(SVM)框架。此外,通过随机傅立叶特征形式化降低了计算复杂性。我们研究了所提出的方法的一致性和收敛速度,实验表明,与最先进的结果相比,高光谱数据的增益具有很强的性能。
2016-05-30 cs.CV cs.LG stat.ML
Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders
Maxwell Institute for Mathematical Sciences, The University of Edinburgh(爱丁堡大学麦克斯韦数学研究所);Heriot–Watt University(赫瑞瓦特大学);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);LAAS-CNRS(法国国家科学研究中心自动控制与系统分析实验室);Université de Toulouse(图卢兹大学);School of Mathematical & Computer Sciences, Heriot–Watt University(赫瑞瓦特大学数学与计算机科学学院)
该研究提出EDMD-kDL方法,结合配置法与双层优化,通过核字典学习从数据中学习Koopman嵌入,在海温预测、视频学习等实验中性能优于或相当ANN方法,且可扩展至大数据集。
2026-10-09 cs.LG math.DS stat.ML
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用,并取得了很大的实验成功,很少有理论进展,分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入,这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题,以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University(波士顿大学);The University of Sydney(悉尼大学)
我们考虑情景情境下的强化学习(RL)中的后悔最小化问题。在许多现实世界的RL环境中,状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证,无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而,对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中,我们提出了一个在线的基于模型的RL算法,即CME-RL,学习表示的过渡分布作为嵌入在再生核希尔伯特空间,同时仔细平衡开发探索权衡。我们证明了我们的算法的效率,通过证明一个频率论(最坏情况下)的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.},其中$H$是情节长度,$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要,并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Hilbert space embeddings and metrics on probability measures
最近提出了一种用于概率测度的Hilbert空间嵌入,其应用包括降维、同质性检验和独立性检验。该嵌入将任何概率测度表示为再生核希尔伯特空间(RKHS)中的平均元素。概率测度空间上的伪度量可以定义为分布嵌入之间的距离:我们将其表示为$γ_k$,由定义RKHS中内积的核函数$k$索引。我们提出了$γ_k$的三个理论性质。首先,我们考虑确定$γ_k$是度量的核$k$上的条件的问题:这样的$k$被表示为{ \em特征核}。与伪度量不同,只有当两个分布重合时度量才为零,从而确保RKHS嵌入唯一地映射所有分布(即,嵌入是单射的)。虽然以前公布的条件可能只适用于有限的情况下(例如在紧域),很难检查,我们的条件是直接和直观的:有界连续严格正定核的特点。或者,如果一个有界连续核在$\bb{R}^d$上是平移不变的,那么它是特征的当且仅当它的傅里叶变换的支集是整个$\bb{R}^d$。其次,我们证明了在$γ_k$中存在任意接近的不同分布。第三,要了解$γ_k$引起的拓扑结构的性质,我们将$γ_k$与概率测度上的其他流行度量相关联,并在$γ_k$度量弱拓扑结构的内核$k$上给出条件。
2010-01-30 math.ST stat.ML stat.TH
Similarity Learning via Kernel Preserving Embedding
University of Manitoba(曼尼托巴大学);University of Electronic Science and Technology of China(电子科技大学)
数据相似性是许多数据驱动应用中的关键概念。许多算法对相似性度量敏感。为了解决这个基本问题,通过自表达从数据中自动学习相似性信息已经被开发并成功应用于各种模型,例如低秩表示,稀疏子空间学习,半监督学习。然而,它只是试图重建原始数据和一些有价值的信息,例如,歧管结构在很大程度上被忽略。在本文中,我们认为,这是有益的,以保持整体关系时,我们提取相似性信息。具体来说,我们提出了一种新的相似性学习框架,通过最小化核矩阵的重建误差,而不是现有工作所采用的原始数据的重建误差。以聚类任务为例来评估我们的方法,我们观察到相当大的改进相比,其他国家的最先进的方法。更重要的是,我们提出的框架是非常普遍的,并提供了一个新的和基本的积木许多其他基于相似性的任务。此外,我们提出的核保持开辟了大量的可能性,将高维数据嵌入到低维空间。
2019-03-11 cs.AI cs.CV cs.LG
Improved learning theory for kernel distribution regression with two-stage sampling
Apple(苹果公司);Columbia University(哥伦比亚大学);INRIA(法国国家信息与自动化研究所);IMT(图卢兹高等学院)
本文针对两阶段采样下的核分布回归,提出Hilbertian嵌入的近无偏条件并给出新的误差界,严格改进了基于最优传输和均值嵌入的三类核的收敛速率。
2025-09-19 math.ST stat.ML stat.TH
Supervised learning with probabilistic morphisms and kernel mean embeddings
Institute of Mathematics of the Czech Academy of Sciences(捷克科学院数学研究所)
本文提出一种统一两种监督学习方法的生成式模型,利用外概率收敛刻画算法一致性,将 Cucker-Smale 结果扩展至条件概率估计,并提出正则化变体证明过参数化模型的泛化性。
2025-04-28 cs.LG math.CT math.FA
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Bayesian Deconditional Kernel Mean Embeddings
University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
条件核均值嵌入形成了一个有吸引力的非参数框架来表示函数的条件均值,描述了许多复杂模型的观测过程。然而,恢复的原始基础功能的利益,其条件平均值被观察到是一个具有挑战性的推理任务。我们正式deconciliar内核意味着嵌入作为这个逆问题的解决方案,并表明,它可以自然地被视为一个非参数贝叶斯规则。关键的是,我们引入了任务转换高斯过程的概念,并建立deconciliar内核的手段作为其后验预测的意思。这种联系为去卷积核均值嵌入提供了贝叶斯解释和不确定性估计,解释了它们的正则化超参数,并揭示了核超参数学习的边际似然性。这些启示进一步实现了实际应用,如无似然推理和学习大数据的稀疏表示。
2019-06-01 cs.LG stat.ML
The Geometry of Nonlinear Embeddings in Kernel Discriminant Analysis
The Ohio State University(俄亥俄州立大学);Kohl’s(科尔士百货公司)
Fisher线性判别分析是一种经典的分类方法,但它仅限于捕获线性特征。核判别分析作为一种扩展,通过非线性特征映射成功地缓解了这一限制。我们研究了多项式核和高斯核判别分析中的非线性嵌入的几何结构,通过识别依赖于数据分布和核的总体级判别函数。为了获得判别函数,我们解决了广义特征值问题与类间和类内协方差算子。多项式判别式捕捉类的差异,通过人口的时刻明确。对于高斯判别式的近似,我们使用一个特定的表示的高斯核,利用指数生成函数的厄米多项式。我们还表明,高斯判别式可以近似使用随机投影的数据。我们的研究结果说明了数据分布和核函数在非线性嵌入判别中的相互作用,并为核函数及其参数的选择提供了指导。
2020-05-12 cs.LG stat.ML
Statistical Optimal Transport posed as Learning Kernel Embedding
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Microsoft IDC(微软IDC)
统计最优运输(OT)的目标是仅使用来自给定源和目标边际分布的样本来一致地估计最优运输计划/地图。这项工作采取了新的方法,提出统计OT的学习交通计划的核心均值嵌入基于样本的边缘嵌入的估计。建议的估计控制过拟合采用最大均值差异的正则化,这是互补的$ϕ$ -发散(熵)的正则化流行采用现有的估计。一个关键的结果是,在非常温和的条件下,$ε$ -最佳的恢复的运输计划以及基于重心投影的运输地图是可能的样本的复杂性是完全无量纲的。此外,核均值嵌入中的隐式平滑实现了样本外估计。一个适当的表示定理证明导致核化凸公式的估计,然后可以潜在地用于执行OT,即使在非标准域。实证结果表明,所提出的方法的有效性。
2020-11-10 cs.LG stat.ML
An Asymptotic Test for Conditional Independence using Analytic Kernel Embeddings
CREST(法国 Crest 研究中心);ENSAE(法国国家统计与经济管理学院);Facebook AI Research(脸书人工智能研究院);Université Paris-Dauphine(巴黎多芬大学);Technion(以色列理工学院)
我们提出了一个新的条件依赖性度量和条件独立性的统计检验。该措施是基于两个非常适合的分布在一组有限的位置评估的分析内核嵌入之间的差异。在条件独立性的原假设下得到了它的渐近分布,并由此设计了一个一致性统计检验,通过一系列的实验表明,即使在高维情况下,我们的新检验在I类和第二类错误方面也优于现有的方法.
2022-06-16 cs.LG stat.ML
Hypergraph Modeling via Spectral Embedding Connection: Hypergraph Cut, Weighted Kernel $k$-means, and Heat Kernel
University College London(伦敦大学学院)
我们提出了一个理论框架的多路相似性模型的实值数据到超图聚类通过谱嵌入。对于基于图割的谱聚类,通常通过使用核函数建模成对相似性来将实值数据建模为图。这是因为核函数与图割有理论上的联系。对于使用多路相似性比成对相似性更合适的问题,很自然地将其建模为超图,超图是图的推广。然而,尽管超图割已经得到了很好的研究,但还没有建立一个基于超图割的框架来建模多路相似性。在本文中,我们制定了多路相似性利用核函数的理论基础。我们表明我们的配方和超图切在两种方式,推广加权核$k$ -手段和热核,我们证明我们的配方之间的理论联系。我们还提供了一个快速算法的谱聚类。我们的算法经验显示出更好的性能比现有的图和其他启发式建模方法。
2022-08-16 cs.LG stat.ML
Nyström Kernel Mean Embeddings
Università di Genova(热那亚大学);École normale supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);MIT(麻省理工学院);IIT(意大利理工学院)
核均值嵌入是将任意空间上的概率分布表示为Hilbert空间中的单点的有力工具。然而,计算和存储这种嵌入的成本阻止了它们在大规模环境中的直接使用。我们提出了一个有效的近似程序的基础上的Nyström方法,利用一个小的随机子集的数据集。我们的主要结果是这个过程的近似误差的上限。它产生的子样本大小,以获得标准的$n^{-1/2}$率,同时降低计算成本的充分条件。我们讨论了应用这一结果的近似的最大平均差异和求积规则,并说明我们的理论研究结果与数值实验。
2022-06-15 cs.LG stat.ML
Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings
University of Oxford(牛津大学)
当前的元学习方法专注于学习变量之间关系的函数表示,即在回归中估计条件期望。然而,在许多应用中,我们面临着条件分布,它不能仅仅用期望值来有意义地概括(由于多模态等原因)。因此,我们考虑元学习环境中的条件密度估计问题。我们引入了一种新的元学习技术,它结合了神经表示和噪声对比估计与再生核希尔伯特空间的条件均值嵌入的既定文献。该方法在合成和现实世界的问题上进行了验证,展示了在多个条件密度估计任务中共享学习表示的实用性。
2021-02-23 cs.LG stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
在无似然设置的可能性评估是棘手的,近似贝叶斯计算(ABC)解决了艰巨的推理任务,发现合理的参数解释的观察模拟程序。然而,它们需要大量的模拟调用。重要的是,决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率,但很难调整。在本文中,我们提出了内核嵌入似然自由推理(KELFI),一个整体框架,自动学习模型超参数,以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性,我们非参数地近似似然和后验作为代理密度,并从封闭形式的后验均值嵌入中采样,其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control(SZTAKI:计算机科学与控制研究所);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象,因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架,并结合条件核均值映射的一致点估计,以构造分布自由的假设检验。这些测试以灵活的方式引入,使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的,即,第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
An Overview of Causal Inference using Kernel Embeddings
University of Adelaide(阿德莱德大学)
本文综述了核嵌入方法在因果推断领域的应用,介绍其通过将概率测度映射到RKHS实现灵活分布表示,为解决观测数据的因果识别与效应估计等问题提供鲁棒非参数框架。
2024-10-30 cs.LG stat.ME stat.ML
Low-Rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所高级智能项目中心(AIP));Guangdong University of Technology(广东工业大学)
虽然卷积神经网络(CNN)近年来已广泛应用于各种图像处理和计算机视觉任务,但如何在资源有限的平台上降低参数的存储成本仍然是一个具有挑战性的问题。在以前的研究中,张量分解(TD)通过将卷积层的内核嵌入到低秩子空间中来实现有希望的压缩性能。然而,TD的使用是在内核或其指定的变体上天真地使用。与传统的方法不同,本文表明,内核可以嵌入到更一般的,甚至是随机的低秩子空间。我们通过使用CIFAR-10的标准分类任务通过随机混洗张量分解(RsTD)压缩卷积层来证明这一点。此外,我们分析了训练数据的空间相似性如何影响核的低秩结构。实验结果表明,即使核被随机混洗,CNN也可以被显著压缩。此外,RsTD为基础的方法产生更稳定的分类精度比传统的TD为基础的方法在大范围的压缩比。
2018-10-31 cs.LG stat.ML
Bayesian Learning of Kernel Embeddings
核方法是机器学习的支柱之一,但核学习问题仍然具有挑战性,只有很少的理论和很少的理论。这在基于概率测度的核均值嵌入估计的方法中是特别重要的。对于特征核,包括最常用的核,核均值嵌入唯一地确定了它的概率测度,因此它可以用来设计一个强大的统计测试框架,包括非参数双样本和独立性测试。然而,在实践中,这些测试的性能可以是非常敏感的内核和它的长度尺度参数的选择。为了解决这个核心问题,我们提出了一个新的概率模型的内核均值嵌入,贝叶斯核嵌入模型,结合高斯过程之前的再生核希尔伯特空间包含的均值嵌入与共轭似然函数,从而产生一个封闭的形式后验均值嵌入。我们模型的后验均值与最近提出的核均值嵌入的收缩估计密切相关,而后验不确定性是一个新的,有趣的特征,具有各种可能的应用。至关重要的核学习的目的,我们的模型给出了一个简单的,封闭形式的边缘伪随机观测数据给定的内核超参数。该边缘伪随机数可以被优化以通知超参数选择,或者可以使用完全的贝叶斯推断。
2016-06-02 stat.ML
Deep Kernels with Probabilistic Embeddings for Small-Data Learning
Carnegie Mellon University(卡内基梅隆大学);PathAI;Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
已知高斯过程(GP)通过其核函数捕获数据点之间的相似性,即使对于少量标记数据也能提供准确的预测和不确定性估计。然而,传统的GP核在捕获高维数据点之间的相似性方面不是很有效。神经网络可用于学习对高维数据中的复杂结构进行编码的良好表示,并且可用作GP内核的输入。然而,神经网络的巨大数据需求使得这种方法在小数据设置中无效。为了解决表示学习和数据效率的冲突问题,我们提出通过使用概率神经网络来学习概率嵌入上的深度内核。我们的方法将高维数据映射到低维子空间中的概率分布,然后计算这些分布之间的核以捕获相似性。为了实现端到端的学习,我们推导出一个函数梯度下降过程来训练模型。在各种数据集上的实验表明,我们的方法在监督和半监督设置中的GP核学习中的性能优于最先进的方法。我们还将我们的方法扩展到其他小数据范例,如Few-Shot分类,它在迷你Imagenet和CUB数据集上的性能优于以前的方法。
2021-11-14 cs.LG stat.ML
A Kernel Embedding-based Approach for Nonstationary Causal Model Inference
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然非平稳数据在现实世界中更常见,但大多数现有的因果发现方法都没有考虑非平稳性。在这封信中,我们提出了一个基于内核嵌入的方法,ENCI,非平稳因果模型的推理,数据收集从多个域不同的分布。在ENCI中,我们将因果对的复杂关系转化为变量的线性模型,其观测值对应于不同域中因果分布的核嵌入。通过这种方式,我们能够利用变换后的线性模型的因果不对称性来估计因果方向。此外,我们将ENCI扩展到多个变量的因果图发现,通过将它们之间的关系转化为线性非高斯非循环模型。我们表明,通过利用分布的非平稳性,因果对和两种因果图是可识别的温和条件下。合成和真实世界的数据进行实验,以证明ENCI的有效性,主要现有的方法。
2018-09-23 cs.LG stat.ML
Positive semi-definite embedding for dimensionality reduction and out-of-sample extensions
CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
在机器学习或统计学中,通常期望降低高维空间$\mathbb{R}^d$中的数据点样本的维度。本文介绍了一种降维方法,其中嵌入坐标是作为半定程序的无穷维模拟的解而获得的半正定核的特征向量。这种嵌入是自适应的和非线性的。我们讨论了这个问题,弱和强光滑性假设的学习内核。我们的方法的一个主要特点是在这两种情况下的嵌入坐标的样本外扩展公式的存在。该外推公式将核矩阵扩展为数据依赖的Mercer核函数。我们的实证结果表明,这种嵌入方法是更强大的离群值的影响,与谱嵌入方法相比。
2021-11-27 cs.LG stat.ML