The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University(斯坦福大学);Preferred Networks;The Institute of Statistical Mathematics(统计数理研究所)
我们形式化了两种流行的贝叶斯推理方法之间的等价性:斯坦变分梯度下降(SVGD)和黑箱变分推理(BBVI)。特别是,我们表明,BBVI正好对应于SVGD时,内核是神经切线核。此外,我们解释SVGD和BBVI内核梯度流,我们这样做,利用最近的观点,认为SVGD作为一个梯度流的概率分布的空间,并显示BBVI自然激励黎曼结构的空间。我们观察到,内核梯度流也描述了生成对抗网络(GANs)训练中发现的动态。因此,这项工作统一了变分推理和生成建模中的几种现有技术,并将内核确定为控制这些算法行为的基本对象,从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics(查尔斯河分析公司)
高斯过程是概率机器学习的强大模型,但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法,用于导出具有紧凑空间支持的核函数的参数族,从而产生自然稀疏的核矩阵,并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数,例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者,我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时,在精确模型上产生的误差最小,并且在现实世界的信号重建任务中可以优于传统的GP内核,同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
An Overview of Causal Inference using Kernel Embeddings
University of Adelaide(阿德莱德大学)
本文综述了核嵌入方法在因果推断领域的应用,介绍其通过将概率测度映射到RKHS实现灵活分布表示,为解决观测数据的因果识别与效应估计等问题提供鲁棒非参数框架。
2024-10-30 cs.LG stat.ME stat.ML
Statistical inference on black-box generative models in the data kernel perspective space
Johns Hopkins University(约翰霍普金斯大学);Nomic AI
本文提出在数据核视角空间中对黑盒生成模型进行统计推断,扩展了模型表示方法,并验证其在多种推断任务中的有效性。
2025-05-22 cs.LG stat.ML
Approximation beats concentration? An approximation view on inference with smooth radial kernels
Ohio State University(俄亥俄州立大学)
正定核及其相关的再生核希尔伯特空间为从数据中学习提供了一个数学上令人信服且实际上具有竞争力的框架。在本文中,我们采取近似理论的观点来探讨光滑核的各个方面与它们的推理性质。我们分析了核算子和矩阵的特征值衰减,特征函数/特征向量的性质和“傅立叶”系数的功能限制在一个离散的数据点的核空间。我们还研究了核的拟合能力,给出了再生核希尔伯特空间中球的脂肪粉碎维数的明确界限。有趣的是,使核函数在其“原生”核空间中非常有效的逼近器的相同属性,也限制了它们表示任意函数的能力。我们讨论了各种影响,包括那些梯度下降型方法。值得注意的是,我们的大多数边界都是测度独立的。此外,至少在中等维度上,特征值的界限比通常的矩阵集中结果所能得到的界限要严格得多。例如,我们看到核矩阵的特征值显示出近似指数衰减,常数仅取决于核和域。我们称之为“近似节拍集中”现象,因为即使数据是从概率分布中采样的,它们的一些方面在近似理论中也能得到更好的理解。
2018-08-02 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris(巴黎电信学院);CentraleSupélec(中央理工-高等电力学院);University of Milan(米兰大学)
本文提出用草图化近似同时处理输入和输出核,以加速代理核方法在结构化预测中的训练与推理,并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Efficient EM-Variational Inference for Hawkes Process
Data61, CSIRO(联邦科学与工业研究组织Data61);University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
在经典Hawkes过程中,基线强度和触发核分别假设为常数和参数函数,这限制了模型的灵活性。为了推广它,我们提出了一个完全贝叶斯非参数模型,即高斯过程调制的Hawkes过程,并提出了EM-变分推理方案。在该模型中,高斯过程的变换被用作基线强度和触发核的先验。通过引入潜在分支结构,基线强度和触发核的推理被解耦,变分推理方案被自然地嵌入到EM框架中。我们还提供了一系列的方案,以加快推理。合成数据和实际数据的实验结果表明,该方法不受参数限制,可以恢复出潜在的基线强度和触发核,且贝叶斯非参数估计优于其他方法。
2019-10-29 cs.LG stat.ML
FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
本文提出了一种基于一般参数化核和事件离散化的快速梯度求解器FaDIn,用于高效进行Hawkes过程推断,在脑磁图信号建模中实现了优于现有技术的模式延迟估计。
2023-08-02 cs.LG stat.ML
Stein Variational Gradient Descent With Matrix-Valued Kernels
UT Austin(德克萨斯大学奥斯汀分校)
Stein变分梯度下降(SVGD)是一种基于粒子的推理算法,它利用梯度信息进行有效的近似推理。在这项工作中,我们提高了SVGD利用预处理矩阵,如Hessian和费舍尔信息矩阵,将几何信息到SVGD更新。我们通过提出SVGD的一般化来实现这一点,该一般化用更一般的矩阵值核取代vanilla SVGD中的标数值核。这产生了SVGD的显著扩展,更重要的是,允许我们灵活地结合各种预处理矩阵来加速概率景观中的探索。实证结果表明,我们的方法优于香草SVGD和各种基线方法在一系列现实世界的贝叶斯推断任务。
2019-11-05 cs.LG stat.ML
A Kernel Embedding-based Approach for Nonstationary Causal Model Inference
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
虽然非平稳数据在现实世界中更常见,但大多数现有的因果发现方法都没有考虑非平稳性。在这封信中,我们提出了一个基于内核嵌入的方法,ENCI,非平稳因果模型的推理,数据收集从多个域不同的分布。在ENCI中,我们将因果对的复杂关系转化为变量的线性模型,其观测值对应于不同域中因果分布的核嵌入。通过这种方式,我们能够利用变换后的线性模型的因果不对称性来估计因果方向。此外,我们将ENCI扩展到多个变量的因果图发现,通过将它们之间的关系转化为线性非高斯非循环模型。我们表明,通过利用分布的非平稳性,因果对和两种因果图是可识别的温和条件下。合成和真实世界的数据进行实验,以证明ENCI的有效性,主要现有的方法。
2018-09-23 cs.LG stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法,其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算,如核求和规则和核贝叶斯规则而发展起来。然而,目前的框架是完全非参数的,它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型(或仿真模型)可用时,这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法,称为{ \em模型为基础的内核和规则}(Mb-KSR),结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合,可以开发用于混合(即,非参数和基于模型的)推断。作为一个说明性的例子,我们考虑贝叶斯滤波的状态空间模型,通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法,结合基于模型的推理的状态转换过程和数据驱动的,非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验,后者是基于视觉的移动机器人定位在机器人技术,这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Kernel Semi-Implicit Variational Inference
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Statistical Science, Peking University(北京大学统计科学中心)
本文提出核半隐式变分推断(KSIVI),通过核技巧消除下层优化,将上层目标转化为可计算的核 Stein 差异,并推导梯度方差上界以提供收敛保证,在合成与真实数据贝叶斯推断中验证了有效性与效率。
2024-05-29 cs.LG stat.ML
Scalable Learning and MAP Inference for Nonsymmetric Determinantal Point Processes
Criteo AI Lab(Criteo AI实验室);KAIST(韩国科学技术院);Google Research(谷歌研究院);ENSAE ParisTech(巴黎高等统计与经济管理学院)
决定性点过程(DPPs)由于其能够对从大项目集合中提取的子集进行建模的能力而在机器学习中引起了极大的关注。最近的工作表明,非对称DPP(NDPP)内核在建模能力和预测性能方面比对称内核具有显着的优势。然而,对于大小为$M$的项目集合,现有的NDPP学习和推理算法在$M$中需要二次存储器,并且在$M$中需要三次(用于学习)或二次(用于推理),这使得它们对于许多典型的子集选择任务来说是不切实际的。在这项工作中,我们开发了一个学习算法的空间和时间要求线性$M$通过引入一个新的NDPP核分解。我们还推导出一个线性复杂度的NDPP最大后验概率(MAP)推理算法,不仅适用于我们的新内核,也适用于以前的工作。通过对真实世界数据集的评估,我们表明我们的算法具有更好的扩展性,并且可以匹配先前工作的预测性能。
2021-04-13 cs.LG stat.ML
Causal Inference via Kernel Deviance Measures
University of Oxford(牛津大学);Department of Statistics(统计系);DeepMind(DeepMind(深度思维))
发现一组变量之间的因果结构是许多科学领域的基本问题。在本文中,我们提出了核条件偏差因果推理(KCDC)的一个完全非参数的因果发现方法的基础上纯粹的观测数据。从一个新的解释之间的因果关系的不对称性的概念,我们得到了相应的不对称性措施使用再生核希尔伯特空间的框架。在此基础上,我们提出了三个决策规则的因果发现。我们证明了我们的方法在一系列不同的合成数据集的广泛适用性。此外,我们在真实世界的时间序列数据和真实世界的基准数据集Tubingen因果对上测试了我们的方法,在这些数据集上,我们的性能优于现有的最先进的方法。
2018-04-12 cs.LG stat.ME stat.ML
Inference of Spatio-Temporal Functions over Graphs via Multi-Kernel Kriged Kalman Filtering
Univ. of Minnesota(明尼苏达大学);Univ. of Agder(阿格德大学)
图上的时空变化信号的推断在大量的网络科学相关应用中自然出现。一个经常遇到的挑战涉及重建这样的动态过程,给定它们的值在一个子集的顶点和时刻。本论文开发了一个图形感知的基于核的克里金卡尔曼滤波器,占时空变化,并提供有效的在线重建,即使是动态演变的网络拓扑结构。基于内核的学习框架通过利用图形信号相对于底层图形所表现出的平滑性来绕过对统计信息的需求。为了解决选择合适的内核的挑战,建议的过滤器与多内核选择模块相结合。这种数据驱动的方法在预先选择的字典的线性跨度内选择与信号动态动态一致的内核。新的多核学习算法利用拉普拉斯核矩阵的特征结构来降低计算复杂性。合成和真实数据的数值试验表明,相对于国家的最先进的替代品的新方法的优越的重建性能。
2017-11-25 cs.LG eess.SP stat.ML
New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation
University of Kansas(堪萨斯大学);University of Florida(佛罗里达大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
我们提出了一个直观的,机器学习的方法,多参数推理,被称为InferoStatic网络(ISN)的方法,建模的得分和似然比估计的情况下,概率密度可以采样,但不能直接计算。ISN使用后端神经网络,该后端神经网络对称为下静电位$φ$的标量函数进行建模。此外,我们引入了新的策略,分别称为核得分估计(KSE)和核似然比估计(KLRE),从模拟数据中学习得分和似然比函数。我们说明了一些玩具的例子,并与现有的方法在文献中的新技术。我们顺便提到了一些新的损失函数,它们将模拟中的潜在信息最佳地结合到训练过程中。
2023-02-03 cs.LG hep-ex hep-ph
Large Scale Tensor Regression using Kernels and Variational Inference
我们概述了张量因子分解模型的内在弱点时,潜在的因素表示为边信息的函数,并提出了一种新的方法来减轻这种弱点。我们创造了我们的方法\textit{Kernel Fried Tensor}(KFT),并提出它作为一个大规模的预测工具,高维数据。我们的研究结果显示出优越的性能对\textit{LightGBM}和\textit{Field Aware Factorization Machines}(FFM),两个算法与成熟的跟踪记录广泛用于工业预测。我们还开发了一个变分推断框架KFT和我们的预测与校准的不确定性估计三个大规模的数据集。此外,经验表明,KFT对常数和高斯噪声方面的无信息边信息是鲁棒的。
2020-02-11 cs.LG stat.CO stat.ML
Kernel Implicit Variational Inference
Tsinghua University(清华大学);University of Toronto(多伦多大学)
变分推断的最新进展十分关注变分后验的灵活性。一个有希望的方向是使用隐式分布,即,分布没有易处理的密度作为变分后验。然而,现有的隐式后验方法仍然面临着噪声估计和计算不可行的挑战时,应用于高维潜变量模型。在本文中,我们提出了一种新的方法命名为核隐式变分推断,以解决这些挑战。据我们所知,第一次隐式变分推断成功地应用到贝叶斯神经网络,这表明在回归和分类任务有希望的结果。
2018-02-23 cs.AI cs.LG cs.NE
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol(数学系英国布里斯托尔大学)
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架,通过低秩近似Gram矩阵实现后验一致性,并引入乘积特征图核解决过平滑问题,实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
Wald-Kernel: Learning to Aggregate Information for Sequential Inference
The Ohio State University(俄亥俄州立大学)
序贯假设检验是一种理想的决策策略,在任何时间敏感的情况下。与固定样本量检验相比,序贯检验能够平均使用较少的样本达到相同的错误概率要求。对于二进制检测问题,众所周知,对于已知的密度函数,在固定的错误率约束下,累积似然比统计量是时间最优的。本文研究了在密度函数不可用时,从训练样本中学习二进制序列检测器的问题。我们制定的问题作为一个约束似然比估计,可以有效地解决通过凸优化施加再生核希尔伯特空间(RKHS)结构的对数似然比函数。此外,我们提供了一个计算效率高的近似解决方案,为大规模的数据集。所提出的算法,即沃尔德核,测试合成数据集和两个现实世界的数据集,连同以前的方法似然比估计。我们的实证结果表明,通过所提出的技术训练的分类器实现更小的平均采样成本比以前的方法在文献中提出的相同的错误率。
2017-11-16 cs.LG stat.ML
Adaptive Deep Kernel Learning
InVivo AI;Université Laval(拉瓦尔大学);Mila;Element AI
深度内核学习提供了一个优雅且有原则的框架,用于将深度学习算法的结构属性与内核方法的灵活性相结合。通过深度神经网络,我们学习了一个参数化的核算子,可以在推理过程中与可微核算法相结合。虽然在这个框架内以前的工作主要集中在学习一个单一的内核的大型数据集,我们学习了一个内核系列的各种Few-Shot回归任务。与单个深度内核学习相比,我们的算法能够在推理过程中为每个任务识别适当的内核。因此,它很好地适应复杂的任务分布在一个少样本学习设置,我们通过比较现有的国家的最先进的算法,使用现实世界中,Few-Shot回归任务相关的药物发现领域。
2020-12-11 cs.LG stat.ML
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题,其解等价于贝叶斯后验分布的再生核希尔伯特空间(RKHS)嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外,优化问题导致了一个新的正则化的后验嵌入估计,这是更快,并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致,其一致性仍有待建立。我们的理论工作解决了这个开放的问题,并在回归设置中提供了一致性分析。基于我们的优化配方,我们提出了一个灵活的贝叶斯后验正则化框架,这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务,并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Model inference for Ordinary Differential Equations by parametric polynomial kernel regression
The Alan Turing Institute(艾伦·图灵研究所);Mathematics Institute, University of Warwick(华威大学数学研究所)
动态系统的模型推断旨在从观测结果中估计系统的未来行为。无模型的统计方法,如人工神经网络,往往对这些任务表现不佳。因此,它们不太适合应用中的许多问题,例如贝叶斯滤波和可靠性估计。这项工作介绍了一个参数多项式核方法,可用于推断未来的行为的常微分方程模型,包括混沌动力系统,从观察。使用数值积分技术,可以使用反向传播和随机梯度下降来学习常微分方程的参数表示。这里提出的多项式技术是基于非参数方法,核岭回归。然而,非参数核岭回归的时间复杂度与训练数据点的数量成三次比例。我们的参数多项式方法避免了这种维数灾难的表现,这在处理大型时间序列数据集时变得特别相关。两个数值演示。首先,一个简单的回归测试的情况下,用来说明该方法,并与标准的人工神经网络技术的性能进行比较。第二,一个更实质性的测试案例是混沌时空动力系统的推论,洛伦兹-伊曼纽尔系统,从观察。我们的方法是能够成功地跟踪系统的未来行为的时间周期远大于训练数据采样率。最后,提出了该方法的一些局限性,以及为未来的工作,以减轻这些限制提出了方向。
2019-08-06 cs.LG stat.ML
A variational approximate posterior for the deep Wishart process
University of Cambridge(剑桥大学);University of Bristol(布里斯托大学)
最近的工作引入了深度内核进程作为NN的完全基于内核的替代方案(Aitchison et al. 2020)。深度内核进程通过交替地从半正定矩阵上的分布中采样内核并执行非线性变换来灵活地学习良好的顶层表示。一个特定的深度核过程,深度Wishart过程(DWP),是特别感兴趣的,因为它的先验可以等效于深度高斯过程(DGP)先验的内核,可以完全表示在革兰氏矩阵。然而,由于缺乏足够灵活的分布在半正定矩阵的DWPs的推理尚未成为可能。在这里,我们给出了一种新的方法来获得灵活的分布在半正定矩阵广义Bartlett分解的Wishart概率密度。我们使用这个新的分布开发一个近似后的DWP,包括跨层的依赖性。我们开发了一个双随机诱导点推理计划的DWP和实验表明,在DWP的推理可以提高性能比在DGP与等效的先验做推理。
2021-12-03 cs.LG stat.ML
Fast Gaussian process inference by exact Matérn kernel decomposition
Guangdong Provincial/Zhuhai Key Laboratory of Interdisciplinary Research and Application for Data Science, Beijing Normal-Hong Kong Baptist University(广东/珠海交叉学科与数据科学应用重点实验室,北京师范大学-香港 Baptist大学);EDF Lab, FiME (Laboratoire de Finance des Marchés de l’Énergie)(EDF实验室,FiME(能源市场金融实验室))
本文提出一种基于精确核分解为加权经验累积分布函数的快速高斯过程推断算法,适用于半整数平滑参数的多元Matérn核,采用分治策略,有效处理数十万数据点的低维问题。
2025-08-03 cs.DS cs.LG stat.CO
Kernel Distillation for Fast Gaussian Processes Prediction
Cornell Tech(康奈尔科技学院);Cornell University(康奈尔大学)
高斯过程(GP)是一种灵活的模型,由于其非参数性质,可以捕获大规模数据集中的复杂结构。然而,在现实世界中的应用是有限的,由于他们的高计算成本在推理时间的GP。在本文中,我们介绍了一个新的框架,\textit{kernel distillation},近似一个完全训练的教师GP模型的大小为$n\times n$为$n$训练点的核矩阵。在蒸馏过程中,我们将诱导点方法与稀疏低秩近似相结合。提取的学生GP模型只消耗$m$诱导点的$O(m^2)$存储,其中$m \ll n$,并提高了推理时间复杂度。我们的经验表明,内核蒸馏提供了更好的权衡之间的预测时间和测试性能相比,替代品。
2018-11-05 cs.LG stat.ML
Nonparametric variational inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分方法被广泛用于近似后验推理。然而,它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制,我们提出了一个家庭的变分近似的启发,非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化,以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式,这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型,标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Kernel Conditional Moment Constraints for Confounding Robust Inference
ETH Zürich(苏黎世联邦理工学院)
本文针对离线情境老虎机在未观测混淆下的策略评估问题,提出基于核条件矩约束的通用估计器,可给出策略价值的锐利下界,并扩展了基于f-散度的边际敏感性模型。
2023-09-14 cs.LG stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney(悉尼大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Australian National University(澳大利亚国立大学)
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架,但它们的性能高度依赖于核和正则化超参数的选择。然而,目前的超参数调整方法主要依赖于昂贵的交叉验证或推理,这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入,我们提出了一个基于拉德马赫复杂度界限的超参数学习框架,通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新,允许可扩展的内核超参数调整,而无需调用内核近似。实验表明,我们的学习框架优于竞争方法,并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术,并提出一致的方差估计。建议的方差估计是基于一个线性化的方法,采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时,建立了插补估计的根-n相合性,从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Gradient Boosting Performs Gaussian Process Inference
ShareChat;Yandex Research(Yandex研究院);HSE University(高等经济大学)
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此,我们获得了高斯过程的后验均值的收敛,这反过来又使我们能够轻松地将梯度提升从后验转换为采样器,以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明,建议的采样器允许更好的知识不确定性估计,从而改善域外检测。
2023-03-13 cs.LG stat.ML
Kernel-based Inference of Functions over Graphs
University of Agder(阿格德尔大学)
在过去的几十年里,随着几种开创性的方法的引入,网络的研究出现了爆炸性的增长。一个特别有趣的--在几个研究领域中普遍存在的--问题是推断一个定义在网络节点上的函数。这项工作提出了一个多功能的基于内核的框架来解决这个推理问题,自然地包含和概括了最近提出的重建方法的信号处理图社区。静态和动态设置都被认为是与有效的建模方法来解决现实世界的问题。本文的分析讨论是由一组数值例子,展示了所提出的技术的有效性,以及他们的优点相关的国家的最先进的方法的补充。
2018-04-10 cs.LG eess.SP stat.ML
Learning to Learn Kernels with Variational Random Features
Inception Institute of Artificial Intelligence(起源人工智能研究院);Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);School of Software, Shandong University(山东大学软件学院);College of Computer Science, Nankai University(南开大学计算机学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
在这项工作中,我们在元学习框架中引入具有随机傅立叶特征的内核,以利用其强大的少样本学习能力。我们提出了Meta变分随机特征(MetaVRF)学习自适应内核的基础学习者,这是在一个潜在的变量模型,通过治疗的随机特征的基础作为潜在的变量。我们制定的MetaVRF优化作为一个变分推理问题,推导出一个证据下界下的元学习框架。为了整合来自相关任务的共享知识,我们提出了一种后验的上下文推理,它是由LSTM架构建立的。基于LSTM的推理网络可以有效地将先前任务的上下文信息与任务特定信息相结合,生成信息丰富的自适应特征。学习后的MetaVRF可以以相对低的频谱采样率产生具有高表示能力的内核,并且还能够快速适应新任务。在各种Few-Shot回归和分类任务上的实验结果表明,与现有的元学习替代方案相比,MetaVRF提供了更好的性能,或者至少具有竞争力。
2020-08-13 cs.LG stat.ML
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理(PSI)算法,该算法不仅可以处理数据中的非线性,而且可以处理多维和多标签输出等结构化输出。具体来说,我们开发了一个PSI算法的独立性措施,并提出了希尔伯特施密特独立准则(HSIC)的PSI算法(hsicInf)。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说,该算法可以用于更广泛的应用,包括非线性多类分类和多变量回归,而现有的PSI算法不能处理它们。通过合成实验,我们表明,该方法可以找到一组统计上显着的回归和分类问题的功能。此外,我们将hsicInf算法应用于真实世界的数据,并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
Approximate Inference Turns Deep Networks into Gaussian Processes
RIKEN Center for AI Project(日本理化学研究所人工智能项目中心);EPFL(洛桑联邦理工学院);Technical University of Denmark(丹麦技术大学)
深度神经网络(DNN)和高斯过程(GP)是两个强大的模型,有几个理论联系,但它们的训练方法之间的关系还没有得到很好的理解。在本文中,我们证明了贝叶斯DNN的某些高斯后验近似等价于GP后验。这使我们能够将深度学习算法的解决方案和迭代与GP推理联系起来。因此,我们可以在训练DNN时获得GP内核和非线性特征映射。令人惊讶的是,得到的内核是神经正切内核。我们展示了在真实数据集上获得的内核,并演示了使用GP边缘似然来调整DNN的超参数。我们的工作旨在促进在实际环境中结合DNN和GP的进一步研究。
2020-07-19 cs.AI cs.LG stat.ML
Kernel Ridge Regression Inference
Society of Fellows and Department of Economics, Harvard University(哈佛大学费尔 fellows 社会与经济学系);Department of Economics, U.C. San Diego(圣地亚哥大学经济学系)
研究核岭回归的推断问题,构建有效精确且收缩率接近极小极大率的置信集,采用反对称乘数的自助程序,用于开发关于学生匹配效应的检验。
2026-07-23 cs.LG math.ST stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下,对多输出核方法的兴趣都在增加。从高斯过程的角度来看,多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程(CP)。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence(2009)最近提出了一种CP的稀疏近似,可以实现有效的推理。在本文中,我们在两个方向上扩展这项工作:我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数,我们考虑基于变分方法的近似推理的替代方法,将Titsias(2009)的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩,编译器的性能和金融时间序列。
2009-12-16 stat.ML
Stochastic Variational Deep Kernel Learning
Cornell University(康奈尔大学);CMU(卡内基梅隆大学)
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程,该过程将深度内核学习方法推广到分类,多任务学习,加性协方差结构和随机梯度训练。具体来说,我们将加性基础内核应用于深度神经架构的输出特征子集,并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内,我们推导出一个有效的形式的随机变分推断,利用本地内核插值,诱导点,和结构利用代数。我们在几个分类基准上显示了独立深度网络,SVM和最先进的可扩展高斯过程的性能改进,包括包含600万个训练点的航班延误数据集,CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说,我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补,但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下,我们首先建立了核岭回归插补估计的根$n$相合性,并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford(牛津大学);Toyota Motor Corporation(丰田汽车公司)
提出一种基于核重组的并行化批量贝叶斯求积方法,实现指数收敛速率,在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT(麻省理工学院)
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中,分析师有机会获得一个选定的样本,而不是一个随机样本,只有选择观察,观察的结果。我假设选择与随机一样好,条件是治疗和一组足够丰富的观察到的协变量,其中允许协变量引起治疗或由治疗引起-随机缺失(MAR)的扩展。我提出了估计的手段,增量和分布的反事实的结果与封闭形式的解决方案,在核矩阵运算,允许治疗和协变量是离散的或连续的,低,高,或无限维。对于连续治疗的情况下,我证明了一致的一致性与有限的采样率。对于离散处理的情况下,我证明根-n的一致性,高斯近似,和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Deterministic Fokker-Planck Transport -- With Applications to Sampling, Variational Inference, Kernel Mean Embeddings & Sequential Monte Carlo
FUB(柏林自由大学)
本文针对概率流 ODE 需评估不可处理当前密度的问题,分析核密度估计近似的缺陷,并提出将其转化为采样、变分推断、核均值嵌入和序贯 Monte Carlo 中优势的确定性 Fokker–Planck 输运方法。
2024-10-11 cs.LG cs.NA math.NA
Kernel Stein Generative Modeling
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);IBM Research(IBM研究院)
我们感兴趣的是基于梯度的显式生成建模,其中样本可以根据数据分布的得分函数的估计从迭代梯度更新中获得。随机梯度朗之万动力学(SGLD)的最新进展展示了基于能量的模型在高维和复杂数据分布上的令人印象深刻的结果。Stein变分梯度下降(SVGD)是一种确定性采样算法,其基于减小库尔贝克-莱布勒散度的函数梯度下降来迭代地传输一组粒子以近似给定分布。SVGD在几个贝叶斯推断应用上有很好的结果。然而,应用SVGD高维问题仍然是探索不足。本文的目标是研究基于SVGD的高维推理。我们首先确定在高维的实际内核SVGD推理的关键挑战。我们提出了噪声条件核SVGD(NCK-SVGD),它与最近推出的噪声条件得分网络估计器协同工作。NCK对于高维SVGD的成功推理至关重要,因为它使内核适应分数估计的噪声水平。当我们对噪声进行退火时,NCK-SVGD以真实数据分布为目标。然后,我们扩展退火SVGD与熵正则化。我们表明,这提供了一个灵活的控制样本质量和多样性之间,并验证它的经验精度和召回评估。NCK-SVGD在计算机视觉基准测试(包括MNIST和CIFAR-10)上产生了与GANs和退火SGLD相当的样本。
2020-07-06 cs.CV cs.LG stat.ML
Correcting Mode Proportion Bias in Generalized Bayesian Inference via a Weighted Kernel Stein Discrepancy
本文提出加权KSD方法,用于纠正通用贝叶斯推断中的模式比例偏差,提升多模式后验处理能力。
2026-01-06 cs.LG stat.ME stat.ML
Fast Uncertainty Quantification for Kernel-Based Estimators in Large-Scale Causal Inference
New York University(纽约大学);Purdue University(普渡大学)
本文提出扩展因果Bag of Little Bootstraps算法至核方法,结合抽样与重采样实现计算可扩展性,保留一阶不确定性量化并保证渐近正确性,通过模拟和实际应用验证其在大规模数据下的有效性。
2026-11-16 stat.AP stat.ME stat.ML
Kernel-, mean- and noise-marginalised Gaussian processes for exoplanet transits and $H_0$ inference
Cavendish Laboratory(卡文迪什实验室);Kavli Institute for Cosmology(卡弗里宇宙学研究所);University of Cambridge(剑桥大学);Engineering Laboratory(工程实验室)
本文扩展了完全贝叶斯高斯过程回归,通过跨维度嵌套采样实现对核函数、均值函数和噪声模型的边缘化,并成功应用于系外行星凌星模拟及哈勃参数 $H_0$ 的真实数据推断。
2024-02-12 astro-ph.CO astro-ph.EP astro-ph.IM
Inference for determinantal point processes without spectral knowledge
行列式点过程(DPPs)是通过正定核$K$自然地编码给定实现的点之间的多样性的点过程模型。DPP具有理想的属性,如精确采样或分析的时刻,但学习内核$K$的参数,通过基于似然的推理是不简单的。首先,出现在似然中的核不是$K$,而是通过通常难以处理的谱分解与$K$相关的另一个核$L$。这个问题通常在机器学习中通过直接参数化内核$L$来绕过,代价是模型参数的一些可解释性。我们在这里遵循这种方法。其次,似然有一个难以处理的归一化常数,在有限对象集上的DPP的情况下,它采取大行列式的形式,在连续域上的DPP的情况下,它采取Fredholm行列式的形式。我们的主要贡献是推导出有限和连续域的DPP的可能性的界限。与以前的工作不同,我们的边界是廉价的评估,因为它们不依赖于近似的一个大矩阵或运营商的频谱。通过通常的参数,这些界限,从而产生廉价的变分推断和适度昂贵的精确马尔可夫链蒙特卡罗推理方法的DPP。
2015-07-04 stat.CO stat.ML
Non-Parametric Inference of Relational Dependence
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Adobe Research(奥多比研究院)
独立性检验在从观测数据进行统计和因果推断中起着核心作用。标准的独立性检验假设数据样本是独立且同分布(i.i.d.)的。但在许多现实世界的数据集和以关系系统为中心的应用程序中,这一假设是不成立的。这项工作探讨的问题,从关系系统中提取的数据,通过定义足够的代表性的观察集影响个别实例的估计独立性。具体来说,我们定义了边缘和条件独立性测试的关系数据考虑内核均值嵌入作为一个灵活的聚合函数的关系变量。我们提出了一个一致的,非参数的,可扩展的内核测试,可操作的关系独立性测试非i.i.d.在一组结构假设下的观测数据。我们在各种合成和半合成网络上实证评估了我们提出的方法,并与最先进的基于内核的独立性测试相比,证明了其有效性。
2022-06-30 cs.AI cs.LG stat.ML
A theory of data variability in Neural Network Bayesian inference
Jülich Research Center(于利希研究中心);RWTH Aachen University(亚琛工业大学)
该研究针对无穷宽神经网络泛化特性分析问题,提出基于输入统计性质的场论形式体系,揭示数据变异性的影响,在合成任务与MNIST上验证了其可估计泛化特性并给出学习曲线边界精确结果。
2023-11-09 cond-mat.dis-nn cs.LG stat.ML
Scalable Kernel-Based Distances for Statistical Inference and Integration
University College London(伦敦大学学院)
本研究提出改进的MMD估计器和核分位数不一致,用于统计推断和整合任务,提升计算效率和鲁棒性。
2026-02-25 cs.LG math.ST stat.ME
Kernel Single-Index Bandits: Estimation, Inference, and Learning
Department of Mathematics, Applied Mathematics, and Statistics, Case Western Reserve University(数学、应用数学与统计学系,凯斯西储大学);Department of Statistics, University of Florida(佛罗里达大学统计学系);Department of Statistics, The Pennsylvania State University(宾夕法尼亚州立大学统计学系)
本文研究了具有有限动作的上下文老虎机,其中每个臂的奖励遵循单索引模型,提出了结合Stein估计和逆概率加权核岭回归的核化ε-贪婪算法,实现了灵活的半参数学习并保留了可解释性,同时建立了适应性采样的渐近正态性和方向函数中心极限定理,提供了有效的置信区间和有限时间遗憾保证。
2026-03-19 cs.LG math.ST stat.ML
Remarks on kernel Bayes' rule
核贝叶斯规则是在再生核Hilbert空间中实现贝叶斯推断的一种非参数核方法。然而,我们从理论和实验上证明,核贝叶斯规则的预测结果在某些情况下是不自然的。我们认为这种现象部分是由于核贝叶斯规则中的假设一般不成立。
2015-10-10 stat.ML
Kernel embedding of maps for sequential Bayesian inference: The variational mapping particle filter
University of Reading(雷丁大学);Universidad Nacional del Nordeste(东北国立大学);CONICET(阿根廷国家科学技术研究委员会);National Centre for Earth Observation(国家地球观测中心)
在这项工作中,一种新的序贯蒙特卡罗滤波器的目的是在高维状态空间的有效采样有限数量的粒子。粒子从前向后密度推进,使用一系列映射,使后密度和中间密度序列之间的库尔贝克-莱布勒散度最小化。映射序列表示梯度流。映射的一个关键成分是,它们被嵌入在一个再生核希尔伯特空间,这使得一个实用和有效的算法。嵌入提供了一种直接的手段来计算库尔贝克-莱布勒散度的梯度,从而使用公知的基于梯度的随机最优化算法来快速收敛。在混沌Lorenz-63系统,Lorenz-96系统,这是一个粗糙的原型大气动力学,和一个流行病模型,描述霍乱动力学的方法进行评估。映射粒子滤波器即使对长递归序列也不需要递归。在所有实验中,有效颗粒的数量保持接近于颗粒的总数。
2018-05-29 cs.LG math.OC physics.ao-ph