A variational approximate posterior for the deep Wishart process
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
最近的工作引入了深度内核进程作为NN的完全基于内核的替代方案（Aitchison et al. 2020）。深度内核进程通过交替地从半正定矩阵上的分布中采样内核并执行非线性变换来灵活地学习良好的顶层表示。一个特定的深度核过程，深度Wishart过程（DWP），是特别感兴趣的，因为它的先验可以等效于深度高斯过程（DGP）先验的内核，可以完全表示在革兰氏矩阵。然而，由于缺乏足够灵活的分布在半正定矩阵的DWPs的推理尚未成为可能。在这里，我们给出了一种新的方法来获得灵活的分布在半正定矩阵广义Bartlett分解的Wishart概率密度。我们使用这个新的分布开发一个近似后的DWP，包括跨层的依赖性。我们开发了一个双随机诱导点推理计划的DWP和实验表明，在DWP的推理可以提高性能比在DGP与等效的先验做推理。
2021-12-03 cs.LG stat.ML
Variational zero-inflated Gaussian processes with sparse kernels
零膨胀的数据集，具有超过零的输出，通常在气候或罕见事件建模等问题中遇到。传统的机器学习方法往往会高估非零值，从而导致性能较差。我们提出了一种新的模型家庭的零膨胀高斯过程（ZiGP）的零膨胀数据集，通过学习潜在的概率高斯过程，可以零出内核的行和列时，信号是不存在的稀疏内核。ZiGP对于使强大的高斯过程网络更易于解释特别有用。我们引入稀疏GP网络，通过稀疏混合信号实现可变阶潜在建模。我们推导出非平凡的随机变分推断可追溯的可扩展学习的稀疏内核在这两个模型。新的输出稀疏方法提高了零膨胀数据的预测和潜在混合模型的可解释性。
2018-03-13 stat.ML
Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）
针对Transformer过度自信问题，提出KEP-SVGP方法，利用核SVD处理注意力核不对称性，构建不确定性自注意力，降低复杂度并在分布内外基准上验证性能。
2024-05-28 cs.AI cs.CV cs.LG
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology（佐治亚理工学院）；Institute for Robotics Intelligent Machines（机器人与智能机器研究所）
大规模高斯过程推理长期以来一直面临着实际的挑战，由于时间和空间的复杂性，是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习，但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中，我们提出了一种新的变分高斯过程模型，在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明，这种新的参数化推广以前的模型。此外，它产生了一个变分推断问题，可以解决的随机梯度上升的时间和空间的复杂性，只有线性的平均函数参数的数量，无论选择的内核，似然，和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验，结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Variational Semi-blind Sparse Deconvolution with Orthogonal Kernel Bases and its Application to MRFM
当成像器件的点扩散函数（点扩散函数）部分已知时，提出了一种联合图像重建和点扩散函数估计的变分贝叶斯方法。为了解决这个半盲反卷积问题，为PSF和3D图像指定先验分布。联合图像重建和PSF估计，然后在贝叶斯框架内进行，使用变分算法来估计后验分布。图像先验分布施加了一个明确的原子措施，对应于图像稀疏。重要的是，所提出的贝叶斯反卷积算法不需要手动调整。仿真结果清楚地表明，半盲反卷积算法相比，毫不逊色于以前的马尔可夫链蒙特卡罗（MCMC）版本的近视稀疏重建。它显著优于依赖于PSF的完美知识的假设的失配非盲算法。该算法说明了从磁共振力显微镜（MRFM）的实际数据。
2013-03-15 physics.data-an stat.ML
Kernel Continual Learning
University of Amsterdam（阿姆斯特丹大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
本文介绍了核连续学习，一个简单但有效的变种，利用核方法的非参数性质来解决灾难性遗忘的连续学习。我们部署了一个情景记忆单元，它存储每个任务的样本子集，以基于核岭回归学习特定于任务的分类器。这不需要记忆重放，并且系统地避免了分类器中的任务干扰。我们进一步引入变分随机特征来学习每个任务的数据驱动内核。为此，我们制定内核持续学习作为一个变分推理问题，其中随机傅立叶基作为潜在变量。在随机傅立叶基上的变分后验分布推断出每个任务的核心集。通过这种方式，我们能够生成针对每个任务的更多信息内核，更重要的是，可以减小内核集的大小以实现更紧凑的存储器，从而基于情景记忆实现更有效的持续学习。对四个基准测试的广泛评估表明了内核用于持续学习的有效性和前景。
2021-07-14 cs.AI cs.LG
Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions
针对SVGD采样速度慢的问题，提出结合Nesterov加速梯度流与Wasserstein正则化的ASVGD算法，分析了高斯目标下双线性核的最优收敛参数，并通过数值与贝叶斯神经网络实验验证其优越性。
2025-10-01 math.OC stat.ML
Accelerated Stein Variational Gradient Flow
Institute of Mathematics, Technical University Berlin（柏林工业大学数学研究所）；Department of Mathematics, University of South Carolina（南卡罗来纳大学数学系）
本文提出加速 Stein 变分梯度下降（ASVGD），通过 Nesterov 加速梯度流和动量离散更新提升高维采样效率，并用 Wasserstein 正则化稳定动量，实验验证其优于 SVGD 等流行方法。
2025-04-09 cs.LG math.OC stat.ML
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford（牛津大学）；EURECOM（欧洲通信研究院）；University of Adelaide（阿德莱德大学）
我们研究了稀疏近似方法之间的联系，使核方法和高斯过程（GP）可扩展到大规模数据，重点是Nyström方法和稀疏变分高斯过程（SVGP）。虽然GP的稀疏近似方法和核方法具有一些代数相似性，但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍，使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍，澄清稀疏近似GP和核方法之间的联系。在这项工作中，我们研究了两种流行的方法，Nyström和SVGP近似，在回归问题的背景下，并建立它们之间的各种连接和等价性。特别是，我们提供了一个RKHS解释的SVGP近似，并表明，证据下界的SVGP包含的Nyström近似的目标函数，揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果，以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Local Random Feature Approximations of the Gaussian Kernel
EURECOM（欧洲通信学院）
基于核的统计模型的一个根本缺点是它们对大数据集的可扩展性有限，这需要诉诸近似。在这项工作中，我们专注于流行的高斯内核和技术，线性化基于内核的模型，通过随机特征近似。特别是，我们这样做，通过研究较少探索的随机特征近似基于麦克劳林展开和多项式草图。我们发现，这种方法在对高频数据进行建模时效果不佳，我们提出了一种新的本地化方案，该方案可以显着提高内核近似和下游性能。我们证明了这些收益的实验涉及应用高斯过程回归的合成和真实世界的数据的不同的数据大小和维度。
2022-04-12 cs.LG stat.CO stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Variational Gaussian Processes: A Functional Analysis View
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
变分高斯过程（GP）近似已经成为快速GP推断的标准工具。这种技术要求用户选择变分特征以提高效率。到目前为止，文献中的共同选择是不同的，缺乏普遍性。我们建议将GP看作是位于Banach空间中，从而便于统一的视角。这用于理解现有特征之间的关系，并在核岭回归和变分GP近似之间建立联系。
2021-10-25 cs.LG math.ST stat.ML
Variational Fourier features for Gaussian processes
这项工作汇集了高斯过程中的两个强大的概念：变分方法稀疏近似和高斯过程的谱表示。这就产生了一个近似，继承了变分方法的好处，但与频谱表示的代表性和计算的可扩展性。本文的工作基于一个关键的结果，即存在与有限域的高斯过程相关的谱特征，这些谱特征表现出几乎独立的协方差。我们推导出这些表达式的Matern内核在一个维度上，并推广到更多的维度，使用特定结构的内核。在加性高斯噪声的假设下，我们的方法只需要一次通过数据集，从而实现非常快速和准确的计算。我们在标准笔记本电脑上仅用几分钟就能将模型拟合到400万个训练点。使用非共轭似然，我们的MCMC方案将每次迭代的计算成本从O（NM 2）（对于稀疏高斯过程）降低到O（NM），其中N是数据的数量，M是特征的数量。
2017-11-08 stat.ML
MetaKernel: Learning Variational Random Features with Limited Labels
University of Amsterdam（阿姆斯特丹大学）；Nankai University（南开大学）；Shandong University（山东大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
少样本学习处理从一些注释样本中学习的基本和具有挑战性的问题，同时能够很好地概括新任务。少样本学习的关键是从相关任务中提取先验知识，以便在有限的数据量下快速适应新任务。在本文中，我们提出了具有随机傅立叶特征的元学习核，用于少样本学习，我们称之为MetaKernel。具体来说，我们提出了学习变分随机特征的数据驱动的方式，以获得特定任务的内核，通过利用共享的知识提供的相关任务在元学习设置。我们把随机特征基作为潜变量，通过变分推理进行估计。相关任务的共享知识被纳入后验的上下文推理中，这是通过长短期记忆模块实现的。为了建立更具表现力的内核，我们部署了基于耦合层的条件归一化流，以在随机傅立叶基上实现更丰富的后验分布。得到的核更有信息量和区分力，这进一步改进了少样本学习。为了评估我们的方法，我们进行了大量的实验，Few-Shot图像分类和回归任务。一个彻底的消融研究表明，在我们的方法中引入的每个组件的有效性。在14个数据集上的基准测试结果表明，MetaKernel始终提供至少与最先进的替代品相当且通常更好的性能。
2021-05-08 cs.CV cs.LG
Random walk kernels and learning curves for Gaussian process regression on random graphs
King’s College London（伦敦国王学院）
我们考虑在图上学习，由编码顶点之间相似性的内核指导。我们的重点是随机游动内核，在欧几里得空间的平方指数内核的类似物。我们发现，在大的，局部树，图这些有一些反直观的性质，特别是在大的内核lengthscales的限制。我们考虑使用这些内核作为协方差阵，例如\高斯过程（GPs）。在这种情况下，通常全局缩放先验，以归一化顶点之间的先验方差的平均值。我们证明，在对比欧几里德的情况下，这一般会导致显着的变化，在前方差的顶点，这是不可取的概率建模的角度来看。我们建议随机游动核应该局部归一化，这样每个顶点都有相同的先验方差，并通过研究高斯过程回归的学习曲线来分析其后果。数值计算以及新的理论预测的学习曲线，使用信念传播清楚地表明，一个获得明显不同的概率模型，这取决于选择的归一化。我们使用置信传播预测学习曲线的方法比以前的近似方法要精确得多，并且应该在大型随机图的限制下变得精确。
2013-09-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Stein Variational Gradient Descent with Multiple Kernel
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
Stein变分梯度下降（SVGD）及其变体在复杂分布的近似推理中表现出很好的成功。在实践中，我们注意到基于SVD的方法中使用的内核对经验性能具有决定性影响。径向基函数（RBF）内核与中值算法是一种常见的选择，在以前的方法，但不幸的是，这已被证明是次优的。受多核学习（MKL）范式的启发，我们对这个缺陷的解决方案是使用多个内核的组合来近似最佳内核，而不是可能限制性能和灵活性的单个内核。具体地说，我们首先扩展核斯坦离散（KSD）的多内核视图称为多核斯坦离散（MKSD），然后利用MKSD构建一个通用的算法多核SVGD（MK-SVGD）。此外，MKSVGD可以自动为每个内核分配权重，而无需任何其他参数，这意味着我们的方法不仅摆脱了最佳内核依赖，而且保持了计算效率。各种任务和模型上的实验表明，我们提出的方法始终匹配或优于竞争方法。
2022-03-23 cs.LG stat.ML
ROCK: A variational formulation for occupation kernel methods in Reproducing Kernel Hilbert Spaces
Department of Mathematics（数学系）；Portland State University（波特兰州立大学）；Translational Genomics Research Institution（转化基因组研究机构）
本文提出弱形式问题的表示定理，并据此推广多元占用核（MOCK）方法，提出更通用的 Riesz 占用核（ROCK）方法用于从数据学习动态系统，在多数基准上提升了计算效率与性能。
2025-06-30 cs.LG stat.ML
A Kernel Approach for Semi-implicit Variational Inference
本文提出基于核的半隐式变分推断方法，通过核方法消除下层优化问题，利用核斯蒂恩差异优化目标，提升贝叶斯推断的效率和表达能力。
2026-01-17 cs.LG stat.ML
Variational Weighting for Kernel Density Ratios
Korea Institute for Advanced Study（韩国高等研究院）；Seoul National University（首尔大学）；Saige Research；POSTECH（浦项科技大学）；Hanyang University（汉阳大学）
该研究针对核密度估计在密度比计算中的偏差问题，借助多维变分法推导最优权重函数，提升了预测后验与信息论测度的估计效果，还揭示了密度估计的相关基础特性。
2023-11-06 cs.LG stat.ML
Stochastic Variational Deep Kernel Learning
Cornell University（康奈尔大学）；CMU（卡内基梅隆大学）
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程，该过程将深度内核学习方法推广到分类，多任务学习，加性协方差结构和随机梯度训练。具体来说，我们将加性基础内核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内，我们推导出一个有效的形式的随机变分推断，利用本地内核插值，诱导点，和结构利用代数。我们在几个分类基准上显示了独立深度网络，SVM和最先进的可扩展高斯过程的性能改进，包括包含600万个训练点的航班延误数据集，CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
Nonparametric variational inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分方法被广泛用于近似后验推理。然而，它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制，我们提出了一个家庭的变分近似的启发，非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化，以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式，这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型，标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
On Kernel-based Variational Autoencoder
Math department Lehigh University（莱恩大学数学系）
提出用核密度估计近似 VAE 后验并推导 KL 散度上界，证明 Epanechnikov 核渐近最优，EVAE 在多个图像基准上提升重建质量。
2025-05-12 cs.LG stat.ML
Kernel Semi-Implicit Variational Inference
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）
本文提出核半隐式变分推断（KSIVI），通过核技巧消除下层优化，将上层目标转化为可计算的核 Stein 差异，并推导梯度方差上界以提供收敛保证，在合成与真实数据贝叶斯推断中验证了有效性与效率。
2024-05-29 cs.LG stat.ML
Kernel Implicit Variational Inference
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
变分推断的最新进展十分关注变分后验的灵活性。一个有希望的方向是使用隐式分布，即，分布没有易处理的密度作为变分后验。然而，现有的隐式后验方法仍然面临着噪声估计和计算不可行的挑战时，应用于高维潜变量模型。在本文中，我们提出了一种新的方法命名为核隐式变分推断，以解决这些挑战。据我们所知，第一次隐式变分推断成功地应用到贝叶斯神经网络，这表明在回归和分类任务有希望的结果。
2018-02-23 cs.AI cs.LG cs.NE
Efficient EM-Variational Inference for Hawkes Process
Data61, CSIRO（联邦科学与工业研究组织Data61）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
在经典Hawkes过程中，基线强度和触发核分别假设为常数和参数函数，这限制了模型的灵活性。为了推广它，我们提出了一个完全贝叶斯非参数模型，即高斯过程调制的Hawkes过程，并提出了EM-变分推理方案。在该模型中，高斯过程的变换被用作基线强度和触发核的先验。通过引入潜在分支结构，基线强度和触发核的推理被解耦，变分推理方案被自然地嵌入到EM框架中。我们还提供了一系列的方案，以加快推理。合成数据和实际数据的实验结果表明，该方法不受参数限制，可以恢复出潜在的基线强度和触发核，且贝叶斯非参数估计优于其他方法。
2019-10-29 cs.LG stat.ML
Kernel embedded nonlinear observational mappings in the variational mapping particle filter
University of Reading（雷丁大学）；Universidad Nacional del Nordeste（东北国立大学）；Colorado State University（科罗拉多州立大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
最近，一些作品提出了方法，结合变分概率推断与蒙特卡罗抽样。一种有前途的方法是通过局部最优传输。在这种方法中，基于局部最优传输原理的梯度最速下降方法被制定为确定性地将点样本从中间密度转换为后验密度。将变换中间密度的局部映射嵌入到再生核希尔伯特空间（RKHS）中。这种变分映射方法需要评估的对数后验密度梯度，因此伴随的观测算子。在这项工作中，我们评估非线性观测映射的变分映射方法使用两种近似，避免伴随，系综近似，其中的梯度近似的状态和观测空间的粒子协方差，所谓的系综空间和RKHS近似，其中的观测映射嵌入在RKHS和梯度是来自那里。高度非线性观测算子和低维混沌动力系统的近似评估。RKHS近似是非常成功的，优于合奏近似。
2019-01-29 cs.LG stat.ML
Approximate Inference for Spectral Mixture Kernel
KAIST（韩国科学技术院）
光谱混合（SM）核是用于对任何平稳协方差函数建模的灵活核。虽然它在建模数据中是有用的，但SM内核的学习通常是困难的，因为优化SM内核的大量参数通常会引起过拟合，特别是当使用基于梯度的优化时。此外，还需要更长的培训时间。为了提高训练，我们提出了一个近似的贝叶斯推断的SM内核。具体地说，我们采用的光谱点的变分分布近似SM核与随机傅立叶特征。我们优化变分参数应用基于采样的变分推断推导出的证据下界（ELBO）估计构造的近似内核。为了改进推理，我们进一步提出了两个额外的策略：（1）谱点的采样策略，以可靠地估计ELBO估计量及其相关梯度，以及（2）近似自然梯度，以加速参数的收敛。提出的推理结合两种策略，加快了参数的收敛速度，并导致更好的最优参数。
2020-06-12 cs.LG stat.ML
Large Scale Tensor Regression using Kernels and Variational Inference
我们概述了张量因子分解模型的内在弱点时，潜在的因素表示为边信息的函数，并提出了一种新的方法来减轻这种弱点。我们创造了我们的方法\textit{Kernel Fried Tensor}（KFT），并提出它作为一个大规模的预测工具，高维数据。我们的研究结果显示出优越的性能对\textit{LightGBM}和\textit{Field Aware Factorization Machines}（FFM），两个算法与成熟的跟踪记录广泛用于工业预测。我们还开发了一个变分推断框架KFT和我们的预测与校准的不确定性估计三个大规模的数据集。此外，经验表明，KFT对常数和高斯噪声方面的无信息边信息是鲁棒的。
2020-02-11 cs.LG stat.CO stat.ML
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种非参数推理算法，它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD，存在一组功能，我们称之为Stein匹配集，其期望值是完全估计的任何一组粒子，满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架，分析不同的内核的SVGD的性能，脱落洞察到最佳的内核选择。特别是，我们表明，SVGD与线性内核产生精确估计的均值和方差的高斯分布，而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点，经典的推理问题，拟合斯坦的身份或解决斯坦方程，这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
Variational MCMC
UC Berkeley Computer Science（加州大学伯克利分校计算机科学系）；Technical University of Denmark（丹麦技术大学）
我们提出了一类新的学习算法，结合变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟。使用变分近似作为建议分布的朴素算法可能表现不佳，因为这种近似往往会低估数据的真实方差和其他特征。我们通过引入更复杂的MCMC算法来解决这个问题。这些算法之一是两个MCMC内核的混合：一个随机行走的大都市内核和块Metropolis-Hastings（MH）内核与变分近似作为proposaldistribution。MH内核允许人们有效地定位高概率区域。Metropolis内核允许我们探索这些区域的附近。该算法优于变分近似，因为它产生稍微好一点的平均值估计和相当好的估计更高的时刻，如协方差。它也优于标准MCMC算法，因为它定位区域的高概率，从而加快收敛速度。我们证明了这个算法的问题上的贝叶斯参数估计逻辑（S形）的信念网络。
2013-01-10 cs.LG stat.CO stat.ML
The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge（剑桥大学）
我们提出了随机分区内核，一类新的内核，通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法（如随机森林）中创建内核。为了证明这种方法的潜力，我们提出了两个新的内核，随机森林内核和快速聚类内核，并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后，我们展示了这些内核的形式如何适合于某些大数据问题的自然近似，允许$O(N)$在高斯过程，支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
Variational Quantum Kernels with Task-Specific Quantum Metric Learning
IBM（国际商业机器公司）
量子核方法，即，具有量子核的核方法作为量子机器学习（QML）的混合量子经典方法提供了明显的优势，包括对噪声中间尺度量子（NISQ）设备的适用性和用于解决所有类型的机器学习问题的用途。核方法依赖于高维（可能是无限维）特征空间中点之间的相似性概念。对于机器学习，相似性的概念假设在特征空间中接近的点在机器学习任务空间中应该是接近的。在本文中，我们讨论了使用变分量子内核与特定任务的量子度量学习来生成最佳量子嵌入（a.k.a.量子特征编码），其特定于机器学习任务。这种特定于任务的最优量子嵌入，隐含地支持特征选择，不仅对量子核方法在提高后者的性能方面有价值，而且它们对基于参数化量子线路（PQC）的非核QML方法作为预训练嵌入和迁移学习也有价值。这进一步证明了量子核方法的量子效用和量子优势（具有经典难以处理的量子嵌入）。
2022-11-26 cs.LG quant-ph
Universal expressiveness of variational quantum classifiers and quantum kernels for support vector machines
University of British Columbia（不列颠哥伦比亚大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布吕松量子物质研究所）
机器学习被认为是量子计算最有前途的应用之一。因此，寻找具有量子优势的量子机器学习模型是一个重要的研究目标。在这里，我们表明，变分量子分类器和支持向量机与量子内核可以解决分类问题的基础上的$k$ -Forrelation问题，这是已知的PromiseBQP-完成。由于PromiseBQP复杂性类包括所有有界误差量子多项式时间（BQP）决策问题，我们的研究结果意味着存在一个特征映射和一个量子核，使变分量子分类器和量子核支持向量机有效解决任何BQP问题。因此，这项工作意味着它们的特征映射和量子内核可以分别被设计为对于任何分类问题都具有量子优势，这些问题不能在多项式时间内经典地解决，但相反可以通过量子计算机解决。
2023-02-09 cs.LG quant-ph
Globally Convergent Variational Inference
University of Michigan（密歇根大学）
该研究针对变分推断中ELBO仅能保证局部收敛的问题，证明了基于前向KL散度的神经后验估计方法的全局收敛性，且实验表明其效果优于基于ELBO的优化。
2025-01-14 cs.LG stat.ML
Representation Learning via Quantum Neural Tangent Kernels
Pritzker School of Molecular Engineering, The University of Chicago（芝加哥大学普利兹克分子工程学院）；Chicago Quantum Exchange（芝加哥量子交易所）；Kadanoff Center for Theoretical Physics, The University of Chicago（芝加哥大学卡达诺夫理论物理中心）；IBM Quantum, IBM Research – Zurich（IBM研究院（苏黎世）IBM量子部门）；IBM Quantum, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM量子部门）
变分量子线路用于量子机器学习和变分量子模拟任务。设计良好的变分电路或预测它们在给定的学习或优化任务中的表现仍然不清楚。在这里，我们讨论这些问题，分析变分量子线路使用神经正切核理论。我们定义了量子神经正切核，并推导出优化和学习任务中相关损失函数的动力学方程。我们解析地解决了冻结极限或懒惰训练机制中的动力学，其中变角变化缓慢，线性扰动就足够好了。我们扩展到一个动态的设置，包括二次修正的变角分析。然后，我们考虑混合量子经典架构，并定义了一个大的宽度限制的混合内核，表明混合量子经典神经网络可以近似高斯。这里提出的结果显示了限制，其中分析理解的训练动态变分量子线路，用于量子机器学习和优化问题，是可能的。这些分析结果得到了量子机器学习实验的数值模拟的支持。
2021-11-13 cs.AI cs.LG quant-ph
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
A Versatile Variational Quantum Kernel Framework for Non-Trivial Classification
Department of Physics, University of Wisconsin--Madison（威斯康星大学麦迪逊分校物理系）；Department of Chemistry, University of Wisconsin--Madison（威斯康星大学麦迪逊分校化学系）
本文提出了一种适用于非平凡分类的变分量子核框架，通过高效算法和参数缩放技术，在多种现实世界高维数据集上实现了与经典核方法相当的分类性能。
2026-10-15 cs.LG quant-ph
Enhancing Quantum Support Vector Machines through Variational Kernel Training
Hassan II University of Casablanca（哈桑二世卡萨布兰卡大学）；Zaiku Group Ltd（Zaiku集团有限公司）；University of the Witwatersrand（威特沃特斯兰德大学）；Indian Institute of Science Education and Research (IISER)（印度科学教育与研究所）；University Mohammed V-Agdal（穆罕默德五世-阿格达尔大学）
针对现有两类量子支持向量机的优势融合问题，提出结合量子核与量子变分算法的QVK-SVM模型，经Iris数据集实验验证其在多项指标上更优，为量子机器学习提供新工具。
2023-05-11 cs.LG quant-ph
A Variational Analysis of Kernel Learning with Learnable Linear Transformations
Cambridge University, Department of Pure Mathematics and Mathematical Statistics（剑桥大学数学系）；Northwestern University, Department of Statistics and Data Science（西北大学统计与数据科学系）
本文对引入可学习线性变换 $U$ 的核岭回归推广问题进行变分分析，研究其数学性质，重点关注多尺度与多指标数据场景下变换 $U$ 的作用。
2026-08-13 cs.LG math.CA math.FA
Faster variational quantum algorithms with quantum kernel-based surrogate models
Imperial College London（帝国理工学院）
针对含噪近期量子硬件上VQE等变分算法优化成本高的问题，提出带经典计算量子核的高斯过程代理模型，减少量子电路评估并提升精度与收敛速度，还给出张量网络近似扩展路径。
2023-08-14 cs.LG quant-ph
Quasiparticle Interference Kernel Extraction with Variational Autoencoders via Latent Alignment
Department of Computer Science \& \ University of Notre Dame South Bend, IN, USA；Department of Physics \& Astronomy University of Notre Dame South Bend, IN, USA
本文提出基于变分自编码器和潜在对齐的AI框架，实现复杂散射条件下准粒子干涉核的高效提取。
2026-02-13 cs.LG
Stein Variational Message Passing for Continuous Graphical Models
Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
我们提出了一种新的分布式推理算法的连续图形模型，通过扩展Stein变分梯度下降（SVGD），利用马尔可夫依赖结构的兴趣分布。我们的方法结合了SVGD与一组结构化的本地核函数定义在每个节点的马尔可夫毯，这消除了高维度的诅咒，同时产生一个分布式算法的分散推理任务。我们证明我们的方法与理论分析，并表明，使用本地内核可以被视为一种新型的本地化近似，匹配的目标分布上的条件分布的每个节点在其马尔可夫毯。我们的实证结果表明，我们的方法优于各种基线，包括标准MCMC和粒子消息传递方法。
2018-06-07 cs.LG stat.ML
Non-variational supervised quantum kernel methods: a review
Centre for Quantum Information, Simulation and Algorithms, The University of Western Australia（西澳大利亚大学量子信息、模拟与算法中心）
综述探讨非变分监督量子核方法的理论基础、核构造及实践估计方法，分析量子优势评估框架及关键挑战，明确QKMs实际应用中的优势领域和技术障碍。
2026-04-09 cs.LG quant-ph
Variational Inference for Sparse Gaussian Process Modulated Hawkes Process
The Australian National University（澳大利亚国立大学）；Data61 CSIRO（联邦科学与工业研究组织数据61所）；University of Technology Sydney（悉尼科技大学）
霍克斯过程（HP）已被广泛应用于模拟自激事件，包括神经元尖峰，地震和鸣叫。为了避免设计参数触发核，并能够量化的预测置信度，非参数贝叶斯HP已被提出。然而，这样的模型的推理遭受不可扩展性或缓慢的收敛。在本文中，我们旨在解决这两个问题。具体来说，首先，我们提出了一个新的非参数贝叶斯HP中的触发内核建模为一个平方稀疏高斯过程。然后，我们提出了一种新的变分推理模式的模型优化。我们采用分支结构的HP，使最大化的证据下限（ELBO）是易于处理的期望最大化算法。我们提出了一个更紧密的ELBO，提高了拟合性能。此外，我们加速了新的变分推理模式的线性时间复杂度，利用平稳的触发内核。与以往的加速方法不同，我们的方法具有更高的效率。最后，我们利用合成数据和两个大型社交媒体数据集来评估我们的方法。我们表明，我们的方法优于国家的最先进的非参数频率和贝叶斯方法。我们验证了我们的加速变分推理模式的效率和实际效用，我们更紧密的ELBO模型选择。我们观察到，更严格的ELBO超过了常见的模型选择。
2019-11-23 cs.LG stat.ML
Neural Variational Gradient Descent
ETH Zurich（苏黎世联邦理工学院）；Deepmind（深度思维）
基于粒子的近似贝叶斯推理方法，如Stein变分梯度下降（SVGD）结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中，SVGD依赖于选择适当的核函数，这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降（NVGD），它是基于参数化的证据函数的斯坦差异的深度神经网络，其参数学习并行的推理，减轻了必要性，使任何内核的选择。我们经验评估我们的方法流行的综合推理问题，现实世界的贝叶斯线性回归，贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich（统计系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出核化 KL 散度估计器与重要性采样校正，改进半隐式变分推断的高维训练稳定性与效率，并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Variational Autoencoder Kernel Interpretation and Selection for Classification
University of Madeira（马德拉大学）；Interactive Technologies Institute（交互技术研究所）；Institute for Technological Development and Innovation in Communications, Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯大学通信技术发展与创新研究所）
本研究提出基于变分自编码器卷积编码器特征的核选择方法，通过潜在变量采样与KL散度评估，过滤冗余核以减少参数，适用于资源受限设备。
2022-09-10 cs.AI cs.LG
Hamiltonian Variational Auto-Encoder
University of Oxford（牛津大学）；Alan Turing Institute for Data Science（艾伦·图灵数据科学研究所）
变分自动编码器（VAE）已经成为在潜变量模型中执行推理和学习的非常流行的技术，因为它们允许我们利用神经网络的丰富表示能力来获得潜变量的后验的灵活近似以及紧证据下限（ELBO）。结合随机变分推理，这提供了一种扩展到大型数据集的方法。然而，这种方法是实际有效的，它是必要的，以获得低方差无偏估计的ELBO和它的梯度相对于参数的兴趣。虽然之前已经建议使用马尔可夫链蒙特卡罗（MCMC）技术（如汉密尔顿蒙特卡罗（HMC））来实现这一点[23，26]，但所提出的方法需要指定对性能有很大影响的反向内核。此外，大多数MCMC内核的ELBO的无偏估计通常不适合重新参数化技巧。我们在这里展示了如何在此设置中最佳地选择反向核，并且通过建立在Hamilton重要性采样（HIS）[17]的基础上，我们获得了一个使用重新参数化技巧提供ELBO及其梯度的低方差无偏估计的方案。这使我们能够开发一个哈密尔顿变分自动编码器（HVAE）。这种方法可以被重新解释为目标通知的归一化流[20]，在我们的上下文中，它只需要在每次迭代时对采样似然的梯度和微不足道的雅可比计算进行一些评估。
2018-11-23 cs.LG stat.ML
Deterministic Fokker-Planck Transport -- With Applications to Sampling, Variational Inference, Kernel Mean Embeddings & Sequential Monte Carlo
FUB（柏林自由大学）
本文针对概率流 ODE 需评估不可处理当前密度的问题，分析核密度估计近似的缺陷，并提出将其转化为采样、变分推断、核均值嵌入和序贯 Monte Carlo 中优势的确定性 Fokker–Planck 输运方法。
2024-10-11 cs.LG cs.NA math.NA
On Bochner's and Polya's Characterizations of Positive-Definite Kernels and the Respective Random Feature Maps
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Southern California（南加州大学）
正定核函数是核方法和高斯过程的基本元素。这种函数的一个著名的构造来自Bochner的特征，它将正定函数与概率分布联系起来。另一个建设，这似乎已经吸引了较少的关注，是波利亚的标准，这些功能的一个子集的特点。在本文中，我们研究后者的特征，并得出一些新的内核鲜为人知的。在大规模核机器的背景下，Rahimi和Recht（2007）提出了一种随机特征映射（随机傅立叶），通过对Bochner表征中的概率分布进行独立采样来近似核函数。作者还提出了另一个特征图（随机分箱），虽然没有明确说明，但来自Polya的描述。我们表明，与相同数量的随机样本，随机分仓映射的结果在一个欧氏内积更接近的内核比随机傅立叶映射。通过再生核希尔伯特空间中的回归和分类，经验证实了随机分箱映射的优越性。
2016-10-27 cs.LG stat.ML
On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective
CSIRO Space and Astronomy（澳大利亚联邦科学与工业研究组织空间与天文学部门）；RIKEN AIP（理化学研究所人工智能项目）
本文从 NTK 视角分析过参数化 VAE 中随机神经网络的优化轨迹，在温和假设下证明其收敛性，并建立其与 KRR 的新联系，实验验证了理论结论。
2024-09-09 cs.LG
Fast Graph Kernel with Optical Random Features
LightOn（LightOn公司）
图核是图分类的经典方法。然而，它遭受了高的计算成本，由于同构测试，它包括。作为一个通用的代理，并且通常以丢失一些信息为代价，这个测试可以有效地被计算各种图形特征的用户定义的映射所取代。在本文中，我们建议在graphlet框架内利用内核随机特征，并与平均内核度量建立理论联系。如果这种方法对于通常的随机特征仍然是昂贵的，那么我们将结合可以在恒定时间内计算的光学随机特征。实验表明，所得到的算法是数量级更快的graphlet内核相同，或更好的精度。
2020-10-16 cs.LG stat.ML
