Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
Columbia University（哥伦比亚大学）
本文针对贝叶斯最后一层模型高斯先验表达能力受限的问题，提出结合扩散技术与隐式先验的变分学习方法，通过扩散采样近似后验预测，在保证计算效率的同时提升模型精度、校准和分布外检测性能。
2024-08-07 cs.AI cs.LG stat.ML
Graph Kernels: State-of-the-Art and Future Challenges
ETH Zurich（苏黎世联邦理工学院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
图结构数据是许多应用领域的组成部分，包括化学信息学、计算生物学、神经成像和社会网络分析。在过去的二十年中，已经提出了许多图核，即图之间的核函数，以解决评估图之间的相似性的问题，从而使得在分类和回归设置中执行预测成为可能。这份手稿提供了现有的图形内核，它们的应用程序，软件和数据资源的审查，以及最先进的图形内核的实证比较。
2020-11-10 cs.LG stat.ML
On Kernel Regression with Data-Dependent Kernels
UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）
核回归（KR）中的主要超参数是核的选择。在KR的大多数理论研究中，人们假设在看到训练数据之前内核是固定的。在此假设下，已知最优核等于目标函数的先验协方差。在本说明中，我们考虑KR，其中内核可以在看到训练数据后更新。我们指出，在这种情况下，使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理（PSI）算法，该算法不仅可以处理数据中的非线性，而且可以处理多维和多标签输出等结构化输出。具体来说，我们开发了一个PSI算法的独立性措施，并提出了希尔伯特施密特独立准则（HSIC）的PSI算法（hsicInf）。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说，该算法可以用于更广泛的应用，包括非线性多类分类和多变量回归，而现有的PSI算法不能处理它们。通过合成实验，我们表明，该方法可以找到一组统计上显着的回归和分类问题的功能。此外，我们将hsicInf算法应用于真实世界的数据，并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
A theory of representation learning gives a deep generalisation of kernel methods
University of Bristol（布里斯托大学）；Kings College London（伦敦国王学院）
本文提出贝叶斯表示学习极限，使深度高斯过程获得精确高斯后验，并据此构建深度核机器，通过稀疏化实现线性扩展，为核方法提供深度推广。
2023-05-25 cs.LG stat.ML
A Unified View of Localized Kernel Learning
University of Utah（犹他大学）
多核学习（MKL）通过尝试不仅学习分类器/回归器，而且还学习训练任务的最佳内核（通常来自现有内核函数的组合）来扩展（内核化）SVM。大多数MKL方法寻求在每个训练样本上表现最好的组合内核，牺牲某些区域的性能以寻求全局最优。局部化核学习（LKL）通过允许训练算法将组件核与可以最好地利用它的示例相匹配来克服这一限制。在过去的几年中，已经探索了几种方法来解决本地化的内核学习问题。我们统一了许多这些方法在一个简单的系统，并设计了一个新的算法，提高了性能。我们还开发现有算法的增强版本，着眼于可扩展性和性能。
2016-03-04 cs.LG stat.ML
Physics Informed Deep Kernel Learning
University of Utah（犹他大学）
深度核学习是深度神经网络和非参数函数学习的一种很有前途的组合。然而，作为一种数据驱动的方法，深度内核学习的性能仍然会受到数据稀缺或不足的限制，特别是在外推任务中。为了解决这些限制，我们提出了物理信息深度内核学习（PI-DKL），它利用了由具有潜在源的微分方程表示的物理知识。具体来说，我们使用后验函数样本的高斯过程作为替代的微分方程的解决方案，并构建一个生成组件集成的方程在一个原则贝叶斯混合框架。为了高效和有效的推理，我们边缘化的联合概率中的潜在变量，并推导出一个崩溃的模型证据下界（ELBO），在此基础上，我们开发了一个随机模型估计算法。我们的ELBO可以被看作是一个很好的，可解释的后验正则化目标。在合成数据集和实际应用中，我们展示了我们的方法在预测精度和不确定性量化方面的优势。
2022-01-18 cs.LG stat.ML
Kernel Meets Sieve: Post-Regularization Confidence Bands for Sparse Additive Model
我们开发了一种新的程序，用于构建稀疏添加剂模型的组件的置信带。我们的程序是基于一个新的核-筛混合估计，结合了两个最流行的非参数估计方法在文献中，核回归和样条方法，是在自己的权利感兴趣。现有的稀疏可加模型拟合方法主要基于筛法估计，而非参数模型置信带的研究主要基于核估计或局部多项式估计。我们的核-筛混合估计结合了两个世界中最好的，使我们能够提供一个简单的过程，在高维稀疏加性模型中构建置信带。通过研究高斯过程的逼近，证明了置信带是渐近诚实的。在合成数据和真实世界的神经科学数据上提供了彻底的数值结果来证明该理论的有效性。
2018-02-12 math.ST stat.ML stat.TH
Bayesian Learning of Kernel Embeddings
核方法是机器学习的支柱之一，但核学习问题仍然具有挑战性，只有很少的理论和很少的理论。这在基于概率测度的核均值嵌入估计的方法中是特别重要的。对于特征核，包括最常用的核，核均值嵌入唯一地确定了它的概率测度，因此它可以用来设计一个强大的统计测试框架，包括非参数双样本和独立性测试。然而，在实践中，这些测试的性能可以是非常敏感的内核和它的长度尺度参数的选择。为了解决这个核心问题，我们提出了一个新的概率模型的内核均值嵌入，贝叶斯核嵌入模型，结合高斯过程之前的再生核希尔伯特空间包含的均值嵌入与共轭似然函数，从而产生一个封闭的形式后验均值嵌入。我们模型的后验均值与最近提出的核均值嵌入的收缩估计密切相关，而后验不确定性是一个新的，有趣的特征，具有各种可能的应用。至关重要的核学习的目的，我们的模型给出了一个简单的，封闭形式的边缘伪随机观测数据给定的内核超参数。该边缘伪随机数可以被优化以通知超参数选择，或者可以使用完全的贝叶斯推断。
2016-06-02 stat.ML
Kernel learning approaches for summarising and combining posterior similarity matrices
当使用马尔可夫链蒙特卡罗（MCMC）算法来执行贝叶斯聚类模型（例如混合模型）的推断时，输出通常是从后验分布中提取的聚类（分区）的样本。在实践中，一个关键的挑战是如何总结这一产出。在这里，我们建立后验相似性矩阵（PSM）的概念，以提出新的方法来总结贝叶斯聚类模型的MCMC算法的输出。我们的工作的一个关键贡献是观察到PSM是半正定的，因此可以用来定义概率动机的内核矩阵，捕获数据中存在的聚类结构。这一观察使我们能够采用一系列的核方法，以获得汇总聚类，否则利用PSM总结的信息。例如，如果我们有多个PSM，每个PSM对应于一组公共统计单元上的不同数据集，我们可以使用标准方法来组合内核，以便执行集成聚类。此外，我们可以将PSM嵌入预测内核模型中，以执行结果引导的数据集成。我们证明了所提出的方法的性能，通过一系列的模拟研究，以及两个真实的数据应用。R代码可在https://github.com/acabassi/combine-psms上获得。
2020-09-27 stat.ME stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
在无似然设置的可能性评估是棘手的，近似贝叶斯计算（ABC）解决了艰巨的推理任务，发现合理的参数解释的观察模拟程序。然而，它们需要大量的模拟调用。重要的是，决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率，但很难调整。在本文中，我们提出了内核嵌入似然自由推理（KELFI），一个整体框架，自动学习模型超参数，以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性，我们非参数地近似似然和后验作为代理密度，并从封闭形式的后验均值嵌入中采样，其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics
Stanford University（斯坦福大学）
本文提出可训练的核校准度量，将校准视为分布匹配任务，统一分类与回归中的校准方法，并可直接用于经验风险最小化，从而提升校准、锐度与决策性能。
2023-10-31 cs.LG stat.ML
Deep Latent-Variable Kernel Learning
Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）
深度内核学习（DKL）利用高斯过程（GP）和神经网络（NN）之间的连接来构建端到端的混合模型。它结合了NN在海量数据下学习丰富表示的能力和GP的非参数属性，以实现自动正则化，并在模型拟合和模型复杂性之间进行权衡。然而，确定性编码器可能会削弱后续GP部分的模型正则化，特别是在小数据集上，由于自由的潜在表示。因此，我们提出了一个完整的深度潜变量核学习（DLVKL）模型，其中潜变量执行正则化表示的随机编码。我们从两个方面进一步增强DLVKL：（i）通过神经随机微分方程（NNDV）表达变分后验以提高逼近质量，以及（ii）混合先验从NNDV先验和后验中获取知识以达到灵活的权衡。密集的实验表明，DLVKL-NARDING在小数据集上的表现与校准良好的GP相似，在大数据集上的表现优于现有的深度GP。
2020-08-19 cs.LG stat.ML
Pre-training Graph Neural Networks with Kernels
University of Padova（帕多瓦大学）；University of Freiburg（弗莱堡大学）
在过去的几年中，已经提出了许多机器学习技术来处理以图形结构形式表示的数据。图形可用于模拟多种场景，从分子和材料到RNA二级结构。在图上定义了几种核函数，再加上核化的学习算法，在许多任务上都表现出了最先进的性能。近年来，人们提出了几种图的神经网络（GNNs）的定义，但其准确性还不令人满意。在本文中，我们提出了一种与任务无关的预训练方法，该方法允许GNN学习由最先进的图内核诱导的表示。然后，监督学习阶段将为手头的任务微调这种表示。所提出的技术对所采用的GNN架构和核函数是不可知的，并且在我们的初步实验结果中显示了GNN预测性能的一致改进。
2018-11-16 cs.LG stat.ML
The reproducing Stein kernel approach for post-hoc corrected sampling
Stein重要性抽样是一种基于核化Stein差异的广泛应用的技术，它通过对样本的经验分布进行重新加权来校正近似抽样算法的输出。这种技术的一般分析进行了先前未考虑的设置，其中样本通过模拟的马尔可夫链，并适用于一个任意的基础波兰空间。我们证明，斯坦重要性抽样产生一致的估计量相关的目标分布的兴趣，通过使用从几何遍历马尔可夫链与可能未知的不变测度，不同于所需的目标的样本。该方法被证明是有效的条件下，满足大量的未调整的采样器，并能够保持一致性时，使用数据二次采样。在此基础上，建立了再生Stein核的普遍理论，使得在一般的Polish空间上构造核化Stein差异成为可能，并给出了核在这类空间上收敛决定的充分条件.这些结果是独立的利益，未来的方法的发展的基础上内核化斯坦差异。
2021-09-13 math.ST stat.ML stat.TH
Introducing user-prescribed constraints in Markov chains for nonlinear dimensionality reduction
Columbia University（哥伦比亚大学）
基于随机核的降维方法在过去十年中变得流行。许多这些方法的中心组成部分是一个对称的内核，量化的数据点对之间的邻近和内核诱导的马尔可夫链的数据。通常，马尔可夫链由内核通过行规范化完全指定。然而，在许多情况下，它是可取的施加用户指定的静态和动态约束的马尔可夫链。不幸的是，没有系统的框架来强加这种用户定义的限制。在这里，我们引入了一个基于路径熵最大化的方法来推导马尔可夫链的转移概率使用内核和额外的用户指定的约束。我们举例说明这些马尔可夫链的有用性。
2018-08-06 cs.LG stat.ML
K2-ABC: Approximate Bayesian Computation with Kernel Embeddings
University College London（伦敦大学学院）；University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
复杂的生成模型通常会导致计算观测数据的可能性是棘手的，而从给定参数值的条件密度进行模拟相对容易。近似贝叶斯计算（ABC）是一种范式，它通过测量模拟和观察数据之间的相似性，在这种情况下，使基于模拟的后验推理在一组选定的汇总统计。然而，没有一般规则来为复杂模型构建足够的汇总统计量。不充分的汇总统计量将“泄漏”信息，这导致ABC算法从不正确的（部分）后验中产生样本。在本文中，我们提出了一个完全非参数ABC范式，它避免了手动选择汇总统计量的需要。我们的方法，K2-ABC，使用最大平均差异（MMD）作为观测数据和模拟数据的分布之间的相异性度量。MMD很容易估计为它们的经验内核嵌入之间的平方差。模拟场景和现实世界的生物问题的实验表明，该算法的有效性。
2015-12-26 cs.LG stat.ML
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify；University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）
本文扩展NTK对应的高斯过程框架，在支持非零观测噪声的同时估计后验协方差以量化认知不确定性，并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
BKP: An R Package for Beta Kernel Process Modeling
East China Normal University（华东师范大学）
该研究介绍了R包BKP，用于从多种响应数据估计概率曲面。它实现了贝塔核过程等模型，支持多种功能，如核加权证据借用等，通过可重现示例展示了在概率曲面估计、分类及实际数据建模等方面的应用。
2026-10-06 stat.CO stat.ML
A Data-Adaptive Prior for Bayesian Learning of Kernels in Operators
Heriot Watt University（赫瑞瓦特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对算子中核学习的病态反问题，本文提出一种基于L曲线自适应选择超参数的数据自适应先验，克服固定先验在小噪声下发散的问题，并在Toeplitz矩阵和积分算子上验证其稳定性。
2024-10-18 cs.LG stat.CO stat.ML
Random at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL
Seattle, WA 98121（西雅图，华盛顿州）；Herndon, VA 20171（赫尔顿，弗吉尼亚州）；Minneapolis, MN 55414（明尼阿波利斯，明尼苏达州）
本文针对表格深度学习训练不稳定与调参成本高的问题，提出以随机傅里叶映射作为无参数预处理，并借助NTK分析证明其能稳定初始核谱、加速优化，实现更快收敛和更强性能。
2025-06-03 cs.AI cs.LG stat.ML
Approximate Inference Turns Deep Networks into Gaussian Processes
RIKEN Center for AI Project（日本理化学研究所人工智能项目中心）；EPFL（洛桑联邦理工学院）；Technical University of Denmark（丹麦技术大学）
深度神经网络（DNN）和高斯过程（GP）是两个强大的模型，有几个理论联系，但它们的训练方法之间的关系还没有得到很好的理解。在本文中，我们证明了贝叶斯DNN的某些高斯后验近似等价于GP后验。这使我们能够将深度学习算法的解决方案和迭代与GP推理联系起来。因此，我们可以在训练DNN时获得GP内核和非线性特征映射。令人惊讶的是，得到的内核是神经正切内核。我们展示了在真实数据集上获得的内核，并演示了使用GP边缘似然来调整DNN的超参数。我们的工作旨在促进在实际环境中结合DNN和GP的进一步研究。
2020-07-19 cs.AI cs.LG stat.ML
Spectral Clustering using PCKID - A Probabilistic Cluster Kernel for Incomplete Data
在本文中，我们提出了PCKID，一种新颖的，强大的，核函数的谱聚类，专门设计用于处理不完整的数据。通过结合不同尺度上不完整数据的高斯混合模型的后验分布，我们能够学习不依赖于任何临界超参数的不完整数据的核，这与常用的RBF核不同。为了评估我们的方法，我们在两个真实的数据集上进行了实验。PCKID在缺失值的所有分数方面都优于基线方法，在某些情况下，其表现优于基线方法高达25个百分点。
2017-02-23 stat.ML
Structural interpretability in SVMs with truncated orthogonal polynomial kernels
Dpto. de Matemáticas, Facultad de Ciencias, Universidad Autónoma de Madrid（数学系，科学学院，自治大学马德里）；Instituto de Ciencias Matemáticas (ICMAT), Campus de Cantoblanco UAM（数学科学研究所（ICMAT），UAM坎托布兰科校区）；Dpto. de Biociencias, Facultad de Ciencias Biomédicas y de la Salud, Universidad Europea de Madrid（生物科学系，生物医学与健康科学学院，欧洲大学马德里）；Dpto. de Física y Matemáticas, Facultad de Ciencias, Universidad de Alcalá（物理与数学系，科学学院，阿尔卡拉大学）
本文研究了基于截断正交多项式核的支持向量机的后训练可解释性，提出基于正交核贡献指数的诊断框架，揭示模型复杂度的结构特征。
2026-04-16 cs.LG math.ST stat.ML
Kernel Additive Principal Components
可加主成分（APC）是线性主成分的非线性推广。我们专注于最小的APC来描述数据近似满足的添加剂非线性约束。因此，APC用对称处理变量的隐式方程拟合数据，而回归分析用通过挑出响应变量不对称处理数据的显式方程拟合数据。我们提出了一个正则化的数据分析程序APC估计使用核方法。与现有的基于子空间约束正则化的APC方法相比，核方法通过收缩实现正则化，因此通过允许使用无限维函数空间来搜索APC变换，同时保留计算可行性，从而在APC估计中赋予独特的灵活性。为了连接人口APC和核化的有限样本APC，我们研究核化人口APC及其相关的特征问题，这最终导致建立的估计APC的一致性。最后，我们讨论了计算核化有限样本APC的迭代算法。
2015-11-21 stat.ME stat.ML
Approximate Bayesian Computation via Classification
近似贝叶斯计算（ABC）在基于模拟器的模型中启用统计推断，这些模型的似然性难以计算但易于模拟。ABC通过比较真实数据和模拟数据的汇总统计量的接受/拒绝机制构建了后验分布的核型近似。为了验证汇总统计量的必要性，我们直接将经验分布与通过对比学习获得的Kullback-Leibler（KL）散度估计进行比较。特别是，我们在ABC中混合了灵活的机器学习分类器，以自动进行假/真数据比较。我们认为传统的接受/拒绝内核以及指数加权计划，不需要ABC的接受阈值。我们的理论结果表明，我们的ABC后验分布集中在真实参数的速度取决于分类器的估计误差。我们得出限制后的形状结果，并发现，与适当缩放的指数内核，渐近正态性。我们证明了我们的方法的有用性模拟的例子，以及在股票波动率估计的背景下，真实的数据。
2022-11-30 stat.ME stat.ML
