Bayesian Deconditional Kernel Mean Embeddings
University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
条件核均值嵌入形成了一个有吸引力的非参数框架来表示函数的条件均值，描述了许多复杂模型的观测过程。然而，恢复的原始基础功能的利益，其条件平均值被观察到是一个具有挑战性的推理任务。我们正式deconciliar内核意味着嵌入作为这个逆问题的解决方案，并表明，它可以自然地被视为一个非参数贝叶斯规则。关键的是，我们引入了任务转换高斯过程的概念，并建立deconciliar内核的手段作为其后验预测的意思。这种联系为去卷积核均值嵌入提供了贝叶斯解释和不确定性估计，解释了它们的正则化超参数，并揭示了核超参数学习的边际似然性。这些启示进一步实现了实际应用，如无似然推理和学习大数据的稀疏表示。
2019-06-01 cs.LG stat.ML
Bayesian Extensions of Kernel Least Mean Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
核最小均方（KLMS）算法是一种计算效率高的非线性自适应滤波方法，它将著名的（线性）最小均方算法“核化”。我们表明，最小均方算法是密切相关的卡尔曼滤波，因此，KLMS可以被解释为近似贝叶斯滤波方法。这使我们能够通过修改底层的状态空间和观测模型来系统地开发KLMS的扩展。由此产生的扩展引入了许多理想的属性，例如“遗忘”以及从离散数据中学习的能力，同时保留了原始算法的计算简单性和时间复杂性。
2013-10-20 cs.LG stat.ML
Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）
本文提出一种基于核的方法，用于分析在自适应数据收集下训练的正则化非线性参数模型，提供收敛保证。
2026-05-13 cs.LG stat.ML
Bayesian Kernelised Test of (In)dependence with Mixed-type Variables
Trinity College Dublin（都柏林圣三一学院）；Eindhoven University of Technology（埃因霍温理工大学）
AI的一个基本任务是评估混合类型变量（文本、图像、声音）之间的依赖关系。我们提出了一个贝叶斯核相关性检验（不）依赖使用Dirichlet过程模型。新的（不）依赖度量允许我们回答一些基本问题：基于数据，（混合类型）变量是独立的吗？依赖/独立的可能性有多大？两个混合型变量不仅仅是弱相关的概率有多高？我们从理论上展示的方法的属性，以及算法的快速计算与it. We经验证明所提出的方法的有效性，通过分析其性能，并通过比较它与其他频率和贝叶斯方法的范围内的数据集和任务的混合型变量。
2021-05-09 cs.LG stat.ML
A Robust Asymmetric Kernel Function for Bayesian Optimization, with Application to Image Defect Detection in Manufacturing Systems
Virginia Tech（弗吉尼亚理工大学）；Kuwait University（科威特大学）；Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）；Department of Industrial and Management Systems Engineering, Kuwait University（科威特大学工业与管理系统工程系）
Some response surface functions in complex engineering systems are usually highly nonlinear, unformed, and expensive-to-evaluate. To tackle this challenge, Bayesian optimization , which conducts sequential design via a posterior distribution over the objective function, is a critical method used to find the global optimum of black-box functions. Kernel functions play an important role in shaping the posterior distribution of the estimated function. The widely used kernel function, e.g., radial basis function (RBF), is very vulnerable and susceptible to outliers; the existence of outliers is ca…
2021-09-22 cs.LG stat.ML
Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature and Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文研究黑盒函数归一化常数估计问题，揭示其难度随参数λ在贝叶斯求积与贝叶斯优化之间连续变化，并通过理论上下界和仿真实验验证了该规律在无噪声与有噪声情形下均成立。
2024-01-11 cs.LG stat.ML
Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
McGill University（麦吉尔大学）
本文提出用贝叶斯核化张量分解（BKTF）作为贝叶斯优化的新代理模型，通过低秩张量 CP 分解和 GP 先验实现跨维度信息共享，在样本和预算受限时对复杂函数提供灵活高效的不确定性量化建模。
2023-05-26 cs.LG stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；School of Engineering（工程学院）
最近，已经引入了不同的机器学习方法来解决具有挑战性的少样本学习场景，即从与特定任务相关的小标记数据集学习。常见的方法采取了元学习的形式：在旧问题的基础上学习新问题。在认识到元学习是在多层次模型中实现学习之后，我们通过使用深度内核对元学习内部循环进行贝叶斯处理。因此，我们可以学习一个转移到新任务的内核;我们称之为深度内核转移（DKT）。这种方法有很多优点：可以直接实现为单个优化器，提供不确定性量化，并且不需要估计特定于任务的参数。我们的经验表明，DKT优于几个国家的最先进的算法在Few-Shot分类，是最先进的跨领域自适应和回归。我们的结论是，复杂的元学习例程可以被一个更简单的贝叶斯模型取代，而不会损失准确性。
2020-10-13 cs.LG stat.ML
Symmetry-Aware Bayesian Optimization via Max Kernels
School of Computer and Communication Sciences, École polytechnique fédérale de Lausanne (EPFL)（计算机与通信科学学院，瑞士联邦理工学院（EPFL））；Institute of Mathematics, École polytechnique fédérale de Lausanne (EPFL)（数学学院，瑞士联邦理工学院（EPFL））
针对贝叶斯优化中利用对称性但 max kernel 非半正定的问题，提出其 PSD 投影核，在不增加计算复杂度的情况下显著降低合成与真实基准上的遗憾。
2025-09-29 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport
Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管最近在自动化机器学习方面取得了进展，但模型选择仍然是一个复杂且计算密集的过程。对于高斯过程（GP），选择内核是一项至关重要的任务，通常由专家手动完成。此外，评估高斯过程的模型选择标准通常在样本大小上按立方缩放，使得内核搜索在计算上特别昂贵。我们提出了一种新的，有效的搜索方法，通过一个一般的，结构化的核空间。以前的方法通过贝叶斯优化解决了这个任务，并依赖于直接在函数空间中测量GP之间的距离来构建核-核。我们提出了一种替代方法，通过定义一个内核内核的统计假设，是与内核的符号表示。我们的经验表明，这导致了一个计算上更有效的方式搜索通过一个离散的核空间。
2022-10-21 cs.AI cs.LG stat.ML
Optimally-Weighted Herding is Bayesian Quadrature
羊群效应和核心羊群效应是选择概括概率分布的样本的确定性方法。一个相关的任务是选择样本估计积分使用贝叶斯求积。我们发现，在选择样本时，在内核羊群的标准最小化是等价的贝叶斯正交的后验方差。然后，我们表明，序贯贝叶斯正交可以被视为一个加权版本的内核放牧，实现性能优于任何其他加权放牧方法。我们证明经验的收敛速度快于O（1/N）。我们的研究结果也意味着贝叶斯正交估计的经验误差的上限。
2016-07-13 cs.LG stat.ML
BOCK : Bayesian Optimization with Cylindrical Kernels
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化的一个主要挑战是边界问题（Swersky，2017），其中算法在其搜索空间的边界附近花费太多的评估。在本文中，我们提出了BOCK，贝叶斯优化与圆柱核，其基本思想是转换球的几何形状的搜索空间使用圆柱变换。由于变换的几何形状，基于高斯过程的代理模型在边界附近花费较少的预算搜索，同时将其努力相对更集中在搜索区域的中心附近，我们期望解决方案位于该区域。我们广泛地评估了BOCK，表明它不仅更准确和有效，而且还成功地扩展到高达500维的问题。我们表明，更好的准确性和可扩展性的BOCK甚至允许优化适度大小的神经网络层，以及神经网络超参数。
2019-10-28 cs.LG stat.ML
Bayesian Sparse Factor Analysis with Kernelized Observations
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
多视图问题可以用潜变量模型来解决，因为它们能够找到低维投影，这些投影可以公平地捕捉到覆盖每个数据的多个视图之间的相关性。另一方面，高维和非线性问题传统上由核方法处理，在潜在投影和数据本身之间引入（非）线性函数。然而，它们通常会带来可伸缩性问题和过度拟合的暴露。在这里，我们建议合并这两种方法到一个模型，使我们可以利用多视图潜在模型和核方法的最佳功能，而且，克服他们的局限性。特别是，我们将概率因子分析与我们所说的核化观测相结合，其中模型的重点不是重建数据本身，而是重建它与核函数测量的其他数据点的关系。该模型可以组合多种类型的视图（内核化或非内核化），并且可以处理异构数据并在半监督设置中工作。此外，通过包括足够的先验知识，它可以为核化观测提供紧凑的解决方案-基于贝叶斯相关向量（RV）的自动选择-并且可以包括特征选择功能。使用几个公共数据库，我们证明了我们的方法（及其扩展）的潜力w.r.t.常见的多视图学习模型，例如核典型相关分析或流形相关性确定。
2021-01-27 cs.LG stat.ML
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
高斯过程（GP）代理模型可以提高贝叶斯优化（BO）的抽样效率。然而，在混合变量空间中，代理模型而不是GP是普遍的，主要是由于缺乏内核，可以跨不同类型的变量建模复杂的依赖关系。在本文中，我们提出了频率调制（FM）内核灵活地建模不同类型的变量之间的依赖关系，使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而，频率调制并不总是定义具有相似性度量行为的核，该相似性度量行为对于更相似的点对返回更高的值。因此，我们指定并证明条件FM内核是正定的，并表现出相似性度量行为。在实验中，我们证明了改进的采样效率GP BO使用FM核（BO-FM）。在综合问题和超参数优化问题，BO-FM优于竞争对手一致。此外，频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面，BO-FM优于竞争对手，包括正则化进化（RE）和BOHB。值得注意的是，BO-FM的表现甚至比RE和BOHB更好，使用三倍的评估。
2022-07-18 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford（牛津大学）；Google Research（谷歌研究院）
我们通过神经正切核（NTK）的镜头探索深度集成和高斯过程（GP）之间的联系：理解宽神经网络（NN）的训练动态的最新进展。以前的工作已经表明，即使在无限宽的限制下，当NN成为GP时，也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改，通过向每个合奏成员添加一个可计算的，随机的和不可训练的函数，这使得在无限宽度限制下的后验解释成为可能。当集成在一起时，我们训练的NN给出了后验预测分布的近似值，并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后，使用有限宽度NN，我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测，并且可以在各种分布外设置中优于标准深度集成，用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels
The University of Utah（犹他大学）；The University of Sheffield（谢菲尔德大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；International Computer Science Institute（国际计算机科学研究所）
针对数据稀疏、噪声及缺乏不确定性量化等问题，提出基于核学习与贝叶斯尖峰与厚板先验的方程发现方法KBASS，结合EP-EM算法与张量代数实现高效推断与计算，在ODE和PDE发现任务中展现优势。
2024-04-22 cs.LG stat.ML
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法，通过应用核技巧的推断参数贝叶斯模型。例如，可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功，但在贝叶斯文献中很少明确考虑内核技巧。在本文中，我们的目标是填补这一空白，并展示了在更广泛的背景下，而不仅仅是回归，将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子，我们提出了一个直观的贝叶斯核机的密度估计，是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；Shenzhen University（深圳大学）
针对稀疏高斯过程回归（SGPR）模型，提出了一种变分贝叶斯核选择（VBKS）算法。与现有的GP核选择算法，旨在选择只有一个内核与最高的模型证据相比，我们提出的VBKS算法认为内核作为一个随机变量，并从数据中学习它的信念，使内核的不确定性可以解释和利用，以避免过于自信的GP预测。为了实现这一点，我们将概率核表示为SGPR模型的变分推理（VI）框架中的附加变分变量，其中其后验信念与其他变分变量的后验信念一起学习（即，诱导变量和内核超参数）。特别是，我们通过重新参数化将离散的核信念转换为连续的参数分布，以便应用VI。虽然它是计算上的挑战，以共同优化大量的超参数，由于许多内核同时评估我们的VBKS算法，我们表明，变分下限的对数边际似然可以分解成一个附加的形式，使每个附加项只依赖于一个不相交的子集的变分变量，因此可以独立优化。然后使用随机优化来最大化变分下限，通过随机梯度上升迭代地改进精确后验信念的变分近似，这导致每次迭代的时间恒定，因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中，我们必须经常搜索具有不同数量参数的结构。例如，我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据，我们为条件参数空间定义了一个新的内核，该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明，该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
在无似然设置的可能性评估是棘手的，近似贝叶斯计算（ABC）解决了艰巨的推理任务，发现合理的参数解释的观察模拟程序。然而，它们需要大量的模拟调用。重要的是，决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率，但很难调整。在本文中，我们提出了内核嵌入似然自由推理（KELFI），一个整体框架，自动学习模型超参数，以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性，我们非参数地近似似然和后验作为代理密度，并从封闭形式的后验均值嵌入中采样，其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Bayesian neural networks with interpretable priors from Mercer kernels
School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出了一种新的贝叶斯神经网络先验，称为Mercer先验，通过从协方差核的Mercer表示直接定义网络参数的先验，使BNN样本近似于指定的高斯过程，从而在保持可扩展性的同时提升模型的可解释性。
2026-03-06 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge（剑桥大学）
半监督聚类是将数据点聚类成簇的任务，其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的，大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的，因为它们可以从数据中推断出聚类的数量。然而，这些模型不能很好地处理高维数据，并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点，而不需要预先指定集群的数量或模型复杂的密度，数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质，并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart（斯图加特大学）
贝叶斯优化（BO）已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择，我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应，而不是根据过去数据的最大似然来选择超参数。此外，我们提出了一个特定的核函数，包括非平稳性和局部各向异性，从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题，其解等价于贝叶斯后验分布的再生核希尔伯特空间（RKHS）嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外，优化问题导致了一个新的正则化的后验嵌入估计，这是更快，并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致，其一致性仍有待建立。我们的理论工作解决了这个开放的问题，并在回归设置中提供了一致性分析。基于我们的优化配方，我们提出了一个灵活的贝叶斯后验正则化框架，这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务，并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
K2-ABC: Approximate Bayesian Computation with Kernel Embeddings
University College London（伦敦大学学院）；University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
复杂的生成模型通常会导致计算观测数据的可能性是棘手的，而从给定参数值的条件密度进行模拟相对容易。近似贝叶斯计算（ABC）是一种范式，它通过测量模拟和观察数据之间的相似性，在这种情况下，使基于模拟的后验推理在一组选定的汇总统计。然而，没有一般规则来为复杂模型构建足够的汇总统计量。不充分的汇总统计量将“泄漏”信息，这导致ABC算法从不正确的（部分）后验中产生样本。在本文中，我们提出了一个完全非参数ABC范式，它避免了手动选择汇总统计量的需要。我们的方法，K2-ABC，使用最大平均差异（MMD）作为观测数据和模拟数据的分布之间的相异性度量。MMD很容易估计为它们的经验内核嵌入之间的平方差。模拟场景和现实世界的生物问题的实验表明，该算法的有效性。
2015-12-26 cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫公司）
提出 BARK，一种基于 BART 的完全贝叶斯树核，通过 MCMC 捕捉树结构与函数分布的不确定性，以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器（K-NN）泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理，该定理导致作为冗余训练样本的数量的函数的泛化界：那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念，并在学习后的实际冗余水平是已知的。即使对于小样本量（m ~ 100），当期望稀疏度和实际冗余度都很高时，该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
Bayesian Nonparametric Kernel-Learning
核方法是机器学习中普遍存在的工具。然而，通常没有理由选择先验核。即使选择了普适的近似核，有限样本估计量的质量也会受到核的选择的很大影响。此外，当直接应用核方法时，通常需要计算成对核评估的$N \times N$ Gram矩阵以与$N$实例的数据集一起工作。这种Gram矩阵的计算排除了核方法在大型数据集上的直接应用，并且使得核学习特别困难。在本文中，我们介绍贝叶斯非参数内核学习（BaNK），一个通用的，数据驱动的框架，可扩展的学习内核。BaNK在随机频率的谱分布上放置了一个非参数先验，使其能够学习内核并扩展到大型数据集。我们表明，这个框架可以用于大规模的回归和分类任务。此外，我们还证明了BaNK在各种真实世界数据集上的内核学习性能优于其他几种可扩展方法。
2018-01-30 stat.ML
No-regret Algorithms for Multi-task Bayesian Optimization
Indian Institute of Science（印度科学理工学院）
我们考虑在非参数贝叶斯优化（BO）设置中未知向量值函数的多目标优化（MOO），目的是学习目标的Pareto前沿上的点。大多数现有的BO算法不建模的事实，即多个目标，或等价地，任务可以共享相似性，甚至少数缺乏严格的，有限时间的遗憾保证，明确捕获任务间的结构。在这项工作中，我们解决这个问题，通过建模任务间的依赖关系，使用多任务内核和开发两个新的BO算法的基础上随机标量化的目标。我们的算法采用向量值核回归作为垫脚石，属于置信上限类的算法。在光滑性假设下，未知的向量值函数是与多任务内核相关的再生内核希尔伯特空间的元素，我们推导出最坏情况下的遗憾界限，明确捕捉任务之间的相似性的算法。我们在合成和现实生活中的MOO问题上对我们的算法进行了数值基准测试，并展示了多任务内核学习所提供的优势。
2020-08-20 cs.LG stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford（牛津大学）
目前的神经结构搜索（NAS）策略只关注于找到一个单一的，好的，架构。它们几乎无法解释为什么特定的网络表现良好，或者如果我们想要进一步改进，我们应该如何修改架构。我们提出了一个贝叶斯优化（BO）的NAS方法，结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构，在一个高度的数据效率的方式：它是能够捕获的拓扑结构的架构，并可扩展到大型图形，从而使高维和图形的搜索空间服从BO。更重要的是，我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上，我们的经验表明，我们的代理模型是能够识别有用的图案，可以指导新架构的生成。我们最后表明，我们的方法优于现有的NAS方法，以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
AutoPrognosis: Automated Clinical Prognostic Modeling via Bayesian Optimization with Structured Kernel Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alan Turing Institute（艾伦·图灵研究所）
从大规模医疗数据中获得的临床预后模型可以为关键的诊断和治疗决策提供信息。为了使机器学习（ML）在预后研究中的离线使用成为可能，我们开发了AUTOPROGNOSIS：一种用于自动设计为临床预后量身定制的预测建模管道的系统。AUTOPROGNOSIS使用一种新的批处理贝叶斯优化（BO）算法有效地优化了管道配置的集合，该算法在BO过程的同时学习管道高维超参数空间的低维分解。这是通过将管道性能建模为具有高斯过程先验的黑盒函数，并通过具有Dirichlet先验的稀疏加性核来建模管道基线算法之间的相似性来实现的。元学习用于通过使用模拟经验贝叶斯方法的算法校准先验来用来自类似患者队列的外部数据暖启动BO。该系统通过向临床医生提供逻辑关联规则来自动解释其预测，这些规则将患者特征与预测的风险层联系起来。我们使用10个代表心血管患者护理各个方面的主要患者队列来证明AUTOPROGNOSIS的效用。
2018-02-20 cs.LG stat.ML
Bayesian Complementary Kernelized Learning for Multidimensional Spatiotemporal Data
McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
本文提出贝叶斯互补核化学习（BCKL）框架，结合核化低秩张量分解与短程高斯过程，实现多维时空数据的高效可扩展概率建模，并在实验中验证了其在后验均值和不确定性估计上的优越性能。
2023-05-30 cs.LG stat.ML
Bayesian Learning of Kernel Embeddings
核方法是机器学习的支柱之一，但核学习问题仍然具有挑战性，只有很少的理论和很少的理论。这在基于概率测度的核均值嵌入估计的方法中是特别重要的。对于特征核，包括最常用的核，核均值嵌入唯一地确定了它的概率测度，因此它可以用来设计一个强大的统计测试框架，包括非参数双样本和独立性测试。然而，在实践中，这些测试的性能可以是非常敏感的内核和它的长度尺度参数的选择。为了解决这个核心问题，我们提出了一个新的概率模型的内核均值嵌入，贝叶斯核嵌入模型，结合高斯过程之前的再生核希尔伯特空间包含的均值嵌入与共轭似然函数，从而产生一个封闭的形式后验均值嵌入。我们模型的后验均值与最近提出的核均值嵌入的收缩估计密切相关，而后验不确定性是一个新的，有趣的特征，具有各种可能的应用。至关重要的核学习的目的，我们的模型给出了一个简单的，封闭形式的边缘伪随机观测数据给定的内核超参数。该边缘伪随机数可以被优化以通知超参数选择，或者可以使用完全的贝叶斯推断。
2016-06-02 stat.ML
Bayesian Optimization under Heavy-tailed Payoffs
Indian Institute of Science（印度科学学院）
我们考虑黑箱优化的一个未知的函数在非参数高斯过程设置时，在观察到的函数值的噪声可以重尾。这与现有文献相反，现有文献通常假设查询的亚高斯噪声分布。假设未知函数属于再生核希尔伯特空间（RKHS）引起的内核，我们首先表明，适应著名的GP-UCB算法与奖励截断享有次线性$\tilde{O}(T^{\frac{2 + α}{2(1+α)}})$遗憾，即使只有$(1+α)$次时刻，$α\in (0,1]$，奖励分布有界（$\tilde{O}$隐藏对数因子）。然而，对于共同平方指数（SE）和Matérn内核，这被认为是显着大于一个基本的$Ω(T^{\frac{1}{1+α}})$下限遗憾。我们解决这个差距，开发新的贝叶斯优化算法，核近似技术的基础上，遗憾的边界匹配的下限，以SE内核。我们数值基准的算法在环境的基础上合成模型和现实世界的数据集。
2019-09-16 cs.LG stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程，其协方差（核）由最近提出的稳定样条核给出，该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性，我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下，并采用一种新的马尔可夫链蒙特卡罗（MCMC）方法求解。特别是，利用拉普拉斯随机变量的高斯尺度混合物的表示，我们设计了一个吉布斯采样器，快速收敛到目标分布。数值模拟表明，在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Bayesian Kernel Regression for Functional Data
National Institute for Fusion Science（日本核融合科学研究所）；The Institute of Statistical Mathematics（统计数理研究所）；Digital Strategy Center, Daicel Corporation（大赛璐公司数字战略中心）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学院大学（SOKENDAI））；RIKEN（理化学研究所）
本文提出基于核方法与 RKHS 的贝叶斯函数型输出回归模型，利用输出函数协方差结构提升高维非线性预测精度，并解析量化预测不确定性。
2025-03-17 cs.LG stat.ML
Beyond NNGP: Large Deviations and Feature Learning in Bayesian Neural Networks
Dipartimento di Matematica Università di Pisa（数学系，比萨大学）
本文提出了一种超越NNGP的贝叶斯神经网络方法，通过大偏离理论直接在函数层面进行特征学习，有效捕捉非高斯尾部和数据依赖的核选择效应。
2026-02-26 cs.LG stat.ML
Sequential Decision Making on Unmatched Data using Bayesian Kernel Embeddings
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）
顺序最大化函数期望的问题寻求最大化感兴趣的函数的期望值，而无需直接控制其特征。相反，这些特征的分布取决于给定的上下文和代理所采取的动作。与贝叶斯优化相反，函数的参数不受代理的控制，而是由代理基于给定上下文的动作间接确定。如果要将特征的信息包括在最大化问题中，则需要考虑这些特征的完整条件分布，而不仅仅是其期望。此外，该函数本身是未知的，仅对此类函数的噪声观测进行计数，并且可能需要使用不匹配的数据集。我们提出了一种新的算法，考虑到来自两个条件分布的特征和未知函数的估计的不确定性，通过建模前者作为贝叶斯条件均值嵌入和后者作为一个高斯过程。我们的算法在经验上优于目前最先进的算法在实验中进行。
2022-10-25 cs.LG stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression
McGill University（麦吉尔大学）
针对时空变系数模型计算成本高难以大规模应用的问题，提出贝叶斯核化张量回归框架，结合低秩张量分解与高斯过程先验，搭配高效MCMC算法，在合成和真实数据上实现了更优的模型估计性能与效率。
2024-04-13 cs.LG stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型，通常是一个高斯过程，并根据其均值和方差构建一个获取函数，其优化器产生新的评估点，从而更新概率代理模型。尽管它的样本效率，贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计，因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制，特别是在高维问题中。本文利用目标函数的可加性，将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效，并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法，通过在协方差核内集成高维子空间的翘曲。所提出的翘曲，依赖于基本的几何考虑，允许减轻高外在维度的缺点，同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束，从而提高了鲁棒性，如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model
Department of Mathematics, Great Bay University（广东大湾大学数学系）；Department of Mathematics, University of California, Santa Barbara（加州大学圣芭芭拉分校数学系）
针对Motsch-Tadmor模型中非对称交互核的估计问题，提出一种基于变分框架和稀疏贝叶斯学习的算法，实现核函数的鲁棒识别与不确定性量化。
2026-06-02 cs.LG math.DS stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
提出一种基于核重组的并行化批量贝叶斯求积方法，实现指数收敛速率，在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Kernelized Bayesian Matrix Factorization
我们扩展了核化矩阵分解与完全贝叶斯处理，并能够与多个边信息源表示为不同的内核。核函数已经被引入矩阵因子分解以整合关于行和列的边信息（例如，推荐系统中的对象和用户），这对于使矩阵外（即，冷启动）预测。我们专门讨论二分图推理，其中输出矩阵是二进制的，但扩展到更一般的矩阵是直接的。我们在两个关键方面扩展了现有技术：（i）核化矩阵分解问题的完全共轭概率公式能够实现有效的变分近似，而完全贝叶斯处理在早期方法中在计算上是不可行的。(ii)多个边信息源被包括在内，在多核学习中被视为不同的核，这额外地揭示了哪些边信息源是信息性的。我们的方法在两个数据集上预测药物-蛋白质相互作用方面优于其他方法。然后，我们表明，我们的框架也可以用于解决多标签学习问题，考虑样本和标签的两个域，其中矩阵分解operationon. Our算法获得最低的汉明损失值10的14个多标签分类数据集相比，5个国家的最先进的多标签学习算法。
2013-05-08 stat.ML
Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems
University of Florida（佛罗里达大学）
本研究结合RKHS理论与贝叶斯滤波，提出核算子理论贝叶斯滤波方法，将非线性动力学提升至希尔伯特空间用线性方法求解，可自适应追踪系统变化，小维度下即可实现高精度，性能优于有限维Koopman分解。
2024-10-31 cs.LG eess.SP stat.ML
Covariance Function Pre-Training with m-Kernels for Accelerated Bayesian Optimisation
本文提出了一种新的方法，直接协方差函数学习贝叶斯优化，特别强调试验设计问题，现有语料库的浓缩知识。提出的方法借用技术从再生核Banach空间理论（特别是m-内核），并利用它们转换（或重新加权）现有的协方差函数到新的，特定于问题的协方差函数。这种方法的主要优点是，它不是依赖于用户手动选择（通过一些超参数调整和实验）适当的协方差函数，而是构造协方差函数来专门匹配手头的问题。该技术在两个现实世界的问题上得到了证明-特别是合金设计和短聚合物纤维制造-以及选定的测试功能。
2018-03-13 stat.ML
