Bayesian Learning of Kernel Embeddings
核方法是机器学习的支柱之一,但核学习问题仍然具有挑战性,只有很少的理论和很少的理论。这在基于概率测度的核均值嵌入估计的方法中是特别重要的。对于特征核,包括最常用的核,核均值嵌入唯一地确定了它的概率测度,因此它可以用来设计一个强大的统计测试框架,包括非参数双样本和独立性测试。然而,在实践中,这些测试的性能可以是非常敏感的内核和它的长度尺度参数的选择。为了解决这个核心问题,我们提出了一个新的概率模型的内核均值嵌入,贝叶斯核嵌入模型,结合高斯过程之前的再生核希尔伯特空间包含的均值嵌入与共轭似然函数,从而产生一个封闭的形式后验均值嵌入。我们模型的后验均值与最近提出的核均值嵌入的收缩估计密切相关,而后验不确定性是一个新的,有趣的特征,具有各种可能的应用。至关重要的核学习的目的,我们的模型给出了一个简单的,封闭形式的边缘伪随机观测数据给定的内核超参数。该边缘伪随机数可以被优化以通知超参数选择,或者可以使用完全的贝叶斯推断。
2016-06-02 stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程,其协方差(核)由最近提出的稳定样条核给出,该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性,我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下,并采用一种新的马尔可夫链蒙特卡罗(MCMC)方法求解。特别是,利用拉普拉斯随机变量的高斯尺度混合物的表示,我们设计了一个吉布斯采样器,快速收敛到目标分布。数值模拟表明,在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Kernelized Bayesian Matrix Factorization
我们扩展了核化矩阵分解与完全贝叶斯处理,并能够与多个边信息源表示为不同的内核。核函数已经被引入矩阵因子分解以整合关于行和列的边信息(例如,推荐系统中的对象和用户),这对于使矩阵外(即,冷启动)预测。我们专门讨论二分图推理,其中输出矩阵是二进制的,但扩展到更一般的矩阵是直接的。我们在两个关键方面扩展了现有技术:(i)核化矩阵分解问题的完全共轭概率公式能够实现有效的变分近似,而完全贝叶斯处理在早期方法中在计算上是不可行的。(ii)多个边信息源被包括在内,在多核学习中被视为不同的核,这额外地揭示了哪些边信息源是信息性的。我们的方法在两个数据集上预测药物-蛋白质相互作用方面优于其他方法。然后,我们表明,我们的框架也可以用于解决多标签学习问题,考虑样本和标签的两个域,其中矩阵分解operationon. Our算法获得最低的汉明损失值10的14个多标签分类数据集相比,5个国家的最先进的多标签学习算法。
2013-05-08 stat.ML
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法,通过应用核技巧的推断参数贝叶斯模型。例如,可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功,但在贝叶斯文献中很少明确考虑内核技巧。在本文中,我们的目标是填补这一空白,并展示了在更广泛的背景下,而不仅仅是回归,将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子,我们提出了一个直观的贝叶斯核机的密度估计,是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
Covariance Function Pre-Training with m-Kernels for Accelerated Bayesian Optimisation
本文提出了一种新的方法,直接协方差函数学习贝叶斯优化,特别强调试验设计问题,现有语料库的浓缩知识。提出的方法借用技术从再生核Banach空间理论(特别是m-内核),并利用它们转换(或重新加权)现有的协方差函数到新的,特定于问题的协方差函数。这种方法的主要优点是,它不是依赖于用户手动选择(通过一些超参数调整和实验)适当的协方差函数,而是构造协方差函数来专门匹配手头的问题。该技术在两个现实世界的问题上得到了证明-特别是合金设计和短聚合物纤维制造-以及选定的测试功能。
2018-03-13 stat.ML
Marginalising over Stationary Kernels with Bayesian Quadrature
University of Oxford(牛津大学)
边缘化高斯过程内核的家庭产生灵活的模型类与良好校准的不确定性估计。现有的方法需要对许多内核进行似然评估,这使得它们对于较大的数据集来说过于昂贵。我们提出了一个贝叶斯正交方案,使这种边缘化更有效,从而更实用。通过使用分布之间的最大平均差异,我们定义了一个内核,捕获光谱混合(SM)内核之间的不变性。核样本的选择通过概括的信息理论的收购函数扭曲贝叶斯正交。我们表明,我们的框架实现了更准确的预测,具有更好的校准不确定性比最先进的基线,特别是在有限的(挂钟)时间预算。
2023-03-15 cs.LG stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法,其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算,如核求和规则和核贝叶斯规则而发展起来。然而,目前的框架是完全非参数的,它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型(或仿真模型)可用时,这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法,称为{ \em模型为基础的内核和规则}(Mb-KSR),结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合,可以开发用于混合(即,非参数和基于模型的)推断。作为一个说明性的例子,我们考虑贝叶斯滤波的状态空间模型,通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法,结合基于模型的推理的状态转换过程和数据驱动的,非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验,后者是基于视觉的移动机器人定位在机器人技术,这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Bayesian Deconditional Kernel Mean Embeddings
University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
条件核均值嵌入形成了一个有吸引力的非参数框架来表示函数的条件均值,描述了许多复杂模型的观测过程。然而,恢复的原始基础功能的利益,其条件平均值被观察到是一个具有挑战性的推理任务。我们正式deconciliar内核意味着嵌入作为这个逆问题的解决方案,并表明,它可以自然地被视为一个非参数贝叶斯规则。关键的是,我们引入了任务转换高斯过程的概念,并建立deconciliar内核的手段作为其后验预测的意思。这种联系为去卷积核均值嵌入提供了贝叶斯解释和不确定性估计,解释了它们的正则化超参数,并揭示了核超参数学习的边际似然性。这些启示进一步实现了实际应用,如无似然推理和学习大数据的稀疏表示。
2019-06-01 cs.LG stat.ML
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法,通过在协方差核内集成高维子空间的翘曲。所提出的翘曲,依赖于基本的几何考虑,允许减轻高外在维度的缺点,同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束,从而提高了鲁棒性,如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research(R2 研究公司)
我们提出了两种非参数回归方法的贝叶斯扩展,这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出,扩展提供了目标值估计的分布和选择超参数的框架。结果表明,这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明,所提出的方法可以选择合适的超参数,并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Importance Weighting Approach in Kernel Bayes' Rule
Gatsby Unit(盖茨比计算神经科学中心);DeepMind(深度思维)
我们研究了一种非参数方法贝叶斯计算通过功能的手段,在先验特征的期望更新,以产生预期的内核后验特征,从学习的神经网络或内核功能的观察回归的基础上。贝叶斯更新中涉及的所有量都是从观测数据中学习的,使得该方法完全无模型。由此产生的算法是一个新的核贝叶斯规则(KBR)的基础上的重要性加权的情况下。这导致优越的数值稳定性,原来的方法KBR,这需要运营商反演。我们使用一种新的一致性分析的重要性加权估计在无穷范数的估计的收敛性。我们评估KBR具有挑战性的合成基准,包括一个过滤问题的状态空间模型,涉及高维图像观测。重要性加权KBR产生均匀更好的经验性能比原来的KBR,和其他竞争方法的竞争性能。
2022-08-10 cs.LG stat.ML
Bayesian Efficient Multiple Kernel Learning
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University School of Science(阿尔托大学理工学院)
多核学习算法被提出来组合核以获得更好的相似性度量或整合来自不同数据源的特征表示。以往对这类方法的研究大多集中在计算效率问题上。然而,由于现有贝叶斯方法的高时间复杂度,使用现有贝叶斯方法组合许多内核仍然是不可行的。我们提出了一个完全共轭贝叶斯公式,并推导出一个确定性的变分近似,这使我们能够非常有效地结合数百或数千个内核。我们简要地解释了如何提出的方法可以扩展到多类学习和半监督学习。在基准数据集上使用大量内核的实验表明,我们的推理方法非常快,需要不到一分钟。在一个生物信息学和三个图像识别数据集上,我们的方法比以前报道的结果具有更好的泛化性能。
2012-06-27 cs.LG stat.ML
Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions
University of Queensland(昆士兰大学);University of Cambridge(剑桥大学)
在高斯过程(GP)模型中创建表达先验的简单、灵活的方法从基本内核的组合中产生新内核,例如,对周期性和线性内核求和可以捕获具有长期趋势的季节变化。尽管GP和贝叶斯神经网络(BNN)之间的联系已经得到了很好的研究,但BNN类似物尚未被探索。本文推导出BNN架构镜像这样的内核组合。此外,它还展示了BNN如何生成周期性内核,这在这种情况下通常很有用。这些想法提供了一个原则性的方法来设计BNN,将先验知识的功能。我们通过在监督和强化学习环境中的说明性实验展示了这些想法的实用价值。
2019-06-28 cs.LG stat.ML
Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Université Laval(拉瓦尔大学);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安大学);CNRS(法国国家科学研究中心);Institut d’Optique Graduate School(光学研究所研究生院);Inria(法国国家信息与自动化研究所)
我们通过PAC-Bayesian理论的视角重新审视Rahimi和Recht(2007)的核随机傅立叶特征(RFF)方法。虽然RFF的主要目标是近似一个内核,我们把傅立叶变换看作是三角假设上的先验分布。这自然意味着学习这些假设的后验。我们推导出泛化界,通过学习从封闭形式的表达式获得的伪后验进行优化。基于这项研究,我们考虑了两种学习策略:第一种是找到一个紧凑的基于地标的数据表示,其中每个地标都是由分布定制的相似性度量给出的,而第二种是为Sinha和Duchi(2016)的内核对齐方法提供PAC-贝叶斯证明。
2019-03-27 cs.LG stat.ML
Bayesian Optimization with Approximate Set Kernels
POSTECH(浦项科技大学);SigOpt(SigOpt公司);Kakao Brain;BARO AI(BARO人工智能)
我们提出了一个实用的集合上的贝叶斯优化方法,以最小化一个黑盒函数,把一个集作为一个单一的输入。由于集合输入是置换不变的,传统的基于高斯过程的贝叶斯优化策略假设向量输入可能达不到要求。为了解决这个问题,我们开发了一个贝叶斯优化方法与\emph{set kernel},用于建立代理函数。该内核在集合元素上累积相似性以强制置换不变性,但这会带来更大的计算成本。为了减少这种负担,我们提出了两个关键组成部分:(i)一个更有效的近似集内核,它仍然是正定的,是一个无偏估计量的真集内核上限方差的子样本的数量,(ii)一个受约束的采集函数优化集,它使用的可行域的对称性,定义了一组输入。最后,我们提出了几个数值实验表明,我们的方法优于其他方法。
2021-01-25 cs.LG stat.ML
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control(代尔夫特系统与控制中心);Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机,用于在张量网络假设下实现原理化的不确定性估计,在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
Bayesian Extensions of Kernel Least Mean Squares
University of Texas at Austin(德克萨斯大学奥斯汀分校);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所)
核最小均方(KLMS)算法是一种计算效率高的非线性自适应滤波方法,它将著名的(线性)最小均方算法“核化”。我们表明,最小均方算法是密切相关的卡尔曼滤波,因此,KLMS可以被解释为近似贝叶斯滤波方法。这使我们能够通过修改底层的状态空间和观测模型来系统地开发KLMS的扩展。由此产生的扩展引入了许多理想的属性,例如“遗忘”以及从离散数据中学习的能力,同时保留了原始算法的计算简单性和时间复杂性。
2013-10-20 cs.LG stat.ML
Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation(共同科学与工业研究组织)
本文提出一种基于核的方法,用于分析在自适应数据收集下训练的正则化非线性参数模型,提供收敛保证。
2026-05-13 cs.LG stat.ML
Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport
Bosch Center for Artificial Intelligence(博世人工智能中心)
尽管最近在自动化机器学习方面取得了进展,但模型选择仍然是一个复杂且计算密集的过程。对于高斯过程(GP),选择内核是一项至关重要的任务,通常由专家手动完成。此外,评估高斯过程的模型选择标准通常在样本大小上按立方缩放,使得内核搜索在计算上特别昂贵。我们提出了一种新的,有效的搜索方法,通过一个一般的,结构化的核空间。以前的方法通过贝叶斯优化解决了这个任务,并依赖于直接在函数空间中测量GP之间的距离来构建核-核。我们提出了一种替代方法,通过定义一个内核内核的统计假设,是与内核的符号表示。我们的经验表明,这导致了一个计算上更有效的方式搜索通过一个离散的核空间。
2022-10-21 cs.AI cs.LG stat.ML
A Robust Asymmetric Kernel Function for Bayesian Optimization, with Application to Image Defect Detection in Manufacturing Systems
Virginia Tech(弗吉尼亚理工大学);Kuwait University(科威特大学);Department of Industrial and Systems Engineering, Virginia Tech(弗吉尼亚理工大学工业与系统工程系);Department of Industrial and Management Systems Engineering, Kuwait University(科威特大学工业与管理系统工程系)
Some response surface functions in complex engineering systems are usually highly nonlinear, unformed, and expensive-to-evaluate. To tackle this challenge, Bayesian optimization , which conducts sequential design via a posterior distribution over the objective function, is a critical method used to find the global optimum of black-box functions. Kernel functions play an important role in shaping the posterior distribution of the estimated function. The widely used kernel function, e.g., radial basis function (RBF), is very vulnerable and susceptible to outliers; the existence of outliers is ca…
2021-09-22 cs.LG stat.ML
Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
McGill University(麦吉尔大学)
本文提出用贝叶斯核化张量分解(BKTF)作为贝叶斯优化的新代理模型,通过低秩张量 CP 分解和 GP 先验实现跨维度信息共享,在样本和预算受限时对复杂函数提供灵活高效的不确定性量化建模。
2023-05-26 cs.LG stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
在这项工作中,我们提出了一个批处理贝叶斯优化方法的组合问题的排列,这是非常适合昂贵的评估目标。我们首先介绍了法律,一个有效的批量收购方法的基础上,使用收购加权核的决定性点过程。依靠多个并行计算,LAW可以在组合空间上加速搜索。然后,我们将该框架的置换问题,这到目前为止很少受到关注的贝叶斯优化文献,尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面,我们证明了LAW2ORDER有消失的简单遗憾,通过显示批量累积遗憾是次线性的。从经验上讲,我们在涉及排列的几个标准组合问题(例如二次分配、流水作业调度和旅行推销员)以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart(斯图加特大学)
贝叶斯优化(BO)已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择,我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应,而不是根据过去数据的最大似然来选择超参数。此外,我们提出了一个特定的核函数,包括非平稳性和局部各向异性,从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院);School of Engineering(工程学院)
最近,已经引入了不同的机器学习方法来解决具有挑战性的少样本学习场景,即从与特定任务相关的小标记数据集学习。常见的方法采取了元学习的形式:在旧问题的基础上学习新问题。在认识到元学习是在多层次模型中实现学习之后,我们通过使用深度内核对元学习内部循环进行贝叶斯处理。因此,我们可以学习一个转移到新任务的内核;我们称之为深度内核转移(DKT)。这种方法有很多优点:可以直接实现为单个优化器,提供不确定性量化,并且不需要估计特定于任务的参数。我们的经验表明,DKT优于几个国家的最先进的算法在Few-Shot分类,是最先进的跨领域自适应和回归。我们的结论是,复杂的元学习例程可以被一个更简单的贝叶斯模型取代,而不会损失准确性。
2020-10-13 cs.LG stat.ML
Symmetry-Aware Bayesian Optimization via Max Kernels
School of Computer and Communication Sciences, École polytechnique fédérale de Lausanne (EPFL)(计算机与通信科学学院,瑞士联邦理工学院(EPFL));Institute of Mathematics, École polytechnique fédérale de Lausanne (EPFL)(数学学院,瑞士联邦理工学院(EPFL))
针对贝叶斯优化中利用对称性但 max kernel 非半正定的问题,提出其 PSD 投影核,在不增加计算复杂度的情况下显著降低合成与真实基准上的遗憾。
2025-09-29 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University(德克萨斯农工大学)
针对高维GP层导致DKL计算困难的问题,提出结合加性结构与诱导先验近似的DAK模型,自然导出最后一层BNN,并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London(伦敦帝国理工学院);BASF SE(巴斯夫公司)
提出 BARK,一种基于 BART 的完全贝叶斯树核,通过 MCMC 捕捉树结构与函数分布的不确定性,以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
Optimally-Weighted Herding is Bayesian Quadrature
羊群效应和核心羊群效应是选择概括概率分布的样本的确定性方法。一个相关的任务是选择样本估计积分使用贝叶斯求积。我们发现,在选择样本时,在内核羊群的标准最小化是等价的贝叶斯正交的后验方差。然后,我们表明,序贯贝叶斯正交可以被视为一个加权版本的内核放牧,实现性能优于任何其他加权放牧方法。我们证明经验的收敛速度快于O(1/N)。我们的研究结果也意味着贝叶斯正交估计的经验误差的上限。
2016-07-13 cs.LG stat.ML
Bayesian Sparse Factor Analysis with Kernelized Observations
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Gregorio Marañón Health Research Institute(格雷戈里奥·马拉尼翁健康研究所)
多视图问题可以用潜变量模型来解决,因为它们能够找到低维投影,这些投影可以公平地捕捉到覆盖每个数据的多个视图之间的相关性。另一方面,高维和非线性问题传统上由核方法处理,在潜在投影和数据本身之间引入(非)线性函数。然而,它们通常会带来可伸缩性问题和过度拟合的暴露。在这里,我们建议合并这两种方法到一个模型,使我们可以利用多视图潜在模型和核方法的最佳功能,而且,克服他们的局限性。特别是,我们将概率因子分析与我们所说的核化观测相结合,其中模型的重点不是重建数据本身,而是重建它与核函数测量的其他数据点的关系。该模型可以组合多种类型的视图(内核化或非内核化),并且可以处理异构数据并在半监督设置中工作。此外,通过包括足够的先验知识,它可以为核化观测提供紧凑的解决方案-基于贝叶斯相关向量(RV)的自动选择-并且可以包括特征选择功能。使用几个公共数据库,我们证明了我们的方法(及其扩展)的潜力w.r.t.常见的多视图学习模型,例如核典型相关分析或流形相关性确定。
2021-01-27 cs.LG stat.ML
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
高斯过程(GP)代理模型可以提高贝叶斯优化(BO)的抽样效率。然而,在混合变量空间中,代理模型而不是GP是普遍的,主要是由于缺乏内核,可以跨不同类型的变量建模复杂的依赖关系。在本文中,我们提出了频率调制(FM)内核灵活地建模不同类型的变量之间的依赖关系,使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而,频率调制并不总是定义具有相似性度量行为的核,该相似性度量行为对于更相似的点对返回更高的值。因此,我们指定并证明条件FM内核是正定的,并表现出相似性度量行为。在实验中,我们证明了改进的采样效率GP BO使用FM核(BO-FM)。在综合问题和超参数优化问题,BO-FM优于竞争对手一致。此外,频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面,BO-FM优于竞争对手,包括正则化进化(RE)和BOHB。值得注意的是,BO-FM的表现甚至比RE和BOHB更好,使用三倍的评估。
2022-07-18 cs.LG stat.ML
BOCK : Bayesian Optimization with Cylindrical Kernels
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化的一个主要挑战是边界问题(Swersky,2017),其中算法在其搜索空间的边界附近花费太多的评估。在本文中,我们提出了BOCK,贝叶斯优化与圆柱核,其基本思想是转换球的几何形状的搜索空间使用圆柱变换。由于变换的几何形状,基于高斯过程的代理模型在边界附近花费较少的预算搜索,同时将其努力相对更集中在搜索区域的中心附近,我们期望解决方案位于该区域。我们广泛地评估了BOCK,表明它不仅更准确和有效,而且还成功地扩展到高达500维的问题。我们表明,更好的准确性和可扩展性的BOCK甚至允许优化适度大小的神经网络层,以及神经网络超参数。
2019-10-28 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo(东京大学)
多核学习(MKL),结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中,我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序,这在结构化稀疏性和多任务学习中更常见。我们表明,这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时,我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上,我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明,$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单,但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是,Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford(牛津大学);Google Research(谷歌研究院)
我们通过神经正切核(NTK)的镜头探索深度集成和高斯过程(GP)之间的联系:理解宽神经网络(NN)的训练动态的最新进展。以前的工作已经表明,即使在无限宽的限制下,当NN成为GP时,也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改,通过向每个合奏成员添加一个可计算的,随机的和不可训练的函数,这使得在无限宽度限制下的后验解释成为可能。当集成在一起时,我们训练的NN给出了后验预测分布的近似值,并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后,使用有限宽度NN,我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测,并且可以在各种分布外设置中优于标准深度集成,用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels
The University of Utah(犹他大学);The University of Sheffield(谢菲尔德大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);International Computer Science Institute(国际计算机科学研究所)
针对数据稀疏、噪声及缺乏不确定性量化等问题,提出基于核学习与贝叶斯尖峰与厚板先验的方程发现方法KBASS,结合EP-EM算法与张量代数实现高效推断与计算,在ODE和PDE发现任务中展现优势。
2024-04-22 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford(牛津大学);Toyota Motor Corporation(丰田汽车公司)
提出一种基于核重组的并行化批量贝叶斯求积方法,实现指数收敛速率,在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
Rutgers University(罗格斯大学);Institute for Advanced Studies(高等研究院)
希望将深度学习的表达能力与高斯过程(GP)结合在一个表达性贝叶斯学习模型中。深度内核学习成功地采用了深度网络进行特征提取,然后将GP用作函数模型。最近,有人建议,虽然训练与边际似然,特征提取器的确定性性质可能会导致过度拟合,而用贝叶斯网络的替代似乎治愈it.Here,我们提出了条件深高斯过程(DGP),其中层次组成的中间GP由超数据支持,暴露的GP保持零均值。受稀疏GP中诱导点的启发,超数据也扮演函数支持的角色,但是超参数而不是随机变量。我们按照我们以前的时刻匹配的方法来近似的边缘先验条件DGP的GP携带一个有效的内核。因此,与经验贝叶斯一样,超数据是通过优化近似边际似然来学习的,近似边际似然经由内核隐式地依赖于超数据。我们将在潜在空间中的稠密超数据的限制下证明与深度核学习的等价性。然而,条件DGP和相应的近似推理比深度内核学习更具有贝叶斯性。初步的外推结果表明,通过利用精确的协方差和超数据学习,与GP内核组成,DGP变分推理和深度内核学习相比,从层次结构的深度表现出强大的表达能力。我们还解决了我们的模型的非高斯方面,以及升级到一个完整的贝叶斯推理的方式。
2021-10-23 cs.LG stat.ML
Bayesian kernel-based system identification with quantized output data
KTH Royal Institute of Technology(皇家理工学院);University of Padova(帕多瓦大学)
本文提出一种新的线性系统辨识方法,利用稳定样条核作为高斯过程的协方差函数,通过马尔可夫链蒙特卡洛方法估计系统参数,显著提升了量化数据下的辨识精度。
2015-04-26 cs.SY eess.SY stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
在无似然设置的可能性评估是棘手的,近似贝叶斯计算(ABC)解决了艰巨的推理任务,发现合理的参数解释的观察模拟程序。然而,它们需要大量的模拟调用。重要的是,决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率,但很难调整。在本文中,我们提出了内核嵌入似然自由推理(KELFI),一个整体框架,自动学习模型超参数,以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性,我们非参数地近似似然和后验作为代理密度,并从封闭形式的后验均值嵌入中采样,其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Bayesian neural networks with interpretable priors from Mercer kernels
School of Mechanical Engineering, Purdue University(机械工程学院,普渡大学)
本文提出了一种新的贝叶斯神经网络先验,称为Mercer先验,通过从协方差核的Mercer表示直接定义网络参数的先验,使BNN样本近似于指定的高斯过程,从而在保持可扩展性的同时提升模型的可解释性。
2026-03-06 cs.LG stat.ML
AutoPrognosis: Automated Clinical Prognostic Modeling via Bayesian Optimization with Structured Kernel Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Alan Turing Institute(艾伦·图灵研究所)
从大规模医疗数据中获得的临床预后模型可以为关键的诊断和治疗决策提供信息。为了使机器学习(ML)在预后研究中的离线使用成为可能,我们开发了AUTOPROGNOSIS:一种用于自动设计为临床预后量身定制的预测建模管道的系统。AUTOPROGNOSIS使用一种新的批处理贝叶斯优化(BO)算法有效地优化了管道配置的集合,该算法在BO过程的同时学习管道高维超参数空间的低维分解。这是通过将管道性能建模为具有高斯过程先验的黑盒函数,并通过具有Dirichlet先验的稀疏加性核来建模管道基线算法之间的相似性来实现的。元学习用于通过使用模拟经验贝叶斯方法的算法校准先验来用来自类似患者队列的外部数据暖启动BO。该系统通过向临床医生提供逻辑关联规则来自动解释其预测,这些规则将患者特征与预测的风险层联系起来。我们使用10个代表心血管患者护理各个方面的主要患者队列来证明AUTOPROGNOSIS的效用。
2018-02-20 cs.LG stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control(德雷夫特系统与控制中心);Delft University of Technology(德雷夫特理工大学)
提出贝叶斯张量网络核机框架,通过诱导稀疏的分层先验自动推断张量秩和特征维度,在无额外计算成本下实现不确定性量化与特征选择,提升模型可解释性。
2025-07-15 cs.LG stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习,因为它们比线性模型更准确。核回归模型的变量选择是一个挑战,部分原因是,与线性回归设置不同,回归系数的效应量没有明确的概念。在本文中,我们提出了一个新的框架,提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时,内核是平移不变的-例如,高斯内核。我们使用移位不变再生核希尔伯特空间(RKHS)的函数分析性质来定义一个线性向量空间,该线性向量空间:(i)捕获非线性结构,(ii)可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是,移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开,我们提出了一类计算效率高的贝叶斯近似核回归(BAKR)模型的非线性回归和二进制分类,可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性:基因组选择(即表型预测)和关联映射(即推断显著的变体或位点)。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
K2-ABC: Approximate Bayesian Computation with Kernel Embeddings
University College London(伦敦大学学院);University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学)
复杂的生成模型通常会导致计算观测数据的可能性是棘手的,而从给定参数值的条件密度进行模拟相对容易。近似贝叶斯计算(ABC)是一种范式,它通过测量模拟和观察数据之间的相似性,在这种情况下,使基于模拟的后验推理在一组选定的汇总统计。然而,没有一般规则来为复杂模型构建足够的汇总统计量。不充分的汇总统计量将“泄漏”信息,这导致ABC算法从不正确的(部分)后验中产生样本。在本文中,我们提出了一个完全非参数ABC范式,它避免了手动选择汇总统计量的需要。我们的方法,K2-ABC,使用最大平均差异(MMD)作为观测数据和模拟数据的分布之间的相异性度量。MMD很容易估计为它们的经验内核嵌入之间的平方差。模拟场景和现实世界的生物问题的实验表明,该算法的有效性。
2015-12-26 cs.LG stat.ML
On Average-Case Error Bounds for Kernel-Based Bayesian Quadrature
National University of Singapore (NUS)(新加坡国立大学)
在本文中,我们研究{ \em贝叶斯求积}(BQ)的误差界,重点是噪声设置,随机算法和平均情况下的性能指标。我们寻求逼近{ \em再现核Hilbert空间}(RKHS)中函数的积分,特别关注$ν$和平方指数(SE)核,其中来自函数的样本可能会被高斯噪声破坏。我们提供了一个两步的元算法,作为一个通用的工具有关的平均情况下的正交误差与$L^2$函数逼近误差。当专门针对Matérn内核时,我们恢复了现有的接近最优的错误率,同时避免了现有的重复采样点的方法。当专门用于其他设置,我们获得新的平均情况下的结果设置,包括SE内核与噪声和Matérn内核与误指定。最后,我们提出了算法独立的下界,具有更大的一般性和/或提供不同的证据相比,现有的。
2023-02-10 cs.IT cs.LG math.IT
Nonlinear Bayesian Update via Ensemble Kernel Regression with Clustering and Subsampling
本研究提出基于集成核回归、结合子采样与聚类的非线性贝叶斯更新方法,拓展集成卡尔曼滤波至非高斯先验与非线性测量场景,实验验证其在强非线性下比标准线性更新的估计误差更低。
2025-03-19 math.PR math.ST stat.ML
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学)
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型,通常是一个高斯过程,并根据其均值和方差构建一个获取函数,其优化器产生新的评估点,从而更新概率代理模型。尽管它的样本效率,贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计,因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制,特别是在高维问题中。本文利用目标函数的可加性,将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效,并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
Shared Keyboard: An improved Bayesian design for phase I clinical trials via Beta kernel process
School of Statistics, East China Normal University(华东师范大学统计学院)
提出共享键盘设计,通过Beta核过程实现剂量间信息借用,提高最大耐受剂量识别的准确性和安全性。
2026-05-24 stat.AP stat.ML
A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model
Department of Mathematics, Great Bay University(广东大湾大学数学系);Department of Mathematics, University of California, Santa Barbara(加州大学圣芭芭拉分校数学系)
针对Motsch-Tadmor模型中非对称交互核的估计问题,提出一种基于变分框架和稀疏贝叶斯学习的算法,实现核函数的鲁棒识别与不确定性量化。
2026-06-02 cs.LG math.DS stat.ML
A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works!
摘要本文给出了K-近邻分类器(K-NN)泛化误差的PAC-贝叶斯界。这是通过铸造的K-NN分类到核空间框架的限制消失的核带宽。我们建立了核展开系数上的先验测度与核空间权向量上的诱导测度之间的关系。在系数上定义稀疏先验允许应用PAC-贝叶斯民间定理,该定理导致作为冗余训练样本的数量的函数的泛化界:那些可以被省略而不改变解决方案的训练样本。所提出的界限需要量化的解决方案的稀疏性的先验信念,并在学习后的实际冗余水平是已知的。即使对于小样本量(m ~ 100),当期望稀疏度和实际冗余度都很高时,该界也给出了非平凡的结果。
2021-09-28 cs.LG stat.ML
No-regret Algorithms for Multi-task Bayesian Optimization
Indian Institute of Science(印度科学理工学院)
我们考虑在非参数贝叶斯优化(BO)设置中未知向量值函数的多目标优化(MOO),目的是学习目标的Pareto前沿上的点。大多数现有的BO算法不建模的事实,即多个目标,或等价地,任务可以共享相似性,甚至少数缺乏严格的,有限时间的遗憾保证,明确捕获任务间的结构。在这项工作中,我们解决这个问题,通过建模任务间的依赖关系,使用多任务内核和开发两个新的BO算法的基础上随机标量化的目标。我们的算法采用向量值核回归作为垫脚石,属于置信上限类的算法。在光滑性假设下,未知的向量值函数是与多任务内核相关的再生内核希尔伯特空间的元素,我们推导出最坏情况下的遗憾界限,明确捕捉任务之间的相似性的算法。我们在合成和现实生活中的MOO问题上对我们的算法进行了数值基准测试,并展示了多任务内核学习所提供的优势。
2020-08-20 cs.LG stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford(牛津大学)
目前的神经结构搜索(NAS)策略只关注于找到一个单一的,好的,架构。它们几乎无法解释为什么特定的网络表现良好,或者如果我们想要进一步改进,我们应该如何修改架构。我们提出了一个贝叶斯优化(BO)的NAS方法,结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构,在一个高度的数据效率的方式:它是能够捕获的拓扑结构的架构,并可扩展到大型图形,从而使高维和图形的搜索空间服从BO。更重要的是,我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上,我们的经验表明,我们的代理模型是能够识别有用的图案,可以指导新架构的生成。我们最后表明,我们的方法优于现有的NAS方法,以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML