Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子，适应的平滑程度的真实功能，通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用，并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限（即，渐近正态性）。所提出的方法与数值例子说明，并显示优越的性能相比，本地多项式回归，DiceKriging，和强大的高斯随机过程的计算效率，精度和不确定性量化。
2018-09-13 math.ST stat.TH
Kullback Leibler property of kernel mixture priors in Bayesian density estimation
Kullback-Leibler邻域在真密度附近的先验概率的正性（通常称为Kullback-Leibler性质）在后验一致性中起着重要作用。贝叶斯估计的一个流行的先验由狄利克雷混合给出，其中核的选择取决于样本空间和待估计的密度类。在适当的条件下，对于一些特殊的核函数，如正态密度核函数或伯恩斯坦多项式核函数，Dirichlet混合先验的Kullback-Leibler性质已经被证明.本文得到了混合一般核的先验具有Kullback-Leibler性质的易于验证的充分条件。我们研究了实际应用中的各种核函数，包括正态密度、$t$、直方图密度、Gamma密度、Weibull密度等，并证明了在真密度下满足一些易于验证的条件时，Kullback-Leibler性质成立.这给出了Kullback-Leibler性质所需的条件的目录，可以很容易地在应用中使用。
2008-05-08 math.ST stat.TH
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法，通过应用核技巧的推断参数贝叶斯模型。例如，可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功，但在贝叶斯文献中很少明确考虑内核技巧。在本文中，我们的目标是填补这一空白，并展示了在更广泛的背景下，而不仅仅是回归，将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子，我们提出了一个直观的贝叶斯核机的密度估计，是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
Can we trust Bayesian uncertainty quantification from Gaussian process priors with squared exponential covariance kernel?
研究了具有平方指数协方差核的高斯过程先验的可信集的频率覆盖性质。首先，我们表明，通过选择缩放超参数使用最大边际似然估计（略有修改）平方指数协方差内核的相应的可信集将提供过度自信，误导性的不确定性声明的一个大的，有代表性的子类的功能参数的背景下的高斯白噪声模型。然后我们证明了，无论是用对数因子爆破可信集，还是用对数项修正极大边际似然估计，在一定的附加约束下，都可以得到可靠的不确定性陈述和可信集的自适应大小。最后，我们证明了一个数值研究，推导出的负面和正面的结果超出了高斯白噪声模型的非参数回归和分类模型的小样本量以及。
2019-04-02 math.ST stat.TH
Kernel Methods for Bayesian Elliptic Inverse Problems on Manifolds
研究了流形上偏微分方程（PDE）的贝叶斯反问题的构造和实现。具体地说，我们研究的逆问题，确定扩散系数的二阶椭圆型偏微分方程的闭流形从噪声测量的解决方案。受流形学习技术的启发，我们用一个基于核的积分算子来近似椭圆微分算子，该算子可以通过蒙特卡洛离散化，而不需要参考黎曼度量。由此产生的计算方法是无网格的，易于实现，并且可以在不完全了解底层流形的情况下应用，前提是流形样本的点云可用。我们采用贝叶斯的角度来看，逆问题，并建立一个上限的全变差之间的距离的真实后验和近似后定义的核前向映射。支持的数值结果表明所提出的方法的有效性。
2019-10-23 cs.NA math.NA math.ST
Marginalising over Stationary Kernels with Bayesian Quadrature
University of Oxford（牛津大学）
边缘化高斯过程内核的家庭产生灵活的模型类与良好校准的不确定性估计。现有的方法需要对许多内核进行似然评估，这使得它们对于较大的数据集来说过于昂贵。我们提出了一个贝叶斯正交方案，使这种边缘化更有效，从而更实用。通过使用分布之间的最大平均差异，我们定义了一个内核，捕获光谱混合（SM）内核之间的不变性。核样本的选择通过概括的信息理论的收购函数扭曲贝叶斯正交。我们表明，我们的框架实现了更准确的预测，具有更好的校准不确定性比最先进的基线，特别是在有限的（挂钟）时间预算。
2023-03-15 cs.LG stat.ML
On Average-Case Error Bounds for Kernel-Based Bayesian Quadrature
National University of Singapore (NUS)（新加坡国立大学）
在本文中，我们研究{ \em贝叶斯求积}（BQ）的误差界，重点是噪声设置，随机算法和平均情况下的性能指标。我们寻求逼近{ \em再现核Hilbert空间}（RKHS）中函数的积分，特别关注$ν$和平方指数（SE）核，其中来自函数的样本可能会被高斯噪声破坏。我们提供了一个两步的元算法，作为一个通用的工具有关的平均情况下的正交误差与$L^2$函数逼近误差。当专门针对Matérn内核时，我们恢复了现有的接近最优的错误率，同时避免了现有的重复采样点的方法。当专门用于其他设置，我们获得新的平均情况下的结果设置，包括SE内核与噪声和Matérn内核与误指定。最后，我们提出了算法独立的下界，具有更大的一般性和/或提供不同的证据相比，现有的。
2023-02-10 cs.IT cs.LG math.IT
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题，其解等价于贝叶斯后验分布的再生核希尔伯特空间（RKHS）嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外，优化问题导致了一个新的正则化的后验嵌入估计，这是更快，并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致，其一致性仍有待建立。我们的理论工作解决了这个开放的问题，并在回归设置中提供了一致性分析。基于我们的优化配方，我们提出了一个灵活的贝叶斯后验正则化框架，这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务，并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中，我们必须经常搜索具有不同数量参数的结构。例如，我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据，我们为条件参数空间定义了一个新的内核，该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明，该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport
Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管最近在自动化机器学习方面取得了进展，但模型选择仍然是一个复杂且计算密集的过程。对于高斯过程（GP），选择内核是一项至关重要的任务，通常由专家手动完成。此外，评估高斯过程的模型选择标准通常在样本大小上按立方缩放，使得内核搜索在计算上特别昂贵。我们提出了一种新的，有效的搜索方法，通过一个一般的，结构化的核空间。以前的方法通过贝叶斯优化解决了这个任务，并依赖于直接在函数空间中测量GP之间的距离来构建核-核。我们提出了一种替代方法，通过定义一个内核内核的统计假设，是与内核的符号表示。我们的经验表明，这导致了一个计算上更有效的方式搜索通过一个离散的核空间。
2022-10-21 cs.AI cs.LG stat.ML
Consistency of Empirical Bayes And Kernel Flow For Hierarchical Parameter Estimation
高斯过程回归在统计、机器学习和逆问题中被证明是非常强大的。这种方法成功的一个关键方面，在复杂和现实世界的问题的广泛应用，是分层建模和学习的超参数。本文的目的是研究两种范式的学习层次参数：一个是从概率贝叶斯的角度来看，特别是经验贝叶斯方法，已被大量使用的贝叶斯统计;另一个是从确定性和近似理论的观点，特别是核流算法，最近提出的机器学习文献。本文针对环面上的Matérn类模型，分析了它们在大数据极限下的一致性，以及它们在参数学习中的隐式偏差.一个特殊的技术挑战，我们克服的是学习的规律性参数在Matérn类领域，一致性的结果一直非常罕见的空间统计文献。此外，我们进行了广泛的数值实验超越Matérn模型，进一步比较这两种算法。这些实验展示了其他层次参数的学习，如幅度和长度尺度;它们还说明了模型误指定的设置，其中内核流方法可以显示出优于更传统的经验贝叶斯方法的性能。
2021-03-16 cs.NA math.NA math.ST
Bayesian Kernel Two-Sample Testing
在现代数据分析中，随机变量之间差异的非参数度量尤为重要。这个问题在频率论文献中得到了很好的研究，而在贝叶斯环境中的发展是有限的，应用程序往往限于单变量的情况下。在这里，我们提出了一种贝叶斯核双样本测试程序，该程序基于利用Flaxman等人（2016）建立的框架对再生核希尔伯特空间中的核均值嵌入之间的差异进行建模。核方法的使用使其能够应用于超越多元欧氏空间的一般域中的随机变量。所提出的过程中的后验推理方案，允许自动选择的核心参数相关的问题在手。在一系列的合成实验和两个真实数据实验（即从高维数据测试网络异质性和六元单环构象比较）中，我们说明了我们的方法的优点。
2022-01-21 stat.CO stat.ME
Bayesian Deconditional Kernel Mean Embeddings
University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
条件核均值嵌入形成了一个有吸引力的非参数框架来表示函数的条件均值，描述了许多复杂模型的观测过程。然而，恢复的原始基础功能的利益，其条件平均值被观察到是一个具有挑战性的推理任务。我们正式deconciliar内核意味着嵌入作为这个逆问题的解决方案，并表明，它可以自然地被视为一个非参数贝叶斯规则。关键的是，我们引入了任务转换高斯过程的概念，并建立deconciliar内核的手段作为其后验预测的意思。这种联系为去卷积核均值嵌入提供了贝叶斯解释和不确定性估计，解释了它们的正则化超参数，并揭示了核超参数学习的边际似然性。这些启示进一步实现了实际应用，如无似然推理和学习大数据的稀疏表示。
2019-06-01 cs.LG stat.ML
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法，通过在协方差核内集成高维子空间的翘曲。所提出的翘曲，依赖于基本的几何考虑，允许减轻高外在维度的缺点，同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束，从而提高了鲁棒性，如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Bayesian Nonparametric Kernel-Learning
核方法是机器学习中普遍存在的工具。然而，通常没有理由选择先验核。即使选择了普适的近似核，有限样本估计量的质量也会受到核的选择的很大影响。此外，当直接应用核方法时，通常需要计算成对核评估的$N \times N$ Gram矩阵以与$N$实例的数据集一起工作。这种Gram矩阵的计算排除了核方法在大型数据集上的直接应用，并且使得核学习特别困难。在本文中，我们介绍贝叶斯非参数内核学习（BaNK），一个通用的，数据驱动的框架，可扩展的学习内核。BaNK在随机频率的谱分布上放置了一个非参数先验，使其能够学习内核并扩展到大型数据集。我们表明，这个框架可以用于大规模的回归和分类任务。此外，我们还证明了BaNK在各种真实世界数据集上的内核学习性能优于其他几种可扩展方法。
2018-01-30 stat.ML
Importance Weighting Approach in Kernel Bayes' Rule
Gatsby Unit（盖茨比计算神经科学中心）；DeepMind（深度思维）
我们研究了一种非参数方法贝叶斯计算通过功能的手段，在先验特征的期望更新，以产生预期的内核后验特征，从学习的神经网络或内核功能的观察回归的基础上。贝叶斯更新中涉及的所有量都是从观测数据中学习的，使得该方法完全无模型。由此产生的算法是一个新的核贝叶斯规则（KBR）的基础上的重要性加权的情况下。这导致优越的数值稳定性，原来的方法KBR，这需要运营商反演。我们使用一种新的一致性分析的重要性加权估计在无穷范数的估计的收敛性。我们评估KBR具有挑战性的合成基准，包括一个过滤问题的状态空间模型，涉及高维图像观测。重要性加权KBR产生均匀更好的经验性能比原来的KBR，和其他竞争方法的竞争性能。
2022-08-10 cs.LG stat.ML
Bayesian Efficient Multiple Kernel Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University School of Science（阿尔托大学理工学院）
多核学习算法被提出来组合核以获得更好的相似性度量或整合来自不同数据源的特征表示。以往对这类方法的研究大多集中在计算效率问题上。然而，由于现有贝叶斯方法的高时间复杂度，使用现有贝叶斯方法组合许多内核仍然是不可行的。我们提出了一个完全共轭贝叶斯公式，并推导出一个确定性的变分近似，这使我们能够非常有效地结合数百或数千个内核。我们简要地解释了如何提出的方法可以扩展到多类学习和半监督学习。在基准数据集上使用大量内核的实验表明，我们的推理方法非常快，需要不到一分钟。在一个生物信息学和三个图像识别数据集上，我们的方法比以前报道的结果具有更好的泛化性能。
2012-06-27 cs.LG stat.ML
Scalable Bayesian inference for heat kernel Gaussian processes on manifolds
针对流形上热核高斯过程的贝叶斯推断，提出基于图拉普拉斯转移矩阵降秩近似与截断奇异值分解的高效估计方法，在保留数据内在几何结构的同时将计算复杂度从O(n^3)降至O(n)，有效提升了大规模数据流形学习的可扩展性与准确性。
2025-09-12 math.ST stat.ME stat.TH
Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions
University of Queensland（昆士兰大学）；University of Cambridge（剑桥大学）
在高斯过程（GP）模型中创建表达先验的简单、灵活的方法从基本内核的组合中产生新内核，例如，对周期性和线性内核求和可以捕获具有长期趋势的季节变化。尽管GP和贝叶斯神经网络（BNN）之间的联系已经得到了很好的研究，但BNN类似物尚未被探索。本文推导出BNN架构镜像这样的内核组合。此外，它还展示了BNN如何生成周期性内核，这在这种情况下通常很有用。这些想法提供了一个原则性的方法来设计BNN，将先验知识的功能。我们通过在监督和强化学习环境中的说明性实验展示了这些想法的实用价值。
2019-06-28 cs.LG stat.ML
On the positivity and magnitudes of Bayesian quadrature weights
本文回顾和研究了贝叶斯求积权的性质，这些性质对求积规则的稳定性和鲁棒性有很大影响。具体来说，我们调查的条件，需要保证的权重是积极的或约束其幅度。首先，它表明，在单变量情况下，如果设计点局部最小化后验积分方差，并且协方差核是完全正的（例如，Gaussian和Hardy kernels）。这表明，基于梯度的优化设计点可能是有效的，在构建稳定和强大的贝叶斯求积规则。其次，我们证明了如果核的RKHS是索伯列夫空间（例如，Matérn核），这表明应该使用准一致点。一些数值例子表明，显着的概括和改进似乎是可能的，表现出需要进一步的研究。
2019-08-02 cs.NA math.NA math.ST
Bayesian Learning of Kernel Embeddings
核方法是机器学习的支柱之一，但核学习问题仍然具有挑战性，只有很少的理论和很少的理论。这在基于概率测度的核均值嵌入估计的方法中是特别重要的。对于特征核，包括最常用的核，核均值嵌入唯一地确定了它的概率测度，因此它可以用来设计一个强大的统计测试框架，包括非参数双样本和独立性测试。然而，在实践中，这些测试的性能可以是非常敏感的内核和它的长度尺度参数的选择。为了解决这个核心问题，我们提出了一个新的概率模型的内核均值嵌入，贝叶斯核嵌入模型，结合高斯过程之前的再生核希尔伯特空间包含的均值嵌入与共轭似然函数，从而产生一个封闭的形式后验均值嵌入。我们模型的后验均值与最近提出的核均值嵌入的收缩估计密切相关，而后验不确定性是一个新的，有趣的特征，具有各种可能的应用。至关重要的核学习的目的，我们的模型给出了一个简单的，封闭形式的边缘伪随机观测数据给定的内核超参数。该边缘伪随机数可以被优化以通知超参数选择，或者可以使用完全的贝叶斯推断。
2016-06-02 stat.ML
Bayesian estimation for large scale multivariate Ornstein-Uhlenbeck model of brain connectivity
Center for Brain and Cognition（脑与认知中心）；University Pompeu Fabra（庞培法布拉大学）；Columbia University（哥伦比亚大学）
可靠的全脑连接的估计是一个关键的一步，使用定量的方法来研究神经精神疾病的连接信息。当估计大脑连接性时，时间样本的缺乏和测量的大维度带来了挑战。贝叶斯网络模型的估计方法在这方面提供了许多优势，但并不常用。在这里，我们比较了三种不同的估计方法的多变量Ornstein-Uhlenbeck模型，最近获得了一些流行的特征全脑连接。我们首先表明，贝叶斯估计的模型参数假设一致的先验是等效的矩量法的应用。然后，使用合成数据，我们表明，贝叶斯估计规模与网络中的节点数相比，迭代李雅普诺夫优化。特别是当网络大小是用于全脑研究的顺序（约100个节点）时，贝叶斯方法需要比李雅普诺夫方法多约8倍的时间样本，以达到相似的估计精度。我们还表明，更高的估计精度的李雅普诺夫方法是反映在一个更好的分类的基础上估计连接从一个真正的数据集BOLD功能磁共振成像的个人。最后，我们表明，贝叶斯方法的精度差是由于数值误差，当虚部的连接估计得到大相比，其实部。
2018-05-25 cs.LG stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程，其协方差（核）由最近提出的稳定样条核给出，该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性，我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下，并采用一种新的马尔可夫链蒙特卡罗（MCMC）方法求解。特别是，利用拉普拉斯随机变量的高斯尺度混合物的表示，我们设计了一个吉布斯采样器，快速收敛到目标分布。数值模拟表明，在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Université Laval（拉瓦尔大学）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Inria（法国国家信息与自动化研究所）
我们通过PAC-Bayesian理论的视角重新审视Rahimi和Recht（2007）的核随机傅立叶特征（RFF）方法。虽然RFF的主要目标是近似一个内核，我们把傅立叶变换看作是三角假设上的先验分布。这自然意味着学习这些假设的后验。我们推导出泛化界，通过学习从封闭形式的表达式获得的伪后验进行优化。基于这项研究，我们考虑了两种学习策略：第一种是找到一个紧凑的基于地标的数据表示，其中每个地标都是由分布定制的相似性度量给出的，而第二种是为Sinha和Duchi（2016）的内核对齐方法提供PAC-贝叶斯证明。
2019-03-27 cs.LG stat.ML
Bayesian Optimization with Approximate Set Kernels
POSTECH（浦项科技大学）；SigOpt（SigOpt公司）；Kakao Brain；BARO AI（BARO人工智能）
我们提出了一个实用的集合上的贝叶斯优化方法，以最小化一个黑盒函数，把一个集作为一个单一的输入。由于集合输入是置换不变的，传统的基于高斯过程的贝叶斯优化策略假设向量输入可能达不到要求。为了解决这个问题，我们开发了一个贝叶斯优化方法与\emph{set kernel}，用于建立代理函数。该内核在集合元素上累积相似性以强制置换不变性，但这会带来更大的计算成本。为了减少这种负担，我们提出了两个关键组成部分：（i）一个更有效的近似集内核，它仍然是正定的，是一个无偏估计量的真集内核上限方差的子样本的数量，（ii）一个受约束的采集函数优化集，它使用的可行域的对称性，定义了一组输入。最后，我们提出了几个数值实验表明，我们的方法优于其他方法。
2021-01-25 cs.LG stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
提出一种基于核重组的并行化批量贝叶斯求积方法，实现指数收敛速率，在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control（代尔夫特系统与控制中心）；Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机，用于在张量网络假设下实现原理化的不确定性估计，在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart（斯图加特大学）
贝叶斯优化（BO）已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择，我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应，而不是根据过去数据的最大似然来选择超参数。此外，我们提出了一个特定的核函数，包括非平稳性和局部各向异性，从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Bayesian Extensions of Kernel Least Mean Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
核最小均方（KLMS）算法是一种计算效率高的非线性自适应滤波方法，它将著名的（线性）最小均方算法“核化”。我们表明，最小均方算法是密切相关的卡尔曼滤波，因此，KLMS可以被解释为近似贝叶斯滤波方法。这使我们能够通过修改底层的状态空间和观测模型来系统地开发KLMS的扩展。由此产生的扩展引入了许多理想的属性，例如“遗忘”以及从离散数据中学习的能力，同时保留了原始算法的计算简单性和时间复杂性。
2013-10-20 cs.LG stat.ML
Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）
本文提出一种基于核的方法，用于分析在自适应数据收集下训练的正则化非线性参数模型，提供收敛保证。
2026-05-13 cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫公司）
提出 BARK，一种基于 BART 的完全贝叶斯树核，通过 MCMC 捕捉树结构与函数分布的不确定性，以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
Integrating Marketing Channels into Quantile Transformation and Bayesian Optimization of Ensemble Kernels for Sales Prediction with Gaussian Process Models
University of Pittsburgh（匹兹堡大学）
本文提出一种结合RBF、有理二次和Matérn集成核的高斯过程销售预测模型，并通过贝叶斯优化自动确定核权重，实现98%准确率并显著优于传统GP模型。
2024-06-11 cs.LG stat.AP
Shared kernel Bayesian screening
这篇文章涉及测试组之间的分配平等。我们专注于筛选具有共同分布特征的变量，如共同支持，偏度模式和模式。我们提出了一种贝叶斯测试方法，使用内核混合物，通过共享内核和组差异的共同概率，通过借用不同变量和组的信息来提高性能。在有限混合中包含共享内核，权重上具有Dirichlet先验，这导致了一个简单的测试框架，可以很好地扩展高维数据。我们提供了封闭的渐近形式的后验概率的等价性在两个组，并证明了一致性下的模型误设定。该方法适用于从乳腺癌研究的DNA甲基化阵列数据，并比较有利的竞争对手时，通过排列估计第一类错误。
2016-02-17 stat.ME
A Robust Asymmetric Kernel Function for Bayesian Optimization, with Application to Image Defect Detection in Manufacturing Systems
Virginia Tech（弗吉尼亚理工大学）；Kuwait University（科威特大学）；Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）；Department of Industrial and Management Systems Engineering, Kuwait University（科威特大学工业与管理系统工程系）
Some response surface functions in complex engineering systems are usually highly nonlinear, unformed, and expensive-to-evaluate. To tackle this challenge, Bayesian optimization , which conducts sequential design via a posterior distribution over the objective function, is a critical method used to find the global optimum of black-box functions. Kernel functions play an important role in shaping the posterior distribution of the estimated function. The widely used kernel function, e.g., radial basis function (RBF), is very vulnerable and susceptible to outliers; the existence of outliers is ca…
2021-09-22 cs.LG stat.ML
Kernelized Bayesian Matrix Factorization
我们扩展了核化矩阵分解与完全贝叶斯处理，并能够与多个边信息源表示为不同的内核。核函数已经被引入矩阵因子分解以整合关于行和列的边信息（例如，推荐系统中的对象和用户），这对于使矩阵外（即，冷启动）预测。我们专门讨论二分图推理，其中输出矩阵是二进制的，但扩展到更一般的矩阵是直接的。我们在两个关键方面扩展了现有技术：（i）核化矩阵分解问题的完全共轭概率公式能够实现有效的变分近似，而完全贝叶斯处理在早期方法中在计算上是不可行的。(ii)多个边信息源被包括在内，在多核学习中被视为不同的核，这额外地揭示了哪些边信息源是信息性的。我们的方法在两个数据集上预测药物-蛋白质相互作用方面优于其他方法。然后，我们表明，我们的框架也可以用于解决多标签学习问题，考虑样本和标签的两个域，其中矩阵分解operationon. Our算法获得最低的汉明损失值10的14个多标签分类数据集相比，5个国家的最先进的多标签学习算法。
2013-05-08 stat.ML
SIKA-GP: Accelerating Gaussian Process Inference with Sparse Inducing Kernel Approximations for Bayesian Deep Learning
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, US；Department of Industrial；Systems Engineering, Texas A\&M University, College Station, US
提出SIKA-GP方法，通过基于二元有序模板基的稀疏诱导核近似，将高斯过程推断的计算复杂度降低至O(log M)，并实现高效张量化GPU计算，可自然嵌入贝叶斯神经网络，在视觉和Transformer语言基准上显著加速训练和推断而不牺牲预测性能。
2026-05-26 cs.LG math.PR stat.CO
Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature and Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文研究黑盒函数归一化常数估计问题，揭示其难度随参数λ在贝叶斯求积与贝叶斯优化之间连续变化，并通过理论上下界和仿真实验验证了该规律在无噪声与有噪声情形下均成立。
2024-01-11 cs.LG stat.ML
Bayesian kernel-based system identification with quantized output data
KTH Royal Institute of Technology（皇家理工学院）；University of Padova（帕多瓦大学）
本文提出一种新的线性系统辨识方法，利用稳定样条核作为高斯过程的协方差函数，通过马尔可夫链蒙特卡洛方法估计系统参数，显著提升了量化数据下的辨识精度。
2015-04-26 cs.SY eess.SY stat.ML
Covariance Function Pre-Training with m-Kernels for Accelerated Bayesian Optimisation
本文提出了一种新的方法，直接协方差函数学习贝叶斯优化，特别强调试验设计问题，现有语料库的浓缩知识。提出的方法借用技术从再生核Banach空间理论（特别是m-内核），并利用它们转换（或重新加权）现有的协方差函数到新的，特定于问题的协方差函数。这种方法的主要优点是，它不是依赖于用户手动选择（通过一些超参数调整和实验）适当的协方差函数，而是构造协方差函数来专门匹配手头的问题。该技术在两个现实世界的问题上得到了证明-特别是合金设计和短聚合物纤维制造-以及选定的测试功能。
2018-03-13 stat.ML
Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
McGill University（麦吉尔大学）
本文提出用贝叶斯核化张量分解（BKTF）作为贝叶斯优化的新代理模型，通过低秩张量 CP 分解和 GP 先验实现跨维度信息共享，在样本和预算受限时对复杂函数提供灵活高效的不确定性量化建模。
2023-05-26 cs.LG stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；School of Engineering（工程学院）
最近，已经引入了不同的机器学习方法来解决具有挑战性的少样本学习场景，即从与特定任务相关的小标记数据集学习。常见的方法采取了元学习的形式：在旧问题的基础上学习新问题。在认识到元学习是在多层次模型中实现学习之后，我们通过使用深度内核对元学习内部循环进行贝叶斯处理。因此，我们可以学习一个转移到新任务的内核;我们称之为深度内核转移（DKT）。这种方法有很多优点：可以直接实现为单个优化器，提供不确定性量化，并且不需要估计特定于任务的参数。我们的经验表明，DKT优于几个国家的最先进的算法在Few-Shot分类，是最先进的跨领域自适应和回归。我们的结论是，复杂的元学习例程可以被一个更简单的贝叶斯模型取代，而不会损失准确性。
2020-10-13 cs.LG stat.ML
Symmetry-Aware Bayesian Optimization via Max Kernels
School of Computer and Communication Sciences, École polytechnique fédérale de Lausanne (EPFL)（计算机与通信科学学院，瑞士联邦理工学院（EPFL））；Institute of Mathematics, École polytechnique fédérale de Lausanne (EPFL)（数学学院，瑞士联邦理工学院（EPFL））
针对贝叶斯优化中利用对称性但 max kernel 非半正定的问题，提出其 PSD 投影核，在不增加计算复杂度的情况下显著降低合成与真实基准上的遗憾。
2025-09-29 cs.LG stat.ML
From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
Texas A&M University（德克萨斯农工大学）
针对高维GP层导致DKL计算困难的问题，提出结合加性结构与诱导先验近似的DAK模型，自然导出最后一层BNN，并在回归和分类任务上优于现有DKL方法。
2025-02-14 cs.LG stat.ML
Towards safe Bayesian optimization with Wiener kernel regression
Chair of Automatic Control Engineering, Technical University of Munich（慕尼黑工业大学自动控制工程讲席）
针对安全约束下贝叶斯优化（BO）依赖代理模型不确定性概率误差界的问题，提出基于维纳核回归的新型误差界，证明其在温和假设下比现有误差界更紧，可扩大安全区域，并通过数值例子验证了有效性。
2025-04-14 cs.LG cs.SY eess.SY
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型，通常是一个高斯过程，并根据其均值和方差构建一个获取函数，其优化器产生新的评估点，从而更新概率代理模型。尽管它的样本效率，贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计，因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制，特别是在高维问题中。本文利用目标函数的可加性，将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效，并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
A Sparse Bayesian Learning Algorithm for Estimation of Interaction Kernels in Motsch-Tadmor Model
Department of Mathematics, Great Bay University（广东大湾大学数学系）；Department of Mathematics, University of California, Santa Barbara（加州大学圣芭芭拉分校数学系）
针对Motsch-Tadmor模型中非对称交互核的估计问题，提出一种基于变分框架和稀疏贝叶斯学习的算法，实现核函数的鲁棒识别与不确定性量化。
2026-06-02 cs.LG math.DS stat.ML
Optimally-Weighted Herding is Bayesian Quadrature
羊群效应和核心羊群效应是选择概括概率分布的样本的确定性方法。一个相关的任务是选择样本估计积分使用贝叶斯求积。我们发现，在选择样本时，在内核羊群的标准最小化是等价的贝叶斯正交的后验方差。然后，我们表明，序贯贝叶斯正交可以被视为一个加权版本的内核放牧，实现性能优于任何其他加权放牧方法。我们证明经验的收敛速度快于O（1/N）。我们的研究结果也意味着贝叶斯正交估计的经验误差的上限。
2016-07-13 cs.LG stat.ML
Bayesian Structural Identification using Gaussian Process Discrepancy Models
近年来，基于高斯过程（GP）模型的贝叶斯模型更新受到关注，它结合了基于核的GP来提供增强的保真度响应预测。虽然大多数核函数在训练数据集中提供了很高的拟合精度，但它们的样本外预测可能非常不准确。本文研究了这个问题，重新制定了一致的概率基础上的问题，审查核协方差函数的共同选择，并提出了一个新的贝叶斯模型选择的核函数选择，旨在创建一个拟合精度，泛化和模型简约之间的平衡。计算方面通过拉普拉斯近似和采样技术，提供详细的算法和策略。数值和实验的例子来证明所提出的框架的准确性和鲁棒性。因此，指数-三角协方差函数的特点和理由的基础上贝叶斯模型选择方法和响应差异的样本自相关函数的观察。
2022-11-01 stat.AP
Bayesian Sparse Factor Analysis with Kernelized Observations
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Gregorio Marañón Health Research Institute（格雷戈里奥·马拉尼翁健康研究所）
多视图问题可以用潜变量模型来解决，因为它们能够找到低维投影，这些投影可以公平地捕捉到覆盖每个数据的多个视图之间的相关性。另一方面，高维和非线性问题传统上由核方法处理，在潜在投影和数据本身之间引入（非）线性函数。然而，它们通常会带来可伸缩性问题和过度拟合的暴露。在这里，我们建议合并这两种方法到一个模型，使我们可以利用多视图潜在模型和核方法的最佳功能，而且，克服他们的局限性。特别是，我们将概率因子分析与我们所说的核化观测相结合，其中模型的重点不是重建数据本身，而是重建它与核函数测量的其他数据点的关系。该模型可以组合多种类型的视图（内核化或非内核化），并且可以处理异构数据并在半监督设置中工作。此外，通过包括足够的先验知识，它可以为核化观测提供紧凑的解决方案-基于贝叶斯相关向量（RV）的自动选择-并且可以包括特征选择功能。使用几个公共数据库，我们证明了我们的方法（及其扩展）的潜力w.r.t.常见的多视图学习模型，例如核典型相关分析或流形相关性确定。
2021-01-27 cs.LG stat.ML
Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
高斯过程（GP）代理模型可以提高贝叶斯优化（BO）的抽样效率。然而，在混合变量空间中，代理模型而不是GP是普遍的，主要是由于缺乏内核，可以跨不同类型的变量建模复杂的依赖关系。在本文中，我们提出了频率调制（FM）内核灵活地建模不同类型的变量之间的依赖关系，使BO可以享受进一步提高的采样效率。FM内核使用连续变量上的距离来调制从离散变量导出的图形傅立叶频谱。然而，频率调制并不总是定义具有相似性度量行为的核，该相似性度量行为对于更相似的点对返回更高的值。因此，我们指定并证明条件FM内核是正定的，并表现出相似性度量行为。在实验中，我们证明了改进的采样效率GP BO使用FM核（BO-FM）。在综合问题和超参数优化问题，BO-FM优于竞争对手一致。此外，频率调制原理的重要性是经验证明在相同的问题。在神经架构和SGD超参数的联合优化方面，BO-FM优于竞争对手，包括正则化进化（RE）和BOHB。值得注意的是，BO-FM的表现甚至比RE和BOHB更好，使用三倍的评估。
2022-07-18 cs.LG stat.ML
