Meta-Learning Hypothesis Spaces for Sequential Decision-making
ETH Zurich（苏黎世联邦理工学院）
为预测函数（假设）获得可靠的自适应置信度集是顺序决策任务（如bandits和基于模型的强化学习）的核心挑战。这些置信度集通常依赖于假设空间上的先验假设，例如，再生核希尔伯特空间（RKHS）的核。手工设计这样的内核是容易出错的，错误的指定可能会导致性能差或不安全。在这项工作中，我们建议从离线数据中元学习内核（Meta-KeL）。对于未知内核是已知的基本内核的组合的情况下，我们开发了一个基于结构稀疏性的估计。在温和的条件下，我们保证我们估计的RKHS产生有效的置信度集，随着离线数据量的增加，变得与给定真实未知内核的置信度集一样紧密。我们展示了我们的方法对核化强盗问题（a.k.a.~贝叶斯优化），其中我们建立的遗憾界与那些真正的内核竞争。我们还经验性地评估了我们的方法对贝叶斯优化任务的有效性。
2022-06-17 cs.AI cs.LG stat.ML
A Reproducing Kernel Hilbert Space Approach to Functional Calibration of Computer Models
本文提出了一种功能校准问题的频率论解决方案，其中允许计算机模型中的校准参数的值随物理系统中的控制变量的值而变化。功能校准的需要是由工程应用的动机，其中使用恒定的校准参数的结果在从计算机模型和物理实验的输出之间的显着不匹配。再生核希尔伯特空间（RKHS）被用来模拟最佳校准函数，定义为校准参数和控制变量之间的函数关系，给出最佳的预测。这个最佳的校准函数估计通过惩罚最小二乘与RKHS范数惩罚和使用物理数据。一个不确定性量化程序也开发了这样的估计。所提出的方法的理论保证提供的预测一致性和一致性估计的最佳校准函数。所提出的方法进行了测试，使用真实和合成数据，并表现出更强大的性能，在预测和不确定性量化比现有的参数功能校准方法和最先进的贝叶斯方法。
2021-07-17 stat.AP stat.ME
Reproducing kernel methods for machine learning, PDEs, and statistics
本专著构建了基于RKHS与OT的统一核方法框架，奠定理论基础并提出核的算子视角，同时将其应用于机器学习、物理信息建模、强化学习、数学金融四大领域。
2025-10-06 cs.NA math.NA math.ST
Nonparametric learning of stochastic differential equations from sparse and noisy data
Department of Mathematics, Louisiana State University（路易斯安那州立大学数学系）
本文提出EM-SMC-RKHS非参数框架，在稀疏噪声观测下通过期望最大化、序贯蒙特卡洛和再生核希尔伯特空间学习随机微分方程的漂移函数，并给出理论收敛性与数值验证。
2025-08-15 cs.LG math.PR stat.ME
Thompson Sampling for Combinatorial Network Optimization in Unknown Environments
Bilkent University（比尔肯特大学）；University of Cambridge（剑桥大学）
影响力最大化、自适应路由和动态频谱分配都需要从大量替代方案中选择正确的行动。由于组合优化的进步，这些和许多类似的问题可以有效地解决给定的环境与已知的随机性。在本文中，我们采取这一步，并专注于在未知环境中的组合优化。我们考虑一个非常一般的学习框架，称为组合多臂强盗概率触发武器和一个非常强大的贝叶斯算法，称为组合汤普森采样（CTS）。在半强盗反馈模型下，假设在事先不知道基臂期望结果的情况下访问预言机，我们证明了当期望奖励在基臂期望结果中是Lipschitz连续时，CTS实现了$O(\sum_{i =1}^m\log T/(p_iΔ_i))$后悔和$O(\max\{\mathbb{E}[m\sqrt{T\log T/p^*}],\mathbb{E}[m^2/p^*]\})$贝叶斯后悔，其中$m$表示基臂的数目，$p_i$和$Δ_i$分别表示基臂的最小非零触发概率和最小次优间隙$i$，$T$表示时间范围，而$p^*$表示总的最小非零触发概率。我们还表明，当预期的奖励满足触发概率调制Lipschitz连续性，CTS实现$O(\max\{m\sqrt{T\log T},m^2\})$贝叶斯后悔，当触发概率为非零的所有基本武器，CTS实现$O(1/p^*\log(1/p^*))$后悔的时间范围无关。最后，我们数值比较CTS与算法的置信上限的基础上，在几个网络问题，并表明，CTS优于这些算法的至少…
2020-09-21 cs.LG stat.ML
On Distance and Kernel Measures of Conditional Independence
测量条件独立性是统计推断中的重要任务之一，并且是因果发现、特征选择、降维、贝叶斯网络学习等的基础。在这项工作中，我们探讨了度量空间和再生核希尔伯特空间（RKHS）的再生核的距离诱导的条件独立性措施之间的连接。对于一定的距离和内核对，我们显示的距离为基础的条件独立的措施是等价的，基于内核的措施。另一方面，我们还表明，一些流行的-在机器学习-核条件独立性措施的基础上的希尔伯特-施密特范数的某一交叉条件协方差算子，没有一个简单的距离表示，除了在某些限制情况下。因此，这篇论文表明条件独立性的距离和核度量不完全等同，这与Sejdinovic等人（2013）所示的联合独立性不同。
2020-08-17 math.ST stat.ML stat.TH
Convergence Analysis of Deterministic Kernel-Based Quadrature Rules in Misspecified Settings
本文给出了错误设定下基于核的求积规则的收敛性分析，重点讨论了索伯列夫空间中的确定性求积。特别是，我们处理错误的设置，测试被积函数是不太顺利的索博列夫RKHS的基础上，一个正交规则的构造。我们提供的收敛保证基于两个不同的假设上的正交规则：一个正交权重，和其他设计点。更准确地说，我们表明，收敛速度可以推导出（i）如果绝对权重的总和保持不变（或不迅速增加），或（ii）如果设计点之间的最小距离不下降很快。由于后者的结果，我们得出了一个收敛速率贝叶斯正交误设定。我们揭示了一个条件的设计点，使贝叶斯求积鲁棒误指定，并表明，在此条件下，它可以自适应地实现最佳的收敛速率在索伯列夫空间的较低的顺序（即，测试被积函数的未知光滑性），在被积函数上的稍微更强的正则性条件下。
2018-10-30 cs.NA math.NA stat.ML
Certifying Whether to Adapt: Baseline-Relative PAC-Bayes-MMD Guarantees for Test-Time Adaptation
Ideal School and College（理想学校和学院）
本文提出了一种基于PAC-Bayesian框架的测试时间适应方法，通过将MMD球体解释为 credal sets，提供了对epistemic不确定性量化的自然方法，并建立了与MMD相关的泛化界限、有限样本版本、统一最坏情况风险界限以及几何保持界限。
2026-10-20 cs.LG stat.ML
Information Newton's flow: second-order optimization method in probability space
Stanford University（斯坦福大学）；University of California（加利福尼亚大学）
我们介绍了一个框架，牛顿流在概率空间与信息度量，命名为信息牛顿流。这里考虑两个信息度量，包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是，过阻尼Langevin动力学对应于Kullback-Leibler（KL）发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流，我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面，我们设计了仿射模型和再生核希尔伯特空间（RKHS）中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
A Combinatorial Semi-Bandit Approach to Charging Station Selection for Electric Vehicles
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
在这项工作中，我们解决了电池电动汽车（BEV）的长距离导航问题，其中需要一个或多个充电会话才能到达预定目的地。我们认为充电站的可用性和性能是未知的和随机的，并开发了一个组合的半土匪探索道路网络学习的排队时间和充电功率分布的参数框架。在这个框架内，我们首先概述了道路网络图的预处理，以有效的方式处理约束组合优化问题。然后，对于预处理的图，我们使用贝叶斯方法来建模的随机边权重，利用共轭先验的单参数指数和两个参数的伽玛分布，后者是新的多臂土匪文学。最后，我们应用组合版本的汤普森采样，贝叶斯UCB和Epsilon贪婪的问题。我们展示了我们的框架在国家规模的道路网络中的长距离导航问题实例的性能，在挪威，瑞典和芬兰的模拟实验。
2023-01-17 cs.LG stat.ML
Towards a Kernel based Uncertainty Decomposition Framework for Data and Models
University of Florida（佛罗里达大学）
本文介绍了一种新的框架，用于量化数据和模型的预测不确定性，该框架依赖于将数据投影到高斯再生核希尔伯特空间（RKHS）中，并将数据概率密度函数（PDF）转换为将其梯度流量化为在样本空间中的所有点处量化的拓扑势场的方式。这使得PDF梯度流的分解通过使用来自量子物理学的算子（特别是薛定谔公式）将其公式化为矩分解问题来实现。我们的实验表明，高阶模式系统地集群的PDF的不同的尾部区域，从而提供前所未有的歧视分辨率的数据区域具有高认知的不确定性。从本质上讲，这种方法分解局部实现的数据PDF的不确定性时刻。我们应用这个框架作为一个代理工具的预测不确定性量化的点预测神经网络模型，克服了传统的贝叶斯不确定性量化方法的各种局限性。与一些已建立的方法的实验比较说明了我们的框架所表现出的性能优势。
2020-12-01 cs.LG eess.SP stat.ML
Kernel Regression with Tensor Trains and Hadamard Overparameterization
Institute of Science Tokyo（东京科学研究所）；University of Piraeus（比雷埃克斯大学）；Florida Atlantic University（佛罗里达亚特兰大大学）
介绍用于多向数据插补的KReTTaH框架，将插补问题转化为RKHS中的回归，通过哈达玛超参数化促进稀疏性等，在黎曼积流形框架内联合优化，在两个应用测试中建模精度优于现有基线。
2026-07-22 cs.LG eess.SP stat.ML
Verifiable Regularity Criterion for Conditional Expectation Operators and Conditional Mean Embeddings with Applications to Nonparametric Regression, Bayesian Inverse Problems, and Koopman Operators
Technische Universität Ilmenau（伊尔梅瑙工业大学）；Freie Universität Berlin（柏林自由大学）；Chemnitz University of Technology（开姆尼茨工业大学）
该研究提出了条件期望算子与条件均值嵌入的可验证正则性准则，验证其在三类场景下的适用性，为相关领域提供了统一分析框架。
2026-08-07 cs.LG cs.NA math.DS
A combinatorial conjecture from PAC-Bayesian machine learning
University of Hawaii Manoa（夏威夷大学马诺阿分校）；Coveo Solutions Inc.（Coveo解决方案公司）
我们提出了一个证明的组合猜想从第二作者的博士学位。论文证明依赖于二项式和多项式和身份。我们还讨论了PAC贝叶斯机器学习的上下文中的相关性的猜想。
2020-06-04 cs.LG math.CO stat.ML
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH（浦项科技大学）；Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型，在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常，具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时，需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量，这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法，该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中，在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法，并提出其遗憾分析。数值实验表明，我们的方法显示出令人满意的性能相比，现有的方法。
2022-06-20 cs.LG stat.ML
Bayesian Optimization of Combinatorial Structures
Massachusetts Institute of Technology（麻省理工学院）；The University of Arizona（亚利桑那大学）
在组合结构上优化代价高的黑箱函数是机器学习、工程和自然科学中普遍存在的任务。搜索空间的组合爆炸和昂贵的评估对离散优化和机器学习中的当前技术提出了挑战，并且迫切需要新的算法思想。本文提出，据我们所知，第一个算法来克服这些挑战，基于自适应，可扩展的模型，即使在数据稀缺的情况下，也能识别有用的组合结构。我们的采集功能率先使用半定编程来实现效率和可扩展性。实验结果表明，该算法在组合优化和贝叶斯优化方面均优于其他方法。
2018-10-10 cs.LG math.OC stat.ML
Bayesian Variational Optimization for Combinatorial Spaces
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文主要研究组合空间中的贝叶斯优化问题。在自然科学的许多应用中。广泛的应用包括分子，蛋白质，DNA，器件结构和量子电路设计的研究，需要在组合分类空间上进行优化以找到最优或帕累托最优解。然而，只有有限数量的方法被提出来解决这个问题。其中许多算法依赖于高斯过程的组合贝叶斯优化。高斯过程遭受大数据大小的可扩展性问题，因为它们的缩放相对于数据点的数量是立方的。这对于优化大的搜索空间通常是不切实际的。在这里，我们介绍了变分贝叶斯优化方法，结合变分优化和连续松弛的贝叶斯优化的采集功能的优化。重要的是，该方法允许基于梯度的优化，并具有优化大数据大小和数据维度的问题的能力。我们已经表明，我们的方法的性能是最先进的方法相媲美，同时保持其可扩展性的优势。我们还将我们的方法应用于分子优化。
2020-11-03 cs.LG math.OC stat.ML
On Average-Case Error Bounds for Kernel-Based Bayesian Quadrature
National University of Singapore (NUS)（新加坡国立大学）
在本文中，我们研究{ \em贝叶斯求积}（BQ）的误差界，重点是噪声设置，随机算法和平均情况下的性能指标。我们寻求逼近{ \em再现核Hilbert空间}（RKHS）中函数的积分，特别关注$ν$和平方指数（SE）核，其中来自函数的样本可能会被高斯噪声破坏。我们提供了一个两步的元算法，作为一个通用的工具有关的平均情况下的正交误差与$L^2$函数逼近误差。当专门针对Matérn内核时，我们恢复了现有的接近最优的错误率，同时避免了现有的重复采样点的方法。当专门用于其他设置，我们获得新的平均情况下的结果设置，包括SE内核与噪声和Matérn内核与误指定。最后，我们提出了算法独立的下界，具有更大的一般性和/或提供不同的证据相比，现有的。
2023-02-10 cs.IT cs.LG math.IT
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题，其解等价于贝叶斯后验分布的再生核希尔伯特空间（RKHS）嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外，优化问题导致了一个新的正则化的后验嵌入估计，这是更快，并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致，其一致性仍有待建立。我们的理论工作解决了这个开放的问题，并在回归设置中提供了一致性分析。基于我们的优化配方，我们提出了一个灵活的贝叶斯后验正则化框架，这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务，并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University（哥伦比亚大学）
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗（MCMC）或组合序贯蒙特卡罗（CSMC）等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而，当MCMC用于进化参数学习时，收敛需要长时间运行，状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗（VCSMC），一个强大的框架，建立变分顺序搜索学习分布在复杂的组合结构。然后，我们开发嵌套CSMC，一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似（棘手的）局部最优建议。我们使用嵌套的CSMC定义第二个目标，VNCSMC产生更严格的下限比VCSMC。我们表明，VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
On Safety in Safe Bayesian Optimization
RWTH Aachen University（亚琛工业大学）；Institute for Data Science in Mechanical Engineering (DSME)（机械工程数据科学研究所）
本文针对SafeOpt类安全贝叶斯优化算法，提出Real-β-SafeOpt和仅Lipschitz安全贝叶斯优化（LoSBO）及其变体LoS-GP-UCB，以解决理论保证失效、RKHS假设障碍及高维适用性问题，并保证安全性与性能。
2024-03-19 cs.LG stat.ML
Kernelized Normalizing Constant Estimation: Bridging Bayesian Quadrature and Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文研究黑盒函数归一化常数估计问题，揭示其难度随参数λ在贝叶斯求积与贝叶斯优化之间连续变化，并通过理论上下界和仿真实验验证了该规律在无噪声与有噪声情形下均成立。
2024-01-11 cs.LG stat.ML
Combinatorial Bayesian Optimization using the Graph Cartesian Product
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）；CIFAR（加拿大高等研究院）
本文主要研究组合搜索空间上目标的贝叶斯优化，包括有序和分类变量。尽管组合BO的潜在应用丰富，包括芯片组配置搜索和神经架构搜索，但只有少数方法被提出。介绍了一种新的高斯过程（GP）BO-COMBO。COMBO通过利用组合图来量化组合搜索空间上函数的“平滑性”。组合图的顶点集由变量的所有可能的联合赋值组成，而边则使用表示各个变量的子图的图笛卡尔积来构造。在这个组合图上，我们提出了一个ARD扩散核，GP能够模拟变量之间的高阶相互作用，从而获得更好的性能。此外，在ARD扩散核的尺度参数使用马蹄先验的结果在一个有效的变量选择过程，使COMBO适合高维问题。在计算上，在COMBO中，图形笛卡尔积允许图形傅立叶变换计算线性缩放而不是指数缩放。我们验证COMBO在广泛的现实基准，包括加权最大可满足性问题和神经架构搜索。COMBO在保持计算和统计效率的同时，始终优于最新的最先进技术。
2019-10-28 cs.LG stat.ML
Combinatorial and algebraic perspectives on the marginal independence structure of Bayesian networks
本文刻画Bayes网络无条件依赖图，利用Gröbner基与二项式关系构建图空间上的MCMC搜索方法GrUES，在合成Gaussian数据上提升真实边际独立结构恢复率并给出可靠后验可信集。
2024-01-31 math.AG math.CO math.ST
Bayesian Optimization over High-Dimensional Combinatorial Spaces via Dictionary-based Embeddings
Washington State University（华盛顿州立大学）；Meta
我们考虑在高维组合空间上优化昂贵的黑盒函数的问题，这在许多科学，工程和ML应用中出现。我们使用贝叶斯优化（BO），并提出了一种新的代理建模方法，有效地处理大量的二进制和分类参数。关键思想是从输入空间（字典）中选择一些离散结构，并使用它们来定义高维组合结构的序数嵌入。这使得我们可以使用现有的高斯过程模型的连续空间。我们开发了一种基于二进制小波的原则性方法来构造二进制空间的字典，并提出了一种推广到范畴空间的随机构造方法。我们提供了理论依据，以支持基于词典的嵌入的有效性。我们的实验在不同的现实世界的基准证明了我们所提出的代理建模方法的有效性超过国家的最先进的BO方法。
2023-03-03 cs.LG stat.ML
Random Postprocessing for Combinatorial Bayesian Optimization
Tohoku University（东北大学）；Kitasato University（北里大学）；Tokyo Institute of Technology（东京工业大学）；Sigma-i Co., Ltd.（Sigma-i公司）
针对离散黑箱优化中贝叶斯优化重复采样导致收敛慢的问题，提出严格禁止重复样本的随机后处理方法，数值实验表明该方法显著减少寻优步骤，尤其适用于最大后验采集函数。
2023-12-28 cond-mat.dis-nn cs.LG math.OC
MOCA-HESP: Meta High-dimensional Bayesian Optimization for Combinatorial and Mixed Spaces via Hyper-ellipsoid Partitioning
RMIT University, Australia（皇家墨尔本理工大学）；Chongqing University, China（重庆大学）
针对组合与混合域高维贝叶斯优化的挑战，本文提出元算法MOCA-HESP，结合超椭球划分与自适应编码器选择，可整合现有优化器，实验显示其在合成及真实基准上优于基线。
2025-08-25 cs.LG stat.ML
Variational Combinatorial Sequential Monte Carlo for Bayesian Phylogenetics in Hyperbolic Space
Spelman College（斯巴灵学院）；University of Amsterdam（阿姆斯特丹大学）；Columbia University（哥伦比亚大学）
针对系统发育树超指数缩放限制欧几里得推理效率的问题，提出双曲空间下序贯蒙特卡洛算法的扩展及变分推理方法，显著提升了高维贝叶斯系统发育推理的速度与性能。
2025-07-15 cs.LG stat.ML
Batched Stochastic Bayesian Optimization via Combinatorial Constraints Design
Caltech（加州理工学院）
在许多高通量实验设计设置中，例如生化工程中常见的那些，批量查询比一个接一个的顺序查询更具成本效益。此外，通常不可能直接选择要查询的项目。相反，实验者指定一组约束，生成一个可能的项目库，然后随机选择。出于这些考虑，我们调查\emph{Batched Stochastic Bayesian Optimization}（BSBO），一种新的贝叶斯优化方案选择的约束，以指导探索项目具有更大的效用。我们专注于\emph{site-saturation mutagenesis}，生物化学工程中的BSBO的原型设置，并提出了一个自然的目标函数，这个问题。重要的是，我们表明，我们的目标函数可以有效地分解为子模函数（DS）的差异，这使我们能够采用DS优化工具来greenly确定一组约束，增加了找到高效用项目的可能性。我们的实验结果表明，我们的算法优于普通的算法在合成和两个真实的蛋白质数据集。
2019-04-17 cs.LG q-bio.QM stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
Washington State University（华盛顿州立大学）
我们研究了在组合空间上优化昂贵的黑盒函数的问题（例如，集合、序列、树和图）。BOCS（Baptista和Poloczek，2018）是一种用于易处理统计模型的最先进的贝叶斯优化方法，它执行基于半定规划的获取函数优化（AFO）来选择下一个结构进行评估。不幸的是，BOCS规模不佳，大量的二进制和/或分类变量。基于求解二次规划的子模块松弛（Ito and Fujimaki，2016）的最新进展，我们研究了一种称为参数化子模块松弛（PSR）的方法，以提高求解BOCS模型AFO问题的可扩展性和准确性。PSR方法依赖于两个关键思想。首先，将AFO问题转化为带未知参数的次模松弛问题，利用最小图割算法可以有效地求解该问题。第二，构造一个优化问题来估计与真实目标非常接近的未知参数。在不同的基准问题上的实验表明，PSR对BOCS模型有显著的改进。源代码可在https://github.com/aryandeshwal/Submodular_Relaxation_BOCS上获得。
2020-08-18 cs.LG math.OC stat.ML
Robust Wavelength Selection for Partial Least Squares Sugar Content Estimation Using Combinatorial Bayesian Optimization
Tohoku University（东北大学）；DIC Corporation（DIC株式会社）；Tokyo Institute of Science（东京理科大学）；Kumamoto University（熊本大学）；Sigma-i Co. Ltd.（Sigma-i有限公司）
该研究将糖含量估计的波长选择建模为二元黑箱优化问题，提出基于组合贝叶斯优化的方法，可提升偏最小二乘回归的预测精度与波长选择的鲁棒性。
2026-07-31 cs.LG stat.ML
On the convergence rate of noisy Bayesian Optimization with Expected Improvement
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
针对贝叶斯优化中期望改进（EI）的理论收敛问题，本文在高斯过程（GP）先验假设下，首次建立带噪声观测的GP-EI渐近误差界及速率，并通过分析EI函数的探索利用性质，改进了无噪声和有噪声场景下的误差界。
2025-02-12 cs.LG math.OC stat.ML
Bayesian Optimization under Heavy-tailed Payoffs
Indian Institute of Science（印度科学学院）
我们考虑黑箱优化的一个未知的函数在非参数高斯过程设置时，在观察到的函数值的噪声可以重尾。这与现有文献相反，现有文献通常假设查询的亚高斯噪声分布。假设未知函数属于再生核希尔伯特空间（RKHS）引起的内核，我们首先表明，适应著名的GP-UCB算法与奖励截断享有次线性$\tilde{O}(T^{\frac{2 + α}{2(1+α)}})$遗憾，即使只有$(1+α)$次时刻，$α\in (0,1]$，奖励分布有界（$\tilde{O}$隐藏对数因子）。然而，对于共同平方指数（SE）和Matérn内核，这被认为是显着大于一个基本的$Ω(T^{\frac{1}{1+α}})$下限遗憾。我们解决这个差距，开发新的贝叶斯优化算法，核近似技术的基础上，遗憾的边界匹配的下限，以SE内核。我们数值基准的算法在环境的基础上合成模型和现实世界的数据集。
2019-09-16 cs.LG stat.ML
ISBO: Scalable Spatio-Temporal Bayesian Optimization with Log Gaussian Cox Process Models via the INLA-SPDE Approach
KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
研究针对时空数据的贝叶斯优化问题，提出首个可扩展框架ISBO，采用LGCP建模、INLA-SPDE推断，实验显示其峰值发现与强度恢复准确且速度显著提升，是点过程数据BO的实用方案。
2026-10-14 cs.LG stat.ML
Differentiable TAN Structure Learning for Bayesian Network Classifiers
Graz University of Technology（格拉茨技术大学）
贝叶斯网络的结构学习是一个困难的组合优化问题。在本文中，我们考虑学习树增强朴素贝叶斯（TAN）结构的贝叶斯网络分类器与离散输入功能。所提出的方法不是在可能的图结构的空间上执行组合优化，而是学习图结构上的分布。在训练之后，我们选择这个分布的最可能的结构。这允许使用基于梯度的优化对贝叶斯网络参数及其TAN结构进行联合训练。所提出的方法是不可知的具体损失，只要求它是可微的。我们进行了广泛的实验，使用混合生成判别损失的基础上的判别概率余量。我们的方法始终优于随机TAN结构和Chow-Liu TAN结构。
2020-08-21 cs.AI cs.LG stat.ML
Nonlinear Bayesian optimal experimental design using logarithmic Sobolev inequalities
Massachusetts Institute of Technology（麻省理工学院）
本文针对非线性非高斯环境下互信息评估困难且组合搜索代价高的问题，提出基于对数Sobolev不等式构造廉价互信息下界的贪心实验选择方法，并在多种设置中验证其优于随机选择、高斯近似和嵌套蒙特卡洛估计器。
2024-02-23 cs.LG stat.ME stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
Bayesian Optimization of Functions over Node Subsets in Graphs
University of Oxford（牛津大学）；Google（谷歌公司）
针对图上节点子集函数的组合黑箱优化难题，提出基于贝叶斯优化与组合图局部递归采样的新框架，并在合成与真实任务中验证其有效性。
2025-01-05 cs.LG stat.ML
Black-box Combinatorial Optimization using Models with Integer-valued Minima
Delft University of Technology（代尔夫特理工大学）
当一个黑盒优化目标只能用昂贵的或有噪声的测量来评估时，大多数标准优化算法都不适合找到最优解。专门处理这种情况的算法使用了代理模型。这些模型通常是连续和光滑的，这对连续优化问题是有利的，但不一定对组合问题。然而，通过以某种方式选择代理模型的基函数，我们证明了可以保证代理模型的最优解是整数。在求解带噪声干扰的旅行商基准问题的鲁棒路径时，该方法的性能优于随机搜索、模拟退火和贝叶斯优化算法，与贝叶斯优化算法的性能相当;在求解具有大量变量的凸二元优化问题时，该方法的性能优于所有比较算法.
2019-11-20 cs.LG stat.ML
AntBO: Towards Real-World Automated Antibody Design with Combinatorial Bayesian Optimisation
University of Edinburgh（爱丁堡大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Oslo（奥斯陆大学）；American University of Beirut Medical Centre（贝鲁特美国大学医学中心）；University College London（伦敦大学学院）
抗体是能够高度特异性分子识别的典型Y形多聚体蛋白。位于抗体可变链末端的CDRH 3区主导抗原结合特异性。因此，设计最佳的抗原特异性CDRH 3区以开发治疗性抗体是优先考虑的。然而，CDRH 3序列空间的组合性质使得不可能使用计算方法彻底且有效地搜索最佳结合序列。在这里，我们提出了\texttt{AntBO}：一个组合贝叶斯优化框架，使有效的\textit{in silico}设计的CDRH 3区。理想情况下，预期抗体具有高靶标特异性和可开发性。我们引入了CDRH 3信任区，将搜索限制在具有有利可开发性评分的序列中，以实现这一目标。对于基准测试，\texttt{AntBO}使用\texttt{Absolut!}软件套件作为黑盒预言机，以不受约束的方式~ \citep{robert2021one}对设计的抗体\textit{in silico}的靶特异性和亲和力进行评分。对\texttt{Absolut!}中使用的$159$离散抗原进行的实验证明了\texttt{AntBO}在设计具有不同生物物理特性的CDRH 3区中的益处。在$200$下调用黑盒oracle时，\texttt{AntBO}可以建议优于从690万个实验获得的CDRH 3和常用的遗传算法基线中得出的最佳结合序列的抗体序列。此外，\texttt{AntBO}仅在38种蛋白质设计中发现了非常高亲和力的CDRH 3序列，同时不…
2022-10-14 cs.AI cs.LG cs.NE
Coupled Input-Output Dimension Reduction: Application to Goal-oriented Bayesian Experimental Design and Global Sensitivity Analysis
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；California Institute of Technology（加州理工学院）
本文提出一种耦合输入-输出降维方法，通过梯度优化诊断矩阵对角元素，高效解决面向目标的传感器放置与敏感性分析中的组合优化难题。
2025-03-30 cs.LG math.ST stat.ML
First-Order Bayesian Regret Analysis of Thompson Sampling
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
我们解决在线组合优化时，玩家有一个事先超过对手的损失序列。在此框架下，Russo和Van Roy提出了基于信息比的Thompson抽样的信息论分析，得到了最坏情况下的最优后悔界。在本文中，我们介绍了三个新的想法，这条线的工作。首先，我们提出了一个新的量，规模-敏感信息比，它允许我们获得更精确的一阶后悔界限（即，形式为$\sqrt{L^*}$的界限，其中$L^*$是最佳组合动作的损失）。其次，我们取代熵的组合动作的坐标熵，这使我们能够获得第一个最佳的最坏情况下的汤普森采样的组合设置。最后，我们介绍了贝叶斯代理和频率置信区间之间的一种新的联系。结合这些想法，我们表明，经典的多臂强盗一阶遗憾界$\tilde{O}(\sqrt{d L^*})$仍然适用于更具有挑战性和更一般的半强盗的情况。后一结果改进了Lykouris、Sridharan和Tardos的现有技术结合$\tilde{O}(\sqrt{(d+m^3)L^*})$。此外，我们锐化这些结果与两个技术成分。第一个利用了最近的洞察力Zimmert和Latterfly取代香农熵更精细的潜在功能的分析。第二种是\emph{Thresholded} Thompson采样算法，它通过从不播放低概率动作来略微修改原始算法。当$L^*$几乎肯定是上界时，这种阈值处理会导致完全$T$独立的遗憾界，这对于普通的Thompson采样是不成立的。
2022-04-04 cs.LG stat.ML
Bayesian Kernel Regression for Functional Data
National Institute for Fusion Science（日本核融合科学研究所）；The Institute of Statistical Mathematics（统计数理研究所）；Digital Strategy Center, Daicel Corporation（大赛璐公司数字战略中心）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学院大学（SOKENDAI））；RIKEN（理化学研究所）
本文提出基于核方法与 RKHS 的贝叶斯函数型输出回归模型，利用输出函数协方差结构提升高维非线性预测精度，并解析量化预测不确定性。
2025-03-17 cs.LG stat.ML
Provable Accelerated Bayesian Optimization with Knowledge Transfer
University of Chicago（芝加哥大学）；USC & MBZUAI（USC与MBZUAI）；University at Albany, SUNY（纽约州立大学阿尔巴尼分校）
本文提出DeltaBO算法，通过构建差分函数的不确定性量化方法，在不同RKHS中实现加速贝叶斯优化，理论证明其在转移学习中具有更优的 regret 上界。
2026-04-28 cs.LG stat.ML
Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems
University of Florida（佛罗里达大学）
本研究结合RKHS理论与贝叶斯滤波，提出核算子理论贝叶斯滤波方法，将非线性动力学提升至希尔伯特空间用线性方法求解，可自适应追踪系统变化，小维度下即可实现高精度，性能优于有限维Koopman分解。
2024-10-31 cs.LG eess.SP stat.ML
Simulation Based Bayesian Optimization
CUNEF Universidad（CUNEF大学）；Middlebury College（Middlebury学院）
针对复杂协变量空间中GPs代理模型的不足，本文提出基于模拟的贝叶斯优化（SBBO）方法，仅需采样访问后验预测分布即可优化采集函数，支持组合空间定制代理模型，经验验证其在组合优化中的有效性。
2025-08-25 cs.LG stat.ML
No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints
National University of Singapore（新加坡国立大学）
本文研究在单调性安全约束下顺序最大化未知函数的问题，提出基于高斯过程的算法，在安全函数仅对单变量单调的条件下实现了次线性累积遗憾，并能寻找每个输入对应的最优安全动作。
2024-06-05 cs.LG stat.ML
Warm-Starting Iterative Gaussian Processes for Faster Sequential Inference
本文提出三种 warm-start 策略，通过利用更小线性系统解加速后验更新，提升高斯过程在序列任务中的效率，实验证明在回归和贝叶斯优化中具有显著速度提升和精度提升。
2026-06-26 cs.LG stat.ML
Bayesian Structure Learning with Generative Flow Networks
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Technical University of Munich（慕尼黑工业大学）；KTH Stockholm（斯德哥尔摩KTH皇家理工学院）
在贝叶斯结构学习中，我们感兴趣的是从数据中推断贝叶斯网络的有向无环图（DAG）结构上的分布。定义这样的分布是非常具有挑战性的，由于组合大的样本空间，并且通常需要基于MCMC的近似。最近，一类新的概率模型，称为生成流网络（GFlowNets），已被引入作为离散和复合对象（如图）的生成建模的一般框架。在这项工作中，我们建议使用GFlowNet作为MCMC的替代方案，用于近似贝叶斯网络结构上的后验分布，给定观测数据集。从这个近似分布生成样本DAG被视为顺序决策问题，其中基于学习的转移概率，一次构造一个边。通过对模拟数据和真实数据的评估，我们表明，我们的方法，称为DAG-GFlowNet，提供了一个准确的近似后验的DAG，它优于基于MCMC或变分推理的其他方法相比。
2022-06-28 cs.LG stat.ML
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
KAIST（韩国科学技术院）
在机器学习算法中，超参数的选择往往是一门艺术而不是一门科学，需要专家经验的劳动密集型搜索。因此，对超参数优化进行自动化以排除人为干预是很有吸引力的，特别是对于黑箱函数。近年来，人们越来越多地要求解决这些隐藏的任务，以更好地推广，虽然任务相关的问题是不容易解决的。黑盒优化挑战赛（NeurIPS 2020）要求参赛者在标准机器学习问题的不同领域构建一个强大的黑盒优化器。本文以逐步的方式描述了KAIST OSI团队的方法，该方法比基线算法的性能高出20.39%。我们首先在区域可靠性的概念下加强了局部贝叶斯搜索。然后，我们为高斯过程核设计了一个组合核。同样，我们结合贝叶斯方法和多臂强盗（MAB）方法来选择考虑变量类型的值;实数和整数变量与贝叶斯，而布尔和分类变量与MAB。实证评估表明，我们的方法优于现有的方法在不同的任务。
2020-12-07 cs.LG stat.ML
Batched Bayesian optimization by maximizing the probability of including the optimum
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
本文提出批量贝叶斯优化采集策略qPO，通过最大化批次包含真实最优解的概率，将批量采集函数分解为单项分数之和，规避组合优化难题，并在大型化学库分子设计实验中验证其竞争力与互补性。
2025-05-07 cs.LG stat.ML
On permutation symmetries in Bayesian neural network posteriors: a variational perspective
Stellantis（斯泰兰蒂斯）
本研究将边缘化损失障碍形式化扩展到贝叶斯神经网络，提出一种基于置换矩阵对齐的匹配算法以搜索线性连接解，实验表明多种架构和数据集上边缘化损失障碍几乎为零。
2023-10-16 cs.LG stat.ML
