Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Bayesian Subspace HMM for the Zerospeech 2020 Challenge
Bogazici University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们描述了我们提交的Zerospeech 2020挑战，其中要求参与者从未注释的语音中发现潜在的表示，并使用这些表示来执行语音合成，合成质量作为单位质量的代理度量。在我们的系统中，我们使用贝叶斯子空间隐马尔可夫模型（SHMM）的单位发现。SHMM将每个单元建模为HMM，HMM的参数被约束为位于总参数空间的低维子空间中，该总参数空间被训练以对语音变异性建模。我们的系统与人类评估的字符错误率的基线相比，同时保持显着较低的单位比特率。
2020-07-27 cs.CL cs.LG eess.AS
Robust Bayesian Subspace Identification for Small Data Sets
从传统的子空间识别方法获得的模型估计可能会受到显着的方差。在大型模型或样本量有限的情况下，这种升高的方差会加剧。减少方差影响的常见解决方案是正则化估计，收缩估计和贝叶斯估计。在目前的工作中，我们调查后两种解决方案，尚未被应用于子空间识别。我们的实验结果表明，我们提出的估计可以减少估计风险的传统子空间方法的$40\%$。
2022-12-29 cs.SY eess.SY stat.ML
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中，我们考虑两组定义为嵌入在噪声中的子空间信号的观测，我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度，这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究，其中感兴趣的子空间被认为是随机的联合先验分布（即宾汉分布），这使得两个子空间的接近程度进行调整。在这个框架内，最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划，以提供更准确的估计的角度之间的子空间，相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
Stagewise Safe Bayesian Optimization with Gaussian Processes
California Institute of Technology（加州理工学院）
在不确定性条件下的顺序决策问题中，强制执行安全性是一个关键方面，它要求在每一步做出的决策都是最优决策的信息，而且也是安全的。例如，我们重视医学治疗的有效性和舒适性，以及机器人控制的效率和安全性。我们考虑这个问题的优化未知的效用函数与绝对反馈或偏好反馈未知的安全约束。我们开发了一个有效的安全贝叶斯优化算法，StageOpt，安全区域扩展和效用函数最大化分为两个不同的阶段。与现有的扩展和优化方法相比，我们表明StageOpt更有效，自然适用于更广泛的一类问题。我们提供了理论保证的安全约束的满意度，以及收敛到最优效用值。我们在各种合成实验以及临床实践中评估了StageOpt。我们证明了StageOpt比现有的安全优化方法更有效，并且能够在我们的临床实验中安全有效地优化脊髓刺激治疗。
2020-01-26 cs.LG stat.ML
Online Low-Rank Subspace Learning from Incomplete Data: A Bayesian View
在过去的几十年里，提取高维信号经常驻留的底层低维空间一直是信号处理和机器学习文献中众多算法的中心。与此同时，由于各种原因，使用不完整（部分观察到的）大规模数据集最近已经司空见惯。这个所谓的{ \it大数据时代}，我们目前生活的要求设计在线子空间学习算法，可以适当地处理不完整的数据。他们设想的目标是{ \it递归地}通过顺序地处理流数据来估计未知子空间，从而降低计算复杂度，同时避免将整个数据集存储在存储器中的需要。本文提出了一种基于部分观测值的在线变分贝叶斯子空间学习算法。考虑到子空间的真实秩的未知性，通常在实践中遇到，低秩是明确施加在所寻求的子空间数据矩阵，通过利用稀疏贝叶斯学习原理。此外，稀疏性，{ \it同时}低秩，有利于子空间矩阵的复杂的层次贝叶斯方案，采用。在这样做时，所提出的算法变得善于处理应用，由此底层子空间也可以是稀疏的，例如，稀疏字典学习问题。如图所示，在对模拟和真实数据进行的各种实验中，新的子空间跟踪方案在估计精度方面优于其最先进的同行。
2016-02-12 stat.ML
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Applied Research Laboratories, The University of Texas at Austin（德克萨斯大学奥斯汀分校应用研究实验室）
通过演示进行贝叶斯奖励示教学习，可在执行模仿学习时进行严格的安全性和不确定性分析。然而，贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推（贝叶斯REX），一个高效的贝叶斯奖励学习算法，规模高维模仿学习的问题，通过预训练低维特征编码通过自我监督的任务，然后利用偏好的演示，以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏，而无需访问游戏分数，并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100，000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后，Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名，并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings
The Royal Melbourne Institute of Technology (RMIT)（皇家墨尔本理工学院（RMIT））；Chongqing University（重庆大学）
本文提出 BOIDS 高维贝叶斯优化算法，利用方向线与子空间嵌入克服维数灾难，并通过自适应选择提升效率，实验证明其优于现有方法。
2024-12-17 cs.LG stat.ML
Probabilistic Safety for Bayesian Neural Networks
University of Oxford（牛津大学）
研究了贝叶斯神经网络在对抗性输入扰动下的概率安全性。给定一个紧的输入点集，$T \subseteq \mathbb{R}^m$，我们研究的概率w.r.t.在$T$中的所有点被映射到输出空间中的相同区域$S$之后的BNN。特别地，这可以用于评估从BNN采样的网络容易受到对抗攻击的概率。我们依靠非凸优化的松弛技术，开发了一种计算BNN概率安全下限的方法，推导出区间和线性函数传播技术的明确程序。我们将我们的方法应用于在回归任务，空中防撞和MNIST上训练的BNN，经验表明，我们的方法允许使用数百万个参数来证明BNN的概率安全性。
2020-06-19 cs.LG stat.ML
On Safety in Safe Bayesian Optimization
RWTH Aachen University（亚琛工业大学）；Institute for Data Science in Mechanical Engineering (DSME)（机械工程数据科学研究所）
本文针对SafeOpt类安全贝叶斯优化算法，提出Real-β-SafeOpt和仅Lipschitz安全贝叶斯优化（LoSBO）及其变体LoS-GP-UCB，以解决理论保证失效、RKHS假设障碍及高维适用性问题，并保证安全性与性能。
2024-03-19 cs.LG stat.ML
Fully Bayesian Recurrent Neural Networks for Safe Reinforcement Learning
IBM Research UK（英国IBM研究院）；Sci-Tech Daresbury（达尔斯伯里科技中心）
强化学习（RL）已经在许多自治系统应用中展示了最先进的结果，然而许多底层算法依赖于黑盒预测。这导致这些系统的行为的可解释性差，引起了人们对它们在安全关键应用中的使用的关注。最近的工作表明，不确定性感知模型表现出更谨慎的行为，通过纳入模型的不确定性估计。在这项工作中，我们建立在概率反向传播的基础上，引入了一个完整的贝叶斯递归神经网络架构。我们将其应用在安全RL场景中，并证明所提出的方法显着优于一种流行的方法，用于在避碰任务中获得模型的不确定性。此外，我们证明了所提出的方法需要更少的训练，并且在计算资源和内存占用方面都比当前领先的方法更有效。
2019-11-26 cs.LG stat.ML
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology（布尔诺理工大学）
这项工作解决的问题，学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程：首先，模型学习的概念的声学单位从标记的数据，然后模型使用它的知识，以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型（SHMM）实现这个过程，这是一种类似于子空间高斯混合模型（SGMM）的模型，其中每个低维嵌入表示一个声学单元，而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言（德语、波兰语和西班牙语）上训练，AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明，该方法明显优于以前的基于HMM的声学单元发现系统，并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS
The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification
Massachusetts Institute of Technology（麻省理工学院）
我们提出了贝叶斯案例模型（Bayesian Case Model，简称CBR），它是贝叶斯案例推理（Bayesian Case-Based Reasoning，简称CBR）和原型分类与聚类的一个通用框架。它将CBR的直观力量引入贝叶斯生成框架。通过对聚类标签、原型和重要特征进行联合推理，该算法学习原型，即最能代表数据集中聚类的“精华”观察。与此同时，ESTA通过学习子空间来追求稀疏性，子空间是在原型表征中起重要作用的特征集。原型和子空间表示在保持分类准确性的同时在可解释性方面提供了定量优势。人类受试者实验证实，与现有技术给出的解释相比，当使用由ESTA产生的解释时，参与者的理解在统计学上显著改善。
2015-03-03 cs.LG stat.ML
Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions
School of Computing and Artificial Intelligence（计算与人工智能学院）
提出通过从原始问题的轴对齐子空间中各选一点来扩展贝叶斯优化至大规模批量评估，显著加速收敛，与十种批量算法相比极具竞争力。
2026-06-18 cs.AI cs.LG cs.NE
Bayesian Subspace Identification in the MIMO Case
FEDERAL UNIVERSITY OF MINAS GERAIS（米纳斯吉拉斯联邦大学）
本文提出了一种适用于多输入多输出系统的贝叶斯子空间识别方法，并通过实验验证其有效性。
2025-12-30 cs.SY eess.SY stat.AP
A Fully Bayesian Gradient-Free Supervised Dimension Reduction Method using Gaussian Processes
Georgia Institute of Technology（佐治亚理工学院）；GE Research（通用电气研究中心）
现代工程问题的普遍特征是复杂的计算机代码，这些代码将参数或输入映射到底层物理过程。在其他情况下，实验装置用于模拟实验室中的物理过程，确保高精度，同时在材料和物流方面成本高昂。在这两种情况下，通过在有限数量的输入或设计上查询昂贵的信息源，只能生成有限数量的数据。这个问题在高维输入空间的存在下进一步复杂化。现有技术的参数空间降维方法，例如主动子空间，旨在识别原始输入空间的子空间，该子空间足以解释输出响应。这些方法的限制，他们依赖于梯度评估或丰富的数据，使他们不足以昂贵的问题，没有直接访问梯度。所提出的方法是无梯度和完全贝叶斯，因为它量化的低维子空间和代理模型参数的不确定性。这使得认识的不确定性和鲁棒性有限的数据可用性的充分量化。它在来自工程和科学的多个数据集上进行了验证，并基于四个方面与其他两种最先进的方法进行了比较：a）活动子空间的恢复，b）确定性预测精度，c）概率预测精度和d）训练时间。比较表明，该方法提高了主动子空间恢复和预测精度，在确定性和概率意义上，只有少数模型观测可用于训练，在增加的训练时间的成本。
2021-07-01 cs.LG stat.ML
LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces
Fudan University（复旦大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
大量的文献已经证明贝叶斯优化框架在模拟电路综合中特别有效。然而，以往的研究工作大多集中在设计信息代理模型或有效的获取功能。即使在采集函数表面上搜索全局最优值本身是一项困难的任务，但它在很大程度上被忽略了。在本文中，我们提出了一个快速和强大的贝叶斯优化方法，通过一维子空间的模拟电路综合。通过在每次迭代中只关注优化一维子空间，我们大大降低了贝叶斯优化框架的计算开销，同时安全地最大化了获取函数。通过结合不同维度选择策略的优点，我们自适应地在全局搜索和局部搜索之间取得平衡。通过利用批贝叶斯优化框架，我们进一步加快优化过程，充分利用硬件资源。实验结果定量地表明，我们提出的算法可以加速优化过程高达9倍和38倍相比，LP-EI和REMBOpBO分别当批量大小为15。
2021-09-01 cs.LG cs.SY eess.SY
Automated Random Embedding for Practical Bayesian Optimization with Unknown Effective Dimension
Shanghai Institute of AI for Education, and School of Computer Science and Technology, East China Normal University（上海人工智能教育研究院，东华大学计算机科学与技术学院）；Ant Group（蚂蚁集团）；Nanjing University（南京大学）
提出动态共享嵌入贝叶斯优化（DSEBO）方法，通过自动调整子空间维度并共享查询解，平衡近似与优化误差，在高维优化中显著降低遗憾和时间成本。
2026-05-25 cs.AI cs.LG
Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Parameter Optimization using high-dimensional Bayesian Optimization
Swiss Federal Institute of Technology in Zurich（苏黎世联邦理工学院）
在这篇论文中，我探讨了在高维域中进行贝叶斯优化技术的可能性。虽然高维域可以被定义为在数百和数千维之间，但我们将主要关注发生在2到20维之间的问题设置。因此，我们专注于实际问题的解决方案，例如调整电子加速器的参数，或者更简单的任务，这些任务可以在手边的标准笔记本电脑上运行和优化。我们的主要贡献是1）。比较对数似然如何影响真实投影矩阵和所找到的矩阵矩阵中的角度差，2.）对当前流行方法的广泛分析，包括优点和缺点，3.）关于降维技术如何用于特征选择的简短分析，以及4.）一种新的算法称为“无聊”，它允许一个简单的回退机制，如果矩阵识别失败，以及考虑到“被动”子空间，提供小扰动的功能在手。无聊的主要特点是1。识别子空间的可能性（与大多数其他优化算法不同），以及2.）如果识别失败，则提供低得多的惩罚来识别子空间，因为优化仍然是主要目标。
2020-10-05 cs.LG stat.ML
Information-Theoretic Safe Bayesian Optimization
Bosch Corporate Research（博世公司研究中心）；TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）
针对连续域中带未知安全约束的贝叶斯优化问题，提出直接利用 GP 后验的信息论安全探索准则，无需额外超参数，并在理论上保证高概率安全与任意精度收敛，实验显示数据效率和可扩展性提升。
2024-05-10 cs.AI cs.LG stat.ML
No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints
National University of Singapore（新加坡国立大学）
本文研究在单调性安全约束下顺序最大化未知函数的问题，提出基于高斯过程的算法，在安全函数仅对单变量单调的条件下实现了次线性累积遗憾，并能寻找每个输入对应的最优安全动作。
2024-06-05 cs.LG stat.ML
Robust Entropy Search for Safe Efficient Bayesian Optimization
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Federal Institute for Materials Research and Testing BAM（联邦材料研究与测试研究所）；University of Applied Sciences Bonn-Rhein-Sieg（波恩-莱茵-锡格应用科学大学）；Fraunhofer Institute for Machine Tools and Forming Technology IWU（弗劳恩霍夫机床与成形技术研究所）；TUD Dresden University of Technology（德累斯顿工业大学）；Institute of Mechatronic Engineering（机电工程研究所）
针对贝叶斯优化中部分参数在应用时不可控或受不利扰动的对抗鲁棒性问题，提出高效基于信息的获取函数鲁棒熵搜索（RES），能可靠找到鲁棒最优解并优于现有先进算法。
2024-05-31 cs.LG stat.ML
Meta-Learning Priors for Safe Bayesian Optimization
ETH Zurich（苏黎世联邦理工学院）；inspire AG（Inspire股份公司）
针对机器人领域安全约束下控制器参数优化的挑战，提出基于F-PACOH的元学习先验框架，通过数据驱动方式选安全先验，在保障安全的同时加快安全贝叶斯优化收敛。
2023-06-12 cs.AI cs.LG cs.RO
High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces
FPT Software AI Center（FPT软件人工智能中心）；HaNoi University of Science and Technology（河内科技大学）
本文提出一种结合随机线性投影与几何感知半监督神经网络表示学习的高维贝叶斯优化新方法，在低维空间高效优化采集函数并支持投影回高维空间，有效缓解了过拟合并在合成与真实任务上优于现有基线。
2024-12-21 cs.LG stat.ML
CobBO: Coordinate Backoff Bayesian Optimization with Two-Stage Kernels
Alibaba Group（阿里巴巴集团）
贝叶斯优化是一种用于优化昂贵的黑盒函数的流行方法。然而，它经常在计算可能过于繁重的高维空间中挣扎。为了缓解这个问题，我们引入了具有两阶段内核的协调退避贝叶斯优化（CobBO）。在每一轮中，第一阶段使用一个简单的粗糙内核，牺牲近似精度以提高计算效率。它通过有意消除局部波动来捕捉全球景观。然后，在同一轮的第二阶段中，将全空间中的过去观测点投影到所选择的子空间以形成虚拟点。这些虚拟点，连同使用第一阶段的简单内核估计的其未知函数值的均值和方差，在第二阶段中被拟合到更复杂的内核模型。在所选择的低维子空间内，在其中进行贝叶斯优化的计算成本变得负担得起。为了进一步提高性能，在同一子空间中收集一系列连续的观测值，这可以有效地改进函数的近似。这种细化一直持续到满足停止规则，确定何时从某个子空间后退并切换到另一个子空间。这种解耦显著降低了高维中的计算负担，这充分利用了整个空间中的观测，而不是仅依赖于每个坐标子空间中的观测。广泛的评估表明，CobBO找到了与其他最先进的方法相当或更好的解决方案，尺寸范围从几十到几百，同时降低了试验的复杂性和计算成本。
2022-04-19 cs.AI cs.LG math.OC
Towards Safe Multi-Task Bayesian Optimization
Hamburg University of Technology（汉堡工业大学）；Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）
本文提出一种面向安全多任务贝叶斯优化方法，通过扩展鲁棒高斯过程误差界并结合MCMC超参数后验置信区域，在利用简化模型加速优化的同时提供安全保证，仿真验证了其在昂贵函数上的显著加速效果。
2024-06-17 cs.LG cs.SY eess.SY
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Tuning Particle Accelerators with Safety Constraints using Bayesian Optimization
ETH Zurich（苏黎世联邦理工学院）；Paul Scherrer Institut（保罗·谢尔研究所）
调整粒子加速器的机器参数是一项重复且耗时的任务，具有自动化的挑战性。虽然许多现成的优化算法是可用的，但在实践中，它们的使用是有限的，因为大多数方法在每次迭代中不考虑安全关键约束，例如损失信号或步长限制。一个值得注意的例外是安全贝叶斯优化，这是一种数据驱动的调整方法，用于带噪声反馈的全局优化。我们提出并评估了一个步长有限的变量的安全贝叶斯优化的两个研究设施的保罗谢勒研究所（PSI）：a）瑞士自由电子激光（SwissFEL）和b）的高强度质子加速器（HIPA）。我们报告有前途的实验结果，在这两台机器上，调整到16个参数受到224个约束。
2022-06-30 cs.LG physics.acc-ph
Towards safe Bayesian optimization with Wiener kernel regression
Chair of Automatic Control Engineering, Technical University of Munich（慕尼黑工业大学自动控制工程讲席）
针对安全约束下贝叶斯优化（BO）依赖代理模型不确定性概率误差界的问题，提出基于维纳核回归的新型误差界，证明其在温和假设下比现有误差界更紧，可扩大安全区域，并通过数值例子验证了有效性。
2025-04-14 cs.LG cs.SY eess.SY
Subspace Shrinkage in Conjugate Bayesian Vector Autoregressions
使用大型数据集的宏观经济学家经常面临使用大型向量自回归（VAR）或因子模型的选择。在本文中，我们开发的方法结合使用子空间收缩前两者。子空间先验朝着一类函数收缩，而不是直接迫使模型的参数朝着某个预先指定的位置。我们开发了一种共轭VAR先验，它向因子模型定义的子空间收缩。我们的方法允许估计收缩的强度以及因子的数量。在建立了我们提出的先验的理论属性后，我们进行了模拟，并将其应用于美国宏观经济数据。使用模拟，我们表明，我们的框架成功地检测到的因素的数量。在涉及大型宏观经济数据集的预测实践中，我们发现将VAR与使用我们的先验知识的因子模型相结合可以改善预测。
2021-07-16 econ.EM stat.AP
Safe Bayesian Optimization for Uncertain Correlation Matrices in Linear Models of Co-Regionalization
Institute of Control Systems, Hamburg University of Technology（控制系统研究所，汉堡技术大学）
本文将多任务贝叶斯优化的安全保证从内在共区域化模型扩展到线性共区域化模型，通过组合多个特征更灵活地建模任务间相关性，并推导了从线性共区域化核高斯过程中采样的向量值函数的统一误差界，同时在安全多任务贝叶斯优化基准上的数值比较中展示了线性共区域化模型的潜在性能优势。
2026-05-20 cs.LG cs.SY eess.SY
Safe Bayesian Optimization with Counterfactual Policies
College of Computer Science University of Massachusetts Amherst（计算机科学学院 马萨诸塞大学阿默斯特分校）
研究在新干预受安全约束的决策场景下的优化问题，利用共形预测构建反事实基线结果的不确定性区间，集成到安全贝叶斯优化中，确保约束 violation 率可控，还能适应协变量转移，提供了多方面分析。
2026-08-11 cs.AI cs.LG
A Bayesian Fisher-EM algorithm for discriminative Gaussian subspace clustering
高维数据聚类已经成为现代统计学和机器学习的一个具有挑战性的课题，并有着广泛的应用。在这项工作中，我们认为强大的歧视性潜在的混合模型，我们将其扩展到贝叶斯框架。将数据建模为低维判别子空间中的高斯混合模型，在潜在组均值上引入高斯先验分布，并考虑不同的协方差结构导出了一组12个子模型.模型推理是用变分期望最大化算法完成的，而判别子空间是通过Fisher步骤最大化无监督Fisher准则来估计的。提出了一个经验贝叶斯过程的先验超参数的估计，并得出一个综合的分类似然准则选择的集群和子模型的数量。所得到的贝叶斯Fisher-期望最大化算法的性能进行了研究，在两个彻底的模拟情况下，关于两个维度以及噪声和评估其优越性相对于国家的最先进的高斯子空间聚类模型。除了标准的真实数据基准测试外，还提出了一个单图像去噪的应用程序，并显示了相关结果。这项工作附带了本文附带的FisherEM包中R软件的参考实现。
2020-12-08 stat.ME
Safe Bayesian Optimization for the Control of High-Dimensional Embodied Systems
Tsinghua University（清华大学）
本文提出HdSafeBO方法，通过局部乐观探索和等距嵌入在高维概率安全约束下高效优化控制策略，首次实现高维肌肉骨骼系统的高安全概率控制优化。
2024-12-29 cs.LG cs.RO
Safe Bayesian optimization across noise models via scenario programming
Aalto University（阿尔托大学）；Uppsala University（乌普萨拉大学）
本文提出了一种通过场景编程实现跨不同噪声模型的安全贝叶斯优化方法，解决了传统方法对噪声分布假设的限制，并在仿真中验证了其有效性。
2025-12-12 cs.LG cs.SY eess.SY
Safety in safe Bayesian optimization and its ramifications for control
针对SafeOpt类安全贝叶斯优化算法在实际应用中因不确定性界限依赖不可靠启发式及难以界定的再生核希尔伯特空间范数而可能引发安全违规的问题，提出仅依赖已知Lipschitz界限的LoSBO算法及其避免网格化的变体LoS-GP-UCB，以提升控制参数调整的安全性。
2025-01-23 cs.SY eess.SY stat.ML
ML-based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Corporation（英伟达公司）
全自动驾驶汽车（AV）的安全性和弹性是一个重大问题，几起头条新闻事故就是例证。虽然今天的AV开发涉及验证，验证和测试，但在现实驾驶场景中意外故障下AV系统的端到端评估在很大程度上尚未探索。本文介绍了DriveFI，一个基于机器学习的故障注入引擎，它可以挖掘最大程度影响AV安全的情况和故障，如两个行业级AV技术栈（来自NVIDIA和百度）所示。例如，DriveFI在不到4小时内发现了561个安全关键故障。相比之下，在几周内执行的随机注入实验无法发现任何安全关键故障
2019-07-01 cs.LG cs.SE stat.ML
Bayesian calibration and sensitivity analysis for a karst aquifer model using active subspaces
本文对新近发展起来的岩溶水文模型进行了参数研究。该研究包括一个高维贝叶斯逆问题和一个全局敏感性分析。在岩溶水文学中，我们首次采用主动子空间方法，从先验分布到后验分布，在参数空间中寻找主导贝叶斯更新的方向，以有效地降低问题的维数，提高计算效率。此外，计算出的活动子空间可以用来构建对每个单独参数的灵敏度度量，并用于构建自然模型代理。该模型由21个参数，以重现位于Kerschbaum泉补给区在奥地利Waidhofen a.d. Ybbs岩溶含水层的泉水流量的水文行为。实验的空间和时间序列数据的推理过程中收集的自来水厂在Waidhofen。我们表明，这种情况下的研究具有隐含的低维，我们运行一个调整后的马尔可夫链蒙特卡罗算法在低维子空间构建样本的后验分布。通过后推分布图对结果进行可视化和验证，后推分布图显示了由于数据中的实验噪声而导致的预测排放值的不确定性。最后，讨论提供了这些结果的Kerschbaum地区的水文解释。
2019-07-16 cs.NA math.NA stat.CO
Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
Xwing
本文将黑盒安全验证建模为贝叶斯优化问题，通过概率代理模型与三种采集函数高效搜索失效并估计失效概率，以极少样本实现高精度验证，并已应用于FAA自主货运飞机认证。
2024-06-29 cs.LG stat.AP
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
Safety-Aware Robot Damage Recovery Using Constrained Bayesian Optimization and Simulated Priors
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Patras（帕特雷大学）
最近推出的智能试错（IT&E）算法表明，机器人可以在几次试验中适应损坏。该算法的成功依赖于两个组成部分：通过模拟与完整的机器人，和贝叶斯优化（BO），在线操作，对损坏的机器人获得的先验知识。虽然IT&E导致快速的损坏恢复，但它不包含任何防止机器人尝试有害行为的安全约束。在这项工作中，我们解决了这个限制，用一个受约束的BO过程取代BO组件。我们评估我们的方法在一个模拟损坏的人形机器人，需要尽可能快地爬行，同时尽可能少地进行不安全的试验。我们比较我们的新的“安全意识IT&E”算法IT&E和IT&E的多目标版本中的安全约束作为单独的目标处理。我们的结果表明，我们的算法优于其他方法，无论是在安全区域内的爬行速度和不安全的试验次数。
2016-12-02 cs.LG cs.RO
An Analysis of Safety Guarantees in Multi-Task Bayesian Optimization
Institute of Control Systems at Hamburg University of Technology（汉堡技术大学控制系统研究所）；Deutsches-Elektronen Synchrotron（德国电子同步辐射光源）
本文针对多信息源贝叶斯优化中的安全约束问题，提出基于未知相关矩阵和置信区间缩放误差界的方法，在两种统计视角下保证约束满足，并通过基准函数和控制器参数优化实验验证其显著提升样本效率。
2025-05-03 cs.LG cs.SY eess.SY
Safe and Efficient Model-free Adaptive Control via Bayesian Optimization
Inspire AG（因斯派尔公司）；ETH Zurich（苏黎世联邦理工学院）
自适应控制方法产生高性能的控制器时，精确的系统模型或合适的参数化的控制器是可用的。现有的数据驱动的自适应控制方法大多是增加标准的基于模型的方法与额外的信息的不确定性的动态或有关的干扰。在这项工作中，我们提出了一个纯粹的数据驱动的，无模型的自适应控制的方法。仅根据系统数据调整低级控制器会引起对底层算法安全性和计算性能的担忧。因此，我们的方法建立在GooSE，一种安全和样本效率的贝叶斯优化算法。我们介绍了几个计算和算法的修改GOOSE，使其实际使用的旋转运动系统。我们数值证明了几种类型的干扰，我们的方法是样本有效的，优于约束贝叶斯优化的安全性，并实现网格评估计算的性能最优。我们进一步证明了所提出的自适应控制方法实验上的旋转运动系统。
2021-03-02 cs.AI cs.LG cs.RO
Safe Contextual Bayesian Optimization for Sustainable Room Temperature PID Control Tuning
ETH Zurich（苏黎世联邦理工学院）；Siemens Switzerland Ltd.（西门子瑞士有限公司）
我们调整最常见的供暖、通风和空调（HVAC）控制回路之一，即房间的温度控制。出于经济和环境的原因，优化该系统的性能至关重要。建筑物占一个国家能源消耗的20%至40%，其中近50%来自HVAC系统。情景预测预测，到2050年，由于效率的提高，供暖消耗将减少30%。先进的控制技术可以提高性能;然而，由于其简单性和整体性能，通常使用比例积分微分（PID）控制。我们使用安全上下文贝叶斯优化来优化PID参数，无需人工干预。与当前的PID控制器设置相比，我们降低了32%的成本，同时确保了房间内人员的安全和舒适。这项工作的结果对房间控制回路性能及其相关调试成本有直接影响。此外，这一成功的尝试为在不同级别的HVAC系统中进一步使用铺平了道路，节省了能源，运营和调试成本，并且实际证明了人工智能对环境可持续性的积极影响。
2019-06-28 cs.LG cs.SY eess.SY
Covariance-Informed Subspace: an Adaptive Gradient-Free Input Dimension Reduction Method for Bayesian Inference
CEA DAM DIF（法国原子能及替代能源委员会达姆达夫研究所）；Geosciences center, Mines Paris PSL（巴黎高等矿业学校PSL地球科学中心）；CMAP, CNRS, Ecole Polytechnique（法兰西学院国家科学研究中心数学与计算物理中心）；Autorité de Radioprotection et de Sureté Nucléaire (ASNR), PSE-ENV/SCAN（核安全与辐射防护管理局）
本文提出一种适应性梯度-free 输入维度约简方法，用于高分辨率二维或三维场的贝叶斯推断，通过协方差比指标确定数据驱动方向，提升后验近似精度。
2026-04-15 cs.NA math.NA math.ST
Safety and Robustness in Decision Making: Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics（剑桥癌症基因组学公司）；The University of Cambridge（剑桥大学）
个体肿瘤的基因组图谱在为给定患者创建个性化癌症治疗策略时可以提供大量信息;这种做法被称为精确肿瘤学。这涉及肿瘤样本的下一代测序和随后的基因组畸变（如体细胞突变）鉴定，以提供靶向治疗的潜在候选者。从测序噪声和种系变异背景中识别这些畸变构成了经典的分类式问题。这在以前已经被许多不同的监督机器学习方法所讨论，包括深度学习神经网络。然而，到目前为止，这些神经网络还没有被定制为在突变呼叫中给出任何置信度的指示，这意味着肿瘤学家可能以低概率为真的突变为目标。为了解决这个问题，我们在这里提出了一个用于癌症变异识别的深度递归神经网络，与标准神经网络相比，它的性能没有下降。这种方法通过不同的先验知识实现了更大的灵活性，以避免对单个数据集的过度拟合。我们将把这种方法整合到肿瘤学家的软件中，以获得安全、可靠和统计上有信心的体细胞突变要求，从而进行精确的肿瘤治疗选择。
2019-12-04 cs.LG q-bio.GN stat.ML
Safe-Bayesian Generalized Linear Regression
Leiden University（莱顿大学）；CWI（荷兰国家数学与计算机科学研究所）；University of Oxford（牛津大学）；University of Victoria（维多利亚大学）
我们研究广义贝叶斯推理下的误指定，即当模型是“错误的，但有用的”。广义贝叶斯为可能性配备了学习率$η$。我们发现，对于广义线性模型（GLM），$η$ -广义贝叶斯集中在模型内的最佳逼近的真相为特定的$η\neq 1$，即使在严重错误指定的噪声，只要尾部的真实分布是指数。我们推导出广义贝叶斯套索和逻辑斯谛回归的MCMC采样器，并给出了模拟和真实数据的例子，其中广义贝叶斯大大优于标准贝叶斯。
2021-05-29 cs.LG math.ST stat.ME
An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization
针对高维贝叶斯优化的难题，提出基于MAVE的两步优化框架，通过识别有效降维子空间并在其中构建高斯过程模型优化，可灵活选择执行方式且已证明收敛性，实验验证了有效性。
2024-03-08 stat.ME stat.ML
High dimensional Bayesian Optimization via Condensing-Expansion Projection
ISTBI, Fudan University（复旦大学ISTBI）
针对高维贝叶斯优化中随机嵌入依赖有效子空间假设的问题，提出CEPBO随机投影方法及高斯、哈希两种算法，实验表明其性能更优。
2024-08-09 cs.LG
Learning under Invariable Bayesian Safety
Technion - Israeli Institute of Technology（以色列理工学院）；University of British Columbia（不列颠哥伦比亚大学）
最近的工作机构解决了探索和利用系统中的安全约束。例如，当勘探是由个人进行的，而个人的福利应与总体福利相平衡时，就会出现这种限制。在本文中，我们采用了一个模型的灵感来自最近的工作，一个土匪般的设置的建议。我们通过引入一个在每一轮都应该遵守的安全约束，并确定每一轮的期望值都高于给定的阈值，从而为这一系列文献做出了贡献。由于我们的建模，安全的探索和利用政策值得仔细规划，否则，它将导致次优福利。我们设计了一个渐近最优算法的设置和分析其依赖于实例的收敛速度。
2020-06-08 cs.AI cs.CY cs.GT
Data-Free Likelihood-Informed Dimension Reduction of Bayesian Inverse Problems
识别一个低维的知情参数子空间提供了一个可行的路径，以减轻在基于采样的解决方案的大规模贝叶斯逆问题的维数挑战。本文提出了一种新的基于梯度的降维方法，该方法的信息子空间不依赖于数据。这允许在线-离线计算策略，其中在离线阶段检测问题的昂贵的低维结构，这意味着在观察数据之前。这种策略对于多个反演问题特别相关，因为可以重复使用相同的信息子空间。所提出的方法允许控制近似误差（在预期的数据）的后验分布。我们还提出了采样策略，利用知情子空间有效地绘制样本的确切后验分布。该方法成功地说明了两个数值例子：一个基于偏微分方程的反问题与高斯过程的先验和层析成像问题与泊松数据和Besov- $\mathcal{B}^2_{11}$先验。
2021-02-26 cs.NA math.NA stat.CO
Bayesian Uncertainty Quantification for Low-Rank Matrix Completion
我们考虑未知低秩矩阵$\mathbf{X}$的不确定性量化问题，给出了其条目的部分和噪声观测。这种不确定性的量化对于许多现实问题至关重要，包括图像处理，卫星成像和地震学，为验证科学结论和指导决策提供了原则性框架。然而，现有的文献主要集中在完成（即，点估计）的矩阵$\mathbf{X}$，几乎没有工作调查其不确定性。为此，我们在这项工作中提出了一个新的贝叶斯建模框架，称为BayeSMG，参数化未知的$\mathbf{X}$通过其底层的行和列子空间。这种贝叶斯子空间参数化使得能够在矩阵子空间上进行有效的后验推理，这在许多应用中代表了可解释的现象。然后可以利用这一点来改善基质回收。我们证明了BayeSMG的有效性，现有的贝叶斯矩阵恢复方法在数值实验中，图像修复，和地震传感器网络应用。
2022-03-25 stat.ME
