Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Bayesian Subspace HMM for the Zerospeech 2020 Challenge
Bogazici University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们描述了我们提交的Zerospeech 2020挑战，其中要求参与者从未注释的语音中发现潜在的表示，并使用这些表示来执行语音合成，合成质量作为单位质量的代理度量。在我们的系统中，我们使用贝叶斯子空间隐马尔可夫模型（SHMM）的单位发现。SHMM将每个单元建模为HMM，HMM的参数被约束为位于总参数空间的低维子空间中，该总参数空间被训练以对语音变异性建模。我们的系统与人类评估的字符错误率的基线相比，同时保持显着较低的单位比特率。
2020-07-27 cs.CL cs.LG eess.AS
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
BMRS: Bayesian Model Reduction for Structured Pruning
University of Copenhagen（哥本哈根大学）
本文提出一种端到端的贝叶斯结构化剪枝方法BMRS，基于乘性噪声与贝叶斯模型约简，通过不同先验实现高压缩率与准确率，实验证明其性能与效率折衷方案具竞争力。
2024-12-20 cs.LG stat.ML
Robust Bayesian Subspace Identification for Small Data Sets
从传统的子空间识别方法获得的模型估计可能会受到显着的方差。在大型模型或样本量有限的情况下，这种升高的方差会加剧。减少方差影响的常见解决方案是正则化估计，收缩估计和贝叶斯估计。在目前的工作中，我们调查后两种解决方案，尚未被应用于子空间识别。我们的实验结果表明，我们提出的估计可以减少估计风险的传统子空间方法的$40\%$。
2022-12-29 cs.SY eess.SY stat.ML
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中，我们考虑两组定义为嵌入在噪声中的子空间信号的观测，我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度，这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究，其中感兴趣的子空间被认为是随机的联合先验分布（即宾汉分布），这使得两个子空间的接近程度进行调整。在这个框架内，最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划，以提供更准确的估计的角度之间的子空间，相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Online Low-Rank Subspace Learning from Incomplete Data: A Bayesian View
在过去的几十年里，提取高维信号经常驻留的底层低维空间一直是信号处理和机器学习文献中众多算法的中心。与此同时，由于各种原因，使用不完整（部分观察到的）大规模数据集最近已经司空见惯。这个所谓的{ \it大数据时代}，我们目前生活的要求设计在线子空间学习算法，可以适当地处理不完整的数据。他们设想的目标是{ \it递归地}通过顺序地处理流数据来估计未知子空间，从而降低计算复杂度，同时避免将整个数据集存储在存储器中的需要。本文提出了一种基于部分观测值的在线变分贝叶斯子空间学习算法。考虑到子空间的真实秩的未知性，通常在实践中遇到，低秩是明确施加在所寻求的子空间数据矩阵，通过利用稀疏贝叶斯学习原理。此外，稀疏性，{ \it同时}低秩，有利于子空间矩阵的复杂的层次贝叶斯方案，采用。在这样做时，所提出的算法变得善于处理应用，由此底层子空间也可以是稀疏的，例如，稀疏字典学习问题。如图所示，在对模拟和真实数据进行的各种实验中，新的子空间跟踪方案在估计精度方面优于其最先进的同行。
2016-02-12 stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Compressive Measurement Designs for Estimating Structured Signals in Structured Clutter: A Bayesian Experimental Design Approach
University of Minnesota（明尼苏达大学）
这项工作考虑了压缩感知中的估计任务，其中目标是在特定设置中从被加性测量前噪声（干扰或杂波）以及测量后噪声破坏的压缩测量中估计未知信号，其中一些（可能是有限的）关于信号、干扰和噪声的先验知识是可用的。这里的具体目标是设计一种策略，用于将该先验信息纳入适当的压缩测量策略的设计中。在这里，先验信息被解释为相关量的先验分布的统计，并提出了一种基于贝叶斯试验设计的方法。合成数据上的实验结果表明，该方法优于传统的随机压缩测量设计，这是先验信息不可知的，以及其他几个知识增强的传感矩阵设计的基础上更启发式的概念。
2013-11-21 cs.LG stat.ML
BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings
The Royal Melbourne Institute of Technology (RMIT)（皇家墨尔本理工学院（RMIT））；Chongqing University（重庆大学）
本文提出 BOIDS 高维贝叶斯优化算法，利用方向线与子空间嵌入克服维数灾难，并通过自适应选择提升效率，实验证明其优于现有方法。
2024-12-17 cs.LG stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium（比利时鲁汶大学ESAT-PSI实验室）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法，实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-06-21 cs.LG stat.ML
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology（布尔诺理工大学）
这项工作解决的问题，学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程：首先，模型学习的概念的声学单位从标记的数据，然后模型使用它的知识，以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型（SHMM）实现这个过程，这是一种类似于子空间高斯混合模型（SGMM）的模型，其中每个低维嵌入表示一个声学单元，而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言（德语、波兰语和西班牙语）上训练，AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明，该方法明显优于以前的基于HMM的声学单元发现系统，并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS
The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification
Massachusetts Institute of Technology（麻省理工学院）
我们提出了贝叶斯案例模型（Bayesian Case Model，简称CBR），它是贝叶斯案例推理（Bayesian Case-Based Reasoning，简称CBR）和原型分类与聚类的一个通用框架。它将CBR的直观力量引入贝叶斯生成框架。通过对聚类标签、原型和重要特征进行联合推理，该算法学习原型，即最能代表数据集中聚类的“精华”观察。与此同时，ESTA通过学习子空间来追求稀疏性，子空间是在原型表征中起重要作用的特征集。原型和子空间表示在保持分类准确性的同时在可解释性方面提供了定量优势。人类受试者实验证实，与现有技术给出的解释相比，当使用由ESTA产生的解释时，参与者的理解在统计学上显著改善。
2015-03-03 cs.LG stat.ML
Bayesian Subspace Identification in the MIMO Case
FEDERAL UNIVERSITY OF MINAS GERAIS（米纳斯吉拉斯联邦大学）
本文提出了一种适用于多输入多输出系统的贝叶斯子空间识别方法，并通过实验验证其有效性。
2025-12-30 cs.SY eess.SY stat.AP
A Fully Bayesian Gradient-Free Supervised Dimension Reduction Method using Gaussian Processes
Georgia Institute of Technology（佐治亚理工学院）；GE Research（通用电气研究中心）
现代工程问题的普遍特征是复杂的计算机代码，这些代码将参数或输入映射到底层物理过程。在其他情况下，实验装置用于模拟实验室中的物理过程，确保高精度，同时在材料和物流方面成本高昂。在这两种情况下，通过在有限数量的输入或设计上查询昂贵的信息源，只能生成有限数量的数据。这个问题在高维输入空间的存在下进一步复杂化。现有技术的参数空间降维方法，例如主动子空间，旨在识别原始输入空间的子空间，该子空间足以解释输出响应。这些方法的限制，他们依赖于梯度评估或丰富的数据，使他们不足以昂贵的问题，没有直接访问梯度。所提出的方法是无梯度和完全贝叶斯，因为它量化的低维子空间和代理模型参数的不确定性。这使得认识的不确定性和鲁棒性有限的数据可用性的充分量化。它在来自工程和科学的多个数据集上进行了验证，并基于四个方面与其他两种最先进的方法进行了比较：a）活动子空间的恢复，b）确定性预测精度，c）概率预测精度和d）训练时间。比较表明，该方法提高了主动子空间恢复和预测精度，在确定性和概率意义上，只有少数模型观测可用于训练，在增加的训练时间的成本。
2021-07-01 cs.LG stat.ML
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的，并且贝叶斯优化算法被广泛用于该目的。然而，现有的贝叶斯优化算法大多只能处理向量数据，不能处理复杂的结构化数据。在本文中，我们提出了拓扑贝叶斯优化，它可以有效地找到一个最佳的解决方案，从结构化数据使用\emph{topological information}。更具体地说，为了将贝叶斯优化应用于结构化数据，我们从结构中提取有用的拓扑信息，并测量结构之间的适当相似性。为此，我们利用持久同源性，这是一个拓扑数据分析方法，最近被应用在机器学习。此外，我们提出了贝叶斯优化算法，可以处理多种类型的拓扑信息，通过使用一个线性组合的内核持久图。通过实验，我们表明，拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比，随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Parameter Optimization using high-dimensional Bayesian Optimization
Swiss Federal Institute of Technology in Zurich（苏黎世联邦理工学院）
在这篇论文中，我探讨了在高维域中进行贝叶斯优化技术的可能性。虽然高维域可以被定义为在数百和数千维之间，但我们将主要关注发生在2到20维之间的问题设置。因此，我们专注于实际问题的解决方案，例如调整电子加速器的参数，或者更简单的任务，这些任务可以在手边的标准笔记本电脑上运行和优化。我们的主要贡献是1）。比较对数似然如何影响真实投影矩阵和所找到的矩阵矩阵中的角度差，2.）对当前流行方法的广泛分析，包括优点和缺点，3.）关于降维技术如何用于特征选择的简短分析，以及4.）一种新的算法称为“无聊”，它允许一个简单的回退机制，如果矩阵识别失败，以及考虑到“被动”子空间，提供小扰动的功能在手。无聊的主要特点是1。识别子空间的可能性（与大多数其他优化算法不同），以及2.）如果识别失败，则提供低得多的惩罚来识别子空间，因为优化仍然是主要目标。
2020-10-05 cs.LG stat.ML
Scalable Multi-Class Bayesian Support Vector Machines for Structured and Unstructured Data
IBM Research（IBM研究（中心））；Dublin, Ireland（爱尔兰都柏林（注意：Dublin, Ireland是地址，非机构，按要求不应提取，此处原数据中可能存在格式错误，正确机构应为IBM Research，而Dublin, Ireland是地点信息，根据提取规则，不应提取地址，因此仅保留IBM Research））
我们引入了一个新的贝叶斯多类支持向量机，制定了一个伪似然多类铰链损失的形式的位置-规模混合高斯。我们推导出一个基于变分推理的训练目标，基于梯度的学习。此外，我们采用了一个诱导点近似的规模推断大数据集。此外，我们开发了混合贝叶斯神经网络，将标准深度学习组件与所提出的模型相结合，以实现对非结构化数据的学习。我们提供的经验证据表明，我们的模型优于竞争对手的方法在68个结构化和两个非结构化数据集的分类实验的训练时间和准确性。最后，我们强调了我们的模型在产生分类预测不确定性方面的关键能力，并通过展示其在大规模主动学习和对抗图像检测任务中的有效性。
2018-06-07 cs.CR cs.LG stat.ML
CobBO: Coordinate Backoff Bayesian Optimization with Two-Stage Kernels
Alibaba Group（阿里巴巴集团）
贝叶斯优化是一种用于优化昂贵的黑盒函数的流行方法。然而，它经常在计算可能过于繁重的高维空间中挣扎。为了缓解这个问题，我们引入了具有两阶段内核的协调退避贝叶斯优化（CobBO）。在每一轮中，第一阶段使用一个简单的粗糙内核，牺牲近似精度以提高计算效率。它通过有意消除局部波动来捕捉全球景观。然后，在同一轮的第二阶段中，将全空间中的过去观测点投影到所选择的子空间以形成虚拟点。这些虚拟点，连同使用第一阶段的简单内核估计的其未知函数值的均值和方差，在第二阶段中被拟合到更复杂的内核模型。在所选择的低维子空间内，在其中进行贝叶斯优化的计算成本变得负担得起。为了进一步提高性能，在同一子空间中收集一系列连续的观测值，这可以有效地改进函数的近似。这种细化一直持续到满足停止规则，确定何时从某个子空间后退并切换到另一个子空间。这种解耦显著降低了高维中的计算负担，这充分利用了整个空间中的观测，而不是仅依赖于每个坐标子空间中的观测。广泛的评估表明，CobBO找到了与其他最先进的方法相当或更好的解决方案，尺寸范围从几十到几百，同时降低了试验的复杂性和计算成本。
2022-04-19 cs.AI cs.LG math.OC
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics（统计学院）；Data Science, Shanghai University of Finance（金融大学数据科学学院）；Department of Biostatistics, Yale School of Public Health（耶鲁大学公共卫生学院生物统计学系）
提出稀疏贝叶斯函数深度神经网络（sBayFDNN），通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系，并利用结构化先验实现具有量化不确定性的可解释区域选择，理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Efficient Bayesian Nonparametric Modelling of Structured Point Processes
本文提出了一个贝叶斯生成模型依赖Cox点过程，旁边的一个有效的推理方案，规模，如果点过程独立建模。我们可以自然地处理缺失数据，推断潜在结构，并处理大量观察到的过程。另一个新的贡献，使模型有效地工作在高维空间。使用这种方法，我们在2D和1D真实数据上实现了极大的预测性能，验证了我们的结构化方法。
2014-07-25 stat.ML
Subspace Shrinkage in Conjugate Bayesian Vector Autoregressions
使用大型数据集的宏观经济学家经常面临使用大型向量自回归（VAR）或因子模型的选择。在本文中，我们开发的方法结合使用子空间收缩前两者。子空间先验朝着一类函数收缩，而不是直接迫使模型的参数朝着某个预先指定的位置。我们开发了一种共轭VAR先验，它向因子模型定义的子空间收缩。我们的方法允许估计收缩的强度以及因子的数量。在建立了我们提出的先验的理论属性后，我们进行了模拟，并将其应用于美国宏观经济数据。使用模拟，我们表明，我们的框架成功地检测到的因素的数量。在涉及大型宏观经济数据集的预测实践中，我们发现将VAR与使用我们的先验知识的因子模型相结合可以改善预测。
2021-07-16 econ.EM stat.AP
Structured Bayesian Pruning via Log-Normal Multiplicative Noise
基于丢弃的正则化方法可以被视为在训练期间向神经网络的不同部分注入具有预定义幅度的随机噪声。最近的研究表明，贝叶斯丢弃过程不仅提高了泛化能力，而且通过自动设置每个权重的单个噪声幅度，导致了极其稀疏的神经结构。然而，这种稀疏性几乎不能用于加速，因为它是非结构化的。在本文中，我们提出了一种新的贝叶斯模型，该模型考虑了神经网络的计算结构，并提供了结构化的稀疏性，例如删除CNN中的神经元和/或卷积通道。为此，我们将噪声注入神经元输出，同时保持权重不规则化。我们建立了概率模型，适当的截断对数一致先验的噪声和截断对数正态变分近似，以确保在证据下界的KL-项计算在封闭形式。该模型通过从计算图中移除具有低SNR的元素来实现结构化稀疏，并在许多深度神经架构上提供显着的加速。该模型很容易实现，因为它可以作为一个单独的dropout层来制定。
2017-11-04 stat.ML
Exact Bayesian inference for off-line change-point detection in tree-structured graphical models
本文研究了多变量时间序列的变点检测问题。观测值的多变量分布应该遵循一个图形模型，其图形和参数随时间的突变而变化。我们证明，它是可能的执行精确的贝叶斯推断，只要一个认为是一个简单的类的无向图称为生成树作为可能的结构。然后，我们能够整合的图形和分割空间在同一时间结合经典的动态规划与代数结果有关的生成树。特别是，我们表明，数量，如后验分布的变化点或后边缘概率随时间的推移，可以有效地获得。我们说明了我们的研究结果的合成和实验数据来自生物学和神经科学。
2016-06-16 stat.ML
A Bayesian Fisher-EM algorithm for discriminative Gaussian subspace clustering
高维数据聚类已经成为现代统计学和机器学习的一个具有挑战性的课题，并有着广泛的应用。在这项工作中，我们认为强大的歧视性潜在的混合模型，我们将其扩展到贝叶斯框架。将数据建模为低维判别子空间中的高斯混合模型，在潜在组均值上引入高斯先验分布，并考虑不同的协方差结构导出了一组12个子模型.模型推理是用变分期望最大化算法完成的，而判别子空间是通过Fisher步骤最大化无监督Fisher准则来估计的。提出了一个经验贝叶斯过程的先验超参数的估计，并得出一个综合的分类似然准则选择的集群和子模型的数量。所得到的贝叶斯Fisher-期望最大化算法的性能进行了研究，在两个彻底的模拟情况下，关于两个维度以及噪声和评估其优越性相对于国家的最先进的高斯子空间聚类模型。除了标准的真实数据基准测试外，还提出了一个单图像去噪的应用程序，并显示了相关结果。这项工作附带了本文附带的FisherEM包中R软件的参考实现。
2020-12-08 stat.ME
Infinite Structured Hidden Semi-Markov Models
本文综述了贝叶斯非参数技术在无穷隐马尔可夫模型中构造和推理的最新进展。我们专注于贝叶斯非参数隐马尔可夫模型，特别是增强后验状态持久性的变种。本文还介绍了一种新的贝叶斯非参数框架，用于生成从左到右和其他结构化的，显式持续时间的无限隐马尔可夫模型，我们称之为无限结构化隐半马尔可夫模型。
2014-06-30 stat.AP stat.ME stat.ML
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Bayesian calibration and sensitivity analysis for a karst aquifer model using active subspaces
本文对新近发展起来的岩溶水文模型进行了参数研究。该研究包括一个高维贝叶斯逆问题和一个全局敏感性分析。在岩溶水文学中，我们首次采用主动子空间方法，从先验分布到后验分布，在参数空间中寻找主导贝叶斯更新的方向，以有效地降低问题的维数，提高计算效率。此外，计算出的活动子空间可以用来构建对每个单独参数的灵敏度度量，并用于构建自然模型代理。该模型由21个参数，以重现位于Kerschbaum泉补给区在奥地利Waidhofen a.d. Ybbs岩溶含水层的泉水流量的水文行为。实验的空间和时间序列数据的推理过程中收集的自来水厂在Waidhofen。我们表明，这种情况下的研究具有隐含的低维，我们运行一个调整后的马尔可夫链蒙特卡罗算法在低维子空间构建样本的后验分布。通过后推分布图对结果进行可视化和验证，后推分布图显示了由于数据中的实验噪声而导致的预测排放值的不确定性。最后，讨论提供了这些结果的Kerschbaum地区的水文解释。
2019-07-16 cs.NA math.NA stat.CO
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
A closed-form approach to Bayesian inference in tree-structured graphical models
我们考虑在一个精确的贝叶斯框架中的无向图模型的结构的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。这个任务将是棘手的，没有任何限制所考虑的图，所以我们限制我们的探索混合生成树。我们考虑在贝叶斯框架中的无向图模型的结构的推断。为了避免收敛问题和高要求的蒙特卡罗采样，我们专注于精确的推断。更具体地说，我们的目标是实现封闭形式的后验推理，避免任何采样步骤。为了这个目的，我们限制了一组考虑图的混合物的生成树。我们调查的条件下，先验-对树结构和参数-精确的贝叶斯推断可以实现。在这些条件下，我们得到了一个快速的精确算法来计算后验概率的边缘属于{树模型}使用一个代数结果称为矩阵树定理。我们表明，我们所做的假设并不妨碍我们的方法在合成和流式细胞术数据上表现良好。
2017-05-01 stat.ML
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs
图形通常用于表示复杂的数据结构。在处理图结构数据的模型中，多变量参数可能不仅表现出稀疏模式，而且在零和非零参数都倾向于聚集在一起的意义上具有结构稀疏性和平滑性。我们提出了一个新的先验的高维参数与图形关系，被称为基于树的低秩马蹄（T-LoHo）模型，推广流行的单变量贝叶斯马蹄收缩之前的多变量设置，同时检测结构稀疏性和光滑性。T-LoHo先验可以嵌入到许多高维分层模型中。为了说明它的效用，我们将其应用到正则化贝叶斯高维回归问题，其中的回归系数由一个图连接，使得到的集群具有灵活的形状，并满足集群邻接约束相对于图。我们设计了一个有效的马尔可夫链蒙特卡罗算法，提供完整的贝叶斯推断与模型参数的不确定性措施，如集群的数量。我们提供了理论研究的聚类效应和后验浓度的结果。最后，我们说明了该模型的性能与模拟研究和道路网络上的异常检测的实际数据应用。结果表明，与其他竞争方法（如稀疏融合套索）相比，有了很大的改进。
2021-10-27 stat.ME stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Covariance-Informed Subspace: an Adaptive Gradient-Free Input Dimension Reduction Method for Bayesian Inference
CEA DAM DIF（法国原子能及替代能源委员会达姆达夫研究所）；Geosciences center, Mines Paris PSL（巴黎高等矿业学校PSL地球科学中心）；CMAP, CNRS, Ecole Polytechnique（法兰西学院国家科学研究中心数学与计算物理中心）；Autorité de Radioprotection et de Sureté Nucléaire (ASNR), PSE-ENV/SCAN（核安全与辐射防护管理局）
本文提出一种适应性梯度-free 输入维度约简方法，用于高分辨率二维或三维场的贝叶斯推断，通过协方差比指标确定数据驱动方向，提升后验近似精度。
2026-04-15 cs.NA math.NA math.ST
Bayesian group latent factor analysis with structured sparsity
潜因子模型是一种典型的统计工具，用于探索性分析n个样本中具有p个特征的观测矩阵的低维线性结构。我们开发了一个结构化的贝叶斯组因子分析模型，该模型将因子模型扩展到多个耦合观测矩阵;在两个观测的情况下，这减少到典型相关分析的贝叶斯模型。这项工作的主要贡献是仔细定义了一个结构化的贝叶斯先验，鼓励元素和列的收缩，并导致高维数据的理想行为。特别是，我们的模型在联合因子加载矩阵上放置了一个结构化的先验，在三个级别上进行正则化，这使得与任意观测子集的结构化方差对应的潜在因子的元素稀疏性和无监督恢复成为可能。此外，我们的结构化先验允许密集和稀疏的潜在因素，使所有功能或只有一个子集的功能之间的协变都可以恢复。在此模型中，我们使用快速参数扩展期望最大化方法进行参数估计。我们验证了我们的方法与大量的结构和真实数据的模拟数据，对一些国家的最先进的方法进行比较。这些结果说明了我们的模型的有用特性，包括i）在存在密集效应的情况下恢复稀疏信号; ii）自然扩展到大量观测的能力; iii）灵活的观测和因子特定的正则化，以恢复具有各种稀疏水平和解释的方差百分比的因子;以及iv）易于处理的推理，可扩展到现代基因组和文档数据大小。
2015-11-11 q-bio.QM stat.ME stat.ML
Modelling Heterogeneity Using Bayesian Structured Sparsity
如何估计异质性，例如某些变量在不同观察结果中的影响不同，是政治学中的一个关键问题。这样做的方法是对异质性的基本性质进行简化假设，以得出可靠的推论。本文提出了一种简化复杂现象的通用方法（将具有相似效应的观测值分成离散的组），并将其整合到回归分析中。该框架允许研究人员（i）使用他们的先验知识来指导哪些群体是允许的，以及（ii）适当地量化不确定性。本文通过扩展工作“结构稀疏性”从传统的惩罚似然方法贝叶斯一个派生新的理论结果和推理技术。它表明，这种方法优于最先进的方法估计异质性的影响时，潜在的异质性进行分组，更有效地识别组的观测数据中具有不同的效果。
2021-03-29 stat.AP stat.ME stat.ML
An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization
针对高维贝叶斯优化的难题，提出基于MAVE的两步优化框架，通过识别有效降维子空间并在其中构建高斯过程模型优化，可灵活选择执行方式且已证明收敛性，实验验证了有效性。
2024-03-08 stat.ME stat.ML
Data-Free Likelihood-Informed Dimension Reduction of Bayesian Inverse Problems
识别一个低维的知情参数子空间提供了一个可行的路径，以减轻在基于采样的解决方案的大规模贝叶斯逆问题的维数挑战。本文提出了一种新的基于梯度的降维方法，该方法的信息子空间不依赖于数据。这允许在线-离线计算策略，其中在离线阶段检测问题的昂贵的低维结构，这意味着在观察数据之前。这种策略对于多个反演问题特别相关，因为可以重复使用相同的信息子空间。所提出的方法允许控制近似误差（在预期的数据）的后验分布。我们还提出了采样策略，利用知情子空间有效地绘制样本的确切后验分布。该方法成功地说明了两个数值例子：一个基于偏微分方程的反问题与高斯过程的先验和层析成像问题与泊松数据和Besov- $\mathcal{B}^2_{11}$先验。
2021-02-26 cs.NA math.NA stat.CO
Bayesian Uncertainty Quantification for Low-Rank Matrix Completion
我们考虑未知低秩矩阵$\mathbf{X}$的不确定性量化问题，给出了其条目的部分和噪声观测。这种不确定性的量化对于许多现实问题至关重要，包括图像处理，卫星成像和地震学，为验证科学结论和指导决策提供了原则性框架。然而，现有的文献主要集中在完成（即，点估计）的矩阵$\mathbf{X}$，几乎没有工作调查其不确定性。为此，我们在这项工作中提出了一个新的贝叶斯建模框架，称为BayeSMG，参数化未知的$\mathbf{X}$通过其底层的行和列子空间。这种贝叶斯子空间参数化使得能够在矩阵子空间上进行有效的后验推理，这在许多应用中代表了可解释的现象。然后可以利用这一点来改善基质回收。我们证明了BayeSMG的有效性，现有的贝叶斯矩阵恢复方法在数值实验中，图像修复，和地震传感器网络应用。
2022-03-25 stat.ME
Bayesian Despeckling of Structured Sources
Rutgers University（罗格斯大学）
针对相干成像中的散斑噪声，提出一种适用于一般结构化平稳随机源的贝叶斯散斑去噪方法，在分段常数源和1-Markov源上验证了有效性并推导了性能下界。
2025-01-30 cs.IT cs.LG math.IT
Bayesian non-linear subspace shrinkage using horseshoe priors
针对贝叶斯非参数回归中利用先验非线性函数空间信息的问题，提出非线性函数收缩（NLFS）方法，通过泰勒级数展开将函数收缩扩展至非线性子空间，并在 Hill 模型及真实数据上验证了其有效性与组合空间收缩的便捷性。
2024-07-24 stat.ME
On the Generalization of the C-Bound to Structured Output Ensemble Methods
本文概括了一个重要的结果，从PAC贝叶斯文献的二进制分类的情况下，集成方法的结构化输出。我们证明了一个通用版本的\Cbound，一个上限的风险模型表示为加权多数表决，是基于第一和第二统计时刻的投票的保证金。该界限可以有利地应用于更复杂的输出，例如多类标签和多标签，并且$(i)$允许考虑边缘松弛。这些结果开辟了新的集成方法与PAC贝叶斯保证结构化输出预测。
2015-06-15 stat.ML
