Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Bayesian Optimization with Structured Measurements: A Vector-Valued RKHS Framework
Automatic Control Laboratory, EPFL（瑞士联邦理工学院自动控制实验室）
本文提出一种基于向量值RKHS框架的贝叶斯优化方法，利用结构化测量信息提升样本效率，通过UCB算法实现子线性收敛率。
2026-05-10 cs.LG math.OC
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的，并且贝叶斯优化算法被广泛用于该目的。然而，现有的贝叶斯优化算法大多只能处理向量数据，不能处理复杂的结构化数据。在本文中，我们提出了拓扑贝叶斯优化，它可以有效地找到一个最佳的解决方案，从结构化数据使用\emph{topological information}。更具体地说，为了将贝叶斯优化应用于结构化数据，我们从结构中提取有用的拓扑信息，并测量结构之间的适当相似性。为此，我们利用持久同源性，这是一个拓扑数据分析方法，最近被应用在机器学习。此外，我们提出了贝叶斯优化算法，可以处理多种类型的拓扑信息，通过使用一个线性组合的内核持久图。通过实验，我们表明，拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比，随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
BoGraph: Structured Bayesian Optimization From Logs for Expensive Systems with Many Parameters
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
当前的自动调整框架由于其大的参数空间、复杂的相互依赖性和高的评估成本而难以调整计算机系统配置。利用概率模型，结构化贝叶斯优化（SBO）最近克服了这些困难。SBO通过利用系统专家提供的上下文信息来分解参数空间，从而导致快速收敛。然而，构建概率模型的复杂性阻碍了其更广泛的应用。我们提出了BoAnon，一个SBO框架，从它的日志中学习系统结构。BoAnon提供了一个API，使专家能够将系统知识编码为性能模型或组件依赖关系。BoAnon接受了学习的结构，并将其转换为概率图模型。然后，它将专家提供的知识应用到图中，以进一步将系统行为置于上下文中。BoAnon概率图允许优化器比其他方法更快地找到有效的配置。我们通过硬件架构搜索问题评估BoAnon，实现了从$5-7$ x因素改进到默认架构的能量延迟目标的改进。凭借其新颖的上下文结构学习管道，BoAnon使SBO可用于广泛的其他计算机系统，如数据库和流处理器。
2022-03-17 cs.AR cs.LG
Bayesian Optimization for Machine Learning : A Practical Guidebook
SigOpt
机器学习系统的工程仍然是一个新兴的领域;依赖于一系列看似令人生畏的快速发展的工具和最佳实践。我们希望这本指南将成为机器学习从业者利用贝叶斯优化技术的有用资源。我们概述了四个可以使用开源机器学习库解决的机器学习问题的示例，并强调了在这些常见机器学习应用程序的背景下使用贝叶斯优化的好处。
2016-12-14 cs.LG
AutoPrognosis: Automated Clinical Prognostic Modeling via Bayesian Optimization with Structured Kernel Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alan Turing Institute（艾伦·图灵研究所）
从大规模医疗数据中获得的临床预后模型可以为关键的诊断和治疗决策提供信息。为了使机器学习（ML）在预后研究中的离线使用成为可能，我们开发了AUTOPROGNOSIS：一种用于自动设计为临床预后量身定制的预测建模管道的系统。AUTOPROGNOSIS使用一种新的批处理贝叶斯优化（BO）算法有效地优化了管道配置的集合，该算法在BO过程的同时学习管道高维超参数空间的低维分解。这是通过将管道性能建模为具有高斯过程先验的黑盒函数，并通过具有Dirichlet先验的稀疏加性核来建模管道基线算法之间的相似性来实现的。元学习用于通过使用模拟经验贝叶斯方法的算法校准先验来用来自类似患者队列的外部数据暖启动BO。该系统通过向临床医生提供逻辑关联规则来自动解释其预测，这些规则将患者特征与预测的风险层联系起来。我们使用10个代表心血管患者护理各个方面的主要患者队列来证明AUTOPROGNOSIS的效用。
2018-02-20 cs.LG stat.ML
High-Dimensional Bayesian Optimization via Tree-Structured Additive Models
National University of Singapore（新加坡国立大学）；Indian Institute of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）
贝叶斯优化（BO）在解决昂贵的低维黑箱优化问题方面取得了显着成功。许多感兴趣的优化问题是高维的，将BO缩放到这样的设置仍然是一个重要的挑战。在本文中，我们考虑广义可加模型，其中低维函数与重叠的变量子集组成的模型的高维目标函数。我们的目标是降低所需的计算资源，并通过降低模型的复杂性，同时保持现有方法的样本效率，促进更快的模型学习。具体来说，我们约束的基础依赖图树结构，以促进结构学习和优化的采集功能。对于前者，我们提出了一种基于吉布斯抽样和变异的混合图学习算法。此外，我们提出了一种新的基于缩放的算法，允许广义可加模型被更有效地采用在连续域的情况下。我们通过对合成函数和真实数据集的一系列实验来展示和讨论我们的方法的有效性。
2020-12-24 cs.LG stat.ML
Bayesian Optimization Over Iterative Learners with Structured Responses: A Budget-aware Planning Approach
Washington State University（华盛顿州立大学）；Microsoft Research（微软研究院）
深度神经网络（DNN）和数据集的规模不断增长，促使人们需要同时进行模型选择和训练的有效解决方案。包括DNN在内的许多迭代学习器的超参数优化（HPO）方法试图通过查询和学习响应表面同时搜索该表面的最优值来解决这个问题。然而，这些方法中的许多方法进行近视查询，不考虑关于响应结构的先验知识，和/或执行有偏见的成本感知搜索，所有这些都加剧了在指定总成本预算时识别性能最佳的模型。本文提出了一种新的方法，称为{ \bf B}udget-{ \bf A}ware { \bf P}lanning { \bf I}迭代学习器（BAPI），以解决HPO问题的约束成本预算。BAPI是一种高效的非近视贝叶斯优化解决方案，它考虑了预算，并利用有关目标函数和成本函数的先验知识来选择更好的配置，并在评估（培训）期间做出更明智的决策。针对迭代学习器的各种HPO基准测试的实验表明，在大多数情况下，BAPI的性能优于最先进的基线。
2023-02-27 cs.AI cs.LG
Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces
Washington State University（华盛顿州立大学）
我们考虑优化组合空间的问题（例如，序列、树和图）使用昂贵的黑盒函数求值。例如，使用物理实验室实验优化药物设计的分子。贝叶斯优化（BO）是一个有效的框架，解决这类问题的智能选择高效用的输入引导学习代理模型。组合空间的最近BO方法是通过使用深度生成模型（DGMs）学习结构的潜在表示来在连续空间上减少BO。从连续空间中选择的输入被解码成离散结构，用于执行函数求值。然而，潜在空间上的代理模型仅使用由DGM学习的信息，其可能不具有期望的归纳偏差来近似目标黑盒函数。为了克服这个缺点，本文提出了一种称为LADDER的原则性方法。其关键思想是定义一个新的结构耦合内核，明确集成的结构信息解码结构与学习的潜在空间表示更好的代理建模。我们在真实世界的基准测试中的实验表明，LADDER显着改善了潜在空间上的BO方法，并且表现得更好或类似于最先进的方法。
2021-11-01 cs.AI cs.LG
Scalable First-Order Bayesian Optimization via Structured Automatic Differentiation
Cornell University（康奈尔大学）
贝叶斯优化（BO）已经显示出巨大的潜力，用于评估昂贵的函数的全局优化，但尽管取得了许多成功，标准方法在高维中仍然存在困难。为了提高BO的性能，先前的工作建议将梯度信息合并到目标的高斯过程代理中，从而产生用于$d$维度中的$n$观测的大小为$nd \times nd$的核矩阵。天真地乘（resp。求逆）这些矩阵需要$\mathcal{O}(n^2d^2)$（分别$\mathcal{O}(n^3d^3$））操作，这对于中等尺寸和样本量变得不可行。在这里，我们观察到，广泛的内核产生结构化矩阵，使一个精确的$\mathcal{O}(n^2d)$矩阵向量乘法梯度观测和$\mathcal{O}(n^2d^2)$海森观测。除了规范的内核类，我们得到一个编程的方法来利用这种类型的结构的转换和讨论的内核类的组合，这构成了一个结构感知的自动微分算法。我们的方法适用于几乎所有的典型内核，并自动扩展到复杂的内核，如神经网络，径向基函数网络，光谱混合内核没有任何额外的衍生，使灵活的，问题相关的建模，同时缩放一阶BO到高$d$。
2022-06-16 cs.AI cs.LG cs.MS
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Towards best practices in low-dimensional semi-supervised latent Bayesian optimization for the design of antimicrobial peptides
本文探讨了低维半监督潜在贝叶斯优化在抗菌肽设计中的应用，分析了降维对优化的促进作用及不同信息组织对效率的影响，提出了改进的潜在空间组织方法。
2026-04-03 cs.LG physics.comp-ph
Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference
University of Central Florida（中央佛罗里达大学）
本文提出一种无需训练的贝叶斯结构解码框架，将灵活长度生成转化为动态结构推断问题，通过统一机制实现动态结构生成，提升生成质量和灵活性。
2026-11-03 cs.LG
Bayesian Structured Prediction Using Gaussian Processes
University of Cambridge（剑桥大学）
我们引入了一个概念新颖的结构化预测模型，GPstruct，这是内核化的，非参数和贝叶斯，通过设计。我们激励模型与现有的方法，其中包括条件随机场（CRF），最大利润马尔可夫网络（M3N），结构化支持向量机（SVMstruct），它只体现了其属性的一个子集。我们提出了一个基于马尔可夫链蒙特卡罗的推理过程。该框架可以为各种结构化对象实例化，如线性链、树、网格和其他一般图形。作为概念证明，该模型是基准上的几个自然语言处理任务和视频手势分割任务，涉及线性链结构。我们显示预测精度GPstruct是相当或超过CRF和SVMstruct。
2013-07-15 cs.LG stat.ML
BMRS: Bayesian Model Reduction for Structured Pruning
University of Copenhagen（哥本哈根大学）
本文提出一种端到端的贝叶斯结构化剪枝方法BMRS，基于乘性噪声与贝叶斯模型约简，通过不同先验实现高压缩率与准确率，实验证明其性能与效率折衷方案具竞争力。
2024-12-20 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
A Bayesian Perspective for Determinant Minimization Based Robust Structured Matrix Factorizatio
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Koc University（科奇大学）
我们介绍了一个贝叶斯的角度来看，结构化矩阵分解问题。建议的框架提供了一个概率解释现有的几何方法的基础上行列式最小化。我们将输入数据向量建模为从反映结构假设的特定域上的均匀分布中提取的潜在向量的线性变换，例如非负矩阵分解中的概率单纯形和多面体矩阵分解中的多面体。我们将线性变换矩阵的行表示为独立于正态分布生成的向量，该正态分布的协方差矩阵是逆Wishart分布。我们发现，相应的最大后验估计问题归结为结构化矩阵分解的鲁棒行列式最小化方法，提供有关参数选择和潜在算法扩展的见解。
2023-02-16 cs.LG eess.SP
Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach
The Hong Kong University of Science and Technology（香港科技大学）
针对深度神经网络剪枝中稀疏结构不规则导致硬件开销高的问题，本文提出三层分层先验及高效Turbo-VBI算法，实现权重级和神经元级结构化稀疏，在提升压缩率与推理精度的同时获得更规则的剪枝结构。
2023-02-21 cs.LG
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data
Zhejiang University（浙江大学）；Zhejiang University - University of Illinois at Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）
类不平衡对大多数监督学习算法的预测性能有不利影响，因为不平衡的分布可能导致偏好多数类的偏差。为了解决这个问题，我们提出了一个监督对比学习（SCL）方法与树结构的Parzen估计（TPE）技术的不平衡表数据集。对比学习（CL）可以提取隐藏在数据中的信息，即使没有标签，并已显示出一些潜在的不平衡学习任务。SCL进一步考虑了基于CL的标签信息，这也解决了表格数据的不足数据增强技术。因此，在这项工作中，我们建议使用SCL来学习不平衡表格数据的判别表示。此外，SCL的超参数温度对性能具有决定性影响，并且难以调节。我们引入TPE，一个著名的贝叶斯优化技术，自动选择最佳温度。在二值和多类不平衡表格数据集上进行了实验。结果表明，TPE优于其他三种超参数优化（HPO）方法，如网格搜索，随机搜索和遗传算法。更重要的是，所提出的SCL-TPE方法实现了大大改善的性能相比，国家的最先进的方法。
2022-10-26 cs.LG
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka（大阪大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心（AIP））
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题，提出结构化噪声参数化方法，结合最优时不变噪声学习与动态参数自适应，提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Compressive Measurement Designs for Estimating Structured Signals in Structured Clutter: A Bayesian Experimental Design Approach
University of Minnesota（明尼苏达大学）
这项工作考虑了压缩感知中的估计任务，其中目标是在特定设置中从被加性测量前噪声（干扰或杂波）以及测量后噪声破坏的压缩测量中估计未知信号，其中一些（可能是有限的）关于信号、干扰和噪声的先验知识是可用的。这里的具体目标是设计一种策略，用于将该先验信息纳入适当的压缩测量策略的设计中。在这里，先验信息被解释为相关量的先验分布的统计，并提出了一种基于贝叶斯试验设计的方法。合成数据上的实验结果表明，该方法优于传统的随机压缩测量设计，这是先验信息不可知的，以及其他几个知识增强的传感矩阵设计的基础上更启发式的概念。
2013-11-21 cs.LG stat.ML
Generalized TV--$\ell_p$ Structured Priors for Bayesian $T_1$ Mapping
Department of Computing Science, Umeå University, Sweden（乌尔姆大学计算机科学系，瑞典）
提出一种结合总变分(TV)与$\ell_p$范数的结构化空间先验族，并嵌入贝叶斯回归框架，利用No-U-Turn采样器进行后验推断，实现$T_1$映射中的不确定性量化，实验表明该方法能提高空间一致性和估计可靠性。
2026-06-03 cs.LG
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Prior-Dependent Allocations for Bayesian Fixed-Budget Best-Arm Identification in Structured Bandits
University of Tübingen（图宾根大学）；Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；Google DeepMind（谷歌DeepMind）
针对结构化多臂老虎机中的贝叶斯固定预算最优臂识别问题，提出一种基于先验信息和环境结构的固定分配算法，并给出理论界，通过新证明方法获得更紧的界，实验验证其稳健性能。
2025-04-24 cs.LG stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Bayesian Semi-structured Subspace Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich and MCML（慕尼黑大学和慕尼黑机器学习中心）；UZH and ZHAW Zürich（苏黎世大学和苏黎世应用科学大学）
针对半结构回归模型缺乏认知不确定性建模的问题，提出结构化全参数与非结构化子空间联合后验采样的贝叶斯子空间推断方法，可恢复结构化后验并逼近MCMC，且预测性能具有竞争力。
2024-01-23 cs.LG stat.ML
SVI-DAG: A Structured Variational Inference Approach to Bayesian Causal Discovery
SVI-DAG是一种贝叶斯因果发现的结构化变分推断方法，用归一化流建模边依赖、斯坦变分梯度下降优化，在不确定性量化上优于5种现有方法，结构准确性具竞争力。
2026-08-25 cs.AI cs.LG
Scalable Multi-Class Bayesian Support Vector Machines for Structured and Unstructured Data
IBM Research（IBM研究（中心））；Dublin, Ireland（爱尔兰都柏林（注意：Dublin, Ireland是地址，非机构，按要求不应提取，此处原数据中可能存在格式错误，正确机构应为IBM Research，而Dublin, Ireland是地点信息，根据提取规则，不应提取地址，因此仅保留IBM Research））
我们引入了一个新的贝叶斯多类支持向量机，制定了一个伪似然多类铰链损失的形式的位置-规模混合高斯。我们推导出一个基于变分推理的训练目标，基于梯度的学习。此外，我们采用了一个诱导点近似的规模推断大数据集。此外，我们开发了混合贝叶斯神经网络，将标准深度学习组件与所提出的模型相结合，以实现对非结构化数据的学习。我们提供的经验证据表明，我们的模型优于竞争对手的方法在68个结构化和两个非结构化数据集的分类实验的训练时间和准确性。最后，我们强调了我们的模型在产生分类预测不确定性方面的关键能力，并通过展示其在大规模主动学习和对抗图像检测任务中的有效性。
2018-06-07 cs.CR cs.LG stat.ML
Bayesian Despeckling of Structured Sources
Rutgers University（罗格斯大学）
针对相干成像中的散斑噪声，提出一种适用于一般结构化平稳随机源的贝叶斯散斑去噪方法，在分段常数源和1-Markov源上验证了有效性并推导了性能下界。
2025-01-30 cs.IT cs.LG math.IT
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
SPP-SBL: Space-Power Prior Sparse Bayesian Learning for Block Sparse Recovery
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院教育部数学、信息与行为重点实验室）
本文提出SPP-SBL方法，通过空间功率先验和EM算法结合高阶方程求解，解决块稀疏信号结构未知的恢复问题，提升恢复精度。
2026-04-10 cs.LG math.OC
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics（统计学院）；Data Science, Shanghai University of Finance（金融大学数据科学学院）；Department of Biostatistics, Yale School of Public Health（耶鲁大学公共卫生学院生物统计学系）
提出稀疏贝叶斯函数深度神经网络（sBayFDNN），通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系，并利用结构化先验实现具有量化不确定性的可解释区域选择，理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications
University of Amsterdam（阿姆斯特丹大学）；Pacmed BV（帕克梅德公司）
本研究提出利用贝叶斯建模的预测不确定性来降低ICU临床决策中的预测风险并检测分布外样本，理论推导与MIMIC-III数据集实验证明其能有效防止错误并提升模型可信度。
2024-07-25 cs.AI cs.LG stat.ML
Structured Reinforcement Learning for Bayesian Persuasion : Application to Intelligent Interactive Driving
研究智能交互驾驶中主导者引导智能体决策的问题，提出在线结构化强化学习框架，贡献包括为单调智能体提出算法、确定相关条件、提出SQP，数值分析显示该方法在优化行驶奖励上比现有方法成本效率高30%。
2026-07-16 cs.LG eess.SP
Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning
Google Research（谷歌研究院）
尽管最近的进展，在其理论理解，仍然存在着显着的差距，现有的PAC贝叶斯理论的能力，元学习解释性能改善的少样本学习设置，在目标任务中的训练样本的数量是非常有限的。这种差距源于现有理论中的假设，该假设假定观察任务中的训练样本的数量和目标任务中的训练样本的数量遵循相同的分布，该假设在实践中很少成立。通过放松这一假设，我们开发了两个PAC贝叶斯边界量身定制的少样本学习设置，并表明，现有的两个元学习算法（MAML和爬行动物）可以从我们的边界，从而弥合实践和PAC贝叶斯理论之间的差距。此外，我们推导出一个新的计算效率的PACMAML算法，并显示它优于现有的元学习算法在几个Few-Shot基准数据集。
2021-10-25 cs.LG stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能）；TU Munich（慕尼黑工业大学）
本文通过PAC-贝叶斯理论推导出最优超后验PACOH的闭式解，提出可扩展的元学习方法，避免双层优化，实验表明其在预测精度和不确定性估计上达到最先进水平。
2023-12-22 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Constructing structured tensor priors for Bayesian inverse problems
Delft University of Technology（代尔夫特理工大学）
本文为贝叶斯逆问题构建结构化张量先验，通过定义(A,b)约束张量并刻画其高斯分布，解锁了一类新先验，在矩阵补全和图像分类中验证了有效性。
2024-06-25 cs.LG cs.NA cs.SY
On the Theory and Practice of Privacy-Preserving Bayesian Data Analysis
UC San Diego（加州大学圣地亚哥分校）；University of Amsterdam（阿姆斯特丹大学）
贝叶斯推断对于敏感数据的隐私保护分析具有很大的希望，因为后验采样在某些条件下自动保护差分隐私，数据隐私的算法概念（Dimitrakakis等人，2014; Wang等人，2015）。虽然这种后验样本（OPS）方法优雅地“免费”提供隐私，但在渐近相对效率（ARE）的意义上，它是数据效率低下的。我们表明，一个简单的替代方案的基础上的拉普拉斯机制，差分隐私的主力，是渐近有效的非私人后验推理，在一般假设。该技术也具有实际的优点，包括有效地使用MCMC的隐私预算。我们证明了我们的方法的实用性，从维基解密组织披露的阿富汗和伊拉克战争的敏感军事记录的时间序列分析。
2016-06-09 cs.AI cs.CR cs.LG
Bayesian Tensor Factorisation for Bottom-up Hidden Tree Markov Models
Università di Pisa（比萨大学）
自底向上的【形】隐树马尔可夫模型是一种高表达能力的树结构数据模型。不幸的是，它不能在实践中使用，由于其棘手的大小的状态转移矩阵。我们提出了一个新的近似，这取决于张量的Tucker因子分解。这种近似的概率解释，使我们能够定义一个新的概率模型树结构的数据。因此，我们定义了新的近似模型，我们推导出它的学习算法。然后，我们实证评估的有效功率的新模型评估它在两个不同的任务。在这两种情况下，我们的模型优于文献中已知的其他近似模型。
2019-05-31 cs.LG stat.ML
SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient
University of British Columbia（英属哥伦比亚大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
大型深度学习模型中的不确定性估计在计算上是一项具有挑战性的任务，其中甚至难以形成对后验分布的高斯近似。在这种情况下，现有的方法通常采用协方差矩阵的对角近似，尽管这些矩阵已知会导致不确定性估计。为了解决这个问题，我们提出了一个新的随机，低秩，近似自然梯度（SLANG）方法变分推断在大，深模型。我们的方法仅基于网络对数似然的反向传播梯度来估计“对角加低秩”结构。这比计算整个变分目标的梯度的方法需要更少的梯度计算。对标准基准的实证评估证实，SLANG能够比平均场方法更快，更准确地估计不确定性，并执行最先进的方法。
2019-01-12 cs.AI cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
MetaKoopman: Bayesian Meta-Learning of Koopman Operators for Modeling Structured Dynamics under Distribution Shifts
TRATON（特拉顿集团）；KTH Royal Institute of Technology（瑞典皇家理工学院）
MetaKoopman作为贝叶斯元学习框架，通过学习Koopman算子先验实现分布偏移下非线性动力学的精准建模与预测，在卡车挂车系统的野外及模拟任务中表现优于现有方法，可用于鲁棒运动规划。
2026-07-30 cs.LG cs.RO cs.SY
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Individual Claims Forecasting with Bayesian Mixture Density Networks
Kasa AI（卡萨人工智能）
我们介绍了一个利用贝叶斯混合密度网络的个人索赔预测框架，可用于索赔分析任务，如案件保留和分流。所提出的方法能够整合来自结构化和非结构化数据源的索赔信息，生成多期现金流预测，并生成未来支付模式的不同场景。我们使用公开的数据实现和评估建模框架。
2020-03-05 cs.LG stat.AP
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University（康奈尔大学）；MIT（麻省理工学院）；MGH（麻省总医院）
在分类应用中，我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术，最近已与贝叶斯推理联系起来，产生了一种有效的方法来量化神经网络模型中的不确定性。然而，如前所述，使用dropout的天真实现计算的置信度估计可能校准不良，特别是在使用卷积网络时。在本文中，通过集成学习的镜头，我们关联的校准误差与模型之间的相关性与辍学。受此启发，我们探索使用结构化的辍学，以促进模型的多样性和提高置信度校准。我们使用SVHN，CIFAR-10和CIFAR-100数据集，从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
