Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
Washington State University（华盛顿州立大学）
我们研究了在组合空间上优化昂贵的黑盒函数的问题（例如，集合、序列、树和图）。BOCS（Baptista和Poloczek，2018）是一种用于易处理统计模型的最先进的贝叶斯优化方法，它执行基于半定规划的获取函数优化（AFO）来选择下一个结构进行评估。不幸的是，BOCS规模不佳，大量的二进制和/或分类变量。基于求解二次规划的子模块松弛（Ito and Fujimaki，2016）的最新进展，我们研究了一种称为参数化子模块松弛（PSR）的方法，以提高求解BOCS模型AFO问题的可扩展性和准确性。PSR方法依赖于两个关键思想。首先，将AFO问题转化为带未知参数的次模松弛问题，利用最小图割算法可以有效地求解该问题。第二，构造一个优化问题来估计与真实目标非常接近的未知参数。在不同的基准问题上的实验表明，PSR对BOCS模型有显著的改进。源代码可在https://github.com/aryandeshwal/Submodular_Relaxation_BOCS上获得。
2020-08-18 cs.LG math.OC stat.ML
An Analytically Tractable Bayesian Approximation to Optimal Point Process Filtering
基于点过程观测的动态状态估计（滤波）过程一般是难以处理的。数值采样技术通常在实践中很有用，但导致对最佳编码/解码策略的概念性见解有限，这与计算神经科学具有重要意义。我们开发了一个易于分析的贝叶斯近似最佳过滤点过程的观察，这使我们能够引入分布假设的感觉细胞的属性，这大大方便了分析的最佳编码的情况下偏离共同的假设统一编码的基础上。分析框架导致的见解，这是很难从数值算法中获得的，是一致的调谐曲线中心的分布与实验。有趣的是，我们发现，从没有尖峰获得的信息可能是至关重要的性能。
2015-07-28 q-bio.NC stat.ML
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）
SymCircuit通过熵正则化强化学习替代贪心算法，实现概率电路结构学习，采用语法约束的自回归Transformer生成有效电路，并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Tractable Function-Space Variational Inference in Bayesian Neural Networks
University of Oxford（牛津大学）；University College London（伦敦大学学院）
本文提出一种可扩展的函数空间变分推断方法，用于贝叶斯神经网络，直接推断函数后验分布，纳入先验信息，提升预测不确定性与性能，并在安全关键医学诊断中验证其有效性。
2023-12-28 cs.AI cs.LG stat.ML
A computationally-tractable measure of global sensitivity for sampling-based Bayesian inference
University College London（伦敦大学学院）
提出基于Fisher散度的全局敏感性分析方法，仅需参考后验样本和得分函数评估，计算可行且适用于高维问题。
2026-10-07 stat.CO stat.ME
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
高斯混合模型是聚类和数据建模的经典技术，在许多应用中使用。随着大数据的兴起，需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化（EM）算法的在线变体，但它们的数据效率因E步的随机近似而降低，并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术，自然适合在线和分布式计算。由于贝叶斯后验是不听话的，我们将其投影到一个家庭听话的分布后，每个观察匹配一组足够的时刻。在一组数据建模基准上，这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Residual Gaussian Process: A Tractable Nonparametric Bayesian Emulator for Multi-fidelity Simulations
Beijing University of Aeronautics and Astronautics（北京航空航天大学）；University of Utah（犹他大学）；Chongqing University（重庆大学）；Beihang University（北京航空航天大学）
多保真度建模中的挑战涉及准确性、不确定性估计和高维性。引入了一种新的添加剂结构，其中最高保真度的解决方案被写为最低保真度的解决方案和在连续的保真度水平的解决方案之间的残差的总和，与高斯过程先验放置在低保真度的解决方案和每个残差。由此产生的模型配备了一个封闭形式的解决方案的预测后，使其适用于先进的，高维的任务，需要不确定性估计。它的优点表现在单变量基准和三个具有挑战性的多变量问题。它示出了如何可以使用主动学习来增强模型，特别是在有限的计算预算。此外，在单变量的情况下，平均预测的误差界。
2021-04-08 cs.CE cs.LG stat.AP
Tractable Bayesian Density Regression via Logit Stick-Breaking Priors
人们越来越关注响应变量的分布如何随一组预测变量而变化。贝叶斯非参数依赖混合模型提供了一种灵活的方法来解决这个问题。然而，几个公式需要计算要求高的算法后验推理。基于这个问题，我们研究了一类预测依赖的无限混合模型，它依赖于一个简单的表示的棒断裂先验通过顺序逻辑斯谛回归。该公式保持了与流行的预测依赖棒断裂先验相同的理想特性，并利用最近的Pólya-gamma数据增强来促进后验推理的几种计算方法的实现。这些例程包括马尔可夫链蒙特卡罗通过吉布斯抽样，期望最大化算法，和平均场变分贝叶斯可扩展的推理，从而刺激了更广泛的实施贝叶斯密度回归的从业者。与这些方法相关的算法详细介绍，并在毒理学研究中进行测试。
2020-05-04 stat.CO
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Bayesian Model Selection of Stochastic Block Models
Indiana University Network Science Institute（印第安纳大学网络科学研究所）
分析网络的一个核心问题是将它们划分为模块或社区。其中一个最好的工具是随机块模型，它将顶点聚集到具有统计上均匀的链接模式的块中。尽管它的灵活性和流行性，一直缺乏原则性的统计模型选择标准的随机块模型。在这里，我们提出了一个贝叶斯框架，用于选择块的数量以及将其与更精细的度校正块模型进行比较，最终导致一个能够比较多个建模组合的通用模型选择框架。我们还将研究它与最小描述长度原则的联系。
2016-05-23 cs.LG cs.SI stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成，除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数：BIC和MI的图枚举算法。以这种方式，即使对于被认为不适合于可并行化学习的那些得分函数，也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
Dynamic Sum Product Networks for Tractable Inference on Sequence Data (Extended Version)
University of Waterloo（滑铁卢大学）；University of Georgia（佐治亚大学）
和积网络（SPN）是最近出现的一类新的易处理的概率图模型。与贝叶斯网络和马尔可夫网络不同，在贝叶斯网络和马尔可夫网络中，推理在网络的大小上可以是指数的，SPN中的推理在网络的大小上是时间线性的。由于SPN代表分布在一个固定的变量集，我们提出动态和产品网络（DSPN）作为一个推广的SPN的序列数据的长度不同。DSPN由一个模板网络组成，该网络可以根据需要重复多次，以模拟任何长度的数据序列。我们提出了一种局部搜索技术来学习模板网络的结构。与动态贝叶斯网络相比，动态贝叶斯网络的推理通常是每个时间片的变量数量的指数，DSPN继承了SPN的线性推理复杂性。我们证明了DSPN的优势DBNs和其他模型的序列数据的几个数据集。
2016-07-16 cs.AI cs.LG stat.ML
Bayes Blocks: An Implementation of the Variational Bayesian Building Blocks Framework
Helsinki University of Technology（赫尔辛基理工大学）
提出了一个用于构造和学习概率模型的软件库。该库提供了一组构建块，从中可以构建各种静态和动态模型。这些模型包括其他变量方差的分层模型和许多非线性模型。基本的变分贝叶斯机制，提供快速和鲁棒的估计，但在数学上，而涉及，几乎完全隐藏的用户，从而使它非常容易使用的库。构建块包括高斯、修正高斯和混合高斯变量以及可以相当自由地组合的计算节点。
2012-07-04 cs.LG cs.MS stat.ML
Reasoning about Bayesian Network Classifiers
University of California, Los Angeles（加州大学洛杉矶分校）
贝叶斯网络分类器在很多领域都有应用，其中一种常见的分类器是朴素贝叶斯分类器。在本文中，我们介绍了一种推理贝叶斯网络分类器的方法，我们显式地将它们转换为有序决策图（ODD），然后使用这些分类器的属性的原因。具体来说，我们提出了一个算法转换成一个ODD的任何朴素贝叶斯分类器，我们从理论上和实验表明，该算法可以给我们一个ODD的大小是易于处理的，即使给定一个棘手的实例数。由于ODD是分类器的易处理表示，我们的算法允许我们有效地测试两个朴素贝叶斯分类器的等价性，并描述它们之间的差异。我们还显示了一些额外的结果，包括不同的分类器，可以通过改变一些CPT在一个朴素贝叶斯分类器，和允许的范围内的CPT保持当前分类器不变的变化引起的计数。
2012-10-19 cs.AI cs.LG stat.ML
Small-Variance Asymptotics for Nonparametric Bayesian Overlapping Stochastic Blockmodels
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
潜在特征关系模型（LFRM）是一种用于图结构数据的生成模型，用于学习图中每个节点的二进制向量表示。二进制向量表示节点在一个或多个社区中的成员资格。在其核心，LFRM miller2009非参数是一个重叠随机块模型，它定义了任何一对节点之间的链接概率作为其社区成员向量的双线性函数。此外，使用非参数贝叶斯先验（印度自助过程）可以从数据中自动学习社区数量。然而，尽管LFRM具有吸引人的特性，但LFRM中的推理仍然是一个挑战，并且通常通过MCMC方法进行。这可能很慢，并且可能需要很长时间才能收敛。在这项工作中，我们开发了一个小方差渐近为基础的非参数贝叶斯LFRM的框架。这导致目标函数保留了LFRM的非参数贝叶斯风格，同时使我们能够为该模型设计确定性推理算法，这些算法易于实现（使用通用或专门的优化例程）并且在实践中速度很快。我们在几个基准数据集上的结果表明，我们的算法与MCMC等方法相比具有竞争力，同时速度更快。
2018-07-10 cs.LG stat.ML
Semi-Amortized Bayesian Inference with Reusable Local Posteriors
University of Amsterdam（阿姆斯特丹大学）；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出半摊销贝叶斯推理方法，将参数分块并训练神经估计器近似各块条件后验，通过马尔可夫链交替抽样与常规更新，在高维复杂模型中实现高效贝叶斯估计。
2026-10-15 cs.LG stat.ML
Robust Bayesian Classification Using an Optimistic Score Ratio
Stanford University（斯坦福大学）
我们建立了一个贝叶斯上下文分类模型，使用一个乐观的分数比强大的二进制分类时，有有限的信息类条件，或上下文，分布。乐观分数在属于上下文歧义集的所有分布中搜索最合理的分布，以解释测试样本中观察到的结果，上下文歧义集是使用对潜在上下文分布的均值向量和协方差矩阵的有限结构约束规定的。我们表明，贝叶斯分类器使用乐观的分数比在概念上是有吸引力的，提供坚实的统计保证，是计算上容易处理的。我们展示了所提出的乐观分数比分类器的合成和经验数据的力量。
2020-07-08 cs.LG stat.ML
Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
我们提供了简单的方案来构建贝叶斯神经网络（BNN），逐块，最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型，我们可以识别与深度高斯过程（DGP），深度内核学习（DKL），随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略，这些模型产生不确定性估计。我们给出了详细的理论分析，并指出可能是独立的利益扩展。作为一个特殊的情况下，我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略，以确定统计相互作用，并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
A tractable Bayesian joint model for longitudinal and survival data
我们介绍了一个数值上易于处理的制定贝叶斯联合模型的纵向和生存数据。纵向过程采用广义线性混合模型建模，而生存过程采用参数化一般危险结构建模。这两个过程通过共享固定效应和随机效应而联系在一起，将在时间尺度上起作用的效应与影响危害尺度的效应分开。这种策略允许包括非线性和时间依赖性的影响，同时避免了需要数值积分，这有利于实施拟议的联合模型。我们探索使用灵活的参数分布建模的基线风险函数，可以捕捉在实践中感兴趣的基本形状。我们讨论的参数的解释的基础上事先启发。我们提出了一个广泛的模拟研究，我们分析了所提出的模型的推理性能，并说明了灵活性，样本量和审查之间的权衡。我们还将我们的建议应用到两个真实的数据应用中，以证明我们的配方在单变量时间事件数据和竞争风险框架中的适应性。该方法已在rstan中实施。
2021-04-22 stat.AP stat.CO stat.ME
Latent structure blockmodels for Bayesian spectral graph clustering
Imperial College London（帝国理工学院）
网络邻接矩阵的谱嵌入通常产生近似于低维子流形结构的节点表示。特别是，隐藏的子结构预计会出现时，从一个潜在的位置模型生成的图形。此外，网络中社区的存在可能会在嵌入中产生社区特定的子流形结构，但这在大多数网络的统计模型中并没有明确说明。在这篇文章中，提出了一类称为潜在结构块模型（LSBM）的模型来解决这种情况下，允许图聚类时，社区特定的一维流形结构。LSBMs集中在一类特定的潜在空间模型，随机点积图（RDPG），并分配一个潜在的子流形的潜在位置的每个社区。一个贝叶斯模型的嵌入所产生的LSBMs进行了讨论，并表现出良好的性能，模拟和真实世界的网络数据。该模型能够正确地恢复生活在一维流形上的底层社区，即使底层曲线的参数形式是未知的，在各种真实数据上取得了显着的效果。
2022-01-02 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance
Purdue University（普渡大学）；Aalto University（阿尔托大学）
针对权重无界方差下贝叶斯神经网络缩放极限为非高斯过程导致后验推断困难的问题，提出一种基于条件高斯表示的推断程序，实现非高斯情况下的后验推断与不确定性量化。
2024-06-04 cs.LG stat.ML
BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning
University of Oxford（牛津大学）
我们开发了BatchBALD，这是一批点和模型参数之间的互信息的一种易于处理的近似，我们将其用作采集函数，以联合选择多个信息点，用于深度贝叶斯主动学习的任务。BatchBALD是一个贪婪的线性时间$1 - \frac{1}{e}$近似算法，适合于动态规划和高效缓存。我们将BatchBALD与常用的批量数据采集方法进行比较，发现当前方法采集相似和冗余点，有时比随机采集数据的性能更差。最后，我们表明，使用BatchBALD考虑在一个收购批次的依赖关系，我们实现了新的国家的最先进的性能标准的基准测试，提供大量的数据效率提高批量收购。
2019-10-28 cs.LG stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology（国防科技大学）；Samsung R&D Institute America - Dallas（三星美国研究院（达拉斯））
利用信号的稀疏性和相关性，可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构，最近提出了一种称为块稀疏贝叶斯学习（BSBL）的框架。从这个框架衍生的算法表现出优越的性能，但他们不是很快，这限制了他们的应用。这项工作得出了一个有效的算法，从这个框架中，使用边缘化的似然最大化方法。与现有的BSBL算法相比，它具有接近的恢复性能，但要快得多。因此，它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Tractable Uncertainty for Structure Learning
University of Oxford（牛津大学）
贝叶斯结构学习允许人们捕获负责生成给定数据的因果有向无环图（DAG）上的不确定性。在这项工作中，我们提出了结构学习（TRUST）的可处理不确定性，这是一个近似后验推理的框架，它依赖于概率电路作为我们后验信念的表示。与基于样本的后验近似相比，我们的表示可以捕获更丰富的DAG空间，同时还能够通过一系列有用的推理查询来追溯不确定性。我们的经验表明，概率电路可以被用作结构学习方法的增强表示，从而提高推断结构的质量和后验不确定性。条件查询应答的实验结果进一步证明了TRUST的表示能力的实际效用。
2022-07-01 cs.AI cs.LG stat.ML
Bayesian inference via rejection filtering
Microsoft Research（微软研究院）；University of Sydney（悉尼大学）
我们提供了一种近似贝叶斯推理的方法，使用拒绝抽样。我们不仅使过程高效，而且还大大减少了所需的内存相对于传统的方法相结合的拒绝采样与粒子滤波。我们还提供了一个近似形式的拒绝采样，使拒绝滤波易于处理的情况下，精确拒绝采样是没有效率的。最后，我们提出了几个数值例子的拒绝过滤，显示其跟踪时间依赖的参数在在线设置的能力，也基准测试其性能的MNIST分类问题。
2015-12-03 cs.LG quant-ph stat.ML
Bayesian Optimization with Output-Weighted Optimal Sampling
Massachusetts Institute of Technology（麻省理工学院）
在贝叶斯优化中，考虑输出相对于输入的重要性是一项至关重要但具有挑战性的工作，因为它可以大大改善最终结果，但通常涉及不准确和繁琐的熵估计。我们从重要性抽样理论的角度来处理这个问题，并主张使用似然比来引导搜索算法向输入空间的区域，其中要最小化的目标函数假设异常小的值。似然比作为一个抽样权重，可以在每次迭代计算，而不会严重恶化算法的整体效率。特别是，它可以近似的方式，使该方法在高维易于处理。在这项工作中引入的“似然加权”的采集功能被发现在许多应用中优于其未加权的同行。
2020-10-03 cs.LG stat.ML
Tractable Bayesian variable selection: beyond normality
贝叶斯变量选择通常假设正态性，但模型误设的影响还没有得到充分的理解。这个假设背后有合理的理由，特别是对于大的$p$：易于解释，分析和计算方便。存在更灵活的框架，包括半参数或非参数模型，但往往以一些易处理性为代价。我们提出了一个简单的扩展正常模型，允许偏度和厚于正常的尾巴，但保留了易处理性。它导致易于解释和对数凹可能性，有利于优化和集成。我们的特点渐近参数估计和贝叶斯因子率，特别是研究模型误设定的影响。在适当的条件下，误指定的贝叶斯因子是一致的，并在相同的渐近速率比正确的模型诱导稀疏。然而，检测信号的速率被指数因子改变，通常导致灵敏度的损失。这些缺陷可以通过从数据推断误差分布来改善，这是一种可以大大改善推断的简单策略。我们的工作重点是可能性，因此可以与任何可能性惩罚或先验相结合，但在这里，我们专注于非局部先验，以诱导额外的稀疏性和改善由错误指定引起的有限样本效应。我们的研究结果强调了在贝叶斯变量选择中，关注可能性而不是仅仅关注先验的实际重要性。该方法可在R软件包“mombf”中找到。
2017-08-04 stat.AP stat.CO stat.ME
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
A tractable Multi-Partitions Clustering
在基于模型的聚类框架下，提出了一种允许多个潜在类变量的聚类模型。该模型假设观测数据的分布可以分解为几个独立的变量块。假设每个块遵循潜在类模型（{ \it，即，}条件独立性假设）。所提出的模型包括变量选择，作为一个特殊的情况下，是能够应付混合数据设置。该模型的简单性允许同时估计将变量重新划分成块和混合参数，从而避免对将变量重新划分成块的每个可能的重新划分运行期望最大化算法。对于所提出的方法，一个模型是由块的数量，每个块内的集群的数量和重新划分到块的变量定义。模型选择可以用两个信息准则BIC和MICL来完成，为此提出了一种有效的优化方法。模拟和真实数据的模型的性能进行了研究。结果表明，所提出的方法给出了丰富的解释数据集在手（{ \it即，}将变量重新划分为块的分析和由每个变量块产生的聚类的分析）。
2018-01-22 stat.ME
On Feynman--Kac training of partial Bayesian neural networks
Uppsala University（乌普萨拉大学）
本文针对部分贝叶斯神经网络隐变量空间多模态难以近似的问题，提出将训练建模为Feynman–Kac模型模拟，并利用序贯蒙特卡洛采样器同时估计参数与隐后验，实验证明其在预测性能上优于现有方法。
2024-02-27 cs.LG stat.ML
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法（Block-IBA），用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同，现有的算法假设未知信号的非零元素的簇结构是独立同分布的（i.i.d.），我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型（BGHMM）来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化（EM），并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性，并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Overcoming Selection Bias in Statistical Studies With Amortized Bayesian Inference
University of Bonn（波恩大学）；Institut Pasteur（巴斯德研究所）；University of Freiburg（弗赖堡大学）；LMU University Hospital（慕尼黑大学附属医院）；German Center for Infection Research（德国感染研究中心）；Fraunhofer Institute ITMP（弗劳恩霍夫ITMP研究所）；Max von Pettenkofer Institute（马克斯·冯·佩滕科弗研究所）；LMU Munich（慕尼黑大学）；German Research Center for Environmental Health（德国环境健康研究中心）；Institut Necker-Enfants Malades（内克-儿童疾病研究所）
本文提出一种基于模拟的贝叶斯推断框架，通过将选择机制嵌入生成模拟器，实现无须可 tractable 似然的去偏推断，适用于复杂模型和高维数据。
2026-04-20 cs.LG stat.ME stat.ML
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology（埃因霍温理工大学）；KU Leuven（鲁汶大学）；Graz University of Technology（格拉茨理工大学）
概率回路（PC）是概率分布的一种重要表示，具有易处理的推理。虽然PC中的参数学习被严格研究，但结构学习往往更多地基于数学而不是原则性目标。在本文中，我们开发了贝叶斯结构分数的确定性PC，即，边缘化参数的结构似然，这是众所周知的严格的目标，结构学习的概率图模型。当在贪婪割集算法中使用时，我们的分数有效地防止过拟合，并产生快速且几乎无超参数的结构学习器，将其与以前的方法区分开来。在实验中，我们在训练时间和模型拟合之间取得了良好的权衡。此外，贝叶斯分数的原则性解锁PC的适应框架，如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
Bayesian Analysis of Simple Random Densities
Instituto de Matemática e Estatística da Universidade de São Paulo（圣保罗大学数学与统计学院）
该研究提出一种易处理的密度非参数先验，满足采样封闭性且具有恰当的后验渐近性，为密度的贝叶斯非参数分析提供新的先验选择。
2014-06-10 math.ST stat.TH
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中，我们使用Polson等人（2013）的数据增强技术，在适当的先验条件下，使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外，我们证明了这种Gibbs抽样的一致遍历性，这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Private Generative Bootstrap via Blocking
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）
本研究提出私有生成贝叶斯自助法（PGBB），采用分块策略结合差分隐私与摊销推理，在模拟及实际数据应用中实现了更优的私有不确定性量化。
2026-08-04 cs.LG stat.ME stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints
University of California, Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）；Stanford University（斯坦福大学）
潜变量模型的无监督估计是机器学习和统计学的众多应用中的核心基本问题。这项工作提出了一个原则性的方法来估计广泛的类这样的模型，包括概率主题模型和潜在的线性贝叶斯网络，只使用二阶观测矩。这些模型的可识别性的充分条件主要是基于弱扩展约束的主题词矩阵，主题模型，和有向无环图，贝叶斯网络。由于没有对潜在变量之间的分布做出任何假设，该方法可以处理主题或潜在因素之间的任意相关性。此外，通过$\ell_1$优化，提出了一种易于处理的学习方法，并在数值实验中进行了研究。
2013-05-24 cs.LG stat.AP stat.ML
Fast Bayesian inference of Block Nearest Neighbor Gaussian process for large data
本文提出了一个空间块最近邻高斯过程（块NNGP）的位置参考的大空间数据的发展。这种方法背后的关键思想是将空间域划分为几个块，这些块在某些约束下相互依赖。交叉块捕获大尺度空间依赖性，而每个块捕获小尺度空间依赖性。所得到的块NNGP享有反映在其稀疏精度矩阵上的马尔可夫性。它被嵌入作为潜在高斯模型类内的先验，从而使用集成嵌套拉普拉斯近似（INLA）获得贝叶斯推断。块NNGP的性能示出在模拟的例子和大量的真实数据的位置的顺序为$10^4$。
2021-02-05 stat.ME
Bayesian Dropout
Dropout最近成为一种强大而简单的方法，用于训练神经网络，防止随机遗漏神经元的协同适应。辍学目前没有明确的建模假设，到目前为止，排除了贝叶斯建模的采用。使用贝叶斯熵推理，我们表明，辍学可以被解释为最优推理的约束。我们证明了这一点上的分析听话的回归模型提供了贝叶斯解释其机制，规范化和防止共同适应，以及其连接到其他贝叶斯技术。我们还讨论了两个一般的近似技术，适用于一般模型的贝叶斯辍学，一个基于解析近似和随机变分技术。这些技术，然后应用到贝叶斯逻辑斯谛回归的问题，并提高性能的模型变得更加错误。我们的框架根源辍学作为一个理论上合理和实用的统计建模工具，使贝叶斯挖掘辍学培训的好处。
2022-05-17 stat.ML
Corrected Bayesian information criterion for stochastic block models
社区数目的估计是社区发现的基本问题之一。我们重新研究了随机块模型的贝叶斯范式，提出了一个“校正贝叶斯信息准则”，以确定社区的数量，并表明所提出的估计是一致的，在温和的条件下。拟议的标准改进了Wang和Bickel（2016）和Saldana等人（2017）中使用的标准，这些标准分别倾向于低估和高估社区的数量。在此过程中，我们建立了随机块模型的Wilks定理。此外，我们表明，要获得的一致性模型选择的随机块模型，我们需要一个所谓的“一致性条件”。我们还提供了充分条件，均质网络和非均质网络。将所得结果进一步推广到度修正随机块体模型。数值研究证明了我们的理论结果。
2019-09-17 math.ST stat.ME stat.TH
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Bayesian stochastic blockmodeling
本章提供了一个自包含的介绍使用贝叶斯推断提取大规模的模块化结构的网络数据，基于随机块模型（SBM），以及它的度校正和重叠的概括。我们专注于非参数公式，允许他们的推理的方式，防止过拟合，并使模型选择。我们讨论的先验的选择方面，特别是如何避免通过增加贝叶斯层次欠拟合，我们对比的任务，从后验分布的采样网络分区找到单点估计，最大化它，同时描述高效的算法来执行任何一个。我们还展示了如何推断的SBM可以用来预测丢失和虚假的链接，并阐明了网络中的模块化结构的可检测性的基本限制。
2023-03-22 cond-mat.stat-mech physics.data-an stat.ML
Estimating Shapley Effects in Big-Data Emulation and Regression Settings using Bayesian Additive Regression Trees
本文提出一种基于贝叶斯加性回归树的Shapley效应估计器，适用于高维（数百维）非参数回归，并给出后验一致性理论保证及多维度测试验证。
2025-05-24 stat.ME
Bayesian Nonparametrics for Sparse Dynamic Networks
在本文中，我们提出了一个贝叶斯非参数方法来建模稀疏时变网络。一个正参数与网络的每个节点相关联，它模拟了该节点的社交性。社会性被认为是随着时间的推移而发展，并通过一个动态的点过程模型建模。该模型能够捕捉社会性的长期演变。此外，它产生稀疏图，其中边的数量随着节点的数量次二次增长。社会性的演变是由一个易处理的随时间变化的广义伽马过程。我们对模型提供了一些理论见解，并将其应用于三个数据集：模拟网络，Reddit上社区之间的超链接网络，以及9月11日袭击后路透社新闻文章中的词汇共现网络。
2022-04-14 stat.ML
Rate exact Bayesian adaptation with modified block priors
提出了一种新的块先验自适应贝叶斯估计。先验不依赖于函数的光滑度或样本量。它将足够的先验质量放在真实信号附近，并自动集中在其有效尺寸上。在一般的框架下，包括密度估计、白噪声模型、高斯序列模型、高斯回归和谱密度估计，得到了一种速率最优的后验压缩。
2016-01-21 math.ST stat.TH
Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features
The University of Manchester, UK（英国曼彻斯特大学）；University of Pisa, Italy（意大利比萨大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）；Max Planck Institute for Mathematics in the Sciences, Germany（德国马克斯·普朗克数学研究所）
提出一种鲁棒贝叶斯随机特征回归方法，通过Huber污染集处理先验和似然误设，推导出后验预测密度的上下界，并引入不精确最高密度区域进行鲁棒不确定性量化，证明预测不确定性保持计算可行性并继承经典双重下降相位结构。
2026-06-01 cs.LG math.PR math.ST
A particle-based variational approach to Bayesian Non-negative Matrix Factorization
贝叶斯非负矩阵分解（NMF）是一种很有前途的方法来理解矩阵数据的不确定性和结构。然而，大量的应用工作优化了传统的非贝叶斯NMF目标，无法提供一个原则性的理解NMF固有的不可识别性-一个问题，理想地解决了贝叶斯方法。尽管它们的适用性，目前的贝叶斯NMF方法未能获得普及的应用环境中，他们牺牲灵活性建模易于处理的计算，往往陷入局部模式，并需要成千上万的样本有意义的不确定性估计。我们通过贝叶斯NMF的基于粒子的变分方法来解决这些问题，该方法仅需要联合似然可微以实现可处理性，使用新型初始化技术来识别后验中的多个模式，并允许领域专家检查“小”集忠实地代表后验的因子分解。我们引入并采用了一类似然和先验分布的NMF，制定一个贝叶斯模型，使用流行的非贝叶斯NMF目标。在几个真实的数据集上，我们在比基线更短的时间内获得了对贝叶斯NMF后验的更好的粒子近似，并证明了多模态在NMF相关任务中发挥的重要作用。
2018-03-16 stat.ML
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne（墨尔本大学）；Colorado State University（科罗拉多州立大学）；Australian Bureau of Statistics（澳大利亚统计局）；Duke University（杜克大学）；United States Census Bureau（美国人口普查局）
实体解析（ER;也称为记录链接或重复数据删除）是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用，它提供了一个自然的框架，用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点，现有的模型在实践中受到严重限制，因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放，但这种幼稚的方法可能会在后验中引起显著的误差。在本文中，我们提出了一个可扩展的贝叶斯ER的原则模型，称为“分布式贝叶斯链接”或d-眨眼，它联合执行阻塞和ER，而不影响后验正确性。我们的方法依赖于几个关键思想，包括：（i）一个辅助变量表示，诱导的实体和记录到块的分区;（ii）一种方法，用于构建基于k-d树的平衡块;（iii）一个分布式的部分折叠吉布斯采样器与改进的混合;和（iv）快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
