On the Sample Complexity of Learning Bayesian Networks
Stanford University（斯坦福大学）
近年来，人们对从数据中学习贝叶斯网络的兴趣越来越大。学习这种网络的最有效方法之一是基于最小描述长度（MDL）原则。以前的工作已经表明，这种学习过程是渐进成功的：概率为1，它将收敛到目标分布，给定足够数量的样本。然而，这种趋同的速度迄今为止是未知的。在这项工作中，我们将研究基于MDL的贝叶斯网络学习过程的样本复杂性。我们证明了学习具有置信度delta的ε-接近近似（根据熵距离）所需的样本数为O（（1/delta）^（4/3）log（1/delta）log（1/delta）loglog（1/delta））。这意味着样本复杂度在误差阈值中是低阶多项式，在置信区间中是次线性的。我们还讨论了如何常数在这一项取决于目标分布的复杂性。最后，我们解决问题的渐近极小，并提出了一种方法，使用样本的复杂性结果，以加快学习过程。
2013-02-13 cs.LG stat.ML
Learning the Finer Things: Bayesian Structure Learning at the Instantiation Level
成功的机器学习方法需要在记忆和泛化之间进行权衡。太多的记忆和模型不能推广到未观察到的例子。太多的过度概括，我们就有可能对数据拟合不足。虽然我们通常通过交叉验证和准确性指标来衡量它们的性能，但这些算法应该如何应对那些准确性总是不令人满意的极不确定的领域？我们提出了一种新的概率图模型结构学习方法，可以学习，概括和解释在这些难以捉摸的领域通过操作在随机变量实例化水平。使用最小描述长度（MDL）分析，我们提出了一个新的分解的学习问题的所有训练样本，融合在一起的最小熵推理，构建一个最终的知识库。通过利用贝叶斯知识库（BKBs），一个框架，在实例化级别和固有的包容贝叶斯网络（BN），我们开发了一个理论MDL得分和相关的结构学习算法，证明了显着的改进学习BN的40个基准数据集。此外，我们的算法结合了最近现成的DAG学习技术，即使在大问题上也能得到易于处理的结果。然后，我们证明了我们的方法在一个显着欠确定域的效用，通过学习基因调控网络的乳腺癌基因突变数据可从癌症基因组图谱（TCGA）。
2023-03-08 cs.AI cs.LG
Using Causal Information and Local Measures to Learn Bayesian Networks
University of Waterloo（滑铁卢大学）
在以前的工作中，我们开发了一种从原始数据中学习贝叶斯网络模型的方法。这种方法依赖于众所周知的最小描述长度（MDL）原则。MDL原则特别适合这项任务，因为它允许我们以原则性的方式权衡学习网络的准确性与其实际有用性。在本文中，我们提出了一些新的结果，从我们的工作。特别是，我们提出了一种新的本地计算描述长度的方法。这使我们能够对搜索算法进行重大改进。此外，我们修改了我们的算法，以便它可以考虑领域专家可能提供的部分领域信息。描述长度的局部计算也为现有网络的局部精化打开了大门。我们的方法的可行性证明了涉及网络的实际规模的实验。
2013-03-06 cs.AI
The Bayesian Structural EM Algorithm
University of California, Berkeley（加州大学伯克利分校）
近年来，有一系列关于从数据中学习贝叶斯网络的工作。这一领域的难题之一是如何从不完整的数据中有效地学习信念网络的结构-也就是说，在存在缺失值或隐藏变量的情况下。在最近的一篇论文中，我介绍了一种称为结构EM的算法，它将标准的期望最大化（EM）算法（优化参数）与结构搜索结合起来进行模型选择。该算法基于惩罚似然分数来学习网络，其中包括BIC/MDL分数和贝叶斯分数的各种近似值。在本文中，我扩展结构EM直接处理贝叶斯模型选择。我证明了所得到的算法的收敛性，并展示了如何将其应用于学习一大类概率模型，包括贝叶斯网络及其一些变体。
2013-01-30 cs.AI cs.LG stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
Minimum Description Length Revisited
CWI；Leiden University（莱顿大学）；University of Helsinki（赫尔辛基大学）
这是对最小描述长度（MDL）原则的最新介绍和概述，这是一种归纳推理理论，可应用于统计，机器学习和模式识别中的一般问题。虽然MDL最初是基于数据压缩的思想，但这篇介绍可以在没有任何相关知识的情况下阅读。报告考虑到了自2007年以来的所有重大发展，2007年是上一次编写全面概述的时候。这些包括模型选择和平均和假设检验的新方法，以及{ \em MDL估计量}的第一个完全通用的定义。为了说明这些发展，MDL可以被看作是惩罚似然和贝叶斯方法的强大扩展，其中惩罚函数和先验分布被更一般的幸运函数取代，平均情况方法被更鲁棒的最坏情况方法取代，并且其中传统上被视为高度不同的方法，例如AIC与BIC和交叉验证与贝叶斯，在很大程度上，从统一的角度来看。
2019-12-18 cs.IT cs.LG math.IT
SparsityBoost: A New Scoring Function for Learning Bayesian Network Structure
New York University（纽约大学）
提出了一种新的贝叶斯网络结构学习的一致性评分函数。与传统的基于分数的结构学习方法（如BDeu或MDL）相比，我们提出的复杂性惩罚是依赖于数据的，并且由条件独立性测试正确显示边缘不存在的概率给出。这个新的评分函数与早期工作的真正区别在于，随着数据量的增加，它具有计算上更容易最大化的特性。我们证明了一个多项式样本复杂度的结果，表明最大化这个分数是保证正确学习的结构，没有虚假的边缘和接近生成分布的分布，只要存在一个贝叶斯网络，这是一个完美的地图的数据生成分布。虽然新的分数可以使用任何搜索算法，我们给出的实证结果表明，它是特别有效的线性规划松弛方法一起使用时，贝叶斯网络结构学习。
2013-09-26 cs.AI cs.LG stat.ML
Linking Frequentist and Bayesian Change-Point Methods
本文揭示线性变点模型的两阶段MDL准则等价于特定先验下贝叶斯模型的边际似然，借此统一频率学派与贝叶斯方法，并改进结构突变检测及长时序预测。
2023-06-08 stat.ME
A Bayesian hierarchical model for methane emission source apportionment
Department of Applied Mathematics and Statistics, Colorado School of Mines（科罗拉多矿业大学应用数学与统计学系）
本文提出了一种贝叶斯分层模型，用于通过点传感器网络对油气站点的甲烷排放进行归因，模型考虑了传感器数据的自相关性和稀疏性约束，以提高泄漏检测和修复的准确性。
2026-03-24 stat.AP
Catching Up Faster by Switching Sooner: A Prequential Solution to the AIC-BIC Dilemma
Centrum voor Wiskunde en Informatica (CWI)（国家数学与计算机科学研究所（CWI））
贝叶斯模型平均、模型选择及其近似（如BIC）通常在统计上是一致的，但有时比其他方法（如AIC和留一交叉验证）收敛速度较慢。另一方面，这些其他方法可能带来不一致。我们确定的“追赶现象”作为一个新的解释贝叶斯方法收敛速度慢。基于这种分析，我们定义了开关分布，贝叶斯边缘分布的修改。我们表明，在广泛的条件下，基于开关分布的模型选择和预测是一致的，并达到最佳的收敛速度，从而解决了AIC-BIC困境。该方法是实用的，我们给出了一个有效的实现。开关分布有一个数据压缩的解释，因此可以被看作是一个“先决条件”或MDL方法，但它是不同的MDL方法，通常认为在文献中。我们比较开关分布贝叶斯因子模型选择和留一交叉验证。
2008-07-07 cs.IT cs.LG math.IT
Efficient Bayesian PARCOR Approaches for Dynamic Modeling of Multivariate Time Series
提出了一种贝叶斯格型滤波和平滑方法，用于对多变量非平稳时间序列进行快速准确的建模和推断。这种方法提供了计算的可行性和可解释的时间-频率分析的多元背景下。建议的框架，使我们能够获得后验估计的时变谱密度的个别时间序列组件，以及后验测量的时间-频率关系的多个组件，如时变相干性和部分相干性。建议制定考虑多元动态线性模型（MDLM）的前向和后向时变偏自相关系数（TV-VPARCOR）。在MDLM上下文中使用近似，避免了计算昂贵的计划后验推断的多变量动态PARCOR模型。通过Whittle算法得到了相应时变向量自回归（TV-VAR）系数的近似推断。所提出的TV-VPARCOR表示的一个关键方面是，它们具有较低的维度，因此比TV-VAR表示更有效。TV-VPARCOR模型的性能说明在模拟研究和分析中产生的神经科学和环境应用的多变量非平稳时间数据。模型的性能进行评估，使用拟合优度测量在时间-频率域，也通过评估短期预测的质量。
2019-07-20 stat.AP stat.CO stat.ME
Using New Data to Refine a Bayesian Network
University of Waterloo（滑铁卢大学）
我们探讨的问题，完善现有的贝叶斯网络结构，使用新的数据可能只提到一个子集的变量。大多数以前的工作只考虑了网络的条件概率参数的细化，并没有解决细化网络结构的问题。我们开发了一种新的方法来细化网络的结构。我们的方法是基于最小描述长度（MDL）的原则，它采用了适应版本的贝叶斯网络学习算法在我们以前的工作。所需的调整之一是修改以前的算法，以考虑现有网络的结构。该学习算法生成部分网络结构，然后可以使用该部分网络结构来改进现有网络。我们还提出了实验证据证明我们的方法的有效性。
2013-02-27 cs.AI
Incorporating Type II Error Probabilities from Independence Tests into Score-Based Learning of Bayesian Network Structure
提出了一种新的贝叶斯网络结构学习的一致性评分函数。与传统的基于分数的结构学习方法（如BDeu或MDL）相比，我们提出的复杂性惩罚是依赖于数据的，并且由条件独立性测试正确显示边缘不存在的概率给出。这个新的评分函数与早期工作的真正区别在于，随着数据量的增加，它具有计算上更容易最大化的特性。我们证明了一个多项式样本复杂度的结果，表明最大化这个分数是保证正确学习的结构，没有虚假的边缘和接近生成分布的分布，只要存在一个贝叶斯网络，这是一个完美的地图的数据生成分布。虽然新的分数可以与任何搜索算法一起使用，但在我们相关的UAI 2013论文[BS 13]中，我们给出了经验结果，表明当与线性规划松弛方法一起使用时，它特别有效贝叶斯网络结构学习。本文包含了[BS 13]中有限样本复杂性结果的证明的所有细节，以及对称为β值的某些错误概率的计算的详细解释，其预先计算和制表对于[BS 13]中算法的实现是必要的。
2015-05-12 cs.LG stat.ML
BayesDLMfMRI: Bayesian Matrix-Variate Dynamic Linear Models for Task-based fRMI Modeling in R
本文介绍了一个R软件包，用于对基于任务的fMRI数据在个体和群体水平上进行统计分析。在个体水平上检测大脑激活的分析是基于使用矩阵变量动态线性模型（MDLM）对fMRI信号进行建模。因此，组阶段的分析基于从个体水平的建模获得的状态参数的后验分布。通过这种方式，该软件包提供了几个具有不同算法的R函数来对状态参数进行推断，以评估个人和群体阶段的大脑激活。这些功能允许在对整个大脑进行分析时进行并行计算，以及在需要时对特定体素进行分析。
2021-11-02 stat.AP
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago（芝加哥大学）；The University of Illinois at Chicago（伊利诺伊大学香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了PAC-Bayes类型学习规则在二分类中的应用，通过平衡随机后验预测的训练误差与KL散度，提出了一种在噪声环境下改进泛化的学习方法，揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Variational Bayesian Phylogenetic Inference with Semi-implicit Branch Length Distributions
Peking University（北京大学）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
针对VBPI默认对角对数正态分支长度后验表达不足的问题，本文提出基于图神经网络的半隐式层次变分后验及多种优化下界，提升了边际似然估计与后验近似性能。
2024-08-09 cs.LG stat.ML
When narrower is better: the narrow width limit of Bayesian parallel branching neural networks
Harvard University（哈佛大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute（坎普纳研究所）；Edmond and Lily Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙和莉莉·萨夫拉脑科学中心）
本文研究贝叶斯并行分支神经网络在窄宽度极限下的行为，发现当宽度远小于训练样本数时，分支因核重整化中的对称性破缺而学习更鲁棒，性能在偏置受限场景下优于或可比于宽宽度极限，并将该现象推广到分支图神经网络和残差MLP等架构。
2025-03-10 cs.AI cs.LG
A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization
Rutgers University（罗格斯大学）；Microsoft（微软公司）
针对超参数间存在条件依赖（分支与嵌套）的常见问题，提出统一贝叶斯优化框架，通过新核函数的高斯过程模型捕捉依赖结构，在理论和实验中均验证了更高的预测精度与优化效率。
2024-01-19 cs.AI cs.LG stat.ML
A Distance-Based Branch and Bound Feature Selection Algorithm
Technion（以色列理工学院）；Agilent Laboratories（安捷伦实验室）
目前还没有已知的有效方法可以从n个高斯特征中选择k个高斯特征，从而实现最低的贝叶斯分类错误。我们展示了一个例子，如何面对这个任务的贪心算法导致给出的结果是不是最优的。这促使我们提出一种更强大的方法。我们提出了一个分支定界算法找到一个子集的k个独立的高斯特征，最大限度地减少了朴素贝叶斯分类错误。我们的算法使用添加剂单调距离措施，以产生贝叶斯分类错误的界限，以排除许多功能子集的评估，同时仍然返回一个最佳的解决方案。我们测试我们的方法上的合成数据，以及从基因表达谱获得的数据。
2012-10-19 cs.LG stat.ML
Improving the Scalability of Optimal Bayesian Network Learning with External-Memory Frontier Breadth-First Branch and Bound Search
Mississippi State University（密西西比州立大学）
以前的工作表明，学习贝叶斯网络的最佳结构的问题可以用公式表示为图中的最短路径查找问题，并使用A* 搜索来解决。在本文中，我们提高了这种方法的可扩展性，通过开发一个内存有效的启发式搜索算法学习的贝叶斯网络的结构。而不是使用A*，我们提出了一个边界宽度优先的分支和边界搜索，利用这个问题的搜索图的分层结构，使不超过两层的图形，加上解决方案的重建信息，需要存储在内存中的时间。为了进一步提高可扩展性，该算法将大部分图存储在外部存储器中，例如硬盘，当它不适合RAM时。实验结果表明，所得到的算法解决了显着更大的问题比目前的最先进的。
2012-02-14 cs.AI
Variational Density Propagation Continual Learning
Rowan University（罗文大学）；Moffitt Cancer Center & Research Institute（莫菲特癌症中心与研究所）
本研究提出变分密度传播持续学习框架，通过传播分布前两阶矩优化闭式ELBO近似MDL准则，缓解持续学习中的灾难性遗忘，在多基准数据集上验证了生成低复杂度网络的效果。
2023-08-22 cs.LG stat.ML
Context-tree weighting and Bayesian Context Trees: Asymptotic and non-asymptotic justifications
本文为贝叶斯上下文树框架提供理论论证，证明其先验预测似然逐点和极小极大最优，后验及后验预测分布渐近一致且后验渐近高斯。
2023-09-05 cs.IT math.IT math.ST
Bayesian Rose Trees
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
层次结构在许多领域的数据中普遍存在。有许多层次聚类方法，领域专家经常使用，努力发现这种结构。然而，这些方法中的大多数将可扩展的层次结构限制为具有二进制分支结构的层次结构。这种限制虽然在计算上方便，但通常是不期望的。在本文中，我们探讨了贝叶斯层次聚类算法，可以产生任意分支结构的树，在每个节点，被称为玫瑰树。我们将这些树解释为数据集分区上的混合物，并使用计算效率高，贪婪凝聚算法来找到玫瑰树，这些玫瑰树具有较高的边际似然数据。最后，我们进行实验，证明玫瑰树是更好的数据模型比典型的二叉树返回的其他层次聚类算法。
2012-03-15 cs.LG stat.ML
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
Robust estimation in controlled branching processes: Bayesian estimators via disparities
本文关注的是贝叶斯推理方法的数据控制分支过程，占模型的鲁棒性，通过使用的差异。在正则条件下，我们证明了在假设模型下，基于概率的后验估计，如期望和最大后验估计，是相容的和有效的。此外，我们表明，估计是强大的模型误设定和存在异常离群值。为此，我们开发了几个基本的想法，最小差异估计贝叶斯估计建立在基于可靠性的后验，依赖树结构的数据。我们通过一个模拟的例子来说明我们的方法，并将我们的方法应用到一个真实的数据集从细胞动力学。
2018-02-16 stat.ME
Scalable Exact Parent Sets Identification in Bayesian Networks Learning with Apache Spark
Department of Computer Science and Engineering University at Buffalo（布法罗大学计算机科学与工程系）；Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo（布法罗大学生物医学信息学系计算机科学与工程系（注：此处按原文机构名合并，实际通常以主要系部为准，原文同时列出两个系部，均需提取））；University at Buffalo（布法罗大学（注：经检查，原HTML中作者的Affiliation部分明确包含的机构单位为“Department of Computer Science and Engineering University at Buffalo”和“Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo”，但根据提取规则，机构粒度到大学/学院/公司/研究院级别即可，此处“University at Buffalo”为大学，“Department of Computer Science and Engineering”为系部，“Department of Biomedical Informatics”为系部。按要求提取到大学/学院/公司/研究院级别，因此主要机构为“University at Buffalo”，但原文中作者的Affiliation完整内容包含多个系部和大学，需严格按原文提取作者所属机构的英文名称，中文翻译需自然准确。正确提取应为：{）
在机器学习中，父集合识别问题是找到一组随机变量，这些随机变量在给定数据和一些预定义的评分函数的情况下最好地解释所选变量。该问题是贝叶斯网络结构学习和马尔可夫毯发现的关键组成部分，因此具有许多实际应用，从欺诈检测到临床决策支持。在本文中，我们介绍了一个新的分布式记忆方法的精确父集分配问题。为了实现可扩展性，我们推导出理论界来约束搜索空间时，MDL评分函数，我们重新组织底层的动态规划，这样的计算密度增加，细粒度同步被淘汰。然后，我们在Apache Spark平台上设计了我们方法的有效实现。实验结果表明，该方法在500核的独立Spark集群上具有很强的可扩展性，可以有效地处理70个变量的数据集，远远超出了现有解决方案的范围。
2017-10-24 cs.AI cs.DC
Full Bayesian Modeling for fMRI Group Analysis
功能性磁共振成像或功能性MRI（fMRI）是一种通过检测与血流相关的变化来评估大脑活动的非侵入性方法。在这项工作中，我们提出了一个完整的贝叶斯过程来分析fMRI数据的个人和团体阶段。对于单个阶段，我们使用多变量动态线性模型（MDLM），其中时间依赖性通过状态参数建模，空间依赖性仅局部建模，取每个体素位置的最近邻居。对于群体阶段，我们利用在个体阶段获得的状态参数的后验分布，并创建一个新的后验分布，代表更新的信念的群体分析。由于状态参数的后验分布是由时间$t$索引的，因此我们提出了一种算法，该算法允许绘制状态参数的在线估计曲线并计算后验概率，以评估个体和组分析的大脑激活。我们提出了一种替代的分析小组阶段使用高斯过程方差分析模型，其中在线估计曲线在个人阶段获得的功能响应建模。最后，我们评估我们提出的建模过程中使用真正的休息状态数据和计算经验假阳性脑激活率。
2018-06-13 stat.AP
An Improved Admissible Heuristic for Learning Optimal Bayesian Networks
Queens College/City University of New York（纽约城市大学皇后学院）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Mississippi State University（密西西比州立大学）
最近，两个搜索算法，A * 和广度优先的分支和界限（BFBnB），开发了一个简单的可接受的启发式学习贝叶斯网络结构，优化评分函数的基础上。启发式表示学习问题的放松，使得每个变量独立地选择最佳父母。因此，启发式可能包含许多有向循环，并导致松散的边界。本文介绍了一种改进的容许启发式，试图避免小的变量组内的有向循环。一个稀疏表示也被引入到存储唯一的最佳父选择。实验结果表明，在本文测试的大多数数据集上，新技术显著提高了A * 和BFBnB的效率和可扩展性。
2012-10-16 cs.AI cs.LG stat.ML
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
针对现有VBPI框架难以处理树拓扑后验多模态的问题，提出结合BBVI领域混合学习进展的VBPI-Mixtures算法，可建模VBPI无法捕捉的树拓扑分布，在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Contamination mapping in Bangladesh using a multivariate spatial Bayesian model for left-censored data
孟加拉国地下水的砷和其他有毒元素污染每天对数百万人构成重大威胁。了解砷和其他元素之间的复杂关系可以为减轻饮用水中的砷中毒提供有用的见解，并需要对元素进行多变量建模。然而，这些污染物的环境监测往往涉及到很大比例的左删失观测值低于最低检测限（MDL）。这个问题促使我们提出了一个多变量空间贝叶斯模型左删失数据调查孟加拉国地下水中的砷的丰度，并创建污染物的空间地图。使用自适应马尔可夫链蒙特卡罗（MCMC）采样的模型参数的推断。所提出的模型的计算时间是相同的顺序作为一个多变量高斯过程模型，不插补删失值。该方法适用于砷污染数据集提供的孟加拉国水发展委员会（BWDB）。砷，钡（Ba），和钙（Ca）浓度在地下水中的空间地图准备使用后预测手段计算的细格在孟加拉国。我们的研究结果表明，吉大港和达卡司遭受砷浓度过高，只有拉杰沙希和Rangpur司根据世界卫生组织（WHO）的建议，有安全的饮用水。
2021-11-25 stat.AP
On Robust Trimming of Bayesian Network Classifiers
Computer Science Department（计算机科学系）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文考虑了贝叶斯网络分类器中的代价特征去除问题。我们希望分类器对这些变化具有鲁棒性，并保持其分类行为。为此，我们提出了贝叶斯分类器之间的接近度度量，称为预期分类协议（ECA）。我们相应的修剪算法找到一个最佳的功能子集和一个新的分类阈值，最大限度地提高预期的协议，预算约束。它利用新的理论见解在特征集空间中执行分支定界搜索，同时计算ECA上的边界。我们的实验研究了修剪的运行时成本及其对最终分类器的鲁棒性和准确性的影响。
2018-05-29 cs.LG stat.ML
Bayesian inference in Y-linked two-sex branching processes with mutations: ABC approach
一个Y连锁的突变和男性的盲目选择的两性分支过程是一个合适的模型，用于分析一个等位基因及其突变的Y连锁基因的携带者的数量的演变。考虑一个两性一夫一妻制的群体，在这个模型中，每个女性从男性群体中选择她的伴侣，而不关心他的类型（即，他所携带的等位基因）。在这项工作中，我们处理的问题，估计这样的模型发展的贝叶斯推断的参数框架中的主要参数。首先，我们考虑，作为样本方案，观察到的女性和男性的总人数，直到一些世代，以及男性的数量，每个基因型在最后一代。稍后，我们只在最后一代引入突变雄性的信息，以这种方式获得第二个样本方案。对于这两个样本，我们应用近似贝叶斯计算（ABC）方法来近似该模型的主要参数的后验分布。基于这些样本的程序的准确性进行说明和讨论的方式模拟的例子。
2018-01-27 q-bio.PE stat.CO
Exact Maximum Margin Structure Learning of Bayesian Networks
Graz University of Technology（格拉茨工业大学）
最近，人们对寻找全局最优贝叶斯网络结构产生了很大的兴趣。这些技术是为生成分数而开发的，不能直接扩展到分类所需的判别分数。在本文中，我们提出了一个精确的方法来寻找网络结构最大化的概率软余量，一个成功应用的判别得分。我们的方法是基于线性规划框架内的分支定界技术，并保持一个任何时间的解决方案，连同最坏情况下的次最优界。我们应用一组顺序约束，强制网络结构是无环的，这允许一个紧凑的问题表示和使用通用的优化技术。在分类实验中，我们的方法明显优于生成训练的网络结构，并与支持向量机竞争。
2012-06-27 cs.LG stat.ML
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Ordering-Based Search: A Simple and Effective Algorithm for Learning Bayesian Networks
Stanford University（斯坦福大学）
贝叶斯网络（BN）的基本任务之一是从数据中学习网络结构。BN学习问题是NP难的，因此标准的解决方案是启发式搜索。已经提出了许多方法来完成这项任务，但只有极少数优于贪婪的爬山禁忌列表的基线，而且，许多提出的算法是相当复杂，难以实现。在本文中，我们提出了一个非常简单和易于实现的方法来解决这个任务。我们的方法是基于一个众所周知的事实，即最好的网络（有界度）与给定的节点排序一致，可以非常有效地找到。因此，我们提出了一个搜索空间的结构，但在空间上的排序，选择每个排序的最佳网络与它相一致。这个搜索空间是小得多，使更多的全球搜索步骤，有一个较低的分支因子，并避免昂贵的非循环检查。我们目前的结果，该算法的合成和真实的数据集，评估网络的得分发现和运行时间。我们表明，基于排序的搜索优于标准基线，并与最近的算法，更难实现的竞争力。
2012-07-04 cs.AI cs.LG stat.ML
Posterior Representations for Bayesian Context Trees: Sampling, Estimation and Convergence
我们重新审视贝叶斯上下文树（BCT）建模框架的离散时间序列，这是最近发现是非常有效的，在许多任务，包括模型选择，估计和预测。一种新的表示形式的诱导后验分布的模型空间中的一个简单的分支过程，并在理论和实践中探讨了一些后果。首先，它示出的分支过程表示导致一个简单的可变维的蒙特卡罗采样器的联合后验分布的模型和参数，它可以有效地产生独立的样本。这个采样器被发现是更有效的比以前的MCMC采样器相同的任务。然后，分支过程表示被用来建立BCT后验的渐近一致性，包括推导的几乎必然收敛速度。最后，对诱导贝叶斯熵估计的性能进行了广泛的研究。它的效用说明通过模拟实验和现实世界的应用程序，它被发现优于几个国家的最先进的方法。
2023-03-20 cs.IT math.IT math.ST
A Variational Approach to Bayesian Phylogenetic Inference
Peking University（北京大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
本文提出一种变分推断框架用于贝叶斯系统发育分析，结合子分割贝叶斯网络与分支长度摊销，以更少迭代实现与MCMC相当的性能，并在真实数据基准上验证了有效性。
2024-05-22 cs.LG stat.ML
Gaussian approximations for fast Bayesian inference of partially observed branching processes with applications to epidemiology
School of Computer and Mathematical Sciences, The University of Adelaide（阿德莱德大学计算机与数学科学学院）
本文提出基于高斯近似的快速贝叶斯推断方法，用于部分观测分支过程，应用于流行病学模型和新冠数据集，实现高效推断和计算加速。
2025-11-28 math.PR stat.ME
Improved Acyclicity Reasoning for Bayesian Network Structure Learning with Constraint Programming
Université de Toulouse（图卢兹大学）；INRAE（法国国家农业食品与环境研究院）；AgroParisTech（巴黎高科农业学院）；Univ. Paris-Saclay（巴黎萨克雷大学）
贝叶斯网络是一种概率图模型，在基因调控网络推理、风险分析和图像处理等领域有着广泛的应用。从离散数据中学习贝叶斯网络（Bayesian Network，BNSL）的结构是一个NP难问题，其搜索空间是由有向无环图构成的超指数搜索空间。在这项工作中，我们提出了一个新的多项式时间算法，发现所有可能的集群切割的子集，一个贪心算法近似求解所产生的线性规划，和一个广义的弧一致性算法的非循环约束。我们嵌入这些约束programmingbased分支定界求解器CPBayes，并表明，尽管是次优的，他们提高性能的数量级。由此产生的求解器也比较有利的GOBNILP，一个国家的最先进的求解器的BNSL的问题，解决了NP难的问题，发现每个削减和解决线性规划。
2021-06-23 cs.AI cs.LG
Policy Optimization in Dynamic Bayesian Network Hybrid Models of Biomanufacturing Processes
Northeastern University（东北大学）；University of Maryland（马里兰大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
生物制药制造业是一个快速增长的行业，几乎影响到所有的医药分支。生物制造过程需要密切监测和控制，在存在复杂的生物过程动态与许多相互依赖的因素，以及由于实验成本高以及个性化生物药物的新颖性而导致的数据极其有限的情况下。我们开发了一种新的基于基于模型的强化学习框架，可以在低数据环境中实现人类级别的控制。该模型使用动态贝叶斯网络来捕获因素之间的因果关系，并预测不同输入的影响如何通过生物过程机制的途径传播。这使得过程控制策略的设计既可解释又能抵御模型风险。我们提出了一个计算效率高，可证明收敛的随机梯度法优化这些政策。验证是在一个现实的应用程序与多维，连续的状态变量。
2022-07-24 cs.AI cs.LG
Estimation of Distribution Algorithms with Matrix Transpose in Bayesian Learning
研究提出一种专为贝叶斯结构学习设计的矩阵转置变异算子，将其应用于分布估计算法中，实验证明该算子能显著提升算法在贝叶斯结构学习中的性能，优于传统方法。
2024-07-11 cs.NE stat.ML
Properties of Bayesian Belief Network Learning Algorithms
Utrecht University（乌得勒支大学）
贝叶斯信念网络学习算法有三个基本组成部分：网络结构和数据库的测量，选择要考虑的网络结构的搜索启发式，以及从数据库估计概率表的方法。本文对这三个主题都有贡献。库珀和Herskovits和最小描述长度（MDL）措施的贝叶斯措施的行为进行了比较，就其性质的限制大小和有限大小的数据库。结果表明，MDL措施比贝叶斯措施时，要学习的分布具有更理想的属性。研究表明，选择具有某些极小性属性的信念网络是NP难的。这个结果证明了使用搜索算法而不是精确算法来选择要考虑的网络结构是合理的。在某些情况下，一个信念网络的集合可以用一个信念网络来表示，这导致了一种新的概率表估计，称为平滑。我们认为，平滑可以有效地实现将其纳入搜索启发式。实验结果表明，平滑的信念网络的学习概率是有帮助的。
2013-02-27 cs.AI
Genetic algorithm with a Bayesian approach for the detection of multiple points of change of time series of counting exceedances of specific thresholds
提出基于贝叶斯方法的遗传算法，利用最小描述长度作为目标函数，解决特定阈值超越计数时间序列的变点检测问题，确保获得非局部最优解。
2023-09-14 stat.AP stat.CO stat.ME
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习，优化和集成未知函数的方法上，这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程（GP），以构建一个后验分布的功能的利益，给定一组观察到的测量，并选择新的点来评估使用这个后验的统计。在这里，我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化（BO）和贝叶斯求积（BQ）的方法，其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理，以纳入超参数的不确定性，并表明超参数和功能的不确定性降低得更快，当使用导数信息。此外，我们介绍了技术，克服病态的问题，困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性，使用实际和模拟的贝叶斯优化和正交问题的应用程序，并表明，开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
A Greedy, Flexible Algorithm to Learn an Optimal Bayesian Network Structure
University at Buffalo, The State University of New York（布法罗大学，纽约州立大学）
在这份报告中，我们首先提出了一份报告的高级机器学习课程项目提供的数据集，然后提出了一种新的启发式算法，精确贝叶斯网络（BN）的结构发现，使用可分解的评分函数。我们的算法遵循不同的方法来解决BN结构发现的问题比以前使用的方法，如动态规划（DP）和分支定界，以减少搜索空间，并找到全局最优空间的问题。我们提出的算法有一定程度的灵活性，可以使它或多或少的贪婪。算法被设置为贪婪的越多，算法的速度就越快，最终的结构就越不优化。我们的算法运行在一个更少的时间比以前已知的方法，并保证有接近99%的最优性。因此，它牺牲了不到1%的最佳结构的得分，以获得更低的运行时间，并使算法适用于大数据集（我们可能会注意到，除了结果验证，我们从未使用任何工具箱）
2014-11-24 cs.AI stat.ML
Node Splitting: A Scheme for Generating Upper Bounds in Bayesian Networks
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们制定的迷你桶算法近似推理的精确推理的近似模型分裂节点的贝叶斯网络。新的提法导致了一些理论和实践的影响。首先，我们表明，分支定界搜索算法，使用minibucket边界可能会大大减少搜索空间。第二，我们表明，拟议的配方启发新的minibucket物流，并允许我们从一个新的角度来分析现有的物流。最后，我们表明，这种新的配方允许迷你桶近似受益于最近的进展，精确的推理，允许一个显着增加这些近似的范围。
2012-06-20 cs.AI
Bayesian inference of antibody evolutionary dynamics using multitype branching processes
University of California, Irvine（加州大学尔湾分校）；The Rockefeller University（洛克菲勒大学）；University of Washington（华盛顿大学）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；University of California, Berkeley（加州大学伯克利分校）
本文通过多型分支过程模型，利用并行实验回放数据，推断B细胞适应度与抗原结合亲和力之间的S型关系，并验证了高亲和力B细胞的适应度优势。
2026-01-09 stat.ME
The nested Chinese restaurant process and Bayesian nonparametric inference of topic hierarchies
我们提出了嵌套中国餐馆过程（nCRP），一个随机过程，分配概率分布的无限深，无限分支的树。我们展示了如何这个随机过程可以被用来作为一个先验分布的贝叶斯非参数模型的文档集合。具体来说，我们提出了一个应用程序的信息检索中，文件被建模为路径下的随机树，优先附件动态的nCRP导致聚类的文件，根据共享的主题在多个层次的抽象。给定文档的语料库，后验推理算法找到树、主题和词到树的级别的分配上的后验分布的近似。我们证明了这种算法的科学摘要从几种期刊的集合。该模型体现了统计机器学习的一个最新趋势--使用贝叶斯非参数方法来推断灵活数据结构上的分布。
2009-08-27 stat.ML
Semi-supervised Invertible Neural Operators for Bayesian Inverse Problems
Technical University of Munich（慕尼黑工业大学）；University of Pennsylvania（宾夕法尼亚大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
神经运算符为求解参数偏微分方程提供了一个强大的数据驱动工具，因为它们可以表示无限维函数空间之间的映射。在这项工作中，我们在高维贝叶斯逆问题的背景下使用物理学知识的神经运算符。传统的解决方案策略需要一个巨大的，往往是不可行的，数量的正演模型解决方案，以及计算参数导数。为了实现有效的解决方案，我们通过采用RealNVP架构来扩展深度运算符网络（DeepONets），该架构在参数输入和分支网络输出之间产生可逆和可微的映射。这使我们能够构建准确的近似的完整的后验，无论观察的数量和观察噪声的大小，而无需任何额外的前向解决方案，也不繁琐，迭代采样程序。我们证明了所提出的方法的有效性和准确性的背景下反问题的三个基准：反导数方程，反应扩散动力学和流动通过多孔介质。
2023-03-06 cs.LG physics.comp-ph stat.ML
Minimum Description Length Induction, Bayesianism, and Kolmogorov Complexity
建立了贝叶斯方法和最小描述长度方法之间的关系。我们锐化和澄清的一般建模原则MDL和MML，抽象为理想MDL原则，定义从贝叶斯规则的Kolmogorov复杂性。应用理想原理的基本条件被概括为基本不等式，广义地说，当数据相对于每个预期的假设是随机的，并且这些假设相对于（普遍的）先验是随机的时，该原理是有效的。基本上，理想原理指出，与假设相关的先验概率应该由算法普适概率给出，并且模型的对数普适概率加上给定模型的数据概率的对数之和应该最小化。如果我们将模型类限制在有限集上，那么理想原理的应用就变成了柯尔莫哥洛夫最小充分统计量。在一般情况下，我们表明，数据压缩几乎总是最好的策略，无论是在假设识别和预测。
1999-01-27 cs.AI cs.CC cs.IT
Amortized Bayesian model comparison with evidential deep learning
比较复杂自然过程的相互竞争的数学模型是许多科学分支的共同目标。贝叶斯概率框架提供了一种原则性的方法来执行模型比较，并提取有用的指标来指导决策。然而，许多有趣的模型是棘手的标准贝叶斯方法，因为他们缺乏一个封闭的形式似然函数或可能性是计算太昂贵的评估。通过这项工作，我们提出了一种使用专门的深度学习架构执行贝叶斯模型比较的新方法。我们的方法纯粹是基于模拟的，并避免了将所有备选模型显式拟合到每个观察到的数据集的步骤。此外，它不需要手工制作的数据汇总统计数据，旨在分摊多个模型和可观察数据集的模拟成本。这使得该方法特别有效的情况下，模型拟合需要评估大量的数据集，使每个数据集的推理实际上是不可行的。最后，我们提出了一种新的方法来衡量模型比较问题的认知不确定性。我们展示了我们的方法的实用性玩具的例子和模拟数据从非平凡的模型从认知科学和单细胞神经科学。我们表明，我们的方法在这项工作中考虑的例子的准确性，校准和效率方面取得了优异的结果。我们认为，我们的框架可以增强和丰富基于模型的分析和推理，在许多领域处理自然过程的计算模型。我们进一步认为，所提出的认知不确定性的措施提供了一个独特的代理，以量化绝对的证据，即使在一个框架，假设真正的数据生成模型是在一个有限的候选模型。
2021-03-02 cs.LG stat.ML
ExDBN: Learning Dynamic Bayesian Networks using Extended Mixed-Integer Programming Formulations
Czech Technical University in Prague（捷克技术大学布拉格分校）；HSBC Holdings Plc., Singapore（汇丰控股有限公司（新加坡））；Athena Research Center（雅典研究中心）
ExDBN通过扩展混合整数规划公式，提出了一种基于得分的学习算法，以更准确地学习动态贝叶斯网络。
2025-11-12 cs.LG stat.ML
A Bayesian Finite Mixture Model with Variable Selection for Data with Mixed-type Variables
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；University of Pittsburgh（匹兹堡大学）
有限混合模型是聚类方法的一个重要分支，可以应用于混合类型变量的数据集。然而，在其应用中存在挑战。首先，它通常依赖于期望最大化算法，该算法可能对初始值的选择敏感。其次，生物标志物受检测限（LOD）的限制在临床数据中是常见的，这将删失变量带入有限混合模型。此外，由于可用于聚类的变量数量越来越多，研究人员最近对变量重要性越来越感兴趣。为了解决这些挑战，我们提出了一个贝叶斯有限混合模型，同时进行变量选择，占生物标志物LOD和获得聚类结果。为了克服期望最大化算法的局限性，我们采用贝叶斯方法来获得参数估计和聚类隶属度。为了解释LOD，我们在吉布斯抽样中增加了一个步骤，以迭代地填充低于或高于LOD的生物标志物值。此外，我们把一个尖峰和平板型的先验对每个变量，以获得变量的重要性。在各种情况下进行模拟，以检查这种方法的性能。还进行了电子健康记录的真实数据应用。
2019-05-09 cs.LG stat.AP stat.ML
Some distance bounds of branching processes and their diffusion limits
我们分别计算精确值的“距离”的界限-在这个意义上的（变换）的权力分歧和相对熵-两个离散时间的Galton-Watson分支过程与移民GWI的后代以及移民是任意泊松分布（导致任意类型的临界）。渐近可扩展性行为的影响，在所涉及的GWI的连续性和整个分离。此外，我们确定了相应的极限量的上下文中，两个GWI收敛到费勒型分支扩散过程，观测之间的时滞趋于零。并给出了贝叶斯决策和Neyman-Pearson检验在静态随机环境下的应用。
2010-05-20 math.PR q-bio.QM stat.AP
